Nếu build internal AI system cho một team dev thật, câu hỏi không còn là bot có trả lời thông minh không, mà là: nó có giúp team ship nhanh hơn, review an toàn hơn, và giảm chi phí vận hành không?
Table of contents
Open Table of contents
Bài toán
Team dev 20-30 người thường gặp 3 vấn đề lặp lại:
- mất thời gian scaffold project và boilerplate,
- mất thời gian tra cứu docs nội bộ hoặc pattern cũ,
- mất thời gian đi qua lại giữa coding, review, deploy và debug.
Một internal agent system tốt nên giải quyết đúng các chỗ nghẽn đó.
Mục tiêu
- tăng tốc coding và project setup,
- giảm chi phí model bằng routing hợp lý,
- không lock vào một framework hay một provider,
- ship MVP trong 2-4 tuần.
Kiến trúc gọn
Proxy layer
Lớp đầu vào nên xử lý:
- auth,
- token budget,
- model routing,
- trace cơ bản.
Orchestrator
Đây là nơi nhận task, phân loại intent, rồi dispatch sang crew phù hợp.
Memory
- Redis cho ngắn hạn,
- markdown hoặc workspace notes cho trung hạn,
- vector store cho long-term retrieval.
Tools
- Git provider,
- CLI,
- Docker API,
- logs,
- docs lookup.
Crew map hợp lý
Planning Crew
- Analyst,
- Architect,
- Task Planner.
Dev Crew
- Framework Specialist,
- Senior Dev,
- Test Writer,
- Reviewer.
Setup Crew
- Scaffold,
- Config,
- Git Agent.
DevOps Crew
- Deploy Agent,
- Monitor Agent,
- Log Analyzer,
- Auto Rollback.
Knowledge Crew
- Search Agent,
- Summarizer,
- Wiki Writer.
Notification Crew
- Task Tracker,
- Telegram Notify,
- PR Formatter.
Memory strategy nên tách như thế nào
Không nên đẩy tất cả transcript vào một chỗ.
- session memory: state ngắn hạn cho phiên đang chạy,
- project memory: pattern, bug history, docs theo project,
- shared knowledge: best practices chung của team.
Routing strategy
Không phải task nào cũng cần model đắt.
- planning hoặc review sâu mới cần model mạnh,
- retrieval và transformation nên dùng model rẻ hơn nếu đủ,
- local model dùng được thì nên dùng ở các path ít rủi ro hơn.
Workflow ví dụ
User muốn build REST API auth bằng Spring Boot:
- Planning Crew chốt requirements và schema.
- Dev Crew generate code và tests.
- Reviewer check lại.
- Git Agent tạo branch hoặc MR.
- DevOps Crew deploy và monitor.
- Knowledge Crew distill pattern hữu ích về sau.
MVP 4 tuần
Tuần 1
- dựng infra,
- chốt proxy,
- tạo orchestrator skeleton.
Tuần 2
- hoàn thiện Planning Crew và Dev Crew.
Tuần 3
- thêm Setup Crew, DevOps Crew, retrieval layer.
Tuần 4
- auth,
- budget control,
- beta nội bộ với một nhóm nhỏ.
Chốt lại
Một internal AI agent system hữu dụng không bắt đầu từ thêm thật nhiều agent. Nó bắt đầu từ workflow thật, memory sạch, routing hợp lý, và ranh giới trách nhiệm rõ giữa các crew.