Bộ Nhớ AI Agent: Kiến Trúc 3 Lớp Giúp Agent Nhớ Mọi Thứ Quan Trọng

Lựa chọn production: ChromaDB (self-hosted), Pinecone (managed), pgvector (PostgreSQL).

Lớp 3: Structured Facts (Độ chính xác cao)

Không phải mọi thứ đều phù hợp với vector store. Thông tin cần truy vấn chính xác — sở thích người dùng, gói dịch vụ, quyết định đã phê duyệt — cần lưu có cấu trúc:

Quyết định quan trọng: không bao giờ xóa — chỉ append. Đây là audit trail cho doanh nghiệp.

Memory Router: Kết Hợp 3 Lớp

Điểm quan trọng nhất là cách ghép 3 lớp trước khi gửi cho LLM:

class AgentMemorySystem:
    def build_context(self, current_message):
        # 1. Structured facts → system prompt header
        user_facts = self.facts.get_user_context(self.user_id)
        # 2. Semantic recall từ vector store
        relevant_memories = self.long_term.recall(current_message, top_k=3)
        # 3. Ghép với conversation buffer
        system_prompt = f"""THÔNG TIN NGƯỜI DÙNG:
{user_facts}

KÝ ỨC LIÊN QUAN:
{chr(10).join(relevant_memories)}"""
        return [{"role": "system", "content": system_prompt}] + self.buffer.get_context()

Sau mỗi response: cập nhật buffer, extract facts mới từ conversation, và định kỳ lưu tóm tắt vào vector store.

Framework & Tools

Không cần tự build từ đầu:

Lộ trình: bắt đầu với LangChain + Redis, khi scale chuyển sang Mem0 hoặc pgvector.

4 Lỗi Phổ Biến Nhất

1. Store raw transcript thay vì tóm tắt. Transcript đầy nhiễu và tốn token. Luôn tóm tắt trước khi store vào vector store.

2. Không filter theo user_id. Query vector store mà không có where: {"user_id": ...} là lỗi bảo mật — agent có thể trả về ký ức của người dùng khác.

3. Không cho user kiểm soát bộ nhớ. GDPR yêu cầu người dùng có quyền xem, sửa, và xóa dữ liệu. Build delete_all_memories(user_id) từ ngày đầu, không phải sau.

4. Không decay ký ức cũ. Thông tin 2 năm trước ít liên quan hơn tuần trước. Implement time-weighted retrieval để ưu tiên ký ức gần đây.

Bảo Mật Bắt Buộc

• Mã hóa at-rest cho vector store và structured facts
• Namespace riêng per user trong vector store
• Audit log mọi thao tác đọc/ghi
• Auto-expire memories sau N ngày
• API xóa memory theo user_id để tuân thủ GDPR

Điểm Khởi Đầu

Bắt đầu với conversation buffer — đơn giản nhất, tác động ngay lập tức. Thêm structured facts khi cần lưu preferences người dùng. Tích hợp vector store khi lịch sử hội thoại đủ lớn để semantic recall có giá trị thực sự.

Ba lớp không thay thế nhau — chúng bổ trợ nhau. Buffer cho ngữ cảnh hiện tại. Vector store cho recall dài hạn. Structured facts cho dữ liệu nghiệp vụ cần chính xác tuyệt đối.

Xem thêm cách AI agent kết nối với công cụ bên ngoài qua MCP Protocol, và hướng dẫn xây dựng AI Agent hỗ trợ khách hàng.