Thiết kế AI thực chiến: Tối ưu bộ nhớ và bài học từ Asana
Con số 12.000 USD và hai tuần làm việc để giải quyết khối lượng công việc vốn cần năm năm của một đội ngũ kỹ sư - đó là kết quả mà Asana đạt được khi dùng OpenAI Codex để thay thế hệ thống kiểm thử cũ kỹ của họ. Câu chuyện này ngay lập tức thu hút sự chú ý của giới công nghệ. Tuy nhiên, đằng sau những con số ấn tượng như vậy, thực tế triển khai AI trong doanh nghiệp lại đang đặt ra nhiều bài toán hóc búa hơn thế. Chúng ta đang đứng giữa một khoảng cách lớn: một bên là kỳ vọng về những AI Agent tự học, tự vận hành, và một bên là thực tế kỹ thuật phức tạp với những giới hạn về bộ nhớ ngữ cảnh cùng sự lệch pha của các bộ benchmark toàn cầu.
Bài học từ dự án di chuyển mã nguồn của Asana
Quyết định của Asana khi làm mới hệ thống kiểm thử tự động bằng Codex cho thấy một cách tiếp cận thực dụng. Thay vì chờ đợi các mô hình tự cải tiến - điều mà giới nghiên cứu tại MIT Technology Review nhận định là còn rất xa vời - họ chọn giải quyết một bài toán kỹ thuật có mục tiêu rõ ràng.
Hệ thống cũ của họ đã tích tụ năm năm nợ kỹ thuật. Việc viết lại thủ công sẽ tiêu tốn tài nguyên khổng lồ. Bằng cách sử dụng Codex để tự động hóa việc chuyển đổi và tối ưu hóa các đoạn mã kiểm thử, họ chỉ mất hai tuần. Thực tế thì thành công này không đến từ việc phó mặc cho AI tự chạy. Nó đòi hỏi các kỹ sư phải thiết kế các prompt chuẩn xác, kiểm soát đầu ra và tích hợp liên tục vào luồng công việc hiện tại.
Nhiều người vẫn tin vào viễn cảnh AI tự tiến hóa không cần con người giám sát. Nhưng thực tế từ các báo cáo gần đây của OpenAI về việc thắt chặt quy trình an toàn mạng và kiểm soát mô hình cho thấy, việc phát triển các mô hình biên đang phải chậm lại để đảm bảo tính an toàn. Vì thế, việc tận dụng AI như một công cụ hỗ trợ đắc lực cho các tác vụ lập trình cụ thể, có kiểm soát, vẫn là hướng đi mang lại hiệu quả kinh tế cao nhất ở thời điểm hiện tại.
Tiết kiệm bộ nhớ cho Agent - Nghệ thuật tinh chỉnh ngữ cảnh
Khi chuyển từ việc dùng AI viết code đơn giản sang xây dựng các AI Agent tự hoạt động, chúng ta thường gặp một vấn đề lớn: bộ nhớ của agent. Một quan niệm phổ biến là cứ nhồi nhét thật nhiều lịch sử hội thoại và hướng dẫn vào context window thì agent sẽ thông minh hơn.
Nghiên cứu mới đây từ IBM Research đăng trên Hugging Face đã chỉ ra sai lầm này. Việc nạp quá nhiều dữ liệu quá khứ không giúp agent làm việc tốt hơn, trái lại còn làm tăng chi phí API và gây nhiễu thông tin. Nghiên cứu so sánh hai phương pháp quản lý hướng dẫn tự chắt lọc của agent: ALTK-Evolve và ACE. Kết quả cho thấy cách chúng ta đưa hướng dẫn vào ngữ cảnh - chọn lọc vài quy tắc phù hợp cho từng tác vụ hay bơm toàn bộ tập quy tắc vào - quyết định cả độ chính xác lẫn chi phí vận hành.
Thực tế thì chiến lược bộ nhớ rẻ nhất đôi khi lại là chiến lược hiệu quả nhất. Thay vì tích lũy bộ nhớ vô tội vạ, chúng ta cần hiệu chuẩn nó.
Dưới đây là bảng so sánh các chiến lược quản lý bộ nhớ cho agent dựa trên kết quả thực nghiệm của IBM:
| Chiến lược bộ nhớ | Cách hoạt động | Ưu điểm | Nhược điểm |
|---|---|---|---|
| Tích lũy toàn bộ (Full Context) | Bơm toàn bộ lịch sử và quy tắc vào ngữ cảnh | Dễ triển khai ban đầu | Chi phí API rất cao, dễ gây nhiễu |
| Truy xuất chọn lọc (Selective Retrieval) | Chỉ lấy các quy tắc liên quan đến tác vụ hiện tại | Tiết kiệm chi phí, tăng độ chính xác | Đòi hỏi thiết kế thêm tầng lọc thông tin |
| Tự chắt lọc (Self-Distilled Guidelines) | Agent tự rút ra bài học ngắn gọn từ quá khứ | Tối ưu hóa hiệu năng dài hạn | Cần thuật toán phân tích hành vi phức tạp |
Nhìn vào bảng này, các kỹ sư có thể thấy việc thiết kế một bộ lọc để chỉ truy xuất những gì thực sự cần thiết cho tác vụ hiện tại sẽ giúp hệ thống chạy ổn định và tiết kiệm ngân sách hơn nhiều.
Bẫy benchmark và bài học bản địa hóa từ Hàn Quốc
Một vấn đề khác mà các kỹ sư Việt Nam thường gặp phải là việc đánh giá năng lực thực tế của mô hình. Chúng ta thường nhìn vào điểm số của các mô hình trên các bảng xếp hạng quốc tế để lựa chọn công nghệ. Tuy nhiên, câu chuyện của Motif - mô hình AI hàng đầu của Hàn Quốc - là một lời cảnh tỉnh.
Thứ trưởng Bộ Khoa học và CNTT Hàn Quốc, ông Ryu Je-myung, cho biết dù Motif thể hiện năng lực kỹ thuật xuất sắc, mô hình này vẫn gặp khoảng cách lớn về khả năng ứng dụng thực tế. Lý do rất đơn giản: các bài kiểm tra benchmark hàng đầu thế giới hiện nay chủ yếu kiểm tra bằng tiếng Anh chứ không phải tiếng Hàn.
Điều này cũng hoàn toàn đúng với tiếng Việt. Một mô hình đạt điểm tối đa trên các bộ dữ liệu tiếng Anh chưa chắc đã hiểu được các thuật ngữ chuyên ngành, ngữ cảnh văn hóa hay thói quen viết lách của người Việt. Nếu chỉ dựa vào các chỉ số quốc tế để xây dựng ứng dụng cho thị trường trong nước, chúng ta rất dễ thất bại khi đưa sản phẩm ra thực tế.
Lời khuyên thực tế cho kỹ sư công nghệ
Từ những dữ liệu trên, việc triển khai AI trong các dự án thực tế tại Việt Nam cần đi vào chiều sâu kỹ thuật thay vì chạy theo xu hướng. Dưới đây là những hành động cụ thể mà đội ngũ kỹ thuật có thể áp dụng ngay:
- Xác định rõ biên giới tác vụ: Hãy bắt đầu bằng các dự án di chuyển mã nguồn hoặc làm sạch hệ thống cũ như cách Asana đã làm. Đây là những vùng an toàn, có thể đo lường hiệu quả trực tiếp bằng tiền và thời gian.
- Thiết kế bộ nhớ động cho Agent: Tuyệt đối không dùng giải pháp lười biếng là nhét toàn bộ lịch sử chat vào ngữ cảnh. Hãy xây dựng một cơ chế lưu trữ vector để truy xuất thông tin có chọn lọc.
- Tự xây dựng bộ kiểm thử nội bộ: Đừng tin hoàn toàn vào điểm số benchmark tiếng Anh của các mô hình nguồn mở. Hãy tự tạo một tập dữ liệu kiểm thử gồm 100 đến 200 tình huống thực tế bằng tiếng Việt liên quan trực tiếp đến nghiệp vụ của doanh nghiệp để đánh giá mô hình trước khi tích hợp.
Việc làm chủ công nghệ AI lúc này không nằm ở chỗ sở hữu mô hình lớn nhất, mà nằm ở khả năng tối ưu hóa chi phí vận hành và làm cho mô hình hiểu đúng ngôn ngữ bản địa.