Bẫy kỹ nghệ khi đưa AI agent vào thực tế

Trong một thử nghiệm thực tế với 417 tác vụ trên bộ đánh giá AppWorld Test Challenge, các kỹ sư tại IBM Research đã đối mặt với một kết quả kỳ lạ. Mô hình GPT-4.1 với đơn giá token rẻ hơn và số bước suy luận ít hơn lại tiêu tốn đến 155 USD. Trong khi đó, Claude Sonnet 4.6 - vốn cần số bước suy luận nhiều gấp ba lần để hoàn thành cùng một công việc - chỉ tiêu tốn tổng cộng 79 USD.

Kết quả này đi ngược lại hoàn toàn với bảng giá trên giấy của các nhà cung cấp dịch vụ Cloud. Nó cho thấy một thực tế mà giới kỹ sư công nghệ thường bỏ qua: khi chuyển từ việc gọi API LLM thông thường sang vận hành các hệ thống tự trị (AI agent), những công thức tính toán chi phí và vận hành cũ kỹ không còn chính xác. Xây dựng agent thực chất là một bài toán tối ưu hóa hệ thống phức tạp, nơi những yếu tố ẩn thường quyết định sự thành bại của dự án.

Khi bảng giá token trở thành cái bẫy

Nhiều đội ngũ phát triển thường chọn giải pháp định tuyến (routing) để tiết kiệm tiền. Họ dùng một bộ phân loại hoặc các quy tắc heuristics để chuyển việc dễ cho mô hình rẻ tiền, việc khó cho mô hình đắt tiền. Cách làm này nghe rất hợp lý trên lý thuyết nhưng lại vấp ngã ngay trong thực tế vận hành.

Lý do GPT-4.1 ngốn tiền gấp đôi Sonnet 4.6 trong thử nghiệm của IBM Research nằm ở số lần thử lại của agent. Khi thực hiện các tác vụ phức tạp với CodeAct agent, GPT-4.1 thường xuyên đi vào ngõ cụt, phải gọi lại công cụ nhiều lần hoặc tạo ra các đoạn mã lỗi rồi tự sửa. Mỗi lần thử lại như vậy, toàn bộ lịch sử hội thoại trước đó phải được gửi kèm theo. Lượng token đầu vào (input token) bị phình to theo cấp số nhân sau mỗi vòng lặp.

Vì thế, dù đơn giá mỗi token của GPT-4.1 rẻ hơn và số bước suy luận lý thuyết ít hơn, tổng chi phí thực tế lại cao vọt do lượng token tích lũy quá lớn. Ngược lại, Sonnet 4.6 tuy đi chậm hơn, tốn nhiều bước suy luận hơn trong một lượt chạy, nhưng lại giải quyết công việc gãy gọn và ít khi phải lặp lại từ đầu. Chi phí của agent không nằm ở giá của một lần gọi riêng lẻ, mà nằm ở hiệu quả của cả một chuỗi hành động hướng tới mục tiêu cuối cùng.

Công cụ tĩnh cho một bộ não động

Khi xây dựng Shippy - một agent chuyên trách hỗ trợ quyết định trong ngành hàng hải của đội ngũ Skylight thuộc Allen Institute for AI (Ai2) - các kỹ sư nhận ra rằng mô hình ngôn ngữ lớn chỉ là một phần nhỏ của hệ thống. Đối với một nhà phân tích hàng hải, một câu trả lời sai từ AI có thể khiến tàu tuần tra đi chệch hướng hàng trăm hải lý, gây lãng phí nhiên liệu và đặt thủy thủ đoàn vào tình thế nguy hiểm.

Để giải quyết tính bất định của LLM, hệ thống cần được bao bọc bởi các công cụ mang tính định tính (deterministic tools). Khi Shippy trả lời một câu hỏi về vùng đặc quyền kinh tế của Ghana, hệ thống không chỉ đưa ra văn bản. Nó phải liệt kê rõ nguồn dữ liệu ranh giới, thời điểm chốt dữ liệu, thời gian truy vấn, kèm theo một liên kết sâu dẫn thẳng về bản đồ Skylight để người dùng tự kiểm chứng.

+-----------------------------------------------------------------------+
| Kiến trúc cốt lõi của một AI Agent đáng tin cậy                      |
+-----------------------------------------------------------------------+
| 1. Công cụ định tính (Deterministic Tools): Trả về dữ liệu có cấu trúc|
| 2. Môi trường cách ly (Sandbox): Chạy mã code do AI tự sinh an toàn   |
| 3. Hệ thống kiểm chứng (Verification): Cung cấp link gốc, nguồn dữ liệu|
| 4. Đánh giá hệ thống (System Eval): Đo lường kết quả cuối của tác vụ   |
+-----------------------------------------------------------------------+

Thực tế thì, việc để agent tự viết và chạy mã nguồn là cách nhanh nhất để giải quyết các yêu cầu dữ liệu động. Nhưng điều này cũng mở ra những hiểm họa khôn lường. Hệ thống chạy agent bắt buộc phải có môi trường cách ly (sandbox) để cô lập các tiến trình. Nếu không có lớp bảo vệ này, một đoạn mã lỗi do agent tự sinh có thể làm treo hệ thống hoặc tệ hơn là can thiệp vào cơ sở dữ liệu cốt lõi của doanh nghiệp.

Bề mặt tấn công mới từ các tác vụ tự động

Khi chúng ta trao cho agent quyền truy cập internet và sử dụng các công cụ bên thứ ba, ranh giới an toàn của hệ thống lập tức bị phá vỡ. Lỗ hổng bảo mật được phát hiện gần đây trên tính năng web_fetch của Claude là một ví dụ điển hình cho thấy các biện pháp bảo vệ thông thường dễ dàng bị vượt qua như thế nào.

Anthropic đã thiết kế web_fetch rất kỹ để tránh việc rò rỉ dữ liệu. Agent chỉ được phép truy cập các địa chỉ URL do chính người dùng nhập vào hoặc do công cụ tìm kiếm trả về. Cơ chế này chặn đứng các cuộc tấn công trực tiếp kiểu yêu cầu AI nối dữ liệu nhạy cảm vào một URL lạ để gửi ra ngoài.

Tuy nhiên, nhà nghiên cứu bảo mật Ayush Paul đã tìm ra kẽ hở. Công cụ web_fetch vẫn được phép truy cập các liên kết nằm bên trong những trang web mà nó đã tải về trước đó. Kẻ tấn công chỉ cần dựng một trang web bẫy, lừa agent truy cập, sau đó dẫn dụ nó đi qua các liên kết lồng nhau để đọc thông tin nhạy cảm của người dùng - ví dụ như bộ nhớ lịch sử trò chuyện - rồi gửi dần từng ký tự về máy chủ của kẻ tấn công qua các đường link này.

Chính vì bề mặt tấn công của agent ngày càng rộng và khó lường, các phương pháp kiểm thử bảo mật thủ công bằng con người đã không còn bắt kịp tốc độ phát triển. OpenAI phải xây dựng riêng một mô hình chuyên tấn công có tên GPT-Red. Đây là một dạng siêu hacker tự động, liên tục tìm cách phá vỡ hàng rào bảo vệ của các mô hình khác trước khi chúng được xuất xưởng. Nhờ việc cho GPT-Red đối đầu liên tục với phiên bản thử nghiệm, OpenAI mới có thể vá các lỗ hổng nghiêm trọng trên bản GPT-5.6 vừa ra mắt.

Hướng đi thực tế cho kỹ sư Việt Nam

Nếu đang xây dựng các ứng dụng tích hợp AI tại Việt Nam, bạn nên thay đổi tư duy từ “tối ưu câu lệnh” sang “thiết kế kỹ nghệ hệ thống”. Dưới đây là những kinh nghiệm thực tế cần lưu ý để tránh các lỗi vận hành gây tốn kém:

Đừng chọn mô hình chỉ dựa vào bảng giá token trên mỗi triệu ký tự. Hãy thiết lập một bộ dữ liệu kiểm thử gồm các tác vụ thực tế của doanh nghiệp, sau đó chạy thử để tính toán tổng chi phí trung bình trên mỗi tác vụ thành công.
Tách biệt rõ ràng phần xử lý logic của agent và phần thực thi công cụ. Luôn chạy các tác vụ liên quan đến mã nguồn hoặc truy vấn dữ liệu trong các container được cách ly hoàn toàn với hệ thống chính.
Thiết kế hệ thống giám sát chặt chẽ các cuộc gọi công cụ lặp đi lặp lại. Nếu một agent thực hiện quá 5 vòng lặp mà không đưa ra được kết quả, hệ thống cần tự động ngắt kết nối và yêu cầu sự can thiệp của con người để tránh tình trạng tràn chi phí API.
Xây dựng các bộ lọc đầu vào và đầu ra độc lập với mô hình chính. Không nên tin cậy hoàn toàn vào khả năng tự bảo vệ của bản thân LLM, bởi các kỹ thuật tấn công prompt injection liên tục thay đổi và tinh vi hơn mỗi ngày.

Việc đưa AI agent vào vận hành thực tế giống như việc quản lý một nhân sự mới. Bạn không thể chỉ đưa ra chỉ thị rồi mong đợi mọi việc chạy trơn tru. Hệ thống cần có quy trình giám sát, các công cụ hỗ trợ chuẩn xác và một môi trường làm việc đủ an toàn để những sai sót không gây ra hậu quả nghiêm trọng cho doanh nghiệp.