Chạy Trợ Lý AI Trên Dữ Liệu Công Ty Mà Không Để Dữ Liệu Rời Khỏi Việt Nam

Một công ty đã hoạt động một thập kỷ giữ phần lớn những gì họ biết ở hai nơi: các file không ai mở tới trong nhiều năm, và trong đầu sáu người vẫn trả lời cùng những câu hỏi mỗi tuần. Ai đó đề xuất một trợ lý đọc các file và trả lời các câu hỏi đó. Trong khoảng một ngày, cuộc trò chuyện không còn xoay quanh chất lượng truy xuất nữa mà dừng lại ở một dòng trong phần rà soát pháp lý, hỏi dữ liệu đi đâu vào lúc ai đó hỏi trợ lý một câu.

Tại Việt Nam từ ngày 1 tháng 1 năm 2026, câu đó có một câu trả lời cụ thể, và câu trả lời không phải là vấn đề sở thích. Nghị định 356/2025/NĐ-CP định nghĩa chuyển dữ liệu cá nhân qua biên giới bao gồm chuyển trực tiếp, lưu trữ ngoài lãnh thổ, xử lý trên hạ tầng điện toán đám mây, và xử lý tiếp theo đối với dữ liệu thu thập tại Việt Nam [2][8]. Một câu hỏi gửi tới API mô hình ở nước ngoài, mang theo năm đoạn dữ liệu khách hàng được truy xuất, là một hoạt động chuyển dữ liệu theo định nghĩa đó. Việc này được phép. Nó yêu cầu có sự đồng ý và một bản đánh giá tác động chuyển dữ liệu được lập thành văn bản.

Vậy quyết định có ba câu trả lời, và thứ tự ưu tiên giữa chúng thay đổi mỗi tháng trong khi cấu trúc vẫn giữ nguyên. Giá mô hình giảm hai lần trong hai tuần đầu tháng 8 năm 2026. Trọng số mã nguồn mở với năng lực gần ngang hàng frontier ra mắt dưới giấy phép MIT vào ngày 31 tháng 7. Giá thuê GPU đang giảm dần khi lượng H200 về nhiều hơn. Không điều gì trong số đó thay đổi ba lộ trình đang tồn tại, những gì mỗi lộ trình kích hoạt về mặt pháp lý, hoặc công thức cho biết lộ trình nào rẻ hơn ở khối lượng của bạn. Bài viết này đưa ra công thức, tính toán chi tiết cho một tháng với giá thực, tính khối lượng hòa vốn, rồi cho thấy một công ty Việt Nam thực tế đang cách điểm đó bao xa.

Kết quả ngắn gọn, trước khi vào phần tính toán: ở khối lượng mà một công ty một trăm người tạo ra, chi phí mô hình khoảng một triệu đồng Việt Nam mỗi tháng, và việc tự vận hành hạ tầng vì lý do chi phí lệch pha 155 lần. Lý do để giữ việc xử lý bên trong Việt Nam là pháp lý, không phải kinh tế. Nhầm lẫn hai điều này sẽ tạo ra một hóa đơn GPU mà không gì biện minh được.

Tôi là kỹ sư, không phải luật sư. Mọi thứ dưới đây đều trích dẫn nghị định hoặc điều khoản mà nó dựa vào để bạn có thể đưa cho luật sư kiểm tra cách đọc của tôi, chứ không phải chỉ tin theo.

Luật đặt ra ranh giới

Bốn văn bản áp dụng, và hầu hết các thảo luận về chủ đề này chỉ nêu tên văn bản đầu tiên.

Ba hệ quả kéo theo, và đây là những hệ quả quyết định kiến trúc.

Xử lý trên cloud được coi là chuyển dữ liệu. Lỗi thiết kế phổ biến nhất là coi một lời gọi API không lưu trạng thái khác với việc chuyển cả cơ sở dữ liệu ra nước ngoài. Nghị định 356 không vạch ra ranh giới đó. Nếu một đoạn văn được truy xuất chứa tên khách hàng và lịch sử mua hàng được gửi tới một điểm cuối mô hình tại Singapore hay Oregon, việc chuyển dữ liệu đã xảy ra, bất kể có gì được viết vào đĩa ở đầu bên kia hay không. Nghĩa vụ gắn với việc xử lý, không gắn với việc lưu trữ lâu dài.

Tài khoản đứng tên ai không quan trọng. Việc dựng mô hình đứng sau một tài khoản cloud mang tên chính khách hàng là hữu ích thật: nó xác định ai ký hợp đồng với nhà cung cấp, ai giữ khóa, và ai có quyền thu hồi quyền truy cập. Nhưng nó không giải quyết được vấn đề vị trí. Nếu vùng (region) là ap-southeast-1 tại Singapore, dữ liệu đã rời Việt Nam. Vị trí là thước đo, và tên trên hóa đơn không phải.

Một trợ lý công khai có khả năng thuộc mức rủi ro trung bình, và điều đó nghĩa là công bố thông tin, không phải cư trú dữ liệu. Mức trung bình của Luật AI bao gồm các hệ thống có thể ảnh hưởng hoặc gây hiểu lầm cho người dùng vì họ không thể nhận biết rằng mình đang tương tác với AI hoặc với nội dung do AI tạo ra [3][10]. Một trợ lý hướng tới khách hàng trên website công ty khớp với mô tả đó. Nghĩa vụ kéo theo là báo cho người dùng biết họ đang nói chuyện với một máy, việc này rẻ. Đây là một câu hỏi khác với việc dữ liệu được xử lý ở đâu, và việc nhầm lẫn hai câu hỏi này là cách một dự án tự mua về một chiếc GPU mà nó không cần. Nếu công ty hoạt động trong một trong sáu lĩnh vực được nêu tại Quyết định 33/2026, phân tích sẽ thay đổi đáng kể và nên bắt đầu từ luật sư trước khi vẽ sơ đồ kiến trúc [5][9].

Ba lộ trình, và dữ liệu nằm ở đâu

Lộ trình C là lộ trình duy nhất loại bỏ hoàn toàn câu hỏi về chuyển dữ liệu, và nó cũng là lộ trình duy nhất giao cho bạn một gánh vận hành không bao giờ biến mất. Đó là toàn bộ sự đánh đổi. Các cột chi phí ở trên là lý do quyết định này thường được giải quyết theo cách khác với điều hầu hết người ta nghĩ, nên phần tính toán sẽ tiếp theo sau.

Chi phí của một tháng câu hỏi

Chi phí mô hình hàng tháng là tích của bốn đại lượng, không hơn không kém:

C(Q) = Q × (T_in × P_in + T_out × P_out) / 1,000,000

C(Q)   chi tiêu mô hình hàng tháng, USD
Q      số câu hỏi được trả lời trong tháng
T_in   token đầu vào mỗi câu hỏi
T_out  token đầu ra mỗi câu hỏi
P_in   giá nhà cung cấp trên mỗi triệu token đầu vào, USD
P_out  giá nhà cung cấp trên mỗi triệu token đầu ra, USD

T_in được phân tách chi tiết hơn, và đây là chỗ hầu hết các ước tính chi phí sai. Một trợ lý dẫn nguồn không chỉ gửi một câu hỏi trơn. Nó gửi kèm hướng dẫn, các đoạn văn được truy xuất, và câu hỏi:

T_in = S + R + U

S   system prompt: phạm vi trả lời, định dạng trích dẫn, chính sách từ chối
R   ngữ cảnh truy xuất: k đoạn văn × số token mỗi đoạn
U   câu hỏi của người dùng

Lấy ví dụ một trợ lý có dẫn nguồn thực sự với chính sách từ chối thực sự, truy xuất năm đoạn văn khoảng 800 token mỗi đoạn, trả lời kèm một dòng nguồn:

Các đoạn văn được truy xuất chiếm 82% đầu vào. Bất kỳ ước tính chi phí nào suy luận từ độ dài câu hỏi đều sai lệch khoảng sáu lần.

Một tháng tính toán chi tiết

Claude Sonnet 5 với giá 2,00 đô la đầu vào và 10,00 đô la đầu ra trên mỗi triệu token [11], với 3.000 câu hỏi trong tháng:

đầu vào:  3.000 × 4.860 = 14.580.000 token = 14,580M × $2,00  = $29,16
đầu ra:   3.000 ×   400 =  1.200.000 token =  1,200M × $10,00 = $12,00
                                                         tổng  = $41,16

Ở tỷ giá 26.000 VND một đô la, đó là 1.070.160 VND mỗi tháng. Khoảng một triệu đồng, cho mô hình, cho một công ty một trăm người.

Cùng một tháng qua mười mô hình

Chi phí mỗi câu hỏi là (4.860 × P_in + 400 × P_out) / 1.000.000, nên bảng này tỷ lệ tuyến tính theo Q. Giá được xác minh ngày 18 tháng 8 năm 2026 [11][12][14].

Tám mươi bảy lần chênh lệch giữa dòng rẻ nhất và dòng đắt nhất, cho cùng một khối lượng công việc. Khoảng chênh này lớn hơn bất kỳ quyết định nào bạn sẽ đưa ra về cách chia đoạn khi truy xuất.

Cache lấy lại khoảng một phần ba

System prompt không bao giờ thay đổi, và trong một tập tài liệu có phần đuôi dài, một số đoạn văn được truy xuất nhiều hơn hẳn các đoạn khác. Anthropic tính phí đọc cache ở mức 10% giá đầu vào cơ bản. Giả sử 2.800 trong 4.860 token đầu vào có thể cache ổn định, nên đầu vào hiệu dụng mỗi câu hỏi trở thành 2.800 × 0,10 + 2.060 = 2.340 token:

Hai lưu ý thành thật. Việc ghi vào cache tính phí cao hơn giá cơ bản, nên khoản tiết kiệm chỉ hiện thực hóa khi phần prefix được truy cập nhiều lần trước khi hết hạn. Và cache có thời gian sống ngắn, nghĩa là một trợ lý nội bộ lưu lượng thấp có thể phải trả tiền ghi cache mà không bao giờ khấu hao được. Ở 3.000 câu hỏi một tháng rải đều trong giờ làm việc, hãy kỳ vọng nằm giữa hai cột hơn là ở cột bên phải.

Các khối lượng xảy ra trong thực tế

Một trợ lý nội bộ cho công ty một trăm người tốn ít hơn tiền điện của văn phòng nơi nó đặt trong đó mỗi tháng. Phần đắt của các dự án này chưa bao giờ là mô hình. Đó là việc làm sạch tài liệu, và viết ra những gì trợ lý bị cấm trả lời.

Lộ trình nào thắng ở đâu

Khối lượng hòa vốn là điểm nơi một hóa đơn phần cứng cố định hàng tháng bằng một hóa đơn API tuyến tính theo câu hỏi:

Q* = C_self / c_api

Q*      số câu hỏi hòa vốn mỗi tháng
C_self  chi phí cố định hàng tháng của lộ trình tự vận hành, USD
c_api   chi phí API mỗi câu hỏi = (T_in × P_in + T_out × P_out) / 1.000.000

C_self phải là con số đã tính đủ mọi khoản, nếu không phép so sánh sẽ không trung thực. Một H100 SXM trên RunPod ở giá 2,69 đô la mỗi giờ là 1.936,80 đô la cho một tháng 720 giờ [16]. Một hệ thống vận hành thực tế cần thêm một máy dự phòng, và khoảng một phần tư thời gian của một kỹ sư hạ tầng. Ở mức lương gộp 40.000.000 VND mỗi tháng cho một kỹ sư hạ tầng Việt Nam trình độ trung, một phần tư đó là khoảng 385 đô la:

C_self = 2 × $1.936,80 + 0,25 × ($40.000.000 / 26.000)
       = $3.873,60 + $384,62
       = $4.258,22 mỗi tháng   (110.713.600 VND)

Rồi Q* so với từng giá API:

Một công ty một trăm người tạo ra khoảng 2.000 câu hỏi một tháng. Điểm hòa vốn là 310.366. Khoảng cách là hệ số 155.

Dòng DeepSeek đáng được nhìn kỹ hơn, vì đây là dòng kết thúc cuộc tranh luận. DeepSeek công bố trọng số V4-Flash dưới giấy phép MIT và cũng phục vụ chính mô hình đó qua API của mình ở giá 0,14 đô la đầu vào và 0,28 đô la đầu ra [14]. Tự vận hành các trọng số đó không thắng việc trả tiền cho DeepSeek phục vụ chúng cho đến 5,4 triệu câu hỏi một tháng. Bất kỳ ai vận hành mô hình ở quy mô lớn đều khấu hao phần cứng qua mọi khách hàng, và một công ty đơn lẻ không thể so được với điều đó chỉ dựa vào lưu lượng của một khách thuê.

Dung lượng xử lý xác nhận điều tương tự từ hướng khác. Một H100 chạy Llama 3.3 70B ở FP8 duy trì được 1.850 đến 2.400 token đầu ra mỗi giây ở 50 đến 100 yêu cầu đồng thời dưới vLLM [17]. Ở 400 token đầu ra mỗi câu trả lời, mức thấp của khoảng đó là khoảng 12 triệu câu hỏi một tháng nếu GPU không bao giờ nhàn rỗi. Ở mức sử dụng thực tế trung bình 15%, đó là 1,8 triệu. Một GPU thuê duy nhất đủ cho hầu hết mọi doanh nghiệp Việt Nam, chính vì vậy nó thường tồn tại phần lớn thời gian trong tình trạng được trả tiền mà không làm gì.

Đường chân trời cam kết, phần mà người ta thường bỏ qua

Trên điểm hòa vốn, tự vận hành thắng ngay hôm nay. Câu hỏi tiếp theo là "hôm nay" kéo dài bao lâu, vì giá API đang giảm còn cam kết phần cứng thì không.

Mô hình hóa giá API giảm theo cấp số nhân mỗi quý:

P(m) = P₀ × (1 − r)^(m/3)

P₀  giá hôm nay mỗi câu hỏi
r   tỷ lệ giảm giá theo phần trăm mỗi quý
m   số tháng kể từ bây giờ

API đạt tới chi phí đơn vị tự vận hành khi P(m) = C_self / Q. Giải ra:

m = 3 × ln( (C_self / Q) / P₀ ) / ln(1 − r)

Ở 500.000 câu hỏi một tháng, chi phí đơn vị tự vận hành là 0,008516 đô la so với 0,01372 đô la của Sonnet 5, một tỷ lệ 0,6207:

Ở 1.000.000 câu hỏi mỗi tháng, các mốc này kéo dài thành 33,3, 15,7, 9,8 và 5,1 tháng.

Hãy đọc bảng này như một ràng buộc lên hợp đồng, không phải lên kiến trúc. Nếu giá giảm 20% mỗi quý, một thỏa thuận phần cứng ở 500.000 câu hỏi mỗi tháng phải hoàn vốn trong vòng sáu tháng mới là quyết định đúng. Điều đó loại trừ máy chủ mua đứt, các instance dành riêng ba năm, và hầu hết hợp đồng đặt máy chủ (colocation). Nó chỉ để lại việc thuê GPU theo tháng, chính là sự sắp xếp có kinh tế đơn vị tệ nhất. Yếu tố bù đắp là một sàn giá: API của chính DeepSeek ở 0,00079 đô la mỗi câu hỏi bằng 9,2% giá của Sonnet 5, và không có tốc độ giảm khả dĩ nào đưa một API frontier xuống dưới mức giá trọng số mở đã công bố của đối thủ trong thời gian ngắn.

r thực tế là bao nhiêu vẫn chưa rõ, và sẽ dễ bị nói quá lên ở đây. Hai sự kiện thực tế nằm trong ba mươi ngày gần nhất. Anthropic đã hủy một đợt tăng giá đã lên kế hoạch cho Sonnet 5 vào ngày 10 tháng 8, giữ mức 2/10 đô la thay vì chuyển sang 3/15 đô la vào ngày 1 tháng 9 [11]. Google ra mắt Gemini 3.7 Flash vào ngày 13 tháng 8 ở giá 0,75 đô la đầu vào, bằng nửa giá trước đó trong cùng dòng sản phẩm, 23 ngày sau phiên bản tiền nhiệm [12][13]. Ngoại suy bước giảm thứ hai đó một cách ngây thơ sẽ suy ra mức giảm 93,6% mỗi quý, một con số không ai nên dùng để lập kế hoạch. Một bước giá giảm một nửa. Giá không giảm một nửa mỗi 23 ngày. Để lập kế hoạch, 20% mỗi quý là hợp lý và 50% là lạc quan.

Ba mươi ngày biến động trong các tham số đầu vào

Mỗi tham số ở các phần trên đều có một ngày cụ thể. Đây là những gì thay đổi giữa ngày 19 tháng 7 và 18 tháng 8 năm 2026, và tham số nào bị ảnh hưởng.

Xu hướng là một điều, và đáng nói rõ vì nó chi phối toàn bộ luận điểm về đường chân trời cam kết. Hai nhà cung cấp trong tám ngày đều chọn giá thay vì lợi nhuận, một bên bằng cách từ bỏ một đợt tăng giá đã định, bên khác bằng cách ra mắt ở nửa giá cũ của chính mình. Suy luận (inference) đang trở thành hàng hóa thông thường. Hãy xây dựng cho điều đó.

Phần phải đúng bất kể chọn lộ trình nào

Việc chọn lộ trình là một câu hỏi pháp lý và tài chính. Việc trợ lý có tốt hay không là một câu hỏi khác, và nó được trả lời giống nhau ở cả ba trường hợp.

Một trợ lý không thể nêu tên tài liệu nó dựa vào thì không thể kiểm tra được, nghĩa là không ai phân biệt được câu trả lời đúng với câu trả lời tự tin. Retrieval-augmented generation (RAG) tồn tại để làm điều đó có thể kiểm tra được: truy xuất các đoạn văn, đưa vào mô hình, yêu cầu câu trả lời trích dẫn chúng [18]. Yêu cầu này không phải trang trí. Đây là cơ chế duy nhất để một chuyên gia trong lĩnh vực kiểm tra hệ thống nhanh hơn thời gian tự trả lời câu hỏi đó.

Hai điều kiện phía khách hàng quyết định dự án thành hay bại, và không điều nào thuộc về kỹ thuật.

Phải có người thẩm định được độ đúng. Với bất kỳ trợ lý nào trên kiến thức chuyên môn, câu trả lời trông hợp lý với tất cả mọi người trừ số ít người thực sự hiểu lĩnh vực đó. Nếu những người đó không tham gia vào việc xây dựng, sẽ không ai nhận ra hệ thống sai cho đến khi một khách hàng phát hiện ra. Đây là một cam kết về nhân sự, không phải một buổi họp rà soát.

Phải có người viết ra những gì trợ lý không được trả lời. Giá cả, giải thích pháp lý, liều lượng, phạm vi bảo hành, bất cứ điều gì có ràng buộc trách nhiệm. Danh sách này thuộc về system prompt và bộ đánh giá, và nó phải có mặt trước khi ra mắt. Một trợ lý không có chính sách từ chối sẽ trả lời câu hỏi về giá bằng cách bịa ra một mức giá.

Không trợ lý nào trả lời đúng mọi lần, và bất kỳ đề xuất nào ngụ ý điều đó đang mô tả một thứ không tồn tại. Mục tiêu có thể đo lường là một độ chính xác được công bố trên một tập câu hỏi thực tế cố định, kèm một lộ trình từ chối cho mọi thứ ngoài phạm vi, và một trích dẫn trên mỗi câu trả lời để một câu trả lời sai có thể được lần về đúng đoạn văn gây ra nó.

Cách thiết lập

Bốn phần, theo thứ tự nên xây dựng. Mục đích của cách sắp xếp này là để lộ trình trở thành một giá trị cấu hình thay vì một cam kết kiến trúc, để khi giá thay đổi lần nữa bạn chỉ cần đổi một dòng thay vì đổi cả hệ thống.

Lớp trừu tượng nhà cung cấp, để lộ trình là một dòng config

LiteLLM proxy hơn một trăm nhà cung cấp mô hình đứng sau một điểm cuối tương thích OpenAI, theo dõi chi tiêu trên từng yêu cầu, và chạy tự lưu trữ (self-hosted) không tốn phí bản quyền. Bản enterprise của nó có giá riêng nếu bạn cần SSO và ghi log kiểm toán.

pip install 'litellm[proxy]'

# litellm.config.yaml
model_list:
  - model_name: assistant          # tên duy nhất mà ứng dụng của bạn biết
    litellm_params:
      model: anthropic/claude-sonnet-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: assistant-cheap
    litellm_params:
      model: gemini/gemini-3.7-flash
      api_key: os.environ/GEMINI_API_KEY
  - model_name: assistant-local    # lộ trình C, không có dữ liệu rời khỏi máy chủ
    litellm_params:
      model: openai/Qwen/Qwen3.8-27B
      api_base: http://gpu-host.internal:8000/v1
      api_key: none

litellm_settings:
  success_callback: ["prometheus"]  # theo dõi token và chi phí trên từng yêu cầu
  cache: true

litellm --config litellm.config.yaml --port 4000

Ứng dụng của bạn gọi tới assistant. Đổi lộ trình chỉ là sửa một dòng YAML, và việc so sánh chi phí như-với-như giữa các lộ trình trở thành một truy vấn vào chính số liệu của bạn thay vì một cuộc tranh luận.

Truy xuất trả về trích dẫn, không phải một khối văn bản

Nếu tài liệu của bạn đã ở trong Postgres, pgvector tránh việc phải thêm một datastore thứ hai và giữ mọi thứ trong cùng một ranh giới backup và kiểm soát truy cập. Qdrant Cloud là phương án quản lý thay thế, miễn phí đến 1 GB và có giá trả phí từ khoảng 25 đô la mỗi tháng cho một cluster nhỏ.

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE passages (
  id          bigserial PRIMARY KEY,
  doc_id      text NOT NULL,
  doc_title   text NOT NULL,
  page        int,
  updated_at  date NOT NULL,          -- để câu trả lời có thể nói nguồn cũ đến mức nào
  body        text NOT NULL,
  embedding   vector(1024)
);

CREATE INDEX ON passages USING hnsw (embedding vector_cosine_ops);

Mang doc_id, doc_title, page và updated_at xuyên suốt tới prompt, và yêu cầu mô hình xuất ra chúng. Một câu trả lời trích dẫn "Sổ tay Sản phẩm, tr. 44, cập nhật 2024-03-11" có thể kiểm tra trong ba mươi giây. Một câu trả lời không có trích dẫn thì hoàn toàn không thể kiểm tra.

Theo dõi chi phí từ yêu cầu đầu tiên

Bạn không thể đàm phán một khoản phí hàng tháng cho thứ bạn chưa từng đo, và đây là chỗ hầu hết dự án phát hiện giả định T_in của họ sai. Ghi log bốn trường trên mỗi yêu cầu: token đầu vào, token đầu vào từ cache, token đầu ra, và tên mô hình. Nhân với bảng giá mỗi đêm. Anthropic trả về số liệu cache khi bạn đánh dấu một prefix có thể cache:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5",
    "max_tokens": 600,
    "system": [
      {"type": "text",
       "text": "<phạm vi trả lời, định dạng trích dẫn, danh sách từ chối>",
       "cache_control": {"type": "ephemeral"}}
    ],
    "messages": [{"role": "user", "content": "<đoạn văn được truy xuất>\n\n<câu hỏi>"}]
  }' | jq '.usage'

Đối tượng usage báo cáo cache_creation_input_tokens và cache_read_input_tokens riêng biệt. Theo dõi tỷ lệ giữa hai số này trong một tuần và bạn sẽ biết mình đang ở cột nào trong bảng cache.

Một bộ đánh giá bằng câu hỏi thực tế của riêng bạn

Các benchmark công khai không cho bạn biết trợ lý có hoạt động trên tập tài liệu của bạn hay không, và đến giữa năm 2026 chúng có thêm một vấn đề thứ hai: OpenAI đã ngừng dùng SWE-bench Verified vào tháng 2 vì lo ngại về nhiễm dữ liệu (contamination), và hầu hết điểm số đang lưu hành là do nhà cung cấp tự báo cáo. Thu thập 100 đến 200 câu hỏi mà mọi người đã thực sự hỏi, kèm câu trả lời được chuyên gia trong lĩnh vực của bạn phê duyệt, và chạy trên mỗi lần thay đổi. promptfoo là mã nguồn mở và đọc một file YAML đơn giản.

npx promptfoo@latest init

# promptfooconfig.yaml
providers:
  - id: http://localhost:4000/v1/chat/completions   # qua LiteLLM, để mọi lộ trình đều test được
    config: { model: assistant }
tests:
  - vars:
      question: "Sản phẩm X chứa hoạt chất gì, ở nồng độ bao nhiêu?"
    assert:
      - type: contains
        value: "18.5%"
      - type: contains-any                          # trích dẫn phải có mặt
        value: ["Product Handbook", "Technical Datasheet"]
  - vars:
      question: "Đơn hàng 200 sản phẩm được giảm giá bao nhiêu?"
    assert:
      - type: llm-rubric
        value: "Từ chối báo giá và chuyển người dùng tới nhân viên bán hàng."

Bài test thứ hai quan trọng hơn bài test thứ nhất. Đó là chính sách từ chối, thể hiện dưới dạng thứ mà một lần build có thể thất bại vào.

Lộ trình C, nếu bạn thực sự trên điểm hòa vốn

vLLM phục vụ trọng số mở với một API tương thích OpenAI, đó là lý do nó có thể chèn thẳng vào cùng một config LiteLLM.

pip install vllm

vllm serve Qwen/Qwen3.8-27B \
  --quantization fp8 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90 \
  --port 8000

Server đó, trên một H100 SXM thuê ở giá 2,69 đô la mỗi giờ, chính là dòng 1.936,80 đô la mỗi tháng trong bảng lộ trình. Hai server như vậy cộng một phần tư thời gian một kỹ sư là 4.258,22 đô la, cho ra điểm hòa vốn 310.366 câu hỏi một tháng. Trước khi trang bị bất kỳ cái nào, hãy đo Q trong một tháng trên lộ trình A. Việc đo đó tốn khoảng 41 đô la và giải quyết câu hỏi.

Ba quy mô của cùng một quyết định

Công ty mười người không có dữ liệu cá nhân trong tập tài liệu. Lộ trình A, mô hình khả dụng rẻ nhất, và dừng lại. Sổ tay nội bộ, thông số kỹ thuật, và tài liệu quy trình không chứa dữ liệu cá nhân không kích hoạt Nghị định 356 chút nào, vì không có dữ liệu cá nhân để chuyển. Kỳ vọng 3 đến 15 đô la một tháng ở giá Gemini 3.7 Flash. Làm hai việc không thể bỏ qua: nêu tên người thẩm định câu trả lời, và viết danh sách từ chối. Không xây dựng cơ sở dữ liệu vector ở tuần đầu tiên; một trăm tài liệu vừa trong một cửa sổ ngữ cảnh dài, và việc truy xuất trở nên đáng thêm vào khi tập tài liệu không còn vừa nữa.

Công ty một trăm người, nhiều địa điểm, có dữ liệu khách hàng trong phạm vi. Lộ trình B với vùng Việt Nam hoặc vùng do khách hàng kiểm soát, hoặc lộ trình A với giấy tờ chuyển dữ liệu được làm đúng. Dự trù 27 đến 41 đô la một tháng cho mô hình ở khối lượng nội bộ, cộng một hạng mục không ai dự báo: làm sạch tài liệu. Chuẩn bị ngôn ngữ đồng ý và bản đánh giá tác động chuyển dữ liệu trước khi thử nghiệm thí điểm, vì đây là bước làm chậm việc ra mắt, không phải chất lượng truy xuất. Đo Q từ ngày đầu. Nếu có một trợ lý hướng tới công chúng trong phạm vi, thêm thông báo công bố AI theo yêu cầu ở mức rủi ro trung bình [3][10]. Ở quy mô này, tự vận hành hạ tầng đến sớm 155 lần.

Doanh nghiệp trong một lĩnh vực được Quyết định 33/2026 nêu tên. Ngân hàng, y tế, giáo dục, giao thông, dân tộc và tôn giáo, và tố tụng tư pháp được liệt kê trong 46 hệ thống rủi ro cao [5][9], và các nghĩa vụ ở mức đó không được thỏa mãn bằng một lựa chọn kiến trúc. Bắt đầu từ luật sư, rồi mới thiết kế. Lộ trình C không còn là câu hỏi chi phí mà trở thành câu hỏi kiểm soát: xử lý trong nước loại bỏ hoàn toàn phân tích chuyển dữ liệu, điều này đáng để trả tiền khi phương án thay thế là một đánh giá riêng cho từng trường hợp sử dụng. Ngay ở đây, cũng đừng mua phần cứng. Thuê trong nước, giữ mô hình đứng sau một lớp trừu tượng nhà cung cấp, và đánh giá lại theo quý, vì bảng đường chân trời cam kết cho thấy một khoản mua đứt phải hoàn vốn trong dưới một năm để sống sót qua đà giảm giá. FPT AI Factory và Viettel đều vận hành dung lượng GPU trong nước và báo giá theo yêu cầu; hãy lấy báo giá bằng văn bản và so sánh với con số 4.258 đô la đã tính đủ ở trên thay vì so với một mức giá giờ được quảng cáo.

Một khung quyết định

Giới hạn của các chứng cứ ở đây

Những phần dễ sai nhất trong bài này, được nêu ra để bạn kiểm tra thay vì chỉ tin.

Cách đọc pháp lý, không phải tư vấn pháp lý. Tôi đã trích dẫn nghị định và điều khoản đứng sau mỗi luận điểm, và tôi đọc chúng với góc nhìn kỹ sư. Phạm vi của "xử lý trên hạ tầng điện toán đám mây" trong Nghị định 356 rộng theo câu chữ và tôi chưa tìm thấy hướng dẫn thực thi công khai nào thu hẹp nó lại. Việc một phân loại rủi ro trung bình cụ thể có gắn với một trợ lý cụ thể hay không là quyết định thuộc về luật sư, và cách tôi đọc mức trung bình của Luật AI như bao gồm các trợ lý website thông thường là suy luận từ ngôn ngữ luật, không phải một vị trí đã được xác định.

Hình dạng token là một giả định, và nó chi phối toàn bộ phép tính. 4.860 token đầu vào đến từ việc truy xuất năm đoạn văn ở 800 token mỗi đoạn, một cấu hình phổ biến nhưng không phải phổ quát. Truy xuất mười đoạn và mọi chi phí trong bài này sẽ gấp đôi. Hãy đo con số của riêng bạn trước khi báo một con số hàng tháng cho ai.

Giá cả suy giảm và bài viết này không suy giảm theo. Mọi mức giá ở đây được xác minh ngày 18 tháng 8 năm 2026 theo giá công bố của nhà cung cấp. Gemini 3.7 Flash có một đợt tăng gấp đôi đã định vào ngày 1 tháng 1 năm 2027 [12]. Hai mức giá thay đổi trong tám ngày trước khi xuất bản. Hãy coi các bảng này là một phương pháp có giá trị tính toán mẫu, không phải một bảng giá hiện tại.

Giá trị r trong mô hình hoàn vốn chưa được đo. Tôi đưa ra bốn tình huống và một con số lập kế hoạch hợp lý thay vì một giá trị được ước lượng, vì hai sự kiện giá trong một tháng không đủ để hỗ trợ một tỷ lệ suy giảm. Việc quy đổi ngây thơ bước giảm của Gemini ra 93,6% mỗi quý là điều tôi chủ động không dùng.

Thông lượng là từ một benchmark bên thứ ba duy nhất. Con số 1.850 đến 2.400 token đầu ra mỗi giây đến từ một so sánh có phiên bản cụ thể trên Llama 3.3 70B FP8 [17], không phải từ đo lường của riêng tôi, và thông lượng trên mô hình của bạn ở mức đồng thời và độ dài ngữ cảnh của bạn sẽ khác. Nó ảnh hưởng đến luận điểm về dung lượng, không ảnh hưởng đến phép tính hòa vốn, vốn dựa trên giá thuê hơn là tốc độ.

Điểm benchmark hầu hết do nhà cung cấp tự báo cáo. Chỉ số của Artificial Analysis [15] là độc lập; các con số SWE-bench đang lưu hành cho mọi mô hình trong bảng trên phần lớn không độc lập, và benchmark này đã bị một trong những người dùng nổi bật nhất của nó ngừng sử dụng vào tháng 2 năm 2026 vì lo ngại nhiễm dữ liệu. Không điều gì trong khung quyết định của bài viết này phụ thuộc vào một bảng xếp hạng, điều này là có chủ đích.

Chưa được xác minh. Giá GPU trong nước từ FPT AI Factory và Viettel, mà tôi đã nêu tên không kèm mức giá vì không xác nhận được con số công khai hiện hành. Việc vùng hyperscaler Việt Nam nào đó có thỏa mãn một cơ quan quản lý cụ thể hay không, điều này phụ thuộc vào từng trường hợp cụ thể. Và tỷ lệ áp dụng thực tế của trợ lý AI trong các doanh nghiệp Việt Nam, mà tôi không tìm được con số đáng tin cậy nào.

Tài liệu tham khảo

1. Quốc hội Việt Nam. "Luật Bảo vệ Dữ liệu Cá nhân số 91/2025/QH15." 2025. Có hiệu lực 1 tháng 1 năm 2026; nâng bảo vệ dữ liệu cá nhân lên cấp luật.
2. Chính phủ Việt Nam. "Nghị định số 356/2025/NĐ-CP về Bảo vệ Dữ liệu Cá nhân." 31 tháng 12 năm 2025. Triển khai Luật 91/2025; định nghĩa chuyển dữ liệu qua biên giới bao gồm xử lý trên cloud.
3. Quốc hội Việt Nam. "Luật Trí tuệ Nhân tạo số 134/2025/QH15." 2025. Có hiệu lực 1 tháng 3 năm 2026; thiết lập khung ba mức rủi ro.
4. Chính phủ Việt Nam. "Nghị định số 142/2026/NĐ-CP hướng dẫn Luật Trí tuệ Nhân tạo." 30 tháng 4 năm 2026. Tám chương, 46 điều; sandbox AI và mã định danh hệ thống.
5. Thủ tướng Chính phủ Việt Nam. "Quyết định số 33/2026/QĐ-TTg về danh mục hệ thống trí tuệ nhân tạo rủi ro cao." 30 tháng 6 năm 2026. Liệt kê 46 hệ thống trong sáu lĩnh vực.
6. Chính phủ Việt Nam. "Nghị định số 53/2022/NĐ-CP hướng dẫn Luật An ninh mạng." 2022. Nghĩa vụ lưu trữ dữ liệu trong nước đối với các nhà cung cấp dịch vụ không gian mạng.
7. DLA Piper. "Data Protection Laws of the World: Vietnam." 2026. Tổng hợp cơ chế hậu-Luật-91.
8. Vietnam Briefing. "Vietnam's Personal Data Protection Regulation: Decree 356." 2026. Cách đọc thực hành về phạm vi chuyển dữ liệu qua biên giới.
9. Vietnam Briefing. "46 High-Risk AI Systems to Face Enhanced Regulatory Oversight in Vietnam." 2026. Phân loại lĩnh vực của Quyết định 33/2026.
10. VCI Legal. "Vietnam's New AI Decree 142: What Businesses Should Know." 2026. Cấu trúc các mức rủi ro và lộ trình đăng ký của Luật AI.
11. Anthropic. "Claude API Pricing." claude.com, truy cập 18 tháng 8 năm 2026. Bảng giá Opus 5, Sonnet 5, Fable 5, Haiku 4.5; việc cố định giá Sonnet 5 được công bố ngày 10 tháng 8 năm 2026.
12. Google. "Gemini API Pricing and Changelog." truy cập 18 tháng 8 năm 2026. Giá ra mắt và giá sau ra mắt của Gemini 3.7 Flash.
13. VentureBeat. "Google ships Gemini 3.7 Flash." 13 tháng 8 năm 2026. Ngày ra mắt và định vị so với thế hệ Flash trước.
14. DeepSeek. "DeepSeek-V4-Flash-0731 model card and API pricing." Hugging Face và deepseek.com, 31 tháng 7 năm 2026. Giấy phép MIT, mixture-of-experts 284B với 13B hoạt động, ngữ cảnh 1M, giá 0,14/0,28 đô la.
15. Artificial Analysis. "Intelligence Index." 2026. Chấm điểm độc lập xếp V4-Flash thứ ba trong 101 mô hình trọng số mở cùng lớp.
16. ComputePrices. "RunPod vs Lambda GPU pricing comparison." cập nhật 15 tháng 8 năm 2026. Giá thuê theo giờ H100 và H200.
17. Mark AI Code. "CUDA H100 benchmark: vLLM v0.18.0 versus TensorRT-LLM v1.2.0 on Llama 3.3 70B FP8." 2026. Thông lượng đầu ra ở 50 đến 100 yêu cầu đồng thời, và thời gian dựng engine.
18. Lewis, P. et al. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks." NeurIPS, 2020. arXiv:2005.11401. Mẫu hình dẫn nguồn mà mọi lộ trình trong bài viết này phụ thuộc vào.
19. Yahoo Finance. "OpenAI cuts GPT-5.6 Luna pricing." tháng 8 năm 2026. Báo cáo mức giảm 80%; một nguồn thứ cấp duy nhất.
20. Fortune, dẫn PitchBook. "87.5% of US venture dollars went to AI." 12 tháng 8 năm 2026. Sự tập trung vốn đứng sau cạnh tranh giá liên tục.
21. Morph. "SWE-bench Pro and the contamination problem." 2026. Ghi lại việc OpenAI ngừng dùng SWE-bench Verified vào tháng 2 năm 2026.

Nguồn: Văn bản pháp luật Việt Nam qua thuvienphapluat.vn và các bản tổng hợp thực hành đã trích dẫn ở trên; giá mô hình được xác minh theo trang giá của nhà cung cấp ngày 18 tháng 8 năm 2026; giá thuê GPU từ ComputePrices, cập nhật 10 đến 15 tháng 8 năm 2026; mọi số liệu chi phí, hòa vốn và hoàn vốn được tính toán và đối chiếu chéo trong một script kiểm tra trước khi xuất bản.

Cập nhật lần cuối: 18 tháng 8, 2026