Mô hình AI triển khai nội bộ
So sánh mô hình open-weight, fine-tuned nội bộ và mô hình tự phát triển theo kích thước, inference option, điều kiện input và phạm vi output.
Consulting
Internal AI Model & Service
Performance Testing
Chúng tôi kiểm thử LLM và mô hình AI được xây dựng, vận hành trên hạ tầng của tổ chức, rồi tách bottleneck tại inference server, API nội bộ, serving layer, gateway, queue, proxy và hạ tầng.Mô hình được host bên ngoài và API LLM thương mại bên ngoài không thuộc phạm vi.
Scope
Đo mô hình triển khai nội bộ và đường truyền dịch vụ nội bộ
Chúng tôi đo toàn bộ quá trình mô hình open-weight triển khai nội bộ, mô hình fine-tuned bằng dữ liệu nội bộ và mô hình machine-learning hoặc deep-learning tự phát triển sinh phản hồi trên hạ tầng inference nội bộ rồi truyền đến người dùng.
Đường truyền dịch vụ nội bộ
Tách thời gian model khỏi độ trễ tại inference server, API server nội bộ, inference gateway, serving layer, proxy, queue, connection pool, serialization và client.
Trải nghiệm streaming
Xác nhận phản hồi đầu tiên bắt đầu đúng lúc và các token chunk mới đến không bị ngắt quãng dài, lặp hoặc dừng bất thường.
Metrics
Dùng chỉ số giải thích trải nghiệm và giới hạn hệ thống
Phân tích tương quan thời điểm bắt đầu, hoàn tất, tốc độ sinh, concurrency, lỗi, throughput và xu hướng tài nguyên thay vì chỉ dùng một giá trị trung bình.
TTFT
Thời gian đến token đầu
Thời gian từ lúc gửi request đến khi người dùng nhận response chunk đầu tiên.
E2E
Độ trễ tổng và hoàn tất
Thời gian từ khi bắt đầu request đến khi token cuối đến và response hoàn tất.
Token/s
Tốc độ sinh token
Mức độ ổn định khi mô hình nội bộ và serving layer sinh, truyền token sau khi response bắt đầu.
I/O
Tỷ lệ token input và output
Ảnh hưởng của điều kiện input và lượng output đến latency, chi phí và throughput.
Load
Người dùng đồng thời và throughput
Response time và throughput thay đổi thế nào khi concurrency tăng và khi nào bắt đầu bão hòa.
Risk
Tương quan lỗi và tài nguyên
Liên kết lỗi, timeout với xu hướng CPU, memory, network và mức sử dụng kết nối.
Streaming
Xác nhận mỗi event chỉ gửi token chunk vừa được sinh
Streaming đúng chỉ nối thêm chunk mới.Nếu mỗi event gửi lại toàn bộ câu đã có thay vì chỉ chunk mới, traffic mạng và tải xử lý trên browser có thể tăng khi câu trả lời dài hơn.
Kiểm tra mỗi stream event chỉ chứa token chunk mới
Phát hiện khoảng dừng dài, gián đoạn, sai thứ tự và event trùng
So sánh transfer volume và rendering time có tăng bất thường theo độ dài response hay không
Tách hành vi truyền của server khỏi tải rendering trên browser
Scenarios
Kiểm thử từ baseline đến điểm bão hòa và retest
Tăng tải đồng thời theo từng bước, phân tích response, throughput, lỗi và tài nguyên để xác định vùng ổn định và điểm bão hòa.
Baseline mô hình nội bộ và option
So sánh kích thước mô hình nội bộ, inference và generation option, độ dài input và output để thiết lập baseline có thể lặp lại.
Concurrency theo từng bước
Tăng dần người dùng đồng thời và theo dõi response, throughput, lỗi, tài nguyên ở mỗi bước.
Bão hòa và độ ổn định dài hạn
Tìm phạm vi dịch vụ xử lý ổn định và kiểm tra latency hoặc lỗi có tích lũy dưới tải kéo dài hay không.
Tách bottleneck và retest
Tách các ứng viên mô hình nội bộ, inference server, API nội bộ, serving layer, queue, gateway, proxy, connection pool, serialization và timeout, sau đó so sánh trước và sau trong cùng điều kiện.
Deliverables
Kết nối số đo với cải tiến và quyết định vận hành
Không cam kết một mức hiệu năng cố định.Khuyến nghị dựa trên chẩn đoán thực tế, bằng chứng quan sát và mục tiêu vận hành.
Kế hoạch đo và kịch bản
Ghi lại user flow, mô hình và môi trường inference nội bộ, bước tải, chỉ số quan sát và cách đánh giá thành kế hoạch có thể thực thi.
Báo cáo phân tích hiệu năng
Giải thích response, throughput, lỗi, tài nguyên, vùng ổn định và điểm bão hòa theo kiến trúc dịch vụ.
Ứng viên bottleneck và ưu tiên
Tách ứng viên ở model layer và service layer, rồi đề xuất thứ tự cải tiến dựa trên bằng chứng chẩn đoán.
Retest trước và sau cải tiến
Lặp lại cùng điều kiện sau thay đổi để xác nhận hiệu quả, rủi ro còn lại và tiêu chí vận hành.
Outcomes
Biến nguyên nhân chậm và giới hạn tải thành căn cứ quyết định
Dùng bằng chứng kiểm thử để chọn mô hình và inference option nội bộ, cải tiến serving architecture, capacity planning và tiêu chí monitoring.
Tách nguyên nhân latency cảm nhận
Phân biệt thời gian sinh của mô hình nội bộ và thời gian truyền của dịch vụ nội bộ để chọn layer cần cải tiến trước.
Hỗ trợ quyết định capacity
Dùng vùng ổn định và điểm bão hòa để định hướng mục tiêu concurrency, scaling policy và monitoring.
Xác nhận cải tiến có thể lặp lại
So sánh trước và sau trong cùng điều kiện và tiếp tục với ưu tiên có bằng chứng tiếp theo.
FAQ
Câu hỏi về kiểm thử hiệu năng AI triển khai nội bộ
Phạm vi đo được xác định sau khi xem mô hình nội bộ, kiến trúc inference và dịch vụ, hạ tầng cùng mục tiêu vận hành thực tế.
Những mô hình AI nào thuộc phạm vi kiểm thử?
Phạm vi gồm LLM open-weight triển khai trên hạ tầng nội bộ, mô hình fine-tuned bằng dữ liệu nội bộ, mô hình machine-learning hoặc deep-learning tự phát triển và inference server nội bộ. Mô hình được host bên ngoài và API LLM thương mại bên ngoài không thuộc phạm vi.
Mô hình nội bộ bình thường nhưng dịch vụ AI vẫn chậm được không?
Có. Inference server, API server nội bộ, inference gateway, serving layer, proxy, queue, connection pool, serialization và timeout có thể tạo độ trễ end-to-end, vì vậy cần đo riêng thời gian model và service layer.
Cumulative retransmission trong streaming là gì?
Đó là khi mỗi event gửi lại toàn bộ câu đã có thay vì chỉ token chunk mới. Khi câu trả lời dài hơn, network transfer và tải xử lý browser có thể tăng.
Có thể cam kết số người dùng đồng thời cụ thể không?
Không cam kết một số cố định trước khi đo. Chúng tôi xác định vùng ổn định và điểm bão hòa theo model, kiến trúc, hạ tầng và kịch bản thực tế, sau đó đề xuất tiêu chí vận hành và cải tiến từ kết quả chẩn đoán.
Đo riêng mô hình triển khai nội bộ, inference layer và service layer, sau đó xác định ưu tiên cải tiến và kế hoạch retest từ bằng chứng chẩn đoán.