内部部署 AI 模型
按模型规模、推理选项、输入条件和输出范围，比较开放权重、内部微调和自主开发模型。
Consulting
Internal AI Model & Service
Performance Testing
面向组织在内部基础设施上构建和运行的 LLM 与 AI 模型，分离内部推理服务器、API、服务层、网关、队列、代理和基础设施中的瓶颈。外部托管模型和外部商业 LLM API 不在范围内。
Scope
同时测量内部部署模型和内部服务路径
测量开放权重模型的内部部署、基于内部数据微调的模型、自主开发的机器学习或深度学习模型在内部推理基础设施上生成响应并传递给用户的全过程。
内部服务路径
分离模型时间与内部推理服务器、API 服务器、推理网关、服务层、代理、队列、连接池、序列化和客户端产生的延迟。
流式用户体验
确认首个响应及时开始，新的 token 片段能够无长时间中断、重复或异常停止地到达。
Metrics
使用能够说明用户体验和系统上限的指标
不依赖单一平均值，而是关联分析开始、完成、生成速度、并发、错误、吞吐量和资源趋势。
TTFT
首个 token 到达时间
从请求发出到用户收到第一个响应片段的时间。
E2E
总延迟与完成时间
从请求开始到最终 token 到达并完成响应的时间。
Token/s
Token 生成速度
内部模型和服务层在响应开始后是否稳定生成和传输 token。
I/O
输入与输出 token 比
输入条件和输出量对延迟、成本和吞吐量的影响。
Load
并发用户与吞吐量
并发增加时响应时间和吞吐量如何变化，以及何处开始饱和。
Risk
错误与资源关联
将错误和超时与 CPU、内存、网络和连接使用趋势关联分析。
Streaming
确认每个事件只发送新生成的 token 片段
正常流式响应只追加新片段。如果每个事件不是发送新片段，而是重复发送当前完整句子，回答越长，网络传输和浏览器处理负担可能越大。
确认每个流事件只包含新生成的 token 片段
检查长间隔、中断、顺序错误和重复事件
比较传输量和渲染时间是否随回答长度异常增加
分离服务器传输方式和浏览器渲染负担
Scenarios
从基线到饱和点和改善后复测分阶段验证
分阶段提高并发负载，结合响应、吞吐量、错误和资源趋势识别稳定区间与饱和点。
内部模型与选项基线
比较内部部署模型的规模、推理与生成选项、输入长度和输出长度，建立可复现基线。
分阶段并发
逐步增加并发用户，观察各阶段的响应、吞吐量、错误和资源趋势。
饱和与持续稳定性
确认服务可稳定承载的范围，并检查持续负载下延迟和错误是否累积。
瓶颈分离与复测
分离内部模型、推理服务器、内部 API、服务层、队列、网关、代理、连接池、序列化和超时候选，并在相同条件下比较改善前后。
Deliverables
将测量结果连接到改善和运营决策
不承诺固定性能，依据实际诊断、观察证据和运营目标提出建议。
测量计划与场景
将用户流程、内部模型与推理环境、负载阶段、观察指标和判定方法整理为可执行计划。
性能分析报告
结合服务结构说明响应、吞吐量、错误、资源趋势、稳定区间和饱和点。
瓶颈候选与优先级
区分模型层与服务层候选，并依据诊断证据建议改善顺序。
改善前后复测
在相同条件下复测，确认改善效果、剩余风险和运营标准。
Outcomes
将延迟原因和容量上限转化为决策依据
将测试证据用于内部模型与推理选项选择、服务结构改善、容量规划和监控标准。
区分用户感知延迟
分离内部模型生成时间和内部服务传输时间，判断应优先改善的层。
支持容量决策
用稳定区间和饱和点指导并发目标、扩展策略和监控标准。
可复现地验证改善
在相同条件下比较改善前后，并继续处理下一项证据明确的优先问题。
FAQ
内部部署 AI 性能测试常见问题
根据实际内部模型、推理与服务结构、基础设施和运营目标确定测量范围。
哪些 AI 模型属于性能测试范围？
范围包括在内部基础设施上部署的开放权重 LLM、基于内部数据微调的模型、自主开发的机器学习或深度学习模型，以及内部推理服务器。外部托管模型和外部商业 LLM API 不在范围内。
内部模型正常时 AI 服务仍可能很慢吗？
可能。内部推理服务器、API 服务器、推理网关、服务层、代理、队列、连接池、序列化和超时设置都会增加总延迟，因此需要分开测量模型时间和服务层时间。
流式响应中的累计重传是什么？
每个事件不是只发送新 token 片段，而是重复发送此前的完整句子。回答越长，网络传输和浏览器处理负担可能越大。
可以保证特定并发用户数量吗？
不会预先保证固定数量。我们针对实际模型、架构、基础设施和使用场景测量稳定区间与饱和点，再依据诊断结果建议运营标准和改善措施。