提示词数据集、分词器设置、并发量、采样参数和可选图像输入会进入异步请求客户端,输出成功数量、吞吐量、首 token 时间、总延迟和分类错误结果。
客户端用于可重复的网关检查、迁移比较和服务负载测试,无需携带推理引擎。项目目前仍在本地使用,并通过模拟服务检查请求格式、调度和指标计算。
项目详情
向 OpenAI 兼容模型服务发送受控文本或图像请求配置,并收集延迟指标的仅限本地测试客户端。
提示词数据集、分词器设置、并发量、采样参数和可选图像输入会进入异步请求客户端,输出成功数量、吞吐量、首 token 时间、总延迟和分类错误结果。
客户端用于可重复的网关检查、迁移比较和服务负载测试,无需携带推理引擎。项目目前仍在本地使用,并通过模拟服务检查请求格式、调度和指标计算。