返回项目列表

项目详情

vLLM Benchmark 精简客户端

向 OpenAI 兼容模型服务发送受控文本或图像请求配置,并收集延迟指标的仅限本地测试客户端。

分类
数据与基准
状态
持续维护
可见性
仅本地
角色
个人项目

技术栈

  • Python
  • vLLM
  • OpenAI API

提示词数据集、分词器设置、并发量、采样参数和可选图像输入会进入异步请求客户端,输出成功数量、吞吐量、首 token 时间、总延迟和分类错误结果。

客户端用于可重复的网关检查、迁移比较和服务负载测试,无需携带推理引擎。项目目前仍在本地使用,并通过模拟服务检查请求格式、调度和指标计算。