vLLM Benchmark 軽量クライアント

プロンプトデータセット、トークナイザー設定、同時実行数、サンプリング条件、任意の画像入力を非同期クライアントへ渡します。成功数、スループット、最初のトークンまでの時間、総レイテンシ、分類済みエラーを出力します。

推論エンジンを含めず、ゲートウェイ確認、移行比較、サービス負荷試験を再現可能にします。現在もローカル限定で利用し、模擬サービスによりリクエスト形状、スケジュール、指標を確認しています。