每秒查询率

每秒查询率

每秒查询率(QPS,Queries-per-second),即单位时间单位计算资源处理的(生成推理结果的)请求数据量。在大模型场景下,QPS的提升意味着模型推理速度的提高,这能够为更多用户提供服务或降低模型推理的成本。

想要了解更多“每秒查询率”的信息,请点击:每秒查询率百科