minimax highspeed实际速率

minimax highspeed实际速率
minimax highspeed实际速率

写了个benchmark想看看实际的速率区别。

测试-1 (点击了解更多详细信息) bench代码 (点击了解更多详细信息) config.json (点击了解更多详细信息)

2.7-highspeed在代码生成类别速度比文字快一点,而且如果涉及到中文tps就会变低。在设定maxtoken比较小的情况下速度也会打折扣。这个速度比率和价格感觉不如买非极速版了。这个约100TPS就很灵性,主打四舍五入。bench代码的计算不知道对不对,有懂得佬看看。

3 个帖子 - 2 位参与者

阅读完整话题

来源: linux.do查看原文