Qwen2.5-7B-Instruct,懒人包

Qwen2.5-7B-Instruct,懒人包

傻木
2024-09-20 / 0 评论 / 23 阅读 / 正在检测是否收录...

Qwen2.5-7B-Instruct
已设置inf4精度运行
初始化完成后,显存占用7gb

常规简单问题都能对答如流
4060 16gb显卡大约每秒10个字左右

尝试将问题换成825行代码类的,字数约3200字
此时显存占用16.5gb
吐字约每秒5个字左右

这个是限制死了inf4精度
原版inf8的,825行代码显存占用20gb左右
吐字每秒一个字。。。
所以写死了inf4
反正离线模型也就图一乐
都是智障
有在线的免费可以白漂
还要什么离线版

12.jpg

链接: https://pan.baidu.com/s/1zOdQJU4It8NNdReLzlVReQ?pwd=gpcb

0

评论 (0)

取消
网站版权本人所有,你要有本事,盗版不究。 sam@gpcb.net