从翻车老师那里借来的幻X,最近正在狠狠的被测试。
持续更新中,先把已经测了的写在这里。后面会出视频——
本地AI性能
使用Strata部署Qwen3.8 flash next (IQ3_S量化,MTP启用,256K上下文)
8G显存:4,089 tokens · 40.5 tok/s 内存占用94%,可用约8G。
16G显存:4,019 tokens · 44.0 tok/s 内存占用93%,可用约10G。
32G显存:3,829 tokens · 41.5 tok/s 内存占用接近100%。
64G显存:3,781 tokens · 45.5 tok/s 内存占用接近100%。
96G显存:无法启动Strata。内存严重不足,开始使用SWAP,随后崩溃。
最后选用16G显存,对于统一内存,尤其是Strata部署,加大独占显存毫无意义。只会继续挤占RAM的空间。这个解码速度很可用,可以一定程度上直接替代DeepSeek V4 Flash了。
但是!我用3060-12G + 128G的机器部署后,能达到55tok/s的解码,并且内存占用小于64G。
Strata会把Ai Max+395的独占+共享显存都吃满,随后还要再吃一遍RAM。暂时还不知道怎么解决,本机只剩下10G不到的内存,比较吃紧。
Ollama相关
使用Ollama部署tobestyledintro/qwen3.8-9b-distill:latest (Q4量化)
长期解码速度≈38.0 tok/s。
使用Ollama部署qwen3.8 27B (稠密模型,Q4量化)
长期解码速度≤20.0 tok/s。
评论(0)
暂无评论