8bq8和14bq4的模型8G的显存已经是不够用了，硬跑的话，就会吃一部分内存，在混合模式下跑速度会慢很多。
14b的模型要吃9G多的显存，P104爆显存没法跑，2070使用共享显存只有5tok/s
8bq8模型，P104成绩和2070差不多，都为6tok/s
所以想本地部署DS，主要就是看显存/内存大小，还有带宽，算力才是其次

想问下吧主 官方的P104-100驱动有下载的链接吗 我也想弄个跑的 但是cuda版本是10.1 如果可以更新下就更好了 可以给个链接吗

由于DS的爆火，很多大显存的老专业卡都涨价了，这些卡显存大，算力低。比如现在300多的m40（16G），k80（24G）。
如果感兴趣想用这种老专业卡跑DS可以看下这个b站专栏：【教程:为老显卡编译Ollama框架并调用CUDA加速-哔哩哔哩】 网页链接
当然，如果想部署32B以上参数的模型，还同时想要速度与低成本，猜你喜欢：RTX2080ti 22G魔改版，双卡就能跑70b，别人花了2w+的魔改版的4090 48G显存跑70b，换2080ti只需5k

我是三张p104跑14b的

p104跑语音合成比如gpt sovits速度怎么样

请问怎么让Ollama调用P104跑Deepseek呢？现在直接用的话，只调用了cpu的资源。
谢谢

一张p104和一张2070s，可以跑14b的，挺流畅

用的雨糖科技的驱动，然后禁止联网驱动更新

装了cuda，自动调用的双卡，没额外设置

我用双显卡方案，我的跑分低了一点

还是大师会玩

刚刚试了P104+远程桌面
结果汇报如下：

模型DeepSeek 7b，OLLama，网页插件PageAssist
7b速度挺快，14b也能跑，大概10.5个tokens
用LMS失败了，默认GPU卸载为0，无法载入模型（用RX580的时候默认为18）
机器配置如下：主板X99、CPU E5 2666V3鸡血20、内存DDR3 16G*4 1600oc1866，P104-100。。典型的洋垃圾开会