图拉丁吧 关注:7,752,404贴子:130,048,515

云装机,也许是最便宜的本地运行deepseek的方案

只看楼主收藏回复

CPU:双e5 2673v3,鸡血3.1g,100元
主板:科脑双路x99 ddr3 280元
内存条:三星ddr3服务器内存 32g*8 共256g八通道
50*8=400元
电源:长城巨龙1250w或昂达1600w,纯矿渣 100元
显卡:亮机卡10元
散热器:两个随机4铜管 20*2=40
硬盘:随机发货512或1tb m2固态,此处使用sata固态会大幅加长加载时间,切记勿买qlc颗粒 120
共100+280+400+100+10+40+120=1050
纯CPU方案,速度只能图一乐,后面补个p104方案的帖子(P104纯显卡基本上只能跑个精简14b,CPU够强的话,也许能两个一起跑32b)


IP属地:广东来自Android客户端1楼2025-02-02 22:29回复
    纯CPU速度极慢,回答问题都要两三分钟,这里只做图一乐,能运行不代表能真流畅


    IP属地:广东来自Android客户端2楼2025-02-02 22:30
    收起回复
      到货一张p104,后天上机测一下本地deepseek
      1.5b 模型,4GB显存就能跑。
      7b、8b 模型,8GB显存就能跑。
      (低于14b的,基本上都不太聪明)
      14b 模型,12GB显存能跑。8g很勉强
      32b 模型,24GB显存能跑。


      IP属地:广东来自Android客户端4楼2025-02-02 22:32
      回复
        本地的优势,无风控


        IP属地:广东来自Android客户端5楼2025-02-02 22:42
        收起回复
          我昨天本地装的8b模型,显卡是1080,感觉跑起来还行,看来其实可以装14b的


          IP属地:上海来自Android客户端6楼2025-02-02 23:05
          收起回复
            lz快试,坐等更新


            IP属地:上海来自Android客户端7楼2025-02-02 23:09
            回复
              很好奇671B的完整版需要多少内存和显存


              IP属地:安徽来自iPhone客户端8楼2025-02-02 23:09
              收起回复
                mark


                IP属地:安徽来自Android客户端9楼2025-02-03 08:26
                回复
                  听说671b有个大佬开发了1.58bit的量化版,只需要80g内存以上就能跑,极端状态下20g内存加纯CPU以上就能跑
                  又能突破极限了
                  有同学测试了I512400f配128gd4内存,16g显存,大概一秒能出一个字
                  大概真的能实现用双路e5跑完整671b量化


                  IP属地:广东来自Android客户端11楼2025-02-03 09:00
                  收起回复
                    32bQ4,2696V3+128G可行不,主要个人玩玩大显存显卡没必要买


                    IP属地:安徽来自Android客户端12楼2025-02-03 10:17
                    收起回复
                      话说只看显存的话,性价比最高的是不是16G的A770?


                      IP属地:云南来自Android客户端13楼2025-02-03 11:36
                      收起回复
                        还是买显卡吧


                        IP属地:广东来自Android客户端14楼2025-02-03 11:54
                        收起回复
                          内存带宽太低了 加钱上eypc!


                          IP属地:山东15楼2025-02-03 12:02
                          收起回复
                            试了一张p104 单路2673v3 4096上下文,14bq4kl 9token


                            IP属地:山东来自Android客户端17楼2025-02-03 14:32
                            收起回复
                              饿(¯﹃¯ԅ)你们在说什么?跑图还是跑小说?


                              IP属地:江西来自Android客户端18楼2025-02-03 14:51
                              回复