图拉丁吧 关注:7,752,953贴子:130,056,784
  • 5回复贴,共1

云装机,也许是最便宜的本地运行deepseek的方案

取消只看楼主收藏回复

CPU:双e5 2673v3,鸡血3.1g,100元
主板:科脑双路x99 ddr3 280元
内存条:三星ddr3服务器内存 32g*8 共256g八通道
50*8=400元
电源:长城巨龙1250w或昂达1600w,纯矿渣 100元
显卡:亮机卡10元
散热器:两个随机4铜管 20*2=40
硬盘:随机发货512或1tb m2固态,此处使用sata固态会大幅加长加载时间,切记勿买qlc颗粒 120
共100+280+400+100+10+40+120=1050
纯CPU方案,速度只能图一乐,后面补个p104方案的帖子(P104纯显卡基本上只能跑个精简14b,CPU够强的话,也许能两个一起跑32b)


IP属地:广东来自Android客户端1楼2025-02-02 22:29回复
    纯CPU速度极慢,回答问题都要两三分钟,这里只做图一乐,能运行不代表能真流畅


    IP属地:广东来自Android客户端2楼2025-02-02 22:30
    收起回复
      到货一张p104,后天上机测一下本地deepseek
      1.5b 模型,4GB显存就能跑。
      7b、8b 模型,8GB显存就能跑。
      (低于14b的,基本上都不太聪明)
      14b 模型,12GB显存能跑。8g很勉强
      32b 模型,24GB显存能跑。


      IP属地:广东来自Android客户端4楼2025-02-02 22:32
      回复
        本地的优势,无风控


        IP属地:广东来自Android客户端5楼2025-02-02 22:42
        收起回复
          听说671b有个大佬开发了1.58bit的量化版,只需要80g内存以上就能跑,极端状态下20g内存加纯CPU以上就能跑
          又能突破极限了
          有同学测试了I512400f配128gd4内存,16g显存,大概一秒能出一个字
          大概真的能实现用双路e5跑完整671b量化


          IP属地:广东来自Android客户端11楼2025-02-03 09:00
          收起回复
            求助:x99+双卡p104方案跑deepseek不管是1.5b还是14b,如何调整参数都只能调用CPU,不能调用p104显卡


            IP属地:广东来自Android客户端43楼2025-02-06 19:29
            回复