本地部署大模型三个月，分享一下电费账单

三个月前脑子一热，配了一台双3090的机器跑本地大模型。 先说结论：如果不是有特殊需求（数据隐私/定制化），别折腾本地部署。 电费：每个月多了大概400块 噪音：像家里有台服务器（废话） 性能：跑7B的模型还行，70B的基本别想 但好处也有： - 数据不用上传，心理上安全 - 可以随便折腾，微调、RAG随便玩 - 不会被API限速 总的来说就是有钱有闲可以搞，普通人用API就够了。