作者：Tommyvinny
购买理由
ChatGLM-6B是清华大学知识工程和数据挖掘小组发布的一个类似ChatGPT的开源对话机器人，由于该模型是经过约1T标识符的中英文训练，且大部分都是中文，因此十分适合国内使用。
如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。
如果你拥有一块最好大于等于8G显存的显卡，有一台以Unraid为系统的NAS机器的话，可以试试，反正我用起来很好用，平时写个材料，从1天的时间缩短到2小时左右，而且基本上结构上是可以使用，还可以进行对话要求修改。应对简单工作的时候，已经非常的方便快捷，例如：写一篇有关XXXX的心得，不少于1000字；写一个项目计划，然后在输入，请对XXXX项目进行不少于1000字的阐述。
由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。
注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？
//www.datalearner.com/ai-models/pretrained-models/ChatGLM-6B
根据GitHub开源项目公开的信息，ChatGLM-6B完整版本需要13GB显存做推理，但是INT4量化版本只需要6GB显存即可运行，因此对于个人本地部署来说十分友好。
以下是部署docker添加方式。
名称：chatglm-6b
存储库：mkaliez99/chatglm-6b:1.1.0
额外参数：--runtime=nvidia
变量 名称 显卡调用 键 NVIDIA_VISIBLE_DEVICES 值 一张显卡就all
变量 名称 显卡调用模式 键 NVIDIA_DRIVER_CAPABILITIES 值 compute,utility
端口 名称 端口主机映射 容器端口 80 主机端口 12808，你可以自己设定自己不用的端口
点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。
等下载完成，日志显示，Loading checkpoint shards: 100%|██████████| 8/8 [00:24
之后 浏览器输入 ip:12808 就可以快乐的使用了。
外观展示
使用感受
我的显卡是X鱼上购买的900元显卡，被动散热，加装了风扇。运行这个生成，基本上秒回。与在线的OpenAI的ChatGPT几乎一致，但是模型是6B的模型，比起AI的30B模型回复的内容质量差距很大，但是日常使用，例如写个心得体会，写一点点的分析，询问一些问题，是完全足够。
总结
个人本地运行，不受限制，不怕被封号，这是唯一的优势。相信以后更大的模型之后，会有更好的效果。有兴趣的可以自己架设起来，让AI助理提高工作效率。
查看文章精彩评论，请前往什么值得买进行阅读互动
0 留言