ChatGLM-6B：国内开源对话机器人的优势与应用
文章主题：清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练
作者：Tommyvinny
购买理由
ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于，它接受了大约1T个标识符的中英文训练，而且大部分都是中文，因此它非常适合在我国使用。
如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。
如果你手头一块至少8G显存的显卡，并且拥有一台以Unraid为系统的NAS机器，那么我强烈推荐你尝试一下。我自己使用起来感觉非常棒，通常能将我的写作时间从一天缩短至两小时左右。尽管在使用过程中，我对其结构和功能有一定的适应性，但仍然可以根据我的需求进行相应的调整。尤其是在处理一些简单的工作时，这样的效率提升是显而易见的，比如撰写一篇关于某个主题的文章，或者制定一个项目计划并在短时间内完成。总的来说，这款显卡和NAS机器的组合为我的工作带来了极大的便利，使得我在面对不同任务时都能游刃有余地完成。
由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。
注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？
ChatGLM-6B 是清华大学 KEG 实验室与智谱 AI 公司于 2023 年共同训练的语言模型，是 GLM-130B 的升级版。该模型的预训练任务包括中文问答、中文文本生成、中文文本分类等，适用于多种自然语言处理任务。ChatGLM-6B 在中文问答方面表现尤为出色，能够对用户的问题和要求进行理解和回答。此外，该模型还可以用于语言翻译、代码调试等多种场景。在实际应用中，ChatGLM-6B 具有很高的价值和潜力。
在GitHub上，有关ChatGLM-6B的开源项目公开信息表明，完整的ChatGLM-6B版本在进行推理时需要13GB的显存，然而，其INT4量化版本仅需6GB的显存便可正常运行。这对于个人本地部署而言无疑是一个极大的优势。
以下是部署docker添加方式。
名称：chatglm-6b
存储库：mkaliez99/chatglm-6b:1.1.0
额外参数：–runtime=nvidia
变量 名称 显卡调用 键 NVIDIA_VISIBLE_DEVICES 值 一张显卡就all
在计算机科学领域中，显卡的调用模式是一个关键参数。本文将详细探讨该参数及其在不同显卡驱动API中的具体应用。首先，我们需要了解的是，显卡调用模式主要涉及到图形处理单元（GPU）与CPU之间的通信方式。为了确保高效且稳定的运行，不同的显卡驱动API采用了不同的调用模式。其中，NVIDIA_DRIVER_CAPABILITIES是一个核心参数，用于描述显卡的功能与性能。在这里，我们特别关注两个调用模式：compute与utility。compute模式主要用于执行大规模的计算任务，例如深度学习模型训练等。这种模式下的显卡调用API可以充分利用GPU的并行计算能力，从而加速计算过程。而utility模式则更注重于提供一些实用功能，如GPU内存分配、设备驱动控制等。在这种模式下，显卡调用的API相对简单，但仍然可以满足大部分用户的基本需求。综上所述，显卡调用模式是影响显卡性能的关键因素之一。通过对不同模式的深入了解，我们可以根据实际需求选择最适合的调用方式。在NVIDIA_DRIVER_CAPABILITIES参数中，compute与utility正是两种主要的显卡调用模式。通过灵活运用这些模式，我们可以充分发挥显卡的性能优势，提高工作效率。
端口 名称 端口主机映射 容器端口 80 主机端口 12808，你可以自己设定自己不用的端口
点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。
在文件下载完成后，日志界面显示了 Loading checkpoint shards 的信息，其中 100% 的进度已经完成，而剩余的进度为 8/8，也就是说，所有数据块都已成功加载，整个过程耗时约 3.11 秒每块数据。
之后 浏览器输入 ip:12808 就可以快乐的使用了。
外观展示
使用感受
我的显卡是X鱼上购买的900元显卡，被动散热，加装了风扇。运行这个生成，基本上秒回。与在线的OpenAI的ChatGPT几乎一致，但是模型是6B的模型，比起AI的30B模型回复的内容质量差距很大，但是日常使用，例如写个心得体会，写一点点的分析，询问一些问题，是完全足够。
总结
个人本地运行，不受限制，不怕被封号，这是唯一的优势。相信以后更大的模型之后，会有更好的效果。有兴趣的可以自己架设起来，让AI助理提高工作效率。
阅读更多办公软件精彩内容，可前往什么值得买查看
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
