ChatGLM-6B：国内开源对话机器人的优势与应用
文章主题：清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练
作者：Tommyvinny
购买理由
ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于，它接受了大约1T个标识符的中英文训练，而且大部分都是中文，因此它非常适合在我国使用。
如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。
作为一名拥有8G显存显卡的用户，且使用Unraid作为NAS系统的 writer，我强烈推荐大家尝试一下这款工具。实际上，自从我开始使用它以来，我的创作效率得到了显著提升。以写一篇关于XXXX的心得为例，我可以更快地完成初稿，从一天缩短到不到两小时。同时，其结构上的灵活性也让我能够更轻松地进行对话式修改。当我面对简单的任务时，如撰写一篇关于XXXX的心得，或者制定一个项目计划并进行详细的阐述，这个工具都为我提供了极大的便利。它可以让我更加专注于内容本身，而不是花费大量时间在格式和排版上。例如，我可以利用它快速生成一篇不少于1000字的文章，或者一份详细的项目计划。总的来说，这款工具对于任何需要高效创作的人都是非常有帮助的。无论是写作者、设计师，还是项目管理人员，都可以通过它来提高自己的工作效率。我强烈建议大家可以试一试，相信你们一定会喜欢上它的便捷和高效。
由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。
注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？
ChatGLM-6B 是清华大学 KEG 实验室与智谱 AI 公司于 2023 年共同训练的语言模型，是一种基于 GLM-130B 模型开发的开源双语千亿参数语言模型。该模型的预训练任务包括中文问答、英文问答等，适用于多种自然语言处理任务，如文本分类、命名实体识别、情感分析等。通过下载和使用 ChatGLM-6B，用户可以获得强大的语言处理能力，进一步推动人工智能技术的发展和应用。
在GitHub上，有关ChatGLM-6B的开源项目公开信息表明，完整的ChatGLM-6B版本在进行推理时需要13GB的显存，然而，其INT4量化版本仅需6GB的显存便可正常运行。这对于个人本地部署而言无疑是一个极大的优势。
以下是部署docker添加方式。
名称：chatglm-6b
存储库：mkaliez99/chatglm-6b:1.1.0
额外参数：–runtime=nvidia
变量 名称 显卡调用 键 NVIDIA_VISIBLE_DEVICES 值 一张显卡就all
在计算机科学领域中，显卡的调用模式是一个关键参数。本文将详细探讨该参数及其在不同显卡驱动API中的具体应用。我们以NVIDIA_DRIVER_CAPABILITIES为变量名称，对其进行深入剖析。首先，我们需要理解显卡调用的两种主要模式：计算模式（compute）和实用模式（utility）。计算模式主要用于执行大规模数据处理任务，而实用模式则适用于日常使用。这两种模式各有优势，可满足不同场景的需求。在实际应用中，显卡调用的模式取决于具体的硬件和软件环境。通过查询NVIDIA_DRIVER_CAPABILITIES变量的值，我们可以获取到当前显卡支持的调用模式。这些信息对于开发人员来说至关重要，因为它们可以帮助我们优化程序性能，提高显卡利用率。总之，显卡调用模式是影响计算机性能的关键因素之一。深入研究这一参数及其在不同显卡驱动API中的应用，有助于我们更好地利用显卡资源，提升程序运行效率。
端口 名称 端口主机映射 容器端口 80 主机端口 12808，你可以自己设定自己不用的端口
点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。
在文件下载完成后，日志界面显示了 Loading checkpoint shards 的信息，其中 100% 的进度已经完成，而剩余的 8/8 部分正在加速处理中。在这个过程中，系统的时间为 00:24，总耗时为 3.11 秒，每秒钟处理的片段数量为 3.11 个。
之后 浏览器输入 ip:12808 就可以快乐的使用了。
外观展示
使用感受
我的显卡是X鱼上购买的900元显卡，被动散热，加装了风扇。运行这个生成，基本上秒回。与在线的OpenAI的ChatGPT几乎一致，但是模型是6B的模型，比起AI的30B模型回复的内容质量差距很大，但是日常使用，例如写个心得体会，写一点点的分析，询问一些问题，是完全足够。
总结
个人本地运行，不受限制，不怕被封号，这是唯一的优势。相信以后更大的模型之后，会有更好的效果。有兴趣的可以自己架设起来，让AI助理提高工作效率。
阅读更多办公软件精彩内容，可前往什么值得买查看
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
