ChatGLM-6B：一款让你工作生活更便捷的人工智能助手
文章主题：清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练
作者：Tommyvinny
购买理由
ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于，它接受了大约1T个标识符的中英文训练，而且大部分都是中文，因此它非常适合在我国使用。
如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。
如果你手头一块至少8G显存的显卡，并且拥有一台以Unraid为系统的NAS机器，那么我强烈推荐你尝试一下。我自己使用起来感觉非常棒，通常能将我的写作速度从一天缩短至短短的两个小时。更重要的是，尽管在使用过程中可能会遇到一些小问题，但我仍然能够在结构和对话上进行灵活调整，以满足各种不同的需求。这样一来，无论是撰写一篇关于某个主题的心得体会，还是制定一个项目计划并进行详细的阐述，都能变得轻松愉快。以Unraid为基础的NAS系统不仅能够为你提供强大的计算能力，还能让你充分体验到高度可定制的优势。在这个基础上搭配一块大容量的显卡，无疑会进一步拓宽你的应用范围。而对于像我这样的文章写作高手来说，这种组合能够让我更高效地完成各类任务，提高工作效率的同时，也使得工作过程变得更加愉悦。
由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。
注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？
ChatGLM-6B 是一个基于语言模型的人工智能助手，其基础模型来自于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型 GLM-130B。这个模型的预训练任务是GLM-130B，它是一种通用预训练语言模型，可用于多种自然语言处理任务，如文本分类、命名实体识别、情感分析等。ChatGLM-6B 的主要优势在于它的语言生成能力，它可以生成流畅且连贯的对话式文本。这种语言生成的能力来自于它对大量互联网语料库的学习，包括网页、书籍、新闻、文章等。通过这种方式，ChatGLM-6B 可以模拟人类的对话方式，与用户进行更加自然的交互。此外，ChatGLM-6B 还具有一些其他的应用场景，例如智能客服、智能问答、语音合成等。它可以用于各种对话式人工智能助理的开发，包括：
在GitHub上，有关ChatGLM-6B的开源项目公开信息显示，完整的版本在进行推理时需要13GB的显存，然而，其INT4量化版本却能仅需6GB的显存就能正常运行。这对于个人本地的部署而言，无疑提供了极大的便利。
以下是部署docker添加方式。
名称：chatglm-6b
存储库：mkaliez99/chatglm-6b:1.1.0
额外参数：–runtime=nvidia
变量 名称 显卡调用 键 NVIDIA_VISIBLE_DEVICES 值 一张显卡就all
在计算机科学领域中，显卡的调用模式是一个关键参数，它决定了程序如何使用GPU进行计算。在这个参数中，有两个主要的选项：compute和utility。 compute模式主要用于执行大规模的图形处理任务，例如渲染复杂的场景或执行深度学习算法。而utility模式则用于执行一些更通用的计算任务，这些任务可能涉及到CPU和GPU之间的数据传输，或者是在GPU上运行一些辅助算法。无论选择哪种模式，都需要考虑到NVIDIA_DRIVER_CAPABILITIES这个变量的值。这个变量记录了显卡的驱动能力，可以帮助我们更好地理解显卡的性能和可能的限制。
端口 名称 端口主机映射 容器端口 80 主机端口 12808，你可以自己设定自己不用的端口
点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。
在文件下载完成后，日志界面显示了 Loading checkpoint shards 的信息，其中 100% 的进度已经完成，而剩余的 8/8 部分正在加速处理中。在这个过程中，我们持续关注着文件的传输速度和时间，以便在出现问题时能够及时解决。根据当前的进度，预计整个过程将在不到 1 分钟内完成。
之后 浏览器输入 ip:12808 就可以快乐的使用了。
外观展示
使用感受
我的显卡是X鱼上购买的900元显卡，被动散热，加装了风扇。运行这个生成，基本上秒回。与在线的OpenAI的ChatGPT几乎一致，但是模型是6B的模型，比起AI的30B模型回复的内容质量差距很大，但是日常使用，例如写个心得体会，写一点点的分析，询问一些问题，是完全足够。
总结
个人本地运行，不受限制，不怕被封号，这是唯一的优势。相信以后更大的模型之后，会有更好的效果。有兴趣的可以自己架设起来，让AI助理提高工作效率。
阅读更多办公软件精彩内容，可前往什么值得买查看
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
