云素材PPT模板超市 ChatGPT与PPT 2023-08-05

ChatGLM-6B：作者Tommyvinny的购买理由与使用体验

文章主题：关键词: ChatGLM-6B, 开源对话机器人, 清华大学, 知识工程

　　作者：Tommyvinny

　　购买理由

ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于，它接受了大约1T个标识符的中英文训练，而且大部分都是中文，因此它非常适合在我国使用。

　　如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。

如果你手头一块大容量至少8G的显卡，并且拥有一台运行Unraid系统的NAS机器，那么我强烈推荐你尝试一下这款工具。个人使用下来感觉非常便捷，能够显著提升工作效率。例如，在撰写一篇关于某主题的文章时，我能更快地完成初稿，大概缩短了1天的时间。同时，其结构设计也相当灵活，支持与他人的对话和协作，进一步提高了写作效率。此外，我还发现它非常适合处理一些简单的工作任务，比如撰写一篇心得体会，或者制定一个项目计划。在这种情况下，我已经能够实现快速、高效地完成任务，比如写一篇不少于1000字的文章，或者对一个项目进行详细的阐述，而无需花费太多时间。总的来说，这款工具极大地提升了我的工作效率，让我能够更加专注于创作高质量的内容。

　　由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。

　　注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？

作为一款AI语言模型，ChatGLM-6B在自然语言处理领域拥有广泛的应用。它的预训练模型可以在多种任务中表现出色，如文本生成、对话系统等。在网站[www.datalearner.com/ai-models/pretrained-models/ChatGLM-6B](http://www.datalearner.com/ai-models/pretrained-models/ChatGLM-6B)上，您可以找到关于该模型的详细信息和使用方法。

在GitHub上，有关ChatGLM-6B的开源项目公开信息表明，该模型完整版在进行推理时需要13GB的显存，然而，其INT4量化版本仅需6GB的显存便可正常运行。这对于个人本地部署而言无疑是一个极大的优势。

　　以下是部署docker添加方式。

　　名称：chatglm-6b

　　存储库：mkaliez99/chatglm-6b:1.1.0

　　额外参数：–runtime=nvidia

　　变量名称显卡调用键 NVIDIA_VISIBLE_DEVICES 值一张显卡就all

在计算机科学领域中，显卡调用模式是一个关键参数，它决定了程序如何使用GPU进行计算。在NVIDIA驱动程序的能力列表中，有两个主要的显卡调用模式：compute和utility。 compute模式主要用于执行大规模的图形处理任务，例如渲染复杂场景或执行深度学习算法。而utility模式则用于执行各种通用计算任务，包括数据处理、图像处理等。这两种模式各有优势，可以根据具体的应用场景选择合适的模式来提高计算效率。

　　端口名称端口主机映射容器端口 80 主机端口 12808，你可以自己设定自己不用的端口

　　点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。

在文件下载完成后，日志界面显示了 Loading checkpoint shards 的信息，其中 100% 表示进度已经达到了 100%。同时，还可以看到当前的检查点数量为 8 个 out of 8，也就是说，所有的检查点都已经准备就绪。此外，还可以看到详细的运行时间以及当前的进度百分比，例如 8/8 [00:24]。这些信息对于理解程序的运行状态非常有帮助。

　　之后浏览器输入 ip:12808 就可以快乐的使用了。

　　外观展示