云素材PPT模板超市 ChatGPT与PPT 2023-08-05

ChatGLM-6B：国内开源对话机器人的优势与应用

文章主题：清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练

作者：Tommyvinny

购买理由

ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于，它接受了大约1T个标识符的中英文训练，而且大部分都是中文，因此它非常适合在我国使用。

如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。

作为一名拥有8G显存显卡的用户，且使用Unraid作为NAS系统的 writer，我强烈推荐尝试一下这款工具。实际上，自从使用了它，我的工作效率得到了显著提升。在我平常的工作过程中，无论是撰写材料还是进行对话，都能在较短的时间内完成，这大大节省了我宝贵的时间。例如，当我需要撰写一篇关于某个主题的文章时，使用这款工具能让我的写作时间缩短至原来的两倍。同时，其丰富的功能也使得我可以更轻松地进行对话式修改，从而使文章的结构更为完善。此外，我还发现它在处理一些简单的工作任务上也非常便捷。比如，我可以在短时间内快速完成一篇心得体的文章，或者制定一份详细的计划。这些都可以在我输入后自动进行排版和整理，极大地提高了我的工作效率。总的来说，这款工具对于我来说，无疑是一个极好的助手。无论是在处理复杂的工作，还是在进行快速的修改，它都能让我在短时间内完成，并且保证工作的质量。因此，我非常推荐大家尝试一下这款产品。

由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。

注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？

ChatGLM-6B 是清华大学 KEG 实验室与智谱 AI 公司于 2023 年共同训练的语言模型，是 GLM-130B 的升级版。该模型的预训练任务包括中文问答、中文文本生成、中文文本分类等，适用于多种自然语言处理任务。ChatGLM-6B 在中文问答方面表现出色，能够对用户的问题和要求提供适当的答复和支持。此外，它还可以用于中文文本生成、翻译、摘要、情感分析等任务，具有广泛的应用前景。

在GitHub上，有关ChatGLM-6B的开源项目公开信息表明，完整的ChatGLM-6B版本在进行推理时需要13GB的显存，然而，其INT4量化版本仅需6GB的显存便可正常运行。这对于个人本地部署而言无疑是一个极大的优势。

以下是部署docker添加方式。

名称：chatglm-6b

存储库：mkaliez99/chatglm-6b:1.1.0

额外参数：–runtime=nvidia

变量名称显卡调用键 NVIDIA_VISIBLE_DEVICES 值一张显卡就all

在计算机科学领域中，显卡调用模式是一个关键参数，它决定了程序如何使用GPU进行计算。在这个参数中，有两个主要的选项：compute和utility。 compute模式主要用于执行大规模的图形处理任务，例如渲染和图形加速。而utility模式则用于执行一些特定的功能，如创建硬件设备或与操作系统进行交互。这两个模式的区别在于它们的功能和应用场景。 compute模式更适合于需要大量图形处理的应用程序，例如游戏和视频编辑软件。这些应用程序需要高效地利用GPU的计算能力，以实现更快的处理速度和更好的视觉效果。相比之下，utility模式通常用于开发人员工具和操作系统服务。这种模式下，GPU被用来执行一些特定的任务，如硬件设备驱动程序的开发和调试，或者与操作系统进行交互。由于utility模式下的任务相对简单，因此可以在较短的时间内完成。总之，显卡调用模式是决定程序如何使用GPU的重要参数。 compute和utility是两个主要的选项，分别适用于不同类型的应用程序。 compute模式适合于大规模的图形处理任务，而utility模式则适合于执行特定的功能和与操作系统进行交互。

端口名称端口主机映射容器端口 80 主机端口 12808，你可以自己设定自己不用的端口

点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。

在文件下载完成后，日志界面显示了 Loading checkpoint shards 的信息，其中 100% 的进度已经完成，而剩余的 8/8 部分正在加速处理中。在这个过程中，系统的时间为 00:24，总耗时为 3.11 秒，每秒钟处理的片段数量为 3.11 个。

之后浏览器输入 ip:12808 就可以快乐的使用了。