云素材PPT模板超市 ChatGPT与PPT 2023-08-05

ChatGLM-6B:一个实用的中文对话机器人

文章主题：清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练

作者：Tommyvinny

购买理由

ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于，它接受了大约1T个标识符的中英文训练，而且大部分都是中文，因此它非常适合在我国使用。

如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。

作为一名拥有8G显存显卡的用户，且使用Unraid作为NAS系统的 writer，我强烈推荐尝试一下这款工具。实际上，自从使用了它，我的工作效率得到了显著提升。在我平常的工作过程中，无论是撰写材料还是进行对话，都能在较短的时间内完成，这大大节省了我宝贵的时间。例如，当我需要撰写一篇关于某个主题的文章时，使用这款工具能让我的写作时间缩短至原来的两倍。同时，其丰富的功能也使得我可以更轻松地进行对话式修改，从而让文章的结构更为完善。此外，我还发现它在处理一些简单的工作任务上也非常便捷。比如，当需要写一篇心得体会或者一个项目计划时，只需输入相应的信息，就能快速生成所需的文本。这对于我来说，无疑是一个巨大的帮助。总的来说，这款工具在提高我工作效率、节省时间以及提升文章质量等方面都发挥了至关重要的作用。我强烈建议那些需要进行大量写作工作的人尝试一下这款产品。

由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。

注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？

ChatGLM-6B 是清华大学 KEG 实验室与智谱 AI 公司于 2023 年共同训练的语言模型，是一种基于 Transformer 的通用预训练语言模型。它可以用于各种自然语言处理任务，如文本分类、命名实体识别、情感分析等。ChatGLM-6B 的预训练目标是通过学习大量互联网语料库来获得更好的表示能力，从而能够更好地应对各种自然语言处理任务。作为一种预训练语言模型，ChatGLM-6B 可以被 fine-tuning 到具体的应用场景中，以实现特定的任务需求。它已经 been fine-tuned for several natural language processing tasks and has shown to be effective in various domains。例如，在文本分类任务中，ChatGLM-6B 可以提供高质量的预测结果；在机器翻译任务中，它可以帮助提高翻译的质量，减少翻译的时间和成本。总的来说，ChatGLM-6B 是一种非常有用的预训练语言模型，可以应用于各种自然语言处理任务，并且可以通过 fine-tuning 来满足特定的任务需求。

在GitHub上，有关ChatGLM-6B的开源项目公开信息显示，完整的版本在进行推理时需要13GB的显存，然而，其INT4量化版本却能仅需6GB的显存就能正常运行。这对于个人本地的部署而言，无疑提供了极大的便利。

以下是部署docker添加方式。

名称：chatglm-6b

存储库：mkaliez99/chatglm-6b:1.1.0

额外参数：–runtime=nvidia

变量名称显卡调用键 NVIDIA_VISIBLE_DEVICES 值一张显卡就all

在计算机科学领域中，显卡调用模式是一个关键参数，它决定了程序如何与显卡进行交互。在NVIDIA驱动程序 capabilities中，有两个主要的显卡调用模式：compute和utility。 compute模式主要用于执行大规模的计算任务，而utility模式则适用于一般的图形处理操作。这两种模式各自具有不同的优势和适用场景，因此我们需要根据实际需求来选择合适的显卡调用模式。

端口名称端口主机映射容器端口 80 主机端口 12808，你可以自己设定自己不用的端口

点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。

在文件下载完成后，日志界面显示了 Loading checkpoint shards 的信息，其中 100% 的进度已经完成，而剩余的 8/8 部分正在加速处理中。在这个过程中，系统的时间为 00:24，总耗时为 3.11 秒每项任务。

之后浏览器输入 ip:12808 就可以快乐的使用了。