云素材PPT模板超市 ChatGPT与PPT 2023-08-05

ChatGLM-6B：一款国产开源对话机器人的强大之处

文章主题：清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练

作者：Tommyvinny

购买理由

ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于，它接受了大约1T个标识符的中英文训练，而且大部分都是中文，因此它非常适合在我国使用。

如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。

如果你手头一块至少8G显存的显卡，并且拥有一台以Unraid为系统的NAS机器，那么我强烈推荐你尝试一下。 personally，我使用起来觉得非常顺畅，平时无论是写材料还是做简单的工作，都能显著提升效率。比如，原本可能需要一天时间来完成的事情，现在只需要短短的2个小时就可以完成。更重要的是，这个系统的基本结构非常灵活，甚至可以直接进行对话式的修改。这样在面对简单的任务时，已经足够方便快捷了。比如，你可以随时写一篇关于某个主题的心得，只要保证内容达到1000字以上；或者，你也可以直接输入一个项目计划，然后系统会自动生成对应的阐述，满足你对项目计划的不少于1000字的阐述需求。总的来说，这款产品对于那些追求高效、灵活工作方式的人来说，无疑是一个非常好的选择。

由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。

注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？

ChatGLM-6B 是清华大学 KEG 实验室与智谱 AI 公司于 2023 年共同训练的语言模型，是一种基于 Transformer 的通用预训练语言模型。它可以用于各种自然语言处理任务，如文本分类、命名实体识别、情感分析等。ChatGLM-6B 的预训练目标是通过学习大量互联网语料库来获得更好的表示能力，从而能够更好地应对各种实际应用场景中的挑战。

在GitHub上，有关ChatGLM-6B的开源项目公开信息表明，完整的ChatGLM-6B版本在进行推理时需要13GB的显存，然而，其INT4量化版本仅需6GB的显存便可正常运行。对于个人本地部署而言，这无疑是一个极大的优势。

以下是部署docker添加方式。

名称：chatglm-6b

存储库：mkaliez99/chatglm-6b:1.1.0

额外参数：–runtime=nvidia

变量名称显卡调用键 NVIDIA_VISIBLE_DEVICES 值一张显卡就all

在计算机科学领域中，显卡的调用模式是一个关键参数，它决定了程序如何使用GPU进行计算。在这个参数中，有两个主要的选项：compute和utility。 compute模式主要用于执行大规模的图形处理任务，例如渲染和光线追踪。而utility模式则用于执行一些更通用的计算任务，如数据处理和机器学习。因此，选择合适的调用模式取决于具体的应用场景和需求。在某些情况下，可能需要同时使用这两个模式。例如，在进行深度学习任务时，首先需要使用compute模式来完成模型的渲染和计算，然后切换到utility模式来进行后续的数据处理和模型训练。这种灵活的调用模式选择使得开发者可以根据具体的需求进行高效的计算任务安排。总的来说，显卡调用模式是一个非常重要的参数，它可以帮助我们更好地利用GPU的计算资源，提高程序的性能和效率。而在实际应用中，选择合适的调用模式则需要根据具体的任务需求和场景进行权衡和选择。

端口名称端口主机映射容器端口 80 主机端口 12808，你可以自己设定自己不用的端口

点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。

在文件下载完成后，日志界面显示了 Loading checkpoint shards 的信息，其中 100% 的进度已经完成，而剩余的进度为 8/8，也就是说，所有数据块都已成功加载。此外，该操作耗时约 3.11 秒，每秒钟加载了 3.11 个单位的数据。

之后浏览器输入 ip:12808 就可以快乐的使用了。