云素材PPT模板超市 ChatGPT与PPT 2023-08-05

ChatGLM-6B:人工智能助手提升工作效率的利器

文章主题：清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练

作者：Tommyvinny

购买理由

ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于，它接受了大约1T个标识符的中英文训练，而且大部分都是中文，因此它非常适合在我国使用。

如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。

如果你手头一块至少8G显存的显卡，并且拥有一台以Unraid为系统的NAS机器，那么我强烈推荐你尝试一下。我自己使用起来感觉非常棒，通常能将我的写作时间从一天缩短至两小时左右。尽管在使用过程中，我对其结构和功能有一定的适应性，但仍然可以根据我的需求进行相应的调整。尤其是在处理一些简单的工作时，这样的效率提升是显而易见的，比如撰写一篇关于某个主题的文章，或者制定一个项目计划并在短时间内完成。总的来说，这款显卡和NAS机器的组合为我的工作带来了极大的便利，使得我在面对不同任务时都能游刃有余地完成。

由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。

注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？

ChatGLM-6B 是清华大学 KEG 实验室与智谱 AI 公司于 2023 年共同训练的语言模型，是 GLM-130B 的升级版。该模型的预训练任务包括中文问答、中文文本生成、中文文本分类等，适用于多种自然语言处理任务。ChatGLM-6B 在中文问答方面表现出色，能够对用户的问题和要求提供适当的答复和支持。此外，它还可以用于中文文本生成、翻译、摘要、情感分析等任务，具有广泛的应用前景。

在GitHub上，有关ChatGLM-6B的开源项目公开信息表明，完整的ChatGLM-6B版本在进行推理时需要13GB的显存，然而，其INT4量化版本仅需6GB的显存便可正常运行。对于个人本地部署而言，这无疑是一个极大的优势。

以下是部署docker添加方式。

名称：chatglm-6b

存储库：mkaliez99/chatglm-6b:1.1.0

额外参数：–runtime=nvidia

变量名称显卡调用键 NVIDIA_VISIBLE_DEVICES 值一张显卡就all

在计算机科学领域中，显卡调用模式是一个关键参数，它决定了程序如何与显卡进行交互。在NVIDIA驱动程序能力列表（NVIDIA_DRIVER_CAPABILITIES）中，有两个主要的显卡调用模式：计算（compute）和实用（utility）。首先，我们来了解一下计算模式。这种模式下，程序主要关注于执行大规模的数学运算和数据处理任务。这些任务通常涉及大量的并行操作，例如深度学习训练或者大规模的数据分析。在这种模式下，显卡被看作是一台强大的计算机器，用于加速这些计算密集型任务。接下来是实用模式。在这种模式下，显卡被主要用于一些非计算密集型的任务，如游戏、视频编辑和3D渲染等。虽然这些任务相对于计算任务来说较为简单，但它们同样可以充分利用显卡的图形处理能力。实用模式下的任务可以在较短的时间内完成，从而提高整体的工作效率。综上所述，显卡调用模式是影响程序与显卡性能互动的关键因素。通过合理选择不同的显卡调用模式，可以让程序更好地发挥显卡的图形处理优势，从而提高整个系统的运行效率。在实际应用中，我们需要根据具体的任务需求来选择合适的显卡调用模式。

端口名称端口主机映射容器端口 80 主机端口 12808，你可以自己设定自己不用的端口

点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。

在文件下载完成后，日志界面显示了 Loading checkpoint shards 的信息，其中 100% 的进度已经完成，而剩余的 8/8 部分正在加速处理中。在这个过程中，系统的时间为 00:24，总耗时为 3.11 秒，每秒钟处理的片段数量为 3.11 个。

之后浏览器输入 ip:12808 就可以快乐的使用了。