云素材PPT模板超市 ChatGPT与PPT 2023-08-05

ChatGLM-6B：国内开源对话机器人的优势与应用

文章主题：清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练

作者：Tommyvinny

购买理由

ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于，它接受了大约1T个标识符的中英文训练，而且大部分都是中文，因此它非常适合在我国使用。

如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。

如果你手头一块至少8G显存的显卡，并且拥有一台以Unraid为系统的NAS机器，那么我强烈推荐你尝试一下。我自己使用起来感觉非常顺畅，通常能将我的写作时间从一天缩短至两小时左右。更重要的是，尽管在使用过程中可能会遇到一些小问题，但在Unraid系统的帮助下，我能够轻松地进行修改和优化。这样一来，无论是撰写一篇关于某个主题的心得体会，还是制定一个项目计划并进行详细的阐述，都能变得非常便捷。以Unraid系统为基础的NAS机器为我提供了强大的计算能力，使得我在面对各种写作任务时都能游刃有余。它不仅能帮助我快速完成简单的任务，还能让我在面对复杂的工作时也能保持高效。例如，当我需要撰写一篇关于某个主题的心得体会时，Unraid系统可以让我在短时间内完成初稿；而在后的修改和完善阶段，我也可以利用这个系统的优势，对文本进行精细打磨。同样，在制定项目计划时，Unraid系统也能提供我所需要的计算资源，让我在输入相关信息的同时，还能对整个项目进行深入的阐述。总之，对于拥有强大计算能力的 writers 来说，Unraid系统无疑是一个非常好的选择。它不仅可以提高写作效率，还能让写作过程更加顺畅。无论是面对简单的日常写作，还是处理复杂的写作任务，Unraid都能给我带来很大的帮助。

由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。

注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？

ChatGLM-6B 是一个基于语言模型的人工智能助手，由清华大学 KEG 实验室与智谱 AI 公司共同训练推出。该模型拥有 1300 亿个参数，采用了 GLM-130B 模型结构，能够针对用户的问题和要求提供适当的答复和支持。ChatGLM-6B 的出现标志着人工智能技术的发展进入了一个新的阶段，大模型服务时代已经到来。

在GitHub上，有关ChatGLM-6B的开源项目公开信息表明，完整的ChatGLM-6B版本在进行推理时需要13GB的显存，然而，其INT4量化版本仅需6GB的显存便可正常运行。对于个人本地部署而言，这无疑是一个极大的优势。

以下是部署docker添加方式。

名称：chatglm-6b

存储库：mkaliez99/chatglm-6b:1.1.0

额外参数：–runtime=nvidia

变量名称显卡调用键 NVIDIA_VISIBLE_DEVICES 值一张显卡就all

在计算机科学领域中，显卡的调用模式是一个关键参数。本文将详细探讨这个参数及其在不同显卡驱动API中的具体应用。我们以NVIDIA_DRIVER_CAPABILITIES为变量名称，代表显卡的调用模式，其可能的取值为compute和utility。在这里，compute模式主要针对GPU计算任务，而utility模式则适用于其他类型的计算需求。通过深入理解和运用这些不同的调用模式，我们可以更有效地利用显卡资源，提高计算性能。

端口名称端口主机映射容器端口 80 主机端口 12808，你可以自己设定自己不用的端口

点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。

在文件下载完成后，日志界面显示了 Loading checkpoint shards 的信息，其中 100% 的进度已经完成，而剩余的 8/8 部分正在加速处理中。在这个过程中，系统的时间为 00:24，总耗时为 3.11 秒，每秒钟处理的片段数量为 3.11 个。

之后浏览器输入 ip:12808 就可以快乐的使用了。