云素材PPT模板超市 ChatGPT与PPT 2023-08-05

ChatGLM-6B：一款具有强大功能的国产人工智能助手

文章主题：清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练

作者：Tommyvinny

购买理由

ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于，它接受了大约1T个标识符的中英文训练，而且大部分都是中文，因此它非常适合在我国使用。

如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。

如果你手头一块至少8G显存的显卡，并且拥有一台以Unraid为系统的NAS机器，那么我强烈推荐你尝试一下。我自己使用起来感觉非常顺畅，通常能将我的写作时间从一天缩短至两小时左右。尽管在使用过程中，我对其结构和功能有一定的适应性，但仍然可以根据个人需求进行相应的调整。这样一来，无论是处理简单的任务，还是进行深入的探讨，都能让我感到无比便捷。例如，我可以轻松地撰写一篇关于某主题的感悟，确保其篇幅达到1000字以上；又或者制定一个详细的项目计划，并在输入后迅速展开对某一项目的长达1000字的解释。总的来说，这款显卡与Unraid系统的组合为我提供了强大的支持，使我在工作和创作中都能事半功倍。

由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。

注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？

ChatGLM-6B 是一个基于语言模型的人工智能助手，其基础模型来自于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型 GLM-130B。这个模型的预训练任务是针对英文-法文、英文-德文、法文-德文、日文-韩文、中文-日文和中文-韩文等六种语言的，它可以进行自然语言理解和生成，并且能够模拟人类的对话方式。ChatGLM-6B 的出现标志着人工智能技术的发展进入了一个新的阶段，即通过大规模语言模型来构建更加智能和灵活的人工智能系统。

在GitHub上，有关ChatGLM-6B的开源项目公开信息显示，完整的版本在进行推理时需要13GB的显存，然而，其INT4量化版本却能仅需6GB的显存就能正常运行。这对于个人本地的部署而言，无疑提供了极大的便利。

以下是部署docker添加方式。

名称：chatglm-6b

存储库：mkaliez99/chatglm-6b:1.1.0

额外参数：–runtime=nvidia

变量名称显卡调用键 NVIDIA_VISIBLE_DEVICES 值一张显卡就all

在计算机科学领域中，显卡调用模式是一个关键参数，它决定了程序如何与显卡进行交互。在NVIDIA驱动程序 capabilities中，有两个主要的显卡调用模式：compute和utility。 compute模式主要用于执行大规模的计算任务，例如深度学习模型训练等；而utility模式则用于执行各种通用计算任务，包括渲染、物理仿真等。这两种模式各有优势，可以根据具体的应用场景选择合适的模式来提高计算效率。

端口名称端口主机映射容器端口 80 主机端口 12808，你可以自己设定自己不用的端口

点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。

在文件下载完成后，日志界面显示了 Loading checkpoint shards 的信息，其中 100% 的进度已经完成，而剩余的 8/8 部分正在加速处理中。在这个过程中，系统的时间为 00:24，总耗时为 3.11 秒，每秒钟处理的片段数量为 3.11 个。

之后浏览器输入 ip:12808 就可以快乐的使用了。