ChatGLM-6B:国内开源对话机器人的优势与应用
文章主题:清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练
作者:Tommyvinny
购买理由
ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于,它接受了大约1T个标识符的中英文训练,而且大部分都是中文,因此它非常适合在我国使用。
如果你有OpenAI的ID的话,而且你已经用的非常顺畅的话,可以不看了。
作为一名拥有8G显存显卡的用户,且使用Unraid作为NAS系统的 writer,我强烈推荐大家尝试一下这款工具。实际上,自从我开始使用它以来,我的创作效率得到了显著提升。以写一篇关于XXXX的心得为例,我可以更快地完成初稿,从一天缩短到不到两小时。同时,其结构上的灵活性也让我能够更轻松地进行对话式修改。当我面对简单的任务时,如撰写一篇关于XXXX的心得,或者制定一个项目计划并进行详细的阐述,这个工具都为我提供了极大的便利。它可以让我更加专注于内容本身,而不是花费大量时间在格式和排版上。例如,我可以利用它快速生成一篇不少于1000字的文章,或者一份详细的项目计划。总的来说,这款工具对于任何需要高效创作的人都是非常有帮助的。无论是写作者、设计师,还是项目管理人员,都可以通过它来提高自己的工作效率。我强烈建议大家可以试一试,相信你们一定会喜欢上它的便捷和高效。
由于是在本机运行,没有敏感词,唯一限制你的就是模型的大小和显卡显存的大小。
注意NAS的内存大小,不要少于32G可用,都有独立显卡了,还在乎内存的耗电么?
ChatGLM-6B 是清华大学 KEG 实验室与智谱 AI 公司于 2023 年共同训练的语言模型,是一种基于 GLM-130B 模型开发的开源双语千亿参数语言模型。该模型的预训练任务包括中文问答、英文问答等,适用于多种自然语言处理任务,如文本分类、命名实体识别、情感分析等。通过下载和使用 ChatGLM-6B,用户可以获得强大的语言处理能力,进一步推动人工智能技术的发展和应用。
在GitHub上,有关ChatGLM-6B的开源项目公开信息表明,完整的ChatGLM-6B版本在进行推理时需要13GB的显存,然而,其INT4量化版本仅需6GB的显存便可正常运行。这对于个人本地部署而言无疑是一个极大的优势。
以下是部署docker添加方式。
名称:chatglm-6b
存储库:mkaliez99/chatglm-6b:1.1.0
额外参数:–runtime=nvidia
变量 名称 显卡调用 键 NVIDIA_VISIBLE_DEVICES 值 一张显卡就all
在计算机科学领域中,显卡的调用模式是一个关键参数。本文将详细探讨该参数及其在不同显卡驱动API中的具体应用。我们以NVIDIA_DRIVER_CAPABILITIES为变量名称,对其进行深入剖析。首先,我们需要理解显卡调用的两种主要模式:计算模式(compute)和实用模式(utility)。计算模式主要用于执行大规模数据处理任务,而实用模式则适用于日常使用。这两种模式各有优势,可满足不同场景的需求。在实际应用中,显卡调用的模式取决于具体的硬件和软件环境。通过查询NVIDIA_DRIVER_CAPABILITIES变量的值,我们可以获取到当前显卡支持的调用模式。这些信息对于开发人员来说至关重要,因为它们可以帮助我们优化程序性能,提高显卡利用率。总之,显卡调用模式是影响计算机性能的关键因素之一。深入研究这一参数及其在不同显卡驱动API中的应用,有助于我们更好地利用显卡资源,提升程序运行效率。
端口 名称 端口主机映射 容器端口 80 主机端口 12808,你可以自己设定自己不用的端口
点击完成后,将开始漫长的拉取环境安装,然后自动下载模型,模型有点大,大约8G左右。
在文件下载完成后,日志界面显示了 Loading checkpoint shards 的信息,其中 100% 的进度已经完成,而剩余的 8/8 部分正在加速处理中。在这个过程中,系统的时间为 00:24,总耗时为 3.11 秒,每秒钟处理的片段数量为 3.11 个。
之后 浏览器输入 ip:12808 就可以快乐的使用了。
外观展示
使用感受
我的显卡是X鱼上购买的900元显卡,被动散热,加装了风扇。运行这个生成,基本上秒回。与在线的OpenAI的ChatGPT几乎一致,但是模型是6B的模型,比起AI的30B模型回复的内容质量差距很大,但是日常使用,例如写个心得体会,写一点点的分析,询问一些问题,是完全足够。
总结
个人本地运行,不受限制,不怕被封号,这是唯一的优势。相信以后更大的模型之后,会有更好的效果。有兴趣的可以自己架设起来,让AI助理提高工作效率。
阅读更多办公软件精彩内容,可前往什么值得买查看
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!