ChatGLM-6B:人工智能助手提升工作效率的利器

文章主题:清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练

666AI工具大全,助力做AI时代先行者!

作者:Tommyvinny

购买理由

ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于,它接受了大约1T个标识符的中英文训练,而且大部分都是中文,因此它非常适合在我国使用。

如果你有OpenAI的ID的话,而且你已经用的非常顺畅的话,可以不看了。

如果你手头一块至少8G显存的显卡,并且拥有一台以Unraid为系统的NAS机器,那么我强烈推荐你尝试一下。我自己使用起来感觉非常棒,通常能将我的写作时间从一天缩短至两小时左右。尽管在使用过程中,我对其结构和功能有一定的适应性,但仍然可以根据我的需求进行相应的调整。尤其是在处理一些简单的工作时,这样的效率提升是显而易见的,比如撰写一篇关于某个主题的文章,或者制定一个项目计划并在短时间内完成。总的来说,这款显卡和NAS机器的组合为我的工作带来了极大的便利,使得我在面对不同任务时都能游刃有余地完成。

由于是在本机运行,没有敏感词,唯一限制你的就是模型的大小和显卡显存的大小。

注意NAS的内存大小,不要少于32G可用,都有独立显卡了,还在乎内存的耗电么?

ChatGLM-6B 是清华大学 KEG 实验室与智谱 AI 公司于 2023 年共同训练的语言模型,是 GLM-130B 的升级版。该模型的预训练任务包括中文问答、中文文本生成、中文文本分类等,适用于多种自然语言处理任务。ChatGLM-6B 在中文问答方面表现出色,能够对用户的问题和要求提供适当的答复和支持。此外,它还可以用于中文文本生成、翻译、摘要、情感分析等任务,具有广泛的应用前景。

在GitHub上,有关ChatGLM-6B的开源项目公开信息表明,完整的ChatGLM-6B版本在进行推理时需要13GB的显存,然而,其INT4量化版本仅需6GB的显存便可正常运行。对于个人本地部署而言,这无疑是一个极大的优势。

以下是部署docker添加方式。

名称:chatglm-6b

存储库:mkaliez99/chatglm-6b:1.1.0

额外参数:–runtime=nvidia

变量 名称 显卡调用 键 NVIDIA_VISIBLE_DEVICES 值 一张显卡就all

在计算机科学领域中,显卡调用模式是一个关键参数,它决定了程序如何与显卡进行交互。在NVIDIA驱动程序能力列表(NVIDIA_DRIVER_CAPABILITIES)中,有两个主要的显卡调用模式:计算(compute)和实用(utility)。首先,我们来了解一下计算模式。这种模式下,程序主要关注于执行大规模的数学运算和数据处理任务。这些任务通常涉及大量的并行操作,例如深度学习训练或者大规模的数据分析。在这种模式下,显卡被看作是一台强大的计算机器,用于加速这些计算密集型任务。接下来是实用模式。在这种模式下,显卡被主要用于一些非计算密集型的任务,如游戏、视频编辑和3D渲染等。虽然这些任务相对于计算任务来说较为简单,但它们同样可以充分利用显卡的图形处理能力。实用模式下的任务可以在较短的时间内完成,从而提高整体的工作效率。综上所述,显卡调用模式是影响程序与显卡性能互动的关键因素。通过合理选择不同的显卡调用模式,可以让程序更好地发挥显卡的图形处理优势,从而提高整个系统的运行效率。在实际应用中,我们需要根据具体的任务需求来选择合适的显卡调用模式。

端口 名称 端口主机映射 容器端口 80 主机端口 12808,你可以自己设定自己不用的端口

点击完成后,将开始漫长的拉取环境安装,然后自动下载模型,模型有点大,大约8G左右。

在文件下载完成后,日志界面显示了 Loading checkpoint shards 的信息,其中 100% 的进度已经完成,而剩余的 8/8 部分正在加速处理中。在这个过程中,系统的时间为 00:24,总耗时为 3.11 秒,每秒钟处理的片段数量为 3.11 个。

之后 浏览器输入 ip:12808 就可以快乐的使用了。

外观展示

使用感受

我的显卡是X鱼上购买的900元显卡,被动散热,加装了风扇。运行这个生成,基本上秒回。与在线的OpenAI的ChatGPT几乎一致,但是模型是6B的模型,比起AI的30B模型回复的内容质量差距很大,但是日常使用,例如写个心得体会,写一点点的分析,询问一些问题,是完全足够。

总结

个人本地运行,不受限制,不怕被封号,这是唯一的优势。相信以后更大的模型之后,会有更好的效果。有兴趣的可以自己架设起来,让AI助理提高工作效率。

阅读更多办公软件精彩内容,可前往什么值得买查看

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

Leave a Reply