ChatGLM-6B 类似ChatGPT功能型对话大模型部署实践

sockstack / 183 / 2024-01-01 01:02:38

<p><span style="color: red; font-size: 18px">ChatGPT 可用网址，仅供交流学习使用，如对您有所帮助，请收藏并推荐给需要的朋友。</span><br><a href="https://ckai.xyz/?sockstack&section=detail" target="__blank">https://ckai.xyz</a><br><br></p> <article class="baidu_pl"><div id="article_content" class="article_content clearfix">
<link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/kdoc_html_views-1a98987dfd.css">
<link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-6e43165c0a.css">
<div id="content_views" class="htmledit_views"><div class="kdocs-document">
<p style="">好难为了看到这个页面</p>
<div class="kdocs-line-container" style="display:flex;"><div class="kdocs-img" style="flex-direction:column;max-width:100%;display:flex;width:968px;justify-content:center;align-items:center;height:auto;"><div class="kdocs-img" style="padding-top:38.94628%;height:0;"><img referrerpolicy="no-referrer"  src="https://img-blog.csdnimg.cn/img_convert/05daa972c8c61aec1a5eb85f2146b189.png" style="margin-left:;display:block;width:968px;margin-top:-38.94628%;height:auto;"></div></div></div>
<p style=""></p>
<h1 style="">ChatGLM-6B 简介</h1>
<p style=""> <span class="kdocs-italic" style="font-style:italic;">ChatGLM-6B</span> <span class="kdocs-italic" style="font-style:italic;">是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的一个开源的类 ChatGPT 模型</span>,</p>
<p style="">ChatGLM（alpha内测版：QAGLM）是一个初具问答和对话功能的中英双语模型，当前仅针对中文优化，多轮和逻辑能力相对有限，但其仍在持续迭代进化过程中，敬请期待模型涌现新能力。中英双语对话 GLM 模型： ChatGLM-6B，结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。经过约 1T 标识符的中英双语训练，辅以监督微调、 反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型，但大大降低了用户部署的门槛，并且已经能生成相当符合人类偏好的回答。</p>
<p style="text-align:left;">ChatGLM-6B 是一个具有62亿参数的中英双语语言模型。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。具体来说，ChatGLM-6B 有如下特点：</p>
<ul><li style="margin-left:1.4em;list-style-type:disc;text-indent:0;text-align:left;"><p><span class="kdocs-bold" style="font-weight:bold;">充分的中英双语预训练：</span> ChatGLM-6B 在 1:1 比例的中英语料上训练了 1T 的 token 量，兼具双语能力。</p></li></ul>
<ul><li style="margin-left:1.4em;list-style-type:disc;text-indent:0;text-align:left;"><p><span class="kdocs-bold" style="font-weight:bold;">优化的模型架构和大小：</span> 吸取 GLM-130B 训练经验，修正了二维 RoPE 位置编码实现，使用传统FFN结构。6B（62亿）的参数大小，也使得研究者和个人开发者自己微调和部署 ChatGLM-6B 成为可能。</p></li></ul>
<ul><li style="margin-left:1.4em;list-style-type:disc;text-indent:0;text-align:left;"><p><span class="kdocs-bold" style="font-weight:bold;">较低的部署门槛：</span> FP16 半精度下，ChatGLM-6B 需要至少 13GB 的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10GB（INT8） 和 6GB（INT4）， 使得 ChatGLM-6B 可以部署在消费级显卡上。</p></li></ul>
<div style=""><table class="kdocs-table" border="1" cellpadding="1" cellspacing="1" style=""><tbody>
<tr class="kdocs-tableRow">
<td class="kdocs-tableCell" style="width:100px;vertical-align:top;height:52px;"><p style="">参数精度</p></td>
<td class="kdocs-tableCell" style="width:100px;vertical-align:top;height:52px;"><p style="text-align:left;">占用显存</p></td>
<td class="kdocs-tableCell" style="width:220px;vertical-align:top;height:52px;"><p style="text-align:left;">代码</p></td>
</tr>
<tr class="kdocs-tableRow">
<td class="kdocs-tableCell" style="width:100px;vertical-align:top;height:52px;"><p style="">FP16 </p></td>
<td class="kdocs-tableCell" style="width:100px;vertical-align:top;height:52px;"><p style="text-align:left;">13GB</p></td>
<td class="kdocs-tableCell" style="width:220px;vertical-align:top;height:52px;"><p style="text-align:null;"><span class="kdocs-fontSize" style="font-size:9pt;">.half().cuda()</span></p></td>
</tr>
<tr class="kdocs-tableRow">
<td class="kdocs-tableCell" style="width:100px;vertical-align:top;height:52px;"><p style="">INT8</p></td>
<td class="kdocs-tableCell" style="width:100px;vertical-align:top;height:52px;"><p style="text-align:left;">10GB</p></td>
<td class="kdocs-tableCell" style="width:220px;vertical-align:top;height:52px;"><p style="text-align:left;"><span class="kdocs-fontSize" style="font-size:9pt;">.half().quantize(8).cuda()</span></p></td>
</tr>
<tr class="kdocs-tableRow">
<td class="kdocs-tableCell" style="width:100px;vertical-align:top;height:52px;"><p style="">INT4</p></td>
<td class="kdocs-tableCell" style="width:100px;vertical-align:top;height:52px;"><p style="text-align:left;">6GB</p></td>
<td class="kdocs-tableCell" style="width:220px;vertical-align:top;height:52px;"><p style="text-align:left;"><span class="kdocs-fontSize" style="font-size:9pt;">.half().quantize(4).cuda()</span></p></td>
</tr>
</tbody></table></div>
<ul><li style="margin-left:1.4em;list-style-type:disc;text-indent:0;"><p></p></li></ul>
<ul><li style="margin-left:1.4em;list-style-type:disc;text-indent:0;text-align:left;"><p><span class="kdocs-bold" style="font-weight:bold;">更长的序列长度：</span> 相比 GLM-10B（序列长度1024），ChatGLM-6B 序列长度达 2048，支持更长对话和应用。</p></li></ul>
<ul><li style="margin-left:1.4em;list-style-type:disc;text-indent:0;text-align:left;"><p><span class="kdocs-bold" style="font-weight:bold;">人类意图对齐训练：</span> 使用了监督微调（Supervised Fine-Tuning）、反馈自助（Feedback Bootstrap）、人类反馈强化学习（Reinforcement Learning from Human Feedback） 等方式，使模型初具理解人类指令意图的能力。输出格式为 markdown，方便展示。</p></li></ul>
<p style="text-align:left;">因此，ChatGLM-6B 具备了一定条件下较好的对话与问答能力。当然，ChatGLM-6B 也有相当多已知的局限和不足。第一，模型容量较小：6B 的小容量，决定了其相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时，ChatGLM-6B 可能会生成不正确的信息；她也不擅长逻辑类问题（如数学、编程）的解答。第二，可能会产生有害说明或有偏见的内容：ChatGLM-6B 只是一个初步与人类意图对齐的语言模型，可能会生成有害、有偏见的内容。第三，较弱的多轮对话能力：ChatGLM-6B 的上下文理解能力还不够充分，在面对长答案生成，以及多轮对话的场景时，可能会出现上下文丢失和理解错误的情况。</p>
<p style=""></p>
<h1 style="">中间两个坑</h1>
<ol start="1"><li style="margin-left:1.4em;list-style-type:decimal;text-indent:0;"><p>torch 版本 要&gt;=1.12.0</p></li></ol>
<ol start="2"><li style="margin-left:1.4em;list-style-type:decimal;text-indent:0;"><p>安装 icetk 冲突,安装 icetk 依赖 cpu版torch 2.0 ,解决办法迂回 先装 icetk,在安装GPU版torch.</p></li></ol>
<p style="">3.transformers&gt;= <span class="kdocs-fontSize" style="font-size:9pt;">4.23.1 <span class="kdocs-color" style="color:#C21C13;">推荐</span> transformers==4.26.1</span></p>
<h1 style="">安装步奏</h1>
<ol start="1"><li style="margin-left:1.4em;list-style-type:decimal;text-indent:0;"><p>https://huggingface.co/THUDM/chatglm-6b/tree/main 下载全部文件 </p></li></ol>
<ol start="2"><li style="margin-left:1.4em;list-style-type:decimal;text-indent:0;"><p>新建文件夹 'THUDM'-&gt;'chatglm-6b'两个文件夹 把下载内容全部放里面,chatglm-6b</p></li></ol>
<div class="kdocs-line-container" style="display:flex;"><div class="kdocs-img" style="flex-direction:column;max-width:100%;display:flex;width:247px;justify-content:center;align-items:center;height:auto;"><div class="kdocs-img" style="padding-top:191.09312%;height:0;"><img referrerpolicy="no-referrer"  src="https://img-blog.csdnimg.cn/img_convert/fe675752fcab051fc87966788937fb87.png" style="margin-left:;display:block;width:247px;margin-top:-191.09312%;height:auto;"></div></div></div>
<p style=""></p>
<ol start="1"><li style="margin-left:1.4em;list-style-type:decimal;text-indent:0;"><h1>安装依赖 ,</h1></li></ol>
<p style="">安装先装 icetk,在安装GPU版torch.</p>
<pre class="kdocs-python"><code class="language-python">pip install protobuf==3.20.0 transformers==4.26.1 icetk cpm_kernels -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com</code></pre>
<p style="">在安装GPU版torch.这里我是用浏览器下载的 torch GPU whl包在本地安装</p>
<pre class="kdocs-python"><code class="language-python">pip install torch-1.13.1+cu117-cp310-cp310-win_amd64.whl -i https://download.pytorch.org/whl/torch/ --trusted-host download.pytorch.org</code></pre>
<p style=""></p>
<h1 style="">代码generate.py</h1>
<pre class="kdocs-python"><code class="language-python">import os
from transformers import AutoTokenizer, AutoModel# 获取当前文件所在的目录路径
current_dir = os.path.dirname(os.path.abspath(__file__))
# 将当前目录和'model'连接起来，获得'model'文件夹的完整路径
model_path = os.path.join(current_dir, 'THUDM','chatglm-6b')
# 确认路径是否正确
print(model_path)print(model_path)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().quantize(4).cuda() # 这里进行了int4量化。
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
response, history = model.chat(tokenizer, "你好", history=[])
print(response)response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)'''
trust_remote_code=False 的意思是，即使在本地目录中没有找到分词器和模型文件，也不会从远程存储库下载它们。如果找不到这些文件，会抛出错误。因此，将trust_remote_code设置为False可以确保从本地路径加载模型和分词器。
在 PyTorch 中，half() 是将张量数据类型转换为 16 位浮点型（即半精度浮点型）的方法。半精度浮点型比单精度浮点型占用更少的内存空间，但相应的精度也会受到一定的影响。在给定模型的情况下，将模型的参数和计算结果使用半精度浮点型进行存储和计算可以显著减少 GPU 内存的使用，从而允许更大的 batch size 和更深的网络结构，加速训练过程。但需要注意的是，在某些场景下，使用半精度浮点型可能会降低模型的精度和收敛速度，因此需要根据具体情况进行权衡和选择。
'''
</code></pre>
<h1 style="">生成案例</h1>
<hr>
<blockquote class="kdocs-blockquote" style="">
<span class="kdocs-color" style="color:#116AF0;">欢迎使用 ChatGLM-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序</span><br><br>用户：<span class="kdocs-color" style="color:#078654;">7年前,妈妈的年龄是儿子的6倍,儿子今年12岁,妈妈今年几岁?</span><br>ChatGLM-6B：7年前儿子的年龄是 $12-7=5$ 岁,那时妈妈的年龄是 $5 \times 6 = 30$ 岁。<br><br>现在,7年过去了,妈妈的年龄应该是 $30+7=37$ 岁,因此,可以得出结论:妈妈今年37岁。<br><br>用户：<span class="kdocs-color" style="color:#078654;">numbers由几个字母组成</span><br>ChatGLM-6B："numbers" 由三个字母组成。<br><br>用户：<span class="kdocs-color" style="color:#078654;">小明45元卖出一顶帽子,收到一张100元假钞,找零55元,帽子进货价15元一顶,如果小明不知道他收到的是一张假钞，请问小明亏了多少钱?</span><br>ChatGLM-6B：小明的利润是 $45 - 100 = -55$ 元。<br><br>小明收到了一张假钞,导致他实际支付的金额为 $100 - 55 = 45$ 元,但找零只有 $55$ 元,因此小明实际损失了 $45 - 55 = -10$ 元。<br><br>因此,小明亏了 $-10$ 元。<br><br>用户：<span class="kdocs-color" style="color:#078654;">32+9.4=</span><br>ChatGLM-6B：32+9.4=41.4<br><br>用户：<span class="kdocs-color" style="color:#078654;">有一串彩珠,按2红3绿4黄的顺序依次排列,第600颗是什么颜色?</span><br>ChatGLM-6B：这串彩珠按照2红3绿4黄的顺序排列,总共有2+3+4=9颗珠子。<br><br>要找到第600颗珠子的颜色,我们可以计算出前600颗珠子中红、绿、黄三种颜色各有多少颗珠子。<br><br>首先,计算前600颗珠子中红颜色有多少颗:2颗珠子/颗彩珠(2红3绿4黄)=2/3(红+绿+黄)。<br><br>因此,前600颗珠子中红颜色有 $2/3 \times 600 = 400$ 颗珠子。<br><br>接下来,计算前600颗珠子中绿颜色有多少颗:3颗珠子/颗彩珠(2红3绿4黄)=3/4(红+绿+黄)。<br><br>因此,前600颗珠子中绿颜色有 $3/4 \times 600 = 900$ 颗珠子。<br><br>最后,计算前600颗珠子中黄色有多少颗:4颗珠子/颗彩珠(2红3绿4黄)=4/5(红+绿+黄)。<br><br>因此,前600颗珠子中黄色有 $4/5 \times 600 = 800$ 颗珠子。<br><br>所以,第600颗珠子的颜色是黄色。<br><br>用户：<span class="kdocs-color" style="color:#078654;">用python语言Pillow库画一幅自然风景的图的代码</span><br>ChatGLM-6B：以下是使用Python的Pillow库绘制自然风景图的示例代码:<br><br>```python<br>import PIL<br><br># 初始化Pillow库<br>PIL = PIL.init()<br><br># 导入绘图函数<br>def draw(size, canvas, fill, color):<br> for x in range(size[0], size[1]):<br> for y in range(size[0], size[1]):<br> # 获取像素值<br> 像素值 = (x * 256) + (y * 256)<br> # 绘制像素值<br> canvas.draw(像素值, fill=fill, color=color)<br><br># 设置绘图尺寸<br>size = (400, 400)<br><br># 绘制自然风景图<br>draw(size, canvas, fill='green', color='red')<br>draw(size, canvas, fill='yellow', color='blue')<br>draw(size, canvas, fill='orange', color='black')<br><br># 保存绘图结果<br>canvas.tostring(size, format='png')<br>```<br><br>运行这段代码会提示选择输出文件格式(png、jpg等),选择保存路径并输出绘图结果。您可以根据自己的喜好选择不同的输出格式和保存路径。</blockquote>
</div></div>
</div>
<div id="treeSkill"></div>
</article>

作者

sockstack

许可协议

CC BY 4.0

发布于

2024-01-01

修改于

2025-05-10

上一篇：软件：常用 Linux 软件汇总，值得收藏下一篇：让 ChatGPT 自己告诉你如何与它高效交流（对话全过程展示，请自行感受）

尚未登录

ChatGLM-6B 类似ChatGPT功能型对话大模型部署实践

文章分类

博客重构之路

Spring Boot简单入门

k8s 入门教程

MySQL 知识

NSQ 消息队列

ThinkPHP5 源码分析

使用 Docker 从零开始搭建私人代码仓库

日常开发汇总

标签列表

springboot

hyperf

swoole

webman

php

多线程

数据结构

docker

k8s

thinkphp

mysql

tailwindcss

flowbite

css

前端

ChatGLM-6B 类似ChatGPT功能型对话大模型 部署实践

文章分类

博客重构之路

Spring Boot简单入门

k8s 入门教程

MySQL 知识

NSQ 消息队列

ThinkPHP5 源码分析

使用 Docker 从零开始搭建私人代码仓库

日常开发汇总

标签列表

springboot

hyperf

swoole

webman

php

多线程

数据结构

docker

k8s

thinkphp

mysql

tailwindcss

flowbite

css

前端

ChatGLM-6B 类似ChatGPT功能型对话大模型部署实践