腾讯云部署清华大学ChatGLM-6B实战

sockstack / 225 / 2023-11-06 23:54:41

<p><span style="color: red; font-size: 18px">ChatGPT 可用网址，仅供交流学习使用，如对您有所帮助，请收藏并推荐给需要的朋友。</span><br><a href="https://ckai.xyz/?sockstack&section=detail" target="__blank">https://ckai.xyz</a><br><br></p> <article class="baidu_pl"><div id="article_content" class="article_content clearfix">
<link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/kdoc_html_views-1a98987dfd.css">
<link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-25cebea3f9.css">
<div id="content_views" class="htmledit_views">
<h3>简介（来自官方）</h3> 
<p>ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。</p> 
<p>为了方便下游开发者针对自己的应用场景定制模型，我们同时实现了基于 P-Tuning v2 的高效参数微调方法 (使用指南) ，INT4 量化级别下最低只需 7GB 显存即可启动微调。</p> 
<p>不过，由于 ChatGLM-6B 的规模较小，目前已知其具有相当多的局限性，如事实性/数学逻辑错误，可能生成有害/有偏见内容，较弱的上下文能力，自我认知混乱，以及对英文指示生成与中文指示完全矛盾的内容。请大家在使用前了解这些问题，以免产生误解。更大的基于 1300 亿参数 GLM-130B 的 ChatGLM 正在内测开发中。</p> 
<h3>准备工作</h3> 
<p>硬件要求（腾讯云V100显卡，一个月大几千，肉疼）</p> 
<table>
<thead><tr>
<th><strong>量化等级</strong></th>
<th>
<strong>最低 GPU 显存</strong>（推理）</th>
<th>
<strong>最低 GPU 显存</strong>（高效参数微调）</th>
</tr></thead>
<tbody>
<tr>
<td>FP16（无量化）</td>
<td>13 GB</td>
<td>14 GB</td>
</tr>
<tr>
<td>INT8</td>
<td>8 GB</td>
<td>9 GB</td>
</tr>
<tr>
<td>INT4</td>
<td>6 GB</td>
<td>7 GB</td>
</tr>
</tbody>
</table>
<h3>代码clone（怎么安装Git工具不赘述）</h3> 
<pre><code class="language-bash">git clone https://github.com/THUDM/ChatGLM-6B.git</code></pre> 
<h3>环境安装</h3> 
<p>使用 pip 安装依赖：<code>pip install -r requirements.txt</code>，其中 <code>transformers</code> 库版本为 <code>4.27.1（就用这个就行）</code>。</p> 
<p>注意：Python要3.8以上！！！！否则能坑死你！</p> 
<h3>模型以及配置文件准备</h3> 
<p>1、官方下载：清华大学云盘</p> 
<p>2、huggingface开源社区下载：THUDM/chatglm-6b at main</p> 
<p>把对应的模型以及配置文件记得下载全，结果是这样的：</p> 
<p><img referrerpolicy="no-referrer"  alt="" height="136" src="https://img-blog.csdnimg.cn/fa7e6fddde9c4d449e01fbf482d8bdc9.png" width="1064"></p> 
<p><img referrerpolicy="no-referrer"  alt="" height="242" src="https://img-blog.csdnimg.cn/a4f58f16c683480c916bee7208ad6315.png" width="1200"></p> 
<p>踩坑：记得教研一下模型的SHA256是否跟官方一致，否则模型肯定加载失败！</p> 
<p>3、准备启动：</p> 
<p>三种方式均可：</p> 
<pre>python3.8 web_demo.py
</pre> 
<pre>python3.8 web_demo2.py</pre> 
<p>streamlit run web_demo2.py</p> 
<p></p> 
<p>4、注意：web方式记得把云服务器的端口开放了，否则用不了！</p> 
<p></p> 
<p>效果展示：</p> 
<p><img referrerpolicy="no-referrer"  alt="" height="693" src="https://img-blog.csdnimg.cn/d4d45810e258486fac170caae96e33c6.png" width="714"></p> 
<p></p> 
<p><img referrerpolicy="no-referrer"  alt="" height="672" src="https://img-blog.csdnimg.cn/2121b3ec1d0144269f28ce1f7c03dd16.png" width="1200"></p> 
<p><img referrerpolicy="no-referrer"  alt="" height="732" src="https://img-blog.csdnimg.cn/b68fe689cada44049bffa7bc7ef556f8.png" width="1200"></p> 
<p>大家又遇到坑的地方，欢迎留言！ </p> 
<p></p> 
<p></p> 
<p></p> 
<p></p> 
<p></p> 
<p></p>
</div>
</div>
<div id="treeSkill"></div>
</article>

作者

sockstack

许可协议

CC BY 4.0

发布于

2023-11-06

修改于

2025-01-08

上一篇：软件：常用 Linux 软件汇总，值得收藏下一篇：chatgpt赋能python：Python字幕滚动：如何让你的视频内容更吸引人

尚未登录

腾讯云部署清华大学ChatGLM-6B实战

文章分类

博客重构之路

Spring Boot简单入门

k8s 入门教程

MySQL 知识

NSQ 消息队列

ThinkPHP5 源码分析

使用 Docker 从零开始搭建私人代码仓库

日常开发汇总

标签列表

springboot

hyperf

swoole

webman

php

多线程

数据结构

docker

k8s

thinkphp

mysql

tailwindcss

flowbite

css

前端