ChatGPT本地部署（支持中英文，超级好用）！

sockstack / 290 / 2023-11-22 01:00:29

<p><span style="color: red; font-size: 18px">ChatGPT 可用网址，仅供交流学习使用，如对您有所帮助，请收藏并推荐给需要的朋友。</span><br><a href="https://ckai.xyz/?sockstack&section=detail" target="__blank">https://ckai.xyz</a><br><br></p> <article class="baidu_pl"><div id="article_content" class="article_content clearfix">
<link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/kdoc_html_views-1a98987dfd.css">
<link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-25cebea3f9.css">
<div id="content_views" class="htmledit_views">
<p>今天用了一个超级好用的Chatgpt模型——ChatGLM，可以很方便的本地部署，而且效果嘎嘎好，经测试，效果基本可以平替内测版的文心一言。</p> 
<p id="main-toc"><strong>目录</strong></p> 
<p id="%E4%B8%80%E3%80%81%E4%BB%80%E4%B9%88%E6%98%AFChatGLM%EF%BC%9F-toc" style="margin-left:0px;">一、什么是ChatGLM？</p> 
<p id="%E4%BA%8C%E3%80%81%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2-toc" style="margin-left:0px;">二、本地部署</p> 
<p id="2.1%C2%A0%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD-toc" style="margin-left:40px;">2.1 模型下载</p> 
<p id="2.2%C2%A0%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2-toc" style="margin-left:40px;">2.2 模型部署</p> 
<p id="2.3%C2%A0%E6%A8%A1%E5%9E%8B%E8%BF%90%E8%A1%8C-toc" style="margin-left:40px;">2.3 模型运行</p> 
<p id="2.3.1%C2%A0%E7%9B%B4%E6%8E%A5%E5%9C%A8%E5%91%BD%E4%BB%A4%E8%A1%8C%E4%B8%AD%E8%BE%93%E5%85%A5%E8%BF%9B%E8%A1%8C%E9%97%AE%E7%AD%94-toc" style="margin-left:80px;">2.3.1 直接在命令行中输入进行问答</p> 
<p id="2.3.2%C2%A0%E5%88%A9%E7%94%A8%C2%A0gradio%C2%A0%E5%BA%93%E7%94%9F%E6%88%90%E9%97%AE%E7%AD%94%E7%BD%91%E9%A1%B5%C2%A0-toc" style="margin-left:80px;">2.3.2 利用 gradio 库生成问答网页 </p> 
<p id="%E4%B8%89%E3%80%81%E6%A8%A1%E5%9E%8B%E4%B8%8EChatGPT%E5%92%8CGPT4AII%20%E6%95%88%E6%9E%9C%E5%AF%B9%E6%AF%94-toc" style="margin-left:0px;">三、模型与ChatGPT和GPT4AII 效果对比</p> 
<p id="3.1%20ChatGLM-toc" style="margin-left:40px;">3.1 ChatGLM</p> 
<p id="3.2%20ChatGPT-toc" style="margin-left:40px;">3.2 ChatGPT</p> 
<p id="3.3%20GPT4AII-toc" style="margin-left:40px;">3.3 GPT4AII</p> 
<p id="%E5%9B%9B%E3%80%81%E6%80%BB%E7%BB%93-toc" style="margin-left:0px;">四、总结</p> 
<hr id="hr-toc">
<p></p> 
<h1 id="%E4%B8%80%E3%80%81%E4%BB%80%E4%B9%88%E6%98%AFChatGLM%EF%BC%9F">一、什么是ChatGLM？</h1> 
<p>ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model  架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。</p> 
<h1 id="%E4%BA%8C%E3%80%81%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2">二、本地部署</h1> 
<h2 id="2.1%C2%A0%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD">2.1 模型下载</h2> 
<p>Demo下载地址：</p> 
<p>GitHub - ZhangErling/ChatGLM-6B: 提供Windows部署文档的版本 | ChatGLM-6B：开源双语对话语言模型 | An Open Bilingual Dialogue Language Model</p> 
<h2 id="2.2%C2%A0%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2">2.2 模型部署</h2> 
<p>1. 用Pycharm打开项目文件；</p> 
<p>2. 使用 pip 安装依赖：<code>pip install -r requirements.txt</code>，其中 <code>transformers</code> 库版本推荐为 <code>4.27.1</code>，但理论上不低于 <code>4.23.1</code> 即可；</p> 
<p>安装以下依赖包：</p> 
<pre><code class="language-python">protobuf
transformers==4.27.1
cpm_kernels
torch&gt;=1.10
gradio
mdtex2html
sentencepiece</code></pre> 
<p>pip 直接安装不行就用：</p> 
<pre><code class="language-python">conda install 包名 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/</code></pre> 
<p>再不行就去Archived: Python Extension Packages for Windows - Christoph Gohlke (uci.edu) </p> 
<p>下载相关依赖包的 whl文件，然后在cd 到文件路径下，用pip 安装。 </p> 
<h2 id="2.3%C2%A0%E6%A8%A1%E5%9E%8B%E8%BF%90%E8%A1%8C">2.3 模型运行</h2> 
<p>在 <strong>…/ChatGLM/</strong> 目录下有两个 demo 代码：</p> 
<h3 id="2.3.1%C2%A0%E7%9B%B4%E6%8E%A5%E5%9C%A8%E5%91%BD%E4%BB%A4%E8%A1%8C%E4%B8%AD%E8%BE%93%E5%85%A5%E8%BF%9B%E8%A1%8C%E9%97%AE%E7%AD%94">2.3.1 直接在命令行中输入进行问答</h3> 
<p>（1）修改模型路径。编辑 <em>cli_demo.py</em> 代码，修改 5、6 行的模型文件夹路径，将原始的 <strong>“THUDM/ChatGLM-6B”</strong> 替换为 <strong>“model”</strong> 即可。</p> 
<p>（2）修改量化版本。如果你的显存大于 14G，则无需量化可以跳过此步骤。如果你的显存只有 6G 或 10G，则需要在第 6 行代码上添加 <strong>quantize(4)</strong> 或 <strong>quantize(8)</strong> ，如下：</p> 
<pre><code class="language-python"># 6G 显存可以 4 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(4).cuda()# 10G 显存可以 8 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(8).cuda()
</code></pre> 
<p>（3）运行 <em>cli_demo.py</em> </p> 
<h3 id="2.3.2%C2%A0%E5%88%A9%E7%94%A8%C2%A0gradio%C2%A0%E5%BA%93%E7%94%9F%E6%88%90%E9%97%AE%E7%AD%94%E7%BD%91%E9%A1%B5%C2%A0">2.3.2 利用 <em>gradio</em> 库生成问答网页 </h3> 
<p>利用 <em>gradio</em> 库生成问答网页（效果如三中所示）。</p> 
<p> （1）安装gradio 库：</p> 
<pre><code class="language-python">pip install gradio</code></pre> 
<p>（2）修改模型路径。编辑 <em>cli_demo.py</em> 代码，修改 5、6 行的模型文件夹路径，将原始的 <strong>“THUDM/ChatGLM-6B”</strong> 替换为 <strong>“model”</strong> 即可。</p> 
<p>（3）修改量化版本。如果你的显存大于 14G，则无需量化可以跳过此步骤。如果你的显存只有 6G 或 10G，则需要在第 5 行代码上添加 quantize(4) 或 quantize(8) ，如下：</p> 
<pre><code class="language-python"># 6G 显存可以 4 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(4).cuda()# 10G 显存可以 8 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(8).cuda()
</code></pre> 
<p>（4）<em>运行 web_demo.py</em> </p> 
<p>模型加载过程如下图：</p> 
<p><img referrerpolicy="no-referrer"  alt="" height="1200" src="https://img-blog.csdnimg.cn/03ce4010c0f84bb8b3694c04b4ebacae.png" width="1200"></p> 
<h1 id="%E4%B8%89%E3%80%81%E6%A8%A1%E5%9E%8B%E4%B8%8EChatGPT%E5%92%8CGPT4AII%20%E6%95%88%E6%9E%9C%E5%AF%B9%E6%AF%94">三、模型与ChatGPT和GPT4AII 效果对比</h1> 
<p>运行完 web_demo.py 结束会自动打开浏览器，显示如下界面，可以进行正常对话，且相应速度非常快。</p> 
<h2 id="3.1%20ChatGLM">3.1 ChatGLM</h2> 
<p>向 ChatGLM 提问：“蒸1个包子需要10分钟，蒸10个包子需要多久？”，回答非常合理。</p> 
<p><img referrerpolicy="no-referrer"  alt="" height="1200" src="https://img-blog.csdnimg.cn/520fa09cd3b24899a4f0de30e062ae5b.png" width="1200"></p> 
<h2 id="3.2%20ChatGPT">3.2 ChatGPT</h2> 
<p>向 ChatGPT 提相同的问题：“蒸1个包子需要10分钟，蒸10个包子需要多久？”，回答略显简单。</p> 
<p><img referrerpolicy="no-referrer"  alt="" height="1200" src="https://img-blog.csdnimg.cn/3c3f2f4ab48b4faabf5344b891163eee.png" width="1200"></p> 
<h2 id="3.3%20GPT4AII">3.3 GPT4AII</h2> 
<p>上一篇博文我们介绍了GPT4ALL，它只能实现英文的对话，用英文提问相关的问题，发现效果不如 ChatGLM 和 ChatGPT 。 </p> 
<p><img referrerpolicy="no-referrer"  alt="" height="1047" src="https://img-blog.csdnimg.cn/57c591788e844e65bc2bd8fbfaf6905e.png" width="1200"></p> 
<p></p> 
<h1 id="%E5%9B%9B%E3%80%81%E6%80%BB%E7%BB%93">四、总结</h1> 
<p>ChatGLM 方便部署，且对中文的理解能力很好，它的优点是部署完不用联网，不需要账号登录，非常安全，它的缺点是无法增量学习互联网上最新的信息，知识库扩展需要额外增加训练样本。</p> 
<p></p>
</div>
</div>
<div id="treeSkill"></div>
</article>

作者

sockstack

许可协议

CC BY 4.0

发布于

2023-11-22

修改于

2024-05-08

上一篇：软件：常用 Linux 软件汇总，值得收藏下一篇：ChatGPT中文使用手册

尚未登录

文章分类

标签列表

springboot hyperf swoole webman php 多线程数据结构 docker k8s thinkphp mysql tailwindcss flowbite css 前端