一键总结音视频内容

Attention is All you Need


【超详细】纯本地部署的FastGPT知识库教程(基于ChatGLM3+m3e+oneapi)

介绍

大家好,我是五河川。今天给大家带来基于LLM大语言模型的知识库问答系统的教程。FastGPT提供了开箱即用的数据处理、模型调用等能力,并且可以通过flow可视化进行工作流编排,实现复杂的问答场景。

FastGPT的能力

  • 创建专属AI客服
  • 直观的可视化界面
  • 自动数据预处理
  • 工作流编排模块
  • 对接OPENAI接口

部署准备

在进行部署前,请确保已经开启并安装了WSL功能。接着,打开WSL,输入命令创建fest目录,并切换到fast目录。然后依次执行命令下载doc compose和CONFIG文件。

Docker部署

使用docker compose进行部署,下载好的文件放在指定目录,并修改docker compose文件里的端口。接着在power shell和docker中输入命令拉取镜像并运行容器。

使用OpenAI API

如果有OpenAI的API,可以修改docker compose文件里的配置。然后使用docker compose和doc composer d更新配置文件。

文件处理及聊天模型

使用chat glm36B嵌入文本模型和M3e large处理知识库索引。使用docker部署,在后台启动新容器并下载镜像。

接入one API

使用get dog上打包好的EXE可执行文件,打开后能够使用API的程序。在浏览器打开网站,添加新的渠道和令牌名称。

修改配置文件

在docker compose文件和CONFIG文件中填入相应的链接和密钥。

使用FastGPT

在使用前需要打开power shell,依次输入命令重新更新配置文件。然后在fast gt网页上进行知识库的创建和应用的设置。

结束语

以上就是本期教程的内容,如果有不明白的地方也可以提问。非专业从业者,教程难免有疏漏。下次再见!