一个计算机技术爱好者与学习者

0%

FastGPT入门篇

置顶 | 发表于 更新于 分类于 ， ，

1. FastGPT简介

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！

本文中，我们学习FastGPT的部署和基础用法。

参考文档：

2. FastGPT部署架构图

组件说明：

  • MongoDB：用于存储除了向量外的各类数据
  • PostgreSQL/Milvus：存储向量数据
  • OneAPI: 聚合各类 AI API，支持多模型调用 （任何模型问题，先自行通过 OneAPI 测试校验）

3. FastGPT工作流程

3.1. 准备知识库

1、准备知识内容（比如一段文本）

2、知识内容通过 embedding model （索引模型）进行向量化

3、知识内容和向量，都存入数据库

3.2. 与大模型对话

1、用户提出一个问题

2、通过 embedding model 查询向量数据库，匹配到对应的知识内容

3、用户的问题，加上知识内容，一起发送给文本理解模型

4、文本理解模型解析用户问题和知识内容，给出结果

参考文档：

4. 准备Docker环境

1
2
3
4
5
6
7
8
9
# 安装 Docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
# 安装 docker-compose
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 验证安装
docker -v
docker-compose -v

5. 部署FastGPT

本节中，我们部署FastGPT，选择 PostgreSQL 作为向量存储数据库。

1、准备配置文件

1
2
3
mkdir -p /opt/fastgpt && cd /opt/fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

2、修改配置

1
vim docker-compose.yml

修改 FE_DOMAIN 为真实的前端地址，例如 http://192.168.0.1:3000

3、启动容器

1
2
3
4
5
6
# 启动容器
docker-compose up -d
# 等待10s，OneAPI第一次总是要重启几次才能连上Mysql
sleep 10
# 重启一次oneapi(由于OneAPI的默认Key有点问题，不重启的话会提示找不到渠道，临时手动重启一次解决，等待作者修复)
docker restart oneapi

PS：重启容器

1
2
docker-compose down
docker-compose up -d

6. 使用FastGPT

6.1. 访问OneAPI

可以通过 ip:3001 访问OneAPI，默认账号为 root ，密码为 123456 。

在OneApi中添加合适的AI模型渠道。点击查看相关教程

注意：这里必须要添加至少一个索引模型和文本理解模型。

索引模型：可以将自然语言转成向量，用于进行语义检索。
文本理解模型：用于增强索引和QA生成。

6.2. 访问FastGPT

可以通过 ip:3000 访问FastGPT，默认账号为 root，密码为 1234（docker-compose.yml 环境变量里设置的 DEFAULT_ROOT_PSW）。

6.3. 创建知识库

参考文档：FastGPT - 快速上手

1、点击知识库，新建，通用知识库

  • 填入知识库名称
  • 选择索引模型，不同索引模型无法一起使用，选择完索引模型后将无法修改
  • 选择文本理解模型

2、点击新创建的知识库，新建/导入，手动数据集

3、点击插入，手动输入一段知识内容

上传内容这里有四种模式：

  • 手动输入：手动输入问答对，是最精准的数据
  • QA 拆分：选择文本文件，让AI自动生成问答对
  • 直接分段：选择文本文件，直接将其按分段进行处理
  • CSV 导入：批量导入问答对

6.4. 创建应用

1、点击工作台，新建，简易应用

  • 填入应用名称
  • 模板选择 知识库+对话引导

2、关联知识库，选择我们自己创建的知识库

3、API配置

  • 选择AI模型
  • 修改提示词，例如：你是一个知识库助手，请严格根据知识库的内容回答问题。
  • 修改开场白对话

4、测试应用
在调试预览对话框中，输入问题

7. 后记

FastGPT文档站，不止提供了FastGPT的安装配置方法，还提供了访问国外大模型API的方案，感兴趣的同学可以参考代理方案和使用 One API 接入 Azure、ChatGLM 和本地模型。