在当今人工智能和大数据时代,大语言模型(LLM)的应用越来越广泛。为了更高效地管理和分发这些模型的API接口,OneAPI应运而生。本文将详细介绍如何在NAS上部署OneAPI,并利用其统一管理各种大语言模型的API接口和分发。
OneAPI简介
OneAPI是一个强大的LLM API接口管理和分发系统。它通过标准的OpenAI API格式,支持访问多种主流大模型,包括但不限于OpenAI、Azure、Anthropic Claude、Google Gemini、DeepSeek、字节豆包、ChatGLM、文心一言、讯飞星火、通义千问、360智脑、腾讯混元等。OneAPI的统一API适配功能,使得key管理和二次分发变得更加便捷。
支持的大模型
OneAPI支持多种大模型,包括:
- OpenAI ChatGPT 系列模型(支持 Azure OpenAI API)
- Anthropic Claude 系列模型(支持 AWS Claude)
- Google PaLM2/Gemini 系列模型
- Mistral 系列模型
- 字节跳动豆包大模型
- 百度文心一言系列模型
- 阿里通义千问系列模型
- 讯飞星火认知大模型
- 智谱 ChatGLM 系列模型
- 360 智脑
- 腾讯混元大模型
- Moonshot AI
- 百川大模型
- MINIMAX
- Groq
- Ollama
- 零一万物
- 阶跃星辰
- Coze
- Cohere
- DeepSeek
- Cloudflare Workers AI
- DeepL
- together.ai
- novita.ai
- 硅基流动 SiliconCloud
- xAI
安装步骤
Docker Compose
使用Docker Compose进行安装,以下是配置文件示例:
services:
one-api:
image: justsong/one-api:latest
container_name: one-api
volumes:
- /vol1/1000/docker/one-api:/data justsong/one-api
environment:
- TZ=Asia/Shanghai
ports:
- "3000:3000"
使用MySQL数据库
默认情况下,OneAPI使用SQLite数据库。如果并发量较大,建议使用MySQL数据库。以下是创建数据库和添加环境变量的步骤:
- 创建数据库:
mysql -u root -p
create database oneapi;
- 添加环境变量:
SQL_DSN=root:MYSQL_ROOT_PASSWORD@tcp(192.168.31.40:3306)/oneapi
使用指南
登录界面
在浏览器中输入 http://NAS的IP:3000
即可访问OneAPI界面。
初始登录
初始账号用户名为 root
,密码为 123456
。
修改密码
登录后,建议立即修改密码以确保安全。
设置服务器地址
在设置中填写服务器地址,确保API调用正常。
添加新渠道
点击“添加新的渠道”,可以添加各种大模型的API接口。
添加本地模型
以添加Ollama本地模型为例,其他模型的添加方式类似。
测试连接
添加成功后,点击测试查看是否有响应。由于本地模型可能响应较慢,可以忽略测试结果。
添加令牌
点击“添加新的令牌”,填写名称和选择模型范围即可。
使用令牌
添加令牌完成后,可以复制出来使用。
外网访问
在外网使用OneAPI时,需要确保外网可以访问API地址。如果是内网应用,则可以通过内网方式调用。
调用示例
以Lobe Chat为例,调用OneAPI进行聊天对话。
日志记录
所有调用令牌的记录都会在日志中显示。