rev(东↑西↓)
rev(东↑西↓)
Published on 2025-02-18 / 6 Visits

NAS部署OneAPI统一管理大语言模型接口和分发:全面指南与详细教程

在当今人工智能和大数据时代,大语言模型(LLM)的应用越来越广泛。为了更高效地管理和分发这些模型的API接口,OneAPI应运而生。本文将详细介绍如何在NAS上部署OneAPI,并利用其统一管理各种大语言模型的API接口和分发。

OneAPI简介

OneAPI是一个强大的LLM API接口管理和分发系统。它通过标准的OpenAI API格式,支持访问多种主流大模型,包括但不限于OpenAI、Azure、Anthropic Claude、Google Gemini、DeepSeek、字节豆包、ChatGLM、文心一言、讯飞星火、通义千问、360智脑、腾讯混元等。OneAPI的统一API适配功能,使得key管理和二次分发变得更加便捷。

Image

支持的大模型

OneAPI支持多种大模型,包括:

  • OpenAI ChatGPT 系列模型(支持 Azure OpenAI API)
  • Anthropic Claude 系列模型(支持 AWS Claude)
  • Google PaLM2/Gemini 系列模型
  • Mistral 系列模型
  • 字节跳动豆包大模型
  • 百度文心一言系列模型
  • 阿里通义千问系列模型
  • 讯飞星火认知大模型
  • 智谱 ChatGLM 系列模型
  • 360 智脑
  • 腾讯混元大模型
  • Moonshot AI
  • 百川大模型
  • MINIMAX
  • Groq
  • Ollama
  • 零一万物
  • 阶跃星辰
  • Coze
  • Cohere
  • DeepSeek
  • Cloudflare Workers AI
  • DeepL
  • together.ai
  • novita.ai
  • 硅基流动 SiliconCloud
  • xAI

安装步骤

Docker Compose

使用Docker Compose进行安装,以下是配置文件示例:

services:  
  one-api:  
    image: justsong/one-api:latest  
    container_name: one-api  
    volumes:  
      - /vol1/1000/docker/one-api:/data justsong/one-api  
    environment:  
      - TZ=Asia/Shanghai  
    ports:  
      - "3000:3000"

使用MySQL数据库

默认情况下,OneAPI使用SQLite数据库。如果并发量较大,建议使用MySQL数据库。以下是创建数据库和添加环境变量的步骤:

  1. 创建数据库:
mysql -u root -p  
create database oneapi;
  1. 添加环境变量:
SQL_DSN=root:MYSQL_ROOT_PASSWORD@tcp(192.168.31.40:3306)/oneapi

Image

使用指南

登录界面

在浏览器中输入 http://NAS的IP:3000 即可访问OneAPI界面。

Image

初始登录

初始账号用户名为 root,密码为 123456

Image

修改密码

登录后,建议立即修改密码以确保安全。

Image

设置服务器地址

在设置中填写服务器地址,确保API调用正常。

Image

添加新渠道

点击“添加新的渠道”,可以添加各种大模型的API接口。

Image

添加本地模型

以添加Ollama本地模型为例,其他模型的添加方式类似。

Image

测试连接

添加成功后,点击测试查看是否有响应。由于本地模型可能响应较慢,可以忽略测试结果。

Image

添加令牌

点击“添加新的令牌”,填写名称和选择模型范围即可。

Image

使用令牌

添加令牌完成后,可以复制出来使用。

Image

外网访问

在外网使用OneAPI时,需要确保外网可以访问API地址。如果是内网应用,则可以通过内网方式调用。

Image

调用示例

以Lobe Chat为例,调用OneAPI进行聊天对话。

Image

日志记录

所有调用令牌的记录都会在日志中显示。

Image