>

LLM Admin免费攻略：一套API调用80+模型的本地化LLM统一网关

如果你同时在使用OpenAI、Anthropic、DeepSeek、智谱等多个AI平台的API，每次切换模型都要改代码、换Key、调配置，非常麻烦。LLM Admin就是为了解决这个痛点而生的开源工具——它是一套本地部署的LLM统一网关，完全免费（Apache-2.0协议），通过一个API接口就能调用80+模型。

什么是LLM Admin？

LLM Admin是一个开源免费的本地化LLM统一网关，采用Apache-2.0协议，可以自行下载、部署和二次开发。它的核心价值在于：一套API，兼容OpenAI和Anthropic两种主流协议，让你无需修改任何客户端代码就能在不同供应商的模型之间自由切换。

目前已支持的模型供应商包括OpenAI、Anthropic、DeepSeek、智谱、豆包、Moonshot AI等80+主流模型，涵盖文本生成、图像生成、视频、音频等多种模态。平台还支持智能路由——根据任务类型（文本/图像/视频/音频）自动分配最合适的模型。

核心功能详解

1. 双协议原生支持

LLM Admin同时兼容OpenAI /v1/chat/completions和Anthropic /v1/messages两种协议格式。这意味着：

• 用LangChain、LlamaIndex等框架开发的客户端可以直接连接，无需额外适配
• OpenAI格式的调用和Anthropic格式的调用可以在同一个网关中共存
• 切换供应商模型时，客户端代码零改动

2. 声明式智能路由

平台内置声明式路由规则，支持多种策略：

• 主备策略：指定主力模型和备用模型，主力不可用时自动切换
• 负载均衡：在多模型之间均匀分配请求，避免单点过载
• 模态路由：按文本、图像、视频、音频等模态自动分配最佳模型
• 智能分流：简单任务走低价模型，关键任务走高端模型

3. 多Key自动负载均衡

同一供应商（比如OpenAI）可以配置多个API Key，系统会自动分发请求并实现容灾。即使某个Key达到速率限制或被封禁，其他Key可以无缝接管，保证服务连续性。

4. 可视化用量监控

内置桌面端管理仪表盘，可以实时监控：

• 每个模型的Token消耗量
• 各供应商的费用明细
• 请求成功率与延迟
• 整体成本趋势

告别手工查看账单的时代，每一笔支出都清晰可见。

5. Prompt缓存与成本优化

LLM Admin支持Prompt缓存功能，相同或相似的请求可以直接命中缓存，避免重复调用昂贵的模型。配合负载均衡策略，可以将请求智能分流至低成本模型，显著降低Token开支。

6. 本地部署，隐私安全

所有数据完全在本地处理，不会上传到第三方服务器。对于企业用户或有隐私合规要求的场景，这是一个巨大的优势。你的API Key、请求内容、响应数据都不会离开你的基础设施。

如何使用LLM Admin？

第一步：安装部署

LLM Admin采用Docker部署方式，一条命令即可启动：

docker pull llmadmin/llm-admin
docker run -d -p 8080:8080 llmadmin/llm-admin

或者从GitHub下载源码自行编译。部署后访问http://localhost:8080即可打开桌面端管理界面。

第二步：添加API Key

在桌面端管理界面中，依次添加你需要的供应商API Key。支持的供应商包括：

• OpenAI（GPT-4o、GPT-4 Turbo、o系列等）
• Anthropic（Claude Opus、Sonnet、Haiku等）
• DeepSeek（DeepSeek-V3、DeepSeek-R1等）
• 智谱（GLM-5、GLM-4等）
• 豆包（Doubao系列）
• Moonshot AI（Kimi系列）

每个供应商可以配置多个Key用于负载均衡和容灾。

第三步：选择模型

从已连接的供应商列表中选择目标模型，比如glm5.2、gpt-4o、claude-sonnet等。选好后系统会自动建立路由映射。

第四步：配置路由规则

在管理界面中配置声明式路由规则：

• 设置主备策略：比如主力用GPT-4o，备用用GLM-5
• 设置负载均衡：比如OpenAI的两个Key按50:50分配
• 设置模态路由：文本走GPT-4o，图像走DALL-E，音频走Whisper

第五步：开始调用

配置完成后，你的客户端只需连接到LLM Admin的统一接口（如http://localhost:8080/v1/chat/completions），即可调用所有已配置的80+模型，无需再修改代码或切换平台。

LLM Admin vs 竞品对比

功能	LLM Admin	LiteLLM	OpenRouter
协议支持	OpenAI + Anthropic双协议原生	OpenAI格式为主	主要为OpenAI格式
路由策略	声明式路由+智能模态路由	基础路由	有限的路由选项
负载均衡	多Key自动分发+故障转移	支持多部署重试	不支持
可视化监控	内置桌面端仪表盘	需要额外配置	网页控制台
部署方式	自托管，数据不出本地	自托管或托管版	纯SaaS
费用	完全免费（Apache-2.0）	开源免费	收取1%服务费

典型应用场景

场景一：多供应商灵活切换

在OpenAI、Anthropic、DeepSeek、智谱等多供应商之间灵活切换，无需重写客户端代码，一套接口接入80+模型。当你发现某个供应商涨价或限流时，只需在管理界面调整路由规则即可，业务不受影响。

场景二：智能成本优化

日常润色、扩写等简单任务默认路由到低价国产模型（如GLM-5、DeepSeek），仅在关键稿件或复杂推理阶段自动切换至顶级模型（如Claude Opus、GPT-4o）。实测可节省30%-70%的API费用。

场景三：AI Agent后端代理

为Agent、AI助手、自动化工作流提供统一后端代理，屏蔽不同供应商的接口差异。无论是LangChain、LlamaIndex还是自研框架，都可以直接对接LLM Admin的统一接口。

场景四：企业级高可用保障

通过多Key负载均衡和自动故障转移，确保关键业务场景下AI服务的高可用性。即使某个供应商出现宕机或限流，系统会自动切换到备用模型，业务不中断。

总结

LLM Admin是一个功能强大且完全免费的本地化LLM统一网关。它的核心优势在于：

• 80+模型一键接入，无需逐个配置
• OpenAI+Anthropic双协议原生支持
• 声明式智能路由，灵活控制流量分配
• 多Key负载均衡，自动故障转移
• 可视化用量监控，成本一目了然
• 本地部署，数据安全隐私有保障
• Apache-2.0开源，完全免费可商用

对于同时使用多个AI平台API的开发者来说，LLM Admin是目前性价比最高的统一网关解决方案。不需要任何费用，一条Docker命令就能部署完成，从此告别频繁切换API Key和修改代码的痛苦。

官网地址：https://llmadmin.dev/