OmniRoute
- 추천0
- GitHub 별88K
- 개발라이선스MIT
한 주소(OpenAI 호환)로 여러 AI 제공자를 쓰는 로컬 AI 게이트웨이. 자동 폴백 · 토큰 압축 · 대시보드 · MCP 서버 내장
요약
한 주소(OpenAI 호환)로 여러 AI 제공자를 쓰는 로컬 AI 게이트웨이. 자동 폴백 · 토큰 압축 · 대시보드 · MCP 서버 내장
설명
🚀 OmniRoute — 무료 AI 게이트웨이
만든 사람: Diego Souza

💰 제3자 무료 한도를 합쳐 한 달에 약 16.2억 토큰
제공자 계정은 직접 준비해야 해요. 이 숫자는 따로 자격이 되는 제3자 무료 한도를 합산한 추정치이고, OmniRoute가 토큰을 나눠 주는 것이 아니에요. 가입하고, 필요하면 자격 증명을 받고, 쓸 수 있는 제공자를 연결하세요. 한도 · 제공 여부 · 약관은 제공자가 정해요.
무료 한도를 손으로 쌓아 쓰는 일은 괴로워요. SDK 수십 개, 요청 한도 수십 개, 정작 내가 얼마나 쓸 수 있는지는 알 수 없죠. OmniRoute는 34개 반복 풀 키에 걸친 무료 한도 465건을 목록으로 만들고, 월 예산이 공개된 풀 17개와 모델별 Groq 한도 5개를 공유 풀 기준으로 중복을 없애 토큰 합계를 계산해요. 지역 신원 확인을 거쳐야 열리는 한도(지금은 ModelScope)는 따로 보여 주고(지역 인증 뒤 약 +600만), 합계에는 넣지 않아요. 결과는 대시보드(
/dashboard/free-tiers)에서 볼 수 있어요.
이 카드는 실제
/dashboard/free-tiers화면의 애니메이션 요약이에요. 계산 방법(풀 중복 제거 · 크레딧 단계 · 제공자 약관) 전체는 docs/reference/FREE_TIERS.md 에 있어요.이 수치는 2주마다 실제 목록으로 다시 점검하고 오르내려요. 제공자가 무료 한도를 끝내면 줄고, 새 한도가 생기면 늘어요. 반올림한 최선의 경우가 아니라 목록이 실제로 계산한 값을 그대로 공개해요.
💬 커뮤니티
질문 · 제공자 팁 · 로드맵 · 지원은 Discord · Telegram · WhatsApp(전 세계 · 브라질)에서 받아요. 공식 사이트는 omniroute.online이에요.
📈 게이트웨이는 계속 자라요
| v3.8.50 | v3.8.51 | v3.8.54+ | |
|---|---|---|---|
| 🌐 제공자 | 352 | 358 | 394 |
| 🧠 고유 채팅 모델 ID | 1320 | 1374 | 1491 |
| 🖼️ 모달리티 브리지 | 🆕 비전 + 오디오 + 비디오 | ✓ | ✓ |
| 📡 레이더 무료 목록 | 🆕 선택 가입 | ✓ | ✓ |
| ⚖️ 한도 인식 스케줄링 | 🆕 Quota-Share | ✓ | ✓ |
| 📊 한도 원격 측정 | 🆕 실시간 | ✓ | ✓ |
| 🧰 헤드리스 모드 | — | — | 🆕 serve --headless |
| 🛤️ LTS 레일 인프라 | — | — | 🆕 릴리스 채널 |
| 🔎 모델 탐색 API | — | — | 🆕 /v1/models/query |
→ 로드맵 — v3.9.0 LTS를 향해 달려가고 있어요
🆓 설치하고, 제공자를 연결하고, 한 주소로 보내요
# After connecting a provider, copy your OmniRoute key from Dashboard → Endpoints:
curl http://localhost:20128/v1/chat/completions \
-H "Authorization: Bearer YOUR_OMNIROUTE_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"auto","messages":[{"role":"user","content":"Hello!"}]}'
auto는 쓸 수 있는 경로가 있어야 동작해요. 새로 설치한 직후에는 키 없이 쓸 수 있는 대상이 없을 수 있고, 키 없는 제공자는 제3자 클라이언트를 거부할 수도 있어요. Kiro처럼 tos: avoid로 표시된 제공자는 기본적으로 자동 라우팅에서 빠지고, 계정을 연결해도 이 설정은 바뀌지 않아요. 제공자를 고르기 전에 무료 한도 가이드를 보세요.
📦 Python · Node.js · PHP · cURL용 복사해서 쓰는 빠른 시작 스크립트는 examples/quickstart/에 있어요.
💥 약속
🤔 왜 OmniRoute인가요?
🤝 오픈소스 친구들의 후원
OmniRoute를 후원하는 회사들은 받은 토큰이 어디에 쓰이는지 공개적으로 밝혀요. 후원사 안내 요약은 다음과 같아요.
- Kimi (Moonshot AI): 창립 오픈소스 친구예요. Kimi API 크레딧은 모든 풀 리퀘스트를 검토하는 AI 검증 릴리스 파이프라인과 일상적인 기능 개발에 쓰여요. 직접 Kimi API(
kimi-k3)와 Kimi Code 코딩 플랜(OAuth · API 키)을 모두 1급으로 지원해요. - Cheaper Inference: 모델 42개(Claude, GPT-5.x, Gemini, Kimi K3, GLM, DeepSeek, Grok, MiniMax)를 하나의 OpenAI 호환 엔드포인트 뒤에서 되파는 가격 순위 게이트웨이예요. 요청마다 가장 싼 제공자로 보내고, 모델 제작사의 정가를 넘겨 받지 않아요. 채팅 완성, 네이티브
/v1/responses, 비전, 도구 호출, 이미지 모델 3개를 지원해요.
aff=omniroute가 붙은 링크는 제휴 링크예요. 사용자에게 추가 비용 없이 프로젝트를 후원해요. 후원 관계가 없는 제공자의 무료 가입 쿠폰은 「Affiliates Promo」 절에 따로 모아 두었어요(예: AgentRouter 가입 시 $100 무료 크레딧 — 무료 서버라 지연이 길 수 있어 테스트용으로 알맞아요).
오픈소스 친구로 참여하려면 diegosouza.pw@outlook.com으로 연락하세요.
🎯 콤보 — 대표 기능
콤보는 OmniRoute가 자동으로 넘나드는 모델의 사슬이에요. 한도가 끝나거나, 제공자가 실패하거나, 비용이 치솟으면 콤보가 다음의 건강한 모델로 옮겨 가요. 🛡️
⚡ 설정 없이 — auto만 쓰세요
콤보를 만들 필요가 없어요. 모델을 auto(또는 변형)로 지정하면 OmniRoute가 연결된 제공자로 가상 콤보를 만들고 실시간으로 점수를 매겨요.
| 모델 ID | 최적화 대상 |
|---|---|
auto | 🎯 균형 잡힌 기본값(LKGP — 마지막으로 잘 된 제공자를 유지) |
auto/coding | 🧑💻 코드 생성에 품질 우선 가중치 |
auto/fast | ⚡ 지연이 가장 짧은 것 먼저 |
auto/cheap | 💰 토큰당 가장 싼 것 먼저 |
auto/subscription | 🎟️ 이미 내고 있는 구독 한도만 사용 — 닫힌 채로 실패하고 과금되는 대체로는 가지 않음 |
auto/thrifty | 🪜 플랜 한도 먼저, 그다음 한 단계씩 가장 싼 유료로 — 초기화되면 플랜으로 복귀 |
auto/offline | 🔋 한도 · 요청 제한 여유가 가장 큰 것 먼저 |
auto/smart | 🔭 품질 우선 + 더 나은 모델을 찾기 위한 10% 탐색 |
auto/lkgp | 📌 마지막으로 잘 된 제공자에 명시적으로 고정 |
auto/chaos | 🧪 모델 패널(제공자당 하나, 기본 5개)에 병렬로 뿌리고 답 하나를 돌려줌. 패널 모델마다 상위 호출이 한 번씩 나가며, 장애 주입이 아님 |
🔀 직접 만들기 — 라우팅 전략 22가지
22가지 전략을 콤보 단계마다 섞어 쓸 수 있어요.
| # | 전략 | 하는 일 |
|---|---|---|
| 1 | priority | 첫 대상부터 순서대로 — 하나를 다 쓰고 다음으로 🥇 |
| 2 | fill-first | 다음으로 넘어가기 전에 각 대상의 한도를 다 채움 |
| 3 | weighted | 대상별 가중치에 따른 무작위 |
| 4 | round-robin | 대상을 순서대로 돌아가며 |
| 5 | p2c | 두 개 중 고르기(power-of-two-choices) 무작위 부하 분산 |
| 6 | least-used | 현재 부하가 가장 낮은 대상 선택 |
| 7 | random | 균등 무작위 선택(중복 제거) |
| 8 | strict-random | 중복을 제거하지 않는 무작위 🎲 |
| 9 | cost-optimized | 실시간 가격표로 요청당 $ 최소화 💸 |
| 10 | headroom | 남은 한도가 가장 많은 대상 선택 |
| 11 | quota-weighted | 소진된 계정은 건너뛰고, 남은 한도 ÷ 처리 중 부하에 비례해 뽑음 — 진행 중인 대화는 그대로 고정 ⚖️ |
| 12 | reset-window | 한도 창이 가장 빨리 초기화되는 대상 우선 |
| 13 | reset-aware | 한도 초기화 시각 순으로 순위 — 짧은 창 먼저 📊 |
| 14 | context-relay | 긴 대화에서 대상 사이로 맥락을 넘겨줌 🧠 |
| 15 | context-optimized | 현재 맥락 크기에 가장 맞는 대상 선택 |
| 16 | cache-optimized | 재사용 가능한 프롬프트 앞부분을 같은 계정에 고정 — 프롬프트 캐시 적중 극대화 🎯 |
| 17 | lkgp | 마지막 성공 경로 — 마지막으로 성공한 제공자에 고정하고 그다음 규칙으로 폴백 |
| 18 | auto | 모든 연결에 대해 16개 요소로 실시간 점수 매기기 🤖 |
| 19 | fusion | 모델 패널에 뿌리고 심판이 답 하나로 합성 🧬 |
| 20 | pipeline | 단계를 이어 붙임 — 각 대상의 출력이 다음 입력으로 🔗 |
| 21 | expiry-first | 쓰지 않으면 한도가 사라질 계정부터 소진 — 남은 양이 많고 초기화가 가까운 쪽이 우선 ⏳ |
| 22 | jev | 내가 순위를 매긴 목록에서 TypeSafe Jev가 요청마다 실행할 항목을 고르고, 내 순서로 폴백(선택 가입 플래그) ⚖️ |
자동 콤보 엔진은 후보마다 16개 요소(상태 · 한도 · 비용 · 지연 · 작업 적합도 · 품질 · 세션 가용성 등)로 점수를 매겨요. 자세한 내용은 docs/routing/AUTO-COMBO.md를 보세요.
🧱 복원력이 기본으로 들어 있어요 (독립된 3개 층)
🏆 OmniRoute가 다른 점
📊 9router, OpenRouter, CLIProxyAPI, LiteLLM과의 방법 · 기능별 비교는 docs/comparison/OMNIROUTE_VS_ALTERNATIVES.md에 있어요.
💚 OmniRoute 후원
OmniRoute는 MIT 라이선스로 공개 개발돼요. 시간이나 돈을 아껴 줬다면 맞는 방법으로 독립성을 지켜 주세요. 후원은 라우팅 우선순위에 영향을 주지 않아요. 노출은 살 수 있어도 순위는 살 수 없어요.
| 방법 | 설명 |
|---|---|
| ⭐ 저장소에 별 | 무료 — 노출에 큰 도움이 돼요 |
| 🐙 GitHub Sponsors | 일시 또는 월 정기 · 플랫폼 수수료 없음 |
| ☕ Ko-fi | 가벼운 일시 후원, 후원자는 가입 불필요 |
| 🧋 Buy Me a Coffee | 작고 편한 후원 |
| 🖐 Liberapay | 정기 · 비영리 · 오픈소스 |
| 🇧🇷 PIX(브라질) | 즉시 · 수수료 없음 |
| ₿ 암호화폐 | BTC · ETH · USDT-TRC20 · USDC-Solana |
🐛 버그나 의견은 Discussions에 남겨 주세요.
📡 OmniRoute Radar
위에서 말한 문서화되고 풀 중복이 제거된 목록의 대표 수치는 계속 월 약 16.2억 토큰이에요. 임시 제공자 가입 크레딧이 더해지면 첫 달은 약 22.2억까지 올라갈 수 있어요. Radar는 OmniRoute 릴리스 사이에도 더 신선한 무료 모델 정보를 받아 보려는 사람을 위한 선택형 서명 목록이에요. 커뮤니티 목록과 기존의 모든 무료 기능은 계속 무료예요.
후원자는 실시간 목록과 추가 제공자 기회를 받을 수 있어요. 별도의 가변 상한은 제공자 상황에 따라 많아야 월 약 30억 토큰이에요. 이 상한은 보장이 아니고, 제공자는 언제든 한도 · 자격 · 모델 · 지역을 바꿀 수 있어요.
Radar는 선택 가입이고 GET만 써요. OmniRoute 클라이언트는 프롬프트, 트래픽, 제공자 설정, 사용량 원격 측정, 로컬의 공지 닫기 상태를 올리지 않아요. 자격과 현재 목록은 **radar.omniroute.online/planos**에서 확인하세요.
✨ 새로운 점
v3.8.20 → v3.8.54의 최근 하이라이트예요. 전체 기록은
CHANGELOG.md에 있어요.
- ⚖️
quota-weighted라우팅 — 20번째 콤보 전략. 소진된 계정을 건너뛰고 남은 한도 ÷ 처리 중 부하 비율로 나머지에서 뽑으며, 진행 중인 대화는 고정해요. - 🧰 헤드리스 모드 —
omniroute serve --headless(또는OMNIROUTE_HEADLESS=1)는/v1/*프록시 엔진만 돌리고 대시보드와 대시보드 전용 기능은 꺼요. - 🔎 모델 탐색 —
/v1/models를 기능 · 컨텍스트 · 종류 · 글자로 거를 수 있고,POST /v1/models/query는 같은 키별 가시성으로 짧고 결정적인 후보 목록을 돌려줘요. - 🔑 키별 라우팅 제어 —
forcedModel로 API 키를 모델 하나나 콤보 하나에 고정하고, 키의 모델 · 콤보를 한 번에 더하거나 뺄 수 있어요(/api/keys/{id}/access). - 🛡️ 더 세밀한 PII 제어 — 유형별 선택, 검증된 사용자 정의 마스킹 패턴 최대 20개, 유형별 감지 카운터. 마스킹 자체는 선택 가입이에요.
- 🌍 67개 언어 — 대시보드 · 문서 미러 · CLI.
npm run i18n:add-locale한 번으로 모든 곳에 언어를 추가해요. - 🎛️ OmniConductor — 에이전트 무리로의 A2A 위임, 에이전트 카드의 Conductor 스킬, Faro 푸시투토크 음성 채팅이 있는 대시보드 패널.
- 🛂 적응형 입장 · 과부하 보호 — 무거운 채팅 요청이 503으로 실패하지 않고 대기열에 들어가며, 연결마다 원자적 RPM 롤링 리스를 써요.
- 🗜️ 압축 강화 — 기본 켜짐 팽창 방지, 독일어 · 프랑스어 · 일본어 · 중국어(文言)용 Caveman 팩, Gradle · .NET용 RTK 필터.
- 💸 정직한 정액제 비용 — 구독 · 코딩 플랜 제공자는 비용 분석에서 $0으로 읽히고, 예산 · 한도 · 라우팅은 계속 추정해요.
- ⚖️ Quota-Share 라우팅 — 공유 계정의 한도를 묶인 키 사이에서 공평하게 나누고, 놀고 있는 몫은 빌려줘요.
- 🤖 한 줄 CLI · 에이전트 설정 — 등록된
setup-*명령 15개,omniroute run은 CLI 7개(Claude Code, Codex, Aider, Goose, OpenCode, Qwen Code, Gemini CLI) 실행,omniroute configure는 대화형 제공자 + 모델 선택기로 11개 대상을 지원해요. - 🛰️ 원격 모드 — 범위가 정해진 토큰(
connect/contexts/tokens)으로 원격 OmniRoute를 조작하고, VPS 설치를 위한antigravityOAuth 도우미가 있어요. - 🧭 더 똑똑한 자동 라우팅 —
auto/<변형>콤보, Fusion(모델 패널 + 심판), 작업 인식 라우팅, 요청별 모델 · 모드 · USD 예산 덮어쓰기. - 🗜️ 끼워 넣는 압축 — 조합 가능한 12개 엔진 + 압축 스튜디오: LLMLingua-2, 2단계 Ultra, omniglyph, 단계별 충실도 게이트, GCF v3.2, 끌어서 순서를 바꾸는 편집기.
- 🕵️ 투명 MITM 복호화(TPROXY) — 프록시 환경 변수를 무시하는 CLI도 SNI별 CA와 신뢰 저장소 설치 도구로 잡아요.
- 💸 어디서나 비용 원격 측정 — 모든 엔드포인트의
X-OmniRoute-*비용 · 사용량 헤더, 캐시 적중 절감 헤더, 키별 USD 지출 한도. - 🧠 내가 다루는 메모리 — 기본 꺼짐, 선택 가입 int8 벡터 양자화 + 유형별 감쇠, 요청별
x-omniroute-no-memory. - 🛡️ 보안 — 모든 LLM 경로의 프롬프트 인젝션 방어(레드팀 시험), 선택 가입 자격 증명 마스킹 가드레일(양방향으로 새는 API 키 · 비밀값 가림), 무료 DuckDuckGo 최후 웹 검색, 대시보드용 선택형 OIDC 로그인 관문(비밀번호 로그인은 항상 가능).
- 🖼️ 새 엔드포인트 —
/v1/ocr(Mistral OCR)와/v1/audio/translations(Whisper 방식)로 미디어 영역을 채워요. - 🎨 이미지 · 비디오 · 오디오 생성 — xAI Grok Imagine, Novita AI 비디오, ComfyUI, Magnific, Adobe Firefly, Segmind, ElevenLabs 같은 음성 제공자까지 한 API로.
- 🌍 배포 · 운영 — 역방향 프록시
basePath, 브라우저 언어 자동 감지, 키별 기기 추적, 루트 없는 MITM 신뢰, zh-TW 현지화. - 🤝 더 많은 제공자 · 에이전트 — 클라우드 에이전트(Codex Cloud, Cursor, Devin, Jules), 브라우저 + OAuth 로그인의 Grok Build(xAI), Ollama 1급 카드, Claude Opus 5 · Sonnet 5, Kimi 공식 파트너십, Zed, Requesty, SenseNova, Agnes AI 등과 새로 고친 394개 제공자 목록.
- 📡 라우팅 투명성 — 모든 응답에 전략 · 제공자 · 지연을 알려 주는
X-OmniRoute-Decision헤더가 붙고, 새cache-optimized전략과 자동 콤보cacheAffinity요소가 같은 요청을 캐시된 앞부분을 가진 연결로 되돌려 보내요. - ⚡ 로컬 성능 · 인프라 — 한 번에 설치하는 로컬 Redis, Cloudflare Workers / Deno Deploy 릴레이 배포 도구, 감독되는 내장 서비스(Bifrost · Mux).
- 🧩 그 밖에 — 플러그인 프레임워크 + 마켓, Omni · Agent · GitHub 스킬 프레임워크, Obsidian 보관함 연동(MCP 도구 22개), OpenAI 호환 Batch · Files API, 의미 기반 응답 캐시, 순위표가 있는 게이미피케이션, ACP 에이전트 탐색(내장 15개), BigQuery 예약 로그 내보내기, Telegram 봇 연결, 앱 안 버전 관리자, LMArena-ELO 무료 제공자 순위. 전체는 문서에서 보세요.
🤖 호환되는 CLI · 코딩 에이전트
설정 하나 —
http://localhost:20128/v1— 로 모든 AI IDE · CLI가 무료 · 저가 모델로 돌아가요.
Claude Code · Codex CLI · Cline · Kilo Code · Zoo Code · Continue · Aider · ForgeCode · jcode · DeepSeek TUI · CodeWhale · OpenCode · Factory Droid · Copilot CLI · Cursor CLI · Smelt · Pi · Grok Build · Hermes Agent · OpenClaw · Goose · Open Interpreter · Warp AI · deyin.ai. 그 밖에 Agent Deck · Kiro · Command Code · Antigravity · Windsurf · AMP 등 OpenAI 호환 도구라면 무엇이든 써요.
📖 도구 39개(코드용 CLI 28개 + 에이전트 CLI 11개)별 설정은 docs/reference/CLI-TOOLS.md, 🧩 OpenCode 플러그인은 @omniroute/opencode-provider에 있어요.
지원하는 CLI를 한 줄로 OmniRoute에 연결해 실행해요. 설정 파일을 쓰지 않고, 자격 증명은 프로세스마다 주입되며, Qwen · Gemini는 한 번 쓰고 버리는 격리된 홈을 받아요.
omniroute run claude --model openai/gpt-5.4 # Claude Code
omniroute run codex --model glm/glm-5.2 # OpenAI Codex CLI
omniroute run aider --model glm/glm-5.2 -- --message "reply OK"
omniroute run goose --model glm/glm-5.2
omniroute run opencode --model glm/glm-5.2 -- run "reply OK"
omniroute run qwen --model glm/glm-5.2 -- -p "reply OK"
omniroute run gemini --model glm/glm-5.2 -- --skip-trust -p "reply OK"
# Or pick provider+model interactively and write the tool's own config:
omniroute configure codex # also: claude opencode qwen aider goose gemini cline continue kilo 5dive
모든 명령은 활성화된 원격 컨텍스트(omniroute connect <호스트>)를 따르고, --dry-run은 실행하지 않고 환경 · 인자를 미리 보여 주며, --api-key-env NAME은 비밀값이 셸 기록에 남지 않게 해요. → CLI 연동
🌐 AI 제공자 394개 — 그중 153개가 무료로 표시
등록된 제공자 394개(채팅 · 미디어 · 검색 · 로컬 · 클라우드 에이전트 · 시스템)가 있고, 그중 153개가 hasFree: true 탐색 정보를 달고 있어요. 채팅 모델 목록은 제공자 239개 / 제공자-모델 쌍 3,059개 / 원본 모델 ID 1,475개를 다루고, 별도의 무료 예산 목록에는 모델별 465행, 반복 풀 34개, 반복형 · 키 없는 영구 무료 제공자 51개가 있어요. 기준 단위가 달라서 숫자가 다르고, 정의와 풀 중복 제거 계산은 제공자 레퍼런스와 무료 한도에 있어요.
🏢 모든 주요 연구소를 하나의 엔드포인트로
OpenAI · Anthropic · Gemini · xAI Grok · DeepSeek · Mistral · Qwen · Meta Llama · Groq · NVIDIA · MiniMax · Cohere · Perplexity · HuggingFace · Together · Fireworks · Cloudflare · Baidu … 그 밖에 350개 이상.
🆓 영구 무료 — $0, 카드 없음
| 제공자 | 모델 | 조건 |
|---|---|---|
| OpenCode Zen | DeepSeek V4, Nemotron 3 | 토큰 상한 없음 |
| Kilo Code | 자동 라우터, Tencent Hy3 | 영구 무료 |
| Requesty | GPT-OSS 120B, Nemotron | 영구 무료 |
| SiliconFlow | DeepSeek V3.2 / R1 | 무료 한도 |
| Z.AI GLM | GLM-4.7 / 4.5-Flash | 영구 무료 |
| Baidu ERNIE | ERNIE 4.0 | 영구 무료 |
| Qoder AI | Qwen3-Max, Kimi-K2 | 무제한 무료 |
| Pollinations | GPT, Llama, Claude | 키 불필요 |
| Cloudflare AI | 모델 50개 이상 | 하루 1만 뉴런 |
| NVIDIA NIM | GLM, MiniMax | 분당 약 40회 무료 |
| Cerebras | GLM 4.7, GPT-OSS | 일회성 $5 크레딧, 카드 필요 |
OpenRouter :free 모델 | +$10이면 더 높은 RPM |
📖 기계가 읽는 전체 목록은 docs/reference/PROVIDER_REFERENCE.md에 있어요.
🖥️ 어디서나 돌아가요
같은 앱, 내 컴퓨터, 내 규칙. 전역 npm 설치부터 Termux를 통한 내 휴대폰까지.
| 플랫폼 | 설치 | 특징 |
|---|---|---|
| 📦 npm(전역) | npm install -g omniroute | 명령 하나, 모든 OS |
| ⚡ Bun(전역) | bun add -g omniroute | 같은 레지스트리 압축 파일, 더 빠른 설치 |
| 🐳 Docker | docker run … diegosouzapw/omniroute | AMD64 + ARM64 멀티 아키텍처 |
| 🖥️ 데스크톱(Electron) | npm run electron:build | 네이티브 창 + 시스템 트레이 — Windows / macOS / Linux |
| 🎩 메뉴바(OmniRouteTray) | brew install --cask zoispag/tap/omniroute-tray | 서버를 감독하고 자동 업데이트 — macOS |
| 💪 ARM 네이티브 | arm64 | Raspberry Pi, ARM 서버, Apple Silicon |
| 📱 Android(Termux) | pkg install nodejs && npx -y omniroute | 휴대폰에서 24시간, 루트 불필요 |
| 📲 PWA | 「홈 화면에 추가」 | 전체 화면, 오프라인, 브라우저에서 설치 |
| 🧩 OpenCode 플러그인 | @omniroute/opencode-provider | OpenCode 네이티브 연동 |
| 🤖 VS Code Copilot Chat | OmniCopilot 확장 설치 | 기본 Copilot Chat 모델 선택기에 OmniRoute 모델 전부 — 안정판 · Insiders |
| 🛠️ 소스에서 | npm install && npm run dev | 직접 고치고 기여 |
📖 Docker 가이드 · 데스크톱 · 메뉴바 트레이 · Termux · PWA · OpenCode
🧩 새 기능: VS Code 기본 Copilot Chat 안의 OmniRoute
새 사이드바도, 새 채팅 화면도 없어요. OmniRoute가 제공하는 모든 모델이 이미 쓰던 Copilot Chat 모델 선택기에 나타나요. VS Code 1.122부터 제공자 모델은 GitHub 로그인이나 Copilot 구독 없이도 돌아가서, 에이전트 모드 · 도구 호출 · 비전을 무료로 써요.
OmniCopilot 확장을 설치하고 OmniRoute 서버(기본 localhost:20128)를 가리킨 뒤, Copilot Chat → 모델 선택기 → Manage Models… → OmniRoute를 여세요. VS Code Marketplace와 Open VSX(Cursor, Windsurf, VSCodium, Theia, code-server, Gitpod, Antigravity, Kiro 등)에서 모두 설치할 수 있어요. 자세한 설정은 VS Code Copilot Chat 가이드에 있어요.
🎩 새 기능: OmniRouteTray — 메뉴바에 사는 게이트웨이
omniroute serve는 늘 켜져 있을 때 가장 좋아요. **OmniRouteTray**는 이것을 macOS용 설치 후 잊어도 되는 메뉴바 앱으로 만들어요. 서버를 시작하고, 재부팅 뒤에도 살려 두고, 제자리에서 업데이트하고, 실시간 토큰 예산을 한 번 클릭 거리에 두어요. 터미널 창을 열어 두거나npm install -g omniroute를 챙길 필요가 없어요.
Tauri v2로 만들어졌고(Rust 핵심이 반올림 오차만큼 작아요), 서명된 자체 Node 24 런타임을 담아 앱이 소유하는 OmniRoute 설치를 관리해서 전역 node/bun과 부딪치지 않아요. 기존 ~/.omniroute/ 설정과 데이터베이스를 그대로 공유하니, 지금 쓰는 그 OmniRoute에 모자만 씌운 셈이에요. 🎩
| 하는 일 | 방법 |
|---|---|
| 🟢 서버 감독 | omniroute serve를 실행하고, 이미 돌고 있는 인스턴스는 중복 없이 이어받아요 |
| 📊 한눈에 보는 실시간 사용량 | 제공자 한도 막대, 초기화 카운트다운이 있는 Claude 세션 · 주간 한도, 30일 비용 분석 |
| 🔄 제자리 자동 업데이트 | 단계별 설치, 원자적 교체, 실패 시 되돌리기 — 항상 최신 릴리스 |
| 🚀 로그인 때 시작 | 선택형. 트레이 전용이고 독 아이콘 없음 |
| 🩺 진단 · 로그 | 한 번 클릭으로 진단과 서버 로그 열기 |
brew install --cask zoispag/tap/omniroute-tray
💛 @zoispag의 커뮤니티 프로젝트이고, OmniRoute 공식 릴리스가 아니에요.
🔒 비공개 · 로컬 우선
🔌 완전한 CLI + A2A · MCP
서버를 넘어 OmniRoute는 80개 이상의 명령을 갖춘 완전한 명령줄 조종석이고, AI 에이전트가 스스로 조작할 수 있게 열린 에이전트 프로토콜도 제공해요.
⌨️ 진짜 CLI (start만 있는 게 아니에요)
omniroute # serve gateway + dashboard (port 20128)
omniroute chat # interactive TUI chat client (slash: /model /combo /skill /memory)
omniroute setup # guided first-run wizard
omniroute doctor # diagnose providers, ports, native deps
🛰️ 원격 모드 — CLI는 여기서, OmniRoute는 VPS에서
서버에 OmniRoute가 있나요? 같은 CLI로 노트북에서 조작하세요. 범위가 정해진 접근 토큰으로 한 번 로그인하면 이후 모든 명령이 원격을 대상으로 해요.
omniroute connect 192.168.0.15 # password → scoped token, saved as a context
omniroute models # ← runs against the REMOTE server
omniroute configure codex # ← picks a remote model, writes a local Codex profile
omniroute tokens create --name ci --scope read # mint narrower tokens for other machines
omniroute contexts use default # ← switch back to the local server
토큰 범위는 read / write / admin이고, 프로세스를 띄우는 경로는 루프백에서만 열려요. 📖 원격 모드
🤝 에이전트를 연결하면 — OmniRoute를 직접 다뤄요
OmniRoute를 MCP, A2A, REST API, 웹훅, 원격 CLI로 열면, 쓸 수 있는 에이전트(또는 내 코드)가 게이트웨이 전체(라우팅 · 제공자 · 콤보 · 캐시 · 압축 · 메모리)의 열쇠를 자율적으로 갖게 돼요. 아래 HTTP 엔드포인트는 http://localhost:20128 아래에서 제공돼요.
| 인터페이스 | 엔드포인트 / 명령 | 쓰임 |
|---|---|---|
| 🧰 MCP(stdio) | omniroute --mcp | Claude Desktop, Cursor 등 MCP 클라이언트에 연결 |
| 🌊 MCP(HTTP) | /api/mcp/stream | 원격 MCP — 도구 110개, 범위 33개(적용은 선택 가입), 전체 감사 기록 |
| 📡 MCP(SSE) | /api/mcp/sse | 스트리밍 MCP 전송 |
| 🤝 A2A | /.well-known/agent.json | 에이전트 간 통신, JSON-RPC 2.0 + SSE, 스킬 6개 |
| 🌐 REST API | /v1/* | OpenAI 호환 — 채팅, 임베딩, 이미지, 오디오, OCR |
| 🔔 웹훅 | /api/webhooks | 요청 · 한도 이벤트를 Slack, Discord, Telegram 등 아무 URL로 |
| 🛰️ 원격 CLI | omniroute connect | 범위가 정해진 접근 토큰으로 원격 인스턴스 조작 |
# Give Claude Code the full OmniRoute toolset over MCP:
claude mcp add-server omniroute --type http --url http://localhost:20128/api/mcp/stream
🗜️ 토큰을 자동으로 15–95% 아껴요
기본 겹쳐 쓰기 콤보는 RTK → Caveman 순서로 돌아요. 둘 다 같은 도구 · 맥락 페이로드에 작용하면 절감이 곱해져요.
combined = 1 − (1 − RTK) × (1 − Caveman_input)
average = 1 − (1 − 0.80) × (1 − 0.46) = 89.2%
range = 78.4 – 94.6%
코드 블록 · URL · JSON · 구조화된 데이터는 보존 엔진이 언제나 지켜요.
토큰 몇 개로 될 일에 왜 많이 쓰나요? 모든 요청은 OmniRoute의 압축 파이프라인을 투명하게 지나가요 — 클라이언트는 바꿀 것이 없어요. 지금은 순서대로 돌고 라우팅 콤보마다 섞어 쓸 수 있는 12개 엔진의 묶음이고, RTK, Caveman(⭐ 9만+), LLMLingua-2, Troglodita(포르투갈어)의 아이디어 위에 만들었어요.
🧱 12개 엔진 묶음
엔진은 파이프라인 순서로 돌고, 각각 콤보마다 따로 켜고 끄고 설정할 수 있어요.
| # | 엔진 | 하는 일 |
|---|---|---|
| 1 | Session-Dedup | 턴에 걸쳐 반복된 내용을 버림(내용 주소 기반, 턴 간) |
| 2 | CCR | 큰 블록을 가져오기 표식 뒤에 보관하고 필요할 때 가져옴 |
| 3 | Lite | 공백 + 이미지 URL 다듬기(지연이 가벼운 기본선) |
| 4 | RTK | 똑똑한 도구 결과 거르기 · 중복 제거 · 자르기(명령 인식) |
| 5 | Responses Tool Output | 셸 · 패치 · 검색 · 빌드 출력용으로 무손실 우선 JSON + 한정된 진단 압축(Responses API) |
| 6 | Headroom | 포함된 GCF 코덱으로 JSON 배열을 무손실 표 형태로 압축(약 30%) |
| 7 | Relevance | 마지막 사용자 질의에 대한 추출식 문장 점수 |
| 8 | Caveman | 규칙 기반 산문 압축(출력 약 65–75%) |
| 9 | Aggressive | 요약 + 오래된 턴의 점진적 노화 |
| 10 | LLMLingua-2 | MobileBERT ONNX를 이용한 ML 의미 가지치기 — 코드 안전, 비동기 |
| 11 | Ultra | 선택형 소형 모델(SLM) 단계를 둔 휴리스틱 토큰 가지치기 |
| 12 | OmniGlyph | 직접 Anthropic 통신에서 측정된 Claude Fable 5용으로 맥락을 이미지로 인코딩하는 실험 기능(가장 공격적, 선택 가입). GPT 5.6 변환기는 제공자 수신 확인 전까지 닫힌 채로 실패. 압축 프로필 4개(공격적 기본 · 균형 · 코딩 안전 · 통과) |
코드 블록 · URL · 구조화된 데이터는 바이트 단위로 완벽하게 보존돼요. 한 번 클릭 프리셋이 엔진을 조합해요.
| 모드 | 절감 | 알맞은 경우 |
|---|---|---|
| 🪶 Lite | 약 15% | 항상 켜 두는 안전한 기본값 |
| 🪨 Standard(Caveman) | 약 30% | 일상 코딩 |
| ⚡ Aggressive | 약 50% | 도구를 많이 쓰는 긴 세션 |
| 🔥 Ultra | 약 75% | 최대 절감 |
| 🧰 RTK | 60–90% | 셸 · 테스트 · 빌드 · git 출력 |
| 🔗 Stacked(RTK → Caveman) | 78–95% | 섞인 프롬프트 + 도구 로그 |
실제 예 — Standard 모드:
전(69토큰): "The reason your React component is re-rendering is likely because you're creating a new object reference on each render cycle. When you pass an inline object as a prop, React's shallow comparison sees it as a different object every time, which triggers a re-render. I would recommend using useMemo to memoize the object."
후(19토큰): "New object ref each render. Inline object prop = new ref = re-render. Wrap in useMemo."
같은 답. 토큰 72% 감소. 정확도 손실 0. ✅
🎚️ 엔진을 넘어서 — 출력 스타일 · 적응형 다이얼 · 요청별 제어
위의 12개 엔진은 들어가는 것을 줄여요. 세 개의 층이 더 있어서 어떻게, 언제, 무엇이 나올지를 정해요.
- 🪄 출력 스타일(출력 방향 조종) — 결정적이고 캐시에 안전한 응답 모양 지시를 주입해요. 조합할 수 있고, 각각
lite/full/ultra강도가 있어요. 스타일을 더하는 것은 레지스트리 한 줄이에요.- 간결한 산문 — 군더더기 · 관사 · 얼버무림은 빼고 기술 내용은 정확하게.
- 적은 코드 — 「게으른 시니어 개발자」 YAGNI: 가장 작게 동작하는 변경만, 요청하지 않은 뼈대는 없음.
- Ponytail(게으른 시니어 개발자) — YAGNI 사다리를 오르고, 근본 원인을 고치고, 가장 작은 diff.
- ADHD 모드(행동 우선) — 다음 행동이 앞에, 단계에 번호, 구체적인 다음 한 걸음, 서론 없음.
- 간결한 CJK(文言) — 고전 중국어식 초간결 스타일(
zh로케일에서만).
- 🎯 적응형 컨텍스트 예산(다이얼) 등은 원문에서 이어서 확인하세요.
🔗 더 알아보기
이 안내에서 줄인 부분은 원문 README에서 볼 수 있어요: 적응형 컨텍스트 예산 · 요청별 압축 제어, 대시보드 둘러보기와 호환 CLI 상세, 기술 스택, 문서, 기여자, 후원사 전체.
- 저장소: https://github.com/cheaper-inference/OmniRoute
- 원문 README: https://github.com/cheaper-inference/OmniRoute#readme
- 로드맵: https://github.com/cheaper-inference/OmniRoute/blob/57351880664e738c6d78bcb9cd11e4a446a6777d/ROADMAP.md
- 변경 이력: https://github.com/cheaper-inference/OmniRoute/blob/57351880664e738c6d78bcb9cd11e4a446a6777d/CHANGELOG.md
- 라이선스: MIT(저장소 LICENSE 파일 기준)
- 저장소 주소가 옮겨졌어요: 예전
diegosouzapw/OmniRoute에서cheaper-inference/OmniRoute로 이전했고, 도커 이미지 이름은 아직diegosouzapw/omniroute예요.
이 서비스는 내 계정의 키 · 토큰을 다뤄요. 외부에 열지 말고 로컬(
127.0.0.1)에서만 쓰는 설정으로 시작하세요. 제공자마다 이용 약관이 다르니, 구독을 여러 사람이 나눠 쓰는 것이 허용되는지 확인하세요.
평점
- 5점
- 0
- 4점
- 0
- 3점
- 0
- 2점
- 0
- 1점
- 0