본문으로 건너뛰기
오픈소스 전체 목록

OmniRoute

  • 추천0
  • GitHub 별88K
  • 개발라이선스MIT

한 주소(OpenAI 호환)로 여러 AI 제공자를 쓰는 로컬 AI 게이트웨이. 자동 폴백 · 토큰 압축 · 대시보드 · MCP 서버 내장

원본:cheaper-inference/OmniRoute

요약

한 주소(OpenAI 호환)로 여러 AI 제공자를 쓰는 로컬 AI 게이트웨이. 자동 폴백 · 토큰 압축 · 대시보드 · MCP 서버 내장

설명

🚀 OmniRoute — 무료 AI 게이트웨이

만든 사람: Diego Souza

OmniRoute 대시보드

OmniRoute 소개 도식 (제공자 394개 · 무료 150개 이상 · 압축)

💰 제3자 무료 한도를 합쳐 한 달에 약 16.2억 토큰

무료 한도 예산 카드 (월 약 16.2억 토큰)

제공자 계정은 직접 준비해야 해요. 이 숫자는 따로 자격이 되는 제3자 무료 한도를 합산한 추정치이고, OmniRoute가 토큰을 나눠 주는 것이 아니에요. 가입하고, 필요하면 자격 증명을 받고, 쓸 수 있는 제공자를 연결하세요. 한도 · 제공 여부 · 약관은 제공자가 정해요.

무료 한도를 손으로 쌓아 쓰는 일은 괴로워요. SDK 수십 개, 요청 한도 수십 개, 정작 내가 얼마나 쓸 수 있는지는 알 수 없죠. OmniRoute는 34개 반복 풀 키에 걸친 무료 한도 465건을 목록으로 만들고, 월 예산이 공개된 풀 17개와 모델별 Groq 한도 5개를 공유 풀 기준으로 중복을 없애 토큰 합계를 계산해요. 지역 신원 확인을 거쳐야 열리는 한도(지금은 ModelScope)는 따로 보여 주고(지역 인증 뒤 약 +600만), 합계에는 넣지 않아요. 결과는 대시보드(/dashboard/free-tiers)에서 볼 수 있어요.

이 카드는 실제 /dashboard/free-tiers 화면의 애니메이션 요약이에요. 계산 방법(풀 중복 제거 · 크레딧 단계 · 제공자 약관) 전체는 docs/reference/FREE_TIERS.md 에 있어요.

이 수치는 2주마다 실제 목록으로 다시 점검하고 오르내려요. 제공자가 무료 한도를 끝내면 줄고, 새 한도가 생기면 늘어요. 반올림한 최선의 경우가 아니라 목록이 실제로 계산한 값을 그대로 공개해요.

Stars npm version NPM Monthly Docker Hub License: MIT Docker Pulls

💬 커뮤니티

질문 · 제공자 팁 · 로드맵 · 지원은 Discord · Telegram · WhatsApp(전 세계 · 브라질)에서 받아요. 공식 사이트는 omniroute.online이에요.

📈 게이트웨이는 계속 자라요

v3.8.50v3.8.51v3.8.54+
🌐 제공자352358394
🧠 고유 채팅 모델 ID132013741491
🖼️ 모달리티 브리지🆕 비전 + 오디오 + 비디오✓✓
📡 레이더 무료 목록🆕 선택 가입✓✓
⚖️ 한도 인식 스케줄링🆕 Quota-Share✓✓
📊 한도 원격 측정🆕 실시간✓✓
🧰 헤드리스 모드——🆕 serve --headless
🛤️ LTS 레일 인프라——🆕 릴리스 채널
🔎 모델 탐색 API——🆕 /v1/models/query

→ 로드맵 — v3.9.0 LTS를 향해 달려가고 있어요

🆓 설치하고, 제공자를 연결하고, 한 주소로 보내요

설치 · 연결 · 라우팅 3단계

# After connecting a provider, copy your OmniRoute key from Dashboard → Endpoints:
curl http://localhost:20128/v1/chat/completions \
  -H "Authorization: Bearer YOUR_OMNIROUTE_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello!"}]}'

auto는 쓸 수 있는 경로가 있어야 동작해요. 새로 설치한 직후에는 키 없이 쓸 수 있는 대상이 없을 수 있고, 키 없는 제공자는 제3자 클라이언트를 거부할 수도 있어요. Kiro처럼 tos: avoid로 표시된 제공자는 기본적으로 자동 라우팅에서 빠지고, 계정을 연결해도 이 설정은 바뀌지 않아요. 제공자를 고르기 전에 무료 한도 가이드를 보세요.

📦 Python · Node.js · PHP · cURL용 복사해서 쓰는 빠른 시작 스크립트는 examples/quickstart/에 있어요.

💥 약속

OmniRoute의 여섯 가지 약속

🤔 왜 OmniRoute인가요?

기존의 불편함과 OmniRoute의 해결

4단계 폴백 계단을 따라 흐르는 요청

🤝 오픈소스 친구들의 후원

OmniRoute를 후원하는 회사들은 받은 토큰이 어디에 쓰이는지 공개적으로 밝혀요. 후원사 안내 요약은 다음과 같아요.

  • Kimi (Moonshot AI): 창립 오픈소스 친구예요. Kimi API 크레딧은 모든 풀 리퀘스트를 검토하는 AI 검증 릴리스 파이프라인과 일상적인 기능 개발에 쓰여요. 직접 Kimi API(kimi-k3)와 Kimi Code 코딩 플랜(OAuth · API 키)을 모두 1급으로 지원해요.
  • Cheaper Inference: 모델 42개(Claude, GPT-5.x, Gemini, Kimi K3, GLM, DeepSeek, Grok, MiniMax)를 하나의 OpenAI 호환 엔드포인트 뒤에서 되파는 가격 순위 게이트웨이예요. 요청마다 가장 싼 제공자로 보내고, 모델 제작사의 정가를 넘겨 받지 않아요. 채팅 완성, 네이티브 /v1/responses, 비전, 도구 호출, 이미지 모델 3개를 지원해요.

aff=omniroute가 붙은 링크는 제휴 링크예요. 사용자에게 추가 비용 없이 프로젝트를 후원해요. 후원 관계가 없는 제공자의 무료 가입 쿠폰은 「Affiliates Promo」 절에 따로 모아 두었어요(예: AgentRouter 가입 시 $100 무료 크레딧 — 무료 서버라 지연이 길 수 있어 테스트용으로 알맞아요).

오픈소스 친구로 참여하려면 diegosouza.pw@outlook.com으로 연락하세요.

🎯 콤보 — 대표 기능

콤보는 OmniRoute가 자동으로 넘나드는 모델의 사슬이에요. 한도가 끝나거나, 제공자가 실패하거나, 비용이 치솟으면 콤보가 다음의 건강한 모델로 옮겨 가요. 🛡️

⚡ 설정 없이 — auto만 쓰세요

콤보를 만들 필요가 없어요. 모델을 auto(또는 변형)로 지정하면 OmniRoute가 연결된 제공자로 가상 콤보를 만들고 실시간으로 점수를 매겨요.

모델 ID최적화 대상
auto🎯 균형 잡힌 기본값(LKGP — 마지막으로 잘 된 제공자를 유지)
auto/coding🧑‍💻 코드 생성에 품질 우선 가중치
auto/fast⚡ 지연이 가장 짧은 것 먼저
auto/cheap💰 토큰당 가장 싼 것 먼저
auto/subscription🎟️ 이미 내고 있는 구독 한도만 사용 — 닫힌 채로 실패하고 과금되는 대체로는 가지 않음
auto/thrifty🪜 플랜 한도 먼저, 그다음 한 단계씩 가장 싼 유료로 — 초기화되면 플랜으로 복귀
auto/offline🔋 한도 · 요청 제한 여유가 가장 큰 것 먼저
auto/smart🔭 품질 우선 + 더 나은 모델을 찾기 위한 10% 탐색
auto/lkgp📌 마지막으로 잘 된 제공자에 명시적으로 고정
auto/chaos🧪 모델 패널(제공자당 하나, 기본 5개)에 병렬로 뿌리고 답 하나를 돌려줌. 패널 모델마다 상위 호출이 한 번씩 나가며, 장애 주입이 아님

🔀 직접 만들기 — 라우팅 전략 22가지

22가지 전략을 콤보 단계마다 섞어 쓸 수 있어요.

#전략하는 일
1priority첫 대상부터 순서대로 — 하나를 다 쓰고 다음으로 🥇
2fill-first다음으로 넘어가기 전에 각 대상의 한도를 다 채움
3weighted대상별 가중치에 따른 무작위
4round-robin대상을 순서대로 돌아가며
5p2c두 개 중 고르기(power-of-two-choices) 무작위 부하 분산
6least-used현재 부하가 가장 낮은 대상 선택
7random균등 무작위 선택(중복 제거)
8strict-random중복을 제거하지 않는 무작위 🎲
9cost-optimized실시간 가격표로 요청당 $ 최소화 💸
10headroom남은 한도가 가장 많은 대상 선택
11quota-weighted소진된 계정은 건너뛰고, 남은 한도 ÷ 처리 중 부하에 비례해 뽑음 — 진행 중인 대화는 그대로 고정 ⚖️
12reset-window한도 창이 가장 빨리 초기화되는 대상 우선
13reset-aware한도 초기화 시각 순으로 순위 — 짧은 창 먼저 📊
14context-relay긴 대화에서 대상 사이로 맥락을 넘겨줌 🧠
15context-optimized현재 맥락 크기에 가장 맞는 대상 선택
16cache-optimized재사용 가능한 프롬프트 앞부분을 같은 계정에 고정 — 프롬프트 캐시 적중 극대화 🎯
17lkgp마지막 성공 경로 — 마지막으로 성공한 제공자에 고정하고 그다음 규칙으로 폴백
18auto모든 연결에 대해 16개 요소로 실시간 점수 매기기 🤖
19fusion모델 패널에 뿌리고 심판이 답 하나로 합성 🧬
20pipeline단계를 이어 붙임 — 각 대상의 출력이 다음 입력으로 🔗
21expiry-first쓰지 않으면 한도가 사라질 계정부터 소진 — 남은 양이 많고 초기화가 가까운 쪽이 우선 ⏳
22jev내가 순위를 매긴 목록에서 TypeSafe Jev가 요청마다 실행할 항목을 고르고, 내 순서로 폴백(선택 가입 플래그) ⚖️

자동 콤보 엔진은 후보마다 16개 요소(상태 · 한도 · 비용 · 지연 · 작업 적합도 · 품질 · 세션 가용성 등)로 점수를 매겨요. 자세한 내용은 docs/routing/AUTO-COMBO.md를 보세요.

콤보의 22가지 라우팅 전략

🧱 복원력이 기본으로 들어 있어요 (독립된 3개 층)

세 개의 독립된 복원력 층

📖 자동 콤보 엔진 · 복원력 가이드

🏆 OmniRoute가 다른 점

9router · OpenRouter · CLIProxyAPI · LiteLLM과 기능 비교

📊 9router, OpenRouter, CLIProxyAPI, LiteLLM과의 방법 · 기능별 비교는 docs/comparison/OMNIROUTE_VS_ALTERNATIVES.md에 있어요.

💚 OmniRoute 후원

OmniRoute는 MIT 라이선스로 공개 개발돼요. 시간이나 돈을 아껴 줬다면 맞는 방법으로 독립성을 지켜 주세요. 후원은 라우팅 우선순위에 영향을 주지 않아요. 노출은 살 수 있어도 순위는 살 수 없어요.

방법설명
⭐ 저장소에 별무료 — 노출에 큰 도움이 돼요
🐙 GitHub Sponsors일시 또는 월 정기 · 플랫폼 수수료 없음
☕ Ko-fi가벼운 일시 후원, 후원자는 가입 불필요
🧋 Buy Me a Coffee작고 편한 후원
🖐 Liberapay정기 · 비영리 · 오픈소스
🇧🇷 PIX(브라질)즉시 · 수수료 없음
₿ 암호화폐BTC · ETH · USDT-TRC20 · USDC-Solana

🐛 버그나 의견은 Discussions에 남겨 주세요.

📡 OmniRoute Radar

위에서 말한 문서화되고 풀 중복이 제거된 목록의 대표 수치는 계속 월 약 16.2억 토큰이에요. 임시 제공자 가입 크레딧이 더해지면 첫 달은 약 22.2억까지 올라갈 수 있어요. Radar는 OmniRoute 릴리스 사이에도 더 신선한 무료 모델 정보를 받아 보려는 사람을 위한 선택형 서명 목록이에요. 커뮤니티 목록과 기존의 모든 무료 기능은 계속 무료예요.

후원자는 실시간 목록과 추가 제공자 기회를 받을 수 있어요. 별도의 가변 상한은 제공자 상황에 따라 많아야 월 약 30억 토큰이에요. 이 상한은 보장이 아니고, 제공자는 언제든 한도 · 자격 · 모델 · 지역을 바꿀 수 있어요.

Radar는 선택 가입이고 GET만 써요. OmniRoute 클라이언트는 프롬프트, 트래픽, 제공자 설정, 사용량 원격 측정, 로컬의 공지 닫기 상태를 올리지 않아요. 자격과 현재 목록은 **radar.omniroute.online/planos**에서 확인하세요.

✨ 새로운 점

v3.8.20 → v3.8.54의 최근 하이라이트예요. 전체 기록은 CHANGELOG.md에 있어요.

  • ⚖️ quota-weighted 라우팅 — 20번째 콤보 전략. 소진된 계정을 건너뛰고 남은 한도 ÷ 처리 중 부하 비율로 나머지에서 뽑으며, 진행 중인 대화는 고정해요.
  • 🧰 헤드리스 모드 — omniroute serve --headless(또는 OMNIROUTE_HEADLESS=1)는 /v1/* 프록시 엔진만 돌리고 대시보드와 대시보드 전용 기능은 꺼요.
  • 🔎 모델 탐색 — /v1/models를 기능 · 컨텍스트 · 종류 · 글자로 거를 수 있고, POST /v1/models/query는 같은 키별 가시성으로 짧고 결정적인 후보 목록을 돌려줘요.
  • 🔑 키별 라우팅 제어 — forcedModel로 API 키를 모델 하나나 콤보 하나에 고정하고, 키의 모델 · 콤보를 한 번에 더하거나 뺄 수 있어요(/api/keys/{id}/access).
  • 🛡️ 더 세밀한 PII 제어 — 유형별 선택, 검증된 사용자 정의 마스킹 패턴 최대 20개, 유형별 감지 카운터. 마스킹 자체는 선택 가입이에요.
  • 🌍 67개 언어 — 대시보드 · 문서 미러 · CLI. npm run i18n:add-locale 한 번으로 모든 곳에 언어를 추가해요.
  • 🎛️ OmniConductor — 에이전트 무리로의 A2A 위임, 에이전트 카드의 Conductor 스킬, Faro 푸시투토크 음성 채팅이 있는 대시보드 패널.
  • 🛂 적응형 입장 · 과부하 보호 — 무거운 채팅 요청이 503으로 실패하지 않고 대기열에 들어가며, 연결마다 원자적 RPM 롤링 리스를 써요.
  • 🗜️ 압축 강화 — 기본 켜짐 팽창 방지, 독일어 · 프랑스어 · 일본어 · 중국어(文言)용 Caveman 팩, Gradle · .NET용 RTK 필터.
  • 💸 정직한 정액제 비용 — 구독 · 코딩 플랜 제공자는 비용 분석에서 $0으로 읽히고, 예산 · 한도 · 라우팅은 계속 추정해요.
  • ⚖️ Quota-Share 라우팅 — 공유 계정의 한도를 묶인 키 사이에서 공평하게 나누고, 놀고 있는 몫은 빌려줘요.
  • 🤖 한 줄 CLI · 에이전트 설정 — 등록된 setup-* 명령 15개, omniroute run은 CLI 7개(Claude Code, Codex, Aider, Goose, OpenCode, Qwen Code, Gemini CLI) 실행, omniroute configure는 대화형 제공자 + 모델 선택기로 11개 대상을 지원해요.
  • 🛰️ 원격 모드 — 범위가 정해진 토큰(connect / contexts / tokens)으로 원격 OmniRoute를 조작하고, VPS 설치를 위한 antigravity OAuth 도우미가 있어요.
  • 🧭 더 똑똑한 자동 라우팅 — auto/<변형> 콤보, Fusion(모델 패널 + 심판), 작업 인식 라우팅, 요청별 모델 · 모드 · USD 예산 덮어쓰기.
  • 🗜️ 끼워 넣는 압축 — 조합 가능한 12개 엔진 + 압축 스튜디오: LLMLingua-2, 2단계 Ultra, omniglyph, 단계별 충실도 게이트, GCF v3.2, 끌어서 순서를 바꾸는 편집기.
  • 🕵️ 투명 MITM 복호화(TPROXY) — 프록시 환경 변수를 무시하는 CLI도 SNI별 CA와 신뢰 저장소 설치 도구로 잡아요.
  • 💸 어디서나 비용 원격 측정 — 모든 엔드포인트의 X-OmniRoute-* 비용 · 사용량 헤더, 캐시 적중 절감 헤더, 키별 USD 지출 한도.
  • 🧠 내가 다루는 메모리 — 기본 꺼짐, 선택 가입 int8 벡터 양자화 + 유형별 감쇠, 요청별 x-omniroute-no-memory.
  • 🛡️ 보안 — 모든 LLM 경로의 프롬프트 인젝션 방어(레드팀 시험), 선택 가입 자격 증명 마스킹 가드레일(양방향으로 새는 API 키 · 비밀값 가림), 무료 DuckDuckGo 최후 웹 검색, 대시보드용 선택형 OIDC 로그인 관문(비밀번호 로그인은 항상 가능).
  • 🖼️ 새 엔드포인트 — /v1/ocr(Mistral OCR)와 /v1/audio/translations(Whisper 방식)로 미디어 영역을 채워요.
  • 🎨 이미지 · 비디오 · 오디오 생성 — xAI Grok Imagine, Novita AI 비디오, ComfyUI, Magnific, Adobe Firefly, Segmind, ElevenLabs 같은 음성 제공자까지 한 API로.
  • 🌍 배포 · 운영 — 역방향 프록시 basePath, 브라우저 언어 자동 감지, 키별 기기 추적, 루트 없는 MITM 신뢰, zh-TW 현지화.
  • 🤝 더 많은 제공자 · 에이전트 — 클라우드 에이전트(Codex Cloud, Cursor, Devin, Jules), 브라우저 + OAuth 로그인의 Grok Build(xAI), Ollama 1급 카드, Claude Opus 5 · Sonnet 5, Kimi 공식 파트너십, Zed, Requesty, SenseNova, Agnes AI 등과 새로 고친 394개 제공자 목록.
  • 📡 라우팅 투명성 — 모든 응답에 전략 · 제공자 · 지연을 알려 주는 X-OmniRoute-Decision 헤더가 붙고, 새 cache-optimized 전략과 자동 콤보 cacheAffinity 요소가 같은 요청을 캐시된 앞부분을 가진 연결로 되돌려 보내요.
  • ⚡ 로컬 성능 · 인프라 — 한 번에 설치하는 로컬 Redis, Cloudflare Workers / Deno Deploy 릴레이 배포 도구, 감독되는 내장 서비스(Bifrost · Mux).
  • 🧩 그 밖에 — 플러그인 프레임워크 + 마켓, Omni · Agent · GitHub 스킬 프레임워크, Obsidian 보관함 연동(MCP 도구 22개), OpenAI 호환 Batch · Files API, 의미 기반 응답 캐시, 순위표가 있는 게이미피케이션, ACP 에이전트 탐색(내장 15개), BigQuery 예약 로그 내보내기, Telegram 봇 연결, 앱 안 버전 관리자, LMArena-ELO 무료 제공자 순위. 전체는 문서에서 보세요.

🤖 호환되는 CLI · 코딩 에이전트

설정 하나 — http://localhost:20128/v1 — 로 모든 AI IDE · CLI가 무료 · 저가 모델로 돌아가요.

Claude Code · Codex CLI · Cline · Kilo Code · Zoo Code · Continue · Aider · ForgeCode · jcode · DeepSeek TUI · CodeWhale · OpenCode · Factory Droid · Copilot CLI · Cursor CLI · Smelt · Pi · Grok Build · Hermes Agent · OpenClaw · Goose · Open Interpreter · Warp AI · deyin.ai. 그 밖에 Agent Deck · Kiro · Command Code · Antigravity · Windsurf · AMP 등 OpenAI 호환 도구라면 무엇이든 써요.

📖 도구 39개(코드용 CLI 28개 + 에이전트 CLI 11개)별 설정은 docs/reference/CLI-TOOLS.md, 🧩 OpenCode 플러그인은 @omniroute/opencode-provider에 있어요.

지원하는 CLI를 한 줄로 OmniRoute에 연결해 실행해요. 설정 파일을 쓰지 않고, 자격 증명은 프로세스마다 주입되며, Qwen · Gemini는 한 번 쓰고 버리는 격리된 홈을 받아요.

omniroute run claude   --model openai/gpt-5.4          # Claude Code
omniroute run codex    --model glm/glm-5.2             # OpenAI Codex CLI
omniroute run aider    --model glm/glm-5.2 -- --message "reply OK"
omniroute run goose    --model glm/glm-5.2
omniroute run opencode --model glm/glm-5.2 -- run "reply OK"
omniroute run qwen     --model glm/glm-5.2 -- -p "reply OK"
omniroute run gemini   --model glm/glm-5.2 -- --skip-trust -p "reply OK"

# Or pick provider+model interactively and write the tool's own config:
omniroute configure codex          # also: claude opencode qwen aider goose gemini cline continue kilo 5dive

모든 명령은 활성화된 원격 컨텍스트(omniroute connect <호스트>)를 따르고, --dry-run은 실행하지 않고 환경 · 인자를 미리 보여 주며, --api-key-env NAME은 비밀값이 셸 기록에 남지 않게 해요. → CLI 연동

🌐 AI 제공자 394개 — 그중 153개가 무료로 표시

등록된 제공자 394개(채팅 · 미디어 · 검색 · 로컬 · 클라우드 에이전트 · 시스템)가 있고, 그중 153개가 hasFree: true 탐색 정보를 달고 있어요. 채팅 모델 목록은 제공자 239개 / 제공자-모델 쌍 3,059개 / 원본 모델 ID 1,475개를 다루고, 별도의 무료 예산 목록에는 모델별 465행, 반복 풀 34개, 반복형 · 키 없는 영구 무료 제공자 51개가 있어요. 기준 단위가 달라서 숫자가 다르고, 정의와 풀 중복 제거 계산은 제공자 레퍼런스와 무료 한도에 있어요.

🏢 모든 주요 연구소를 하나의 엔드포인트로

OpenAI · Anthropic · Gemini · xAI Grok · DeepSeek · Mistral · Qwen · Meta Llama · Groq · NVIDIA · MiniMax · Cohere · Perplexity · HuggingFace · Together · Fireworks · Cloudflare · Baidu … 그 밖에 350개 이상.

🆓 영구 무료 — $0, 카드 없음

제공자모델조건
OpenCode ZenDeepSeek V4, Nemotron 3토큰 상한 없음
Kilo Code자동 라우터, Tencent Hy3영구 무료
RequestyGPT-OSS 120B, Nemotron영구 무료
SiliconFlowDeepSeek V3.2 / R1무료 한도
Z.AI GLMGLM-4.7 / 4.5-Flash영구 무료
Baidu ERNIEERNIE 4.0영구 무료
Qoder AIQwen3-Max, Kimi-K2무제한 무료
PollinationsGPT, Llama, Claude키 불필요
Cloudflare AI모델 50개 이상하루 1만 뉴런
NVIDIA NIMGLM, MiniMax분당 약 40회 무료
CerebrasGLM 4.7, GPT-OSS일회성 $5 크레딧, 카드 필요
OpenRouter :free 모델+$10이면 더 높은 RPM

📖 기계가 읽는 전체 목록은 docs/reference/PROVIDER_REFERENCE.md에 있어요.

🖥️ 어디서나 돌아가요

같은 앱, 내 컴퓨터, 내 규칙. 전역 npm 설치부터 Termux를 통한 내 휴대폰까지.

플랫폼설치특징
📦 npm(전역)npm install -g omniroute명령 하나, 모든 OS
⚡ Bun(전역)bun add -g omniroute같은 레지스트리 압축 파일, 더 빠른 설치
🐳 Dockerdocker run … diegosouzapw/omnirouteAMD64 + ARM64 멀티 아키텍처
🖥️ 데스크톱(Electron)npm run electron:build네이티브 창 + 시스템 트레이 — Windows / macOS / Linux
🎩 메뉴바(OmniRouteTray)brew install --cask zoispag/tap/omniroute-tray서버를 감독하고 자동 업데이트 — macOS
💪 ARM 네이티브arm64Raspberry Pi, ARM 서버, Apple Silicon
📱 Android(Termux)pkg install nodejs && npx -y omniroute휴대폰에서 24시간, 루트 불필요
📲 PWA「홈 화면에 추가」전체 화면, 오프라인, 브라우저에서 설치
🧩 OpenCode 플러그인@omniroute/opencode-providerOpenCode 네이티브 연동
🤖 VS Code Copilot ChatOmniCopilot 확장 설치기본 Copilot Chat 모델 선택기에 OmniRoute 모델 전부 — 안정판 · Insiders
🛠️ 소스에서npm install && npm run dev직접 고치고 기여

📖 Docker 가이드 · 데스크톱 · 메뉴바 트레이 · Termux · PWA · OpenCode

🧩 새 기능: VS Code 기본 Copilot Chat 안의 OmniRoute

새 사이드바도, 새 채팅 화면도 없어요. OmniRoute가 제공하는 모든 모델이 이미 쓰던 Copilot Chat 모델 선택기에 나타나요. VS Code 1.122부터 제공자 모델은 GitHub 로그인이나 Copilot 구독 없이도 돌아가서, 에이전트 모드 · 도구 호출 · 비전을 무료로 써요.

OmniCopilot 확장을 설치하고 OmniRoute 서버(기본 localhost:20128)를 가리킨 뒤, Copilot Chat → 모델 선택기 → Manage Models… → OmniRoute를 여세요. VS Code Marketplace와 Open VSX(Cursor, Windsurf, VSCodium, Theia, code-server, Gitpod, Antigravity, Kiro 등)에서 모두 설치할 수 있어요. 자세한 설정은 VS Code Copilot Chat 가이드에 있어요.

🎩 새 기능: OmniRouteTray — 메뉴바에 사는 게이트웨이

omniroute serve는 늘 켜져 있을 때 가장 좋아요. **OmniRouteTray**는 이것을 macOS용 설치 후 잊어도 되는 메뉴바 앱으로 만들어요. 서버를 시작하고, 재부팅 뒤에도 살려 두고, 제자리에서 업데이트하고, 실시간 토큰 예산을 한 번 클릭 거리에 두어요. 터미널 창을 열어 두거나 npm install -g omniroute를 챙길 필요가 없어요.

Tauri v2로 만들어졌고(Rust 핵심이 반올림 오차만큼 작아요), 서명된 자체 Node 24 런타임을 담아 앱이 소유하는 OmniRoute 설치를 관리해서 전역 node/bun과 부딪치지 않아요. 기존 ~/.omniroute/ 설정과 데이터베이스를 그대로 공유하니, 지금 쓰는 그 OmniRoute에 모자만 씌운 셈이에요. 🎩

하는 일방법
🟢 서버 감독omniroute serve를 실행하고, 이미 돌고 있는 인스턴스는 중복 없이 이어받아요
📊 한눈에 보는 실시간 사용량제공자 한도 막대, 초기화 카운트다운이 있는 Claude 세션 · 주간 한도, 30일 비용 분석
🔄 제자리 자동 업데이트단계별 설치, 원자적 교체, 실패 시 되돌리기 — 항상 최신 릴리스
🚀 로그인 때 시작선택형. 트레이 전용이고 독 아이콘 없음
🩺 진단 · 로그한 번 클릭으로 진단과 서버 로그 열기
brew install --cask zoispag/tap/omniroute-tray

💛 @zoispag의 커뮤니티 프로젝트이고, OmniRoute 공식 릴리스가 아니에요.

🔒 비공개 · 로컬 우선

비공개와 로컬 우선 구조

📖 권한 부여 · 가드레일 · 규정 준수

🔌 완전한 CLI + A2A · MCP

서버를 넘어 OmniRoute는 80개 이상의 명령을 갖춘 완전한 명령줄 조종석이고, AI 에이전트가 스스로 조작할 수 있게 열린 에이전트 프로토콜도 제공해요.

CLI 터미널 시연

⌨️ 진짜 CLI (start만 있는 게 아니에요)

omniroute               # serve gateway + dashboard (port 20128)
omniroute chat          # interactive TUI chat client (slash: /model /combo /skill /memory)
omniroute setup         # guided first-run wizard
omniroute doctor        # diagnose providers, ports, native deps

🛰️ 원격 모드 — CLI는 여기서, OmniRoute는 VPS에서

서버에 OmniRoute가 있나요? 같은 CLI로 노트북에서 조작하세요. 범위가 정해진 접근 토큰으로 한 번 로그인하면 이후 모든 명령이 원격을 대상으로 해요.

omniroute connect 192.168.0.15            # password → scoped token, saved as a context
omniroute models                         # ← runs against the REMOTE server
omniroute configure codex                 # ← picks a remote model, writes a local Codex profile
omniroute tokens create --name ci --scope read   # mint narrower tokens for other machines
omniroute contexts use default            # ← switch back to the local server

토큰 범위는 read / write / admin이고, 프로세스를 띄우는 경로는 루프백에서만 열려요. 📖 원격 모드

🤝 에이전트를 연결하면 — OmniRoute를 직접 다뤄요

OmniRoute를 MCP, A2A, REST API, 웹훅, 원격 CLI로 열면, 쓸 수 있는 에이전트(또는 내 코드)가 게이트웨이 전체(라우팅 · 제공자 · 콤보 · 캐시 · 압축 · 메모리)의 열쇠를 자율적으로 갖게 돼요. 아래 HTTP 엔드포인트는 http://localhost:20128 아래에서 제공돼요.

인터페이스엔드포인트 / 명령쓰임
🧰 MCP(stdio)omniroute --mcpClaude Desktop, Cursor 등 MCP 클라이언트에 연결
🌊 MCP(HTTP)/api/mcp/stream원격 MCP — 도구 110개, 범위 33개(적용은 선택 가입), 전체 감사 기록
📡 MCP(SSE)/api/mcp/sse스트리밍 MCP 전송
🤝 A2A/.well-known/agent.json에이전트 간 통신, JSON-RPC 2.0 + SSE, 스킬 6개
🌐 REST API/v1/*OpenAI 호환 — 채팅, 임베딩, 이미지, 오디오, OCR
🔔 웹훅/api/webhooks요청 · 한도 이벤트를 Slack, Discord, Telegram 등 아무 URL로
🛰️ 원격 CLIomniroute connect범위가 정해진 접근 토큰으로 원격 인스턴스 조작
# Give Claude Code the full OmniRoute toolset over MCP:
claude mcp add-server omniroute --type http --url http://localhost:20128/api/mcp/stream

📖 MCP 서버 · A2A 서버 · 에이전트 프로토콜

🗜️ 토큰을 자동으로 15–95% 아껴요

12개 엔진 압축 파이프라인

기본 겹쳐 쓰기 콤보는 RTK → Caveman 순서로 돌아요. 둘 다 같은 도구 · 맥락 페이로드에 작용하면 절감이 곱해져요.

combined = 1 − (1 − RTK) × (1 − Caveman_input)
average  = 1 − (1 − 0.80) × (1 − 0.46) = 89.2%
range    = 78.4 – 94.6%

코드 블록 · URL · JSON · 구조화된 데이터는 보존 엔진이 언제나 지켜요.

토큰 몇 개로 될 일에 왜 많이 쓰나요? 모든 요청은 OmniRoute의 압축 파이프라인을 투명하게 지나가요 — 클라이언트는 바꿀 것이 없어요. 지금은 순서대로 돌고 라우팅 콤보마다 섞어 쓸 수 있는 12개 엔진의 묶음이고, RTK, Caveman(⭐ 9만+), LLMLingua-2, Troglodita(포르투갈어)의 아이디어 위에 만들었어요.

🧱 12개 엔진 묶음

엔진은 파이프라인 순서로 돌고, 각각 콤보마다 따로 켜고 끄고 설정할 수 있어요.

#엔진하는 일
1Session-Dedup턴에 걸쳐 반복된 내용을 버림(내용 주소 기반, 턴 간)
2CCR큰 블록을 가져오기 표식 뒤에 보관하고 필요할 때 가져옴
3Lite공백 + 이미지 URL 다듬기(지연이 가벼운 기본선)
4RTK똑똑한 도구 결과 거르기 · 중복 제거 · 자르기(명령 인식)
5Responses Tool Output셸 · 패치 · 검색 · 빌드 출력용으로 무손실 우선 JSON + 한정된 진단 압축(Responses API)
6Headroom포함된 GCF 코덱으로 JSON 배열을 무손실 표 형태로 압축(약 30%)
7Relevance마지막 사용자 질의에 대한 추출식 문장 점수
8Caveman규칙 기반 산문 압축(출력 약 65–75%)
9Aggressive요약 + 오래된 턴의 점진적 노화
10LLMLingua-2MobileBERT ONNX를 이용한 ML 의미 가지치기 — 코드 안전, 비동기
11Ultra선택형 소형 모델(SLM) 단계를 둔 휴리스틱 토큰 가지치기
12OmniGlyph직접 Anthropic 통신에서 측정된 Claude Fable 5용으로 맥락을 이미지로 인코딩하는 실험 기능(가장 공격적, 선택 가입). GPT 5.6 변환기는 제공자 수신 확인 전까지 닫힌 채로 실패. 압축 프로필 4개(공격적 기본 · 균형 · 코딩 안전 · 통과)

코드 블록 · URL · 구조화된 데이터는 바이트 단위로 완벽하게 보존돼요. 한 번 클릭 프리셋이 엔진을 조합해요.

모드절감알맞은 경우
🪶 Lite약 15%항상 켜 두는 안전한 기본값
🪨 Standard(Caveman)약 30%일상 코딩
⚡ Aggressive약 50%도구를 많이 쓰는 긴 세션
🔥 Ultra약 75%최대 절감
🧰 RTK60–90%셸 · 테스트 · 빌드 · git 출력
🔗 Stacked(RTK → Caveman)78–95%섞인 프롬프트 + 도구 로그

실제 예 — Standard 모드:

전(69토큰): "The reason your React component is re-rendering is likely because you're creating a new object reference on each render cycle. When you pass an inline object as a prop, React's shallow comparison sees it as a different object every time, which triggers a re-render. I would recommend using useMemo to memoize the object."

후(19토큰): "New object ref each render. Inline object prop = new ref = re-render. Wrap in useMemo."

같은 답. 토큰 72% 감소. 정확도 손실 0. ✅

🎚️ 엔진을 넘어서 — 출력 스타일 · 적응형 다이얼 · 요청별 제어

위의 12개 엔진은 들어가는 것을 줄여요. 세 개의 층이 더 있어서 어떻게, 언제, 무엇이 나올지를 정해요.

  • 🪄 출력 스타일(출력 방향 조종) — 결정적이고 캐시에 안전한 응답 모양 지시를 주입해요. 조합할 수 있고, 각각 lite / full / ultra 강도가 있어요. 스타일을 더하는 것은 레지스트리 한 줄이에요.
    • 간결한 산문 — 군더더기 · 관사 · 얼버무림은 빼고 기술 내용은 정확하게.
    • 적은 코드 — 「게으른 시니어 개발자」 YAGNI: 가장 작게 동작하는 변경만, 요청하지 않은 뼈대는 없음.
    • Ponytail(게으른 시니어 개발자) — YAGNI 사다리를 오르고, 근본 원인을 고치고, 가장 작은 diff.
    • ADHD 모드(행동 우선) — 다음 행동이 앞에, 단계에 번호, 구체적인 다음 한 걸음, 서론 없음.
    • 간결한 CJK(文言) — 고전 중국어식 초간결 스타일(zh 로케일에서만).
  • 🎯 적응형 컨텍스트 예산(다이얼) 등은 원문에서 이어서 확인하세요.

🔗 더 알아보기

이 안내에서 줄인 부분은 원문 README에서 볼 수 있어요: 적응형 컨텍스트 예산 · 요청별 압축 제어, 대시보드 둘러보기와 호환 CLI 상세, 기술 스택, 문서, 기여자, 후원사 전체.

이 서비스는 내 계정의 키 · 토큰을 다뤄요. 외부에 열지 말고 로컬(127.0.0.1)에서만 쓰는 설정으로 시작하세요. 제공자마다 이용 약관이 다르니, 구독을 여러 사람이 나눠 쓰는 것이 허용되는지 확인하세요.

평점

–평가 0개 기준
5점
0
4점
0
3점
0
2점
0
1점
0