LitServe
- 추천0
- GitHub 별4K
- 개발라이선스Apache-2.0
파이썬만으로 모델 · 에이전트 · RAG용 맞춤 추론 서버를 만드는 프레임워크. 배칭 · 스트리밍 · GPU 오토스케일링 지원. Apache-2.0
요약
파이썬만으로 모델 · 에이전트 · RAG용 맞춤 추론 서버를 만드는 프레임워크. 배칭 · 스트리밍 · GPU 오토스케일링 지원. Apache-2.0
설명
파이썬만으로 맞춤 추론 서버 만들기
모델, 에이전트, RAG, 파이프라인이 추론을 어떻게 처리할지 직접 정의하세요. MLOps 연결 코드나 설정 파일 없이 배칭, 라우팅, 스트리밍, 오케스트레이션을 제어할 수 있습니다.

- ✅ 맞춤 추론 로직
- ✅ FastAPI보다 2배 빠름
- ✅ 에이전트, RAG, 파이프라인 등
- ✅ 로직과 제어를 마음대로
- ✅ 어떤 PyTorch 모델이든
- ✅ 직접 호스팅하거나 관리형으로
- ✅ GPU 여러 대 오토스케일링
- ✅ 배칭 + 스트리밍
- ✅ 내 모델 또는 vLLM 사용
- ✅ MLOps 연결 코드 없음
- ✅ 파이썬으로 쉽게 설정
- ✅ 서버리스 지원
LitServe를 써야 하는 이유
vLLM 같은 대부분의 서빙 도구는 한 가지 모델 유형에 맞춰 만들어졌고, 경직된 추상화를 강요합니다. 맞춤 로직, 여러 모델, 에이전트, 비표준 파이프라인이 필요해지기 전까지는 잘 동작합니다. LitServe를 쓰면 파이썬으로 나만의 추론 엔진을 쓸 수 있습니다. 요청을 어떻게 처리할지, 모델을 어떻게 불러올지, 배칭과 라우팅은 어떻게 할지, 출력은 어떻게 만들지를 직접 정합니다. 성능, 동시성, 확장, 배포는 LitServe가 맡습니다. LitServe로 추론 API, 에이전트, 챗봇, RAG 시스템, MCP 서버, 여러 모델이 얽힌 파이프라인을 만들 수 있습니다.
로컬에서 실행하거나, 어디서든 직접 호스팅하거나, Lightning AI에서 클릭 한 번으로 배포할 수 있습니다.
가장 쉽게 추론을 호스팅하고 싶으신가요?
38만 명이 넘는 개발자가 Lightning Cloud를 씁니다. 인프라를 직접 관리하지 않고 LitServe를 돌리는 가장 간단한 방법입니다. 명령 하나로 배포하면 GPU 오토스케일링, 모니터링, 무료 구간이 따라옵니다. 클라우드 설정은 필요 없습니다. 물론 어디서든 직접 호스팅해도 됩니다.
빠른 시작
pip로 LitServe를 설치하세요(다른 설치 방법).
pip install litserve
예제 1: 여러 모델을 묶은 간단한 추론 파이프라인. 예제 2: 뉴스를 가져오는 최소한의 에이전트(OpenAI API 사용). (고급 예제는 아래 "대표 예제"를 보세요.)
추론 엔진 예제
import litserve as ls
# define the api to include any number of models, dbs, etc...
class InferenceEngine(ls.LitAPI):
def setup(self, device):
self.text_model = lambda x: x**2
self.vision_model = lambda x: x**3
def predict(self, request):
x = request["input"]
# perform calculations using both models
a = self.text_model(x)
b = self.vision_model(x)
c = a + b
return {"output": c}
if __name__ == "__main__":
# 12+ features like batching, streaming, etc...
server = ls.LitServer(InferenceEngine(max_batch_size=1), accelerator="auto")
server.run(port=8000)
Lightning 클라우드에 무료로 배포하세요(또는 어디서든 직접 호스팅).
# Deploy for free with autoscaling, monitoring, etc...
lightning deploy server.py --cloud
# Or run locally (self host anywhere)
lightning deploy server.py
# python server.py
서버를 시험해 보세요. 아무 터미널에서 HTTP 요청을 흉내 내 보냅니다.
curl -X POST http://127.0.0.1:8000/predict -H "Content-Type: application/json" -d '{"input": 4.0}'
에이전트 예제
import re, requests, openai
import litserve as ls
class NewsAgent(ls.LitAPI):
def setup(self, device):
self.openai_client = openai.OpenAI(api_key="OPENAI_API_KEY")
def predict(self, request):
website_url = request.get("website_url", "https://text.npr.org/")
website_text = re.sub(r"<[^>]+>", " ", requests.get(website_url).text)
# ask the LLM to tell you about the news
llm_response = self.openai_client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": f"Based on this, what is the latest: {website_text}"}],
)
output = llm_response.choices[0].message.content.strip()
return {"output": output}
if __name__ == "__main__":
server = ls.LitServer(NewsAgent())
server.run(port=8000)
시험해 보세요.
curl -X POST http://127.0.0.1:8000/predict -H "Content-Type: application/json" -d '{"website_url": "https://text.npr.org/"}'
주요 장점
- 어떤 파이프라인이나 모델이든 배포: 에이전트, 파이프라인, RAG, 챗봇, 이미지 모델, 영상, 음성, 텍스트 등.
- MLOps 연결 코드가 필요 없음: LitAPI 하나로 멀티 모델, 에이전트, RAG 같은 전체 AI 시스템을 한곳에서 만듭니다(자세히).
- 즉시 설정:
setup()에서 몇 줄이면 모델, DB, 데이터를 연결합니다(자세히). - 최적화됨: 오토스케일링, GPU 지원, 빠른 추론이 기본으로 들어 있습니다(자세히).
- 어디서나 배포: 직접 호스팅하거나 Lightning에서 클릭 한 번으로 배포합니다(자세히).
- AI를 위한 FastAPI: FastAPI 위에 만들었지만 AI에 맞게 최적화해, AI 전용 멀티 워커 처리로 2배 빠릅니다(자세히).
- 전문가에게 친화적: vLLM을 써도 되고, 배칭 · 캐싱 · 로직을 완전히 제어하며 직접 만들어도 됩니다(자세히).
⚠️ vLLM이나 Ollama를 그대로 대체하는 도구는 아닙니다. 다만 LitServe는 그것들이 하는 일(과 그 이상)을 직접 만들 수 있는 낮은 수준의 유연성을 줍니다.
대표 예제
흔한 모델 유형과 사용 사례별 추론 파이프라인 예제입니다.
- 기본 모델: Hello world
- LLM: Llama 3.2, LLM 프록시 서버, 도구를 쓰는 에이전트
- RAG: vLLM RAG (Llama 3.2), RAG API (LlamaIndex)
- 자연어 처리: Hugging Face, BERT, 텍스트 임베딩 API
- 멀티모달: OpenAI CLIP, MiniCPM, Phi-3.5 Vision Instruct, Qwen2-VL, Pixtral
- 오디오: Whisper, AudioCraft, StableAudio, 노이즈 제거(DeepFilterNet)
- 비전: Stable Diffusion 2, AuraFlow, Flux, 이미지 초해상도(Aura SR), 배경 제거, Stable Diffusion 제어(ControlNet)
- 음성 합성: 텍스트 음성 변환(XTTS V2), Parler-TTS
- 전통 머신러닝: 랜덤 포레스트, XGBoost
- 기타: 미디어 변환 API(ffmpeg), PyTorch + TensorFlow를 한 API로, LLM 프록시 서버
어디서든 호스팅
완전한 제어권을 갖고 직접 호스팅하거나, Lightning AI에서 오토스케일링, 보안, 99.995% 가동률과 함께 몇 초 만에 배포하세요. 무료 구간 포함. 별도 설정 없음. 내 클라우드에서도 실행 가능
lightning deploy server.py --cloud
기능
| 기능 | 직접 관리 | Lightning 완전 관리형 |
|---|---|---|
| Docker 우선 배포 | ✅ 직접 구성 | ✅ 클릭 한 번 배포 |
| 비용 | ✅ 무료(직접 구성) | ✅ 넉넉한 무료 구간 + 쓴 만큼 결제 |
| 완전한 제어 | ✅ | ✅ |
| 어떤 엔진이든 사용(vLLM 등) | ✅ | ✅ vLLM, Ollama, LitServe 등 |
| 내 VPC | ✅ (수동 설정) | ✅ 내 VPC 연결 |
| 일반 FastAPI보다 2배 이상 빠름 | ✅ | ✅ |
| 내 모델 가져오기 | ✅ | ✅ |
| 복합 시스템 구성(모델 1개 이상) | ✅ | ✅ |
| GPU 오토스케일링 | ✅ | ✅ |
| 배칭 | ✅ | ✅ |
| 스트리밍 | ✅ | ✅ |
| 워커 오토스케일링 | ✅ | ✅ |
| 모든 모델 서빙(LLM, 비전 등) | ✅ | ✅ |
| PyTorch, JAX, TF 등 지원 | ✅ | ✅ |
| OpenAPI 호환 | ✅ | ✅ |
| OpenAI 호환 | ✅ | ✅ |
| MCP 서버 지원 | ✅ | ✅ |
| 비동기 처리 | ✅ | ✅ |
| 인증 | ❌ 직접 구성 | ✅ 토큰, 비밀번호, 사용자 지정 |
| GPU | ❌ 직접 구성 | ✅ GPU 8종 이상, H100은 시간당 $1.75부터 |
| 로드 밸런싱 | ❌ | ✅ 기본 제공 |
| 0으로 축소(서버리스) | ❌ | ✅ 유휴 시 실행되는 머신 없음 |
| 수요에 따라 자동 확장 | ❌ | ✅ 자동으로 늘리고 줄임 |
| 멀티 노드 추론 | ❌ | ✅ 노드에 걸쳐 분산 |
| AWS/GCP 크레딧 사용 | ❌ | ✅ 기존 클라우드 약정 사용 |
| 버전 관리 | ❌ | ✅ 릴리스를 만들고 되돌림 |
| 엔터프라이즈급 가동률(99.95%) | ❌ | ✅ SLA 보장 |
| SOC2 / HIPAA 준수 | ❌ | ✅ 인증 및 보안 |
| 관측 가능성 | ❌ | ✅ 기본 제공, 서드파티 도구 연결 |
| CI/CD 대응 | ❌ | ✅ Lightning SDK |
| 24시간 365일 엔터프라이즈 지원 | ❌ | ✅ 전담 지원 |
| 비용 관리와 감사 로그 | ❌ | ✅ 예산, 내역, 로그 |
| GPU 디버깅 | ❌ | ✅ Studio 연동 |
| 20개 이상의 기능 | - | - |
성능
LitServe는 AI 워크로드를 위해 설계됐습니다. 특화된 멀티 워커 처리로 FastAPI보다 최소 2배 빠릅니다.
배칭, GPU 오토스케일링 같은 기능을 더하면 성능이 2배를 훨씬 넘을 수 있으며, FastAPI나 TorchServe보다 더 많은 동시 요청을 효율적으로 처리합니다.
전체 벤치마크는 여기에서 재현할 수 있습니다(높을수록 좋음).

이 결과는 이미지와 텍스트 분류 머신러닝 작업에 대한 것입니다. 임베딩, LLM 서빙, 오디오, 분할, 객체 탐지, 요약 등 다른 머신러닝 작업에서도 같은 관계가 유지됩니다.
💡 LLM 서빙 참고: Ollama나 vLLM 같은 고성능 LLM 서빙이 필요하다면 vLLM을 LitServe와 연동하거나, LitGPT를 쓰거나, LitServe로 vLLM 같은 서버를 직접 만드세요. LLM 성능을 끌어올리려면 KV 캐싱 같은 최적화가 필요한데, LitServe로 구현할 수 있습니다.
커뮤니티
LitServe는 기여를 받는 커뮤니티 프로젝트입니다. 세계에서 가장 앞선 AI 추론 엔진을 함께 만들어 봅시다.
💬 Discord에서 도움 받기 📋 라이선스: Apache 2.0
평점
- 5점
- 0
- 4점
- 0
- 3점
- 0
- 2점
- 0
- 1점
- 0