AI-Youtube-Shorts-Generator
- 추천0
- GitHub 별6.2K
- 영상라이선스MIT
긴 유튜브 영상에서 하이라이트를 골라 9:16 쇼츠로 잘라 주는 Opus Clip 대안. Whisper 자막 · 자동 세로 크롭(API · 로컬 모드). MIT
요약
긴 유튜브 영상에서 하이라이트를 골라 9:16 쇼츠로 잘라 주는 Opus Clip 대안. Whisper 자막 · 자동 세로 크롭(API · 로컬 모드). MIT
설명
AI YouTube Shorts Generator
Opus Clip, Vidyo.ai, Klap, SubMagic, 2short.ai 같은 AI 클리핑 도구의 오픈소스 대안입니다. 긴 유튜브 영상을 넣으면 순위가 매겨진, 바이럴 가능성이 높은 9:16 쇼츠를 돌려줍니다. 클립당 크레딧도 워터마크도 없이 무료이고, 하이라이트 알고리즘도 직접 고칠 수 있습니다.
월 20~300달러를 내거나 처리 분량에 제한을 받고 싶지 않은 크리에이터, 에이전시, 개발자를 위해 만들었습니다. GPT급 LLM 하이라이트 감지와 Whisper 받아쓰기로 가장 바이럴 가능성이 높은 장면을 뽑아 TikTok, Reels, Shorts용 세로 영상으로 자동 크롭합니다.
나만의 Opus Clip 같은 SaaS를 만들고 있나요? 인프라는 건너뛰고, 이 저장소를 움직이는 것과 같은 API로 바로 출시하세요.
- AI Clipping API: 클립 선정부터 렌더링까지 한 번에
- Auto-Crop API: 세로 리프레임만
Opus Clip / Vidyo.ai / Klap 대신 이걸 쓰는 이유
| 이 저장소 | Opus Clip / Vidyo.ai / Klap / SubMagic | |
|---|---|---|
| 가격 | 무료 + 오픈소스(API 사용료만 부담) | 월 20~300달러 구독 |
| 클립당 크레딧 | 없음. 영상을 무제한 처리 | 월 분량 제한, 초과 요금 |
| 워터마크 | 없음 | 무료 요금제에 붙음 |
| 하이라이트 알고리즘 | 직접 고칠 수 있는 바이럴 판단 틀 | 블랙박스 |
| 출력 형식 | 어떤 화면 비율 · 해상도든 가능 | 정해진 프리셋 |
| 일괄 처리 | URL 목록 전체를 xargs로 | 하나씩 수동 업로드 |
| JSON / API 출력 | 기본 제공(--output-json) | 제한적이거나 유료 요금제 전용 |
| 직접 호스팅 | 가능. 내 컴퓨터나 서버에서 실행 | SaaS 전용, 내 영상이 그쪽 서버에 올라감 |
| 화이트라벨 · 임베드 | 가능. MIT 라이선스라 Python 라이브러리로 가져다 쓸 수 있음 | 불가 |
기능
- 🎬 유튜브 넣고 세로 영상 받기: 유튜브 URL만 주면 바이럴 가능성이 높은 9:16 mp4 N개를 돌려줍니다.
- 🔀 두 가지 모드: API(빠름) 또는 로컬(오프라인): 기본값
--mode api는 MuAPI로 다운로드 · 받아쓰기 · 크롭을 처리합니다.--mode local은yt-dlp,faster-whisper,ffmpeg/opencv로 전부 내 컴퓨터에서 돌리고, 하이라이트 순위는 OpenAI나 Gemini 중에서 고를 수 있습니다. - 🤖 바이럴 가능성을 따지는 하이라이트 선정: 단순히 「재미있어 보이는」 장면이 아니라 훅, 감정의 정점, 강한 의견, 반전 · 폭로, 갈등, 인용할 만한 한마디, 이야기의 절정, 실용적 가치를 기준으로 클립에 순위를 매깁니다.
- 📈 클립마다 점수 + 훅 + 이유: 하이라이트마다 바이럴 점수, 첫머리 훅 문장, 왜 잘 먹히는지 한 문장 설명이 붙습니다.
- 🎤 Whisper 받아쓰기, 고르는 대로: 클라우드(MuAPI의
/openai-whisper)와 로컬(faster-whisper, CPU 또는 CUDA) 중에서 고를 수 있고, 뒤로 넘어가는 출력 모양은 같습니다. - 🧩 긴 영상도 문제없이: 30분이 넘는 영상은 겹치는 구간으로 자동 분할해 놓치는 곳이 없게 합니다.
- ♻️ 똑똑한 중복 제거: 겹치는 하이라이트는 점수 기준으로 하나로 합쳐 거의 같은 클립이 두 개 나오지 않습니다.
- 🎯 똑똑한 세로 크롭: API 모드는 MuAPI의 자동 크롭을 쓰고, 로컬 모드는 움직임을 부드럽게 보정하는 OpenCV 얼굴 추적을 씁니다.
- 📱 모든 화면 비율: TikTok/Reels/Shorts용 9:16, 정사각형 1:1, 그 밖의 비율은 옵션으로 지정합니다.
- 🧰 CLI + Python 라이브러리: 셸에서 쓰거나
generate_shorts(...)를 내 파이프라인으로 가져다 쓸 수 있습니다. - 📦 JSON 출력:
--output-json으로 전체 결과(자막 + 모든 후보 하이라이트 + 최종 클립 URL · 경로)를 내보내 후속 자동화에 쓸 수 있습니다.
빠른 시작(설정 없이)
직접 호스팅하고 싶지 않다면 AI Clipping API를 쓰세요. 같은 Opus Clip식 파이프라인을 HTTP 호출 한 번으로 제공합니다. Python도 의존성도 필요 없고, 월 구독 대신 클립당 요금을 냅니다.
설치(직접 호스팅)
준비물
- Python 3.10 이상
- API 모드(기본): MuAPI 키. 다운로드, 받아쓰기, 하이라이트 순위, 클리핑을 하나의 의존성으로 처리합니다.
- 로컬 모드(
--mode local): PATH에ffmpeg와 LLM API 키(OPENAI_API_KEY또는GEMINI_API_KEY. 원격으로 가는 것은 LLM 단계뿐입니다).
순서
-
저장소 복제:
git clone https://github.com/SamurAIGPT/AI-Youtube-Shorts-Generator.git cd AI-Youtube-Shorts-Generator -
가상환경 만들고 켜기:
python3.10 -m venv venv source venv/bin/activate -
Python 패키지 설치:
pip install -r requirements.txt # --mode local을 쓸 때만: pip install -r requirements-local.txt -
환경 변수 설정:
프로젝트 루트에
.env파일을 만듭니다.# API 모드(기본) MUAPI_API_KEY=your_muapi_key_here # 로컬 모드(--mode local) LLM_PROVIDER=openai # openai 또는 gemini OPENAI_API_KEY=your_openai_key_here OPENAI_MODEL=gpt-4o-mini # 선택, 기본값 gpt-4o-mini GEMINI_API_KEY=your_gemini_key_here GEMINI_MODEL=gemini-2.5-flash # 선택, 기본값 gemini-2.5-flash LOCAL_WHISPER_MODEL=base # tiny / base / small / medium / large-v3 LOCAL_WHISPER_DEVICE=auto # auto / cpu / cuda LOCAL_OUTPUT_DIR=output # 로컬 mp4가 저장되는 곳
사용법
영상 하나(API 모드 — 기본)
python main.py "https://www.youtube.com/watch?v=VIDEO_ID"
영상 하나(로컬 모드 — LLM 호출만 빼고 오프라인으로 실행)
python main.py "https://www.youtube.com/watch?v=VIDEO_ID" --mode local
로컬 모드는 만들어진 쇼츠를 ./output/short_01.mp4, short_02.mp4, … 로 저장합니다(LOCAL_OUTPUT_DIR로 바꿀 수 있습니다).
옵션과 함께
python main.py "https://www.youtube.com/watch?v=VIDEO_ID" \
--mode api \
--num-clips 5 \
--aspect-ratio 9:16 \
--output-json result.json
로컬 파일 또는 경로
--mode local에서는 file:// URL이나 파일 시스템 경로를 바로 넣어 유튜브를 건너뛸 수 있습니다.
python main.py "/Users/you/Videos/input.mp4" --mode local
python main.py "file:///Users/you/Videos/input.mp4" --mode local
Python API도 같은 방식으로 씁니다.
from shorts_generator import generate_shorts
result = generate_shorts(
"/Users/you/Videos/input.mp4",
num_clips=5,
aspect_ratio="9:16",
mode="local",
)
for short in result["shorts"]:
print(short["score"], short["title"], short["clip_url"])
로컬 받아쓰기는 영상 파일 이름을 따서 LOCAL_OUTPUT_DIR에 .srt 파일로 캐시됩니다. 캐시가 이미 있고 원본 파일보다 새것이면 Whisper를 다시 돌리지 않고 재사용합니다.
로컬 다운로드도 입력이 유튜브 URL이면 LOCAL_OUTPUT_DIR에 source_<youtube_id>.mp4로 캐시됩니다. 그 파일이 이미 있으면 yt-dlp를 건너뛰고 캐시한 영상을 씁니다.
일괄 처리
한 줄에 URL 하나씩 적은 urls.txt 파일을 만든 다음 실행합니다.
xargs -a urls.txt -I{} python main.py "{}"
CLI 옵션
| 옵션 | 기본값 | 설명 |
|---|---|---|
--mode | api | api(MuAPI, 빠름, 설정 없음) 또는 local(원격 URL, file://, 로컬 경로 + faster-whisper + LLM 서비스 + ffmpeg) |
--num-clips | 3 | 만들 쇼츠 개수 |
--aspect-ratio | 9:16 | 아무 비율이나 가능. TikTok/Reels는 9:16, 정사각형은 1:1 |
--format | 720 | 원본 다운로드 해상도: 360 / 480 / 720 / 1080 |
--language | 자동 | Whisper 언어 코드를 고정(예: en) |
--output-json | — | 전체 결과(자막 + 모든 후보)를 파일로 내보냅니다 |
API 모드와 로컬 모드 비교
| 단계 | API 모드(--mode api) | 로컬 모드(--mode local) |
|---|---|---|
| 다운로드 | MuAPI /youtube-download | 원격 URL은 yt-dlp, 로컬 입력은 파일 경로 직접 사용 |
| 받아쓰기 | MuAPI /openai-whisper | faster-whisper(CPU 또는 CUDA) |
| 하이라이트 LLM | MuAPI gpt-5-mini | LLM_PROVIDER=openai면 OpenAI(기본 gpt-4o-mini), LLM_PROVIDER=gemini면 Gemini(기본 gemini-2.5-flash) |
| 세로 크롭 | MuAPI /autocrop | ffmpeg + OpenCV 얼굴 추적 |
| 결과 | 호스팅되는 URL | 로컬 mp4 경로 |
| 필요한 키 | MUAPI_API_KEY | OPENAI_API_KEY 또는 GEMINI_API_KEY(+ PATH에 ffmpeg) |
동작 방식
- 다운로드: 유튜브에서 원본 영상을 가져옵니다.
- 받아쓰기: MuAPI
/openai-whisper가 시간 정보가 붙은 자막을 만듭니다(verbose_json 구간). - 콘텐츠 유형 감지: LLM이 영상을 분류하고(팟캐스트, 인터뷰, 튜토리얼, 브이로그 등) 밀도를 판단해, 콘텐츠 스타일에 맞게 프롬프트를 조정합니다.
- 긴 영상 분할: 30분을 넘는 영상은 20분짜리 겹치는 구간으로 나눕니다.
- 하이라이트 순위 매기기: LLM이 자막을 바이럴 판단 틀(훅이 되는 순간, 감정의 정점, 강한 의견, 반전, 갈등, 인용할 만한 말, 이야기의 절정, 실용적 가치)로 훑어 0~100점이 붙은 순위 후보를 내놓습니다.
- 중복 제거: 겹치는 후보는 점수 기준으로 합칩니다(50% 넘게 겹치면 점수가 높은 쪽만 남깁니다).
- 상위 N개 선택:
--num-clips개수만큼 상위 후보를 고릅니다. - 자동 크롭: 각 하이라이트를 지정한 화면 비율의 세로 쇼츠로 렌더링합니다.
출력: mp4 URL 목록과, 클립마다 제목 · 바이럴 점수 · 훅 문장 · 잘 될 것으로 보는 이유 한 줄이 나옵니다.
출력
콘솔 출력은 이렇게 보입니다.
========================================================================
Highlights: 7 candidates → kept top 3
========================================================================
#1 score=92 124.3s → 187.6s
title: The one mistake that cost me $50K
hook: "Nobody talks about this, but it killed my first startup..."
clip: https://.../short_1.mp4
#2 score=88 ...
--output-json result.json은 다음을 만듭니다.
{
"source_video_url": "...",
"transcript": { "duration": 1873.4, "segments": [...] },
"highlights": [ {...}, {...}, ... ],
"shorts": [
{
"title": "...",
"start_time": 124.3,
"end_time": 187.6,
"score": 92,
"hook_sentence": "...",
"virality_reason": "...",
"clip_url": "https://.../short_1.mp4"
}
]
}
설정
하이라이트 선정 기준
shorts_generator/highlights.py를 고칩니다.
- 바이럴 판단 틀:
VIRALITY_CRITERIA— LLM이 최적화하는 신호의 순위 목록 - 시스템 프롬프트:
HIGHLIGHT_SYSTEM_PROMPT— 적정 길이, 훅 규칙, JSON 스키마 - 구간 길이:
CHUNK_SIZE_SECONDS(기본 1200) — 긴 영상을 나누는 구간 길이 - 긴 영상 기준:
LONG_VIDEO_THRESHOLD(기본 1800) — 이보다 긴 영상은 나눕니다 - 구간 겹침:
CHUNK_OVERLAP_SECONDS(기본 60) — 구간 경계에 걸친 클립을 놓치지 않도록 겹치는 길이
폴링 / 제한 시간
shorts_generator/config.py를 고치거나 환경 변수를 설정합니다.
MUAPI_POLL_INTERVAL(기본 5초) — 작업 상태를 확인하는 간격MUAPI_POLL_TIMEOUT(기본 1800초) — 이 시간이 지나면 포기
Whisper 받아쓰기
오디오는 MuAPI의 /openai-whisper 엔드포인트(서버 쪽 whisper-1)가 받아씁니다. 인식 언어를 고정하려면 --language <코드>를 넘기고, 그렇지 않으면 자동으로 감지합니다.
프로젝트 구조
AI-Youtube-Shorts-Generator/
├── main.py CLI entry point
├── requirements.txt core deps (api mode)
├── requirements-local.txt optional deps for --mode local
├── .env.example
└── shorts_generator/
├── config.py env / settings (MuAPI + local LLM + Whisper)
├── muapi.py generic submit + poll wrapper
├── downloader.py API mode: YouTube download via MuAPI
├── transcriber.py API mode: MuAPI /openai-whisper client
├── highlights.py shared LLM virality ranking (pluggable backend)
├── clipper.py API mode: MuAPI /autocrop
├── pipeline.py mode dispatcher (api ↔ local)
└── local/ --mode local backends (offline)
├── downloader.py yt-dlp download
├── transcriber.py faster-whisper transcription
├── llm.py OpenAI or Gemini client selector
└── clipper.py ffmpeg cut + OpenCV vertical crop
문제 해결
Whisper가 구간을 만들지 못했어요
영상에 감지할 수 있는 음성이 없거나, Whisper가 어려워하는 언어일 수 있습니다. --language en(또는 알맞은 ISO-639-1 코드)을 넘겨 자동 감지를 건너뛰어 보세요.
더 좋은 결과가 필요하세요?
AI Clipping API는 개선된 알고리즘으로 더 높은 품질의 클립과 더 정확한 하이라이트 감지를 제공합니다.
기여하기
기여를 환영합니다. 저장소를 포크하고 풀 리퀘스트를 보내 주세요.
라이선스
이 프로젝트는 MIT 라이선스로 공개되어 있습니다.
관련 프로젝트
- awesome-vibecoded-saas: 이 쇼츠 워크플로를 소개하는, 오픈소스 SaaS 대안을 폭넓게 모은 목록
- Muapi 오픈소스 대안: 이 쇼츠 워크플로를 겨냥한 유료 크리에이터 도구와 비교
- AI Influencer Generator
- Text to Video AI
- Faceless Video Generator
- AI B-roll Generator
- 노코드 YouTube Shorts 생성기
- ai-creator-academy: 크리에이터가 AI로 만든 쇼츠와 영상 콘텐츠로 수익을 내는 법을 가르치는 무료 커리큘럼
평점
- 5점
- 0
- 4점
- 0
- 3점
- 0
- 2점
- 0
- 1점
- 0