본문으로 건너뛰기
오픈소스 전체 목록

Harness²

  • 추천0
  • GitHub 별24K
  • 개발라이선스Apache-2.0

에이전트의 프롬프트 · 도구 · 기억 · 스킬(하네스)을 과제마다 스스로 고치게 하는 구글 리서치의 재귀 하네스 프레임워크

원본:google-research/harness2

요약

에이전트의 프롬프트 · 도구 · 기억 · 스킬(하네스)을 과제마다 스스로 고치게 하는 구글 리서치의 재귀 하네스 프레임워크

설명

Harness²

열린 세계를 위한 재귀적 에이전트 하네싱(Recursive Agent Harnessing for an Open World)

논문 웹사이트 벤치마크 가이드 라이선스

설치, 설정, JobBench 실행: uv pip install -e '.[render]', harness2-setup jb, 그다음 harness2 --bench jb --k 1 --mode parallel. 클릭하면 준비물과 명령을 볼 수 있어요.

**하네스(harness)**는 모델이 에이전트로 일할 수 있게 해 주는 모델 바깥의 시스템이에요. 프롬프트, 도구, 기억, 스킬, 조율 등이 여기 해당해요. **하네싱(harnessing)**은 그 시스템을 최적화하는 과정이에요.

Harness²는 에이전트가 하네스를 설계할 때 보지 못한 과제를 만나는 열린 세계에서 쓰는, 재귀적 에이전트 하네싱을 위한 꼽아 쓰는(plug-and-play) 프레임워크예요. 모델 가중치는 그대로 두고 두 단계의 재귀를 이어 줘요.

  • 과제 단계 재귀는 대조적인 제안(Propose) – 시험(Probe) – 합성(Compose) 단계로 현재 과제의 실행 하네스를 다듬어요. 편집을 제안하고, 같은 과제에서 그 편집의 효과를 시험하고, 실행들 사이의 행동 차이로 정제된 하네스를 합성해요. 정답 피드백은 쓰지 않아요.
  • 하네싱 단계 재귀는 지속되는 개선 하네스에 과제마다 채택된 하네스와 근거로 뒷받침된 교훈을 쌓아, 앞으로의 개선을 이끌어요.

Harness² 파이프라인

세 개의 전문 벤치마크와 네 가지 모델·하네스 구성에서, Harness² 한 단계만으로 GLM-5와 Gemini 3.5 Flash가 기본 하네스보다 나아졌어요. 향상 폭은 WorkBuddy-Bench 최대 11.5점, JobBench 4.5점, LAB 부분 통과율 11.8%p예요. 과제 단계 재귀 예산을 늘리면 더 향상돼요.

이번 공개 버전은 병렬 재귀와 순차 재귀, OpenCode와 Codex 실행기, JobBench, LAB, WorkBuddy-Bench를 지원해요.

영상 개요

영상 보기

목차

하네스 구성 요소

Harness²는 모델 주변의 편집 가능한 구성 요소 8가지를 드러내요. 시스템 프롬프트, 가드레일, 기억, 도구 안내, 하위 에이전트, 스킬, 스크립트, 플러그인이에요. 이것들이 맥락 구성, 도구 인터페이스, 위임, 도구 루프 안의 동작을 조절해요.

실행 중 역할별로 묶은 하네스 구성 요소 8가지: 시스템 프롬프트, 가드레일, 기억, 스킬은 맥락을 만들고, 도구 안내와 스크립트는 도구 인터페이스를 정의하고, 하위 에이전트는 위임된 일을 조율하고, 플러그인은 미들웨어를 제어해요.

설치

**Linux, Python 3.12, uv**를 쓰세요. 저장소 루트에서 다음을 실행해요.

uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

로컬 데모는 정해진 규칙의 편집기와 실제 Python 실행으로 두 가지 재귀 방식을 모두 돌려요. 모델 계정 정보는 필요 없어요.

모델을 쓰는 벤치마크에는 Node.js 20 이상, Google Cloud CLI, 그리고 벤치마크 의존성을 설치하세요. LAB은 Pandoc과 Poppler가, WorkBuddy-Bench는 Docker가 필요해요. 그다음 모델을 설정합니다.

cp .env.example .env
# Edit .env with your Vertex AI project and model IDs.
gcloud auth application-default login

모델 설정, 인증 대안, Codex 실행기는 설정 안내를 보세요.

벤치마크 실행

아래 예시는 LAB를 설치하고 과제 하나를 돌린 뒤, 그 결과를 평가하고 보고해요. 모델을 쓰는 실행에는 API 요금이 들어요. 작은 과제 선택으로 시작하세요.

harness2-setup lab
harness2-check --bench lab
harness2 --bench lab --k 1 --mode parallel \
  --only-domains antitrust-competition --max-tasks 1
harness2-judge --bench lab --k 1 --mode parallel
harness2-report --bench lab --k 1 --mode parallel

순차 재귀는 같은 명령에 --mode sequential을 붙여 돌려요. --k는 과제 단계 재귀 예산이며, 실험을 보세요. 평가와 보고는 개선 실행과 같은 벤치마크, 실행기, 부분 집합, --k, --mode, 시드를 써야 해요. 모델 호출 없이 과제 선택만 미리 보려면 harness2에 --dry-run을 붙이세요.

벤치마크과제설치가이드
JobBench전문 업무harness2-setup jbJobBench
LAB법률 업무harness2-setup labLAB
WorkBuddy-Bench사무, 웹, 코드harness2-setup wbWorkBuddy

명령마다 벤치마크를 하나씩 고르세요. WorkBuddy는 설치 뒤의 모든 명령에 --subset office, --subset web, --subset code도 받아요. 벤치마크 가이드가 각 벤치마크의 데이터, 분야, 채점을 다뤄요.

실험

과제 단계 재귀는 두 가지 방식으로 키울 수 있어요. 병렬 재귀는 여러 후보 하네스를 탐색하고 그 실행 근거로 개선안을 합성해요. 순차 재귀는 개선된 하네스와 쌓인 근거를 여러 번의 제안–시험–합성 단계에 이어 가요.

과제 단계 재귀를 키우는 두 가지 방법. 병렬: 일반 후보 k개와 분야별 후보 k개 하네스를 시험하고, 공유한 근거로 합성 k개를 만들어요. 순차: 개선된 하네스와 쌓인 근거를 k번의 제안–시험–합성 단계에 이어 가요.

병렬 재귀는 더 넓게 탐색하고, 순차 재귀는 더 깊게 다듬어요.

옵션동작
--k 1제안–시험–합성 단계 한 번
--k K --mode parallel일반 후보 K개와 분야별 후보 K개를 시험하고, 합성 K개를 만듦
--k K --mode sequentialK번의 단계를 거쳐 차례로 하네스를 다듬음
--substrate cx기본 OpenCode 실행기 대신 Codex를 사용

과제마다 끝난 뒤, 하네싱 단계 재귀가 채택된 하네스와 근거로 뒷받침된 교훈을 남겨 앞으로의 개선을 이끌어요. 과제 선택, 동시 실행, 재현성, 기준 비교는 실험 가이드를 보세요.

웹 접근

실행기의 네트워크 접근은 제한이 없고, Codex는 샌드박스를 끈 채 돌아요. 공개된 벤치마크 채점 기준이 온라인에 있을 수 있어요. 평가 전에 네트워크 제한을 설정해 벤치마크 정답과 채점 기준에 접근하지 못하게 하세요.

결과와 이어서 실행

결과는 runs/ 아래에 저장되고, 해당되면 벤치마크와 부분 집합별로 정리돼요. 과제 요약, 산출물, 채택된 하네스, 회고 메모, 평가 결과가 들어 있어요.

같은 명령을 다시 실행하면 이어서 해요. 모델이나 과제 선택을 바꿀 때는 새 HARNESS2_RUNS_DIR을 쓰세요. 자세한 내용은 결과와 이어서 실행을 보세요. 명령마다 --help도 지원해요.

인용

@article{xu2026harness2,
  title   = {Harness$^2$: Recursive Agent Harnessing for an Open World},
  author  = {Xu, Ruiyao and Chen, Yanfei and CuiZhu, Zhongying and Dalvi Mishra, Bhavana and Ming, Yifei and Yu, Han and Han, Rujun and Lee, Chen-Yu and Pfister, Tomas},
  journal = {arXiv preprint arXiv:2610.14224},
  year    = {2026},
  url     = {https://arxiv.org/abs/2610.14224}
}

기여

CONTRIBUTING.md를 보세요.

라이선스

Harness²는 Apache 2.0 라이선스로 공개돼요. third_party/ 아래의 서드파티 코드, 벤치마크, 데이터셋은 각자의 원래 라이선스를 따라요. 서드파티 고지를 보세요.

면책 조항

구글이 공식 지원하는 제품이 아닙니다. 이 프로젝트는 구글 오픈소스 소프트웨어 취약점 보상 프로그램 대상이 아닙니다.

평점

–평가 0개 기준
5점
0
4점
0
3점
0
2점
0
1점
0