Harness²
- 추천0
- GitHub 별24K
- 개발라이선스Apache-2.0
에이전트의 프롬프트 · 도구 · 기억 · 스킬(하네스)을 과제마다 스스로 고치게 하는 구글 리서치의 재귀 하네스 프레임워크
요약
에이전트의 프롬프트 · 도구 · 기억 · 스킬(하네스)을 과제마다 스스로 고치게 하는 구글 리서치의 재귀 하네스 프레임워크
설명

열린 세계를 위한 재귀적 에이전트 하네싱(Recursive Agent Harnessing for an Open World)
**하네스(harness)**는 모델이 에이전트로 일할 수 있게 해 주는 모델 바깥의 시스템이에요. 프롬프트, 도구, 기억, 스킬, 조율 등이 여기 해당해요. **하네싱(harnessing)**은 그 시스템을 최적화하는 과정이에요.
Harness²는 에이전트가 하네스를 설계할 때 보지 못한 과제를 만나는 열린 세계에서 쓰는, 재귀적 에이전트 하네싱을 위한 꼽아 쓰는(plug-and-play) 프레임워크예요. 모델 가중치는 그대로 두고 두 단계의 재귀를 이어 줘요.
- 과제 단계 재귀는 대조적인 제안(Propose) – 시험(Probe) – 합성(Compose) 단계로 현재 과제의 실행 하네스를 다듬어요. 편집을 제안하고, 같은 과제에서 그 편집의 효과를 시험하고, 실행들 사이의 행동 차이로 정제된 하네스를 합성해요. 정답 피드백은 쓰지 않아요.
- 하네싱 단계 재귀는 지속되는 개선 하네스에 과제마다 채택된 하네스와 근거로 뒷받침된 교훈을 쌓아, 앞으로의 개선을 이끌어요.

세 개의 전문 벤치마크와 네 가지 모델·하네스 구성에서, Harness² 한 단계만으로 GLM-5와 Gemini 3.5 Flash가 기본 하네스보다 나아졌어요. 향상 폭은 WorkBuddy-Bench 최대 11.5점, JobBench 4.5점, LAB 부분 통과율 11.8%p예요. 과제 단계 재귀 예산을 늘리면 더 향상돼요.
이번 공개 버전은 병렬 재귀와 순차 재귀, OpenCode와 Codex 실행기, JobBench, LAB, WorkBuddy-Bench를 지원해요.
영상 개요
목차
하네스 구성 요소
Harness²는 모델 주변의 편집 가능한 구성 요소 8가지를 드러내요. 시스템 프롬프트, 가드레일, 기억, 도구 안내, 하위 에이전트, 스킬, 스크립트, 플러그인이에요. 이것들이 맥락 구성, 도구 인터페이스, 위임, 도구 루프 안의 동작을 조절해요.
설치
**Linux, Python 3.12, uv**를 쓰세요. 저장소 루트에서 다음을 실행해요.
uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2
로컬 데모는 정해진 규칙의 편집기와 실제 Python 실행으로 두 가지 재귀 방식을 모두 돌려요. 모델 계정 정보는 필요 없어요.
모델을 쓰는 벤치마크에는 Node.js 20 이상, Google Cloud CLI, 그리고 벤치마크 의존성을 설치하세요. LAB은 Pandoc과 Poppler가, WorkBuddy-Bench는 Docker가 필요해요. 그다음 모델을 설정합니다.
cp .env.example .env
# Edit .env with your Vertex AI project and model IDs.
gcloud auth application-default login
모델 설정, 인증 대안, Codex 실행기는 설정 안내를 보세요.
벤치마크 실행
아래 예시는 LAB를 설치하고 과제 하나를 돌린 뒤, 그 결과를 평가하고 보고해요. 모델을 쓰는 실행에는 API 요금이 들어요. 작은 과제 선택으로 시작하세요.
harness2-setup lab
harness2-check --bench lab
harness2 --bench lab --k 1 --mode parallel \
--only-domains antitrust-competition --max-tasks 1
harness2-judge --bench lab --k 1 --mode parallel
harness2-report --bench lab --k 1 --mode parallel
순차 재귀는 같은 명령에 --mode sequential을 붙여 돌려요. --k는 과제 단계 재귀 예산이며, 실험을 보세요. 평가와 보고는 개선 실행과 같은 벤치마크, 실행기, 부분 집합, --k, --mode, 시드를 써야 해요. 모델 호출 없이 과제 선택만 미리 보려면 harness2에 --dry-run을 붙이세요.
| 벤치마크 | 과제 | 설치 | 가이드 |
|---|---|---|---|
| JobBench | 전문 업무 | harness2-setup jb | JobBench |
| LAB | 법률 업무 | harness2-setup lab | LAB |
| WorkBuddy-Bench | 사무, 웹, 코드 | harness2-setup wb | WorkBuddy |
명령마다 벤치마크를 하나씩 고르세요. WorkBuddy는 설치 뒤의 모든 명령에 --subset office, --subset web, --subset code도 받아요. 벤치마크 가이드가 각 벤치마크의 데이터, 분야, 채점을 다뤄요.
실험
과제 단계 재귀는 두 가지 방식으로 키울 수 있어요. 병렬 재귀는 여러 후보 하네스를 탐색하고 그 실행 근거로 개선안을 합성해요. 순차 재귀는 개선된 하네스와 쌓인 근거를 여러 번의 제안–시험–합성 단계에 이어 가요.
병렬 재귀는 더 넓게 탐색하고, 순차 재귀는 더 깊게 다듬어요.
| 옵션 | 동작 |
|---|---|
--k 1 | 제안–시험–합성 단계 한 번 |
--k K --mode parallel | 일반 후보 K개와 분야별 후보 K개를 시험하고, 합성 K개를 만듦 |
--k K --mode sequential | K번의 단계를 거쳐 차례로 하네스를 다듬음 |
--substrate cx | 기본 OpenCode 실행기 대신 Codex를 사용 |
과제마다 끝난 뒤, 하네싱 단계 재귀가 채택된 하네스와 근거로 뒷받침된 교훈을 남겨 앞으로의 개선을 이끌어요. 과제 선택, 동시 실행, 재현성, 기준 비교는 실험 가이드를 보세요.
웹 접근
실행기의 네트워크 접근은 제한이 없고, Codex는 샌드박스를 끈 채 돌아요. 공개된 벤치마크 채점 기준이 온라인에 있을 수 있어요. 평가 전에 네트워크 제한을 설정해 벤치마크 정답과 채점 기준에 접근하지 못하게 하세요.
결과와 이어서 실행
결과는 runs/ 아래에 저장되고, 해당되면 벤치마크와 부분 집합별로 정리돼요. 과제 요약, 산출물, 채택된 하네스, 회고 메모, 평가 결과가 들어 있어요.
같은 명령을 다시 실행하면 이어서 해요. 모델이나 과제 선택을 바꿀 때는 새 HARNESS2_RUNS_DIR을 쓰세요. 자세한 내용은 결과와 이어서 실행을 보세요. 명령마다 --help도 지원해요.
인용
@article{xu2026harness2,
title = {Harness$^2$: Recursive Agent Harnessing for an Open World},
author = {Xu, Ruiyao and Chen, Yanfei and CuiZhu, Zhongying and Dalvi Mishra, Bhavana and Ming, Yifei and Yu, Han and Han, Rujun and Lee, Chen-Yu and Pfister, Tomas},
journal = {arXiv preprint arXiv:2610.14224},
year = {2026},
url = {https://arxiv.org/abs/2610.14224}
}
기여
CONTRIBUTING.md를 보세요.
라이선스
Harness²는 Apache 2.0 라이선스로 공개돼요. third_party/ 아래의 서드파티 코드, 벤치마크, 데이터셋은 각자의 원래 라이선스를 따라요. 서드파티 고지를 보세요.
면책 조항
구글이 공식 지원하는 제품이 아닙니다. 이 프로젝트는 구글 오픈소스 소프트웨어 취약점 보상 프로그램 대상이 아닙니다.
평점
- 5점
- 0
- 4점
- 0
- 3점
- 0
- 2점
- 0
- 1점
- 0
![설치, 설정, JobBench 실행: uv pip install -e '.[render]', harness2-setup jb, 그다음 harness2 --bench jb --k 1 --mode parallel. 클릭하면 준비물과 명령을 볼 수 있어요.](https://raw.githubusercontent.com/google-research/harness2/6868817518876de8fd170c6a8354daca273b6191/assets/harness2-setup.gif)

