본문으로 건너뛰기
MCP 서버 전체 목록

Pinky

  • 추천0
  • GitHub 별2.3K
  • 기타라이선스Apache-2.0

AI 에이전트가 내 아이폰 · 안드로이드 폰을 대신 조작해요. 은행 · 결제 앱은 기본 차단하고 위험한 동작은 사람이 승인해요

원본:DIYgod/pinky

설치 방법은 설치 탭에 정리했어요.

설명

Pinky 아이콘

Pinky

AI가 내 아이폰이나 안드로이드 폰을 쓰게 해 주되, 사람이 계속 지켜봅니다. macOS · Windows · Linux 컴퓨터의 어떤 에이전트든, 또는 폰 안의 Pinky 자신이 일합니다.

다운로드 · 시작하기 · Discord · 언어: English · 简体中文 · 日本語

Claude Code가 메시지 앱에 답장을 입력합니다. Pinky는 허용하기 전까지 전송 탭을 붙잡고 있다가, 허용하면 글이 나갑니다

안드로이드 16 에뮬레이터에서 실제 Claude Code가 돌아간 모습입니다. Pinky는 기본으로 결제 전에 묻고, 이 실행에서는 메시지 전송 전에도 묻도록 했습니다.

Pinky는 어떤 에이전트(Claude Code, Claude Desktop, Codex, Cursor, 스크립트)든 MCP로 실제 아이폰이나 안드로이드 폰을 조작하게 해 줍니다. 사람은 컴퓨터에서 지켜보다가 위험한 단계를 승인하고, 직접 넘겨받고, 무슨 일이 있었는지 다시 볼 수 있습니다. 사용자가 고른 AI 모델로 Pinky가 스스로 작업할 수도 있습니다. 컴퓨터에서 해도 되고, 폰 안의 Pinky 앱에서 컴퓨터 없이 해도 됩니다. 누가 작업하든 승인은 에이전트에게 주는 지시가 아니라 Pinky의 게이트웨이가 강제합니다.

  • 모든 플랫폼. macOS(애플 실리콘 · 인텔), Windows, Linux용 앱 하나. 안드로이드 10~17 폰과 iOS 17.4 이상 아이폰을 다룹니다. iOS 27 이상은 폰에 아무것도 설치하지 않아도 되고, iOS 17.4~26은 Mac과 Xcode로 폰에 Pinky 앱(Pinky on the iPhone)을 한 번 설치합니다.
  • 작고 네이티브. 창은 MyGo가 GPU로 그립니다. Electron도 웹뷰도 없이 16~22MB 내려받기, Mac에서 대기 시 메모리 약 70MB, CPU 0%입니다.
  • 어떤 에이전트든 한 번에. 설정 › Agents에서 Claude Code, Claude Desktop, Codex, Cursor 등을 연결합니다. MCP를 쓸 수 있는 에이전트면 같은 컴퓨터에서든 HTTP로든 됩니다.
  • 컴퓨터 없이 폰 안의 Pinky. 안드로이드와 아이폰의 Pinky 앱이 사용자가 고른 모델(DeepSeek, Qwen, Kimi, GLM, Claude, GPT, Gemini, Ollama · LM Studio의 로컬 모델)로 스스로 작업합니다. 글이나 음성으로 시키거나 다른 앱에서 공유해 시킬 수 있습니다.
  • 예약 작업과 기억. 정해진 시각에 작업을 돌리거나 조건이 맞으면 알려 줍니다(컴퓨터와 안드로이드). 작업 뒤에 기억해 둘 만한 메모를 제안하며, 사용자가 허락할 때만 저장합니다.
  • 잠긴 폰은 컴퓨터에서 해제. 폰의 PIN을 Pinky에 한 번 저장해 두고, 해제할 때마다 Touch ID · Windows Hello · 키링 비밀번호로 확인합니다. 에이전트는 PIN을 보지 못합니다.
  • 무료 오픈소스(Apache-2.0), 계정을 만들 필요가 없습니다.

안전장치와 기록

사용자가 무엇을 기다리게 할지 정합니다. 에이전트의 전송 탭을 Pinky 창이 붙잡고 있다가 [허용]을 누르면 진행합니다

위험한 단계는 사람이 승인합니다. 결제 · 거래 · 송금은 사용자가 누를 때까지 기다리고, 설정 › Safety에서 전송 · 주문 · 삭제 · 통화 · 설치 · 앱 밖으로 나가는 링크 · 설정 변경, 또는 모든 단계까지 기다리게 할 수 있습니다. Pinky는 이런 버튼을 10개 언어로 알아봅니다. 규칙은 Pinky의 게이트웨이에서 돌기 때문에, 화면의 글이 에이전트를 꼬드겨도 에이전트가 스스로 승인할 수 없습니다.

기본으로 막힌 앱: 설정 › Safety의 에이전트가 묻는 때와 차단된 앱 목록

기본으로 접근 금지. 은행 · 지갑 · 비밀번호 관리자 앱은 에이전트에게 보이지 않고, 에이전트는 비밀번호와 일회용 코드 입력칸에 입력하지 못합니다. 작업에 은행 · 지갑 앱이 필요하면 에이전트가 묻고, 사용자는 그 작업에서만 그 앱을 허용할 수 있습니다. 새 에이전트는 모두 사용자의 승인이 필요하고, 준 범위만 쓸 수 있습니다.

에이전트를 위한 숨은 두 번째 화면: 에이전트의 화면 옆에 폰 자신의 홈 화면

폰은 계속 내 것. 안드로이드 13 이상에서는 에이전트가 숨은 두 번째 화면에서 일하므로 폰의 화면은 내가 쓰거나, 꺼 두고 잠가 둘 수 있습니다. 더 오래된 안드로이드와 아이폰에서는 주 화면을 씁니다.

언제든 넘겨받기: 내가 조작하는 동안 Claude Code는 멈추고, 돌려줄 때까지 기다립니다

언제든 넘겨받기. 미러(폰 화면)를 누르면 돌려줄 때까지 에이전트가 멈춥니다. 안드로이드에서는 폰을 직접 만져도 멈춥니다. 모두 멈추기는 어디서든 ⌥⌘.(Windows · Linux는 Ctrl+Alt+.)입니다.

모든 실행이 기록으로 남습니다: 끝난 작업의 단계와 화면 녹화를 나란히 봅니다

모든 실행이 기록으로 남습니다. 단계마다 쉬운 말 설명, 스크린샷, 단계 표시가 붙은 화면 녹화가 있고, HTML 보고서로 내보낼 수 있습니다. 모두 내 컴퓨터에만 남습니다.

아이폰도 됩니다: 사진 앱의 삭제 탭을 Pinky가 붙잡고 [허용]을 기다립니다

아이폰도. 같은 게이트웨이 · 승인 · 기록이 iOS 17.4 이상에서 똑같이 동작합니다(이 그림은 삭제를 묻도록 설정한 iOS 시뮬레이터입니다).

📝 상태: 프리 알파. Claude Code가 실제 폰으로 끝까지 써 봤습니다(USB 안드로이드, iOS 27 아이폰, iOS 18.7.11 아이폰 XS Max). 에이전트는 stdio나 HTTP로 연결합니다. 폰 안의 Pinky는 Mi 10 Pro(안드로이드 17)와 아이폰 13 mini(iOS 27.0.1)에서 실제 모델로 작업을 해 봤습니다. 컴퓨터에서 잠금 해제, 안드로이드 백그라운드 작업, 녹화, 내보내기, Wi-Fi 페어링, 폰 파일은 만들어 두었고 일부는 아직 사람이 써 보기를 기다립니다. 지금 되는 것과 시험 방법은 docs/ACCEPTANCE.md를 보세요.

시작하기

Pinky를 설치하고, 폰을 연결하고, 에이전트에 Pinky를 추가하세요. 그다음 에이전트에게 폰에서 할 일을 시키면 Pinky 창에서 일하는 모습을 볼 수 있습니다.

필요한 것

필요한 것
MacmacOS 13 이상(애플 실리콘 또는 인텔)
WindowsWindows 10 또는 11, 64비트(x64)
Linux64비트 PC(x86-64), Ubuntu 20.04 · Debian 11 이상(glibc 2.29 이상), GTK 3
안드로이드 폰안드로이드 10~17과 USB 케이블. Pinky가 adb를 함께 가져옵니다. Windows는 폰에 따라 USB 드라이버, Linux는 USB 접근 설정이 필요합니다
아이폰 · 아이패드iOS 17.4 이상, 처음 설정할 때 USB 케이블(이후엔 Wi-Fi로도 가능). Pinky가 Apple의 개발자 디스크 이미지로 직접 준비합니다. iOS 17.4~26에서는 폰 안의 Pinky 앱도 설치합니다
시뮬레이터 · 에뮬레이터선택. Xcode의 iOS 시뮬레이터나 Android Studio의 에뮬레이터를 폰 대신(또는 함께) 씁니다. 만드는 것은 사용자가 하고, 시작은 Pinky가 합니다
에이전트MCP 서버를 쓸 수 있는 에이전트(Claude Code, Claude Desktop, Codex, Cursor 등)

1. Pinky 내려받아 설치

최신 릴리스에서 받습니다.

  • Mac: 애플 실리콘(M1 이상)은 pinky-<버전>-arm64.dmg, 인텔 Mac은 pinky-<버전>-amd64.dmg를 받아 열고 Pinky를 Applications로 끌어다 놓습니다. Homebrew로는 brew install --cask diygod/tap/pinky입니다.
  • Windows: pinky-setup-<버전>-amd64.exe를 받아 실행합니다. 관리자 권한 없이 내 계정에 설치됩니다. 설치 파일에 아직 서명이 없어 SmartScreen이 막을 수 있습니다. 추가 정보 → 실행을 고르세요. 설치 없이 쓰려면 pinky-<버전>-windows-amd64.zip을 풀어 Pinky.exe를 엽니다.
  • Linux: Debian · Ubuntu는 pinky_<버전>_amd64.deb를 받아 sudo apt install ./pinky_<버전>_amd64.deb로 설치합니다. 다른 시스템은 pinky-<버전>-linux-amd64.tar.gz를 따로 만든 폴더에 풀고 그 안의 pinky를 실행합니다.

Pinky는 새 버전을 스스로 찾고, Mac과 Windows 설치 파일, Linux .tar.gz로 푼 경우에는 스스로 설치합니다.

2. 폰 연결

Pinky를 열고 Add phone을 고릅니다. 준비된 폰은 Pinky 창에 나타나고, 빠진 것이 있으면 그 폰의 페이지가 알려 줍니다.

안드로이드

Add phone › Android가 Xiaomi, OPPO, vivo, HONOR, HUAWEI, Samsung, Pixel 등 제조사별 메뉴 이름과 추가 스위치를 안내하고, 나머지는 일반 순서를 안내합니다.

  1. 폰에서 USB 디버깅을 켭니다. 설정 › 휴대전화 정보에서 빌드 번호를 7번 눌러 개발자 옵션을 열고, 설정 › 시스템 › 개발자 옵션에서 USB 디버깅을 켭니다. 제조사마다 메뉴 이름이 조금 다릅니다.
  2. 폰을 컴퓨터에 꽂습니다. 폰이 USB 디버깅 허용을 물으면 허용을 누릅니다. 안드로이드 11 이상은 Add phone에서 Wi-Fi로 페어링할 수도 있습니다. 안드로이드 10에는 무선 디버깅이 없어서, 꽂은 뒤 **Use Wi-Fi instead…**로 Wi-Fi로 옮깁니다.
  3. Pinky가 폰용 앱(폰에서는 Pinky로 표시)을 설치하겠다고 제안합니다. 화면 읽기가 몇 배 빨라지고 어떤 언어든 입력할 수 있게 됩니다. 폰이 설치 허용을 한 번 물을 수 있습니다.

Add phone › Android에서 Xiaomi를 고른 화면: 개발자 옵션을 켜는 곳과 USB 디버깅 스위치 세 개

Redmi의 점검 화면: adb · 연결 · 디버깅은 통과, 폰의 Pinky와 탭 동작은 고쳐야 하며 방법이 함께 나옵니다

폰마다 미러 아래 ··· 메뉴에 **Checkup(점검)**이 있어서 무엇이 되고 무엇을 고쳐야 하는지 보여 줍니다(예: Xiaomi의 USB 디버깅(보안 설정) 스위치).

Wi-Fi에서는 Pinky가 응답하는 폰이 내 폰인지 확인합니다. 설정해 둔 폰에 디버깅 연결로만 읽을 수 있는 표식을 남기고 adb가 연결될 때마다 확인하므로, 같은 네트워크의 다른 기기가 대신 응답할 수 없습니다. 밖에 들고 나갈 때는 Tailscale로 어디서든 폰에 닿을 수 있습니다.

안드로이드 도구: Pinky는 안드로이드 소스에서 빌드한 자체 adb를 함께 가져오므로 따로 설치할 것이 없습니다. 컴퓨터에 안드로이드 플랫폼 도구가 이미 있으면(Android Studio, Homebrew, 시스템 패키지) 그것을 쓰고 adb 서버를 Android Studio 등과 함께 씁니다. Pinky를 끌 때는 가져온 adb도 멈춥니다(다른 앱이 쓰는 중이면 두고, 설정 › Advanced › Stop adb when Pinky quits로 끌 수 있습니다).

Windows · Linux의 USB:

  • Windows: 폰의 USB 디버깅에 드라이버가 필요합니다. 많은 폰은 Windows가 알아서 설치하고, 없으면 Pinky가 설정이 필요하다고 표시하며 어떤 드라이버(Pixel은 Google USB Driver, Samsung은 삼성 드라이버, 그 밖은 제조사 드라이버)를 설치할지 알려 줍니다. 설치 뒤에 폰을 뺐다가 다시 꽂으세요.
  • Linux: 컴퓨터가 Pinky에게 폰의 USB 장치를 열도록 허용해야 합니다. 안드로이드용 udev 규칙이 필요하고, Debian · Ubuntu는 sudo apt install android-sdk-platform-tools-common, Arch는 android-udev, Fedora는 android-tools입니다. plugdev 그룹에 들어가야 할 수도 있습니다. 그다음 폰을 다시 꽂으세요.

Wi-Fi 페어링이 안 될 때: 케이블로는 되는데 Pair over Wi-Fi가 끝나지 않으면 30초 안에 페어링 페이지가 Pinky가 본 것을 알려 줍니다.

  • 폰이 아직 네트워크에 안 보임: 무선 디버깅이 켜져 있고 폰이 컴퓨터와 같은 Wi-Fi인지 확인하세요. 게스트 Wi-Fi, AP(클라이언트) 격리 공유기, 많은 사무실 네트워크는 기기끼리 서로 찾지 못하게 합니다. 이럴 때는 Pair with a code instead를 고릅니다. 폰에서 Pair device with pairing code를 누르고 표시되는 IP 주소 · 포트와 6자리 코드를 입력합니다(대화 상자를 열 때마다 바뀝니다).
  • 이 네트워크에서 폰을 찾도록 허용되지 않음: Mac은 로컬 네트워크 접근이 필요하고, 없어도 macOS는 오류를 내지 않고 아무것도 찾지 못할 뿐입니다. Open Local Network settings를 눌러 시스템 설정 › 개인정보 보호 및 보안 › 로컬 네트워크에서 Pinky를 켜세요. Windows · Linux는 방화벽이 같은 식으로 막을 수 있습니다.
  • 이 네트워크에서 폰을 찾을 수 없음: 컴퓨터가 Wi-Fi나 이더넷에 연결돼 있는지 확인하세요.
  • 폰은 보이는데 페어링이 끝나지 않음: 폰에 오류가 뜨거나 무선 디버깅 화면으로 돌아갔다면 코드를 다시 스캔하거나 코드로 페어링하세요.

오류가 나면 페이지가 adb가 보고한 내용을 알려 줍니다. 폰이 페어링을 끝내기 전에 닫음(QR 코드), 폰이 페어링을 받아들이지 않음(잘못된 코드나 포트), 그 주소에서 페어링을 기다리는 것이 없음, 그 주소의 폰에 닿지 못함(네트워크 격리 · VPN · 방화벽), 이 컴퓨터에서 돌고 있는 adb 서버가 너무 오래됨(platform-tools 30 미만) 같은 경우입니다. adb의 원문 메시지는 Pinky 로그에 남고 **Help › Send Feedback…**이 진단 정보와 함께 첨부합니다. Wi-Fi 페어링은 안드로이드 11 이상이 필요하고, 안드로이드 16까지는 폰이 Wi-Fi 네트워크를 벗어나거나 재시작하면 무선 디버깅이 스스로 꺼집니다.

아이폰

Add phone › iPhone이 안내하는 대로 Pinky가 직접 준비합니다.

  1. 아이폰을 컴퓨터에 꽂고 잠금을 풀고 신뢰를 누르고 암호를 입력합니다. Windows는 먼저 Microsoft Store의 Apple Devices(또는 iTunes), Linux는 usbmuxd 패키지를 설치하세요.
  2. 아이폰의 설정 › 개인정보 보호 및 보안에서 개발자 모드를 켭니다. Pinky가 이 스위치가 나타나게 해 줍니다. 아이폰이 재시작되면 잠금을 풀고 켬을 누르고 암호를 입력합니다.
  3. Pinky가 아이폰에 Apple의 개발자 디스크 이미지를 마운트하고 준비됨으로 표시합니다. iOS 27은 재시작해도 이미지를 유지하고, iOS 27 미만은 재시작할 때마다 잠금을 풀면 Pinky가 다시 마운트합니다.

개발자 디스크 이미지는 Apple의 무료 개발자 앱 Xcode에 들어 있고 Pinky는 이것을 함께 주지 않습니다. Mac에서는 Xcode를 한 번 설치해 열어 두면 Pinky가 그 이미지를 쓰고, 이후 Xcode는 켤 필요가 없습니다. iOS 27 이상은 Xcode 27 이상의 이미지가 필요합니다. Windows · Linux에서는 Mac의 /Library/Developer/DeveloperDiskImages/iOS_DDI를 Pinky 폴더로 복사합니다. 둘 다 없거나 Apple이 이미지를 거부하면, 사용자가 Download를 누를 때만 제3자 미러(github.com/doronz88/DeveloperDiskImage)에서 내려받습니다. Pinky는 모든 파일을 기대하는 체크섬과 대조합니다. iOS 27 이상에서는 아이폰에 앱이 설치되지 않습니다.

아이폰 · 아이패드를 Wi-Fi로

같은 Wi-Fi에 있으면 Pinky는 아이폰 · 아이패드를 Wi-Fi로도 씁니다. 폰을 꽂고 컴퓨터를 신뢰하면 Pinky가 Wi-Fi 연결을 켭니다(Finder의 Wi-Fi가 연결되어 있을 때 이 iPhone 보기와 같은 설정). 기본으로 켜져 있고 Settings › Phones › Use iPhones and iPads over Wi-Fi로 끌 수 있습니다.

  • Pinky가 써 본 폰은 케이블을 뽑아도 같은 폰으로 계속 동작합니다. Pinky가 스스로 Wi-Fi로 옮기고, 다시 꽂으면 케이블로 돌아옵니다. 에이전트의 작업은 이어지고, 옮기는 몇 초 동안 호출이 기다립니다.
  • Pinky가 쓴 적 없는 기기(예: 가족의 iPad)는 Found on Wi-Fi로 표시되며, 이름 · 모델 · iOS 버전만 읽고 사용자가 Use를 누르기 전에는 아무것도 하지 않습니다(에이전트에게도 보이지 않습니다). Ignore는 다시 꽂을 때까지 목록에서 숨깁니다.
  • 잠긴 기기는 Locked on Wi-Fi로 표시되고, 잠금을 풀면 연결합니다.
  • Wi-Fi로 처음 설정할 때도 컴퓨터를 신뢰하는 단계는 케이블이 필요합니다. 개발자 모드를 켜는 것은 폰에서 하고, 개발자 디스크 이미지는 Wi-Fi로도 마운트합니다(약 9초, 케이블은 1.5초).
  • Wi-Fi에서는 처음 신뢰했을 때 폰이 받은 인증서를 확인하므로, 같은 네트워크의 다른 기기가 대신 응답할 수 없습니다. iOS 27 미만에서 폰 안 Pinky의 WebDriverAgent 연결은 암호화되지 않아 Wi-Fi 보안 수준에 따릅니다.

Wi-Fi는 케이블보다 느립니다(아이패드 프로 11인치 3세대, iPadOS 27.0.1 측정: 스와이프 80~210ms(케이블 60~90ms), 홈 화면 읽기 0.6~2.6초(0.5~0.6초), 스크린샷 5초(1초)). Mac에서는 시스템의 장치 서비스(usbmuxd)가 Wi-Fi 연결이 끊긴 아이폰을 한동안 다시 찾지 않을 수 있어, 그때는 Lost on Wi-Fi로 표시하고 **Restart device service…**를 제안합니다(터미널의 sudo killall usbmuxd와 같습니다). Linux · Windows에서는 Pinky가 Wi-Fi 아이폰을 찾는 작은 장치 서비스를 시스템 서비스 앞에서 직접 돌립니다.

iOS 17.4~26 아이폰

iOS 27 미만의 아이폰은 컴퓨터의 탭과 입력을 WebDriverAgent를 담은 폰 앱으로만 받습니다. 그 앱이 Pinky on the iPhone이며, Xcode가 있는 Mac에서 내 Apple ID로 서명해 한 번 설치합니다. 폰을 꽂고 Pinky의 폰 페이지(또는 Add phone › Try an older iPhone)에서 Install Pinky on the iPhone을 누르거나, 터미널에서 pinkyctl helper install을 실행하세요. 무료 Apple ID는 7일마다 다시 설치해야 하며, 만료 이틀 전부터 폰 페이지와 점검이 Install again으로 알려 줍니다. 이것 없이는 화면 보기(Mac)와 앱 열기만 되고 탭 · 스와이프 · 입력은 안 됩니다. iOS 17.3 이하는 지원하지 않습니다.

3. 에이전트에 Pinky 추가

Pinky에서 Settings › Agents를 열고 에이전트 옆 Connect를 누르세요. Pinky가 컴퓨터에서 Claude Code, Claude Desktop, Codex, Cursor, VS Code, Copilot CLI, Windsurf(Devin Desktop), Gemini CLI를 찾아 그 MCP 서버에 자신을 추가합니다. 에이전트가 읽는 SKILL.md 안내도 함께 설치하고 Pinky가 업데이트될 때 최신으로 유지합니다.

설정 › Agents › Connect an agent: Claude Code는 연결됨, Claude Desktop · Codex · Cursor · VS Code는 Connect 버튼이 있습니다

  • Claude Desktop: Connect가 Claude Desktop에서 Pinky 확장을 열면 Install을 누릅니다. 릴리스 페이지의 pinky-<버전>.mcpb를 더블클릭해도 같습니다.

  • 다른 에이전트: Settings › Agents › Add an agent by hand가 복사 버튼과 함께 명령을 보여 줍니다. MCP 서버(stdio)로 추가하세요. JSON 설정은 아래와 같습니다.

    { "mcpServers": { "pinky": { "command": "pinkyctl", "args": ["mcp"] } } }

    터미널의 Claude Code는 claude mcp add --scope user pinky -- pinkyctl mcp입니다. 대부분의 에이전트는 ~/.agents/skills/pinky/SKILL.md, Claude Code는 ~/.claude/skills/pinky/SKILL.md에서 안내를 읽습니다.

명령은 pinky가 아니라 pinkyctl입니다. 이미 pinky라는 다른 프로그램이 있는 컴퓨터가 많기 때문입니다. 다른 컴퓨터나 컨테이너의 에이전트는 HTTP로 연결할 수 있습니다.

4. 써 보기

에이전트에게 폰에서 할 일을 시켜 보세요. 예: “내 폰에서 메시지 앱을 열어 샘에게 늦는다고 알려 줘.” 에이전트가 처음 연결되면 Pinky가 허용할지, 무엇을 하게 할지 묻습니다. 결제는 Pinky 창에서 누를 때까지 기다리고, 설정 › Safety에서 전송 · 삭제 등도 기다리게 할 수 있습니다.

폰이 없으면 Add phone › Virtual phone에서 iOS 시뮬레이터나 안드로이드 에뮬레이터를 시작하세요. 또는 Pinky를 끄고 연출된 데모 폰 두 대(승인할 결제, 차단된 은행 앱, 비밀번호 입력칸)로 시작할 수 있습니다: Mac은 /Applications/Pinky.app/Contents/MacOS/Pinky --fake, Linux는 pinkyctl --fake, Windows PowerShell은 & "$env:LOCALAPPDATA\Programs\Pinky\Pinky.exe" --fake입니다.

Pinky 사용

폰

  • 안드로이드: USB나 Wi-Fi로 연결합니다. Pinky는 adb와 내장 scrcpy 서버로 동작합니다. 폰 안의 Pinky(안드로이드 앱)는 화면을 약 2초 대신 약 70ms에 읽고, 클립보드 없이 어떤 언어든 입력합니다. 이 앱의 접근성 서비스는 에이전트가 일할 때만 켜집니다. 은행 앱이 접근성 서비스와 함께 실행되기를 거부하기 때문입니다. 안드로이드 13 이상에서는 에이전트가 백그라운드 디스플레이에서 일해 폰 화면을 꺼 두고 잠가 둘 수 있습니다. 앱이 접근성 트리에 설명하지 않고 그리는 글(슈퍼앱 안의 미니 프로그램, 게임, 지도 등)은 macOS · Windows에서 화면 픽셀을 OCR로 읽어 에이전트가 읽고 누를 수 있게 합니다. 차단된 앱은 사용자가 그 작업에 허용했을 때만 이렇게 읽고, 잠긴 폰은 절대 읽지 않으며, 그림은 저장하지 않습니다.

  • 안드로이드 10의 Wi-Fi: 무선 디버깅이 없으므로 폰을 꽂고 미러 아래 ⋯ 메뉴(또는 Settings › Phones)의 **Use Wi-Fi instead…**를 고릅니다. Pinky가 폰의 adb가 네트워크에서 듣도록 하고(adb tcpip, 포트 5555) Wi-Fi 주소로 연결하며, 뽑아도 되는 때를 알려 줍니다. 켜져 있는 동안 같은 네트워크의 다른 컴퓨터도 연결을 시도할 수 있으므로, 내가 연결하지 않는데 폰이 **USB 디버깅을 허용할까요?**라고 물으면 취소를 누르고 믿는 Wi-Fi에서만 쓰세요. 폰이 재시작될 때까지 유지됩니다.

  • 아이폰: USB나 Wi-Fi로 연결하고 Pinky가 준비합니다(아이패드도 같습니다). 무엇이 되는지는 iOS 버전과 연결 방식에 달려 있고, 설정 › Phones에서 폰마다 고를 수 있습니다(자동은 버전에 따라 고름).

    iOS방식되는 것시험한 곳
    27 이상Xcode의 Device Hub 프로토콜, 폰에 설치 없음핀치를 뺀 모든 것. 입력은 글을 붙여넣고 사용자의 클립보드를 되돌려 놓음iPhone 13 mini, iOS 27.0.1
    17.4 이상, 폰 안의 Pinky 사용Pinky on the iPhone(WebDriverAgent 포함, 또는 이전에 설치한 Pinky Helper). Mac의 Xcode로 한 번 설치. iOS 17.4~26은 자동, 27은 선택모든 것이며 폰이 화면을 공유하지 않으므로 화면 공유를 거부하는 은행 앱도 동작(DBS digibank, 招商银行 테스트). Device Hub보다 느림: 홈 화면 읽기 약 7초(Device Hub는 0.5초 미만), 탭 0.5~0.8초iPhone 13 mini(iOS 27.0.1), iPhone XS Max(iOS 18.7.11, Windows), iOS 18.5 · 26.5 시뮬레이터
    17.4~26, 폰 안의 Pinky 없음개발자 서비스만, 설치 없음보기(초당 몇 프레임, macOS · Windows), 화면 읽기(OCR, macOS만), 앱 · 링크 열기. 탭 · 스와이프 · 입력 · 홈은 안 됨iOS 27.0.1과 같은 서비스, iOS 27 미만 폰은 아직
    17.3 이하지원 안 함

    폰 안의 Pinky는 Appium의 WebDriverAgent를 담고 내 Apple ID로 서명합니다. 서명은 무료 Apple ID는 7일, 유료 개발자 계정은 1년 유효합니다.

  • 아이폰 화면 공유: Pinky가 아이폰 화면을 스트리밍하는 동안 iOS가 앱에 화면 공유 중이라고 알려서, DBS digibank와 招商银行 같은 일부 은행 앱이 실행을 거부하거나 경고합니다. 이때 카메라와 마이크도 앱에서 막혀 카메라가 검게 나오고 코드 스캔이 실패합니다. 반대로 앱이 카메라나 마이크를 쓰는 동안(통화, FaceTime, 카메라, 음성 메모)에는 iOS 27에서 Pinky가 Device Hub로 아이폰을 보여 줄 수 없고, 폰 페이지가 Camera or microphone in use와 대처 방법을 안내합니다. 폰 안의 Pinky도 설치하고 폰을 자동(Settings › Phones)으로 두면, 작업이 DBS digibank나 招商银行을 열 때 Pinky가 작업을 화면을 공유하지 않는 폰 안의 Pinky로 옮깁니다.

  • 시뮬레이터 · 에뮬레이터: iOS 시뮬레이터(Xcode가 있는 Mac)나 안드로이드 에뮬레이터(Android Studio)도 폰이 될 수 있습니다. Add phone › Virtual phone이 컴퓨터에 있는 것을 보여 주고 Start로 시작, Shut down으로 끕니다. 시작은 사용자만 할 수 있고 에이전트에게는 도구가 없습니다. Pinky는 시뮬레이터나 에뮬레이터, 시스템 이미지를 만들거나 내려받지 않습니다. iOS 시뮬레이터에서는 처음 한 번 Xcode로 Appium의 WebDriverAgent를 빌드하며(서명 없이, Apple ID 없이) 20초에서 몇 분이 걸립니다.

  • 잠긴 폰: Pinky는 폰을 계속 깨어 있게 하지 않습니다. 단계 전에 화면을 깨우고, 설정 › Phones에 PIN을 저장하면 Touch ID로 컴퓨터에서 잠금을 풀 수 있습니다. 에이전트는 PIN을 보지 못합니다. 안드로이드는 AOSP 방식 잠금 화면(Mi 10 Pro의 LineageOS, 안드로이드 10 · 16 · 17 에뮬레이터)에서 확인했고, Xiaomi · Samsung · OPPO · OnePlus · vivo · Honor · Huawei의 잠금 화면은 알려진 정보로 만든 테스트로만 검증했으며 PIN 패드를 확신 있게 읽지 못하면 아무것도 입력하지 않습니다.

  • 핀치: 에이전트가 지도 · 사진 · 페이지를 확대 · 축소하고 두 손가락으로 돌립니다. 사용자도 Pinky의 폰 화면에서 트랙패드로 핀치하거나(Linux는 Wayland만) Option(Windows · Linux는 Alt)을 누른 채 끌면 됩니다. 사용자의 터치처럼 에이전트를 멈춥니다. 아이폰은 폰 안의 Pinky를 통해 핀치합니다.

  • 드래그: 에이전트가 phone_drag로 길게 눌러 집어 들고, 지정한 점을 따라 움직이고, 필요한 곳에서 쉬고, 놓습니다. 앱 아이콘을 다른 홈 화면 페이지나 폴더로 옮기고, 목록을 재정렬하고, 슬라이더를 움직입니다. 규칙과 승인은 드래그를 스와이프처럼 다루며 손가락이 닿는 모든 점 아래를 확인하고, 승인 화면의 스크린샷은 전체 경로를 그립니다. 안드로이드 에뮬레이터와 iOS 시뮬레이터에서 시험했고 실제 폰은 아직입니다.

  • 파일: 안드로이드에서 에이전트는 폰의 Pinky 폴더(/sdcard/Pinky, 에이전트가 닿을 수 있는 유일한 곳)와 컴퓨터의 폴더 사이에서 파일을 복사합니다. 폰으로 복사할 때는 먼저 사용자에게 묻습니다. 아이폰은 해당하지 않습니다.

  • 버그 리포트용 스크린샷 · 보고서: 앱을 시험하는 에이전트가 스크린샷을 파일로 저장하고, 작업이 끝나면 작업 보고서(스크린샷이 든 단계, HTML · JSON)를 저장합니다. 에이전트가 봐도 되는 것만 담고(코드는 가리고, 잠긴 폰이나 차단된 앱은 담지 않음) 화면 녹화는 사용자가 허용할 때만 에이전트가 받습니다.

  • 링크: 에이전트가 phone_launch로 웹 페이지, 앱 자체 링크(myapp://…), 통화 · 문자 · 메일 링크를 엽니다. 열기 전에 Pinky가 폰이 그 링크를 열 앱을 찾아 그 앱을 연 것으로 취급하므로, 차단된 앱의 링크는 막히고, 작업 밖 앱의 링크는 거부되고, 결제 링크는 결제 버튼처럼 사용자를 기다립니다. 폰의 파일을 읽거나 코드를 실행하는 링크(file:, content:, intent:, javascript:, data:, 단축어)는 항상 거부합니다.

  • 내가 만든 앱: 에이전트가 컴퓨터의 폰 폴더에서 앱을 설치(안드로이드는 APK, 아이폰은 해당 폰용으로 개발 서명된 .ipa · .app), 업데이트, 삭제, 강제 종료할 수 있어, 코딩 에이전트가 빌드를 폰에 올려 열어 보고 확인할 수 있습니다. 설치와 삭제는 앱 이름 · id · 버전 · 서명자와 함께 사용자에게 묻고, Allow for this task로 같은 앱의 다음 빌드를 이 작업에서 묻지 않고 설치하게 할 수 있습니다. Pinky 자신의 앱, 시스템 앱, 금융 앱, 비밀번호 관리자, 사용자가 차단한 앱은 덮어 설치 · 삭제 · 종료할 수 없습니다.

  • 앱 로그: 앱을 시험하는 에이전트가 그 앱의 로그 줄과 크래시 보고서를 읽어 실패 이유를 봅니다. 작업에서 처음에는 사용자에게 묻고(개발 빌드는 제외), 그 앱의 줄만 받으며 다른 앱 · 시스템 · 차단된 · 은행 · 지갑 · 비밀번호 관리자 앱의 로그는 받지 못합니다.

  • 앱 시험: 에이전트가 개발자가 시험할 때 쓰는 스위치(화면 회전, 라이트 · 다크 모양, 위치 시뮬레이션, 다른 언어 · 지역으로 앱 열기)를 바꿀 수 있습니다. 실제 폰에서는 먼저 승인하고, 작업이 끝나면 Pinky가 모두 되돌립니다.

더 알아보기

아래 내용은 GitHub 저장소 README에서 자세히 볼 수 있습니다.

  • 폰 밖에서(Phones away from home): Tailscale 등으로 집 밖에서도 폰에 닿는 방법.
  • Pinky에게 시키기(Ask Pinky): 에이전트 없이 모델과 API 키를 고르고 작업을 입력해 시킵니다. 에이전트와 같은 규칙 · 승인이 적용됩니다. 작업 뒤에 기억 메모를 제안하며 사용자가 허락할 때만 저장합니다. 작업은 기본으로 100단계, 20분, 2달러 중 먼저 닿는 것에서 멈춥니다(설정 가능, 승인을 기다린 시간은 제외).
  • 폰 안의 Pinky(Pinky on the phone): 안드로이드와 아이폰에서 컴퓨터 없이 작업합니다. 안드로이드는 플로팅 버튼으로 화면에 보이는 것을 물어볼 수 있고 숨은 배경 화면에서 일할 수 있습니다. 예약 작업은 컴퓨터와 안드로이드에서 되고(아이폰은 아님) 폰이 잠겼거나 쓰는 중이면 건너뜁니다. 에이전트는 비밀번호와 코드를 절대 입력하지 않고 사용자에게 넘깁니다.
  • 업데이트: 유휴 상태일 때 스스로 설치합니다. 폰 안의 앱은 USB 또는 수동 APK 설치로 업데이트합니다.
  • 사용 통계 · 크래시 보고 · 피드백, 소스에서 빌드(macOS · Windows · Linux), 빌드와 테스트, 코드 구조, 문서 목록: 개발자용 안내입니다.

커뮤니티

질문하고, 에이전트가 폰에서 한 일을 공유하고, 개발 소식을 Discord에서 보세요. 버그와 기능 요청은 GitHub 이슈로 환영하며, Pinky의 Help › Send Feedback…이 진단 정보를 채운 이슈를 열어 줍니다.

라이선스

Apache-2.0