HolisticLandmarker
전신 따라 하는 아바타
해결하는 문제
얼굴, 손, 몸을 한 번에 따라 하는 캐릭터를 만들고 싶다.
얼굴 478개, 양손 42개, 몸 33개 지점을 동시에 잡아 아바타가 눈·입·손가락·팔까지 따라 합니다.
서버 의존도
외부 라이브러리나 AI 모델을 CDN에서 받아 옵니다. 서버는 필요 없고, 오프라인용은 ./libs/에 넣어 둡니다.
브라우저만브라우저 + CDN브라우저 + API 키브라우저 + 엣지 함수서버 필요
데이터가 흐르는 길
무엇이 들어와서 브라우저 안에서 어떻게 바뀌어 나가는지 정리했습니다.
들어오는 것카메라 영상
브라우저가 하는 일얼굴·손·몸 모델을 함께 실행
나오는 것부위별 지점 묶음과 아바타 그림
쓰는 브라우저 기술
getUserMediaCanvas 2D
라이브러리와 모델
MediaPipe Tasks (로컬 우선 로딩)holistic_landmarker.task (약 14MB)
바꿀 수 있는 옵션
- 결과 중 필요한 부위만 쓰기
- 세그멘테이션 마스크 출력
자주 막히는 곳
- 세 모델을 동시에 돌려 저사양 기기에서는 느리다
- 손이 얼굴을 가리면 얼굴 지점이 흔들린다
이 능력으로 만들 수 있는 서비스
같은 기술을 AI 서비스, 웹 서비스, 피지컬 AI로 넓힌 예시입니다.
AI 서비스
- 수어·몸짓 인식 연구 도구
웹 서비스
- 얼굴 공개 없는 아바타 방송
피지컬 AI
- 원격 로봇 상체 따라 하기
넓히는 방법
- 3D 캐릭터(Three.js)와 연결
- 수어 학습 데이터 수집
지원 브라우저
PC 크롬·엣지된다
맥 사파리일부
안드로이드 크롬된다
아이폰 사파리일부
코딩 에이전트에게 줄 프롬프트
복사해서 Claude, Codex, Cursor 같은 코딩 에이전트에 그대로 붙여 넣습니다.
MediaPipe HolisticLandmarker로 얼굴, 양손, 몸을 함께 추적해서 막대 인형 아바타가 나를 따라 하게 만드는 웹페이지를 만들어줘.
같은 분류의 능력
04 브라우저 속 AI에 속한 다른 능력입니다.
무료로 보는 것
체험 페이지, 한 줄 설명, 미리보기 영상
스킬팩 구성
full.html, skill.md, prompt.md, rules.md, customize.md, troubleshooting.md, 예시 데이터, agent-instructions.md