WebGPU
브라우저 속 언어 모델
해결하는 문제
질문 내용이 밖으로 나가지 않는 AI 비서가 필요하다.
내 PC의 그래픽카드로 작은 언어 모델을 브라우저 안에서 돌립니다. 질문이 밖으로 나가지 않습니다.
서버 의존도
외부 라이브러리나 AI 모델을 CDN에서 받아 옵니다. 서버는 필요 없고, 오프라인용은 ./libs/에 넣어 둡니다.
브라우저만브라우저 + CDN브라우저 + API 키브라우저 + 엣지 함수서버 필요
데이터가 흐르는 길
무엇이 들어와서 브라우저 안에서 어떻게 바뀌어 나가는지 정리했습니다.
들어오는 것질문
브라우저가 하는 일내 PC 그래픽카드로 언어 모델 실행
나오는 것답변
쓰는 브라우저 기술
WebGPUWebAssemblyCache Storage
라이브러리와 모델
WebLLMwllama
바꿀 수 있는 옵션
- 모델 크기
- 양자화(가볍게 줄인 정도)
- 대화 기억 길이
자주 막히는 곳
- 그래픽카드가 약하면 답이 매우 느리다
- 모델이 수 GB라 저장 공간과 첫 로딩이 부담된다
이 능력으로 만들 수 있는 서비스
같은 기술을 AI 서비스, 웹 서비스, 피지컬 AI로 넓힌 예시입니다.
AI 서비스
- 망분리 AI 비서
- 개인정보가 나가지 않는 요약
웹 서비스
- 오프라인 교육용 챗봇
피지컬 AI
- 로봇의 로컬 대화 두뇌
넓히는 방법
- 문서 검색과 결합 (RAG)
- 오프라인 챗봇
지원 브라우저
PC 크롬·엣지된다
맥 사파리일부
안드로이드 크롬일부
아이폰 사파리안 된다
코딩 에이전트에게 줄 프롬프트
복사해서 Claude, Codex, Cursor 같은 코딩 에이전트에 그대로 붙여 넣습니다.
WebLLM으로 브라우저 안에서 작은 언어 모델을 실행하는 오프라인 채팅 웹페이지를 만들어줘.
같은 분류의 능력
04 브라우저 속 AI에 속한 다른 능력입니다.
무료로 보는 것
체험 페이지, 한 줄 설명, 미리보기 영상
스킬팩 구성
full.html, skill.md, prompt.md, rules.md, customize.md, troubleshooting.md, 예시 데이터, agent-instructions.md