devwon
Robotnoid Human Humanoid Robot은 인간을 닮은 로봇.
Core trick
Gemini turns smart-glasses camera frames and speech into text for a Claude Code CLI subprocess, wrapped in a WebSocket bridge.
Description
Robotnoid Human
Humanoid Robot은 인간을 닮은 로봇. Robotnoid Human은 로봇을 닮은
인간.
2026년, 개발자는 이미 AI 코딩 에이전트 없이는 코드를 짜지 못합니다.
우리는 이 현실을 받아들이고 한 걸음 더 나아갔습니다 — 인간이 AI의
물리적 신체가 되는 시스템을 만들었습니다.
Meta Ray-Ban 스마트글래스를 착용한 인간은 AI의 눈, 귀, 손이 됩니다.
AI가 글래스 카메라로 세상을 보고, 음성으로 인간에게 행동을 지시하며,
코드 생성부터 배포까지 전 과정을 자율 수행합니다. 인간은 걷고,
고개를 돌리고, 서 있기만 하면 됩니다. 코드는 한 줄도 치지 않습니다.
Gemini API 활용:
- Gemini 2.5 Flash STT: 글래스 Bluetooth 마이크 → 실시간 한국어 음성
인식
- Gemini 2.5 Flash TTS (Kore voice): AI 응답 → 자연스러운 한국어
음성 합성 → 글래스 스피커 출력
- Gemini 2.5 Pro Vision: 글래스 카메라 이미지 분석 — 자세 인식,
화이트보드 OCR, 환경 파악
Gemini가 감각기관(눈·귀·입)을 담당하고, Claude Code CLI가 두뇌(코드
생성·실행·배포)를 담당하는 하이브리드 아키텍처로, 스마트글래스
위에서 완전한 AI 에이전트 경험을 구현했습니다.
생각하라. 나머지는 AI가 한다.
README excerpt
# Humanoid Robot
> **Human-as-a-Robot**: AI가 두뇌, 사람이 신체가 되는 시스템
AI 두뇌(Claude Code CLI)가 스마트 글래스를 쓴 사람을 원격 제어하는 풀스택 시스템.
음성/텍스트/이미지 입력을 받아 실시간으로 판단하고, Instagram DM을 통해 글래스 HUD에 지시를 표시합니다.
```
Ray-Ban Meta Glasses ↔ Bluetooth ↔ Phone PWA ↔ WSS ↔ FastAPI Server ↔ Claude Code CLI
↕ ↕
Gemini Vision LeRobot SO-101
Gemini TTS Google Calendar
Instagram DM
```
## Features
### Core
- **Claude Code Bridge** — CLI subprocess를 WebSocket으로 래핑, 스트리밍 JSON 응답
- **Dual Mode UI** — Claude 대화 모드 + 터미널(tmux) 직접 제어 모드
- **Voice I/O** — Web Speech API (STT) + Gemini TTS, 코드블록 자동 생략
### Human-as-a-Robot
- **AI Brain** — Claude Code가 두뇌 역할, 선제적 판단과 지시
- **Gemini Vision** — 카메라/스크린샷 이미지 분석 (글래스 시점)
- **Instagram DM Display** — Meta Ray-Ban 글래스 HUD에 텍스트 표시
- **Google Calendar** — 일정 컨텍스트 자동 주입, 선제적 알림
### Robot Control
- **LeRobot SO-101** — 6-DOF follower arm 실시간 제어
- **Dual Camera** — 전면/상단 카메라 스트리밍
- **Named Poses** — 사전 정의된 자세 (home, wave, point 등)
### Monitoring
- **Cost Dashboard** — 메시지별 토큰 수, USD/KRW 비용 추적
- **Robot Monitor** — 관절 상태, 카메라 피드 실시간 모니터링
- **PWA** — 홈화면 설치, 오프라인 지원
## Architecture
```
server/
├── main.py # FastAPI + WebSocket routes + static files
├── claude_bridge.py # Claude CLI session manager (streaming JSON)
├── ai_br