Skip to content

daruma

🇯🇵 日本語 (Japanese) Aura-gotchi - 現実世界で育てる、あなただけのAIエージェント スマートグラス（Meta Ray-Ban）を通じてあなたの視界を共有し、現実世界の行動から学習して進化する育成型AIアバターです。「ずっと画面を見ていると体力が減り、オヤツをあげると回復する」というたまごっちライクな生存ロジックを搭載。最大の特徴は、ユーザー独自の「暗黙知（マニュアル化されていない職人技やルール）」を視覚と音声

Code Video Cerebral Valley

Core trick

Streams smart-glasses video to Gemini Live and records user demonstrations as reusable skills that a Computer Use agent later replays.

Tags

agentsvision

Description

🇯🇵 日本語 (Japanese) Aura-gotchi - 現実世界で育てる、あなただけのAIエージェント スマートグラス（Meta Ray-Ban）を通じてあなたの視界を共有し、現実世界の行動から学習して進化する育成型AIアバターです。「ずっと画面を見ていると体力が減り、オヤツをあげると回復する」というたまごっちライクな生存ロジックを搭載。最大の特徴は、ユーザー独自の「暗黙知（マニュアル化されていない職人技やルール）」を視覚と音声で学習し、その知識を使ってPC作業（Computer Use）を自律的に代行・自動化してくれる点です。AIに仕事を「させる」のではなく、一緒に成長して自分だけの相棒を「育てる」、全く新しいエージェント体
koki-technoam77/Aura-gotchi★ 00 forksSwiftCreated Feb 21, 2026 · last push Feb 23, 2026

README excerpt

# Aura-gotchi: 現実世界に顕現するAIアバター 🐉✨ / AI Avatar in the Real World

![Aura-gotchi](../assets/cover.png)
*(※ Image placeholder - replace with actual screenshot or logo)*

---

## 🇯🇵 日本語 (Japanese)

**「AIを買う時代から、飼う（育てる）時代へ」**

Meta Ray-Banスマートグラスを通して現実世界に出現する、あなただけの「AIアバター（Digital Entity）」育成・使役ゲームです。
ユーザーが手描きした絵から誕生し、現実世界のオブジェクトやデジタルタスク（X投稿、Web検索など）を実行することで**「プロトコル（スキル）」**を学習。経験値（EXP）を溜めることで姿形が**「アップグレード（進化）」**していく、全く新しい体験を提供します。

> **🏆 Target: Statement 1 (AIを活用したゲーム)**
> 既存の「仕事を代わりにやらせるAgent」ではなく、「Agentに仕事を教える過程」そのものを「育成ゲームの経験値」としてエンタメ化しました。Google AIスイート（Gemini Live API, Computer Use, Imagen, **Veoによる動画エフェクト生成**）をフルオーケストレーションした前例のないゲーム体験です。

### ⚠️ ハッカソン審査員の方へ：貢献内容の明確化

本プロジェクトは、オープンソースプロジェクトである [VisionClaw](https://github.com/sseanliu/VisionClaw) (Meta Wearables DAT SDK + Gemini Live API の繋ぎ込み部分) をベースとして機能拡張を行っています。

**ハッカソンルールの「貢献内容を明確に区別」に従い、今回私たちがゼロから構築した機能（= 評価対象）を以下に明記します。**

#### 🚀 今回のハッカソンで独自に構築した機能（自作部分）
1. **Aura-gotchi ゲームエンジン基盤**: アバターのEXP、レベル、進化状態を管理する `GameState` と `ToolCallRouter` 上のゲームロジック完全自作。
2. **手書き絵からの「誕生」パイプライン**: ユーザーの手書き絵 → Gemini画像解析（属性抽出） → NanoBanana/Imagen によるアセット自動生成フローの構築。
3. **動的スキルプロンプトによる「自己成長システム」**: 実行成功したタスク（Computer Use等）をSwift側の配列に保存し、次回起動時のシステムプロンプトに動的結合することで、「AIがタスクを学習・記憶して成功率が上がる」という成長メカニクスをゲームシステムとして成立させた点。
4. **フロントエンドUI**: AIによって生成された画像を白背景透過（ブレンドモード）で現実世界にオーバーレイし、サイバーに息づかせる `AvatarView` のアニメーション実装およびHUD（EXPゲージ等）の開発。
5. **キャラブレイン（System Prompt）**: ただのAIアシスタントではなく、カメラに映る「人間＝冒険者」「物体＝アイテム」としてゲーム視点で解釈させるプロンプトエンジニアリング。

#### 📦 ベースとして利用したOSS

Team