neage
音上げ (値上げ) Live Demo https://2ead-115-179-164-195.ngrok-free.app/play/Qcz-7evvAqY 歌詞タイピングとジェスチャーで繰り広げる 痛快アクションゲーム Drop はタイピングを達成したら取得できる Hype は自然と下がっていくから、手を上げていかないといけない 手を上げる=単語をpassできる pain 音楽を普通にタイピングしてたら、曲が速すぎて間に合わない
Core trick
Matches typed romaji against subtitle lines with compressed spaces, while MediaPipe hand landmarks gate word passes.
Description
音上げ (値上げ)
Live Demo
https://2ead-115-179-164-195.ngrok-free.app/play/Qcz-7evvAqY
歌詞タイピングとジェスチャーで繰り広げる 痛快アクションゲーム
Drop はタイピングを達成したら取得できる
Hype は自然と下がっていくから、手を上げていかないといけない
手を上げる=単語をpassできる
pain 音楽を普通にタイピングしてたら、曲が速すぎて間に合わない
リセットで手を上げて、レバレッジを効かせて難易度調整を行う
要件
Youtube動画と字幕の描写
タイピング
字幕に対しての取得-> ローマ字に変換して判定する スペースは圧縮
ハンドジェスチャー MediaPipe
両手、右手、左手の取得
次のものが来たら、一旦判定から外れて再度手を上げないといけない
単語pass機能の実装
ポイント計測
タイピングした単語×ボルテージ=得点
商品としての画像を生成する(字幕の内容から、関連するコンテキストで画像を生成する)
v2
Youtube api を用いて、url から、srtの取得を行い、自動で処理する