JJABS Camera Director
JJABS Camera Director: 메이커를 위한 AI 가상 카메라 조수 3D 프린팅, 납땜, 로봇 조립 등의 메이커 작업을 촬영할 때, 양손을 쓰면서 카메라 구도를 바꾸거나 특정 부품을 클로즈업하는 것은 매우 힘든 일입니다.
Core trick
Gemini derives a bounding box from the pointed-at object, stores it on a spoken command, and later zooms the camera to those coordinates.
Description
JJABS Camera Director: 메이커를 위한 AI 가상 카메라 조수
3D 프린팅, 납땜, 로봇 조립 등의 메이커 작업을 촬영할 때, 양손을 쓰면서 카메라 구도를 바꾸거나 특정 부품을 클로즈업하는 것은 매우 힘든 일입니다. 이를 해결하고자 구글 Gemini 2.0/2.5 Flash Vision과 음성 인식(STT)을 활용해 "알아서 카메라를 움직여주는 조수"를 개발했습니다.
작업 중 손가락으로 특정 물체를 가리키며 "짭스, 이거 타겟으로 지정해 줘"라고 말하면, Gemini AI가 손가락 방향을 분석해 해당 물체의 정확한 좌표(Bounding Box)를 추출하고 기억합니다. 이후 "종이컵 확대해 줘"라고 명령하면 해당 위치로 스무스하게 줌인(PTZ) 됩니다.
이번 해커톤에서는 실제 로봇팔을 가져올 수 없어 소프트웨어상에 타겟팅 메커니즘을 구현했습니다. AI가 추출한 중심 좌표를 로봇팔 컨트롤러에 전송하면 자동으로 카메라가 피사체를 추적하는 물리적 시스템으로 완벽히 확장할 수 있습니다. 메이커와 크리에이터들의 두 손을 100% 자유롭게 해주는 프로젝트입니다.
README excerpt
# 🎬 AI 가상 카메라 감독 (JJABS Camera Director) [](https://youtu.be/JkMVSxqGRvg) *(↑ 클릭하여 제작 중인 로봇 영상을 확인해보세요!)* [](https://youtu.be/baLYMAm0dIQ) *(↑ 클릭하여 해커톤 데모 시연 영상을 확인해보세요!)* ## 👋 프로젝트 배경 및 스토리 저는 **메이커**로서 위 영상과 같은 휴머노이드 로봇이나 다양한 하드웨어를 제작하는 과정을 촬영하는 일이 많습니다. 3D 프린터 출력, 정밀한 납땜, 복잡한 로봇 부품 조립 등 양손을 모두 써야 하는 작업 중에 **멀티 카메라를 전환**하거나 **특정 부품을 클로즈업**하는 것은 혼자서 감당하기 매우 힘든 일이었습니다. "내가 작업하는 동안, 내 의도를 알아채고 알아서 카메라를 (로봇팔을 이용해) 움직여주는 조수가 있으면 어떨까?" 이런 실제 필요에서 출발하여 **Google Gemini AI**의 강력한 비전 인식과 음성 제어 기술을 결합해, **작업 중 손가락으로 가리키고 음성으로 명령하면 AI가 자동으로 카메라 타겟을 인식하고 조정해주는 촬영 보조 시스템**을 개발하게 되었습니다. > 해커톤 현장에 실제 거대한 로봇팔과 카메라 장비를 모두 가져올 수는 없어, 이번 프로젝트에서는 **소프트웨어만으로 "타겟 지정 → AI 비전 분석 → 좌표 추출 → 타겟팅 및 로봇팔 이동 메커니즘"**을 완벽하게 구현하여 시연합니다. AI가 감지한 정확한 바운딩 박스 중심 좌표를 로봇팔 컨트롤러에 전달하면, 물리적 카메라가 자동으로 해당 물체를 스무스하게 추적하는 시스템의 핵심 두뇌 역할을 합니다. --- ## 🚀 시작하기 ### 📦 설치 ```bash venv\Scripts\pip.exe install PyQt5 google-genai obsws-python faster-whisper speechrecognition edge-tts pygame opencv-python python-dotenv numpy ``` ### ⚙️ 설정 (.env) - `GEMINI_API_KEY`: Google AI Studio API 키 - `OBS_HOST`, `OBS_PORT`, `OBS_PASSWORD`: OBS WebSocket 설정 ### ▶️ 실행 ```bash venv\Scripts\python.exe main.py ``` --- ## 🎬 시연 시나리오 ### Phase 1: 타겟 지정 (Point & Remember) 물체를 손으로 가리키며 **"짭스, 이거 타겟 설정해 줘"** 1. Gemini Vision이 손가락 방향을 분석하여 물체 감지 2. **네온 바운딩 박스** + 이름 자