SafeCall
치매 어르신이 119/112에 전화하는 순간, Gemini AI가 홈캠 영상을 즉시 분석하여 실제 응급 여부를 판단하고, 영상 증거와 함께 가족에게 알려 직접 대응할 수 있도록 돕는 AI 멀티모달 상황 검증 시스템입니다.
Core trick
On an emergency call, Gemini analyzes the home-camera clip and call transcript together, returning a confidence-scored verdict and a TTS reassurance script.
Description
치매 어르신이 119/112에 전화하는 순간, Gemini AI가 홈캠 영상을 즉시 분석하여 실제 응급 여부를 판단하고, 영상 증거와 함께 가족에게 알려 직접 대응할 수 있도록 돕는 AI 멀티모달 상황 검증 시스템입니다.
README excerpt
# SafeCall > 치매 어르신이 119/112에 전화할 때, AI가 홈캠 영상을 분석하여 실제 응급인지 판단하고, 오인 시 안심 대화를 제공합니다. ## 프로젝트 개요 치매/인지장애 어르신이 수증기를 화재로, 거울 속 자신을 침입자로 오인하여 긴급전화를 거는 상황은 빈번합니다. SafeCall은 **Gemini AI가 홈캠 영상과 음성을 실시간 분석**하여 실제 응급과 오인을 구분하고, 가족에게 즉시 알리며, 오인 시에는 AI가 어르신과 안심 대화를 나눕니다. ## 주요 기능 ### 1. AI 영상 분석 (Gemini 3 Flash) 어르신이 119/112에 전화하면, 가정 내 홈캠 영상을 **Gemini 3 Flash** 멀티모달 API로 분석합니다. Gemini의 멀티모달 분석으로 영상 증거와 음성 신고 내용을 동시에 이해하고 교차 검증합니다. - 영상 + 어르신의 상황 설명을 교차 검증 - 화재 오인 / 낙상 감지 / 침입 오인 등 카테고리 판단 - 확신도(%), 근거, 권장 조치를 JSON 구조로 반환 ### 2. AI 안심 대화 (Gemini TTS) 오인으로 판단된 경우, 인터셉트 모드가 활성화되어 어르신이 재전화 시 AI가 직접 안심 대화를 진행합니다. - **Gemini 2.5 Flash TTS**로 한국어 음성을 실시간 생성 - "어머니, 집 안은 안전해요. 부엌에서 수증기가 올라온 것이었어요." 등 시나리오별 맞춤 메시지 - Web Audio API로 브라우저에서 직접 재생 ### 3. 보호자 알림 및 모니터링 가족(보호자) 앱에서 Gemini AI 분석 결과를 실시간으로 확인하고 대응할 수 있습니다. - Gemini가 판단한 **확신도(%), 카테고리, 발견사항, 판단 근거**를 대시보드에 표시 - 오인 확인 시 **인터셉트 모드 활성화** → 이후 재전화를 AI가 응대 - 실시간 홈캠 모니터링으로 어르신 상황 직접 확인 ## Gemini API 활용 | 기능 | 모델 | 용도 | |------|------|------| | 홈캠 영상 분석 | `gemini-3-flash-preview` | 영상(mp4) + 텍스트 멀티모달 입력 → 응급 여부 판단 | | AI 안심 음성 | `gemini-2.5-flash-preview-tts` | 한국어 텍스트 → 음성 생성 (PCM 24kHz) | ## 데모 작동 방식 데모는 **어르신 폰**과 **보호자 폰** 두 화면을 나란히 보여주며, 다음 순서로 진행됩니다. 1. **시나리오 선택** — 사이드 패널에서 화재 오인 / 낙상 / 침입 오인 중 선택 2. **어르신 전화** — 119/112 다이얼 → 프리셋 상황 설명 선택 후 전송 3. **AI 분석** — 홈캠 영상(mp4) + 상황 설명 텍스트를 Gemini에 전송 → 교차 검증 결과 반환 4. **보호자 알림** — 분석 결과가 보호자 대시보드에 실시간 표시 5. **인터셉트** — 오인 확인 시 인터셉트 모드 활성화 → 재전화 시 AI가 TTS 음성으로 안심 대화 > **참고**: 데모에