Gemini-Ops

README excerpt

# 🚀 Gemini-Ops: AI-Powered GPU Infrastructure SRE Dashboard

![Gemini-Ops Dashboard](assets/dashboard.png)

Gemini-Ops는 대규모 GPU 클러스터 및 vLLM 서빙 환경에서 발생하는 **복합 장애**를 실시간으로 진단하고, Kubernetes 환경에서 장애 노드의 워크로드를 정상 노드로 **자동 마이그레이션(Self-Healing)** 하는 지능형 SRE 대시보드입니다.

## 🏗️ 1. 핵심 아키텍처
* **모니터링:** Promtail (로그 수집) ➔ Loki (로그 집계) ➔ Grafana (시각화)
* **AI 추론 엔진:** Gemini (로그 및 하드웨어 메트릭을 분석하여 장애 원인 및 조치 가이드 도출)
* **자동 복구 (Auto-Remediation):** K8s Python Client (진단 결과를 바탕으로 장애 노드 격리 및 파드 재스케줄링)

---

## 📝 2. 주요 진단 시나리오

Gemini-Ops는 다양한 인프라 환경의 장애 패턴을 분석합니다.

### 📊 Scenario 1: vLLM KV Cache Starvation (Mock-up)
* **상황:** vLLM 엔진 과부하로 PagedAttention 메모리(KV Cache)가 부족해지며 `swapped_reqs`가 지속적으로 발생합니다.
* **AI 진단:** 메모리 부족 및 컨텍스트 스왑으로 인한 레이턴시 증가 감지.
* **조치 제언:** vLLM의 배치 크기 파라미터(`max_num_batched_tokens`) 최적화 및 스케일 아웃 제안.

### 🌡️ Scenario 2: GPU Thermal & Clock Throttling (Mock-up)
* **상황:** GPU 온도가 87도 이상으로 상승하여 쿨링 한계에 도달, SW 클럭 스로틀링이 활성화됩니다.
* **AI 진단:** 하드웨어 발열로 인한 성능 제한 상태. 분산 학습 시 타 노드에까지 Skew(지연)를 유발할 수 있음을 경고.
* **조치 제언:** 물리적 쿨링 점검 요청 및 임시 클럭 다운 락 명령어 제안.

### 🔌 Scenario 3: Multi-Node NCCL / InfiniBand Fault (Mock-up)
* **상황:** InfiniBand 네트워크 속도가 기대치(200Gbps) 대비 크게 저하(10Gbps)되거나 NCCL 타임아웃이 발생합니다.
* **AI 진단:** IB 케이블 불량 또는 NIC 결함으로 인한 멀티노드 분산 학습 병목 진단.
* **조치 제언:** 파이프라인 중단을 막기 위해 장애 노드를 K8s 클러스터에서 논리적으로 격리(Cordon) 제안.

### 🚨🌟 [CORE DEMO] Scenario 4: K8s Node Fault & Auto-Migration (Live Demo)
본 시나리오는 Gemini-Ops의 **Closed-loop 자율 복구 파이프라인**을 실증하는 핵심 데모입니다.
* **상황:** K8s 클러스터 내 `node-01`에서 치