Zero-Shot Fall Detection - Leveraging Text Prompt in Vision-Language Models

2023 산학 프로젝트 챌린지 본선 1차 진출

Overview

• 시각-언어 모델을 이용하여 데이터셋을 훈련없이 Abnormal Detection이라는 일반적인 프레임워크 생성.
• 빠른 신고와 조치가 필요한 다양한 상황에서 정교화된 Prompt 기술로 학습 없이 즉각적인 대응이 가능한 시스템 구축.
• 기존 연구인 Fall Detection을 사례연구로 먼저 시도했고, 다양한 상황에서의 이상 감지로 일반화 가능성을 확인.

Rule-based	Zero-Shot
OpenPose 가속도	BLIP GroundingDINO Human-Object Interaction(HOI)

Expected effects

• 낙상 예방과 안전 강화, 의료 모니터링 향상: 낙상을 빠르게 감지하고 경고하는 시스템을 통해 부상 예방 및 심각성을 감소시키는 데 도움.
• 데이터 수집 및 학습 비용 감소: 수집하고 학습하지 못한 문제 상황에도 Zero-shot 기반의 일반적인 방법론을 통해 데이터 수집 및 학습 비용 절감이 가능.
• 스마트 팩토리 자동화 및 최적화: Zero-shot 감지를 통해 학습되지 않은 불량을 검출하여 제조 자동화 및 최적화에 기여