사회적약자
해결완료
AI를 이용한 아동폭력 실시간 감지 시스템
해결 완료
조민희
[문제정의]
아동학대 사건은 매년 늘고 있지만, 학대 근절을 위한 실효성 있는 예방책은 보이지 않는다. 보육현장과 아동복지 담당기관은 예산 부족과 인력난을 호소하고 있으며, 학대 예방 정책을 지속적으로 이끌어갈 컨트롤 타워는 부재한다. 2015년 02월 24일 어린이집 CCTV 설치 의무화가 복지위 법안소위를 통과하였음에도 불구하고, 어린이집 보육교사의 아동학대 사건은 꾸준히 증가하고 있는 추세이다. 2019년 11월 19일 보건복지부가 발표한 최근 5년간 아동학대 현황에 따르면 어린이집 보육교사, 학교 교사에 의한 아동 학대는 지난 2014년 440건에서 2018년 2878건으로 4년 사이에 6.5배나 증가했다. 어린이집과 유치원, 학교에서 발생한 아동 학대는 2014년 567건으로 2018년 3084건으로 5.4배 증가했다. 아동학대가 조기에 발견되지 못하고 지속된다면 신체적, 정신적 피해 뿐만 아니라 심각할 경우 사망에 이를 수 있기 때문에 조기에 발견하는 것이 매우 중요하다. 하지만 현재의 시스템으로 조기에 발견하기 어렵다. 따라서 우리는 인공지능이 실시간으로 행동을 인식하고 아동폭력이 발생한 순간을 감지하여 조기에 아동 폭력을 발견하여 방지하는 시스템을 고안하게 되었다. 딥러닝을 활용한 AI 아동학대 감지 및 방지 시스템을 통해서 아동학대를 사후가 아닌 사전에 방지하고 예방할 수 있도록 하고자 한다.
[제안내용]
제안 시스템의 개요는 다음과 같다. 어린이집에 설치된 카메라는 실시간으로 촬영한 영상을 서버에 전송한다. 전송된 영상은 비디오 스트림으로서 배열에 저장된다. 데이터의 출납 방식은 First-in First-out으로 처리되며 폭력 flag값이 False로 인식되면 해당 배열은 파기된다. 이후의 각 처리부는 이 영상 시퀀스(프레임 배열)를 입력 인터페이스로서 취급한다. 다음으로 영상 시퀀스로부터 1프레임씩 꺼내 feature를 추출한다. 추출된 feature 폭력 검출 알고리즘에 전달되어 행동이 추론되고 정의된 폭력 레이블을 출력 값으로 한다. 여기서 영상 시퀀스가 폭력으로 인식될 경우 해당 영상 시퀀스는 웹으로 전송된다. 웹 "하이라이트" 에서 날짜와 시간과 함께 영상 시퀀스를 동영상으로 저장하고 웹 유저는 저장된 폭력 상황 정황의심 영상을 기간 내에 열람할 수 있다.
[개발환경]
º Desktop(personal)
- Windows10 GTX1660S
- MAC ios
º NVIDIA Jetson Nano Development Kit-B01
- GPU : 128 코어 Maxwell / CPU : 쿼드코어 ARM A57 @ 1.43GHz
º GPU Server
- Google Colab GPU
- 원격 접속 (Portainer.io)
º Camera
- Logitech C920 Pro
- Phone
º Program
- visual studio code (python)
- OpenCV 3.2.0
- YOLO V4 - Darknet framework
- OpenPose
- React.js + AWS
[진행상황 요약]
1. YOLOv4를 이용한 custom 학습을 위해 데이터 확보 및 Google Colab에서 환경구축
- 약 2만여 개의 학습 데이터 확보
- Google Colab 환경에서 custom train
- 학습을 통해 얻은 weights를 keras 모델(.h5)로 변환
2. Logitech c920을 통한 실시간 영상 input에 대해 custom train 모델 작동 검증
3. Input data에 대한 벡터 크기와 key point 방향 벡터 검출을 통해 LSTM 모델 학습 심화
- Yolo에서 처리하지 못한 유사행위에 대한 예외처리
4. 웹앱 어플 게시판 기능 구현까지 완료
- React.js와 AWS 서버 이용
아동학대 사건은 매년 늘고 있지만, 학대 근절을 위한 실효성 있는 예방책은 보이지 않는다. 보육현장과 아동복지 담당기관은 예산 부족과 인력난을 호소하고 있으며, 학대 예방 정책을 지속적으로 이끌어갈 컨트롤 타워는 부재한다. 2015년 02월 24일 어린이집 CCTV 설치 의무화가 복지위 법안소위를 통과하였음에도 불구하고, 어린이집 보육교사의 아동학대 사건은 꾸준히 증가하고 있는 추세이다. 2019년 11월 19일 보건복지부가 발표한 최근 5년간 아동학대 현황에 따르면 어린이집 보육교사, 학교 교사에 의한 아동 학대는 지난 2014년 440건에서 2018년 2878건으로 4년 사이에 6.5배나 증가했다. 어린이집과 유치원, 학교에서 발생한 아동 학대는 2014년 567건으로 2018년 3084건으로 5.4배 증가했다. 아동학대가 조기에 발견되지 못하고 지속된다면 신체적, 정신적 피해 뿐만 아니라 심각할 경우 사망에 이를 수 있기 때문에 조기에 발견하는 것이 매우 중요하다. 하지만 현재의 시스템으로 조기에 발견하기 어렵다. 따라서 우리는 인공지능이 실시간으로 행동을 인식하고 아동폭력이 발생한 순간을 감지하여 조기에 아동 폭력을 발견하여 방지하는 시스템을 고안하게 되었다. 딥러닝을 활용한 AI 아동학대 감지 및 방지 시스템을 통해서 아동학대를 사후가 아닌 사전에 방지하고 예방할 수 있도록 하고자 한다.
[제안내용]
제안 시스템의 개요는 다음과 같다. 어린이집에 설치된 카메라는 실시간으로 촬영한 영상을 서버에 전송한다. 전송된 영상은 비디오 스트림으로서 배열에 저장된다. 데이터의 출납 방식은 First-in First-out으로 처리되며 폭력 flag값이 False로 인식되면 해당 배열은 파기된다. 이후의 각 처리부는 이 영상 시퀀스(프레임 배열)를 입력 인터페이스로서 취급한다. 다음으로 영상 시퀀스로부터 1프레임씩 꺼내 feature를 추출한다. 추출된 feature 폭력 검출 알고리즘에 전달되어 행동이 추론되고 정의된 폭력 레이블을 출력 값으로 한다. 여기서 영상 시퀀스가 폭력으로 인식될 경우 해당 영상 시퀀스는 웹으로 전송된다. 웹 "하이라이트" 에서 날짜와 시간과 함께 영상 시퀀스를 동영상으로 저장하고 웹 유저는 저장된 폭력 상황 정황의심 영상을 기간 내에 열람할 수 있다.
[개발환경]
º Desktop(personal)
- Windows10 GTX1660S
- MAC ios
º NVIDIA Jetson Nano Development Kit-B01
- GPU : 128 코어 Maxwell / CPU : 쿼드코어 ARM A57 @ 1.43GHz
º GPU Server
- Google Colab GPU
- 원격 접속 (Portainer.io)
º Camera
- Logitech C920 Pro
- Phone
º Program
- visual studio code (python)
- OpenCV 3.2.0
- YOLO V4 - Darknet framework
- OpenPose
- React.js + AWS
[진행상황 요약]
1. YOLOv4를 이용한 custom 학습을 위해 데이터 확보 및 Google Colab에서 환경구축
- 약 2만여 개의 학습 데이터 확보
- Google Colab 환경에서 custom train
- 학습을 통해 얻은 weights를 keras 모델(.h5)로 변환
2. Logitech c920을 통한 실시간 영상 input에 대해 custom train 모델 작동 검증
3. Input data에 대한 벡터 크기와 key point 방향 벡터 검출을 통해 LSTM 모델 학습 심화
- Yolo에서 처리하지 못한 유사행위에 대한 예외처리
4. 웹앱 어플 게시판 기능 구현까지 완료
- React.js와 AWS 서버 이용
1. 모델 정확도 개선
- Yolo의 성능 개선: 편향되지 않은 다량의 데이터(augmentation)를 확보하여 추가학습
- LSTM 모델 정확도를 높이기 위한 모델 하이퍼 파라미터 수정
2. 실제 보육시설에서 시연 및 성능 테스트
- 모델 성능에 대한 검증이 되면 클래스를 추가하여 모델이 커버하는 범위 넓힐 것
- Yolo의 성능 개선: 편향되지 않은 다량의 데이터(augmentation)를 확보하여 추가학습
- LSTM 모델 정확도를 높이기 위한 모델 하이퍼 파라미터 수정
2. 실제 보육시설에서 시연 및 성능 테스트
- 모델 성능에 대한 검증이 되면 클래스를 추가하여 모델이 커버하는 범위 넓힐 것
목록보기