사회적약자
해결완료
수어 통역 프로그램
깃헙 < https://github.com/23bulgogi/sonmari >
문제 정의
2020년 집계에 따르면 우리나라 청각장애인의 수는 약 35만명이지만, 수어통역사는 약 2000명의 수에 다다른다. 통역사도 수가 턱없이 모자라다는 뜻은 그만큼 수어의 중요성에 대해 알려져있지 않다는 것이라고 생각할 수 있다. 청각장애인들은 수어가 모국어이고 한글은 오히려 외국어에 가깝다. 따라서 영어-한국어를 번역해주는 파파고 등의 번역 앱처럼, 수어를 한국어로 번역해주는 프로그램이 있다면 어떨까?
그러나 수어 또한 조사와 문법 체계가 있는 하나의 언어이기 때문에 정확한 번역을 구현하기는 기술적으로 어려움이 있어 번역 카테고리를 한정해야 했다. 청각장애인과 비장애인 간의 소통이 가장 문제가 되는 상황을 찾아보니, 병원에서 의료진과 소통이 힘들어 알맞은 대처가 어렵다는 사실을 알게 됐다.
이에 따라 병원에서 자주 사용하는 수어에 대한 번역을 제공하여 안전취약계층에 놓여있는 청각장애인이 꼭 필요한 상황에서 소통으로 인한 어려움을 겪지 않도록 한다.
관련 연구 및 시스템 조사
- 기본적으로 한국어 수어에 대한 데이터가 매우 부족한 상태이다.
- 자음과 모음 같은 정적인 이미지로 표현되는 지화를 번역하는 것은 어렵지 않으나 연속된 동작으로 표현되는 수어 단어는 영상 번역의 영역으로 넘어가기 때문에 번역이 쉽지 않은 상황이다.
프로그램 구현 시나리오
1. 병원에서 쓰이는 단어를 선정하고 각 단어마다 특징이 되는 순간을 핵심 동작으로 지정한다.
- 국립국어원 한국수어사전, youtube 참고
2. 핵심 동작에 대한 이미지 데이터를 수집하여 라벨링한다.
- 데이터 : 기존 데이터 부족으로 웹 크롤링 불가 > 자체 제작
- 라벨링에는 labelimg 툴 이용
3. YOLO로 수집한 데이터를 학습한다.
- 정확도 90% 이상의 모델을 목표로 하여 반복 학습
4. 나누어진 핵심 동작을 연결하여 하나의 단어로 출력되도록 한다.
- 단어 출력 후 시퀀스로 한 번 더 출력
- pyqt5를 통해 웹캠과 파이썬을 연결하는 UI 제작
문제 정의
2020년 집계에 따르면 우리나라 청각장애인의 수는 약 35만명이지만, 수어통역사는 약 2000명의 수에 다다른다. 통역사도 수가 턱없이 모자라다는 뜻은 그만큼 수어의 중요성에 대해 알려져있지 않다는 것이라고 생각할 수 있다. 청각장애인들은 수어가 모국어이고 한글은 오히려 외국어에 가깝다. 따라서 영어-한국어를 번역해주는 파파고 등의 번역 앱처럼, 수어를 한국어로 번역해주는 프로그램이 있다면 어떨까?
그러나 수어 또한 조사와 문법 체계가 있는 하나의 언어이기 때문에 정확한 번역을 구현하기는 기술적으로 어려움이 있어 번역 카테고리를 한정해야 했다. 청각장애인과 비장애인 간의 소통이 가장 문제가 되는 상황을 찾아보니, 병원에서 의료진과 소통이 힘들어 알맞은 대처가 어렵다는 사실을 알게 됐다.
이에 따라 병원에서 자주 사용하는 수어에 대한 번역을 제공하여 안전취약계층에 놓여있는 청각장애인이 꼭 필요한 상황에서 소통으로 인한 어려움을 겪지 않도록 한다.
관련 연구 및 시스템 조사
- 기본적으로 한국어 수어에 대한 데이터가 매우 부족한 상태이다.
- 자음과 모음 같은 정적인 이미지로 표현되는 지화를 번역하는 것은 어렵지 않으나 연속된 동작으로 표현되는 수어 단어는 영상 번역의 영역으로 넘어가기 때문에 번역이 쉽지 않은 상황이다.
프로그램 구현 시나리오
1. 병원에서 쓰이는 단어를 선정하고 각 단어마다 특징이 되는 순간을 핵심 동작으로 지정한다.
- 국립국어원 한국수어사전, youtube 참고
2. 핵심 동작에 대한 이미지 데이터를 수집하여 라벨링한다.
- 데이터 : 기존 데이터 부족으로 웹 크롤링 불가 > 자체 제작
- 라벨링에는 labelimg 툴 이용
3. YOLO로 수집한 데이터를 학습한다.
- 정확도 90% 이상의 모델을 목표로 하여 반복 학습
4. 나누어진 핵심 동작을 연결하여 하나의 단어로 출력되도록 한다.
- 단어 출력 후 시퀀스로 한 번 더 출력
- pyqt5를 통해 웹캠과 파이썬을 연결하는 UI 제작
과제 해결 과정을 작성하여 파일을 올려 현황을 공유하세요.
현재 2명이 공감했습니다.
공감하기
의견 0
참여 요청사항에 대한 의견을 제시해주세요.