사회적약자
해결완료
EyeToI – Image Detection을 이용한 시각장애인 보행보조 어플리케이션
[해결 과정]
우리는 시각장애인들이 주로 접하는 장애물들 중 사고를 유발할 만한 것들을 우선순위를 정한 후, 우선순위가 높았던 볼라드부터 Machine Learning을 통하여 학습시켰다. 학습시킨 모델을 안드로이드 프로젝트에 삽입하여 장애물의 종류와 장애물과 보행자 간의 거리를 음성으로 안내하도록 하였다.
또한 POI 서비스도 제공하여 카메라를 사용하지 못하는 상황이거나, 처음 가보는 곳에 진입했을 시 다른 사용자들이 축적해둔 데이터들을 기반으로 장애물을 안내 가능하게끔 하였다.
[세부 기술에 대한 설명]
1. 객체인식
- 이미지 데이터를 labelImg 오픈 소스를 이용하여 Pascal xml 형태로 이미지 라벨링을 함
- 이를 tensorflow를 통해 학습을 시켜 SSD mobileNet 커스텀 모델인 .tflite 파일을 추출해 안드로이드 프로젝트에서 사용할 수 있도록 함
2. 보폭 측정
- 가속도 센서를 이용하여 세 방향의 벡터 값을 받음
- 고주파 필터링을 통해 중력값을 제거하고 저주파 필터링을 통해 노이즈 값을 제거하여 받은 데이터를 정제함
- Weinberg Approach 방식으로 보폭을 측정함
3. 거리 측정 및 거리 이동 계산
- 안드로이드 카메라를 이용하여 장애물을 감지함
- 이전에 감지한 물체와 같은 종류일 경우 bounding box 크기가 가장 유사한 개체를 저장함
- 현재와 이전 인식개체 간 bounding box 크기비를 반환함
- 물체와 사용자 간 남은 거리를 계산하여 물체의 종류와 남은 거리를 안드로이드에 내장된 TTS 로 음성 알림 함
- POI 시스템을 위해 현재 GPS 좌표와 물체 종류를 서버에 저장함
4. 장애물 저장(POI) 및 Crowd Sourcing을 통한 공유
- 현 위치 반경 100m 볼라드 위치 리스트를 서버에 요청함
- GPS 위치를 갱신하고 좌표가 변하였으면 방위각(방향)을 계산함
- 이전 리스트 갱신 위치로부터 80m 이상 떨어졌으면 다시 현 위치 반경 100m 볼라드 위치 리스트를 서버에 요청함
- 방위각 방향 100m 삼각형 범위 내에 볼라드가 존재하면 TTS 음성을 알림함
우리는 시각장애인들이 주로 접하는 장애물들 중 사고를 유발할 만한 것들을 우선순위를 정한 후, 우선순위가 높았던 볼라드부터 Machine Learning을 통하여 학습시켰다. 학습시킨 모델을 안드로이드 프로젝트에 삽입하여 장애물의 종류와 장애물과 보행자 간의 거리를 음성으로 안내하도록 하였다.
또한 POI 서비스도 제공하여 카메라를 사용하지 못하는 상황이거나, 처음 가보는 곳에 진입했을 시 다른 사용자들이 축적해둔 데이터들을 기반으로 장애물을 안내 가능하게끔 하였다.
[세부 기술에 대한 설명]
1. 객체인식
- 이미지 데이터를 labelImg 오픈 소스를 이용하여 Pascal xml 형태로 이미지 라벨링을 함
- 이를 tensorflow를 통해 학습을 시켜 SSD mobileNet 커스텀 모델인 .tflite 파일을 추출해 안드로이드 프로젝트에서 사용할 수 있도록 함
2. 보폭 측정
- 가속도 센서를 이용하여 세 방향의 벡터 값을 받음
- 고주파 필터링을 통해 중력값을 제거하고 저주파 필터링을 통해 노이즈 값을 제거하여 받은 데이터를 정제함
- Weinberg Approach 방식으로 보폭을 측정함
3. 거리 측정 및 거리 이동 계산
- 안드로이드 카메라를 이용하여 장애물을 감지함
- 이전에 감지한 물체와 같은 종류일 경우 bounding box 크기가 가장 유사한 개체를 저장함
- 현재와 이전 인식개체 간 bounding box 크기비를 반환함
- 물체와 사용자 간 남은 거리를 계산하여 물체의 종류와 남은 거리를 안드로이드에 내장된 TTS 로 음성 알림 함
- POI 시스템을 위해 현재 GPS 좌표와 물체 종류를 서버에 저장함
4. 장애물 저장(POI) 및 Crowd Sourcing을 통한 공유
- 현 위치 반경 100m 볼라드 위치 리스트를 서버에 요청함
- GPS 위치를 갱신하고 좌표가 변하였으면 방위각(방향)을 계산함
- 이전 리스트 갱신 위치로부터 80m 이상 떨어졌으면 다시 현 위치 반경 100m 볼라드 위치 리스트를 서버에 요청함
- 방위각 방향 100m 삼각형 범위 내에 볼라드가 존재하면 TTS 음성을 알림함
과제 해결 과정을 작성하여 파일을 올려 현황을 공유하세요.
한국시각장애인연협회
- 시각장애인의 걸음, 보폭은 일반인과 무슨 차이가 있는가, 또 혹시 시각장애인 보폭을 측정할 수 있는 특정 방법이 존재하는가
=> 일반인과 차이가 있을 순 있으나, 시각장애인들 개개인이 걸음걸이와 보폭이 다르며 따로 측정할 공식 등은 존재하지 않는다.
시각장애인 유튜버 우령의 유디오
- 위와 동일
=> 시각장애인 협회 등에 물어보는 것을 추천, 시각장애인 역시 일반사람과 같이 걸음걸이 및 보폭이 다양하기 때문에, 시각장애인만이 아닌 다양한 사람의 데이터를 모으는 것이 좋을 것 같다.
- 시각장애인의 걸음, 보폭은 일반인과 무슨 차이가 있는가, 또 혹시 시각장애인 보폭을 측정할 수 있는 특정 방법이 존재하는가
=> 일반인과 차이가 있을 순 있으나, 시각장애인들 개개인이 걸음걸이와 보폭이 다르며 따로 측정할 공식 등은 존재하지 않는다.
시각장애인 유튜버 우령의 유디오
- 위와 동일
=> 시각장애인 협회 등에 물어보는 것을 추천, 시각장애인 역시 일반사람과 같이 걸음걸이 및 보폭이 다양하기 때문에, 시각장애인만이 아닌 다양한 사람의 데이터를 모으는 것이 좋을 것 같다.
현재 0명이 공감했습니다.
공감하기