시각장애인을 위한 키오스크 프로그램

사회적약자 해결완료

시각장애인을 위한 키오스크 프로그램

해결 과정 시각장애인은 기존의 키오스크 사용에 불편을 느끼기 때문에 음성으로 모든 기능을 활용할 수 있는 웹 키오스크를 개발하려 한다.

[주요 기능]
- 실시간 데이터베이스
키오스크는 주문하는 정보를 실시간으로 처리해야하기 때문에 Firebase의 Realtime Database를 활용하였다. 사용자의 음성을 저장하여 이를 STT기능으로 텍스트로 변환하고, 이는 실시간으로 데이터베이스에 저장한다. 저장된 정보는 바로 웹페이지에 반영되어 사용자의 신속한 주문을 돕는다.

- 음성 처리
사용자의 음성을 Google Cloud Speech API를 이용하여 처리하였다. STT(Speech to Text) 기능을 이용하여 사용자의 음성을 텍스트로 처리하였다. 또한, TTS(Text to Speech) 기능을 이용하여 텍스트를 음성으로 변환하여 화면이 보이지 않아도 키오스크 주문이 가능하게끔 한다.

- 알러지가 있는 모든 손님을 위한 메뉴 추천
디지털 소외계층인 시각장애인은 주문하려는 메뉴에 어떤 재료들이 포함되어 있는지 파악하기 어렵다. 따라서 이 프로젝트에서는 알러지가 있는 모든 손님들을 위해 메뉴를 추천해주는 서비스를 구현한다.

- 시각장애인의 답답함 해소
시각장애인은 키오스크가 어떤 상태인지 파악하기 힘들다. 따라서 이 프로젝트에서는 키오스크의 화면이 넘어갈 때마다 "다음 화면으로 이동합니다."와 같은 음성을 넣고, 선택한 메뉴가 맞는지 다시 한 번 음성으로 확인시켜 준다. 또한, 시각장애인이 원하는 정확한 메뉴를 주문할 수 있도록 메인 메뉴 뿐만아니라 사이드 메뉴도 음성으로 주문할 수 있도록 돕는다. 예를 들어, 케찹 5개, 콜라, 감자튀김 등을 음성으로 주문할 수 있도록 한다.

- 매니저 계정과의 연동
음식점의 매니저가 날마다 판매하려는 메뉴들로 메뉴판을 구성할 수 있도록 하는 기능을 구현한다. 만약 매니저가 A메뉴, B메뉴를 메뉴판에 설정한다면 키오스크는 음성으로 "오늘의 판매 메뉴는 A, B 입니다."라고 안내한다. 또한, 매니저는 결제가 안되는 손님을 위해 자신의 계정으로 결제를 처리할 수 있는 기능을 구현한다.

- 오늘의 추천메뉴
음식점의 매니저가 오늘의 추천메뉴와 추천문구를 설정하면 메뉴판에 드러나도록 한다.

[기술]
프론트 팀과 백엔드 팀으로 나눠서 협업을 진행한다.
-프론트 팀
사용 언어: javascript, HTML, css
개발 툴: eclipse
서버: Apache Tomcat9

-백엔드 팀
사용 언어: Python 3.7.9
API: Google Cloud Speech to Text, Google Cloud Text to Speech
개발 툴: Pycharm

-공통
웹 호스팅: 닷홈
상황 공유: Slack
데이터베이스: Firebase
코드 공유: github

개발 중인 웹 페이지의 주소: http://grsn1.dothome.co.kr/page_login/client_or_manager.html
개발 중인 소스코드: https://github.com/openSW-GRSN/GRSN

문제해결 플랫폼

시각장애인을 위한 키오스크 프로그램

공개SW 문제해결 플랫폼

시각장애인을 위한 키오스크 프로그램

참여자 4

공개SW 문제해결 플랫폼