KR102314710B1 - 청각장애인을 위한 수화 번역 서비스 시스템 - Google Patents

청각장애인을 위한 수화 번역 서비스 시스템 Download PDF

Info

Publication number
KR102314710B1
KR102314710B1 KR1020200031926A KR20200031926A KR102314710B1 KR 102314710 B1 KR102314710 B1 KR 102314710B1 KR 1020200031926 A KR1020200031926 A KR 1020200031926A KR 20200031926 A KR20200031926 A KR 20200031926A KR 102314710 B1 KR102314710 B1 KR 102314710B1
Authority
KR
South Korea
Prior art keywords
unit
sign language
data
user
device unit
Prior art date
Application number
KR1020200031926A
Other languages
English (en)
Other versions
KR20210079162A (ko
Inventor
이우준
이강일
Original Assignee
이우준
이강일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이우준, 이강일 filed Critical 이우준
Publication of KR20210079162A publication Critical patent/KR20210079162A/ko
Application granted granted Critical
Publication of KR102314710B1 publication Critical patent/KR102314710B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 청각장애인을 위한 수화 번역 서비스 시스템에 관한 것이다.
일례로, 사용자의 두부에 착용 가능하고, 사용자의 수화 동작 촬영을 통해 손 관절의 움직임을 인식하여 손 관절 움직임 데이터를 생성하고, 상대방의 음성을 인식하여 문자로 표시하며, 외부로부터 수화 번역 데이터를 수신하여 음성으로 출력하는 제1 착용형 장치부; 사용자 손에 착용 가능하고, 손의 움직임을 추적하여 손 움직임 추적 데이터를 생성하는 제2 착용형 장치부; 사용자의 몸에 착용 가능하고, 상기 손 관절 움직임 데이터를 상기 손 움직임 추적 데이터에 기초하여 보정하고, 보정된 수화 동작 데이터를 외부로 송출하여 이에 대한 응답으로 외부로부터 상기 수화 번역 데이터를 수신하여 상기 제1 착용형 장치부로 전송하는 휴대통신 장치부; 및 상기 휴대통신 장치부로부터 상기 수화 동작 데이터를 수신하고, 상기 수화 동작 데이터를 기초로 머신러닝 알고리즘을 통해 상기 수화 번역 데이터를 생성하여 상기 휴대통신 장치부로 전송하는 클라우드 서버부를 포함하는 청각장애인을 위한 수화 번역 서비스 시스템을 개시한다.

Description

청각장애인을 위한 수화 번역 서비스 시스템{SYSTEM SIGN FOR PROVIDING LANGUAGE TRANSLATION SERVICE FOR THE HEARING IMPAIRED PERSON}
본 발명의 실시예는 청각장애인을 위한 수화 번역 서비스 시스템에 관한 것이다.
최근에는 청각장애인을 위한 여러 가지 보조장비가 지속적으로 개발되고 있다.
예를 들어, 손에 착용하는 글러브방식의 수화번역기가 있으나, 이러한 방식은 손의 동작을 잘 인식하는 반면, 착용이 번거롭고 착용한 상태로 일상생활에서의 사용이 불편하다.
또한, 사용자의 수화가 번역되어 그 내용이 음성으로 상대방에게 전달되긴 하지만, 반대로 상대방의 음성을 인식하여 문자로 표시해주는 기능이 부재하여 서로간의 자연스러운 대화가 이뤄지지 않는 문제가 있다.
또한, 피사체까지의 거리에 대한 정보를 인지할 수 있는 3차원 깊이 카메라(3D depth camera)로 손 관절의 움직임을 인식하는 방법의 경우 카메라의 화각에 한계가 있어, 공간을 넓게 사용하는 수화동작의 경우 대응하기 어려운 문제가 있다. 또한, 수화에서는 손 동작뿐만 아니라 얼굴 표정도 표현의 일부이기 때문에, 표정을 감지하는 기능 없이는 수화를 온전히 번역할 수는 없다. 기존의 수화번역기는 얼굴 표정을 감지하는 기능이 부재하여 이러한 점에서 수화 번역의 한계를 가진다. 또한, 수화동작의 효과적인 인지 및 분류를 위해서 머신러닝 기술을 활용하는 것이 필수적이나, 착용형으로 구현하기 위한 소형 임베디드 PC의 경우 해당 기능을 구현하기 위한 충분한 성능을 기대하기 어렵다.
또한, 해당 임베디드 PC등 로컬 디바이스에 수화동작을 기록 및 분석한 데이터를 저장한다면, 새롭게 학습된 수화동작에 대한 데이터를 업데이트 하기 위해서는 복수의 기기의 제작을 전제로 할 경우 모든 기기마다 같은 작업이 반복적으로 진행되어야 하므로 비효율적이라 할 수 있다.
이에 따라, 궁극적으로 이러한 방식적 한계는 향상된 사용자경험(UX)의 제공을 유지하는데 큰 장해가 될 것으로 예상된다.
공개특허공보 제10-2019-0069786호(공개일자: 2019년06월20일)
본 발명의 실시예는, 사용자의 수화 인식 장치의 착용이 보다 용이하고, 상대방의 음성 내용과 사용자 자신의 수화 번역 내용이 자연스러운 대화 형태로 표시되고, 수화 인식 영역을 확장 및 확장에 따른 보정을 수행하여 수화 동작에 대한 정확도와 인식률을 높일 수 있으며, 클라우드 서비스를 기반으로 제작 및 운영하여 보다 효율적인 장치 구현 및 사용이 가능한 청각장애인을 위한 수화 번역 서비스 시스템을 제공한다.
본 발명의 실시예에 따른 청각장애인을 위한 수화 번역 서비스 시스템은, 사용자의 두부에 착용 가능하고, 사용자의 수화 동작 촬영을 통해 손 관절의 움직임을 인식하여 손 관절 움직임 데이터를 생성하고, 상대방의 음성을 인식하여 문자로 표시하며, 외부로부터 수화 번역 데이터를 수신하여 음성으로 출력하는 제1 착용형 장치부; 사용자 손에 착용 가능하고, 손의 움직임을 추적하여 손 움직임 추적 데이터를 생성하는 제2 착용형 장치부; 사용자의 몸에 착용 가능하고, 상기 손 관절 움직임 데이터를 상기 손 움직임 추적 데이터에 기초하여 보정하고, 보정된 수화 동작 데이터를 외부로 송출하여 이에 대한 응답으로 외부로부터 상기 수화 번역 데이터를 수신하여 상기 제1 착용형 장치부로 전송하는 휴대통신 장치부; 및 상기 휴대통신 장치부로부터 상기 수화 동작 데이터를 수신하고, 상기 수화 동작 데이터를 기초로 머신러닝 알고리즘을 통해 상기 수화 번역 데이터를 생성하여 상기 휴대통신 장치부로 전송하는 클라우드 서버부를 포함한다.
또한, 상기 제1 착용형 장치부는, 안경 및 헤드셋 중 적어도 하나의 형태를 이루는 두부 착용 구조물; 상용자의 수화 동작 영역을 촬영하는 3차원 깊이 카메라; 상기 3차원 깊이 카메라를 통해 촬영된 영상에서 손 관절의 움직임을 획득하는 영상 처리부; 상대방의 음성을 입력 받기 위한 마이크부; 상기 마이크부를 통해 입력된 상대방의 음성을 인식하여 텍스트로 변환하여 문자 데이터를 생성하는 SST(Speech To Text) 처리부; 상기 SST 처리부를 통해 변환된 상기 문자 데이터와 상기 클라우드 서버부로부터 수신되는 상기 수화 번역 데이터를 각각 표시하기 위한 디스플레이부; 상기 수화 번역 데이터를 인식하여 음성으로 변환된 음성 데이터를 생성하는 TTS(Text To Speech) 처리부; 상기 음성 데이터를 외부로 출력하기 위한 스피커부; 및 상기 휴대통신 장치부와 무선 통신하기 위한 제1 무선 통신부를 포함할 수 있다.
또한, 상기 제1 착용형 장치부는, 상기 두부 착용 구조물 중 사용자의 얼굴에 밀착되는 부분에 설치되고, 얼굴 표정에 따른 근육의 움직임을 전기적 신호로 감지하여 안면 근육 움직임 데이터를 생성하는 근육 센서부를 더 포함하고, 상기 휴대통신 장치부는, 상기 안면 근육 움직임 데이터를 상기 클라우드 서버부로 송출할 수 있다.
또한, 상기 제2 착용형 장치부는, 반지 형태를 이루는 링 구조물; 자이로센서와 가속도센서를 포함하고, 상기 자이로센서와 상기 가속도센서를 통해 사용자의 수화 동작 시 손의 움직임을 인식 및 추적하여 상기 손 움직임 추적 데이터를 생성하는 트랙 볼; 및 상기 휴대통신 장치부와 무선 통신하기 위한 제2 무선 통신부를 포함할 수 있다.
또한, 상기 트랙 볼은, 회전 및 푸시 동작을 통해 상기 디스플레이부와 연동하여 상기 디스플레이부에서 표시되는 정보에 대한 사용자 명령을 입력 받는 사용자 인터페이스부를 더 포함하고, 상기 디스플레이부는, 사용자의 수화 인식 상태와 상대방의 음성 인식 상태를 각각 구분하여 표시하는 상태 아이콘 표시부; 상기 문자 데이터와 상기 수화 번역 데이터를 채팅 대화 방식으로 표시하는 수화 채팅 실행부; 및 상기 사용자 인터페이스부로부터 수신되는 상기 사용자 명령에 따라 상기 수화 채팅 실행부를 통해 표시되는 정보의 표시영역 이동 및 선택 기능을 제어하는 수화 채팅 제어부를 포함할 수 있다.
또한, 상기 수화 채팅 제어부는, 상기 사용자 인터페이스부의 제1 푸시 패턴에 따라 상기 수화 채팅 실행부를 통해 표시되는 상기 수화 번역 데이터를 중 선택된 수화 번역 데이터를 음성으로 재 출력하도록 제어하고, 상기 사용자 인터페이스부의 제2 푸시 패턴에 따라 상기 수화 채팅 실행부를 통해 표시되는 상기 수화 번역 데이터를 중 선택된 수화 번역 데이터를 삭제하면서 선택된 수화 번역 데이터에 대한 오류 안내 메시지를 음성으로 출력하도록 제어할 수 있다.
또한, 상기 휴대통신 장치부는, 상기 수화 번역 데이터 중 상기 오류 안내 메시지가 출력된 수화 번역 데이터에 번역 오류 메시지를 부가하여 상기 클라우드 서버부로 전송하고, 상기 클라우드 서버부는, 상기 수화 번역 데이터 중 상기 번역 오류 메시지가 부가된 수화 번역 데이터에 대하여 새로운 상기 수화 동작 데이터를 수신하는 경우 머신러닝 알고리즘을 통해 이전과 동일한 수화 번역 데이터가 출력되지 않도록 재 학습시킬 수 있다.
또한, 상기 휴대통신 장치부는, 사용자의 밸트에 결속하여 착용 가능하게 이루어진 벨트 착용부; 상기 제1 착용형 장치부와 상기 제2 착용형 장치부 각각과의 무선 통신을 위한 제3 무선 통신부; 상기 클라우드 서버부와의 무선 통신을 위한 인터넷 무선 통신부; 상기 손 관절 움직임 데이터 중 상기 제1 착용형 장치부의 촬영 화각 범위에서 벗어나는 부분에 대하여 상기 손 움직임 추적 데이터를 이용하여 보정하는 데이터 보정부를 포함할 수 있다.
또한, 상기 클라우드 서버부는, 상기 휴대통신 장치부로부터 상기 수화 동작 데이터 및 상기 안면 근육 움직임 데이터를 수신하고, 상기 수화 번역 데이터를 상기 휴대통신 장치부로 전송하는 데이터 송수신부; 머신러닝 알고리즘을 이용하여 상기 수화 동작 데이터 및 상기 안면 근육 움직임 데이터를 상기 수화 번역 데이터로 생성하는 머신러닝 알고리즘 실행부; 및 상기 휴대통신 장치부에 대한 고유식별정보를 부여하여 상기 휴대통신 장치부 별로 대화 내용 및 상기 대화 내용으로부터 사용자의 상황을 파악하여 기록 관리하는 사용자 관리부를 포함할 수 있다.
본 발명에 따르면, 사용자의 수화 인식 장치의 착용이 보다 용이하고, 상대방의 음성 내용과 사용자 자신의 수화 번역 내용이 자연스러운 대화 형태로 표시되고, 수화 인식 영역을 확장 및 확장에 따른 보정을 수행하여 수화 동작에 대한 정확도와 인식률을 높일 수 있으며, 클라우드 서비스를 기반으로 제작 및 운영하여 보다 효율적인 장치 구현 및 사용이 가능한 청각장애인을 위한 수화 번역 서비스 시스템을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 청각장애인을 위한 수화 번역 서비스 시스템의 전체 구성을 나타낸 개요도이다.
도 2는 본 발명의 실시예에 따른 제1 착용형 장치부의 상세 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 제1 착용형 장치부의 외부 구성과 형태를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 제1 착용형 장치부의 착용 형태를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 디스플레이부의 정보 표시 구성을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 제2 착용형 장치부의 상세 구성을 나타낸 블록도이다.
도 7은 본 발명의 실시예에 따른 제2 착용형 장치부의 외부 구성과 형태를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 휴대통신 장치부의 상세 구성을 나타낸 블록도이다.
도 9는 본 발명의 실시예에 따른 휴대통신 장치부의 구현 형태를 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 클라우드 서버부의 상세 구성을 나타낸 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 실시예에 따른 청각장애인을 위한 수화 번역 서비스 시스템의 전체 구성을 나타낸 개요도이고, 도 2는 본 발명의 실시예에 따른 제1 착용형 장치부의 상세 구성을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 제1 착용형 장치부의 외부 구성과 형태를 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 제1 착용형 장치부의 착용 형태를 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 디스플레이부의 정보 표시 구성을 나타낸 도면이고, 도 6은 본 발명의 실시예에 따른 제2 착용형 장치부의 상세 구성을 나타낸 블록도이고, 도 7은 본 발명의 실시예에 따른 제2 착용형 장치부의 외부 구성과 형태를 나타낸 도면이고, 도 8은 본 발명의 실시예에 따른 휴대통신 장치부의 상세 구성을 나타낸 블록도이고, 도 9는 본 발명의 실시예에 따른 휴대통신 장치부의 구현 형태를 나타낸 도면이며, 도 10은 본 발명의 실시예에 따른 클라우드 서버부의 상세 구성을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 청각장애인을 위한 수화 번역 서비스 시스템(1000)은 제1 착용형 장치부(100), 제2 착용형 장치부(200), 휴대통신 장치부(300) 및 클라우드 서버부(400)를 포함한다.
상기 제1 착용형 장치부(100)는, 사용자의 두부에 착용 가능하고, 사용자의 수화 동작 촬영을 통해 손 관절의 움직임을 인식하여 손 관절 움직임 데이터를 생성하고, 상대방의 음성을 인식하여 문자로 표시하며, 외부로부터 수화 번역 데이터를 수신하여 음성으로 출력할 수 있다.
이를 위해 제1 착용형 장치부(100)는 도 1에 도시된 바와 같이 두부 착용 구조물(101), 3차원 깊이 카메라(102), 영상 처리부(103), 마이크부(104), SST 처리부(105), 디스플레이부(106), TTS 처리부(107), 스피커부(107), 근육 센서부(109) 및 제1 무선 통신부(110) 중 적어도 하나를 포함할 수 있다.
상기 두부 착용 구조물(101)는, 도 3 및 도 4에 도시된 바와 같이 안경 및 헤드셋 중 적어도 하나의 형태를 이루어질 수 있으며, 사용자(청각장애인)의 얼굴에 착용 가능하다.
상기 3차원 깊이 카메라(102)는, 사용자(청각장애인)의 수화 동작 영역을 촬영할 수 있으며, 촬영된 수화 동작 영상은 영상 처리부(103)로 보내질 수 있다. 이러한 3차원 깊이 카메라(102)의 위치는 두부 착용 구조물(101) 즉 안경 구조물에서 눈썹 쪽의 위치에 가깝고 약 10도 정도로 아래로 기울어지도록 설치되어 사용자(청각장애인)의 수화 시 손가락 관절에 대한 움직임이 해당 화각 안에 잘 인식되도록 한다. 즉, 3차원 깊이 카메라(102)의 설치 각도를 통하여 사용자(청각장애인)의 수화 동작 영역 내 손가락의 움직임이 쉽게 인식되도록 할 수 있다는 것이다.
상기 영상 처리부(103)는, 3차원 깊이 카메라(102)를 통해 촬영된 영상에서 손 관절의 움직임을 획득할 수 있다. 이러한 영상 처리부(103)는 3차원 깊이 카메라(102)를 통해 촬영된 영상에서 사용자(청각장애인)의 손가락 관절의 움직임을 감지하고, 특정 단위 시간 동안 각 관절의 평균 위치값과 평균 속도값을 구하고, 이렇게 구해진 각 데이터들을 클라우드 서버부(400)로 전달함으로써, 클라우드 서버부(400)에서 머신러닝 알고리즘을 통해 수화의 의미를 파악할 수 있도록 한다.
상기 마이크부(104)는, 상대방의 음성을 입력 받을 수 있다. 이러한 마이크부(104)는 두부 착용 구조물(101)의 전방에 설치될 수 있으며, 지향성 마이크가 적용되는 것이 바람직하다. 지향성 마이크는 특정 방향에서 들려오는 좁은 각도의 소리만 선택적으로 입력될 수 있도록 구성된 마이크로폰으로 단일 지향성 마이크가 적절하지만, 양 지향성 마이크로폰이 옵션 방식으로 설치될 수 있거나, 단일 지향성 마이크로폰과 양 지향성 마이크로폰이 모두 설치된 상태에서 선택적으로 활성화시킬 수 있다. 이러한 마이크부(104)가 두부 착용 구조물(101)의 전방에 지향성 마이크(또는 선택적으로 양 지향성 마이크로폰)로 설치됨에 따라 사용자(청각장애인)의 전방(또는 후방까지 가능)에 위치한 상대방의 쪽에서 음성 외에 다른 잡음이 입력되고 않고 수음을 원하게 함으로써, SST 처리부(105)의 음성 인식률을 높일 수 있다.
상기 SST 처리부(105)는, 마이크부(104)를 통해 입력된 상대방의 음성을 인식하여 텍스트로 변환(SST: Speech To Text)하여 문자 데이터를 생성할 수 있다. SST 처리부(105)는 음성 파형 분석을 이용하는 원리로, 음성의 반복 패턴을 어떠한 단어나 문장과 매칭시키는 패턴인식을 통해 음성의 내용을 인식할 수 있다.
상기 디스플레이부(106)는, SST 처리부(105)를 통해 변환된 문자 데이터(상대방의 음성이 텍스트로 변환된 정보)와 클라우드 서버부(400)로부터 수신되는 수화 번역 데이터를 각각 표시할 수 있다. 이러한 디스플레이부(106)는 문자, 기호 등의 각종 정보를 표시하기 위해 두부 착용 구조물(안경 구조물)의 렌즈 중 어느 하나가 HMD(Head Mounted Display) 렌즈로 구성되며 사용자(청각장애인)의 시선 통과 영역 상에 상술한 문자 데이터뿐만 아니라, 사용자(청각장애인)의 수화 번역 데이터가 표시될 수 있다. 이러한 디스플레이부(106)는 상태 아이콘 표시부(106a), 수화 채팅 실행부(106b) 및 수화 채팅 제어부(106c)를 포함할 수 있다.
상기 상태 아이콘 표시부(106a)는, 사용자의 수화 인식 상태와 상대방의 음성 인식 상태를 각각 구분하여 표시할 수 있다. 예를 들어, 도 5에 도시된 바와 같이 HMD(Head Mounted Display) 렌즈 상에 채팅 창이 구현될 수 있으며, 채팅 창 상단에 발화자의 수화인식 아이콘(A), 대화 상대방의 음성인식 아이콘(B), 사용자 설정 아이콘(C) 및 대화 상태를 알려주는 플레이버튼 아이콘(D)가 표시되어, 각 상황에 따라 점멸하거나 다른 아이콘 보다 밝게 점등됨으로써 현재 상황이나 상태, 그리고 어떠한 기능이 실행 또는 작동 중임을 사용자(청각장애인)가 보다 쉽게 파악 및 확인할 수 있도록 한다. 이러한 아이콘들의 사용자 명령은 후술하는 트랙 볼(220)의 사용자 인터페이스부(223)를 통해 입력되어 실행될 수 있다.
상기 수화 채팅 실행부(106b)는, 문자 데이터와 수화 번역 데이터를 채팅 대화 방식으로 표시할 수 있다. 예를 들어, 도 5에 도시된 바와 같이 해당 채팅 창에서 좌측 부분에는 상대방의 음성을 문자로 변환한 문자 데이터가 표시되고, 우측에는 사용자(청각장애인)의 수화 번역 데이터가 문자 형태로 표시됨으로써, 일반적인 채팅 프로그램과 같이 구현될 수 있다. 이러한 대화 내용은 시간이 지남에 따라 누적되며, 이전에 주고 받은 대화 내용은 위로 숨겨지며 현재 진행 중인 대화 내용 위주로 채팅 창을 통해 표시될 수 있으며, 기존 대화 내용은 후술하는 수화 채팅 제어부(106c)를 통해 확인 가능하다.
상기 수화 채팅 제어부(106c)는, 후술하는 트랙 볼(220)의 사용자 인터페이스부(223)로부터 수신되는 사용자 명령에 따라 수화 채팅 실행부(106b)를 통해 표시되는 정보의 표시영역 이동 및 선택 기능을 제어할 수 있다. 이에 대한 보다 상세한 설명은 트랙 볼(220)을 통해 좀 더 후술한다.
또한, 수화 채팅 제어부(106c)는, 트랙 볼(220)의 사용자 인터페이스부(223)의 제1 푸시 패턴에 따라 수화 채팅 실행부(106b)를 통해 표시되는 수화 번역 데이터를 중 선택된 수화 번역 데이터를 음성으로 재 출력하도록 제어할 수 있다.
예를 들어, 트랙 볼(220)을 통해 커서나 활성화 영역을 수화 번역 데이터 중 원하는 항목을 짤게 두 번 또는 길게 한번 누르는 등의 제1 푸시 패턴이 발생되는 경우 이에 사용자 인터페이스부(223)는 제1 푸시 패턴에 대응하는 사용자 명령 신호를 발생시켜 제1 착용형 장치부(100)로 전송할 수 있다. 이때 발생되는 사용자 명령 신호는 선택된 수화 번역 데이터에 대한 음성을 출력하라는 명령어를 포함할 수 있다. 이러한 기능은 기존 출력했던 대화 내용을 선택하여 원하는 부분만 마이크부(104)를 통해 재 출력함으로써 사용자(청각장애인)의 수화 번역 데이터를 상대방이 정확히 잘 인지하지 못하는 경우 수화를 다시 반복하는 불편함을 줄일 수 있다.
또한, 수화 채팅 제어부(106c)는, 트랙 볼(220)의 사용자 인터페이스부(223)의 제2 푸시 패턴에 따라 수화 채팅 실행부(106b)를 통해 표시되는 수화 번역 데이터를 중 선택된 수화 번역 데이터를 삭제하면서 선택된 수화 번역 데이터에 대한 오류 안내 메시지를 음성으로 출력하도록 제어할 수 있다.
예를 들어, 트랙 볼(220)을 통해 커서나 활성화 영역을 수화 번역 데이터 중 원하는 항목을 짤게 두 번 또는 길게 한번 누르는 등의 제2 푸시 패턴(제1 푸시 패턴과 구분되는 패턴임)이 발생되는 경우 이에 사용자 인터페이스부(223)는 제2 푸시 패턴에 대응하는 사용자 명령 신호를 발생시켜 제1 착용형 장치부(100)로 전송할 수 있다. 이때 발생되는 사용자 명령 신호는 선택된 수화 번역 데이터에 대한 수화 오류를 알리라는 명령어를 포함할 수 있다. 이러한 기능은 기존 출력했던 대화 내용을 선택하여 원하는 부분에 대하여 수화 내용이 잘못 전달되었음을 상대방에게 알림으로써 대화의 오류를 최소한으로 줄여 주어 대화의 정확도를 향상시킬 수 있다.
또한, 수화 채팅 제어부(106c)는 트랙 볼(220)의 스크롤 기능을 통해 누적되는 대화 기록을 확인할 수 있도록 한다.
상기 TTS 처리부(107)는, 수화 번역 데이터를 인식하여 음성으로 변환(TTS: Text To Speech)된 음성 데이터를 생성할 수 있다. 이는 일반적인 텍스트 데이터를 음성 데이터로 읽어주기 위한 프로세서로 공지된 기술을 적용하여 구현할 수 있다.
상기 스피커부(107)는 TTS 처리부(109)를 통해 생성된 음성 데이터를 외부로 출력할 수 있다.
상기 근육 센서부(109)는, 두부 착용 구조물(101) 중 사용자(청각장애인)의 얼굴에 밀착 또는 접촉되는 부분에 설치되고, 얼굴 표정에 따른 근육의 움직임을 전기적 신호로 감지하여 안면 근육 움직임 데이터를 생성할 수 있다. 이러한 근육 센서부(104)는 안경 구조의 두부 착용 구조물(101)에서 안경 다리 부분에서 아래로 연장된 형태로 구현되어 얼굴의 광대나 볼 쪽 근육에 밀착 또는 접촉되고, 수화 시 사용자(청각장애인)의 얼굴 표현에 따른 근육 움직임을 감지하고, 이를 전기적 신호로 변환하여 안면 근육 움직임 데이터를 생성할 수 있다. 이러한 안면 근육 움직임 데이터는 수화 내용에 담기지 않은 사용자(청각장애인)의 얼굴 표정 그에 따른 감정을 수화 번역 데이터에 반영시킬 수 있다.
상기 제1 무선 통신부(110)는, 휴대통신 장치부(300)와 무선 통신을 위한 구성 요소로 블루투스, 와이파이 등의 근거리무선통신기술이 적용되어 구현될 수 있다.
상기 제2 착용형 장치부(200)는, 사용자 손에 착용 가능하고, 손의 움직임을 추적하여 손 움직임 추적 데이터를 생성할 수 있다. 이를 위해 제2 착용형 장치부(200)는 도 6에 도시된 바와 같이 링 구조물(210), 트랙 볼(220) 및 제2 무선 통신부(230) 중 적어도 하나를 포함할 수 있다.
상기 링 구조물(210)은 도 7에 도시된 바와 같이 반지 형태로 이루어져 기존의 글러브 형태의 수화 감지용 착용 장치에 비해 탈착과 사용이 용이해지도록 한다.
상기 트랙 볼(220)은, 도 6에 도시된 바와 같이 자이로센서(221)와 가속도센서(222)를 포함하고, 자이로센서(221)와 가속도센서(222)를 통해 사용자(청각장애인)의 수화 동작 시 손의 움직임을 인식 및 추적하여 손 움직임 추적 데이터를 생성할 수 있다. 이러한 트랙 볼(220)은 3차원 깊이 카메라(102)의 화각으로 인식할 수 없는 영역에 놓인 손의 수화동작을 인식할 수 있는 보조 장치로서 동작할 수 있다. 즉, 트랙 볼(220)은 자이로센서(221)와 가속도센서(222)를 이용하여 3차원 깊이 카메라(102)의 화각을 벗어나는 움직임 범위가 큰 특정 동작들에 대한 수화 동작을 인식할 수 있도록 한다.
상기 트랙 볼(220)은 회전 및 푸시 동작을 통해 제1 착용형 장치부(100)의 디스플레이부(106)와 연동하여 디스플레이부(106)에서 표시되는 정보에 대한 사용자 명령을 입력 받는 사용자 인터페이스부(106)를 더 포함하여 구성될 수 있다. 이러한 트랙 볼(220)은 말 그대로 외형이 볼과 같은 형태로 구현되어 사용자(청각장애인)의 그 상부를 밀거나 당길 경우 제자리에서 회전하는 동작과 하부에 푸시 버튼이 구비되어 있어 마우스 클릭과 같은 동작을 구현할 수 있다. 이러한 동작을 위한 구조를 구비한 트랙 볼(220)은 해당 동작에 의한 사용자 명령 신호를 발생시킬 수 있다. 예를 들어, 사용자(청각장애인)이 트랙 볼(220)을 전, 후, 좌, 우로 돌리게 되면 디스플레이부(106)에 커서가 이동하거나 디스플레이부(106)에서 표시되는 정보 영역이 마우스 오버되어 선택 가능한 영역임을 표시할 수 있으며, 마우스 클릭 동작과 같이 트랙 볼(220)을 누르게 되면 커서가 위치한 영역 또는 마우스 오버된 영역에 대한 특정 실행 명령 값이 입력될 수 있다. 이때, 상술한 바와 같이 제1 푸시 패턴이나 제2 푸시 패턴이 입력되는지에 따라 선택 가능한 영역에 대한 실행 내용이 달라질 수 있다.
예를 들어, 트랙 볼(220)을 통해 커서나 활성화 영역을 수화 번역 데이터 중 원하는 항목을 짤게 두 번 또는 길게 한번 누르는 등의 제1 푸시 패턴이 발생되는 경우 이에 사용자 인터페이스부(223)는 제1 푸시 패턴에 대응하는 사용자 명령 신호를 발생시켜 제1 착용형 장치부(100)로 전송할 수 있다. 이때 발생되는 사용자 명령 신호는 선택된 수화 번역 데이터에 대한 음성을 출력하라는 명령어를 포함할 수 있다. 이러한 기능은 기존 출력했던 대화 내용을 선택하여 원하는 부분만 마이크부(104)를 통해 재 출력함으로써 사용자(청각장애인)의 수화 번역 데이터를 상대방이 정확히 잘 인지하지 못하는 경우 수화를 다시 반복하는 불편함을 줄일 수 있다.
또한, 트랙 볼(220)을 통해 커서나 활성화 영역을 수화 번역 데이터 중 원하는 항목을 짤게 두 번 또는 길게 한번 누르는 등의 제2 푸시 패턴(제1 푸시 패턴과 구분되는 패턴임)이 발생되는 경우 이에 사용자 인터페이스부(223)는 제2 푸시 패턴에 대응하는 사용자 명령 신호를 발생시켜 제1 착용형 장치부(100)로 전송할 수 있다. 이때 발생되는 사용자 명령 신호는 선택된 수화 번역 데이터에 대한 수화 오류를 알리라는 명령어를 포함할 수 있다. 이러한 기능은 기존 출력했던 대화 내용을 선택하여 원하는 부분에 대하여 수화 내용이 잘못 전달되었음을 상대방에게 알림으로써 대화의 오류를 최소한으로 줄여 주어 대화의 정확도를 향상시킬 수 있다.
상기 제2 무선 통신부(230)는, 휴대통신 장치부(300)와 무선 통신을 위한 구성 요소로 블루투스, 와이파이 등의 근거리무선통신기술이 적용되어 구현될 수 있다.
상기 휴대통신 장치부(300)는, 사용자(청각장애인)의 몸에 착용 가능하고, 손 관절 움직임 데이터를 손 움직임 추적 데이터에 기초하여 보정하고, 보정된 수화 동작 데이터를 외부로 송출하여 이에 대한 응답으로 클라우드 서버부(400)로부터 수화 번역 데이터를 수신하여 제1 착용형 장치부(100)로 전송할 수 있다.
이를 위해 휴대통신 장치부(300)는 도 8에 도시된 바와 같이 벨트 착용부(310), 제3 무선 통신부(320), 인터넷 무선 통신부(330) 및 데이터 보정부(340) 중 적어도 하나를 포함할 수 있다.
상기 벨트 착용부(310)는, 도 9에 도시된 바와 같이 사용자(청각장애인)의 밸트에 결속하여 착용 가능하게 이루지도록 탄성력을 갖는 후크가 형성될 수 있으나, 본 실시예에서는 이와 같은 착용 형태로만 한정하는 것이 아니라 다양한 방식으로 사용자(청각장애인)의 의복에 탈착할 수 있는 구조를 포함하여 이루어질 수 있다.
상기 제3 무선 통신부(320)는, 제1 착용형 장치부(100)와 제2 착용형 장치부(200) 각각과의 무선 통신을 위한 구성 요소로 블루투스, 와이파이 등의 근거리무선통신기술이 적용되어 구현될 수 있다.
상기 인터넷 무선 통신부(330)는, 클라우드 서버부(400)와의 안정적이고 빠른 무선 통신을 위해 5G 기술이 사용된 무선인터넷 송수신 기능을 포함하고 제1 착용형 장치부(100) 및 각종 센서와의 연결을 위한 케이블 포트를 포함할 수 있다. 이에 따라 휴대통신 장치부(300)는, 제1 착용형 장치부(100)를 통해 생성된 손 관절 움직임 데이터와 제2 착용형 장치부(200)를 통해 생성된 손 움직임 추적 데이터에 기초하여 생성되는 수화 동작 데이터를 클라우드 서버부(400)로 전송하며, 이뿐 아니라, 근육 센서부(109)에서 얻은 안면 근육 움직임 데이터를 제1 착용형 장치부(100)로부터 받아 클라우드 서버부(400)로 송출할 수 있다.
상기 데이터 보정부(340)는, 손 관절 움직임 데이터 중 제1 착용형 장치부(100)의 촬영 화각 범위에서 벗어나는 부분에 대하여 제2 착용형 장치부(200)로부터 얻은 손 움직임 추적 데이터를 이용하여 보정할 수 있다. 예를 들어, 제1 착용형 장치부(100)를 통해 손 관절 움직임 데이터를 얻되, 해당 데이터를 얻기 위한 과정에서 사용자(청각장애인)이 3차원 깊이 카메라(102)의 화각 범위 외의 큰 움직임으로 수화 동작을 한 경우, 해당 상황에서 2 착용형 장치부(200)를 통해 얻은 손 움직임 추적 데이터를 손 관절 움직임 데이터의 보정 값으로 적용하여 손 관절 움직임 데이터를 정확히 보정할 수 있다. 이러한 데이터 보정부(340)는 소형화, 경량화를 위해 회로단계부터 최적화된 PCB 보드 형태로 제작 및 구성될 수 있다. 또한, 휴대통신 장치부(300)는 별도의 제어부(미도시)를 구비하여 본 실시예의 구성요소들의 전체적인 동작을 제어하기 위한 소프트웨어와 더불어, 번역된 수화와 상대방의 음성을 인식한 내용을 표시해주는 소프트웨어를 포함하며, 마이크로프로세서 혹은 임베디드 PC등을 이용하여 구성될 수 있다. 한편, 수화 채팅 제어부(106c)가 트랙 볼(220)의 사용자 인터페이스부(223)의 제2 푸시 패턴에 따라 수화 채팅 실행부(106b)를 통해 표시되는 수화 번역 데이터를 중 선택된 수화 번역 데이터를 삭제하면서 선택된 수화 번역 데이터에 대한 오류 안내 메시지를 음성으로 출력하도록 제어할 수 있는데, 이때 휴대통신 장치부(300)는, 수화 번역 데이터 중 오류 안내 메시지가 출력된 수화 번역 데이터에 번역 오류 메시지를 부가하여 클라우드 서버부(400)로 전송할 수 있다. 이러한 번역 오류 메시지는 클라우드 서버부(400)의 머신러닝 알고리즘 실행부(420)를 통해 이전과 동일한 수화 번역 데이터가 출력되지 않도록 재 학습시킬 수 있도록 한다.
상술한 제1 착용형 장치부(100), 제2 착용형 장치부(200) 및 휴대통신 장치부(300)에는 각각 전원부(미도시)가 구비될 수 있으며, 이러한 전원부(미도시)를 통해 실외에서도 일정 시간 자유롭게 활동 가능하도록 재충전 가능한 배터리를 구비하여 구성될 수 있고, 전원부(미도시)는 충전 후 하루 이상 사용이 가능한 정도의 용량을 구비하는 것이 바람직하나, 반드시 이러한 구성으로 한정되는 것은 아니며, 배터리의 용량, 무게, 가격 등을 고려하여 필요에 따라 적절하게 구성될 수 있다. 상기 클라우드 서버부(400)는, 휴대통신 장치부(300)로부터 수화 동작 데이터를 수신하고, 수화 동작 데이터를 기초로 머신러닝 알고리즘을 통해 수화 번역 데이터를 생성하여 휴대통신 장치부(300)로 전송할 수 있다. 이를 위해 클라우드 서버부(400)는 도 10에 도시된 바와 같이 데이터 송수신부(410), 머신러닝 알고리즘 실행부(420) 및 사용자 관리부(430) 중 적어도 하나를 포함할 수 있다.
상기 데이터 송수신부(410)는, 무선 인터넷 통신을 통하여 휴대통신 장치부(300)로부터 수화 동작 데이터를 수신하고, 수화 번역 데이터를 휴대통신 장치부(300)로 전송할 수 있다.
상기 머신러닝 알고리즘 실행부(420)는, 머신러닝 알고리즘을 이용하여 수화 동작 데이터와 안면 근육 움직임 데이터를 상기 수화 번역 데이터로 생성할 수 있다.
또한, 머신러닝 알고리즘 실행부(420)는, 수화 번역 데이터 중 번역 오류 메시지가 부가된 수화 번역 데이터에 대하여 새로운 수화 동작 데이터를 수신하는 경우 머신러닝 알고리즘을 통해 이전과 동일한 수화 번역 데이터가 출력되지 않도록 재 학습시킬 수 있다. 즉, 사용자(청각장애인)이 1차로 수시한 수화 번역 데이터를 텍스트로 확인한 후 자신이 의도한 수화 내용과 다를 내용으로 번역된 경우 해당 대화 내용을 선택하고, 해당 내용에 대한 번역 오류 메시지를 생성하여 해당 내용에 대한 고유식별정보(사용자 장치 고유ID, 데이터 수신시간, 내용 등을 이용한 고유코드로 이루어진 정보)와 함께 수신함으로써, 어떠한 내용에 대한 번역 오류가 있는지 확인하고, 해당 내용에 대하여 종전에 번역된 내용으로 해석되지 않도록 머신러닝 알고리즘에 대한 재 학습을 실시할 수 있다.
상기 사용자 관리부(430)는, 휴대통신 장치부(300)에 대한 고유식별정보를 부여하여 휴대통신 장치부(300) 별로 대화 내용 및 대화 내용으로부터 사용자(청각장애인)의 상황을 파악하여 기록 관리할 수 있다. 즉, 어떠한 사용자(청각장애인) 별로 클라우드 서비스를 각각 받을 수 있고, 해당 서비스를 통해 어떠한 수화의 변역이 이루어졌는지 확인할 수 있으며, 누적되는 번역 데이터에 따라 머신러닝 알고리즘이 지속적으로 향상될 수 있다.
본 실시예에 따르면, 안경 형태의 착용형 장치에 내장된 3차원 깊이 카메라를 통해 손 관절의 움직임을 인식함으로써, 기존의 글러브와 같은 별도의 장치를 착용하는 번거로움 없이 수화를 인식할 수 있다.
또한, 얼굴 근육의 움직임을 포착하는 근육 센서를 이용해 수화를 구현하는 중요 수단인 얼굴 표정에 대한 인식이 가능하다. 또한, 자이로센서와 가속도센서가 내장된 반지 형태의 착용형 장치를 함께 사용하여 3차원 깊이 카메라의 데이터를 보정하고 화각을 벗어나는 움직임의 범위가 큰 특정 동작들에도 효과적으로 대응할 수 있다.
또한 디스플레이를 통해 시각적으로 피드백이 전달되는 컨트롤러로서의 트랙 볼이 내장되어 손쉬운 소프트웨어 제어가 가능하다. 또한, 대화 상대의 음성을 안경 형태의 착용형 장치에 내장된 마이크로 입력 받아 음성인식 기술을 통해 디스플레이에 문자 형태로 표시함으로써 상대방이 말하는 내용을 청각장애인인 발화자가 인식할 수 있다.
또한, 수화 동작의 의미 분석에 머신러닝 기술을 사용하고 사용자의 동작 데이터가 클라우드 서버에 보내져서 지속적으로 수집되기 때문에 수화 동작에 대한 인식률과 정확도가 시간이 지남에 따라 향상될 수 있다. 또한, 머신러닝과 관계된 연산은 클라우드 서버부로 전송하여 처리 결과만을 다시 받아오는 방식으로 동작함으로써 장착 장치가 소형화 및 경량화 될 수 있고, 이는 같은 자원으로 더 많은 수의 청각장애인에게 혜택을 줄 수 있는 가능성을 가질 수 있도록 한다.
또한, 학습된 수화 동작에 대한 데이터를 클라우드 서버를 통해 관리함으로써 여러 대의 장치에 최신화된 수화 동작 데이터를 수월하게 전파할 수 있어 양산화에 적합하다.
이상에서 설명한 것은 본 발명에 의한 청각장애인을 위한 길안내 서비스 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
1000: 청각장애인을 위한 수화 번역 서비스 시스템
100: 제1 착용형 장치부
101: 두부 착용 구조물
102: 3차원 깊이 카메라
103: 영상 처리부
104: 마이크부
105: SST 처리부
106: 디스플레이부
106a: 상태 아이콘 표시부
106b: 수화 채팅 실행부
106c: 수화 채팅 제어부
107: TTS 처리부
108: 스피커부
109: 근육 센서부
110: 제1 무선 통신부
200: 제2 착용형 장치부
210: 링 구조물
220: 트랙 볼
221: 자이로센서
222: 가속도센서
223: 사용자 인터페이스부
230: 제2 무선 통신부
300: 휴대통신 장치부
310: 벨트 착용부
320: 제3 무선 통신부
330: 인터넷 무선 통신부
340: 데이터 보정부
400: 클라우드 서버부
410: 데이터 송수신부
420: 머신러닝 알고리즘 실행부
430: 사용자 관리부

Claims (7)

  1. 사용자의 두부에 착용 가능하고, 사용자의 수화 동작 촬영을 통해 손 관절의 움직임을 인식하여 손 관절 움직임 데이터를 생성하고, 상대방의 음성을 인식하여 문자로 표시하며, 외부로부터 수화 번역 데이터를 수신하여 음성으로 출력하는 제1 착용형 장치부;
    사용자 손에 착용 가능하고, 손의 움직임을 추적하여 손 움직임 추적 데이터를 생성하는 제2 착용형 장치부;
    사용자의 몸에 착용 가능하고, 상기 손 관절 움직임 데이터를 상기 손 움직임 추적 데이터에 기초하여 보정하고, 보정된 수화 동작 데이터를 외부로 송출하여 이에 대한 응답으로 외부로부터 상기 수화 번역 데이터를 수신하여 상기 제1 착용형 장치부로 전송하는 휴대통신 장치부; 및
    상기 휴대통신 장치부로부터 상기 수화 동작 데이터를 수신하고, 상기 수화 동작 데이터를 기초로 머신러닝 알고리즘을 통해 상기 수화 번역 데이터를 생성하여 상기 휴대통신 장치부로 전송하는 클라우드 서버부를 포함하고,
    상기 휴대통신 장치부는,
    사용자의 밸트에 결속하여 착용 가능하게 이루어진 벨트 착용부;
    상기 제1 착용형 장치부와 상기 제2 착용형 장치부 각각과의 무선 통신을 위한 제3 무선 통신부;
    상기 클라우드 서버부와의 무선 통신을 위한 인터넷 무선 통신부; 및
    상기 손 관절 움직임 데이터 중 상기 제1 착용형 장치부의 촬영 화각 범위에서 벗어나는 부분에 대하여 상기 손 움직임 추적 데이터를 이용하여 보정하는 데이터 보정부를 포함하는 것을 특징으로 하는 청각장애인을 위한 수화 번역 서비스 시스템.
  2. 제1 항에 있어서,
    상기 제1 착용형 장치부는,
    안경 및 헤드셋 중 적어도 하나의 형태를 이루는 두부 착용 구조물;
    사용자의 수화 동작 영역을 촬영하는 3차원 깊이 카메라;
    상기 3차원 깊이 카메라를 통해 촬영된 영상에서 손 관절의 움직임을 획득하는 영상 처리부;
    상대방의 음성을 입력 받기 위한 마이크부;
    상기 마이크부를 통해 입력된 상대방의 음성을 인식하여 텍스트로 변환하여 문자 데이터를 생성하는 SST(Speech To Text) 처리부;
    상기 SST 처리부를 통해 변환된 상기 문자 데이터와 상기 클라우드 서버부로부터 수신되는 상기 수화 번역 데이터를 각각 표시하기 위한 디스플레이부;
    상기 수화 번역 데이터를 인식하여 음성으로 변환된 음성 데이터를 생성하는 TTS(Text To Speech) 처리부;
    상기 음성 데이터를 외부로 출력하기 위한 스피커부; 및
    상기 휴대통신 장치부와 무선 통신하기 위한 제1 무선 통신부를 포함하는 것을 특징으로 하는 청각장애인을 위한 수화 번역 서비스 시스템.
  3. 제2 항에 있어서,
    상기 제1 착용형 장치부는,
    상기 두부 착용 구조물 중 사용자의 얼굴에 밀착되는 부분에 설치되고, 얼굴 표정에 따른 근육의 움직임을 전기적 신호로 감지하여 안면 근육 움직임 데이터를 생성하는 근육 센서부를 더 포함하고,
    상기 휴대통신 장치부는,
    상기 안면 근육 움직임 데이터를 상기 클라우드 서버부로 송출하는 것을 특징으로 하는 청각장애인을 위한 수화 번역 서비스 시스템.
  4. 제2 항에 있어서,
    상기 제2 착용형 장치부는,
    반지 형태를 이루는 링 구조물;
    자이로센서와 가속도센서를 포함하고, 상기 자이로센서와 상기 가속도센서를 통해 사용자의 수화 동작 시 손의 움직임을 인식 및 추적하여 상기 손 움직임 추적 데이터를 생성하는 트랙 볼; 및
    상기 휴대통신 장치부와 무선 통신하기 위한 제2 무선 통신부를 포함하는 것을 특징으로 하는 청각장애인을 위한 수화 번역 서비스 시스템.
  5. 제4 항에 있어서,
    상기 트랙 볼은,
    회전 및 푸시 동작을 통해 상기 디스플레이부와 연동하여 상기 디스플레이부에서 표시되는 정보에 대한 사용자 명령을 입력 받는 사용자 인터페이스부를 더 포함하고,
    상기 디스플레이부는,
    사용자의 수화 인식 상태와 상대방의 음성 인식 상태를 각각 구분하여 표시하는 상태 아이콘 표시부;
    상기 문자 데이터와 상기 수화 번역 데이터를 채팅 대화 방식으로 표시하는 수화 채팅 실행부; 및
    상기 사용자 인터페이스부로부터 수신되는 상기 사용자 명령에 따라 상기 수화 채팅 실행부를 통해 표시되는 정보의 표시영역 이동 및 선택 기능을 제어하는 수화 채팅 제어부를 포함하는 것을 특징으로 하는 청각장애인을 위한 수화 번역 서비스 시스템.
  6. 삭제
  7. 제3 항에 있어서,
    상기 클라우드 서버부는,
    상기 휴대통신 장치부로부터 상기 수화 동작 데이터 및 상기 안면 근육 움직임 데이터를 수신하고, 상기 수화 번역 데이터를 상기 휴대통신 장치부로 전송하는 데이터 송수신부;
    머신러닝 알고리즘을 이용하여 상기 수화 동작 데이터 및 상기 안면 근육 움직임 데이터를 상기 수화 번역 데이터로 생성하는 머신러닝 알고리즘 실행부; 및
    상기 휴대통신 장치부에 대한 고유식별정보를 부여하여 상기 휴대통신 장치부 별로 대화 내용 및 상기 대화 내용으로부터 사용자의 상황을 파악하여 기록 관리하는 사용자 관리부를 포함하는 것을 특징으로 하는 청각장애인을 위한 수화 번역 서비스 시스템.
KR1020200031926A 2019-12-19 2020-03-16 청각장애인을 위한 수화 번역 서비스 시스템 KR102314710B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190170759 2019-12-19
KR20190170759 2019-12-19

Publications (2)

Publication Number Publication Date
KR20210079162A KR20210079162A (ko) 2021-06-29
KR102314710B1 true KR102314710B1 (ko) 2021-10-19

Family

ID=76626694

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200031926A KR102314710B1 (ko) 2019-12-19 2020-03-16 청각장애인을 위한 수화 번역 서비스 시스템

Country Status (1)

Country Link
KR (1) KR102314710B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102428677B1 (ko) 2021-12-10 2022-08-08 주식회사 위아프렌즈 수어 동영상에 자막을 추가하는 시스템
KR102440894B1 (ko) 2021-12-10 2022-09-06 주식회사 위아프렌즈 수어 동영상에 자막을 추가하는 시스템용 데이터베이스 구축 방법 및 이를 이용한 데이터베이스 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058451A1 (ja) * 2021-10-04 2023-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098424A (ja) 2004-09-28 2006-04-13 Pegasus Net Kk 携帯型ワイヤレス手話翻訳音声化装置
KR101988037B1 (ko) 2018-05-24 2019-06-11 변재형 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450803B1 (ko) * 2016-02-11 2022-10-05 한국전자통신연구원 양방향 수화 번역 장치 및 장치가 수행하는 양방향 수화 번역 방법
KR20190033405A (ko) * 2017-09-21 2019-03-29 민상규 접이식 가상현실 장비
KR20190069786A (ko) 2017-12-12 2019-06-20 왕한호 딥러닝 기반의 수화 및 음성 번역을 위한 청각 장애인용 웨어러블 디바이스

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098424A (ja) 2004-09-28 2006-04-13 Pegasus Net Kk 携帯型ワイヤレス手話翻訳音声化装置
KR101988037B1 (ko) 2018-05-24 2019-06-11 변재형 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102428677B1 (ko) 2021-12-10 2022-08-08 주식회사 위아프렌즈 수어 동영상에 자막을 추가하는 시스템
KR102440894B1 (ko) 2021-12-10 2022-09-06 주식회사 위아프렌즈 수어 동영상에 자막을 추가하는 시스템용 데이터베이스 구축 방법 및 이를 이용한 데이터베이스 장치

Also Published As

Publication number Publication date
KR20210079162A (ko) 2021-06-29

Similar Documents

Publication Publication Date Title
KR102314710B1 (ko) 청각장애인을 위한 수화 번역 서비스 시스템
CN102789313B (zh) 一种用户交互系统和方法
KR102069237B1 (ko) 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법
CN104520787B (zh) 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
KR102102647B1 (ko) 무선 리시버 및 그 제어 방법
CN111052047B (zh) 用于自动手势和手指识别的静脉扫描设备
US20140134575A1 (en) Wearable device to represent braille and control method thereof
CN106164808A (zh) 用于戒指计算设备的设备和方法
CN103324309A (zh) 可穿戴计算机
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP5681865B2 (ja) ユーザーインターフェース装置
WO2015062320A1 (zh) 人体耦合智能信息输入系统及方法
CN106648068A (zh) 一种双手三维动态手势识别方法
CN112947755A (zh) 手势控制方法与装置、电子设备及存储介质
CN111367488A (zh) 语音设备及语音设备的交互方法、设备、存储介质
US20200269421A1 (en) Information processing device, information processing method, and program
US20160034252A1 (en) Smart device control
CN111415421B (zh) 虚拟物体控制方法、装置、存储介质及增强现实设备
US11327576B2 (en) Information processing apparatus, information processing method, and program
CN209746519U (zh) 一种手机鼠标输入系统
CN111401283A (zh) 面部识别方法及装置、电子设备及存储介质
US20230076068A1 (en) Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist-wearable device worn by the user, and methods of use thereof
WO2022179279A1 (zh) 交互方法、电子设备与交互系统
WO2019054037A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN108280189B (zh) 一种基于智能笔的语音搜题方法及系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant