KR20210073856A - 휴대용 수화 번역기 및 수화 번역 방법 - Google Patents

휴대용 수화 번역기 및 수화 번역 방법 Download PDF

Info

Publication number
KR20210073856A
KR20210073856A KR1020190164586A KR20190164586A KR20210073856A KR 20210073856 A KR20210073856 A KR 20210073856A KR 1020190164586 A KR1020190164586 A KR 1020190164586A KR 20190164586 A KR20190164586 A KR 20190164586A KR 20210073856 A KR20210073856 A KR 20210073856A
Authority
KR
South Korea
Prior art keywords
language
text
voice
sign language
body expression
Prior art date
Application number
KR1020190164586A
Other languages
English (en)
Inventor
황정환
안이삭
강지연
육성현
유형석
Original Assignee
황정환
유형석
육성현
안이삭
강지연
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 황정환, 유형석, 육성현, 안이삭, 강지연 filed Critical 황정환
Priority to KR1020190164586A priority Critical patent/KR20210073856A/ko
Publication of KR20210073856A publication Critical patent/KR20210073856A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/00355—
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

휴대용 수화 번역기 및 수화 번역 방법에 제공된다. 휴대용 수화 번역기는 제1 사용자가 신체로 표현한 신체 표현 언어를 인식하고, 인식된 상기 신체 표현 언어를 문자로 변환하고, 상기 변환된 문자를 음성으로 출력하는 제1 변환부와; 제2 사용자가 음성으로 표현한 음성 언어를 인식하고, 인식된 상기 음성 언어를 문자로 변환하고, 상기 변환된 문자를 표시하는 제2 변환부를 포함할 수 있다.

Description

휴대용 수화 번역기 및 수화 번역 방법{PORTABLE SIGN LANGUAUGE TRANSLATOR AND SIGN LANGUAUGE TRANSLATION METHOD USING THE SAME}
본 발명은 수화 번역기 및 수화 번역 방법에 대한 것으로, 보다 구체적으로 농아인과 비장애인 사이의 의사 소통을 수행할 수 있는 휴대용 수화 번역기 및 이를 이용하는 수화 번역 방법에 관한 것이다.
농아인의 경우 수화를 못하는 가족과의 대화에서부터 병원, 공공기관까지 수화통역사가 동행해야 하는 불편함이 있고, 수많은 농아인을 위하여 긴급한 일이 아닌 일상 생활까지 통역을 해줄 수 있는 통역사 수가 절대적으로 부족한 것이 현실이다.
또한, 통역사를 동행한다 하더라도 통역하는 시간을 기다려주지 않는 상황이 많아 비장애인과의 대화를 피하는 농아인이 많고, 외국과 달리 한국은 수화 번역기기에 대한 개발이 제대로 이루어지지 않고 있는 실정이다.
따라서, 농아인과 비장애인의 대화가 어렵다는 편견을 깨고 친숙한 감정을 가질 수 있고, 농아인들이 사회적 편견이나 인식을 해소할 수 있는 기술 개발이 필요하다.
본 발명이 해결하고자 하는 과제는 키넥트로 손과 몸을 감지할 수 있도록 함으로써 지화뿐이 아닌 문장을 표현할 수 있는 휴대용 수화 번역기를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 수화 인식성을 높이고, 동작(궤적) 인식의 성능을 향상시키는 휴대용 수화 번역기를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 정지 영상 또는 이미지만이 아닌 움직임이 존재하는 수화에 대해서도 인식할 수 있는 휴대용 수화 번역기를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 지화를 이용하여 문장을 만들 수 있도록 자음과 모음을 합치는 코드를 활용한 휴대용 수화 번역기를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 TTS(Text-to-Speech)와 STT(Speech-to-Text)를 이용하여 일반인과 대화할 수 있는 휴대용 수화 번역기를 제공하는 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재에 의해 제안되는 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 휴대용 수화 번역기는 제1 사용자가 신체로 표현한 신체 표현 언어를 인식하고, 인식된 상기 신체 표현 언어를 문자로 변환하고, 상기 변환된 문자를 음성으로 출력하는 제1 변환부와; 제2 사용자가 음성으로 표현한 음성 언어를 인식하고, 인식된 상기 음성 언어를 문자로 변환하고, 상기 변환된 문자를 표시하는 제2 변환부를 포함할 수 있다.
상기 제1 변환부는, 상기 신체 표현 언어를 촬상하여 인식하는 키넥트부와; 인식된 상기 신체 표현 언어에 대응하는 문자를 딥러닝을 통하여 학습함으로써 상기 신체 표현 언어를 문자로 변환하는 딥러닝 학습부와, 상기 변환된 문자를 음성으로 변환하여 출력하는 TTS(Text-to-Speech)부를 포함할 수 있다.
상기 제2 변환부는, 상기 음성 언어를 수신하는 음성 수신부와; 수신된 상기 음성 언어를 문자로 변환하는 STT(speech-to-Text)부를 포함할 수 있다.
상기 제1 사용자의 신체 표현 언어, 상기 변환된 문자를 표시하는 디스플레이부를 더 포함할 수 있다.
상기 신체 표현 언어는 지화를 포함할 수 있고, 상기 딥러닝 학습부는 인식된 지화를 합쳐서 문장으로 합성할 수 있다.
상기 신체 표현 언어는 수화를 포함할 수 있고, 상기 딥러닝 학습부는 상기 수화에 대응하는 기저장된 영상을 검색하고, 검색된 영상에 대응하는 문자를 추출할 수 있다.
또는, 상기 제1 변환부는 딥러닝 학습부 대신 인식된 상기 신체 표현 언어에 대응하는 문자를 딥러닝을 통하여 학습함으로써 상기 신체 표현 언어를 문자로 변환하는 외부의 딥러닝 학습 서버와 통신하는 통신부를 포함할 수 있다.
이 경우, 딥러닝 학습 서버는 인식된 지화를 합쳐서 문장으로 합성할 수 있고, 상기 수화에 대응하는 기저장된 영상을 검색하고, 검색된 영상에 대응하는 문자를 추출할 수 있다.
본 발명의 다른 실시 예에 따른 수화 번역 방법은 제1 사용자가 신체로 표현한 신체 표현 언어를 인식하는 단계와; 인식된 상기 신체 표현 언어를 문자로 변환하고, 상기 변환된 문자를 음성으로 출력하는 단계와; 제2 사용자가 음성으로 표현한 음성 언어를 인식하는 단계와; 인식된 상기 음성 언어를 문자로 변환하고, 상기 변환된 문자를 표시하는 단계를 포함할 수 있다.
상기 변환된 문자를 음성으로 출력하는 단계는, 인식된 상기 신체 표현 언어에 대응하는 문자를 딥러닝을 통하여 학습함으로써 상기 신체 표현 언어를 문자로 변환할 수 있다.
본 발명에 따른 실시 예들에 의하면, 농아인과 비장애인 사이에 제3자 없이 대화할 수 있는 휴대용 수화 번역기가 제공될 수 있다.
또한, 본 발명에 따른 실시 예들에 의하면, 실시간으로 수화번역을 할 수 있는 휴대용 수화 번역기가 제공될 수 있다.
또한, 본 발명에 따른 실시 예들에 의하면, 농인의 생활 범위가 확대될 수 있는 휴대용 수화 번역기가 제공될 수 있다.
또한, 본 발명에 따른 실시 예들에 의하면, 수화 통역 시 비용을 절감할 수 있는 휴대용 수화 번역기가 제공될 수 있다.
나아가, 본 발명에 따른 실시 예들에 의하면, 한국만의 수화 번역이 가능한 휴대용 수화 번역기가 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 휴대용 수화 번역기를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 휴대용 수화 번역기의 제어 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 신체 표현 언어 중 지화를 번역하는 것을 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 신체 표현 언어 중 수화를 번역하는 것을 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 수화 번역 방법을 설명하기 위한 제어 흐름도이다.
이하에서는 본 발명의 구체적인 실시 예를 도면을 참조하여 상세히 설명한다. 그러나 본 발명의 기술적 사상이 이하에서 기술되는 실시 예들에 의하여 제한되는 것은 아니며, 또 다른 구성요소의 추가, 변경 및 삭제 등에 의해서 퇴보적인 다른 발명이나 본 발명의 기술적 사상의 범위 내에 포함되는 다른 실시예들을 용이하게 제안할 수 있다.
본 발명에서 사용되는 용어는 가능한 한 현재 해당 기술과 관련하여 널리 사용되는 일반적인 용어를 선택하였으나, 특별한 경우에는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 그 의미를 상세히 기재하였다. 그러므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 미리 밝혀둔다. 이하에서 기술하는 설명에 있어서, 단어 '포함하는'은 열거된 것과 다른 구성요소들 또는 단계들의 존재를 배제하지 않는다.
기존의 농아인들은 적절한 번역기를 활용하지 못하고 있는 실정이다. 즉, 기존에는 농아인과 비장애인이 대화하기 위해서 수화 통역사가 필요하였다. 본 발명은 농아인과 비장애인 간에 휴대용 수화 번역기를 사용하여 농아인과 비장애인 사이에 제3자 없이 1:1 대화가 가능하도록 한다.
또한, 기존에는 농아인과 비장애인 간의 의사 소통을 위하여 텍스트를 입력하는 번거로움이 존재했지만, 본 발명에 따르면 실시간으로 수화 번역이 가능함으로 농아인과 비장애인 사이 의사소통의 불편함이 감소될 수 있다.
또한, 간편하고 효과적인 수화 번역을 통하여 특수한 상황이 아니더라도 여러 사회에 참여할 수 있어 농아인이 이전보다 생활 범위가 더 확대되는 효과가 있다.
또한, 실제 농아인이 수화 통역사를 무료로 이용할 수 있는 횟수와 시간이 한정되어 있어 이 시간을 넘기면 개인적으로 고용해야 하는 문제점도 본 발명에 따르면 해결될 수 있다. 즉, 본 발명에 따른 휴대용 수화 번역기를 통하여 실질적으로 수화 통역 비용을 절감할 수 있다.
한편, 외국은 농아인을 위한 수화번역 기기가 많지만, 한국은 아직 한국어를 사용한 수화번역 기기가 없는 실정이다. 따라서, 본 발명에 따를 경우, 한국만의 수화번역 기기를 통하여 한국에 있는 농아인들과 비장애인과의 소통에 기여할 수 있다.
이를 위해, 본 발명은 농아인이 수화를 하면 키넥트를 이용해 손의 모양과 동작을 인식하여 문장으로 번역하고, 번역된 문장을 소형 PC에서 음성으로 출력한다. 비장애인이 음성으로 답하면 이를 텍스트로 변경하여 농아인의 디스플레이에 출력하는 휴대용 수화 번역기를 제공하고자 한다.
이하, 도면을 참조하여 본 발명에 따른 실시 예를 설명한다.
도 1은 본 발명의 일 실시 예에 따른 휴대용 수화 번역기를 개략적으로 도시한 도시한 도면이다.
도시된 바와 같이, 본 실시 예에 따른 청각 장애인을 위한 휴대용 수화 통역기(Carrytranslator)는 키넥트(Kinect)와 휴대용 PC(예컨대, Mini PC)로 구성될 수 있다.
사용자가 수화, 즉 신체 표현 언어를 구사하면, 학습한 정보를 기초로 일치하는 글자나 단어를 검색하고, 이를 문장으로 구성하여 휴대용 PC에서 음성으로 상대방에게 전달한다. 이후, 상대방이 음성으로 답하면, 상대방의 음성이 텍스트로 변환되어 휴대용 PC에 출력되게 된다.
본 문서에서 신체 표현 언어는 수화 및 지화를 포함할 수 있다. 수화는 소정 의미를 가지는 단어 또는 문장을 손을 포함하는 몸을 사용한 제스처로 표현하는 것일 수 있다. 지화는 한글의 자음 또는 모음을 손가락이나 팔로 표현하는 것일 수 있다.
본 실시 예에 따른 휴대용 수화 번역기는 히스토그램(Histogram Of Gradient) 과 SVM(Support vector machine)을 이용하거나 수화번역 장갑을 이용하는 기존의 구세대 방법과는 달리, 정확도를 높일 수 있도록 딥러닝 기술을 이용할 수 있다.
따라서, 기존의 수화 번역기라고 불리는 프로그램은 장갑을 이용함으로 지화만 나타낼 수 있는데 반하여, 본 발명에 따른 휴대용 수화 통역기는 영상을 학습함으로써 수화자의 수화를 문장으로 표현해 줄 수 있다. 또한, 지화를 나타내는 것뿐만 아니라, 그 동안 표출했던 지화를 합쳐서 문장으로 표현할 수 있다. 나아가, 이렇게 완성된 문장을 TTS(Text-to-Speech)를 이용하여 음성으로 출력되게 하고 STT(Speech-to-Text)를 이용하여 텍스트로 표현하여 일반인과 대화할 수 있도록 한다.
이를 통하여 농아인들이 영상을 통하여 직접 자신의 수화를 학습할 수 있도록 함으로써 수화 번역기의 정확도를 향상시킬 수 있다.
기존의 수화 번역기와 달리 키넥트와 윈도우가 깔린 컴퓨터에 matlab과 같은 프로그램을 설치함으로써 장소에 무관하게 사용할 수 있으며, 기존의 컴퓨터뿐만 아닌 태블릿 PC 또는 휴대용 전화기와 같은 모바일 디지털 기기로도 구현 가능함으로써 휴대성을 높였다.
도 2는 본 발명의 일 실시 예에 따른 휴대용 수화 번역기의 제어 블록도이다.
도시된 바와 같이, 휴대용 수화 번역기(100)는 제1 변환부(110), 제2 변환부(120) 및 디스플레이부(130)를 포함할 수 있고, 외부의 딥러닝 학습 서버(200)와 통신할 수 있다.
실시 예에 따라, 휴대용 수화 번역기(100)는 제1 변환부(110) 및 제2 변환부(120)를 제어하는 제어부(미도시)를 포함하거나, 제1 변환부(110) 및 제2 변환부(120) 각각이 제어 기능을 포함하여 다른 구성요소들과 통신하면서 변환된 문자 정보를 송수신할 수도 있다.
제1 변환부(110)는 제1 사용자(A)가 신체로 표현한 신체 표현 언어를 인식하고, 인식된 신체 표현 언어를 문자로 변환하고, 변환된 문자를 음성으로 출력할 수 있다. 이를 위해, 제1 변환부(110)는 통신부(113)와 키넥트부(111) 및 TTS(Text-to-Speech)부(115)를 포함할 수 있다.
제2 변환부(120)는 제2 사용자(B)가 음성으로 표현한 음성 언어를 인식하고, 인식된 음성 언어를 문자로 변환하며, 변환된 문자를 표시할 수 있다. 이를 위해, 제2 변환부(120)는 음성 수신부(121) 및 STT(speech-to-Text)부(123)를 포함할 수 있다.
일반적으로, 제1 사용자(A)는 장애를 가진 농아인일 수 있고, 제2 사용자(B)는 제1 사용자(A)와 대화하는 상대방으로써, 수화 또는 지화를 이해하지 못하는 사람이거나 대화를 할 수 있는 사람일 수 있다.
키넥트부(111)는 제1 사용자(A)의 신체 표현 언어를 촬상하여 인식하며, 이를 위해 다양한 센서들을 포함할 수 있다. 예를 들어, 키넥트부(111)는 카메라와 같은 촬상부를 포함할 수 있다.
본 실시 예에 따른 키넥트부(111)는 뼈대 추적 기술을 이용하며, 센서로부터 획득한 관절 정보를 이용하여 손을 추적할 수 있고, 다른 예에 따라 센서로부터 획득한 관절 정보를 이용하여 손이 아닌 몸의 상체만을 추적하도록 설정될 수도 있다.
통신부(113)는 외부의 딥러닝 학습 서버(200)와 통신을 수행할 수 있다. 여기서, 딥러닝 학습 서버(200)는 인식된 신체 표현 언어에 대응하는 문자를 딥러닝을 통하여 학습함으로써 신체 표현 언어를 문자로 변환할 수 있다.
딥러닝 학습 서버(200)는 딥러닝을 통하여 인식된 영상에 대응하는 문자를 검색 또는 검출할 수 있다. 이를 위하여, 딥러닝 학습 서버(200)는 이미지를 학습된 합성곱 인공신경망(Convolutional Neural Network: CNN)인 GoogLeNet으로 입력 마지막 층을 새로운 클래스로 분류할 수 있도록 변경하여 심층 학습을 진행한다. 모든 과정이 완료되면 유방향 비순환 그래프 신경망(Directed Acyclic Graph Network) 객체가 생성될 수 있다. 동작(궤적) 데이터 학습을 위해, 동영상을 연속적인 특징 벡터로 바꾸어 GoogLeNet으로 입력한다. 특징을 각 프레임마다 추출하고, 구조를 변경하여 장기간 단기 기억(Long Short-Term Memory) 신경망에서 심층 학습을 진행할 수 있다. 연속된 벡터 결과를 분류하여 출력층으로 전달하며, 모든 과정이 완료되면 시계열 신경망(Series Network) 객체가 생성될 수 있다. 이를 통하여 이미지 학습을 통한 문자 생성이 가능하다.
또는 본 발명의 다른 실시 예에 따르면, 휴대용 수화 번역기(100)는 딥러닝 학습 서버(200)와 통신을 수행하지 않고, 내부에 딥러닝 학습부를 포함하여 이를 이를 통하여 직접 신체 표현 언어에 대응하는 문자를 출력할 수도 있다.
TTS부(115)는 변환된 문자를 음성으로 변환하여 출력할 수 있다. 일 예로, TTS부(115)는 구글 API를 활용하여 키(KEY)값 입력 후 음성을 녹음하여 텍스트로 출력할 수 있다. 즉, 지화나 수화로 나타난 문장을 음성으로 출력하여 제2 사용자(B)에게 전달한다. TTS부(115)는 음성을 출력하는 스피커를 포함할 수 있다.
음성 수신부(121)는 제2 사용자(B)의 음성 언어를 수신하는 마이크로 구현될 수 있다.
STT부(123)는 음성 언어를 문자로 변환하며 이를 위하여 스피커를 포함할 수 있다.
휴대용 수화 번역기(100)의 디스플레이부(130)는 도 3 내지 도 4에 도시된 바와 같이, 제1 사용자(A)의 신체 표현 언어 및 변환된 문자를 표시할 수 있다.
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 신체 표현 언어 중 지화를 번역하는 것을 도시한 도면이다.
도 3a는 제1 사용자가 [ㄱ]이라는 지화를 표시하는 것을 도시하고 있고, 도 3b는 [ㅁ]을 표시함으로써 나머지 지화들을 완성한 다음 문장으로 바꿔서 [고드름]으로 나타내는 것을 도시하고 있다.
즉, 도 3a 및 도 3b에 도시된 바와 같이, 본 실시 예에 따른 휴대용 수화 번역기(100)는 사용자가 원하는 글자를 지화로 표시할 수 있고, 이를 문자로 변환할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 신체 표현 언어 중 수화를 번역하는 것을 도시한 도면이다.
상술된 바와 같이 신체 표현 언어는 수화를 포함할 수 있고, 도 4는 촬상된 제1 사용자의 수화 및 이에 대응하는 문자를 표시하고 있는 디스플레이부(130)를 나타내고 있다.
딥러닝 학습 서버 또는 휴대용 수화 번역기(100)의 딥러닝 학습부(미도시)는 저장되어 있는 데이터베이스 중 촬상된 영상에 대응하는 영상을 추출하는 학습을 수행할 수 있고, 촬상된 영상과 유사도가 높은 영상을 추출하고, 추출된 영상에 대응하는 문자를 도출할 수 있다.
이 경우, 디스플레이부(130)의 하단의 [수화]옵션이 활성화되고, 도출된 문자가 [수화 합침 결과] 항목에 표시될 수 있다.
제1 사용자의 수화가 연속적으로 진행되면, 인식된 각 수화가 연결되어 문장 또는 단어로 구현되어 [수화 합침 결과] 항목에 표시될 것이다.
도 5는 본 발명의 일 실시 예에 따른 수화 번역 방법을 설명하기 위한 제어 흐름도이다. 도 5를 참조하여 본 실시 예에 따른 수화 번역 방법을 정리하면 다음과 같다.
우선, 도시된 바와 같이, 휴대용 수화 번역기(100)의 키넥트부(111)는 제1 사용자, 즉 농아인이 신체로 표현한 신체 표현 언어를 인식한다(S510).
여기서, 신체 표현 언어는 수화 및 지화를 포함할 수 있다. 수화는 소정 의미를 가지는 단어 또는 문장을 손을 포함하는 몸을 사용한 제스처로 표현하는 것일 수 있다. 지화는 한글의 자음 또는 모음을 손가락이나 팔로 표현하는 것일 수 있다.
이렇게 신체 표현 언어가 인식되면, 인식된 신체 표현 언어는 문자로 변환된다(S520).
본 실시 예에 따르면, 이러한 문자 인식 과정은 신체 표현 언어에 대응하는 문자를 딥러닝을 통하여 학습함으로써 수행될 수 있다. 이러한 딥러닝 학습은 휴대용 수화 번역기(100) 자체 내에서 수행될 수도 있고, 방대한 양의 빅데이터에 기초하여 딥 러닝 또는 머신 러닝을 수행하는 외부의 학습 서버를 통하여 이루어질 수도 있다.
이렇게 변환된 문자는 TTS부(115)에 의하여 음성으로 변환 및 출력될 수 있다(S530). 음성의 출력을 위하여 TTS부(115)는 스피커를 포함할 수 있다.
이렇게 제1 사용자의 신체 표현 언어가 제2 사용자에게 전달되면, 장애가 없는 일반인에 해당하거나 수화 또는 지화를 습득하지 못한 제2 사용자는 출력된 음성에 대응하여 자신의 의사를 음성으로 표현할 수 있다.
제2 변환부(120)의 음성 수신부(121)는 제2 사용자가 음성으로 표현한 음성 언어를 인식하고(S540), STT부(123)는 인식된 상기 음성 언어를 문자로 변환할 수 있다(S550).
상술된 TTS부(115) 또는 STT부(123)는 휴대용 수화 번역기(100)에 다운로드 되어 실행될 수 있는 어플리케이션으로 구현될 수 있고, 이러한 기능을 수행하는 공지된 다양한 로직으로 구현될 수 있다.
제1 변환부(110) 및 제2 변환부는 설명의 편의상 기능을 수행하는 독립적인 구성요소로 설명되었으나 제1 변환부(110) 및 제2 변환부는 하나의 제어 모듈로 구현될 수 있고, 휴대용 수화 번역기(100)에 내장되어 있는 CPU에 병합되어 구현될 수도 있다.
이렇게 변환된 문자는 디스플레이부(130)에 표시되고(S560), 제1 사용자는 디스플레이부(130)에 표시된 제2 사용자의 음성을 이해할 수 있게 된다.
이와 같이, 본 발명에 따르면, 키넥트로 손을 감지하고 몸을 감지 할 수 있으며, 단일 장소보다 다양한 장소, 각도 그리고 옷 색을 변경하여 촬영하면서 데이터를 생성한 결과, 동작(궤적) 인식에서 50%의 성능 향상을 보인 휴대용 수화 번역기가 제공된다. 또한, 기존에는 없는 영상을 학습하는 방식을 이용함으로써 멈춰있는 이미지만이 아닌 움직임이 들어가는 수화에 대하여 인식할 수 있고, 지화를 이용하여 문장을 만들 수 있도록 자음 모음을 합치는 코드 및 기존 수화번역기에는 없는 TTS와 STT를 삽입 일반인과 대화할 수 있는 휴대용 수화 번역기가 제공된다.
이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위 내에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 휴대용 수화 번역기 110: 제1 변환부
111: 키넥트부 113: 통신부
115: TTS 부 120: 제2 변환부
121: 음성 수신부 123: STT부
130: 디스플레이부 200: 딥러닝 학습 서버

Claims (8)

  1. 휴대용 수화 번역기에 있어서,
    제1 사용자가 신체로 표현한 신체 표현 언어를 인식하고, 인식된 상기 신체 표현 언어를 문자로 변환하고, 상기 변환된 문자를 음성으로 출력하는 제1 변환부와;
    제2 사용자가 음성으로 표현한 음성 언어를 인식하고, 인식된 상기 음성 언어를 문자로 변환하고, 상기 변환된 문자를 표시하는 제2 변환부를 포함하는 것을 특징으로 하는 휴대용 수화 번역기.
  2. 제1항에 있어서,
    상기 제1 변환부는,
    상기 신체 표현 언어를 촬상하여 인식하는 키넥트부와;
    인식된 상기 신체 표현 언어에 대응하는 문자를 딥러닝을 통하여 학습함으로써 상기 신체 표현 언어를 문자로 변환하는 외부의 딥러닝 학습 서버와 통신하는 통신부와,
    상기 변환된 문자를 음성으로 변환하여 출력하는 TTS(Text-to-Speech)부를 포함하는 것을 특징으로 하는 휴대용 수화 번역기.
  3. 제2항에 있어서,
    상기 제2 변환부는,
    상기 음성 언어를 수신하는 음성 수신부와;
    수신된 상기 음성 언어를 문자로 변환하는 STT(Speech-to-Text)부를 포함하는 것을 특징으로 하는 휴대용 수화 번역기.
  4. 제3항에 있어서,
    상기 제1 사용자의 신체 표현 언어 및 상기 변환된 문자를 표시하는 디스플레이부를 더 포함하는 것을 특징으로 하는 휴대용 수화 번역기.
  5. 제4항에 있어서,
    상기 신체 표현 언어는 지화를 포함할 수 있고,
    상기 딥러닝 학습 서버는 인식된 지화를 합쳐서 문장으로 합성하는 것을 특징으로 하는 휴대용 수화 번역기.
  6. 제4항에 있어서,
    상기 신체 표현 언어는 수화를 포함할 수 있고,
    상기 딥러닝 학습 서버는 상기 수화에 대응하는 기저장된 영상을 검색하고, 검색된 영상에 대응하는 문자를 추출하는 것을 특징으로 하는 휴대용 수화 번역기.
  7. 수화 번역 방법에 있어서,
    제1 사용자가 신체로 표현한 신체 표현 언어를 인식하는 단계와;
    인식된 상기 신체 표현 언어를 문자로 변환하고, 상기 변환된 문자를 음성으로 출력하는 단계와;
    제2 사용자가 음성으로 표현한 음성 언어를 인식하는 단계와;
    인식된 상기 음성 언어를 문자로 변환하고, 상기 변환된 문자를 표시하는 단계를 포함하는 것을 특징으로 하는 수화 번역 방법.
  8. 제7항에 있어서,
    상기 변환된 문자를 음성으로 출력하는 단계는,
    인식된 상기 신체 표현 언어에 대응하는 문자를 딥러닝을 통하여 학습함으로써 상기 신체 표현 언어를 문자로 변환하는 것을 특징으로 하는 수화 번역 방법.
KR1020190164586A 2019-12-11 2019-12-11 휴대용 수화 번역기 및 수화 번역 방법 KR20210073856A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190164586A KR20210073856A (ko) 2019-12-11 2019-12-11 휴대용 수화 번역기 및 수화 번역 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190164586A KR20210073856A (ko) 2019-12-11 2019-12-11 휴대용 수화 번역기 및 수화 번역 방법

Publications (1)

Publication Number Publication Date
KR20210073856A true KR20210073856A (ko) 2021-06-21

Family

ID=76599949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190164586A KR20210073856A (ko) 2019-12-11 2019-12-11 휴대용 수화 번역기 및 수화 번역 방법

Country Status (1)

Country Link
KR (1) KR20210073856A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023007213A1 (en) * 2021-07-27 2023-02-02 Telefonaktiebolaget Lm Ericsson (Publ) Translating sensory communications
KR102644927B1 (ko) 2023-10-10 2024-03-06 한규범 수어 통역 서비스를 제공하는 온라인 다방향 소통 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023007213A1 (en) * 2021-07-27 2023-02-02 Telefonaktiebolaget Lm Ericsson (Publ) Translating sensory communications
KR102644927B1 (ko) 2023-10-10 2024-03-06 한규범 수어 통역 서비스를 제공하는 온라인 다방향 소통 시스템

Similar Documents

Publication Publication Date Title
JP4448450B2 (ja) 多モードの音声言語翻訳及び表示
KR101777807B1 (ko) 수화 번역기, 시스템 및 방법
KR102167760B1 (ko) 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템
US10613826B2 (en) Head-mounted display system and operating method for head-mounted display device
US11482134B2 (en) Method, apparatus, and terminal for providing sign language video reflecting appearance of conversation partner
KR102174922B1 (ko) 사용자의 감정 또는 의도를 반영한 대화형 수어-음성 번역 장치 및 음성-수어 번역 장치
Davydov et al. Linguistic models of assistive computer technologies for cognition and communication
Ani et al. Smart Specs: Voice assisted text reading system for visually impaired persons using TTS method
KR20210073856A (ko) 휴대용 수화 번역기 및 수화 번역 방법
JP2002244842A (ja) 音声通訳システム及び音声通訳プログラム
KR100730573B1 (ko) 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템
KR102009150B1 (ko) 수화 또는 지화 인식 장치 및 방법
KR20150045335A (ko) 수화 동작을 인식하여 문자로 변환하는 방법 및 그 장치
KR20090065715A (ko) 언어 장애인용 대화 보조 장치
Gayathri et al. Sign language recognition for deaf and dumb people using android environment
KR102408941B1 (ko) 수어 통역을 제공하는 양방향 대화 시스템
Reddy et al. Indian sign language generation from live audio or text for tamil
KR20150060348A (ko) 장애인 사이의 의사소통 장치 및 방법
Sharma et al. Sign language to speech translation
KR20220076651A (ko) 동작 인식 기반 수어 통역 웹 서비스
Bin Munir et al. A machine learning based sign language interpretation system for communication with deaf-mute people
Dias et al. SignEnd: An Indian Sign Language Assistant
JP2002244841A (ja) 音声表示システム及び音声表示プログラム
Alqahtani et al. Improving the Virtual Educational Platforms for the Deaf and Dumb under the Covid-19 Pandemic Circumstances
Hegde et al. Smart translation for physically challenged people using machine learning