KR102037789B1 - 로봇을 이용한 수화통역시스템 - Google Patents

로봇을 이용한 수화통역시스템 Download PDF

Info

Publication number
KR102037789B1
KR102037789B1 KR1020170167828A KR20170167828A KR102037789B1 KR 102037789 B1 KR102037789 B1 KR 102037789B1 KR 1020170167828 A KR1020170167828 A KR 1020170167828A KR 20170167828 A KR20170167828 A KR 20170167828A KR 102037789 B1 KR102037789 B1 KR 102037789B1
Authority
KR
South Korea
Prior art keywords
sign language
text
unit
voice
robot
Prior art date
Application number
KR1020170167828A
Other languages
English (en)
Other versions
KR20190067662A (ko
Inventor
최동운
이동욱
이덕연
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020170167828A priority Critical patent/KR102037789B1/ko
Publication of KR20190067662A publication Critical patent/KR20190067662A/ko
Application granted granted Critical
Publication of KR102037789B1 publication Critical patent/KR102037789B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 수화통역시스템에 관한 것으로, 더욱 상세하게는 음성을 수화로 통역하고, 수화를 음성 또는 텍스트로 통역함으로써, 수화자와 일반인의 의사소통의 불편함을 해소하고, 음성 또는 수화를 인공지능에 의해서 알고리즘화함으로써, 통역의 정확도를 향상시킬 수 있는 로봇을 이용한 수화통역시스템에 관한 것이다.

Description

로봇을 이용한 수화통역시스템{SIGN LANGUAGE TRANSLATION SYSTEM USING ROBOT}
본 발명은 수화통역시스템에 관한 것으로, 더욱 상세하게는, 수화통역로봇을 사용하여 인공지능을 통한 통역을 수행함으로써, 음성 또는 텍스트와 수화 간의 통역 또는 수화와 음성 또는 텍스트 간의 통역을 수행할 수 있는 로봇을 이용한 수화통역시스템에 관한 것이다.
청각장애는 육체, 정서, 지적 발달에 결정적 영향을 주는 청각 기능이 손상되어, 언어 능력 발달에 지장을 받게 되고, 그 결과 언어의 개념 형성 부족으로 교육, 문화, 다양한 정보의 혜택을 정상인과 동등하게 받기가 어려운 현실이다. 뿐만 아니라 인간으로써의 “삶의 질 저하”를 겪고 있는 게 현실이다.
따라서, 청각장애를 갖고 있는 사람들은 의사를 전달하기 위해서 수화를 많이 사용하게 된다. 일반적으로 이러한 수화는 음성언어와는 달리 손으로 표현되는 비음성언어로서, 음성언어가 청각적으로 이해되고 음성으로 표현되는 청각음성체계임에 반하여 수화는 시각적으로 이해되고 손동작으로 표현되는 시각 운동체계이다.
그러나 상기 수화는 일반 청력장애가 없는 사람(이하, 일반인)이 이용하기 위해서는 별도의 학습이 필요하므로 이를 일반인이 이용하기에는 상당한 노력이 필요하게 되어 비효율적이었다. 따라서, 수화이용자(이하, 수화자)와 일반인의 자연스런 의사소통은 상당한 노력이 필요하게 된다. 이에 따라, 일반인과 수화이용자는 문자로 서로의 의사를 전달하는 방법이 있을 수 있으나, 이는 수화이용자나 일반 청력인 모두에게 문자를 일일이 기록해야 하는 불편함을 주게 되었다.
또한, 수화자와 일반인의 의사소통의 불편함을 해소하기 위해 실시간으로 음성 또는 수화를 통역하는 방법이 필요하게 되었고, 기계를 통해 음성 또는 수화를 번역할 때, 사람이 음성 또는 수화를 입력하게 되므로 사람마다 입력의 차이가 발생되고 이에 따른 통역의 차이가 발생하게 되었다.
따라서, 이러한 수화자와 일반인 간의 양방향 통역이 가능하고, 입력하는 사람에 따른 차이를 보정하여 통역차이가 발생되지 않는 수화통역시스템에 대한 필요성이 대두되고 있는 실정이다.
등록특허공보 제10- 0698942호(2007.03.16.)
본 발명이 이루고자 하는 기술적 과제는 인공지능을 통해 음성을 수화로 통역하고, 수화를 음성 또는 텍스트로 통역하는 수화통역로봇이 구비된 수화통역시스템을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 로봇을 이용한 수화통역시스템은 마이크가 구비된 마이크부를 통해 외부에서 발생되는 음성을 인식하거나 또는 입력장치를 통해 텍스트를 인식하는 음성텍스트인식부, 상기 음성텍스트인식부로부터 인식된 음성 또는 텍스트를 인공지능을 통해 분석하는 음성텍스트분석부, 상기 음성텍스트분석부에서 분석된 음성 또는 텍스트를 기반으로 음성 또는 텍스트와 대응되는 수화를 수화통역로봇에 구비된 로봇팔을 통해 출력하는 수화출력부, 수화통역로봇에 카메라가 구비된 카메라부를 통해 움직임을 감지하고, 감지되는 수화를 인식하는 수화인식부, 상기 수화인식부로부터 인식된 수화를 인공지능을 통해 분석하는 수화분석부 및 상기 수화분석부를 통해 분석된 수화를 기반으로 수화에 대응되는 음성 또는 텍스트를 출력하는 음성텍스트출력부를 제공한다.
본 발명의 실시예에 있어서, 상기 마이크를 통해 인식된 음성에 포함된 잡음을 제거하는 잡음제거부, 상기 잡음제거부를 통해 잡음이 제거된 음성에 대응되는 수화로 변환하도록 인공지능을 통해 음성을 알고리즘화하는 제 1 음성알고리즘부 및 상기 입력장치를 통해 입력된 텍스트와 대응되는 수화로 변환하도록 인공지능을 통해 텍스트를 알고리즘화하는 제 1 텍스트알고리즘부를 포함한 것일 수 있다.
본 발명의 실시예에 있어서, 상기 수화출력부는 상기 제 1 음성알고리즘부 및 제 1 텍스트알고리즘부를 통해 알고리즘화된 음성 또는 텍스트에 기초하여 음성 또는 텍스트와 대응되는 수화를 인공지능을 통해 알고리즘화하는 제 1 수화알고리즘부가 구비되고, 상기 제 1 수화알고리즘부를 통해 알고리즘화된 수화를 수화통역로봇으로 출력하는 것일 수 있다.
본 발명의 실시예에 있어서, 상기 수화분석부는 카메라를 통해 감지된 수화에 대응되는 음성 또는 텍스트로 변환하도록 인공지능을 통해 수화를 알고리즘화하는 제 2 수화알고리즘부가 구비된 것일 수 있다.
본 발명의 실시예에 있어서, 상기 음성텍스트출력부는 상기 제 2 수화알고리즘부를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 음성을 인공지능을 통해 알고리즘화하는 제 2 음성알고리즘부 및 상기 제 2 수화알고리즘부를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 텍스트를 인공지능을 통해 알고리즘화하는 제 2 텍스트알고리즘부를 포함하고, 상기 제 2 음성알고리즘부 및 상기 제 2 텍스트알고리즘부는 알고리즘화된 음성 또는 텍스트를 수화통역로봇을 통해 출력하는 것도 가능하다.
본 발명의 실시예에 있어서, 상기 음성텍스트분석부 및 수화분석부에 사용되는 인공지능이 딥러닝을 통해 수화 및 음성 또는 텍스트를 군집화하고 분류하여 알고리즘화하도록 딥러닝부가 구비된 것일 수 있다.
본 발명의 실시예에 있어서, 상기 딥러닝부에는 알고리즘화된 수화와 알고리즘화된 음성 또는 텍스트를 군집화하고 분류하여 매칭시키도록 매칭부가 구비된 것일 수 있다.
본 발명의 실시예에 있어서, 수화통역시스템을 이용하여 음성 이나 텍스트 또는 수화를 인식하여 통역을 수행하도록 수화통역로봇이 구비된 것 일 수 있다.
본 발명의 실시예에 따르면, 로봇을 이용한 수화통역시스템은 음성을 수화로 통역하고, 수화를 음성 또는 텍스트로 통역함으로써, 수화자와 일반인의 의사소통의 불편함을 해소하고, 음성 또는 텍스트와 수화를 인공지능에 의해서 알고리즘화하여 매칭시킴으로써, 입력하는 사람에 따른 차이를 보정하여 통역차이가 발생되지 않고, 통역의 정확도를 향상시킬 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일실시예에 따른 로봇을 이용한 수화통역시스템의 블럭도이다.
도 2는 본 발명의 일실시예에 따른 수화통역시스템이 적용된 수화통역로봇을 개략적으로 나타내는 구성도이다.
도 3은 본 발명의 일실시예에 따른 수화통역방법의 흐름도이다.
도 4는 본 발명의 또다른 실시예에 따른 수화통역방법의 흐름도이다.
도 5는 본 발명의 또 하나의 실시예에 따른 로봇을 이용한 수화통역시스템의 블럭도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 로봇을 이용한 수화통역시스템의 블록도이고, 도 2는 본 발명의 일실시예에 따른 수화통역시스템이 적용된 수화통역로봇을 개략적으로 나타내는 구성도이다.
도 1내지 도 2를 참조하면, 본 실시예에 따른 로봇을 이용한 수화통역시스템(100)은 마이크를 통해 외부에서 발생되는 음성 또는 입력장치(260)를 통해 텍스트를 인식하는 음성텍스트인식부(110)를 포함한다.
보다 상세하게는, 음성을 인식할 수 있도록 마이크로 구성된 마이크부(210)가 구비되고, 상기 마이크는 사용자가 음성을 통해 이야기하는 바를 음성으로 인식하는 장치이다. 상기 마이크는 수화통역로봇(200)에 장착되거나, 개별적으로 사용되어 무선으로 수화통역로봇(200)과 연동될 수 있다. 또한, 휴대폰과 같은 스마트 단말기를 통해 마이크로 사용되는 것도 가능하다. 상기 마이크는 일반적으로 사용되는 음성이나 소리를 전기 펄스로 바꾸는 장치로 마이크에 대한 구체적인 구성은 생략하기로 한다.
또한, 로봇과 연결되어 텍스트를 입력하도록 입력장치(260)가 구비된다. 상기 입력장치(260)는 키보드, 스크린패드 또는 휴대폰과 같이 유선 및 무선으로 수화통역로봇(200)과 연동되어 입력된 텍스트를 수화통역로봇(200)에 전달한다.
상기 사용자는 수화통역로봇(200)를 사용하는 사람을 뜻하며, 상황에 따라 수화를 행하는 수화자일 수 있고, 음성 또는 텍스트를 입력하는 일반인일 수 있다.
한편, 음성텍스트인식부(110)로부터 인식된 음성 또는 텍스트를 인공지능을 통해 분석하는 음성텍스트분석부(120)가 구비된다.
보다 상세하게는, 상기 음성텍스트분석부(120)는 마이크부(210)를 통해 인식된 음성 또는 입력장치(260)를 통해 입력된 텍스트를 상기 음성텍스트인식부(110)를 통해 인식하고, 인공지능을 통해서 이를 분석한다. 마이크나 입력장치(260)를 통해 입력된 음성 또는 텍스트와 같은 정보들은 표현하는 사람에 따라 차이가 발생하게 되고, 인공지능을 통해 이러한 차이점을 보정하여 공통적으로 표현하는 정보를 분석한다. 즉, 같은 표현이라도 입력하는 사람마다 차이가 존재하고, 이러한 차이에도 입력하는 사람이 표현하고자 하는 의사를 구분하여 수화통역로봇(200)이 통역을 수행할 수 있도록 음성텍스트분석부(120)가 마이크를 통해 인식된 음성 또는 입력장치(260)를 통해 입력된 텍스트를 분석한다.
또한, 음성텍스트분석부(120)에서 분석된 음성 또는 텍스트를 기반으로 수화통역로봇(200)을 통해 수화를 출력하도록 수화출력부(130)가 구비된다.
보다 상세하게는, 상기 수화출력부(130)는 상기 음성텍스트분석부(120)를 통해서 분석된 음성 또는 텍스트를 인공지능을 통해 분석하여 이와 대응되는 수화를 출력할 수 있다. 수화내용을 출력하기 위해서 수화통역로봇(200)이 이용되고, 상기 수화통역로봇(200)은 사람의 손과 동일한 형상으로 구비되어 수화내용을 정확하게 전달할 수 있다. 또한, 이러한 수화내용을 로봇과 연결된 모니터를 통해 출력하는 것도 가능하다. 따라서, 근거리 대상에게는 수화통역로봇(200)을 통해서 전달하고, 원거리 대상에게는 모니터를 통해 수화내용을 전달할 수 있다.
한편, 음성텍스트분석부(120)는 잡음제거부(121), 제 1 음성알고리즘부(122) 및 제 1 텍스트알고리즘부(123)를 포함한다.
보다 상세하게는, 상기 잡음제거부(121)는 상기 마이크를 통해 인식된 음성에 포함된 잡음을 제거하도록 구비된다. 따라서, 마이크를 통해 보다 정확하게 음성을 인식할 수 있다. 또한, 상기 잡음제거부(121)를 통해 잡음이 제거된 음성에 대응되는 수화로 번역하도록 인공지능을 통해 음성을 알고리즘화하는 제 1 음성알고리즘부(122)가 구비된다. 상기 제 1 음성알고리즘부(122)에 적용되는 상기 인공지능은 다양하게 적용가능하나 바람직하게는 딥러닝을 이용한 딥러닝부(170)를 통해 인식된 정보를 군집화하고 분류하여 알고리즘화한다.
또한, 상기 제 1 텍스트알고리즘부(123)는 입력장치(260)를 통해 입력된 텍스트와 대응되는 수화 번역하도록 인공지능을 통해 텍스트를 알고리즘화한다. 상기 인공지능은 다양하게 적용가능하나 바람직하게는 딥러닝부(170)를 이용하여 인식된 정보를 군집화하고 분류하여 알고리즘화한다.
또한, 수화출력부(130)는 제 1 수화알고리즘부(131)를 통해 알고리즘화된 수화를 수화통역로봇(200)으로 출력한다.
보다 상세하게는, 상기 제 1 수화알고리즘부(131)는 상기 제 1 음성알고리즘부(122) 및 제 1 텍스트알고리즘부(123)를 통해 알고리즘화된 음성 또는 텍스트에 기초하여, 상기 음성 또는 텍스트와 대응되는 수화를 딥러닝을 이용한 딥러닝부(170)를 통해 알고리즘화하고, 이를 수화통역로봇(200)에 구비된 로봇팔(240)을 통해 출력하게 된다. 즉, 인식된 음성 또는 텍스트는 상기 제 1 음성알고리즘부(122) 및 상기 제 1 텍스트알고리즘부(123)에서 딥러닝부(170)를 통해 알고리즘화하고, 이러한 알고리즘화된 음성 또는 텍스트와 대응되는 수화를 도출하여 이를 딥러닝부(170)를 통해 제 1 수화알고리즘부(131)에서 알고리즘화한다. 따라서, 음성 또는 텍스트를 알고리즘화하고, 이와 대응되는 수화를 알고리즘화함으로써, 수화통역로봇(200) 사용자에 따른 차이를 보완하고, 통역의 오류를 방지할 수 있다.
한편, 수화통역로봇(200)에 카메라가 구비된 카메라부(220)를 통해 움직임을 감지하고, 감지되는 수화를 인식하는 수화인식부(140)가 구비된다.
보다 상세하게는, 상기 수화인식부(140)는 수화통역로봇(200)에 카메라가 구비된 카메라부(220)를 통해 수화자의 손을 촬영하고, 이를 통해 수화를 인식하게 된다. 또한, 상기 수화인식부(140)는 수화자의 수화를 인식할 수 있도록 수화자가 센서가 구비된 장갑을 착용한 상태에서 수화를 수행하고 상기 장갑과 연결된 수화통역로봇(200)이 센서로부터 신호를 받아 수화를 인식하는 것도 가능하다.
또한, 수화인식부(140)로부터 인식된 수화를 인공지능을 통해 분석하는 수화분석부(150)가 구비된다.
보다 상세하게는, 상기 수화분석부(150)는 상기 수화인식부(140)로부터 수화를 인식하고, 인식된 수화를 인공지능을 통해 분석한다. 즉, 수화를 수행하는 수화자마다 동일한 수화내용을 수행하여도 손의 위치나 속도, 습관 등에 의해서 차이가 발생하게 되는데 이러한 차이를 포함하고 일정한 수화내용을 전달할 수 있도록 인공지능을 통해 수화내용을 분석한다. 따라서, 이러한 수화내용은 수화자마다 차이가 발생되더라도 정확하고 일정한 수화내용을 분석할 수 있도록 한다.
한편, 수화분석부(150)를 통해 분석된 수화를 기반으로 수화에 대응되는 음성 또는 텍스트를 출력하는 음성텍스트출력부(160)가 구비된다.
보다 상세하게는, 상기 음성텍스트출력부(160)는 상기 수화분석부(150)를 통해 분석된 수화와 대응되도록 음성 또는 텍스트를 출력할 수 있다. 상기 음성은 수화통역로봇(200)에 장착된 마이크 또는 상기 수화통역로봇(200)과 연결된 마이크를 통해 출력되고, 텍스트는 수화통역로봇(200)에 구비된 모니터 또는 외부 모니터를 통해서 출력 가능하다. 또한, 상기 수화통역로봇(200)을 휴대폰과 연동시켜 휴대폰에 구비된 스피커나 화면을 통해서 출력하는 것 또한 가능하다.
또한, 수화분석부(150)는 인공지능을 통해 수화를 알고리즘화하는 제 2 수화알고리즘부(151)가 구비된다.
보다 상세하게는, 상기 제 2 수화알고리즘부(151)는 카메라를 통해 감지된 수화에 대응되는 음성 또는 텍스트로 번역하도록 인공지능을 통해 수화를 알고리즘화한다. 상기 인공지능은 다양하게 적용가능하나 바람직하게는 딥러닝을 이용한 딥러닝부(170)를 통해 인식된 정보를 군집화하고 분류하여 알고리즘화한다.
한편, 음성텍스트출력부(160)는 제 2 수화알고리즘부(151)를 통해 알고리즘화된 음성 또는 텍스트를 수화통역로봇(200)으로 출력하도록 제 2 음성알고리즘부(161) 또는 제 2 텍스트알고리즘부(162)가 구비된다.
보다 상세하게는, 상기 제 2 수화알고리즘부(151)를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 음성을 인공지능을 통해 알고리즘화하는 제 2 음성알고리즘부(161)가 구비되고, 상기 제 2 수화알고리즘부(151)를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 텍스트를 인공지능을 통해 알고리즘화하는 제 2 텍스트알고리즘부(162)가 구비된다.
즉, 수화자에 의해서 수화내용을 알고리즘화하고, 상기 수화내용에 대응되는 음성 또는 텍스트를 알고리즘화하여 수화통역로봇(200)을 통해 출력하게 된다. 상기 인공지능은 다양하게 적용가능하나 바람직하게는 딥러닝을 이용한 딥러닝부(170)를 통해 인식된 정보를 군집화하고 분류하여 알고리즘화한다.
또한, 딥러닝부(170)는 알고리즘화된 수화와 알고리즘화된 음성 또는 텍스트를 군집화하고 분류하여 매칭시키도록 매칭부(180)가 구비될 수 있다.
보다 상세하게는, 상기 매칭부(180)는 상기 제 1 및 제 2 수화알고리즘부(131, 151)를 통해 알고리즘화된 수화와 상기 제 1 및 제 2 음성알고리즘부(122, 161) 또는 제1 및 제 2 텍스트알고리즘부(123, 162)를 통해 알고리즘화된 음성 또는 텍스트를 군집화하고 분류하여 각각 매칭시키도록 한다. 따라서, 수화와 음성 또는 텍스트가 각각 매칭되므로, 보다 용이하게 수화와 음성 또는 텍스트의 통역이 가능하고, 또한 사용자에 따른 편차를 매칭을 통해 감소시킬 수 있다.
이러한 음성텍스트출력부(160)는 수화에 대응되는 음성 및 텍스트를 각각 출력할 수 있고, 또는 음성 및 텍스트를 동시에 출력하는 것도 가능하다.
한편, 도 2는 본 발명의 일실시예에 따른 수화통역시스템이 적용된 수화통역로봇을 개략적으로 나타내는 구성도로써, 수화통역로봇에 대해 상세히 살펴보도록 도 1 내지 도 2를 참조하면, 수화통역로봇(200)은 인간과 닮은 휴머노이드 형상으로 제조되고, 눈이 위치된 부분에는 수화자의 수화를 인식할 수 있도록 카메라가 장착된 카메라부(220)가 구비된다. 따라서, 수화자가 수화통역로봇(200)의 전면에서 수화를 수행하면 상기 카메라부(220)를 통해 수화자의 수화를 인식하게 된다.
또한, 인식된 수화의 내용은 딥러닝을 통해서 알고리즘화되고, 수화내용과 대응되는 음성을 상기 수화통역로봇(200)의 입이 위치된 부분에 스피커가 구비된 스피커부(230)를 통해 음성으로 출력된다.
또한, 인식된 수화의 내용은 딥러닝을 통해서 알고리즘화되고, 수화내용과 대응되는 텍스트를 상기 수화통역로봇(200)과 연결된 모니터가 구비된 모니터부(250)를 통해 텍스트로 출력된다. 상기 스피커부(230)와 모니터부(250)는 수화내용을 사용자의 필요에 따라 각각 출력할 수 있고, 동시에 출력하는 것도 가능하다.
한편, 일반인이 수화자에게 수화를 통해 의사를 전달하기 위해서는 상기 수화통역로봇(200)의 귀가 위치된 부분에 구비된 마이크가 구비된 마이크부(210)를 통해 음성으로 의사를 전달할 수 있다. 따라서, 상기 수화통역로봇(200)은 마이크부(210)를 통해 음성을 인식하고 음성내용을 딥러닝을 통해 알고리즘화하고, 이와 대응되는 수화를 상기 수화통역로봇(200)에 구비된 로봇팔(240)을 통해 출력하게 된다.
또한, 일반인이 수화자에게 수화를 통해 의사를 전달하기 위해서는 상기 수화통역로봇(200)과 연결된 입력장치(260)를 통해 텍스트로 의사를 전달할 수 있다. 따라서, 상기 수화통역로봇(200)은 입력장치(260)를 통해 텍스트를 인식하고 텍스트내용을 딥러닝을 통해 알고리즘화하고, 이와 대응되는 수화를 상기 수화통역로봇(200)에 구비된 로봇팔(240)을 통해 출력하게 된다. 상기 입력장치(260)는 키보드, 스크린패드 또는 휴대폰과 같이 유선 및 무선으로 수화통역로봇(200)과 연동되어 텍스트를 입력할 수 있다.
도 3은 본 발명의 일실시예에 따른 로봇을 이용한 수화통역방법의 흐름도이다.
도 1 내지 도 3를 참조하면, 본 실시예에 따른 수화통역방법(300)은 상기 로봇을 이용한 수화통역시스템을 사용하는 사용자의 음성이나 텍스트를 수화통역로봇(200)에 구비된 마이크나 입력장치(260)를 통해 인식하는 단계(S310)를 포함한다.
보다 상세하게는, 사용자는 마이크가 구비된 마이크부(210)를 통해서 음성을 입력하거나 입력장치(260)를 통해서 텍스트를 수화통역로봇(200)에 인식시킬 수 있다. 상기 마이크부(210), 입력장치(260)는 상기 수화통역로봇(200)에 장착되어 있는 구조일 수 있고, 또는 수화통역로봇(200)과 유무선으로 연결되어 외부에서 실행될 수 있다.
또한, 마이크나 입력장치(260)를 통해 인식된 음성이나 텍스트를 인공지능을 통해 알고리즘화시키는 단계(S320)를 포함할 수 있다.
보다 상세하게는, 마이크부(210)를 통해 인식된 음성을 인공지능을 통해 알고리즘화하거나 또는, 입력장치(260)를 통해 인식된 텍스트를 인공지능을 통해 알고리즘화하고, 인식된 음성의 내용 또는 인식된 텍스트의 내용과 대응되는 수화로 변환한다.
또한, 음성 또는 텍스트와 대응되는 수화를 알고리즘화 시키는 단계(S330)를 포함할 수 있다.
상기 인식된 음성 또는 텍스트를 인공지능을 통해 알고리즘화시키는 단계(S320)에서 인식된 음성의 내용 또는 인식된 텍스트의 내용과 대응되는 수화를 도출하고 상기 수화를 알고리즘화한다.
또한, 음성 또는 텍스트를 알고리즘화 시키고 이와 대응되는 수화를 알고리즘화시켜 서로 매칭시키는 단계(S340)를 포함할 수 있다.
마이크부(210)를 통해 인식된 음성을 인공지능을 통해 알고리즘화하고, 이와 대응되는 수화를 알고리즘화하여 서로 매칭시킴으로써, 음성에 대응되는 수화를 표준화할 수 있고, 음성에 대응되는 수화의 출력 시 발생되는 오류를 감소시킬 수 있다.
입력장치(260)를 통해 인식된 텍스트를 인공지능을 통해 알고리즘화하고, 이와 대응되는 수화를 알고리즘화하여 서로 매칭시킴으로써, 텍스트에 대응되는 수화를 표준화할 수 있고, 텍스트에 대응되는 수화의 출력 시 발생되는 오류를 감소시킬 수 있다.
한편, 상기 인공지능은 여러가지가 적용 가능하지만 바람직하게는 인식된 수화 및 음성 또는 텍스트를 군집화하고 분류하여 사용하도록 딥러닝을 통해서 알고리즘화시키는 것이다.
또한, 상기 알고리즘화된 음성 또는 텍스트와 알고리즘화된 수화를 매칭하는 단계에서 매칭이 불가능할 경우 음성이나 텍스트를 인식하는 단계를 다시 수행하는 단계(S341)를 추가로 포함 할 수 있다.
또한, 알고리즘화된 음성이나 텍스트를 알고리즘화된 수화와 매칭시키는 단계를 수행하고 매칭이 가능할 경우 수화통역로봇(200)에 구비된 로봇팔(240)을 통해 수화내용을 출력하는 단계(S350)를 포함할 수 있다.
보다 상세하게는, 마이크부(210)를 통해 인식된 음성을 알고리즘화하고, 상기 음성의 내용과 대응되는 수화를 알고리즘화하여 서로 매칭시킨다. 이때, 음성의 내용과 수화의 내용이 매칭될 때, 상기 수화의 내용을 수화통역로봇(200)에 구비된 로봇팔(240)을 통해서 출력하게 된다.
또한, 입력장치(260)를 통해 인식된 텍스트를 알고리즘화하고, 상기 텍스트의 내용과 대응되는 수화를 알고리즘화하여 서로 매칭시킨다. 이때, 텍스트의 내용과 수화의 내용이 매칭될 때, 상기 수화의 내용을 수화통역로봇(200)에 구비된 로봇팔(240)을 통해서 출력하게 된다.
따라서, 매칭이 가능할 때만 로봇팔(240)을 통해 수화의 내용을 출력하므로 사용자간의 차이에 따른 보정을 통해 음성 및 텍스트의 내용과 수화의 내용간의 오류를 감소시킬 수 있다.
도 4는 본 발명의 또 하나의 실시예에 따른 수화통역방법의 흐름도이다.
도 4를 참조하면, 본 실시예에 따른 수화통역방법(400)은 상기 수화통역시스템을 사용하는 수화자의 수화를 수화통역로봇(200)에 구비된 카메라부(220)를 통해 인식하는 단계(S410)를 포함한다.
보다 상세하게는, 사용자는 카메라가 구비된 카메라부(220)를 통해 수화를 수화통역로봇(200)에 인식시킬 수 있다. 상기 카메라부(220)는 상기 수화통역로봇(200)에 장착되어 있는 구조일 수 있고, 또는 수화통역로봇(200)과 유무선으로 연결되어 외부에서 실행될 수 있다.
또한, 카메라를 통해 인식된 수화를 인공지능을 통해 알고리즘화시키는 단계(S420)를 포함할 수 있다.
보다 상세하게는, 카메라부(220)부에 구비된 카메라를 통해 인식된 수화를 인공지능을 통해 알고리즘화하고, 인식된 수화의 내용과 대응되는 음성 또는 텍스트로 변환한다.
또한, 수화와 대응되는 음성 또는 텍스트로 알고리즘화 시키는 단계(S430)를 포함할 수 있다.
상기 인식된 수화를 인공지능을 통해 알고리즘화시키는 단계(S420)에서 인식된 음성의 내용 또는 인식된 텍스트의 내용과 대응되는 수화를 도출하고 상기 수화를 알고리즘화한다.
또한, 음성 또는 텍스트를 알고리즘화 시키고 이와 대응되는 수화를 알고리즘화시켜 서로 매칭시키는 단계(S440)를 포함할 수 있다.
마이크부(210)를 통해 인식된 음성을 인공지능을 통해 알고리즘화하고, 이와 대응되는 수화를 알고리즘화하여 서로 매칭시킴으로써, 음성에 대응되는 수화를 표준화할 수 있고, 음성에 대응되는 수화의 출력 시 발생되는 오류를 감소시킬 수 있다.
즉, 카메라부(220)를 통해 인식된 수화를 알고리즘화하고, 상기 수화의 내용과 대응되는 음성 또는 텍스트를 알고리즘화하여 서로 매칭시킨다. 이때, 수화의 내용과 음성 또는 텍스트의 내용이 매칭될 때, 상기 음성의 내용을 수화통역로봇(200)에 구비된 스피커부(230)를 통해서 출력하거나, 상기 텍스트의 내용을 수화통역로봇(200)과 연결된 모니터부(250)를 통해 출력할 수 있다. 상기 스피커부(230) 및 모니터부(250)는 각각 음성내용 및 텍스트내용을 출력할 수 있고, 필요에 따라 동시에 출력하는 것도 가능하다.
또한, 알고리즘화된 수화와 상기 알고리즘화된 음성 또는 텍스트를 매칭하는 단계에서 매칭이 불가능할 경우, 수화를 인식하는 단계를 다시 수행하는 단계(S441)를 추가로 포함 할 수 있다.
또한, 알고리즘화된 수화를 알고리즘화된 음성이나 텍스트와 매칭시키는 단계를 수행하고 매칭이 가능할 경우 수화통역로봇(200)에 구비된 스피커부(230)를 통해서 음성을 출력하거나 모니터부(250)를 통해서 텍스트를 출력하는 단계(S450)를 포함할 수 있다.
보다 상세하게는, 카메라부(220)를 통해 인식된 수화를 알고리즘화하고, 상기 수화의 내용과 대응되는 음성을 알고리즘화하여 서로 매칭시킨다. 이때, 수화의 내용과 음성의 내용이 매칭될 때, 상기 수화의 내용을 수화통역로봇(200)에 구비된 스피커부(230)를 통해서 음성을 출력하게 된다.
또한, 카메라부(220)를 통해 인식된 수화를 알고리즘화하고, 상기 수화의 내용과 대응되는 텍스트를 알고리즘화하여 서로 매칭시킨다. 이때, 수화의 내용과 텍스트의 내용이 매칭될 때, 상기 텍스트의 내용을 수화통역로봇(200)과 연결된 모니터부(250)를 통해서 텍스트를 출력하게 된다.
따라서, 매칭이 가능할 때만 스피커부(230) 또는 모니터부(250)를 통해 수화의 내용을 출력하므로 사용자간의 차이에 따른 보정을 통해 수화의 내용과 음성 및 텍스트의 내용 간의 오류를 감소시킬 수 있다.
도 5는 본 발명의 또 하나의 실시예에 따른 로봇을 이용한 수화통역시스템의 블럭도이다.
도 5를 참조하면, 본 발명에 따른 로봇을 이용한 수화통역시스템(500)은 제 1 사용자인식부(510)를 포함할 수 있다.
보다 상세하게는, 상기 제 1 사용자인식부(510)는 수화통역시스템(500)을 사용하는 사용자를 인식하고 사용자의 특징들을 분류하여 데이터베이스화한다. 상기 제 1 사용자인식부(510)는 사용자를 다양한 방식으로 인식할 수 있고, 바람직하게는 수화통역로봇(200)에 구비된 카메라부(220)를 통해 사용자의 얼굴을 감지하여 인식하거나, 마이크부(210)를 통해 사용자의 음성을 감지하여 인식할 수 있고, 또는 입력장치(260)를 통해 사용자가 입력하여 사용자를 인식시킬 수 있다.
또한, 제 1 사용자인식부(510)를 통해 인식된 사용자의 음성 또는 텍스트를 인식하는 음성텍스트인식부(520)가 구비된다.
보다 상세하게는, 음성을 인식할 수 있도록 마이크로 구성된 마이크부(210)가 구비되고, 상기 마이크는 사용자가 음성을 통해 이야기하는 바를 음성으로 인식하는 장치이다. 상기 마이크는 수화통역로봇(200)에 장착되거나, 개별적으로 사용되어 무선으로 수화통역로봇(200)과 연동될 수 있다. 또한, 휴대폰과 같은 스마트 단말기를 통해 마이크로 사용되는 것도 가능하다.
또한, 로봇과 연결되어 텍스트를 입력하도록 입력장치(260)가 구비된다. 상기 입력장치(260)는 키보드, 스크린패드 또는 휴대폰과 같이 유선 및 무선으로 수화통역로봇(200)과 연동되어 입력된 텍스트를 수화통역로봇(200)에 전달한다.
따라서, 제 1 사용자인식부(510)를 통해 사용자를 인식하고, 사용자가 수화통역로봇(200)에 음성 또는 텍스트를 인식시키면, 상기 음성텍스트인식부(520)를 통해 음성 또는 텍스트가 인식된다.
한편, 음성텍스트인식부(520)를 통해 인식된 음성 또는 텍스트는 음성텍스트분석부(530)를 통해 음성 또는 텍스트를 분석하게 되고, 상기 음성텍스트분석부(530)는 잡음제거부(531), 제 1 음성알고리즘부(532) 및 제 1 텍스트알고리즘부(533)를 구비한다. 상기 잡음제거부(531), 제 1 음성알고리즘부(532) 및 제 1 텍스트알고리즘부(533)의 구성은 도 1의 구성과 동일하므로, 자세한 설명은 생략하기로 한다.
사용자가 음성텍스트인식부(520)를 통해 음성 또는 텍스트를 인식시키면, 상기 음성텍스트분석부(530)에 구비된 제 1 음성알고리즘부(532) 및 제 1 텍스트알고리즘부(533)에서 이를 알고리즘화시킨다. 이때, 사용자 마다 습관이나 버릇 등으로 인한 음성의 차이가 발생되고, 이러한 차이로 인한 오류를 감지하도록 제 1 오류감지부가 구비된다.
상기 제 1 오류감지부(534)는 사용자의 음성 또는 텍스트의 내용에 오류가 발생될 경우, 오류를 감지하도록 구비된다. 따라서, 사용자가 특정한 음성 또는 텍스트에 대해 반복적으로 오류가 발생될 경우, 이를 보정하여 표준화된 수화로 통역 가능하도록 구비된다.
즉, 상기 제 1 사용자인식부(510)를 통해 인식된 사용자의 정보를 저장하고, 이를 통해 사용자의 습관 또는 버릇 등으로 인해 발생되는 반복적인 음성 또는 텍스트의 오류를 표준화된 수화로 통역시키도록 오류가 발생된 음성 또는 텍스트를 감지하도록 한다.
따라서, 제 1 오류감지부(534)를 통해 감지된 음성 또는 텍스트의 오류는 딥러닝부(590)에 구비된 변환부(592)를 통해 표준화된 음성 또는 텍스트로 변환된다. 결과적으로, 변환부(592)를 통해 변환된 음성 또는 텍스트는 이와 대응되는 수화로 통역되어 수화출력부(540)를 통해 출력하게된다.
하나의 예로, 사용자가 제 1 사용자인식부(510)를 통해 사용자를 인식시키면 데이터베이스화된 제 1 사용자인식부(510)에서 사용자를 인식하고, 음성텍스트인식부(520)를 통해 음성을 인식시키면, 음성텍스트분석부(530)를 통해 음성을 분석하게 된다. 이때, 제 1 사용자인식부(510)에서 사용자의 습관 또는 버릇을 데이터베이스화하고, 사용자가 “A”에 대해 습관적으로 “B”로 인식시킬 경우 입력된 음성의 문맥 등을 파악하여 음성에 오류가 있음을 제 1 오류감지부(534)를 통해 파악하게 된다. 따라서, 오류가 발생된 음성은 변환부(592)를 통해서 사용자가 입력시킨 “B”로 인식되는 것이 아닌 “A”로 변환되어 인식하게 되고, 최종적으로 통역된 수화는 오류 없이 표준화된 수화로 통역된다.
본 발명에 따른 로봇을 이용한 수화통역시스템(500)은 제 2 사용자인식부(550)를 포함할 수 있다.
보다 상세하게는, 상기 제 2 사용자인식부(550)는 로봇을 이용한 수화통역시스템(500)을 사용하는 사용자를 인식하고 사용자의 특징들을 분류하여 데이터베이스화한다. 상기 제 2 사용자인식부(550)는 사용자를 다양한 방식으로 인식할 수 있고, 바람직하게는 수화통역로봇(200)에 구비된 카메라부(220)를 통해 사용자의 얼굴이나 수화를 감지하여 인식하거나, 입력장치를 통해 사용자가 입력하여 사용자를 인식시킬 수 있다.
또한, 제 2 사용자인식부(550)를 통해 인식된 사용자의 수화를 인식하는 수화인식부(560)가 구비된다.
보다 상세하게는, 수화를 인식할 수 있도록 카메라로 구성된 카메라부(220)가 구비되고, 상기 카메라는 사용자가 입력하는 수화를 통해 사용자의 의사를 인식하는 장치이다. 상기 카메라는 수화통역로봇(200)에 장착되거나, 개별적으로 사용되어 무선으로 수화통역로봇(200)과 연동될 수 있다. 또한, 휴대폰과 같은 스마트 단말기를 통해 카메라로 사용되는 것도 가능하다.
따라서, 제 2 사용자인식부(550)를 통해 사용자를 인식하고, 사용자가 수화통역로봇(200)에 수화를 인식시키면, 상기 수화인식부(560)를 통해 수화가 인식된다.
한편, 수화인식부(560)를 통해 인식된 수화는 수화분석부(570)를 통해 수화를 분석하게 되고, 상기 수화분석부(570)는 제 2 수화알고리즘부(571)를 구비한다. 상기 제 2 수화알고리즘부(571)의 구성은 도 1의 구성과 동일하므로, 자세한 설명은 생략하기로 한다.
사용자가 수화인식부(560)를 통해 수화를 인식시키면, 제 2 수화알고리즘부(571)에서 이를 알고리즘화시킨다. 이때, 사용자 마다 습관이나 버릇 등으로 인한 수화의 차이가 발생되고, 이러한 차이로 인한 수화의 오류를 감지하도록 제 2 오류감지부(572)가 구비된다.
상기 제 2 오류감지부(572)는 사용자의 수화의 내용에 오류가 발생될 경우, 오류를 감지하도록 구비된다. 따라서, 사용자가 특정한 수화에 대해 반복적으로 오류가 발생될 경우, 이를 보정하여 표준화된 수화로 통역 가능하도록 구비된다.
즉, 상기 제 2 사용자인식부(550)를 통해 인식된 사용자의 정보를 저장하고, 이를 통해 사용자의 습관 또는 버릇 등으로 인해 발생되는 반복적인 수화의 오류를 표준화된 음성 또는 텍스트로 통역시키도록 오류가 발생된 수화를 감지하도록 한다.
따라서, 제 2 오류감지부(572)를 통해 감지된 수화의 오류는 딥러닝부(590)에 구비된 변환부(592)를 통해 표준화된 수화로 변환된다. 결과적으로, 변환부(592)를 통해 변환된 수화는 이와 대응되는 음성 또는 텍스트로 통역되어 음성텍스트출력부(580)를 통해 출력하게 된다.
결과적으로, 본 발명에 따른 로봇을 이용한 수화통역시스템(500)은 기본적인 구성은 도 1의 로봇을 이용한 수화통역시스템(100)과 유사하나, 제 1 및 제 2 사용자인식부(510)를 구비하여 사용자의 정보를 데이터베이스화하고, 이를 통해 반복적인 사용자의 오류에도 제 1 및 제 2 오류감지부(534, 572)를 통해 오류를 감지하며, 감지된 오류를 변환부(592)를 통해 변환하여 표준화된 통역을 실현시키는 구성에서 차이가 있으므로, 그 밖의 구성은 도 1 의 로봇을 이용한 수화통역시스템(100)을 참조하기로 한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100, 500: 로봇을 이용한 수화통역시스템
110, 520: 음성텍스트인식부
120, 530: 음성텍스트분석부
121, 531: 잡음제거부
122, 532: 제 1 음성알고리즘부
123, 533: 제 1 텍스트알고리즘부
130, 540: 수화출력부
131, 541: 제 1 수화알고리즘부
140, 560: 수화인식부
150, 570: 수화분석부
151, 571: 제 2 수화알고리즘부
160, 580: 음성텍스트출력부
161, 581: 제 2 음성알고리즘부
162, 582: 제 2 텍스트알고리즘부
170, 590: 딥러닝부
180, 591: 매칭부
200: 수화통역로봇
210: 마이크부
220: 카메라부
230: 스피커부
240: 로봇팔
250: 모니터부
260: 입력장치
510: 제 1 사용자인식부
534: 제 1 오류감지부
550: 제 2 사용자인식부
572: 제 2 오류감지부
592: 변환부

Claims (8)

  1. 마이크가 구비된 마이크부를 통해 외부에서 발생되는 음성을 인식하거나, 또는 입력장치를 통해 텍스트를 인식하는 음성텍스트인식부;
    상기 음성텍스트인식부로부터 인식된 음성 또는 텍스트를 인공지능을 통해 분석하는 음성텍스트분석부;
    상기 음성텍스트분석부에서 분석된 음성 또는 텍스트를 기반으로 음성 또는 텍스트와 대응되는 수화를 수화통역로봇에 구비된 로봇팔을 통해 출력하는 수화출력부;
    수화통역로봇에 카메라가 구비된 카메라부를 통해 움직임을 감지하고, 감지되는 수화를 인식하는 수화인식부;
    상기 수화인식부로부터 인식된 수화를 인공지능을 통해 분석하는 수화분석부; 및
    상기 수화분석부를 통해 분석된 수화를 기반으로 수화에 대응되는 음성 또는 텍스트를 출력하는 음성텍스트출력부;
    상기 카메라부를 통해 사용자의 얼굴을 감지하여 인식하거나, 마이크부를 통해 사용자의 음성을 감지하여 인식하거나, 또는 입력장치를 통해 사용자가 입력하여 사용자를 인식하고 사용자의 특징들을 분류하여 데이터베이스화하도록 구비된 제 1 사용자인식부;
    상기 제 1 사용자인식부를 통해 인식된 사용자의 음성 또는 텍스트의 내용에 오류가 발생될 경우, 오류를 감지하고, 사용자에 의해 특정한 음성 또는 텍스트가 반복적으로 오류가 발생될 경우, 이를 보정하여 표준화된 수화로 통역하도록 구비된 제 1 오류감지부;
    상기 카메라부를 통해 사용자의 얼굴이나 수화를 감지하여 인식하거나, 입력장치를 통해 사용자가 입력하여 사용자를 인식하고 사용자의 특징들을 분류하여 데이터베이스화하도록 구비된 제 2 사용자인식부; 및
    상기 제 2 사용자인식부를 통해 인식된 사용자의 수화의 내용에 오류가 발생될 경우, 오류를 감지하고, 사용자에 의해 특정한 수화가 반복적으로 오류가 발생될 경우, 이를 보정하여 표준화된 음성 또는 텍스트로 통역하도록 구비된 제 2 오류감지부;
    를 포함하는 것을 특징으로 하는 로봇을 이용한 수화통역시스템.
  2. 제 1 항에 있어서, 상기 음성텍스트분석부는,
    상기 마이크를 통해 인식된 음성에 포함된 잡음을 제거하는 잡음제거부;
    상기 잡음제거부를 통해 잡음이 제거된 음성에 대응되는 수화로 변환하도록 인공지능을 통해 음성을 알고리즘화하는 제 1 음성알고리즘부; 및
    상기 입력장치를 통해 입력된 텍스트와 대응되는 수화로 변환하도록 인공지능을 통해 텍스트를 알고리즘화하는 제 1 텍스트알고리즘부;
    를 포함하는 것을 특징으로 하는 로봇을 이용한 수화통역시스템.
  3. 제 2 항에 있어서, 상기 수화출력부는 상기 제 1 음성알고리즘부 및 제 1 텍스트알고리즘부를 통해 알고리즘화된 음성 또는 텍스트에 기초하여 음성 또는 텍스트와 대응되는 수화를 인공지능을 통해 알고리즘화하는 제 1 수화알고리즘부가 구비되고, 상기 제 1 수화알고리즘부를 통해 알고리즘화된 수화를 수화통역로봇으로 출력하는 것을 특징으로 하는 로봇을 이용한 수화통역시스템.
  4. 제 1 항에 있어서, 상기 수화분석부는,
    카메라를 통해 감지된 수화에 대응되는 음성 또는 텍스트로 변환하도록 인공지능을 통해 수화를 알고리즘화하는 제 2 수화알고리즘부가 구비된 것을 특징으로 하는 로봇을 이용한 수화통역시스템.
  5. 제 4 항에 있어서, 상기 음성텍스트출력부는,
    상기 제 2 수화알고리즘부를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 음성을 인공지능을 통해 알고리즘화하는 제 2 음성알고리즘부; 및
    상기 제 2 수화알고리즘부를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 텍스트를 인공지능을 통해 알고리즘화하는 제 2 텍스트알고리즘부;
    를 포함하고, 상기 제 2 음성알고리즘부 및 상기 제 2 텍스트알고리즘부는 알고리즘화된 음성 또는 텍스트를 수화통역로봇을 통해 출력하는 것을 특징으로 하는 로봇을 이용한 수화통역시스템.
  6. 제 5 항에 있어서, 상기 음성텍스트분석부 및 수화분석부에 사용되는 인공지능이 딥러닝을 통해 수화 및 음성 또는 텍스트를 군집화하고 분류하여 알고리즘화하도록 딥러닝부가 구비된 것을 특징으로 하는 로봇을 이용한 수화통역시스템.
  7. 제 6 항에 있어서, 상기 딥러닝부에는 알고리즘화된 수화와 알고리즘화된 음성 또는 텍스트를 군집화하고 분류하여 매칭시키도록 매칭부가 구비된 것을 특징으로 하는 로봇을 이용한 수화통역시스템.
  8. 제 1 항 내지 제 7항 중 어느 한 항에 따른, 수화통역시스템을 이용하여 음성 이나 텍스트 또는 수화를 인식하여 통역을 수행하도록 구비된 것을 특징으로 하는 수화통역로봇.
KR1020170167828A 2017-12-07 2017-12-07 로봇을 이용한 수화통역시스템 KR102037789B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170167828A KR102037789B1 (ko) 2017-12-07 2017-12-07 로봇을 이용한 수화통역시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170167828A KR102037789B1 (ko) 2017-12-07 2017-12-07 로봇을 이용한 수화통역시스템

Publications (2)

Publication Number Publication Date
KR20190067662A KR20190067662A (ko) 2019-06-17
KR102037789B1 true KR102037789B1 (ko) 2019-10-29

Family

ID=67064637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170167828A KR102037789B1 (ko) 2017-12-07 2017-12-07 로봇을 이용한 수화통역시스템

Country Status (1)

Country Link
KR (1) KR102037789B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110202592A (zh) * 2019-07-02 2019-09-06 江苏博子岛智能产业技术研究院有限公司 一种ai移动式医疗服务机器人
KR102115551B1 (ko) * 2019-08-06 2020-05-26 전자부품연구원 글로스를 이용한 수어 번역 장치 및 번역모델 학습장치
KR102195401B1 (ko) * 2020-10-07 2020-12-24 (주)멀틱스 Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017204067A (ja) * 2016-05-10 2017-11-16 株式会社オルツ 手話会話支援システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI276357B (en) 2002-09-17 2007-03-11 Ginganet Corp Image input apparatus for sign language talk, image input/output apparatus for sign language talk, and system for sign language translation
KR20160122869A (ko) * 2015-04-14 2016-10-25 주식회사 로보테크 로봇 팔을 이용한 언어 변환이 가능한 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017204067A (ja) * 2016-05-10 2017-11-16 株式会社オルツ 手話会話支援システム

Also Published As

Publication number Publication date
KR20190067662A (ko) 2019-06-17

Similar Documents

Publication Publication Date Title
US20180182396A1 (en) Multi-speaker speech recognition correction system
US9293133B2 (en) Improving voice communication over a network
JP6654611B2 (ja) 成長型対話装置
TWI383377B (zh) 多重感測語音辨識系統及方法
US20190355352A1 (en) Voice and conversation recognition system
US20220319538A1 (en) Voice interactive wakeup electronic device and method based on microphone signal, and medium
KR102037789B1 (ko) 로봇을 이용한 수화통역시스템
JP2018049143A (ja) 音声取得システムおよび音声取得方法
CN109558788B (zh) 静默语音输入辨识方法、计算装置和计算机可读介质
CN110097875A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN110428806A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
US20230230594A1 (en) Facial movements wake up wearable
CN110111776A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
Dhanjal et al. Tools and techniques of assistive technology for hearing impaired people
US20170024380A1 (en) System and method for the translation of sign languages into synthetic voices
US11361783B2 (en) Computer-aided conversion test system and method for generating intelligible speech
US20210312938A1 (en) Automatic interpretation server and method thereof
KR102592613B1 (ko) 자동 통역 서버 및 그 방법
KR102023356B1 (ko) 웨어러블 수화통역장치
KR102557092B1 (ko) 투명 디스플레이를 이용한 자동 통번역 및 대화 보조 시스템
KR20210100831A (ko) 인공지능 기반 수어통역 서비스 제공 시스템 및 방법
JP2020067562A (ja) ユーザの顔の映像に基づいて発動タイミングを推定する装置、プログラム及び方法
US7216078B2 (en) Learning device, mobile communication terminal, information recognition system, and learning method
JP2018055155A (ja) 音声対話装置および音声対話方法
JPH04257900A (ja) 舌動作検出型音節認識装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant