KR20190067663A - Wearable sign language translation device - Google Patents

Wearable sign language translation device Download PDF

Info

Publication number
KR20190067663A
KR20190067663A KR1020170167829A KR20170167829A KR20190067663A KR 20190067663 A KR20190067663 A KR 20190067663A KR 1020170167829 A KR1020170167829 A KR 1020170167829A KR 20170167829 A KR20170167829 A KR 20170167829A KR 20190067663 A KR20190067663 A KR 20190067663A
Authority
KR
South Korea
Prior art keywords
sign language
unit
text
voice
speech
Prior art date
Application number
KR1020170167829A
Other languages
Korean (ko)
Other versions
KR102023356B1 (en
Inventor
최동운
이동욱
이덕연
허만홍
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020170167829A priority Critical patent/KR102023356B1/en
Publication of KR20190067663A publication Critical patent/KR20190067663A/en
Application granted granted Critical
Publication of KR102023356B1 publication Critical patent/KR102023356B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

The present invention relates to a sign language interpretation device and, more particularly, to a wearable sign language interpretation device, which interprets voice in sign language and interprets the sign language in the voice or a text to eliminate the inconvenience of communication between people using the sign language and the general public. In addition, through algorithmization of the voice or the sign language using artificial intelligence to improve the accuracy of the interpretation, a small number of the sign language users can perform interpretation to a large number of people.

Description

웨어러블 수화통역장치{WEARABLE SIGN LANGUAGE TRANSLATION DEVICE}{WEARABLE SIGN LANGUAGE TRANSLATION DEVICE}

본 발명은 수화통역장치에 관한 것으로, 더욱 상세하게는, 수화통역장치를 사용하여 인공지능을 통한 통역을 수행함으로써, 소수의 수화자가 착용하여 다수의 일반인에게 통역을 수행할 수 있는 웨어러블 수화통역장치에 관한 것이다.The present invention relates to a sign language interpretation apparatus, and more particularly, to a sign language interpretation apparatus capable of interpreting a plurality of ordinary people by wearing a sign language interpreter by performing interpretation through artificial intelligence using a sign language interpretation apparatus, .

청각장애는 육체, 정서, 지적 발달에 결정적 영향을 주는 청각 기능이 손상되어, 언어 능력 발달에 지장을 받게 되고, 그 결과 언어의 개념 형성 부족으로 교육, 문화, 다양한 정보의 혜택을 정상인과 동등하게 받기가 어려운 현실이다. 뿐만 아니라 인간으로써의 “삶의 질 저하”를 겪고 있는 게 현실이다.Hearing impairment impairs auditory function, which has a decisive influence on physical, emotional, and intellectual development, and hinders the development of language ability. As a result, the lack of conceptualization of language results in the benefits of education, culture, It is a difficult reality to receive. In addition, it is a reality that is experiencing "the quality of life" as a human being.

따라서, 청각장애를 갖고 있는 사람들은 의사를 전달하기 위해서 수화를 많이 사용하게 된다. 일반적으로 이러한 수화는 음성언어와는 달리 손으로 표현되는 비음성언어로서, 음성언어가 청각적으로 이해되고 음성으로 표현되는 청각음성체계임에 반하여 수화는 시각적으로 이해되고 손동작으로 표현되는 시각 운동체계이다.Therefore, people who have hearing impairments use a lot of sign language to communicate their doctors. In general, such sign language is a non-speech language expressed by hand, unlike speech language, whereas speech language is auditory understanding and auditory expression system, whereas sign language is visually understood, to be.

그러나 상기 수화는 일반 청력장애가 없는 사람(이하, 일반인)이 이용하기 위해서는 별도의 학습이 필요하므로 이를 일반인이 이용하기에는 상당한 노력이 필요하게 되어 비효율적이었다. 따라서, 수화이용자(이하, 수화자)와 일반인의 자연스런 의사소통은 상당한 노력이 필요하게 된다. 이에 따라, 일반인과 수화이용자는 문자로 서로의 의사를 전달하는 방법이 있을 수 있으나, 이는 수화이용자나 일반 청력인 모두에게 문자를 일일이 기록해야 하는 불편함을 주게 되었다.However, since the sign language requires additional learning to be used by a person who does not have general hearing impairment (hereinafter referred to as a general person), it is inefficient because a considerable effort is required to use the same. Therefore, natural communication between a sign language user (hereinafter referred to as a speaker) and the general public requires considerable effort. As a result, the general public and the sign language user may have a way of communicating their intentions to each other by letters, but this inconveniences the user to record texts to both sign language users and general audiences.

또한, 수화자와 일반인의 의사소통의 불편함을 해소하기 위해 실시간으로 음성 또는 수화를 통역하는 방법이 필요하게 되었고, 기계를 통해 음성 또는 수화를 번역할 때, 사람이 음성 또는 수화를 입력하게 되므로 사람마다 입력의 차이가 발생되고 이에 따른 통역의 차이가 발생하게 되었다.In order to solve the inconvenience of communication between the speaker and the general public, a method of interpreting voice or sign language in real time has become necessary. When a voice or a sign language is translated through a machine, a person inputs voice or sign language There is a difference between the input and the interpretation.

이러한 불편을 해소하기 위한 일반적으로 사용되는 수화통역장치는 일반인의 음성 또는 텍스트를 입력하여 통역된 수화를 수화자에게 전달하는 방식을 사용하여 다수의 일반인이 한명의 수화자에게 의사를 전달하기 위해서는 다수의 일반인이 각각 수화통역장치를 구비해야 되는 불편함이 발생되었다.In order to solve this inconvenience, a commonly used sign language interpretation device uses a method of transmitting the sign language interpreted by inputting a voice or text of a general person to a listener so that a large number of ordinary people can communicate with one listener It has been inconvenient for a general person to have a sign language interpretation device.

따라서, 이러한 수화자와 일반인 간의 양방향 통역이 가능하고, 입력하는 사람에 따른 차이를 보정하여 통역차이가 발생되지 않으며, 소수의 수화자가 착용하여 다수의 일반인에게 통역을 수행하는 수화통역장치에 대한 필요성이 대두되고 있는 실정이다.Therefore, there is a need for a bilingual interpreter between the listener and a general person, correcting the differences according to the input person, so that there is no difference in interpretation, and a need for a sign language interpreter device And the like.

등록특허공보 제10- 0698942호(2007.03.16.)Patent Registration No. 10- 0698942 (March 16, 2007)

본 발명이 이루고자 하는 기술적 과제는 수화자와 일반인 간의 양방향 통역이 가능하고, 입력하는 사람에 따른 차이를 보정하여 통역차이가 발생되지 않으며, 소수의 수화자가 착용하여 다수의 일반인에게 통역을 수행하는 웨어러블 수화통역장치를 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to provide a method and apparatus for bidirectional interpretation between a speaker and a general person, And to provide a sign language interpretation device.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not intended to limit the invention to the precise form disclosed. There will be.

상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 웨어러블 수화통역장치는 사용자의 몸에 장착되도록 구비된 몸체부, 상기 몸체부와 연결된 마이크를 통해 외부에서 발생되는 음성을 인식하는 마이크부, 상기 몸체부와 연결된 입력장치를 통해 텍스트를 인식하는 입력장치부, 상기 마이크부 또는 입력장치부로부터 인식된 음성 또는 텍스트를 인공지능을 통해 분석하는 음성텍스트분석부, 상기 음성텍스트분석부에서 분석된 음성 또는 텍스트를 기반으로 음성 또는 텍스트와 대응되는 수화를 출력하는 수화출력부, 상기 몸체부에 구비된 카메라를 통해 사용자의 손 움직임을 감지하고, 감지되는 수화를 인식하는 카메라부, 상기 카메라부로부터 인식된 수화를 인공지능을 통해 분석하는 수화분석부, 상기 수화분석부를 통해 분석된 수화를 기반으로 수화에 대응되는 음성 또는 텍스트를 출력하는 음성텍스트출력부, 상기 음성텍스트출력부로부터 수화에 대응되는 음성을 스피커로 출력하는 스피커부 및 상기 음성텍스트출력부로부터 수화에 대응되는 텍스트를 모니터로 출력하는 모니터부를 제공한다.According to an aspect of the present invention, there is provided a wearable sign language interpretation apparatus including a body portion mounted on a body of a user, a microphone portion recognizing a voice generated from the outside through a microphone connected to the body portion, A voice text analysis unit for analyzing the voice or text recognized from the microphone unit or the input device unit through artificial intelligence, a voice text analysis unit for analyzing the voice or text analyzed by the voice text analysis unit, A camera unit for recognizing the hand movement of the user through the camera provided in the body and recognizing the handwriting sensed by the camera provided in the body unit, Based on the signatures analyzed by the sign language analysis unit, A speaker unit for outputting a voice corresponding to sign language from the voice text output unit to a speaker, and a text corresponding to sign language from the voice text output unit to a monitor And a monitor unit.

본 발명의 실시예에 있어서, 음성텍스트분석부는 상기 마이크부를 통해 인식된 음성에 포함된 잡음을 제거하는 잡음제거부 및 상기 잡음제거부를 통해 잡음이 제거된 음성에 대응되는 수화로 변환하도록 인공지능을 통해 음성을 알고리즘화하는 제 1 음성알고리즘부, 상기 입력장치부를 통해 입력된 텍스트와 대응되는 수화로 변환하도록 인공지능을 통해 텍스트를 알고리즘화하는 제 1 텍스트알고리즘부를 포함한 것일 수 있다.In the embodiment of the present invention, the speech text analyzing unit may include a noise removing unit that removes noise included in the speech recognized through the microphone unit, and an artificial intelligence unit that converts the noise into speech corresponding to the noise- A first speech algorism unit for alerting the voice through the input unit, and a first text algorism unit for alerting the text through artificial intelligence to convert the input text into the corresponding sign language.

본 발명의 실시예에 있어서, 상기 수화출력부는 상기 제 1 음성알고리즘부 및 제 1 텍스트알고리즘부를 통해 알고리즘화된 음성 또는 텍스트에 기초하여 음성 또는 텍스트와 대응되는 수화를 인공지능을 통해 알고리즘화하는 제 1 수화알고리즘부가 구비되고, 상기 수화출력부는 상기 제 1 수화알고리즘부를 통해 알고리즘화된 수화를 주위 다수에게 전달하도록 모니터로 출력하는 것일 수 있다.In the embodiment of the present invention, the hydration output unit may include an agent that algorises the speech or text corresponding to speech or text based on the speech or text algorithmized through the first speech algorithm unit and the first text algorithm unit through artificial intelligence 1 hydration algorithm unit may be provided, and the hydration output unit may output the algorithmized hydration through the first hydration algorithm unit to a monitor so as to be transmitted to the surrounding majority.

본 발명의 실시예에 있어서, 상기 수화분석부는 카메라를 통해 감지된 수화에 대응되는 음성 또는 텍스트로 변환하도록 인공지능을 통해 수화를 알고리즘화하는 제 2 수화알고리즘부가 구비된 것도 가능하다.In the embodiment of the present invention, the sign language analyzing unit may be provided with a second sign language algorithm unit that alters the sign language through the artificial intelligence so as to convert the speech or text corresponding to the sign language sensed through the camera.

본 발명의 실시예에 있어서, 상기 음성텍스트출력부는 상기 제 2 수화알고리즘부를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 음성을 인공지능을 통해 알고리즘화하는 제 2 음성알고리즘부 및 상기 제 2 수화알고리즘부를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 텍스트를 인공지능을 통해 알고리즘화하는 제 2 텍스트알고리즘부 포함하는 것일 수 있다.In the embodiment of the present invention, the speech text output unit may include a second speech algorithm unit for alerting the speech corresponding to the speech content on the basis of the algorithmized speech signal through the second speech signal algorithm unit through artificial intelligence, And a second textual algorithm unit for alerting the text corresponding to the sign language contents based on the algorithmized sign language through the sign language algorithm unit through artificial intelligence.

본 발명의 실시예에 있어서, 상기 제 2 음성알고리즘부는 알고리즘화된 음성을 스피커부를 통해 출력하고, 상기 제 2 텍스트알고리즘부는 알고리즘화된 텍스트를 모니터부를 통해 출력하는 것일 수 있다.In the embodiment of the present invention, the second speech algorism unit outputs the algorized voice through the speaker unit, and the second text algorithm unit outputs the algorized text through the monitor unit.

본 발명의 실시예에 있어서, 상기 웨어러블 수화통역장치에 사용되는 인공지능이 딥러닝을 통해 수화 및 음성 또는 텍스트를 군집화하고 분류하여 알고리즘화하도록 딥러닝부가 구비된 것일 수 있다.In the embodiment of the present invention, the artificial intelligence used in the wearable sign language interpreting apparatus may be provided with a deep learning unit for grouping and classifying and signifying hydration and voice or text through deep learning.

본 발명의 실시예에 있어서, 웨어러블 수화통역장치를 통해 사용자의 눈 앞에 장비하여 수화를 인식하고, 통역을 수행하도록 수화통역안경이 구비된 것 일 수 있다.In the embodiment of the present invention, the sign language interpretation glasses may be provided so that the sign language is recognized by the wearer's sign language interpretation device and the interpretation is performed.

본 발명의 실시예에 있어서, 웨어러블 수화통역장치를 통해 사용자의 목이나 귀에 걸어 수화를 인식하고, 통역을 수행하도록 수화통역팬던트가 구비된 것 일 수 있다.In an embodiment of the present invention, a sign language interpretation pendant may be provided to recognize the sign language by walking on the user's neck or ear through the wearable sign language interpretation apparatus, and to perform interpretation.

본 발명의 실시예에 따르면, 웨어러블 수화통역장치는 음성을 수화로 통역하고, 수화를 음성 또는 텍스트로 통역함으로써, 수화자와 일반인의 의사소통의 불편함을 해소하고, 음성 또는 수화를 인공지능에 의해서 알고리즘화하여 매칭시킴으로써, 입력하는 사람에 따른 차이를 보정하여 통역차이가 발생되지 않고, 통역의 정확도를 향상시킬 수 있으며, 소수의 수화자가 착용하여 다수의 일반인에게 통역을 수행할 수 있는 효과가 있다.According to the embodiment of the present invention, the wearable sign language interpreting apparatus interprets voice as sign language and interprets sign language as voice or text, thereby eliminating the inconvenience of communication between the person who speaks and the public, The accuracy of the interpretation can be improved and the interpreter can be performed to a large number of ordinary people by wearing a small number of signers. have.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the configuration of the invention described in the claims.

도 1은 본 발명의 일실시예에 따른 웨어러블 수화통역장치의 개략적인 구성도이다.
도 2는 본 발명의 일실시예에 따른 웨어러블 수화통역장치의 블럭도이다.
도 3은 본 발명의 또 하나의 실시예에 따른 웨어러블 수화통역장치의 개략적인 구성도이다.
도 4는 본 발명의 일실시예에 따른 수화통역방법의 흐름도이다.
도 5는 본 발명의 또 하나의 실시예에 따른 수화통역방법의 흐름도이다.
도 6은 본 발명의 또 하나의 실시예에 따른 수화통역시스템의 블럭도이다.1 is a schematic configuration diagram of a wearable sign language interpretation apparatus according to an embodiment of the present invention.
2 is a block diagram of a wearable sign language interpretation apparatus according to an embodiment of the present invention.
3 is a schematic configuration diagram of a wearable sign language interpretation apparatus according to another embodiment of the present invention.
4 is a flowchart of a sign language interpretation method according to an embodiment of the present invention.
5 is a flowchart of a sign language interpretation method according to another embodiment of the present invention.
6 is a block diagram of a sign language interpretation system according to another embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" (connected, connected, coupled) with another part, it is not only the case where it is "directly connected" "Is included. Also, when an element is referred to as "comprising ", it means that it can include other elements, not excluding other elements unless specifically stated otherwise.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 웨어러블 수화통역장치의 개략적인 구성도이고, 도 2는 본 발명의 일실시예에 따른 웨어러블 수화통역장치의 블럭도이다.FIG. 1 is a schematic block diagram of a wearable sign language interpretation apparatus according to an embodiment of the present invention, and FIG. 2 is a block diagram of a wearable sign language interpretation apparatus according to an embodiment of the present invention.

도 1내지 도 2를 참조하면, 본 실시예에 따른 웨어러블 수화통역장치(200)는 사용자의 몸에 장착되도록 구비되도록 몸체부가 구비된다.Referring to FIGS. 1 and 2, a wearable sign language interpretation apparatus 200 according to an embodiment of the present invention includes a body portion to be mounted on a user's body.

보다 상세하게는, 사용자가 수화자일 경우, 상기 몸체부(110)는 목걸이나, 귀걸이, 안경 등과 같이 사람의 몸에 착용가능하도록 구비된다. 상기 몸체부(110)에는 사용자의 손 움직임을 감지할 수 있는 카메라가 장착된 카메라부(111)가 구비된다.More specifically, when the user is a receiver, the body 110 is provided to be worn on a human body such as a necklace, an earring, and a pair of glasses. The body 110 is provided with a camera unit 111 having a camera for detecting the movement of the user's hand.

또한, 사용자는 안경형상으로 제조된 몸체부(110)를 착용하고, 상기 몸체부(110)에 장착된 카메라부(111)에 구비된 카메라를 통해서 수화를 위한 손 움직임을 감지하게 된다.In addition, the wearer wears a body 110 formed in the form of a spectacle, and senses hand movement for hydration through a camera provided in the camera unit 111 mounted on the body 110.

이러한 손 움직임을 감지하면, 수화통역시스템(100)에 구비된 수화분석부(250)에서 카메라부(111)를 통해 인식된 수화의 내용을 알고리즘화하고, 상기 수화내용과 대응되는 음성을 출력하게 된다.When the hand movement is detected, the sign language analysis unit 250 provided in the sign language interpretation system 100 alters the content of the sign language recognized through the camera unit 111 and outputs a voice corresponding to the sign language content do.

이때, 상기 수화내용과 대응되는 음성을 알고리즘화하여 상기 알고리즘화된 수화내용과 매칭하고, 매칭 시 알고리즘화된 음성을 웨어러블 수화통역장치와 유선 또는 무선으로 연결된 스피커가 구비된 스피커부(140)를 통해 출력하게 된다.At this time, a speaker unit 140 equipped with speakers connected to the wearable sign language interpretation apparatus by wire or wireless is matched with the algorithmized speech by matching the speech corresponding to the sign language with the algorithmized sign language, .

상기 사용자는 웨어러블 수화통역장치(200)를 사용하는 사람을 뜻하며, 상황에 따라 수화를 행하는 수화자일 수 있고, 음성 또는 텍스트를 입력하는 일반인일 수 있다.The user refers to a person who uses the wearable sign language interpretation apparatus 200, may be a receiver who performs sign language according to a situation, and may be a general person who inputs voice or text.

또한, 상기 수화내용과 대응되는 텍스트를 알고리즘화하여 상기 알고리즘화된 수화내용과 매칭하고, 매칭 시 알고리즘화된 텍스트를 웨어러블 수화통역장치(200)와 유선 또는 무선으로 연결된 모니터가 구비된 모니터부(160)를 통해 출력하게 된다.In addition, the text corresponding to the sign language may be algorithmized and matched with the algorithmized sign content, and a monitor unit provided with a monitor connected to the wearable sign language interpretation apparatus 200 by wired or wireless 160).

상기 알고리즘화된 수화와 상기 알고리즘화된 음성 및 텍스트를 매칭시켜 매칭불가 시 수화를 다시 인식시켜 음성 및 텍스트와 매칭시키도록 한다.The algorithmic sign language is matched with the algorithmized voice and text to recognize the non-matching language sign again to match the voice and the text.

이와 반대로, 사용자가 일반인일 경우, 사용자는 안경형상으로 제조된 몸체부(110)를 착용하고, 상기 몸체부(110)에 장착되어 있거나 또는 상기 몸체부(110)와 유무선으로 연결된 마이크가 구비된 마이크부(120)를 통해 음성을 인식시키게 된다.On the other hand, when the user is a general user, the user wears a body 110 formed in the form of a spectacle, and the user is provided with a microphone mounted on the body 110 or connected to the body 110 by wire / And recognizes the voice through the microphone unit 120.

상기 마이크부(120)는 사용자의 음성을 인식하고 인식된 음성을 음성텍스트분석부(220)를 통해 분석하게 된다. 따라서, 사용자가 마이크부(120)를 통해 음성을 인식시키면 음성텍스트분석부(220)에서 상기 음성을 알고리즘화하고, 음성의 내용과 대응되는 수화를 알고리즘화하게 된다. 상기 알고리즘화된 음성 및 알고리즘화된 수화를 매칭시켜 매칭 시 상기 수화의 내용을 모니터가 구비된 모니터부(160)를 통해 출력하게 된다. The microphone 120 recognizes the user's voice and analyzes the recognized voice through the voice-to-text analyzer 220. Accordingly, when the user recognizes the voice through the microphone unit 120, the voice text analyzer 220 algorises the voice and algorithmizes the sign language corresponding to the contents of the voice. The algorithmized speech and the algorithmized signatures are matched and the contents of the sign language are output through the monitor unit 160 provided with the monitor.

또한, 사용자는 안경형상으로 제조된 몸체부(110)를 착용하고, 상기 몸체부(110)와 유무선으로 연결된 입력장치가 구비된 입력장치부(170)를 통해 텍스트를 인식시키게 된다.The user wears the body 110 formed in the form of a spectacle and recognizes the text through the input device 170 having the input device connected to the body 110 by wire or wireless.

상기 입력장치부(170)는 사용자의 텍스트 입력을 인식하고 인식된 텍스트를 음성텍스트분석부(220)를 통해 분석하게 된다. 따라서, 사용자가 입력장치를 통해 텍스트를 인식시키면 음성텍스트분석부(220)에서 상기 텍스트를 알고리즘화하고, 텍스트의 내용과 대응되는 수화를 알고리즘화하게 된다. 상기 알고리즘화된 텍스트 및 알고리즘화된 수화를 매칭시켜 매칭 시 상기 수화의 내용을 모니터가 구비된 모니터부(160)를 통해 출력하게 된다.The input unit 170 recognizes the user's text input and analyzes the recognized text through the voice-to-text analyzer 220. Accordingly, when the user recognizes the text through the input device, the text analyzer 220 alters the text and algorithmizes the sign language corresponding to the content of the text. The matched text and the algorithmized sign language are matched and the content of the sign language is output through the monitor unit 160 equipped with the monitor.

한편, 상기 알고리즘화된 음성 및 텍스트와 상기 알고리즘화된 수화를 매칭시켜 매칭불가 시 음성 및 텍스트를 다시 인식시켜 수화와 매칭시키도록 한다.Meanwhile, the algorithmized speech and text are matched with the algorithmized sign language, so that the speech and text are recognized again and matched with the sign language.

도 2를 참조하면, 본 실시예에 따른 웨어러블 수화통역장치(200)는 마이크부(110)를 통해 외부에서 발생되는 음성 또는 입력장치를 통해 텍스트를 인식하는 음성텍스트인식부(210)를 포함한다.2, the wearable sign language interpretation apparatus 200 according to the present embodiment includes a voice generated from the outside through the microphone unit 110 or a voice text recognition unit 210 for recognizing text through an input device .

보다 상세하게는, 음성을 인식할 수 있도록 마이크로 구성된 마이크부(120)가 구비되고, 상기 마이크는 사용자가 음성을 통해 이야기하는 바를 음성으로 인식하는 장치이다. 상기 마이크는 웨어러블 수화통역장치(200)에 장착되거나, 개별적으로 사용되어 무선으로 웨어러블 수화통역장치(200)와 연동될 수 있다. 또한, 휴대폰과 같은 스마트 단말기를 통해 마이크로 사용되는 것도 가능하다. 상기 마이크는 일반적으로 사용되는 음성이나 소리를 전기 펄스로 바꾸는 장치로 마이크에 대한 구체적인 구성은 생략하기로 한다.In more detail, a microphone unit 120 configured to recognize a voice is provided, and the microphone is a device for recognizing what the user is talking through voice by voice. The microphone may be attached to the wearable sign language interpretation apparatus 200 or may be used separately and interlocked with the wearable sign language interpretation apparatus 200 wirelessly. It is also possible to use microphones through smart terminals such as mobile phones. The microphone is a device for converting a generally used voice or sound into electric pulses, and a detailed configuration of the microphone will be omitted.

또한, 웨어러블 수화통역장치(200)와 연결되어 텍스트를 입력하도록 입력장치부(170)가 구비된다. 상기 입력장치부(170)는 키보드, 스크린패드 또는 휴대폰과 같이 유선 및 무선으로 웨어러블 수화통역장치(200)와 연동되어 입력된 텍스트를 웨어러블 수화통역장치(200)에 전달한다.In addition, the input device unit 170 is connected to the wearable sign language interpretation apparatus 200 to input text. The input unit 170 interlocks with the wearable sign language interpretation apparatus 200 in a wired or wireless manner, such as a keyboard, a screen pad, or a cellular phone, and transmits the input text to the wearable sign language interpretation apparatus 200.

한편, 음성텍스트인식부(210)로부터 인식된 음성 또는 텍스트를 인공지능을 통해 분석하는 음성텍스트분석부(220)가 구비된다.On the other hand, a voice text analysis unit 220 for analyzing the voice or text recognized from the voice text recognition unit 210 through artificial intelligence is provided.

보다 상세하게는, 상기 음성텍스트분석부(220)는 마이크부(120)를 통해 인식된 음성 또는 입력장치부(170)를 통해 입력된 텍스트를 상기 음성텍스트인식부(210)를 통해 인식하고, 인공지능을 통해서 이를 분석한다. 마이크나 입력장치부(170)를 통해 입력된 음성 또는 텍스트와 같은 정보들은 표현하는 사람에 따라 차이가 발생하게 되고, 인공지능을 통해 이러한 차이점을 보정하여 공통적으로 표현하는 정보를 분석한다. 즉, 같은 표현이라도 입력하는 사람마다 차이가 존재하고, 이러한 차이에도 입력하는 사람이 표현하고자 하는 의사를 구분하여 웨어러블 수화통역장치(200)가 통역을 수행할 수 있도록 음성텍스트분석부(220)가 마이크를 통해 인식된 음성 또는 입력장치부(170)를 통해 입력된 텍스트를 분석한다.More specifically, the voice text analysis unit 220 recognizes the voice recognized through the microphone unit 120 or the text input through the input device unit 170 through the voice text recognition unit 210, Analyze it through artificial intelligence. Information such as voice or text input through the microphone or the input unit 170 is different according to the person who expresses the information, and the information that is commonly expressed is corrected by correcting the difference through artificial intelligence. In other words, even if the same expression exists, there is a difference between the inputting person. Even in such a case, the voice text analyzing unit 220 divides the doctor to be expressed by the inputting person so that the wearable sign language interpreting apparatus 200 can perform interpretation And analyzes the voice recognized through the microphone or the text input through the input device unit 170. [

또한, 음성텍스트분석부(220)에서 분석된 음성 또는 텍스트를 기반으로 웨어러블 수화통역장치(200)를 통해 수화를 출력하도록 수화출력부(230)가 구비된다.In addition, the speech output unit 230 is provided to output the speech signal through the wearable sign language interpretation apparatus 200 based on the voice or text analyzed by the speech text analysis unit 220.

보다 상세하게는, 상기 수화출력부(230)는 상기 음성텍스트분석부(220)를 통해서 분석된 음성 또는 텍스트를 인공지능을 통해 분석하여 이와 대응되는 수화를 출력할 수 있다. 수화내용을 출력하기 위해서 웨어러블 수화통역장치(200)가 이용되고, 상기 웨어러블 수화통역장치(200)는 사람의 손과 동일한 형상으로 구비되어 수화내용을 정확하게 전달할 수 있다. 또한, 이러한 수화내용을 로봇과 연결된 모니터를 통해 출력하는 것도 가능하다. 따라서, 근거리 대상에게는 웨어러블 수화통역장치(200)를 통해서 전달하고, 원거리 대상에게는 모니터를 통해 수화내용을 전달할 수 있다.More specifically, the hydration output unit 230 may analyze the voice or text analyzed through the voice text analysis unit 220 through artificial intelligence, and output the corresponding sign language. The wearable sign language interpretation apparatus 200 is used to output sign language content, and the wearable sign language interpretation apparatus 200 is provided in the same shape as a human hand, so that the sign language content can be accurately transmitted. It is also possible to output such sign language content through a monitor connected to the robot. Therefore, the near object can be delivered through the wearable sign language interpretation apparatus 200, and the far object can be delivered to the remote object through the monitor.

한편, 음성텍스트분석부(220)는 잡음제거부(221), 제 1 음성알고리즘부(222) 및 제 1 텍스트알고리즘부(223)를 포함한다.The speech text analysis unit 220 includes a noise removing unit 221, a first speech algorithm unit 222, and a first text algorithm unit 223.

보다 상세하게는, 상기 잡음제거부(221)는 상기 마이크를 통해 인식된 음성에 포함된 잡음을 제거하도록 구비된다. 따라서, 마이크를 통해 보다 정확하게 음성을 인식할 수 있다. 또한, 상기 잡음제거부(221)를 통해 잡음이 제거된 음성에 대응되는 수화로 번역하도록 인공지능을 통해 음성을 알고리즘화하는 제 1 음성알고리즘부(222)가 구비된다. 상기 제 1 음성알고리즘부(222)에 적용되는 상기 인공지능은 다양하게 적용가능하나 바람직하게는 딥러닝을 이용한 딥러닝부(270)를 통해 인식된 정보를 군집화하고 분류하여 알고리즘화한다.More specifically, the noise removing unit 221 is provided to remove noise included in the voice recognized through the microphone. Therefore, the voice can be recognized more accurately through the microphone. In addition, a first speech algorithm unit 222 is provided for algorithmizing the speech through the artificial intelligence so as to translate the speech into speech corresponding to the speech removed by the noise eliminator 221. The artificial intelligence applied to the first speech algorithm unit 222 may be variously applied, but it is preferable to classify and classify the recognized information through the deep learning unit 270 using the deep learning algorithm.

또한, 상기 제 1 텍스트알고리즘부(223)는 입력장치부(170)를 통해 입력된 텍스트와 대응되는 수화 번역하도록 인공지능을 통해 텍스트를 알고리즘화한다. 상기 인공지능은 다양하게 적용가능하나 바람직하게는 딥러닝부(270)를 이용하여 인식된 정보를 군집화하고 분류하여 알고리즘화한다.In addition, the first text algorithm unit 223 alters the text through artificial intelligence so as to perform sign language translation corresponding to the text input through the input device unit 170. The artificial intelligence may be variously applied, but it is preferable to classify and classify the recognized information by using the deep running unit 270 and to algorithmize it.

또한, 수화출력부(230)는 제 1 수화알고리즘부(231)를 통해 알고리즘화된 수화를 웨어러블 수화통역장치(200)로 출력한다.In addition, the sign language output unit 230 outputs the sign language to the wearable sign language interpretation apparatus 200 through the first sign language algorithm unit 231.

보다 상세하게는, 상기 제 1 수화알고리즘부(231) 는 상기 제 1 음성알고리즘부(222) 및 제 1 텍스트알고리즘부(223)를 통해 알고리즘화된 음성 또는 텍스트에 기초하여, 상기 음성 또는 텍스트와 대응되는 수화를 딥러닝을 이용한 딥러닝부(270)를 통해 알고리즘화하고, 이를 웨어러블 수화통역장치(200)를 통해 출력하게 된다. More specifically, the first sign language algorithm section 231 analyzes the speech or text based on speech or text that has been algorithmized through the first speech algorithm section 222 and the first text algorithm section 223, The corresponding hydration is made into an algorithm through the deep running unit 270 using the deep run and outputted through the wearable sign language interpretation apparatus 200.

즉, 인식된 음성 또는 텍스트는 상기 제 1 음성알고리즘부(222) 및 상기 제 1 텍스트알고리즘부(223)에서 딥러닝부(270)를 통해 알고리즘화하고, 이러한 알고리즘화된 음성 또는 텍스트와 대응되는 수화를 도출하여 이를 딥러닝부(270)를 통해 제 1 수화알고리즘부(231) 에서 알고리즘화한다. 따라서, 음성 또는 텍스트를 알고리즘화하고, 이와 대응되는 수화를 알고리즘화함으로써, 웨어러블 수화통역장치(200) 사용자에 따른 차이를 보완하고, 통역의 오류를 방지할 수 있다.That is, the recognized voice or text is algorithmized through the deep learning unit 270 in the first voice algorithm unit 222 and the first text algorithm unit 223, and the voice or text corresponding to the algorithmized voice or text And the first sign language algorithm unit 231 performs an algorithm thereof through the deep runner 270. Therefore, by making the voice or the text into an algorithm and making the corresponding sign language algorithm, it is possible to compensate the difference according to the user of the wearable sign language interpreter 200 and to prevent an error in interpretation.

한편, 웨어러블 수화통역장치(200)에 카메라가 구비된 카메라부(111)를 통해 움직임을 감지하고, 감지되는 수화를 인식하는 수화인식부(240)가 구비된다.Meanwhile, a sign language recognition unit 240 is provided for recognizing movement of the wearable sign language interpretation apparatus 200 through the camera unit 111 equipped with a camera and recognizing the sign language.

보다 상세하게는, 상기 수화인식부(240)는 웨어러블 수화통역장치(200)에 카메라가 구비된 카메라부(111)를 통해 수화자의 손을 촬영하고, 이를 통해 수화를 인식하게 된다. 또한, 상기 수화인식부(240)는 수화자의 수화를 인식할 수 있도록 수화자가 센서가 구비된 장갑을 착용한 상태에서 수화를 수행하고 상기 장갑과 연결된 웨어러블 수화통역장치(200)가 센서로부터 신호를 받아 수화를 인식하는 것도 가능하다.More specifically, the sign language recognition unit 240 captures the hand of the receiver through the camera unit 111 equipped with the camera in the wearable sign language interpretation apparatus 200, and thereby recognizes the sign language. In addition, the sign language recognition unit 240 performs sign language in a state in which the signee wears gloves equipped with sensors so that the sign language of the sign language can be recognized, and the wearable sign language interpretation apparatus 200 connected to the gloves It is also possible to recognize the sign language.

또한, 수화인식부(240)로부터 인식된 수화를 인공지능을 통해 분석하는 수화분석부(250)가 구비된다.The sign language analyzing unit 250 analyzes the sign language recognized by the sign language recognizing unit 240 through artificial intelligence.

보다 상세하게는, 상기 수화분석부(250)는 상기 수화인식부(240)로부터 수화를 인식하고, 인식된 수화를 인공지능을 통해 분석한다. 즉, 수화를 수행하는 수화자마다 동일한 수화내용을 수행하여도 손의 위치나 속도, 습관 등에 의해서 차이가 발생하게 되는데 이러한 차이를 포함하고 일정한 수화내용을 전달할 수 있도록 인공지능을 통해 수화내용을 분석한다. 따라서, 이러한 수화내용은 수화자마다 차이가 발생되더라도 정확하고 일정한 수화내용을 분석할 수 있도록 한다.More specifically, the sign language analyzing unit 250 recognizes sign language from the sign language recognizing unit 240 and analyzes the recognized sign language through artificial intelligence. In other words, even if the sign language of each sign language signifier performs the same sign language, there will be a difference depending on the position, speed, and habit of the hand, and the sign language is analyzed through artificial intelligence . Therefore, this sign language content enables the accurate and constant sign language content to be analyzed even if there is a difference between sign language characters.

한편, 수화분석부(250)를 통해 분석된 수화를 기반으로 수화에 대응되는 음성 또는 텍스트를 출력하는 음성텍스트출력부(260)가 구비된다.On the other hand, a speech text output unit 260 for outputting speech or text corresponding to sign language based on the analyzed signatures through the sign language analysis unit 250 is provided.

보다 상세하게는, 상기 음성텍스트출력부(260)는 상기 수화분석부(250)를 통해 분석된 수화와 대응되도록 음성 또는 텍스트를 출력할 수 있다. 상기 음성은 웨어러블 수화통역장치(200)에 장착된 마이크 또는 상기 웨어러블 수화통역장치(200)와 연결된 마이크를 통해 출력되고, 텍스트는 웨어러블 수화통역장치(200)에 구비된 모니터 또는 외부 모니터를 통해서 출력 가능하다. 또한, 상기 웨어러블 수화통역장치(200)를 휴대폰과 연동시켜 휴대폰에 구비된 스피커나 화면을 통해서 출력하는 것 또한 가능하다.In more detail, the voice text output unit 260 may output voice or text to correspond to the analyzed signatures through the sign language analysis unit 250. The voice is output through a microphone mounted on the wearable sign language interpretation apparatus 200 or a microphone connected to the wearable sign language interpretation apparatus 200. The text is output through a monitor or an external monitor provided in the wearable sign language interpretation apparatus 200 It is possible. It is also possible that the wearable sign language interpreting apparatus 200 is interlocked with a mobile phone and output through a speaker or a screen provided in the mobile phone.

또한, 수화분석부(250)는 인공지능을 통해 수화를 알고리즘화하는 제 2 수화알고리즘부(251)가 구비된다.In addition, the sign language analyzer 250 is provided with a second sign language algorithm unit 251 that alters sign language through artificial intelligence.

보다 상세하게는, 상기 제 2 수화알고리즘부(251)는 카메라를 통해 감지된 수화에 대응되는 음성 또는 텍스트로 번역하도록 인공지능을 통해 수화를 알고리즘화한다. 상기 인공지능은 다양하게 적용가능하나 바람직하게는 딥러닝을 이용한 딥러닝부(270)를 통해 인식된 정보를 군집화하고 분류하여 알고리즘화한다.More specifically, the second hydration algorithm unit 251 alters the hydration through artificial intelligence so as to translate it into voice or text corresponding to the hydration sensed through the camera. The artificial intelligence may be variously applied, but it is preferable to classify and classify the recognized information through the deep learning unit 270 using the deep learning.

한편, 음성텍스트출력부(260)는 제 2 수화알고리즘부(251)를 통해 알고리즘화된 음성 또는 텍스트를 웨어러블 수화통역장치(200)로 출력하도록 제 2 음성알고리즘부(261) 또는 제 2 텍스트알고리즘부(262)가 구비된다. Meanwhile, the voice text output unit 260 outputs the voice or text, which has been algorithmized through the second sign language algorithm unit 251, to the wearable sign language interpretation apparatus 200, A portion 262 is provided.

보다 상세하게는, 상기 제 2 수화알고리즘부(251)를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 음성을 인공지능을 통해 알고리즘화하는 제 2 음성알고리즘부(261)가 구비되고, 상기 제 2 수화알고리즘부(251)를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 텍스트를 인공지능을 통해 알고리즘화하는 제 2 텍스트알고리즘부(262)가 구비된다. More specifically, a second speech algorithm unit 261 for algorithmically converting the speech corresponding to the speech content on the basis of the algorithmized speech signal through the second speech signal algorithm unit 251 is provided through artificial intelligence, A second text algorithm unit 262 is provided for algorithmizing the text corresponding to the sign language on the basis of the algorithmized signing through the second sign language algorithm unit 251 through artificial intelligence.

즉, 수화자에 의해서 수화내용을 알고리즘화하고, 상기 수화내용에 대응되는 음성 또는 텍스트를 알고리즘화하여 웨어러블 수화통역장치(200)를 통해 출력하게 된다. 상기 인공지능은 다양하게 적용가능하나 바람직하게는 딥러닝을 이용한 딥러닝부(270)를 통해 인식된 정보를 군집화하고 분류하여 알고리즘화한다.That is, the content of the sign language is algorithmized by the listener and the voice or text corresponding to the sign language is algorithmized and outputted through the wearable sign language interpretation apparatus 200. The artificial intelligence may be variously applied, but it is preferable to classify and classify the recognized information through the deep learning unit 270 using the deep learning.

또한, 딥러닝부(270)는 알고리즘화된 수화와 알고리즘화된 음성 또는 텍스트를 군집화하고 분류하여 매칭시키도록 매칭부(280)가 구비될 수 있다.In addition, the deep running unit 270 may be provided with a matching unit 280 for grouping and classifying the algorithmized signatures and the algorithmized voice or text.

보다 상세하게는, 상기 매칭부(280)는 상기 제 1 및 제 2 수화알고리즘부(231, 251)를 통해 알고리즘화된 수화와 상기 제 1 및 제 2 음성알고리즘부(222, 261) 또는 제1 및 제 2 텍스트알고리즘부(223, 262)를 통해 알고리즘화된 음성 또는 텍스트를 군집화하고 분류하여 각각 매칭시키도록 한다. 따라서, 수화와 음성 또는 텍스트가 각각 매칭되므로, 보다 용이하게 수화와 음성 또는 텍스트의 통역이 가능하고, 또한 사용자에 따른 편차를 매칭을 통해 감소시킬 수 있다.More specifically, the matching unit 280 may be configured to perform the algorithmized signing through the first and second sign language algorithm units 231 and 251, the first and second voice language algorithm units 222 and 261, And the second text algorithm unit 223, 262, respectively, so as to be matched. Thus, since the sign language and the voice or the text are matched with each other, interpretation of sign language and voice or text can be performed more easily, and deviation according to the user can be reduced through matching.

이러한 음성텍스트출력부(260)는 수화에 대응되는 음성 및 텍스트를 각각 출력할 수 있고, 또는 음성 및 텍스트를 동시에 출력하는 것도 가능하다.The voice text output unit 260 can output voice and text corresponding to sign language, respectively, or output voice and text at the same time.

도 3은 본 발명의 또 하나의 실시예에 따른 웨어러블 수화통역장치의 개략적인 구성도이다.3 is a schematic configuration diagram of a wearable sign language interpretation apparatus according to another embodiment of the present invention.

도 2 내지 도 3을 참조하면, 본 실시예에 따른 웨어러블 수화통역장치(300)는 사용자의 몸에 장착되도록 구비되도록 몸체부(310)가 구비된다. 사용자는 펜던트로 사용하도록 제조된 몸체부(310)를 목에 걸어 착용하고, 상기 몸체부(310)에 장착된 카메라부(311)에 구비된 카메라를 통해서 수화를 위한 손 움직임을 감지하게 된다.Referring to FIGS. 2 and 3, the wearable sign language interpretation apparatus 300 according to the present embodiment includes a body 310 to be mounted on a user's body. The user wears the body 310 manufactured to be used as a pendant by hanging on his neck and senses the hand motion for hydration through the camera provided in the camera unit 311 mounted on the body 310.

도 3에 도시된 웨어러블 수화통역장치는 몸체부(310)가 펜던트로 제조된 것을 제외하고 도 1 의 웨어러블 수화통역장치와 동일하므로 이에 대한 자세한 설명은 생략하기로 한다. The wearable sign language interpretation device shown in FIG. 3 is the same as the wearable sign language interpretation device of FIG. 1, except that the body portion 310 is made of a pendant, so a detailed description thereof will be omitted.

상기 몸체부(310)는 카메라를 통해 사용자의 손 움직임을 인식하기 위해 사용자의 몸에 착용되는 것으로써, 손 움직임을 용이하게 인식할 수 있다면 착용위치 및 형상에 있어서 제약되지 않는다. 따라서, 상기 몸체부(310)는 다양한 형상으로 제조가능하고 바람직하게는 안경, 목걸이, 귀걸이 등으로 제조된 것이다.The body 310 is worn on the user's body to recognize the movement of the user's hand through the camera, so that the user can easily recognize the movement of the hand. Accordingly, the body portion 310 can be manufactured in various shapes, and is preferably made of glasses, necklaces, earrings, and the like.

도 4는 본 발명의 일실시예에 따른 수화통역방법의 흐름도이다.4 is a flowchart of a sign language interpretation method according to an embodiment of the present invention.

도 1 내지 도 4를 참조하면, 본 실시예에 따른 웨어러블 수화통역장치(200)는 상기 웨어러블 수화통역장치를 사용하는 사용자의 음성이나 텍스트를 웨어러블 수화통역장치(200)에 구비된 마이크나 입력장치를 통해 인식하는 단계(S410)를 포함한다.1 to 4, a wearable sign language interpretation apparatus 200 according to the present embodiment includes a voice or a text of a user who uses the wearable sign language interpretation apparatus, a microphone provided in the wearable sign language interpretation apparatus 200, (S410).

보다 상세하게는, 사용자는 마이크가 구비된 마이크부(120)를 통해서 음성을 입력하거나 입력장치부(170)를 통해서 텍스트를 웨어러블 수화통역장치(200)에 인식시킬 수 있다. 상기 마이크부(120), 입력장치부(170)는 상기 웨어러블 수화통역장치(200)에 장착되어 있는 구조일 수 있고, 또는 웨어러블 수화통역장치(200)와 유무선으로 연결되어 외부에서 실행될 수 있다.More specifically, the user can input a voice through the microphone unit 120 having a microphone or recognize the text to the wearable sign language interpretation apparatus 200 through the input device unit 170. The microphone unit 120 and the input unit 170 may be mounted on the wearable sign language interpretation apparatus 200 or may be connected to the wearable sign language interpretation apparatus 200 by wire or wireless and may be executed externally.

또한, 마이크부(120)나 입력장치부(170)를 통해 인식된 음성이나 텍스트를 인공지능을 통해 알고리즘화시키는 단계(S420)를 포함할 수 있다.In addition, it may include a step S420 of algorithmizing the voice or text recognized through the microphone 120 or the input device 170 through artificial intelligence.

보다 상세하게는, 마이크부(120)를 통해 인식된 음성을 인공지능을 통해 알고리즘화하거나 또는, 입력장치부(170)를 통해 인식된 텍스트를 인공지능을 통해 알고리즘화하고, 인식된 음성의 내용 또는 인식된 텍스트의 내용과 대응되는 수화로 변환한다. More specifically, the voice recognized through the microphone 120 is algorized through artificial intelligence, or the recognized text is input to the input device 170 through an artificial intelligence algorithm, and the contents of the recognized voice Or to the sign language corresponding to the content of the recognized text.

또한, 음성 또는 텍스트와 대응되는 수화를 알고리즘화 시키는 단계(S430)를 포함할 수 있다.Further, it may include a step S430 of algorithmizing the sign language corresponding to the voice or the text.

상기 인식된 음성 또는 텍스트를 인공지능을 통해 알고리즘화시키는 단계(S420)에서 인식된 음성의 내용 또는 인식된 텍스트의 내용과 대응되는 수화를 도출하고 상기 수화를 알고리즘화한다.In the step S420 of algorithmizing the recognized voice or text through artificial intelligence, the sign language corresponding to the content of the recognized voice or the recognized text is derived and the sign language is algorithmized.

또한, 음성 또는 텍스트를 알고리즘화 시키고 이와 대응되는 수화를 알고리즘화시켜 서로 매칭시키는 단계(S440)를 포함할 수 있다.In addition, it may include algorithmizing the voice or text and matching the corresponding signatures to each other (S440).

마이크부(120)를 통해 인식된 음성을 인공지능을 통해 알고리즘화하고, 이와 대응되는 수화를 알고리즘화하여 서로 매칭시킴으로써, 음성에 대응되는 수화를 표준화할 수 있고, 음성에 대응되는 수화의 출력 시 발생되는 오류를 감소시킬 수 있다.It is possible to standardize the sign language corresponding to the voice by algorithmizing the voice recognized through the microphone unit 120 and making the corresponding sign language algorithm into an algorithm by matching it with each other, Errors that occur can be reduced.

입력장치부(170)를 통해 인식된 텍스트를 인공지능을 통해 알고리즘화하고, 이와 대응되는 수화를 알고리즘화하여 서로 매칭시킴으로써, 텍스트에 대응되는 수화를 표준화할 수 있고, 텍스트에 대응되는 수화의 출력 시 발생되는 오류를 감소시킬 수 있다.It is possible to standardize the sign language corresponding to the text by algorithmizing the recognized text through the input device unit 170 and by matching the corresponding sign language with each other to match each other, It is possible to reduce an error occurring at the time of an error.

한편, 상기 인공지능은 여러가지가 적용가능하지만 바람직하게는 인식된 수화 및 음성 또는 텍스트를 군집화하고 분류하여 사용하도록 딥러닝을 통해서 알고리즘화시키는 것이다.On the other hand, the artificial intelligence can be applied in various ways, but is preferably algorithmized through deep learning so as to cluster and classify the recognized sign language and voice or text.

또한, 상기 알고리즘화된 음성 또는 텍스트와 알고리즘화된 수화를 매칭하는 단계에서 매칭이 불가능할 경우 음성이나 텍스트를 인식하는 단계를 다시 수행하는 단계(S441)를 추가로 포함 할 수 있다.In addition, if matching can not be performed in the step of matching the algorithmized voice or text with the algorithmized sign language, the step of recognizing voice or text may be performed again (S441).

또한, 알고리즘화된 음성이나 텍스트를 알고리즘화된 수화와 매칭시키는 단계를 수행하고 매칭이 가능할 경우 웨어러블 수화통역장치(200)를 통해 수화내용을 출력하는 단계(S450)를 포함할 수 있다.In addition, the step of matching the algorithmized voice or text with the algorithmized sign language may be performed and if the matching is possible, the sign language interpretation device 200 may output the sign language content (S450).

보다 상세하게는, 마이크부(120)를 통해 인식된 음성을 알고리즘화하고, 상기 음성의 내용과 대응되는 수화를 알고리즘화하여 서로 매칭시킨다. 이때, 음성의 내용과 수화의 내용이 매칭될 때, 상기 수화의 내용을 웨어러블 수화통역장치(200)를 통해서 출력하게 된다.More specifically, the voice recognized through the microphone 120 is algorithmized, and the signatures corresponding to the contents of the voice are algorithmized and matched with each other. At this time, when the content of the voice matches the content of the sign language, the content of the sign language is outputted through the wearable sign language interpretation apparatus 200.

또한, 입력장치부(170)를 통해 인식된 텍스트를 알고리즘화하고, 상기 텍스트의 내용과 대응되는 수화를 알고리즘화하여 서로 매칭시킨다. 이때, 텍스트의 내용과 수화의 내용이 매칭될 때, 상기 수화의 내용을 웨어러블 수화통역장치(200)를 통해서 출력하게 된다.In addition, the recognized text is algorithmized through the input unit 170, and the signatures corresponding to the contents of the text are algorithmized and matched with each other. At this time, when the content of the text matches the content of the sign language, the content of the sign language is output through the wearable sign language interpretation apparatus 200.

도 5는 본 발명의 또 하나의 실시예에 따른 수화통역방법의 흐름도이다.5 is a flowchart of a sign language interpretation method according to another embodiment of the present invention.

도 1 내지 도 5를 참조하면, 본 실시예에 따른 수화통역방법(500)은 상기 수화통역시스템을 사용하는 수화자의 수화를 웨어러블 수화통역장치(200)에 구비된 카메라부(111)를 통해 인식하는 단계(S510)를 포함한다.1 to 5, the sign language interpretation method 500 according to the present embodiment recognizes the sign language of the sign language interpreter using the sign language interpretation system through the camera unit 111 provided in the wearable sign language interpretation device 200 (S510).

보다 상세하게는, 사용자는 카메라가 구비된 카메라부(111)를 통해 수화를 웨어러블 수화통역장치(200)에 인식시킬 수 있다. 상기 카메라부(111)는 상기 웨어러블 수화통역장치(200)에 장착되어 있는 구조일 수 있고, 또는 웨어러블 수화통역장치(200)와 유무선으로 연결되어 외부에서 실행될 수 있다.More specifically, the user can recognize the sign language in the wearable sign language interpretation apparatus 200 through the camera section 111 provided with the camera. The camera unit 111 may be mounted on the wearable sign language interpretation apparatus 200 or may be connected to the wearable sign language interpretation apparatus 200 by wire or wireless and may be externally executed.

또한, 카메라를 통해 인식된 수화를 인공지능을 통해 알고리즘화시키는 단계(S520)를 포함할 수 있다.In addition, it may include a step S520 of algorithmizing the sign language recognized by the camera through artificial intelligence.

보다 상세하게는, 카메라부(111)부에 구비된 카메라를 통해 인식된 수화를 인공지능을 통해 알고리즘화하고, 인식된 수화의 내용과 대응되는 음성 또는 텍스트로 변환한다.More specifically, the sign language recognized through the camera provided in the camera unit 111 is converted into an algorithm through artificial intelligence and converted into a voice or text corresponding to the recognized sign language.

또한, 수화와 대응되는 음성 또는 텍스트로 알고리즘화 시키는 단계(S530)를 포함할 수 있다.It may also include algorithmizing (S530) the speech or text into a corresponding speech or text.

상기 인식된 수화를 인공지능을 통해 알고리즘화시키는 단계(S520)에서 인식된 음성의 내용 또는 인식된 텍스트의 내용과 대응되는 수화를 도출하고 상기 수화를 알고리즘화한다.In step S520 of algorithmizing the recognized sign language using artificial intelligence, the sign language corresponding to the content of the recognized speech or the recognized text is derived and the sign language is algorithmized.

또한, 음성 또는 텍스트를 알고리즘화 시키고 이와 대응되는 수화를 알고리즘화시켜 서로 매칭시키는 단계(S540)를 포함할 수 있다.In addition, the step S540 may include algorithmizing the voice or text and matching the corresponding signatures to each other (S540).

마이크부(120)를 통해 인식된 음성을 인공지능을 통해 알고리즘화하고, 이와 대응되는 수화를 알고리즘화하여 서로 매칭시킴으로써, 음성에 대응되는 수화를 표준화할 수 있고, 음성에 대응되는 수화의 출력 시 발생되는 오류를 감소시킬 수 있다.It is possible to standardize the sign language corresponding to the voice by algorithmizing the voice recognized through the microphone unit 120 and making the corresponding sign language algorithm into an algorithm by matching it with each other, Errors that occur can be reduced.

즉, 카메라부(111)를 통해 인식된 수화를 알고리즘화하고, 상기 수화의 내용과 대응되는 음성 또는 텍스트를 알고리즘화하여 서로 매칭시킨다. 이 때, 수화의 내용과 음성 또는 텍스트의 내용이 매칭될 때, 상기 음성의 내용을 웨어러블 수화통역장치(200)에 구비된 스피커부(140)를 통해서 출력하거나, 상기 텍스트의 내용을 웨어러블 수화통역장치(200)와 연결된 모니터부(160)를 통해 출력할 수 있다. 상기 스피커부(140) 및 모니터부(160)는 각각 음성내용 및 텍스트내용을 출력할 수 있고, 필요에 따라 동시에 출력하는 것도 가능하다.That is, the sign language recognized through the camera unit 111 is algorithmized, and the voice or text corresponding to the content of the sign language is algorithmized and matched with each other. At this time, when the content of the sign language matches the content of the voice or the text, the content of the voice is output through the speaker unit 140 provided in the wearable sign language interpretation apparatus 200, or the content of the text is stored in the wearable sign language interpretation Through the monitor unit 160 connected to the apparatus 200. The speaker unit 140 and the monitor unit 160 can output voice contents and text contents, respectively, and can simultaneously output them if necessary.

또한, 알고리즘화된 수화와 상기 알고리즘화된 음성 또는 텍스트를 매칭하는 단계에서 매칭이 불가능할 경우, 수화를 인식하는 단계를 다시 수행하는 단계(S541)를 추가로 포함 할 수 있다.In addition, if matching is impossible in the step of matching the algorithmized sign and the algorithmized voice or text, the step of recognizing the sign may again be performed (S541).

또한, 알고리즘화된 수화를 알고리즘화된 음성이나 텍스트와 매칭시키는 단계를 수행하고 매칭이 가능할 경우 웨어러블 수화통역장치(200)에 구비된 스피커부(140)를 통해서 음성을 출력하거나 모니터부(160)를 통해서 텍스트를 출력하는 단계(S550)를 포함할 수 있다.If the matching is possible, the speaker unit 140 provided in the wearable sign language interpretation apparatus 200 outputs the voice or outputs the voice to the monitor unit 160, (S550).

보다 상세하게는, 카메라부(111)를 통해 인식된 수화를 알고리즘화하고, 상기 수화의 내용과 대응되는 음성을 알고리즘화하여 서로 매칭시킨다. 이때, 수화의 내용과 음성의 내용이 매칭될 때, 상기 수화의 내용을 웨어러블 수화통역장치(200)에 구비된 스피커부(140)를 통해서 음성을 출력하게 된다.More specifically, the sign language recognized through the camera unit 111 is made into an algorithm, and the voice corresponding to the content of the sign language is algorithmized and matched with each other. At this time, when the content of the sign language is matched with the content of the voice, the content of the sign language is output through the speaker unit 140 provided in the wearable sign language interpretation apparatus 200.

또한, 카메라부(111)를 통해 인식된 수화를 알고리즘화하고, 상기 수화의 내용과 대응되는 텍스트를 알고리즘화하여 서로 매칭시킨다. 이때, 수화의 내용과 텍스트의 내용이 매칭될 때, 상기 텍스트의 내용을 웨어러블 수화통역장치(200)와 연결된 모니터부(160)를 통해서 텍스트를 출력하게 된다.Further, the sign language recognized through the camera unit 111 is converted into an algorithm, and the text corresponding to the content of the sign language is algorithmized and matched with each other. At this time, when the content of the sign language matches the content of the text, the content of the text is outputted through the monitor unit 160 connected to the wearable sign language interpretation apparatus 200.

따라서, 매칭이 가능할 때만 스피커부(140) 또는 모니터부(160)를 통해 수화의 내용을 출력하므로 사용자간의 차이에 따른 보정을 통해 수화의 내용과 음성 및 텍스트의 내용 간의 오류를 감소시킬 수 있다.Therefore, only when the matching is possible, the contents of sign language are output through the speaker unit 140 or the monitor unit 160, so that errors between sign language contents and voice and text contents can be reduced through correction according to the difference between users.

도 6은 본 발명의 또 하나의 실시예에 따른 웨어러블 수화통역장치(700)의 블럭도이다.6 is a block diagram of a wearable sign language interpretation apparatus 700 according to another embodiment of the present invention.

도 6을 참조하면, 본 발명에 따른 웨어러블 수화통역장치(700)는 제 1 사용자인식부(710)를 포함할 수 있다.Referring to FIG. 6, the wearable sign language interpretation apparatus 700 according to the present invention may include a first user recognition unit 710.

보다 상세하게는, 상기 제 1 사용자인식부(710)는 웨어러블 수화통역장치(700)를 사용하는 사용자를 인식하고 사용자의 특징들을 분류하여 데이터베이스화한다. 상기 제 1 사용자인식부(710)는 사용자를 다양한 방식으로 인식할 수 있고, 바람직하게는 카메라부(111)를 통해 사용자의 얼굴을 감지하여 인식하거나, 마이크부(120)를 통해 사용자의 음성을 감지하여 인식할 수 있고, 또는 입력장치부(170)를 통해 사용자가 입력하여 사용자를 인식시킬 수 있다.More specifically, the first user recognition unit 710 recognizes a user who uses the wearable sign language interpretation apparatus 700 and classifies the characteristics of the user into a database. The first user recognizing unit 710 recognizes the user in various ways and preferably recognizes the face of the user through the camera unit 111 or recognizes the user's voice through the microphone unit 120 Or may be recognized by the user through the input device unit 170. [0035]

또한, 제 1 사용자인식부(710)를 통해 인식된 사용자의 음성 또는 텍스트를 인식하는 음성텍스트인식부(720)가 구비된다.The voice recognition unit 720 recognizes the voice or text of the user recognized through the first user recognition unit 710.

보다 상세하게는, 음성을 인식할 수 있도록 마이크로 구성된 마이크부(120)가 구비되고, 상기 마이크는 사용자가 음성을 통해 이야기하는 바를 음성으로 인식하는 장치이다. 상기 마이크는 웨어러블 수화통역장치(700)에 장착되거나, 개별적으로 사용되어 무선으로 연동될 수 있다. 또한, 휴대폰과 같은 스마트 단말기를 통해 마이크로 사용되는 것도 가능하다. In more detail, a microphone unit 120 configured to recognize a voice is provided, and the microphone is a device for recognizing what the user is talking through voice by voice. The microphone may be mounted on the wearable sign language interpretation apparatus 700, or may be separately used and wirelessly interlocked. It is also possible to use microphones through smart terminals such as mobile phones.

또한, 웨어러블 수화통역장치(700)와 연결되어 텍스트를 입력하도록 입력장치부(170)가 구비된다. 상기 입력장치부(170)는 키보드, 스크린패드 또는 휴대폰과 같이 유선 및 무선으로 웨어러블 수화통역장치(700)와 연동되어 입력된 텍스트를 전달한다.Also, the input device unit 170 is connected to the wearable sign language interpretation apparatus 700 to input text. The input unit 170 transmits the input text in cooperation with the wearable sign language interpretation apparatus 700 in a wired or wireless manner, such as a keyboard, a screen pad, or a cellular phone.

따라서, 제 1 사용자인식부(710)를 통해 사용자를 인식하고, 사용자가 웨어러블 수화통역장치(700)에 음성 또는 텍스트를 인식시키면, 상기 음성텍스트인식부(720)를 통해 음성 또는 텍스트가 인식된다.Accordingly, when the user recognizes the user through the first user recognition unit 710 and the user recognizes the voice or text in the wearable sign language interpretation apparatus 700, the voice or text is recognized through the voice text recognition unit 720 .

한편, 음성텍스트인식부(720)를 통해 인식된 음성 또는 텍스트는 음성텍스트분석부(730)를 통해 음성 또는 텍스트를 분석하게 되고, 상기 음성텍스트분석부(730)는 잡음제거부(731), 제 1 음성알고리즘부(732) 및 제 1 텍스트알고리즘부(733)를 구비한다. 상기 잡음제거부(531), 제 1 음성알고리즘부(732) 및 제 1 텍스트알고리즘부(733)의 구성은 도 1의 구성과 동일하므로, 자세한 설명은 생략하기로 한다.The voice or text recognized through the voice text recognizing unit 720 analyzes voice or text through the voice text analyzing unit 730. The voice text analyzing unit 730 analyzes the voice or text through the noise removing unit 731, A first speech algorithm unit 732 and a first text algorithm unit 733. The configurations of the noise removing unit 531, the first speech algorithm unit 732, and the first text algorithm unit 733 are the same as those of the configuration shown in FIG. 1, and a detailed description thereof will be omitted.

사용자가 음성텍스트인식부(720)를 통해 음성 또는 텍스트를 인식시키면, 상기 음성텍스트분석부(730)에 구비된 제 1 음성알고리즘부(732) 및 제 1 텍스트알고리즘부(733)에서 이를 알고리즘화시킨다. 이때, 사용자 마다 습관이나 버릇 등으로 인한 음성의 차이가 발생되고, 이러한 차이로 인한 오류를 감지하도록 제 1 오류감지부가 구비된다.When the user recognizes the speech or text through the speech text recognition unit 720, the first speech algorithm unit 732 and the first text algorithm unit 733 provided in the speech text analysis unit 730 algorithmize . At this time, a difference in voice due to habit or habit is generated for each user, and a first error detection unit is provided to detect an error due to the difference.

상기 제 1 오류감지부(734)는 사용자의 음성 또는 텍스트의 내용에 오류가 발생될 경우, 오류를 감지하도록 구비된다. 따라서, 사용자가 특정한 음성 또는 텍스트에 대해 반복적으로 오류가 발생될 경우, 이를 보정하여 표준화된 수화로 통역 가능하도록 구비된다.The first error detection unit 734 detects an error when an error occurs in the contents of the user's voice or text. Accordingly, when a user repeatedly generates an error for a specific voice or text, the error is corrected and interpreted into a standardized sign language.

즉, 상기 제 1 사용자인식부(710)를 통해 인식된 사용자의 정보를 저장하고, 이를 통해 사용자의 습관 또는 버릇 등으로 인해 발생되는 반복적인 음성 또는 텍스트의 오류를 표준화된 수화로 통역시키도록 오류가 발생된 음성 또는 텍스트를 감지하도록 한다.That is, the information of the user recognized through the first user recognizing unit 710 is stored, and an error such as repetitive voice or text errors caused by the habit or habit of the user is interpreted into standardized sign language To detect the generated voice or text.

따라서, 제 1 오류감지부(734)를 통해 감지된 음성 또는 텍스트의 오류는 딥러닝부(790)에 구비된 변환부(792)를 통해 표준화된 음성 또는 텍스트로 변환된다. 결과적으로, 변환부(792)를 통해 변환된 음성 또는 텍스트는 이와 대응되는 수화로 통역되어 수화출력부(740)를 통해 출력하게된다. Therefore, the voice or text error detected through the first error detection unit 734 is converted into a normalized voice or text through the conversion unit 792 provided in the deep running unit 790. As a result, the voice or text converted through the conversion unit 792 is interpreted by the corresponding sign language and output through the sign language output unit 740.

하나의 예로, 사용자가 제 1 사용자인식부(710)를 통해 사용자를 인식시키면 데이터베이스화된 제 1 사용자인식부(710)에서 사용자를 인식하고, 음성텍스트인식부(720)를 통해 음성을 인식시키면, 음성텍스트분석부(730)를 통해 음성을 분석하게 된다. 이때, 제 1 사용자인식부(710)에서 사용자의 습관 또는 버릇을 데이터베이스화하고, 사용자가 “A”에 대해 습관적으로 “B”로 인식시킬 경우 입력된 음성의 문맥 등을 파악하여 음성에 오류가 있음을 제 1 오류감지부(734)를 통해 파악하게 된다. 따라서, 오류가 발생된 음성은 변환부(792)를 통해서 사용자가 입력시킨 “B”로 인식되는 것이 아닌 “A”로 변환되어 인식하게 되고, 최종적으로 통역된 수화는 오류 없이 표준화된 수화로 통역된다.For example, when the user recognizes the user through the first user recognition unit 710, the first user recognition unit 710 recognizes the user and recognizes the voice through the voice text recognition unit 720 , And analyzes the voice through the voice text analysis unit 730. At this time, the first user recognizing unit 710 converts the habit or the habit of the user into a database. If the user habitually recognizes "A" as "B", it grasps the context of the inputted voice, Is recognized through the first error detecting unit 734. Therefore, the voice with the error is converted into " A " instead of being recognized as " B " inputted by the user through the conversion unit 792, and finally, the interpreted sign language is interpreted by the standardized sign language do.

본 발명에 따른 웨어러블 수화통역장치는 제 2 사용자인식부(750)를 포함할 수 있다.The wearable sign language interpretation apparatus according to the present invention may include a second user recognition unit 750.

보다 상세하게는, 상기 제 2 사용자인식부(750)는 웨어러블 수화통역장치(700)를 사용하는 사용자를 인식하고 사용자의 특징들을 분류하여 데이터베이스화한다. 상기 제 2 사용자인식부(750)는 사용자를 다양한 방식으로 인식할 수 있고, 바람직하게는 웨어러블 수화통역장치(700)에 구비된 카메라부(111)를 통해 사용자의 얼굴이나 수화를 감지하여 인식하거나, 입력장치를 통해 사용자가 입력하여 사용자를 인식시킬 수 있다.In more detail, the second user recognition unit 750 recognizes a user who uses the wearable sign language interpretation apparatus 700 and classifies the characteristics of the user into a database. The second user recognition unit 750 can recognize the user in various ways and preferably detects and recognizes the user's face or sign language through the camera unit 111 provided in the wearable sign language interpretation apparatus 700 , The user can be recognized by the user through the input device.

또한, 제 2 사용자인식부(750)를 통해 인식된 사용자의 수화를 인식하는 수화인식부(760)가 구비된다.In addition, a sign language recognition unit 760 for recognizing the sign language of the user recognized through the second user recognition unit 750 is provided.

보다 상세하게는, 수화를 인식할 수 있도록 카메라로 구성된 카메라부(111)가 구비되고, 상기 카메라는 사용자가 입력하는 수화를 통해 사용자의 의사를 인식하는 장치이다. 상기 카메라는 웨어러블 수화통역장치(700)에 장착되거나, 개별적으로 사용되어 무선으로 연동될 수 있다. 또한, 휴대폰과 같은 스마트 단말기를 통해 카메라로 사용되는 것도 가능하다.More specifically, the camera unit 111 includes a camera for recognizing sign language, and the camera recognizes the user's intention through sign language input by a user. The cameras may be mounted on the wearable sign language interpretation device 700 or may be individually used and wirelessly interlocked. Also, it can be used as a camera through a smart terminal such as a mobile phone.

따라서, 제 2 사용자인식부(750)를 통해 사용자를 인식하고, 사용자가 웨어러블 수화통역장치(700)에 수화를 인식시키면, 상기 수화인식부(760)를 통해 수화가 인식된다.Accordingly, when the user is recognized through the second user recognition unit 750 and the user recognizes the sign language in the wearable sign language interpretation apparatus 700, the sign language is recognized through the sign language recognition unit 760.

한편, 수화인식부(760)를 통해 인식된 수화는 수화분석부(770)를 통해 수화를 분석하게 되고, 상기 수화분석부(770)는 제 2 수화알고리즘부(771)를 구비한다. 상기 제 2 수화알고리즘부(771)의 구성은 도 1의 구성과 동일하므로, 자세한 설명은 생략하기로 한다.Meanwhile, the sign language recognized by the sign language recognition unit 760 analyzes the sign language through the sign language analysis unit 770, and the sign language analysis unit 770 includes the second language sign language algorithm unit 771. Since the configuration of the second sign language algorithm unit 771 is the same as that of FIG. 1, a detailed description thereof will be omitted.

사용자가 수화인식부(760)를 통해 수화를 인식시키면, 제 2 수화알고리즘부(771)에서 이를 알고리즘화시킨다. 이때, 사용자 마다 습관이나 버릇 등으로 인한 수화의 차이가 발생되고, 이러한 차이로 인한 수화의 오류를 감지하도록 제 2 오류감지부(772)가 구비된다.When the user recognizes the sign language through the sign language recognition unit 760, the second sign language algorithm unit 771 performs the algorithm. At this time, a difference in sign language due to habits or habits occurs in each user, and a second error detection unit 772 is provided to detect an error in sign language due to the difference.

상기 제 2 오류감지부(772)는 사용자의 수화의 내용에 오류가 발생될 경우, 오류를 감지하도록 구비된다. 따라서, 사용자가 특정한 수화에 대해 반복적으로 오류가 발생될 경우, 이를 보정하여 표준화된 수화로 통역 가능하도록 구비된다.The second error detecting unit 772 is provided to detect an error when an error occurs in the contents of sign language of the user. Accordingly, when a user repeatedly generates an error for a specific sign language, it is corrected so as to be interpreted as standardized sign language.

즉, 상기 제 2 사용자인식부(750)를 통해 인식된 사용자의 정보를 저장하고, 이를 통해 사용자의 습관 또는 버릇 등으로 인해 발생되는 반복적인 수화의 오류를 표준화된 음성 또는 텍스트로 통역시키도록 오류가 발생된 수화를 감지하도록 한다.That is, the information of the user recognized through the second user recognizing unit 750 is stored, and the error of repetitive sign language generated due to the habit or the habit of the user is interpreted as standardized voice or text To detect the generated sign language.

따라서, 제 2 오류감지부(772)를 통해 감지된 수화의 오류는 딥러닝부(790)에 구비된 변환부(792)를 통해 표준화된 수화로 변환된다. 결과적으로, 변환부(792)를 통해 변환된 수화는 이와 대응되는 음성 또는 텍스트로 통역되어 음성텍스트출력부(780)를 통해 출력하게 된다.Accordingly, the error of hydration detected through the second error detecting unit 772 is converted into the normalized hydration through the converting unit 792 provided in the deep running unit 790. As a result, the sign language converted through the conversion unit 792 is interpreted as voice or text corresponding to the sign language, and output through the voice text output unit 780.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.

200, 700: 웨어러블 수화통역장치
110, 310: 몸체부
111, 311: 카메라부
120, 320: 마이크부
140, 340: 스피커부
150, 350: 로봇팔
160, 360: 모니터부
170, 370: 입력장치부200, 700: Wearable sign language interpreter
110, 310:
111, 311:
120, 320: Microphone unit
140, 340: speaker unit
150, 350: Robot arm
160, 360: Monitor section
170, 370: Input unit

Claims (9)

사용자의 몸에 장착되도록 구비된 몸체부;
상기 몸체부와 연결된 마이크를 통해 외부에서 발생되는 음성을 인식하는 마이크부;
상기 몸체부와 연결된 입력장치를 통해 텍스트를 인식하는 입력장치부;
상기 마이크부 또는 입력장치부로부터 인식된 음성 또는 텍스트를 인공지능을 통해 분석하는 음성텍스트분석부;
상기 음성텍스트분석부에서 분석된 음성 또는 텍스트를 기반으로 음성 또는 텍스트와 대응되는 수화를 출력하는 수화출력부;
상기 몸체부에 구비된 카메라를 통해 사용자의 손 움직임을 감지하고, 감지되는 수화를 인식하는 카메라부;
상기 카메라부로부터 인식된 수화를 인공지능을 통해 분석하는 수화분석부;
상기 수화분석부를 통해 분석된 수화를 기반으로 수화에 대응되는 음성 또는 텍스트를 출력하는 음성텍스트출력부;
상기 음성텍스트출력부로부터 수화에 대응되는 음성을 스피커로 출력하는 스피커부; 및
상기 음성텍스트출력부로부터 수화에 대응되는 텍스트를 모니터로 출력하는 모니터부;
를 포함하는 것을 특징으로 하는 웨어러블 수화통역장치.
A body portion adapted to be mounted on a user's body;
A microphone unit for recognizing a sound generated from the outside through a microphone connected to the body unit;
An input device for recognizing text through an input device connected to the body part;
A voice text analysis unit for analyzing voice or text recognized from the microphone unit or the input device unit through artificial intelligence;
A sign language output unit outputting a sign language corresponding to a voice or text based on the voice or text analyzed by the voice text analysis unit;
A camera unit for sensing the movement of the user's hand through the camera provided on the body and recognizing the detected sign language;
A sign language analysis unit for analyzing the sign language recognized from the camera unit through artificial intelligence;
A speech text output unit outputting speech or text corresponding to sign language based on the sign language analyzed by the sign language analysis unit;
A speaker unit for outputting a voice corresponding to sign language from the voice text output unit to a speaker; And
A monitor unit for outputting text corresponding to sign language from the voice text output unit to a monitor;
Wherein the wearable sign language interpretation apparatus comprises:
제 1 항에 있어서, 상기 음성텍스트분석부는,
상기 마이크부를 통해 인식된 음성에 포함된 잡음을 제거하는 잡음제거부; 및
상기 잡음제거부를 통해 잡음이 제거된 음성에 대응되는 수화로 변환하도록 인공지능을 통해 음성을 알고리즘화하는 제 1 음성알고리즘부;
상기 입력장치부를 통해 입력된 텍스트와 대응되는 수화로 변환하도록 인공지능을 통해 텍스트를 알고리즘화하는 제 1 텍스트알고리즘부;
를 포함하는 것을 특징으로 하는 웨어러블 수화통역장치.
The speech analysis apparatus according to claim 1,
A noise removing unit for removing noise included in the voice recognized through the microphone unit; And
A first speech algorism unit for alerting speech through artificial intelligence so as to convert the speech into speech corresponding to the speech removed by the noise removing unit;
A first text algorithm unit for alerting text through artificial intelligence to convert the text input through the input unit into a corresponding sign language;
Wherein the wearable sign language interpretation apparatus comprises:
제 2 항에 있어서, 상기 수화출력부는,
상기 제 1 음성알고리즘부 및 상기 제 1 텍스트알고리즘부를 통해 알고리즘화된 음성 또는 텍스트에 기초하여 음성 또는 텍스트와 대응되는 수화를 인공지능을 통해 알고리즘화하는 제 1 수화알고리즘부가 구비되고, 상기 수화출력부는 상기 제 1 수화알고리즘부를 통해 알고리즘화된 수화를 주위 다수에게 전달하도록 모니터로 출력하는 것을 특징으로 하는 것을 특징으로 하는 웨어러블 수화통역장치.
3. The speech recognition apparatus according to claim 2,
A first speech recognition algorithm unit that algorises the speech or text corresponding to the speech or text based on the speech or text algorithmized through the first speech algorithm unit and the first text algorithm unit through artificial intelligence, And outputs the algorithmized sign language to the monitor so as to be transmitted to a plurality of surrounding persons through the first sign language algorithm unit.
제 1 항에 있어서, 상기 수화분석부는,
카메라를 통해 감지된 수화에 대응되는 음성 또는 텍스트로 변환하도록 인공지능을 통해 수화를 알고리즘화하는 제 2 수화알고리즘부가 구비된 것을 특징으로 하는 웨어러블 수화통역장치.
The speech recognition apparatus according to claim 1,
And a second sign language algorithm unit for converting the sign language into a voice or text corresponding to the sign language sensed by the camera through an artificial intelligence algorithm.
제 4 항에 있어서, 상기 음성텍스트출력부는,
상기 제 2 수화알고리즘부를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 음성을 인공지능을 통해 알고리즘화하는 제 2 음성알고리즘부; 및
상기 제 2 수화알고리즘부를 통해 알고리즘화된 수화에 기초하여 수화내용과 대응되는 텍스트를 인공지능을 통해 알고리즘화하는 제 2 텍스트알고리즘부;
를 포함하는 것을 특징으로 하는 웨어러블 수화통역장치.
The speech recognition apparatus according to claim 4,
A second speech algorism unit for aliasing the speech corresponding to the speech content based on the algorithmized speech signal through the second speech signal algorithm unit through artificial intelligence; And
A second text algorithm unit for alerting the text corresponding to the sign language based on the algorithmized sign language through the second sign language algorithm unit through artificial intelligence;
Wherein the wearable sign language interpretation apparatus comprises:
제 5 항에 있어서, 상기 제 2 음성알고리즘부는 알고리즘화된 음성을 상기 스피커부를 통해 출력하고, 상기 제 2 텍스트알고리즘부는 알고리즘화된 텍스트를 상기 모니터부를 통해 출력하는 것을 특징으로 하는 웨어러블 수화통역장치.
6. The apparatus of claim 5, wherein the second speech algorism unit outputs an algorized voice through the speaker unit, and the second text algorithm unit outputs the algorithmized text through the monitor unit.
제 1 항에 있어서, 상기 웨어러블 수화통역장치에 사용되는 인공지능이 딥러닝을 통해 수화 및 음성 또는 텍스트를 군집화하고 분류하여 알고리즘화하도록 딥러닝부가 구비된 것을 특징으로 하는 웨어러블 수화통역장치.
The wearable sign language interpretation apparatus according to claim 1, wherein the wearable sign language interpreting apparatus is provided with a deep running unit for grouping and classifying the artificial intelligence used in the wearable sign language interpretation apparatus by hydration and voice or text through deep learning.
제 1 항 내지 제 7항에 따른, 웨어러블 수화통역장치를 통해 사용자의 눈 앞에 장비하여 수화를 인식하고, 통역을 수행하도록 구비된 것을 특징으로 하는 수화통역안경.
The sign language interpretation glasses according to any one of claims 1 to 7, equipped with a wearable sign language interpretation device in front of the user's face to recognize sign language and perform interpretation.
제 1 항 내지 제 7항에 따른, 웨어러블 수화통역장치를 통해 사용자의 목이나 귀에 걸어 수화를 인식하고, 통역을 수행하도록 구비된 것을 특징으로 하는 수화통역팬던트.
A sign language interpretation pendant according to any one of claims 1 to 7, characterized in that it recognizes sign language by walking on the user's neck or ear through a wearable sign language interpreter and performs interpretation.
KR1020170167829A 2017-12-07 2017-12-07 Wearable sign language translation device KR102023356B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170167829A KR102023356B1 (en) 2017-12-07 2017-12-07 Wearable sign language translation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170167829A KR102023356B1 (en) 2017-12-07 2017-12-07 Wearable sign language translation device

Publications (2)

Publication Number Publication Date
KR20190067663A true KR20190067663A (en) 2019-06-17
KR102023356B1 KR102023356B1 (en) 2019-09-23

Family

ID=67064666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170167829A KR102023356B1 (en) 2017-12-07 2017-12-07 Wearable sign language translation device

Country Status (1)

Country Link
KR (1) KR102023356B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102195401B1 (en) * 2020-10-07 2020-12-24 (주)멀틱스 hand language recognition method for hearing impairment people

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100698942B1 (en) 2002-09-17 2007-03-23 가부시키가이샤 깅가네트 The Sign Language Interpretation System By Using The Sign Language Conversation Video Telephone And Its Supplementary Device
KR20160122869A (en) * 2015-04-14 2016-10-25 주식회사 로보테크 Apparatus for being possible language converting using robot arm
KR20170094668A (en) * 2016-02-11 2017-08-21 한국전자통신연구원 Duplex sign language translation apparatus and the apparatus for performing the duplex sign language translation method
JP2017204067A (en) * 2016-05-10 2017-11-16 株式会社オルツ Sign language conversation support system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100698942B1 (en) 2002-09-17 2007-03-23 가부시키가이샤 깅가네트 The Sign Language Interpretation System By Using The Sign Language Conversation Video Telephone And Its Supplementary Device
KR20160122869A (en) * 2015-04-14 2016-10-25 주식회사 로보테크 Apparatus for being possible language converting using robot arm
KR20170094668A (en) * 2016-02-11 2017-08-21 한국전자통신연구원 Duplex sign language translation apparatus and the apparatus for performing the duplex sign language translation method
JP2017204067A (en) * 2016-05-10 2017-11-16 株式会社オルツ Sign language conversation support system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102195401B1 (en) * 2020-10-07 2020-12-24 (주)멀틱스 hand language recognition method for hearing impairment people

Also Published As

Publication number Publication date
KR102023356B1 (en) 2019-09-23

Similar Documents

Publication Publication Date Title
KR101777807B1 (en) Sign language translator, system and method
US11294466B2 (en) Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method
US20160027441A1 (en) Speech recognition system, speech recognizing device and method for speech recognition
CN111432303B (en) Monaural headset, intelligent electronic device, method, and computer-readable medium
KR20160093529A (en) A wearable device for hearing impairment person
US11517252B2 (en) Using a hearable to generate a user health indicator
US20220319538A1 (en) Voice interactive wakeup electronic device and method based on microphone signal, and medium
US11546690B2 (en) Processing audio and video
US10867527B2 (en) Process and wearable device equipped with stereoscopic vision for helping the user
CN110097875A (en) Interactive voice based on microphone signal wakes up electronic equipment, method and medium
CN110428806A (en) Interactive voice based on microphone signal wakes up electronic equipment, method and medium
KR102037789B1 (en) Sign language translation system using robot
EP4131256A1 (en) Voice recognition system and method using accelerometers for sensing bone conduction
US20170024380A1 (en) System and method for the translation of sign languages into synthetic voices
Dhanjal et al. Tools and techniques of assistive technology for hearing impaired people
CN110111776A (en) Interactive voice based on microphone signal wakes up electronic equipment, method and medium
CN111149172B (en) Emotion management method, device and computer-readable storage medium
US8983843B2 (en) Motion analyzer having voice acquisition unit, voice acquisition apparatus, motion analysis system having voice acquisition unit, and motion analysis method with voice acquisition
KR20190067663A (en) Wearable sign language translation device
KR20210100831A (en) System and method for providing sign language translation service based on artificial intelligence
US20230042310A1 (en) Wearable apparatus and methods for approving transcription and/or summary
JP3233390U (en) Notification device and wearable device
KR20090070325A (en) Emergency calling system and method based on multimodal information
KR101906549B1 (en) A wearable device for hearing impairment person
US20210266681A1 (en) Processing audio and video in a hearing aid system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant