KR20190069724A - Sign language translation glove - Google Patents

Sign language translation glove Download PDF

Info

Publication number
KR20190069724A
KR20190069724A KR1020170169923A KR20170169923A KR20190069724A KR 20190069724 A KR20190069724 A KR 20190069724A KR 1020170169923 A KR1020170169923 A KR 1020170169923A KR 20170169923 A KR20170169923 A KR 20170169923A KR 20190069724 A KR20190069724 A KR 20190069724A
Authority
KR
South Korea
Prior art keywords
sign language
gesture
hand
character
movement
Prior art date
Application number
KR1020170169923A
Other languages
Korean (ko)
Inventor
황석진
Original Assignee
황석진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 황석진 filed Critical 황석진
Priority to KR1020170169923A priority Critical patent/KR20190069724A/en
Publication of KR20190069724A publication Critical patent/KR20190069724A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018—Input/output arrangements for oriental characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons

Abstract

Disclosed are a sign language interpreter and a system and method thereof. According to an embodiment of the present invention, a sign language interpreter installed in a portable user terminal comprises: a database unit storing learning data for sign language interpretation based on image input information; a sign language input unit photographing an image of a person using sign language through a camera; a gesture recognition unit recognizing a shape and motion of a hand in the image in a predetermined sign language interval from a sign language start point at which a first gesture is recognized to a sign language end point at which a second gesture is recognized from the person using the sign language; and a control unit generating a sentence by a combination of words according to the gesture recognition and outputting at least one of a character and a voice to the sentence.

Description

수화 번역 장갑{SIGN LANGUAGE TRANSLATION GLOVE}Sign language translation gloves {SIGN LANGUAGE TRANSLATION GLOVE}

본 발명은 수화 번역기, 시스템 및 방법에 관한 것으로서, 보다 상세하게는 듣지 못하는 청각 장애인과 들을 수 있는 일반인의 양방향 대화가 가능한 수화 번역기, 시스템 및 방법에 관한 것이다.The present invention relates to a sign language translator, system and method, and more particularly, to a sign language translator, system, and method capable of two-way conversation between a hearing-impaired person and an audible person who can not hear.

일반적으로 수화는 청각적 장애인(농아)들이 사용하는 시각적 언어로써 언어적 구조와 규칙을 가지는 손의 움직임, 모양 및 동작방향 등으로 의사를 표현할 수 있다.In general, sign language is a visual language used by the hearing impaired (deaf), and can represent the movements of the hand with the linguistic structure and rules, the shape and the direction of movement.

과거와는 달리 청각 장애인들의 사회참여도가 높아지면서 수화는 청각 장애인들간의 대화뿐 아니라 일반인(청인)들과의 대화에도 사용되고 있으나 그 표현방식이 복잡하여 일반인들이 학습하기에는 어려움이 있다. Unlike the past, as the degree of social participation of the hearing-impaired people increases, the sign language is used not only for the conversation between the hearing-impaired people but also for the conversation with the ordinary people (blue people).

따라서, 최근에는 문자를 시각적으로 변환하여 수화로 표시하거나 수화를 인식하여 문자로 표시하는 수화 번역기가 개발되고 있다.Accordingly, in recent years, a sign language translator has been developed in which a character is visually converted and displayed as a sign or a sign is recognized and displayed as a character.

종래에 개발된 수화 번역기는 문자를 수화로 번역하는 단방향 방식이 주를 이루고 있다. 이는 문자를 일정 단위로 인식하여 패턴화된 그래픽 동작으로 표현하는 것은 구현이 용이한 반면, 수화를 시각적으로 인식하여 일반인에게 번역하는 방법은 모션/제스처 인식을 위해 특수한 하드웨어의 구성이 필요하고 기술적으로도 어렵기 때문이다. 예컨대, 종래의 수화 번역을 위해서는 청각 장애인(이하, 수화자라 명명함)이 모션인식을 위해 특수 장갑을 끼고 수화를 해야 하는 불편함과 특수 장갑의 센서를 인식하는 하드웨어나 소프트웨어가 구비되어야 하는 단점이 있다. 또한, 특수 장갑이 없이는 수화자의 촬영 영상에서 모션을 추적을 위한 별도의 특수 모션인식장비가 요구되어 휴대 및 비용의 증가로 일반인들이 일상적으로 사용하기 어려운 단점이 있다.In the conventional sign language interpreter, a unidirectional method of translating a character into a sign language is predominant. This is because it is easy to realize that the character is recognized as a certain unit and expressed by the patterned graphic operation, whereas the method of visually recognizing the sign language and translating it to the public requires a special hardware configuration for motion / gesture recognition, It is also difficult. For example, in order to translate a conventional sign language, there is a disadvantage that a hearing-impaired person (hereinafter referred to as a sign language) has to sign a special glove for motion recognition and hardware or software for recognizing the sensor of the special glove have. In addition, without special gloves, special motion recognition equipment is required for tracking the motion in the captured image of the listener, which is disadvantageous in that it is difficult for the general public to use it on an everyday basis due to an increase in portability and cost.

이러한, 종래 수화 번역기의 단점들은 일반인들이 일상적으로 사용할 수 있는 양방향 수화 번역기의 개발을 어렵게 하는 문제점으로 지적되고 있다.Disadvantages of the conventional sign language interpreter are pointed out as a problem that makes it difficult to develop a bidirectional sign language interpreter that can be used by ordinary people on a daily basis.

한편, 수화는 기본적으로 다양한 손모양, 손위치, 팔동작 등으로 단어(보통명사)를 표현하고, 사람 이름 등의 고유명사는 일일이 단어화시켜 수화로 만들 수 없기 때문에 손가락으로 자음, 모음 표시하는 지화를 이용하여On the other hand, sign language basically expresses words (usually nouns) by various hand shapes, hand positions, arm movements, etc., and since proper names such as person names can not be word-formed into words, Using

고유명사를 표현하고 있다. 그러나, 종래의 영상기반 모션인식기술을 이용하여 수화를 번역함에 있어서, 수화는 손의 움직임 정보와 모양정보의 조합으로 표현되고, 지화는 손의 모양 정보로 표현되기 때문에 연속된 동작에서 수화와 지화의 시작점과 끝점을 정확히 인식하는 데에는 기술적으로 한계가 있다. 따라서, 수화를 번역한 단어의 오인식 자주 발생되는 문제가 있으며, 단어와 단어를 매끄럽게 연결하지 못하기 때문에 문장의 완성도가 떨어져 어색하고 수화자의 의사전달에 신뢰도가 떨어지는 문제점이 있다.Expresses proper nouns. However, in translating a sign language using a conventional image-based motion recognition technology, sign language is expressed by a combination of hand motion information and shape information, and since the geometry is expressed by the shape information of the hand, There are technological limitations in accurately recognizing the starting and ending points of a program. Therefore, there is a problem that the mistranslation of the translated word often occurs, and the sentence is incomplete because the word and the word are not connected smoothly.

따라서, 본 발명은 수화 번역 장갑을 착용한 손가락의 움직임을 감지하여서 수화를 문자 또는 소리로 번역할 수 있게 한 수화 자동 번역 장치를 구비함으로써 청각장애인이 착용한 상태에서 수화를 문자 또는 소리로 통역하여 인식할 수 있는 것을 제공하고자 한다. Accordingly, the present invention provides an automatic sign language automatic translation device capable of detecting the movement of the finger wearing the sign language glove and translating the sign language into a character or a sound, thereby interpreting the sign language with a character or sound while wearing a hearing- And to provide something recognizable.

본 발명의 일 측면에 따르면, 휴대가 가능한 사용자 단말기에 설치되는 수화 번역기는, 영상입력 정보를 바탕으로 수화 번역을 위한 학습 데이터를 저장하는 데이터베이스부; 카메라를 통해 수화자의 영상을 촬영하는 수화According to an aspect of the present invention, a sign language translator installed in a portable user terminal includes a database unit for storing learning data for sign language translation based on image input information; A sign that captures the image of a listener through a camera

입력부; 상기 수화자로부터 제1 제스처가 인식된 수화 시작점부터 제2 제스처가 인식된 수화 종료점까지의 일정An input unit; From the sign language start point at which the first gesture is recognized from the listener to the sign language end point at which the second gesture is recognized

수화 구간의 영상에서 손의 모양과 움직임에 따른 제스처를 인식하는 제스처 인식Gesture recognition that recognizes the gesture according to the shape and movement of the hand in the image of the sign language

부; 및 상기 제스처 인식에 따른 단어들의 조합으로 문장을 생성하고 문자 및 음성 중 적어도 하나로 출력하는 제어부를 포함한다.part; And a controller for generating a sentence by a combination of words according to the gesture recognition and outputting the sentence as at least one of a character and a voice.

본 발명의 실시 예에 따르면, 복잡한 별도의 장비 없이 휴대가 간편한 사용자 단말기에 양방향 수화번역이 가능한 수화 번역기를 탑재하여 일반인이 자유롭게 청각 장애인과 수화로 대화할 수 있다. 또한, 일반인과 수화자간의 각 사용자 단말기를 무선 통신으로 연결하여 원격지에서도 양방향 수화 통화 개념의 수화 번역이 가능한 효과가 있다. According to the embodiment of the present invention, a sign language translator capable of bidirectional sign language translation is installed in a portable user terminal without complicated separate equipment, so that a general person can freely communicate with a deaf person and sign language. Also, there is an effect that sign language translation of the bidirectional sign language communication concept can be performed at remote sites by connecting each user terminal between the general person and the sign language wireless communication.

또한, 제스처와 동시에 검출된 얼굴 인식 정보에 기초한 비수지적 표현을 참조하여 조합된 문장의 의미를 명확히 함으로써 의자전달의 정확도를 향상시킬 수 있다.Also, the accuracy of the chair transmission can be improved by clarifying the meaning of the combined sentence by referring to the non-cued expression based on the detected face recognition information at the same time as the gesture.

그리고, 수화자가 수화의 시작점과 종료점을 입력하여 수화구간을 지정함으로써 수화번역의 처리량과 의미 없는 몸짓으로 인한 오입력을 줄일 수 있으며, 입 모양을 통통해 수화와 지화를 구분함으로써 수화번역 결과의 정확도를 향상시킬 수 있다.By specifying the sign language section by inputting the start and end points of the sign language, it is possible to reduce the processing amount of the sign language translation and erroneous input due to meaningless gestures. By distinguishing the sign language from the sign language, Can be improved.

[도 1]은 본 발명의 실시 예에 따른 수화 번역 시스템을 위한 네트워크 구성도를 개략적으로 나타낸다.
[도 2]는 본 발명의 실시 예에 따른 수화 번역 시스템의 구성을 개략적으로 나타낸 블록도이다.1 schematically shows a network configuration diagram for a sign language translation system according to an embodiment of the present invention.
2 is a block diagram schematically showing a configuration of a sign language translation system according to an embodiment of the present invention.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and accompanying drawings, but the present invention is not limited to or limited by the embodiments.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that the terms "comprises" and / or "comprising" used in the specification are intended to be inclusive in a manner similar to the components, steps, operations, and / Or additions.

본 명세서에서 사용되는 “실시예”, “예”, “측면”, “예시” 등은 기술된 임의의 양상(aspect) 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되어야 하는 것은 아니다.As used herein, the terms "embodiment," "example," "side," "example," and the like should be construed as advantageous or advantageous over any other aspect or design It does not.

또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다. 즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다. Also, the term 'or' implies an inclusive or 'inclusive' rather than an exclusive or 'exclusive'. That is, unless expressly stated otherwise or clear from the context, the expression 'x uses a or b' means any of the natural inclusive permutations.

또한, 본 명세서 및 청구항들에서 사용되는 단수 표현("a" 또는 "an")은, 달리 언급하지 않는 한 또는 단수 형태에 관한 것이라고 문맥으로부터 명확하지 않는 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.Also, the phrase "a" or "an ", as used in the specification and claims, unless the context clearly dictates otherwise, or to the singular form, .

또한, 본 명세서 및 청구항들에서 사용되는 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Furthermore, the terms first, second, etc. used in the specification and claims may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terminology used herein is a term used for appropriately expressing an embodiment of the present invention, which may vary depending on the user, the intent of the operator, or the practice of the field to which the present invention belongs. Therefore, the definitions of these terms should be based on the contents throughout this specification.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" module, " and " module "refer to units that process at least one function or operation,

웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Software, or a combination of hardware and software.

이제 본 발명의 실시 예에 따른 수화 번역기, 시스템 및 방법에 대하여 도면을 참조로 하여 상세하게 설명한다. Now, a sign language translator, system and method according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시 예에 따른 수화 번역 시스템을 위한 네트워크 구성도를 개략적으로 나타낸다. 1 schematically shows a network configuration diagram for a sign language translation system according to an embodiment of the present invention.

첨부된 도 1을 참조하면, 본 발명의 실시 예에 따른 수화 번역 시스템은 수화 번역기(100)를 어플리케이션 프로그램(Application program) 형태로 제작하여 사용자 단말기(10)로 배포하는 서버(200), 서버(200)나 앱 스토어를 경유하여 내려 받은 상기 수화 번역기(100)가 설치되는 사용자 단말기(10)를 포함한다. 1, a sign language translation system according to an embodiment of the present invention includes a server 200 that generates a sign language translator 100 in the form of an application program and distributes the sign language translator 100 to the user terminal 10, 200 or a user terminal 10 installed with the sign language interpreter 100 downloaded via an app store.

서버(200)는 사용자 단말기(10)에 설치된 수화 번역기(100)의 프로그램 업데이트 및 데이터 업데이트 등 전반적인 운용상태를 관리한다. The server 200 manages the overall operating state of the sign language interpreter 100 installed in the user terminal 10, such as program update and data update.

사용자 단말기(10)는 스마트 폰, 테블릿 PC, PDA, 노트북, 웨어러블 단말기(예; 스마트 고글) 등과 같이 카메라, 메모리, CPU, 입출력장치 및 통신모듈 등의 하드웨어와 운용체제를 비롯한 기본 소프트웨어를 포함하며 사용자의 휴대가 용이한 단말기를 의미한다. User terminal 10 includes basic software including hardware and operating system such as camera, memory, CPU, input / output device and communication module such as smart phone, tablet PC, PDA, notebook, wearable terminal And means a terminal which the user can carry easily.

수화 번역기(100)는 사용자 단말기(10) 내에서 수화 번역을 위해 동작하며 필요 시 서버(200)와 연동하거나 양방향 수화번역을 위해 수화 번역기(100)가 설치된 다른 사용자 단말기와 연동하는 에이전트(agent)로 동작할 수 있다. 또한, 수화 번역기(100)는 협약에 따라 사용자 단말기(10)의 제조과정에서 기본 탑재될 수 있다. The sign language translator 100 operates for sign language translation in the user terminal 10 and may be an agent that interlocks with the server 200 when necessary or interacts with other user terminals installed with the sign language translator 100 for bi- . In addition, the sign language translator 100 can be basically installed in the manufacturing process of the user terminal 10 according to the convention.

도 2는 본 발명의 실시 예에 따른 수화 번역 시스템의 구성을 개략적으로 나타낸 블록도이다.2 is a block diagram schematically showing a configuration of a sign language translation system according to an embodiment of the present invention.

첨부된 도 2를 참조하면, 본 발명의 실시 예에 따른 수화 번역기(100)는 사용자 단말기(10)에 탑재되며, 통신부(110), 데이터베이스부(120), 수화 입력부(130), 영상 처리부(140), 제스처 인식부(150), 음성 인식부(160),문자 인식부(170) 및 제어부(180)를 포함한다.2, the sign language interpreter 100 according to the embodiment of the present invention is installed in the user terminal 10 and includes a communication unit 110, a database unit 120, a hydration input unit 130, an image processing unit 140, a gesture recognition unit 150, a voice recognition unit 160, a character recognition unit 170, and a control unit 180.

통신부(110)는 무선 통신으로 서버(200)나 다른 사람의 사용자 단말기(10)와 데이터를 송수신한다. 가령 통신부(110)는 이동통신망으로 서버(200)와 통신할 수 있으며 양방향 수화번역을 위해 상대방의 사용자 단말기(10)와The communication unit 110 transmits and receives data to and from the server 200 and the user terminal 10 of another person through wireless communication. For example, the communication unit 110 may communicate with the server 200 through a mobile communication network and may communicate with the user terminal 10 of the other party

블루투스, 무선랜 및 데이터 통신 등으로 연결될 수 있다.Bluetooth, wireless LAN, data communication, and the like.

한편, 도 3은 본 발명의 실시 예에 따른 영상 인식 기반 수화 번역을 위한 학습 데이터가 구축된 데이터베이스부를 나타낸다.Meanwhile, FIG. 3 illustrates a database unit in which learning data for image recognition-based sign language translation according to an embodiment of the present invention is constructed.

첨부된 도 3을 참조하면, 데이터베이스부(120)는 영상입력 정보를 바탕으로 수화 번역을 위한 수지적 표현 방식인 단어 별 손의 모양, 손의 중심 위치, 움직임 및 방향 등을 학습하여 데이터화한 수화 학습 데이터를 저장한다. 3, the database unit 120 learns the shape of a hand, the position of the center of the hand, the motion and the direction of each word, which is a numerical designation method for sign language translation based on the image input information, And stores learning data.

또한, 데이터베이스부(120)는 지문자(예; 자음, 모음, 숫자) 별 손의 모양을 학습하여 데이터화한 지화 학습 데이터를 저장한다.In addition, the database unit 120 learns the shape of a hand by digits (e.g., consonants, vowels, and numbers), and stores the geared learning data obtained as a data.

또한, 데이터베이스부(120)는 상기 수화 번역에 참조하기 위한 비수지적 표현 방식인 얼굴의 표정과 행동을 학습하여 데이터화한 비수지적 학습 데이터를 저장한다.In addition, the database unit 120 stores non-cognitive learning data obtained by learning facial expressions and behaviors, which are non-cognitive expressions for reference to the sign language translation.

10: 사용자 단말기 100: 수화 번역기
110: 통신부 120: 데이터베이스부
130: 수화 입력부 140: 영상 처리부
150: 제스처 인식부 151: 손 인식 모듈
152: 얼굴 인식 모듈 160: 음성 인식부
170: 문자 인식부 180: 제어부
200: 서버10: user terminal 100: sign language translator
110: communication unit 120: database unit
130: Sign language input unit 140:
150: gesture recognition module 151: hand recognition module
152: face recognition module 160:
170: Character recognition unit 180:
200: Server

Claims (3)

휴대가 용의한 장갑에 설치되는 수화 번역기에 있어서, 손가락 입력 정보를 바탕으로 수화 번역을 위한 데이터를 저장하는 데이터베이스부; 센서를 통해 수화자의 동작을 입력하는 수화 입력부;
상기 수화자로부터 제스처가 인식된 수화 시작점부터 수화 종료점까지의 일정 수화 구간의 동작에서 손의 모양과 움직임에 따른 제스처에 따른 수화를 인식하는 제스처 인식부; 및 상기 제스처 인식에 따른 문자를 생성하고, 상기 문자에 문자 및 음성 중 적어도 하나로 출력하는 제어부를 포함하며, 상기 제어부는 손동작 인식에 따른 손 모양으로 수화를 구분하되, 상기 수화자가 자세에 따라 자음과 모음을 판단하여 번역하는 수화 번역 장치.
A sign language translator installed in a portable glove, comprising: a database unit for storing sign language translation data based on finger input information; A hydration input unit for inputting an operation of a receiver through a sensor;
A gesture recognition unit for recognizing sign language according to a gesture according to the shape and movement of a hand in a predetermined sign language section from the sign language start point to the sign language end point where the gesture is recognized from the listener; And a control unit for generating a character according to the gesture recognition and outputting the character as at least one of a character and a voice, wherein the control unit distinguishes sign language in a hand shape according to recognition of a hand gesture, A sign language translation device for judging and translating vowels.
제 1 항에 있어서, 상기 제스처 인식부는, 손동작에 따른 움직임을 바탕으로 플렉서센서와 6축 자이로 가속도 센서에서 분석된 손가락의 움직임을 검출하고, 손의 중심점이 이동하는 것을 추적하여 제스처를 인식하는 손 인식 모듈 수화 번역기.

The gesture recognizing apparatus according to claim 1, wherein the gesture recognizing unit detects the movement of the finger analyzed by the flexor sensor and the six-axis gyro acceleration sensor based on the movement of the gesture, and tracks the movement of the center point of the hand to recognize the gesture Hand recognition module sign language translator.

제 1 항에 있어서, 상기 데이터베이스부는, 표현 방식인 문자 별 손의 모양, 손의 중심 위치, 움직임 및 방향을 데이터화한 수화 학습 데이터;
수화 별 손의 모양을 학습하여 데이터화한 수화 학습 데이터;
문자나 음성으로 출력되는 정보를 표현하기 위해 자음, 모음을 형상화한 그래픽 정보를 포함하는 수화 번역기.


[2] The system of claim 1, wherein the database unit comprises: sign language learning data in which a shape of a hand, a center position of a hand, a movement and a direction of each character,
Sign language learning data obtained by learning the shape of hand by sign language and digitized;
A sign language translator that includes graphic information in which consonants and vowels are expressed in order to express information output as characters or voices.


KR1020170169923A 2017-12-12 2017-12-12 Sign language translation glove KR20190069724A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170169923A KR20190069724A (en) 2017-12-12 2017-12-12 Sign language translation glove

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170169923A KR20190069724A (en) 2017-12-12 2017-12-12 Sign language translation glove

Publications (1)

Publication Number Publication Date
KR20190069724A true KR20190069724A (en) 2019-06-20

Family

ID=67103556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170169923A KR20190069724A (en) 2017-12-12 2017-12-12 Sign language translation glove

Country Status (1)

Country Link
KR (1) KR20190069724A (en)

Similar Documents

Publication Publication Date Title
KR101777807B1 (en) Sign language translator, system and method
CN108427910B (en) Deep neural network AR sign language translation learning method, client and server
WO2019094618A1 (en) Computer vision based sign language interpreter
KR102193029B1 (en) Display apparatus and method for performing videotelephony using the same
Kadam et al. American sign language interpreter
US20170024380A1 (en) System and method for the translation of sign languages into synthetic voices
WO2023000891A1 (en) Data processing method and apparatus, and computer device and storage medium
KR102009150B1 (en) Automatic Apparatus and Method for Converting Sign language or Finger Language
JP6922178B2 (en) Speech recognition system, information processing device, program
US20190189122A1 (en) Information processing device and information processing method
Kirkpatrick Technology for the deaf
KR20190069724A (en) Sign language translation glove
KR100549994B1 (en) Finger language recognition method and apparatus
JP2021051693A (en) Utterance system, utterance recommendation device, utterance recommendation program, and utterance recommendation method
KR102408941B1 (en) Two-way conversation system that provides sign language interpretation
AU2021101436A4 (en) Wearable sign language detection system
KR20160033329A (en) System and Method for Translating Sign Language
Sapkota et al. Smart glove for sign language translation using Arduino
Berger et al. Mobile AR Solution for Deaf People: Correlation Between Face Detection and Speech Recognition
JP2014236505A (en) Universal user interface system
Lee et al. Design and implementation of sign language translation program using motion recognition
KR102529798B1 (en) Device For Translating Sign Language
KR20180062593A (en) Apparatus for translating chirology in real time
KR20200051984A (en) Sign language translation with earphone
Kurian et al. Visual Gesture-Based Home Automation