KR20120035712A - Apparatus and method for translating sign language - Google Patents

Apparatus and method for translating sign language Download PDF

Info

Publication number
KR20120035712A
KR20120035712A KR1020100097405A KR20100097405A KR20120035712A KR 20120035712 A KR20120035712 A KR 20120035712A KR 1020100097405 A KR1020100097405 A KR 1020100097405A KR 20100097405 A KR20100097405 A KR 20100097405A KR 20120035712 A KR20120035712 A KR 20120035712A
Authority
KR
South Korea
Prior art keywords
sign language
finger
language translation
result
character
Prior art date
Application number
KR1020100097405A
Other languages
Korean (ko)
Inventor
심형석
이광섭
박선문
이범환
Original Assignee
심형석
박선문
이범환
이광섭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 심형석, 박선문, 이범환, 이광섭 filed Critical 심형석
Priority to KR1020100097405A priority Critical patent/KR20120035712A/en
Publication of KR20120035712A publication Critical patent/KR20120035712A/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/04—Devices for conversing with the deaf-blind
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

PURPOSE: A sign language translation apparatus and a method thereof are provided to recognize finger movements and automatically translate the finger movements into corresponding words. CONSTITUTION: A sign language translation apparatus(10) comprises a flex sensor part(101), a piezoelectric sensor part(103), a sign language translation part(105), and an output part(107). The flex sensor part recognizes bending movements of fingers. The piezoelectric sensor part measures pressure applied from the outside. The output part outputs translated words using recognized and measured results from the flex sensor part and the piezoelectric sensor part.

Description

수화 번역 장치 및 방법{APPARATUS AND METHOD FOR TRANSLATING SIGN LANGUAGE}Sign language translation apparatus and method {APPARATUS AND METHOD FOR TRANSLATING SIGN LANGUAGE}

본 발명은 수화 번역 장치 및 방법에 관한 것으로서, 구체적으로, 손가락의 움직임을 인식하여 수화 표현을 문자로 자동으로 번역하는 수화 번역 장치 및 방법에 관한 것이다.The present invention relates to a sign language translation apparatus and method, and more particularly, to a sign language translation apparatus and method for automatically translating a sign language expression into a character by recognizing a movement of a finger.

청각 장애는 소리를 듣는 힘이 약하거나 완전히 들리지 않는 것을 말한다. 청각 장애를 가지는 경우, 말의 억양이나 발음이 고르지 못하게 되고, 적절한 언어 훈련을 받지 않는 경우, 올바른 의사소통을 할 수 없게 된다. 따라서, 청각 장애인은 수화를 이용하여 의사소통을 하게 되나 일반인들에게 수화는 생소하고 낯설어 청각 장애인과 의사소통이 어려울 수밖에 없다 Hearing impairment refers to weak or incomplete hearing. If you have a hearing impairment, speech intonation or pronunciation is uneven, and if you do not have proper language training, you may not be able to communicate properly. Therefore, the deaf person communicates using sign language, but sign language is unfamiliar and unfamiliar to the general public, which makes it difficult to communicate with the deaf person.

이러한, 수화 표현을 문자로 번역해주는 종래의 기술은 수화의 모든 문자를 번역하기 위해서, 전체적인 팔의 움직임을 인식하고, 팔의 움직임 인식에 따른 데이터를 필요로 한다. 따라서, 종래 기술은 팔의 움직임을 인식하기 위하여 다수의 센서를 이용하지만, 다수의 센서를 이용하더라도 수화 표현의 움직임이 비슷한 경우에는 2이상의 문자로 번역되는 등의 문제가 있어, 정확한 문자로의 번역이 어렵다는 문제가 있다.Such a conventional technique of translating a sign language expression into characters requires data according to the movement of the arm to recognize the movement of the entire arm in order to translate all the characters of the sign language. Therefore, the prior art uses a plurality of sensors to recognize the movement of the arm, but even when using a plurality of sensors, if the movement of the sign language expression is similar, there is a problem that is translated into two or more characters, translation to the correct character There is a problem that this is difficult.

한편, 종래 기술은 손가락의 움직임을 구부린 상태, 곧게 편 상태, 그 중간의 상태 등으로 인식하므로, 비슷한 동작의 손가락 움직임을 가지는 수화 표현의 경우, 손가락 움직임의 차이를 정확하게 구분하지 못하는 문제가 있다.On the other hand, since the prior art recognizes the movement of the finger as a bent state, a straight state, a state in the middle, and the like, in the case of a sign language expression having a finger movement of a similar operation, there is a problem in that it is not possible to accurately distinguish the difference of the finger movement.

본 발명의 목적은 손가락의 움직임을 인식하고, 손가락 움직임에 대응하는 문자로 자동 번역하는 수화 번역 장치 및 방법을 제공하는 것이다.It is an object of the present invention to provide a sign language translation apparatus and method for recognizing a finger movement and automatically translating it into a character corresponding to the finger movement.

본 발명의 다른 목적은 2이상의 문자에 대한 수화 동작이 같은 경우에도 문자를 구분하여 수화 표현의 번역이 가능한 수화 번역 장치 및 방법을 제공하는 것이다.Another object of the present invention is to provide a sign language translation apparatus and method capable of translating a sign language expression by distinguishing characters even when a sign language operation for two or more characters is the same.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood from the following description.

전술한 목적을 달성하기 위한 본 발명의 일면에 따른 수화 번역 장치는, 손가락의 구부림을 인식하는 플렉스 센서부와, 외부로부터 가해지는 압력을 측정하는 압전 센서부와, 인식된 결과 및 측정된 결과 중 적어도 하나를 이용하여 번역된 문자를 출력하는 출력부를 포함한다.Sign language translation apparatus according to an aspect of the present invention for achieving the above object, the flex sensor unit for recognizing the bending of the finger, the piezoelectric sensor unit for measuring the pressure applied from the outside, among the recognized and measured results It includes an output unit for outputting the translated text using at least one.

본 발명의 다른 면에 따른 수화 번역 방법은, 손가락의 구부림을 인식하는 단계와, 인식의 결과를 이용하여 문자 정보 DB상에 대응되는 문자를 독출하는 단계와, 독출 결과 대응되는 문자가 2이상인지를 판단하는 단계와, 대응되는 문자가 2이상이라고 판단하는 경우 대응되는 문자 중 하나의 문자를 선택하는 단계를 포함한다.According to another aspect of the present invention, a sign language translation method includes recognizing a bend of a finger, reading a character corresponding to a character information DB using a result of the recognition, and having two or more characters corresponding to the read result. And determining whether the corresponding character is two or more, and selecting one of the corresponding characters.

본 발명에 따르면, 수화 표현시 손가락의 움직임을 인식하고, 손가락 움직임에 대응하는 문자로 자동 번역할 수 있는 수화 번역 장치 및 방법을 제공한다.According to the present invention, there is provided a sign language translation apparatus and method capable of recognizing a movement of a finger in sign language expression and automatically translating a character corresponding to the finger movement.

또한, 2이상의 문자에 대한 수화 동작이 같은 경우에도 문자를 구분하여 수화 표현의 번역이 가능한 수화 번역 장치 및 방법을 제공한다. In addition, the present invention provides a sign language translation apparatus and method capable of translating a sign language expression by dividing a letter even when a sign language operation for two or more letters is the same.

도 1은 본 발명의 일 실시예에 따른 수화 번역 장치를 도시하는 블록도.
도 2는 본 발명의 다른 실시예에 따른 수화 번역 장치를 도시하는 도면.
도 3은 본 발명의 실시예에 따른 수화 번역 방법을 도시하는 순서도.1 is a block diagram showing a sign language translation apparatus according to an embodiment of the present invention.
2 illustrates a sign language translation apparatus according to another embodiment of the present invention.
3 is a flowchart illustrating a sign language translation method according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로서, 본 발명은 청구항의 기재에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the embodiments are to make the disclosure of the present invention complete, and those skilled in the art to which the present invention pertains. As the invention is provided to fully inform the scope of the invention, the invention is defined only by the description of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

이하, 도 1 및 도 2를 참조하여, 본 발명의 실시예들에 따른 수화 번역 장치를 설명한다. 도 1은 본 발명의 일 실시예에 따른 수화 번역 장치를 도시하는 블록도이다.Hereinafter, a sign language translation apparatus according to embodiments of the present invention will be described with reference to FIGS. 1 and 2. 1 is a block diagram illustrating a sign language translation apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 수화 번역 장치(10)는 플렉스 센서부(101), 압전 센서부(103), 수화 번역부(105) 및 출력부(107)를 포함한다.Referring to FIG. 1, a sign language translation apparatus 10 according to an embodiment of the present invention includes a flex sensor 101, a piezoelectric sensor 103, a sign language translation unit 105, and an output unit 107. .

플렉스 센서부(101)는 수화 표현시 손가락의 구부림을 인식한다. 플렉스 센서부(101)는 플렉스 센서(Flex sensor)를 이용하여 손가락의 구부림을 인식하도록 구성될 수 있다. 플렉스 센서는 구부러질 수 있는 재질로 이루어지며, 구부러지는 정도에 따라 저항 값이 변화되도록 구성된다.The flex sensor unit 101 recognizes the bending of the finger in sign language expression. The flex sensor unit 101 may be configured to recognize bending of a finger using a flex sensor. The flex sensor is made of a material that can be bent, and configured to change the resistance value according to the degree of bending.

한편, 플렉스 센서부(101)는 각 손가락에 대응되는 복수의 플렉스 센서들을 구비하고, 복수의 플렉스 센서들의 출력값을 이용하여, 손가락의 구부림을 인식할 수 있다.Meanwhile, the flex sensor unit 101 may include a plurality of flex sensors corresponding to each finger, and recognize the bending of the finger by using output values of the plurality of flex sensors.

압전 센서부(103)는 손가락의 구부림 이외의 수화 표현시 동작을 구분하기 위하여 이용되고, 외부로부터 가해지는 압력을 전기신호로 변환하여 외부 압력에 따른 물리량을 측정한다. The piezoelectric sensor unit 103 is used to distinguish an operation during sign language expression other than bending of a finger, and converts a pressure applied from the outside into an electrical signal to measure a physical quantity according to the external pressure.

한편, 압전 센서부(103)는 수화 표현시 사용하지 않는 손의 특정 부분에 배치되도록 구성될 수 있다.On the other hand, the piezoelectric sensor unit 103 may be configured to be disposed on a specific portion of the hand that is not used during sign language expression.

수화 번역부(105)는 플렉스 센서부(101)에서 손가락 구부림을 인식한 결과 및 압전 센서부(103)에서 측정된 결과 중 적어도 하나에 따라 수화 표현을 번역한다.The sign language translator 105 translates a sign language expression according to at least one of a result of recognizing a finger bent by the flex sensor 101 and a result measured by the piezoelectric sensor 103.

예를 들어, 다섯 손가락 중 검지를 구부리고 손을 시계방향 또는 반시계방향 중 어느 하나의 방향으로 돌리는 수화표현의 경우, 플렉스 센서부(101)에서 검지의 구부림을 인식한 결과 및 압전 센서부(103)에서 측정된 결과에 따라 손을 시계방향으로 돌리는 표현과 반시계방향으로 돌리는 표현을 구분하여, 수화 표현을 번역할 수 있다. For example, in the sign language expression of bending the index finger out of five fingers and turning the hand in either the clockwise or counterclockwise direction, the flex sensor unit 101 recognizes the bending of the index finger and the piezoelectric sensor unit 103. The sign language expression can be translated by dividing the expression that rotates the hand clockwise and the expression that rotates the counterclockwise according to the measured result.

한편, 수화 번역부(105)는 플렉스 센서부(101)에서 손가락 구부림을 인식한 결과 및 압전 센서부(103)에서 측정된 결과 중 적어도 하나에 따라 수화 표현에 대응되는 문자를 문자 정보 DB로부터 독출하여 수화 표현을 번역하도록 구성될 수 있다.On the other hand, the sign language translator 105 reads a character corresponding to a sign language expression from the character information DB according to at least one of a result of recognizing a finger bent by the flex sensor unit 101 and a result measured by the piezoelectric sensor unit 103. Can be configured to translate sign language expressions.

여기서, 문자 정보 DB는 수화 표현을 문자 또는 단어로 번역하기 위한 문자 정보를 포함하며, 문자 정보는 플렉스 센서가 출력하는 값 또는 출력값의 범위에 대응되는 복수개의 문자 또는 단어를 포함한다.Here, the character information DB includes character information for translating a sign language expression into characters or words, and the character information includes a plurality of characters or words corresponding to a value or a range of output values output by the flex sensor.

한편, 수화 번역부(105)는 플렉스 센서부(101)에서 손가락의 구부림을 인식한 결과로부터 문자 정보 DB로부터 수화 표현에 대응되는 문자를 독출하고, 수화시 손의 모양이 유사하여 플렉스 센서부(101)의 인식 결과에 대응되는 문자가 2이상이 있는 경우, 압전 센서부(103)의 측정된 결과에 따라, 2이상의 문자 중 하나의 문자를 선택하여 수화 표현을 번역하도록 구성될 수 있다. On the other hand, the sign language translator 105 reads a character corresponding to a sign language expression from a character information DB from a result of recognizing the bending of a finger in the flex sensor unit 101, and the shape of the hand during sign language is similar to the flex sensor unit ( When there are two or more characters corresponding to the recognition result of 101, the piezoelectric sensor unit 103 may be configured to translate a sign language expression by selecting one of two or more characters according to the measured result.

예를 들어, 영문지화시 영문자 U와 영문자 V는 수화시 손의 모양의 유사하다. 구체적으로, 영문자 U는 중지와 검지를 곧게 뻗은 상태에서 서로 붙여서 표현하고, 영문자 V는 중지와 검지를 곧게 뻗은 상태에서 서로 떼어서 표현하게 된다. 이 경우, 중지와 검지를 곧게 뻗게 되는 수화 표현으로 인해 플렉스 센서부(101)에서의 인식 결과는, 영문자 U, 영문자 V 모두에 대응되게 된다. 이 때, 압전 센서가 중지와 검지 사이에 배치되도록 구성되어, 중지와 검지를 붙이는 수화표현으로 인해 압전 센서부(103)에 압력이 가해지는 경우, 영문자 U를 선택하도록 하고, 압전 센서부(103)에 압력이 가해지지 않는 경우, 영문자 V를 선택하도록 할 수 있다.For example, the English letter U and the letter V in English language are similar in shape to the hand in sign language. Specifically, the letter U is expressed by attaching to each other in a state where the middle finger and index finger are straight, and the letter V is expressed as being separated from each other in a state where the middle finger and the index finger are straightly extended. In this case, the recognition result in the flex sensor unit 101 corresponds to both the English letter U and the English letter V due to the sign language expression of straightening the middle finger and the index finger. At this time, the piezoelectric sensor is configured to be disposed between the middle finger and the forefinger, and when the pressure is applied to the piezoelectric sensor part 103 due to a sign language that attaches the middle finger and the index finger, the alphabet letter U is selected and the piezoelectric sensor part 103 is selected. If no pressure is applied), the letter V can be selected.

한편, 압전 센서부(103)는 압전 센서를 이용하는 대신 스위치를 이용하도록 구성될 수 있고, 수화 번역부(105)는 스위치의 온/오프(On/Off)에 따라 2이상의 문자 중 하나의 문자를 선택하여 수화 표현을 번역하도록 구성될 수 있다.Meanwhile, the piezoelectric sensor unit 103 may be configured to use a switch instead of using a piezoelectric sensor, and the sign language translator 105 may select one of two or more characters according to the on / off of the switch. And may be configured to translate the sign language expression.

한편, 수화 번역부(105)는 사용자의 입력에 따라 엔터(enter), 스페이스(space) 및 시프트(shift) 중 적어도 하나를 선택하여 수화 표현을 번역하는 압전 센서 또는 스위치를 더 포함할 수 있다.The sign language translator 105 may further include a piezoelectric sensor or a switch for translating a sign language expression by selecting at least one of an enter, a space, and a shift according to a user input.

출력부(107)는 수화 번역부(105)에서 번역된 결과를 음성 및 화면 중 적어도 하나로 출력한다.The output unit 107 outputs the result translated by the sign language translator 105 to at least one of a voice and a screen.

따라서, 본 발명의 실시예들에 따른 수화 번역 장치는 수화 표현을 문자로 번역하여 출력할 수 있다. 또한, 동일한 구부림을 가지는 수화 표현 시 압전 센서를 이용하여 이용자가 원하는 문자로 번역할 수 있다.
Therefore, the sign language translation apparatus according to the embodiments of the present invention may translate the sign language expression into text and output the same. In addition, the sign language having the same bend may be translated into characters desired by the user using a piezoelectric sensor.

이하, 도 2를 참조하여 본 발명의 다른 실시예에 따른 수화 번역 장치를 설명한다. 도 2는 본 발명의 다른 실시예에 따른 수화 번역 장치를 도시하는 도면이다.Hereinafter, a sign language translation apparatus according to another embodiment of the present invention will be described with reference to FIG. 2. 2 is a diagram illustrating a sign language translation apparatus according to another embodiment of the present invention.

여기서, 도 1에 도시된 구성요소와 동일한 기능을 수행하는 구성요소에 대해서는 동일한 도면 부호를 사용하고, 해당구성요소에 대한 상세한 설명을 생략한다.Here, the same reference numerals are used for components that perform the same functions as the components illustrated in FIG. 1, and a detailed description of the corresponding components will be omitted.

도 2를 참조하면, 본 발명의 다른 실시예에 따른 수화 번역 장치(10)는 플렉스 센서부(101), 압전 센서부(103), 수화 번역부(105) 및 출력부(107)를 포함하는 수화 장갑의 형태로 구성된다.Referring to FIG. 2, the sign language translation apparatus 10 according to another embodiment of the present invention includes a flex sensor unit 101, a piezoelectric sensor unit 103, a sign language translation unit 105, and an output unit 107. It is composed in the form of hydration gloves.

플렉스 센서부(101)는 장갑의 손가락 부분의 길이 방향을 따라 배치되어, 수화 표현시 손가락의 구부림을 인식하도록 구성된다.The flex sensor unit 101 is arranged along the longitudinal direction of the finger portion of the glove, and is configured to recognize the bending of the finger in sign language expression.

한편, 플렉스 센서부(101)는 장갑의 각 손가락 부분에 대응되는 복수의 플렉스 센서들을 구비하고, 복수의 플렉스 센서들의 출력값을 이용하여, 손가락의 구부림을 인식할 수 있다.Meanwhile, the flex sensor unit 101 may include a plurality of flex sensors corresponding to each finger portion of the glove, and recognize the bending of the finger by using output values of the plurality of flex sensors.

구체적으로, 장갑의 다섯 손가락에는 각각 하나씩의 플렉스 센서가 고정된다. 이 때, 손가락을 구부리면 각 손가락에 해당하는 플렉스 센서도 같이 구부러지게 된다. Specifically, one flex sensor is fixed to each of the five fingers of the glove. At this time, when the fingers are bent, the flex sensor corresponding to each finger is bent together.

한편, 플렉스 센서부(101)는 손가락을 구부리면 플렉스 센서의 저항이 점점 증가하고, 그 결과 전압 분배 법칙에 의해 플렉스 센서에 걸리는 전압 값이 증가되도록 구성될 수 있다.On the other hand, the flex sensor unit 101 may be configured such that the resistance of the flex sensor gradually increases when the finger is bent, and as a result, the voltage value applied to the flex sensor is increased by the voltage distribution law.

압전 센서부(103)는 장갑의 각 손가락 부분의 길이 방향 측면을 따라 배치되는 압전 센서를 포함한다. 2이상의 손가락끼리 붙여서 표현하는 수화 표현의 경우, 압전 센서에 압력이 전달되고, 압력에 따라 전기 신호로 변환하여 외부 압력에 따른 물리량을 측정한다. The piezoelectric sensor unit 103 includes a piezoelectric sensor disposed along the longitudinal side of each finger portion of the glove. In the case of a sign language expressed by attaching two or more fingers together, pressure is transmitted to a piezoelectric sensor, and the physical quantity is measured according to the external pressure by converting the signal into an electrical signal according to the pressure.

수화 번역부(105)는 플렉스 센서부(101)에서 손가락 구부림을 인식한 결과 및 압전 센서부(103)에서 측정된 결과 중 적어도 하나에 따라 수화 표현을 번역한다.The sign language translator 105 translates a sign language expression according to at least one of a result of recognizing a finger bent by the flex sensor 101 and a result measured by the piezoelectric sensor 103.

수화 번역부(105)는 플렉스 센서에 걸리는 전압 값을 A/D 컨버터를 이용하여 이진화하고, 이진화된 전압 값을 이용하여 기설정된 임계 값을 넘으면 구부러졌다고 인식하고, 임계값을 넘지 않으면 구부러지지 않았다고 인식한다. 이후, 인식된 결과에 따라 대응되는 문자를 문자 정보 DB로부터 독출하여 수화 표현을 번역하도록 한다.The sign language translator 105 binarizes the voltage value applied to the flex sensor by using an A / D converter, recognizes that the signal is bent when the threshold value is exceeded using the binarized voltage value, and does not bend when the threshold value is not exceeded. Recognize. Then, the corresponding character is read from the character information DB according to the recognized result to translate the sign language expression.

한편, 수화 번역부(105)는 손가락이 구부러지는 형상에 따라 2이상의 단계로 플렉스 센서의 전압값의 범위를 구분하고, 구분된 범위에 따라 대응되는 문자를 문자 정보 DB로부터 독출하여 수화 표현을 번역하도록 구성될 수 있다.On the other hand, the sign language translator 105 separates the range of the voltage value of the flex sensor in two or more steps according to the shape of the finger bent, and translates the sign language expression by reading the corresponding character from the character information DB according to the divided range It can be configured to.

예를 들어, 검지, 중지, 소지, 약지의 경우, 0?90˚의 손가락 구부림 각도에 따라 4단계로 전압값의 범위를 구분하고, 엄지는 다른 손가락 마디와는 달리 2개의 마디로 되어있기 때문에, 0?90˚의 손가락 구부림 각도에 따라 3단계로 전압값의 범위를 구분하여, 구분된 범위에 따라 대응되는 문자를 문자 정보 DB로부터 독출하여 수화 표현을 번역하도록 구성될 수 있다.For example, in the case of index finger, middle finger, ring finger, and ring finger, the range of voltage value is divided in 4 steps according to the angle of finger bending of 0 ~ 90˚, and the thumb is composed of two nodes unlike other finger nodes. , By dividing the range of the voltage value in three steps according to the finger bending angle of 0 ~ 90 °, to read the corresponding character according to the separated range from the character information DB to translate the sign language expression.

출력부(107)는 수화 번역부(105)에서 번역된 결과를 음성 및 화면 중 적어도 하나로 출력한다.
The output unit 107 outputs the result translated by the sign language translator 105 to at least one of a voice and a screen.

도 3을 참조하여, 본 발명의 실시예에 따른 수화 번역 장치를 설명한다. 도 3은 본 발명의 실시예에 따른 수화 번역 방법을 도시하는 순서도이다.A sign language translation apparatus according to an embodiment of the present invention will be described with reference to FIG. 3. 3 is a flowchart illustrating a sign language translation method according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시예에 따른 수화 번역 방법은 전술한 수화 번역 장치를 이용하여 다음의 각 단계를 수행한다.Referring to FIG. 3, the sign language translation method according to the embodiment of the present invention performs each of the following steps using the sign language translation apparatus described above.

우선, 플렉스 센서를 이용하여, 수화 표현시 손가락의 구부림을 인식한다(S101). 한편, 플렉스 센서는 인식 결과에 따라 저항값 등의 형태로 인식된 값을 출력할 수 있다.First, the flex sensor is used to recognize the bending of the finger in sign language (S101). Meanwhile, the flex sensor may output the recognized value in the form of a resistance value or the like according to the recognition result.

인식된 값에 대응되는 문자를 문자 정보 DB로부터 독출하여 수화 표현을 문자로 변환한다(S103).A character corresponding to the recognized value is read from the character information DB to convert the sign language expression into the character (S103).

이 때, 인식된 값이 2이상의 문자로 변환 가능한지 여부를 판단한다(S105).At this time, it is determined whether the recognized value can be converted into two or more characters (S105).

즉, 손가락의 구부림을 인식한 결과가 문자 정보 DB에서의 2이상의 문자와 대응되는지를 판단한다.That is, it is determined whether the result of recognizing the bending of the finger corresponds to two or more characters in the character information DB.

인식된 값에 대응되는 문자가 하나밖에 없어, 2이상의 문자로 변환이 가능하지 않다고 판단하는 경우, 대응되는 문자를 출력한다(S107).If there is only one character corresponding to the recognized value, and it is determined that conversion to two or more characters is not possible, the corresponding character is output (S107).

한편, 인식된 값이 문자 정보 DB에서의 2이상의 문자와 대응되어, 각각의 문자로 변환 가능하다고 판단하는 경우, 압전 센서를 이용하여 외부 압력을 센싱한다(S109).On the other hand, when it is determined that the recognized value corresponds to two or more characters in the character information DB and can be converted into each character, the external pressure is sensed using the piezoelectric sensor (S109).

이후, 압전 센서로부터 센싱된 값을 제공받아, 압전 센서의 센싱값에 대응하는 문자를 선택한다(S111). 즉, 압전 센서가 외부로부터의 압력을 전기신호로 변환하여, 전기신호에 따라 2이상의 문자 중 하나의 문자를 선택한다(S111).Thereafter, the sensing value is received from the piezoelectric sensor, and a character corresponding to the sensing value of the piezoelectric sensor is selected (S111). That is, the piezoelectric sensor converts the pressure from the outside into an electric signal, and selects one letter among two or more letters according to the electric signal (S111).

이 후, 2이상의 문자 중 선택된 문자를 출력한다(S113).
Thereafter, the selected character is output from the two or more characters (S113).

전술한 바에 따라, 본 발명의 실시예들에 따른 수화 번역 장치 및 방법은 수화 표현시 손가락의 움직임을 인식하고, 손가락 움직임에 대응하는 문자로 자동 번역할 수 있다.As described above, the sign language translation apparatus and method according to the embodiments of the present invention may recognize the movement of a finger in sign language expression and automatically translate the text into a character corresponding to the finger movement.

또한, 본 발명의 실시예들에 따른 수화 번역 장치 및 방법은 2이상의 문자에 대한 수화 동작이 같은 경우에도 문자를 구분하여 수화 표현의 번역이 가능하다.
In addition, the sign language translation apparatus and method according to the embodiments of the present invention may translate a sign language expression by dividing letters even when a sign language operation for two or more letters is the same.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art will appreciate that the present invention can be embodied in other specific forms without changing the technical spirit or essential features of the present invention. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the claims and their equivalents should be construed as being included in the scope of the present invention.

Claims (6)

손가락의 구부림을 인식하는 플렉스 센서부;
외부로부터 가해지는 압력을 측정하는 압전 센서부; 및
상기 인식된 결과 및 상기 측정된 결과 중 적어도 하나를 이용하여 번역된 문자를 출력하는 출력부
를 포함하는 수화 번역 장치.Flex sensor unit for recognizing the bending of the finger;
Piezoelectric sensor unit for measuring the pressure applied from the outside; And
An output unit for outputting a translated text using at least one of the recognized result and the measured result
Sign language translation device comprising a. 제 1 항에 있어서,
상기 인식된 결과를 이용하여, 문자 정보 DB로부터 대응되는 상기 문자를 독출하여 수화 표현을 번역하는 수화 번역부
를 더 포함하는 수화 번역 장치.The method of claim 1,
A sign language translation unit that translates a sign language expression by reading the corresponding character from a text information DB using the recognized result.
Sign language translation device further comprising. 제 2 항에 있어서, 상기 수화 번역부는,
상기 인식된 결과가 상기 문자 정보 DB에서의 2이상의 상기 문자와 대응되는 경우, 상기 측정된 결과에 따라 2이상의 상기 문자 중 하나의 문자를 선택하여 상기 수화 표현을 번역하는 것
인 수화 번역 장치.The method of claim 2, wherein the sign language translation unit,
If the recognized result corresponds to two or more of the characters in the character information DB, translating the sign language expression by selecting one of the two or more characters according to the measured result;
Sign language translation device. 제 1 항에 있어서, 상기 압전 센서부는
상기 손가락의 길이 방향 측면을 따라 배치되는 압전 센서를 포함하는 것
인 수화 번역 장치.The method of claim 1, wherein the piezoelectric sensor unit
Including a piezoelectric sensor disposed along the longitudinal side of the finger
Sign language translation device. 손가락의 구부림을 인식하는 단계;
상기 인식의 결과를 이용하여, 문자 정보 DB상에 대응되는 문자를 독출하는 단계;
상기 독출 결과, 상기 대응되는 문자가 2이상인지를 판단하는 단계; 및
상기 대응되는 문자가 2이상이라고 판단하는 경우, 상기 대응되는 문자 중 하나의 상기 문자를 선택하는 단계
를 포함하는 수화 번역 방법.Recognizing bending of the finger;
Reading a character corresponding to a character information DB using the result of the recognition;
Determining whether the corresponding character is two or more as a result of the reading; And
If it is determined that the corresponding character is two or more, selecting the one of the corresponding characters.
Sign language translation method comprising a. 제 5 항에 있어서,
외부 압력을 센싱하는 단계를 더 포함하고,
상기 선택하는 단계는
상기 센싱의 결과에 따라 하나의 상기 문자를 선택하는 단계인 것
인 수화 번역 방법.
The method of claim 5, wherein
Further comprising sensing external pressure,
The selecting step
Selecting one of the letters according to the sensing result
Sign language translation method.
KR1020100097405A 2010-10-06 2010-10-06 Apparatus and method for translating sign language KR20120035712A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100097405A KR20120035712A (en) 2010-10-06 2010-10-06 Apparatus and method for translating sign language

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100097405A KR20120035712A (en) 2010-10-06 2010-10-06 Apparatus and method for translating sign language

Publications (1)

Publication Number Publication Date
KR20120035712A true KR20120035712A (en) 2012-04-16

Family

ID=46137574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100097405A KR20120035712A (en) 2010-10-06 2010-10-06 Apparatus and method for translating sign language

Country Status (1)

Country Link
KR (1) KR20120035712A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021112421A1 (en) * 2019-12-04 2021-06-10 한국표준과학연구원 System and method for motion communication using piezoelectric sensors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021112421A1 (en) * 2019-12-04 2021-06-10 한국표준과학연구원 System and method for motion communication using piezoelectric sensors
KR20210070059A (en) 2019-12-04 2021-06-14 한국표준과학연구원 Motion communication system and method using piezoelectric sensor

Similar Documents

Publication Publication Date Title
US10446059B2 (en) Hand motion interpretation and communication apparatus
US10684692B2 (en) Systems, devices, and methods for gesture identification
KR101345755B1 (en) Apparatus and method for controlling operation in a mobile terminal
US20160042228A1 (en) Systems and methods for recognition and translation of gestures
Kunjumon et al. Hand gesture recognition system for translating indian sign language into text and speech
AU2016238912A1 (en) Method for inputting text at a touchscreen
Rishikanth et al. Low-cost intelligent gesture recognition engine for audio-vocally impaired individuals
Singh et al. A low-cost wearable Indian sign language interpretation system
CN104485037A (en) Gesture sound making talking glove for the deaf and dumb
CN114327233A (en) Haptic interaction system, method and storage medium
KR20120035712A (en) Apparatus and method for translating sign language
KR102009150B1 (en) Automatic Apparatus and Method for Converting Sign language or Finger Language
US10955935B2 (en) Tap device with multi-tap feature for expanded character set
Sekar et al. Low-cost intelligent static gesture recognition system
TW201327277A (en) Braille input method for use with touch panel
WO2009038430A2 (en) Character inputting device
CN111009234A (en) Voice conversion method, device and equipment
Sapkota et al. Smart glove for sign language translation using Arduino
CN110716654B (en) Chinese character input method, voice synthesis method and Chinese character input system
US7155389B2 (en) Discriminating speech to touch translator assembly and method
CN104765469B (en) Formula input system and input method are touched between a kind of finger based on syllable
KR100651745B1 (en) Apparatus for character input using wearable tactile sensor and method thereof and character recognizing device which is wearable
KR20060022984A (en) Keypad glove apparatus
KR20180062593A (en) Apparatus for translating chirology in real time
Biju et al. Glove based wearable devices for sign language-GloSign

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application