KR20050032296A - Finger language recognition method and apparatus - Google Patents
Finger language recognition method and apparatus Download PDFInfo
- Publication number
- KR20050032296A KR20050032296A KR1020030068328A KR20030068328A KR20050032296A KR 20050032296 A KR20050032296 A KR 20050032296A KR 1020030068328 A KR1020030068328 A KR 1020030068328A KR 20030068328 A KR20030068328 A KR 20030068328A KR 20050032296 A KR20050032296 A KR 20050032296A
- Authority
- KR
- South Korea
- Prior art keywords
- movement
- finger
- data
- motion
- hand
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 지화 인식 방법 및 장치에 관한 것으로, 보다 상세하게는 청각 장애인과의 대화에 필요한 지화를 인식하여 이를 문자나 음성으로 바꾸어 주는 지화 인식 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for recognizing a paper, and more particularly, to a method and a device for recognizing a paper required for a conversation with a hearing impaired person and converting the paper into a text or a voice.
1948년 UN에서 채택된 세계 인권 선언 제1조는 모든 사람은 태어날 때부터 자유롭고 존엄성과 권리에 있어서 평등하다라고 규정하고 있다. 그러나 장애인의 경우, 이 점이 제대로 보장되어 있지 않다. 우리나라의 약 200만명의 청각 장애인의 경우 가장 기본적일 수 있는 의사 소통마저도 원활하게 되지 않고 있다.Article 1 of the Universal Declaration of Human Rights, adopted by the United Nations in 1948, provides that all people are born free and equal in dignity and rights. However, for people with disabilities, this is not guaranteed. About 2 million deaf people in Korea are not able to communicate even the most basic communication.
수화 시스템 또는 지화 시스템(finger language helper)은 청각 장애인의 의사 소통 과정을 도와줌으로써 인간의 기본적인 권리를 보장하게 해 준다. Sign language systems or finger language helpers help people with hearing impairments to ensure their basic rights.
현재 존재하고 있는 수화 시스템 또는 지화 시스템은 카메라로 수화 또는 지화 동작을 촬영하여, 그 동작을 분석하기 때문에 시간이 많이 걸릴 뿐 아니라, 휴대하기도 불편하다. 이러한 상황에서 휴대하기 편하고 실시간으로 번역해 주는 수화 시스템 또는 지화 시스템이 필요한 것은 당연하다.Currently, a sign language system or a branching system is not only time-consuming but also inconvenient to carry because it photographs a sign language or a branching motion with a camera and analyzes the motion. In this situation, it is natural to have a sign language system or a paper system that is portable and translates in real time.
본 발명이 이루고자 하는 기술적 과제는 손가락에 센서를 부착한 데이터글러브를 착용하여 데이터글러브와 연동하는 퍼스널컴퓨터에 저장된 데이터베이스를 통하여 지화 인식 시간이 단축되고 휴대하기 편한 지화 인식 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a paper recognition recognition method that is easy to carry and to shorten paper recognition recognition time through a database stored in a personal computer linked to the data glove by wearing a data glove having a sensor attached to a finger. .
본 발명이 이루고자 하는 다른 기술적 과제는 손가락에 센서를 부착한 데이터글러브를 착용하여 데이터글러브와 연동하는 퍼스널컴퓨터에 저장된 데이터베이스를 통하여 지화 인식 시간이 단축되고 휴대하기 편한 지화 인식 장치를 제공하는데 그 다른 목적이 있다.Another technical problem to be achieved by the present invention is to provide a paper recognition recognition device that is easy to carry and shorten the recognition time of the paper through a database stored in a personal computer linked to the data glove wearing a data glove with a sensor attached to the finger. There is this.
본 발명은 상기한 기술적 과제를 달성하기 위하여, 본 발명의 일태양에 의하면 사용자가 적어도 한 손에 손가락의 움직임을 센싱하는 센서가 부착된 데이터글러브(Dataglove)를 착용한 상태에서 지화 동작을 취하면 이에 연결된 퍼스널컴퓨터는 데이터글러브의 손가락의 움직임에 따른 위치 및 방향 데이터를 받아 처리하여 데이터베이스에 저장된 상기 손가락의 움직임에 해당하는 단어를 찾아 출력하여 데이터글러브를 통하여 지화를 인식하는 지화 인식 방법을 제공한다. The present invention to achieve the above technical problem, according to an aspect of the present invention if the user takes a paper operation in a state wearing a data glove (Dataglove) attached with a sensor for sensing the movement of the finger on at least one hand The personal computer connected thereto receives and processes position and direction data according to the movement of the finger of the data glove, finds and outputs a word corresponding to the movement of the finger stored in a database, and provides a paper recognition method for recognizing the paper through the data glove. .
본 발명의 다른 태양에 의하면, 사용자가 적어도 한 손에 착용하는 손가락의 움직임을 센싱하는 센서가 부착된 데이터글러브(Dataglove); 및 상기 데이터글러브를 착용한 상태에서 지화 동작을 취하면 데이터글러브의 손가락의 움직임에 따른 위치 및 방향 데이터를 받아 처리하여 데이터베이스에 저장된 상기 손가락의 움직임에 해당하는 단어를 찾아 출력하는 퍼스널컴퓨터를 포함하는 데이터글러브를 통하여 지화를 인식하는 지화 인식 장치를 제공한다.According to another aspect of the present invention, a data glove (Dataglove) attached to the sensor for sensing the movement of the finger worn by the user at least one hand; And a personal computer that takes a positional operation according to the movement of the finger of the data glove and processes and retrieves a word corresponding to the movement of the finger stored in a database when the papermaking operation is performed while the data glove is worn. Provided is a paper recognition apparatus for recognizing a paper flower through a data glove.
이하, 본 발명의 실시예에 대해서 첨부된 도면을 참조하여 보다 상세하게 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 지화 인식 방법 및 장치를 설명하기 위한 개략도이고, 도 2는 본 발명의 출력화면의 일예를 도시한 개략도이다. 또한, 도 3은 지화 인식에서 이용되는 기본 운동을 도시한 개념도이다.1 is a schematic diagram for explaining a paper recognition method and apparatus of the present invention, Figure 2 is a schematic diagram showing an example of the output screen of the present invention. 3 is a conceptual diagram showing a basic exercise used in the recognition of paper.
도 1 내지 도 3에 도시한 바와 같이, 본 발명의 지화 인식 장치는 이용자의 적어도 한 손에 착용되는 데이터글러브(10)의 손가락에 센서(15)를 부착하여 손가락의 위치 및 움직임의 방향에 관한 데이터를 받아 퍼스널컴퓨터(20)로 전송한다. 퍼스널컴퓨터(20)는 이 데이터를 받아서 데이터베이스(25)와 연동하여 상기 인식된 지화 데이터를 저장된 지화 정보와 비교하여, 데이터글러브(10)를 통하여 지화를 인식출력한다.As shown in FIGS. 1 to 3, the paper recognition apparatus of the present invention attaches a sensor 15 to a finger of a data glove 10 worn on at least one hand of a user, and relates to a position and a direction of movement of a finger. The data is received and sent to the personal computer 20. The personal computer 20 receives the data and compares the recognized paper data with the stored paper information in association with the database 25 to recognize and output the paper through the data glove 10.
본 발명에 적용되는 지화 인식 장치의 구성에 적용되는 퍼스널컴퓨터(20)는 인텔 x86기반의 CPU 또는 호환 가능한 CPU로 구성되어 있고 윈도우즈 계열의 OS 상에서 동작하며, 데이터글러브(10)와 연결하기 위한 시리얼포트가 필요하다.The personal computer 20 applied to the configuration of the paper recognition apparatus applied to the present invention is composed of an Intel x86 based CPU or a compatible CPU, operates on a Windows-based OS, and has a serial for connecting to the data glove 10. Port is required
본 발명에 적용되는 데이터글러브(10)는 지화 동작을 인식하여 퍼스널컴퓨터(20)로 데이터를 전송하는 장치로써, 적어도 하나의 손가락부분에 손가락의 위치 및 움직임 방향을 센싱하는 센서(15)를 구비하고 손목부분에는 각 손가락부분에 설치된 센서(15)로부터 전송된 데이터를 퍼스널컴퓨터(20)로 전송하는 지화 센서 콘트롤러(18)를 구비한다.The data glove 10 applied to the present invention is a device for transmitting data to the personal computer 20 by recognizing a papermaking operation, and having a sensor 15 sensing a position and a movement direction of a finger on at least one finger part. The wrist portion is provided with a paper sensor sensor 18 for transmitting the data transmitted from the sensor 15 installed in each finger portion to the personal computer 20.
본 발명의 데이터글러브(10)는 도 1에 도시한 바와 같이 손가락마다 하나의 센서(15)를 부착하였으나, 적어도 하나의 센서를 이용하여 손가락의 위치 및 움직임 방향을 센싱하도록 설계하면 된다. 이렇게 센서(15)를 통해 감지된 손가락의 위치 및 움직임 방향, 즉 지화데이터는 지화센서 콘트롤러(18)에서 전송되어, 퍼스널컴퓨터(20)에서 인식된다. 지화센서 콘트롤러(18)에서 퍼스널컴퓨터(20)의 시리얼포트로의 데이터 전송은 유선으로 전송될 수도 있고 무선으로 전송될 수도 있다. 데이터의 전송기술은 당업자에게 명확하므로 그 상세한 설명은 생략하기로 한다.The data glove 10 of the present invention has one sensor 15 attached to each finger as shown in FIG. 1, but may be designed to sense the position and the direction of movement of the finger using at least one sensor. The position and the movement direction of the finger sensed through the sensor 15, that is, the paper data are transmitted from the paper sensor controller 18 and recognized by the personal computer 20. Data transmission from the ground sensor controller 18 to the serial port of the personal computer 20 may be wired or wireless. Since the transmission technology of the data is clear to those skilled in the art, a detailed description thereof will be omitted.
본 발명에 적용되는 지화 인식 프로그램은 데이터글러브(10)로부터 전송된 데이터를 데이터베이스(25)에 저장된 지화정보와 비교하여 문자 또는 음성으로 번역하는 프로그램이다. 바람직하게는 마이크로소프트 비주얼 스튜디오 (Microsoft Visual Studio) 6.0을 기반으로 하여 C++ 언어를 이용해 작성할 수 있다. 또한 본 발명에서 지화 인식되어 출력되는 문자를 음성으로 변환하는 경우, 문서를 음성으로 변환하는 기술이 필요한데, 대표적인 것으로 VoiceTextTM이 사용될 수 있다. 도 2에 도시된 바와 같이, 출력되는 문자는 도 1의 퍼스널컴퓨터(20)의 모니터(22)를 통하여 출력되는데, 모니터(22)상의 그래픽창(200)을 통하여 데이터글러브(10)의 영상을 디스플레이하며, 문자창(210)을 통하여 퍼스널컴퓨터(20)가 해독한 지화 동작에 대응하는 문자를 표시한다. 모니터(22)의 확인버튼(220)을 누르면 지화 동작화면 및 문자창 화면은 다른 화면으로 바뀌게 된다.The paper recognition program applied to the present invention is a program for comparing the data transmitted from the data glove 10 with the paper information stored in the database 25 and translating it into text or voice. It is preferably written in the C ++ language based on Microsoft Visual Studio 6.0. In addition, in the present invention, when converting texts recognized and outputted into speech, a technology for converting a document into speech is required, and VoiceText ™ may be used as a representative example. As shown in FIG. 2, the output characters are output through the monitor 22 of the personal computer 20 of FIG. 1, and the image of the data glove 10 is displayed through the graphic window 200 on the monitor 22. The text corresponding to the papermaking operation decoded by the personal computer 20 is displayed through the text window 210. When the confirmation button 220 of the monitor 22 is pressed, the papermaking operation screen and the text window screen are changed to another screen.
본 발명의 지화 인식 장치는 데이터글러브를 이용하므로 휴대하기 간편하다. 다만 이용자는 데이터글러브(10)를 퍼스널컴퓨터(20)의 시리얼포트에 연결하고 220V 외부전원과 연결한다. 그 다음에 사용자가 데이터글러브(10)를 착용한 상태에서 지화 동작을 수행하면, 퍼스널컴퓨터(20)에 저장된 지화인식 프로그램에서 해독된 문자를 화면에 출력하거나 음성으로 출력한다. 문자로 출력할 것인지 음성으로 출력할 것인지 이용자가 옵션을 선택하도록 할 수 있다.The paper recognition apparatus of the present invention is easy to carry because it uses a data glove. However, the user connects the data glove 10 to the serial port of the personal computer 20 and to the 220V external power source. Then, when the user performs the papermaking operation while wearing the data glove 10, the text decrypted by the paper recognition program stored in the personal computer 20 is output on the screen or by voice. The user can select an option to output text or voice.
본 발명의 지화 인식 방법에 적용되는 알고리즘은 다음과 같다.The algorithm applied to the paper recognition method of the present invention is as follows.
본 발명의 데이터글러브(5DT Dataglove 16)(10)에 부착된 센서(15)를 통해, 오른쪽 손가락의 좌표와 각도에 대한 데이터를 퍼스널컴퓨터(20)로 보낸다. Through the sensor 15 attached to the data glove (5DT Dataglove 16) 10 of the present invention, data about the coordinates and angles of the right finger are sent to the personal computer 20.
데이터글러브(10)를 통해 들어오는 연속적인 데이터를 한 글자씩 받아들이기 위해 0.5초로 끊어준다.The continuous data coming through the data glove 10 is cut in 0.5 seconds to receive one by one.
데이터를 프로그램 내부의 데이터베이스(25)에 저장되어 있는 한글의 자음과 모음의 지화에 대한 정보와 비교한다. 데이터베이스(25)에 저장된 정보는 각 글자에 따른 위치와 손가락의 구부러짐 여부가 저장되어 있다. 손가락의 구부러짐 여부는 데이터베이스(25)에서 보내주는 데이터 중 각도를 보고 확인한다.The data is compared with information on the consonants and vowels of the Hangul consonants stored in the database 25 inside the program. The information stored in the database 25 stores the position of each letter and whether the finger is bent. The bending of the finger is confirmed by looking at an angle of the data sent from the database 25.
데이터글러브(10)를 이용해 수집되는 데이터를 받아들여 문자로 인식되기 위해서는 전 처리 과정에서 불필요한 노이즈와 왜곡을 제거해야 한다. 우선적으로 손 움직임이라는 연속적인 데이터를 분리하여 처리해야 하기 때문에 이를 고려한 수학적 모델들이 필요하다. 그리고 분석 단계에서 모델 파라미터를 계산해야 한다.In order to receive data collected using the data glove 10 and to be recognized as a character, unnecessary noise and distortion must be removed in the preprocessing process. First of all, mathematical models that take this into account are needed because the continuous data of hand movements must be separated and processed. In the analysis phase, the model parameters must be calculated.
데이터베이스와 비교 후 나온 자음과 모음을 한 단어로 묶어주는 작업을 한다. 한글은 자음과 모음으로 이루어져 있는 것을 이용한다. 모음은 언제나 자음 후에 나오기 때문에 모음 전의 자음 앞에서 끊어주도록 한다.It is a task of grouping consonants and vowels into one word after comparison with a database. Hangul uses consonants and vowels. Vowels always come after the consonants, so break them before the consonants.
출력화면은 도 2에 도시한 바와 같이 데이터글러브(10)의 움직임을 나타내는 창(200) 및 그에 대응하는 문자창(210)으로 디스플레이된다. 이 때, 문자창(210)에는 자음과 모음이 분리되어 표시되거나 조합으로 표시되도록 설계할 수 있으며, 도 2에서는 자음과 모음이 조합으로 표시되는 것을 예시하였다. 문자출력을 음성으로 출력하기 위해서는 VoiceTextTM을 이용한다.As illustrated in FIG. 2, the output screen is displayed as a window 200 indicating the movement of the data glove 10 and a text window 210 corresponding thereto. In this case, the text window 210 may be designed to display consonants and vowels separately or in combination. In FIG. 2, the consonants and vowels are displayed in combination. VoiceText TM is used to output text output to voice.
본 발명에서 지화 동작시, 사람마다 개인차가 존재하기 때문에, 개인차에 영향받지 않고, 적절한 지화 값이 나오게 하는 것이 중요한데 이를 위해서 다음과 같은 데이터 처리를 수행한다.In the present invention, since the individual differences exist for each person in the papermaking operation, it is important not to be influenced by the individual differences, and to make an appropriate paperwork value.
데이터글러브(10)를 이용하여 수집되는 데이터를 받아들여 문자로 인식되기 위해서는 전처리 과정에서 불필요한 노이즈와 왜곡을 제거해야 한다. 우선적으로 손 움직임이라는 연속적인 데이터를 분리하여 처리하여야 하기 때문에 이를 고려한 수학적 모델들이 필요하다. 그리고 분석단계에서 모델 파라미터를 계산해야 한다.In order to receive data collected using the data glove 10 and to be recognized as a character, unnecessary noise and distortion must be removed in the preprocessing process. First of all, mathematical models that take this into consideration are needed because the continuous data of hand movements must be separated and processed. In the analysis phase, the model parameters should be calculated.
모델 파라미터를 분석하는데 필요한 기본 동작 요소(elementary motions)로 도 3에 도시한 바와 같이 손가락 끝의 움직임과 공간상의 손목 회전 정도가 필요하다. 도 3에는 본 발명에 적용되는 기본 동작 요소를 도시한 것으로 XY방향의 10가지와 XZ방향의 4가지를 기본 동작 요소로 하고 있다.As the elementary motions required to analyze the model parameters, as shown in FIG. 3, the fingertip movement and the degree of wrist rotation in space are required. Fig. 3 shows the basic operating elements to be applied to the present invention. The basic operating elements are ten in the XY direction and four in the XZ direction.
다음은 파라미터의 변화를 인식하는 단계로서, 속력과 속력 변화에 의한 동작 위상 구분과 동작 위상을 입력 사건으로 한 상태로 연속된 제스처에서 의미있는 개별 수화 제스처를 분리한 후 다음 단계로 분리된 개별 제스처의 의미 인식을 수행한다. 개별 제스처의 다양한 의미를 인식하기 위하여, 손 방향의 의미 요소를 설정하고, 이러한 요소를 위한 인식기를 구현하면 복잡한 제스처를 해석하기 쉽고, 인식 수화 단어의 확장도 용이하다는 장점을 가지게 된다. 특히 지화를 위한 의미의 기본 동작 요소를 인식하는데 있어서 사람에 따라 많은 변화들이 발생하며, 한 사람이 수행한 제스처도 차이가 존재하므로 이러한 변화들을 고려한 의미 요소 인식기가 요구된다. 이러한 문제를 해결하기 위해 손 움직임의 경우 특징 추출과 퍼지 규칙에 의해 인식하며 최소-최대 신경 회로망에 의해 의미 요소를 인식한다.The next step is to recognize the change of parameters, and to distinguish the motion phase by the speed and the speed and to separate the meaningful individual sign language gestures from the continuous gestures with the motion phase as an input event. Performs meaning recognition. In order to recognize various meanings of individual gestures, setting a semantic element of a hand direction and implementing a recognizer for such elements has an advantage of easy interpretation of complex gestures and easy extension of recognized sign language words. In particular, in recognizing the basic operation elements of meaning for intellect, many changes occur according to a person, and since a gesture performed by a person has a difference, a semantic element recognizer considering these changes is required. In order to solve this problem, hand movements are recognized by feature extraction and fuzzy rules, and semantic elements are recognized by minimum-maximum neural networks.
다음, 특징 추출과 퍼지 규칙에 의한 손 움직임 인식을 수행한다. 시간 척도가 변하는 동적 손 움직임의 경우에는 각 개별 제스처를 구성하는 샘플링 데이터의 개수가 다르며 동일한 제스처에 대해서도 수행되는 속도에 따라 샘플링 데이터의 개수에 차이가 있다. 이러한 운동 요소를 인식하기 위한 시도들이 여러 가지로 진행되고 있는데 그 중 신경 회로망을 이용한 퍼지 규칙이 가장 일반적이다. 이처럼 특징 추출에 의해 손 운동의 많은 시공간 데이터는 정해진 특징 요소들의 속도 변화에 큰 영향을 받지 않기 때문에 시간 척도 변화와 무관하게 손의 이동 요소를 추출할 수 있다. 이와 같이 차원 공간상의 손 운동에 대해 설정된 손 운동 유형을 효과적으로 구분하기 위해 다음과 같은 특징들을 선택적으로 사용한다.Next, hand motion recognition by feature extraction and fuzzy rules is performed. In the case of dynamic hand movements in which the time scale changes, the number of sampling data constituting each individual gesture is different, and the number of sampling data is different depending on the speed performed for the same gesture. Attempts have been made to recognize these elements of motion, of which fuzzy rules using neural networks are the most common. As such, many spatio-temporal data of hand movements are extracted by the feature extraction, and thus, the moving elements of the hand can be extracted regardless of the change of time scale. In this way, the following features are selectively used to effectively classify the hand movement type set for the hand movement in the dimensional space.
-누적 운동 거리Cumulative movement distance
누적 운동 거리는 각 축에 대해 동작 중에 일어난 이동 거리로, 여기서는 축에 대한 샘플링 시간에서의 센싱 데이터이다.The cumulative movement distance is the movement distance that occurred during operation with respect to each axis, here the sensing data at the sampling time for the axis.
-누적 방향 변화량Cumulative direction change
누적 운동 방향 벡터의 변화량을 의미하는 것으로, 한 위치에서 다른 위치로의 탄젠트값이다.The change amount of the cumulative movement direction vector, which is a tangent value from one position to another position.
-상대적인 동작 끝 위치Relative motion end position
각 동작이 일어나는 지점에 무관한 특징을 얻기 위해 동작의 시작 위치를 기준으로 한 동작 끝 위치로 처음 위치에서 얼마나 이동해서 동작이 끝났는지를 의미한다.It means how far the movement is completed from the initial position to the movement end position based on the starting position of the movement in order to obtain a feature independent of each movement point.
-방향 변화 횟수Number of changes in direction
각 축에 대한 방향 변화의 횟수를 나타내며 반복 동작을 구분하는 특징으로 사용된다.It indicates the number of change of direction about each axis and is used as a feature to distinguish repetitive motion.
상술한 4가지 종류의 11가지 특징을 손 운동의 인식을 위해 사용하였으며, 퍼지 최소-최대 신경 회로망에 의한 손 모양 인식과 손 방향 인식을 구현하였다.The eleven features of the four types described above were used for the recognition of hand motion, and hand shape recognition and hand direction recognition by fuzzy minimum-maximum neural networks were implemented.
데이터글러브(10)에 의한 데이터 획득의 경우 획득 데이터가 사람의 손의 크기에 따라 큰 차이를 보인다. 또한 동일한 사람이 취한 손 모양에도 데이터의 차이를 보인다. 그리고, 하나의 기본 손 모양에도 데이터의 차이가 있으며, 손 모양 유형에 대해서도 몇가지 변형된 손 모양이 존재한다. 손 방향의 경우에는 입력 데이터의 주기적인 특성으로 인해 불연속이 존재한다. 이러한 다양한 변화와 하나의 클래스에 여러 유형이 존재하는 문제점들을 퍼지 최소-최대 신경 회로망에 의해 해결하였다. 이와 같이 퍼지 최소-최대 신경망을 이용하여 여러 가지 손 모양 유형에 대해 변형된 손 모양을 인식할 수 있고 온라인 학습기능을 통해 다른 사람에 대한 적응력을 가지도록 한다. 손 방향의 경우에는 입력 데이터의 주기적인 특성으로 인해 불연속이 존재하고 손의 위치 변화에 따른 손 방향의 변화로 인해 방향 값에 대해 단순히 범위 값을 설정하는 것으로는 변화되는 손 방향을 잘 인식할 수 없으므로 상술한 대로 퍼지 최소-최대 신경 회로망을 이용하여 손 방향을 인식하였다.In the case of data acquisition by the data glove 10, the acquired data shows a large difference depending on the size of the hand of the person. It also shows differences in the shape of the hands taken by the same person. In addition, there is a difference in data even in one basic hand shape, and there are some modified hand shapes for the hand type. In the hand direction, there is a discontinuity due to the periodic nature of the input data. These various changes and the problems of several types in one class are solved by fuzzy minimum-maximum neural networks. In this way, the fuzzy minimum-maximum neural network can be used to recognize deformed hand shapes for various hand types and to adapt to others through online learning. In the case of the hand direction, there is a discontinuity due to the periodic characteristics of the input data, and by simply setting a range value for the direction value due to the change of the hand direction due to the change of the position of the hand, it is possible to recognize the changed hand direction well. Therefore, the hand direction was recognized using the fuzzy minimum-maximum neural network as described above.
상술한 바와 같이, 본 발명의 지화 인식 방법 및 장치는 데이터글러브에 손가락의 위치 및 이동을 센싱하는 센서를 부착하여 그 센싱된 신호를 퍼스널컴퓨터에 내장된 퍼지 최소-최대 신경 회로망에 의해 손 모양과 손 방향을 인식하여 인식된 지화 데이터와 데이터베이스에 저장된 지화정보를 비교하여 대응하는 문자를 출력한다.As described above, the finger recognition method and apparatus of the present invention attaches a sensor for sensing the position and movement of a finger to the data glove and transmits the sensed signal to the shape of the hand by a fuzzy minimum-maximum neural network built into the personal computer. Recognizes the hand direction and compares the recognized paper data with the paper information stored in the database and outputs the corresponding text.
상술한 바와 같이, 본 발명의 지화 인식 방법 및 장치는 손가락의 위치 및 방향을 감지하는 센서를 부착한 데이터글러브와 같이 휴대하기 편한 지화 인식 도구를 사용하여 간편하게 지화 동작을 인식할 수 있어서, 청각장애자들에게 매우 간단하고 편리한 대화 도구를 제공하는 효과가 있다. As described above, the paper recognition method and apparatus of the present invention can easily recognize the paper motion by using a portable paper recognition tool, such as a data glove with a sensor for detecting the position and direction of the finger, the hearing impaired person It has the effect of providing them with a very simple and convenient conversation tool.
도 1은 본 발명의 지화 인식 방법 및 장치를 설명하기 위한 개략도이다.1 is a schematic diagram for explaining a paper recognition method and apparatus of the present invention.
도 2는 본 발명의 출력화면의 일예를 도시한 개략도이다.2 is a schematic diagram showing an example of an output screen of the present invention.
도 3은 지화 인식에서 이용되는 손 운동 방향의 기본 운동을 도시한 개념도이다.3 is a conceptual diagram showing the basic movement of the hand movement direction used in the paper recognition.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
10...데이터글러브, 15...센서10 ... data glove, 15 ... sensor
18...센서콘트롤러, 20...퍼스널컴퓨터18 ... sensor controller, 20 ... personal computer
22...모니터, 24...키보드22 monitor, 24 keyboard
25...데이터베이스25 ... database
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030068328A KR100549994B1 (en) | 2003-10-01 | 2003-10-01 | Finger language recognition method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030068328A KR100549994B1 (en) | 2003-10-01 | 2003-10-01 | Finger language recognition method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050032296A true KR20050032296A (en) | 2005-04-07 |
| KR100549994B1 KR100549994B1 (en) | 2006-02-08 |
Family
ID=37236853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020030068328A KR100549994B1 (en) | 2003-10-01 | 2003-10-01 | Finger language recognition method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100549994B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101157073B1 (en) * | 2010-12-10 | 2012-06-21 | 숭실대학교산학협력단 | Method for finger language recognition using emg and gyro sensor and apparatus thereof |
| KR20160006408A (en) * | 2014-07-09 | 2016-01-19 | 엘지이노텍 주식회사 | Apparatus and method for recognizing gesture using wearable device in the vehicle and wearable device therefor |
| KR20180096897A (en) | 2017-02-22 | 2018-08-30 | (주)엔피프틴 | Gloves system using bend seonsor for finger language in english |
| CN109300368A (en) * | 2018-11-28 | 2019-02-01 | 浙江理工大学 | A kind of speech type sign language AC system and method |
| KR101958201B1 (en) * | 2018-02-14 | 2019-03-14 | 안동과학대학교 산학협력단 | Apparatus and method for communicating through sigh language recognition |
| CN109992093A (en) * | 2017-12-29 | 2019-07-09 | 博世汽车部件(苏州)有限公司 | A kind of gesture comparative approach and gesture comparison system |
| KR20220126305A (en) * | 2021-03-08 | 2022-09-16 | 주식회사 와이즈에스엔티 | Device For Translating Sign Language |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101276203B1 (en) | 2009-12-10 | 2013-06-20 | 한국전자통신연구원 | Korean/English typewriter system and text input method using mediated interface device |
-
2003
- 2003-10-01 KR KR1020030068328A patent/KR100549994B1/en not_active IP Right Cessation
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101157073B1 (en) * | 2010-12-10 | 2012-06-21 | 숭실대학교산학협력단 | Method for finger language recognition using emg and gyro sensor and apparatus thereof |
| KR20160006408A (en) * | 2014-07-09 | 2016-01-19 | 엘지이노텍 주식회사 | Apparatus and method for recognizing gesture using wearable device in the vehicle and wearable device therefor |
| KR20180096897A (en) | 2017-02-22 | 2018-08-30 | (주)엔피프틴 | Gloves system using bend seonsor for finger language in english |
| CN109992093A (en) * | 2017-12-29 | 2019-07-09 | 博世汽车部件(苏州)有限公司 | A kind of gesture comparative approach and gesture comparison system |
| CN109992093B (en) * | 2017-12-29 | 2024-05-03 | 博世汽车部件(苏州)有限公司 | Gesture comparison method and gesture comparison system |
| KR101958201B1 (en) * | 2018-02-14 | 2019-03-14 | 안동과학대학교 산학협력단 | Apparatus and method for communicating through sigh language recognition |
| CN109300368A (en) * | 2018-11-28 | 2019-02-01 | 浙江理工大学 | A kind of speech type sign language AC system and method |
| KR20220126305A (en) * | 2021-03-08 | 2022-09-16 | 주식회사 와이즈에스엔티 | Device For Translating Sign Language |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100549994B1 (en) | 2006-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Smart wearable hand device for sign language interpretation system with sensors fusion | |
| Al-Qurishi et al. | Deep learning for sign language recognition: Current techniques, benchmarks, and open issues | |
| Das et al. | Smart glove for sign language communications | |
| EP3707693A1 (en) | Computer vision based sign language interpreter | |
| US10902743B2 (en) | Gesture recognition and communication | |
| Ahmed et al. | Real-time sign language framework based on wearable device: analysis of MSL, DataGlove, and gesture recognition | |
| US20080036737A1 (en) | Arm Skeleton for Capturing Arm Position and Movement | |
| US20100023314A1 (en) | ASL Glove with 3-Axis Accelerometers | |
| Joshi et al. | American sign language translation using edge detection and cross correlation | |
| KR100549994B1 (en) | Finger language recognition method and apparatus | |
| Hoque et al. | Automated Bangla sign language translation system: Prospects, limitations and applications | |
| Farooq et al. | A comparison of hardware based approaches for sign language gesture recognition systems | |
| Kumar et al. | Glove Based Deaf-Dumb Sign Language Interpreter | |
| Rishan et al. | Translation of sri lankan sign language to sinhala text: A leap motion technology-based approach | |
| Ji et al. | Recognition of Japanese sign language by sensor-based data glove employing machine learning | |
| Aiswarya et al. | Hidden Markov model-based Sign Language to speech conversion system in TAMIL | |
| Enikeev et al. | Sign language recognition through Leap Motion controller and input prediction algorithm | |
| Sridevi et al. | Sign Language recognition for Speech and Hearing Impaired by Image processing in matlab | |
| Salim et al. | A review on hand gesture and sign language techniques for hearing impaired person | |
| Mohandes et al. | Automation of the Arabic sign language recognition | |
| Choudhury et al. | Visual gesture-based character recognition systems for design of assistive technologies for people with special necessities | |
| AU2021101436A4 (en) | Wearable sign language detection system | |
| Sarode et al. | Automated Paralysis Patient Health Care System | |
| Jamdal et al. | On design and implementation of a sign-to-speech/text system | |
| Choudhury et al. | A novel approach for gesture spotting in an assamese gesture-based character recognition system using a unique geometrical feature set |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20100202 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |