KR100235194B1 - Recognition system - Google Patents
Recognition system Download PDFInfo
- Publication number
- KR100235194B1 KR100235194B1 KR1019920016869A KR920016869A KR100235194B1 KR 100235194 B1 KR100235194 B1 KR 100235194B1 KR 1019920016869 A KR1019920016869 A KR 1019920016869A KR 920016869 A KR920016869 A KR 920016869A KR 100235194 B1 KR100235194 B1 KR 100235194B1
- Authority
- KR
- South Korea
- Prior art keywords
- sign language
- controller
- camera
- hand
- outputting
- Prior art date
Links
- 208000032041 Hearing impaired Diseases 0.000 abstract description 2
- 230000001771 impaired effect Effects 0.000 abstract 1
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 언어 장애자 및 청각 장애자의 수화 내용 및 고소음의 작업 현장 및 비행장 등에서의 수신호를 분석하여 그에 따른 대화 내용을 일반인들이 인지할 수 있는 내용으로 변환시켜 출력해 주는 수화 인식 시스템에 관한 것으로, 수화 사용자의 다른 신체 부위에 대한 수화를 표현하는 손의 위치를 포착하는 카메라(1)와; 상기한 카메라(1)에 의하여 포착된 영상을 판독하여 손의 위치를 좌표 변환하여 출력하는 영상 제어기(2)와; 상기한 카메라(1) 및 영상 제어기(2)에 의하여 포착된 손의 위치에 대한 좌표를 기준으로 수화를 표현하기 위하여 미세하게 동작하는 손과 손가락 등의 미세 좌표를 인식하는 수동작 추적 장치(3)와; 상기한 카메라(1) 및 영상 제어기(2)와 수동작 추적 장치(3)를 이용하여 수화 내용을 인식하여 그 결과를 출력하는 제어부(4)와; 상기한 제어부(4)에 의하여 출력되는 수화 내용을 표시해 주는 모니터(7)와; 상기한 제어부(4)에 의하여 출력되는 수화 내용을 음성 신호로 변환시켜 출력시켜 주는 음성 합성기(5) 및 스피커(6)로 이루어진다.The present invention relates to a sign language recognition system that analyzes a sign language content of a language impaired person and a hearing impaired person and a hand signal at a high noise workplace and an aerodrome, and converts the conversation content into a content that can be recognized by the general public. A camera 1 for capturing a position of a hand representing a sign language with respect to another body part of a sign language user; An image controller (2) for reading out the image captured by the camera (1) and for converting and outputting the coordinates of the hand; Manual tracking device for recognizing fine coordinates such as hands and fingers that operate finely to express sign language based on the coordinates of the position of the hand captured by the camera 1 and the image controller 2 )Wow; A controller (4) for recognizing the sign language content and outputting the result by using the camera (1), the image controller (2) and the hand tracking device (3); A monitor 7 for displaying the sign language contents output by the controller 4; The speech synthesizer 5 and the speaker 6 convert the sign language contents output by the controller 4 into a speech signal and output the converted speech signal.
Description
본 발명은 수화 인식 시스템에 관한 것으로, 보다 상세하게는 언어 장애자 및 청각 장애자의 수화 내용 및 고소음의 작업 현장 및 비행장 등에서의 수신호를 분석하여 그에 따른 대화 내용을 일반인들이 인지할 수 있는 내용으로 변환시켜 출력해 주는 수화 인식 시스템에 관한 것이다.The present invention relates to a sign language recognition system, and more particularly, to analyze a sign language content of a person with a speech impairment and a hearing impairment and a hand signal at a high noise workplace and an aerodrome, thereby converting a conversation content into a content that can be recognized by the general public. The sign language recognition system for outputting.
일반적으로, 수화나 수신호를 사용하여 대화를 진행하는 경우는 상당수 있지만, 그 중에서도 언어 장애자 및 청각 장애자(이하, '장애자'라 함)와 신체적으로 정상인 사람(이하, '일반인'이라 함)과의 대화에서는 장애자의 의사 표시는 수화로 표현되고, 이를 일반인이 효과적으로 알아듣기 위해서는 사전에 특수 교육을 받거나, 그 외에는 수화 전달자가 항상 중간에 개입되어야 했다.In general, there are many cases where conversations are conducted using sign language or hand signals, but among them, speech and hearing impaired persons (hereinafter referred to as "disabled persons") and physically normal persons (hereinafter referred to as "general persons") In the dialogue, the handicapped person's intention was expressed in sign language, and in order for the public to understand it effectively, they had to be specially trained in advance or the signer was always intervened.
또한, 장애자간의 수화에서도 언어와 문화 차이로 인해 수화의 내용이 각기 다르게 표현되는 경우가 허다하였고, 이를(두 장애자간의 수화) 인지하기 위해서는 두 장애자 중 한사람이 미리 상대방이 사용하는 수화의 의미를 사전에 숙지하고 있어야만 했고, 일반인이 이를 인지하기에는 매우 어려운 문제점이 있었다.In addition, in sign language among people with disabilities, the contents of sign language are often expressed differently due to language and culture difference, and in order to recognize this (sign language between two persons with disabilities), one of the two persons with disabilities in advance knows the meaning of sign language used by the other party. It had to be familiar with, and it was very difficult for the general public to recognize it.
그 외에도, 경매장에서의 수화 내용과 소음이 심해서 일반인간에도 전혀 대화를 이룰 수 없는 공장 및 비행장에서의 수화 내용 등도 그 당사자만 알아들을 수 있고, 제 3자가 이를 인지하기 위해서는 각 수화 동작의 인식을 위한 사전 훈련을 거쳐야만 하는 문제점이 있었다.In addition, the sign language content at the auction hall and the sign language at the factory and airfield where the noise is too loud to communicate with the general public can be understood only by the parties. There was a problem that had to be trained.
본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로, 수화 및 수신호 내용을 보다 용이하게 인지할 수 있고, 수화의 의미를 모르는 일반인에게도 대화의 내용을 알릴 수 있게 하는 수화 인식 시스템을 제공하는데 그 목적이 있다.The present invention is to solve the conventional problems as described above, to provide a sign language recognition system that makes it easier to recognize the sign language and the content of the sign, and to inform the general public who does not know the meaning of the sign language. The purpose is.
본 발명은 상기한 목적을 달성하기 위하여, 수화를 분석하는 장치에 있어서, 수화 사용자의 다른 신체 부위에 대한 수화를 표현하는 손의 위치를 포착하는 카메라와; 상기한 카메라에 의하여 포착된 영상을 판독하여 손의 위치를 좌표 변환하여 출력하는 영상 제어기와; 상기한 카메라 및 영상 제어기에 의하여 포착된 손의 위치에 대한 좌표를 기준으로 수화를 표현하기 위하여 미세하게 동작하는 손과 손가락 등의 미세 좌표를 인식하는 수동작 추적 장치와; 상기한 카메라 및 영상 제어기와 수동작 추적 장치를 이용하여 수화 내용을 인식하여 그 결과를 출력하는 제어부와; 상기한 제어부에 의하여 출력되는 수화 내용을 시각적으로 표시해 주는 모니터와; 상기한 제어부에 의하여 출력되는 수화 내용을 음성 신호로 변환시켜 출력시켜 주는 음성 합성기와; 상기한 음성 합성기로부터 출력되는 내용을 음성으로 출력시켜 주는 스피커로 구성되는 것을 특징으로 하는 수화 인식 시스템을 제공한다.In order to achieve the above object, there is provided an apparatus for analyzing a sign language, comprising: a camera for capturing a position of a hand representing a sign language with respect to another body part of a sign language user; An image controller for reading out the image captured by the camera and outputting a coordinate transformation of the position of the hand; A manual tracking device for recognizing fine coordinates of a hand and a finger that operate finely to express a sign language based on the coordinates of the position of the hand captured by the camera and the image controller; A controller for recognizing a sign language content and outputting a result by using the camera, an image controller, and a manual tracking device; A monitor for visually displaying the sign language content output by the controller; A voice synthesizer for converting and outputting a sign language content output by the controller to a voice signal; It provides a sign language recognition system comprising a speaker for outputting the content output from the speech synthesizer as a voice.
제1도는 본 발명의 시스템 구성도.1 is a system configuration diagram of the present invention.
본 발명에 따른 수화 인식 시스템의 구성 및 작용을 본 발명의 일 실시예를 통하여 상세하게 설명한다.The construction and operation of the sign language recognition system according to the present invention will be described in detail through an embodiment of the present invention.
첨부한 도면, 제1도는 본 발명의 시스템 구성도이다.1 is a system configuration diagram of the present invention.
본 발명에 따른 수화 인식 시스템의 구성은 도1에 나타낸 바와 같이, 수화 사용자의 다른 신체 부위에 대한 수화를 표현하는 손의 위치를 포착하는 카메라(1)와; 상기한 카메라(1)에 의하여 포착된 영상을 판독하여 손의 위치를 좌표 변환하여 출력하는 영상 제어기(2)와; 상기한 카메라(1) 및 영상 제어기(2)에 의하여 포착된 손의 위치에 대한 좌표를 기준으로 수화를 표현하기 위하여 미세하게 동작하는 손과 손가락 등의 미세 좌표를 인식하는 수동작 추적 장치(3)와; 상기한 카메라(1) 및 영상 제어기(2)와 수동작 추적 장치(3)를 이용하여 수화 내용을 인식하여 그 결과를 출력하는 제어부(4, 컴퓨터)와; 상기한 제어부(4)에 의하여 출력되는 수화 내용을 시각적으로 표시해 주는 모니터(7)와; 상기한 제어부(4)에 의하여 출력되는 수화 내용을 음성 신호로 변환시켜 출력시켜 주는 음성 합성기(5)와; 상기한 음성 합성기(5)로부터 출력되는 내용을 음성으로 출력시켜 주는 스피커(6)로 이루어진다.The construction of a sign language recognition system according to the present invention includes a camera 1 for capturing the position of a hand representing a sign language with respect to another body part of a sign language user, as shown in FIG. An image controller (2) for reading out the image captured by the camera (1) and for converting and outputting the coordinates of the hand; Manual tracking device for recognizing fine coordinates such as hands and fingers that operate finely to express sign language based on the coordinates of the position of the hand captured by the camera 1 and the image controller 2 )Wow; A controller (4, computer) for recognizing the sign language content and outputting the result by using the camera 1, the image controller 2, and the manual tracking device 3; A monitor (7) for visually displaying the sign language contents output by the controller (4); A voice synthesizer 5 for converting the sign language contents output by the controller 4 into a voice signal and outputting the voice signal; The speaker 6 is configured to output the content output from the voice synthesizer 5 as voice.
상기한 바와 같이 구성된 본 발명에 따른 수화 인식 시스템은 다음과 같이 작용한다.The sign language recognition system according to the present invention configured as described above functions as follows.
먼저, 장애인과 일반인의 대화가 이루어지는 경우에는 장애인의 수화 내용을 불특정 다수의 일반인이 인지하여야 하는 경우와, 특정 장소에서 사용되는 수화의 의미를 여러 사람에게 알려야 할 필요가 있는 경우가 있는데, 수화 사용자의 수화 동작 및 손의 모양과 위치에 대한 값을 카메라(1)로 포착하여 이를 영상 제어기(2)에 입력하면, 영상 제어기(2)에서는 카메라(1)로 포착된 영상 데이터를 토대로 그에 따른 부호화된 일련의 데이터를 제어부(4)에 입력시킨다.First, when a person with a disability communicates with the general public, there are cases where a large number of general people should be aware of the sign language content of the disabled person, and it is necessary to inform several people about the meaning of sign language used in a specific place. The sign language operation and the value of the shape and position of the hand are captured by the camera 1 and input to the image controller 2, whereby the image controller 2 encodes the image data based on the image data captured by the camera 1 accordingly. Inputted data is input to the control unit 4.
그와 동시에 수동작 추적 장치(3)는 상기의 카메라(1)에 의해 포착된 영상보다 더 미세한 손가락의 움직임 및 손 모양을 추적하여 이를 제어부(4)에 입력시킨다.At the same time, the manual tracking device 3 tracks the motion and the shape of the finger which is finer than the image captured by the camera 1 and inputs it to the controller 4.
예를 들어, 수화 사용자는 ＂우리별 1호 인공 위성＂이라는 의미의 손동작을 표현하면 카메라(1)는 수화 사용자의 전체 몸 동작을 포착하고, 수동작 추적 장치(3)는 수화 사용자의 손의 모양 및 손가락 위치 등의 미세한 변화를 포착하여 각각 포착된 신호를 제어부(4)에 입력하는 것이다.For example, a sign language user expresses a hand gesture meaning “Uri No. 1 satellite”, and the camera 1 captures the entire body motion of the sign language user, and the hand tracking device 3 displays the shape of the hand of the sign language user. And a small change such as a finger position and the like, and input the captured signal to the controller 4, respectively.
제어부(4)에서는 각각의 입력된 자료를 분석하여, 분석한 값에 해당하는 문자 신호 및 음성 신호를 모니터(7)와 음성 합성기(5) 및 스피커(6)를 통해 출력한다.The controller 4 analyzes each input data, and outputs the text signal and the voice signal corresponding to the analyzed value through the monitor 7, the voice synthesizer 5, and the speaker 6.
이 때, 수화의 의미를 모르는 일반인 등은 출력 장치인 스피커(6)와 모니터(7)를 통해 수화의 의미를 인식하고, 그에 따른 적절한 방법을 통해 화답함으로써 대화를 이룰 수 있다.At this time, a general person who does not know the meaning of sign language can make a conversation by recognizing the meaning of sign language through the speaker 6 and the monitor 7 which are output devices, and responding through an appropriate method accordingly.
본 발명은 언어/청각 장애자가 일반인과 의사 전달을 할 경우에 중간의 수화의 의미를 전달해 주는 중개인의 개입이 불필요하고, 각기 다른 수화를 사용하는 장애인간의 의사 전달은 이미 입력된 수화 및 수신호에 대한 프로그램을 이용하여 의사 전달이 가능하므로, 상대방 수화의 의미를 모르고 있는 상태에서도 별 어려움 없이 의사 전달이 가능하게 해 주는 효과를 제공한다.The present invention does not require the intervention of an intermediary that conveys the meaning of intermediate sign language when the language / deaf person communicates with the general public, and communication between persons with disabilities using different sign languages is performed with respect to the already inputted sign language and hand signal. Since communication is possible using the program, it provides an effect that enables communication without any difficulty even when the meaning of the other party's sign language is not known.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019920016869A KR100235194B1 (en) | 1992-09-16 | 1992-09-16 | Recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019920016869A KR100235194B1 (en) | 1992-09-16 | 1992-09-16 | Recognition system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR940007718A KR940007718A (en) | 1994-04-28 |
| KR100235194B1 true KR100235194B1 (en) | 1999-12-15 |
Family
ID=19339643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019920016869A KR100235194B1 (en) | 1992-09-16 | 1992-09-16 | Recognition system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100235194B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030006570A (en) * | 2001-07-13 | 2003-01-23 | 엘지전자 주식회사 | Transmission apparatus and method for the finger language |
| KR20040010945A (en) * | 2002-07-25 | 2004-02-05 | 엘지전자 주식회사 | Image communication |
| KR102211445B1 (en) * | 2020-09-30 | 2021-02-03 | (주)멀틱스 | AI Based Audiovisual Information System |
-
1992
- 1992-09-16 KR KR1019920016869A patent/KR100235194B1/en not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030006570A (en) * | 2001-07-13 | 2003-01-23 | 엘지전자 주식회사 | Transmission apparatus and method for the finger language |
| KR20040010945A (en) * | 2002-07-25 | 2004-02-05 | 엘지전자 주식회사 | Image communication |
| KR102211445B1 (en) * | 2020-09-30 | 2021-02-03 | (주)멀틱스 | AI Based Audiovisual Information System |
Also Published As
| Publication number | Publication date |
|---|---|
| KR940007718A (en) | 1994-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4757541A (en) | Audio visual speech recognition | |
| US20040143430A1 (en) | Universal processing system and methods for production of outputs accessible by people with disabilities | |
| Dhanjal et al. | Tools and techniques of assistive technology for hearing impaired people | |
| JP2020181022A (en) | Conference support device, conference support system and conference support program | |
| US20170024380A1 (en) | System and method for the translation of sign languages into synthetic voices | |
| Kumar et al. | Glove Based Deaf-Dumb Sign Language Interpreter | |
| Priya et al. | Indian and English language to sign language translator-an automated portable two way communicator for bridging normal and deprived ones | |
| KR100348823B1 (en) | Apparatus for Translating of Finger Language | |
| KR100235194B1 (en) | Recognition system | |
| JP2002244842A (en) | Voice interpretation system and voice interpretation program | |
| Reda et al. | Svbicomm: sign-voice bidirectional communication system for normal,“deaf/dumb” and blind people based on machine learning | |
| JP2004015478A (en) | Speech communication terminal device | |
| Patel et al. | Teachable interfaces for individuals with dysarthric speech and severe physical disabilities | |
| Kumar et al. | Sign Language to Speech Conversion—An Assistive System for Speech Impaired | |
| JP2002244841A (en) | Voice indication system and voice indication program | |
| Nandyal et al. | Raspberrypi based assistive communication system for deaf, dumb and blind person | |
| EP0336032A1 (en) | Audio visual speech recognition | |
| Shah et al. | Design and Development of a Compact Communication System for Deaf, Dumb and Blind People | |
| Gulzar et al. | Implementation of Windows Interface for Disabled Persons | |
| Battur et al. | Sign Language Interpreter using Convolutional Neural Network. | |
| JPH10224520A (en) | Multi-media public telephone system | |
| Temburwar et al. | Design of a communication system using sign language aid for differently abled peoples | |
| Komala et al. | Design of Multi Model Interface to Establish Communication Among Differently Abled People Using IOT | |
| JP2007272260A (en) | Automatic translation device | |
| JPH0463044A (en) | Telephone system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20070830 Year of fee payment: 9 |
|
| LAPS | Lapse due to unpaid annual fee |