KR100348823B1 - 수화 번역 장치 - Google Patents

수화 번역 장치 Download PDF

Info

Publication number
KR100348823B1
KR100348823B1 KR1019990050116A KR19990050116A KR100348823B1 KR 100348823 B1 KR100348823 B1 KR 100348823B1 KR 1019990050116 A KR1019990050116 A KR 1019990050116A KR 19990050116 A KR19990050116 A KR 19990050116A KR 100348823 B1 KR100348823 B1 KR 100348823B1
Authority
KR
South Korea
Prior art keywords
sign language
text
information
coordinate values
voice
Prior art date
Application number
KR1019990050116A
Other languages
English (en)
Other versions
KR20000017756A (ko
Inventor
황병익
Original Assignee
황병익
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 황병익 filed Critical 황병익
Priority to KR1019990050116A priority Critical patent/KR100348823B1/ko
Publication of KR20000017756A publication Critical patent/KR20000017756A/ko
Application granted granted Critical
Publication of KR100348823B1 publication Critical patent/KR100348823B1/ko

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

본 발명은 수화 번역 장치에 관한 것으로서, 본 발명의 청각 장애인의 수화 동작에 대한 문자/음성 정보를 출력하는 수화 번역 장치는, 수화 동작을 입력하는 수단으로서 사람의 손의 부위별에 따라서 각각 다른 색상을 갖는 장갑 형태의 수화 입력부와, 상기 수화 입력부로부터의 수화 동작을 모션 캡쳐하는 카메라와, 모션 캡쳐된 수화 동작의 이차원 좌표값 및 상기 좌표값에 상응하는 문자/음성 정보를 저장하고 있는 데이터베이스와, 상기 카메라로부터 입력되는 수화 동작의 색영상 정보를 이차원 좌표값으로 변환하여 상기 데이터베이스에 저장된 문자/음성 정보값과 비교하여 해당되는 문자/음성 정보를 검색하는 마이크로프로세서; 및 상기 마이크로프로세서로부터의 검색 결과인 문자/음성 정보를 출력하는 문자/음성 출력부를 포함하는 것임을 특징으로 하는 청각 장애인의 수화 동작에 대한 문자/음성 정보를 출력하는 수화 번역 장치.를 포함하는 것임을 특징으로 한다.

Description

수화 번역 장치{Apparatus for Translating of Finger Language}
본 발명은 수화 번역 장치에 관한 것으로서, 수화의 영상 정보를 문자 또는 음성 정보로 실시간 변환할 수 있도록 하여 청각 장애인과 수화를 모르는 일반인간에 의사 소통을 용이하게 하기 위한 것이다.
수화는 청각 장애인의 의사 소통 수단으로서, 수화를 이용하면 청각 장애인과 청각 장애인간 또는 청각 장애인과 수화를 아는 일반인간에 의사 소통을 할 수 있다.
그러나, 수화를 모르는 일반인은 수화를 이용하여 청각 장애인과 의사 소통할 수 없으며, 수화를 학습하는데에 상당한 노력을 들여야한다.
종래에는 일반인의 관점에서 청각 장애인을 위한 텔레비젼의 문자 자막 방송이나, 수화 영상을 별도로 마련하여 서브 화면에 수화 영상을 출력하는 방식은 있었으나, 청각 장애인과 수화를 모르는 일반인간의 의사 소통을 위한 장치는 알려진 바가 없다.
본 발명은 청각 장애인과 수화를 모르는 일반인간에 수화를 이용하여 의사 소통이 가능하도록 하기 위한 수화 번역 장치를 제공하고자 한다.
본 발명은 청각 장애인과 수화를 모르는 일반인간에 수화를 이용하여 의사 소통이 가능하도록 하기 위하여 수화의 영상 정보를 음성 또는 문자 정보로 실시간으로 변환할 수 있는 수화 번역 장치를 제공하고자 한다.
도1은 본 발명에 의한 수화 번역 장치에서 수화를 음성/문자로 번역하는 장치의 블록구성도,
* 도면의 주요한 부분에 대한 부호의 설명 *
11 : 카메라 12 : 마이크로프로세서
13 : 데이터베이스 14 : 문자/음성 출력부
21 : 문자/음성 입력부 22 : 마이크로프로세서
23 : 데이터베이스 24 : 수화출력부
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 의한 청각 장애인의 수화 동작에 대한 문자/음성 정보를 출력하는 수화 번역 장치는, 수화 동작을 입력하기 위한 수화 입력부; 상기 수화 입력부로부터의 수화 동작을 모션 캡쳐하는 카메라; 수화 동작의 좌표값과 모션 캡쳐된 수화의 문자/음성 정보를 저장하고 있는 데이터베이스; 상기 카메라로부터 입력되는 수화 동작의 영상 정보를 좌표값으로 변환하여 상기 데이터베이스에 저장된 값과 비교하여 해당되는 문자/음성 정보를 검색하는 마이크로프로세서; 및 상기 마이크로프로세서로부터의 검색 결과인 문자/음성 정보를 출력하는 문자/음성 출력부를 포함하는 것임을 특징으로 한다.
이하에서 첨부된 도면을 참조하면서 본 발명에 의한 수화 번역 장치를 상세하게 설명한다.
본 발명에 의한 수화 번역 장치에서는 수화 동작의 영상 신호에 대한 문자/음성 정보를 데이터베이스화하여 저장하여 두었다가, 수화의 영상 신호가 입력되면 데이터베이스를 검색하여 해당되는 문자/음성 정보를 출력한다.
수화 동작의 영상 신호에 대한 문자/음성 정보를 데이터베이스화하기 위하여, 수화 동작을 모션 캡쳐하고 이를 데이터베이스화한다. 모션 캡쳐는 카메라를 통하여 입력되는 영상을 셀(X, Y 값)로 나누어 각각의 영상의 색상값이 어디에서어디로 이동했는가의 차이를 추적하는 방법을 채택한다. 구체적으로 설명하면, 양 손가락의 각 마디 30개와 손바닥, 손등을 합쳐 34개의 색상으로 구성된 장갑을 끼고 카메라 앞에서 수화 동작을 하면, 카메라에 입력되는 각 색상의 움직임을 인식하여 그 움직임을 좌표값으로 변환한다. 이러한 수화의 움직임에 대한 좌표값과 해당되는 수화의 문자/음성 정보를 데이터베이스에 저장한다.
도1은 본 발명에 의한 수화를 음성/문자로 번역하는 장치의 블록구성도이다.
도1에 도시된 장치는, 수화의 영상 신호를 입력받아서, 데이터베이스를 검색하여 입력된 영상 신호에 해당되는 문자/음성 신호를 출력하는 기능을 수행한다.
이를 위하여, 도1에 도시된 장치는, 수화 동작을 입력하기 위한 수화 입력 부(10), 상기 수화 입력부(10)로부터의 수화 동작을 모션 캡쳐하는 카메라(11), 수화 동작의 좌표값과 모션 캡쳐된 수화의 문자/음성 정보를 저장하고 있는 데이터베이스(13), 상기 카메라(11)로부터 입력되는 수화 동작의 영상 정보를 좌표값으로 변환하여 상기 데이터베이스(13)에 저장된 값과 비교하여 해당되는 문자/음성 정보를 검색하는 마이크로프로세서(12) 및 상기 마이크로프로세서(12)로부터의 검색 결과인 문자/음성 정보를 출력하는 문자/음성 출력부(14)로 구성된다.
수화 동작을 입력하기 위한 수화 입력부(10)는 데이터베이스 구축을 위한 수화 동작의 모션 캡쳐시 사용하였던 34개의 색상으로 구성된 장갑이다.
카메라(11)는 상기 수화 입력부(10)에 의하여 입력되는 수화 동작의 움직임을 영상 신호로서 출력하고, 마이크로프로세서(12)에서는 상기 영상 신호로부터 수화 동작의 움직임을 좌표값으로 변환하여 데이터베이스(13)를 참조하여 동일한 좌표값이 있는지를 검색하여 동일한 좌표값이 있는 경우, 해당 수화의 문자/음성 정보를 출력한다.
검색된 수화의 문자/음성 정보는 문자/음성 정보 출력부에 의하여 출력되는데, 문자 정보 출력을 위한 모니터이거나 음성 정보 출력을 위한 스피커 형식일 수 있다.
도1에 도시된 장치에 의하여, 수화를 모르는 일반인이 도1에 도시된 장치에 입력된 청각 장애인의 수화 동작에 대한 문자/음성 정보를 알 수 있다.
도1에 도시된 장치에 의하여 청각 장애인과 수화를 모르는 일반인간의 의사 소통이 가능하게 된다.
이상에서 설명한 바와 같이, 본 발명에 의한 수화 번역 장치는, 수화를 모르는 일반인과 청각 장애인간의 수화를 통한 의사 소통이 가능하도록 한다. 본 발명에 의한 수화 번역 장치에 의하여, 청각 장애인들이 다양한 정보를 용이하게 접할 수 있으므로 청각 장애인의 복지 증지에 기여할 수 있다. 또한, 아이들이 좋아하는 캐릭터로 수화를 표현함으로 친근감과 누적학습(어떠한 말을 할 때 캐릭터가 어떻게 수화로 표현하더라는 것) 효과를 줌으로써 향후 그아이들이 어른이 되었을 때 지금의 일반인이 장애인을 대하여 느끼는 거부감이 없어진다.

Claims (5)

  1. 수화 동작을 입력하는 수단으로서 사람의 손의 부위별에 따라서 각각 다른 색상을 갖는 장갑 형태의 수화 입력부;
    상기 수화 입력부로부터의 수화 동작을 모션 캡쳐하는 카메라;
    모션 캡쳐된 수화 동작의 이차원 좌표값 및 상기 좌표값에 상응하는 문자/음성 정보를 저장하고 있는 데이터베이스;
    상기 카메라로부터 입력되는 수화 동작의 색영상 정보를 이차원 좌표값으로 변환하여 상기 데이터베이스에 저장된 문자/음성 정보값과 비교하여 해당되는 문자/음성 정보를 검색하는 마이크로프로세서; 및
    상기 마이크로프로세서로부터의 검색 결과인 문자/음성 정보를 출력하는 문자/음성 출력부를 포함하는 것임을 특징으로 하는 청각 장애인의 수화 동작에 대한 문자/음성 정보를 출력하는 수화 번역 장치.
  2. 제1항에 있어서, 상기 문자/음성 출력부는, 문자 정보 출력을 위한 모니터이거나 음성 정보 출력을 위한 스피커인 것임을 특징으로 하는 청각 장애인의 수화 동작에 대한 문자/음성 정보를 출력하는 수화 번역 장치.
  3. 삭제
  4. 삭제
  5. 삭제
KR1019990050116A 1999-11-12 1999-11-12 수화 번역 장치 KR100348823B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990050116A KR100348823B1 (ko) 1999-11-12 1999-11-12 수화 번역 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990050116A KR100348823B1 (ko) 1999-11-12 1999-11-12 수화 번역 장치

Publications (2)

Publication Number Publication Date
KR20000017756A KR20000017756A (ko) 2000-04-06
KR100348823B1 true KR100348823B1 (ko) 2002-08-17

Family

ID=19619725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990050116A KR100348823B1 (ko) 1999-11-12 1999-11-12 수화 번역 장치

Country Status (1)

Country Link
KR (1) KR100348823B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006570A (ko) * 2001-07-13 2003-01-23 엘지전자 주식회사 수화전송장치 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100443365B1 (ko) * 2002-03-26 2004-08-09 한국과학기술원 티브이 자막 신호에 기반한 3차원 수화 애니메이션 발생시스템
KR20040010945A (ko) * 2002-07-25 2004-02-05 엘지전자 주식회사 손동작인식 화상 전화 통신방법
KR100617976B1 (ko) * 2004-11-15 2006-08-31 한국과학기술원 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체
KR100730573B1 (ko) * 2005-06-20 2007-06-20 한국과학기술원 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템
KR100687690B1 (ko) * 2006-01-24 2007-02-27 엠텍비젼 주식회사 카메라를 이용한 데이터 입력이 가능한 디지털 처리 장치및 그 입력 방법
KR100747114B1 (ko) * 2006-03-29 2007-08-09 한국과학기술원 수화 번역기
KR101017421B1 (ko) * 2008-11-06 2011-02-28 인제대학교 산학협력단 청각장애인을 위한 의사 소통 시스템
CN103810922B (zh) * 2014-01-29 2016-03-23 上海天昊信息技术有限公司 手语翻译系统
KR20160033329A (ko) 2014-09-17 2016-03-28 순천향대학교 산학협력단 수화 번역 시스템 및 방법
KR102450803B1 (ko) * 2016-02-11 2022-10-05 한국전자통신연구원 양방향 수화 번역 장치 및 장치가 수행하는 양방향 수화 번역 방법
KR20180062593A (ko) 2016-12-01 2018-06-11 김형준 실시간 수화 번역 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006570A (ko) * 2001-07-13 2003-01-23 엘지전자 주식회사 수화전송장치 및 방법

Also Published As

Publication number Publication date
KR20000017756A (ko) 2000-04-06

Similar Documents

Publication Publication Date Title
CN109065055B (zh) 基于声音生成ar内容的方法、存储介质和装置
US6526395B1 (en) Application of personality models and interaction with synthetic characters in a computing system
EP0586259B1 (en) Sign-language learning system and method
US5982853A (en) Telephone for the deaf and method of using same
US20190138607A1 (en) System and apparatus for non-intrusive word and sentence level sign language translation
CN108427910B (zh) 深层神经网络ar手语翻译学习方法、客户端及服务器
KR100348823B1 (ko) 수화 번역 장치
CN110598576A (zh) 一种手语交互方法、装置及计算机介质
Oliveira et al. Automatic sign language translation to improve communication
Arsan et al. Sign language converter
CN109166409B (zh) 一种手语转换方法及装置
Patil et al. Guidance system for visually impaired people
Prabha et al. Vivoice-Reading Assistant for the Blind using OCR and TTS
KR100730573B1 (ko) 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템
Dixit et al. Audio to indian and american sign language converter using machine translation and nlp technique
Khan et al. Sign language translation in urdu/hindi through microsoft kinect
KR20210073856A (ko) 휴대용 수화 번역기 및 수화 번역 방법
Alfonse et al. Arabic sign language benchmark database for different heterogeneous sensors
CN114663920A (zh) 手势识别的方法、装置、服务器和计算机可读存储介质
Jamaludin et al. Dynamic hand gesture to text using leap motion
KR100443365B1 (ko) 티브이 자막 신호에 기반한 3차원 수화 애니메이션 발생시스템
KR102370993B1 (ko) 신경망 기반의 실시간 수어 통역 및 대화를 지원하는 인공지능 시스템
JPH1026999A (ja) 手話翻訳装置
KR100235194B1 (ko) 수화 인식 시스템
CN113838218B (zh) 一种感知环境的语音驱动虚拟人姿态合成方法

Legal Events

Date Code Title Description
A201 Request for examination
G15R Request for early opening
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee