KR20190121593A - 수화 인식 시스템 - Google Patents

수화 인식 시스템 Download PDF

Info

Publication number
KR20190121593A
KR20190121593A KR1020180045097A KR20180045097A KR20190121593A KR 20190121593 A KR20190121593 A KR 20190121593A KR 1020180045097 A KR1020180045097 A KR 1020180045097A KR 20180045097 A KR20180045097 A KR 20180045097A KR 20190121593 A KR20190121593 A KR 20190121593A
Authority
KR
South Korea
Prior art keywords
sign language
recognition
resin
image
point
Prior art date
Application number
KR1020180045097A
Other languages
English (en)
Inventor
오중선
신창훈
Original Assignee
한국전력공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사 filed Critical 한국전력공사
Priority to KR1020180045097A priority Critical patent/KR20190121593A/ko
Publication of KR20190121593A publication Critical patent/KR20190121593A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G06K9/00355—
    • G06K9/00308—
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Educational Technology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따른 수화 인식 시스템을 제공한다. 수화 인식 시스템은 수화자의 영상을 획득하는 수화 획득부, 기존에 획득한 영상들을 통해 수화 번역을 위한 학습 데이터를 저장하는 모델 저장부, 상기 수화 획득부가 획득한 영상을 손의 움직임에 대한 수지 기호 영상 및 얼굴의 움직임에 대한 비수지 기호 영상으로 분류하는 영상 처리부, 수화 시작점부터 수화 종료점까지의 상기 수지 기호 영상 및 상기 비수지 기호 영상 각각의 특징 요소를 추출하여 복수개의 수지 기호 인식점들 및 비수지 기호 인식점들로 표시하는 특징 추출부 및 상기 수지 기호 인식점들 및 상기 비수지 기호 인식점들을 조합하여 상기 모델 저장부에 저장된 학습 데이터와 매칭시켜 수화 통역문을 생성하는 수화 판독부를 포함한다.

Description

수화 인식 시스템{Sign language recognition system}
본 발명은 수화자의 수지 기호 및 비수지 기호에서 특징 요소를 추출하여 수화 통역문을 생성하는 수화 인식 시스템에 관한 것이다.
수화는 통상의 언어와 대상이 다른 제3의 언어로서 일반인에게는 사용 빈도가 많지 않지만, 농아자에게는 필수적으로 배워야 하고 의사소통을 위한 유일한 채널이기 때문에 사회적으로 관심의 대상이 된다. 수화는 통용되는 사회 문화적 배경을 반영하는 식으로 생겨나고 발전되어 왔기 때문에, 글로벌 국제 표준이 존재하지 않으며, 영어, 한국어가 다르듯이 한국에서 통용되는 수화 언어 인식 시스템을 개발하기 위해서는 한국 수화언어를 기준으로 학습해야 한다.
다만, 영어를 통해 국제 회의에서 의사소통이 이루어지는 것처럼 국제수화가 존재하지만, 한국에서 배우고 익힌 수화에 추가적으로 국제수화를 익히는 것은 큰 부담이 있어 많은 농아자에게 실질적인 대안이 되기 힘든 실정이다.
기존의 수화 인식 시스템은 농아자의 손짓을 센서가 부착된 장갑을 착용하거나 이미지 인식 시스템을 이용하여 손의 움직임을 추적하여 동작의 의미를 판독하는 일련의 과정을 거쳐 단어나 문장을 상대방에게 표시하는 형태로 이루어 진다. 그러나, 모션데이터를 이용하여 수화를 인식하는 것은 활용 폭이 좁고, 단순히 손동작만으로 수화를 판독하기에 범위가 제한적이며, 판독률이 제한적인 편이다.
본 발명의 기술적 과제는 수지 기호 영상과 비수지 기호 영상을 조합하여 수화자의 얼굴 표정을 수화 번역에 반영하는 수화 인식 시스템을 제공하는 것이다.
본 발명의 실시예에 따른 수화 인식 시스템을 제공한다. 수화 인식 시스템은 수화자의 영상을 획득하는 수화 획득부, 기존에 획득한 영상들을 통해 수화 번역을 위한 학습 데이터를 저장하는 모델 저장부, 상기 수화 획득부가 획득한 영상을 손의 움직임에 대한 수지 기호 영상 및 얼굴의 움직임에 대한 비수지 기호 영상으로 분류하는 영상 처리부, 수화 시작점부터 수화 종료점까지의 상기 수지 기호 영상 및 상기 비수지 기호 영상 각각의 특징 요소를 추출하여 복수개의 수지 기호 인식점들 및 비수지 기호 인식점들로 표시하는 특징 추출부 및 상기 수지 기호 인식점들 및 상기 비수지 기호 인식점들을 조합하여 상기 모델 저장부에 저장된 학습 데이터와 매칭시켜 수화 통역문을 생성하는 수화 판독부를 포함한다.
일 예에 의하여, 상기 특징 추출부는 상기 수지 기호 영상을 기초로 손가락의 마디 및 손가락의 끝부분을 상기 수지 기호 인식점들로 표시하고, 상기 비수지 기호 영상을 기초로 눈, 눈썹 및 입을 상기 비수지 기호 인식점들로 표시하고, 상기 비수지 기호 인식점들은 눈 인식점, 눈썹 인식점 및 입 인식점을 포함한다.
일 예에 의하여, 상기 수화 판독부는 상기 수화 시작점에서의 상기 눈 인식점의 위치를 기초로 상기 수화 종료점까지의 상기 눈 인식점들의 위치 변화를 파악하고, 상기 눈 인식점들의 위치 변화와 상기 수지 기호 인식점들의 변화를 조합하여 수화를 판독한다.
일 예에 의하여, 상기 눈 인식점은 복수개로 제공되고, 상기 수화 판독부는 상기 눈 인식점들을 통해 눈의 곡률 변화를 파악한다.
일 예에 의하여, 상기 수화 판독부는 상기 수화 시작점에서의 눈의 형상보다 눈의 곡률이 작아지면 상기 수화자의 감정 상태가 놀란 상태인 것으로 판단하고, 상기 수화 시작점에서의 논의 형상보다 눈의 곡률이 커지면 상기 수화자의 감정 상태가 우울한 상태인 것으로 판단한다.
일 예에 의하여, 상기 수화 판독부는 상기 수화 시작점에서의 상기 눈썹 인식점의 위치를 기초로 상기 수화 종료점까지의 상기 눈썹 인식점들의 위치 변화를 파악하고, 상기 눈썹 인식점들의 위치 변화와 상기 수지 기호 인식점들의 변화를 조합하여 수화를 판독한다.
일 예에 의하여, 상기 눈썹 인식점은 복수개로 제공되고, 상기 수화 판독부는 상기 눈썹 인식점들을 통해 눈썹의 위치 변화 및 눈썹의 곡면 변화를 파악한다.
일 예에 의하여, 상기 수화 판독부는 상기 수화 시작점에서의 눈썹의 위치보다 눈썹의 위치가 이마에 가깝게 위치하면 상기 수화자의 감정 상태가 놀란 상태인 것으로 판단하고, 상기 수화 시작점에서의 눈썹의 위치보다 눈썹의 위치가 눈에 가깝게 위치하면 상기 수화자의 감정 상태가 화난 상태 또는 우울한 상태인 것으로 판단한다.
일 예에 의하여, 상기 수화 판독부는 상기 수화 시작점에서의 상기 입 인식점의 위치를 기초로 상기 수화 종료점까지의 상기 입 인식점들의 위치 변화를 파악하고, 상기 입 인식점들이 형성하는 면적의 변화 및 입의 형태 변화와 상기 수지 기호 인식점들의 변화를 조합하여 수화를 판독한다.
일 예에 의하여, 상기 모델 저장부는 수지 기호에 해당하는 단어 별 손의 모양, 손의 중심 위치, 움직임 및 방향을 학습하여 데이터화한 수지 학습 데이터 및 비수지 기호에 해당하는 눈, 눈썹 및 입의 변화를 학습하여 데이터화한 비수지 학습 데이터를 저장한다.
일 예에 의하여, 상기 수화 판독부는 상기 수화자의 영상으로부터 수지 기호 및 비수지 기호를 학습하여 학습 데이터를 생성하고 이를 상기 모델 저장부에 저장하는 학습 모듈 및 상기 모델 저장부에 저장된 상기 학습 데이터에 상기 특징 요소를 적용하여 단어 및 단어들을 조합한 문장인 상기 수화 통역문을 생성하는 판독 모듈을 포함한다.
일 예에 의하여, 상기 학습 모듈은 학습 과정에서 상기 특징 요소와 수화 통역문과의 관계를 모델화하는 모델링부, 상기 학습 데이터를 학습하기 위한 알고리즘부 및 상기 모델 저장부에 저장된 기존의 학습 데이터에 새로운 학습 데이터를 업데이트 시키는 업데이트부를 포함한다.
일 예에 의하여, 상기 수화 판독부가 생성한 상기 수화 통역문을 한국어에 맞도록 어순 재배열, 단어 수정 및 조사 보정을 수행하는 한글 번역부를 더 포함한다.
일 예에 의하여, 다른 국가에서 사용되는 수화에 대한 데이터를 수집하는 수화 번역 엔진을 더 포함하고, 상기 한글 번역부는 상기 수화 번역 엔진으로부터 전달받은 데이터를 통해 상기 수화 통역문을 한국어에 맞도록 번역한다.
일 예에 의하여, 상기 한글 번역부가 번역한 단어 및 문장을 문자로 출력하거나 음성으로 출력하는 인터페이스를 더 포함한다.
본 발명의 실시예에 따르면, 수지 기호와 비수지 기호를 조합하여 번역을 수행하여 수화를 번역하는 작업의 정확도를 향상시킬 수 있다. 또한, 수지 기호 인식점들 및 비수지 기호 인식점들을 통해 더욱 명확하게 수화자의 손 움직임 및 얼굴 표정의 변화를 보다 세밀하게 파악할 수 있다.
본 발명의 실시예에 따르면, 신조어를 번역하거나 다른 국가에서 사용되는 수화를 번역하는 작업을 수행함에 있어서도 번역의 정확도를 향상시킬 수 있다. 또한, 어순 배열 또는 조사 선택 등 수화를 언어로 번역함에 있어 필요한 보정 작업을 추가로 수행하여 수화 번역의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 수화 인식 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 수지 기호 영상을 인식하는 것을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 비수지 기호 영상을 인식하는 것을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 비수지 기호 영상을 인식하는 일 예를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 비수지 기호 영상을 인식하는 다른 예를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 수화 판독부를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 학습 데이터가 구축되어 모델 저장부에 저장되는 것을 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전문에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
또한, 본 명세서에서 기술하는 실시 예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서, 본 발명의 실시 예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함되는 것이다. 예를 들면, 직각으로 도시된 식각 영역은 라운드지거나 소정 곡률을 가지는 형태일 수 있다. 따라서, 도면에서 예시된 영역들은 개략적인 속성을 가지며, 도면에서 예시된 영역들의 모양은 소자의 영역의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다.
도 1은 본 발명의 실시예에 따른 수화 인식 시스템을 나타내는 블록도이다.
도 1을 참조하면, 수화 인식 시스템(1)은 수화 획득부(100), 영상 처리부(200), 특징 추출부(300), 수화 판독부(400), 모델 저장부(500), 한글 번역부(600), 수화 번역 엔진(700) 및 인터페이스(800)를 포함할 수 있다.
수화 획득부(100)는 수화자의 영상을 획득하는 기능을 수행할 수 있다. 수화 획득부(100)는 카메라를 통해 수화자가 표현하는 수화를 영상으로 획득할 수 있다. 카메라는 사람의 관절의 움직임 및 얼굴 표정의 변화를 인식할 수 있는 장치로 센서를 통해 사람의 얼굴 움직임을 정확하게 파악할 수 있는 장치일 수 있다. 카메라는 사람의 안면의 특징을 추출할 수 있고, 이마, 눈썹, 코, 입술 등의 위치 및 간극의 상대적 비율 등을 측정하여 개인별 안면의 특징을 구분할 수 있다. 수화 획득부(100)는 획득한 영상을 처리하기 위해 데이터 입력의 포맷을 변경하거나 가공할 수 있다. 즉, 수화 획득부(100)는 영상 처리부(200) 및 특징 추출부(300)에서 영상을 처리할 수 있는 포맷으로 영상을 변경 및 가공할 수 있다.
영상 처리부(200)는 수화 획득부(100)가 획득한 영상을 수지 기호 영상 및 비수지 기호 영상으로 분류할 수 있다. 수화는 수지 기호 및 비수지 기호를 조합하여 구성될 수 있다. 수화의 단어는 지사(대상 가리키기), 모방(몸으로 흉내내기), 상형(형체를 손이나 손가락으로 보여주기), 형지(형체를 만들어 보이고 그것을 가리키기), 형동(형체를 만들어 그것이 하는 동작을 해 보이기), 회의(둘 이상의 것을 합쳐 다른 의미를 나타내기), 전주(기존 의미의 확장) 등의 방식으로 표현될 수 있다. 수지 기호는 수화자의 손의 형태(수형소), 손의 위치(수위소), 손의 움직임(수동소) 및 손의 방향(수향소) 등을 의미한다. 비수지 기호는 수화자의 얼굴의 표정 및 행동(체동소) 등을 의미한다. 영상 처리부(200)는 획득한 영상을 표준화(normalized)된 스케일로 변형하거나 누락된 데이터를 제거 또는 보정하여 정상적인 분석을 수행할 수 있도록 데이터 전처리를 실행할 수 있다.
특징 추출부(300)는 수화 시작점부터 수화 종료점까지의 수지 기호 영상 및 비수지 기호 영상 각각에서 특징 요소를 추출하여 복수개의 수지 기호 인식점들 및 비수지 기호 인식점들로 표시할 수 있다. 특징 요소는 수화를 번역하는데 필요한 손의 움직임 및 얼굴의 움직임을 파악하기 위해 이용되는 개념으로, 손가락의 움직임, 손가락 마디, 눈의 움직임, 눈썹의 움직임, 코의 움직임, 입의 움직임 등을 포함하는 개념으로 정의될 수 있다. 수지 기호 인식점들은 수지 기호 영상에서 수화자의 손가락 마디 및 손가락의 끝부분을 인식하기 위해 영상에 표시되는 점을 의미한다. 수지 기호 인식점들은 수지 기호 영상에서의 수화자의 손가락 마다 표시될 수 있으므로 복수개로 표시될 수 있다. 비수지 기호 인식점들은 비수지 기호 영상에서 수화자의 얼굴 표정의 변화를 인식하기 위해 영상에 표시되는 점을 의미한다. 예를 들어, 비수지 기호 인식점들은 3000개 내지 4000개로 표시될 수 있다. 비수지 기호 인식점들은 비수지 영상에서 수화자의 눈, 눈썹, 코, 입 등에 표시될 수 있고, 눈, 눈썹, 코, 입 각각에 복수개로 표시될 수 있다. 비수지 기호 인식점들은 눈 인식점, 눈썹 인식점, 코 인식점 및 입 인식점을 포함할 수 있다.
상술한 예와 달리, 비수지 기호 인식점들 및 수지 기호 인식점들은 수화 획득부(100)를 통해 표시될 수 있다. 수화 획득부(100)는 수화자의 동작 데이터를 복수개의 인식점들을 통해 획득할 수 있고, 복수개의 인식점들의 변화를 수치화할 수 있다. 다만, 수치화된 인식점들의 변화는 수화 판독부(400)에서 분석될 수 있다.
수화 판독부(400)는 수지 기호 인식점들 및 비수지 기호 인식점들을 조합하여 수화 통역문을 생성할 수 있다. 수화 통역문은 수화를 단어 및 단어들을 조합한 문장으로 번역한 것을 의미한다. 수화 판독부(400)는 수화 시작점에서의 수지 기호 인식점 및 비수지 기호의 인식점과 수화 종료점까지의 수지 기호 인식점 및 비수지 기호 인식점의 변화를 인식할 수 있고, 이를 통해 수화 판독부(400)는 수화자의 수화를 수화 통역문으로 번역할 수 있다. 수화를 번역함에 있어서, 수지 기호와 비수지 기호를 조합하여 번역을 수행하는 것은 수지 기호 만으로 번역을 수행하는 것보다 번역의 정확도가 향상될 수 있다.
일 예로, 수화 판독부(400)는 수화 시작점에서의 눈 인식점의 위치를 기초로 수화 종료점까지의 눈 인식점들의 위치 변화를 파악할 수 있다. 수화 판독부(400)는 눈 인식점들의 위치 변화와 수지 기호 인식점들의 변화를 조합하여 수화를 판독할 수 있다.
일 예로, 수화 판독부(400)는 수화 시작점에서의 눈썹 인식점의 위치를 기초로 수화 종료점까지의 눈썹 인식점들의 위치 변화를 파악할 수 있다. 수화 판독부(400)는 눈썹 인식점들의 위치 변화와 수지 기호 인식점들의 변화를 조합하여 수화를 판독할 수 있다.
일 예로, 수화 판독부(400)는 수화 시작점에서의 입 인식점의 위치를 기초로 수화 종료점까지의 입 인식점들의 위치 변화를 파악할 수 있다. 구체적으로, 수화 판독부(400)는 입 인식점들이 형성하는 면적의 변화 및 입의 형태 변화와 수지 기호 인식점들의 변화를 조합하여 수화를 판독할 수 있다.
또한, 수화 판독부(400)는 후술하는 모델 저장부(500)에 저장된 학습 데이터와 수지 기호 인식점들 및 비수지 기호 인식점들을 조합한 데이터를 서로 매칭시켜 수화 통역문을 생성할 수 있다. 즉, 수화 판독부(400)는 수지 기호 인식점들 및 비수지 기호 인식점들을 조합하여 수화자의 수화를 해석할 수 있는 새로운 학습 데이터를 생성하고, 생성한 데이터를 모델 저장부(500)에 저장된 학습 데이터와 매칭시켜 생성된 데이터가 어떤 의미를 가지는 수화인지를 번역할 수 있다. 새로운 학습 데이터는 모델 저장부(500)에 저장될 수 있다.
모델 저장부(500)는 기존에 획득한 영상들을 통해 수화 번역을 위한 학습 데이터를 저장할 수 있다. 모델 저장부(500)는 기존의 학습 데이터에 새로운 학습 데이터를 추가하여 업데이트를 수행할 수 있다. 따라서, 수화자의 영상을 분석할수록 모델 저장부(500)에 저장된 학습 데이터가 증가될 수 있고, 이를 토대로 다양한 수화를 정확하게 번역할 수 있다. 모델 저장부(500)는 수지 기호에 해당하는 단어 별 손의 모양, 손의 중심 위치, 움직임 및 방향을 학습하여 데이터화한 수지 학습 데이터 및 비수지 기호에 해당하는 눈, 눈썹 및 입의 변화를 학습하여 데이터화한 비수지 학습 데이터를 저장할 수 있다.
또한, 모델 저장부(500)는 다양한 국가에서 사용되고 있는 수화를 분석한 데이터를 저장할 수 있다. 이를 통해, 수화자의 수화가 한국에서 사용되지 않는 수화라고 하더라도, 모델 저장부(500)에 저장된 데이터와 수화 판독부(400)가 분석한 수화자의 영상을 매칭시켜 수화 통역문을 생성할 수 있다.
또한, 모델 저장부(500)는 수화 판독부(400)가 생성한 신조어에 대한 수화 통역문을 저장할 수 있고, 이를 기초로 기존의 학습 데이터를 업데이트할 수 있다. 시간의 흐름에 따라 수화에도 신조어가 생성될 수 있다. 수화 판독부(400)는 이러한 신조어를 분석하여 새로운 학습 데이터를 생성할 수 있고, 모델 저장부(500)는 이러한 새로운 학습 데이터를 저장할 수 있다.
한글 번역부(600)는 수화 판독부(400)가 생성한 수화 통역문을 한국어에 맞도록 어순 재배열, 단어 수정 및 조사 보정을 수행할 수 있다. 수화자의 수화를 그대로 번역하는 경우, 번역된 통역문은 통상적인 언어로써 자연스럽지 않을 수 있다. 한글 번역부(600)는 수화 판독부(400)가 생성한 수화 통역문을 한국어에 맞도록 보정하는 작업을 수행할 수 있다. 수화 통역문을 자연스러운 한국어로 번역한 데이터는 별도의 데이터베이스에 지속적으로 저장될 수 있고, 한글 번역부(600)는 데이터베이스에 저장된 데이터를 기반으로 수화 통역문을 보정할 수 있다. 예를 들어, 별도의 데이터베이스는 모델 저장부(500)일 수 있다.
수화 번역 엔진(700)은 한글 번역부(600)가 수화 통역문을 보정하는 작업을 도와주는 역할을 할 수 있다. 수화 번역 엔진(700)은 한국이 아닌 다른 국가에서 사용되는 수화에 대한 데이터를 수집할 수 있고, 한글 번역부(600)는 수화 번역 엔진(700)으로부터 전달받은 데이터를 통해 수화 통역문을 한국어에 맞도록 번역할 수 있다. 수화 번역 엔진(700)은 데이터베이스 또는 인터넷 망을 통해 접속할 수 있는 데이터베이스를 포함할 수 있다.
인터페이스(800)는 한글 번역부(600)가 번역한 단어 및 문장을 문자로 출력하거나 음성으로 출력할 수 있다. 일 예로, 인터페이스(800)는 번역한 단어 및 문장을 디스플레이창을 통해 표시하거나 단말에 단어 및 문장을 전송할 수 있다.
본 발명의 실시예에 따른 수화 인식 시스템(1)은 수지 기호와 비수지 기호를 조합하여 번역을 수행하여 수화를 번역하는 작업의 정확도를 향상시킬 수 있다. 또한, 수화 인식 시스템(1)은 수지 기호 인식점들 및 비수지 기호 인식점들을 통해 더욱 명확하게 수화자의 손 움직임 및 얼굴 표정의 변화를 파악할 수 있다.
또한, 본 발명의 실시예에 따른 수화 인식 시스템(1)은 기존의 학습 데이터에 수화 판독부(400)가 분석한 새로운 학습 데이터를 추가할 수 있다. 따라서, 신조어를 번역하는 작업을 수행함에 있어서도 수화 인식 시스템(1)은 번역의 정확도를 향상시킬 수 있다. 또한, 수화자의 수화를 저장된 데이터와 매칭시키는 것만으로는 어순 배열 또는 조사를 선택에서 오류가 발생할 가능성이 높다. 수화 인식 시스템(1)은 어순 배열 또는 조사 선택 등 수화를 언어로 번역함에 있어 필요한 보정 작업을 추가로 수행할 수 있다. 따라서, 수화 번역의 정확도가 향상될 수 있다.
도 2는 본 발명의 실시예에 따른 수지 기호 영상을 인식하는 것을 나타내는 도면이다.
도 1 및 도 2를 참조하면, 수화 획득부(100)는 수화자의 손의 움직임을 획득할 수 있다. 이 때, 특징 추출부(300)는 수화 획득부(100)가 획득한 영상을 기초로 특징 요소를 추출할 수 있고, 영상에 복수개의 수지 기호 인식점들(310)을 표시할 수 있다. 수화 판독부(400)는 수지 기호 인식점들(310)의 변화를 판단하여 수화를 번역할 수 있다.
도 2는 “사랑한다” 혹은 “사랑”이라는 문장 또는 단어를 표현하는 수화이다. “사랑한다”라는 표현은 다양한 수화를 통해 표현될 수 있다. 특징 추출부(300)는 수화자의 손의 움직임에 대한 영상인 수지 기호 영상을 획득하여 손가락의 마디 및 손가락의 끝부분을 인식할 수 있고, 손가락의 마디 및 손가락의 끝부분에 수지 기호 인식점(310)을 표시할 수 있다. 수화 판독부(400)는 수지 기호 인식점(310)을 통해 엄지 손가락, 검지 손가락 및 새끼 손가락은 펴져있고, 가운데 손가락 및 약지 손가락은 접혀 있는 것을 인식할 수 있다. 수화 판독부(400)는 수지 인식 기호점(310)을 분석한 데이터를 모델 저장부(500)에 저장된 데이터 및 학습된 학습 데이터와 매칭시켜 수화가 “사랑한다”라는 의미인 것을 파악할 수 있다.
상술한 예와 달리, 수화 획득부(100)가 손의 움직임을 통해 단어 및 문장을 표현하는 영상을 획득하는 경우에도 수화 판독부(400)는 수화 시작점에서의 수지 기호 인식점(310)을 기초로 수지 기호 인식점(310)이 변화하는 것을 파악할 수 있다. 수화 판독부(400)는 수지 기호 인식점(310)의 변화를 통해 수화자의 수화를 번역하여 수화 통역문을 생성할 수 있다. 또한, 수화 판독부(400)는 수지 기호 인식점(310)의 변화를 분석한 데이터에 비수지 기호 인식점의 변화를 분석한 데이터를 조합하여 수화 통역문을 생성할 수 있다.
도 3은 본 발명의 실시예에 따른 비수지 기호 영상을 인식하는 것을 나타내는 도면이다.
도 1 및 도 3을 참조하면, 수화 획득부(100)는 수화자의 얼굴 움직임을 획득할 수 있다. 이 때, 특징 추출부(300)는 수화 획득부(100)가 획득한 영상을 기초로 특징 요소를 추출할 수 있고, 영상에 복수개의 비수지 기호 인식점들(350)을 표시할 수 있다. 수화 판독부(400)는 비수지 기호 인식점들(350)의 변화를 판단하여 수화를 번역할 수 있다.
특징 추출부(300)는 수화자의 비수지 기호 영상에서 특징 요소를 추출하고, 비수지 기호 영상에서 눈, 눈썹, 코, 입, 이마 등에 비수지 기호 인식점들(350)을 표시할 수 있다. 수화 판독부(400)는 비수지 기호 인식점들(350)이 수화 시작점을 기준으로 변화하는 것을 파악하여 수화를 번역할 수 있다. 수화 판독부(400)가 비수지 기호 인식점들(350)을 통해 수화를 번역하는 구체적인 예는 후술하도록 한다.
수화 판독부(400)는 비수지 기호 인식점(350)의 변화를 분석한 데이터만으로 수화를 번역하면 번역의 정확도가 떨어질 수 있으므로 수지 기호 인식점의 변화를 분석한 데이터를 조합하여 수화 통역문을 생성할 수 있다.
도 4는 본 발명의 실시예에 따른 비수지 기호 영상을 인식하는 일 예를 나타내는 도면이다. 도 4에서 (a) 도면은 수화 시작점에서의 눈썹 인식 영상을 나타내고, (b) 도면 및 (c) 도면은 수화 시작점 이후 변화된 눈썹의 인식 영상을 나타낸다. (a) 도면에서 눈썹 인식점은 제1 눈썹 인식점으로 정의되고, (b) 도면에서 눈썹 인식점은 제2 눈썹 인식점으로 정의되고, (c) 도면에서 눈썹 인식점은 제3 눈썹 인식점으로 정의된다.
도 1 및 도 4를 참조하면, 특징 추출부(300)는 비수지 기호 영상에서 눈썹 부분에 눈썹 인식점(360)을 표시할 수 있다. 눈썹 인식점(360)은 복수개로 표시될 수 있다. 수화 판독부(400)는 수화 시작점에서의 눈썹 인식점(360)의 위치를 기초로 수화 종료점까지의 눈썹 인식점(360)의 위치 변화 및 눈썹의 곡면 변화를 파악하고, 눈썹 인식점들(360)의 위치 변화와 수지 기호 인식점들의 변화를 조합하여 수화를 판독할 수 있다.
(a) 도면을 참조하면, 수화 판독부(400)는 수화 시작점에서의 제1 눈썹 인식점(360)을 파악하여 수화 시작점에서의 눈썹의 위치 및 눈썹의 형상에 대한 데이터를 획득할 수 있다.
(b) 도면을 참조하면, 수화 판독부(400)는 수화 시작점에서의 제1 눈썹 인식점(360)을 기준으로 제2 눈썹 인식점(360a)이 이마쪽에 가깝게 올라간 것을 알 수 있다. 이 때, 수화 판독부(400)는 수화자의 감정 상태가 놀란 상태인 것으로 판단할 수 있다. 수화 판독부(400)는 비수지 기호 영상을 분석한 결과가 수화자가 놀란 상태에 있다는 것을 수화를 번역하는 과정에 반영할 수 있다.
(c) 도면을 참조하면, 수화 판독부(400)는 수화 시작점에서의 제1 눈썹 인식점(360)을 기준으로 제3 눈썹 인식점(360c)이 눈에 가깝게 내려간 것을 알 수 있다. 이 때, 수화 판독부(400)는 수화자의 감정 상태가 화난 상태 또는 우울한 상태인 것으로 판단할 수 있다. 수화 판독부(400)는 비수지 기호 영상을 분석한 결과가 수화자가 화난 상태 또는 우울한 상태에 있다는 것을 수화를 번역하는 과정에 반영할 수 있다.
상술한 예에 국한되지 않고, 수화자의 눈썹 위치 및 눈썹 곡면의 변화에 따라 수화자의 감정상태는 다양하게 기설정될 수 있다. 다양한 예들에 대한 데이터는 모델 저장부(500)에 저장되거나 학습되어 있을 수 있고, 수화 판독부(400)는 모델 저장부(500)에 저장된 데이터 또는 학습 데이터에 기반하여 비수지 기호 영상으로부터 수화자의 감정 상태를 판단할 수 있다.
도 5는 본 발명의 실시예에 따른 비수지 기호 영상을 인식하는 다른 예를 나타내는 도면이다. 도 5에서 (a) 도면은 수화 시작점에서의 눈 인식 영상을 나타내고, (b) 도면 및 (c) 도면은 수화 시작점 이후 변화된 눈의 인식 영상을 나타낸다. (a) 도면에서 눈 인식점은 제1 눈 인식점으로 정의되고, (b) 도면에서 눈 인식점은 제2 눈 인식점으로 정의되고, (c) 도면에서 눈 인식점은 제3 눈 인식점으로 정의된다.
도 1 및 도 5를 참조하면, 특징 추출부(300)는 비수지 기호 영상에서 눈 부분에 눈 인식점(370)을 표시할 수 있다. 눈 인식점(370)은 복수개로 표시될 수 있다. 수화 판독부(400)는 수화 시작점에서의 눈 인식점(370)의 위치를 기초로 수화 종료점까지의 눈 인식점(370)의 위치 변화 및 눈의 곡률 변화를 파악하고, 눈 인식점들(370)의 위치 변화와 수지 기호 인식점들의 변화를 조합하여 수화를 판독할 수 있다.
(a) 도면을 참조하면, 수화 판독부(400)는 수화 시작점에서의 제1 눈 인식점(370)을 파악하여 수화 시작점에서의 눈의 위치 및 눈의 형상에 대한 데이터를 획득할 수 있다.
(b) 도면을 참조하면, 수화 판독부(400)는 수화 시작점에서의 제1 눈 인식점(370)을 기준으로 제2 눈 인식점(3b0a)을 판단할 결과 눈의 곡률이 커졌다는 것을 판단할 수 있다. 눈의 곡률이 커졌다는 것은 수화 시작점을 기준으로 눈의 크기가 작아졌는 것을 의미한다. 이 때, 수화 판독부(400)는 수화자의 감정 상태가 우울한 상태인 것으로 판단할 수 있다. 수화 판독부(400)는 비수지 기호 영상을 분석한 결과가 수화자가 우울한 상태에 있다는 것을 수화를 번역하는 과정에 반영할 수 있다.
(c) 도면을 참조하면, 수화 판독부(400)는 수화 시작점에서의 제1 눈 인식점(370)을 기준으로 제3 눈 인식점(370b)을 판단할 결과 눈의 곡률이 작아졌다는 것을 판단할 수 있다. 눈의 곡률이 작아졌다는 것은 수화 시작점을 기준으로 눈의 크기가 커졌다는 것을 의미한다. 이 때, 수화 판독부(400)는 수화자의 감정 상태가 놀란 상태인 것으로 판단할 수 있다. 수화 판독부(400)는 비수지 기호 영상을 분석한 결과가 수화자가 놀란 상태에 있다는 것을 수화를 번역하는 과정에 반영할 수 있다.
상술한 예에 국한되지 않고, 수화자의 눈 위치 및 눈의 곡률의 변화에 따라 수화자의 감정상태는 다양하게 기설정될 수 있다. 다양한 예들에 대한 데이터는 모델 저장부(500)에 저장되거나 학습되어 있을 수 있고, 수화 판독부(400)는 모델 저장부(500)에 저장된 데이터 또는 학습 데이터에 기반하여 비수지 기호 영상으로부터 수화자의 감정 상태를 판단할 수 있다.
도 6은 본 발명의 실시예에 따른 수화 판독부를 나타내는 도면이다.
도 1 및 도 6을 참조하면, 수화 판독부(400)는 학습 모듈(410) 및 판독 모듈(430)을 포함할 수 있다.
학습 모듈(410)은 수화자의 영상으로부터 수지 기호 및 비수지 기호를 학습하여 학습 데이터를 생성하고 이를 모델 저장부(500)에 저장할 수 있다. 학습 모듈(410)은 학습 과정에서 수지 기호 영상 및 비수지 기호 영상에서 추출한 특징 요소와 수화 통역문과의 관계를 모델화하는 모델링부(411), 학습 데이터를 학습하기 위한 알고리즘부(413) 및 모델 저장부(500)에 저장된 기존의 학습 데이터에 새로운 학습 데이터를 업데이트 시키는 업데이트부(415)를 포함할 수 있다.
모델링부(411)는 수화에 대한 데이터 및 기계 학습을 통한 데이터를 기초로 수지 기호 및 비수지 기호에서의 특징 요소와 수화가 의도하는 단어 및 문장 간의 관계를 모델링할 수 있다. 수화에 대한 데이터는 손의 움직임 및 얼굴 표정에 대한 정형화된 조합으로 수화를 언어로 표현할 수 있는 기본 데이터를 수집하여 얻어질 수 있다. 기계 학습을 통한 데이터는 수화 가능자 또는 수화 가능 인력을 통해 다양한 문장을 수화로 표현하는 과정을 반복적으로 수행하여 얻어질 수 있다. 기계 학습 과정에서 수화자의 영상 분석을 통해 특징 요소를 추출한 것을 수치화시키는 과정을 반복적으로 수행하여 학습 데이터를 생성할 수 있다.
알고리즘부(413)는 기계 학습을 수행하기 위한 알고리즘을 저장하고 있는 부분일 수 있다. 알고리즘부(413)는 딥러닝, SVM(Support Vector Machine) 및 HMM(Hidden Markov Model) 등을 포함하고, 알고리즘부(413)는 다양한 알고리즘 중 어느 하나를 학습 데이터를 생성하는 과정에 적용시킬 수 있다.
업데이트부(415)는 기존의 학습 데이터에 새로운 학습 데이터를 추가하여 업데이트하는 기능을 수행할 수 있다. 또한, 업데이트부(415)는 새롭게 생성된 새로운 학습 데이터가 신뢰성있는 학습 데이터인지 여부를 검증할 수 있다. 업데이트부(415)는 검증된 새로운 학습 데이터는 기존의 학습 데이터에 업데이트되고, 검증 단계에서 일부 오류가 발생된 새로운 학습 데이터는 수정 과정을 거칠 수 있다.
판독 모듈(430)은 모델 저장부(500)에 저장된 학습 데이터에 수지 기호 영상 및 비수지 기호 영상에서 추출한 특징 요소를 적용하여 단어 및 단어들을 조합한 문장을 의미하는 수화 통역문을 생성할 수 있다. 판독 모듈(430)은 특징 추출부(300)에 의해 표시된 수지 기호 인식점들 및 비수지 기호 인식점들을 통해 수화자의 수화를 번역할 수 있다. 판독 모듈(430)은 수지 기호 인식점들 및 비수지 기호 인식점들을 분석한 데이터를 모델 저장부(500)에 저장된 학습 데이터와 매칭시킬 수 있고, 이를 통해 최종적으로 수화 통역문을 생성할 수 있다.
도 7은 본 발명의 실시예에 따른 학습 데이터가 구축되어 모델 저장부에 저장되는 것을 나타내는 도면이다.
도 1 및 도 7을 참조하면, 수화 획득부(100)에 의해 수화자의 영상을 획득할 수 있다. 영상 처리부(200)는 수화 획득부(100)가 획득한 영상을 수지 기호 영역 및 비수지 기호 영역으로 분류할 수 있다.
특징 추출부(300)는 수지 기호 영역에서 손 모양 및 손 움직임 각각에 대한 특징 요소를 추출할 수 있고, 비수지 기호 영역에서 눈 부위, 눈썹 부위 및 입술 부위 각각에 대한 특징 요소를 추출할 수 있다. 특징 추출부(300)는 수지 지호 영상 및 비수지 기호 영상에 손가락 끝부분 및 손가락 마디에 수지 기호 인식점들을 표시할 수 있고, 눈, 눈썹 및 입술에 비수지 기호 인식점들을 표시할 수 있다.
수화 판독부(400)는 수지 기호 인식점들 및 비수지 기호 인식점들을 인식할 수 있고, 수지 기호 인식점들의 변화 및 비수지 기호 인식점들의 변화를 수치적으로 분석할 수 있다. 수화 판독부(400)는 분석한 데이터(즉, 학습 데이터)를 모델 저장부(500)에 저장할 수 있다.
모델 저장부(500)는 수화 판독부(400)가 분석한 데이터를 기존의 학습 데이터에 추가할 수 있다.
이상, 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (15)

  1. 수화자의 영상을 획득하는 수화 획득부;
    기존에 획득한 영상들을 통해 수화 번역을 위한 학습 데이터를 저장하는 모델 저장부;
    상기 수화 획득부가 획득한 영상을 손의 움직임에 대한 수지 기호 영상 및 얼굴의 움직임에 대한 비수지 기호 영상으로 분류하는 영상 처리부;
    수화 시작점부터 수화 종료점까지의 상기 수지 기호 영상 및 상기 비수지 기호 영상 각각의 특징 요소를 추출하여 복수개의 수지 기호 인식점들 및 비수지 기호 인식점들로 표시하는 특징 추출부; 및
    상기 수지 기호 인식점들 및 상기 비수지 기호 인식점들을 조합하여 상기 모델 저장부에 저장된 학습 데이터와 매칭시켜 수화 통역문을 생성하는 수화 판독부를 포함하는,
    수화 인식 시스템.
  2. 제1 항에 있어서,
    상기 특징 추출부는,
    상기 수지 기호 영상을 기초로 손가락의 마디 및 손가락의 끝부분을 상기 수지 기호 인식점들로 표시하고,
    상기 비수지 기호 영상을 기초로 눈, 눈썹 및 입을 상기 비수지 기호 인식점들로 표시하고,
    상기 비수지 기호 인식점들은 눈 인식점, 눈썹 인식점 및 입 인식점을 포함하는,
    수화 인식 시스템.
  3. 제2 항에 있어서,
    상기 수화 판독부는,
    상기 수화 시작점에서의 상기 눈 인식점의 위치를 기초로 상기 수화 종료점까지의 상기 눈 인식점들의 위치 변화를 파악하고,
    상기 눈 인식점들의 위치 변화와 상기 수지 기호 인식점들의 변화를 조합하여 수화를 판독하는,
    수화 인식 시스템.
  4. 제3 항에 있어서,
    상기 눈 인식점은 복수개로 제공되고,
    상기 수화 판독부는 상기 눈 인식점들을 통해 눈의 곡률 변화를 파악하는,
    수화 인식 시스템.
  5. 제4 항에 있어서,
    상기 수화 판독부는,
    상기 수화 시작점에서의 눈의 형상보다 눈의 곡률이 작아지면 상기 수화자의 감정 상태가 놀란 상태인 것으로 판단하고,
    상기 수화 시작점에서의 논의 형상보다 눈의 곡률이 커지면 상기 수화자의 감정 상태가 우울한 상태인 것으로 판단하는,
    수화 인식 시스템.
  6. 제2 항에 있어서,
    상기 수화 판독부는,
    상기 수화 시작점에서의 상기 눈썹 인식점의 위치를 기초로 상기 수화 종료점까지의 상기 눈썹 인식점들의 위치 변화를 파악하고,
    상기 눈썹 인식점들의 위치 변화와 상기 수지 기호 인식점들의 변화를 조합하여 수화를 판독하는,
    수화 인식 시스템.
  7. 제6 항에 있어서,
    상기 눈썹 인식점은 복수개로 제공되고,
    상기 수화 판독부는 상기 눈썹 인식점들을 통해 눈썹의 위치 변화 및 눈썹의 곡면 변화를 파악하는,
    수화 인식 시스템.
  8. 제7 항에 있어서,
    상기 수화 판독부는,
    상기 수화 시작점에서의 눈썹의 위치보다 눈썹의 위치가 이마에 가깝게 위치하면 상기 수화자의 감정 상태가 놀란 상태인 것으로 판단하고,
    상기 수화 시작점에서의 눈썹의 위치보다 눈썹의 위치가 눈에 가깝게 위치하면 상기 수화자의 감정 상태가 화난 상태 또는 우울한 상태인 것으로 판단하는,
    수화 인식 시스템.
  9. 제2 항에 있어서,
    상기 수화 판독부는,
    상기 수화 시작점에서의 상기 입 인식점의 위치를 기초로 상기 수화 종료점까지의 상기 입 인식점들의 위치 변화를 파악하고,
    상기 입 인식점들이 형성하는 면적의 변화 및 입의 형태 변화와 상기 수지 기호 인식점들의 변화를 조합하여 수화를 판독하는,
    수화 인식 시스템.
  10. 제1 항에 있어서,
    상기 모델 저장부는,
    수지 기호에 해당하는 단어 별 손의 모양, 손의 중심 위치, 움직임 및 방향을 학습하여 데이터화한 수지 학습 데이터; 및
    비수지 기호에 해당하는 눈, 눈썹 및 입의 변화를 학습하여 데이터화한 비수지 학습 데이터를 저장하는,
    수화 인식 시스템.
  11. 제1 항에 있어서,
    상기 수화 판독부는,
    상기 수화자의 영상으로부터 수지 기호 및 비수지 기호를 학습하여 학습 데이터를 생성하고 이를 상기 모델 저장부에 저장하는 학습 모듈; 및
    상기 모델 저장부에 저장된 상기 학습 데이터에 상기 특징 요소를 적용하여 단어 및 단어들을 조합한 문장인 상기 수화 통역문을 생성하는 판독 모듈을 포함하는,
    수화 인식 시스템.
  12. 제1 항에 있어서,
    상기 학습 모듈은,
    학습 과정에서 상기 특징 요소와 수화 통역문과의 관계를 모델화하는 모델링부;
    상기 학습 데이터를 학습하기 위한 알고리즘부; 및
    상기 모델 저장부에 저장된 기존의 학습 데이터에 새로운 학습 데이터를 업데이트 시키는 업데이트부를 포함하는,
    수화 인식 시스템.
  13. 제1 항에 있어서,
    상기 수화 판독부가 생성한 상기 수화 통역문을 한국어에 맞도록 어순 재배열, 단어 수정 및 조사 보정을 수행하는 한글 번역부를 더 포함하는,
    수화 인식 시스템.
  14. 제13 항에 있어서,
    다른 국가에서 사용되는 수화에 대한 데이터를 수집하는 수화 번역 엔진을 더 포함하고,
    상기 한글 번역부는 상기 수화 번역 엔진으로부터 전달받은 데이터를 통해 상기 수화 통역문을 한국어에 맞도록 번역하는,
    수화 인식 시스템.
  15. 제13 항에 있어서,
    상기 한글 번역부가 번역한 단어 및 문장을 문자로 출력하거나 음성으로 출력하는 인터페이스를 더 포함하는,
    수화 인식 시스템.

KR1020180045097A 2018-04-18 2018-04-18 수화 인식 시스템 KR20190121593A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180045097A KR20190121593A (ko) 2018-04-18 2018-04-18 수화 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180045097A KR20190121593A (ko) 2018-04-18 2018-04-18 수화 인식 시스템

Publications (1)

Publication Number Publication Date
KR20190121593A true KR20190121593A (ko) 2019-10-28

Family

ID=68421848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180045097A KR20190121593A (ko) 2018-04-18 2018-04-18 수화 인식 시스템

Country Status (1)

Country Link
KR (1) KR20190121593A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167760B1 (ko) * 2020-07-24 2020-10-19 주식회사 멀틱스 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템
KR20210018028A (ko) * 2019-08-05 2021-02-17 금오공과대학교 산학협력단 손동작 및 팔동작 학습기반 수화 번역 시스템 및 방법
KR20210099312A (ko) * 2020-02-04 2021-08-12 강원대학교산학협력단 영상데이터 동작 분석을 이용한 정맥주사실습 평가용 모형

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210018028A (ko) * 2019-08-05 2021-02-17 금오공과대학교 산학협력단 손동작 및 팔동작 학습기반 수화 번역 시스템 및 방법
KR20210099312A (ko) * 2020-02-04 2021-08-12 강원대학교산학협력단 영상데이터 동작 분석을 이용한 정맥주사실습 평가용 모형
KR102167760B1 (ko) * 2020-07-24 2020-10-19 주식회사 멀틱스 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템

Similar Documents

Publication Publication Date Title
US20240070405A1 (en) Computer vision based sign language interpreter
Von Agris et al. Recent developments in visual sign language recognition
US11783615B2 (en) Systems and methods for language driven gesture understanding
CN108549637A (zh) 基于拼音的语义识别方法、装置以及人机对话系统
KR102167760B1 (ko) 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템
Alrubayi et al. A pattern recognition model for static gestures in malaysian sign language based on machine learning techniques
CN110992783A (zh) 一种基于机器学习的手语翻译方法及翻译设备
KR20190121593A (ko) 수화 인식 시스템
Raees et al. Image based recognition of Pakistan sign language
CN112749646A (zh) 一种基于手势识别的交互式点读系统
CN113590078A (zh) 虚拟形象合成方法、装置、计算设备及存储介质
Shinde et al. Advanced Marathi sign language recognition using computer vision
Khatun et al. A systematic review on the chronological development of bangla sign language recognition systems
KR20150045335A (ko) 수화 동작을 인식하여 문자로 변환하는 방법 및 그 장치
Cohen et al. Recognition of continuous sign language alphabet using leap motion controller
Ballard et al. A multimodal learning interface for word acquisition
CN111914822A (zh) 文本图像标注方法、装置、计算机可读存储介质及设备
Robert et al. A review on computational methods based automated sign language recognition system for hearing and speech impaired community
Dawod Hand Gesture Recognition Based Sign Language Interpretation in Real-Time
Hamouda et al. Arabic sign language recognition: Towards a dual way communication system between deaf and non-deaf people
JP2021170247A (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
Nakanishi et al. Sign Language Recognition by Similarity Measure with Emotional Expression Specific to Signers
CN111191490A (zh) 一种基于Kinect视觉的唇读研究的方法
CN116386149B (zh) 一种手语信息处理方法及系统
McNeil Jr Sign Language Static Gesture Recognition Using Leap Motion