KR101933150B1 - 명령어/정보 입력시스템 및 방법 - Google Patents
명령어/정보 입력시스템 및 방법 Download PDFInfo
- Publication number
- KR101933150B1 KR101933150B1 KR1020180041843A KR20180041843A KR101933150B1 KR 101933150 B1 KR101933150 B1 KR 101933150B1 KR 1020180041843 A KR1020180041843 A KR 1020180041843A KR 20180041843 A KR20180041843 A KR 20180041843A KR 101933150 B1 KR101933150 B1 KR 101933150B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- resin
- information
- character
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- 239000011347 resin Substances 0.000 claims description 169
- 229920005989 resin Polymers 0.000 claims description 169
- 210000000988 bone and bone Anatomy 0.000 claims description 32
- 230000036571 hydration Effects 0.000 claims description 17
- 238000006703 hydration reaction Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000032683 aging Effects 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 6
- 241000251468 Actinopterygii Species 0.000 claims description 4
- 208000032041 Hearing impaired Diseases 0.000 abstract description 12
- 230000005236 sound signal Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 208000003464 asthenopia Diseases 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 206010010144 Completed suicide Diseases 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G06F17/30244—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G06K9/00355—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
청각장애인이 휴머노이드 로봇과 자율주행 차량 등 음성신호를 입력 기반으로 하는 다양한 기기를 정상인과 마찬가지로 편리하게 사용할 수 있게 하여 청각장애인이 네비게이션 목적지 입력 등 차량 내 각종 어플리케이션 사용에 있어서의 편의를 증진시킬 수 있게 해주는 명령어/정보 입력 시스템이 개시된다. 상기 명령어/정보 입력 시스템은 수어동작에 대한 수어영상을 촬영하기 위한 카메라 및 상기 카메라에서 촬영된 상기 수어영상을 분석하여 상기 수어영상에 대응하는 문자신호를 추출하고 추출된 상기 문자신호를 소정 기기로 인가하는 수어/문자신호 변환기를 포함하고, 상기 수어/문자신호 변환기는 상기 수어영상에 대응하는 단어정보를 저장하고 있는 수어 데이터베이스와 상기 카메라에서 촬영된 상기 수어영상을 분석하여 상기 수어 데이터베이스로부터 상기 수어영상에 대응하는 문자신호를 추출하기 위한 수어신호 분석부를 포함하는 구성을 한다.
Description
본 발명은 명령어/정보 입력시스템 및 방법에 관한 것으로, 특히 청각장애인이 차량에 설치된 각종 기기, 자율주행 차량, 휴머노이드 로봇 등에 명령어 또는 정보를 쉽게 입력할 수 있도록 하는 명령어/정보 입력시스템 및 방법에 관한 것이다.
일반인(청인)의 경우 차량의 네비게이션으로 대표되는 차량 내의 각종 기기의 사용에 있어서 편의성이 높은 입력 수단으로서 음성의 사용범위와 빈도가 높아지고 있으나, 청각장애인은 이러한 입력 수단을 사용하지 못한다.
자율주행 차량의 시대에서는 음성이 차량에 대한 명령어 입력 수단으로서 중요도가 매우 높아질 것으로 예상할 수 있는데, 이 경우 청각장애인은 음성을 차량에 대한 명령어 입력 수단으로 사용하기 어렵기 때문에 청각장애인의 자율주행 차량 이용에 심각한 지장이 초래될 수 있다.
한편, 미리 정해진 제스처들을 카메라로 촬영하여 명령어로 사용하는 것에 대해 특허등록번호 10-1755086호(발명의 명칭: 제스처 기반 자동차 제어, 발명자: 홉스, 니콜라스, 케네스 외 1, 이하, "선출원 발명"이라 함)의 등록공보에서 개시하고 있으나, 이는 단지 각 영영마다 정해진 몇 개의 제스처를 카메라로 촬영하여 차량에 설치된 여러 기기들 중 해당 영역에 대응하는 각 기기의 몇 가지의 명령어로 사용될 수 있게 하는 것으로 장래의 자율주행 차량의 2개 이상의 단어가 조합된 여러 가지 다양하고 복잡한 문장식 음성 명령어에 대응하는 명령어나 정보를 입력할 수는 없다.
그리고 선출원 발명의 기능만으로는 청각장애인이 차량을 편리하게 사용할 수 있도록 하기 어렵다.
본 발명의 목적은 청각 장애인이 각종 기기를 사용하는 데 있어서, 정상인과 동일한 편의성과 안전성을 제공할 수 있는 명령어/정보 입력시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 특히, 차량의 각종 정보 입력 수단으로 수어 또는 수화(이하, "수어"라 칭함)를 사용할 수 있게 함으로써, 청각장애인이 네비게이션 목적지 입력 등 차량 내 각종 어플리케이션 사용에 있어서의 편의를 증진시킬 수 있도록 해주는 명령어/정보 입력시스템 및 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 수어가 표현한 단어 및 문장을 네비게이션 및 차량에 설치된 각종 어플리케이션의 문자신호 형태의 명령어나 정보로 변환하여 전달할 수 있는 명령어/정보 입력시스템 및 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 머신 비전 기술을 통한 수어 동작의 인식을 기반으로 하고 데이터 어그멘테이션(data augmentation) 기법을 활용한 인공신경망 학습을 통해 개인별 수어 동작의 변이(크기, 방향, 속도 등)에도 올바른 인식이 가능하게 하는 명령어/정보 입력시스템 및 방법을 제공하는 데 있다.
본 발명에 따른 명령어/정보 입력시스템은 수어동작에 대한 수어영상을 촬영하기 위한 카메라; 및 상기 카메라에서 촬영된 상기 수어영상을 분석하여 상기 수어영상에 대응하는 문자신호를 추출하고 추출된 상기 문자신호를 소정 기기로 인가하는 수어/문자신호 변환기를 포함하고, 상기 수어/문자신호 변환기는, 상기 수어영상에 대응하는 단어정보를 저장하고 있는 수어 데이터베이스; 및 상기 카메라에서 촬영된 상기 수어영상을 분석하여 상기 수어 데이터베이스로부터 상기 수어영상에 대응하는 문자신호를 추출하기 위한 수어신호 분석부를 포함하는 구성을 한다.
상기 소정 기기는 마이크로폰으로 입력된 음성신호를 문자신호로 변환하는 음성/문자신호 변환부를 가지는 음성인식 소프트웨어가 설치되어 있고, 상기 마이크로폰으로 입력되는 음성신호를 상기 음성인식 소프트웨어를 통해 문자신호로 변환하여 상기 문자신호를 명령어로 받아들여서 작동하는 음성명령 작동기기이고, 상기 수어/문자신호 변환기는 상기 카메라에서 촬영된 상기 수어영상을 분석하여 상기 수어영상에 대응하는 문자신호를 추출하고 추출된 상기 문자신호를 상기 음성명령 작동기기의 상기 명령어로 사용될 수 있게 상기 음성명령 작동기기로 인가하는 것이 바람직하다.
상기 소정 기기는 차량에 설치되고, 상기 카메라는 앞좌석 앞쪽의 상기 차량 내부에 설치되고 미리 정해진 특정 영역에서의 상기 수어동작에 대한 수어영상을 촬영하는 것이 좋다.
상기 소정 기기는 상기 차량의 제어장치 또는 상기 차량에 설치된 네비게이션일 수 있다.
상기 수어/문자신호 변환기는, 수지신호에 대응하는 단어에 대한 정보를 저장하고 있는 수어사전 데이터베이스; 인가되는 수지 애니메이션 데이터를 분석하여 상기 수어사전 데이터베이스로부터 상기 수지 애니메이션 데이터에 대응하는 단어를 추출하기 위한 수지신호 분석부; 비수지신호에 대응하는 단어에 대한 정보를 저장하고 있는 비수지신호 데이터베이스; 인가되는 비수지 애니메이션 데이터를 분석하여 상기 비수지신호 데이터베이스로부터 상기 비수지 애니메이션 데이터에 대응하는 단어를 추출하기 위한 비수지신호 분석부; 상기 카메라에서 촬영된 영상을 인가받아 상기 수어동작을 하는 사람의 뼈대에 대한 정보를 추출하고, 추출된 상기 뼈대의 각 뼈의 뼈마디의 위치이동정보를 추출하여 상기 수지 애니메이션 데이터는 상기 수지신호 분석부로 인가하고 상기 비수지 애니메이션 데이터는 상기 비수지신호 분석부로 인가하기 위한 뼈마디 동역학 정보 추출기; 및 상기 수지신호 분석부와 상기 비수지신호 분석부에서 인가되는 신호를 조합하여 수어문장에 대응하는 상기 문자신호를 생성하는 수어문장 생성기를 구비하여 구성되고, 상기 수어 데이터베이스는 상기 수어사전 데이터베이스와 상기 비수지신호 데이터베이스를 포함하고, 상기 수어신호 분석부는 상기 수지신호 분석부와 상기 비수지신호 분석부를 포함하는 것이 바람직하다.
상기 카메라는 깊이 인식 카메라이고, 상기 뼈마디 동역학 정보 추출기는 미리 정해진 3차원 공간의 수어 인식영역에서 촬영된 동영상의 각 뼈의 상기 뼈마디의 3차원 위치이동정보를 분석하고, 상기 수어 인식영역은 3차원 공간의 수지신호 영역과 비수지신호 영역으로 구분되어 있고, 상기 수지신호 영역에서 촬영된 수어영상의 상기 뼈마디의 3차원 위치이동정보는 수지신호 분석부로 인가하고, 상기 비수지신호 영역에서 촬영된 수어영상의 상기 뼈마디의 3차원 위치이동정보는 상기 비수지신호 분석부로 인가하는 것이 바람직하다.
상기 수지신호 분석부와 상기 비수지신호 분석부는 머신 비전 기술을 통한 수어 동작의 인식을 기반으로 하고 데이터 어그멘테이션 기법을 활용한 인공신경망 학습을 통해 상기 수어사전 데이터베이스와 상기 비수지신호 데이터베이스의 수어에 대한 상기 뼈마디의 동역학정보를 학습한 것이 좋다.
상기 수어영상의 입력시작 정보를 인가받기 위한 수어여부 확인부와 상기 수어영상이 정상적으로 입력되어 상기 문자신호로 변환되었음을 표시하기 위한 정상입력 확인부를 더 포함하는 것이 바람직하다.
상기 수지신호 분석부는 상기 수지신호를 지화신호와 수화신호로 구분하여 상기 지화신호는 고유명사로 처리하고 상기 수화신호에 대해서는 상기 수어사전 데이터베이스를 검색하여 상기 수화신호에 대응하는 확률이 가장 높은 단어를 검출하는 것이 좋다.
상기 비수지신호 분석부는 상기 비수지신호(눈썹의 변형, 눈의 변형, 입모양, 머리의 기울기 변화 등)에 대해 비수지신호 데이터베이스를 검색하여 상기 비수지신호에 대응하는 확률이 가장 높은 문장의 의미 또는 의향에 대한 정보를 추출하는 것이 바람직하다.
본 발명에 따른 명령어/정보 입력방법은 카메라로 수어동작에 대한 수어영상을 촬영하는 과정; 상기 카메라에서 촬영된 상기 수어영상을 분석하여 상기 수어영상에 대응하는 문자신호를 추출하는 수어/문자신호 변환과정; 및 추출된 상기 문자신호를 소정 기기로 인가하는 과정을 포함하는 구성을 한다.
상기 수어/문자신호 변환과정은, 상기 카메라에서 촬영된 영상을 인가받아 상기 수어동작을 하는 사람의 뼈대에 대한 정보를 추출하고, 추출된 상기 뼈대의 각 뼈의 뼈마디의 위치이동정보를 추출하여 수지 애니메이션 데이터와 비수지 애니메이션 데이터를 생성하는 뼈마디 동역학 정보 추출과정; 상기 수지 애니메이션 데이터를 분석하여 수어사전 데이터베이스로부터 상기 수지 애니메이션 데이터에 대응하는 단어를 추출하는 수지신호 분석과정; 상기 비수지 애니메이션 데이터를 분석하여 상기 비수지신호 데이터베이스로부터 상기 비수지 애니메이션 데이터에 대응하는 단어를 추출하는 비수지신호 분석과정; 상기 수지신호 분석과정과 상기 비수지신호 분석과정에서 추출된 문자신호를 조합하여 수어문장에 대응하는 상기 문자신호를 생성하는 과정; 및 생성된 상기 문자신호를 상기 소정 기기로 인가하는 과정을 포함하는 것이 바람직하다.
상기 소정 기기로 인가하는 과정은, 마이크로폰으로 입력된 음성신호를 문자신호로 변환하는 음성/문자신호 변환부를 가지는 음성인식 소프트웨어가 설치되어 있고, 상기 마이크로폰으로 입력되는 음성신호를 상기 음성인식 소프트웨어를 통해 문자신호로 변환하여 상기 문자신호를 명령어로 받아들여서 작동하는 음성명령 작동기기로 인가하여 상기 음성명령 작동기기의 상기 명령어로 사용될 수 있게 하는 것이 좋다.
상기 수지신호 분석과정은 상기 수지신호를 지화신호와 수화신호로 구분하여 상기 지화신호는 고유명사로 처리하고 상기 수화신호에 대해서는 상기 수어사전 데이터베이스를 검색하여 상기 수화신호에 대응하는 확률이 가장 높은 단어를 검출하고, 상기 비수지신호 분석과정은 상기 비수지신호(눈썹의 변형, 눈의 변형, 입모양, 머리의 기울기 변화 등)에 대해 비수지신호 데이터베이스를 검색하여 상기 비수지신호에 대응하는 확률이 가장 높은 문장의 의미 또는 의향에 대한 정보를 가지는 문자신호 정보를 추출하는 것을 포함하는 것이 바람직하다.
상기 수지신호 분석과정과 상기 비수지신호 분석과정은 머신 비전 기술을 통한 수어 동작의 인식을 기반으로 하고 데이터 어그멘테이션 기법을 활용한 인공신경망 학습을 통해 상기 수어사전 데이터베이스와 상기 비수지신호 데이터베이스의 수어에 대한 상기 뼈마디의 동역학정보를 학습한 프로그램에 의해 수행되는 것이 좋다.
본 발명에 따르면, 청각장애인이 다양한 기기를 정상인과 마찬가지로 편리하게 사용할 수 있는 명령어/정보 입력 시스템을 제공할 수 있다.
본 발명에 따르면, 차량의 각종 정보 입력 수단으로 수어를 사용할 수 있게 함으로써, 청각장애인이 네비게이션 목적지 입력 등 차량 내 각종 어플리케이션 사용에 있어서의 편의를 증진시킬 수 있다.
본 발명에 따르면, 수어 동작의 개인별 변이는 데이터 머신 비전 기술을 통한 수어 동작의 인식을 기반으로 하고 어그멘테이션 방식을 통한 인공신경망 학습을 통해 정확성을 높일 수 있고, 수어 중 지화(자음, 모음 및 숫자)의 입력은 한손으로 가능하고 대부분의 대화 역시 한손 수어 동작으로 가능하므로, 운전자의 전방주시 태만을 야기하지 않는다.
도 1은 본 발명에 따른 명령어/정보 입력시스템의 구성을 나타낸 블록도,
도 2는 본 발명에 따른 명령어/정보 입력시스템이 차량에 설치된 상태를 나타낸 도면,
도 3은 깊이 인식 카메라의 수어 인식영역을 나타낸 도면,
도 4는 본 발명에 따른 명령어/정보 입력시스템을 통한 기기의 작동과정을 설명하기 위한 순서도이다.
도 2는 본 발명에 따른 명령어/정보 입력시스템이 차량에 설치된 상태를 나타낸 도면,
도 3은 깊이 인식 카메라의 수어 인식영역을 나타낸 도면,
도 4는 본 발명에 따른 명령어/정보 입력시스템을 통한 기기의 작동과정을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참고하여 본 발명의 바람직한 실시 예를 상세하게 설명한다.
도 1은 본 발명에 따른 명령어/정보 입력시스템의 구성을 나타낸 블록도이고, 도 2는 본 발명에 따른 명령어/정보 입력시스템이 차량에 설치된 상태를 나타낸 도면이고, 도 3은 깊이 인식 카메라의 수어 인식영역을 나타낸 도면이다.
본 발명에 따른 명령어/정보 입력시스템(100)은 카메라(110)을 가진다. 이 카메라(110)는 수어동작에 대한 수어영상을 촬영하기 위한 것으로, 깊이 인식 카메라(3차원 인식 카메라)가 적당하다.
작동시키기 위한 기기(200a)가 차량(200)에 설치된 것인 경우, 카메라(110)는 바람직하게 도 2에 나타낸 바와 같이 차량(200)의 앞좌석 앞쪽의 차량(200) 내부에 설치되며, 바람직하게, 미리 정해진 특정 수어 인식영역(112)에서의 수어동작에 대한 수어영상을 촬영한다. 수어 인식영역(112)은 도 3에 나타낸 바와 같이 카메라(110) 앞쪽의 3차원 공간영역으로 미리 정해질 수 있고, 반복실험을 통해 가장 인식율이 높고 많은 사람들이 편하게 수어를 할 수 있는 3차원 영역으로 정하는 것이 바람직하다. 때에 따라, 수어 인식영역(112) 안에 수지신호 영역(112a)을 별도로 더 설정할 수 있다. 또한, 수어 인식영역(112)을 수지신호 영역(112a)과 비수지신호 영역(112b)로 구분 설정하여, 수지신호 영역(112a)에서 촬영된 수어영상은 수지신호 분석부(124a)로 인가하고, 비수지신호 영역(112b)에서 촬영된 수어영상은 비수지신호 분석부(124b)로 인가하도록 할 수 있다.
카메라(110)가 피사체와의 거리를 측정할 수 있어 3차원(Three Dimension) 정보를 받아들일 수 있는 깊이 인식 카메라(3차원 인식 카메라)의 경우, 해당 카메라 제조사의 에이피아이(API, Application Program Interface)를 활용하여 수어자(H)의 신체 움직임에 대한 동역학 정보를 추출할 수 있다.
본 발명이 차량(200) 또는 차량(200)에 설치된 기기(200a)에 적용된 경우, 차량 운전자들의 키, 앉은키, 팔길이 등의 신체적 특징에 따라 수어 인식영역(112)의 부피와 위치를 조정할 수 있도록 하는 것이 더욱 바람직하다.
하지만, 카메라(110)가 반드시 깊이 인식 카메라여야 하는 것은 아니고, 때에 따라 일반 RGB 2차원 인식 카메라가 사용될 수도 있다. 일반 RGB 2차원 인식 카메라의 경우 깊이 정보를 추정해내는 인공신경망 모델을 통해 동작의 동역학 정보를 추출할 수 있다. 때에 따라, 수어 인식영역(112)은 카메라(110)에 의해 촬영된 평면상의 2차원 평면영역으로 미리 정해질 수 있다.
본 발명에 따른 명령어/정보 입력시스템(100)은 수어/문자신호 변환기(120)를 가진다. 이 수어/문자신호 변환기(120)는 카메라(110)에서 촬영된 수어영상을 분석하여 수어영상에 대응하는 문자신호를 추출하고 추출된 문자신호를 기기(200a)로 인가하여 기기(200a)에서 명령어 또는 정보로 사용될 수 있게 하기 위한 것이다.
기기(200a)로는 마이크로폰(210)으로 입력된 음성신호를 문자신호로 변환하는 음성/문자신호 변환부(220a)를 가지는 음성인식 소프트웨어(220)가 설치되어 있고, 마이크로폰(210)으로 입력되는 음성신호를 음성인식 소프트웨어(220)를 통해 문자신호로 변환하여 문자신호를 명령어로 받아들여서 작동하는 음성명령 작동기기가 적당하다. 기기(200a)로는 차량의 제어장치 또는 차량에 설치된 네비게이션일 수 있다. 이러한 기기(200a)에는 문장분석기(220b), 명령어 및/또는 명령어 수행에 필요한 정보에 관련된 단어들이 저장된 단어사전(227), 마이크로폰(210)으로 입력된 음성신호를 문자데이터로 변환하기 위한 음성/문자 변환부(220a) 및 기기(200a)의 기능을 수행하기 위한 응용프로그램(230)이 설치되어 있다. 음성/문자 변환부(220a), 문장분석기(220b) 및 단어사전(227)은 음성인식 소프트웨어(220)의 기능을 수행한다.
수어/문자신호 변환기(120)는 수어영상에 대응하는 단어정보를 저장하고 있는 수어 데이터베이스(122)와 카메라(110)에서 촬영된 수어영상을 분석하여 수어 데이터베이스(122)로부터 수어영상에 대응하는 문자신호를 추출하기 위한 수어신호 분석부(124)를 가진다.
더 자세하게, 수어 데이터베이스(122)는 수어사전 데이터베이스(122a)와 비수지신호 데이터베이스(122b)를 구비한다. 수어사전 데이터베이스(122a)는 수지신호에 대응하는 단어에 대한 정보를 저장하고 있고, 비수지신호 데이터베이스(122b)는 비수지신호에 대응하는 단어에 대한 정보를 저장하고 있다.
그리고 수어신호 분석부(124)는 수지신호 분석부(124a)와 비수지신호 분석부(124b)를 가진다. 수지신호 분석부(124a)는 인가되는 수지 애니메이션 데이터를 분석하여 수어사전 데이터베이스로(122a)부터 수지 애니메이션 데이터에 대응하는 단어를 추출하기 위한 것이다. 그리고 비수지신호 분석부(124b)는 인가되는 비수지 애니메이션 데이터를 분석하여 비수지신호 데이터베이스(122b)로부터 비수지 애니메이션 데이터에 대응하는 단어를 추출하기 위한 것이다.
위와 같은 수지신호 분석부(124a)와 비수지신호 분석부(124b)는 머신 비전(machine vision) 기술을 통한 수어 동작의 인식을 기반으로 하고 데이터 어그멘테이션 기법을 활용한 인공신경망 학습을 통해 수어사전 데이터베이스(122a)와 비수지신호 데이터베이스(122b)의 수어에 대한 뼈마디의 동역학정보를 학습한 것이 바람직하고, 인터넷망을 통해 외부의 인공신경망과 연결되어 프로그램이 지속적으로 업데이트 될 수 있다.
본 발명에 따른 수어/문자신호 변환기(120)는 뼈마디 동역학 정보 추출기(126)를 갖춘다. 이 뼈마디 동역학 정보 추출기(126)는 카메라(110)에서 촬영된 영상을 인가받아 수어동작을 하는 사람의 뼈대에 대한 정보를 추출하고, 추출된 뼈대의 각 뼈의 뼈마디의 위치이동정보를 추출하여 손의 움직임인 수지신호와 비수지신호를 분리한다. 수지 애니메이션 데이터는 수지신호 분석부(124a)로 인가하고 비수지 애니메이션 데이터는 비수지신호 분석부(124b)로 인가한다.
카메라(110)가 깊이 인식 카메라인 경우, 뼈마디 동역학 정보 추출기(126)는 각 뼈의 뼈마디의 3차원 위치이동정보(애니메이션 시퀀스 데이터)를 추출하여 수지신호 분석부(124a)와 비수지신호 분석부(124b)로 인가한다.
수지신호 분석부(124a)는 수지신호를 지화(자음, 모음 및 숫자 등)신호와 수화신호(지화를 제외한 수지신호)로 구분하여 지화신호는 고유명사로 처리하고 수화신호에 대해서는 수어사전 데이터베이스(122a)를 검색하여 수화신호에 대응하는 확률이 가장 높은 단어를 검출한다. 수어사전의 동역학 정보로 학습된 인공신경망 기술을 활용하여 추출된 동역학 정보와 매칭율이 높은 단어의 나열을 검출한다. 지화(자음, 모음, 숫자 등)의 경우는 인공신경망을 통한 이미지 예측 기술로 보다 빠르게 추출이 가능하다.
비수지신호 분석부(124b)는 비수지신호(눈썹의 변형, 눈의 변형, 입모양, 머리의 기울기 변화 등)에 대해 비수지신호 데이터베이스(122b)를 검색하여 비수지신호에 대응하는 확률이 가장 높은 문장의 의미 또는 의향에 대한 정보를 가지는 문자신호를 추출한다.
본 발명에 따른 수어/문자신호 변환기(120)는 수지신호 분석부(124a)와 비수지신호 분석부(124b)에서 인가되는 신호를 조합하여 수어문장에 대응하는 문자신호를 생성하는 수어문장 생성기(128)를 구비한다. 바람직하게 수어문장 생성기(128)에는 기기(200a)에서 사용되는 명령어 및/또는 명령어 수행에 필요한 각종 정보와 관련된 단어들이 저장된 단어사전(127)과 연결된다.
수어문장 생성기(128)는 수지신호와 비수지신호에 대응하는 단어의 나열과, 문장의 의미 의향의 정보를 조합하여 문장을 만들고, 만들어진 문장에 대응하는 문자신호를 생성한다.
추출된 단어의 나열을 처리함에 있어, 지화 표현(고유명사 등)과 일반 단어 표현을 분리하고 일반 단어 표현의 경우 차량의 네비게이션과 같은 각종 기기의 응용프로그램(230)에 연결된 단어사전(227)과 매칭한 다음, 그 응용프로그램(230)의 고유한 명령어 문법에 맞게 재 정렬하여 전달하여 기기(200a)의 명령어나 정보로 사용될 수 있게 한다.
예를 들어, "지금 강남역 5번 출구로 곧장 가자!" 라는 명령어를 수어로 표현하면 카메라(110)를 통해 입력받은 영상에서 뼈마디 동역학 정보 추출기(126)를 통해 수어자(H)의 뼈대 정보와 각 뼈마디의 위치 변화 정보를 추출하고, 수지신호 분석부(124a)는 뼈마디 동역학 정보 추출기(126)에서 인가되는 뼈마디 동역학 정보가 담긴 수지 애니메이션 데이터를 분석하여 수지 애니메이션 데이터에 가장 유사한(인공신경망을 통해 가장 매칭 확률이 높은) 수어사전 데이터베이스(122a) 내의 단어들을 추출한다. 비수지신호 분석부(124b)는 뼈마디 동역학 정보 추출기(126)에서 인가되는 뼈마디 동역학 정보가 담긴 비수지 애니메이션 데이터를 분석하여 비수지 애니메이션 데이터에 가장 유사한(인공신경망을 통해 가장 매칭 확률이 높은) 비수지신호 데이터베이스(122b) 내의 단어, 예들 들어, "곧장" 등을 표현하는 비수지신호를 추출한다. 이와 같은 과정으로 추출된 단어가 "지금", "강남역", "5번 출구", "곧장", "가다"가 되며, 이는 차량 명령 신호로 "최종 목적지", "강남역 5번 출구"가 되어 차량에 설치된 기기(200a)의 응용프로그램(230)에 전달되어 명령이 수행된다.
한편, 본 발명에 따른 명령어/정보 입력시스템(100)은 수어영상의 입력시작 정보를 인가받기 위한 수어여부 확인부(125)와 수어영상이 정상적으로 입력되어 문자신호로 변환되었음을 표시하여 사용자에게 알려주기 위한 정상입력 확인부(129)를 더 포함할 수 있다.
수어여부 확인부(125)는 수어를 하는 사람의 사전 정의된 특정 동작(예 "확인" 버튼 온/오프나 수지신호 등)을 인식하여 수어영상의 입력시작 여부를 확인할 수 있다. 정상입력 확인부(129)는 사용자가 수어 입력이 제대로 이루어졌는지를 알 수 있도록 하기 위한 것으로, 수어 입력의 피드백을 자동차 클러스터 내의 시각 효과(엘이디 점멸 등), 디스플레이의 자막, 핸들의 진동(햅틱 반응) 등이 이용될 수 있다.
도 4는 본 발명에 따른 명령어/정보 입력시스템을 통한 기기의 작동과정을 설명하기 위한 순서도이다. 앞의 도 1 내지 도 3을 함께 참고하면서 본 발명에 따른 명령어/정보 입력시스템을 통한 기기의 작동과정을 설명한다.
카메라(110)에서는 영상을 지속적으로 촬영하거나 수어모드 시작을 알리는 특정신호가 있으면 촬영을 시작할 수 있다(S1). 카메라(110)에서 촬영된 영상이 입력되는 것이 있으면, 수어모드의 영상인지 판단한다(S2). 카메라(110)에 인가되는 영상이 수어모드의 영상인지 여부는 수어를 하는 사람의 사전 정의된 특정 동작(예 "확인" 버튼 온/오프나 특정 수지신호 등)을 인식하여 수어영상의 입력시작 여부를 확인할 수 있다. 카메라(110)에서 인가되는 영상이 수어모드 영상이 아니라고 판단되면 무시한다. 카메라(110)에서 인가되는 영상이 정상적인 수어모드 영상이라고 판단되면 수어영상을 분석하여 수어영상에 대응하는 문자신호를 추출하고, 추출된 문자신호를 기기(200a)로 인가하여 기기(200a)의 명령어 또는 정보로 사용될 수 있게 하는 데, 그 과정을 더 자세히 설명한다.
카메라(110)에서 인가되는 영상이 정상적인 수어모드 영상이라고 판단되면 뼈마디 동역학 정보 추출기(126)는 카메라(110)에서 촬영된 영상을 인가받아 수어동작을 하는 사람의 뼈대에 대한 정보를 추출하고, 추출된 뼈대의 각 뼈의 뼈마디의 위치이동정보를 추출하여 애니메이션 데이터를 생성한다. 애니메이션 데이터에는 수지신호에 대한 수지 애니메이션 데이터와 비수지 애니메이션 데이터가 존재한다(S3).
생성된 애니메이션 데이터가 수지 애니메이션 데이터인지 여부를 판단하여 또는 미리 정해진 영역에 따라(S4), 수지 애니메이션 데이터인 경우 이를 수지신호 분석부(124a)로 인가하고, 수지신호 분석부(124a)에서 수지 애니메이션 데이터를 분석하여 수어사전 데이터베이스(122a)로부터 수지 애니메이션 데이터에 대응하는 단어를 추출한다(S5).
여기에서, 수지신호 분석과정은 수지신호를 지화신호와 수화신호로 구분하여 지화신호는 고유명사로 처리하고 수화신호에 대해서는 수어사전 데이터베이스(122a)를 검색하여 수화신호에 대응하는 확률이 가장 높은 단어를 검출한다.
또한, 수지신호 분석과정은 머신 비전 기술을 통한 수어 동작의 인식을 기반으로 하고 데이터 어그멘테이션 기법을 활용한 인공신경망 학습을 통해 수어사전 데이터베이스(122a)의 수어에 대한 뼈마디의 동역학정보를 학습한 프로그램에 의해 수행한다.
생성된 애니메이션 데이터가 수지 애니메이션 데이터인지 여부를 판단하여 또는 미리 정해진 영역에 따라(S4), 비수지 애니메이션 데이터인 경우 이를 비수지신호 분석부(124b)로 인가하고, 비수지신호 분석부(124b)는 비수지 애니메이션 데이터를 분석하여 비수지신호 데이터베이스(122b)로부터 비수지 애니메이션 데이터에 대응하는 단어를 추출한다(S6).
여기에서, 비수지신호 분석과정은 비수지신호(눈썹의 변형, 눈의 변형, 입모양, 머리의 기울기 변화 등)에 대해 비수지신호 데이터베이스(122b)를 검색하여 비수지신호에 대응하는 확률이 가장 높은 문장의 의미 또는 의향에 대한 정보를 가지는 문자신호 정보를 추출한다.
이러한 비수지신호 분석과정 또한 머신 비전 기술을 통한 수어 동작의 인식을 기반으로 하고 데이터 어그멘테이션 기법을 활용한 인공신경망 학습을 통해 비수지신호 데이터베이스의 수어에 대한 뼈마디의 동역학정보를 학습한 프로그램에 의해 수행한다.
수지신호 분석부(124a)에서의 수지신호 분석과정과 비수지신호 분석부(124b)에서의 비수지신호 분석과정에서 추출된 각각의 문자신호는 수어문장 생성기(128)로 인가되고, 수어문장 생성기(128)는 수지신호 분석부(124a)와 비수지신호 분석부(124b)에서 인가된 문자신호를 조합하여 수어문장에 대응하는 문자신호를 생성하고(S7), 본 발명에 따른 명령어/정보 입력시스템(100)에 연결된 기기(200a)로 인가한다(S8). 이때에 기기(200a)에 사용되는 명령어나 입력하기 위한 정보와 관련이 있는 단어사전(127)을 참고할 수 있다.
기기(200a)로 인가하는 과정에서의 기기(200a)로는 마이크로폰(210)으로 입력된 음성신호를 문자신호로 변환하는 음성/문자신호 변환부(220a)를 가지는 음성인식 소프트웨어(200)가 설치되어 있고, 마이크로폰(210)으로 입력되는 음성신호를 음성인식 소프트웨어(200)를 통해 문자신호로 변환하여 문자신호를 명령어로 받아들여서 작동하는 음성명령 작동 기기가 적당하다. 이렇게 음성명령 작동 기기(200a)로 인가된 문자신호는 음성명령 작동 기기(200a)의 명령어 또는 정보로 사용된다.
한편, 수어문장에 대응하는 문자신호를 생성할 때 또는 생성 전, 후에 진동기나 엘이디 등이 설치된 정상입력 확인부(129)로 정상입력신호를 인가하여 수어자(H)의 수어가 정상적으로 문자신호로 변환되었음을 피드백 한다(S9).
기기(200a)는 인가되는 문장형태의 문자신호를 문장분석기(220b)에서 분석하여(S10) 기기에 설치된 응용프로그램(230, application)의 명령어 또는 정보로 사용한다(S11).
본 발명은 청각장애인이 사용하기 위한 휴머노이드 로봇과 자율주행 차량 등 음성인식을 입력 기반으로 하는 각종 기기를 개발하는 데 사용될 가능성이 있다. 특히 본 발명은 청각장애인이 차량에 설치된 각종 기기에 명령어 또는 정보를 쉽게 입력할 수 있도록 하여 차량을 편리하게 이용할 수 있게 하기 위한 차량용 기기나 청각장애인용 차량 개발에 이용될 가능성이 있다.
100: 명령어/정보 입력시스템 110: 카메라
112: 수어 인식영역 112a: 수지신호 인식영역
112b: 비수지신호 인식영역 120: 수어/문자신호 변환기
122: 수어 데이터베이스 122a: 수어사전 데이터베이스
122b: 비수지신호 데이터베이스 124: 수어신호 분석부
124a: 수지신호 분석부 124b: 비수지신호 분석부
126: 뼈마디 동역학 정보 추출기 127: 단어사전
128: 수어문장 생성기 200: 차량
200a: 기기 210: 마이크로폰
220: 음성인식 소프트웨어 220a: 음성/문자신호 변환부
220b: 문장 분석기 230: 응용프로그램
112: 수어 인식영역 112a: 수지신호 인식영역
112b: 비수지신호 인식영역 120: 수어/문자신호 변환기
122: 수어 데이터베이스 122a: 수어사전 데이터베이스
122b: 비수지신호 데이터베이스 124: 수어신호 분석부
124a: 수지신호 분석부 124b: 비수지신호 분석부
126: 뼈마디 동역학 정보 추출기 127: 단어사전
128: 수어문장 생성기 200: 차량
200a: 기기 210: 마이크로폰
220: 음성인식 소프트웨어 220a: 음성/문자신호 변환부
220b: 문장 분석기 230: 응용프로그램
Claims (15)
- 수어동작에 대한 수어영상을 촬영하기 위한 카메라; 및
상기 수어영상에 대응하는 단어정보를 저장하고 있는 수어 데이터베이스와 상기 카메라에서 촬영된 상기 수어영상을 분석하여 상기 수어 데이터베이스로부터 상기 수어영상에 대응하는 문자신호를 추출하기 위한 수어신호 분석부를 가지며 상기 카메라에서 촬영된 상기 수어영상을 분석하여 상기 수어영상에 대응하는 상기 문자신호를 추출하고 추출된 상기 문자신호를 소정 기기로 인가하는 수어/문자신호 변환기를 포함하고,
상기 수어/문자신호 변환기는,
수지신호에 대응하는 단어에 대한 정보를 저장하고 있는 수어사전 데이터베이스;
인가되는 수지 애니메이션 데이터를 분석하여 상기 수어사전 데이터베이스로부터 상기 수지 애니메이션 데이터에 대응하는 단어를 추출하기 위한 수지신호 분석부;
비수지신호에 대응하는 단어에 대한 정보를 저장하고 있는 비수지신호 데이터베이스;
인가되는 비수지 애니메이션 데이터를 분석하여 상기 비수지신호 데이터베이스로부터 상기 비수지 애니메이션 데이터에 대응하는 단어를 추출하기 위한 비수지신호 분석부;
상기 카메라에서 촬영된 영상을 인가받아 상기 수어동작을 하는 사람의 뼈대에 대한 정보를 추출하고, 추출된 상기 뼈대의 각 뼈의 뼈마디의 3차원 위치이동정보를 추출하여 상기 수지 애니메이션 데이터와 상기 비수지 애니메이션 데이터를 생성하고, 생성된 상기 수지 애니메이션 데이터는 상기 수지신호 분석부로 인가하고 상기 비수지 애니메이션 데이터는 상기 비수지신호 분석부로 인가하기 위한 뼈마디 동역학 정보 추출기; 및
상기 수지신호 분석부와 상기 비수지신호 분석부에서 인가되는 신호를 조합하여 상기 수어영상에 대응하는 상기 문자신호를 생성하는 수어문장 생성기를 구비하여 구성되고,
상기 수어 데이터베이스는 상기 수어사전 데이터베이스와 상기 비수지신호 데이터베이스를 포함하고,
상기 수어신호 분석부는 상기 수지신호 분석부와 상기 비수지신호 분석부를 포함하고,
상기 수지신호 분석부와 상기 비수지신호 분석부는 머신 비전 기술을 통한 수어 동작의 인식을 기반으로 하고 데이터 어그멘테이션 기법을 활용한 인공신경망 학습을 통해 상기 수어사전 데이터베이스와 상기 비수지신호 데이터베이스의 수어에 대한 상기 뼈마디의 동역학정보를 학습한 것이고,
상기 카메라는 깊이 인식 카메라이고,
상기 뼈마디 동역학 정보 추출기는 미리 정해진 3차원 공간의 수어 인식영역에서 촬영된 동영상의 각 뼈의 상기 뼈마디의 3차원 위치이동정보를 분석하고,
상기 수어 인식영역은 3차원 공간의 수지신호 영역과 비수지신호 영역으로 구분되어 있고,
상기 수지신호 영역에서 촬영된 상기 수어영상의 상기 뼈마디의 3차원 위치이동정보는 상기 수지신호 분석부로 인가하고, 상기 비수지신호 영역에서 촬영된 상기 수어영상의 상기 뼈마디의 3차원 위치이동정보는 상기 비수지신호 분석부로 인가하고,
상기 수어영상의 입력시작 정보를 인가받기 위한 수어여부 확인부와 상기 수어영상이 정상적으로 입력되어 상기 문자신호로 변환되었음을 표시하기 위한 정상입력 확인부를 더 포함하고,
상기 수지신호 분석부는 상기 수지신호를 지화신호와 수화신호로 구분하여 상기 지화신호는 고유명사로 처리하고 상기 수화신호에 대해서는 상기 수어사전 데이터베이스를 검색하여 상기 수화신호에 대응하는 확률이 가장 높은 단어를 검출하고,
상기 비수지신호 분석부는 상기 비수지신호에 대해 상기 비수지신호 데이터베이스를 검색하여 상기 비수지신호에 대응하는 확률이 가장 높은 문장의 의미 또는 의향에 대한 정보를 가지는 단어를 추출하는 것을 특징으로 하는 명령어/정보 입력시스템. - 제1항에서, 상기 소정 기기는, 마이크로폰으로 입력된 음성신호를 문자신호로 변환하는 음성/문자신호 변환부를 가지는 음성인식 소프트웨어가 설치되어 있고 상기 음성신호를 상기 음성인식 소프트웨어를 통해 변환한 상기 문자신호를 명령어로 받아들여서 작동하는 음성명령 작동기기이고,
상기 수어/문자신호 변환기는 추출된 상기 문자신호를 상기 음성명령 작동기기의 상기 명령어로 사용될 수 있게 상기 음성명령 작동기기로 인가하는 것을 특징으로 하는 명령어/정보 입력시스템. - 제1항에서,
상기 소정 기기는 차량에 설치된 상기 차량의 제어장치 또는 네비게이션 장치를 포함하고,
상기 카메라는 앞좌석 앞쪽의 상기 차량 내부에 설치되고 미리 정해진 특정 영역에서의 상기 수어동작에 대한 상기 수어영상을 촬영하는 것임을 특징으로 하는 명령어/정보 입력시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 카메라로 수어동작에 대한 수어영상을 촬영하는 과정;
상기 카메라에서 촬영된 상기 수어영상을 분석하여 상기 수어영상에 대응하는 문자신호를 추출하는 수어/문자신호 변환과정; 및
추출된 상기 문자신호를 소정 기기로 인가하는 과정을 포함하고,
상기 수어/문자신호 변환과정은,
상기 카메라에서 촬영된 상기 수어영상을 인가받아 상기 수어동작을 하는 사람의 뼈대에 대한 정보를 추출하고, 추출된 상기 뼈대의 각 뼈의 뼈마디의 3차원 위치이동정보를 추출하여 수지 애니메이션 데이터와 비수지 애니메이션 데이터를 생성하는 뼈마디 동역학 정보 추출과정;
상기 수지 애니메이션 데이터를 분석하여 수지신호에 대응하는 단어에 대한 정보를 저장하고 있는 수어사전 데이터베이스로부터 상기 수지 애니메이션 데이터에 대응하는 단어를 추출하는 수지신호 분석과정;
상기 비수지 애니메이션 데이터를 분석하여 비수지신호에 대응하는 단어에 대한 정보를 저장하고 있는 비수지신호 데이터베이스로부터 상기 비수지 애니메이션 데이터에 대응하는 단어를 추출하는 비수지신호 분석과정;
상기 수지신호 분석과정과 상기 비수지신호 분석과정에서 추출된 단어를 조합하여 상기 수어영상에 대응하는 상기 문자신호를 생성하는 과정; 및
생성된 상기 문자신호를 상기 소정 기기로 인가하는 과정을 포함하고,
상기 수지신호 분석과정과 상기 비수지신호 분석과정은 머신 비전 기술을 통한 수어 동작의 인식을 기반으로 하고 데이터 어그멘테이션 기법을 활용한 인공신경망 학습을 통해 상기 수어사전 데이터베이스와 상기 비수지신호 데이터베이스의 수어에 대한 상기 뼈마디의 동역학정보를 학습한 프로그램에 의해 수행되고,
상기 수지신호 분석과정은 상기 수지신호를 지화신호와 수화신호로 구분하여 상기 지화신호는 고유명사로 처리하고 상기 수화신호에 대해서는 상기 수어사전 데이터베이스를 검색하여 상기 수화신호에 대응하는 확률이 가장 높은 단어를 검출하고,
상기 비수지신호 분석과정은 상기 비수지신호에 대해 상기 비수지신호 데이터베이스를 검색하여 상기 비수지신호에 대응하는 확률이 가장 높은 문장의 의미 또는 의향에 대한 정보를 가지는 단어를 추출하는 것을 포함하는 것을 특징으로 하는 명령어/정보 입력방법. - 삭제
- 제11항에서, 상기 소정 기기로 인가하는 과정은,
마이크로폰으로 입력된 음성신호를 문자신호로 변환하는 음성/문자신호 변환부를 가지는 음성인식 소프트웨어가 설치되어 있고 상기 음성신호를 상기 음성인식 소프트웨어를 통해 변환한 상기 문자신호를 명령어로 받아들여서 작동하는 음성명령 작동기기로 인가하여 상기 음성명령 작동기기의 상기 명령어로 사용될 수 있게 하는 것을 특징으로 하는 명령어/정보 입력방법. - 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180041843A KR101933150B1 (ko) | 2018-04-10 | 2018-04-10 | 명령어/정보 입력시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180041843A KR101933150B1 (ko) | 2018-04-10 | 2018-04-10 | 명령어/정보 입력시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101933150B1 true KR101933150B1 (ko) | 2018-12-27 |
Family
ID=64953312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180041843A KR101933150B1 (ko) | 2018-04-10 | 2018-04-10 | 명령어/정보 입력시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101933150B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021006401A1 (ko) * | 2019-07-11 | 2021-01-14 | 엘지전자 주식회사 | 자율주행시스템에서 차량의 제어 방법 및 그 장치 |
| KR20210056465A (ko) | 2019-11-08 | 2021-05-20 | 가톨릭관동대학교산학협력단 | 시각장애인을 위한 딥러닝 기반 자율주행차량 청각화 시스템 및 방법 |
| KR102460553B1 (ko) * | 2021-12-16 | 2022-10-31 | 주식회사 디블렌트 | 차량 내 신경망을 이용한 수어 응답 제공 방법, 장치 및 컴퓨터 프로그램 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101755086B1 (ko) * | 2012-04-02 | 2017-07-06 | 구글 인코포레이티드 | 제스처 기반 자동차 제어 |
-
2018
- 2018-04-10 KR KR1020180041843A patent/KR101933150B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101755086B1 (ko) * | 2012-04-02 | 2017-07-06 | 구글 인코포레이티드 | 제스처 기반 자동차 제어 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021006401A1 (ko) * | 2019-07-11 | 2021-01-14 | 엘지전자 주식회사 | 자율주행시스템에서 차량의 제어 방법 및 그 장치 |
| US11628851B2 (en) | 2019-07-11 | 2023-04-18 | Lg Electronics Inc. | Method and apparatus for controlling a vehicle in autonomous driving system |
| KR20210056465A (ko) | 2019-11-08 | 2021-05-20 | 가톨릭관동대학교산학협력단 | 시각장애인을 위한 딥러닝 기반 자율주행차량 청각화 시스템 및 방법 |
| KR102460553B1 (ko) * | 2021-12-16 | 2022-10-31 | 주식회사 디블렌트 | 차량 내 신경망을 이용한 수어 응답 제공 방법, 장치 및 컴퓨터 프로그램 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2018204246B2 (en) | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method | |
| Rossi et al. | An extensible architecture for robust multimodal human-robot communication | |
| KR101933150B1 (ko) | 명령어/정보 입력시스템 및 방법 | |
| KR102167760B1 (ko) | 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템 | |
| KR20010062767A (ko) | 정보 처리 장치, 정보 처리 방법 및 저장 매체 | |
| Krishnaraj et al. | A Glove based approach to recognize Indian Sign Languages | |
| Kakde et al. | A review paper on sign language recognition system for deaf and dumb people using image processing | |
| KR100730573B1 (ko) | 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템 | |
| JP2004066367A (ja) | 行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム | |
| KR20210073856A (ko) | 휴대용 수화 번역기 및 수화 번역 방법 | |
| Kunhoth et al. | VisualAid+: Assistive System for Visually Impaired with TinyML Enhanced Object Detection and Scene Narration | |
| Sivacoumare et al. | Ai quadruped robot assistant for the visually impaired | |
| Siby et al. | Gesture based real-time sign language recognition system | |
| Rehman et al. | A Real-Time Approach for Finger Spelling Interpretation Based on American Sign Language Using Neural Networks | |
| Elakkiya | Recognition of Russian and Indian sign languages used by the deaf people | |
| Truong et al. | A Vision-based Hand-sign Language Teaching System using Deep Neural Network: Methodology and Experiments | |
| Patel | Human robot interaction with cloud assisted voice control and vision system | |
| Flavia et al. | Hand Gesture Recognition using AI Algorithm for Hearing Impaired | |
| Muhammad Ghazali et al. | Malay Cued Speech Recognition Using Image Analysis: A Review | |
| Prema et al. | ANALYSIS ON DIFFERENT METHODS FOR SIGN LANGUAGE IDENTIFICATION. | |
| KR102460553B1 (ko) | 차량 내 신경망을 이용한 수어 응답 제공 방법, 장치 및 컴퓨터 프로그램 | |
| Rizan et al. | Guided Vision: A High Efficient And Low Latent Mobile App For Visually Impaired | |
| De Silva | Sign language translator for deaf and speech impaired people using convolutional neural network | |
| Thayaparan et al. | Digital Assistant for Visually Impaired People | |
| Caballero-Hernandez et al. | Translation of Mexican sign language into Spanish using machine learning and internet of things devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |