KR102242681B1 - 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템 - Google Patents
스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템 Download PDFInfo
- Publication number
- KR102242681B1 KR102242681B1 KR1020190022057A KR20190022057A KR102242681B1 KR 102242681 B1 KR102242681 B1 KR 102242681B1 KR 1020190022057 A KR1020190022057 A KR 1020190022057A KR 20190022057 A KR20190022057 A KR 20190022057A KR 102242681 B1 KR102242681 B1 KR 102242681B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- face
- image
- spatial
- wearable device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 31
- 239000011521 glass Substances 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000001815 facial effect Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 7
- 210000001747 pupil Anatomy 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 210000000887 face Anatomy 0.000 claims description 5
- 210000000056 organ Anatomy 0.000 abstract description 2
- 210000001508 eye Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 208000010415 Low Vision Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000004303 low vision Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G06K9/00201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G06K9/00221—
-
- G06K9/4652—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 스마트 웨어러블 디바이스, 이를 사용한 정보 인식 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 안경 타입의 웨어러블 디바이스상에 구비되는 카메라를 통해 3차원으로 얼굴을 감지하고 공간 정보를 수집하여 해당 얼굴 및 공간 정보를 사용자의 청각 기관을 통해 용이하게 확인 가능하도록 하기 위한 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템에 관한 것이다.
이를 위해 본 발명은, 안경 본체와; 착용자의 시선과 동일한 방향의 영상을 촬영하도록 상기 안경 본체 양측에 구비되는 스테레오 카메라와; 상기 스테레오 카메라가 촬영한 영상 정보를 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하는 메인보드와; 상기 메인보드가 변환한 3차원 데이터를 외부로 송신하거나 외부에서 전송되는 3차원 데이터와의 비교 정보를 메인보드가 처리 가능하도록 수신하기 위한 통신부와; 상기 3차원 데이터 및 비교 정보 중 적어도 어느 하나 이상을 음성으로 안내하기 위한 골전도 유닛과; 전원공급을 위한 배터리부와; 스테레오 카메라, 메인보드, 통신부, 골전도 유닛 및 배터리부 중 적어도 어느 하나 이상을 터치 방식으로 제어하기 위한 터치 콘트롤 센서;를 포함하는 것을 특징으로 한다.
이를 위해 본 발명은, 안경 본체와; 착용자의 시선과 동일한 방향의 영상을 촬영하도록 상기 안경 본체 양측에 구비되는 스테레오 카메라와; 상기 스테레오 카메라가 촬영한 영상 정보를 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하는 메인보드와; 상기 메인보드가 변환한 3차원 데이터를 외부로 송신하거나 외부에서 전송되는 3차원 데이터와의 비교 정보를 메인보드가 처리 가능하도록 수신하기 위한 통신부와; 상기 3차원 데이터 및 비교 정보 중 적어도 어느 하나 이상을 음성으로 안내하기 위한 골전도 유닛과; 전원공급을 위한 배터리부와; 스테레오 카메라, 메인보드, 통신부, 골전도 유닛 및 배터리부 중 적어도 어느 하나 이상을 터치 방식으로 제어하기 위한 터치 콘트롤 센서;를 포함하는 것을 특징으로 한다.
Description
본 발명은 스마트 웨어러블 디바이스, 이를 사용한 정보 인식 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 안경 타입의 웨어러블 디바이스상에 구비되는 카메라를 통해 3차원으로 얼굴을 감지하고 공간 정보를 수집하여 해당 얼굴 및 공간 정보를 사용자의 청각 기관을 통해 용이하게 확인 가능하도록 하기 위한 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템에 관한 것이다.
최근 스마트 폰이나 태블릿 컴퓨터 등과 같은 휴대용 전자 기기의 광범위한 보급과 더불어 스마트 밴드, 스마트 와치, 스마트 글래스 등과 같은 웨어러블 전자 기기의 보급도 점차 확산되고 있다.
웨어러블 전자 기기란, 일반적으로 팔찌, 시계, 안경 등과 같이 신체의 일부분에 착용할 수 있는 형태로 된 전자 기기를 뜻한다. 또한, 네트워크 연결이 가능하여 상호 데이터의 송수신이 가능한 전자 기기이다.
이러한 웨어러블 전자 기기는 인간의 신체의 일부분에 착용되어, 삶의 질을 향상하기 위해 사용되는 특성을 가지고 있는데, 이는 액세서리처럼 전자 기기를 몸에 단순히 착용만 하는 것이 아니라, 웨어러블 전자 기기 착용자와 가장 가까운 위치에서 소통할 수 있는 전자 기기이다.
웨어러블 전자 기기의 장점은 주변 환경의 상세한 정보나 착용자의 신체 변화를 실시간으로 끊이지 않고 지속적으로 수집할 수 있다는 것이다. 예를 들어, 스마트 글래스의 경우 시선 상에 있는 주변 정보의 기록 또는 확인이 가능하며, 스마트 밴드는 체온, 심장박동과 같은 생체신호의 꾸준한 수집이 가능하다.
특히, 안경 형태의 스마트 웨어러블 디바이스는 부착된 카메라나 센서 작동 시점이 사용자 시선과 거의 동일하다는 것이 가장 큰 특징으로, 사용자 시선에 집중되는 정보를 인식하고 취합하는 기능이야말로 안경 형태 스마트 디바이스의 운영과 사용성에 가장 핵심적인 부분이라고 할 수 있다.
기존 안경 형태의 웨어러블 디바이스는 스마트폰의 기능을 안경으로 옮기는 데만 급급해서 필수적인 정보 인식 기능이 결여되어 있는데, 여기에 장치된 카메라는 사용자가 보는 장면을 비디오나 스냅샷으로 기록하는 수단에 불과하기 때문에 아직까지는 이러한 기기를 통해 시야에 인식되는 사람이 누군지 구분할 수 없을 뿐만 아니라 만나는 인물과 연결된 중요 정보 또한 안내 받을 수도 없다.
또한, 사람이 실외나 건물 실내에 있을 경우, 사용자 시선과 일치하도록 카메라가 디바이스에 장착되었을지라도 지형이나 물체를 정확하게 파악하기는 어려운 이유로 현재 위치에 대한 판단은 사용자의 시선에 전적으로 의존할 수 밖에 없는 문제점이 있다.
본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 안경 타입의 웨어러블 디바이스상에 구비되는 카메라를 통해 3차원으로 얼굴을 감지하고 공간 정보를 수집하여 해당 얼굴 및 공간 정보를 사용자의 청각 기관을 통해 용이하게 확인 가능하도록 하기 위한 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위하여, 본 발명은, 안경 본체와; 착용자의 시선과 동일한 방향의 영상을 촬영하도록 상기 안경 본체 양측에 구비되는 스테레오 카메라와; 상기 스테레오 카메라가 촬영한 영상 정보를 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하는 메인보드와; 상기 메인보드가 변환한 3차원 데이터를 외부로 송신하거나 외부에서 전송되는 3차원 데이터와의 비교 정보를 메인보드가 처리 가능하도록 수신하기 위한 통신부와; 상기 3차원 데이터 및 비교 정보 중 적어도 어느 하나 이상을 음성으로 안내하기 위한 골전도 유닛과; 전원공급을 위한 배터리부와; 스테레오 카메라, 메인보드, 통신부, 골전도 유닛 및 배터리부 중 적어도 어느 하나 이상을 터치 방식으로 제어하기 위한 터치 콘트롤 센서;를 포함하되, 상기 3차원 데이터 또는 비교 정보에 기초하여 위험상황을 진동으로 통보하기 위한 진동 유닛과, 눈의 움직임을 추적하여 시선에 존재하는 대상을 확인하기 위해 눈에 빛을 비춰 반사되는 점과 동공의 상대 위치를 계산하여 시선을 추정하는 시선 추적 유닛과, 시간, GPS, 가속도, 각속도, 고도 및 자외선을 측정하여 현재 시간, 위치 좌표, 사용자 자세, 이동 상황, 지표면으로부터의 고도 및 실내외 어느 곳에 있는지 여부를 확인하기 위한 환경 감지 유닛을 더 구비하고, 상기 스테레오 카메라가 촬영한 영상 정보로부터 문자를 인식하여 메인보드가 골전도 유닛을 통해 음성으로 출력 가능하며, 상기 스테레오 카메라가 포착하는 영상 정보로부터 시선 추적 유닛이 확인한 대상을 매칭시켜 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하는 것을 특징으로 한다.
여기서, 상기 메인보드 및 통신부는 안경 본체의 양측 다리 중 일측에 설치되고 배터리부는 타측에 설치되며, 상기 골전도 유닛은 안경 본체의 귀걸이 부분에 설치되고, 상기 터치 콘트롤 센서는 안경 본체의 양측 다리 중 어느 하나의 외측면에 구비되는 것을 특징으로 한다.
또는, 상기 메인보드 및 통신부는 안경 본체의 안경 렌즈 상측에 설치되고, 상기 골전도 유닛 및 배터리부는 안경 본체의 귀걸이 부분에 설치되고, 상기 터치 콘트롤 센서는 안경 본체의 양측 다리 중 적어도 어느 하나로부터 일체로 연장되도록 설치되는 것을 특징으로 한다.
또한, 실내 또는 실외의 GPS 정보, 공간 정보 및 사물 정보 중 적어도 어느 하나 이상을 2차원 바코드 형식으로 코드화한 정보 표시자를 상기 스테레오 카메라를 통해 인식하여 골전도 유닛에서 해당 정보를 음성으로 출력하는 것을 특징으로 한다.
삭제
삭제
한편으로, 본 발명은, 안경 본체에 구비되는 일측 스테레오 카메라로 얼굴이 포착되는지 지속적으로 확인하는 단계와; 일정 거리 내 얼굴이 포착되면 양측 스테레오 카메라가 고해상도 이미지로 해당 얼굴을 촬영하는 단계와; 양측 스테레오 카메라가 촬영한 각각의 고해상도 이미지에서 얼굴 부분을 제외한 나머지 부분을 제거한 후 얼굴이 정면에 위치하도록 비틀림을 정렬하여 한 쌍의 얼굴 이미지를 생성하는 단계와; 특정 색상을 기준으로 한 쌍의 얼굴 이미지를 가장 밝은 색상부터 가장 어두운 색상까지 노멀라이즈하는 단계와; 노멀라이즈된 한 쌍의 얼굴 이미지의 Z값의 차이로부터 디스패리티(disparity) 이미지를 추출하는 단계와; 노멀라이즈된 한 쌍의 얼굴 이미지에서 XY값을 갖는 2차원 데이터로 얼굴 특징을 추출하는 단계와; 2차원 데이터로 추출된 얼굴 특징에 디스패리티 이미지를 통해 Z값을 부여하여 3차원 얼굴 이미지를 생성하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 3차원 얼굴 이미지와 얼굴 정보 DB에 사전 저장된 얼굴 정보를 비교한 얼굴 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 얼굴 이미지를 얼굴 정보 DB에 저장하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 양측의 스테레오 카메라가 촬영한 각각의 공간 이미지를 특정 색상을 기준으로 가장 밝은 색상부터 가장 어두운 색상까지 노멀라이즈하는 단계와; 노멀라이즈된 공간 이미지간 차이를 통해 Z값을 계산할 수 있는 디스패리티 이미지를 추출하는 단계와; 노멀라이즈된 공간 이미지에서 색상차를 통해 XY값의 2차원으로 엣지 및 면을 추출하는 단계와; 추출된 디스패리티 이미지와 2차원 엣지 및 면에 디스패리티 이미지 통해 Z값을 부여하여 3차원 공간 이미지를 생성하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 공간 정보 DB에 사전 저장된 실내 또는 실외의 GPS 정보, 공간 정보 및 사물 정보 중 적어도 어느 하나와 3차원 공간 이미지를 비교한 공간 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 공간 이미지 및 위치 정보를 공간 정보 DB에 저장하는 단계를 더 포함하는 것을 특징으로 한다.
또 한편으로, 본 발명은, 상기 스마트 웨어러블 디바이스와 근거리 무선 통신 가능한 휴대용 단말기와; 상기 휴대용 단말기를 통해 3차원 데이터를 수신하고 비교 정보를 생성하여 스마트 웨어러블 디바이스로 전송하기 위한 프로세싱 서버;를 포함하는 것을 특징으로 한다.
이상과 같은 본 발명에 따른 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템은 안경 형태의 디바이스를 통해 얼굴 및 공간 정보를 착용자가 청각적으로 용이하게 인식하도록 구현함에 따라, 별도의 장비를 휴대할 필요 없이 두 손 이용이 자유로운 환경에서 사용자의 시선과 동일한 시점으로 데이터 수집이 가능할 뿐 아니라 골전도 스피커를 통해 신호음 또는 음성신호로 변환된 정보를 사용자에게 실시간 전달하는 것이 가능하다.
또한, 두 개의 카메라를 통해 수집한 3차원 정보에 더하여, 부가적으로 시간, GPS, 고도, 자외선, 가속도, 각속도 등의 데이터 등을 인식할 수 있도록 함으로써, 사용자의 일상생활에 편의를 주는 각종 환경 정보들을 보다 입체적으로 제공하여 사용자의 스케줄 및 대인관계 정보를 조직화하고 관리하는데 편의성을 제공할 수 있다.
추가적으로, 인식된 공간정보를 각종 재난과 응급상황에서 대피 및 구조에 필요한 핵심정보로 활용할 수 있으며, 시각 장애인의 안전한 보행을 보조하는데 활용되거나, 치매노인, 유아, 애완동물 등의 소재 파악을 위해서도 활용될 수 있다.
도 1은 본 발명에 따른 스마트 웨어러블 디바이스의 구성요소를 도시한 블록도.
도 2는 본 발명에 따른 스마트 웨어러블 디바이스 구조의 일 실시예를 도시한 도면.
도 3은 본 발명에 따른 스마트 웨어러블 디바이스 구조의 다른 실시예를 도시한 도면.
도 4는 본 발명에서의 3차원 얼굴 인식 프로세스의 일례를 도시한 순서도.
도 5는 본 발명에서의 3차원 공간 정보 인식 프로세스의 일례를 도시한 순서도.
도 6은 본 발명에 따른 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 시스템을 개략적으로 도시한 도면.
도 2는 본 발명에 따른 스마트 웨어러블 디바이스 구조의 일 실시예를 도시한 도면.
도 3은 본 발명에 따른 스마트 웨어러블 디바이스 구조의 다른 실시예를 도시한 도면.
도 4는 본 발명에서의 3차원 얼굴 인식 프로세스의 일례를 도시한 순서도.
도 5는 본 발명에서의 3차원 공간 정보 인식 프로세스의 일례를 도시한 순서도.
도 6은 본 발명에 따른 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 시스템을 개략적으로 도시한 도면.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 도면을 참조로 하여 본 발명에 따른 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템을 설명하기로 한다.
도 1은 본 발명에 따른 스마트 웨어러블 디바이스의 구성요소를 도시한 블록도이다.
본 발명의 스마트 웨어러블 디바이스는 기본적으로 안경 본체와, 스테레오 카메라와, 메인보드와, 통신부와, 골전도 유닛과, 배터리부와, 터치 콘트롤 센서를 포함하여 구성된다.
보다 구체적으로, 본 발명에 따른 스마트 웨어러블 디바이스는 안경 본체와, 착용자의 시선과 동일한 방향의 영상을 촬영하도록 안경 본체 양측에 구비되는 스테레오 카메라와, 스테레오 카메라가 촬영한 영상 정보를 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하는 메인보드와, 메인보드가 변환한 3차원 데이터를 외부로 송신하거나 외부에서 전송되는 3차원 데이터와의 비교 정보를 메인보드가 처리 가능하도록 수신하기 위한 통신부와, 3차원 데이터, 비교 정보 등을 음성으로 안내하기 위한 골전도 유닛과, 각 전기적 구성요소에 전원을 공급하기 위한 배터리부와, 스테레오 카메라, 메인보드, 통신부, 골전도 유닛, 배터리부 등을 터치 방식으로 제어하기 위한 터치 콘트롤 센서를 포함하여 이루어진다.
아래에서는 본 발명의 스마트 웨어러블 디바이스 구조를 실시예를 통해 살펴보기로 한다.
도 2는 본 발명에 따른 스마트 웨어러블 디바이스 구조의 일 실시예를 도시한 도면이다.
일 실시예는 상기 메인보드 및 통신부가 안경 본체의 양측 다리 중 일측에 설치되고 배터리부가 타측에 설치되며, 골전도 유닛이 안경 본체의 귀걸이 부분에 설치되고, 터치 콘트롤 센서가 안경 본체의 양측 다리 중 어느 하나의 외측면에 구비되는 것을 들 수 있다.
기술된 바와 같은 구조는 안경 렌즈 둘레를 보호하는 부분을 갖고 안경 다리 크기가 비교적 큰 보편적인 형상의 안경 프레임에 각 구성요소를 설치하는데 적합한 것으로, 면적이 가장 넓은 안경 다리 부분에 메인보드, 통신부, 배터리부 및 터치 콘트롤 센서가 위치되도록 하며, 특히 터치 콘트롤 센서는 디바이스 착용 상태에서 사용자가 손쉽게 손으로 터치할 수 있는 안경 다리의 외측면에 노출되도록 하는 것이 바람직하다.
또한, 상기 골전도 유닛은 3차원 데이터, 비교 정보 등을 착용자가 귀로 듣기 용이하도록 안경의 귀걸이 부분 양쪽에 설치하는 것이 바람직하다.
도 3은 본 발명에 따른 스마트 웨어러블 디바이스 구조의 다른 실시예를 도시한 도면이다.
다른 실시예는 상기 메인보드 및 통신부가 안경 본체의 안경 렌즈 상측에 설치되고, 골전도 유닛 및 배터리부가 안경 본체의 귀걸이 부분에 설치되며, 터치 콘트롤 센서가 안경 본체의 양측 다리 중 적어도 어느 하나로부터 일체로 연장되도록 설치되는 것을 들 수 있다.
이러한 구조는 안경 렌즈 둘레를 보호하는 부분이 없고 다리가 얇은 안경 프레임에 각 구성요소를 설치하는데 적합한 것으로, 크기가 큰 메인보드 및 통신부가 안경 렌즈 위쪽에 설치되도록 하고, 터치 콘트롤 센서는 사용자가 접촉하기 쉬운 다리쪽에 길이방향을 따라 설치되며, 골전도 유닛 및 배터리부는 귀걸이 부분에 설치되도록 함으로써, 부피가 작은 안경 프레임에 각 구성요소들이 착용 시 불편하지 않은 상태로 공간 효율성을 고려하여 배치될 수 있다.
아래에서는 본 발명의 디바이스에 적용되는 추가적인 구성요소 및 기능에 대해 살펴보기로 한다.
본 발명의 디바이스는 상기 3차원 데이터 또는 비교 정보에 기초하여 위험상황을 진동으로 통보하기 위한 진동 유닛을 포함할 수 있으며, 이러한 진동 유닛은 골전도 유닛을 통해 음성이나 소리로 전달되는 알람이 대부분의 상황에서 청각적으로 정보를 제공하는데 충분히 기능할 수 있으나, 재난, 위험물 근접과 같은 위험 상황을 포함한 긴급한 상황을 사용자에게 통보할 때는 불충분할 수 있기 때문에, 이 경우 디바이스가 진동하면서 상황의 심각성을 사용자에게 바로 전달하도록 기능하게 된다.
또한, 상기 스테레오 카메라가 촬영한 영상 정보로부터 문자를 인식하여 메인보드가 골전도 유닛을 통해 음성으로 출력 가능하도록 함으로써, 고령자, 저시력자, 청각 장애인 등을 위해서 책, 표지판, 간판 등에 활자로 인쇄된 글자를 필요에 따라 소리로 읽어주도록 하는 편의성을 제공할 수 있다.
또한, 실내 또는 실외의 GPS 정보, 공간 정보, 사물 정보 등을 2차원 바코드 형식으로 코드화한 정보 표시자를 스테레오 카메라를 통해 인식하여 골전도 유닛에서 해당 정보를 음성으로 출력하는 방식도 고려될 수 있으며, 이를 실제 적용할 시에는 실내외의 정확한 GPS 좌표(위치), 환경, 명칭, 용도 등에 대한 정보를 2차원 바코드 형식으로 코드화한 표시자를 특정 위치에 직접 인쇄하거나 부착하여 디바이스를 통해 사용자가 해당 정보를 쉽고 빠르게 인식하도록 지원할 수 있다.
참고로, 상기 정보 표시자는 인쇄 스티커 형태로 붙이나 사물 표면에 직접 인쇄될 수 있고, 정보를 산출하기 위한 별도의 프로세스나 연산 작업이 필요하지 않고 정확한 위치 및 기타 정보를 특정할 수 있기 때문에, 예로써 화장실, 쓰레기통 등에 구비되도록 하여 즉각적으로 다양한 정보를 사용자에게 알릴 수 있다.
추가적으로, 본 발명의 디바이스는 눈의 움직임을 추적하여 시선에 존재하는 대상을 확인하기 위한 시선 추적 유닛을 구비하여, 스테레오 카메라가 포착하는 영상 정보로부터 시선 추적 유닛이 확인한 대상을 매칭시켜 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환할 수 있는데, 이는 사용자가 바라보는 인물이나 물체, 책의 특정 글자, 장소 등을 보다 정교하게 인식하도록 기능하여 사용자가 집중적으로 바라보는 인물, 기타 대상을 더욱 정확하게 스폿팅할 수 있음에 따라, 예를 들어 책 전체를 읽는 것이 아니라 사용자가 주목하는 글자만을 음성으로 출력한다던가 바라보는 장소에 대한 정보 등을 정확하게 알려주도록 하는데 일조할 수 있다.
부수적으로, 상기 시선 추적 유닛이 작동하는 방식의 일례는 다음과 같다.
눈은 뇌에서 발달한 감각 기관으로 뇌와 정보를 주고받으며 수없이 움직이고, 사람의 시야는 180도 정도지만 보이는 전부에 초점을 맞출 수 있는 것은 아니며, 실제로 초점이 정확히 맞는 시야는 2도 정도로 매우 좁다. 이 각도에서 벗어날수록 점점 희미하고 색감이 떨어지며, 시야 속 어딘가를 바라보고자 할 때는 초점을 맞춰야 하며 눈은 이를 위해 스스로 계속 움직인다. 이러한 움직임은 사람마다 다르지만 대략 1초 사이에 3~4번 정도 이뤄진다. 눈이 이렇게 움직이는 중에도 동공 크기는 빛의 강도나 감정 상태에 따라 변화한다. 동공의 크기는 우리가 스스로 변화시킬 수 있는 것이 아니라, 긴장했을 때 나도 모르게 심장이 더 빨리 뛰는 것처럼 저절로 바뀌는 것이다.
이러한 안구의 특성을 파악하여 개발된 시선 추적 기술은 동공의 움직임을 통해 눈이 어디를 바라보고 있는지 파악하는 것으로, 가장 많이 쓰이고 있는 방식은 눈에 빛을 비췄을 때 반사되는 점과 동공의 상대 위치를 계산해 시선을 추정하게 되며, 특히 적외선 빛을 눈에 쐬어주면 동공이 검정색으로 도드라져 크기 변화를 관찰할 수 있고 안구 표면, 즉 각막에서는 빛이 반사된 점이 확연히 빛나 시선 위치를 계산하기 쉽게 된다.
본 발명의 스마트 웨어러블 디바이스는 시간, GPS, 가속도, 각속도, 고도, 자외선 등을 측정하기 위한 환경 감지 유닛을 더 구비할 수 있는데, 이러한 환경 감지 유닛에 따르면, 현재 시간, 위치 좌표, 사용자 자세, 이동 상황, 지표면으로부터의 고도, 실내외 어느 곳에 있는지의 확인 등이 산출될 수 있음에 따라 외부(예: 이하 기술되는 프로세싱 서버)와 연계하여 더욱 정밀한 위치 정보를 판단하도록 하는데 기여할 수 있게 된다.
특히, 실내에 있는데도 GPS 신호가 실외로 위치를 특정하는 경우 또한 매우 흔하기 때문에, 디바이스 사용자의 현재 위치가 실내인지 실외인지 구분하여 정보를 취합하는 것이 매우 중요하며, 이를 위해 자외선량 변화를 측정하여 현재 위치를 실내외 구분하기 위한 중요한 지표로 삼아 빠르게 외부에서 제공받을 수 있는 위치 데이터에 빠르게 접근할 수 있다.
한편으로, 본 발명에 따른 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 방법 안경 본체에 구비되는 일측 스테레오 카메라로 얼굴이 포착되는지 지속적으로 확인하는 단계와, 일정 거리 내 얼굴이 포착되면 양측 스테레오 카메라가 고해상도 이미지로 해당 얼굴을 촬영하는 단계와, 양측 스테레오 카메라가 촬영한 각각의 고해상도 이미지에서 얼굴 부분을 제외한 나머지 부분을 제거한 후 얼굴이 정면에 위치하도록 비틀림을 정렬하여 한 쌍의 얼굴 이미지를 생성하는 단계와, 특정 색상을 기준으로 한 쌍의 얼굴 이미지를 가장 밝은 색상부터 가장 어두운 색상까지 노멀라이즈하는 단계와, 노멀라이즈된 한 쌍의 얼굴 이미지의 Z값의 차이로부터 디스패리티(disparity) 이미지를 추출하는 단계와, 노멀라이즈된 한 쌍의 얼굴 이미지에서 XY값을 갖는 2차원 데이터로 얼굴 특징을 추출하는 단계와, 2차원 데이터로 추출된 얼굴 특징에 디스패리티 이미지를 통해 Z값을 부여하여 3차원 얼굴 이미지를 생성하는 단계를 포함하여 이루어질 수 있다.
여기서, 3차원 얼굴 이미지와 얼굴 정보 DB에 사전 저장된 얼굴 정보를 비교한 얼굴 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 얼굴 이미지를 얼굴 정보 DB에 저장하는 단계를 더 포함할 수 있다.
도 4는 본 발명에서의 3차원 얼굴 인식 프로세스의 일례를 도시한 순서도.
도 4를 참조로 하여, 본 발명에 따른 3차원 얼굴 인식 프로세스의 일례를 살펴보면 다음과 같다.
1. 일측 스테레오 카메라로 저해상도 얼굴 이미지 확인(L 카메라 이미지)
2. 얼굴 포착(Face Detecting)
3. 일정 거리 내 얼굴 이미지가 포착되었는지 확인(의미있는 이미지 포착)
1) 얼굴 이미지 포착되지 않으면 과정 1로 복귀
2) 얼굴 이미지 포착되면 다음 단계 진행
4. 양측 스테레오 카메라로 고해상도 이미지 촬영(L 카메라 고해상 이미지, R 카메라 고해상 이미지)
5. 고해상도 이미지 정리, 비틀림 정렬 통해 얼굴 이미지 생성 후 색상 노멀라이즈(이미지 크랍, 정렬, 노멀라이즈)
6. 노멀라이즈된 얼굴 이미지로부터 디스패리티 이미지 추출(Disparity 이미지 추출)
7. 노멀라이즈된 2차원 데이터로 얼굴 특징 추출(얼굴 특징 추출)
8. 추출된 얼굴 특징에 Z값 부여하여 3차원화(얼굴 특징 3차원화)
9. 3차원 얼굴 이미지와 얼굴 DB에 저장된 얼굴 정보 비교(인물 검색 비교)
10. 처음 만난 얼굴인지 확인(처음 만남인가?)
1) 처음 만난 얼굴이면 3차원 얼굴 이미지 및 디바이스로부터 제공되는 인물 추가정보를 얼굴 DB에 입력(3차원 얼굴 데이터, 인물 추가정보 입력)
2) 처음 만난 얼굴이 아니면 다음 단계 진행
11. 디바이스를 통해 인물정보 음성으로 출력(인물 정보 출력)
또한, 본 발명은 양측의 스테레오 카메라가 촬영한 각각의 공간 이미지에서 색상차를 통해 XY값의 2차원으로 엣지 및 면을 추출하는 단계와, 한 쌍의 공간 이미지간 차이를 통해 Z값을 계산할 수 있는 디스패리티 이미지를 추출하는 단계와, 추출된 2차원 엣지 및 면에 디스패리티 이미지 통해 Z값을 부여하여 3차원 공간 이미지를 생성하는 단계를 포함할 수 있다.
여기서, 공간 정보 DB에 사전 저장된 실내 또는 실외의 GPS 정보, 공간 정보 및 사물 정보 중 적어도 어느 하나와 3차원 공간 이미지를 비교한 공간 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 공간 이미지 및 위치 정보를 공간 정보 DB에 저장하는 단계를 더 포함할 수 있다.
또한, 환경 감지 유닛이 파악하는 GPS 위치/고도/가속도/각속도/시간/자외선 등의 환경정보, 통신부가 파악하는 Wifi/비콘 등에 의한 실내 위치 정보와 3차원 공간 이미지를 비교함으로써 더욱 정밀한 공간 비교 정보를 생성할 수 있다.
본 발명의 스마트 웨어러블 디바이스는 시간, GPS, 가속도, 각속도, 고도, 자외선 등을 측정하기 위한 환경 감지 유닛을 더 구비할 수 있는데, 이러한 환경 감지 유닛에 따르면, 현재 시간, 위치 좌표, 사용자 자세, 이동 상황, 지표면으로부터의 고도, 실내외 어느 곳에 있는지의 확인 등이 산출될 수 있음에 따라 외부(예: 이하 기술되는 프로세싱 서버)와 연계하여 더욱 정밀한 위치 정보를 판단하도록 하는데 기여할 수 있게 된다.
도 5는 본 발명에서의 3차원 공간 정보 인식 프로세스의 일례를 도시한 순서도이다.
도 5를 참조로 하여, 본 발명에 따른 3차원 공간 정보 인식 프로세스의 일례를 살펴보면 다음과 같다.
1. 양측 스테레오 카메라로 공간 이미지 포착(L 카메라 이미지, R 카메라 이미지)
2. 포착된 공간 이미지를 특정 색상을 기준으로 노멀라이즈(노멀라이즈)
3. 노멀라이즈된 이미지에서 디스패리티 이미지 추출(Disparity 이미지 추출)
4. 노멀라이즈된 이미지에서 2차원으로 엣지 및 면 추출(면, 엣지 추출)
5. 추출된 2차원 엣지 및 면에 디스패리티 이미지를 통해 Z값을 부여하여 3차원 공간 이미지 생성(3차원 형상화)
6. 3차원 공간 이미지와 공간 정보 DB(예: 공공 건축물 DB, 위치 사진 DB, 정밀 3D 위치 정보 DB), 환경 정보(GPS 위치 정보, Wifi, 비콘 등 실내 위치 정보, 고도계 등 자체 센서 정보) 비교를 통해 위치 탐색(위치 비교 탐색)
7. 3차원 공간 이미지가 미확인 장소인지의 여부 확인(미확인 장소인가?)
1) 미확인 장소이면 디바이스를 통해 위치 정보를 확인하여 공간 정보 DB(예: 위치 사진 DB, 정밀 3D 위치 정보 DB)에 입력(위치 정보 확인 입력)
2) 이미 확인된 장소이면 디바이스가 음성으로 위치 정보 출력(정밀 위치값 출력)
도 6은 본 발명에 따른 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 시스템을 개략적으로 도시한 도면이다.
또 한편으로, 본 발명에 따른 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 시스템 상기 스마트 웨어러블 디바이스와 근거리 무선 통신 가능한 휴대용 단말기와, 휴대용 단말기를 통해 3차원 데이터를 수신하고 비교 정보를 생성하여 스마트 웨어러블 디바이스로 전송하기 위한 프로세싱 서버를 포함할 수 있다.
기술된 바와 같은 시스템은 디바이스가 전송하는 3차원 얼굴 특징에 대한 다중 해상도 파일을 프로세싱 서버에 구비되는 얼굴 정보 DB로 분류 및 저장하여 관리하게 되는데, 독립적인 해상도를 갖는 3D 벡터 파일을 포함하여 저해상도부터 고해상도 이미지까지 점층적으로 쌓아서 분류/저장/관리하게 된다.
이를 통해, 얼굴 이미지가 저해상도로 포착된 경우에도 빠르게 인물 인식 범위를 좁혀가면서 인식 속도를 높일 수 있고, 얼굴 특징을 큰 범위의 분류부터 미세한 범위까지 확인하면서 빠르게 얼굴 정보 DB에 접근할 수 있게 된다.
또한, 저해상도 이미지로만 얼굴이 포착되었을 때, 정확한 얼굴 인식을 위하여 이미지의 화질을 높일 필요가 있는 이유로, 이럴 때 사용자나 대상의 움직임에 의해 연속적으로 생성된 이미지를 1픽셀 단위 이하로 정렬시키고 합쳐 이미지의 화질을 향상시킬 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.
Claims (13)
- 안경 본체와; 착용자의 시선과 동일한 방향의 영상을 촬영하도록 상기 안경 본체 양측에 구비되는 스테레오 카메라와; 상기 스테레오 카메라가 촬영한 영상 정보를 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하는 메인보드와; 상기 메인보드가 변환한 3차원 데이터를 외부로 송신하거나 외부에서 전송되는 3차원 데이터와의 비교 정보를 메인보드가 처리 가능하도록 수신하기 위한 통신부와; 상기 3차원 데이터 및 비교 정보 중 적어도 어느 하나 이상을 음성으로 안내하기 위한 골전도 유닛과; 전원공급을 위한 배터리부와; 스테레오 카메라, 메인보드, 통신부, 골전도 유닛 및 배터리부 중 적어도 어느 하나 이상을 터치 방식으로 제어하기 위한 터치 콘트롤 센서;를 포함하되,
상기 3차원 데이터 또는 비교 정보에 기초하여 위험상황을 진동으로 통보하기 위한 진동 유닛과, 눈의 움직임을 추적하여 시선에 존재하는 대상을 확인하기 위해 눈에 빛을 비춰 반사되는 점과 동공의 상대 위치를 계산하여 시선을 추정하는 시선 추적 유닛과, 시간, GPS, 가속도, 각속도, 고도 및 자외선을 측정하여 현재 시간, 위치 좌표, 사용자 자세, 이동 상황, 지표면으로부터의 고도 및 실내외 어느 곳에 있는지 여부를 확인하기 위한 환경 감지 유닛을 더 구비하고,
상기 스테레오 카메라가 촬영한 영상 정보로부터 문자를 인식하여 메인보드가 골전도 유닛을 통해 음성으로 출력 가능하며,
상기 스테레오 카메라가 포착하는 영상 정보로부터 시선 추적 유닛이 확인한 대상을 매칭시켜 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하는 것을 특징으로 하는 스마트 웨어러블 디바이스.
- 청구항 1에 있어서,
상기 메인보드 및 통신부는 안경 본체의 양측 다리 중 일측에 설치되고 배터리부는 타측에 설치되며,
상기 골전도 유닛은 안경 본체의 귀걸이 부분에 설치되고,
상기 터치 콘트롤 센서는 안경 본체의 양측 다리 중 어느 하나의 외측면에 구비되는 것을 특징으로 하는 스마트 웨어러블 디바이스.
- 청구항 1에 있어서,
상기 메인보드 및 통신부는 안경 본체의 안경 렌즈 상측에 설치되고,
상기 골전도 유닛 및 배터리부는 안경 본체의 귀걸이 부분에 설치되고,
상기 터치 콘트롤 센서는 안경 본체의 양측 다리 중 적어도 어느 하나로부터 일체로 연장되도록 설치되는 것을 특징으로 하는 스마트 웨어러블 디바이스.
- 삭제
- 삭제
- 청구항 1에 있어서,
실내 또는 실외의 GPS 정보, 공간 정보 및 사물 정보 중 적어도 어느 하나 이상을 2차원 바코드 형식으로 코드화한 정보 표시자를 상기 스테레오 카메라를 통해 인식하여 골전도 유닛에서 해당 정보를 음성으로 출력하는 것을 특징으로 하는 스마트 웨어러블 디바이스.
- 삭제
- 삭제
- 청구항 1 내지 청구항 3 및 청구항 6 중 어느 한 항에 따른 디바이스를 사용한 인식 방법에 있어서,
안경 본체에 구비되는 일측 스테레오 카메라로 얼굴이 포착되는지 지속적으로 확인하는 단계와;
일정 거리 내 얼굴이 포착되면 양측 스테레오 카메라가 고해상도 이미지로 해당 얼굴을 촬영하는 단계와;
양측 스테레오 카메라가 촬영한 각각의 고해상도 이미지에서 얼굴 부분을 제외한 나머지 부분을 제거한 후 얼굴이 정면에 위치하도록 비틀림을 정렬하여 한 쌍의 얼굴 이미지를 생성하는 단계와;
특정 색상을 기준으로 한 쌍의 얼굴 이미지를 가장 밝은 색상부터 가장 어두운 색상까지 노멀라이즈하는 단계와;
노멀라이즈된 한 쌍의 얼굴 이미지의 Z값의 차이로부터 디스패리티(disparity) 이미지를 추출하는 단계와;
노멀라이즈된 한 쌍의 얼굴 이미지에서 XY값을 갖는 2차원 데이터로 얼굴 특징을 추출하는 단계와;
2차원 데이터로 추출된 얼굴 특징에 디스패리티 이미지를 통해 Z값을 부여하여 3차원 얼굴 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 방법.
- 청구항 9에 있어서,
3차원 얼굴 이미지와 얼굴 정보 DB에 사전 저장된 얼굴 정보를 비교한 얼굴 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 얼굴 이미지를 얼굴 정보 DB에 저장하는 단계를 더 포함하는 것을 특징으로 하는 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 방법.
- 청구항 10에 있어서,
양측의 스테레오 카메라가 촬영한 각각의 공간 이미지를 특정 색상을 기준으로 가장 밝은 색상부터 가장 어두운 색상까지 노멀라이즈하는 단계와;
노멀라이즈된 공간 이미지간 차이를 통해 Z값을 계산할 수 있는 디스패리티 이미지를 추출하는 단계와;
노멀라이즈된 공간 이미지에서 색상차를 통해 XY값의 2차원으로 엣지 및 면을 추출하는 단계와;
추출된 디스패리티 이미지와 2차원 엣지 및 면에 디스패리티 이미지 통해 Z값을 부여하여 3차원 공간 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 방법.
- 청구항 11에 있어서,
공간 정보 DB에 사전 저장된 실내 또는 실외의 GPS 정보, 공간 정보 및 사물 정보 중 적어도 어느 하나와 3차원 공간 이미지를 비교한 공간 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 공간 이미지 및 위치 정보를 공간 정보 DB에 저장하는 단계를 더 포함하는 것을 특징으로 하는 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 방법.
- 청구항 12에 따른 방법 사용한 인식 시스템에 있어서,
상기 스마트 웨어러블 디바이스와 근거리 무선 통신 가능한 휴대용 단말기와;
상기 휴대용 단말기를 통해 3차원 데이터를 수신하고 비교 정보를 생성하여 스마트 웨어러블 디바이스로 전송하기 위한 프로세싱 서버;를 포함하는 것을 특징으로 하는 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190022057A KR102242681B1 (ko) | 2019-02-25 | 2019-02-25 | 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190022057A KR102242681B1 (ko) | 2019-02-25 | 2019-02-25 | 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200103929A KR20200103929A (ko) | 2020-09-03 |
| KR102242681B1 true KR102242681B1 (ko) | 2021-04-27 |
Family
ID=72450210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190022057A KR102242681B1 (ko) | 2019-02-25 | 2019-02-25 | 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102242681B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932672B (zh) * | 2020-09-14 | 2021-03-09 | 江苏原力数字科技股份有限公司 | 一种基于机器学习自动生成超写实3d面部模型的方法 |
| KR102324066B1 (ko) * | 2020-12-16 | 2021-11-09 | 한국해양과학기술원 | 컨테이너 검수 시스템, 장비 정보 원격 지원 시스템 및 장비 정보 원격 지원 방법 |
| JP2022110223A (ja) * | 2021-01-18 | 2022-07-29 | 日本電気株式会社 | 情報提供装置、情報提供方法及びプログラム |
| WO2023106610A1 (ko) * | 2021-12-08 | 2023-06-15 | 삼성전자 주식회사 | 컨텐츠 및 비전 처리를 위한 분산 시스템이 구현된 웨어러블 전자 장치 |
| EP4418072A1 (en) | 2021-12-08 | 2024-08-21 | Samsung Electronics Co., Ltd. | Wearable electronic device having implemented distribution system for content and vision processing |
| CN116602636B (zh) * | 2023-07-10 | 2024-02-02 | 深圳小澈科技有限公司 | 一种基于智能手表的眼部健康监测系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101053253B1 (ko) * | 2009-09-01 | 2011-08-02 | (주)실리콘화일 | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 |
| KR101908102B1 (ko) * | 2010-12-27 | 2018-10-15 | 엘지이노텍 주식회사 | 입체영상 촬영 기능을 구비한 안경 |
| KR101571815B1 (ko) | 2013-11-29 | 2015-11-26 | 주식회사 이랜텍 | 카메라 영상 정합 기능을 갖는 시스루 스마트 안경 |
| KR101646503B1 (ko) * | 2014-12-17 | 2016-08-09 | 경북대학교 산학협력단 | 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 |
| KR20170009658A (ko) | 2015-07-17 | 2017-01-25 | 조동현 | 스마트 안경 |
-
2019
- 2019-02-25 KR KR1020190022057A patent/KR102242681B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200103929A (ko) | 2020-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102242681B1 (ko) | 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템 | |
| US10178292B2 (en) | Wearable apparatus with wide viewing angle image sensor | |
| US10571715B2 (en) | Adaptive visual assistive device | |
| US9436887B2 (en) | Apparatus and method for automatic action selection based on image context | |
| US9035970B2 (en) | Constraint based information inference | |
| US9105210B2 (en) | Multi-node poster location | |
| KR101564387B1 (ko) | 광 기준 신호의 지원을 받는 응시점의 검출 | |
| EP3286619B1 (en) | A scene image analysis module | |
| KR101765838B1 (ko) | 시각 장애인을 위한 착용형 장치 | |
| CN104473717A (zh) | 针对全盲人群的可穿戴式引导设备 | |
| CN104983511A (zh) | 针对全盲视觉障碍者的语音帮助智能眼镜系统 | |
| US10867527B2 (en) | Process and wearable device equipped with stereoscopic vision for helping the user | |
| US20030048928A1 (en) | Technique for providing simulated vision | |
| KR20090105531A (ko) | 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치 | |
| US11240596B2 (en) | Systems and methods for directing audio output of a wearable apparatus | |
| KR20190069919A (ko) | 시각 장애인용 보행 보조 장치 및 시스템 | |
| KR20090036183A (ko) | 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치 | |
| KR20160015142A (ko) | 글라스형 웨어러블 디바이스를 이용한 긴급시 비상연락방법 및 프로그램 | |
| CN112002186B (zh) | 一种基于增强现实技术的信息无障碍系统及方法 | |
| US11493959B2 (en) | Wearable apparatus and methods for providing transcription and/or summary | |
| US20220311979A1 (en) | Wearable apparatus for projecting information | |
| EP3882894B1 (en) | Seeing aid for a visually impaired individual | |
| KR20160097785A (ko) | 글래스 타입 단말기 및 그 제어 방법 | |
| WO2019053509A2 (en) | USER-ENHANCED CLUTCH CAMERA SYSTEM WITH VARIABLE IMAGE PROCESSING | |
| KR20180082729A (ko) | 웨어러블 스마트 안경 디바이스 및 이를 이용한 영상이미지 표시방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |