KR102349543B1 - 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법 - Google Patents

사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법 Download PDF

Info

Publication number
KR102349543B1
KR102349543B1 KR1020160155600A KR20160155600A KR102349543B1 KR 102349543 B1 KR102349543 B1 KR 102349543B1 KR 1020160155600 A KR1020160155600 A KR 1020160155600A KR 20160155600 A KR20160155600 A KR 20160155600A KR 102349543 B1 KR102349543 B1 KR 102349543B1
Authority
KR
South Korea
Prior art keywords
illuminance
low
image
user
eyes
Prior art date
Application number
KR1020160155600A
Other languages
English (en)
Other versions
KR20180057225A (ko
Inventor
강동우
허진구
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160155600A priority Critical patent/KR102349543B1/ko
Priority to US15/810,730 priority patent/US10628947B2/en
Publication of KR20180057225A publication Critical patent/KR20180057225A/ko
Priority to US16/822,204 priority patent/US11417003B2/en
Application granted granted Critical
Publication of KR102349543B1 publication Critical patent/KR102349543B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

일 실시예에 따른 사용자의 눈을 추적하는 방법 및 장치는 사용자의 영상을 획득하고, 사용자의 영상이 촬영되는 시점의 조도를 획득하며, 획득된 조도를 기초로, 고조도에서 동작하는 고조도 눈추적기 및 저조도에서 동작하는 저조도 눈추적기 중 적어도 하나를 구동하여 사용자의 영상으로부터 추적한 사용자의 눈의 좌표를 출력한다.

Description

사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법{EYE-TRACKING METHOD AND APPARATUS AND GENERATING METHOD OF INVERSE TRANSFORMED LOW LIGHT IMAGE}
아래의 실시예들은 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법에 관한 것이다.
카메라 기반 눈추적 기술은 예를 들어, 시점 추적 기반의 무안경 3D 초다시점 디스플레이 등 많은 분야에서 활용될 수 있다. 카메라 기반 눈추적기는 밝은 고조도 환경(예를 들어, 400 Lux)에서는 잘 동작하나, 저조도 환경에서는 카메라 영상의 낮은 품질로 인해 잘 동작하지 않는다.
한편, 밝은 곳뿐만 아니라 어두운 곳에서도 TV 시청, 모바일 기기의 사용 등이 빈번하고, 차세대 차량용 3D HUD(Head-up display) 기술에서도 밤 운전이 고려되어야 하므로 저조도에서 잘 동작하는 눈추적기가 요구된다.
일 실시예에 따르면, 사용자의 눈을 추적하는 방법은 사용자의 영상을 획득하는 단계; 상기 사용자의 영상이 촬영되는 시점의 조도를 획득하는 단계; 및 상기획득된 조도를 기초로, 고조도에서 동작하는 고조도 눈추적기 및 저조도에서 동작하는 저조도 눈추적기 중 적어도 하나를 구동하여 상기 사용자의 영상으로부터 추적한 상기 사용자의 눈의 좌표를 출력하는 단계를 포함한다.
상기 고조도 눈추적기는 상기 고조도에서 촬영된 고조도 영상들을 포함하는 고조도 데이터베이스에 기초한 기계 학습에 의해 학습되고, 상기 저조도 눈추적기는 상기 고조도 영상들을 저조도로 역변환한 영상들을 포함하는 저조도 데이터베이스에 기초한 기계 학습에 의해 학습될 수 있다.
상기 저조도로 역변환된 영상들은 상기 고조도 데이터베이스에 기초한 기계 학습에 의해 학습된 특징점들을 포함할 수 있다.
상기 저조도 데이터베이스는 저조도에서 촬영한 저조도 영상들을 이용하여 미리 모델링한 저조도 기준 영상의 영상 히스토그램 특성을 상기 고조도 영상에 적용시킴으로써 생성된 상기 역변환 영상들을 포함할 수 있다.
상기 저조도 데이터베이스는 상기 저조도 기준 영상의 영상 히스토그램 특성에 더하여 상기 저조도 기준 영상의 노이즈 성분을 상기 고조도 영상에 적용시킴으로써 생성된 상기 역변환한 영상들을 포함할 수 있다.
상기 고조도 눈추적기 및 상기 저조도 눈추적기 각각은 상기 사용자의 영상으로부터 상기 사용자의 눈에 대응한 특징점을 인식하는 복수의 분류기(classifier)를 포함할 수 있다.
상기 사용자의 눈의 좌표를 출력하도록 제어하는 단계는 상기 획득된 조도를 미리 설정된 기준치와 비교하는 단계; 상기 획득된 조도가 상기 기준치보다 작거나 같은 경우, 상기 저조도 눈추적기를 구동하여 상기 사용자의 영상으로부터 추적한 상기 사용자의 눈의 좌표를 출력하는 단계; 및 상기 획득된 조도가 상기 기준치보다 큰 경우, 상기 고조도 눈추적기를 구동하여 상기 사용자의 영상으로부터 추적한 상기 사용자의 눈의 좌표를 출력하는 단계를 포함할 수 있다.
상기 미리 설정된 기준치는 10 룩스(lux)일 수 있다.
상기 사용자의 영상을 획득하는 단계는 하나의 이미지 센서를 이용하여 상기 사용자의 영상을 촬영하는 단계를 포함할 수 있다.
일 실시예에 따르면, 역변환된 저조도 영상을 생성하는 방법은 저조도에서 촬영한 저조도 영상들을 이용하여 저조도 기준 영상을 모델링하는 단계; 상기 저조도 기준 영상의 영상 히스토그램 특성을 획득하는 단계; 고조도에서 촬영된 고조도 영상의 영상 히스토그램에서 밝기를 조정하여 어두운 영상을 생성하는 단계; 및 상기 어두운 영상에 상기 저조도 기준 영상의 영상 히스토그램 특성을 적용하여 저조도 영상으로 역변환하는 단계를 포함한다.
상기 역변환된 저조도 영상을 생성하는 방법은 상기 저조도 기준 영상의 노이즈 성분을 획득하는 단계를 더 포함하고, 상기 저조도 영상으로 역변환하는 단계는 상기 어두운 영상에 상기 저조도 기준 영상의 노이즈 성분 및 상기 저조도 기준 영상의 영상 히스토그램 특성을 적용하여 상기 저조도 영상으로 역변환하는 단계를 포함할 수 있다.
상기 저조도 기준 영상의 노이즈 성분은 상기 저조도 기준 영상의 가우시안 노이즈 및 상기 저조도 기준 영상의 포아송 노이즈 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 사용자의 눈을 추적하는 장치는 사용자의 영상을 촬영하는 이미지 센서; 상기 사용자의 영상이 촬영된 시점의 조도를 측정하는 조도 센서; 고조도에서 동작하는 고조도 눈추적기; 저조도에서 동작하는 저조도 눈추적기; 및 상기 측정된 조도를 기초로 상기 고조도 눈추적기 및 상기 저조도 눈추적기 중 적어도 하나를 구동하여 상기 사용자의 영상으로부터 추적한 상기 사용자의 눈의 좌표를 출력하도록 제어하는 프로세서를 포함한다.
상기 고조도 눈추적기는 상기 고조도에서 촬영된 고조도 영상들을 포함하는 고조도 데이터베이스에 기초한 기계 학습에 의해 학습되고, 상기 저조도 눈추적기는 상기 고조도 영상들을 저조도로 역변환한 영상들을 포함하는 저조도 데이터베이스에 기초한 기계 학습에 의해 학습될 수 있다.
상기 저조도 데이터베이스는 저조도에서 촬영한 저조도 영상들을 이용하여 미리 모델링한 저조도 기준 영상의 영상 히스토그램 특성을 상기 고조도 영상에 적용시킴으로써 생성된 상기 역변환 영상들을 포함할 수 있다.
상기 저조도 데이터베이스는 상기 저조도 기준 영상의 영상 히스토그램 특성에 더하여 상기 저조도 기준 영상의 노이즈 성분을 상기 고조도 영상에 적용시킴으로써 생성된 상기 역변환한 영상들을 포함할 수 있다.
일 실시예에 따르면, 저조도 눈추적기는 고조도 영상들을 저조도로 역변환한 영상들을 포함하는 저조도 데이터베이스; 및 상기 저조도 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터에 의해 사용자의 저조도 영상을 처리하여 상기 사용자의 눈의 좌표를 출력하는 이미지 프로세서를 포함한다.
상기 저조도 데이터베이스는 저조도에서 촬영한 저조도 영상들을 이용하여 미리 모델링한 저조도 기준 영상의 영상 히스토그램 특성을 상기 고조도 영상에 적용시킴으로써 생성된 상기 역변환 영상들을 포함할 수 있다.
상기 저조도 데이터베이스는 상기 저조도 기준 영상의 영상 히스토그램 특성에 더하여 상기 저조도 기준 영상의 노이즈 성분을 상기 고조도 영상에 적용시킴으로써 생성된 상기 역변환한 영상들을 포함할 수 있다.
도 1은 일 실시예에 따른 사용자의 눈을 추적하는 방법을 나타낸 흐름도.
도 2는 일 실시예에 따라 사용자의 눈의 좌표를 출력하는 방법을 나타낸 흐름도.
도 3은 일 실시예에 따른 역변환된 저조도 영상을 생성하는 방법을 개념적으로 설명하기 위한 도면.
도 4는 일 실시예에 따른 역변환된 저조도 영상을 생성하는 방법을 설명하기 위한 도면.
도 5는 일 실시예에 따른 역변환된 저조도 영상을 포함하는 저조도 데이터베이스를 생성하는 방법을 나타낸 흐름도.
도 6은 일 실시예에 따른 사용자의 눈을 추적하는 장치의 블록도.
도 7은 일 실시예에 따른 저조도 눈추적기의 블록도.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
하기에서 설명될 실시예들은 조도가 낮은 어두운 환경에서 무안경 3D 모니터, 무안경 3D 태블릿/스마트폰, 및 차량용 3D HUD (Head-up display) 등을 이용하는 경우에 사용자의 눈을 추적하여 눈의 좌표를 출력하는 데에 활용될 수 있다. 또한, 실시예들은 예를 들어, 모니터 내의 칩에 소프트웨어 알고리즘의 형태로 구현되거나, 태블릿/스마트 폰에서 앱의 형태로도 구현 가능하며, 하드웨어 눈추적 장치로도 구현될 수 있다. 실시예들은 예를 들어, 자율 주행 자동차, 지능형 자동차, 스마트 폰, 및 모바일 기기 등에 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 사용자의 눈을 추적하는 방법을 나타낸 흐름도이다. 도 1을 참조하면, 일 실시예에 따른 사용자의 눈을 추적하는 장치(이하, '추적 장치')는 사용자의 영상을 획득한다(110). 사용자의 영상은 예를 들어, 사용자의 얼굴 영상 또는 사용자의 얼굴을 포함하는 신체 영상이 수 있다.
추적 장치는 예를 들어, 추적 장치에 포함된 촬영 장치 또는 이미지 센서 등에 의해 직접 촬영된 사용자의 영상을 획득할 수도 있다. 추적 장치는 하나의 촬영 장치 또는 하나의 이미지 센서를 이용하여 사용자의 영상을 촬영할 수 있다. 또는 추적 장치는 추적 장치 외부에서 촬영된 사용자의 영상을 수신할 수도 있다. 이미지 센서는 예를 들어, CMOS 이미지 센서, 비전 센서 등을 포함할 수 있다.
추적 장치는 사용자의 영상이 촬영되는 시점의 조도를 획득한다(130). 추적 장치는 예를 들어, 사용자의 영상을 촬영한 촬영 장치에서 감지된 조도 및/또는 사용자의 위치에서 감지된 조도를 획득할 수 있다. 추적 장치는 예를 들어, 추적 장치 내에 포함된 조도 센서에 의해 조도를 감지할 수도 있고, 추적 장치 외부의 별도의 조도 센서로부터 감지된 결과를 수신할 수도 있다.
추적 장치는 획득된 조도를 기초로, 고조도에서 동작하는 고조도 눈추적기 및 저조도에서 동작하는 저조도 눈추적기 중 적어도 하나를 구동하여 사용자의 영상으로부터 추적한 사용자의 눈의 좌표를 출력한다(150). 고조도 눈추적기 및 저조도 눈추적기 각각은 사용자의 영상으로부터 사용자의 눈에 대응한 특징점을 인식하는 복수의 분류기(classifier)를 포함할 수 있다.
분류기는 예를 들어, ASM(Active Shape Model) 방법, AAM(Active Appearance Model) 방법, 및 SDM(Supervised Descent Method) 방법 등을 사용하여 사용자의 영상의 얼굴 영역으로부터 사용자의 눈, 코에 해당하는 랜드마트들(특징점)들을 인식할 수 있다.
고조도 눈추적기는 예를 들어, 사용자의 얼굴로부터 눈을 중심으로 눈과 코에 해당하는 특정점들을 인식하는 미리 학습된 분류기들에 의해 사용자의 눈을 추적하여 눈의 좌표를 출력할 수 있다. 이 때 고조도 눈추적기를 통해 확보된 눈, 코에 해당하는 특징점들은 저조도로 역변환된 영상에도 그대로 이용되어 학습될 수 있다. 저조도 데이터베이스에 포함된 저조도로 역변환된 영상들은 고조도 데이터베이스에 기초한 기계 학습에 의해 학습된 특징점들을 동일하게 포함할 수 있다.
기계 학습은 예를 들어, 아다부스트(adaptive boosting) 또는 SVM(Support Vector Machine) 방식에 의해 수행될 수 있으며, 반드시 이에 한정되는 것은 아니고, 이 밖의 다양한 학습 방법들이 적용될 수 있다.
저조도 데이터베이스는 저조도에서 촬영한 저조도 영상들을 이용하여 미리 모델링한 저조도 기준 영상의 영상 히스토그램 특성을 고조도 영상에 적용시킴으로써 생성된 역변환 영상들을 포함할 수 있다. 저조도 데이터베이스는 저조도 기준 영상의 영상 히스토그램 특성에 더하여 저조도 기준 영상의 노이즈 성분을 고조도 영상에 적용시킴으로써 생성된 역변환한 영상들을 포함할 수 있다.
추적 장치가 사용자의 눈의 좌표를 출력하도록 제어하는 방법은 도 2를 참조하여 구체적으로 설명한다.
도 2는 일 실시예에 따라 사용자의 눈의 좌표를 출력하는 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 추적 장치는 획득된 조도를 미리 설정된 기준치와 비교할 수 있다(210). 이때, 미리 설정된 기준치는 예를 들어, 10 룩스(lux)일 수 있다.
추적 장치는 획득된 조도가 기준치보다 작거나 같은 경우, 저조도 눈추적기를 구동하여 사용자의 영상으로부터 추적한 사용자의 눈의 좌표를 출력할 수 있다(220). 추적 장치는 예를 들어, 획득된 조도가 기준치인 10 룩스(lux)보다 작거나 같은 경우, 저조도로 판단하여 저조도 눈추적기를 구동할 수 있다. 저조도 눈추적기는 예를 들어, 고조도 영상들을 저조도로 역변환한 영상들을 포함하는 저조도 데이터베이스에 기초한 기계 학습에 의해 학습된 것일 수 있다. 저조도 눈추적기는 저조도 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터에 의해 사용자의 저조도 영상을 처리하여 사용자의 눈의 좌표를 출력할 수 있다.
추적 장치는 획득된 조도가 기준치보다 큰 경우, 고조도 눈추적기를 구동하여 사용자의 영상으로부터 추적한 사용자의 눈의 좌표를 출력할 수 있다(230). 추적 장치는 예를 들어, 획득된 조도가 기준치인 10 룩스(lux)보다 큰 경우, 고조도로 판단하여 고조도 눈추적기를 구동할 수 있다. 고조도 눈추적기는 고조도 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터에 의해 사용자의 고조도 영상을 처리하여 사용자의 눈의 좌표를 출력할 수 있다.
도 3은 일 실시예에 따른 역변환된 저조도 영상을 생성하는 방법을 개념적으로 설명하기 위한 도면이다. 도 3을 참조하면, 단계(301) 내지 단계(307)에 의해 수행되는 영상 개선(image enhancement) 과정 및 단계(310) 내지 단계(330)에 의해 수행되는 역변환된 저조도 영상을 생성하는 과정이 도시된다.
일 실시예에 따른 역변환된 저조도 영상은 영상 개선 방법을 역으로 이용하여 생성되므로, 역변환된 저조도 영상 방법에 앞서, 영상 개선 방법에 대하여 살펴본다.
영상 개선 방법은 흐리고 어둡거나, 잡음 등에 의해 불명확한 입력 영상을 특별한 응용 목적을 위해 좀더 적합한 영상으로 개선하여 인식이 용이하도록 하는 영상 처리 방법으로서 크게 단계(301) 내지 단계(307)의 과정으로 수행될 수 있다.
예를 들어, 저조도 영상이 입력되면(301), 저조도 영상에 대해 영상을 깨끗하고 뚜렷하게 만드는 히스토그램 평활화(histogram equalization)가 수행될 수 있다(303). 히스토그램 평활화는 콘트라스트 조정(contrast adjustment) 등에 의해 영상의 픽셀들 값을 균일하게 분산시켜 영상 전체의 가능한 영역을 모두 채움으로써 영상을 깨끗하고 뚜렷하게 만들 수 있다. 히스토그램 평활화에는 예를 들어, 균일 함수(Uniform function) 또는 가우시안 함수(Gaussian function)가 사용될 수 있다.
히스토그램 평활화를 거친 저조도 영상은 노이즈 제거(Noise Removal)(305)를 거쳐 최종적으로 개선된 영상(고조도 영상)으로 출력될 수 있다(307). 노이즈 제거는 예를 들어, 다양한 노이즈 필터들을 사용하거나, 또는 노이즈를 제거하는 방사 보정(Radiometric Correction) 등 다양한 알고리즘들에 의해 수행될 수 있다.
일 실시예에서는 상술한 저조도 영상에서 고조도 영상을 생성하는 과정을 역으로 수행하는 역변환을 통해 고조도 영상으로부터 저조도 영상을 생성할 수 있다.
예를 들어, 고조도 영상이 입력되면, 생성 장치는 고조도 영상에 노이즈를 추가할 수 있다(310). 이때, 노이즈는 평균적인 저조도 영상의 노이즈일 수 있다. 평균적인 저조도 영상의 노이즈는 예를 들어, 평균적인 저조도 영상의 가우시안 노이즈(Gaussian Noise) 또는 평균적인 저조도 영상의 포아송 노이즈(Poisson noise)일 수 있다. 가우시안 노이즈는 정규 분포를 가지는 일반적인 잡음에 해당할 수 있다. 포아송 노이즈는 포아송 분포 노이즈(Poisson distribution noise)에 해당할 수 있다.
생성 장치는 노이즈가 추가된 고조도 영상에 대하여 히스토그램 특화(histogram specification)(330)를 수행하여 저조도 영상으로 역변환할 수 있다. 히스토그램 특화는 해당 영상의 히스토그램이 특정 히스토그램과 일치하도록 변환하는 것이다. 생성 장치는 저조도에서 촬영환 영상의 영상 히스토그램 특성을 고조도 영상에 적용시키는 방식으로 역변환을 수행할 수 있다. 보다 구체적으로, 생성 장치는 노이즈가 추가된 고조도 영상의 히스토그램이 저조도 영상의 히스토그램과 일치하도록 변환함으로써 고조도 영상으로부터 역변환된 저조도 영상을 생성할 수 있다. 생성 장치가 역변환된 저조도 영상을 생성하여 저조도 데이터베이스를 구성하는 방법은 도 4 내지 도 5를 참조하여 구체적으로 설명한다.
일 실시예에서는 고조도 영상을 역변환하여 저조도 영상을 생성함으로써 별도의 저조도 영상들이 없이도 고조도 데이터베이스에 저장된 고조도 영상들을 활용하여 저조도 눈추적기의 학습을 위한 저조도 데이터베이스를 구축할 수 있다.
도 4는 일 실시예에 따른 역변환된 저조도 영상을 생성하는 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 사용자의 얼굴을 나타내는 다수의 영상들(410, 420, 430, 440) 및 영상들(410, 420, 430, 440) 각각에 대응하여 영상 히스토그램을 나타낸 그래프들(415,425,435,445)이 도시된다.
고조도 영상(410)은 450 룩스의 고조도에서 촬영된 고조도 영상이다.
저조도 기준 영상(420)은 10 룩스의 저조도에서 촬영한 저조도 영상들을 이용하여 모델링한 영상이다.
어두운 영상(430)은 고조도 영상(410)의 영상 히스토그램에서 밝기를 10룩스의 저조도로 조정하여 생성한 영상이다.
역변환 영상(440)은 어두운 영상(430)에 저조도 기준 영상(420)의 영상 히스토그램 특성을 적용하여 저조도 영상으로 역변환한 영상이다.
전술한 바와 같이 일 실시예에 따른 저조도 데이터베이스에 포함된 역변환 영상은 고조도 영상을 저조도 영상으로 역변환하여 생성된 것이다. 고조도 영상을 저조도 영상으로 역변환하는 방법은 다음과 같다.
생성 장치는 예를 들어, 10 룩스의 저조도에서 촬영한 다수의 저조도 영상들을 이용하여 저조도 기준 영상(420)을 모델링하고, 그래프(425)와 같은 저조도 기준 영상의 영상 히스토그램 특성을 획득할 수 있다. 그래프(425)는 저조도 기준 영상(420)의 영상 히스토그램 특성에 해당하므로 히스토그램이 125 이하의 인텐시티(intensity)에서 몰려서 나타나는 것을 볼 수 있다.
생성 장치는 고조도 영상(410)으로부터 어두운 영상(430)을 생성할 수 있다. 생성 장치는 고조도 영상(410)의 영상 히스토그램에서 밝기를 조정하여 어두운 영상(430)을 생성할 수 있다. 생성 장치는 예를 들어, 고조도 영상(410)의 그래프(415)에서 히스토그램을 왼쪽으로 쉬프트(shift)시켜 밝기를 125 이하의 인텐시티로 조정함으로써 그래프(435)를 가지는 어두운 영상(430)을 생성할 수 있다.
생성 장치는 어두운 영상(430)에 저조도 기준 영상(420)의 영상 히스토그램 특성, 다시 말해 그래프(425)에 나타난 영상 히스토그램 특성을 적용하여 저조도 영상(440)으로 역변환할 수 있다. 이때, 저조도 영상(440)의 영상 히스토그램은 어두운 영상(430)의 영상 히스토그램의 특성과 저조도 기준 영상(420)의 영상 히스토그램 특성이 결합되어 그래프(445)와 같은 형태로 나타날 수 있다.
도 5는 일 실시예에 따른 역변환된 저조도 영상을 포함하는 저조도 데이터베이스를 생성하는 방법을 나타낸 흐름도이다. 도 5를 참조하면, 일 실시예에 따른 저조도 데이터베이스를 생성하는 장치(이하, '생성 장치')는 저조도에서 촬영한 저조도 영상들을 이용하여 저조도 기준 영상을 모델링한다(510). 생성 장치는 예를 들어, 10 룩스의 저조도에서 촬영한 다수의 저조도 영상들을 이용하여 저조도 기준 영상을 모델링할 수 있다, 저조도 기준 영상은 객체마다에 대하여 모델링될 수 있다. 예를 들어, 저조도 기준 영상은 사람, 고양이 개 등과 같은 서로 다른 객체 또는 서로 다른 종 별로 모델링될 수 있다. 저조도 기준 영상은 예를 들어, 도 4의 영상(420)과 같이 모델링될 수 있다.
생성 장치는 저조도 기준 영상의 영상 히스토그램 특성을 획득한다(520). 저조도 기준 영상의 영상 히스토그램 특성은 예를 들어, 도 4의 그래프(425)와 같이 나타날 수 있다.
생성 장치는 고조도에서 촬영된 고조도 영상의 영상 히스토그램에서 밝기(light)를 조정하여 어두운 영상을 생성한다(530). 생성 장치는 예를 들어, 고조도 영상의 영상 히스토그램을 쉬프트(shift)시켜 밝기를 저조도와 같이 조정함으로써 어두운 영상을 생성할 수 있다.
생성 장치는 어두운 영상에 저조도 기준 영상의 영상 히스토그램 특성을 적용하여 저조도 영상으로 역변환한다(540).
실시예에 따라서, 생성 장치는 저조도 기준 영상의 노이즈 성분을 더 획득할 수 있다. 이 경우, 생성 장치는 단계(530)에서 생성된 어두운 영상에 저조도 기준 영상의 노이즈 성분 및 저조도 기준 영상의 영상 히스토그램 특성을 적용하여 저조도 영상으로 역변환할 수 있다. 저조도 기준 영상의 노이즈 성분은 예를 들어, 저조도 기준 영상의 가우시안 노이즈 및 저조도 기준 영상의 포아송 노이즈 등을 포함할 수 있다.
생성 장치는 역변환된 저조도 영상을 저조도 데이터베이스에 저장할 수 있다(550).
도 6은 일 실시예에 따른 사용자의 눈을 추적하는 장치의 블록도이다. 도 6을 참조하면, 일 실시예에 따른 사용자의 눈을 추적하는 장치(이하, '추적 장치')(600)는 이미지 센서(610), 조도 센서(620), 프로세서(630), 저조도 눈추적기(640), 및 고조도 눈추적기(650)를 포함한다. 추적 장치(600)는 메모리(660)를 더 포함할 수 있다.
이미지 센서(610)는 사용자의 영상을 촬영한다.
조도 센서(620)는 사용자의 영상이 촬영된 시점의 조도를 측정한다.
프로세서(630)는 측정된 조도를 기초로 저조도 눈추적기(640) 및 고조도 눈추적기(650) 중 적어도 하나를 구동하여 사용자의 영상으로부터 추적한 사용자의 눈의 좌표를 출력하도록 제어한다.
프로세서(630)는 이 밖에도, 도 1 내지 도 5를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 프로세서(630)는 프로그램을 실행하고, 추적 장치(600)를 제어할 수 있다. 프로세서(630)에 의하여 실행되는 프로그램 코드는 메모리(660)에 저장될 수 있다.
저조도 눈추적기(640)는 저조도에서 동작하며 사용자의 영상으로부터 사용자의 눈의 위치를 추적하여 눈의 좌표를 출력할 수 있다. 저조도 눈추적기(640)는 고조도 영상들을 저조도로 역변환한 영상들을 포함하는 저조도 데이터베이스에 기초한 기계 학습에 의해 학습될 수 있다. 저조도 데이터베이스는 저조도에서 촬영한 저조도 영상들을 이용하여 미리 모델링한 저조도 기준 영상의 영상 히스토그램 특성을 고조도 영상에 적용시킴으로써 생성된 역변환 영상들을 포함할 수 있다. 또한, 저조도 데이터베이스는 저조도 기준 영상의 영상 히스토그램 특성에 더하여 저조도 기준 영상의 노이즈 성분을 고조도 영상에 적용시킴으로써 생성된 역변환한 영상들을 포함할 수 있다.
고조도 눈추적기(650)는 고조도에서 동작하며 사용자의 영상으로부터 사용자의 눈의 위치를 추적하여 눈의 좌표를 출력할 수 있다. 고조도 눈추적기(650)는 고조도에서 촬영된 고조도 영상들을 포함하는 고조도 데이터베이스에 기초한 기계 학습에 의해 학습될 수 있다.
메모리(660)는 이미지 센서(610)가 촬영한 사용자의 영상 및/또는 저조도 눈추적기(640), 고조도 눈추적기(650)가 출력하는 사용자의 눈의 좌표를 저장할 수 있다. 실시예에 따라서, 메모리(660)는 저조도 데이터베이스 및 고조도 데이터베이스를 포함할 수도 있다.
또한, 메모리(660)는 상술한 프로세서(630)에서의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(660)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(660)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(660)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
도 7은 일 실시예에 따른 저조도 눈추적기의 블록도이다. 도 7을 참조하면, 일 실시예에 따른 저조도 눈추적기(700)는 저조도 데이터베이스(710) 및 이미지 프로세서(730)를 포함한다.
저조도 데이터베이스(710)는 고조도 영상들을 저조도로 역변환한 영상들을 포함한다. 저조도 데이터베이스(710)는 저조도에서 촬영한 저조도 영상들을 이용하여 미리 모델링한 저조도 기준 영상의 영상 히스토그램 특성을 고조도 영상에 적용시킴으로써 생성된 역변환 영상들을 포함할 수 있다. 또한, 저조도 데이터베이스(710)는 저조도 기준 영상의 영상 히스토그램 특성에 더하여 저조도 기준 영상의 노이즈 성분을 고조도 영상에 적용시킴으로써 생성된 역변환한 영상들을 포함할 수 있다. 저조도 데이터베이스(710)는 예를 들어, 메모리(미도시)에 저장될 수 있다.
이미지 프로세서(730)는 저조도 데이터베이스(710)에 기초한 기계 학습에 의해 미리 학습된 파라미터에 의해 사용자의 저조도 영상을 처리하여 사용자의 눈의 좌표를 출력한다. 이미지 프로세서(730)에서 출력된 사용자의 눈의 좌표는 예를 들어, 무안경 3D 디스플레이의 입력으로 바로 사용될 수 있다.
이미지 프로세서(730)는 이 밖에도, 도 3 내지 도 5를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 이미지 프로세서(730)는 프로그램을 실행하고, 저조도 눈추적기(700)를 제어할 수 있다. 저조도 눈추적기(700)에 의하여 실행되는 프로그램 코드는 메모리에 저장될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 사용자의 영상을 획득하는 단계;
    상기 사용자의 영상이 촬영되는 시점의 조도를 획득하는 단계; 및
    상기 획득된 조도를 기초로, 고조도에서 동작하는 고조도 눈추적기 및 저조도에서 동작하는 저조도 눈추적기 중 적어도 하나를 구동하여 상기 사용자의 영상으로부터 추적한 상기 사용자의 눈의 좌표를 출력하는 단계
    를 포함하고,
    상기 저조도 눈추적기는
    상기 고조도에서 촬영된 고조도 영상들을 상기 저조도로 역변환한 영상들을 포함하는 저조도 데이터베이스에 기초한 기계 학습에 의해 학습되는, 사용자의 눈을 추적하는 방법.
  2. 제1항에 있어서,
    상기 고조도 눈추적기는
    상기 고조도에서 촬영된 고조도 영상들을 포함하는 고조도 데이터베이스에 기초한 기계 학습에 의해 학습되는, 사용자의 눈을 추적하는 방법.
  3. 제1항에 있어서,
    상기 저조도로 역변환된 영상들은
    상기 고조도 영상들을 포함하는 고조도 데이터베이스에 기초한 기계 학습에 의해 학습된 특징점들을 포함하는, 사용자의 눈을 추적하는 방법.
  4. 제1항에 있어서,
    상기 저조도 데이터베이스는
    저조도에서 촬영한 저조도 영상들을 이용하여 미리 모델링한 저조도 기준 영상의 영상 히스토그램 특성을 상기 고조도 영상에 적용시킴으로써 생성된 상기 역변환 영상들을 포함하는, 사용자의 눈을 추적하는 방법.
  5. 제4항에 있어서,
    상기 저조도 데이터베이스는
    상기 저조도 기준 영상의 영상 히스토그램 특성에 더하여 상기 저조도 기준 영상의 노이즈 성분을 상기 고조도 영상에 적용시킴으로써 생성된 상기 역변환한 영상들을 포함하는, 사용자의 눈을 추적하는 방법.
  6. 제1항에 있어서,
    상기 고조도 눈추적기 및 상기 저조도 눈추적기 각각은
    상기 사용자의 영상으로부터 상기 사용자의 눈에 대응한 특징점을 인식하는 복수의 분류기(classifier)를 포함하는, 사용자의 눈을 추적하는 방법.
  7. 제1항에 있어서,
    상기 사용자의 눈의 좌표를 출력하도록 제어하는 단계는
    상기 획득된 조도를 미리 설정된 기준치와 비교하는 단계;
    상기 획득된 조도가 상기 기준치보다 작거나 같은 경우, 상기 저조도 눈추적기를 구동하여 상기 사용자의 영상으로부터 추적한 상기 사용자의 눈의 좌표를 출력하는 단계; 및
    상기 획득된 조도가 상기 기준치보다 큰 경우, 상기 고조도 눈추적기를 구동하여 상기 사용자의 영상으로부터 추적한 상기 사용자의 눈의 좌표를 출력하는 단계
    를 포함하는, 사용자의 눈을 추적하는 방법.
  8. 제7항에 있어서,
    상기 미리 설정된 기준치는
    10 룩스(lux)인, 사용자의 눈을 추적하는 방법.
  9. 제1항에 있어서,
    상기 사용자의 영상을 획득하는 단계는
    하나의 이미지 센서를 이용하여 상기 사용자의 영상을 촬영하는 단계
    를 포함하는, 사용자의 눈을 추적하는 방법.
  10. 저조도에서 촬영한 저조도 영상들을 이용하여 저조도 기준 영상을 모델링하는 단계;
    상기 저조도 기준 영상의 영상 히스토그램 특성을 획득하는 단계;
    고조도에서 촬영된 고조도 영상의 영상 히스토그램에서 밝기를 조정하여 어두운 영상을 생성하는 단계; 및
    상기 어두운 영상에 상기 저조도 기준 영상의 영상 히스토그램 특성을 적용하여 저조도 영상으로 역변환하는 단계
    를 포함하는, 역변환된 저조도 영상을 생성하는 방법.
  11. 제10항에 있어서,
    상기 저조도 기준 영상의 노이즈 성분을 획득하는 단계
    를 더 포함하고,
    상기 저조도 영상으로 역변환하는 단계는
    상기 어두운 영상에 상기 저조도 기준 영상의 노이즈 성분 및 상기 저조도 기준 영상의 영상 히스토그램 특성을 적용하여 상기 저조도 영상으로 역변환하는 단계
    를 포함하는, 역변환된 저조도 영상을 생성하는 방법.
  12. 제10항에 있어서,
    상기 저조도 기준 영상의 노이즈 성분은
    상기 저조도 기준 영상의 가우시안 노이즈 및 상기 저조도 기준 영상의 포아송 노이즈 중 적어도 하나를 포함하는, 역변환된 저조도 영상을 생성하는 방법.
  13. 하드웨어와 결합되어 제1항 내지 제12항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  14. 사용자의 영상을 촬영하는 이미지 센서;
    상기 사용자의 영상이 촬영된 시점의 조도를 측정하는 조도 센서;
    고조도에서 동작하는 고조도 눈추적기;
    저조도에서 동작하는 저조도 눈추적기; 및
    상기 측정된 조도를 기초로 상기 고조도 눈추적기 및 상기 저조도 눈추적기 중 적어도 하나를 구동하여 상기 사용자의 영상으로부터 추적한 상기 사용자의 눈의 좌표를 출력하도록 제어하는 프로세서
    를 포함하고,
    상기 저조도 눈추적기는
    상기 고조도에서 촬영된 고조도 영상들을 상기 저조도로 역변환한 영상들을 포함하는 저조도 데이터베이스에 기초한 기계 학습에 의해 학습되는, 사용자의 눈을 추적하는 장치.
  15. 제14항에 있어서,
    상기 고조도 눈추적기는
    상기 고조도에서 촬영된 고조도 영상들을 포함하는 고조도 데이터베이스에 기초한 기계 학습에 의해 학습되는, 사용자의 눈을 추적하는 장치.
  16. 제14항에 있어서,
    상기 저조도 데이터베이스는
    저조도에서 촬영한 저조도 영상들을 이용하여 미리 모델링한 저조도 기준 영상의 영상 히스토그램 특성을 상기 고조도 영상에 적용시킴으로써 생성된 상기 역변환 영상들을 포함하는, 사용자의 눈을 추적하는 장치.
  17. 제16항에 있어서,
    상기 저조도 데이터베이스는
    상기 저조도 기준 영상의 영상 히스토그램 특성에 더하여 상기 저조도 기준 영상의 노이즈 성분을 상기 고조도 영상에 적용시킴으로써 생성된 상기 역변환한 영상들을 포함하는, 사용자의 눈을 추적하는 장치.
  18. 고조도 영상들을 저조도로 역변환한 영상들을 포함하는 저조도 데이터베이스; 및
    상기 저조도 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터에 의해 사용자의 저조도 영상을 처리하여 상기 사용자의 눈의 좌표를 출력하는 이미지 프로세서
    를 포함하는, 저조도 눈추적기.
  19. 제18항에 있어서,
    상기 저조도 데이터베이스는
    저조도에서 촬영한 저조도 영상들을 이용하여 미리 모델링한 저조도 기준 영상의 영상 히스토그램 특성을 상기 고조도 영상들에 적용시킴으로써 생성된 상기 역변환 영상들을 포함하는, 저조도 눈추적기.
  20. 제19항에 있어서,
    상기 저조도 데이터베이스는
    상기 저조도 기준 영상의 영상 히스토그램 특성에 더하여 상기 저조도 기준 영상의 노이즈 성분을 상기 고조도 영상들에 적용시킴으로써 생성된 상기 역변환한 영상들을 포함하는, 저조도 눈추적기.
KR1020160155600A 2016-11-22 2016-11-22 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법 KR102349543B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160155600A KR102349543B1 (ko) 2016-11-22 2016-11-22 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법
US15/810,730 US10628947B2 (en) 2016-11-22 2017-11-13 Method and apparatus for tracking eyes of user and method of generating inverse-transform image
US16/822,204 US11417003B2 (en) 2016-11-22 2020-03-18 Method and apparatus for tracking eyes of user and method of generating inverse-transform image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160155600A KR102349543B1 (ko) 2016-11-22 2016-11-22 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법

Publications (2)

Publication Number Publication Date
KR20180057225A KR20180057225A (ko) 2018-05-30
KR102349543B1 true KR102349543B1 (ko) 2022-01-11

Family

ID=62144519

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160155600A KR102349543B1 (ko) 2016-11-22 2016-11-22 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법

Country Status (2)

Country Link
US (2) US10628947B2 (ko)
KR (1) KR102349543B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107300968B (zh) * 2016-04-15 2021-05-04 中兴通讯股份有限公司 一种人脸识别方法及装置、画面显示方法及装置
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
US10990168B2 (en) * 2018-12-10 2021-04-27 Samsung Electronics Co., Ltd. Compensating for a movement of a sensor attached to a body of a user
DE102020200221A1 (de) 2020-01-09 2021-07-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs
US20220028109A1 (en) * 2021-04-07 2022-01-27 Samsung Electronics Co., Ltd. Image processing method and apparatus

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090191A (ja) 1998-09-16 2000-03-31 Ntt Data Corp 顔認識装置及び方法
KR100304663B1 (ko) * 1998-12-04 2001-09-29 윤종용 칼라조명색온도검출방법및장치
KR101224408B1 (ko) 2005-01-26 2013-01-22 허니웰 인터내셔널 인코포레이티드 원격 홍채 인식 시스템
JP2006259900A (ja) * 2005-03-15 2006-09-28 Omron Corp 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
KR20080106218A (ko) 2006-02-01 2008-12-04 토비 테크놀로지 에이비 컴퓨터 시스템에서 그래픽 피드백의 생성
DE102007056528B3 (de) * 2007-11-16 2009-04-02 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
KR101831247B1 (ko) 2012-01-31 2018-02-22 한국전자통신연구원 다층 신경망을 이용한 시선 추적 시스템의 초점 측정 장치
CN105787908B (zh) * 2012-08-08 2019-05-14 杜比实验室特许公司 用于高动态范围图像的图像处理方法、装置及存储介质
US9165180B2 (en) 2012-10-12 2015-10-20 Microsoft Technology Licensing, Llc Illumination sensitive face recognition
EP2790126B1 (en) 2013-04-08 2016-06-01 Cogisen SRL Method for gaze tracking
WO2014168492A1 (en) 2013-04-10 2014-10-16 Auckland Uniservices Limited Head and eye tracking
US20160117699A1 (en) * 2013-05-14 2016-04-28 Gut Feeling Laboratory Inc. Questionnaire system, questionnaire response device, questionnaire response method, and questionnaire response program
KR20150014290A (ko) 2013-07-29 2015-02-06 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
WO2015086617A1 (en) * 2013-12-09 2015-06-18 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness
US9411417B2 (en) * 2014-07-07 2016-08-09 Logitech Europe S.A. Eye gaze tracking system and method
KR102257249B1 (ko) * 2014-07-08 2021-05-28 삼성전자주식회사 홀로그래픽 3차원 영상 표시 장치 및 방법
KR102281149B1 (ko) * 2014-10-22 2021-07-23 삼성전자주식회사 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법
KR102362042B1 (ko) 2014-12-18 2022-02-11 삼성전자주식회사 전자 장치의 제어 방법 및 장치
US9704038B2 (en) 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
US11567566B2 (en) * 2015-04-08 2023-01-31 Controlrad Systems, Inc. Devices and methods for monitoring gaze

Also Published As

Publication number Publication date
US20180144483A1 (en) 2018-05-24
US20200219270A1 (en) 2020-07-09
US11417003B2 (en) 2022-08-16
KR20180057225A (ko) 2018-05-30
US10628947B2 (en) 2020-04-21

Similar Documents

Publication Publication Date Title
KR102410834B1 (ko) 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
KR102349543B1 (ko) 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법
US11132771B2 (en) Bright spot removal using a neural network
US11527105B2 (en) System and method for scalable cloud-robotics based face recognition and face analysis
US20150154804A1 (en) Systems and Methods for Augmented-Reality Interactions
KR102688619B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
US10984513B1 (en) Automatic generation of all-in-focus images with a mobile camera
KR102383134B1 (ko) 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법
US10764563B2 (en) 3D enhanced image correction
US11265459B2 (en) Electronic device and control method therefor
KR20220058143A (ko) 영상 복원 방법 및 장치
WO2019084712A1 (zh) 一种图像处理方法、装置以及终端
US9800793B2 (en) Method for generating target gain value of wide dynamic range operation
KR20210067864A (ko) 적응적 포커스 범위 및 계층화 스캐터링을 이용한 보케 이미지들의 생성
KR102399669B1 (ko) 디스플레이 밝기 조정 방법 및 장치
KR20150101343A (ko) 영상 투사 시스템
US20230132230A1 (en) Efficient Video Execution Method and System
KR101774913B1 (ko) 전처리를 이용한 영상 디스플레이 방법 및 장치
KR102564477B1 (ko) 객체 검출 방법 및 장치
KR102101209B1 (ko) 비 균일 조도를 가진 영상을 위한 적응적 레티넥스 알고리즘
Mantecón del Valle et al. New generation of human machine interfaces for controlling UAV through depth based gesture recognition
KR20220083628A (ko) 깊이 이미지 생성 장치 및 그 동작 방법
KR101691806B1 (ko) 전처리를 이용한 영상 디스플레이 방법 및 장치
KR20170102450A (ko) 전처리를 이용한 영상 디스플레이 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant