KR101890542B1 - 디스플레이 향상을 위한 시스템 및 방법 - Google Patents

디스플레이 향상을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101890542B1
KR101890542B1 KR1020177003123A KR20177003123A KR101890542B1 KR 101890542 B1 KR101890542 B1 KR 101890542B1 KR 1020177003123 A KR1020177003123 A KR 1020177003123A KR 20177003123 A KR20177003123 A KR 20177003123A KR 101890542 B1 KR101890542 B1 KR 101890542B1
Authority
KR
South Korea
Prior art keywords
user
pupil detection
display
wearable device
infrared
Prior art date
Application number
KR1020177003123A
Other languages
English (en)
Other versions
KR20170026615A (ko
Inventor
제프리 제임스 에스타시오
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20170026615A publication Critical patent/KR20170026615A/ko
Application granted granted Critical
Publication of KR101890542B1 publication Critical patent/KR101890542B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G06K9/00281—
    • G06K9/00315—
    • G06K9/00604—
    • G06K9/0061—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

디스플레이(125), 모바일 디바이스(360) 및 웨어러블 디바이스(392)를 향상시키는 방법이 제공된다. 상기 방법은 사용자(122)의 얼굴의 광학 이미지를 수신하는 단계 및 광학 이미지에 따라 사용자(122)가 스퀸팅하고 있는지를 검출하는 단계; 사용자(122)가 보고 있는 디스플레이(125) 상의 영역을 검출하는 단계 및 사용자(122)가 스퀸팅하고 있는 경우에 사용자(122)가 보고 있는 디스플레이(125) 상의 영역을 향상시키는 단계를 포함한다.

Description

디스플레이 향상을 위한 시스템 및 방법{SYSTEM AND METHOD FOR DISPLAY ENHANCEMENT}
본 출원은 2014년 7월 14일자로 출원되고 "디스플레이 향상을 위한 시스템 및 방법"이라는 제목의 미국 특허 정식 출원 번호 제14/330,648호에 대한 우선권을 주장하며, 그 전체가 본 명세서에 완전히 재현되는 것처럼 참고로 인용되어 있다.
본 발명은 디스플레이 시스템 및 방법에 관한 것이고, 특히 디스플레이 향상을 위한 시스템 및 방법에 관한 것이다.
사용자가 관심 영역을 보는데 어려움을 겪고 있을 때 사용자가 관심을 갖는 디스플레이 영역에 대해 가시성 및 시각적 선명도를 증가시키는 것이 바람직하다. 예를 들어, 작은 텍스트 또는 낮은 콘트라스트 이미지는 보기 곤란할 수 있다. 예를 들어, 모바일 디바이스 상에 디스플레이가 있을 때, 사용자의 명시적 개선 요청 없이 디스플레이가 자동으로 향상되는 것이 바람직하다.
디스플레이를 향상시키기 위한 실시예의 방법은 사용자의 얼굴의 광학 이미지를 수신하는 단계 및 광학 이미지에 따라 사용자가 스퀸팅(squinting)하고 있는지를 검출하는 단계를 포함한다. 상기 방법은 또한 사용자가 보고 있는 디스플레이 상의 영역을 검출하는 단계를 포함한다. 추가로, 상기 방법은 사용자가 스퀸팅하고 있는 경우에 사용자가 보고 있는 디스플레이 상의 영역을 향상시키는 단계를 포함한다.
실시예의 모바일 디바이스는 디스플레이 및 프로세서를 포함한다. 모바일 디바이스는 또한 프로세서에 의한 실행을 위한 프로그래밍을 저장하는 비 일시적 컴퓨터 판독 가능 저장 매체를 포함한다. 프로그래밍은 사용자의 얼굴의 광학 이미지를 수신하고 광학 이미지에 따라 사용자가 스퀸팅하고 있는지를 검출하는 명령어들을 포함한다. 프로그래밍은 또한 사용자의 얼굴의 적외선 이미지를 수신하고 적외선 이미지에 따라 사용자가 보고 있는 디스플레이 상의 영역을 검출하는 명령어들을 포함한다. 추가로, 프로그래밍은 사용자가 스퀸팅하고 있는 경우에 사용자가 보고 있는 디스플레이 상의 영역을 향상시키는 명령어들을 포함한다.
실시예의 웨어러블 디바이스는 적외선 카메라와, 적외선 카메라의 2 cm 내의 제1 적외선 광원을 포함한다. 웨어러블 디바이스는 또한 적외선 카메라로부터 적어도 5 cm에 있는 제2 적외선 광원을 포함하고, 웨어러블 디바이스는, 웨어러블 디바이스가 밝은 동공 검출 신호를 수신하는 경우에 제1 적외선 광원을 활성화시키고, 웨어러블 디바이스가 어두운 동공 검출 신호를 수신하는 경우에 제2 적외선 광원을 활성화시키도록 구성되고, 웨어러블 디바이스는 적외선 카메라로부터의 이미지를 모바일 디바이스에 무선으로 송신하도록 구성된다.
전술한 내용은, 다음의 본 발명의 상세한 설명이 양호하게 이해될 수 있도록 본 발명의 일 실시예의 특징들을 광범위하게 약술하였다. 본 발명의 실시예의 부가적인 특징 및 이점이 이후에 설명될 것이고, 이는 본 발명의 청구항들의 대상을 형성한다. 개시된 개념 및 특정 실시예들은 본 발명과 동일한 목적들을 수행하기 위한 다른 구조들 또는 프로세스들을 설계하거나 수정하기 위한 기초로서 손쉽게 이용될 수 있다는 점이 본 기술분야의 통상의 기술자에 의해 인식되어야 한다. 이러한 등가의 구성들은 첨부 청구항들에 제시된 바와 같은 본 발명의 사상 및 범위로부터 벗어나지 않는다는 점이 본 기술분야의 통상의 기술자에 의해 또한 인식되어야 한다.
본 발명 및 그 이점을 보다 완전하게 이해하기 위해, 이제 첨부 도면과 관련하여 취해진 다음의 설명에 대한 참조가 이루어진다.
도 1은 디스플레이 향상의 실시예의 방법에 대한 흐름도를 도시한다.
도 2는 눈의 밝은 동공 효과를 도시한다.
도 3은 눈의 어두운 동공 효과를 도시한다.
도 4a 내지 도 4b는 디스플레이에서의 이미지의 콘트라스트 레벨의 조정을 도시한다.
도 5a 내지 도 5b는 텍스트를 줌 인(zoom in)하는 것에 의한 작은 텍스트를 포함하는 영역의 향상을 도시한다.
도 6a 내지 도 6b는 작은 텍스트를 포함하는 그래픽 사용자 인터페이스(UI) 요소의 변형을 도시한다.
도 7a 내지 도 7b는 GUI 요소의 레이아웃의 재배열을 도시한다.
도 8은 스퀸트(squint) 검출의 실시예의 방법에 대한 흐름도를 도시한다.
도 9는 눈 추적의 실시예의 방법에 대한 흐름도를 도시한다.
도 10은 스퀸트 검출을 위한 실시예의 시스템을 도시한다.
도 11은 눈 추적을 위한 실시예의 시스템을 도시한다.
도 12는 눈 추적을 위한 다른 실시예의 시스템을 도시한다.
도 13은 디스플레이 향상을 위한 실시예의 시스템을 도시한다.
도 14는 디스플레이 향상을 위한 다른 실시예의 시스템을 도시한다.
도 15는 실시예의 범용 컴퓨터 시스템의 블록도를 도시한다.
상이한 도면들에서의 대응하는 번호들 및 심볼들은 일반적으로 달리 표시되지 않는 한 대응하는 부분들을 지칭한다. 도면들은 실시예들의 관련 양태들을 명확하게 예시하도록 도시되며, 반드시 축척대로 그려지는 것은 아니다.
하나 이상의 실시예의 예시적인 구현이 이하에 제공되어도, 개시된 시스템 및/또는 방법은 현재 공지되거나 존재하는지 관계없이, 임의의 수의 기술을 사용하여 구현될 수 있다는 것을 처음부터 이해해야 한다. 본 개시내용은 본 명세서에 도시되고 설명된 예시적인 설계 및 구현을 포함하여, 이하에 설명되는 예시적인 구현예, 도면 및 기술에 결코 제한되어서는 안되지만, 등가물의 전체 범위와 함께 첨부된 청구항의 범위 내에서 변형될 수 있다.
실시예는 사용자가 스퀸팅하고 있는지 및 사용자가 디스플레이 상의 어디를 보고 있는지 검출함으로써, 예를 들어 모바일 디바이스에서의 디스플레이를 향상시킨다. 사용자가 스퀸팅하고 있을 때, 사용자가 보고 있는 영역이 향상된다. 따라서, 사용자가 사용자의 손으로 아무것도 하지 않거나 다른 유형의 능동적인 물리적 상호 작용을 갖지 않으면서 디스플레이가 향상될 수 있다.
도 1은 디스플레이를 향상시키는 방법에 대한 흐름도(100)를 도시한다. 디스플레이는 텍스트, 그래픽, 비디오 또는 이들의 조합과 같은 시각적 출력을 사용자에게 디스플레이한다. 디스플레이는 액정 디스플레이(LCD)일 수 있다. 이 방법은 예를 들어 스마트폰, 태블릿, 핸드 헬드 컴퓨터, 미디어 플레이어 또는 PDA(personal digital assistant)와 같은 모바일 디바이스에 의해 사용될 수 있다. 처음에, 단계 102에서, 시스템은 사용자의 눈의 스퀸트를 검출한다. 스퀸팅은 스퀸터(squinter)가 불량한 가시성을 경험하고 있음을 보여주는 우수한 지표이다. 이는 스퀸팅이 굴절 이상(근시, 원시, 난시, 노안)을 가진 환자의 시력을 개선시키고 오류를 감소시키기 때문이다. 스퀸팅은 눈의 형상을 변경하고 눈에 진입하는 광의 양을 감소시킨다. 스퀸팅은 불량한 시력을 보조하기 위한 자연적인 메커니즘이기 때문에, 스퀸터가 불량한 가시성을 경험하고 있음을 보여주는 우수한 지표이다.
스퀸팅은 얼굴 표정이기 때문에, 스퀸팅은 얼굴 인식 기술을 사용하여 검출될 수 있다. 얼굴 표정 측정의 표준은 얼굴 행동 코딩 시스템(FACS)이다. 얼굴 표정은 얼굴 외관에 순간적 변화를 일으키는 근육 활동을 나타내는 액션 유닛(AU; action unit)으로부터 결정될 수 있다. 눈썹, 코 주름, 턱 떨어짐과 같은 얼굴 표정의 특징들의 표준 척도가 있다. FACS에는 스퀸트 액션 유닛인 AU 44가 있다. 스퀸트는 또한 낮아진 눈썹(AU 4), 높아진 뺨(AU 6) 및 조여진 눈꺼풀(AU 7)의 조합에 의해 검출될 수 있다. 액션 유닛은 카메라와 얼굴 인식 소프트웨어를 사용하여 인식될 수 있다.
다음으로, 단계 104에서, 사용자의 시선의 눈 추적이 수행된다. 동공은 밝은 동공 효과 또는 어두운 동공 효과를 사용하여 적외선 광으로 추적될 수 있다. 밝은 동공 효과에서, 적외선 광선이 적외선(IR) 카메라와 정렬되는 경우에, 적외선 광선이 망막에서 IR 카메라로 반사되어 동공이 기록된 이미지에서 밝게 나타난다. 도 2는 밝은 동공 효과를 도시한다. 눈(206)은 동공(202), 홍채(204) 및 제1 푸르키녜(Purkinje) 이미지(208)를 포함한다. 제1 푸르키녜 이미지는 각막의 외부 표면으로부터의 반사이다. 어두운 동공 효과에서, 적외선 광선이 IR 카메라의 광축으로부터 오프셋되는 경우에, 반사는 IR 카메라로부터 멀리 투사되어 동공이 기록된 이미지에서 어둡게 나타나게 된다. 도 3은 눈(118)이 동공(112), 홍채(116), 및 제1 푸르키녜 이미지(114)를 포함하는 어두운 동공 효과를 도시한다. 동공 추적의 방법 양자 모두에서, 각막의 외부 표면으로부터의 반사인 제1 푸르키녜 이미지는 동일한 위치에 존재한다. 밝은 동공 검출은 파란색 또는 밝은 색 눈에 대해 가장 잘 작동하는 반면, 어두운 동공 효과는 어두운 색 눈에 대해 가장 잘 작동한다. 어두운 동공 효과는 조명이 밝고 자연 채광 조건에서는 더 잘 작동하지만, 밝은 동공 방법은 적은 광에 대해 효과적이다. 또한, 밝은 동공 검출은 위양성(false positive)이 적다.
실시예는 어두운 동공 검출 및 밝은 동공 검출 양자 모두를 수행하도록 구비된다. 하나의 적외선 카메라와 2개의 적외선 광원(하나는 IR 카메라와 정렬되고 다른 하나는 IR 카메라 축에서 오프셋됨)이 사용된다. 정렬된 카메라는 밝은 동공 검출에 사용되고, 축외(off-axis) 카메라는 어두운 동공 검출에 사용될 수 있다. 일례에서, 눈 추적 하드웨어는 스마트폰, 태블릿, 핸드 헬드 컴퓨터, 미디어 플레이어 또는 PDA와 같은 모바일 디바이스에 내장된다. 다른 예에서, 눈 추적 하드웨어는 웨어러블 디바이스로서 사용자의 머리에 장착되거나 구글 글래스등록상 표(Google Glass™)와 같은 웨어러블 디바이스에 내장된다.
다른 예에서, 가시 스펙트럼 광은 어두운 동공 검출 및/또는 밝은 동공 검출을 수행하는 데 사용된다.
대신에, 전극은 사용자의 시선을 추적하는 데 사용된다. 눈 주위에 배치된 전극을 사용하여 눈의 전위가 측정된다. 추가의 예에서, 눈은 물체, 예를 들어 사용자의 눈에 부착된 내장 거울 및/또는 자기장 센서를 갖는 특수 콘택트 렌즈를 사용하여 추적된다.
마지막으로, 단계 106에서, 디스플레이는 사용자가 보고 있는 영역에서 향상된다. 예를 들어, 이미지의 콘트라스트를 조정하는 것, 노이즈 감소, 선명화, 색 밸런스 조정, 텍스트 박스 또는 이미지의 크기 증가, 그래픽 사용자 인터페이스(GUI) 요소를 조정하여 일부 GUI 요소의 크기를 증가시키는 것, 또는 이미지 품질을 향상시키는 다른 기술들에 의해 영역이 향상될 수 있다.
콘트라스트 레벨은 가시성을 향상시키기 위해 조정될 수 있다. 도 4a 내지 도 4b는 콘트라스트 레벨 조정에 의해 향상된 가시성 및 시각적인 선명도를 도시한다. 도 4a에서, 사용자(122)의 눈(124)은 디바이스(126) 상의 디스플레이(125) 내의 픽처(128)를 보고 있다. 디스플레이(125)는 또한 작은 텍스트 박스로서 텍스트(130) 및 텍스트(132)를 포함한다. 사용자(122)의 눈(124)이 픽처(128)를 보면서 스퀸팅하는 경우에, 픽처(128)는 콘트라스트 레벨을 조정함으로써 향상된다. 일례에서, 전체 디스플레이의 콘트라스트 레벨이 조정된다. 대신에, 이미지의 콘트라스트 레벨만이 조정된다. 일례로서, 휘도 차이의 비(ratio)인 휘도 콘트라스트와, 평균 휘도가 조정된다. 사용되는 콘트라스트 방법은 웨버(Weber) 콘트라스트, 마이켈슨(Michelson) 콘트라스트, RMS(root-mean-square) 콘트라스트 또는 다른 기술일 수 있다.
시각적 요소는 줌 인될 수 있다. 도 5a 내지 도 5b에서, 스퀸팅 동안 사용자가 보고 있는 작은 텍스트의 선명도는 텍스트의 영역을 줌 인함으로써 향상된다. 사용자(162)의 눈(164)은 이미지(168) 및 텍스트(172)를 또한 포함하는 디바이스(166) 상의 디스플레이(165) 내의 텍스트 박스(170)를 보고 있다. 사용자(162)의 눈(164)이 스퀸팅하는 경우에, 텍스트 박스(170) 내의 작은 텍스트는 더 명확해지도록 확대된다. 이미지(168)는 부분적으로 가려진다. 다른 예들에서, 사용자가 보고 있는 영역은 줌 인된다.
GUI 요소는 가시성을 개선시키도록 변형될 수 있는 반면, 다른 GUI 요소는 감소되거나 제거될 수 있다. GUI 요소는 윈도우, 텍스트 박스, 버튼, 하이퍼 링크, 드롭 다운 리스트, 리스트 박스, 콤보 박스, 체크 박스, 무선 버튼, 사이클 버튼, 데이터 그리드, 슬라이더, 태그, 이미지 및 비디오를 포함할 수 있다. 도 6a 내지 도 6b는 판독 가능하지 않은 작은 텍스트를 포함하는 GUI 요소를 수정함으로써 작은 텍스트의 가시성을 향상시키는 것을 도시한다. 사용자(212)의 눈(214)은 디바이스(216)의 디스플레이(215) 내의 텍스트(222)를 보고 있다. 디스플레이(215)는 또한 픽처(218) 및 텍스트(220)를 포함한다. 사용자가 스퀸팅하는 경우에, 텍스트(222)를 포함하는 GUI의 크기는 증가되어 텍스트가 더 크고 보다 용이하게 판독 가능하게 된다. 다른 예들에서, 다른 GUI 요소들은 제거되거나 크기가 감소된다.
도 7a 내지 도 7b에 도시된 바와 같이, GUI 요소의 레이아웃을 재배열함으로써 픽처의 가시성이 개선된다. 사용자(252)의 눈(254)은 디바이스(256) 상의 디스플레이(299) 내의 픽처(258)를 보고 있다. 또한, 디스플레이(299)는 픽처들(260, 262, 264, 266, 268, 290, 292, 294 및 296)을 포함한다. 사용자가 픽처(258)를 보고 있는 동안 스퀸팅하는 경우에, 픽처(258)의 해상도 또는 크기가 증가한다. 픽처들(268, 260 및 290)은 픽처(258)에 대해 충분한 공간을 제공하기 위해 제거된다.
도 8은 눈 스퀸팅을 검출하는 방법에 대한 흐름도(401)를 도시한다. 처음에, 단계 402에서, 얼굴이 획득된다. 이는 얼굴 검출 및/또는 머리 자세 추정을 사용하여 수행될 수 있다. 얼굴 영역은 이미지에서 자동으로 발견된다. 일례에서, 각각의 프레임에 대해 얼굴이 검출된다. 다른 예에서, 얼굴은 제1 프레임에서 검출되고 후속 프레임에서 추적된다.
다음으로, 단계 404에서, 단계 402에서 획득된 얼굴로부터 얼굴 데이터가 추출되고, 얼굴 표정에 기초한 얼굴 변화가 표현된다. 얼굴 특징은 기하학적 특징 기반 방법 및/또는 외형 기반 방법을 사용하여 추출될 수 있다. 기하학적 얼굴 특징은 입, 눈, 눈썹 및 코와 같은 얼굴 구성 요소의 형상 및 위치를 포함한다. 얼굴 구성 요소 또는 얼굴 특징 점은 얼굴 기하 구조를 나타내는 특징 벡터를 형성하도록 추출될 수 있다. 외형 기반 방법에서, 가보(Gabor) 웨이브렛과 같은 이미지 필터는 얼굴 전체 또는 얼굴의 특정 영역에 적용되어 특징 벡터를 추출한다. 면내 머리 회전 및 얼굴의 상이한 스케일들의 영향은 특징 추출 이전의 얼굴 정규화 또는 특징 표현에 의해 감소될 수 있다.
마지막으로, 단계 406에서, 얼굴 표정은 얼굴 특징에 기초하여 인식된다. 얼굴 변화는 얼굴 액션 유닛, 원형의 감정적 표정으로서 식별될 수 있다. AU는 전문가에 의해 수동으로 코딩될 수 있다. 근육 수축의 정도에 대한 강도 스케일은 얼굴 표정의 정도를 결정하는 데 사용될 수 있다. 신경 회로망(NN), 서포트 벡터 머신(SVM), 선형 판별 분석(LDA), K-최근접 이웃, 다항 로지스틱 리지 회귀(MLR; multinomial logistic ridge regression), 은닉 마르코프 모델(HMM; hidden Markov model), 트리 증강 나이브 베이즈(tree augmented
Figure 112017011670265-pct00001
Bayes) 등과 같은 분류기들이 사용될 수 있다. 일부 시스템은 얼굴 액션의 정의를 기반으로 규칙 기반 분류를 사용한다. 프레임 기반 및 시퀀스 기반 표정 인식 방법이 사용될 수 있다. 프레임 기반 인식 방법은 참조 이미지를 갖거나 갖지 않는 현재 프레임을 사용하여 프레임 내의 얼굴 표정을 인식한다. 시퀀스 기반 인식 방법에서, 시퀀스의 시간 정보는 하나 이상의 프레임에 대한 표정을 인식하는 데 사용된다.
도 9는 눈 추적의 방법에 대한 흐름도(410)를 도시한다. 처음에, 단계 420에서, 눈이 검출된다. 눈은 스퀸트 검출에서 눈이 추출되는 경우에 검출될 수 있다. 다른 예에서, 눈의 위치는 밝은 동공 검출 및/또는 어두운 동공 검출을 사용하여 검출된다. 밝은 동공 검출에서, IR 광원은 IR 카메라와 정렬된다. IR 광원은 IR 카메라로 직접 다시 반사되어 동공을 밝게 나타나게 한다. 한편, 어두운 동공 검출에서, IR 광원은 IR 카메라로부터 오프셋된다. IR 광이 IR 광원에서 다시 반사되기 때문에, 동공은 오프셋 IR 카메라 뷰에서 어둡게 나타난다.
단계 412에서, 시스템은 동공을 검출하기 위해 어두운 동공 검출 및/또는 밝은 동공 검출을 사용할지를 결정한다. 시스템은 주위 조명 상태 및 사용자 눈의 색을 검출한다. 밝은 색의 눈과 밝은 조명 상태는 밝은 동공 방법을 사용하는 쪽으로 지시하는 반면, 어두운 색의 눈과 저조명 상태는 어두운 동공 방법을 사용하는 쪽으로 지시한다. 간섭이 또한 결정될 수 있다. 너무 많은 간섭이 존재하는 경우에, 시스템은 밝은 동공 방법에서 어두운 동공 방법으로 전환할 수 있다. 예를 들어, 속눈썹 또는 얼굴의 그림자가 존재하는 경우에, 시스템은 어두운 동공 방법에서 밝은 동공 방법으로 전환할 수 있다. 일례에서, 시스템은 번갈아 가며 밝은 동공 검출을 하다가 어두운 동공 검출을 한다. 대신에, 방법 양자 모두가 수행된다. 어두운 동공 방법이 선택되는 경우에, 단계 414에서 어두운 동공 검출이 수행된다. 밝은 동공 검출이 선택되는 경우에, 밝은 동공 검출은 단계 416에서 수행된다.
단계 416에서, 밝은 동공 검출이 수행된다. 어두운 동공 검출 및 밝은 동공 검출 양자 모두에서, 사용자의 얼굴은 적외선 조명기를 사용하여 조명된다. 적외선 조명기는 발광 다이오드(LED)일 수 있다. 적외선 조명기를 사용하면 가시 광을 사용하는 것과 비교하여 주위 조명 상태의 영향을 감소시키고 밝은 또는 어두운 동공 효과를 생성하며, 사용자와의 간섭을 최소화할 수 있다. 밝은 동공은 카메라의 광축을 따라 광을 방출하는 근적외선 조명기로 눈을 조명하는 경우에 검출될 수 있다. 근적외선 파장에서 동공은 대부분의 적외선 광을 카메라로 다시 반사하여 밝은 동공 효과를 생성한다. 이는 플래시가 사진에 사용되는 경우의 적목 효과와 유사하다. 각막으로부터의 조명원의 제1면 정반사는 어두운 동공 검출 및 밝은 동공 검출 양자 모두에서 볼 수 있다. 동공 중심과 각막 반사 사이의 벡터가 종속 측도로서 사용될 수 있다. 벡터 차이는 카메라와 적외선원의 움직임에 영향을 받지 않는다. 동공 검출은 동공의 강도를 기반으로 하며, 예를 들어 서포트 벡터 머신을 사용하여 눈의 외형을 기반으로 할 수도 있다.
단계 414에서, 어두운 동공 검출이 수행된다. 적외선 조명기는 축외 적외선 카메라와 함께 사용된다. 반사된 광은 축외 카메라로가 아니라 IR 광원을 향해 축상(on-axis)에 다시 반사되기 때문에 동공이 어둡게 나타난다. 밝은 동공 검출에서와 같이, 각막으로부터의 조명원의 제1면 정반사가 또한 보일 수 있고, 동공 중심과 각막 반사 사이의 벡터가 종속 측도로서 사용될 수 있다.
특징 기반 또는 모델 기반 접근법이 사용될 수 있다. 일례에서, 특징 기반 접근법 및 모델 기반 접근법을 조합한 스타버스트(starburst) 알고리즘이 사용된다. 다른 예에서, 밝은 동공 추적 및 어두운 동공 추적의 조합이 사용된다. 예를 들어, 밝은 동공 효과에 기반한 칼만 필터링 추적은 서포트 벡터 머신 분류기로 증강되어 검출된 눈의 검증을 수행한다. 칼만 눈 추적기가 약한 동공 강도 또는 밝은 동공의 부재로 인해 실패하면, 평균 시프트에 기반한 눈 추적이 활성화되어 눈을 계속 추적한다. 밝은 동공이 다시 나타나는 경우에, 눈 추적기는 칼만 필터링 추적기로 복귀한다.
도 10은 스퀸트 검출에 사용될 수 있는 하드웨어의 예를 도시한다. 예를 들어, 모바일 디바이스(310)는 스마트폰, 태블릿, 핸드 헬드 컴퓨터, 미디어 플레이어, 또는 PDA(personal digital assistant)이다. 모바일 디바이스(310)는 카메라(314) 및 디스플레이(312)를 포함한다. 예를 들어, LCD인 디스플레이(312)는 텍스트, 그래픽, 비디오 또는 이들의 조합과 같은 시각적 출력을 사용자에게 보여준다. 디스플레이(312)는 또한 터치 스크린일 수 있다. 카메라(314)는 가시 스펙트럼 카메라이다. 카메라(314)는 광학 시스템, 예를 들어 광을 검출하는 전자 센서 상에 광을 포커싱하기 위한 가변 조리개를 갖는 렌즈를 갖는다. 카메라(314)는 고정 포커스 렌즈와, 렌즈 뒤에 있는 CMOS(complementary metal oxide semiconductor) 이미지 센서 또는 CCD(charge-coupled device) 이미지 센서와 같은 광학 센서를 가질 수 있다. 모바일 디바이스(310)는 애플리케이션 프로세서, 기저 대역 프로세서, 영구 스토리지, 메모리 제어기, 그래픽 처리 유닛(GPU), 주변 장치 인터페이스, 무선 주파수(RF) 회로, 오디오 회로, 글로벌 포지셔닝 시스템 모듈(GPS), 전력 시스템 및 운영 체제(OS)를 포함한다. OS는 영구 스토리지에 저장된 스퀸트 검출 소프트웨어를 실행한다. 사용자가 카메라(314)의 시야에 있는 경우에, 소프트웨어는 사용자의 얼굴을 검출한다. 특징들이 사용자의 얼굴의 이미지에서 추출된다. 그 후, 소프트웨어는 사용자가 스퀸팅하고 있는지를 검출한다. 스퀸팅의 얼굴 표정은 얼굴 인식 기술을 사용하여 검출될 수 있다. 얼굴 표정은 얼굴 외형에 순간적인 변화를 일으키는 근육 활동을 나타내는 AU에서 결정된다. FACS에는 스퀸트 액션 유닛인 AU 44가 있는데, 이것은 스퀸트를 검출하는 데 사용될 수 있다. 스퀸트는 또한 낮아진 눈썹(AU 4), 높아진 뺨(AU 6) 및 조여진 눈꺼풀(AU 7)의 조합에 의해 검출될 수 있다.
도 11은 눈 추적에 사용하기 위한 하드웨어의 예를 도시한다. 예를 들어, 스마트폰, 태블릿, 핸드 헬드 컴퓨터, 미디어 플레이어, 또는 PDA인 모바일 디바이스(320)는 IR 카메라(328) 및 IR 광원(330)을 포함하는 적외선 유닛(326), 터치 스크린 디스플레이일 수 있는 디스플레이(322) 및 IR 광원(324)을 포함한다. IR 카메라(328)는 렌즈 및 센서 어레이, 예를 들어 초전 재료, 강유전 검출기 또는 마이크로 볼로미터 구조체를 포함하고, IR 광원들(324 및 330)은 LED일 수 있다. 예를 들어, LCD인 디스플레이(322)는 텍스트, 그래픽, 비디오 또는 이들의 조합과 같은 시각적 출력을 사용자에게 보여준다. 디스플레이(322)는 또한 터치 스크린 입력뿐만 아니라 출력일 수 있다. 또한, 모바일 디바이스(320)는 애플리케이션 프로세서, 기저 대역 프로세서, 영구 스토리지, 메모리 제어기, GPU 주변 장치 인터페이스, RF 회로, 오디오 회로, GPS, 전력 시스템, 및 OS를 포함하며, 영구 스토리지에 저장된 눈 추적 소프트웨어를 실행한다. IR 광원(330)은 밝은 동공 검출을 위해 축상 반사를 수신하기 위해 IR 카메라(328)에 근접해 있는 반면, IR 광원(324)은 어두운 동공 검출을 위한 축외 검출을 위해 IR 카메라(328)로부터 비교적 멀리 떨어져 있다. 동공 검출을 수행하기 위해, 눈 추적 알고리즘은 IR 광원(330)을 조명하고 IR 카메라(328)로부터의 이미지로부터 밝은 동공 검출을 사용하여 동공을 검출한다. 또한, 어두운 동공 검출을 수행하기 위해, 눈 추적 소프트웨어는 IR 광원(324)을 조명하고 축외인 IR 카메라(328)의 반사로부터 동공을 검출한다.
도 12는 눈 추적을 위한 하드웨어(340)를 도시한다. 사용자(346)는 눈(348) 근처에 웨어러블 디바이스(350)를 착용한다. 일례에서, 웨어러블 디바이스(350)는 구글 글래스등록상표이다. 대신에, 웨어러블 디바이스(350)는 눈 근처에서 착용되는 개별 디바이스이다. 웨어러블 디바이스(350)는 IR 광원(352) 및 IR 모듈(354)을 포함한다. IR 모듈(354)은 IR 광원(358) 및 IR 카메라(356)를 포함한다. IR 카메라(356)는 렌즈 및 센서 어레이, 예를 들어 초전 재료, 강유전 검출기 또는 마이크로 볼로미터 구조체를 포함한다. IR 광원들(352 및 358)은 LED일 수 있다. IR 광원(356)은 밝은 동공 검출을 위해 IR 광원(358)에, 예를 들어 2 cm 이내로 근접해 있는 반면, IR 광원(352)은 어두운 동공 검출을 위해 IR 카메라(356)로부터 비교적 멀리, 예를 들어 적어도 5 cm로 떨어져 있다. 웨어러블 디바이스(350)는 얼굴에 대한 배향 및 위치를 결정하는 디바이스를 포함한다. 이는 자이로스코프, 가속도계 및 디지털 나침반과 같은 센서를 사용하여 수행될 수 있다.
웨어러블 디바이스(350)는, 예를 들어 블루투스 또는 사유(proprietary) 주파수를 사용하여 통신을 위해 모바일 디바이스(342)와 통신한다. 일부 예에서, 모바일 디바이스(342)는 스마트폰, 태블릿, 핸드 헬드 컴퓨터, 미디어 플레이어, 또는 PDA이다. 모바일 디바이스(342)는 텍스트, 그래픽, 비디오 또는 이들의 조합과 같은 사용자에게 시각적 출력을 나타내는 LCD일 수 있는 디스플레이(344)를 포함한다. 디스플레이(344)는 또한 터치 스크린 입력뿐만 아니라 출력일 수 있다. 디스플레이(344)는 사용자의 시선 영역을 포괄하는 OS용 사용자 인터페이스를 갖는다. 모바일 디바이스(342)는 또한 애플리케이션 프로세서, 기저 대역 프로세서, 영구 스토리지, 메모리 제어기, GPU 주변 장치 인터페이스, RF 회로, 오디오 회로, GPS, 전력 시스템, OS, 위치 센서 및 배향 센서(도시되지 않음)를 포함한다. 위치 센서 및 배향 센서는 모바일 디바이스(342)에 대한 웨어러블 디바이스(350)의 위치 및 배향을 결정하는 데 사용된다. 웨어러블 디바이스(35) 및 모바일 디바이스(342)에 대한 위치 및 배향 데이터는 모바일 디바이스(342)에 의해 비교되어 그들의 상대 위치 및 배향을 결정한다. 이것은 디스플레이(344)에서 사용자가 응시하고 있는 곳을 결정하는 데 사용된다. OS는 사용자 인터페이스를 포함하고 영구 메모리에 저장된 눈 추적 소프트웨어를 실행한다. 소프트웨어는 광원(358)이 조명되는 경우에 밝은 동공 검출을 사용하고 IR 광원(352)이 조명되는 경우에 어두운 동공 검출을 사용하여 시선을 검출한다. 소프트웨어는 적절한 IR 광원을 활성화 및 비활성화하기 위한 신호를 송신한다.
도 13은 디스플레이 향상을 수행하는 모바일 디바이스(360)를 도시한다. 모바일 디바이스(360)는 스마트폰, 태블릿, 핸드 헬드 컴퓨터, 미디어 플레이어, 또는 PDA일 수 있다. 모바일 디바이스(360)는 밝은 동공 검출을 위한 IR 광원(364), 디스플레이(362) 및 광학 어셈블리(366)를 포함한다. 예를 들어, LCD인 디스플레이(362)는 텍스트, 그래픽, 비디오 또는 이들의 조합과 같은 시각적 출력을 사용자에게 디스플레이한다. 디스플레이(362)는 또한 터치 스크린 입력뿐만 아니라 출력일 수 있다. 카메라(314)는 가시 스펙트럼 카메라이다. 광학 어셈블리(366)는 카메라(372), IR 카메라(370) 및 IR 광원(368)을 포함한다. IR 카메라(370)는 렌즈 및 센서 어레이, 예를 들어, 초전 재료, 강유전 검출기 또는 마이크로 볼로미터 구조체를 포함하고, 카메라(372)는 고정 포커스 렌즈와 같은 렌즈, 및 CMOS 이미지 센서 또는 렌즈 뒤의 CCD 이미지 센서와 같은 광학 센서를 갖는다. 또한, 모바일 디바이스(360)는 애플리케이션 프로세서, 기저 대역 프로세서, 영구 스토리지, 메모리 제어기, GPU 주변 장치 인터페이스, RF 회로, 오디오 회로, GPS, 전력 시스템 및 OS를 포함하며, OS는 사용자 인터페이스를 갖고 눈 추적 및 얼굴 인식 소프트웨어를 실행한다. 소프트웨어는 영구 스토리지에 저장된다.
소프트웨어는 카메라(372)를 사용하여 사용자가 스퀸팅하는 것을 검출한다. 카메라(372)는 사용자의 얼굴의 이미지를 취한다. 소프트웨어는 사용자의 얼굴을 검출하고, 검출된 얼굴에서 얼굴 특징을 추출하고, 예를 들어 AU를 사용하여 사용자의 얼굴 표정을 결정한다. 소프트웨어는 또한 IR 카메라(370), IR 광원(368) 및 IR 광원(364)을 사용하여 사용자의 시선을 검출한다. IR 광원들(368 및 364)은 LED일 수 있다. IR 광원(368) 및 IR 카메라(370)가 사용자의 눈으로부터의 반사를 수신할 때, IR 광이 카메라를 향해 다시 반사되기 때문에, 사용자의 동공은 밝은 동공 검출을 사용하여 검출된다. IR 광원(364)이 사용되는 경우에, IR 광은 IR 카메라(370)가 아닌 IR 광원(364)을 향해 다시 반사되기 때문에, 사용자의 동공은 어두운 동공 검출을 사용하여 검출된다. 소프트웨어는 밝은 동공 검출 및 어두운 동공 검출에 적절한 IR 광원을 활성화 및 비활성화시킬 수 있다. 예를 들어, IR 광원(368)은 저조명 조건 동안 또는 사용자가 밝은 색의 눈을 가진 경우에 활성화될 수 있는 반면, IR 광원(364)은 밝은 조명 상태 동안 또는 사용자가 어두운 색의 눈을 가진 경우에 활성화된다. 다른 예에서, IR 광원들(368 및 364)은 번갈아 이용된다. 밝은 동공 검출 및/또는 어두운 동공 검출를 사용하여, 사용자의 시선이 검출된다. 사용자가 스퀸팅하고 있는 경우에, 사용자가 보고 있는 디스플레이 영역의 디스플레이가 향상된다. 이미지의 콘트라스트가 조정되어 선명도가 증가될 수 있다. 일례에서, 작은 텍스트 또는 작은 이미지가 줌 인됨으로써 선명도를 증가시킨다. 다른 예에서, GUI 요소의 레이아웃은 사용자가 보고 있는 GUI 요소의 크기를 증가시키고 다른 GUI 요소의 크기를 제거 또는 감소시키도록 변경될 수 있다. 해당 GUI 요소는 이미지 또는 텍스트 요소일 수 있다.
도 14는 사용자의 얼굴에서 스퀸트를 검출하고, 사용자가 모바일 디바이스의 디스플레이 상의 어디를 보고 있는지를 결정하고, 디스플레이의 영역을 향상시키기 위한 시스템(380)을 도시한다. 사용자(388)는 사용자의 눈인, 눈(390) 근처에 웨어러블 디바이스(392)를 착용하고 있다. 웨어러블 디바이스(392)는 추가적인 기능성을 가질 수 있는데, 예를 들면 웨어러블 디바이스(392)는 구글 글래스등록상표이다. 대신에, 웨어러블 디바이스(392)는 독립형 디바이스이다. 웨어러블 디바이스(392)는 IR 광원(394)과, IR 광원(400) 및 IR 카메라(398)를 포함하는 IR 모듈(396)을 포함한다. IR 카메라(398)는 렌즈 및 센서 어레이, 예를 들어 초전 재료, 강유전 검출기 또는 마이크로 볼로미터 구조체를 포함한다. IR 광원들(394 및 400)은 LED일 수 있다. IR 광원(400) 또는 IR 광원(394)이 조명되는 경우에, IR 카메라(398)는 눈(390)에서의 IR 반사를 수신한다. IR 광원(400)이 조명되는 경우에, 광은 IR 카메라(398)를 향해 다시 반사되고 밝은 동공 검출이 수행된다. 한편, IR 광원(394)이 사용되는 경우에, 어두운 동공 검출이 사용된다. 웨어러블 디바이스(392)는 또한 모바일 디바이스(382)에 대한 웨어러블 디바이스(392)의 배향을 결정하는 데 사용될 수 있는 위치 센서, 배향 센서 또는 디지털 나침반을 포함할 수 있다.
웨어러블 디바이스(392)는, 예를 들어 블루투스 또는 사유 통신 대역을 사용하여 모바일 디바이스(382)와 통신한다. 모바일 디바이스(382)는 스마트폰, 태블릿, 핸드 헬드 컴퓨터, 미디어 플레이어, 또는 PDA일 수 있다. 모바일 디바이스(382)는 IR 광원(400) 및 IR 광원(394) 중 적절한 하나를 조명하도록 이를 알리는 메시지를 웨어러블 디바이스(392)에 송신한다. 또한, 모바일 디바이스(382)는 사용자의 동공으로부터 반사된 IR 광과 함께 IR 카메라(398)로부터 이미지를 수신한다. 모바일 디바이스(382)는 카메라(386), 디스플레이(384), 애플리케이션 프로세서, 기저 대역 프로세서, 영구 스토리지, 메모리 제어기, GPU 주변 장치 인터페이스, RF 회로, 오디오 회로, GPS, 전력 시스템 및 OS를 포함한다. 디스플레이(384)는 텍스트, 그래픽, 비디오 또는 이들의 조합과 같은 사용자에게 시각적 출력을 나타내는 LCD일 수 있다. 디스플레이(384)는 또한 터치 스크린 입력뿐만 아니라 출력일 수 있다. 카메라(386)는 고정 포커스 렌즈, 및 렌즈 뒤의 CMOS 이미지 센서 또는 CCD 이미지 센서와 같은 광학 센서를 가질 수 있다. 동공 검출을 수행할 때, 웨어러블 디바이스(392) 및 모바일 디바이스(382)의 배향이 결정되어서, 사용자가 디스플레이(384) 상의 어디를 보고 있는지가 확인될 수 있다. 모바일 디바이스(382) 및 웨어러블 디바이스(392) 상의 위치 및 배향 센서는 2개 디바이스의 위치 및 배향을 결정하는 데 사용될 수 있다. 웨어러블 디바이스(392)는 그 위치 및 배향을 모바일 디바이스(382)에 송신한다. 그 후, 그들의 상대 위치 및 배향은 그들의 위치와 배향 사이의 차이로부터 모바일 디바이스(382)에 의해 결정될 수 있다. 상대적인 배향 및 사용자의 시선으로부터, 사용자가 보고 있는 디스플레이(384) 상의 위치는, 예를 들어, 어두운 동공 검출 또는 밝은 동공 검출을 사용하여 결정될 수 있다. 사용자가 스퀸팅하는지는 카메라(386)로부터의 이미지로부터 결정된다. 얼굴은 이미지에서 검출되고, 얼굴 특징은 검출된 얼굴로부터 추출된다. 그 후, 얼굴 표정이 결정된다. 스퀸트가 검출되는 경우에, 사용자가 보고 있는 위치가 결정되고, 디스플레이 내의 해당 위치가 향상된다. 향상은 이미지의 콘트라스트를 증가시킬 수 있다. 대신에, 텍스트 박스 또는 이미지의 크기가 증가된다. 다른 예에서, 사용자가 보고 있는 GUI 요소가 가능한 한 다른 GUI 요소를 희생시키면서 크기가 증가되도록 UI가 재배열된다.
도 15는 본 명세서에서 개시된 디바이스 및 방법을 구현하는 데 사용될 수 있는 처리 시스템(270)의 블록도를 도시한다. 특정 디바이스들은 도시된 컴포넌트들 전부 또는 컴포넌트들의 서브세트만을 이용할 수 있으며, 디바이스마다 통합 레벨들이 다를 수 있다. 또한, 디바이스는 다중 처리 유닛, 프로세서, 메모리, 송신기, 수신기 등과 같은 구성 요소의 다수의 인스턴스들을 포함할 수 있다. 처리 시스템은 마이크로폰, 마우스, 터치 스크린, 키패드, 키보드 등과 같은 하나 이상의 입력 디바이스를 구비한 처리 유닛을 포함할 수 있다. 또한, 처리 시스템(270)은 스피커, 프린터, 디스플레이 등과 같은 하나 이상의 출력 디바이스를 구비할 수 있다. 처리 유닛은 버스에 접속된 중앙 처리 유닛(CPU)(274), 메모리(276), 대용량 스토리지 디바이스(278), 비디오 어댑터(280) 및 I/O 인터페이스(288)를 포함할 수 있다.
버스는 메모리 버스 또는 메모리 제어기, 주변 장치 버스, 비디오 버스 등을 포함하는 임의의 유형의 수 개의 버스 아키텍처들 중 하나 이상일 수 있다. CPU(274)는 임의의 유형의 전자 데이터 프로세서를 포함할 수 있다. 메모리(276)는 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM), 동기식 DRAM(SDRAM), 판독 전용 메모리(ROM), 그들의 조합 등과 같은 임의의 유형의 시스템 메모리를 포함할 수 있다. 실시예에서, 메모리는 시동 시에 사용하기 위한 ROM, 및 프로그램들을 실행하는 동안 사용하기 위한 프로그램 및 데이터 스토리지를 위한 DRAM을 포함할 수도 있다.
대용량 스토리지 디바이스(278)는 데이터, 프로그램들 및 다른 정보를 저장하고, 데이터, 프로그램들 및 다른 정보를 버스를 통해 액세스 가능하게 만들도록 구성된 임의의 유형의 스토리지 디바이스를 포함할 수 있다. 대용량 스토리지 디바이스(278)는 예를 들어, 고체 상태 드라이브, 하드 디스크 드라이브, 자기 디스크 드라이브, 또는 광학 디스크 드라이브 등 중 하나 이상을 포함할 수도 있다.
비디오 어댑터(280) 및 I/O 인터페이스(288)는 외부 입력 및 출력 디바이스를 처리 유닛에 연결하기 위한 인터페이스를 제공한다. 예시되는 바와 같이, 입력 및 출력 디바이스의 예는 비디오 어댑터에 연결되는 디스플레이 및 I/O 인터페이스에 연결되는 마우스/키보드/프린터를 포함한다. 다른 디바이스들이 처리 유닛에 연결될 수 있고, 추가적인, 또는 더 적은 인터페이스 카드들이 이용될 수 있다. 예를 들어, 프린터에 대한 직렬 인터페이스를 제공하기 위해 직렬 인터페이스 카드(도시되지 않음)가 이용될 수 있다.
처리 유닛은 또한 하나 이상의 네트워크 인터페이스(284)를 포함하는데, 네트워크 인터페이스들은 노드들 또는 상이한 네트워크들에 액세스하기 위한 무선 링크들, 및/또는 이더넷(Ethernet) 케이블 등과 같은 유선 링크들을 포함할 수 있다. 네트워크 인터페이스(284)는 처리 유닛이 네트워크들을 통해 원격 유닛들과 통신할 수 있게 한다. 예를 들어, 네트워크 인터페이스는 하나 이상의 송신기들/송신 안테나들 및 하나 이상의 수신기들/수신 안테나들을 통해 무선 통신을 제공할 수 있다. 실시예에서, 처리 유닛은 다른 처리 유닛들, 인터넷, 또는 원격 스토리지 설비들 등과 같은, 원격 디바이스들과의 통신 및 데이터 처리를 위해 근거리 네트워크 또는 광역 네트워크에 연결된다.
본 개시내용에서 수 개의 실시예가 제공되었지만, 개시된 시스템들 및 방법들은 본 개시내용의 사상 또는 범위로부터 벗어나지 않고서 많은 다른 특정 형태로 구현될 수 있다는 점이 이해되어야 한다. 본 예들은 제한적인 것이 아니라 예시적인 것으로 고려되어야 하며, 본 명세서에 주어진 상세 사항들로 한정되는 것으로 의도되지는 않는다. 예를 들어, 다른 시스템에서 다양한 요소들 또는 컴포넌트들이 결합 또는 통합될 수 있거나, 또는 특정 특징들이 생략되거나 구현되지 않을 수 있다.
추가로, 다양한 실시예들에서 별도로 또는 개별로 설명 및 예시된 기술들, 시스템들, 서브시스템들 및 방법들은 본 개시내용의 범위로부터 벗어나지 않고서 다른 시스템들, 모듈들, 기술들 또는 방법들과 결합 또는 통합될 수 있다. 서로 연결되거나 직접 연결되거나 통신하는 것으로 도시 또는 논의된 다른 항목들은, 전기적으로, 기계적으로 또는 다른 것이든 관계없이, 일부 인터페이스, 디바이스 또는 중간 컴포넌트를 통해 간접적으로 연결되거나 통신할 수 있다. 변경들, 대체들 및 변형들의 다른 예들이 본 기술분야의 통상의 기술자에 의해 확인 가능하며, 본 명세서에 개시된 사상 및 범위로부터 벗어나지 않고서 이루어질 수 있다.

Claims (21)

  1. 디스플레이를 향상(enhancing)시키는 방법으로서,
    사용자의 얼굴의 광학 이미지를 수신하는 단계;
    상기 광학 이미지에 따라 상기 사용자가 스퀸팅(squinting)하고 있는지를 검출하는 단계;
    상기 사용자의 얼굴의 적외선 이미지를 수신하는 단계;
    상기 사용자가 보고 있는 상기 디스플레이 상의 영역을 검출하는 단계; 및
    상기 사용자가 스퀸팅하고 있는 경우에, 상기 사용자가 보고 있는 상기 디스플레이 상의 상기 영역을 향상시키는 단계
    를 포함하고,
    상기 사용자가 보고 있는 상기 디스플레이 상의 상기 영역을 검출하는 단계는 상기 사용자가 보고 있는 상기 디스플레이 상의 상기 영역을 상기 적외선 이미지에 따라 검출하는 단계를 포함하고,
    상기 사용자가 보고 있는 상기 디스플레이 상의 상기 영역을 검출하는 단계는,
    상기 적외선 이미지에 따라 어두운 동공(dark pupil) 검출을 수행할지 또는 밝은 동공(bright pupil) 검출을 수행할지를 결정하는 단계;
    어두운 동공 검출을 수행하도록 결정되는 경우에 어두운 동공 검출을 수행하는 단계; 및
    밝은 동공 검출을 수행하도록 결정되는 경우에 밝은 동공 검출을 수행하는 단계를 포함하고,
    어두운 동공 검출을 수행할지 또는 밝은 동공 검출을 수행할지를 결정하는 단계는,
    상기 적외선 이미지에서 상기 사용자의 얼굴의 홍채를 검출하는 단계;
    상기 홍채가 밝은 색인 경우에 밝은 동공 검출을 수행하기로 결정하는 단계; 및
    상기 홍채가 어두운 색인 경우에 어두운 동공 검출을 수행하기로 결정하는 단계
    를 포함하는, 디스플레이를 향상시키는 방법.
  2. 제1항에 있어서,
    상기 사용자가 스퀸팅하고 있는지를 검출하는 단계는,
    상기 광학 이미지로부터 상기 사용자의 얼굴을 검출하는 단계;
    상기 사용자의 얼굴로부터 얼굴 데이터를 추출하여 추출된 얼굴 데이터를 생성하는 단계; 및
    상기 추출된 얼굴 데이터에 따라 상기 사용자의 얼굴의 얼굴 표정을 인식하는 단계
    를 포함하는, 디스플레이를 향상시키는 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 적외선 이미지를 수신하는 단계는,
    적외선 광원을 조명하는 단계; 및
    적외선 카메라로부터 상기 적외선 이미지를 수신하는 단계
    를 포함하는, 디스플레이를 향상시키는 방법.
  5. 삭제
  6. 제1항에 있어서,
    어두운 동공 검출을 수행할지 또는 밝은 동공 검출을 수행할지를 결정하는 단계는 상기 적외선 이미지의 광 레벨을 결정하는 단계를 더 포함하고,
    어두운 동공 검출을 수행할지 또는 밝은 동공 검출을 수행할지를 결정하는 단계는 상기 광 레벨에 따라서 수행되는, 디스플레이를 향상시키는 방법.
  7. 삭제
  8. 제1항에 있어서,
    모바일 디바이스에 의해 웨어러블 디바이스에 적외선 광원 활성화 메시지를 송신하는 단계; 및
    상기 모바일 디바이스에 의해 상기 웨어러블 디바이스로부터 상기 적외선 이미지를 수신하는 단계
    를 추가로 포함하는, 디스플레이를 향상시키는 방법.
  9. 제1항에 있어서,
    상기 사용자가 보고 있는 상기 디스플레이 상의 상기 영역을 검출하는 단계는,
    모바일 디바이스에 의해 별도의 웨어러블 디바이스로부터 상기 웨어러블 디바이스의 위치 및 상기 웨어러블 디바이스의 배향(orientation)을 수신하는 단계;
    상기 모바일 디바이스의 위치를 결정하는 단계;
    상기 모바일 디바이스의 배향을 결정하는 단계;
    상기 모바일 디바이스의 위치 및 상기 웨어러블 디바이스의 위치에 따라 상기 모바일 디바이스와 상기 웨어러블 디바이스의 상대적인 위치를 결정하는 단계; 및
    상기 모바일 디바이스의 배향 및 상기 웨어러블 디바이스의 배향에 따라 상기 모바일 디바이스와 상기 웨어러블 디바이스의 상대적인 배향을 결정하는 단계
    를 포함하는, 디스플레이를 향상시키는 방법.
  10. 제1항에 있어서,
    상기 디스플레이 상의 상기 영역을 향상시키는 단계는 상기 디스플레이 상의 상기 영역의 콘트라스트 레벨을 조정하는 단계를 포함하는, 디스플레이를 향상시키는 방법.
  11. 제1항에 있어서,
    상기 디스플레이 상의 상기 영역을 향상시키는 단계는 상기 디스플레이 상의 상기 영역을 줌 인(zoom in)하는 단계를 포함하는, 디스플레이를 향상시키는 방법.
  12. 제1항에 있어서,
    상기 디스플레이 상의 상기 영역을 향상시키는 단계는 상기 디스플레이 상의 상기 영역 내의 사용자 인터페이스(UI) 요소를 수정하는 단계를 포함하는, 디스플레이를 향상시키는 방법.
  13. 제12항에 있어서,
    상기 UI 요소를 수정하는 단계는 상기 UI 요소를 포함하는 복수의 UI 요소를 재배열하는 단계를 포함하는, 디스플레이를 향상시키는 방법.
  14. 모바일 디바이스로서,
    디스플레이;
    프로세서; 및
    상기 프로세서에 의한 실행을 위한 프로그래밍을 저장하는 비 일시적 컴퓨터 판독 가능 저장 매체
    를 포함하고, 상기 프로그래밍은,
    사용자의 얼굴의 광학 이미지를 수신하고,
    상기 광학 이미지에 따라 상기 사용자가 스퀸팅하고 있는지를 검출하고,
    상기 사용자의 얼굴의 적외선 이미지를 수신하고,
    상기 적외선 이미지에 따라 어두운 동공(dark pupil) 검출을 수행할지 또는 밝은 동공(bright pupil) 검출을 수행할지를 결정하고; 어두운 동공 검출을 수행하도록 결정되는 경우에 어두운 동공 검출을 수행하고; 밝은 동공 검출을 수행하도록 결정되는 경우에 밝은 동공 검출을 수행함으로써 상기 적외선 이미지에 따라 상기 사용자가 보고 있는 상기 디스플레이 상의 영역을 검출하고 - 어두운 동공 검출을 수행할지 또는 밝은 동공 검출을 수행할지의 결정은, 상기 적외선 이미지에서 상기 사용자의 얼굴의 홍채를 검출하고, 상기 홍채가 밝은 색인 경우에 밝은 동공 검출을 수행하기로 결정하고, 상기 홍채가 어두운 색인 경우에 어두운 동공 검출을 수행하기로 결정함으로써 이루어짐 -,
    상기 사용자가 스퀸팅하고 있는 경우에 상기 사용자가 보고 있는 상기 디스플레이의 상기 영역을 향상시키기 위한
    명령어들을 포함하는, 모바일 디바이스.
  15. 제14항에 있어서,
    상기 광학 이미지를 제공하도록 구성된 카메라를 추가로 포함하는, 모바일 디바이스.
  16. 제14항에 있어서,
    적외선 카메라; 및
    제1 적외선 광원
    을 추가로 포함하고, 상기 프로그래밍은 상기 제1 적외선 광원을 활성화시키고 상기 적외선 카메라로부터 상기 적외선 이미지를 수신하기 위한 명령어들을 추가로 포함하는, 모바일 디바이스.
  17. 제16항에 있어서,
    상기 적외선 카메라는 상기 제1 적외선 광원의 2 cm 이내에 있는, 모바일 디바이스.
  18. 제16항에 있어서,
    상기 적외선 카메라는 상기 제1 적외선 광원으로부터 적어도 5 cm에 있는, 모바일 디바이스.
  19. 제16항에 있어서,
    제2 적외선 광원을 추가로 포함하는, 모바일 디바이스.
  20. 웨어러블 디바이스로서,
    적외선 카메라;
    상기 적외선 카메라의 2 cm 이내의 제1 적외선 광원; 및
    상기 적외선 카메라로부터 적어도 5 cm에 있는 제2 적외선 광원
    을 포함하고, 상기 웨어러블 디바이스는, 상기 웨어러블 디바이스가 밝은 동공 검출 신호를 수신하는 경우에 상기 제1 적외선 광원을 활성화시키고, 상기 웨어러블 디바이스가 어두운 동공 검출 신호를 수신하는 경우에 상기 제2 적외선 광원을 활성화시키도록 구성되며, 상기 웨어러블 디바이스는 상기 적외선 카메라로부터의 이미지를 모바일 디바이스에 무선으로 송신하도록 구성되고,
    사용자의 얼굴의 홍채가 밝은 색인 경우에, 상기 적외선 카메라로부터 상기 모바일 디바이스에 송신된 이미지는 상기 밝은 동공 검출 신호에 기초하고, 상기 사용자의 얼굴의 홍채가 어두운 색인 경우에, 상기 적외선 카메라로부터 상기 모바일 디바이스에 송신된 이미지는 상기 어두운 동공 검출 신호에 기초하는, 웨어러블 디바이스.
  21. 제20항에 있어서,
    상기 웨어러블 디바이스의 배향을 결정하도록 구성된 배향 센서; 및
    상기 웨어러블 디바이스의 위치를 결정하도록 구성된 위치 센서
    를 추가로 포함하고, 상기 웨어러블 디바이스는 상기 웨어러블 디바이스의 위치 및 상기 웨어러블 디바이스의 배향을 상기 모바일 디바이스에 무선으로 송신하도록 구성되는, 웨어러블 디바이스.
KR1020177003123A 2014-07-14 2015-06-25 디스플레이 향상을 위한 시스템 및 방법 KR101890542B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/330,648 US20160011657A1 (en) 2014-07-14 2014-07-14 System and Method for Display Enhancement
US14/330,648 2014-07-14
PCT/CN2015/082368 WO2016008354A1 (en) 2014-07-14 2015-06-25 System and method for display enhancement

Publications (2)

Publication Number Publication Date
KR20170026615A KR20170026615A (ko) 2017-03-08
KR101890542B1 true KR101890542B1 (ko) 2018-08-21

Family

ID=55067540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177003123A KR101890542B1 (ko) 2014-07-14 2015-06-25 디스플레이 향상을 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US20160011657A1 (ko)
EP (1) EP3158424B1 (ko)
JP (1) JP6339287B2 (ko)
KR (1) KR101890542B1 (ko)
CN (1) CN107077593A (ko)
WO (1) WO2016008354A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016180885A (ja) * 2015-03-24 2016-10-13 株式会社東芝 表示システム、情報処理装置および情報処理方法
US10275672B2 (en) * 2015-04-29 2019-04-30 Beijing Kuangshi Technology Co., Ltd. Method and apparatus for authenticating liveness face, and computer program product thereof
US9916525B2 (en) * 2015-10-13 2018-03-13 Siemens Healthcare Gmbh Learning-based framework for personalized image quality evaluation and optimization
JP2017130201A (ja) * 2016-01-20 2017-07-27 株式会社半導体エネルギー研究所 入力システム、および電子機器
JP2017181683A (ja) * 2016-03-29 2017-10-05 日本電気株式会社 表示処理装置、表示処理方法、およびプログラム
US9655504B1 (en) * 2016-05-26 2017-05-23 Dental Smartmirror, Inc. Autoclavable intraoral mirror with an integrated camera, and applications thereof
KR102196380B1 (ko) * 2016-07-21 2020-12-30 매직 립, 인코포레이티드 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술
US9898082B1 (en) * 2016-11-01 2018-02-20 Massachusetts Institute Of Technology Methods and apparatus for eye tracking
US10860841B2 (en) * 2016-12-29 2020-12-08 Samsung Electronics Co., Ltd. Facial expression image processing method and apparatus
KR20190121758A (ko) * 2017-02-27 2019-10-28 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
US11106274B2 (en) * 2017-04-10 2021-08-31 Intel Corporation Adjusting graphics rendering based on facial expression
DE102017207792A1 (de) * 2017-05-09 2018-11-15 Continental Automotive Gmbh Vorrichtung und Verfahren zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatzkamera
DE102017213005A1 (de) * 2017-07-27 2019-01-31 Audi Ag Verfahren zum Darstellen eines Anzeigeinhalts
US10956737B1 (en) * 2017-10-24 2021-03-23 Wells Fargo Bank, N.A. System and apparatus for improved eye tracking using a mobile device
KR102495359B1 (ko) 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
CN108257091B (zh) 2018-01-16 2022-08-05 北京小米移动软件有限公司 用于智能镜子的成像处理方法和智能镜子
CN108542348A (zh) * 2018-03-15 2018-09-18 中国人民解放军陆军军医大学 非人灵长类动物瞳孔监测及视线追踪系统及其实验方法
CN111258414B (zh) * 2018-11-30 2023-08-04 百度在线网络技术（北京）有限公司 用于调整屏幕的方法和装置
US11763598B2 (en) * 2018-12-18 2023-09-19 Nec Corporation Image processing device, image processing method, and storage medium
US11430414B2 (en) 2019-10-17 2022-08-30 Microsoft Technology Licensing, Llc Eye gaze control of magnification user interface
ES2925382T3 (es) * 2020-04-09 2022-10-17 Irisbond Crowdbonding S L Método para el seguimiento de la mirada
EP4202611A1 (en) * 2021-12-27 2023-06-28 Koninklijke KPN N.V. Rendering a virtual object in spatial alignment with a pose of an electronic device
WO2023181862A1 (ja) * 2022-03-25 2023-09-28 ソニーグループ株式会社 情報処理装置、情報処理方法、記憶媒体

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3520618B2 (ja) * 1995-08-16 2004-04-19 日産自動車株式会社 車両用視線方向計測装置
US5839000A (en) * 1997-11-10 1998-11-17 Sharp Laboratories Of America, Inc. Automatic zoom magnification control using detection of eyelid condition
JP4693329B2 (ja) * 2000-05-16 2011-06-01 スイスコム・アクチエンゲゼルシヤフト 命令を入力する方法と端末装置
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
US20070081123A1 (en) * 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) * 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
WO2008053585A1 (fr) * 2006-10-31 2008-05-08 Mitsubishi Electric Corporation Dispositif électrique d'isolation de gaz
US8225229B2 (en) * 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
JP4884417B2 (ja) * 2008-04-01 2012-02-29 富士フイルム株式会社 携帯型電子装置及びその制御方法
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
JP2012022589A (ja) * 2010-07-16 2012-02-02 Hitachi Ltd 商品選択支援方法
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
TWI545947B (zh) * 2011-04-08 2016-08-11 南昌歐菲光電技術有限公司 具有影像擷取及分析模組之顯示裝置
EP2515526A3 (en) * 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9361718B2 (en) * 2011-09-08 2016-06-07 Intel Corporation Interactive screen viewing
EP2579127A1 (en) * 2011-10-04 2013-04-10 Research In Motion Limited Orientation determination for a mobile device
US8988519B2 (en) * 2012-03-20 2015-03-24 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
US9128522B2 (en) * 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
CN104781873B (zh) * 2012-11-13 2017-06-06 索尼公司 图像显示装置、图像显示方法、移动装置、图像显示系统
CN103902179A (zh) * 2012-12-28 2014-07-02 华为技术有限公司 一种交互方法及装置
CN103914130A (zh) * 2013-01-05 2014-07-09 鸿富锦精密工业(武汉)有限公司 显示装置及调整显示装置观测距离的方法
US20140247232A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
JP5273323B1 (ja) * 2013-03-13 2013-08-28 パナソニック株式会社 ヘッドマウントディスプレイ装置
CN103500061B (zh) * 2013-09-26 2017-11-07 三星电子（中国）研发中心 控制显示器的方法及设备
JP2015176186A (ja) * 2014-03-13 2015-10-05 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理システム
CN103902157B (zh) * 2014-03-14 2017-06-27 联想(北京)有限公司 一种信息处理方法和电子设备

Also Published As

Publication number Publication date
KR20170026615A (ko) 2017-03-08
CN107077593A (zh) 2017-08-18
EP3158424B1 (en) 2024-03-13
EP3158424A1 (en) 2017-04-26
EP3158424A4 (en) 2017-11-08
JP2017528793A (ja) 2017-09-28
JP6339287B2 (ja) 2018-06-06
WO2016008354A1 (en) 2016-01-21
US20160011657A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
KR101890542B1 (ko) 디스플레이 향상을 위한 시스템 및 방법
KR102627452B1 (ko) 다중 모드 눈 추적
CN109803574B (zh) 具有显示器、透镜、照明器和图像传感器的可穿戴设备
EP4011274A1 (en) Eye tracking using eyeball center position
ES2742416T3 (es) Dispositivo y método de imagen corneal
US11803237B2 (en) Controlling an eye tracking camera according to eye movement velocity
CN105900141A (zh) 将闪光映射到光源
US11243607B2 (en) Method and system for glint/reflection identification
KR20170028942A (ko) 안전한 웨어러블 컴퓨터 인터페이스
US11335090B2 (en) Electronic device and method for providing function by using corneal image in electronic device
KR20220088678A (ko) 투영 면에 시각적 장면을 매핑하는 장치 및 방법
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
US20210072824A1 (en) Contextual awareness based on eye motion tracking by an eye-mounted system
EP3801196B1 (en) Method and system for glint/reflection identification
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
US20210350554A1 (en) Eye-tracking system
US20230309824A1 (en) Accommodation tracking based on retinal-imaging
US20230329549A1 (en) Retinal imaging-based eye accommodation detection
US20230359273A1 (en) Retinal reflection tracking for gaze alignment
US20230418372A1 (en) Gaze behavior detection
WO2023114079A1 (en) User interactions and eye tracking with text embedded elements

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant