KR101610496B1 - 시선 추적 방법 및 장치 - Google Patents

시선 추적 방법 및 장치 Download PDF

Info

Publication number
KR101610496B1
KR101610496B1 KR1020140111779A KR20140111779A KR101610496B1 KR 101610496 B1 KR101610496 B1 KR 101610496B1 KR 1020140111779 A KR1020140111779 A KR 1020140111779A KR 20140111779 A KR20140111779 A KR 20140111779A KR 101610496 B1 KR101610496 B1 KR 101610496B1
Authority
KR
South Korea
Prior art keywords
face image
user
point
vector
detected
Prior art date
Application number
KR1020140111779A
Other languages
English (en)
Other versions
KR20160024668A (ko
Inventor
이재호
김선아
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140111779A priority Critical patent/KR101610496B1/ko
Priority to US14/567,477 priority patent/US9830512B2/en
Publication of KR20160024668A publication Critical patent/KR20160024668A/ko
Application granted granted Critical
Publication of KR101610496B1 publication Critical patent/KR101610496B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

본 발명은 시선 추적 방법 및 장치에 관한 것이다. 본 발명에 따른 방법은, 사용자의 제1 얼굴 영상의 안구 영역으로부터 검출된 적어도 두 개의 조명 반사점을 이용하여 각막 중심점 위치를 결정하는 단계, 상기 제1 얼굴 영상으로부터 검출된 적어도 두 개의 고정된 특징점 및 상기 각막 중심점 위치를 기준으로 제1 벡터를 계산하는 단계, 사용자의 제2 얼굴 영상의 안구 영역으로부터 적어도 두 개의 조명 반사점이 검출되지 않으면 상기 제2 얼굴 영상으로부터 검출된 상기 특징점의 위치 및 상기 제1 벡터를 이용하여 상기 제2 얼굴 영상의 안구 영역에 대한 각막 중심점 위치를 계산하는 단계, 상기 계산된 각막 중심점의 위치 및 상기 제2 얼굴 영상의 안구 영역으로부터 검출된 동공 중심점 위치를 이용하여 제2 벡터를 계산하는 단계, 및 상기 제2 벡터를 이용하여 상기 사용자의 시선을 추적하는 단계를 포함한다.

Description

시선 추적 방법 및 장치{Method and apparatus for gaze tracking}
본 발명은 시선 추적 방법 및 장치에 관한 것으로, 사용자의 시선을 추적하는 기술에 관한 것이다.
일반적으로, 사용자의 얼굴 영상을 이용하여 시선을 추적하는 경우, 조명반사점과 동공중심을 이용하여 시선벡터를 검출한다. 이 제대로 계산된다면 이론적으로 정확한 시선벡터를 검출할 수 있다.
조명 반사점을 이용한 시선벡터 검출 방법의 경우, 2개의 적외선 LED에 의해 동공에 발생하는 조명반사점들과 각 조명을 이어주는 선의 교점을 이용하여 각막의 중심점을 구한다. 그리고 카메라에 나타나는 안구영상에 영상처리 기법을 적용하여 동공 중심을 구한 후, 이를 각막 중심점과 연결하는 벡터로 시선을 계산한다.
이와 같이, 조명 반사점과 동공 중심을 이용하여 시선벡터를 검출하는 것은 이론적으로 조명 반사점과 동공 중심이 정확하게 검출된다면 정확한 시선벡터를 계산할 수 있다. 하지만, 조명 반사점의 경우, 눈의 방향에 따라 조명반사점이 번지거나 안경 착용시 안경에 비치는 조명으로 인해서 가려지는 경우가 발생할 수 있으며, 이런 경우에는 시선벡터를 계산할 수가 없게 된다.
본 발명의 목적은, 조명 반사점이 검출된 영상으로부터 결정된 각막중심점의 위치를 기준으로 산출된 벡터와 얼굴 영상 내에서 위치 고정된 특징점을 이용하여 조명 반사점이 검출되지 않는 영상으로부터 각막중심점의 위치를 결정함으로써 정확한 시선 추적이 가능하도록 하는 시선 추정 방법 및 장치를 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 시선 추적 방법은, 시선 추적 장치가, 사용자의 제1 얼굴 영상의 안구 영역으로부터 검출된 적어도 두 개의 조명 반사점을 이용하여 각막 중심점 위치를 결정하는 단계, 상기 제1 얼굴 영상으로부터 검출된 적어도 두 개의 고정된 특징점 및 상기 각막 중심점 위치를 기준으로 제1 벡터를 계산하는 단계, 사용자의 제2 얼굴 영상의 안구 영역으로부터 적어도 두 개의 조명 반사점이 검출되지 않으면 상기 제2 얼굴 영상으로부터 검출된 상기 특징점의 위치 및 상기 제1 벡터를 이용하여 상기 제2 얼굴 영상의 안구 영역에 대한 각막 중심점 위치를 계산하는 단계, 상기 계산된 각막 중심점의 위치 및 상기 제2 얼굴 영상의 안구 영역으로부터 검출된 동공 중심점 위치를 이용하여 제2 벡터를 계산하는 단계, 및 상기 제2 벡터를 이용하여 상기 사용자의 시선을 추적하는 단계를 포함하는 것을 특징으로 한다.
상기 각막 중심점 위치를 계산하는 단계는, 상기 제1 벡터를 계산하는데 이용된 적어도 두 개의 특징점을 상기 제2 얼굴 영상으로부터 검출하는 단계, 및 상기 제2 얼굴 영상으로부터 검출된 적어도 두 개의 특징점을 상기 제1 벡터에 적용하여 상기 제2 얼굴 영상에서의 각막 중심점을 계산하는 단계를 포함하는 것을 특징으로 한다.
상기 제2 벡터를 계산하는 단계는, 상기 제2 얼굴 영상의 안구 영역으로부터 동공 중심점 위치를 결정하는 단계, 및 상기 각막 중심점으로부터 상기 동공 중심점을 통과하는 연장선의 방향 벡터를 계산하는 단계를 포함하는 것을 특징으로 한다.
상기 각막 중심점 위치를 결정하는 단계는, 상기 사용자의 각막 위치를 기준으로 서로 다른 방향에서 적어도 두 개의 조명에 의해 발생하는 적어도 두 개의 조명 반사점을 검출하는 단계, 및 상기 적어도 두 개의 조명과 대응하는 조명 반사점을 각각 연결하는 연장선이 서로 교차하는 지점을 기준으로 각막 중심점을 계산하는 단계를 포함하는 것을 특징으로 한다.
상기 고정된 특징점은, 사용자 눈의 좌측 끝점 및 우측 끝점을 포함하는 것을 특징으로 한다.
상기 제1 벡터를 계산하는 단계는, 상기 사용자 눈의 좌측 끝점으로부터 상기 각막 중심점까지의 벡터를 계산하는 단계, 및 상기 사용자 눈의 우측 끝점으로부터 상기 각막 중심점까지의 벡터를 계산하는 단계를 포함하는 것을 특징으로 한다.
상기 고정된 특징점은, 사용자의 얼굴 특징점 및 상기 사용자가 착용한 액세서리의 특징점 중 적어도 하나를 포함하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 시선 추적 장치는, 사용자의 얼굴 영상의 안구 영역으로부터 적어도 두 개의 조명 반사점 및 동공 중심점을 검출하고, 상기 얼굴 영상 내에서 적어도 두 개의 고정된 특징점을 검출하는 특징점 검출부, 사용자의 제1 얼굴 영상의 안구 영역으로부터 검출된 적어도 두 개의 조명 반사점을 이용하여 각막 중심점 위치를 결정하고, 상기 사용자의 제2 얼굴 영상으로부터 적어도 두 개의 조명 반사점이 검출되지 않으면, 사전에 상기 제1 얼굴 영상으로부터 검출된 적어도 두 개의 특징점과 상기 각막 중심점 위치를 연결하는 제1 벡터에 상기 제2 얼굴 영상으로부터 검출된 적어도 두 개의 특징점을 적용하여 제2 얼굴 영상에 대한 각막 중심점 위치를 결정하는 위치 결정부, 상기 제2 얼굴 영상에 대한 각막 중심점 및 상기 제2 영상으로부터 검출된 동공 중심점을 연결하는 제2 벡터를 계산하는 벡터 계산부, 및 상기 제2 벡터를 이용하여 사용자의 시선을 추적하는 시선 추적부를 포함하는 것을 특징으로 한다.
상기 특징점 검출부는, 상기 사용자의 제1 얼굴 영상으로부터 검출된 적어도 두 개의 특징점과 동일한 특징점을 상기 사용자의 제2 얼굴 영상으로부터 검출하는 것을 특징으로 한다.
상기 위치 결정부는, 상기 사용자의 각막 위치를 기준으로 서로 다른 방향에서 빛을 방광하는 적어도 두 개의 조명과, 상기 적어도 두 개의 조명에 의해 상기 제1 얼굴 영상의 안구 영역에 발생하는 적어도 두 개의 조명 반사점을 각각 연결하는 연장선이 서로 교차하는 지점을 기준으로 각막 중심점을 계산하는 것을 특징으로 한다.
상기 고정된 특징점은, 사용자 눈의 좌측 끝점 및 우측 끝점을 포함하는 것을 특징으로 한다.
상기 벡터 계산부는, 상기 사용자 눈의 좌측 끝점으로부터 상기 각막 중심점까지의 벡터를 계산하고, 상기 사용자 눈의 우측 끝점으로부터 상기 각막 중심점까지의 벡터를 계산하여 상기 제1 벡터를 산출하는 것을 특징으로 한다.
상기 고정된 특징점은, 사용자의 얼굴 특징점 및 상기 사용자가 착용한 액세서리의 특징점 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 조명 반사점이 검출된 영상으로부터 결정된 각막중심점의 위치를 기준으로 산출된 벡터를 조명 반사점이 검출되지 않는 영상의 각막중심점 위치를 결정하는데 이용함으로써 주변 환경에 무관하게 정확한 시선 추적이 가능한 효과가 있다.
삭제
또한, 본 발명에 따르면, 사용자의 시선을 추적하는데 있어서 얼굴 영상 내에서 위치 고정된 특징점을 이용하여 각막 중심점의 위치를 결정하고, 이를 토대로 시선을 추적함으로써 시선 추적의 정확도를 증대시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 시선 추적 장치의 구성을 도시한 블록도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 시선 추적 방법에 대한 동작 흐름을 도시한 순서도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 제1 벡터 산출 동작을 설명하는데 참조되는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 특징점 검출 동작을 설명하는데 참조되는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 시선 벡터 산출 동작을 설명하는데 참조되는 예시도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 일 실시예에 따른 시선 추적 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 시선 추적 장치(100)는 제어부(110), 카메라(120), 출력부(130), 저장부(140), 특징점 검출부(150), 위치 결정부(160), 벡터 계산부(170) 및 시선 추적부(180)를 포함할 수 있다. 여기서, 제어부(110)는 시선 추적 장치(100)의 각 부의 동작을 제어하도록 한다.
카메라(120)는 사용자의 영상, 특히 얼굴 영상을 촬영하는 장치이다. 일 예로서, 카메라(120)는 차량에 탑승한 운전자의 얼굴 영상을 촬영할 수 있다. 여기서, 카메라(120)는 적어도 두 개 이상 구비될 수 있다. 한편, 카메라(120)는 촬상 렌즈를 적어도 두 개 이상 구비한 스테레오 카메라(stereo camera)일 수도 있다. 이때, 카메라(120)는 CCD(charge coupled device) 카메라, CMOS(complementary metal oxi semiconductor) 카메라 등이 해당 될 수 있으나 이에 한정되는 것은 아니다.
출력부(130)는 시선 추적 장치(100)에 의해 도출된 시선 추적 결과를 출력할 수 있다. 이때, 출력부(130)는 무선 통신으로 연결된 외부장치 혹은 케이블을 통해 유선을 연결된 외부장치로 시선 추적 결과를 제공할 수 있다. 일 예로서, 출력부(130)는 시선 추적 장치(100)의 시선 추적 결과를 차내 모니터로 제공할 수 있으며, 또한 운전자의 상태에 따라 차량 구동을 제어하는 차량 제어 시스템으로 시선 추적 결과를 제공할 수도 있다.
저장부(140)는 시선 추적 장치(100)의 동작을 위한 설정값이 저장될 수 있으며, 시선 추적 장치(100)의 각 부에 의한 결과값이 저장될 수 있다. 또한, 저장부(140)는 시선 추적 장치(100)의 각 부의 동작을 구현하기 위한 프로그램 또는 알고리즘 등이 저장될 수 있다. 일 예로서, 저장부(140)는 특징점 검출 알고리즘, 위치 추정 알고리즘, 벡터 계산 알고리즘, 및 시선 추적 알고리즘 등이 저장될 수 있다.
특징점 검출부(150)는 사용자의 얼굴 영상으로부터 특징점들을 검출한다. 특징점 검출부(150)는 사용자의 얼굴 영상의 안구 영역으로부터 카메라(120)의 조명에 의해 발생하는 조명 반사점을 검출할 수 있다. 이에, 본 발명에서는 조명이 적어도 두 개인 것으로 가정한다. 따라서, 특징점 검출부(150)는 사용자의 얼굴 영상으로부터 적어도 두 개의 조명에 의해 발생하는 적어도 두 개의 조명 반사점을 검출할 수 있다. 또한, 특징점 검출부(150)는 사용자의 얼굴 영상의 안구 영역으로부터 동공 중심점을 검출할 수 있다.
또한, 특징점 검출부(150)는 사용자의 얼굴 영상 내에서 위치가 고정된 적어도 두 개의 특징점을 검출할 수 있다. 일 예로서, 특징점 검출부(150)는 사용자의 얼굴 영상의 안구 영역으로부터 사용자 눈의 좌측 끝점 및 우측 끝점을 검출할 수 있다. 또한, 특징점 검출부(150)는 사용자의 얼굴 영상 내에서 사용자의 얼굴 특징점, 예를 들어, 점, 흉터, 눈썹의 특정 위치 등을 검출할 수 있으며, 사용자가 착용한 액세서리, 예를 들어, 안경의 특정 위치 등을 검출할 수 있다.
여기서, 특징점 검출부(150)는 사용자의 얼굴 영상으로부터 시선 추적에 적용되는 특징점을 검출하면, 기 검출된 특징점을 기준으로 하여 이후 사용자의 다른 얼굴 영상으로부터 동일한 특징점을 검출할 수 있다. 물론, 사용자의 얼굴 영상으로부터 동일한 특징점이 검출되지 않은 경우에는 다시 새로운 특징점을 검출할 수도 있다.
위치 결정부(160)는 사용자의 얼굴 영상의 안구 영역에 대해 특징점 검출부(150)로부터 검출된 적어도 두 개의 조명 반사점을 이용하여 각막 중심점 위치를 결정하도록 한다. 이하에서, 특징점 검출부(150)에 의해 적어도 두 개의 조명 반사점이 검출된 얼굴 영상을 제1 얼굴 영상이라 칭하도록 한다.
일 예로서, 위치 결정부(160)는 사용자의 각막 위치를 기준으로 서로 다른 방향에서 빛을 발광하는 적어도 두 개의 조명과, 적어도 두 개의 조명에 의해 제1 얼굴 영상의 안구 영역에 발생하는 적어도 두 개의 조명 반사점을 각각 연결하는 연장선이 서로 교차하는 지점을 각막 중심점으로 결정할 수 있다.
한편, 위치 결정부(160)는 사용자의 얼굴 영상의 안구 영역에 대해 특징점 검출부(150)로부터 적어도 두 개의 조명 반사점이 검출되지 않으면, 특징점 검출부(150)를 통해 해당 얼굴 영상 내의 특징점 위치를 요청할 수 있다. 이하에서, 특징점 검출부(150)에 의해 적어도 두 개의 조명 반사점이 검출되지 않을 얼굴 영상을 제2 얼굴 영상이라 칭하도록 한다. 이때, 위치 결정부(160)는 특징점 검출부(150)로부터 제2 얼굴 영상 내에서 검출된 특징점과, 사전에 제1 얼굴 영상으로부터 검출된 각막 중심점 위치를 기준으로 산출된 제1 벡터를 이용하여 제2 얼굴 영상에 대한 각막 중심점 위치를 결정할 수 있다.
벡터 계산부(170)는 제1 얼굴 영상으로부터 검출된 적어도 두 개의 특징점으로부터 제1 영상에 대해 위치 결정부(160)에 의해 결정된 각막 중심점까지의 벡터를 계산할 수 있다. 일 예로서, 벡터 계산부(170)는 제1 얼굴 영상으로부터 검출된 사용자 눈의 좌측 끝점으로부터 각막 중심점까지의 벡터를 계산하고, 사용자 눈의 우측 끝점으로부터 각막 중심점까지의 벡터를 계산할 수 있다. 이때 계산된 벡터는 제1 벡터라 칭하며, 제1 벡터는 앞서 위치 결정부(160)에서 제2 얼굴 영상으로부터 각막 중심점 위치를 결정하는데 이용될 수 있다.
한편, 벡터 계산부(170)는 제2 얼굴 영상에 대해 위치 결정부(160)에 의해 결정된 각막 중심점으로부터 제2 얼굴 영상의 안구 영역에서 검출된 동공 중심점을 연결하는 벡터를 계산할 수 있다. 이때 계산된 벡터는 제2 벡터라 칭하며, 제2 벡터는 시선 추적부(180)로 전달되어 제2 얼굴 영상에 대한 사용자의 시선을 추적하는데 이용될 수 있다.
시선 추적부(180)는 벡터 계산부(170)에 의해 계산된 제2 벡터를 이용하여 제2 얼굴 영상에 대한 사용자의 시선 방향을 추적할 수 있다. 이때, 시선 추적부(180)는 제2 벡터를 연장한 연장선이 도달하는 위치를 기준으로 사용자의 시선을 추적할 수 있다. 시선 추적부(180)에 의해 추적된 사용자의 시선 정보는 저장부(140)에 저장될 수 있으며, 출력부(130)를 통해 외부장치로 제공될 수도 있다.
상기와 같이 구성되는 본 발명에 따른 시선 추적 장치의 각 부의 동작을 그 흐름에 따라 보다 상세히 설명하면 다음과 같다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 시선 추적 방법에 대한 동작 흐름을 도시한 순서도이다.
먼저, 도 2는 사용자의 제1 얼굴 영상을 이용하여 제1 벡터를 산출하는 동작을 나타낸 것이다.
도 2에 도시된 바와 같이, 시선 추적 장치는 카메라를 통해 사용자의 얼굴 영상, 즉, 제1 얼굴 영상을 획득하면(S110), 특징점 검출부가 'S110' 과정에서 획득한 제1 얼굴 영상의 안구 영역을 검출하도록 한다(S120). 여기서, 카메라는 두 개의 렌즈를 구비한 스테레오 카메라 혹은 두 대의 카메라인 것으로 가정한다.
또한, 시선 추적 장치의 특징점 검출부는 'S120' 과정에서 검출된 안구 영역 내에서 카메라 조명에 의한 두 개의 조명 반사점을 검출한다(S130). 이때, 위치 결정부는 'S120' 과정에서 검출된 두 개의 조명 반사점을 이용하여 제1 얼굴 영상에 대한 각막 중심점(A)을 계산하도록 한다(S140). 여기서, 위치 결정부는 사용자의 각막 위치를 기준으로 서로 다른 방향에서 빛을 발광하는 두 개의 조명과, 각 조명에 대응하여 형성된 조명 반사점을 연결하는 각 연장선이 서로 교차하는 지점을 각막 중심점(A)으로 계산하도록 한다.
이후, 특징점 검출부는 제1 얼굴 영상으로부터 위치가 고정된 두 개의 특징점(F)을 검출하도록 한다(S150). 이때, 벡터 계산부는 'S150' 과정에서 검출된 두 개의 특징점(F)으로부터 'S140' 과정에서 계산된 각막 중심점(A)을 연결하는 제1 벡터
Figure 112014081308447-pat00001
를 계산하도록 한다(S160).
시선 추적 장치는 'S160' 과정에서 계산된 제1 벡터를 저장하고 'A' 이후 과정에서 제1 벡터를 활용하도록 한다. 다시 말해, 시선 추적 장치는 'S160' 과정에서 계산된 제1 벡터를 저장부에 저장하고, 이후 사용자의 얼굴 영상으로부터 두 개의 조명 반사점이 검출되지 않아 각막 중심점을 계산하기 어려울 때 제1 벡터를 활용하여 각막 중심점 위치를 계산하도록 한다.
물론, 시선 추적 장치는 'S140' 과정에서 계산된 각막 중심점(A)을 이용하여 제1 얼굴 영상에 대한 사용자의 시선을 추적할 수 있음은 당연한 것이다.
도 3은 'A' 이후 과정을 나타낸 것으로, 시선 추적 장치에서 제1 벡터를 이용하여 사용자의 시선을 추적하는 동작을 나타낸 것이다.
도 3에 도시된 바와 같이, 시선 추적 장치는 카메라를 통해 사용자의 얼굴 영상, 즉, 제2 얼굴 영상을 획득한다(S210). 이때, 특징점 검출부는 'S210' 과정에서 획득한 제2 얼굴 영상의 안구 영역을 검출하도록 한다(S220). 또한, 시선 추적 장치의 특징점 검출부는 'S220' 과정에서 검출된 안구 영역 내에서 카메라 조명에 의한 두 개의 조명 반사점을 검출하도록 한다(S230).
만일, 제2 얼굴 영상의 안구 영역에서 두 개의 조명 반사점이 검출되면, 위치 결정부는 도 2의 'S140' 과정과 마찬가지로 검출된 두 개의 조명 반사점을 이용하여 제2 얼굴 영상에 대한 각막 중심점(A)을 계산하도록 한다(S255).
반면, 'S230' 과정에서 두 개의 조명 반사점이 검출되지 않으면, 특징점 검출부는 도 2의 'S150' 과정에서 검출된 특징점(F)과 동일한 특징점을 제2 얼굴 영상으로부터 검출한다(S240). 이후, 위치 결정부는 도 2의 'S160' 과정에서 특징점 F를 이용하여 계산한 제1 벡터에 'S240'에서 검출된 특징점 F를 적용하여 제2 얼굴 영상에 대한 각막 중심점(A)을 계산하도록 한다(S250).
'S250' 또는 'S255' 과정에서 각막 중심점(A)의 계산이 완료되면, 특징점 검출부는 제2 얼굴 영상의 안구 영역으로부터 동공 중심점(P)을 검출한다(S260). 벡터 계산부는 'S250' 또는 'S255' 과정에서 계산된 각막 중심점(A)으로부터 'S260' 과정에서 검출된 동공 중심점(P)을 연결하는 제2 벡터
Figure 112014081308447-pat00002
를 시선 벡터로 계산하도록 한다(S270).
시선 추적 장치의 시선 추적부는 'S270' 과정에서 계산된 시선 벡터를 이용하여 사용자의 시선을 추적할 수 있다(S280). 여기서, 시선 추적부는 제2 벡터를 연장한 연장선이 도달하는 위치를 기준으로 사용자의 시선을 추적할 수 있다.
시선 추적 장치는 'S210' 내지 'S280' 과정은 별도의 동작 종료 명령이 있기까지 반복하여 수행할 수 있으며, 만일 시선 추적에 대한 동작 종료 명령이 있으면(S290), 관련 동작을 종료하도록 한다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 제1 벡터 산출 동작을 설명하는데 참조되는 예시도이다. 여기서, 도 4 및 도 5는 위쪽에서 수직으로 바라본 안구 형상을 나타낸 것이다.
도 4를 참조하면, E는 안구, C는 각막, L1 및 L2는 카메라의 조명이고, L1' 및 L2'는 L1 및 L2에 의해 각막에 형성되는 조명 반사 허상점, 그리고 A는 각막 중심점을 나타낸 것이다.
먼저, 시선 추적 장치는 각막을 중심으로 L1 및 L2의 위치를 파악하고, L1 및L2를 이용하여 촬영한 사용자의 얼굴 영상으로부터 안구 영역에 형성된 L1' 및 L2'의 위치를 파악한다. 이때, 시선 추적 장치는 L1 및 L1'를 연결한 연장선과 L2 및 L2'를 연결한 연장선이 서로 교차하는 A 지점을 계산하고, 계산된 A 지점을 각막 중심점으로 결정할 수 있다.
한편, 시선 추적 장치는 도 5에 도시된 바와 같이, L1 및 L2를 이용하여 촬영한 사용자의 얼굴 영상에서 위치 고정된 특징점, 구체적으로는 적어도 두 개의 특징점을 검출하도록 한다. 여기서, 사용자의 얼굴 영상으로부터 고정된 특징점을 검출하는 동작에 대한 구체적인 설명은 도 6의 실시예를 참조하여 더욱 상세히 설명하도록 한다. 도 5의 실시예에서는 사용자 눈의 우측 끝점(F1)과 좌측 끝점(F2)을 각각 특징점으로 검출한 것을 예로 하여 설명한다.
이후, 시선 추적 장치는 특징점 F1에서 각막 중심점 A를 연결하는 벡터
Figure 112014081308447-pat00003
를 계산하고, 특징점 F2에서 각막 중심점 A를 연결하는 벡터
Figure 112014081308447-pat00004
를 계산한다. 이때, 계산된 벡터
Figure 112014081308447-pat00005
및
Figure 112014081308447-pat00006
는 추후 사용자의 얼굴 영상에서 조명 반사점이 검출되지 않아 각막 중심점의 위치를 특정할 수 없을 때 이용하도록 한다.
도 6은 본 발명의 일 실시예에 따른 특징점 검출 동작을 설명하는데 참조되는 예시도이다.
도 6을 참조하면, 시선 추적 장치는 카메라를 이용하여 사용자의 얼굴 영상을 촬영한다. 도 6의 (a)는 사용자의 얼굴 영상을 나타낸 것이다. 이때, 시선 추적 장치는 (a)에 도시된 사용자의 얼굴 영상에서 그 위치가 고정된 특징점을 검출하도록 한다. 이 경우, 시선 추적 장치는 영상의 연속된 프레임을 분석하여 그 위치가 고정된 특징점을 검출할 수 있다. 일 예로서, 시선 추적 장치는 도 6의 (b)와 같이 사용자 눈의 양 끝점을 특징점으로 검출할 수 있다. 이때, 시선 추적 장치는 도 3의 (c)와 같이, (b)에서 검출된 특징점을 기준으로 안구 영역을 특정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 시선 벡터 산출 동작을 설명하는데 참조되는 예시도이다. 도 7의 실시예는 시선 추적 장치가 카메라를 통해 촬영한 사용자의 얼굴 영상에서 안구 영역에 조명 반사점이 검출되지 않은 것으로 가정한다.
도 7을 참조하면, 시선 검출 장치는 조명 반사점을 이용하여 각막 중심점을 계산할 수 없기 때문에, 도 5에서 계산된 벡터
Figure 112014081308447-pat00007
및
Figure 112014081308447-pat00008
와, 그 특징점 F1 및 F2를 이용하여 각막 중심점을 계산할 수 있다.
다시 말해, 시선 추적 장치는 사용자의 얼굴 영상으로부터 조명 반사점이 검출되지 않으면, 이전에 벡터
Figure 112014081308447-pat00009
및
Figure 112014081308447-pat00010
를 계산하는데 이용된 특징점 F1 및 F2를 조명 반사점이 검출되지 않은 얼굴 영상으로부터 검출한다. 이때, 얼굴 영상으로부터 F1 및 F2가 검출되면, 시선 추적 장치는 얼굴 영상에서 검출된 F1 및 F2를
Figure 112014081308447-pat00011
및
Figure 112014081308447-pat00012
에 적용하여 각막 중심점의 위치를 계산할 수 있게 된다.
이 경우, 시선 추적 장치는 사용자의 얼굴 영상으로부터 동공 중심점을 검출하고, 앞서 계산된 각막 중심점으로부터 동공 중심점을 연결하는 벡터
Figure 112014081308447-pat00013
를 계산하고, 계산된 벡터
Figure 112014081308447-pat00014
를 이용하여 사용자의 시선을 추적할 수 있다.
상기의 과정들은 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체, 즉, 메모리 및/또는 스토리지에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 시선 추적 장치 110: 제어부
120: 카메라 130: 출력부
150: 특징점 검출부 160: 위치 결정부
170: 벡터 계산부 180: 시선 추적부

Claims (13)

  1. 시선 추적 장치가,
    서로 다른 방향의 조명에 의한 적어도 두 개의 조명 반사점이 검출된 제1 얼굴 영상의 안구 영역에 대응하여 상기 적어도 두 개의 조명 반사점을 각 조명과 연결하여 각막 중심점 위치를 결정하는 단계;
    상기 제1 얼굴 영상으로부터 사용자의 얼굴에 대해 위치 고정된 적어도 두 개의 특징점을 검출하고 검출된 적어도 두 개의 특징점과 상기 결정된 각막 중심점을 연결하는 제1 벡터를 계산하는 단계;
    상기 제1 얼굴 영상 이후에 촬영된 사용자의 제2 얼굴 영상의 안구 영역으로부터 적어도 두 개의 조명 반사점이 검출되지 않으면 상기 제2 얼굴 영상으로부터 상기 제1 얼굴 영상에서 추출된 적어도 두 개의 특징점과 동일한 특징점을 검출하고, 검출된 특징점의 위치를 기준으로 상기 제1 벡터를 적용하여 상기 제2 얼굴 영상의 안구 영역에 대한 각막 중심점 위치를 계산하는 단계;
    상기 계산된 각막 중심점과 상기 제2 얼굴 영상의 안구 영역으로부터 검출된 동공 중심점을 연결하는 제2 벡터를 계산하는 단계; 및
    상기 제2 벡터를 이용하여 상기 사용자의 시선을 추적하는 단계
    를 포함하는 것을 특징으로 하는 시선 추적 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 각막 중심점 위치를 결정하는 단계는,
    상기 사용자의 각막 위치를 기준으로 서로 다른 방향에서 적어도 두 개의 조명에 의해 발생하는 적어도 두 개의 조명 반사점을 검출하는 단계; 및
    상기 적어도 두 개의 조명과 대응하는 조명 반사점을 각각 연결하는 연장선이 서로 교차하는 지점을 기준으로 각막 중심점을 계산하는 단계
    를 포함하는 것을 특징으로 하는 시선 추적 방법.
  5. 청구항 1에 있어서,
    상기 고정된 특징점은,
    사용자 눈의 좌측 끝점 및 우측 끝점을 포함하는 것을 특징으로 하는 시선 추적 방법.
  6. 청구항 5에 있어서,
    상기 제1 벡터를 계산하는 단계는,
    상기 사용자 눈의 좌측 끝점으로부터 상기 각막 중심점까지의 벡터를 계산하는 단계; 및
    상기 사용자 눈의 우측 끝점으로부터 상기 각막 중심점까지의 벡터를 계산하는 단계를 포함하는 것을 특징으로 하는 시선 추적 방법.
  7. 청구항 1에 있어서,
    상기 고정된 특징점은,
    사용자의 얼굴 특징점 및 상기 사용자가 착용한 액세서리의 특징점 중 적어도 하나를 포함하는 것을 특징으로 하는 시선 추적 방법.
  8. 사용자의 제2 얼굴 영상의 안구 영역으로부터 서로 다른 방향의 조명에 의한 적어도 두 개의 조명 반사점이 검출되지 않으면, 상기 제2 얼굴 영상 이전에 촬영된 사용자의 제1 얼굴 영상으로부터 검출된 적어도 두 개의 위치 고정된 특징점과 동일한 특징점을 제2 얼굴 영상으로부터 검출하는 특징점 검출부;
    상기 제1 얼굴 영상으로부터 검출된 적어도 두 개의 특징점과 상기 제1 얼굴 영상의 안구 영역에 대해 결정된 각막 중심점을 연결하는 제1 벡터를 상기 제2 얼굴 영상으로부터 검출된 적어도 두 개의 특징점 위치를 기준으로 적용하여 상기 제2 얼굴 영상에 대한 각막 중심점 위치를 계산하는 위치 결정부;
    상기 제1 얼굴 영상에 대한 제1 벡터를 계산하고, 상기 제2 얼굴 영상에 대한 각막 중심점과 상기 제2 얼굴 영상의 안구 영역으로부터 검출된 동공 중심점을 연결하는 제2 벡터를 계산하는 벡터 계산부; 및
    상기 제2 벡터를 이용하여 사용자의 시선을 추적하는 시선 추적부
    를 포함하는 것을 특징으로 하는 시선 추적 장치.
  9. 청구항 8에 있어서,
    상기 특징점 검출부는,
    상기 제1 얼굴 영상의 안구 영역으로부터 서로 다른 방향의 조명에 의한 적어도 두 개의 조명 반사점 및 동공 중심점을 검출하고, 상기 제2 얼굴 영상의 안구 영역으로부터 동공 중심점을 추가로 검출하는 것을 특징으로 하는 시선 추적 장치.
  10. 청구항 8에 있어서,
    상기 위치 결정부는,
    상기 서로 다른 방향의 조명에 의해 상기 제1 얼굴 영상의 안구 영역에 발생하는 적어도 두 개의 조명 반사점과 대응하는 조명을 각각 연결하는 연장선이 서로 교차하는 지점을 상기 제1 얼굴 영상에 대한 각막 중심점으로 결정하는 것을 특징으로 하는 시선 추적 장치.
  11. 청구항 8에 있어서,
    상기 고정된 특징점은,
    사용자 눈의 좌측 끝점 및 우측 끝점을 포함하는 것을 특징으로 하는 시선 추적 장치.
  12. 청구항 11에 있어서,
    상기 벡터 계산부는,
    상기 사용자 눈의 좌측 끝점으로부터 상기 각막 중심점까지의 벡터를 계산하고, 상기 사용자 눈의 우측 끝점으로부터 상기 각막 중심점까지의 벡터를 계산하여 상기 제1 벡터를 산출하는 것을 특징으로 하는 시선 추적 장치.
  13. 청구항 8에 있어서,
    상기 고정된 특징점은,
    사용자의 얼굴 특징점 및 상기 사용자가 착용한 액세서리의 특징점 중 적어도 하나를 포함하는 것을 특징으로 하는 시선 추적 장치.
KR1020140111779A 2014-08-26 2014-08-26 시선 추적 방법 및 장치 KR101610496B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140111779A KR101610496B1 (ko) 2014-08-26 2014-08-26 시선 추적 방법 및 장치
US14/567,477 US9830512B2 (en) 2014-08-26 2014-12-11 Method and apparatus for tracking gaze

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140111779A KR101610496B1 (ko) 2014-08-26 2014-08-26 시선 추적 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160024668A KR20160024668A (ko) 2016-03-07
KR101610496B1 true KR101610496B1 (ko) 2016-04-07

Family

ID=55402853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140111779A KR101610496B1 (ko) 2014-08-26 2014-08-26 시선 추적 방법 및 장치

Country Status (2)

Country Link
US (1) US9830512B2 (ko)
KR (1) KR101610496B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334810B (zh) * 2017-12-25 2020-12-11 北京七鑫易维信息技术有限公司 视线追踪设备中确定参数的方法和装置
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法
CN113780251B (zh) * 2021-11-11 2022-01-25 聊城中超智能设备有限公司 一种眼科检测设备的定位方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185431A (ja) * 2003-12-25 2005-07-14 National Univ Corp Shizuoka Univ 視線検出方法および視線検出装置
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4055858B2 (ja) 2000-07-28 2008-03-05 独立行政法人産業技術総合研究所 視線検出システム
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4649319B2 (ja) 2005-11-21 2011-03-09 日本電信電話株式会社 視線検出装置、視線検出方法、および視線検出プログラム
CA2685976C (en) * 2007-05-23 2013-02-19 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
CN102149325B (zh) * 2008-09-26 2013-01-02 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
JP5858433B2 (ja) * 2010-12-08 2016-02-10 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
US9268024B1 (en) * 2012-01-06 2016-02-23 Google Inc. Expectation maximization to determine position of ambient glints
KR101769177B1 (ko) 2012-10-09 2017-08-18 한국전자통신연구원 시선 추적 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185431A (ja) * 2003-12-25 2005-07-14 National Univ Corp Shizuoka Univ 視線検出方法および視線検出装置
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム

Also Published As

Publication number Publication date
US20160063319A1 (en) 2016-03-03
US9830512B2 (en) 2017-11-28
KR20160024668A (ko) 2016-03-07

Similar Documents

Publication Publication Date Title
US8649583B2 (en) Pupil detection device and pupil detection method
CN111566612A (zh) 基于姿势和视线的视觉数据采集系统
JP5137833B2 (ja) 視線方向検出装置および視線方向検出方法
JP4811259B2 (ja) 視線方向推定装置及び視線方向推定方法
US11715231B2 (en) Head pose estimation from local eye region
US9508004B2 (en) Eye gaze detection apparatus, computer-readable recording medium storing eye gaze detection program and eye gaze detection method
EP2991027B1 (en) Image processing program, image processing method and information terminal
JP5694161B2 (ja) 瞳孔検出装置及び瞳孔検出方法
US10311583B2 (en) Eye motion detection method, program, program storage medium, and eye motion detection device
WO2011158463A1 (ja) 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法
US20150351682A1 (en) Wrinkle detection apparatus and wrinkle detection method
US20140085189A1 (en) Line-of-sight detection apparatus, line-of-sight detection method, and program therefor
US11163994B2 (en) Method and device for determining iris recognition image, terminal apparatus, and storage medium
CN114391117A (zh) 眼睛跟踪延迟增强
KR101610496B1 (ko) 시선 추적 방법 및 장치
KR20160042564A (ko) 안경 착용자의 시선 추적 장치 및 그 방법
JP2018081402A (ja) 画像処理装置、画像処理方法、及びプログラム
CN114930798A (zh) 拍摄对象切换方法及装置、图像处理方法及装置
JPWO2018220963A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102126370B1 (ko) 동작 인식 장치 및 방법
US11488415B2 (en) Three-dimensional facial shape estimating device, three-dimensional facial shape estimating method, and non-transitory computer-readable medium
JP6737212B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
KR101745260B1 (ko) 시선 추적기의 캘리브레이션 장치 및 그 방법
CN110781712B (zh) 一种基于人脸检测与识别的人头空间定位方法
JP2022048077A (ja) 画像処理装置およびその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 4