KR101382772B1 - 디스플레이 시스템 및 방법 - Google Patents

디스플레이 시스템 및 방법 Download PDF

Info

Publication number
KR101382772B1
KR101382772B1 KR1020120143921A KR20120143921A KR101382772B1 KR 101382772 B1 KR101382772 B1 KR 101382772B1 KR 1020120143921 A KR1020120143921 A KR 1020120143921A KR 20120143921 A KR20120143921 A KR 20120143921A KR 101382772 B1 KR101382772 B1 KR 101382772B1
Authority
KR
South Korea
Prior art keywords
gaze
driver
information
stereo camera
camera
Prior art date
Application number
KR1020120143921A
Other languages
English (en)
Inventor
노희진
이석범
석동희
박성민
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120143921A priority Critical patent/KR101382772B1/ko
Priority to US13/871,678 priority patent/US9160929B2/en
Priority to CN201310182182.4A priority patent/CN103871045B/zh
Application granted granted Critical
Publication of KR101382772B1 publication Critical patent/KR101382772B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명의 실시예는 디스플레이 시스템 및 방법에 관한 것으로서, 기 저장된 시선 추적 카메라 및 제1 및 제2 스테레오 카메라의 위치 정보와 회전 정보를 기초로 시선 추적 카메라 기준 운전자 정보를 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하여 3차원 운전자 시선 좌표를 산출하는 제어부를 포함할 수 있다.

Description

디스플레이 시스템 및 방법{DISPLAY SYSTEM AND METHOD}
본 발명은 디스플레이 시스템 및 방법에 관한 것이다.
현재, 특허문헌 1에서 개시하고 있는 바와 같이, 차량 운전자의 편의성과 안정성을 고려하여 다양한 차량 안전 장치가 개발되고 있는 추세이다.
보다 상세히 설명하면, 차량 내 운전자의 시선을 확보하여 운행 중인 도로의 실시간 전방 영상과 위험 알림 서비스 등을 제공하는데 적용하는 시선 추적 기술이 제공되고 있다.
그러나, 상술한 시선 추적 기술은 대부분 광고의 효율성 검증, 디스플레이를 활용한 인터페이스 등의 시선 방향만을 검출하는 2D 환경에서 최적화되고 있는 실정이다.
한편, 운전자는 차량 운전 시 실제 환경을 육안으로 보기 때문에 2D 환경으로 제공되는 시선 벡터의 검출로는 정확한 시선 방향을 파악하는데 한계가 존재하고 있다.
KR 10-2011-0139474 A
본 발명의 일 측면은 3차원 기반의 운전자 시선 좌표를 검출하기 위한 디스플레이 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 실시예에 따른 디스플레이 시스템은, 운전자의 안구를 검출하는 시선 추적 카메라; 시선 추적 카메라 기준 운전자 시선 정보로부터 변경된 스테레오 카메라 기준 운전자 시선 정보를 기초로 운전자 시야에 대응되는 범위를 촬영하여 제공하는 제1 및 제2 스테레오 카메라; 기 저장된 시선 추적 카메라 및 상기 제1 및 제2 스테레오 카메라의 위치 정보와 회전 정보를 기초로 상기 시선 추적 카메라 기준 운전자 정보를 상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하여 상기 제1 및 제2 스테레오 카메라에 투영시키고, 이를 통해 3차원 운전자 시선 좌표를 산출하는 제어부; 및 상기 시선 추적 카메라 및 상기 제1 및 제2 스테레오 카메라의 위치 정보와 회전 정보를 비롯하여 시스템과 관련된 정보를 저장하는 저장부;를 포함할 수 있다.
또한, 시선 추적 카메라 기준 운전자 시선 정보는 시선추적벡터 중심점과 시선 추적 벡터를 포함하며, 상기 제어부는, 상기 시선 추적 카메라 기준 시선추적벡터 중심점을 스테레오 카메라 기준 시선추적벡터 중심점으로 변환할 수 있다.
또한, 제어부는, 상기 시선 추적 카메라 기준 시선추적벡터 중심점(Location)
Figure 112012103050006-pat00001
을 수학식 1을 통해 스테레오 카메라 기준 시선추적벡터 중심점
Figure 112012103050006-pat00002
으로 변환하고,
상기 수학식 1은,
Figure 112012103050006-pat00003
이며, 상기
Figure 112012103050006-pat00004
,
Figure 112012103050006-pat00005
,
Figure 112012103050006-pat00006
는 위치 정보이고,
Figure 112012103050006-pat00007
는 회전 정보일 수 있다.
또한, 시선 추적 카메라 기준 운전자 시선 정보는 시선추적벡터 중심점과 시선 추적 벡터를 포함하며, 제어부는, 시선 추적 카메라 기준 시선 추적 벡터를 스테레오 카메라 기준 시선 추적 벡터로 변환할 수 있다.
또한, 제어부는, 상기 시선 추적 카메라 기준 시선 추적 벡터
Figure 112012103050006-pat00008
를 수학식 2를 통해 스테레오 카메라 기준 시선 추적 벡터(Rotation)
Figure 112012103050006-pat00009
로 변환하고,
상기 수학식 2는,
Figure 112012103050006-pat00010
이며, 상기
Figure 112012103050006-pat00011
는 회전 정보일 수 있다.
또한, 제어부는, 제1 및 제2 스테레오 카메라에 투영된 스테레오 카메라 기준 시선 추적 벡터에서 운전자 시선 응시점을 산출하고, 이를 기초로 3차원 운전자 시선 좌표를 산출할 수 있다.
또한, 제어부는, 제1 스테레오 카메라에 투영된 이미지 상에서 기 설정된 인간 시선의 주요 응시 범위에 대응되는 윈도우를 생성하고, 생성된 윈도우의 중심점을 제1 스테레오 카메라 기준 시선 추적 벡터에 따라 이동시키며, 이동시킨 윈도우를 제2 스테레오 카메라의 시선 추적 벡터에 대응되도록 템플릿 매칭(Template Matching)을 수행하여, 수행 결과, 가장 높은 위치를 운전자 시선 응시점으로 파악할 수 있다.
또한, 3차원 운전자 시선 좌표는 P(Xp, Yp, Zp)이며, 상기
Figure 112012103050006-pat00012
이고, 상기
Figure 112012103050006-pat00013
이며, 상기
Figure 112012103050006-pat00014
이고, 상기 Pl(xl, yl)은 P가 제1 스테레오 카메라 촬상면에 투영된 점, Pr(xr, yr)은 P가 제2 스테레오 카메라 촬상면에 투영된 점, f는 카메라 초점거리(Focal Length), T는 제1 및 제2 스테레오 카메라 간의 이격거리, d는 좌표 측정점의 거리를 카메라 초점거리로 나눈 값일 수 있다.
본 발명의 다른 실시예에 따른 디스플레이 방법은, 시선 추적 카메라, 제1 및 제2 스테레오 카메라를 포함한 디스플레이 시스템에서 3차원 운전자 시선을 제공하는 디스플레이 방법으로서,
상기 시선 추적 카메라를 통해 운전자의 안구를 검출하여 시선 추적 카메라 기준 운전자 시선 정보를 파악하는 단계; 기 저장된 시선 추적 카메라 및 상기 제1 및 제2 스테레오 카메라의 위치 정보와 회전 정보를 기초로 상기 시선 추적 카메라 기준 운전자 정보를 상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하는 단계; 상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보를 기초로 운전자 시선 응시점을 파악하는 단계; 및 상기 운전자 시선 응시점을 3차원 운전자 시선 좌표로 변환하는 단계;를 포함할 수 있다.
또한, 시선 추적 카메라 기준 운전자 시선 정보는 시선추적벡터 중심점과 시선 추적 벡터를 포함하며, 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하는 단계에서, 시선 추적 카메라 기준 시선추적벡터 중심점을 스테레오 카메라 기준 시선추적벡터 중심점으로 변환할 수 있다.
또한, 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하는 단계에서, 시선 추적 카메라 기준 시선추적벡터 중심점(Location)
Figure 112012103050006-pat00015
을 수학식 1을 통해 스테레오 카메라 기준 시선추적벡터 중심점
Figure 112012103050006-pat00016
으로 변환하고,
상기 수학식 1은,
Figure 112012103050006-pat00017
이며, 상기
Figure 112012103050006-pat00018
,
Figure 112012103050006-pat00019
,
Figure 112012103050006-pat00020
는 위치 정보이고,
Figure 112012103050006-pat00021
는 회전 정보일 수 있다.
또한, 시선 추적 카메라 기준 운전자 시선 정보는 시선추적벡터 중심점과 시선 추적 벡터를 포함하며, 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하는 단계에서, 시선 추적 카메라 기준 시선 추적 벡터를 스테레오 카메라 기준 시선 추적 벡터로 변환할 수 있다.
또한, 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하는 단계에서, 시선 추적 카메라 기준 시선 추적 벡터
Figure 112012103050006-pat00022
를 수학식 2를 통해 스테레오 카메라 기준 시선 추적 벡터(Rotation)
Figure 112012103050006-pat00023
로 변환하고,
상기 수학식 2는,
Figure 112012103050006-pat00024
이며, 상기
Figure 112012103050006-pat00025
는 회전 정보일 수 있다.
또한, 운전자 시선 응시점을 파악하는 단계는, 상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보를 상기 제1 및 제2 스테레오 카메라에 투영시키는 단계; 및 상기 제1 및 제2 스테레오 카메라에 투영된 정보를 기초로 운전자 시선 응시점을 파악하는 단계;를 포함할 수 있다.
또한, 제1 및 제2 스테레오 카메라에 투영된 정보를 기초로 운전자 시선 응시점을 파악하는 단계는, 제1 스테레오 카메라에 투영된 이미지 상에서 기 설정된 인간 시선의 주요 응시 범위에 대응되는 윈도우를 생성하는 단계; 생성된 윈도우의 중심점을 제1 스테레오 카메라 기준 시선 추적 벡터에 따라 이동시키는 단계; 이동시킨 윈도우를 제2 스테레오 카메라의 시선 추적 벡터에 대응되도록 템플릿 매칭(Template Matching)을 수행하는 단계; 및 수행 결과, 가장 높은 위치를 운전자 시선 응시점으로 파악하는 단계;를 포함할 수 있다.
또한, 3차원 운전자 시선 좌표는 P(Xp, Yp, Zp)이며, 상기
Figure 112012103050006-pat00026
이고, 상기
Figure 112012103050006-pat00027
이며, 상기
Figure 112012103050006-pat00028
이고, 상기 Pl(xl, yl)은 P가 제1 스테레오 카메라 촬상면에 투영된 점, Pr(xr, yr)은 P가 제2 스테레오 카메라 촬상면에 투영된 점, f는 카메라 초점거리(Focal Length), T는 제1 및 제2 스테레오 카메라 간의 이격거리, d는 좌표 측정점의 거리를 카메라 초점거리로 나눈 값일 수 있다.
본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니 되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야만 한다.
본 발명의 실시예에 의한 디스플레이 시스템 및 방법은 2차원 기반의 운전자 시선 정보를 3차원 기반의 운전자 시선 정보로 변환하기 때문에, 기존에 비해 정밀한 3차원 깊이의 운전자 시선 방향을 검출할 수 있다는 효과를 기대할 수 있다.
또한, 본 발명의 실시예에 의한 디스플레이 시스템 및 방법은 운전자의 3차원 시선 초점 깊이 파악이 가능하기 때문에, 외부 환경에 대한 사물 판단성이 용이하고 정밀하여, 운전자의 의도 파악 등을 위한 정보 활용성이 다양해진다는 것이다.
도 1은 본 발명의 실시예에 의한 디스플레이 시스템의 구성을 나타내는 도면.
도 2는 본 발명의 실시예에 의한 디스플레이 방법을 설명하기 위한 흐름도.
도 3 내지 도 6은 본 발명의 실시예에 의한 디스플레이 방법을 설명하기 위한 예를 나타내는 도면.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되는 이하의 상세한 설명과 바람직한 실시 예들로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서에서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 의한 디스플레이 시스템의 구성을 나타내는 도면으로서, 디스플레이 방법을 설명하기 위한 예를 나타내는 도 3 내지 도 6을 참조하여 설명하기로 한다.
도 1에서 도시하는 바와 같이, 디스플레이 시스템(100)은 시선 추적 카메라(110), 제1 스테레오 카메라(120), 제2 스테레오 카메라(130), 제어부(140) 및 저장부(150)를 포함할 수 있다.
보다 상세히 설명하면, 시선 추적 카메라(110)는 운전자의 안구를 검출할 수 있다.
도 3에서 도시하는 바와 같이, 시선 추적 카메라(110)는 차량 내에서 운전자 안면을 검출할 수 있는 위치에 배치되어, 운전자의 안구를 검출하는 것이다.
제1 및 제2 스테레오 카메라(120, 130)는 시선 추적 카메라 기준 운전자 시선 정보로부터 변경된 스테레오 카메라 기준 운전자 시선 정보를 기초로 운전자 시야에 대응되는 범위를 촬영하여 제공할 수 있다.
도 3에서 도시하는 바와 같이, 제1 스테레오 카메라(120)와 제2 스테레오 카메라(130)는 각각 운전자를 기준으로 서로 양측으로 대응되게 이격된 상태로 형성되되, 운전자 후방에 배치될 수 있다.
또한, 제1 스테레오 카메라(120)와 제2 스테레오 카메라(130)는 서로의 내부 파라미터(초점 거리(Focal Length), 주점(Principal Point), 비뚤어짐(Skew), 왜곡(Distortion)) 및 외부 파라미터(회전(Rotation), 이동(Translation))를 공유하여 단일 위치의 3차원 위치 복원이 가능할 수 있다.
제어부(140)는 기 저장된 시선 추적 카메라(110) 및 제1 및 제2 스테레오 카메라(120, 130)의 위치 정보와 회전 정보를 기초로 시선 추적 카메라 기준 운전자 정보를 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하여 제1 및 제2 스테레오 카메라(120, 130)에 투영시키고, 이를 통해 3차원 운전자 시선 좌표를 산출할 수 있다.
이때, 시선 추적 카메라 기준 운전자 시선 정보는 시선추적벡터 중심점(도 3의 E-1)과 시선 추적 벡터(도 3의 E-2)를 포함할 수 있다.
보다 상세히 설명하면, 제어부(140)는 시선 추적 카메라 기준 시선추적벡터 중심점(Location)
Figure 112012103050006-pat00029
을 수학식 1을 통해 스테레오 카메라 기준 시선추적벡터 중심점
Figure 112012103050006-pat00030
으로 변환할 수 있다.
Figure 112012103050006-pat00031
상기
Figure 112012103050006-pat00032
,
Figure 112012103050006-pat00033
,
Figure 112012103050006-pat00034
는 위치 정보이고,
Figure 112012103050006-pat00035
는 회전 정보일 수 있다.
또한, 수학식 1에서 첫 번째 행렬그룹, 두 번째 행렬그룹, 세 번째 행렬그룹 및 네 번째 행렬그룹은 각각 위치 이동, x축 회전, y축 회전 및 z축 회전을 의미하는 것이다.
또한, 제어부(140)는 시선 추적 카메라 기준 시선 추적 벡터
Figure 112012103050006-pat00036
를 수학식 2를 통해 스테레오 카메라 기준 시선 추적 벡터(Rotation)
Figure 112012103050006-pat00037
로 변환할 수 있다.
Figure 112012103050006-pat00038
상기
Figure 112012103050006-pat00039
는 회전 정보일 수 있다.
또한, 수학식 2에서 첫 번째 행렬그룹, 두 번째 행렬그룹, 세 번째 행렬그룹은 각각 x축 회전, y축 회전 및 z축 회전을 의미하는 것이다.
또한, 제어부(140)는 제1 및 제2 스테레오 카메라(120, 130)에 투영된 스테레오 카메라 기준 시선 추적 벡터에서 운전자 시선 응시점을 산출하고, 이를 기초로 3차원 운전자 시선 좌표를 산출할 수 있다.
보다 상세히 설명하면, 제어부(140)는 제1 스테레오 카메라(120)에 투영된 이미지 상에서 기 설정된 인간 시선의 주요 응시 범위(예를 들어, 약 ±3 내지 5°)에 대응되는 윈도우를 생성하고, 생성된 윈도우의 중심점을 제1 스테레오 카메라 기준 시선 추적 벡터에 따라 이동시킬 수 있다.
즉, 제1 및 제2 스테레오 카메라(120, 130)에 투영된 스테레오 카메라 기준 시선 추적 벡터 주변 중 가장 유사한 이미지가 시선의 초점으로 파악되는 것이다.
이때, 제1 스테레오 카메라(120)에 스테레오 카메라 기준 시선 추적 벡터를 투영하는 것으로 설명하였지만, 이에 한정되지 않고, 제2 스테레오 카메라(130)에 스테레오 카메라 기준 시선 추적 벡터를 투영하는 것도 가능하다 할 것이다.
예를 들어, 도 4(a)는 제1 스테레오 카메라(120)에 투영된 스테레오 카메라 기준 시선 추적 벡터를 나타내는 것이고, 도 4(b)는 제2 스테레오 카메라(130)에 투영된 스테레오 카메라 기준 시선 추적 벡터를 나타내는 것이다.
이때, 제어부(140)는 제1 스테레오 카메라(120)에 투영된 윈도우의 중심점을 제1 스테레오 카메라 기준 시선 추적 벡터에 따라 ⓐ -> ⓑ -> ⓒ로 이동시키는 것이다.
또한, 제어부(140)는 이동시킨 윈도우를 제2 스테레오 카메라(130)의 시선 추적 벡터에 대응되도록 템플릿 매칭(Template Matching)을 수행하여, 수행 결과, 가장 높은 위치를 운전자 시선 응시점(Corresponding Point)으로 파악할 수 있다.
이때, 템플릿 매칭은 도형 인식 과정에 의해서 주어진 도형(템플릿과 일치하는 도형)을 화상에서 추출하는 과정을 의미하는 것으로, 교차 상관 관계(Cross-correlation) 방식으로 가장 높은 피크점을 찾을 수 있는 것이다.
예를 들어, 도 4(b)에서 도시하는 바와 같이, 제어부(140)는 이동시킨 윈도우를 제2 스테레오 카메라(130)의 시선 추적 벡터에 대응하여 템플릿 매칭을 수행할 수 있다.
또한, 제어부(140)는 3차원 운전자 시선 좌표를 산출하는 데, 이때, 3차원 운전자 시선 좌표는 P(Xp, Yp, Zp)일 수 있다.
도 5를 참조하여 설명하면, 3차원 운전자 시선 좌표 P(Xp, Yp, Zp)에서,
Figure 112012103050006-pat00040
이고,
Figure 112012103050006-pat00041
이며,
Figure 112012103050006-pat00042
일 수 있다.
이때, Pl(xl, yl)은 P가 제1 스테레오 카메라 촬상면에 투영된 점, Pr(xr, yr)은 P가 제2 스테레오 카메라 촬상면에 투영된 점, f는 카메라 초점거리(Focal Length), T는 제1 및 제2 스테레오 카메라 간의 이격거리, d는 좌표 측정점의 거리를 카메라 초점거리로 나눈 값(d = Zp/f)일 수 있다.
또한, 도 5에서, Ileft는 제1 스테레오 카메라(좌측 카메라)(120)의 이미지 촬상면이고, Iright는 제2 스테레오 카메라(우측 카메라)(130)의 이미지 촬상면이며, Cl은 제1 스테레오 카메라의 이미지 중심점이고, Cr은 제2 스테레오 카메라의 이미지 중심점이며, Ol은 제1 스테레오 카메라의 중심점(Focal Point), Or은 제2 스테레오 카메라의 중심점(Focal Point)을 의미하는 것이다.
한편, 3차원 운전자 시선 좌표는 차량용 인터페이스로 적용될 수 있다.
예를 들어, 도 6에서 도시하는 바와 같이, 3차원 운전자 시선 좌표는 HUD(Head Up Display)의 온 또는 오프 서비스에 적용될 수 있는데, 초점거리가 HUD 지역에 존재할 경우 구동되어, 전방 차가 급제동할 경우 시선 거리에 따라 알람 강도를 변화시키는 형태로 이용될 수 있는 것이다.
저장부(150)는 시선 추적 카메라(110) 및 제1 및 제2 스테레오 카메라(120, 130)의 위치 정보와 회전 정보를 비롯하여 시스템과 관련된 정보를 저장할 수 있다.
이때, 시선 추적 카메라(110) 및 제1 및 제2 스테레오 카메라(120, 130)의 위치 정보와 회전 정보는 사전에 물리적 측정 또는 카메라 칼리브레이션 등의 소프트웨어 정보를 통해 파악하여 저장할 수 있다.
도 2는 본 발명의 실시예에 의한 디스플레이 방법을 설명하기 위한 흐름도이다.
먼저, 디스플레이 시스템(100)은 시선 추적 카메라(110)를 통해 운전자의 안구를 검출하여 시선 추적 카메라 기준 운전자 시선 정보를 파악할 수 있다(S101).
이때, 시선 추적 카메라 기준 운전자 시선 정보는 시선추적벡터 중심점과 시선 추적 벡터를 포함할 수 있다.
다음, 기 저장된 시선 추적 카메라(110) 및 제1 및 제2 스테레오 카메라(120, 130)의 위치 정보와 회전 정보를 기초로 시선 추적 카메라 기준 운전자 정보를 제1 및 제2 스테레오 카메라(120, 130) 기준 운전자 시선 정보로 변환할 수 있다(S103).
이때, 디스플레이 시스템(100)은 시선 추적 카메라 기준 시선추적벡터 중심점(Location)
Figure 112012103050006-pat00043
을 상술한 수학식 1을 통해 스테레오 카메라 기준 시선추적벡터 중심점
Figure 112012103050006-pat00044
으로 변환할 수 있다.
또한, 디스플레이 시스템(100)은 시선 추적 카메라 기준 시선 추적 벡터
Figure 112012103050006-pat00045
를 상술한 수학식 2를 통해 스테레오 카메라 기준 시선 추적 벡터(Rotation)
Figure 112012103050006-pat00046
로 변환할 수 있다.
다음, 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보를 기초로 운전자 시선 응시점을 파악할 수 있다(S105).
보다 상세히 설명하면, 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보를 제1 및 제2 스테레오 카메라(120, 130)에 투영시킬 수 있다.
다음, 제1 및 제2 스테레오 카메라(120, 130)에 투영된 정보를 기초로 운전자 시선 응시점을 파악할 수 있다.
이는, 제1 스테레오 카메라(120)에 투영된 이미지 상에서 기 설정된 인간 시선의 주요 응시 범위에 대응되는 윈도우를 생성하는 단계, 생성된 윈도우의 중심점을 제1 스테레오 카메라 기준 시선 추적 벡터에 따라 이동시키는 단계, 이동시킨 윈도우를 제2 스테레오 카메라(130)의 시선 추적 벡터에 대응되도록 템플릿 매칭(Template Matching)을 수행하는 단계 및 수행 결과, 가장 높은 위치를 운전자 시선 응시점으로 파악하는 단계를 통해 이루어질 수 있다.
예를 들어, 도 4(a)는 제1 스테레오 카메라(120)에 투영된 스테레오 카메라 기준 시선 추적 벡터를 나타내는 것이고, 도 4(b)는 제2 스테레오 카메라(130)에 투영된 스테레오 카메라 기준 시선 추적 벡터를 나타내는 것이다.
이때, 디스플레이 시스템(100)은 제1 스테레오 카메라(120)에 투영된 윈도우의 중심점을 제1 스테레오 카메라 기준 시선 추적 벡터에 따라 ⓐ -> ⓑ -> ⓒ로 이동시키는 것이다.
또한, 도 4(b)에서 도시하는 바와 같이, 디스플레이 시스템(100)은 이동시킨 윈도우를 제2 스테레오 카메라(130)의 시선 추적 벡터에 대응하여 템플릿 매칭을 수행할 수 있다.
다음, 운전자 시선 응시점을 3차원 운전자 시선 좌표로 변환할 수 있다(S107).
상기 3차원 운전자 시선 좌표는 P(Xp, Yp, Zp)일 수 있다.
이때,
Figure 112012103050006-pat00047
이고,
Figure 112012103050006-pat00048
이며,
Figure 112012103050006-pat00049
일 수 있다.
또한, Pl(xl, yl)은 P가 제1 스테레오 카메라 촬상면에 투영된 점, Pr(xr, yr)은 P가 제2 스테레오 카메라 촬상면에 투영된 점, f는 카메라 초점거리(Focal Length), T는 제1 및 제2 스테레오 카메라 간의 이격거리, d는 좌표 측정점의 거리를 카메라 초점거리로 나눈 값일 수 있다.
이상 본 발명을 구체적인 실시예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함이 명백하다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.
100 : 디스플레이 시스템
110 : 시선 추적 카메라
120 : 제1 스테레오 카메라
130 : 제2 스테레오 카메라
140 : 제어부
150 : 저장부

Claims (16)

  1. 운전자의 안구를 검출하는 시선 추적 카메라;
    시선 추적 카메라 기준 운전자 시선 정보로부터 변경된 스테레오 카메라 기준 운전자 시선 정보를 기초로 운전자 시야에 대응되는 범위를 촬영하여 제공하는 제1 및 제2 스테레오 카메라;
    기 저장된 시선 추적 카메라 및 상기 제1 및 제2 스테레오 카메라의 위치 정보와 회전 정보를 기초로 상기 시선 추적 카메라 기준 운전자 정보를 상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하여 상기 제1 및 제2 스테레오 카메라에 투영시키고, 이를 통해 3차원 운전자 시선 좌표를 산출하는 제어부; 및
    상기 시선 추적 카메라 및 상기 제1 및 제2 스테레오 카메라의 위치 정보와 회전 정보를 비롯하여 시스템과 관련된 정보를 저장하는 저장부를 포함하되,
    상기 제어부는,
    상기 제1 및 제2 스테레오 카메라에 투영된 스테레오 카메라 기준 시선 추적 벡터에서 운전자 시선 응시점을 산출하고, 이를 기초로 3차원 운전자 시선 좌표를 산출하는 것을 특징으로 하는 디스플레이 시스템.
  2. 청구항 1에 있어서,
    상기 시선 추적 카메라 기준 운전자 시선 정보는 시선추적벡터 중심점과 시선 추적 벡터를 포함하며,
    상기 제어부는,
    상기 시선 추적 카메라 기준 시선추적벡터 중심점을 스테레오 카메라 기준 시선추적벡터 중심점으로 변환하는 디스플레이 시스템.
  3. 청구항 2에 있어서,
    상기 제어부는,
    상기 시선 추적 카메라 기준 시선추적벡터 중심점(Location)
    Figure 112012103050006-pat00050
    을 수학식 1을 통해 스테레오 카메라 기준 시선추적벡터 중심점
    Figure 112012103050006-pat00051
    으로 변환하고,
    상기 수학식 1은,
    Figure 112012103050006-pat00052

    이며, 상기
    Figure 112012103050006-pat00053
    ,
    Figure 112012103050006-pat00054
    ,
    Figure 112012103050006-pat00055
    는 위치 정보이고,
    Figure 112012103050006-pat00056
    는 회전 정보인 디스플레이 시스템.
  4. 청구항 1에 있어서,
    상기 시선 추적 카메라 기준 운전자 시선 정보는 시선추적벡터 중심점과 시선 추적 벡터를 포함하며,
    상기 제어부는,
    상기 시선 추적 카메라 기준 시선 추적 벡터를 스테레오 카메라 기준 시선 추적 벡터로 변환하는 디스플레이 시스템.
  5. 청구항 4에 있어서,
    상기 제어부는,
    상기 시선 추적 카메라 기준 시선 추적 벡터
    Figure 112012103050006-pat00057
    를 수학식 2를 통해 스테레오 카메라 기준 시선 추적 벡터(Rotation)
    Figure 112012103050006-pat00058
    로 변환하고,
    상기 수학식 2는,
    Figure 112012103050006-pat00059

    이며, 상기
    Figure 112012103050006-pat00060
    는 회전 정보인 디스플레이 시스템.
  6. 삭제
  7. 청구항 1에 있어서,
    상기 제어부는,
    상기 제1 스테레오 카메라에 투영된 이미지 상에서 기 설정된 인간 시선의 주요 응시 범위에 대응되는 윈도우를 생성하고, 생성된 윈도우의 중심점을 제1 스테레오 카메라 기준 시선 추적 벡터에 따라 이동시키며, 이동시킨 윈도우를 제2 스테레오 카메라의 시선 추적 벡터에 대응되도록 템플릿 매칭(Template Matching)을 수행하여, 매칭한 결과가 가장 높은 위치를 운전자 시선 응시점으로 파악하는 디스플레이 시스템.
  8. 청구항 1에 있어서,
    상기 3차원 운전자 시선 좌표는 P(Xp, Yp, Zp)이며,
    상기
    Figure 112014005600213-pat00061
    이고, 상기
    Figure 112014005600213-pat00062
    이며, 상기
    Figure 112014005600213-pat00063
    이고,
    상기 Pl(xl, yl)은 P가 제1 스테레오 카메라 촬상면에 투영된 점, Pr(xr, yr)은 P가 제2 스테레오 카메라 촬상면에 투영된 점, f는 카메라 초점거리(Focal Length), T는 제1 및 제2 스테레오 카메라 간의 이격거리, d는 좌표 측정점의 거리를 카메라 초점거리로 나눈 값인 디스플레이 시스템.
  9. 시선 추적 카메라, 제1 및 제2 스테레오 카메라를 포함한 디스플레이 시스템에서 3차원 운전자 시선을 제공하는 디스플레이 방법으로서,
    상기 시선 추적 카메라를 통해 운전자의 안구를 검출하여 시선 추적 카메라 기준 운전자 시선 정보를 파악하는 단계;
    기 저장된 시선 추적 카메라 및 상기 제1 및 제2 스테레오 카메라의 위치 정보와 회전 정보를 기초로 상기 시선 추적 카메라 기준 운전자 정보를 상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하는 단계;
    상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보를 기초로 운전자 시선 응시점을 파악하는 단계; 및
    상기 운전자 시선 응시점을 3차원 운전자 시선 좌표로 변환하는 단계를 포함하되,
    상기 운전자 시선 응시점을 파악하는 단계는,
    상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보를 상기 제1 및 제2 스테레오 카메라에 투영시키는 단계; 및
    상기 제1 및 제2 스테레오 카메라에 투영된 정보를 기초로 운전자 시선 응시점을 파악하는 단계를 포함하는 디스플레이 방법.
  10. 청구항 9에 있어서,
    상기 시선 추적 카메라 기준 운전자 시선 정보는 시선추적벡터 중심점과 시선 추적 벡터를 포함하며,
    상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하는 단계에서,
    상기 시선 추적 카메라 기준 시선추적벡터 중심점을 스테레오 카메라 기준 시선추적벡터 중심점으로 변환하는 디스플레이 방법.
  11. 청구항 10에 있어서,
    상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하는 단계에서,
    상기 시선 추적 카메라 기준 시선추적벡터 중심점(Location)
    Figure 112012103050006-pat00064
    을 수학식 1을 통해 스테레오 카메라 기준 시선추적벡터 중심점
    Figure 112012103050006-pat00065
    으로 변환하고,
    상기 수학식 1은,
    Figure 112012103050006-pat00066

    이며, 상기
    Figure 112012103050006-pat00067
    ,
    Figure 112012103050006-pat00068
    ,
    Figure 112012103050006-pat00069
    는 위치 정보이고,
    Figure 112012103050006-pat00070
    는 회전 정보인 디스플레이 방법.
  12. 청구항 9에 있어서,
    상기 시선 추적 카메라 기준 운전자 시선 정보는 시선추적벡터 중심점과 시선 추적 벡터를 포함하며,
    상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하는 단계에서,
    상기 시선 추적 카메라 기준 시선 추적 벡터를 스테레오 카메라 기준 시선 추적 벡터로 변환하는 디스플레이 방법.
  13. 청구항 12에 있어서,
    상기 제1 및 제2 스테레오 카메라 기준 운전자 시선 정보로 변환하는 단계에서,
    상기 시선 추적 카메라 기준 시선 추적 벡터
    Figure 112012103050006-pat00071
    를 수학식 2를 통해 스테레오 카메라 기준 시선 추적 벡터(Rotation)
    Figure 112012103050006-pat00072
    로 변환하고,
    상기 수학식 2는,
    Figure 112012103050006-pat00073

    이며, 상기
    Figure 112012103050006-pat00074
    는 회전 정보인 디스플레이 방법.
  14. 삭제
  15. 청구항 9에 있어서,
    상기 제1 및 제2 스테레오 카메라에 투영된 정보를 기초로 운전자 시선 응시점을 파악하는 단계는,
    상기 제1 스테레오 카메라에 투영된 이미지 상에서 기 설정된 인간 시선의 주요 응시 범위에 대응되는 윈도우를 생성하는 단계;
    생성된 윈도우의 중심점을 제1 스테레오 카메라 기준 시선 추적 벡터에 따라 이동시키는 단계;
    이동시킨 윈도우를 제2 스테레오 카메라의 시선 추적 벡터에 대응되도록 템플릿 매칭(Template Matching)을 수행하는 단계; 및
    매칭한 결과가 가장 높은 위치를 운전자 시선 응시점으로 파악하는 단계;
    를 포함하는 디스플레이 방법.
  16. 청구항 9에 있어서,
    상기 3차원 운전자 시선 좌표는 P(Xp, Yp, Zp)이며,
    상기
    Figure 112012103050006-pat00075
    이고, 상기
    Figure 112012103050006-pat00076
    이며, 상기
    Figure 112012103050006-pat00077
    이고,
    상기 Pl(xl, yl)은 P가 제1 스테레오 카메라 촬상면에 투영된 점, Pr(xr, yr)은 P가 제2 스테레오 카메라 촬상면에 투영된 점, f는 카메라 초점거리(Focal Length), T는 제1 및 제2 스테레오 카메라 간의 이격거리, d는 좌표 측정점의 거리를 카메라 초점거리로 나눈 값인 디스플레이 방법.
KR1020120143921A 2012-12-11 2012-12-11 디스플레이 시스템 및 방법 KR101382772B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120143921A KR101382772B1 (ko) 2012-12-11 2012-12-11 디스플레이 시스템 및 방법
US13/871,678 US9160929B2 (en) 2012-12-11 2013-04-26 Line-of-sight tracking system and method
CN201310182182.4A CN103871045B (zh) 2012-12-11 2013-05-16 显示系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120143921A KR101382772B1 (ko) 2012-12-11 2012-12-11 디스플레이 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101382772B1 true KR101382772B1 (ko) 2014-04-08

Family

ID=50656975

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120143921A KR101382772B1 (ko) 2012-12-11 2012-12-11 디스플레이 시스템 및 방법

Country Status (3)

Country Link
US (1) US9160929B2 (ko)
KR (1) KR101382772B1 (ko)
CN (1) CN103871045B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207397A1 (de) * 2014-04-17 2015-10-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Fahrzeugbediensystem, Computerprogramm zum Bedienen eines Fahrzeug und Computerprogrammprodukt
KR20180003671A (ko) * 2016-06-30 2018-01-10 전자부품연구원 시선 방향에 따른 가림 물체 투명 표시 장치, 방법 및 시스템
KR102426071B1 (ko) * 2021-07-21 2022-07-27 정희석 인공지능 기반 시선 인식 장치 및 방법과 이를 이용한 무인 정보 단말기

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700677A (zh) * 2015-12-29 2016-06-22 努比亚技术有限公司 一种移动终端及其控制方法
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
US9874934B1 (en) 2016-07-29 2018-01-23 International Business Machines Corporation System, method, and recording medium for tracking gaze with respect to a moving plane with a camera with respect to the moving plane
EP3305176A1 (en) * 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
US11620419B2 (en) 2018-01-24 2023-04-04 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
JP7115276B2 (ja) * 2018-12-10 2022-08-09 トヨタ自動車株式会社 運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラム
CN113557519A (zh) * 2019-03-14 2021-10-26 日本电气株式会社 信息处理设备、信息处理系统、信息处理方法以及记录介质
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
CN111522443B (zh) * 2020-04-13 2024-04-05 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、系统、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254960A (ja) 2003-02-26 2004-09-16 Toyota Motor Corp 視線方向検出装置および視線方向検出方法
JP2004259043A (ja) 2003-02-26 2004-09-16 Toyota Motor Corp 向き方向検出装置および向き方向検出方法
JP2005278898A (ja) 2004-03-30 2005-10-13 Honda Motor Co Ltd 視線検出装置
KR20060105271A (ko) * 2005-04-04 2006-10-11 엘지전자 주식회사 3차원 위치정보를 이용한 안구위치 추정시스템 및 안구위치추정방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4015051B2 (ja) * 2002-04-22 2007-11-28 松下電器産業株式会社 カメラ補正装置
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
JP2008136789A (ja) * 2006-12-05 2008-06-19 Nec Corp 眼球パラメータ推定装置及び方法
US7682025B2 (en) * 2007-02-04 2010-03-23 Miralex Systems Incorporated Gaze tracking using multiple images
KR100941236B1 (ko) 2008-03-31 2010-02-10 현대자동차주식회사 전방 미주시 운전 검출 경보 시스템
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
JP2010281685A (ja) 2009-06-04 2010-12-16 National Univ Corp Shizuoka Univ 位置計測システム及び位置計測方法
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
CN102169364B (zh) * 2010-02-26 2013-03-27 原相科技股份有限公司 应用于立体互动系统的互动模块及其方法
US20110310001A1 (en) * 2010-06-16 2011-12-22 Visteon Global Technologies, Inc Display reconfiguration based on face/eye tracking
KR101628394B1 (ko) 2010-11-22 2016-06-08 현대자동차주식회사 운전자 시선 거리 추적 방법
KR20120062541A (ko) 2010-12-06 2012-06-14 현대자동차주식회사 시선 벡터를 이용한 디스플레이 시스템
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
JP5706715B2 (ja) 2011-02-25 2015-04-22 株式会社ジオ技術研究所 ３次元地図表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254960A (ja) 2003-02-26 2004-09-16 Toyota Motor Corp 視線方向検出装置および視線方向検出方法
JP2004259043A (ja) 2003-02-26 2004-09-16 Toyota Motor Corp 向き方向検出装置および向き方向検出方法
JP2005278898A (ja) 2004-03-30 2005-10-13 Honda Motor Co Ltd 視線検出装置
KR20060105271A (ko) * 2005-04-04 2006-10-11 엘지전자 주식회사 3차원 위치정보를 이용한 안구위치 추정시스템 및 안구위치추정방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207397A1 (de) * 2014-04-17 2015-10-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Fahrzeugbediensystem, Computerprogramm zum Bedienen eines Fahrzeug und Computerprogrammprodukt
KR20180003671A (ko) * 2016-06-30 2018-01-10 전자부품연구원 시선 방향에 따른 가림 물체 투명 표시 장치, 방법 및 시스템
KR102426071B1 (ko) * 2021-07-21 2022-07-27 정희석 인공지능 기반 시선 인식 장치 및 방법과 이를 이용한 무인 정보 단말기

Also Published As

Publication number Publication date
CN103871045B (zh) 2018-09-04
US9160929B2 (en) 2015-10-13
CN103871045A (zh) 2014-06-18
US20140160249A1 (en) 2014-06-12

Similar Documents

Publication Publication Date Title
KR101382772B1 (ko) 디스플레이 시스템 및 방법
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
US20150161762A1 (en) Information processing apparatus, information processing method, and program
KR101278430B1 (ko) 실시간으로 몇몇 사람들의 눈을 인식하고 추적하기 위한 방법 및 회로 장치
TWI496108B (zh) AR image processing apparatus and method
JP6955783B2 (ja) 情報処理方法、装置、クラウド処理デバイス及びコンピュータプログラム製品
WO2015123774A1 (en) System and method for augmented reality and virtual reality applications
EP3185211B1 (en) Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
JP2014013146A5 (ko)
US11244145B2 (en) Information processing apparatus, information processing method, and recording medium
US20130342913A1 (en) System for highlighting targets on head up displays with near focus plane
CN102713975B (zh) 图像整理系统、图像整理方法和计算机程序
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
WO2016073699A1 (en) Augmented object detection using structured light
JP5299101B2 (ja) 周辺表示装置
JP2016091192A (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP6494764B2 (ja) 表示制御装置、表示装置及び表示制御方法
WO2013094420A1 (en) Three dimension measurement method, three dimension measurement program and robot device
KR20130067842A (ko) 영상 기반의 객체 정보 검출 방법
US20200211275A1 (en) Information processing device, information processing method, and recording medium
JP2018106611A5 (ko)
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
KR100903490B1 (ko) 인간친화형 컴퓨터입출력 시스템
KR20160063039A (ko) 3차원 데이터를 이용한 도로 인식 방법
KR20150040194A (ko) 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 6