KR101526557B1 - 다중 카메라 기반 시선 추적 장치 및 방법 - Google Patents

다중 카메라 기반 시선 추적 장치 및 방법 Download PDF

Info

Publication number
KR101526557B1
KR101526557B1 KR1020120010030A KR20120010030A KR101526557B1 KR 101526557 B1 KR101526557 B1 KR 101526557B1 KR 1020120010030 A KR1020120010030 A KR 1020120010030A KR 20120010030 A KR20120010030 A KR 20120010030A KR 101526557 B1 KR101526557 B1 KR 101526557B1
Authority
KR
South Korea
Prior art keywords
user
narrow
eye
angle
eyes
Prior art date
Application number
KR1020120010030A
Other languages
English (en)
Other versions
KR20130088654A (ko
Inventor
이인재
이희경
차지훈
김진웅
김회율
조동찬
Original Assignee
한국전자통신연구원
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한양대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020120010030A priority Critical patent/KR101526557B1/ko
Publication of KR20130088654A publication Critical patent/KR20130088654A/ko
Application granted granted Critical
Publication of KR101526557B1 publication Critical patent/KR101526557B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Abstract

본 발명은 다중 카메라를 기반으로 한 시선 추적 장치에 관한 것으로, 시선 추적 장치로서, 사용자를 촬영하고, 상기 사용자에 대한 영상을 획득하는 복수의 광각카메라, 상기 복수의 광각카메라 각각에 의해 획득된 상기 사용자에 대한 복수의 영상을 기반으로, 상기 사용자의 눈의 위치를 검출하는 위치검출부, 일부의 협각카메라로써 상기 사용자의 한쪽 눈을 촬영하고, 나머지 협각카메라로써 상기 사용자의 다른쪽 눈을 촬영하여, 상기 사용자의 양쪽 눈의 고화질 영상을 획득하는 복수의 협각카메라, 상기 사용자의 눈의 위치를 기반으로 상기 복수의 협각카메라를 제어하는 제어부, 및 상기 양쪽 눈의 고화질 영상을 기반으로, 상기 사용자가 응시하는 모니터상의 위치인 시선위치를 계산하는 시선위치계산부를 포함함으로써, 보다 정확한 사용자의 시선 위치 정보를 획득할 수 있다.

Description

다중 카메라 기반 시선 추적 장치 및 방법{Apparatus and method for gaze tracking based on multiple camera}
본 발명은 시선 추적 장치에 관한 것으로, 보다 구체적으로 다중 카메라를 기반으로 시선 위치를 추적하는 장치 및 방법에 관한 것이다.
시선 위치 추적 기술이란, 컴퓨터 모니터 등과 같은 스크린 장치에서 사용자가 어느 위치를 응시하고 있는지를 파악하는 방법이다. 이러한 시선 위치 추적 기술은 사용자 시선 추적 정보에 기반하여 TV, IPTV(Internet Protocol Television) 시스템, 컴퓨터 등에 있어 웹페이지 UI, 광고 및 상품에 대한 사용자 심리 분석을 통해 마케팅 분야에 활용가능하다. 또한 의료, 운전, 메뉴 제어 등 새로운 사용자 경험을 제공할 수 있는 서비스에도 활용가능하다.
사람의 시선 위치는 얼굴과 안구의 방향을 모두 고려하여 판단할 수 있다. 하지만 안구의 방향이 사람의 시선 위치를 결정하는 중요한 단서가 되므로, 기존의 시선 위치 추적 방법에서는 주로 안구의 움직임을 추적하고, 얼굴 움직임에 의해 발생하는 오차를 보정하는 방식으로 연구가 진행되어 왔다. 기존의 시선 추적 방법들은 콘택트렌즈(Contact Lens)를 착용하는 방법, 피부전극(Skin Electrode)을 눈 주위에 부착하는 방법, 카메라 비전(Camera Vision) 시스템을 통한 영상 분석 방법들이 있었다. 콘택트렌즈를 착용하는 방법은 별도의 장비가 렌즈 면에 부착되어 있는 콘택트렌즈를 사용자의 각막 면에 부착되도록 착용해야 하고, 피부전극을 눈 주위에 부착하는 방법은 여러 개의 피부전극을 눈 주위에 부착해야 한다. 또한 카메라 비전 시스템을 통한 영상 분석 방법은 얼굴 움직임에 영향을 받지 않고 고해상도의 눈 영상을 취득하기 위해 머리에 착용식 카메라를 장착하거나 팬&틸트(pan&tilt) 및 초점조절(focus) 기능을 가지는 카메라 장치와 복잡한 알고리즘, 카메라와 모니터간의 복잡한 캘리브레이션(Calibration)을 요구하는 단점이 있었다.
또한, 단일 카메라를 이용하여 시선 추적을 할 경우 사용자의 위치 정보 획득하는 과정에 한계가 있어 정확도가 떨어지며, 이로 인해 고화질 눈영상 획득을 위한 PTZ 카메라 제어도 한계가 있었다. 게다가 단일 카메라를 이용한 경우 한눈에 대한 시선 정보를 제공하지만 실질적으로 사용자는 양눈을 사용해 물체를 응시하므로 단일 카메라를 이용해 검출된 시선 위치 정보의 정확도에도 한계가 있었다.
한편, 객체의 위치를 구하기 위하여 스테레오 카메라 시스템에서 거리 정보를 구하는 것을 스테레오 매칭(Stereo Matching) 기술이라고 한다. 스테레오 매칭은 좌측 및 우측에 설치된 두 대의 카메라에서 입력되는 두 개의 영상으로부터 입체 영상 정보를 추출한다. 이러한 스테레오 매칭은 사람의 두 눈이 특정 사물 또는 영상 패턴까지의 거리 정보를 획득하는 방법과 마찬가지로, 한쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출하고 두 위치의 차이, 즉 디스패리티(disparity)를 추출함으로써, 카메라에서 그 패턴의 실제 위치까지의 거리값을 직접 계산한다.
본 발명의 기술적 과제는 다중 광각 및 협각 카메라를 이용한 사용자의 양 눈의 위치 검출 및 양 눈의 시선 추적을 통해 사용자의 얼굴의 움직임 및 눈동자의 움직임에 의한 사용자의 시선 위치 변이 정보를 보다 정확하게 획득할 수 있는 다중 카메라 기반 시선 추적 장치를 제공함에 있다.
본 발명의 일 양태에 따르면, 다중 카메라 기반 시선 위치 추적 장치를 제공한다. 상기 장치는 시선 위치 추적 장치로서, 사용자를 촬영하고, 상기 사용자에 대한 영상을 획득하는 복수의 광각카메라, 상기 복수의 광각카메라 각각에 의해 획득된 상기 사용자에 대한 복수의 영상을 기반으로, 상기 사용자의 눈의 위치를 검출하는 위치검출부, 일부의 협각카메라로써 상기 사용자의 한쪽 눈을 촬영하고, 나머지 협각카메라로써 상기 사용자의 다른쪽 눈을 촬영하여, 상기 사용자의 양쪽 눈의 확대된 영상을 획득하는 복수의 협각카메라, 상기 사용자의 눈의 위치를 기반으로 상기 복수의 협각카메라를 제어하는 제어부, 및 상기 양쪽 눈의 확대된 영상을 기반으로, 상기 사용자가 응시하는 모니터상의 위치인 시선위치를 계산하는 시선위치계산부를 포함한다.
본 발명의 다른 양태에 따르면, 다중 카메라 기반 시선 추적 장치를 제공한다. 상기 장치는 복수의 광각카메라 간 캘리브레이션을 수행하여 각 광각카메라의 위치 및 회전을 획득하고, 상기 복수의 광각카메라와 복수의 협각카메라 간 캘리브레이션을 수행하여, 각 협각카메라의 위치 및 회전을 획득하는 캘리브레이션부를 포함한다.
본 발명은 다중 광각 카메라를 이용하여 사용자의 양 눈의 3차원 위치를 추출하고, 다중 협각 카메라를 이용하여 해당 3차원 위치에 있는 사용자의 양 눈의 고화질 영상을 획득함으로써, 사용자의 얼굴의 움직임 및 눈동자의 움직임에 의한 사용자의 시선 위치 변이 정보를 보다 정확하게 획득할 수 있다.
도 1은 본 발명이 일례에 따른 시선 추적 장치를 나타낸다.
도 2는 본 발명의 일례에 따른 광각카메라와 협각카메라 간의 캘리브레이션 수행을 위한 좌표를 나타낸 도면이다.
도 3은 본 발명의 일례에 따른 광각카메라와 협각카메라 간의 캘리브레이션 수행을 위한 좌표변환 방법을 나타낸 도면이다.
도 4는 본 발명의 일례에 따른 시선 추적 장치의 동작을 나타내는 순서도이다.
도 5는 본 발명의 일례에 따른 시선 추적 장치를 나타낸다.
도 6은 본 발명의 일례에 따른 시선 위치 추적 장치의 동작을 세분화한 순서도이다.
도 7은 본 발명의 일례에 따른 시선 추적 장치의 구체적인 구성을 나타낸다.
도 8은 본 발명의 일례에 따른 캘리브레이션 수행과정을 세부적으로 나타낸 흐름도이다.
도 9는 본 발명의 일례에 따른 듀얼카메라 기반 시선 추적 장치를 개략적으로 나타낸 것이다.
이하, 본 명세서에서는 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 명세서의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명이 일례에 따른 시선 추적 장치를 나타낸다.
도 1을 참조하면, 본 시선 추적 장치(10)는, 복수의 광각카메라(100), 위치검출부(120), 제어부(140), 복수의 협각카메라(160), 및 시선위치계산부(180)을 포함한다.
복수의 광각카메라(100)는, 적어도 2대 이상의 광각카메라(100-1,…,100-n)로 구성되며 상기 사용자를 각각 촬영하고, 상기 사용자에 대한 제1 내지 제n 영상을 획득한다.
상기 위치검출부(120)는, 상기 복수의 광각카메라에 의해 획득된 상기 사용자에 대한 복수의 영상을 기반으로, 상기 사용자의 눈의 위치 정보를 검출한다.
상기 사용자의 눈의 위치 정보를 정확하게 검출하려면 먼저 캘리브레이션이 이루어져야 한다. 이하에서는 설명의 편의상 복수의 광각카메라(100)가 2대인 경우(n=2)를 예로 설명한다.
도면에 도시되지 않았으나 캘리브레이션부는 위치검출부(120)에 포함되거나, 별도의 캘리브레이션 모듈로서 시선 추적 장치(10) 내에 구비될 수 있다. 또한 캘리브레이션부는 시선 추적 장치(10)와 별로도 분리되어 구비될 수도 있다. 상기 캘리브레이션부는 2대의 광각카메라(100-1, 100-2) 간 캘리브레이션을 위해 여러 위치에 배치된 체커보드(checker board)를 2대의 광각카메라로 촬영한다. 캘리브레이션부는 스테레오 캘리브레이션 방법을 이용하여 두 광각 카메라(100-1, 100-2) 간 캘리브레이션을 실행한다. 캘리브레이션의 결과로 하나의 광각카메라(100-1)를 기준으로 한 다른 광각카메라(100-2)의 위치 및 회전 정보가 획득된다. 이후 위치검출부(120)는 두 광각카메라(100-1, 100-2)가 각각 획득한 영상에서 Haar-like 기반 Adaboost 방법을 적용하여 눈 영역을 검출한다. 위치검출부는(120) 상기 두 영상에서 왼쪽 눈의 디스패리티(disparity)와 좌표를 이용하여 왼쪽 눈의 3D 좌표를 알아내고, 오른쪽 눈의 디스패리티와 좌표를 이용하여 오른쪽 눈의 좌표를 알아낸다.
제어부(140)는, 위치검출부(120)에서 검출한 사용자의 눈의 위치를 기반으로 복수의 협각카메라(160)을 제어한다. 제어부(140)는 복수의 협각카메라(160)의 패닝(panning), 틸팅(tilting), 포커싱(focusing)을 수행할 수 있다. 제어부(140)는 상기 검출된 사용자의 눈 위치를 기반으로 복수의 협각카메라(160) 각각에 대한 패닝, 틸팅, 및 포커싱을 수행하여 일부의 협각카메라(160-1,…,160-m)는 사용자의 한쪽 눈을 촬영하고, 나머지 일부의 협각카메라(160-(m+1),…,160-k)는 사용자의 다른쪽 눈을 촬영하도록 복수의 협각카메라(160)을 제어한다. 복수의 협각카메라(160)는 2대 이상의 협각카메라(160-1,…,160-k)로 구성되며, 이하에서는 설명의 편의상 2대의 협각카메라(즉, k=2인 경우)를 예로서 설명한다.
2대의 협각카메라를 제어하기 위하여 캘리브레이션부에서 2대의 광각 카메라(100-1, 100-2)와 2대의 협각 카메라(160-1, 160-2) 간의 캘리브레이션이 선행되어야 한다.
도 2는 본 발명의 일례에 따른 광각카메라와 협각카메라 간의 캘리브레이션 수행을 위한 좌표를 나타낸 도면이다.
도 2에서 보는 바와 같이, 여기서 2대의 광각 카메라(100-1, 100-2)와 2대의 협각 카메라(160-1, 160-2) 간의 캘리브레이션으로 구해지는 것은 각 협각 카메라(160-1, 160-2)가 상기 사용자의 각 눈을 촬영하기 위한 팬/틸트 각도이다.
상기 2대의 광각카메라(100-1, 100-2) 간의 스테레오 캘리브레이션의 경우에는 동일한 체커보드를 두 카메라에서 촬영하기에 충분한 카메라 화각을 광각 카메라가 가지고 있어서 두 카메라가 고정된 상태로 캘리브레이션이 가능하다. 하지만 광각 카메라와 협각 카메라간의 캘리브레이션의 경우 협각 카메라에서 체커보드를 모두 촬영하기 위해서는 팬/틸트 과정이 들어가기 때문에 카메라가 움직여야 하고 일반적인 스테레오 캘리브레이션으로는 캘리브레이션을 수행하기 어렵다.
도 3은 본 발명의 일례에 따른 광각카메라와 협각카메라 간의 캘리브레이션 수행을 위한 좌표변환 방법을 나타낸 도면이다.
현재 주어진 정보는 상기 주어진 사용자의 눈의 3D 위치 정보와 이 객체를 촬영하기 위해 각 협각카메라(160-1, 160-2)의 팬/틸트를 실제로 몇도 이동하였는가 하는 각도 정보이다. 도 3을 참조하면, 상기 눈의 3D 위치 정보와 상기 각도 정보간의 관계를 알아내기 위하여, 하나의 협각카메라의 팬의 각도와 틸트의 각도를 2D 영상의 x, y 좌표로 변환하였다. 하나의 협각카메라의 팬 각도와 틸트 각도가 각각 0도가 되는 기준 방향이 있을 때 이 기준 방향에 수직이고 거리가 좌표의 단위길이 1만큼 떨어져 있는 가상의 이미지를 만들 수 있다. 이 때 가상의 이미지에서 x축으로의 이동은 팬 각도에만 의존하고 y축으로의 이동은 틸트 각도에만 의존한다고 가정하자. 이 경우 팬 각도와 틸트 각도를 다음의 수학식 1을 사용하여 가상 이미지의 x, y축 좌표로 변환할 수 있다.
Figure 112012008246906-pat00001
Figure 112012008246906-pat00002
수학식 1을 참조하면, △x는 좌표의 x축상의 변위, △y는 좌표의 y축상의 변위, θpan은 협각카메라의 팬 각도, θtilt는 협각카메라의 틸트 각도를 나타낸다. 상기 수학식 1을 이용하여 최종적으로 객체의 3D 좌표와 가상 이미지에서의 2D좌표를 알 수 있다. 이 정보를 기반으로 프로젝션 메트릭스(projection matrix)를 계산할 수 있다. 이렇게 구해진 프로젝션 메트릭스를 이용하면 임의의 3D 좌표가 가상 이미지상에 맺히는 좌표(xv,yv)를 알 수 있다.
Figure 112012008246906-pat00003
Figure 112012008246906-pat00004
수학식 2를 참조하면, θpan은 협각카메라의 팬 각도, θtilt는 협각카메라의 틸트 각도, xv는 임의의 3D 좌표가 가상 이미지상에 맺히는 x좌표 ,yv는 임의의 3D 좌표가 가상 이미지상에 맺히는 y좌표를 나타낸다. 상기 좌표(xv,yv)를 상기 수학식 2에 대입하면 해당 3D 좌표를 촬영하기 위한 각 협각 카메라의 팬 각도 및 틸트 각도를 알아낼 수 있다.
제어부(140)는 상기에서 구한 각 협각 카메라의 팬 각도와 틸트 각도를 기반으로, 복수의 협각카메라(160)의 패닝(panning), 틸팅(tilting), 및 포커싱(focusing)을 수행한다.
복수의 협각카메라(160)는, 상기 사용자의 한쪽 눈을 촬영하는 일부의 협각카메라(160-1,…,160-m)와 상기 사용자의 다른쪽 눈을 촬영하는 나머지 협각카메라(160-(m+1),…,160-k)로 구성된다. 이하 상기 사용자의 한쪽 눈을 촬영하는 일부의 협각카메라(160-1,…,160-m)를 제1협각카메라, 상기 사용자의 다른쪽 눈을 촬영하는 나머지 협각카메라(160-(m+1),…,160-k)를 제2협각카메라라 칭한다. 상기 제어부(140)에서 제1협각카메라 및 제2협각카메라의 패닝, 틸팅을 수행하여 상기 사용자의 한쪽 눈의 좌표를 상기 제1협각카메라가 촬영하고, 상기 사용자의 다른쪽 눈의 좌표를 상기 제2협각카메라가 촬영할 수 있도록, 상기 제1, 제2협각카메라를 각각 이동시킨다. 이후 상기 제어부(140)에서 상기 제1협각카메라 및 제2협각카메라의 포커싱을 수행한다. 이후 제1협각카메라는 상기 사용자의 한쪽 눈을 촬영하고, 제2협각카메라는 상기 사용자의 다른쪽 눈을 촬영하여, 결국 복수의 협각카메라(160)는 상기 사용자의 양쪽 눈의 고화질 영상을 획득할 수 있다.
시선위치계산부(180)는, 상기 양쪽 눈의 고화질 영상을 기반으로, 상기 사용자가 응시하는 모니터상의 위치인 시선위치를 계산한다. 시선위치계산부는(180) 복수의 협각카메라(160)에서 촬영한 상기 양쪽 눈의 고화질 영상을 기반으로 원형 미분 탬플릿을 이용하여 동공을 검출한다. 검출한 동공에서 무게 중심을 검출하여 동공의 중심을 계산한다. 상기 복수의 협각카메라(160)에서 양쪽 눈의 고화질 영상 촬영시 상기 사용자 눈으로 적외선 광원을 조명할 수 있고, 고화질 눈 영상에서 동공 근처의 밝은 영역을 찾아내어 각막 반사광을 찾을 수 있다. 이하 눈의 3D 위치, 동공 중심의 위치, 각막 반사광의 위치, 모니터 위치 정보를 이용하여 각 눈의 시선 위치를 계산하고, 시선의 평균을 이용하여 최종 사용자의 시선 위치를 계산할 수 있다.
상기 모니터는 사용자가 관찰할 수 있는 관찰대상을 포괄적으로 의미한다. 시선위치는 사용자가 응시하는 관찰대상상의 위치로 정의된다. 따라서, 시선위치는 관찰대상을 기준으로 파악될 수 있다. 한편, 관찰대상은 TV, 노트북, 휴대폰 등 영상을 출력하는 모든 종류의 기기에 구비된 디스플레이부를 포함한다. 또는, 관찰대상은 그림, 게시판, 광고매체 등 사용자의 시선을 받는 임의의 대상을 포함할 수 있다.
상기 적외선 광원은 상기 모니터의 지정된 위치 또는 모니터 외부에 별도로 구비될 수 있다.
도 4는 본 발명의 일례에 따른 시선 추적 장치의 동작을 나타내는 순서도이다.
도 4를 참조하면, 시선 추적 장치는 사용자에 대한 복수의 영상을 획득한다(S410).
시선 추적 장치는 사용자에 대한 복수의 영상을 기반으로 상기 사용자의 눈의 위치 정보를 검출한다(S430).
시선 추적 장치는 상기 사용자의 눈의 위치 정보를 기반으로 복수의 협각카메라를 제어하여 복수의 협각카메라가 상기 사용자의 눈의 위치를 촬영할 수 있도록 협각카메라를 패닝, 틸팅, 포커싱 시킨다(S450).
시선 추적 장치는 상기 사용자의 양쪽 눈의 고화질 영상을 촬영하여 획득한다(S470).
시선 추적 장치는 상기 양쪽 눈의 고화질 영상을 기반으로, 상기 사용자의 시선 위치를 계산한다(S490).
도 5은 본 발명의 일례에 따른 시선 위치 추적 장치를 나타낸다. 본 예는 듀얼 광각카메라 및 듀얼 협각카메라로 구성된 장치에 기반하였다.
도 5을 참조하면, 제1광각카메라(500-1) 및 제2광각카메라(500-2)는 각각 사용자의 제1영상 및 제2영상을 획득한다.
위치검출부(520)는 상기 제1영상 및 제2영상을 기반으로, 상기 사용자의 눈 위치를 검출한다. 여기서 사용자의 눈 위치 검출 방법은 상기 설명한 Haar-like 기반 Adaboost 방법을 이용하여 얼굴 영역 및 눈 영역을 검출한 후, 한쪽 눈의 디스패리티 좌표와 다른쪽 눈의 디스패리티 좌표를 이용하여 눈의 3D 좌표를 알아내는 방법을 사용할 수 있다.
제어부(540)은 상기 사용자의 눈 위치를 기반으로 제1협각카메라를 제어하여 제1협각카메라가 한쪽 눈을 촬영할 수 있도록 패닝, 틸팅, 포커싱을 수행하고, 또한 제2협각카메라를 제어하여 제2협각카메라가 다른쪽 눈을 촬영할 수 있도록 패닝, 틸팅, 포커싱을 수행한다.
상기 제1협각카메라(560-1)는 한쪽체커 보드 눈의 고화질 영상을 촬영하여 시선위치계산부로 전송하고, 제2협각카메라(562)는 다른쪽 눈의 고화질 영상을 촬영하여 시선위치계산부로 전송한다.
이후, 시선위치계산부(580)는 상기 양쪽 눈의 고화질 영상을 기반으로 눈의 3D 위치, 동공 중심의 위치, 각막 반사광의 위치, 모니터 위치 정보를 이용하여 각 눈의 시선 위치를 계산하고, 상기 각 눈의 시선 위치 정보를 융합하여 최종 사용자의 시선 위치를 계산할 수 있다.
도 6는 본 발명의 일례에 따른 시선 추적 장치의 동작을 세분화한 순서도이다. 본 예는 듀얼 광각카메라 및 협각카메라에 의한 동작에 기반하였고, 캘리브레이션부가 시선 추적 장치에 포함된 경우에 기반하였다.
도 6를 참조하면, 시선 추적 장치는 2대의 광각카메라 간 캘리브레이션을 수행한다(S605).
시선 추적 장치는 상기 2대의 광각카메라와 2대의 협각카메라 간 캘리브레이션을 수행한다(S610).
시선 추적 장치는 모니터와 상기 3D 좌표의 기준이 되는 광각 카메라 간 캘리브레이션을 수행한다(S615). 여기서 모니터와 상기 기준이 되는 광각카메라 간 캘리브레이션은 모니터와 상기 기준의 되는 광각카메라 설치시 주어진 값을 이용할 수 있고, 3D 좌표의 기준이 되는 광각카메라와 모니터 간의 실제 위치 차이를 실측을 통하여 알아낼 수도 있다.
시선 추적 장치는 상기 사용자에 대한 2대의 광각 카메라 영상을 획득한다(S620).
시선 추적 장치는 상기 2대의 광각 카메라 영상별 상기 사용자의 얼굴 영역을 검출한다(S625)
시선 추적 장치는 상기 2대의 광각 카메라 영상별 사용자의 얼굴 영역으로부터 양눈 영역을 검출한다(S630)
시선 추적 장치는 상기 사용자의 양 눈의 위치 정보를 검출한다(S635)
시선 추적 장치는 검출된 상기 사용자의 양 눈의 위치 정보를 기반으로 2대의 협각 카메라의 패닝, 틸팅, 포커싱을 수행한다(S640).
시선 추적 장치는 2대의 협각카메라로 각각의 고화질 눈 영상을 획득한다(S645). 여기서 각각의 협각카메라로 고화질의 각 눈을 촬영함으로써, 양쪽 눈의 고화질 영상을 획득할 수 있다.
시선 추적 장치는 상기 고화질 양눈 영상으로부터 양눈 동공 중심을 검출한다(S650).
시선 추적 장치는 상기 고화질 양눈 영상으로부터 양눈 각막 반사광을 검출한다(S655). 여기서 양눈 각막 반사광은 상기 2대의 협각카메라에서 각 양쪽 눈의 고화질 영상 촬영시 적외선 광선을 조명하여, 고화질 눈 영상에서 동공 근처의 밝은 영역을 찾아내어 각막 반사광을 찾을 수 있다.
시선 추적 장치는 상기 양눈의 위치 정보, 동공 중심의 위치, 각막 반사광의 위치, 모니터 위치 정보를 이용하여 양눈별 시선 위치를 계산한다(S660).
시선 추적 장치는 양눈별 시선 위치 정보를 종합하여 최종 시선 위치를 계산한다(S665).
도 7은 본 발명의 일례에 따른 시선 추적 장치의 구체적인 구성을 나타낸다. 본 예는 캘리브레이션부가 위치 검출부에 포함되고, 협각카메라 제어부와 각 눈에 대한 시선위치계산부가 제1 및 제2시선추적부에 포함된 경우에 기반하였다.
도 7을 참조하면, 위치검출부(700)는 사용자의 눈의 위치를 검출한다. 위치검출부(700)는 제1시선추적부(705-1)로 상기 사용자의 한쪽 눈에 대한 위치 정보를 전송하고, 제2시선추적부(705-2)로 상기 사용자의 다른쪽 눈에 대한 위치 정보를 전송한다.
제1시선추적부(705-1)과 제2시선추적부(705-2)는 각각 사용자의 한쪽 눈과 다른쪽 눈에 대한 위치 정보를 위치검출부로부터 수신한다. 수신된 각 눈의 위치 정보를 기반으로 복수의 협각카메라를 제어하여 각 눈의 고화질 영상을 촬영하고 각 눈의 시선 위치를 계산한다. 제1시선추적부(705-1)과 제2시선추적부(705-2)의 구성 및 동작 과정은 서로 같다. 도면에서는 제1시선추적부(705-1)에서 구체적인 구성을 도시하였다.
이하 구체적으로 설명하면, 카메라 칼리브레이션 모듈(710)에서는 복수의 광각카메라 간 캘리브레이션을 수행하여 임의의 한 광각카메라를 기준으로 하였을 때의 다른 광각카메라의 위치 및 회전을 획득한다. 또한 상기 복수의 광각카메라와 복수의 협각카메라 간 캘리브레이션을 수행하여, 복수의 협각카메라가 상기 사용자의 눈을 촬영하기 위한 팬 각도와 틸트 각도를 획득한다.
복수의 광각 카메라는 제1광각카메라(715-1)와 제2광각카메라(715-2)로 구분될 수 있고, 복수의 협각 카메라는 제1협각카메라(765-1)와 제2협각카메라(765-2)로 구분될 수 있다. 여기서 제1 및 제2광각카메라(715-1, 715-2)는 하나 다수의 광각카메라로 구성될 수 있다. 제1 및 제2협각카메라(765-1, 765-2)는 하나 또는 다수의 카메라로 구성될 수 있다.
제1 및 제2 광각카메라(715-1, 715-2)는 사용자에 대한 영상을 촬영한다.
광각 카메라 영상 입력 모듈(720)에서는 상기 사용자에 대한 영상을 입력받는다.
얼굴 영상 검출 모듈(725)에서는 상기 사용자에 대한 영상에서 얼굴 영상을 검출한다.
눈 영상 검출 모듈(730)에서는 상기 얼굴 영상에서 눈 영상을 검출한다.
사용자 위치 검출 모듈(735)에서 상기 복수의 광각카메라 간 캘리브레이션을 수행하여 획득한 각 광각카메라의 위치 및 회전을 기반으로 상기 검출한 눈 영상의 스테레오 매칭을 통하여 상기 사용자의 눈의 위치 정보를 검출한다.
데이터 전송모듈(740)에서는 상기 눈의 위치 정보를 송신한다.
데이터 수신모듈(745)에서는 데이터 전송모듈(740)에서 전송한 상기 눈의 위치 정보를 수신한다.
상기 수신한 눈의 위치 정보와 상기 복수의 광각카메라와 상기 복수의 협각카메라 간 캘리브레이션을 기반으로 협각카메라 패닝모듈(750)에서는 제1 및 제2 협각카메라(765-1, 765-2)의 패닝을 수행하고, 협각카메라 틸팅모듈(755)에서 제1 및 제2 협각카메라(765-1, 765-2)의 틸팅을 수행하여 제1협각카메라(765-1)는 상기 사용자의 한쪽 눈의 위치, 제2협각카메라(765-2)는 상기 사용자의 다른쪽 눈의 위치로 이동시킨다.
협각카메라 오토포커스모듈(760)에서는 제1 및 제2협각카메라(765-1, 765-2)의 포커싱을 수행한다.
제1협각카메라(765-1)는 상기 사용자의 한쪽 눈을 촬영하여 상기 사용자의 한쪽 눈의 고화질 영상을 획득하고, 제2협각카메라(765-2)는 상기 사용자의 다른쪽 눈을 촬영하여 상기 사용자의 다른쪽 눈의 고화질 영상을 획득한다.
협각카메라 영상 입력모듈(770)에서는 제1 및 제2협각카메라(765-1, 765-2)에서 획득한 상기 사용자의 양쪽 눈의 고화질 영상을 수신한다.
동공 중심 검출모듈(775)에서는 상기 양쪽 눈의 고화질 영상을 기반으로 양쪽 눈의 동공 중심 위치를 검출한다.
조명반사광 검출모듈(780)에서는 적외선 광원에 의한 상기 양쪽 눈에서의 각막 반사광을 검출한다.
시선 위치 검출 모듈(785)에서는 상기 사용자의 양쪽 눈의 위치, 상기 양쪽 눈의 동공 중심, 상기 양쪽 눈에서의 각막 반사광을 기반으로 양쪽 눈 각각에 대한 시선 위치를 계산한다.
양눈 시선 정보 융합 모듈(790)에서는 상기 양쪽 눈 각각에 대한 시선 위치 정보를 융합하여 사용자의 최종 시선 위치를 계산한다.
도 8은 본 발명의 일례에 따른 캘리브레이션 수행과정을 세부적으로 나타낸 흐름도이다.
캘리브레이션부는 복수의 광각카메라를 평형 배치하고, 체커 보드(checker board)를 촬영한다(S800).
캘리브레이션부는 상기 복수의 광각 카메라별 내부변수(intrinsic parameter) 및 외부변수(extrinsic parameter) 계산한다(S810).
캘리브레이션부는 상기 복수의 광각 카메라간 회전(rotation) 및 변이(translation) 정보를 계산한다(S820).
캘리브레이션부는 상기 복수의 광각 카메라의 정렬(rectification)을 수행한다(S830).
캘리브레이션부는 Z거리를 예측한다(S840).
캘리브레이션부는 체커 보드 영상 내 임의 지점의 3D 좌표를 계산한다(S850).
캘리브레이션부는 협각 카메라 관련 가상 이미지 평면(image plane)을 이용한 프로젝션 메트릭스(projection matrix)를 생성한다(S860).
캘리브레이션부는 상기 복수의 광각 카메라 스테레오 매칭(stereo matching)을 이용하여 눈의 3D 좌표 계산한다(S870).
캘리브레이션부는 상기 프로젝션 메트릭스를 이용하여 가상 이미지 평면 내 눈의 2D 좌표값을 계산한다(S880).
캘리브레이션부는 카메라의 팬 각도(pan angle), 틸트 각도(tilt angle) 값을 계산한다(S890).
도 9는 본 발명의 일례에 따른 듀얼카메라 기반 시선 추적 장치를 개략적으로 나타낸 것이다.
2대의 광각 카메라로 촬영한 영상으로 사용자의 양 눈의 위치를 검출하고, PTZ(pan/tilt/zoom) 협각 카메라로 상기 사용자의 양 눈의 위치를 촬영하여 상기 양 눈의 고화질의 영상을 획득하여 상기 양 눈의 위치, 상기 양 눈의 동공 중심, 적외선 조명에 의한 각막 반사광, 및 사용자와 모니터간의 거리를 기반으로 사용자의 양 눈 각각에 대한 시선 위치를 계산하고, 상기 양 눈 시선 위치 정보를 융합하여 최종 사용자의 시선 위치를 계산할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 시선 추적 장치로서,
    사용자를 촬영하고, 상기 사용자에 대한 영상을 획득하는 복수의 광각카메라;
    상기 복수의 광각카메라 각각에 의해 획득된 상기 사용자에 대한 복수의 영상을 기반으로, 상기 사용자의 양쪽 눈의 위치를 검출하는 위치검출부;
    일부의 협각카메라로써 상기 사용자의 한쪽 눈(eye)을 촬영하고, 나머지 협각카메라로써 상기 사용자의 다른쪽 눈을 촬영하여, 상기 사용자의 양쪽 눈의 고화질 영상을 획득하는 복수의 협각카메라;
    상기 사용자의 양쪽 눈의 위치를 기반으로 상기 복수의 협각카메라를 제어하는 제어부;
    상기 양쪽 눈의 고화질 영상을 기반으로, 상기 사용자가 응시하는 모니터상의 위치인 시선위치를 계산하는 시선위치계산부; 및
    상기 양쪽 눈의 고화질 영상으로부터 상기 양쪽 눈의 동공 중심을 검출하는 동공 중심 검출 모듈을 포함하되,
    상기 시선위치계산부는 상기 양쪽 눈의 동공 중심에 대한 정보를 기반으로 상기 시선위치를 계산함을 특징으로 하는, 시선 추적 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 사용자에 적외선 빛을 비추는 적어도 하나의 적외선 조명; 및
    상기 양쪽 눈 각각에서 반사되는 상기 적외선 빛에 대한 각막 반사광 정보를 검출하는 조명 반사관 검출모듈을 더 포함하되,
    상기 시선위치계산부는 상기 각막 반사광 정보를 기반으로 상기 시선위치를 계산함을 특징으로 하는, 시선 추적 장치.
  4. 제 1항에 있어서,
    상기 제어부는 상기 복수의 협각카메라의 패닝(panning), 틸팅(tilting) 및 포커싱(focusing) 중 적어도 하나를 수행하여 상기 복수의 협각카메라가 상기 양쪽 눈의 고화질 영상을 획득하도록 제어함을 특징으로 하는, 시선 추적 장치.
  5. 제 4항에 있어서,
    상기 위치검출부는 상기 사용자의 양쪽 눈 각각의 3D 좌표를 검출하고,
    상기 제어부는 다음 수학식 (E-1)에 기반하여, 상기 복수의 협각카메라의 패닝 및 틸팅 중 적어도 하나를 수행함을 특징으로 하는, 시선 추적 장치,
    Figure 112013093555724-pat00014
    (E-1)
    여기서, θpan은 상기 일부의 협각카메라 또는 상기 나머지 협각카메라의 패닝 각도, θtilt는 상기 일부의 협각카메라 또는 상기 나머지 협각카메라의 틸팅 각도, xv는 상기 한쪽 눈 또는 상기 다른쪽 눈의 3D 좌표가 가상 이미지상에 맺히는 x좌표, yv는 상기 한쪽 눈 또는 상기 다른쪽 눈의 3D 좌표가 상기 가상 이미지상에 맺히는 y좌표를 나타낸다.
  6. 시선 추적 방법으로,
    제1 광각카메라 및 제2 광각카메라를 통하여 사용자를 촬영하고, 상기 사용자에 대한 영상을 획득하는 단계;
    상기 제1광각카메라와 상기 제2광각카메라 간 제1캘리브레이션을 수행하는 단계;
    상기 제1캘리브레이션을 기반으로 얻어지는 3차원 공간 위치 정보에 기반하여 상기 사용자에 대한 영상에서 상기 사용자의 양쪽 눈의 위치를 검출하는 단계;
    상기 제1광각카메라 및 상기 제2광각카메라 중 적어도 하나와 복수의 협각카메라 간 제2캘리브레이션을 수행하는 단계;
    상기 복수의 협각카메라 중 제1 협각카메라를 통하여 상기 사용자의 한쪽 눈(eye)을 촬영하고, 제2 협각카메라를 통하여 상기 사용자의 다른쪽 눈을 촬영하여, 상기 사용자의 양쪽 눈의 고화질 영상을 획득하는 단계;
    상기 양쪽 눈의 고화질 영상을 기반으로, 상기 사용자가 응시하는 모니터상의 위치인 시선위치를 계산하는 단계를 포함함을 특징으로 하는, 시선 추적 방법.
  7. 제 6항에 있어서,
    상기 양쪽 눈의 고화질 영상으로부터 상기 양쪽 눈의 동공 중심을 검출하고, 상기 양쪽 눈의 동공 중심에 대한 정보를 기반으로 상기 시선위치를 계산함을 특징으로 하는, 시선 추적 방법.
  8. 제 7항에 있어서,
    적어도 하나의 적외선 조명을 상기 사용자에 비추는 단계를 더 포함하되,
    상기 양쪽 눈의 고화질 영상으로부터 상기 적어도 하나의 적외선 조명에 의해 상기 양쪽 눈 각각에서 반사되는 적외선 빛에 대한 각막 반사광 정보를 검출하고, 상기 각막 반사광 정보를 기반으로 상기 시선위치를 계산함을 특징으로 하는, 시선 추적 방법.
  9. 제 6항에 있어서,
    상기 제1 협각카메라의 패닝(panning), 틸팅(tilting) 및 포커싱(focusing) 중 적어도 하나를 수행하여 상기 한쪽 눈의 고화질 영상을 획득하고, 상기 제2 협각카메라의 패닝, 틸팅 및 포커싱 중 적어도 하나를 수행하여 상기 다른쪽 눈의 고화질 영상을 획득함을 특징으로 하는, 시선 추적 방법.
  10. 제 9항에 있어서,
    상기 제1캘리브레이션을 기반으로 얻어지는 3차원 공간 위치 정보에 기반하여 상기 사용자에 대한 영상에서 상기 사용자의 양쪽 눈 각각의 3D 좌표를 검출하고,
    다음 수학식 (E-2)에 기반하여, 상기 제1 협각카메라 및 제2 협각카메라의 패닝 및 틸팅 중 적어도 하나를 수행함을 특징으로 하는, 시선 추적 방법,
    Figure 112013093555724-pat00015
    (E-2)
    여기서, θpan은 상기 제1 협각카메라 또는 상기 제2 협각카메라의 패닝 각도, θtilt는 상기 제1 협각카메라 또는 상기 제2 협각카메라의 틸팅 각도, xv는 상기 한쪽 눈 또는 상기 다른쪽 눈의 3D 좌표가 가상 이미지상에 맺히는 x좌표, yv는 상기 한쪽 눈 또는 상기 다른쪽 눈의 3D 좌표가 상기 가상 이미지상에 맺히는 y좌표를 나타낸다.


KR1020120010030A 2012-01-31 2012-01-31 다중 카메라 기반 시선 추적 장치 및 방법 KR101526557B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120010030A KR101526557B1 (ko) 2012-01-31 2012-01-31 다중 카메라 기반 시선 추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120010030A KR101526557B1 (ko) 2012-01-31 2012-01-31 다중 카메라 기반 시선 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130088654A KR20130088654A (ko) 2013-08-08
KR101526557B1 true KR101526557B1 (ko) 2015-06-10

Family

ID=49214952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120010030A KR101526557B1 (ko) 2012-01-31 2012-01-31 다중 카메라 기반 시선 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101526557B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170090881A (ko) * 2016-01-29 2017-08-08 한국전자통신연구원 멀티 어레이 기반의 시선추적 장치 및 방법
US11796802B2 (en) 2020-05-08 2023-10-24 Electronics And Telecommunications Research Institute Device tracking gaze and method therefor

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901236B1 (ko) * 2016-11-29 2018-09-28 경북대학교 산학협력단 스테레오 카메라 보정 방법 및 장치
KR102017766B1 (ko) * 2018-02-05 2019-10-15 동국대학교 산학협력단 딥 러닝 기반의 차량 운전자 시선 추적 장치 및 방법
WO2021002491A1 (ko) * 2019-07-01 2021-01-07 엘지전자 주식회사 차량 내 멀티 카메라를 이용한 생체 인증 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002000567A (ja) * 2000-06-23 2002-01-08 Kansai Tlo Kk 瞳孔中心位置計測方法及び視点位置検出方法
JP2004504684A (ja) * 2000-07-24 2004-02-12 シーイング・マシーンズ・プロプライエタリー・リミテッド 顔画像処理システム
JP2005018655A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 運転者行動推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002000567A (ja) * 2000-06-23 2002-01-08 Kansai Tlo Kk 瞳孔中心位置計測方法及び視点位置検出方法
JP2004504684A (ja) * 2000-07-24 2004-02-12 シーイング・マシーンズ・プロプライエタリー・リミテッド 顔画像処理システム
JP2005018655A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 運転者行動推定装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
박강령, "광각 및 협각 카메라를 이용한 시선 위치 추적 시스템", 한국통신학회, 한국통신학회논문지 28(12C), 2003.12, 1239-1249. *
박강령, "광각 및 협각 카메라를 이용한 시선 위치 추적 시스템", 한국통신학회, 한국통신학회논문지 28(12C), 2003.12, 1239-1249.*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170090881A (ko) * 2016-01-29 2017-08-08 한국전자통신연구원 멀티 어레이 기반의 시선추적 장치 및 방법
KR102526544B1 (ko) 2016-01-29 2023-04-27 한국전자통신연구원 멀티 어레이 기반의 시선추적 장치 및 방법
US11796802B2 (en) 2020-05-08 2023-10-24 Electronics And Telecommunications Research Institute Device tracking gaze and method therefor

Also Published As

Publication number Publication date
KR20130088654A (ko) 2013-08-08

Similar Documents

Publication Publication Date Title
JP7076447B2 (ja) ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
Shih et al. A novel approach to 3-D gaze tracking using stereo cameras
WO2016115873A1 (zh) 双目ar头戴显示设备及其信息显示方法
US20170318235A1 (en) Head-mounted displaying of magnified images locked on an object of interest
WO2012077713A1 (ja) 注視点検出方法及び注視点検出装置
JP6020923B2 (ja) 焦点可変レンズを有するビューア、および映像表示システム
WO2005063114A1 (ja) 視線検出方法および装置ならびに三次元視点計測装置
KR101526557B1 (ko) 다중 카메라 기반 시선 추적 장치 및 방법
US11116395B1 (en) Compact retinal scanning device for tracking movement of the eye's pupil and applications thereof
WO2015051605A1 (zh) 图像采集定位方法及图像采集定位装置
JP5484453B2 (ja) 複数の動作モードの光学機器
JP6767481B2 (ja) ライトフィールド顕微鏡法を用いる眼科手術
JP7221587B2 (ja) 眼科装置
KR101739768B1 (ko) 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
CN112782854A (zh) 头戴式显示设备以及距离测量器
JPH0446570B2 (ko)
JP2741063B2 (ja) 広視野表示装置
JP2017102731A (ja) 視線検出装置及び視線検出方法
JP6496917B2 (ja) 視線測定装置および視線測定方法
JP4235291B2 (ja) 立体映像システム
JP2010249907A (ja) 撮影装置および撮像方法
US8967803B2 (en) Image capturing apparatus and auto-focusing method thereof
US11829530B2 (en) Electronic device, control method of electronic device, and non-transitory computer readable medium
JP2018125727A (ja) 顔画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee