KR20150079393A - 동공 추적 장치 및 방법 - Google Patents

동공 추적 장치 및 방법 Download PDF

Info

Publication number
KR20150079393A
KR20150079393A KR1020140140919A KR20140140919A KR20150079393A KR 20150079393 A KR20150079393 A KR 20150079393A KR 1020140140919 A KR1020140140919 A KR 1020140140919A KR 20140140919 A KR20140140919 A KR 20140140919A KR 20150079393 A KR20150079393 A KR 20150079393A
Authority
KR
South Korea
Prior art keywords
pupil
image
camera
dimensional position
unit
Prior art date
Application number
KR1020140140919A
Other languages
English (en)
Other versions
KR102269088B1 (ko
Inventor
추현곤
이수현
김진웅
김현의
문경애
박민식
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/584,870 priority Critical patent/US20150185484A1/en
Publication of KR20150079393A publication Critical patent/KR20150079393A/ko
Application granted granted Critical
Publication of KR102269088B1 publication Critical patent/KR102269088B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • H04N13/02—
    • H04N13/0242—
    • H04N13/0271—
    • H04N13/0484—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display

Landscapes

  • Image Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

동공 추적 장치 및 방법이 개시된다. 동공 추적 장치는 오브젝트를 촬영하여, 상기 오브젝트에 대한 영상을 획득하는 영상 획득부와, 상기 영상으로부터 상기 오브젝트 내 특정 부분에 대한 3차원의 위치를 검출하는 공간 위치 검출부와, 홀로그램을 상기 3차원의 위치에 대응하는 공간에 출력하는 디스플레이부를 포함한다.

Description

동공 추적 장치 및 방법{APPARATUS AND METHOD FOR TRACKING PUPIL}
본 발명의 실시예는 상이한 각도에서 획득한 오브젝트에 대한 영상을 이용하여, 홀로그램을 출력할 공간에 대응하는 동공의 위치를 추적 함으로써, 테이블탑형 디지털 홀로그램 디스플레이의 제한된 시역을 해결하는 기술에 관한 것이다.
디지털 홀로그래피 디스플레이 기술은 광변조기(SLM)를 기반으로 레이저와 같은 빛의 회절 현상을 이용하여 3차원 공간에 입체 영상을 출력하는 기술이다. 테이블탑형 홀로그래픽 디스플레이는 홀로그래피 디스플레이 기술을 이용하여 평면의 테이블 위의 공간 상에 영상을 출력하여, 360도 중 어느 각도에서나 입체 영상을 볼 수 있도록 하는 디스플레이를 의미한다.
도 1은 구면상의 거울에 레이저가 반사되어 공간에 상이 떠 오르는게 보이는 원리를 도시한 도면이고, 도 2는 사람의 눈에서 빛이 반사되어 공간에 상이 떠 오르는게 보이는 원리를 도시한 도면이다.
도 1 및 도 2를 참조하면, 홀로그래픽 디스플레이는 레이저의 광 회절 각도를 구형 거울을 이용한 광학 효과에 기초하여 방향을 조절 함으로써, 공간에 상이 떠 있는 것과 같은 효과를 주게 된다. 즉, 홀로그래픽 디스플레이는 사람의 눈이 바라보는 방향으로 회절된 영상을 공중에 여러 방향으로 투영하여 마치 해당 공간에 떠 있는 것과 같은 효과를 주게 된다.
테이블탑형 홀로그래픽 디스플레이는 홀로그래픽 디스플레이와 마찬가지로 광변조기와 레이저에 기반 함에 따라, 광변조기의 픽셀 크기로 인한 홀로그램 관찰 범위에 제약을 가지게 된다.
이러한 제약을 보완하기 위해서는 사람의 눈동자 위치에 따라서 레이저 및 광변조기 등을 통해서 출력되는 빛의 방향을 조절하는 방법이 요구되고, 이를 위해서는 사람의 동공을 3차원 공간상에서 정확히 추적하는 기술이 필요하다.
본 발명의 실시예는 상이한 각도에서 획득한 오브젝트에 대한 영상을 이용하여, 홀로그램을 출력할 공간에 대응하는 동공의 위치를 정확히 추적 함으로써, 테이블탑형 디지털 홀로그램 디스플레이의 제한된 시역을 해결하는 것을 목적으로 한다.
본 발명의 실시예에 따른 동공 추적 장치는 오브젝트를 촬영하여, 상기 오브젝트에 대한 영상을 획득하는 영상 획득부와, 상기 영상으로부터 상기 오브젝트 내 특정 부분에 대한 3차원의 위치를 검출하는 공간 위치 검출부와, 홀로그램을 상기 3차원의 위치에 대응하는 공간에 출력하는 디스플레이부를 포함한다.
상기 영상 획득부는 상이한 방위에 위치하는 n개(n은 자연수)의 카메라를 포함할 수 있다.
상기 카메라는 스테레오 카메라, 컬러 카메라 또는 깊이 카메라 중 어느 하나일 수 있다.
상기 공간 위치 검출부는 상기 영상에서 상기 특정 부분으로서, 동공이 포함되어 있는지를 판단하고, 상기 동공이 포함된 것으로 판단되는 경우, 상기 동공에 대한 2차원의 위치를 추적하는 동공 추적부를 포함할 수 있다.
상기 동공 추적부는 상기 영상을 설정된 복수의 영역으로 구분하고, 평균 휘도값이 가장 큰 영역을 얼굴 내 눈의 영역으로 추적하며, 상기 눈의 영역에서 상기 동공을 추적할 수 있다.
상기 공간 위치 검출부는 상기 동공에 대한 2차원의 위치 및 상기 영상 획득부 내 카메라에 관한 상태정보에 기초하여, 상기 동공에 대한 3차원의 위치를 산출하는 동공 위치 산출부를 더 포함할 수 있다.
상기 영상 획득부는 전방향으로 상기 오브젝트를 촬영하는 전방위 카메라와, 전방향에 대한 파노라믹 영상을 획득할 수 있도록 상이한 방위에서 상기 오브젝트를 촬영하는 복수의 파노라마 카메라를 포함할 수 있다.
상기 동공 추적 장치는 상기 전방위 카메라로부터 수신한 카메라에 관한 식별정보에 기초하여, 상기 복수의 파노라마 카메라 중에서 적어도 하나의 파노라마 카메라를 선택하고, 상기 선택한 파노라마 카메라로부터 영상을 수신하여 상기 공간 위치 검출부에 전달하는 영상 선택부를 더 포함할 수 있다.
상기 전방위 카메라는 상기 영상에서 상기 오브젝트가 추출되면, 상기 오브젝트가 위치하는 방위에 상응하는 상기 카메라에 관한 식별정보를 상기 영상 선택부에 제공할 수 있다.
본 발명의 실시예에 따른 동공 추적 방법은 오브젝트를 촬영하여, 상기 오브젝트에 대한 영상을 획득하는 단계와, 상기 영상으로부터 상기 오브젝트 내 특정 부분에 대한 3차원의 위치를 검출하는 단계와, 홀로그램을 상기 3차원의 위치에 대응하는 공간에 출력하는 단계를 포함한다.
본 발명의 실시예에 따르면, 상이한 각도에서 획득한 오브젝트에 대한 영상을 이용하여, 홀로그램을 출력할 공간에 대응하는 동공의 위치를 정확히 추적 함으로써, 테이블탑형 디지털 홀로그램 디스플레이의 제한된 시역을 해결할 수 있다.
도 1은 구면상의 거울에 레이저가 반사되어 공간에 상이 떠 오르는게 보이는 원리를 도시한 도면이고, 도 2는 사람의 눈에서 빛이 반사되어 공간에 상이 떠 오르는게 보이는 원리를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 동공 추적 장치의 구성 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 동공 추적 장치에서의 카메라 배치에 대한 일례를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 동공 추적 장치에서의 동공에 대한 위치 추적 일례를 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 동공 추적 장치의 구성 일례를 도시한 도면이다.
도 7 및 도 8은 본 발명의 다른 실시예에 따른 동공 추적 장치에서의 카메라 배치에 대한 일례를 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 동공 추적 방법을 나타내는 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 3은 본 발명의 일실시예에 따른 동공 추적 장치의 구성 일례를 도시한 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 동공 추적 장치(300)는 영상 획득부(301), 공간 위치 검출부(303) 및 디스플레이부(309)를 포함할 수 있다.
영상 획득부(301)는 상이한 방위에 위치하는 n개(n은 자연수)의 카메라를 포함할 수 있으며, n개의 카메라를 통해, 오브젝트(예컨대, 사람)를 촬영하여, 상기 오브젝트에 대한 영상을 획득할 수 있다. 여기서, 영상 획득부(301)는 각 방위에 위치하는 2대의 스테레오 카메라 또는 오브젝트를 3차원 정보(예를 들어, 깊이 정보, 색상 정보)로 인지하는 카메라(예컨대, 깊이 카메라)를 포함할 수 있다.
영상 획득부(301) 내 n개의 카메라는 동공 추적부(305) 내 n개의 동공 추적 모듈과 각각 연결되어, 오브젝트에 대한 각 영상을 상기 n개의 동공 추적 모듈에 전달할 수 있다.
공간 위치 검출부(303)는 영상 획득부(301)로부터 수신한 영상으로부터, 상기 오브젝트 내 특정 부분(예컨대, 동공)에 대한 3차원의 위치를 검출할 수 있다. 여기서, 공간 위치 검출부(303)는 동공 추적부(305) 및 동공 위치 산출부(307)를 포함할 수 있다.
동공 추적부(305)는 n개의 동공 추적 모듈(예컨대, 제1 내지 제n 동공 추적 모듈)을 포함할 수 있다. 여기서, 동공 추적 모듈은 카메라로부터 영상을 수신하고, 수신한 영상에서의 동공 포함 여부를 판단할 수 있다. 여기서, 동공 추적 모듈은 상기 영상을 설정된 복수의 영역으로 구분하고, 사람의 얼굴이 존재한다고 판단된 영역에서, 얼굴 내 눈의 영역을 추적하며, 상기 눈의 영역에서 상기 동공을 추적할 수 있다. 이때, 동공 추적 모듈은 상기 구분된 복수의 영역 중에서 동공 분류기를 통과한 출력값이 가장 큰 영역을 얼굴 내 눈의 영역으로 추적할 수 있다.
즉, 동공 추적 모듈은 상기 영상에서 동공이 포함되는 것으로 판단되는 경우, 영상에서 얼굴을 먼저 찾고, 추출된 얼굴 내에서 눈의 위치를 찾아서, 해당 눈의 위치 내에 존재하는 동공(예컨대, 좌, 우 동공)의 2차원의 위치(즉, 2차원상의 위치)를 추적할 수 있다.
동공 추적 모듈은 상기 추적한 동공에 대한 2차원의 위치를, 동공 위치 산출부(307)에 전달할 수 있다.
동공 위치 산출부(307)는 동공 추적부(305) 내 n개의 동공 추적 모듈로부터 동공에 대한 2차원의 위치를 각각 수신하고, 각각 수신한 2차원의 위치 및 n개의 카메라에 관한 상태정보(예컨대, 카메라의 위치, 각도, 방향에 관한 정보, 카메라의 해상도)에 기초하여, 동공에 대한 3차원의 위치(즉, 3차원 공간 상의 위치)를 산출할 수 있다.
이때, 동공 위치 산출부(307)는 동공 추적부(305) 내 n개의 동공 추적 모듈로부터 좌, 우 동공에 대한 2차원의 각각 위치를 수신하고, 수신된 n개의 좌, 우 동공에 대한 2차원의 위치를 이용하여 좌, 우 동공에 대한 3차원의 위치를 산출할 수 있다. 여기서, 동공 위치 산출부(307)는 2대의 스테레오 카메라에 의해 상기 영상이 획득된 경우, 연속하여 위치하는 2대의 스테레오 카메라 간의 위치 차이(disparity)를 이용하여 좌, 우 동공 간의 거리 및 3차원 공간 상의 위치를 산출할 수 있다.
디스플레이부(309)는 생성된 홀로그램을, 공간 위치 검출부(303)에 의해 검출된 특정 부분에 대한 3차원의 위치(예컨대, 동공에 대한 3차원의 위치)에 대응하는 공간에 출력할 수 있다.
도 4는 본 발명의 일실시예에 따른 동공 추적 장치에서의 카메라 배치에 대한 일례를 나타내는 도면이다.
도 4를 참조하면, 동공 추적 장치는 상이한 방위에 각각 위치한 복수의 카메라(카메라 어레이(camera arrays))을 통해, 오브젝트(예컨대, 사람)를 촬영하여 복수의 영상을 획득할 수 있다. 여기서, 복수의 카메라는 예컨대, 가상의 원을 따라 이격되어 위치할 수 있다.
도 5는 본 발명의 일실시예에 따른 동공 추적 장치에서의 동공에 대한 위치 추적 일례를 설명하기 위한 도면이다.
도 5를 참조하면, 동공 추적 장치는 예컨대, 하르(Haar) 특징 기반의 접근 방법을 이용하여 동공에 대한 위치를 계산 함으로써, 동공을 추적할 수 있다.
여기서, 하르(Haar) 특징 기반의 접근 방법은 하르 특징자를 하나의 필터 셋으로 구성하고, 얼굴 데이터베이스를 이용하여 각각의 필터에 대한 응답을 하나의 분류기로 구성하며, 입력된 영상이 상기 구성된 분류기를 통과하여 나오는 출력값을 임계치와 비교하고, 상기 비교 결과에 기초하여 얼굴의 존재 여부를 결정하는 접근 방식이다.
동공 추적 장치는 영상이 입력되면, 여러 크기 단위로 얼굴 또는 눈의 후보 영역을 검출할 수 있다. 이때, 동공 추적 장치는 영상으로부터 여러 크기 단위 중에서 동공 분류기를 통과하여 출력되는 가장 큰 출력의 값(예컨대, 하르 분류기의 출력이 가장 큰 값)을 갖는 크기 단위를 얼굴 또는 눈의 영역으로 검출할 수 있다. 상기 동공 분류기는 입력된 영상 내에서, 동공으로 추정되는 영역을 수치 또는 확률적으로 평가하는 수단일 수 있고, 본 발명의 동공 추적 장치에 적용되어, 상기 영상과 연관되어 구분된 복수의 영역 별로 출력값을 평가할 수 있다. 동공 추적 장치는 복수의 영역 각각으로 상기 동공 분류기에 의해 평가된 출력값들을 비교하고, 그 중 가장 큰 출력값으로 평가된 영역을, 얼굴 내 눈의 영역으로 추적할 수 있다.
눈의 위치가 검출되면, 동공 추적 장치는 눈의 중심을 기준으로, 동공의 위치를 검출할 수 있다. 이때, 눈의 위치에 기초한 동공의 위치 검출 시, 동공 추적 장치는 카메라에 의해 획득한 영상에서 동공이 더 어둡게 나온다는 점과 동공의 모양이 원에 가깝다는 점에 기초하여, 동공의 위치를 검출할 수 있다.
이때, 동공 추적 장치는 [수학식 1]에 기초한 원형 검출 알고리즘을 이용하여, 동공의 위치를 검출할 수 있다.
Figure pat00001
여기서, I(x, y)는 (x, y)위치에서의 화소값을, (x0, y0)은 원의 중심을 의미하고, r은 반지름을 나타낸다.
구체적으로, 동공 추적 장치는 [수학식 1]을 통해, 원의 중심(x0, y0)으로부터 반지름(r)에 의해 2πr로 정규화된 원의 둘레에 있는 모든 화소 값을 더하고, 안쪽과 바깥쪽의 원 둘레의 각각의 화소값의 차가 가장 크게 났을 때의, 원의 둘레를 동공 영역으로 판단할 수 있다. 이때, 동공 추적 장치는 노이즈를 제거하기 위하여, 원의 둘레 검출시, 반지름(r)의 방향으로 가우시안 함수(G(r))를 수행 함으로써, 동공 검출의 정확도를 높일 수 있다.
도 6은 본 발명의 다른 실시예에 따른 동공 추적 장치의 구성 일례를 도시한 도면이다.
도 6을 참조하면, 본 발명의 다른 실시예에 따른 동공 추적 장치(600)는 영상 획득부(601), 영상 선택부(603), 공간 위치 검출부(605) 및 디스플레이부(611)를 포함할 수 있다.
영상 획득부(601)는 복수의 카메라를 포함할 수 있다. 여기서, 복수의 카메라는 전방향(즉, 360도)을 한번에 촬영할 수 있는 하나의 전방위 카메라(Omni-directional camera)와, 전방향에 대한 파노라믹 영상을 획득할 수 있도록 상이한 방위에서 오브젝트를 촬영하여 영상을 각각 획득하는 복수의 파노라마 카메라로 구성될 수 있다.
이때, 전방위 카메라는 촬영한 영상(613)에서 오브젝트(예컨대, 사람)를 추출하고, 오브젝트가 추출되면, 오브젝트와 연관된 카메라에 관한 식별정보(또는, 카메라의 위치정보)를 영상 선택부(603)에 전달할 수 있다. 여기서, 오브젝트와 연관된 카메라는 오브젝트가 위치하는 방위에 상응하는 카메라일 수 있다.
영상 선택부(603)는 영상 획득부(601)에 의해 획득한 복수의 영상 중 일부 영상을 수신할 수 있다. 이때, 영상 선택부(603)는 예컨대, 카메라 스위치(camera switch)를 포함할 수 있으며, 전방위 카메라로부터 수신한 카메라에 관한 식별정보에 기초하여 복수의 파노라마 카메라 중에서 적어도 하나의 파노라마 카메라를 선택하고, 선택한 파노라마 카메라에 스위칭 온(on)하여, 상기 파노라마 카메라로부터 영상을 수신할 수 있다.
여기서, 영상 선택부(603)는 전방위 카메라로부터 상기 카메라에 관한 식별정보를 수신하는 것으로 기재하였으나, 이에 한정되지 않고, 전방위 카메라로부터 영상을 수신하고, 수신된 영상으로부터 상기 카메라에 관한 식별정보를 획득할 수 있다.
공간 위치 검출부(605)는 영상 선택부(603)로부터 수신한 적어도 하나의 영상으로부터 상기 오브젝트 내 특정 부분(예컨대, 동공)에 대한 3차원의 위치를 검출할 수 있다. 여기서, 공간 위치 검출부(605)는 동공 추적부(607) 및 동공 위치 산출부(609)를 포함할 수 있다.
동공 추적부(607)는 복수의 동공 추적 모듈을 포함할 수 있다. 동공 추적부(607)는 영상 선택부(603)로부터 적어도 하나의 영상을 수신하고, 수신한 영상에서의 동공 포함 여부를 판단할 수 있다. 여기서, 동공 추적 모듈은 상기 영상을 설정된 복수의 영역으로 구분하고, 상기 구분된 복수의 영역 중에서 동공 분류기(예를 들어, Haar 특징 기반 분류기)의 출력값이 가장 큰 영역을 예컨대, 얼굴 내 눈의 영역으로 추적하며, 상기 눈의 영역에서 상기 동공을 추적할 수 있다.
동공 추적 모듈은 상기 영상에서 동공이 포함되는 것으로 판단되는 경우, 동공(예컨대, 좌, 우 동공)에 대한 2차원의 위치를 추적하여, 동공 위치 산출부(609)에 전달할 수 있다.
동공 위치 산출부(609)는 동공 추적부(607) 내 복수의 동공 추적 모듈로부터 동공에 대한 2차원의 위치를 각각 수신하고, 수신한 2차원의 위치 및 복수의 카메라에 관한 상태정보(예컨대, 카메라의 위치, 각도, 방향에 관한 정보)에 기초하여, 동공에 대한 3차원의 위치를 산출할 수 있다.
디스플레이부(611)는 생성된 홀로그램을, 동공에 대한 3차원의 위치에 대응하는 공간에 출력할 수 있다.
본 발명의 다른 실시예에 따른 동공 추적 장치(600)는 전방위 카메라에 의해, 선택된 유효 카메라(예컨대, 일부 선택된 파노라마 카메라)로부터 획득한 영상을 이용하여 동공을 검출 함으로써, 동공 추적에 대한 계산량을 줄여, 동공에 대한 위치를 효율적으로 추적할 수 있다.
도 7 및 도 8은 본 발명의 다른 실시예에 따른 동공 추적 장치에서의 카메라 배치에 대한 일례를 나타내는 도면이다. 도 7은 전면에서 바라볼 때의 카메라 배치도이고, 도 8은 위에서 내려다볼 때의 카메라 배치도이다.
도 7 및 도 8을 참조하면, 동공 추적 장치는 360도를 한번에 촬영할 수 있는 하나의 전방위 카메라(Omni-directional camera)와, 360도에 대한 파노라믹 영상을 획득할 수 있도록 각각 위치하는 복수의 파노라마 카메라(카메라 어레이(camera arrays))을 통해, 오브젝트(예컨대, 사람)를 촬영하여 복수의 영상을 획득할 수 있다. 여기서, 전면에서 바라볼 때, 복수의 파노라마 카메라는 예컨대, 전방위 카메라 보다 하부에 위치할 수 있고, 위에서 내려다 볼 때, 복수의 파노라마 카메라는 전방위 카메라를 중심으로 예컨대, 가상의 원을 따라 이격되어 위치할 수 있다.
도 9는 본 발명의 일실시예에 따른 동공 추적 방법을 나타내는 흐름도이다.
도 9를 참조하면, 단계 901에서, 동공 추적 장치는 오브젝트를 촬영하여, 상기 오브젝트에 대한 영상을 획득할 수 있다.
이때, 동공 추적 장치는 상이한 방위에 위치하는 n개(n은 자연수)의 카메라를 이용하여, 상기 오브젝트에 대한 영상을 획득할 수 있다. 여기서, 상기 카메라는 스테레오 카메라, 컬러 카메라 또는 깊이 카메라 중 어느 하나일 수 있다.
단계 903에서, 동공 추적 장치는 상기 영상으로부터 상기 오브젝트 내 특정 부분에 대한 3차원의 위치를 검출할 수 있다.
동공 추적 장치는 상기 영상에서 상기 특정 부분으로서, 동공이 포함되어 있는지를 판단하고, 상기 동공이 포함된 것으로 판단되는 경우, 상기 동공에 대한 2차원의 위치를 추적할 수 있다. 이때, 동공 추적 장치는 상기 영상을 설정된 복수의 영역으로 구분하고, 상기 구분된 복수의 영역 중에서 동공 분류기(예를 들어 Haar 특징 기반 분류기)를 통과한 출력값이 가장 큰 영역을 얼굴 내 눈의 영역으로 추적하며, 상기 눈의 영역에서 상기 동공을 추적 함으로써, 상기 영상에서의 동공 포함 여부를 판단할 수 있다.
이후, 동공 추적 장치는 상기 동공에 대한 2차원의 위치 및 상기 영상을 획득한 카메라에 관한 상태정보(예컨대, 카메라의 위치, 각도, 방향에 관한 정보)에 기초하여, 상기 동공에 대한 3차원의 위치를 산출할 수 있다.
단계 905에서, 동공 추적 장치는 홀로그램을 상기 3차원의 위치에 대응하는 공간에 출력할 수 있다.
다른 일례로서, 동공 추적 장치는 전방향으로 상기 오브젝트를 촬영하는 전방위 카메라와, 전방향에 대한 파노라믹 영상을 획득할 수 있도록 상이한 방위에서 상기 오브젝트를 촬영하는 복수의 파노라마 카메라를 이용하여, 오브젝트에 대한 영상을 획득할 수 있다.
이때, 동공 추적 장치는 상기 전방위 카메라로부터 수신한 카메라에 관한 식별정보에 기초하여, 상기 복수의 파노라마 카메라 중에서 적어도 하나의 파노라마 카메라를 선택할 수 있다. 여기서, 동공 추적 장치는 상기 영상에서 상기 오브젝트가 추출되면, 상기 전방위 카메라로부터 상기 오브젝트가 위치하는 방위에 상응하는 상기 카메라에 관한 식별정보를 수신할 수 있다.
이후, 동공 추적 장치는 상기 선택한 파노라마 카메라에서 획득한 영상으로부터 상기 오브젝트 내 특정 부분에 대한 3차원의 위치를 검출할 수 있으며, 홀로그램을 상기 3차원의 위치에 대응하는 공간에 출력할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
300: 동공 추적 장치 301: 영상 획득부
303: 공간 위치 검출부 309: 디스플레이부

Claims (18)

  1. 오브젝트를 촬영하여, 상기 오브젝트에 대한 영상을 획득하는 영상 획득부;
    상기 영상으로부터 상기 오브젝트 내 특정 부분에 대한 3차원의 위치를 검출하는 공간 위치 검출부; 및
    홀로그램을 상기 3차원의 위치에 대응하는 공간에 출력하는 디스플레이부
    를 포함하는 동공 추적 장치.
  2. 제1항에 있어서,
    상기 영상 획득부는,
    상이한 방위에 위치하는 n개(n은 자연수)의 카메라
    를 포함하는 동공 추적 장치.
  3. 제2항에 있어서,
    상기 카메라는,
    스테레오 카메라, 컬러 카메라 또는 깊이 카메라 중 어느 하나인
    동공 추적 장치.
  4. 제1항에 있어서,
    상기 공간 위치 검출부는,
    상기 영상에서 상기 특정 부분으로서, 동공이 포함되어 있는지를 판단하고, 상기 동공이 포함된 것으로 판단되는 경우, 상기 동공에 대한 2차원의 위치를 추적하는 동공 추적부
    를 포함하는 동공 추적 장치.
  5. 제4항에 있어서,
    상기 동공 추적부는,
    상기 영상을 설정된 복수의 영역으로 구분하고, 상기 구분된 복수의 영역 중에서 동공 분류기를 통과한 출력값이 가장 큰 영역을 얼굴 내 눈의 영역으로 추적하며, 상기 눈의 영역에서 상기 동공을 추적하는
    동공 추적 장치.
  6. 제4항에 있어서,
    상기 공간 위치 검출부는,
    상기 동공에 대한 2차원의 위치 및 상기 영상 획득부 내 카메라에 관한 상태정보에 기초하여, 상기 동공에 대한 3차원의 위치를 산출하는 동공 위치 산출부
    를 더 포함하는 동공 추적 장치.
  7. 제1항에 있어서,
    상기 영상 획득부는,
    전방향으로 상기 오브젝트를 촬영하는 전방위 카메라; 및
    전방향에 대한 파노라믹 영상을 획득할 수 있도록 상이한 방위에서 상기 오브젝트를 촬영하는 복수의 파노라마 카메라
    를 포함하는 동공 추적 장치.
  8. 제7항에 있어서,
    상기 전방위 카메라로부터 수신한 카메라에 관한 식별정보에 기초하여, 상기 복수의 파노라마 카메라 중에서 적어도 하나의 파노라마 카메라를 선택하고, 상기 선택한 파노라마 카메라로부터 영상을 수신하여 상기 공간 위치 검출부에 전달하는 영상 선택부
    를 더 포함하는 동공 추적 장치.
  9. 제8항에 있어서,
    상기 전방위 카메라는,
    상기 영상에서 상기 오브젝트가 추출되면, 상기 오브젝트가 위치하는 방위에 상응하는 상기 카메라에 관한 식별정보를 상기 영상 선택부에 제공하는
    동공 추적 장치.
  10. 오브젝트를 촬영하여, 상기 오브젝트에 대한 영상을 획득하는 단계;
    상기 영상으로부터 상기 오브젝트 내 특정 부분에 대한 3차원의 위치를 검출하는 단계; 및
    홀로그램을 상기 3차원의 위치에 대응하는 공간에 출력하는 단계
    를 포함하는 동공 추적 방법.
  11. 제10항에 있어서,
    상기 오브젝트에 대한 영상을 획득하는 단계는,
    상이한 방위에 위치하는 n개(n은 자연수)의 카메라를 이용하여, 상기 오브젝트에 대한 영상을 획득하는 단계
    를 포함하는 동공 추적 방법.
  12. 제11항에 있어서,
    상기 카메라는,
    스테레오 카메라, 컬러 카메라 또는 깊이 카메라 중 어느 하나인
    동공 추적 방법.
  13. 제10항에 있어서,
    상기 오브젝트 내 특정 부분에 대한 3차원의 위치를 검출하는 단계는,
    상기 영상에서 상기 특정 부분으로서, 동공이 포함되어 있는지를 판단하는 단계; 및
    상기 동공이 포함된 것으로 판단되는 경우, 상기 동공에 대한 2차원의 위치를 추적하는 단계
    를 포함하는 동공 추적 방법.
  14. 제13항에 있어서,
    상기 동공이 포함되어 있는지를 판단하는 단계는,
    상기 영상을 설정된 복수의 영역으로 구분하고, 상기 구분된 복수의 영역 중에서 동공 분류기를 통과한 출력값이 가장 큰 영역을 얼굴 내 눈의 영역으로 추적하며, 상기 눈의 영역에서 상기 동공을 추적하는 단계
    를 포함하는 동공 추적 방법.
  15. 제13항에 있어서,
    상기 오브젝트 내 특정 부분에 대한 3차원의 위치를 검출하는 단계는,
    상기 동공에 대한 2차원의 위치 및 상기 영상을 획득한 카메라에 관한 상태정보에 기초하여, 상기 동공에 대한 3차원의 위치를 산출하는 단계
    를 더 포함하는 동공 추적 방법.
  16. 제10항에 있어서,
    상기 오브젝트에 대한 영상을 획득하는 단계는,
    전방향으로 상기 오브젝트를 촬영하는 전방위 카메라와, 전방향에 대한 파노라믹 영상을 획득할 수 있도록 상이한 방위에서 상기 오브젝트를 촬영하는 복수의 파노라마 카메라를 이용하여, 상기 오브젝트에 대한 영상을 획득하는 단계
    를 포함하는 동공 추적 방법.
  17. 제16항에 있어서,
    상기 동공 추적 방법은,
    상기 전방위 카메라로부터 수신한 카메라에 관한 식별정보에 기초하여, 상기 복수의 파노라마 카메라 중에서 적어도 하나의 파노라마 카메라를 선택하는 단계
    를 더 포함하고,
    상기 오브젝트 내 특정 부분에 대한 3차원의 위치를 검출하는 단계는,
    상기 선택한 파노라마 카메라에서 획득한 영상으로부터 상기 오브젝트 내 특정 부분에 대한 3차원의 위치를 검출하는 단계
    를 포함하는 동공 추적 방법.
  18. 제17항에 있어서,
    상기 동공 추적 방법은,
    상기 영상에서 상기 오브젝트가 추출되면, 상기 전방위 카메라로부터 상기 오브젝트가 위치하는 방위에 상응하는 상기 카메라에 관한 식별정보를 수신하는 단계
    를 더 포함하는 동공 추적 방법.
KR1020140140919A 2013-12-30 2014-10-17 동공 추적 장치 및 방법 KR102269088B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/584,870 US20150185484A1 (en) 2013-12-30 2014-12-29 Pupil tracking apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130167598 2013-12-30
KR1020130167598 2013-12-30

Publications (2)

Publication Number Publication Date
KR20150079393A true KR20150079393A (ko) 2015-07-08
KR102269088B1 KR102269088B1 (ko) 2021-06-24

Family

ID=53791752

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140140919A KR102269088B1 (ko) 2013-12-30 2014-10-17 동공 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102269088B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102032487B1 (ko) * 2018-05-29 2019-10-15 상명대학교산학협력단 시각 피로 측정 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060012777A (ko) * 2004-08-04 2006-02-09 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
US20070092245A1 (en) * 2005-10-20 2007-04-26 Honeywell International Inc. Face detection and tracking in a wide field of view
US20080240516A1 (en) * 2007-03-27 2008-10-02 Seiko Epson Corporation Image Processing Apparatus and Image Processing Method
US20110316853A1 (en) * 2010-06-23 2011-12-29 Microsoft Corporation Telepresence systems with viewer perspective adjustment
US20140226952A1 (en) * 2010-05-18 2014-08-14 Enforcement Video, Llc Method and system for split-screen video display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060012777A (ko) * 2004-08-04 2006-02-09 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
US20070092245A1 (en) * 2005-10-20 2007-04-26 Honeywell International Inc. Face detection and tracking in a wide field of view
US20080240516A1 (en) * 2007-03-27 2008-10-02 Seiko Epson Corporation Image Processing Apparatus and Image Processing Method
US20140226952A1 (en) * 2010-05-18 2014-08-14 Enforcement Video, Llc Method and system for split-screen video display
US20110316853A1 (en) * 2010-06-23 2011-12-29 Microsoft Corporation Telepresence systems with viewer perspective adjustment

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Amine Iraqui.H 등. Fusion of Omnidirectional and PTZ cameras for face detection & tracking, ICEST.(2010.09.06.)* *
Heekyung Lee 등. Face and eye tracking for sub-hologram based digital holographic display system, SPIE 8384.(2012.05.10.)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102032487B1 (ko) * 2018-05-29 2019-10-15 상명대학교산학협력단 시각 피로 측정 장치 및 방법

Also Published As

Publication number Publication date
KR102269088B1 (ko) 2021-06-24

Similar Documents

Publication Publication Date Title
CN110799991B (zh) 用于使用卷积图像变换执行同时定位和映射的方法和系统
EP3139303B1 (en) Method and apparatus for eye tracking
CN108205797B (zh) 一种全景视频融合方法及装置
CN111024040B (zh) 距离估计方法和设备
US9916689B2 (en) Apparatus and method for estimating camera pose
KR102415501B1 (ko) 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
US9600714B2 (en) Apparatus and method for calculating three dimensional (3D) positions of feature points
EP4329296A2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
US10430959B2 (en) Method and apparatus for matching stereo images
KR20170091496A (ko) 양안 시차 영상의 처리 방법 및 장치
US10186051B2 (en) Method and system for calibrating a velocimetry system
US20150185484A1 (en) Pupil tracking apparatus and method
KR101983586B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 방법
KR20170128736A (ko) 3차원 스캐닝 장치 및 방법
US9948926B2 (en) Method and apparatus for calibrating multiple cameras using mirrors
KR102295857B1 (ko) 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치
KR102269088B1 (ko) 동공 추적 장치 및 방법
Neves et al. A calibration algorithm for multi-camera visual surveillance systems based on single-view metrology
KR102310958B1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
KR101832743B1 (ko) 디지털 홀로그래피 디스플레이 및 그 방법
KR102427739B1 (ko) 거울들을 사용하는 멀티 카메라들의 캘리브레이션을 위한 방법 및 장치
CN113424524B (zh) 使用半球形或球形可见光深度图像的三维建模
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
WO2023276480A1 (ja) 撮影システム、撮影方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right