KR102093455B1 - 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법 - Google Patents

하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법 Download PDF

Info

Publication number
KR102093455B1
KR102093455B1 KR1020140040787A KR20140040787A KR102093455B1 KR 102093455 B1 KR102093455 B1 KR 102093455B1 KR 1020140040787 A KR1020140040787 A KR 1020140040787A KR 20140040787 A KR20140040787 A KR 20140040787A KR 102093455 B1 KR102093455 B1 KR 102093455B1
Authority
KR
South Korea
Prior art keywords
eye
pupil
color image
user
determined
Prior art date
Application number
KR1020140040787A
Other languages
English (en)
Other versions
KR20150040194A (ko
Inventor
추현곤
박민식
김현의
문경애
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/503,645 priority Critical patent/US20150097925A1/en
Publication of KR20150040194A publication Critical patent/KR20150040194A/ko
Application granted granted Critical
Publication of KR102093455B1 publication Critical patent/KR102093455B1/ko

Links

Images

Abstract

하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법이 개시된다.
홀로그램 표시 장치는 사용자를 촬영하여 생성한 깊이 영상 및 컬러 영상을 이용하여 사용자의 동공의 위치를 추적하는 동공 추적부; 추적한 사용자의 동공의 위치를 기초로 홀로그램의 시역을 제어하는 시역 제어부; 및 제어된 시역을 기초로 홀로그램을 생성하는 홀로그램 생성부를 포함할 수 있다.

Description

하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법{APPARATUS AND METHOD FOR DISPLAYING HOLOGRAM USING PUPIL TRACK BASED ON HYBRID CAMERA}
본 발명은 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법에 관한 것으로, 보다 상세하게는 깊이 영상과 컬러 영상을 이용하여 사용자의 동공을 추적하고, 추적 결과에 최적화된 홀로그램을 표시하는 장치 및 방법에 관한 것이다.
디지털 홀로그래피 디스플레이 기술은 광변조기(SLM)를 기반으로 레이저와 같은 빛의 회절 현상을 이용하여 3차원 공간에 입체 영상을 출력할 수 있다. 그러나, 디지털 홀로그래피 디스플레이 기술은 광변조기의 픽셀 크기의 제한으로 인해 홀로그램을 관찰할 수 있는 영역이 매우 제한적이며, 작은 크기의 영상만을 볼 수 있다. 따라서, 디지털 홀로그래피 디스플레이의 제한된 시역을 관찰자의 동공 크기로 구현함으로써, 사용자가 더 넓은 범위에서 더 큰 영상을 느끼도록 하는 서브 홀로그램 디스플레이 기술이 개발되었다. 이때, 서브 홀로그래피 디스플레이 기술은 동공 위치에 따라 홀로그램을 구현하므로, 사용자의 동공 위치를 추적하는 기술이 필요하다.
종래의 동공 추적 방법 중 깊이 카메라를 이용하는 동공 추적 방법은 깊이 영상의 3차원 정보를 이용하여 얼굴의 정확한 위치를 찾을 수 있다. 그러나, 깊이 영상은 컬러 영상에 비하여 해상도가 낮으므로, 눈의 위치 검출에 오류가 발생할 가능성이 있다. 또한, 눈보다 크기가 작은 동공은 검출이 힘들다는 한계가 있었다.
그리고, 종래의 동공 추적 방법 중 스테레오 카메라를 이용하는 동공 추적 방법은 고해상도의 카메라를 스테레오로 구성함으로써, 동공을 정확하게 검출할 수 있다. 그러나, 고해상도 영상 전체에서 눈을 검출하기 위해서는 계산량이 증가하며, 좌측 카메라가 촬영한 좌영상과 우측 카메라가 촬영한 우영상 간의 차이로 인하여 오류가 발생할 가능성이 있었다.
따라서, 계산량이 적으면서도 오류 없이 동공의 위치를 추적할 수 있는 방법이 요청되고 있다.
본 발명은 스테레오 카메라가 촬영한 컬러 영상과 깊이 카메라가 촬영한 깊이 영상을 이용하여 사용자의 동공을 추적함으로써, 동공 검출 과정의 오류를 최소화하고 계산 속도를 높이는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 홀로그램 표시 장치는 사용자를 촬영하여 생성한 깊이 영상 및 컬러 영상을 이용하여 사용자의 동공의 위치를 추적하는 동공 추적부; 추적한 사용자의 동공의 위치를 기초로 홀로그램의 시역을 제어하는 시역 제어부; 및 제어된 시역을 기초로 홀로그램을 생성하는 홀로그램 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 홀로그램 표시 장치의 동공 추적부는 깊이 영상에서 사용자의 눈의 위치를 판단하는 눈 위치 판단부; 판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정하는 눈 위치 추정부; 및 추정한 눈의 위치를 기초로 컬러 영상에서 동공의 위치를 판단하는 동공 위치 판단부를 포함할 수 있다.
본 발명의 일실시예에 따른 홀로그램 표시 장치의 동공 추적부는 깊이 영상에서 사용자의 눈의 위치를 판단하는 제1 눈 위치 판단부; 판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정하는 눈 위치 추정부; 컬러 영상에서 눈의 위치를 판단하는 제2 눈 위치 판단부; 및 추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치를 기초로 컬러 영상에서 동공의 위치를 판단하는 동공 위치 판단부를 포함할 수 있다.
본 발명의 일실시예에 따른 홀로그램 표시 장치의 동공 위치 판단부는 추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치의 유효성을 판단하고, 판단 결과에 기초하여 눈의 영역을 설정하며, 눈의 영역에서 동공을 검색하여 동공의 위치를 판단할 수 있다.
본 발명의 일실시예에 따른 홀로그램 표시 장치의 동공 위치 판단부는 추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치와 이전 프레임에서 판단한 동공의 위치를 비교하고, 비교 결과에 기초하여 눈의 영역을 설정하며, 눈의 영역에서 동공을 검색하여 동공의 위치를 판단할 수 있다.
본 발명의 일실시예에 따른 홀로그램 표시 장치는 컬러 영상을 촬영하는 스테레오 카메라와 깊이 영상을 촬영하는 깊이 카메라 간의 위치를 교정(Calibration)하는 카메라 교정부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 홀로그램 표시 장치의 카메라 교정부는 깊이 영상의 3차원 좌표와 컬러 영상의 2차원 좌표 간의 투영 관계식을 기초로 3차원 좌표를 2차원 좌표로 매핑하는 매핑 정보를 계산할 수 있다.
본 발명의 일실시예에 따른 동공 추적 장치는 깊이 영상에서 사용자의 눈의 위치를 판단하는 눈 위치 판단부; 판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정하는 눈 위치 추정부; 및 추정한 눈의 위치를 기초로 컬러 영상에서 동공의 위치를 판단하는 동공 위치 판단부를 포함할 수 있다.
본 발명의 일실시예에 따른 동공 추적 장치는 깊이 영상에서 사용자의 눈의 위치를 판단하는 제1 눈 위치 판단부; 판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정하는 눈 위치 추정부; 컬러 영상에서 눈의 위치를 판단하는 제2 눈 위치 판단부; 및 추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치를 기초로 컬러 영상에서 동공의 위치를 판단하는 동공 위치 판단부를 포함할 수 있다.
본 발명의 일실시예에 따른 동공 추적 장치의 동공 위치 판단부는 추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치 중 하나가 유효한 경우, 유효한 위치를 눈의 영역으로 설정할 수 있다.
본 발명의 일실시예에 따른 동공 추적 장치는 추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치가 모두 유효한 경우, 추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치를 조합하여 눈의 영역을 설정할 수 있다.
본 발명의 일실시예에 따른 홀로그램 표시 방법은 사용자를 촬영하여 생성한 깊이 영상 및 컬러 영상을 이용하여 사용자의 동공의 위치를 추적하는 단계; 추적한 사용자의 동공의 위치를 기초로 홀로그램의 시역을 제어하는 단계; 및 제어된 시역을 기초로 홀로그램을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 동공 추적 방법은 깊이 영상에서 사용자의 눈의 위치를 판단하는 단계; 판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정하는 단계; 및 추정한 눈의 위치를 기초로 컬러 영상에서 동공의 위치를 판단하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 동공 추적 방법은 깊이 영상에서 사용자의 눈의 위치를 판단하는 단계; 판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정하는 단계; 컬러 영상에서 눈의 위치를 판단하는 단계; 및 추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치를 기초로 컬러 영상에서 동공의 위치를 판단하는 단계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 스테레오 카메라가 촬영한 컬러 영상과 깊이 카메라가 촬영한 깊이 영상을 이용하여 사용자의 동공을 추적함으로써, 동공 검출 과정의 오류를 최소화하고 계산 속도를 높일 수 있다.
도 1은 본 발명의 일실시예에 따른 홀로그램 표시 장치를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 홀로그램 표시 장치의 동작 일례이다.
도 3은 본 발명의 일실시예에 따른 동공 추적부를 나타내는 도면이다.
도 4는 본 발명의 다른 일실시예에 따른 동공 추적부를 나타내는 도면이다.
도 5는 본 발명의 다른 일실시예에 따른 동공 추적부의 동작을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 홀로그램 표시 방법을 도시한 플로우차트이다.
도 7은 본 발명의 일실시예에 따른 동공 추적 방법을 도시한 플로우차트이다.
도 8은 본 발명의 다른 일실시예에 따른 동공 추적 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 홀로그램 표시 방법은 홀로그램 표시 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 홀로그램 표시 장치를 나타내는 도면이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 홀로그램 표시 장치(100)는 동공 추적부(110), 시역 제어부(120), 홀로그램 생성부(130) 및 홀로그램 표시부(140)를 포함할 수 있다.
동공 추적부(110)는 깊이 카메라(101)가 사용자를 촬영하여 생성한 깊이 영상 및 스테레오 카메라(102)가 사용자를 촬영하여 생성한 컬러 영상을 이용하여 사용자의 동공의 위치를 추적할 수 있다. 이때, 깊이 카메라(101)과 스테레오 카메라(102)는 서로 다른 해상도와 특성을 가질 수 있다. 또한, 깊이 카메라(101)과 스테레오 카메라(102)는 각각 다른 별도의 카메라일 수도 있고, 하이브리드 카메라에 포함된 깊이 카메라(101)과 스테레오 카메라(102)일 수도 있다.
동공 추적부(110)의 구체적인 구성 및 동작은 이하 도 3과 도 4를 참조로 상세히 설명한다.
시역 제어부(120)는 동공 추적부(110)가 추적한 사용자의 동공의 위치를 기초로 홀로그램의 시역(Viewing window)을 제어할 수 있다. 구체적으로, 시역 제어부(120)는 홀로그램을 출력하기 위한 광원의 위치 및 광 변조기의 위치를 제어함으로써, 홀로그램의 시역을 제어할 수 있다.
홀로그램 생성부(130)는 시역 제어부(120)가 제어한 시역을 기초로 사용자의 시역에 최적화된 홀로그램을 생성할 수 있다.
홀로그램 표시부(140)는 홀로그램 생성부(130)가 생성한 홀로그램을 공간 상에 출력하여 표시할 수 있다.
도 2는 본 발명의 일실시예에 따른 홀로그램 표시 장치의 동작 일례이다.
본 발명의 일실시예에 따른 홀로그램 표시 장치(100)는 사용자의 동공을 추적하고, 도 2에 도시된 바와 같은 디지털 홀로그래피 디스플레이의 시역을 사용자의 동공 위치(210)에 최적화하여 표시할 수 있다. 이때, 사용자는 동공의 위치(210)에 최적화된 홀로그램(200)을 시청함으로써, 더 넓은 범위에서 더 큰 영상을 느낄 수 있다.
도 3은 본 발명의 일실시예에 따른 동공 추적부를 나타내는 도면이다.
도 3을 참고하면, 본 발명의 일실시예에 따른 동공 추적부(110)는 카메라 교정부(310), 눈 위치 판단부(320), 눈 위치 추정부(330), 동공 위치 판단부(340), 및 3차원 위치 계산부(350)를 포함할 수 있다.
카메라 교정부(310)는 일반적인 스테레오 교정 방법을 이용하여 스테레오 카메라(102)의 좌우측 카메라 사이의 위치를 보정하는 스테레오 교정(Calibration)을 수행할 수 있다. 구체적으로, 카메라 교정부(310)는 좌영상과 우영상 간의 특징 점의 좌표를 기초로 카메라 파라미터를 추출할 수 있다. 그리고, 카메라 교정부(310)는 추출한 카메라 파라미터를 기초로 좌측 카메라가 촬영한 좌영상과 우측 카메라가 촬영한 우영상 사이의 거리 차에 의한 3차원 위치 좌표를 계산할 수 있다.
또한, 카메라 교정부(310)는 깊이 카메라(101)과 스테레오 카메라(102) 간의 교정을 수행할 수 있다. 구체적으로, 카메라 교정부(310)는 깊이 카메라(101)가 촬영한 깊이 영상의 3차원 좌표에 대응하는 스테레오 카메라(102)가 촬영한 컬러 영상의 영상 좌표를 추정하기 위한 매핑 정보인 투영 행렬(Projection matrix)를 계산할 수 있다.
예를 들어, 깊이 영상의 3차원 좌표 X={Xw, Yw, Zw}와 컬러 영상의 2차원 영상 좌표 x = (x, y)간의 투영 관계식은 수학식 1과 같이 정리될 수 있다.
Figure 112014032767453-pat00001
이때, 만약 i 번째 3차원 좌표 Xi 에 대한 2차원 좌표가 xi 라고 정의하면, 수학식 1은 수학식 2와 같이 정리될 수 있다.
Figure 112014032767453-pat00002
그리고, 수학식 2에서 P를 계산하는 과정은 수학식 3과 같이 정의할 수 있다.
Figure 112014032767453-pat00003
이때, 카메라 교정부(310)는 수학식 3으로 구한 P를 이용하여 깊이 영상의 (X, Y, Z) 3차원 좌표에서 컬러 영상의 2D 좌표를 얻을 수 있다. 그리고, 카메라 교정부(310)는 스테레오 카메라의 좌측 카메라와 우측 카메라 각각에 대응하는 투영 행렬을 계산할 수 있다.
눈 위치 판단부(320)는 깊이 카메라(101)가 촬영한 깊이 영상에서 사용자의 눈의 위치를 판단할 수 있다. 이때, 눈 위치 판단부(320)는 일반적인 얼굴 인식 및 눈 인식 알고리즘 등을 이용하여 깊이 영상에서 사용자의 눈의 위치를 판단하고, 판단한 눈의 좌표를 추출할 수 있다. 예를 들어, 눈 위치 판단부(320)는 Haar 특징 기반의 얼굴 인식이나, AAM(Active Appearance Model) 기법 등을 이용하여 얼굴을 추정할 수 있다.
눈 위치 추정부(330)는 눈 위치 판단부(320)가 판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정할 수 있다. 이때, 눈 위치 추정부(330)는 카메라 교정부(310)가 계산한 매핑 정보를 이용하여 컬러 영상에서 눈 위치 판단부(320)가 판단한 눈의 위치에 해당하는 위치를 추정할 수 있다. 예를 들어, 눈 위치 추정부(330)는 매핑 정보와 깊이 영상에서 추출한 눈의 좌표를 이용하여 스테레오 카메라가 촬영한 컬러 영상의 눈의 좌표를 추출하는 매핑 모듈일 수 있다.
동공 위치 판단부(340)는 눈 위치 추정부(330)가 추정한 눈의 위치를 기초로 스테레오 카메라(102)가 컬러 영상에서 동공의 위치를 판단할 수 있다. 이때, 동공 위치 판단부(340)는 눈 위치 추정부(330)가 추정한 눈의 위치를 눈의 영역으로 설정하고, 눈의 영역에서 동공의 위치를 검색하여 동공의 위치를 판단할 수 있다.
3차원 위치 계산부(350)는 동공 위치 판단부(340)가 판단한 좌 동공과 우 동공의 위치를 기초로 3차원 동공 위치 좌표를 계산할 수 있다. 그리고, 3차원 위치 계산부(350)는 계산한 3차원 위치 좌표를 시역 제어부(120)에 전달할 수 있다.
본 발명의 일실시예에 따른 동공 추적부(110)는 깊이 영상에서 검출한 눈의 위치를 기초로 컬러 영상에서 동공을 검출함으로써, 저해상도의 깊이 영상에서 동공을 검출할 경우 발생하는 오류를 방지하고, 정확하게 동공의 위치를 판단할 수 있다. 또한, 동공 추적부(110)는 깊이 영상에서 검출한 눈의 위치에 대응하는 영역에서 동공을 검색함으로써, 컬러 영상에서 동공을 검색하는 영역의 범위를 축소하여 동공 검색에 필요한 계산량을 최소화할 수 있다.
도 4는 본 발명의 다른 일실시예에 따른 동공 추적부를 나타내는 도면이다.
도 4는 깊이 영상과 컬러 영상에서 각각 눈의 위치를 판단하고, 판단 결과를 조합하여 동공의 위치를 판단하는 동공 추적부의 일례이다.
도 4를 참고하면, 본 발명의 일실시예에 따른 동공 추적부(110)는 카메라 교정부(410), 제1 눈 위치 판단부(420), 눈 위치 추정부(430), 제2 눈 위치 판단부(440), 동공 위치 판단부(450), 및 3차원 위치 계산부(460)를 포함할 수 있다.
카메라 교정부(410)는 일반적인 스테레오 교정 방법을 이용하여 스테레오 카메라(102)의 좌우측 카메라 사이의 위치를 보정하는 스테레오 교정(Calibration)을 수행할 수 있다. 또한, 카메라 교정부(410)는 깊이 카메라(101)과 스테레오 카메라(102) 간의 교정을 수행할 수 있다. 카메라 교정부(410)의 구체적인 동작은 도 3의 카메라 교정부(310)과 동일하므로 생략한다.
제1 눈 위치 판단부(420)는 깊이 카메라(101)가 촬영한 깊이 영상에서 사용자의 눈의 위치를 판단할 수 있다. 이때, 제1 눈 위치 판단부(420)는 일반적인 얼굴 인식 및 눈 인식 알고리즘 등을 이용하여 깊이 영상에서 사용자의 눈의 위치를 판단하고, 판단한 눈의 좌표를 추출할 수 있다. 예를 들어, 제1 눈 위치 판단부(420)는 Haar 특징 기반의 얼굴 인식이나, AAM(Active Appearance Model) 기법 등을 이용하여 얼굴을 추정할 수 있다.
눈 위치 추정부(430)는 눈 위치 판단부(420)가 판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정할 수 있다. 이때, 눈 위치 추정부(430)는 카메라 교정부(410)가 계산한 매핑 정보를 이용하여 컬러 영상에서 눈 위치 판단부(420)가 판단한 눈의 위치에 해당하는 위치를 추정할 수 있다. 예를 들어, 눈 위치 추정부(430)는 매핑 정보와 깊이 영상에서 추출한 눈의 좌표를 이용하여 스테레오 카메라가 촬영한 컬러 영상의 눈의 좌표를 추출하는 매핑 모듈일 수 있다.
제2 눈 위치 판단부(440)는 스테레오 카메라(102)가 촬영한 컬러 영상에서 사용자의 눈의 위치를 판단할 수 있다. 이때, 제2 눈 위치 판단부(440)는 일반적인 얼굴 인식 및 눈 인식 알고리즘 등을 이용하여 컬러 영상에서 사용자의 눈의 위치를 판단하고, 판단한 눈의 좌표를 추출할 수 있다. 예를 들어, 제2 눈 위치 판단부(440)는 제1 눈 위치 판단부(420)와 동일한 얼굴 인식 및 눈 인식 알고리즘을 이용하여 컬러 영상에서 사용자의 눈의 위치를 판단할 수 있다. 또한, 제2 눈 위치 판단부(440)는 제1 눈 위치 판단부(420)와 상이한 얼굴 인식 및 눈 인식 알고리즘을 이용하여 컬러 영상에서 사용자의 눈의 위치를 판단할 수도 있다.
동공 위치 판단부(450)는 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치에 기초하여 눈의 영역을 설정할 수 있다. 그리고, 동공 위치 판단부(450)는 눈의 영역에서 동공의 위치를 검색하여 동공의 위치를 판단할 수 있다.
이때, 동공 위치 판단부(450)는 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치의 유효성을 판단하고, 판단 결과에 기초하여 눈의 영역을 설정할 수 있다. 예를 들어, 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치 중 하나의 값이 유효한 경우, 동공 위치 판단부(450)는 유효한 눈의 위치를 눈의 영역으로 설정할 수 있다. 그리고, 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치가 모두 유효한 경우, 동공 위치 판단부(450)는 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치를 조합하여 눈의 영역을 설정할 수 있다. 예를 들어, 동공 위치 판단부(450)는 수학식 4를 이용하여 눈의 영역을 설정할 수 있다.
Figure 112014032767453-pat00004
이때, Xnew 는 눈의 영역의 위치이고, Xdepth는 눈 위치 추정부(430)가 추정한 눈의 위치이며, adepth는 눈 위치 추정부(430)가 추정한 눈의 위치의 가중치일 수 있다. 또한, Xst는 제2 눈 위치 판단부(440)가 판단한 눈의 위치이며, ast 는 제2 눈 위치 판단부(440)가 판단한 눈의 위치의 가중치일 수 있다.
그리고, 동공 위치 판단부(450)는 컬러 영상 및 깊이 영상의 이전 프레임에서 판단한 동공 위치를 저장할 수 있다. 이때, 동공 위치 판단부(450)는 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치와 이전 프레임에서 판단한 동공의 위치를 비교하고, 비교 결과에 기초하여 눈의 영역을 설정할 수 있다. 예를 들어, 동공 위치 판단부(450)는 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치 중에서 저장한 동공의 위치에 가장 가까운 위치를 눈의 위치로 설정할 수 있다.
3차원 위치 계산부(460)는 동공 위치 판단부(450)가 판단한 좌 동공과 우 동공의 위치를 기초로 3차원 동공 위치 좌표를 계산할 수 있다. 그리고, 3차원 위치 계산부(460)는 계산한 3차원 위치 좌표를 시역 제어부(120)에 전달할 수 있다.
도 5는 본 발명의 다른 일실시예에 따른 동공 추적부의 동작을 나타내는 도면이다.
단계(510)에서 제1 눈 위치 판단부(420)는 깊이 카메라(101)가 촬영한 깊이 영상에서 사용자의 눈의 위치를 판단할 수 있다. 이때, 제1 눈 위치 판단부(420)는 일반적인 얼굴 인식 및 눈 인식 알고리즘 등을 이용하여 깊이 영상에서 사용자의 눈의 위치를 판단하고, 판단한 눈의 좌표를 추출할 수 있다.
단계(515)에서 제2 눈 위치 판단부(440)는 스테레오 카메라(102)가 촬영한 컬러 영상에서 사용자의 눈의 위치를 판단할 수 있다. 이때, 제2 눈 위치 판단부(440)는 일반적인 얼굴 인식 및 눈 인식 알고리즘 등을 이용하여 컬러 영상에서 사용자의 눈의 위치를 판단하고, 판단한 눈의 좌표를 추출할 수 있다. 이때, 단계(510)과 단계(515)는 동시에 수행될 수도 있고, 순차적으로 수행될 수도 있다.
단계(520)에서 눈 위치 추정부(430)는 단계(520)에서 판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정할 수 있다. 이때, 눈 위치 추정부(430)는 매핑 정보를 이용하여 컬러 영상에서 눈의 위치에 해당하는 좌표를 추정할 수 있다.
단계(530)에서 동공 위치 판단부(450)는 단계(520)에서 추정한 눈의 위치와 단계(515)에서 판단한 눈의 위치에 기초하여 새로운 눈의 위치를 생성할 수 있다. 그리고, 동공 위치 판단부(450)는 새로운 눈의 위치를 눈의 영역으로 설정할 수 있다. 예를 들어, 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치 중 하나의 값이 유효한 경우, 동공 위치 판단부(450)는 유효한 눈의 위치를 새로운 눈의 위치로 생성할 수 있다. 그리고, 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치가 모두 유효한 경우, 동공 위치 판단부(450)는 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치를 조합하여 새로운 눈의 위치를 생성할 수 있다.
단계(540)에서 동공 위치 판단부(450)는 단계(530)에서 설정한 눈의 영역에서 동공의 위치를 검색하여 동공의 위치를 판단할 수 있다. 그리고, 동공 위치 판단부(450)는 판단한 동공 위치를 저장하고, 다음 프레임에서 단계(530)가 수행될 때 저장된 동공 위치에 기초하여 새로운 눈의 위치를 생성할 수 있다. 예를 들어, 동공 위치 판단부(450)는 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치 중에서 저장한 동공의 위치에 가장 가까운 위치를 눈의 위치로 설정할 수 있다.
단계(550)에서 3차원 위치 계산부(460)는 단계(540)에서 판단한 좌 동공과 우 동공의 위치를 기초로 3차원 동공 위치 좌표를 계산할 수 있다. 그리고, 3차원 위치 계산부(460)는 계산한 3차원 위치 좌표를 시역 제어부(120)에 전달할 수 있다.
도 6은 본 발명의 일실시예에 따른 홀로그램 표시 방법을 도시한 플로우차트이다.
단계(610)에서 동공 추적부(110)는 깊이 카메라(101)가 사용자를 촬영하여 생성한 깊이 영상 및 스테레오 카메라(102)가 사용자를 촬영하여 생성한 컬러 영상을 이용하여 사용자의 동공의 위치를 추적할 수 있다.
단계(620)에서 시역 제어부(120)는 단계(610)에서 추적한 사용자의 동공의 위치를 기초로 홀로그램의 시역(Viewing window)을 제어할 수 있다. 구체적으로, 시역 제어부(120)는 홀로그램을 출력하기 위한 광원의 위치 및 광 변조기의 위치를 제어함으로써, 홀로그램의 시역을 제어할 수 있다.
단계(630)에서 홀로그램 생성부(130)는 단계(620)에서 제어한 시역을 기초로 사용자의 시역에 최적화된 홀로그램을 생성할 수 있다.
단계(640)에서 홀로그램 표시부(140)는 단계(630)에서 생성한 홀로그램을 공간 상에 출력하여 표시할 수 있다.
도 7은 본 발명의 일실시예에 따른 동공 추적 방법을 도시한 플로우차트이다. 이때, 단계(710) 내지 단계(750)는 도 6의 단계(610)에 포함될 수 있다.
도 7은 도 3에 도시된 동공 추적부(110)가 동공의 위치를 추적하는 과정을 도시한 플로우차트일 수 있다.
단계(710)에서 눈 위치 판단부(320)는 깊이 카메라(101)가 촬영한 깊이 영상에서 사용자의 눈의 위치를 판단할 수 있다. 이때, 눈 위치 판단부(320)는 일반적인 얼굴 인식 및 눈 인식 알고리즘 등을 이용하여 깊이 영상에서 사용자의 눈의 위치를 판단하고, 판단한 눈의 좌표를 추출할 수 있다.
단계(720)에서 눈 위치 추정부(330)는 단계(710)에서 판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정할 수 있다. 이때, 눈 위치 추정부(330)는 카메라 교정부(310)가 계산한 매핑 정보를 이용하여 컬러 영상에서 눈 위치 판단부(320)가 판단한 눈의 위치에 해당하는 위치를 추정할 수 있다.
단계(730)에서 동공 위치 판단부(340)는 단계(720)에서 추정한 눈의 위치를 눈의 영역으로 설정할 수 있다.
단계(740)에서 동공 위치 판단부(340)는 단계(720)에서 설정한 눈의 영역에서 동공의 위치를 검색하여 동공의 위치를 판단할 수 있다.
단계(750)에서 3차원 위치 계산부(350)는 단계(740)에서 판단한 좌 동공과 우 동공의 위치를 기초로 3차원 동공 위치 좌표를 계산할 수 있다. 그리고, 3차원 위치 계산부(350)는 계산한 3차원 위치 좌표를 시역 제어부(120)에 전달할 수 있다.
도 8은 본 발명의 다른 일실시예에 따른 동공 추적 방법을 도시한 플로우차트이다. 이때, 단계(710) 내지 단계(750)는 도 6의 단계(610)에 포함될 수 있다.
도 8은 도 4에 도시된 동공 추적부(110)가 동공의 위치를 추적하는 과정을 도시한 플로우차트일 수 있다.
단계(810)에서 제1 눈 위치 판단부(420)는 깊이 카메라(101)가 촬영한 깊이 영상에서 사용자의 눈의 위치를 판단할 수 있다. 또한, 제2 눈 위치 판단부(440)는 스테레오 카메라(102)가 촬영한 컬러 영상에서 사용자의 눈의 위치를 판단할 수 있다.
단계(820)에서 눈 위치 추정부(430)는 단계(810)에서 제1 눈 위치 판단부(420)가 판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정할 수 있다. 이때, 눈 위치 추정부(430)는 매핑 정보를 이용하여 컬러 영상에서 눈의 위치에 해당하는 좌표를 추정할 수 있다.
단계(830)에서 동공 위치 판단부(450)는 단계(820)에서 추정한 눈의 위치와 단계(810)에서 제2 눈 위치 판단부(440)가 판단한 눈의 위치에 기초하여 새로운 눈의 위치를 생성할 수 있다. 그리고, 동공 위치 판단부(450)는 새로운 눈의 위치를 눈의 영역으로 설정할 수 있다. 예를 들어, 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치 중 하나의 값이 유효한 경우, 동공 위치 판단부(450)는 유효한 눈의 위치를 새로운 눈의 위치로 생성할 수 있다. 그리고, 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치가 모두 유효한 경우, 동공 위치 판단부(450)는 눈 위치 추정부(430)가 추정한 눈의 위치와 제2 눈 위치 판단부(440)가 판단한 눈의 위치를 조합하여 새로운 눈의 위치를 생성할 수 있다.
단계(840)에서 동공 위치 판단부(450)는 단계(530)에서 설정한 눈의 영역에서 동공의 위치를 검색하여 판단할 수 있다.
단계(850)에서 3차원 위치 계산부(460)는 단계(540)에서 판단한 좌 동공과 우 동공의 위치를 기초로 3차원 동공 위치 좌표를 계산할 수 있다. 그리고, 3차원 위치 계산부(460)는 계산한 3차원 위치 좌표를 시역 제어부(120)에 전달할 수 있다.
본 발명은 스테레오 카메라가 촬영한 컬러 영상과 깊이 카메라가 촬영한 깊이 영상을 이용하여 사용자의 동공을 추적함으로써, 동공 검출 과정의 오류를 최소화하고 계산 속도를 높일 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 동공 추적부
310: 카메라 교정부
320: 눈 위치 판단부
330: 눈 위치 추정부
340: 동공 위치 판단부
350: 3차원 위치 계산부

Claims (20)

  1. 깊이 카메라가 사용자를 촬영하여 생성한 깊이 영상 및 스테레오 카메라가 상기 사용자를 촬영하여 생성한 컬러 영상을 이용하여 사용자의 동공의 위치를 추적하는 동공 추적부;
    추적한 사용자의 동공의 위치를 기초로 홀로그램의 시역을 제어하는 시역 제어부; 및
    제어된 시역을 기초로 홀로그램을 생성하는 홀로그램 생성부
    를 포함하고,
    상기 동공 추적부는,
    깊이 영상에서 사용자의 눈의 위치를 판단하는 제1 눈 위치 판단부;
    판단한 눈의 위치를 기초로 컬러 영상의 눈의 위치를 추정하는 눈 위치 추정부;
    컬러 영상에서 눈의 위치를 판단하는 제2 눈 위치 판단부; 및
    추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치를 기초로 컬러 영상에서 동공의 위치를 판단하는 동공 위치 판단부
    를 포함하는 홀로그램 표시 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 동공 위치 판단부는,
    추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치와 이전 프레임에서 판단한 동공의 위치를 비교하고, 비교 결과에 기초하여 눈의 영역을 설정하며, 눈의 영역에서 동공을 검색하여 동공의 위치를 판단하는 홀로그램 표시 장치.
  6. 제1항에 있어서,
    컬러 영상을 촬영하는 스테레오 카메라와 깊이 영상을 촬영하는 깊이 카메라 간의 위치를 교정(Calibration)하는 카메라 교정부
    를 더 포함하는 홀로그램 표시 장치.
  7. 제6항에 있어서,
    상기 카메라 교정부는,
    깊이 영상의 3차원 좌표와 컬러 영상의 2차원 좌표 간의 투영 관계식을 기초로 3차원 좌표를 2차원 좌표로 매핑하는 매핑 정보를 계산하는 홀로그램 표시 장치.
  8. 삭제
  9. 깊이 카메라가 사용자를 촬영하여 생성한 깊이 영상에서 사용자의 눈의 위치를 판단하는 제1 눈 위치 판단부;
    판단한 눈의 위치를 기초로 스테레오 카메라가 상기 사용자를 촬영하여 생성한 컬러 영상의 눈의 위치를 추정하는 눈 위치 추정부;
    컬러 영상에서 눈의 위치를 판단하는 제2 눈 위치 판단부; 및
    추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치를 기초로 컬러 영상에서 동공의 위치를 판단하는 동공 위치 판단부
    를 포함하는 동공 추적 장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제9항에 있어서,
    상기 동공 위치 판단부는,
    추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치와 이전 프레임에서 판단한 동공의 위치를 비교하고, 비교 결과에 기초하여 눈의 영역을 설정하며, 눈의 영역에서 동공을 검색하여 동공의 위치를 판단하는 동공 추적 장치.
  14. 깊이 카메라가 사용자를 촬영하여 생성한 깊이 영상 및 스테레오 카메라가 상기 사용자를 촬영하여 생성한 컬러 영상을 이용하여 사용자의 동공의 위치를 추적하는 단계;
    추적한 사용자의 동공의 위치를 기초로 홀로그램의 시역을 제어하는 단계; 및
    제어된 시역을 기초로 홀로그램을 생성하는 단계
    를 포함하고,
    상기 동공의 위치를 추적하는 단계는,
    상기 깊이 영상에서 사용자의 눈의 위치를 판단하는 단계;
    판단한 눈의 위치를 기초로 상기 컬러 영상의 눈의 위치를 추정하는 단계;
    상기 컬러 영상에서 눈의 위치를 판단하는 단계; 및
    추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치를 기초로 컬러 영상에서 동공의 위치를 판단하는 단계
    를 포함하는 홀로그램 표시 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제14항에 있어서,
    상기 동공의 위치를 판단하는 단계는,
    추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치와 이전 프레임에서 판단한 동공의 위치를 비교하고, 비교 결과에 기초하여 눈의 영역을 설정하며, 눈의 영역에서 동공을 검색하여 동공의 위치를 판단하는 홀로그램 표시 방법.
  19. 삭제
  20. 깊이 카메라가 사용자를 촬영하여 생성한 깊이 영상에서 사용자의 눈의 위치를 판단하는 단계;
    판단한 눈의 위치를 기초로 스테레오 카메라가 상기 사용자를 촬영하여 생성한 컬러 영상의 눈의 위치를 추정하는 단계;
    컬러 영상에서 눈의 위치를 판단하는 단계; 및
    추정한 컬러 영상의 눈의 위치 및 판단한 컬러 영상의 눈의 위치를 기초로 컬러 영상에서 동공의 위치를 판단하는 단계
    를 포함하는 동공 추적 방법.
KR1020140040787A 2013-10-04 2014-04-04 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법 KR102093455B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/503,645 US20150097925A1 (en) 2013-10-04 2014-10-01 Apparatus and method for displaying hologram based on pupil tracking using hybrid camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130118514 2013-10-04
KR20130118514 2013-10-04

Publications (2)

Publication Number Publication Date
KR20150040194A KR20150040194A (ko) 2015-04-14
KR102093455B1 true KR102093455B1 (ko) 2020-03-25

Family

ID=53031708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140040787A KR102093455B1 (ko) 2013-10-04 2014-04-04 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102093455B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102463169B1 (ko) * 2015-09-07 2022-11-04 삼성전자주식회사 시점 추적 방법 및 장치
KR101909137B1 (ko) * 2015-12-16 2018-10-17 한국전자통신연구원 홀로그램 정보 보정 장치 및 방법
KR102288039B1 (ko) * 2019-03-20 2021-08-12 광운대학교 산학협력단 관찰자를 추적할 수 있는 공중 3차원 디스플레이 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110316853A1 (en) 2010-06-23 2011-12-29 Microsoft Corporation Telepresence systems with viewer perspective adjustment

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0616547A2 (pt) * 2005-08-17 2011-06-21 Seereal Technologies Gmbh método e sistema de reconhecimento e rastreamento, em tempo real, da posição ocular de múltiplos usuários

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110316853A1 (en) 2010-06-23 2011-12-29 Microsoft Corporation Telepresence systems with viewer perspective adjustment

Also Published As

Publication number Publication date
KR20150040194A (ko) 2015-04-14

Similar Documents

Publication Publication Date Title
AU2018292610B2 (en) Method and system for performing simultaneous localization and mapping using convolutional image transformation
CN108734776B (zh) 一种基于散斑的三维人脸重建方法及设备
US8831280B2 (en) 3D motion recognition method and apparatus
US9600714B2 (en) Apparatus and method for calculating three dimensional (3D) positions of feature points
US9269003B2 (en) Diminished and mediated reality effects from reconstruction
JP5054008B2 (ja) 複数の観察者の眼のトラッキングとリアルタイム検出のための方法と回路
US9237330B2 (en) Forming a stereoscopic video
US20150097925A1 (en) Apparatus and method for displaying hologram based on pupil tracking using hybrid camera
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
KR20100119559A (ko) 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
KR101769177B1 (ko) 시선 추적 장치 및 방법
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
KR20180099703A (ko) 적응형 초점면을 갖는 가상 현실을 렌더링하기 위한 구성
KR20120045269A (ko) 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치
CN108282650B (zh) 一种裸眼立体显示方法、装置、系统及存储介质
KR102093455B1 (ko) 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법
CN105335959B (zh) 成像装置快速对焦方法及其设备
WO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
TWI757658B (zh) 影像處理系統及影像處理方法
KR102503976B1 (ko) 증강현실 영상 보정 장치 및 방법
KR101832743B1 (ko) 디지털 홀로그래피 디스플레이 및 그 방법
WO2022226432A1 (en) Hand gesture detection methods and systems with hand prediction
JP2018536494A5 (ko)
US20230222682A1 (en) Map optimizing method, related electronic device and non-transitory computer readable storage medium
TWI840079B (zh) 地圖最佳化方法、電子裝置及非暫態電腦可讀取儲存媒體

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant