KR100793077B1

KR100793077B1 - 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원디스플레이 시스템 및 그 방법

Info

Publication number: KR100793077B1
Application number: KR1020060044837A
Authority: KR
Inventors: 강훈종; 김태원; 허남호; 이수인
Original assignee: 한국전자통신연구원
Priority date: 2005-12-08
Filing date: 2006-05-18
Publication date: 2008-01-10
Also published as: KR20070061091A

Abstract

본 발명은 관찰자가 3차원 입체 영상 관찰 위치에 있지 않을 경우 관찰자에게 관찰 위치를 인디케이터(Indicator)에 의해 안내하도록 하기 위한, 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원 디스플레이 시스템 및 그 방법에 관한 것으로, 관찰자의 위치를 결정하는 방법에 있어서, 하나의 카메라를 통해 획득된 관찰자의 영상에서 상기 관찰자의 두 눈의 중심 위치를 검출하는 단계; 상기 카메라의 내부 파라미터 정보를 획득하는 단계; 상기 검출된 두 눈의 중심 위치와 상기 카메라의 초점 거리를 이용해 좌/우 회전각(θ)을 계산하는 단계; 상기 카메라의 센터와 특정 점까지의 거리 정보와 상기 두 눈의 중심 위치 정보를 이용해 상/하 회전각(φ)을 계산하는 단계; 및 상기 계산된 좌/우 회전각과 상기 카메라의 센터와 특정 점까지의 거리 정보를 이용해 상기 관찰자와 영상 표시 장치 간의 거리값(z)을 계산하는 단계를 포함한다.

패러랙스 배리어, 렌티큘러, 관찰자 추적, 3차원 입체 영상 표시 마스크, 인디케이터(Indicator), 카메라, 3차원 디스플레이 시스템

Description

관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원 디스플레이 시스템 및 그 방법{Method for deciding the position of an observer, and an observer tracking 3D display system and method using that}

도 1 은 본 발명에 따른 관찰자 추적형 3차원 입체 영상 표시 시스템의 일실시예 구성도,

도 2 는 본 발명에 따른 관찰자 추적형 3차원 입체 영상 표시 시스템의 다른 실시예 구성도,

도 3 은 본 발명에 따른 관찰자 위치 추적 장치의 일실시예 구성도,

도 4 는 상기 도 2의 영상 표시 장치 및 3차원 입체 영상 표시 마스크 위치에 대한 관찰 위치 변화를 각각 나타낸 예시도,

도 5 는 본 발명에 따른 카메라와 디스플레이 장치 간의 관계 및 카메라 좌표계를 나타낸 예시도,

도 6 은 본 발명에 따른 관찰자 위치 추적 장치 중 3차원 위치 정보 추출부의 일실시예 상세 구성도,

도 7 은 본 발명에 따라 디스플레이 장치를 바라보고 있는 일반적인 얼굴의 자세를 나타낸 도면(y= - ∞에서 x-z 평면을 바라본 2차원 도면),

도 8 은 본 발명에 따른 카메라와 좌/우 눈의 관계를 표시한 도면이다.

* 도면의 주요 부분에 대한 부호의 설명

11 : CCD 카메라 12 : 인디케이터(Indicator)

13 : 3차원 영상 표시 장치 21 : 모터(M1 내지M4)

22 : 3차원 입체 영상 표시 마스크 23 : 영상 표시 장치

31 : 영상 신호 입력부 32 : 3차원 위치 정보 추출부

33 : 제어신호 생성부

본 발명은 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원 디스플레이 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 관찰자의 위치를 인지한 후 관찰자가 고정된 관찰 위치에서 일정 범위 이내로 벗어나 있을 경우 3차원 입체 영상 관찰 위치로 관찰자를 안내하거나, 관찰자 위치에서 3차원 입체 영상을 관찰할 수 있도록 렌티큘러(Lenticular) 또는 패러랙스 배리어(parallax barrier) 등의 3차원 입체 영상 표시 마스크를 제어하기 위한, 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원 디스플레이 시스템 및 그 방법에 관한 것이다.

패러랙스 배리어(parallax barrier) 방식은, 영상 패널을 전방으로부터 거 리를 두어 배리어 필터를 배치한 후 양안이 배리어 필터를 지나 서로 다른 이미지나 영상을 관찰함으로써, 이미지나 영상이 입체로 나타나게 하는 시차(parallax)에 의한 방법이다.

일반적으로, 인간이 입체감을 느끼는 가장 큰 요인은 하나의 물체에 좌/우의 눈이 다른 방향에서 물체를 봄으로써 생기는 좌/우 망막 상의 공간적인 차이의 효과이다. 이 효과를 이용하여 좌/우 양안에 각각 서로 다른 영상, 즉 스테레오 스코픽 영상(3차원 영상)을 디스플레이하는 방법이 사용되었다. 이러한 스테레오 스코픽 영상(3차원 영상)은 디스플레이 방법에 따라 안경을 쓰는 방법과, 안경을 쓰지 않는 방법으로 발전되어 왔으며, 안경을 쓰지 않고 보는 방법으로 가장 대표적인 방법이 수직시차만을 표현하는 렌티큘라판을 영상 표시 장치에 부착하여 입체 영상을 보는 방법이며, 나아가 수직, 수평 시차를 표현하는 다시점 또는 초다시점 IP(Integral Photography)판, 교차 렌티큘라판 또는 사각 렌즈판 등의 다시점 영상 표시 마스크로 발전되어 왔다.

이처럼, 3차원 디스플레이 방법은 안경을 쓰고 3차원 영상을 관찰하는 방법과, 안경을 쓰지 않고 3차원 영상을 관찰하는 방법으로 나누어진다.

안경을 쓰고 3차원 영상을 관찰하는 방법은 극장과 같은 넓은 공간에서 3차원 영상을 관찰하는 방법으로서, 2안식의 스테레오 스코픽 영상(3차원 영상) 디스플레이 방법을 사용한다. 또한, 안경을 쓰지 않고 보는 방법으로는, 주로 소수 관찰자가 관찰 위치가 정해져 있는 위치에서 3차원 영상을 관찰하는 방법이 있다.

그런데, 안경을 쓰지 않고 3차원 영상을 관찰할 수 있는 대표적인 종래의 방법으로서, 패러랙스 배리어(parallax barrier) 방식을 이용하지만, 종래의 패러랙스 배리어 방식으로 3차원 입체 영상을 디스플레이할 때 3차원 영상을 관찰할 수 있는 범위가 한정되어 있으므로, 관찰자는 고정된 위치에서 3차원 영상을 관찰해야만 하는 문제점이 있었다.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 관찰자가 3차원 입체 영상 관찰 위치에 있지 않을 경우 관찰자에게 관찰 위치를 인디케이터(Indicator)에 의해 안내하도록 하기 위한, 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원 디스플레이 시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 패러랙스 배리어 또는 렌티큘러 방식으로 3차원 입체 영상을 관찰할 경우 3차원 입체 영상 표시 마스크를 제어하여, 관찰자가 3차원 입체 영상 관찰 위치에서 일정 범위를 벗어나더라도 3차원 입체 영상을 관찰할 수 있도록 하기 위한, 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원 디스플레이 시스템 및 그 방법을 제공하는데 다른 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 관찰자 위치 결정 방법은, 관찰자의 위치를 결정하는 방법에 있어서, 하나의 카메라를 통해 획득된 관찰자의 영상에서 상기 관찰자의 두 눈의 중심 위치를 검출하는 단계; 상기 카메라의 내부 파라미터 정보를 획득하는 단계; 상기 검출된 두 눈의 중심 위치와 상기 카메라의 초점 거리를 이용해 좌/우 회전각(θ)을 계산하는 단계; 상기 카메라의 센터와 특정 점까지의 거리 정보와 상기 두 눈의 중심 위치 정보를 이용해 상/하 회전각(φ)을 계산하는 단계; 및 상기 계산된 좌/우 회전각과 상기 카메라의 센터와 특정 점까지의 거리 정보를 이용해 상기 관찰자와 영상 표시 장치 간의 거리값(z)을 계산하는 단계를 포함한다.

한편, 본 발명의 관찰자 추적형 3차원 디스플레이 시스템은, 하나의 카메라를 통해 획득된 관찰자의 영상에서 상기 관찰자의 두 눈의 중심 위치를 검출하는 양 눈 검출수단; 상기 카메라의 내부 파라미터 정보를 획득하는 수단; 상기 검출된 두 눈의 중심 위치와 상기 카메라의 초점 거리를 이용해 좌/우 회전각(θ)을 계산하고, 상기 카메라의 센터와 특정 점까지의 거리 정보와 상기 두 눈의 중심 위치 정보를 이용해 상/하 회전각(φ)을 계산하며, 상기 계산된 좌/우 회전각과 상기 카메라의 센터와 특정 점까지의 거리 정보를 이용해 상기 관찰자와 영상 표시 장치 간의 거리값(z)을 계산하는 계산수단; 상기 계산수단에 의해 계산된 정보를 이용해 제어신호를 생성하는 제어신호생성수단; 및 상기 제어신호 생성수단에 의해 생성된 제어신호에 따라 상기 관찰자를 최적 관찰 위치로 안내하기 위한 신호를 표시하는 관찰자 안내 수단을 포함한다.

또한, 본 발명의 관찰자 추적형 3차원 디스플레이 방법은, 관찰자 추적형 3차원 디스플레이 방법에 있어서, 하나의 카메라를 통해 획득된 관찰자의 영상에서 상기 관찰자의 두 눈의 중심 위치를 검출하는 단계; 상기 카메라의 내부 파라미터 정보를 획득하는 단계; 상기 검출된 두 눈의 중심 위치와 상기 카메라의 초점 거리를 이용해 좌/우 회전각(θ)을 계산하는 단계; 상기 카메라의 센터와 특정 점까지의 거리 정보와 상기 두 눈의 중심 위치 정보를 이용해 상/하 회전각(φ)을 계산하는 단계; 상기 계산된 좌/우 회전각과 상기 카메라의 센터와 특정 점까지의 거리 정보를 이용해 상기 관찰자와 영상 표시 장치 간의 거리값(z)을 계산하는 단계; 상기 계산된 좌/우 회전각과, 상기 계산된 상/하 회전각 및 상기 거리값을 이용해 제어신호를 생성하는 단계; 및 상기 생성된 제어신호에 따라 상기 관찰자를 최적 관찰 위치로 안내하기 위한 신호를 표시하는 단계를 포함한다.

한편, 본 발명의 다른 관찰자 추적형 3차원 디스플레이 시스템은, 하나의 카메라를 통해 획득된 관찰자의 영상에서 상기 관찰자의 두 눈의 중심 위치를 검출하는 양 눈 검출수단; 상기 카메라의 내부 파라미터 정보를 획득하는 수단; 상기 검출된 두 눈의 중심 위치와 상기 카메라의 초점 거리를 이용해 좌/우 회전각(θ)을 계산하고, 상기 카메라의 센터와 특정 점까지의 거리 정보와 상기 두 눈의 중심 위치 정보를 이용해 상/하 회전각(φ)을 계산하며, 상기 계산된 좌/우 회전각과 상기 카메라의 센터와 특정 점까지의 거리 정보를 이용해 상기 관찰자와 영상 표시 장치 간의 거리값(z)을 계산하는 계산수단; 상기 계산수단에 의해 계산된 정보를 이용해 제어신호를 생성하는 제어신호생성수단; 및 상기 관찰자의 위치에 적합하게 조정된 3차원 입체 영상을 표시하기 위해, 상기 제어신호 생성수단에 의해 생성된 제어신호에 따라 영상 표시 마스크를 이동시키는 수단을 포함한다.

또한, 본 발명의 다른 관찰자 추적형 3차원 디스플레이 방법은, 관찰자 추적형 3차원 디스플레이 방법에 있어서, 하나의 카메라를 통해 획득된 관찰자의 영상에서 상기 관찰자의 두 눈의 중심 위치를 검출하는 단계; 상기 카메라의 내부 파라미터 정보를 획득하는 단계; 상기 검출된 두 눈의 중심 위치와 상기 카메라의 초점 거리를 이용해 좌/우 회전각(θ)을 계산하는 단계; 상기 카메라의 센터와 특정 점까지의 거리 정보와 상기 두 눈의 중심 위치 정보를 이용해 상/하 회전각(φ)을 계산하는 단계; 상기 계산된 좌/우 회전각과 상기 카메라의 센터와 특정 점까지의 거리 정보를 이용해 상기 관찰자와 영상 표시 장치 간의 거리값(z)을 계산하는 단계; 상기 계산된 좌/우 회전각과, 상기 계산된 상/하 회전각 및 상기 거리값을 이용해 제어신호를 생성하는 단계; 및 상기 생성된 제어신호에 따라 영상 표시 마스크를 이동시켜 상기 관찰자 위치에 적합하게 조정된 3차원 입체 영상을 표시하는 단계를 포함한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1 은 본 발명에 따른 관찰자 추적형 3차원 입체 영상 표시 시스템의 일실 시예 구성도로서, 관찰자 위치 추적 장치(30)를 통한 관찰자 위치 인지 및 추적을 통하여, 이를 바탕으로 관찰자에게 관찰 위치를 인디케이터(12)에 의해 안내하도록 하는 방식을 나타내고 있다.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 관찰자 추적형 3차원 입체 영상 표시 시스템은, 관찰자의 영상을 촬상(촬영)하기 위한 CCD 카메라(11)와, CCD 카메라(11)로부터 관찰자의 영상을 입력받아 관찰자의 3차원 위치 정보를 추출하여 관찰자 위치 안내 제어신호를 생성하기 위한 관찰자 위치 추적 장치(후술되는 도 3 참조)(30)와, 관찰자 위치 추적 장치(30)로부터의 관찰자 위치 안내 제어신호에 따라 관찰자를 최적 관찰 위치로 안내하기 위한 신호를 표시하여 관찰자를 관찰 위치로 안내(예컨데, 상/하/좌/우/앞/뒤에 해당하는 LED(Light Emitting Diode)를 제어하여 관찰자를 관찰 위치로 안내)하기 위한 인디케이터(12)를 포함한다.

즉, 도 1은 상기와 같은 기능을 포함하는 관찰자 추적형 3차원 입체 영상 표시 시스템의 일실시예로서, 3차원 영상 표시 장치(13)에 관찰자의 위치를 인지 및 추적하기 위해 관찰자의 영상 정보를 입력하는 CCD 카메라(11)와, 관찰자에게 관찰위치를 안내하기 위한 인디케이터(12)를 포함한다.

도 1에서 3차원 영상 표시 장치(13)가 관찰자의 위치를 관찰 위치로 안내하지 않고, 임의의 관찰자 위치에 3차원 영상을 디스플레이시킬 경우 3차원 영상 표시 장치를 후술되는 도 2와 같이 구성할 수 있다. 일반적으로, 3차원 입체 영상을 디스플레이할 때 영상 표시 장치(23) 위에 패러랙스 배리어 또는 렌티큘러와 같은 3차원 입체 영상 표시 마스크(22)를 고정 위치시키지만, 본 발명에서는 영상 표시 장치(23)와 3차원 입체 영상 표시 마스크(22)를 분리한 후, 3차원 입체 영상 표시 마스크(22)를 이동시킴으로써, 관찰자가 관찰 위치에서 어느 정도(후술되는 수식 참조) 벗어난 위치에 있더라도 3차원 입체 영상을 관찰할 수 있도록 구성하는 것이다.

도 2 는 본 발명에 따른 관찰자 추적형 3차원 입체 영상 표시 시스템의 다른 실시예 구성도로서, 관찰자 위치 추적 장치(30)를 통한 관찰자 위치 인지 및 추적을 통하여, 이를 바탕으로 3차원 입체 영상 표시 마스크(22)를 제어하여, 관찰자가 관찰 위치에서 어느 정도(후술되는 수식 참조) 벗어난 위치에 있더라도 이동없이 그 위치에서 3차원 입체 영상을 관찰할 수 있도록 하는 방식을 나타내고 있다.

도 2에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 관찰자 추적형 3차원 입체 영상 표시 시스템은, 관찰자의 영상을 촬상(촬영)하기 위한 CCD 카메라(11)와, CCD 카메라(11)로부터 관찰자의 영상을 입력받아 관찰자의 3차원 위치 정보를 추출하여 영상 표시 마스크 제어신호를 생성하기 위한 관찰자 위치 추적 장치(후술되는 도 3 참조)(30)와, 관찰자 위치 추적 장치(30)로부터의 영상 표시 마스크 제어신호에 따라 상/하/좌/우/앞/뒤 회전 구동력을 발생하기 위한 모터(M1 내지 M4)(21)와, 영상 표시 장치(23)와 이격 배치되며, 상기 모터(M1 내지 M4)(21)의 회전 구동력에 따라 이동되어, 상기 영상 표시 장치(23)가 관찰자 위치에 3차원 입체 영상을 표시할 수 있도록 하기 위한 3차원 영상 표시 마스크(22)를 포함한다.

즉, 도 2는 3차원 입체 영상 표시 마스크(22)의 위치를 제어하기 위하여, 4 개의 모터(M1,M2, M3, M4)(21)와 기어로 구동 수단을 구성하였으며, 각각의 모터(21)의 동작으로 인해 3차원 입체 영상 표시 마스크(22)가 영상 표시 장치(23)로부터 상/하/좌/우, 앞/뒤로 이동할 수 있게 되는 것이다.

도 3 은 본 발명에 따른 관찰자 위치 추적 장치의 일실시예 구성도로서, 도면에서 "31"은 영상 신호 입력부", "32"는 3차원 위치 정보 추출부, "33"은 제어신호 생성부, "34"는 3차원 입체 영상 표시판(도 2의 3차원 입체 영상 표시 마스크(22)와 동일함)/인디케이터(도 1의 인디케이터(12)와 동일함)를 각각 나타낸다.

도 3에 도시된 바와 같이, 본 발명에 따른 관찰자 위치 추적 장치(30)는, 관찰자의 영상을 외부의 카메라로부터 획득하기 위한 영상신호 입력부(31)와, 영상신호 입력부(31)를 통해 획득된 영상에서의 관찰자의 좌/우 두 눈의 위치정보와 카메라 내부 파라미터 정보를 이용하여 관찰자의 3차원 위치 정보를 추출하기 위한 3차원 위치 정보 추출부(32)와, 상기 3차원 위치 정보 추출부(32)에서 추출된 3차원 위치 정보를 바탕으로 제어신호(영상 표시 마스크 위치 제어신호 혹은 관찰자 위치 안내 제어신호)를 생성하기 위한 제어신호 생성부(33)를 포함한다.

이때, 영상 표시 마스크 위치 제어신호는, 영상 표시 마스크의 위치를 제어할 수 있는 모터를 제어하는 신호로, 모터의 종류에 따라 전압, 전류, 주파수 또는 펄스 중 어느 하나로 변환하여 제어하는 신호이다.

또한, 관찰자 위치 안내 제어신호는, 관찰자가 3차원 입체 영상 관찰 위치를 벗어나 있을 경우, 고정된 관찰 위치로 관찰자를 안내하기 위하여 3차원 위치 정보 추출부(32)로부터 입력된 상/하/좌/우 회전각 및 거리값에 따라 상/하/좌/우, 앞/ 뒤에 해당하는 발광다이오드(LED)를 제어하여 관찰자를 관찰 위치로 안내하는 신호이다.

여기서, 영상 신호 입력부(31)는 관찰자의 영상을 실시간으로 입력받아 3차원 위치 정보 추출부(32)로 전달한다. 3차원 위치 정보 추출부(32)는 관찰자의 위치를 인지 및 추적하기 위하여 다음과 같은 단계에 의해 영상 신호를 처리한다.

카메라는 영상 표시 장치(23)의 상단 중앙 부분에 도 5와 같이 배치되어 있고, 카메라의 x, y축이 디스플레이 장치의 가로, 세로 면과 평행하게 일치되어 있다.

도 4 는 상기 도 2의 영상 표시 장치 및 3차원 입체 영상 표시 마스크 위치에 대한 관찰 위치 변화를 각각 나타낸 예시도로서, 영상 표시 장치(23)와 3차원 입체 영상 표시 마스크(22) 간의 관계를 나타낸 것이다.

일반적으로, 관찰 위치는 도 4의 (a)와 같이 일정 거리에 고정되게 된다. 하지만, 관찰자가 영상 표시 장치(23)와 가까워질 경우, 도 4의 (b)와 같이 영상 표시 장치(23) 및 3차원 입체 영상 표시 마스크(22) 간의 거리를 가깝게 함으로써 관찰자 위치에 입체 영상을 표시할 수 있으며, 또한 관찰자가 좌/우로 이동을 할 경우 도 4의 (c), (d)와 같이 3차원 입체 영상 표시 마스크(22)를 좌/우로 이동시킴으로써, 관찰자 위치에 입체 영상을 표시할 수 있다.

도 6 은 본 발명에 따른 관찰자 위치 추적 장치 중 3차원 위치 정보 추출부의 일실시예 상세 구성도이다.

도 6에 도시된 바와 같이, 본 발명에 따른 관찰자 위치 추적 장치 중 3차원 위치 정보 추출부(32)는, 영상신호 입력부(31)를 통해 카메라로부터 영상 입력 신호를 실시간으로 받아서 좌/우 두 눈의 중심 위치를 검출하기 위한 양눈 검출부(two eye detection unit)(61)와, 초점거리, 카메라 내부 파라미터(internal parameters) 정보(principal point, aspect ratio 등)를 계산하여 초점거리 정보를 화소 단위(pixel unit)로 제공하기 위한 카메라 칼리브레이션부(camera calibration unit)(62)와, 양눈 검출부(61)와 카메라 칼리브레이션부(62)에서 각각 획득된 영상 내의 두 눈의 위치 정보와 카메라 내부 파라미터 정보에 근거하여 제어 신호 생성부(33)에서 필요로 하는 3차원 위치 정보(팬/틸트(Pan/Tilt) 각도 θ, φ 및 거리값 z)로 변환하기 위한 카메라와 관찰자 간의 거리 정보 계산부(Camera to eye distance computation unit)(63)를 포함한다.

여기서, 양눈 검출부(61)는 공지의 방법(A. Haro et al. "Detecting and Tracking Eyes By Using Their Physiological Properties, Dynamics, and Appearance", CVPR2000)에 의해 양눈 각각의 중앙점을 검출할 수 있다.

또한, 카메라 칼리브레이션부(62)는 컴퓨터 비전에서 일반적으로 사용되는 "Tsai calibration" 방법(기존 논문 인용)을 이용하여 수행할 수 있다.

참고로, 양눈의 검출 및 추적과 관련된 논문에 대해 자세히 살펴보면 다음과 같다.

사람의 얼굴에서 양눈의 위치를 검색하고 추적하는 기술은 HCI(Human Computer Interaction) 분야에서 중요한 기술로 이미 수많은 연구자들에 의해서 관련 논문이 발표된 상황이고 현재까지도 활발히 논문 발표가 이루어지고 있는 상황 이다. 그 중에서 "A. Haro et al."은 "Detecting and Tracking Eyes By Using Their Physiological Properties, Dynamics, and Appearance"(CVPR vol. 1, pp. 163-168)란 제목으로 2000년도에 CVPR(Computer Vision and Pattern Recognition)에 논문을 발표하였다. 이 논문은 실시간으로 영상 신호를 입력받아서 두 눈을 검출하고 추적할 수 있는 기술에 관한 논문이다. 저자들은 두 눈의 검출을 위해서 적외선을 이용하여 안정되게 두 눈을 검출하였고 눈의 화소값 밝기 변화를 확률적으로 모델링한 후에 칼만 필터(Kalman filter) 기반하에서 강건하게 양눈을 추적할 수 있는 방법을 제안하였다. 이 기술을 본 발명의 양눈 검출부(61)에서 사용하여 양눈의 영상 내에서의 위치를 강건하게 검출하고 추적할 수 있다.

또한, 카메라 칼리브레이션에 관련된 논문에 대해 자세히 살펴보면 다음과 같다.

"R.Y. Tsai"가 1987년에 "IEEE Journal of Robotics and Automation"에 "Metrology Using Off-the-Shelf TV Cameras and Lenses"(IEEE Journal of Robotics and Automation, Vol. 3, No. 4, pp. 323-344, August 1987.)란 제목으로 발표한 카메라 칼리브레이션 방법은 그 정확도가 높아서 컴퓨터 비젼 분야에서 현재까지도 일반적으로 사용되고 있는 대표적인 알고리즘이다. 본 발명의 카메라 칼리브레이션부(62)에서는 "Tsai"가 제안한 칼리브레이션 알고리즘을 사용하여 카메라의 내부 파라미터를 추출할 수 있다.

이 밖에 관련 특허를 살펴보면, 얼굴 검출 및 추적에 관한 특허는 이미 많이 출원된 상황이나 눈의 검출 및 추적에 관한 특허는 아직 많지 않은 상황이다. 특 히, 눈에 관련해서는 홍채 인식 기법에 관한 특허와 자동차 운전시에 운전자의 졸음 방지를 위해서 눈의 깜빡임을 검출하는 특허가 많이 출원되고 있다. 본 발명에서 양눈의 검출 및 추적과 관련있는 특허를 검색해 보면 1998년에 "눈화상 추적 장치"(등록번호 10-0296215-0000)라는 제목으로 등록된 특허가 검색된다. 이 특허는 크게 눈 검출 부분과 추적 부분으로 나누어져 있으며, 눈의 검출을 위해서 입력 영상을 이진화하여 눈뿐만 아니라 눈 주변 부위까지 추적하는 것을 특징으로 한다.

상기한 바와 같은 구조를 갖는 본 발명에 따른 관찰자 위치 추적 장치를 이용한 관찰자 추적형 3차원 입체 영상 표시 시스템의 동작을 상세하게 설명하면 다음과 같다.

도 7 은 본 발명에 따라 디스플레이 장치를 바라보고 있는 일반적인 얼굴의 자세를 나타낸 도면(y= - ∞에서 x-z 평면을 바라본 2차원 도면)이고, 도 8 은 본 발명에 따른 카메라와 좌/우 눈의 관계를 표시한 도면이다.

일반적으로, 관찰자의 디스플레이 시청 자세는 도 7과 같이 표시된다(카메라로부터 두 눈을 연결하는 선은 직교한다). 도 8에서 영상 평면(image plane)에 두 눈의 상이 맺히고 영상 평면(image plane)에 맺힌 영상에서의 두 눈의 중심 위치 E,F를 각각 양눈 검출부(61)로부터 얻을 수 있다. 도 8에서 f 는 카메라 칼리브레이션부(62)에서 얻어진 초점 거리(focal length in pixel unit)를 나타낸다. 카메라와 관찰자 간의 거리 정보 계산부(63)에서는 카메라 센터로부터 좌/우 눈의 중앙에 해당하는 위치 C 까지의 Z 축 방향의 거리와 각도 θ 와 φ를 각각 계산하여 제어신호 생성부(33)에 제공한다.

우선, 두 눈의 중심 위치와 초점 거리를 이용하면 각

를 하기의 [수학식 1]을 이용하여 구할 수 있다.

따라서 각도 θ 는 하기의 [수학식 2]와 같이 구할 수 있다.

그리고 직각 삼각형

와

는 합동 관계와 사람의 좌/우 두 눈의 거리에 해당하는 거리 d 를 이용하면 카메라 센터와 점 C 까지의 거리

는 하기의 [수학식 3]과 같이 구해진다.

이때, 각도 φ 의 계산은 거리

와 두 눈의 중앙점이 Y 축 방향으로 b 만큼 떨어져 있다고 했을 때 하기의 [수학식 4]와 같은 식으로 구할 수 있다.

그리고 카메라 중앙으로부터 좌/우 눈의 중앙점 C 까지의 Z 축 방향의 거리는 하기의 [수학식 5]를 이용하여 구할 수 있다.

따라서 상기와 같은 방법에 의해 3차원 위치 정보 추출부(32)에서는 관찰자 좌우 회전각(θ), 상하 회전각(φ) 및 관찰자와 카메라 간의 거리(z)를 산출할 수 있으며, 이를 제어신호 생성부(33)로 전달한다. 이때, 3차원 위치 정보 추출부(32)에서는 상기 3차원 위치 정보(좌우 회전각(θ), 상하 회전각(φ) 및 관찰자와 영상 표시 장치간의 거리값(z))를 이용하여, 관찰자가 고정된 관찰 위치로 이동할 수 있도록 기준 값의 오차만큼 인디케이터(12)를 인에이블시키거나, 해당 관찰자 위치에 3차원 입체 영상이 디스플레이될 수 있도록 3차원 입체 영상 표시 마스크(22)를 제 어할 수 있다.

그러면, 제어신호 생성부(33)는 3차원 위치 정보 추출부(32)로부터 입력된 정보를 이용하여 제어신호로 변환한다. 3차원 위치 정보 추출부(32)에서는 영상 표시 장치(23)의 중앙을 기준으로 관찰자의 위치 정보, 즉 좌우 회전각(θ), 상하 회전각(φ) 및 관찰자와 영상 표시 장치(23) 간의 거리(z)값을 제공한다.

따라서 제어신호 생성부(33)는 3차원 위치 정보를 3차원 입체 영상 표시 마스크(22) 또는 인디케이터(12)를 제어할 수 있는 제어신호로 변환하여 각각의 입력으로 제공한다. 일예로, 상기 제어신호는 3차원 입체 영상 표시 마스크(22)의 위치를 제어할 수 있는 모터(21)를 제어하는 신호로서, 모터(21)의 종류에 따라 전압, 전류, 주파수 또는 펄스 중 어느 하나로 변환하여 제어한다.

다른 예로, 인디케이터(12)의 경우 관찰자가 관찰 위치를 벗어나 있을 경우 고정된 관찰 위치로 관찰자를 안내하기 위하여 3차원 위치 정보 추출부(32)로부터 입력된 상/하/좌/우 회전각 및 거리 값에 따라 상/하/좌/우, 앞/뒤에 해당하는 발광다이오드(LED)를 포함하는 인디케이터(12)를 이용하여 관찰자를 관찰 위치로 안내한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

상기와 같은 본 발명은, 관찰자가 3차원 입체 영상 관찰 위치를 벗어나 있을 경우 인디케이터를 이용하여 관찰자를 관찰 위치로 안내하거나, 관찰자 추적형 3차원 입체 영상 표시 장치를 이용하여 3차원 입체 영상 표시 장치가 임의의 관찰자 위치에 3차원 입체 영상을 표시함으로써, 관찰자가 관찰 위치에서 어느 정도 벗어나더라도 3차원 입체 영상을 관찰자의 이동없이 관찰할 수 있도록 하는 효과가 있다.

Claims

관찰자의 위치를 결정하는 방법에 있어서,

하나의 카메라를 통해 획득된 관찰자의 영상에서 상기 관찰자의 두 눈의 중심 위치를 검출하는 단계;

상기 카메라의 내부 파라미터 정보를 획득하는 단계;

상기 검출된 두 눈의 중심 위치와 상기 카메라의 초점 거리를 이용해 좌/우 회전각(θ)을 계산하는 단계;

상기 카메라의 센터와 특정 점까지의 거리 정보와 상기 두 눈의 중심 위치 정보를 이용해 상/하 회전각(φ)을 계산하는 단계; 및

상기 계산된 좌/우 회전각과 상기 카메라의 센터와 특정 점까지의 거리 정보를 이용해 상기 관찰자와 영상 표시 장치 간의 거리값(z)을 계산하는 단계

를 포함하는 관찰자 위치 결정 방법.
삭제
제 1 항에 있어서,

상기 양 눈 위치 검출 단계는,

양 눈의 위치를 영상 평면상에서 검출하는 것을 특징으로 하는 관찰자 위치 결정 방법.
삭제
삭제
제 1 항에 있어서,

상기 좌/우 회전각(θ)은 아래의 [수학식 a]를 이용하여 계산되고, 상기 상/하 회전각(φ)은 아래의 [수학식 b]를 이용하여 계산되며, 상기 관찰자와 영상 표시 장치 간의 거리값(z)은 아래의 [수학식 c]를 이용하여 계산되는 것을 특징으로 하는 관찰자 위치 결정 방법.

[수학식 a]

[수학식 b]

[수학식 c]

(여기서, f는 초점 거리, d는 좌/우 두 눈의 거리,
는 카메라 센터와 점 C까지의 거리, b는 거리
와 두 눈의 중앙점이 Y 축 방향으로 떨어져 있는 거리, θ는 관찰자 좌우 회전각, φ는 관찰자 상하 회전각, z는 관찰자와 카메라 간의 거리를 나타냄.)
하나의 카메라를 통해 획득된 관찰자의 영상에서 상기 관찰자의 두 눈의 중심 위치를 검출하는 양 눈 검출수단;

상기 카메라의 내부 파라미터 정보를 획득하는 수단;

상기 검출된 두 눈의 중심 위치와 상기 카메라의 초점 거리를 이용해 좌/우 회전각(θ)을 계산하고, 상기 카메라의 센터와 특정 점까지의 거리 정보와 상기 두 눈의 중심 위치 정보를 이용해 상/하 회전각(φ)을 계산하며, 상기 계산된 좌/우 회전각과 상기 카메라의 센터와 특정 점까지의 거리 정보를 이용해 상기 관찰자와 영상 표시 장치 간의 거리값(z)을 계산하는 계산수단;

상기 계산수단에 의해 계산된 정보를 이용해 제어신호를 생성하는 제어신호생성수단; 및

상기 제어신호 생성수단에 의해 생성된 제어신호에 따라 상기 관찰자를 최적 관찰 위치로 안내하기 위한 신호를 표시하는 관찰자 안내 수단

을 포함하는 관찰자 추적형 3차원 디스플레이 시스템.
삭제
하나의 카메라를 통해 획득된 관찰자의 영상에서 상기 관찰자의 두 눈의 중심 위치를 검출하는 양 눈 검출수단;

상기 카메라의 내부 파라미터 정보를 획득하는 수단;

상기 검출된 두 눈의 중심 위치와 상기 카메라의 초점 거리를 이용해 좌/우 회전각(θ)을 계산하고, 상기 카메라의 센터와 특정 점까지의 거리 정보와 상기 두 눈의 중심 위치 정보를 이용해 상/하 회전각(φ)을 계산하며, 상기 계산된 좌/우 회전각과 상기 카메라의 센터와 특정 점까지의 거리 정보를 이용해 상기 관찰자와 영상 표시 장치 간의 거리값(z)을 계산하는 계산수단;

상기 계산수단에 의해 계산된 정보를 이용해 제어신호를 생성하는 제어신호생성수단; 및

상기 관찰자의 위치에 적합하게 조정된 3차원 입체 영상을 표시하기 위해, 상기 제어신호 생성수단에 의해 생성된 제어신호에 따라 영상 표시 마스크를 이동시키는 수단

을 포함하는 관찰자 추적형 3차원 디스플레이 시스템.
삭제
제 9 항에 있어서,

상기 영상 표시 마스크는,

영상 표시 장치와 이격 설치된 것을 특징으로 하는 관찰자 추적형 3차원 디스플레이 시스템.
관찰자 추적형 3차원 디스플레이 방법에 있어서,

하나의 카메라를 통해 획득된 관찰자의 영상에서 상기 관찰자의 두 눈의 중심 위치를 검출하는 단계;

상기 카메라의 내부 파라미터 정보를 획득하는 단계;

상기 검출된 두 눈의 중심 위치와 상기 카메라의 초점 거리를 이용해 좌/우 회전각(θ)을 계산하는 단계;

상기 카메라의 센터와 특정 점까지의 거리 정보와 상기 두 눈의 중심 위치 정보를 이용해 상/하 회전각(φ)을 계산하는 단계;

상기 계산된 좌/우 회전각과 상기 카메라의 센터와 특정 점까지의 거리 정보를 이용해 상기 관찰자와 영상 표시 장치 간의 거리값(z)을 계산하는 단계;

상기 계산된 좌/우 회전각과, 상기 계산된 상/하 회전각 및 상기 거리값을 이용해 제어신호를 생성하는 단계; 및

상기 생성된 제어신호에 따라 상기 관찰자를 최적 관찰 위치로 안내하기 위한 신호를 표시하는 단계

를 포함하는 관찰자 추적형 3차원 디스플레이 방법.
삭제
관찰자 추적형 3차원 디스플레이 방법에 있어서,

하나의 카메라를 통해 획득된 관찰자의 영상에서 상기 관찰자의 두 눈의 중심 위치를 검출하는 단계;

상기 카메라의 내부 파라미터 정보를 획득하는 단계;

상기 검출된 두 눈의 중심 위치와 상기 카메라의 초점 거리를 이용해 좌/우 회전각(θ)을 계산하는 단계;

상기 카메라의 센터와 특정 점까지의 거리 정보와 상기 두 눈의 중심 위치 정보를 이용해 상/하 회전각(φ)을 계산하는 단계;

상기 계산된 좌/우 회전각과 상기 카메라의 센터와 특정 점까지의 거리 정보를 이용해 상기 관찰자와 영상 표시 장치 간의 거리값(z)을 계산하는 단계;

상기 계산된 좌/우 회전각과, 상기 계산된 상/하 회전각 및 상기 거리값을 이용해 제어신호를 생성하는 단계; 및

상기 생성된 제어신호에 따라 영상 표시 마스크를 이동시켜 상기 관찰자 위치에 적합하게 조정된 3차원 입체 영상을 표시하는 단계

를 포함하는 관찰자 추적형 3차원 디스플레이 방법.
삭제