KR20110140090A

KR20110140090A - 표시 장치

Info

Publication number: KR20110140090A
Application number: KR1020110059089A
Authority: KR
Inventors: 카즈나리 요시후지; 타카노리 이시카와; 요타 코모리야; 이사오 오하시
Original assignee: 소니 주식회사
Priority date: 2010-06-24
Filing date: 2011-06-17
Publication date: 2011-12-30
Also published as: JP2012010085A; TW201201569A; US8648876B2; US20110316881A1; TWI439120B; CN102300110A

Abstract

본 발명의 표시 장치는 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와, 관찰자의 위치정보를 취득하는 취득부와, 상기 관찰자의 위치정보에 의거하여 목표 시청영역을 설정하는 산출부와, 상기 목표 시청영역과 유사한 시청영역을 주는 시점 화상의 배치를 선택하는 제어부를 포함한다.

Description

표시 장치{DISPLAY DEVICE}

본 발명은 입체 영상의 시청을 가능하게 하는 표시 장치에 관한 것이다.

근래, 안경을 이용하여 좌우안에 서로 다른 편광 상태에 의거한 시점 화상(view image)(또는 시차 화상(disparity image))을 도광함에 의해 입체 영상의 시청을 가능하게 하는 안경 방식의 입체 디스플레이가 광범위하게 사용되기 시작하였다. 또한 안경을 이용하지 않고서, 입체 화상의 시청을 가능하게 하는 나안 방식의 입체 디스플레이(autostereoscopic display)가 개발되어 주목을 끌고 있다.

안경 방식의 입체 디스플레이에서의 입체 화상을 보여주는 방법으로서, 패럴랙스 배리어(parallax barrier) 또는 렌티큘러 렌즈(lenticular lens) 등의 패럴랙스 소자를 이용하여 복수의 시점 화상 중 소정의 시점 화상을 시청자의 안구에 도광하는 방법이 제안되고 있다. 패럴랙스 배리어를 이용한 입체 표시 장치에서는 패럴랙스 배리어의 개구부를 통과하는 광선에 의해 구성되는 영상이 양쪽 눈에서 다른 시점 화상이 되도록 구성되어 있다.

나안용의 입체 표시 장치의 경우, 특수한 안경을 이용하지 않고서 입체를 시청할 수 있다는 이점이 있는 한편, 다음과 같은 과제도 있다. 도 17에 도시한 바와 같이, 액정의 디스플레이(100a)상의 화소에는 각 시점 화상이 주기적(시점(1, 2, 3, 4, 1, 2, 3, 4, …))으로 배치되어 있다. 이 때문에, 각 주기의 경계 부분, 즉, 4개의 영상 데이터의 주기의 단락(시점(4)과 시점(1))에서는 우안에 들어가야 할 시점 영상이 좌안에 도광되고, 좌안에 들어가야 할 시점 영상이 우안에 도광되는 역입체시(pseudoscopy; 이하, '역시'라고 한다)가 발생한다. 역시 영역에서는 시청자에게 입체 화상의 앞과 뒤가 반전된 영상을 지각하게 하거나 또는 부자연스럽게 융합되게 보이게 하는 위화감이 있는 불쾌한 역시 현상이 발생한다.

역시현상에 대해 조금이라도 시청자의 불쾌감을 제거하고자 하는 시도가 제안되고 있다(예를 들면, 특허 문헌 1(일본국 특허 제3544171호), 및 특허문헌 2(일본국 특개2008-170841호) 참조). 특허 문헌 1에서는 시청자의 위치 등을 검출하고, 그 위치정보에 의거하여 광학적인 제어를 시행함에 의해, 역시현상에 대한 시청자의 불쾌감을 경감한다. 특허 문헌 2에서는 시청자의 시점 위치의 표시 패널의 소정의 축에 대한 회전각을 검지하고, 회전각에 의거하여 표시 패널에서의 우안용의 입력 화상의 표시 위치와 좌안용의 입력 화상의 표시 위치와의 교체 제어를 행함으로써, 역시현상에 대한 시청자의 불쾌감을 경감한다.

그러나, 상기 특허 문헌 1, 2의 어느 방법도, 나안용의 입체 디스플레이가 통상의 텔레비전과 같이 거실에 설치되고, 통상의 경우 복수의 시청자가 존재하는 경우를 고려하여, 시청자가 역시현상의 불쾌감을 경감하기 위한 유효한 해결책을 제안할 수는 없다. 또한, 역시현상은 나안용 입체 표시 장치에 있어서 원리적으로 생기는 것이기 때문에 근본적인 해결은 어렵다. 따라서, 특별한 장치를 사용하지 않고, 시청자가 역시현상의 영향을 받지 않는 시청영역 내에서 시청할 수 있는 빈도를 높이는 제어 방법을 제안하는 것이 실질적인 해결법이 된다.

상기 과제에 대해, 본 발명의 목적으로 하는 점은 관찰자가 시청영역 내에서 영상을 시청할 수 있는 빈도를 높이는 것이 가능한 신규이면서 개량된 표시 장치를 제공하는 것에 있다.

본 발명의 한 실시예에 따른 표시 장치는 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와, 관찰자의 위치정보를 취득하는 취득부와, 상기 관찰자의 위치정보에 의거하여 목표 시청영역을 설정하는 산출부와, 상기 목표 시청영역과 유사한 시청영역을 주는 시점 화상의 배치를 선택하는 제어부를 포함한다.

상기 산출부는 상기 시청영역 내에 존재하는 관찰자의 수가 최대가 되도록 상기 목표 시청영역을 산출한다.

본 발명의 다른 실시예에 따른 표시 장치는 복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와, 관찰자의 속성정보를 취득하는 취득부와, 상기 관찰자의 속성정보에 의거하여 목표 시청영역을 설정하는 산출부와, 상기 목표 시청영역과 유사한 시청영역을 주는 시점 화상의 배치를 선택하는 제어부를 포함한다.

상기 산출부는 적절한 목표 시청영역이 산출 불가능하다고 판정할 수 있고, 상기 산출부는 상기 적절한 목표 시청영역이 산출 불가능하다는 것을 상기 제어부에 통지한다.

상기 제어부는 상기 통지에 응하여 선택된 상기 시점 화상의 배치를 상기 표시부상에 표시한다.

이상 설명한 바와 같이, 본 발명의 입체 표시 장치에 의하면, 관찰자가 시청영역 내에서 입체 영상을 시청할 수 있는 빈도를 높일 수 있다.

도 1은 본 발명의 제 1 실시예에 관한 입체 표시 장치의 기능 구성도.
도 2는 제 1 내지 제 5 실시예에 관한 입체 디스플레이와 패럴랙스 배리어의 개략 구성을 설명하기 위한 도면.
도 3은 제 1 내지 제 5 실시예에 관한 시청영역과 시점의 주기성과의 관계를 도시한 도면.
도 4는 시청자의 위치 검출 결과의 한 예를 도시한 도면.
도 5는 시청영역과 시청자와의 위치 관계를 설명하기 위한 도면.
도 6은 시청영역을 회전시킨 후의 시청영역과 시청자와의 위치 관계를 설명하기 위한 도면.
도 7은 표시 화상의 교체에 의한 시점 화상의 표시 변화를 설명하기 위한 도면.
도 8은 제 1 실시예에 관한 입체 표시 장치의 처리 흐름도를 도시한 도면.
도 9는 본 발명의 제 2 내지 제 4 실시예에 관한 입체 표시 장치의 기능 구성도.
도 10은 제 2 실시예에 관한 입체 표시 장치의 처리 흐름도를 도시한 도면.
도 11은 제 3 실시예에 관한 입체 표시 장치의 처리 흐름도를 도시한 도면.
도 12는 제 4 실시예에 관한 입체 표시 장치의 처리 흐름도를 도시한 도면.
도 13은 제 5 실시예에 관한 입체 표시 장치의 기능 구성도.
도 14는 제 5 실시예에 관한 입체 디스플레이상의 2D 표시 에어리어를 도시한 개략도.
도 15는 제 5 실시예에 관한 입체 표시 장치의 처리 흐름도를 도시한 도면.
도 16A는 제 5 실시예에 관한 OSD 화상의 표시예 1을 도시한 도면.
도 16B는 제 5 실시예에 관한 OSD 화상의 표시예 2를 도시한 도면.
도 16C는 제 5 실시예에 관한 OSD 화상의 표시예 3을 도시한 도면.
도 17은 제 1 내지 제 5 실시예에 관한 패럴랙스 배리어를 이용한 입체 디스플레이의 개략 구성도.

이하, 첨부 도면을 참조하면서, 본 발명의 각 실시예에 관해 상세히 설명한다. 여기서, 본 명세서 및 도면에 있어서 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는 동일한 부호를 붙여 중복 설명은 생략한다.

본 발명의 실시예는 다음 순서로 설명된다.

<제 1 실시예>

[입체 표시 장치의 개략 구성]

[입체 표시 장치의 기능 구성]

[입체 표시 장치의 동작]

<제 2 실시예>

[입체 표시 장치의 기능 구성]

[입체 표시 장치의 동작]

<제 3 실시예>

[입체 표시 장치의 동작]

<제 4 실시예>

[입체 표시 장치의 동작]

<제 5 실시예>

[입체 표시 장치의 기능 구성]

(표시 화면례)

[입체 표시 장치의 동작]

(표시예 1)

(표시예 2)

(표시예 3)

이하, 제 1 내지 제 5 실시예에 관한 입체 표시 장치에 관해 설명한다. 전제로서, 각 실시예에 관한 입체 표시 장치는 각 광원으로부터 광을 입광시키고, 컨텐츠의 복수의 시점 화상을 표시하는 입체 디스플레이, 및 그 입체 디스플레이의 화소면의 앞에 배치되고, 복수의 시점 화상으로부터 우안용의 화상 및 좌안용의 화상을 분리시키는 패럴랙스 배리어나 렌티큘러 렌즈 등의 패럴랙스 소자를 갖는 나안용의 입체 표시 장치이다. 패럴랙스 소자로서는 3D 모드 고정의 패시브 소자 또는 2D/3D 전환이 가능한 액티브 소자일 수 있지만, 각 실시예에서는 이들에 한정되지 않는다.

<제 1 실시예>

[입체 표시 장치의 개략 구성]

우선, 본 발명의 제 1 실시예에 관한 입체 표시 장치의 개략 구성에 관해 도 2 및 도 17을 참조하면서 설명한다. 본 실시예에서는 도 2에 도시한 바와 같이, 입체 디스플레이(100a)의 화소면의 앞쪽에 패럴랙스 배리어(110)를 둔다. 시청자는 패럴랙스 배리어(110)를 통하여 영상을 보기 때문에, 정시 영역(orthoscopic zone)에서는 우안에는 우안용의 화상만이 들어가고, 좌안에는 좌안용의 화상만이 들어간다. 이와 같이 하여 우안에 보이는 영상과 좌안에 보이는 영상이 다름에 의해, 입체 디스플레이(100a)에 투영되는 영상은 입체적으로 보이다.

도 17은 패럴랙스 배리어를 이용한 입체 표시 장치의 상면도를 도시한다. 도 17에서는 나안용 입체 표시 장치(100)의 액정 디스플레이의 수평 방향의 화소가 도시되어 있다. 시점(point of view)의 개수가 4인 도 17의 입체 디스플레이(100a)의 경우, 4개의 시점 화상을 각각 세로로 분할하고, 입체 디스플레이(100a)의 각 화소의 위치에 주기성을 갖게 하여 배치한다. 도시하지 않은 광원으로부터의 광을 입체 디스플레이(100a)에 입광시키고, 입체 디스플레이(100a) 앞에 개구부를 갖는 패럴랙스 배리어(110)를 배치시킴에 의해, 1 내지 4로 표시한 시점 화상을 각각 공간적으로 분리시킬 수 있다. 이에 의해, 우안용의 화상 및 좌안용의 화상을 우안 및 좌안에 보일 수 있다. 또한, 패럴랙스 배리어(110)의 대신에 렌티큘러 렌즈를 이용하여도, 마찬가지로 나안으로 우안용, 좌안용의 영상을 분리시킬 수 있다. 패럴랙스 배리어나 렌티큘러 렌즈 등과 같이, 입체 디스플레이(100a)로부터의 광을 분리시키는 기구를 광분리부라고도 호칭한다.

이 때, 패럴랙스 배리어(110)와 화상은 같은 주기(period)로 되어 있다. 좌안에는 좌안의 시점 영상, 우안에는 우안의 시점 영상이 올바르게 양쪽 눈에 도광되면, 올바른 입체 화상을 볼 수 있다. 도 17에서는 시점(2)은 좌안, 시점(3)은 우안에 들어가기 때문에, 올바른 영상을 볼 수 있다.

(역시(pseudoscopy))

이와 같이 나안용 입체 표시 장치의 경우, 특수한 안경을 이용하지 않고서 입체시할 수 있다는 이점이 있다. 그러나, 전술한 바와 같이 입체 디스플레이(100a)의 각각의 화소에 복수의 시점 화상이 주기적으로 배치되기 때문에, 각 주기의 경계 부분에서는 우안에 들어가야 할 시점 영상이 좌안에 도광되고, 좌안에 들어가야 할 시점 영상이 우안에 도광되는 역시 영역이 존재한다. 예를 들면 도 17에서는 시점 화상이 1, 2, 3, 4, 1, 2, 3, 4, …로 주기적으로 배치되기 때문에, 4개의 영상 데이터의 주기의 단락(시점(4), 시점(1))이, 우안에 들어가야 할 시점 영상이 좌안에 도광되고, 좌안에 들어가야 할 시점 영상이 우안에 도광되는 역시 영역이 된다. 역시 영역에서는 시청자에게는 입체 화상의 앞과 뒤가 반전된 영상을 지각하게 하는 또는 부자연스럽게 융합하여 보이게 하는 위화감 있는 불쾌한 역시현상이 생긴다. 따라서, 입체 영상에서는 역시현상에 대한 시청자의 불쾌감을 낮추어야 할 필요가 있다. 따라서, 이하의 각 실시예에서는 시청자가 정시 영역 내에서 역시현상의 영향을 받지 않고서 시청할 수 있는 빈도를 높이는 방법을 제안한다.

[입체 표시 장치의 기능 구성]

본 실시예에 관한 입체 표시 장치의 기능 구성에 관해 도 1의 기능 블록도를 참조하면서 설명한다. 본 실시예에 관한 입체 표시 장치(100)는 시청자 위치정보 취득부(120)(위치정보 취득부에 상당), 다시점(multi-view) 화상을 입력 또는 생성하는 시점 화상 처리부(130), 다시점 화상을 입체 디스플레이(100a)에 출력하는 시점 화상 출력부(140), 나안 입체 디스플레이(100a)가 갖는 설계치와 다시점 화상 출력부(140)로부터의 출력 상황으로부터 시청영역을 산출하는 시청영역 산출부(150), 시청자 위치 산출부(122)로부터의 산출 결과로부터 목표 시청영역을 산출하는 목표 시청영역 산출부(160), 시청영역 산출부(150)의 산출 결과 및 목표 시청영역 산출부(160)의 산출 결과를 이용하여 다시점 화상 출력부(140)를 제어하는 시점 화상 제어부(170)를 갖는다. 시청자 위치정보 취득부(120)는 카메라(200)가 촬상한 데이터로부터 시청자의 얼굴을 인식하는 얼굴 인식부(121) 및 얼굴 인식부(121)로부터 시청자의 위치와 거리를 산출하는 시청자 위치 산출부(122)를 갖는다.

얼굴 인식부(121)는 나안용 입체 디스플레이(100a)의 시청자를 촬상하는 카메라(200)를 이용하여, 카메라(200)가 촬상한 데이터로부터 시청자의 얼굴을 인식한다. 시판중인 디지털 스틸 카메라에서, 얼굴을 검출하여 포커싱하는 기능을 갖고 있는 것과 같이, 얼굴 검출 기술이 기존 기술로서 존재한다. 또한, 템플릿과 비교함에 의해 촬상된 얼굴을 식별하는 얼굴 인식의 기술도 기존 기술로서 존재한다. 각 실시예에서는 이와 같은 공지의 얼굴 인식 기술을 사용할 수 있다. 또한, CPU와 소프트웨어의 구성을 이용하여 얼굴 인식 제어가 가능하다.

카메라(200)는 디스플레이(100a)의 시청자의 얼굴을 검출하기 쉬운 위치에 설치해 둔다. 예를 들면, 카메라(200)는 나안용 입체 디스플레이(100a)의 영상 표시 부분의 상부 또는 하부 중앙에 설치되고, 시청자가 존재하는 방향을 촬상한다. 카메라(200)의 사양으로서는 Web 카메라와 같은(예를 들면, 해상도 800×600, 30fps) 동화상을 촬상할 수 있는 것을 사양으로 하여도 좋고. 촬상 화각은 시청 영역을 커버하기 위해, 광각인 것이 바람직하다. 시판중인 Web 카메라에서는 80°전후의 화각을 갖는 것이 있다. 또한, 일반적으로 거리 계측을 행하기 위해서는 2대 이상의 카메라가 필요하지만, 1대의 카메라에 의해서도 물체 인식 기술에 의해 거리 정보를 취득하는 것이 가능하다.

이와 같이 하여, 얼굴 인식부(121)는 촬영한 화상 데이터로부터 얼굴 검출 기능에 의해, 카메라(200)로부터 각 시청자가 존재하는 방향을 검출한다. 시청자 위치 산출부(122)는 얼굴 인식부(121)에 의해 인식된 시청자의 얼굴로부터 시청자의 위치와 거리를 산출한다. 예를 들면, 시청자 위치 산출부(122)는 얼굴 인식부(121)에 의한 얼굴 검출 기능에 의해 검출된 카메라(200)로부터 각 시청자의 방향에 의거하여, 카메라(200)로부터 시청자까지의 거리를 측정한다. 이에 의해, 시청자 위치정보 취득부(120)는 시청자의 얼굴 인식에 의해 시청자의 위치정보를 검출하고, 시청 환경에서의 시청자의 위치를 특정할 수 있다. 시청자 위치 산출부(122)에 의해 행하여지는 거리의 측정 방법으로서, 크게 다음 2개가 생각된다.

<거리 측정 방법1>

시청자는 어느 결정된 위치(예를 들면 화면 중앙부터 2m의 떨어진 위치)에 이동하고, 그 위치에서 카메라를 이용하여 얼굴을 촬영한다. 그 때에 촬상되는 얼굴화상의 크기를 기준으로 한다. 기준 화상의 촬상은 컨텐츠 시청 전에 초기 설정으로서의 처리를 행한다. 보다 구체적으로는 시청자 위치 산출부(122)는 시거리(visual distance)에 대한 화상상의 평균적인 얼굴의 크기를 미리 조사하여 두고, 도시하지 않은 데이터베이스나 메모리에 기록하여 둔다. 검출한 시청자의 얼굴화상의 크기와 데이터베이스나 메모리 내의 데이터를 비교하고, 대응하는 거리 데이터를 판독함으로써, 시청자의 위치정보 및 디스플레이(100a)로부터 시청자까지의 거리 정보를 취득할 수 있다. 카메라(200)의 설치 위치는 고정되어 있기 때문에, 검출된 얼굴이 위치하는 화상에 대한 좌표 정보로부터, 디스플레이(100a)에 대한 시청자의 상대 위치정보를 취득하는 것도 가능하다. 또한, 이들의 처리는 시청자가 복수인 경우에도 동작시킬 수 있다. 또한, 데이터베이스나 메모리는 입체 표시 장치(100)에 내장하고 있어도 좋고, 외부에서 보존하고 있어도 좋다.

<거리 측정 방법 2>

얼굴 인식부(121)에 의해 시청자의 좌우의 눈의 검출이 가능하다. 카메라(200)에 의해 촬상된 좌우의 눈 각각의 중심 위치의 거리를 산출한다. 일반적으로, 나안용의 입체 디스플레이에는 설계 시거리가 있다. 또한, 인간의 좌우의 동공 사이 거리(눈 사이 거리)는 평균 65㎜라고 한다. 동공 사이의 거리가 65㎜인 시청자가 카메라(200)로부터 설계 시거리만큼 떨어진 때를 기준으로 하여, 얼굴 인식부(121)에 의한 얼굴 인식 동작시에는 산출된 좌우의 눈의 중심 위치의 거리로부터 시청자까지의 거리를 산출한다.

예를 들면, 동공간 거리가 65㎜보다 더 큰 사람의 얼굴 인식을 한 경우, 실제의 거리보다 가까운 거리를 산출하지만, 본 실시예에 관한 나안용의 입체 표시 장치(100)는 어느 동공 사이 거리를 상정하여 광학 설계되기 때문에 문제는 없다. 따라서, 전술한 얼굴 인식부(121)와 상기 거리 측정 방법에 의해, 시청 공간 내에서 시청자의 위치를 산출할 수 있다.

다시점 화상 처리부(130)는 2시점 이상의 다시점의 시점 화상을 입력 또는 생성한다. 도 17이라면, 4시점의 화상이 처리되는 것이 된다. 본 실시예에서의 나안용의 입체 표시 장치(100)에서는 표시 시점수만큼의 화상을 직접 입력하여도 좋고, 또한, 표시 시점수 미만의 화상을 입력하고, 그 후 다시점 화상 처리부(130) 내에서 새로운 표시 시점 화상을 생성하여도 좋다.

다시점 화상 출력부(140)는 다시점 화상 제어부(170)로부터의 제어 신호를 받아서 다시점 화상을 입체 디스플레이(100a)에 출력한다. 다시점 화상 출력부(140)는 다시점 화상 제어부(170)로부터의 제어에 의거하여, 시점 화상의 교체 동작을 행하여, 입체 디스플레이(100a)에 출력한다. 또한, 다시점 화상 제어부(170)에 의한 제어 내용에 관해서는 후술한다.

일반적인 2차원의 표시 장치에서의 시청영역을 디스플레이가 표시하는 화상을 정상적으로 시청할 수 있는 영역이라고 한다면, 나안용의 입체 표시 장치에서의 시청영역은 나안 입체 디스플레이(100a)가 표시하는 화상을 정상적으로 입체 영상으로서 시청할 수 있는 소망하는 영역(정시(orthoscopic) 영역)이다. 시청영역은 나안 입체 표시 장치의 설계치 또는 영상 컨텐츠 등의 복수의 요인에 의해 결정된다. 또한, 전술한 바와 같이, 나안 디스플레이 특유의 역시 현상(pseudoscopic phenomenon)이 있고, 시청 위치에 따라서 역시가 관찰된다. 시청영역(정시 영역)에 대해 역시를 관찰하는 영역을 역시 영역이라 한다.

역시에서는 전술한 바와 같이, 좌안에 들어가야 할 영상이 우안에, 우안에 들어가야 할 영상이 좌안에 들어가는 상태이기 때문에, 컨텐츠가 의도하는 시차에 대해, 반전된 시차가 시청자의 눈에 입력되게 된다. 또한, 입체 디스플레이(100a)가 표시하는 시점수가 많을수록, 정상적으로 입체 영상을 관찰하고 있는 경우에 비하여, 역시 관찰시의 시차량이 커지기 때문에, 매우 불쾌한 화상이 된다. 따라서, 시청자가 역시를 관찰하는 것은 바람직하지 않다.

전술한 바와 같이, 패럴랙스 소자를 이용한 나안의 입체 표시 장치에는 설계 시거리라는 것이 존재한다. 예를 들면, 설계 시거리를 2m로 한 경우, 디스플레이로부터 2m 부근에 수평 방향으로 입체 영상으로서 시청할 수 있는 영역이 존재한다. 그러나, 수평 방향으로 어느 일정 간격마다 역시를 관찰하는 영역이 존재한다. 패럴랙스 소자를 이용한 나안의 입체 표시 장치에서는 원리상 발생하는 현상이다. 모든 화면 영역에 시차를 갖는 화상을 표시하는 경우에 설계 시거리 부근보다 더 가까워지거나, 멀어지거나 하면, 화면 내에 반드시 1개소 이상, 역시가 되는 곳이 생긴다. 한편, 화면 중앙 부근에서만 시차를 갖는 화상을 표시하는 경우는 설계 시거리 부근보다 어느 정도 가까워지거나 떨어지거나 하여도, 설계 시거리 부근과 마찬가지로, 어느 일정 간격으로 역시 영역이 존재하게 된다. 도 3에 시청영역의 예를 도시한다. 전술한 바와 같이 복수의 시점 화상은 입체 디스플레이(100a)의 각각의 화소에 주기적으로 배치되어 있다. 그 주기의 경계 부근의 영역은 역시 영역이 되고, 주기의 경계 사이의 각각의 주기마다 시청영역(A1, A2, A3 …)이 존재한다. 도 3에 한 예를 도시한 바와 같은 시청 공간 내에서의 시청영역은 광학적 설계 조건 등에 의거하여 시청영역 산출부(150)에 의해 산출된다.

목표 시청영역 산출부(160)는 시청자 위치정보 취득부(120)에 의해 산출된 시청자의 위치정보 및 시청영역 산출부(150)에 의해 산출된 시청영역을 이용하여, 목표 시청영역을 산출한다. 전술한 바와 같이, 시청 공간에서의 시청자가 존재하는 위치정보는 시청자 위치정보 취득부(120)에 의해 검출할 수 있다. 또한, 시청 공간에서의 시청영역은 소망하는 조건에 의거하여 시청영역 산출부(150)에 의해 산출된다. 시청자 위치정보 취득부(120)의 처리에 의한 시청자의 위치 검출 결과를 도 4에 도시한다. 도 4의 α는 카메라(200)의 각도이고, 각도(α)의 범위에서 시청자가 존재하는 위치(도 4에서는 시청자가 존재하는 위치(P1, P2, P3))를 검출할 수 있다. 이하에서는 시청영역 산출부(150)에 의해 산출된 시청영역으로서 도 3에 도시한 시청영역(A1, A2 …)을 사용하여 설명한다.

목표 시청영역 산출부(160)는 도 3에 도시한 시청영역(A1, A2, A3)과 도 4에 도시한 위치(P1, P2, P3)와의 좌표축을 맞춤에 의해, 시청영역(A1, A2, A3)과 시청자(P1, P2, P3)와의 위치 관계를 도 5와 같이 산출한다. 목표 시청영역 산출부(160)는 시청영역 외에 존재하는 시청자의 인원수를 카운트한다. 그 결과, 만약 시청영역 외에 존재하는 시청자가 1인 이상 존재하는 경우, 목표 시청영역 산출부(160)는 시청영역을 화면 중앙을 중심으로 하여 시청영역을 소망하는 각도 만큼 회전시키고, 1회전마다 시청영역에 존재하는 시청자 수를 카운트한다.

회전 각도는 화면 중앙을 시점으로 역시부터 역시까지의 구간(주기의 경계 사이)의 각도 만큼 회전시키면 좋다. 예를 들면, 설계 시거리 2m, 설계 시거리에 있어서의 시점 간격을 65㎜, 시점수를 9시점이라고 하면, 16°정도가 된다. 목표 시청영역 산출부(160)는 각도를 16°씩 회전시키면서, 시청영역 내에 존재하는 시청자 수가 최대가 되었을 때의 시청영역을 목표 시청영역으로 한다.

예를 들면, 도 5의 상태에서는 전 시청자 수 3(P1, P2, P3)인 중, 1인의 시청자(P1)만 시청영역(A2)의 내부에 존재하고 있는 상황이었지만, 화면 중앙을 중심으로 하여 시청영역을 16°씩 회전시킴에 의해, 도 6과 같이 3인의 시청자(P1, P2, P3)를 시청영역(A3 내지 A5)의 내부에 존재시킬 수 있다.

여기서는 도 3을 화면 중앙 부근에서 출력되는 시점 화상의 초기 상태로 한다. 이 시점 화상의 할당은 도 2의 패럴랙스 소자(패럴랙스 배리어(110))와 표시 디바이스(입체 디스플레이(100a))에의 화상 매핑에 의해 정해진다. 화상 매핑은 시점마다 표시 디바이스(입체 디스플레이(100a)) 내의 표시 위치가 정해져 있다. 따라서 입체 디스플레이(100a)에의 매핑에서는 표시 화상을 교체함에 의해, 시점 화상의 표시를 바꿀 수 있다. 9시점의 경우, 도 7에 도시한 바와 같이, 9가지의 표시가 생각된다. 즉, 시점수만큼의 표시 방법이 존재한다. 다시점 화상 제어부(170)는 시점수만큼의 표시를 시킨 때의 시청영역과 상기 목표 시청영역을 비교하고, 목표 시청영역에 가장 가깝게 되는 표시를 선택한다. 도 7에서는 다시점 화상 제어부(170)는 9가지의 표시를 시킨 때의 시청영역과 상기 목표 시청영역을 비교하고, 목표 시청영역과 위치 관계가 가장 근사한 시청영역의 시점 화상의 표시를 선택한다. 다시점 화상 제어부(170)는 목표 시청영역과 위치 관계가 가장 근사한 시청영역의 시점 화상의 표시를 선택하는 것이 가장 바람직하지만, 목표 시청영역과 위치 관계가 유사한 시청영역의 시점 화상의 표시를 선택하면 가장 근사하지 않아도 좋다. 그 선택 결과는 다시점 화상 출력부(140)에 전해진다. 다시점 화상 출력부(140)는 선택된 시점 화상의 표시를 입체 디스플레이(100a)에 출력한다. 이상의 동작에 의해, 시청영역 내의 시청자 수를 최대로 할 수 있고, 유저에게 쾌적한 입체 영상의 시청 환경을 제공할 수 있다.

[입체 표시 장치의 동작]

다음에, 본 실시예에 관한 입체 표시 장치의 전체 동작에 관해, 도 8의 처리 흐름도를 참조하면서 설명한다. 도 8에서 처리가 시작되면, 카메라(200)는 시청 환경을 촬상하고, 얼굴 인식부(121)는 촬상 공간 내의 얼굴을 검출한다(S805).

다음에, 시청자 위치 산출부(122)는 시청자 공간 내의 시청자의 위치를 검출한다(S810). 다음에, 시청영역 산출부(150)는 그 시점에서의 매핑(모드 0)에서의 시청영역을 산출한다(S815).

다음에, 목표 시청영역 산출부(160)는 시청영역 외(역시 영역)의 시청자 수가 1 이상인지를 판정하고(S820), 시청영역 외(역시 영역)의 시청자 수가 1 미만이라고 판정된 경우, 시점 화상의 교체의 필요는 없기 때문에, 매핑 모드(0)를 목표 시청영역으로서 산출한다(S825).

한편, 시청영역 외(역시 영역)의 시청자 수가 1 이상인 경우, 목표 시청영역 산출부(160)는 매핑 모드(k)에서의 시청영역을 산출한다(S830). 시점이 9인 경우, 매핑 모드(k)의 초기치는 9가 된다. 다음에, 목표 시청영역 산출부(160)는 매핑 모드(k)에서의 시청영역 내에 있는 시청자의 수(observer_cnt(k))를 카운트한다(S835). 다음에, 목표 시청영역 산출부(160)는 매핑 모드(k)의 값을 1 감산하고(S840), 매핑 모드(k)가 0인지의 여부를 판정한다(S845).

k가 0이 아닌 경우에는 목표 시청영역 산출부(160)는 S830 내지 S845의 처리를 반복한다. 한편, k가 0인 경우에는 목표 시청영역 산출부(160)는 시청자의 수(observer_cnt(k))가 최대가 되는 매핑 모드(k)를 선택하고, 그 매핑 모드(k)를 목표 시청영역으로서 출력한다(S850).

또한, 처리 흐름도에서는 도시하고 있지 않지만, 목표 시청영역으로서 출력된 매핑 모드(k)에 응하여, 다시점 화상 제어부(170)는 다시점 화상 처리부(130)에 의해 생성된 시점수만큼의 화상을 표시시킨 때의 시청영역과 상기 목표 시청영역을 비교하고, 목표 시청영역에 가장 가까워지는 시점 화상의 표시를 선택한다. 다시점 화상 출력부(140)는 선택된 시점 화상을 입체 디스플레이(100a)에 표시한다.

이상에 설명한 바와 같이, 본 실시예에 관한 입체 표시 장치(100)에 의하면, 시청자의 위치 검출이나 패럴랙스 소자의 광학적인 제어의 정밀도 레벨을 높게 할 필요가 없이도 시청자의 위치에 맞추어 시청자가 시청하기 쉽도록 시청영역을 제어할 수 있다. 이 때문에, 입체 화상을 시청할 때, 시청 위치를 이동하지 않고서, 간편하게 시청자에 대해 쾌적한 입체 영상의 시청 환경을 제공할 수 있다.

<제 2 실시예>

[입체 표시 장치의 기능 구성]

다음에, 제 2 실시예에 관해 설명한다. 제 2 실시예에서는 속성 정보에 의거하여 시청자의 우선도를 고려하여 시청자의 위치에 맞추어서 시청영역을 제어한다. 이하, 본 실시예에 관한 입체 표시 장치에 관해 상세히 기술한다.

[입체 표시 장치의 기능 구성]

도 9에 도시한 바와 같이, 본 실시예에 관한 입체 표시 장치(100)의 기능 구성은 도 1에 도시한 제 1 실시예에 관한 입체 표시 장치(100)의 기능 구성과 기본적으로 같기 때문에, 중복 기재는 하지 않고, 여기서는 제 1 실시예에 관한 입체 표시 장치(100)의 기능 구성에 추가된 속성 정보 보존부(180) 및 제어부(190)의 기능 구성을 설명한다.

본 실시예에서는 속성 정보 보존부(180)는 속성 정보를 보존한다. 제어부(190)는 리모트 컨트롤 조작 등에 의한 시청자의 지시에 응하여 입체 영상을 시청하기 전에 시청자의 속성 정보를 속성 정보 보존부(180)에 등록한다. 구체적으로는 제어부(190)는 시청자를 카메라(200)가 촬상할 수 있는 위치에 이동시키고, 시청자의 리모트 컨트롤(300)의 조작 등을 통하여 얼굴 인식부(121)에 얼굴 인식의 동작을 시킨다. 다음에, 제어부(190)는 얼굴 인식부(121)에 의해 인식되는 결과와 식별자를 대응시킨다. 예를 들면, 리모트 컨트롤(300) 등을 통하여, 시청자의 식별자로서 시청자에게 시청자의 이름을 입력시킨다는 방법이 고려된다. 복수인의 시청자를 등록하는 경우는 우선도가 추가 등록된다.

예를 들면, 얼굴 인식의 결과, 아버지, 어머니, 아동의 3인의 얼굴이 인식되었다고 가정한다. 이 경우, 제어부(190)는 아버지의 얼굴 인식 정보와 이름과 우선도를 대응시켜서 속성 정보 보존부(180)에 등록한다. 시청자의 이름 및 우선도는 시청자의 속성 정보의 한 예이다. 어머니, 아동에 관한 속성 정보도 마찬가지로 미리 속성 정보 보존부(180)에 기억되어 있다.

속성 정보 보존부(180)에의 등록 동작은 가이드 등을 화면에 표시시키고, 리모트 컨트롤 등을 통하여 시청자가 1인씩 인터렉티브하게 행한다. 등록 후, 얼굴 인식부(121)에 의해 인식된 시청자의 얼굴 즉 인물과, 이름이나 우선도 등의 속성 정보를 대응시킬 수 있다.

본 실시예에서는 목표 시청영역 산출부(160)는 우선도가 높은 시청자를 시청영역에 최대한 존재시키는 것을 기준으로 목표 시청영역을 산출한다. 예를 들면, 우선도는 3단계로 설정할 수 있다고 한다. 우선도를 스코어로서 우선도 고 : 3, 우선도 중 : 2, 우선도 저 : 1로 스코어 붙임하여 속성 정보 보존부(180)에 보존한다.

이 속성 정보는 목표 시청영역 산출부(160)에 통지된다. 목표 시청영역 산출부(160)는 제 1 실시예에서 시청영역 내의 시청자 수를 카운트하는 동작 대신에, 시청영역 내의 각 시청자의 우선도의 스코어를 카운트하고, 스코어 합계가 최대가 되는 시청영역을 목표 시청영역으로 판정한다.

[입체 표시 장치의 동작]

다음에, 본 실시예에 관한 입체 표시 장치의 전체 동작에 관해, 도 10에 도시한 처리 흐름도를 참조하면서 설명한다. 도 10에서 처리가 시작되면, 제 1 실시예의 처리 흐름도와 마찬가지로 S805 내지 S845의 처리가 행하여진다. S830 내지 S845의 처리가 반복된 후, S845에 k가 0인 경우에는 목표 시청영역 산출부(160)는 속성 정보 보존부(180)가 보존하는 속성 정보에 따라, 속성 정보 보존부(180)에 보존된, 시청영역 내의 각 시청자의 우선도의 스코어의 합계가 최대가 되는 매핑 모드(k)를 선택하고, 그 매핑 모드(k)를 목표 시청영역으로서 출력한다(S1005). 이에 의하면, 예를 들면 속성 정보중의 우선도를 스코어로 하여 속성 정보 보존부(180)에 보존한 경우에는 우선도를 고려한 시청영역으로 입체 영상을 표시할 수 있다.

이상에 설명한 바와 같이, 본 실시예에 관한 입체 표시 장치(100)에 의하면, 시청자의 속성 정보에 맞추어서, 예를 들면 우선도가 높은 시청자가 시청하기 쉽도록 시청영역을 제어할 수 있다. 이 때문에, 시청자가 이동하지 않고서, 시청자에 대해 간편하게 속성 정보에 맞춘 쾌적한 입체 영상의 시청 환경을 제공할 수 있다. 또한, 우선도가 아니라 다른 속성 정보를 이용하여도 좋다.

<제 3 실시예>

다음에, 제 3 실시예에 관해 설명한다. 제 3 실시예에서는 제 2 실시예와 같이 우선도를 미리 등록하는 것은 아니라, 유저의 리모트 컨트롤 동작에 의해, 일시적으로 특정한 시청자의 우선도를 높게 하여, 특정한 시청자가 강제적으로 시청영역에 들어가는 동작을 실현한 것이다. 이하, 본 실시예에 관한 입체 표시 장치에 관해 상세히 기술한다. 또한, 본 실시예에 관한 입체 표시 장치(100)의 기능 구성은 도 9에 도시한 제 2 실시예와 같기 때문에 설명을 생략한다.

[입체 표시 장치의 동작]

본 실시예에 관한 입체 표시 장치의 전체 동작에 관해, 도 11에 도시한 처리 흐름도를 참조하면서 설명한다. 도 11로 처리가 시작되면, 제 1 실시예의 처리 흐름도와 마찬가지로 S805 내지 S815의 처리가 행하여진다.

다음에, 시청영역 산출부(150)는 매핑 모드 1 내지 k에서의 시청영역을 산출한다(S1105). 계속해서, 목표 시청영역 산출부(160)는 얼굴 인식부(121)에 의한 시청 환경 내의 시청자의 얼굴 인식 동작이 완료되어 있은 상태에서, 시청자의 리모트 컨트롤 동작에 의해, 시청 환경 내의 시청자 검출 화면을 호출한다. 시청자는 리모트 컨트롤 동작을 통하여, 시청자 검출 화면 내의 특정한 부분을 지정한다. 예를 들면, 리모트 컨트롤을 갖고 있는 본인을 지정하는 경우는 본인이 위치한 장소를 커서 등으로 지정한다. 목표 시청영역 산출부(160)는 지정된 개소가 시청영역 내에 수용되도록 목표 시청영역을 산출한다. 또한, 지정된 개소는 1개소라도 복수 개소라도 좋다. 또한, 지정된 개소는 시청자의 리모트 컨트롤 조작에 의해 지시된 속성 정보의 한 예이고, 지정하는 속성 정보로서는 위치뿐만 아니라, 여성인지 남성인지의 성의 차이나 아동인지 어른인지의 나이 등의 지정이라도 좋다.

이상에 설명한 바와 같이, 본 실시예에 관한 입체 표시 장치(100)에 의하면, 시청자가 리모트 컨트롤 등을 통하여 지정하는 개소가 시청영역에 들어가도록 조작할 수 있다.

<제 4 실시예>

다음에, 제 4 실시예에 관해 설명한다. 또한, 본 실시예에 관한 입체 표시 장치(100)의 기능 구성은 도 9에 도시한 제 2 실시예와 같기 때문에 설명을 생략한다.

[입체 표시 장치의 동작]

본 실시예에 관한 입체 표시 장치의 전체 동작에 관해, 도 12에 도시한 처리 흐름도를 참조하면서 설명한다. 도 12에서 처리가 시작되면, 제 1 실시예의 처리 흐름도와 마찬가지로 S805 내지 S845의 처리가 행하여진다.

제 4 실시예에서는 S845에서 매핑 모드(k)가 0이라고 판정된 경우, S1205로 진행하고, 목표 시청영역 산출부(160)는 적절한 목표 시청영역을 산출할 수 있는지의 여부를 판정한다(S1205). 적절한 목표 시청영역을 산출할 수 없다고 판정한 경우에는 목표 시청영역 산출부(160)는 그 취지를 나타내는 플래그(F)에 1을 대입함에 의해 플래그를 설정하고(S1210), 다시점 화상 제어부(170)에 통지한다(S1215). 또한, 이 통지를 받은 다시점 화상 출력부(140)는 입체 화상의 표시를 중지하여도 좋고, 화상을 디스플레이에 2D로 표시하여도 좋다. 이에 의해, 시청자는 3D 영상이 보이지 않는 환경에서도, 2D 영상을 시청할 수 있다.

한편, S1205에서, 적절한 목표 시청영역을 산출할 수 있다고 판정된 경우에는 제 1 실시예의 경우와 마찬가지로, 목표 시청영역 산출부(160)는 시청자의 수(observer_cnt(k))가 최대가 되는 매핑 모드(k)를 선택하고, 그 매핑 모드(k)를 목표 시청영역으로서 출력한다(S850).

이상에 설명한 바와 같이, 본 실시예에 관한 입체 표시 장치(100)에 의하면, 제 1 실시예와 마찬가지로 시청자의 위치에 맞추어서 시청자가 시청하기 쉽도록 시청영역을 제어할 수 있기 때문에, 시청자는 이동하지 않고서, 쾌적하게 3D 영상을 시청할 수 있다. 또한, 본 실시예에서 설명한 적절한 목표 시청영역을 산출할 수가 없었던 경우」의 처리는 실시예 1 내지 3에 적용할 수 있다.

목표 시청영역을 산출할 수 없는 경우의 예로서는, 예를 들면, 시청자 수가 많고, 시점 화상을 어떻게 설정하여도, 역시 영역에서의 시청자 수가 항상 2인 이상 존재하는 등, 쾌적한 3D 환경을 제공할 수 없다고 판단한 경우이다.

또한, 본 실시예에 있어서, 쾌적한 3D 환경을 제공할 수 없는 조건으로서의 상기 2인 이상 등의 임계치는 유저가 설정할 수 있도록 하여도 좋다. 또한, 제 1 실시예에 나타낸 바와 같이 시청영역 내의 시청자 수가 최대가 되도록 제어하는지, 본 실시예에 나타낸 바와 같이 판정 기준을 우선하는지 등의 모드의 전환도, 유저가 설정할 수 있도록 하여도 좋다.

<제 5 실시예>

상기 제 1 내지 제 4 실시예에서는 입체 표시 장치측에서 어떻게 효과적으로 역시를 방지하도록 제어를 행하는지가 포인트이고, 시청자는 이동하지 않았다. 이에 대해, 본 실시예에서는 역시는 나안의 입체 표시 장치(100)에서는 원리상 생기는 것이기 때문에, 근본적인 해결은 어렵다는 전제로부터, 정시 영역으로의 이동을 시청자 자신에게 촉구하는 정보를 표시하고, 시청자를 적극적으로 정시 영역에 이동시키는 점에서 제 1 내지 제 4 실시예와 상위하다.

[입체 표시 장치의 기능 구성]

도 13에 도시한 바와 같이, 본 실시예에 관한 입체 표시 장치(100)의 기능 구성은 도 1에 도시한 제 1 실시예에 관한 입체 표시 장치(100)의 기능 구성과 기본적으로 마찬가지이다. 이에 덧붙여서, 본 실시예에 관한 입체 표시 장치(100)에서는 OSD 화상 생성부(171) 및 역시 판정부(195)의 기능을 갖는다. 다시점 화상 제어부(170) 및 OSD 화상 생성부(171)는 시청자 위치정보 제시부(175)에 포함되는 기능이고, 정시 영역으로의 이동을 시청자 자신에게 촉진하는 위치정보를 나안 입체 디스플레이상에 온스크린 디스플레이(On-Screen Display, OSD라고도 호칭된다.)로서 제시한다.

시청자 위치정보 제시부(175)는 OSD 화상 생성부(171)에서 생성한 OSD 화상을 다시점 화상에 중첩하고, 복수 시점의 나안 입체 디스플레이(100a)에서 각 시점의 같은 화소 위치에 같은 OSD 화상 중의 화소를 배치하도록 다시점 화상 제어부(170)를 제어한다. 이에 의해, 어느 시점에서 보아도 같은 위치에는 같은 화소를 표시함으로써 작성된 2D 화상이, 입체 디스플레이(100a)의 일부에 마련된 2D 표시 에어리어에 표시된다. 이에 의해, 쾌적한 3D 시청 위치까지 시청자를 유도하기 위한 2D 화상을 제시하는 수단으로서 상기 디스플레이(100a)를 사용 가능해진다.

또한, 시청영역 산출부(150)는 전술한 바와 같이, 나안 입체 표시 장치(100)가 갖는 설계치나 다시점 화상 출력 상황 등으로부터 쾌적하게 시청할 수 있는 위치정보인 시청영역을 산출한다. 역시 판정부(195)는 산출된 시청영역과 시청자의 위치정보로부터 시청자가 역시 위치에 있는지 정시 위치에 있는지를 판정한다. 그리고, 시청영역 산출부(150)에 의해 산출된, 쾌적하게 시청 가능한 위치정보인 시청영역(정시 영역)과 시청자의 위치정보의 양쪽을 입체 디스플레이(100a)에 표시한다. 이와 같이 하여 정시 영역으로 시청자를 유도하기 위한 정보를 제시함에 의해, 시청자는 쾌적한 시청 위치까지 간단하게 이동할 수 있다. 입체 디스플레이(100a)에의 유도 정보의 제시는 원래 역시 영역 내에 존재하는 시청자를 위한 정보인 것을 고려하면, 역시 영역에서의 입체 영상의 표시는 명료하지 않고 불쾌감이 크다. 이 때문에, 유도 정보의 제시는 입체 디스플레이(100a)의 2D 표시 에어리어에 표시한다.

다시점 화상 처리부(130)는 우안용 화상(L화상) 및 좌안용 화상(R화상)으로부터 나안용의 입체 디스플레이 표시용으로 다시점 화상을 생성하는 기능을 갖고 있어도 좋지만, 이것으로 한정되지 않고, 나안 입체 화상용의 다시점 영상을 입력하는 기능을 갖고 있어도 좋다.

시청자 위치정보 취득부(120)는 카메라(200) 및 카메라(200)가 촬상한 데이터로부터 시청자의 얼굴을 인식하는 얼굴 인식부(121) 및 시청자 위치 산출부(122)로 구성되어 있다. 다시점의 나안용의 입체 표시 장치에서, 정시 가능한 위치인 시청영역은 시점수에 응하여 퍼짐을 갖고서 구성된다. 이 때문에, 시청자 위치정보 취득부(120)는 카메라(200) 및 카메라의 촬상 데이터에 의한 얼굴 인식이라는 어느 정도의 오차를 포함하는 정보라도 상관없다. 또한, 시청자 위치정보 취득부(120)는 화상 처리에 의해 입체 디스플레이(100a)를 시청하는 시청자의 위치 및 입체 디스플레이(100a)에 대한 시청자의 거리 정보도 취득할 수 있는 것으로 한다.

(표시 화면례)

도 14에, 나안 입체 표시 장치의 입체 디스플레이(100a) 화면상에 표시된 2D 표시 에어리어의 개략도를 도시한다. 여기서는 입체 디스플레이(100a)는 3D 표시 에어리어(R)중에 2D 표시 에어리어(S)를 갖고 있다. 이러한 구성에 의하면, 복수 시점으로 구성되는 나안 입체 디스플레이(100a)에서도, 각 시점 화상의 같은 위치에 같은 화상을 삽입함으로써, 원리상 역시가 생기지 않고 2D 화상을 제시할 수 있다. 따라서, 시청자가 역 시위치에 있다고 하여도, 2D 표시 에어리어(S)에 위치정보를 제시함에 의해, 시청자는 용이하게 디스플레이의 정보를 판독하는 것이 가능해진다. 표시 방법으로서는 도 14와 같이 디스플레이면의 일부에, 정시 위치로 유도하기 위한 위치정보를 2D로 표시하여도 좋고, 전 화면에 2D로 표시하여도 좋다. 또한, 예를 들면, 3D 컨텐츠 시청 중, 위치정보를 2D로 표시하지 않고, 3D 컨텐츠의 재생을 일시 정지한 경우나, 컨텐츠 시청의 시작 전에 위치정보를 2D로 표시하여도 좋다.

입체 디스플레이(100a)의 3D 표시 에어리어(R)중에 2D로 표시하는 방법에 관해 설명한다. 패럴랙스 배리어에 온/오프 기능이 없는 경우, 각 시점 화상의 같은 위치에 같은 화상을 표시함에 의해, 유도 정보를 3D 화면중에 2D 표시할 수 있다. 패럴랙스 배리어에 온/오프 기능이 있는 경우(즉, 액정 배리어의 경우)에는 광의 투과를 온/오프 하는 기능을 이용하여 광을 투과 상태로 함에 의해 배리어 기능을 오프 시키면, 디스플레이(100a)를 해상도가 높은 2D 표시 화면으로서 이용할 수 있다. 액정 배리어의 배리어 기능이 온일 때에는 고정 배리어의 경우와 마찬가지로 각 시점 화상의 같은 위치에 같은 화상을 표시함에 의해, 유도 정보를 3D 화면중에 2D 표시할 수 있다. 렌티큘러 렌즈의 경우도 마찬가지로 고정의 렌즈 또는 가변의 액정 렌즈가 있고, 배리어와 같은 상기 제어에 의해, 유도 정보를 2D 표시할 수 있다.

[입체 표시 장치의 동작]

본 실시예에 관한 입체 표시 장치의 전체 동작에 관해, 도 15에 도시한 처리 흐름도를 참조하면서 설명한다. 도 15에서 처리가 시작되면, 제 1 실시예의 처리 흐름도와 마찬가지로 S805 내지 S820의 처리가 행하여진다.

즉, 카메라(200)에서 시청 환경 화상을 촬상하고, 촬상 데이터로부터 얼굴 인식부(121)에서 화상 공간 내의 얼굴 검출이 행해진다(S805). 얼굴 검출 결과에 의거하여, 시청자 위치 산출부(122)에서 시청자 위치정보의 산출이 행하여지고(S810), 시청영역 산출부(150)에서 현재의 매핑에서의 시청영역 정보의 산출이 행하여진다(S815). S810 및 S815에서 산출된 시청자의 위치정보 및 시청영역 정보에 의거하여, 역시 판정부(195)에서 역시 판정이 행하여진다(S820). 역시 판정의 결과, 역시 시청자 수가 1 미만이라고 판정된 경우(S820), OSD 화상의 생성을 하지 않고, 또한 합성의 지시도 행하지 않는다. 즉, 모든 시청자가 정시 영역에서 시청하고 있기 때문에, 유도 표시를 행하지 않는다고 판정하고 처리를 종료한다.

한편, 역시 판정의 결과, 역시 시청자 수가 1 이상이라고 판정된 경우(S820), 역시 판정부(195)는 OSD 화상 생성부(171)에 시청자에게 정시 위치로의 유도를 촉구하기 위한 화상 생성을 지시하고(S1505), OSD 화상을 표시하기 위해 다시점 화상 제어부(170)에 대해, 다시점 화상에 대해 OSD 화상을 삽입하는 지시(OSD 합성 지시)를 한다(S1510). 이에 의해, 시청자를 정시 영역으로 유도하기 위한 OSD 화상이 입체 디스플레이(100a)상에 2D 표시된다(S1515).

또한, 이상의 처리 흐름도에서는 S820에 역시 시청자 수가 1 이상이라고 판정된 경우에 OSD를 2D 표시한다고 하지만, S820에 시청영역 외(역시 영역)의 시청자 수가 1 미만이라고 판정되고, 모든 시청자가 정시 영역에서 시청하고 있는 경우라도 확인을 위해 OSD 화상을 2D로 표시하여도 좋다.

(표시예 1)

도 16A에 2D 표시 에어리어에 2D 표시되어 있는 유도 정보를 갖는 OSD 화상의 화상 이미지를 도시한다. 예를 들면 도 16A에서는 화면 상부에 입체 디스플레이(100a)를 제시하고, 입체 디스플레이와 시청영역(A1, A2, A3)과 시청자와의 위치 관계를 알 수 있도록 2D 표시한다. 또한, 시청영역과 역시 시청자와 정시 시청자를 구별할 수 있도록 표시한다. 예를 들면, 청색은 정시 위치에 있는 시청자, 적색은 역시위치에 있는 시청자, 황색은 시청영역 정보를 나타내는 등의 색 분류를 이용할 수 있다.

또한, 표시되어 있은 복수의 시청자가 식별할 수 있도록 2D 표시된다. 여기서는 얼굴 인식에 의해 각 유저와 마크는 일의적으로 관련되어 있고, 용이하게 유저는 자신의 시청 위치를 인식할 수 있다. 또한, 시청자 위치정보 취득부(120)로부터 얻어지는 깊이 정보(디스플레이(100a)부터의 거리 정보)를 유저에게 제시함에 의해, 유저는 용이하게 자신의 위치와 정시 위치의 전후 좌우의 위치 관계를 인식할 수 있다. 또한, 도 16A에 제시하는 바와 같이 유저 자신이 어느 쪽으로 움직이면 정시 위치에 있는지의 여부를 용이하게 판단할 수 있도록, 화살표 등으로 이동 방향을 촉구하는 정보를 제시하여도 좋다. 또한, 그 때에 복수의 유저가 동시에 같은 시청영역 내로 유도되지 않도록 하여도 좋다.

(표시예 2)

시청자를 정시 위치로 유도하기 위해 디스플레이상에 표시하는 유도 정보는 도 16A와 같이, 디스플레이(100a)가 설치된 실내를, 상부로부터 도시하는 조감도(bird's-eye view)라도 좋고, 도 16B 및 도 16C와 같이, 디스플레이를 경면(mirror plane)과 같이 사용하는 표시 형태라도 좋다. 시청자의 위치를 나타내기 위해, 시청자의 표시는 마크를 이용하여도 좋고, 도 16B 및 도 16C에서 예시되는 바와 같은 CG 등으로 생성한 아바타를 이용하여도 좋고, 촬상 화상 그 자체를 이용하여도 좋다. 도 16B 및 도 16C에 있어서, 뒤에 있는 유저의 화상을 작게 표시함에 의해, 깊이감을 표시하고, 이에 의해, 역시 시청자는 적정 위치(시청영역)를 보다 직감적으로 인식할 수 있다.

(표시예 3)

또한, 시청자가 정시 위치(시청영역)로부터 움직여서 역시 위치에 들어간 경우, 그 시청자를 보다 효과적으로 정시 위치로 유도하기 위해, 디스플레이(100a)상에 시청자를 유도하기 위한 위치정보를 제시하여도 좋다. 도 16C에서는 정시 에어리어가 간단하게 인식될 수 있도록 역시 에어리어에 사선을 긋고 있다. 이에 의해, 역시 시청자(B2)는 보다 간단하게 적정 위치(시청영역)로 이동할 수 있다.

이상의 표시예 1 내지 3에 예시한 바와 같이, OSD 화상에 의한 유도 정보를 2D로 표시하는 타이밍은 리얼타임으로 표시하는 것이 가능하다. 또한, 시청중에 위치정보를 표시함으로써 컨텐츠의 시청을 방해하는 일이 없도록, 2D 표시 타이밍을 설정하여도 좋다. 2D로 표시하지 않는다는 설정도 가능하고, 이 경우에는 OSD 화상에 의한 유도 정보는 2D 표시되지 않는다.

시청영역 산출부(150)는 카메라(200)로부터 얻어지는 화상 정보(얼굴 인식 정보)와 제 2 실시예에 도시한 도 9의 속성 정보 보존부(180)에 의거하여 속성 판정에 의해, 시청자의 속성 정보로서 시청자의 식별 정보와 미리 등록된 각 시청자의 동공 사이 거리(눈 사이 거리) 정보를 취득할 수 있으면, 이 정보에 의거하여 시청자마다 보다 정확한 정시 위치를 산출할 수 있다.

또한, 카메라(200) 및 상기 속성 판정에 의해 디스플레이(100a)를 주시하지 않는 유저가 있는 환경에서는 그 유저에 대한 유도 정보를 표시시키지 않음에 의해 표시의 간편화를 도모하여도 좋다.

역시 위치에 유저가 있는 경우, 그 유저를 향하여 음성을 발생함으로써 시청자에게 이동을 촉구하여도 좋다. 또한, 시청자마다 미리 정해진 음색이나 멜로디에 따라 복수의 시청자에 대해 각각 독립적으로 역시 영역에 있는 것을 나타내어도 좋다.

유저가 역시 위치에 있다는 것을 인식하고 있지만 유저측이 이동을 거부하는 경우에, 제 1 실시예 내지 제 4 실시예에 도시한 입체 표시 장치(100)의 제어 방법을 이용하여, 입체 디스플레이(100a)에의 매핑을 교체한 때에 얻어지는 복수의 시청영역 중, 복수의 유저가 가장 시청하기 쉬운 목표 시청영역에 가장 가까운 시청영역의 시점 화상의 표시를 선택하여 입체 디스플레이(100a)에 출력하도록 하여도 좋다.

이상에 설명한 바와 같이, 본 실시예에 관한 입체 표시 장치(100)에 의하면, 복수의 시청자가 나안 입체 디스플레이(100a)를 시청하고 있는 상황이라도, 종래와 같이 마커에 눈 위치를 맞추는 등의 번잡한 조작을 필요로 하지 않고, 유저에게 시청 위치의 유도 정보를 제시하는 것만으로 시청자를 정시 영역으로 간편하게 유도하고, 이에 의해 역시에 의한 불쾌한 시청 환경을 경감할 수 있다.

이상에 설명한 바와 같이, 본 실시예에 관한 입체 표시 장치(100)에 의하면, 복수의 시청자가 나안 입체 디스플레이(100a)를 시청하고 있는 상황이라도, 종래와 같이 마커에 눈 위치를 맞추는 등의 번잡한 조작을 필요로 하지 않고, 유저에게 시청 위치의 유도 정보를 제시하는 것만으로 시청자를 정시 영역으로 간편하게 유도하고, 이에 의해 역시에 의한 불쾌한 시청 환경을 경감할 수 있다. 즉, 나안 3D 디스플레이상에 2D로 표시하는 에어리어를 OSD 표시하고, 그 2D 표시 에어리어 내에 카메라 및 얼굴 인식 기능부로부터 얻어진 시청자 위치정보와, 나안 3D 디스플레이가 갖는 설계치와 다시점 화상 출력 상황으로부터 쾌적하게 시청할 수 있는 위치정보를 산출하는 시청영역 산출부에서 얻어진 시청영역 정보를 표시함에 의해, 시청자에게 쾌적한 시청 위치인 시청영역으로의 이동을 촉구할 수 있다. 또한, 상기 2D 표시 에어리어 내에 제시하는 정보는 카메라로부터 얻어진 화상을 기초로 작성된 화상이고, 또한 얼굴 인식 기능에 의해 각 사람이 식별된 아이콘이 표시됨에 의해, 각 사람이 자신의 위치가 정시인지 역시인지를 용이하게 인식할 수 있다.

또한, 각 실시예에 관한 기능 블록의 각 부분에의 지령은 전용의 제어 디바이스 또는 프로그램을 실행하는 CPU(도시 생략)에 의해 실행된다. 따라서 이상에 설명한 각 처리를 실행하기 위한 프로그램은 ROM이나 불휘발성 메모리(모두 도시 생략)에 미리 기억되어 있고, CPU가 이들의 메모리로부터 각 프로그램을 판독하여 실행함에 의해, 입체 표시 장치의 각 부분의 기능이 실현된다.

상기 제 1 내지 제 5의 실시예에서, 각 부분의 동작은 서로 관련되어 있고, 서로의 관련을 고려하면서, 일련의 동작으로서 치환할 수 있다. 이에 의해, 입체 표시 장치의 실시예를 입체 표시 장치의 제어 방법의 실시예로 할 수 있다.

이상, 첨부 도면을 참조하면서 본 발명의 실시예에 관해 상세히 설명하였지만, 본 발명은 이러한 예로 한정되지 않는다. 본 발명이 속하는 기술의 분야에서 통상의 지식을 갖는 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경례 또는 수정례에 상도할 수 있음은 분명하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.

예를 들면, 상기 실시예에서는 화상 처리를 이용하여 시청자의 위치 또는 디스플레이로부터 시청자까지의 거리를 산출하였지만, 본 발명은 이러한 예로 한정되지 않는다. 예를 들면, 적외선 등을 사용하여 위치정보 및 거리 정보를 취득하여도 좋다. 디스플레이면과 시청자와의 거리를 알 수 있다면, 어떤 방법을 이용하여도 좋다.

또한, 상기 실시예에서는 우안에 도광되는 시점 영상, 우안에 도광되는 시점 영상을 렌티큘러 렌즈 또는 패럴랙스 배리어로 제어하였지만, 나안으로 입체 영상을 시청할 수 있다면, 다른 어떤 기구를 이용하여도 좋다.

본 명세서에 있어서, 흐름도에 기술된 스텝은 기재된 순서에 따라 시계열적으로 행하여지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적으로 또는 개별적으로 실행되는 처리도 포함한다. 또한 시계열적으로 처리되는 스텝이라도, 경우에 따라서는 적절히 순서를 변경하는 것이 가능함은 말할 필요도 없다.

상기 실시예 각각에서 설명된 입체 표시 장치는 본 발명의 실시예에 따른 표시 장치의 한 예시이다. 상기 실시예 각각에서 설명된 위치정보 취득부는 본 발명의 실시예에 따른 취득부의 한 예시이다. 상기 실시예 각각에서 설명된 시청 영역 산출부는 본 발명의 실시예에 따른 산출부의 한 예시이다. 다시점 화상 제어부는 본 발명의 실시예에 따른 제어부의 한 예시이다.

Claims

표시 장치에 있어서,
복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와,
관찰자의 위치정보를 취득하는 취득부와,
상기 관찰자의 위치정보에 의거하여 목표 시청영역을 설정하는 산출부와,
상기 목표 시청영역과 유사한 시청영역을 주는 시점 화상의 배치를 선택하는 제어부를 포함하는 것을 특징으로 하는 표시 장치.
제 1항에 있어서,
상기 산출부는 상기 시청영역 내에 존재하는 관찰자의 수가 최대가 되도록 상기 목표 시청영역을 산출하는 것을 특징으로 하는 표시 장치.
표시 장치에 있어서,
복수의 시점 화상을 주기적으로 배치하여 표시하는 표시부와,
관찰자의 속성정보를 취득하는 취득부와,
상기 관찰자의 속성정보에 의거하여 목표 시청영역을 설정하는 산출부와,
상기 목표 시청영역과 유사한 시청영역을 주는 시점 화상의 배치를 선택하는 제어부를 포함하는 것을 특징으로 하는 표시 장치.
제 1항에 있어서,
상기 산출부가, 적절한 목표 시청영역이 산출 불가능하다고 판정한 경우, 상기 산출부는 상기 적절한 목표 시청영역이 산출 불가능하다는 것을 상기 제어부에 통지하는 것을 특징으로 하는 표시 장치.
제 4항에 있어서,
상기 제어부는 상기 통지에 응하여, 선택된 상기 시점 화상의 배치를 상기 표시부상에 표시하는 것을 특징으로 하는 표시 장치.