KR20080005924A

KR20080005924A - 입체시 화상 생성 장치 및 프로그램

Info

Publication number: KR20080005924A
Application number: KR1020077023695A
Authority: KR
Inventors: 가즈나리 에라
Original assignee: 가즈나리 에라
Priority date: 2005-05-10
Filing date: 2006-05-09
Publication date: 2008-01-15
Also published as: NO340415B1; JP2006319469A; AU2006244955A1; CN101208960A; US20090310935A1; JP4283785B2; CA2607633C; CN101208960B; EP1883250A1; US8325219B2; AU2006244955B2; NO20076179L; KR101265567B1; WO2006121050A1; EP1883250A4; CA2607633A1

Abstract

본 발명에 따른 입체시 화상 생성 장치에서, 취득 수단(11)은, 시계열적으로 배열되어 컨텐츠를 구성하는 복수개의 원화상(original image) Ga를 차례로 취득한다. 산정 수단(12)은, 취득 수단(11)이 취득한 원화상 Ga에 포함되는 복수개의 화소의 화소치로부터 화상 특정치 Ng를 산정한다. 기억 장치(21)는, 컨텐츠를 구성하는 각각의 원화상 Ga의 화상 특성치 Nf와 해당 원화상 Ga로부터 입체시 화상 Gb를 생성하기 위한 입체화 파라미터를 대응시키는 프로젝트 파일 Fp를 기억한다. 검색 수단(13)은, 산정 수단(12)이 특정 원화상 Ga에 대하여 산정한 화상 특성치 Ng와 기억 수단(21)에 기억된 각각의 화상 특성치 Nf를 대비하고, 이 대비한 결과에 기초하여 특정 원화상 Ga의 입체화 파라미터를 프로젝트 파일 Fp로부터 검색한다. 입체화 수단(14)은, 검색 수단(13)이 검색한 입체화 파라미터에 기초하여 각각의 원화상 Ga로부터 입체시 화상 Gb를 생성한다.

입체시 화상, 시차, 입체화 파라미터, 화상 특성치, 프로젝트 파일, 입체화 수단, 컴퓨터, 프로그램

Description

입체시 화상 생성 장치 및 프로그램{STEREOGRAPHIC VIEW IMAGE GENERATION DEVICE AND PROGRAM}

본 발명은, 관찰자에게 입체로서 지각되는 화상을 생성하기 위한 기술에 관한 것이다.

서로 시차(parallex)를 가지는 2개의 화상 중 한쪽을 왼쪽 눈에 시인시키는 동시에 다른 쪽을 오른쪽 눈에 시인시키면, 관찰자에게 그 화상을 입체로서 지각시킬 수 있다. 이와 같은 시차를 가지는 화상(이하 「입체시 화상(stereographic view image)」이라 한다)을 평면 화상으로부터 생성하기 위한 기술이 종래부터 제안되어 있다(예를 들면 특허 문헌 1 참조). 이 기술에 있어서는, 관찰자에게 지각되어야 할 깊이 등 각종 파라미터(이하 「입체화 파라미터」라 한다)에 기초하여 평면 화상에 소정의 처리(이하 「입체화 처리」라 한다)가 실시됨으로써, 입체시 화상이 생성된다. 이와 같은 기술은 복수개의 화상이 시계열적으로 배열된 동화상을 재생하는 경우에도 이용될 수 있다. 즉, 동화상을 구성하는 각각의 화상으로부터 차례로 입체시 화상을 생성하면, 입체감을 가진 동화상을 재생할 수 있다.

[특허 문헌 1}: 일본국 특개2002-123842호 공보(단락 0033 및 도 7)

그런데, 화상에 포함되는 피사체의 배치나 깊이는 화상에 따라 다양하므로, 입체시 화상의 생성에 적용되는 입체화 파라미터는, 입체시 화상의 기초가 되는 평면 화상의 내용에 따라 화상마다 선정되는 것이 바람직하다. 그래서, 영화 등 각종 컨텐츠가 저장된 DVD(Digital Versatile Disk) 등의 기록 매체를 제작하는 경우에는, 그 컨텐츠를 구성하는 화상마다 사전에 선정된 입체화 파라미터를 각각의 화상과 대응시켜서 기록 매체에 저장하는 방법이 기대되고 있다. 이와 같은 기록 매체를 재생할 때, 컨텐츠를 구성하는 각각의 화상으로부터 해당 화상에 대응한 입체화 파라미터에 기초하여 차례로 입체시 화상을 생성하면, 이용자는 각각의 화상의 내용에 따른 자연스러운 입체감을 지각할 수 있다.

그러나, 이와 같은 방법으로는, 기록 매체의 제작시(기록 매체에 컨텐츠를 기록시)에 입체화 파라미터가 병행하여 저장된 컨텐츠를 입체시 화상으로서 재생할 수 있을 뿐이다. 즉, 컨텐츠를 평면 화상으로서 재생하는 것만을 상정하여 제작된 종래의 기록 매체에는 당연히 입체화 파라미터가 저장되어 있지 않으므로, 이 컨텐츠를 입체시 화상으로서 재생할 수 없다. 이 문제를 해소하기 위한 방책으로서는, 컨텐츠를 구성하는 각각의 화상에 대하여 설정된 입체화 파라미터를 기록 매체와 별도로 제공하고, 이 입체화 파라미터에 기초하여 컨텐츠를 입체시 화상으로서 재생하는 방법도 생각할 수 있다. 그러나, 이 경우에는, 컨텐츠를 구성하는 각각의 화상과 그 화상에 대하여 설정된 입체화 파라미터를 반드시 대응시킬 수는 없고, 이 결과로서 적절한 입체시 화상을 생성할 수 없는 경우가 생길 수 있다. 즉, 컨텐츠가 최초로부터 순서대로 재생되는 것만 상정하면, 각각의 화상의 입체화 파라미터를 화상의 배열 순으로 차례로 선택하여 입체시 화상의 생성에 적용함으로써 최적인 입체시 화상을 재생할 수 있지만, 예를 들면 컨텐츠의 재생이 개시되는 지점이 이용자에 의한 조작(예를 들면 빨리 감기 조작이나 되감기 조작)에 따라 변경된 경우에는, 그 변경 후의 화상에 적용되어야 할 입체화 파라미터를 특정할 수 없다. 그러므로, 평면 화상으로서의 재생을 예정하여 작성된 종래의 컨텐츠를 적절한 입체시 화상으로서 재생하는 것은 곤란한 문제가 있다.

본 발명은, 이와 같은 사정을 감안하여 이루어진 것이며, 그 목적은, 입체화 파라미터가 대응되어 있지 않은 컨텐츠를 재생하는 경우라도 각각의 화상에 최적인 입체화 파라미터를 적용하여 자연스러운 입체시 화상을 재생하는 것에 있다.

이 과제를 해결하기 위해, 본 발명에 따른 입체시 화상 생성 장치는, 시계열적으로 배열되어 컨텐츠를 구성하는 복수개의 원화상(original image)을 차례로 취득하는 취득 수단과, 취득 수단이 취득한 원화상에 포함되는 복수개의 화소의 화소치로부터 화상 특성치를 산정하는 산정 수단과, 컨텐츠를 구성하는 각각의 원화상의 화상 특성치와 해당 원화상으로부터 입체시 화상을 생성하기 위한 입체화 파라미터를 대응시켜서 기억하는 기억 수단과, 산정 수단이 특정 원화상에 대하여 산정한 화상 특성치와 기억 수단에 기억된 각각의 화상 특성치를 대비하고, 이 대비의 결과에 기초하여 특정 원화상의 입체화 파라미터를 검색하는 검색 수단과, 검색 수단이 검색한 입체화 파라미터에 기초하여 특정 원화상으로부터 입체시 화상을 생성하는 입체화 수단을 구비한다.

이 구성에 의하면, 컨텐츠를 구성하는 원화상의 화상 특성치와 해당 원화상으로부터 입체시 화상을 생성하기 위한 입체화 파라미터가 대응되어 기억 수단에 기억되는 한편, 취득 수단이 취득한 컨텐츠 중 특정 원화상의 화상 특성치와 기억 수단에 기억된 각각의 화상 특성치와의 대비의 결과에 기초하여 입체화 파라미터가 검색된다. 따라서, 재생의 대상이 되는 컨텐츠의 각각의 원화상과 입체화 파라미터가 사전에 대응되어 있지 않은 경우라도, 컨텐츠의 각각의 원화상에 대해서 최적인 입체화 파라미터를 적용하여 자연스러운 입체시 화상을 생성할 수 있다.

본 발명에서의 「화소치」는, 각각의 화소에 의한 표시의 내용(계조나 휘도)을 지정하는 수치이다. 여러 색(예를 들면 적색, 녹색 및 청색)으로 이루어지는 컬러 화상에서는 채도나 명도 등의 색조를 나타낸 각종 수치가 화소치로서 각각의 색마다 설정된다. 본 발명에서의 「화상 특성치」는, 컨텐츠의 각각의 원화상에 포함되는 복수개의 화소의 화소치로부터 산정되는 수치로서 정의된다. 이 화상 특성치를 화소치로부터 산정하기 위하여 임의의 방법을 사용할 수 있다. 예를 들면, 복수개의 화소의 화소치를 합계함으로써 화상 특성치를 산정하도록 구성해도 되고, 복수개의 화소의 화소치를 소정의 함수에 대입함으로써 화상 특성치를 산정하도록 구성해도 된다. 또한, 화상 특성치를 산정하기 위한 기초가 되는 복수개의 화소는 컨텐츠의 각각의 원화상으로부터 적절하게 선정된다. 보다 구체적으로는, 컨텐츠의 각각의 원화상의 모든 화소의 화소치로부터 화상 특성치를 산정하도록 구성해도 되고, 컨텐츠의 각각의 원화상 중에서 적절하게 선택된 복수개의 화소의 화소치로부터 화상 특성치를 선정하도록 구성해도 된다. 예를 들면, 컨텐츠의 각각의 원화상 중 특정한 영역에 속하는 복수개의 화소(예를 들면 매트릭스 상태로 배열된 복수개의 화소 중 특정한 행이나 열에 속하는 각각의 화소)의 화소치로부터 화상 특성치가 산정되는 방법이다. 또한, 하나의 원화상을 구분한 각각의 영역에 속하는 화소의 화소치로부터 해당 영역마다 화상 특성치가 산정되도록 구성해도 된다. 이 경우에는, 기억 수단이, 컨텐츠를 구성하는 각각의 원화상을 구분한 복수개의 영역의 각각에 대하여 화상 특성치를 해당 원화상의 입체화 파라미터와 대응시켜서 기억하는 한편, 검색 수단은, 산정 수단이 산정한 각각의 화상 특성치와 기억 수단에 기억된 각각의 화상 특성치를 원화상의 영역마다 대비함으로써 특정 원화상에 대응하는 입체화 파라미터를 검색한다. 이 태양에 의하면, 입체화 파라미터의 검색 정밀도를 향상시킬 수 있다. 또한, 이 태양에서는, 산정 수단은, 하나의 원화상을 구분한 복수개의 영역의 각각에 대하여 해당 영역에 속하는 화소의 화소치에 따른 수치를 산정하는 동시에, 이들 수치의 각각의 영역에서의 상대치를 각각의 영역의 화상 특성치로서 산정하도록 하는 구성도 채용된다.

본 발명의 구체적인 태양에 있어서, 산정 수단이 화상 특성치를 산정하는 방법과 기억 수단에 기억되는 화상 특성치를 산정하는 방법은 공통된다. 이 경우에는, 산정 수단이 산정한 화상 특성치와 일치하는 화상 특성치를 기억 수단으로부터 검색하는 간단하고 용이한 처리에 의해 입체화 파라미터를 검색할 수 있다. 그리고, 양쪽의 화상 특성치를 산정하는 방법이 반드시 완전하게 일치할 필요는 없는 것은 당연하다. 이들 방법이 일치하고 있지 않아도, 산정 수단이 산정한 화상 특성치에 가장 근접한 화상 특성치에 대응한 입체화 파라미터를 검색 수단이 검색하도록 하는 구성이나, 산정 수단이 산정한 화상 특성치에 대해서 소정의 관계를 가지는 화상 특성치에 대응한 입체화 파라미터를 검색 수단이 검색하도록 구성하면, 특정 원화상의 입체화 파라미터를 검색할 수 있기 때문이다.

본 발명에서 화상 특성치가 산정되는 「특정 원화상」은, 컨텐츠를 구성하는 복수개의 원화상 중에서 임의로 선정될 수 있다. 예를 들면, 컨텐츠를 구성하는 모든 원화상 각각을 「특정 원화상」으로서 화상 특성치의 산정 대상으로 하여도 되고, 컨텐츠를 구성하는 복수개의 원화상으로부터 소정의 간격마다 선택된 원화상 각각을 「특정 원화상」으로서 화상 특성치의 산정 대상으로 하여도 된다. 여기서, 각각의 원화상의 입체화 파라미터가 복수개의 원화상의 배열에 따라 기억 수단에 기억되어 있는 경우(즉, 각각의 입체화 파라미터가 원화상의 배열 순으로 읽어내도록 기억 수단에 기억되어 있는 경우)에는, 임의의 원화상의 화상 특성치로부터 해당 원화상의 입체화 파라미터가 특정되면, 이 이후의 각각의 원화상의 입체화 파라미터는 먼저 특정 입체화 파라미터에 계속되는 입체 파라미터로서 차례대로 특정되므로, 모든 원화상에 대하여 화상 특성치를 산정할 필요성은 낮다. 그래서, 본 발명의 바람직한 태양에 있어서, 기억 수단은, 각각의 원화상의 입체화 파라미터를 복수개의 원화상의 배열에 따라 기억하고, 검색 수단은, 특정 원화상의 입체화 파라미터를 검색하는 동시에 해당 특정 원화상에 계속되는 각각의 원화상의 입체화 파라미터를 차례로 기억 수단으로부터 검색하고, 입체화 수단은, 특정 원화상에 계속되는 각각의 원화상으로부터, 검색 수단이 차례로 검색한 입체화 파라미터에 기초하여 입체시 화상을 생성한다.

그리고, 컨텐츠가 처음부터 소정의 순서로 재생되는 경우에는, 기억 수단에 기억된 입체화 파라미터를 각각의 원화상의 배열의 순번대로 각각의 원화상에 대응시켜 나가면 되므로, 이 경우에는 모든 원화상에 대하여 화상 특성치를 산정할 필요성은 당연히 낮다고 할 수 있다. 한편, 이용자에 의해 입력된 지시(예를 들면 컨텐츠의 재생을 빨리 감기하기 위한 지시나 되감기 위한 지시)에 따라 컨텐츠의 재생 포인트가 변경된 경우에는, 그 변경 후의 재생 포인트의 원화상에 대하여 어느 입체화 파라미터를 기억 수단으로부터 읽어낼 것인지를 판별할 수 없게 될 가능성이 있다. 그래서, 본 발명의 바람직한 태양에 있어서, 검색 수단은, 컨텐츠의 재생 포인트가 변경된 경우에, 그 변경 후의 재생 포인트에 대응한 원화상을 특정 원화상으로 하여 입체화 파라미터를 검색한다. 이 태양에 의하면, 이용자에 의한 변경 후의 재생 포인트에 대응한 원화상(예를 들면 빨리 감기나 되감기 직후에 재생되는 원화상)에 대하여 화상 특성치가 산정되므로, 컨텐츠를 구성하는 각각의 원화상의 입체화 파라미터를 이용자에 의한 조작에 관계없이 특정하여 입체화 화상의 생성에 적용할 수 있다. 환언하면, 재생 포인트를 변경하는 지시가 이용자에 의해 입력된 경우에 한해서 화상 특성치를 산정하거나 이것에 기초한 입체화 파라미터의 검색을 실행하면 되므로, 예를 들면 모든 원화상에 대하여 이들 처리가 실행되는 구성과 비교하여, 처리의 부하를 경감시킬 수 있는 이점이 있다.

그런데, 컨텐츠를 구성하는 각각의 원화상의 내용(각각의 화소의 화소치)에 따라서는, 각각의 원화상으로부터 산정되는 화상 특성치가 복수개의 원화상에 대하여 공통되는 경우가 있다. 그러므로, 산정 수단이 특정 원화상에 대하여 산정한 화상 특성치에 대하여 각각 별개의 원화상에 대응하는 복수개의 입체화 파라미터가 검색되는 것과 같이, 특정 원화상의 화상 특성치만으로는 일의적으로 입체화 파라미터를 특정할 수 없는 경우도 생길 수 있다. 이와 같은 경우에는, 특정 원화상에 계속되는 각각의 원화상의 화상 특성치도 고려함으로써 이들 원화상의 입체화 파라미터가 특정된다. 즉, 본 발명의 바람직한 태양에 있어서, 검색 수단은, 산정 수단이 특정 원화상에 대하여 산정한 화상 특성치에 대하여, 각각 별개의 원화상에 대응하는 복수개의 입체화 파라미터가 검색되는 경우에, 특정 원화상에 계속되는 각각의 원화상에 대하여 산정 수단이 산정한 화상 특성치와 기억 수단에 기억된 각각의 화상 특성치를 대비함으로써 특정 원화상과 이것에 계속되는 각각의 원화상에 대응하는 입체화 파라미터를 확정한다.

또한, 이와 같이 복수개의 원화상의 화상 특성치로부터 입체화 파라미터가 검색되는 경우, 검색 수단에 의해 입체화 파라미터가 확정되기 전에는 입체화 수단이 적절하게 입체시 화상을 생성할 수 없다. 입체화 파라미터가 확정되기 전에 다른 원화상에 대하여 특정되어 있는 입체화 파라미터에 기초하여 입체화 처리를 실시하는 구성도 고려할 수 있지만, 이 경우에는 특정 원화상과 이것에 계속되는 각각의 원화상으로부터 적절한 입체감을 수반하는 입체시 화상이 생성되지 않을 가능성이 있다. 그래서, 본 발명의 바람직한 태양에 있어서, 입체화 수단은, 산정 수단이 특정 원화상에 대하여 산정한 화상 특성치에 대하여, 별개의 원화상에 대응하는 복수개의 입체화 파라미터가 검색되는 경우에, 특정 원화상과 이것에 계속되는 각각의 원화상에 대응하는 입체화 파라미터가 검색 수단에 의해 확정될 때까지 입체시 화상의 생성을 정지한다. 이 태양에 의하면, 입체화 파라미터가 확정된 단계에서 이들 입체화 파라미터가 입체시 화상의 생성에 이용되므로, 특정 원화상과 이것에 계속되는 각각의 원화상에 대하여 적절한 입체감을 가진 입체시 화상이 생성된다.

또한, 특정 원화상의 화상 특성치에 더하여 다른 지표도 참작하여 각각의 원화상의 입체화 파라미터를 검색하는 구성도 채용된다. 예를 들면, 본 발명의 바람직한 태양에 있어서, 취득 수단이 취득한 복수개의 원화상을 복수개의 그룹으로 구분하는 구분 수단이 설치되는 한편, 기억 수단은, 각각의 원화상의 화상 특성치와 해당 원화상의 입체화 파라미터를 각각이 포함하는 복수개의 레코드를 그룹으로 구분하여 기억하고, 검색 수단은, 산정 수단이 특정 원화상에 대하여 산정한 화상 특성치에 대하여, 별개의 원화상에 대응하는 복수개의 입체화 파라미터가 검색 되는 경우에, 취득 수단이 구분한 그룹 중 특정 원화상이 속하는 그룹의 원화상의 총 개수와 기억 수단에 기억된 각각의 그룹의 레코드에서 대상이 되어 있는 원화상의 총 개수를 대비하고, 이 대비의 결과에 기초하여 특정 원화상이 속하는 그룹에 대응한 입체화 파라미터를 검색한다. 이 태양에 의하면, 화상 특성치에 더하여 각각의 그룹에 속하는 원화상의 총 개수도 고려하여 각각의 원화상의 입체화 파라미터가 검색되므로, 화상 특성치에 의해서만 입체화 파라미터를 검색하는 구성과 비교하여, 그 검색 정밀도를 향상시킬 수 있다. 본 태양의 구체예는 제 3실시예에서 후술한다. 그리고, 여기서는 각각의 그룹에 속하는 원화상의 총 개수에 따라 입체화 파라미터를 검색하는 태양을 예시했지만, 본 발명에 있어서 입체화 파라미터를 검색하기 위한 화상 특성치 이외의 지표는 이것으로 한정되지는 않는다.

본 발명에 따른 입체시 화상 생성 장치는, 화상 처리에 전용되는 DSP(Digital Signal Processor) 등의 하드웨어에 의해 실현되기도 하고, 그 외 퍼스널 컴퓨터 등의 컴퓨터와 프로그램의 협동에 의해서도 실현된다. 이 프로그램은, 컴퓨터에, 시계열적으로 배열되어 컨텐츠를 구성하는 복수개의 원화상을 차례로 취득하는 취득 처리와, 취득 처리로 취득한 원화상에 포함되는 복수개의 화소의 화소치로부터 화상 특성치를 산정하는 산정 처리와, 컨텐츠를 구성하는 원화상의 화상 특성치와 해당 원화상으로부터 입체시 화상을 생성하기 위한 입체화 파라미터를 대응시켜서 해당 컨텐츠의 원화상마다 기억하는 기억 수단으로부터, 산정 처리로 산정한 화상 특성치에 대응하는 입체화 파라미터를 검색하는 검색 처리와, 검색 처리로 검색한 입체화 파라미터에 기초하여 특정 원화상으로부터 입체시 화상을 생성하는 입체화 처리를 실행시킨다. 이 프로그램에 의해서도, 본 발명의 입체시 화상 생성 장치에 대하여 전술한 바와 마찬가지의 작용 및 효과를 얻을 수 있다. 그리고, 본 발명에 따른 프로그램은, CD-ROM 등 휴대용 기록 매체에 저장된 형태로 이용자에게 제공되어 컴퓨터에 인스톨되기도 하고, 그 외 네트워크를 통한 송신 형태로 서버 장치로부터 제공되어 컴퓨터에 인스톨된다.

도 1은 본 발명의 제1 실시예에 따른 입체시 화상 생성 장치의 구성을 나타낸 블록도이다.

도 2는 입체화 처리의 구체적인 내용을 나타낸 흐름도이다.

도 3은 깊이치를 입체화 파라미터에 기초하여 수정하기 위한 처리의 내용을 설명하기 위한 도면이다.

도 4는 평균화 처리의 내용을 설명하기 위한 도면이다.

도 5는 프로젝트 파일의 내용을 나타낸 도면이다.

도 6은 프로젝트 파일을 서버 장치로부터 취득할 때에 표시되는 파일 선택 화면의 내용을 나타낸 도면이다.

도 7은 제어부의 기능적 구성을 나타낸 블록도이다.

도 8은 제어부에 의한 처리의 흐름을 나타낸 도면이다.

도 9는 검색 수단에 의한 처리의 내용을 나타낸 흐름도이다.

도 10은 화상 특성치가 같은 복수개의 레코드를 포함하는 프로젝트 파일을 예시하는 도면이다.

도 11은 본 발명의 제 2실시예 중 제1 태양에서 화상 특성치를 산정하는 방법을 설명하기 위한 도면이다.

도 12는 제1 태양에서의 프로젝트 파일의 내용을 나타낸 도면이다.

도 13은 제1 태양에서의 프로젝트 파일의 다른 예를 나타낸 도면이다.

도 14는 본 발명의 제 2실시예 중 제2 태양에서 화상 특성치를 산정하는 방법을 설명하기 위한 도면이다.

도 15는 본 발명의 제 2실시예 중 제2 태양에서 화상 특성치를 산정하는 다른 방법을 설명하기 위한 도면이다.

도 16은 본 발명의 제 2실시예 중 제3 태양에서의 프로젝트 파일의 내용을 나타낸 도면이다.

도 17은 컨텐츠를 구성하는 복수개의 원화상이 그룹으로 구분되는 모습을 나타낸 도면이다.

도 18은 본 발명의 제 3실시예에서의 프로젝트 파일의 내용을 나타낸 도면이다.

도 19는 제어부의 기능적 구성을 나타낸 블록도이다.

도 20은 검색 수단에 의한 처리의 내용을 나타낸 흐름도이다.

도 21은 화상 특성치가 같은 복수개의 레코드를 포함하는 프로젝트 파일을 예시하는 도면이다.

도 22는 본 발명의 변형예에 따른 프로젝트 파일을 예시하는 도면이다.

도 23은 본 발명의 변형예에 따른 프로젝트 파일을 예시하는 도면이다.

[부호의 설명]

D: 입체시 화상 생성 장치 10: 제어부

11: 취득 수단 12: 산정 수단

13: 검색 수단 14: 입체화 수단

16: 구분 수단 21: 기억 장치

24: 통신부 26: A/D 변환기

28: 입력 장치 31: 재생 장치

32: 재생 장치 38: 커넥터

301: DVD 302: 비디오 테이프

33: 입력 장치 41: 표시 장치

45: 기록 매체 51: 통신망

52: 서버 장치 Ga: 원화상

Gb: 입체시 화상 Pix: 화소

PGM: 화상 처리 프로그램 Fp: 프로젝트 파일

R: 레코드

Nf: 프로젝트 파일에 포함되는 화상 특성

P, Pi: 파라미터 군

Ng: 산정 수단이 산정한 화상 특성치.

<A: 제1실시예>

도 1은 본 발명의 제1 실시예에 따른 입체시 화상 생성 장치의 구성을 나타낸 블록도이다. 도 1에 나타낸 바와 같이, 상기 입체시 화상 생성 장치 D는, 제어부(10)와, 이 제어부(10)에 접속된 기억 장치(21), 통신부(24), A/D(Analog to Digital) 변환기(26) 및 커넥터(38)를 포함한다. 제어부(10)에는, 입력 장치(28), 재생 장치(31) 및 표시 장치(41)가 접속되어 있다. 또한, A/D 변환기(26)의 입력단에는 재생 장치(32)가 접속되어 있다.

재생 장치(31)는, DVD(301)에 기록된 화상 데이터를 차례로 읽어내어 제어부(10)에 출력하는 장치이다. 한편, 재생 장치(32)는, 비디오 테이프(302)에 기록된 화상 데이터를 차례로 읽어내어 출력하는 장치이다. 이 재생 장치(32)로부터 출력된 화상 데이터는 A/D 변환기(26)에 의해 디지털 데이터로 변환된 후에 제어 부(10)에 입력된다. DVD(301) 및 비디오 테이프(302)에는, 시계열적으로 배열되고 영화 작품 등의 컨텐츠를 구성하는 복수개의 화상(이하 「원화상」이라 한다)의 화상 데이터가 기억되어 있다. 재생 장치(31) 및 재생 장치(32)로부터 출력되는 각각의 원화상의 화상 데이터는, 상기 원화상을 구성하는 복수개의 화소 각각에 대하여 화소치를 지정하는 데이터이다. 본 실시예에서는, 적색, 녹색 및 청색의 각각의 화소의 계조가 화소치로서 지정되는 경우를 상정한다.

이용자는, 입력 장치(33)를 적절하게 조작함으로써 재생 장치(31) 또는 재생 장치(32)를 조작할 수 있다. 본 실시예에서의 재생 장치(31) 및 재생 장치(32)는, 이용자가 입력 장치(33)를 조작함으로써 컨텐츠를 재생할 것이 지시되면, 상기 컨텐츠의 최초의 원화상으로부터 각각의 배열 순으로 화상 데이터를 출력하는 한편, 그 재생 중에 이용자가 입력 장치(33)를 조작함으로써 컨텐츠의 빨리 감기 또는 되감기가 지시되면, 이 지시에 의한 변경 후의 재생 포인트에 대응한 원화상 이후의 화상 데이터를 그 배열 순으로 출력한다. 이와 같이 재생 포인트를 변경하는 지시가 입력되면, 재생 장치(31) 또는 재생 장치(32)는, 재생 포인트의 변경을 지시하는 신호(이하 「재생 포인트 변경 신호」라 한다) Sp를 제어부(10)에 출력한다.

제어부(10)는, 이 입체시 화상 생성 장치 D의 각 부를 제어하기 위한 수단이며, 프로그램을 실행하는 CPU(Central Processing Unit)와, 상기 CPU에 의해 실행되는 프로그램을 기억하는 ROM(Read Only Memory)과, CPU에 의해 작업 영역으로서 사용되는 RAM(Random Access Memory)를 포함하고 있다. 이 제어부(10)은, CPU가 프로그램에 따라 각종 연산이나 각 부의 제어를 행함으로써 각종 기능을 실현한다. 입력 장치(28)는, 문자나 기호를 입력하기 위한 복수개의 조작자를 구비하고, 이용자에 의한 조작에 따른 신호를 제어부(10)에 출력한다. 그리고, 하나의 입력 장치가 재생 장치(31) 또는 재생 장치(32)와 입체시 화상 생성 장치 D를 조작하기 위해 겸용되도록 구성되어도 된다.

기억 장치(21)는, 제어부(10)에 의해 실행되는 프로그램이나 상기 프로그램의 실행 시에 사용되는 각종 데이터를 기억하는 수단이다. 예를 들면, 자기 디스크를 내장한 하드 디스크 장치나, CD-ROM으로 대표되는 휴대용 기록 매체를 수용하는 디스크 장치가 기억 장치(21)로서 채용된다. 이 기억 장치(21)는, 입체시 화상 생성 장치 D의 전체의 동작을 제어하기 위한 OS(Operating System) 외에, 재생 장치(31) 또는 재생 장치(32)에 의해 입체시 화상 생성 장치 D에 공급된 원화상의 화상 데이터로부터 입체시 화상을 생성하기 위한 응용 프로그램(이하 「화상 처리 프로그램」이라 한다) PGM를 기억하고 있다. 상기 입체시 화상은, 이용자의 오른쪽눈에 의해 인식되어야 할 화상(이하 「오른쪽눈용 화상」이라 한다)과 이용자의 왼쪽눈에 의해 인식되어야 할 화상(이하 「왼쪽눈용 화상」이라 한다)를 합성한 화상이다. 왼쪽눈용 화상과 오른쪽눈용 화상은 시차(parallex)를 가진다. 즉, 이들 화상은, 원화상에 포함되는 피사체를 구성하는 화소를 상기 피사체의 깊이에 따른 양(이하 「화소 이동량」이라 한다) 만큼 수평 방향으로 이동시킨 화상이다.

제어부(10)에 의해 생성된 입체시 화상은 표시 장치(41)에 표시된다. 이 표시 장치(41)는, 제어부(10)에 의한 제어에 의하여 각종 화상을 표시하는 수단이며, 예를 들면 CRT(Cathode Ray Tube)나 액정 표시 패널 등을 구비하고 있다. 본 실시 예서의 표시 장치(41)는, 입체시 화상 중 오른쪽눈용 화상을 이용자의 오른쪽눈에만 시인시키는 한편, 왼쪽눈용 화상을 이용자의 왼쪽눈에만 시인시키도록 입체시 화상을 표시한다. 이와 같은 표시를 실현하기 위한 방법으로서는, 예를 들면 관찰자에게 보색 안경(좌우의 렌즈가 각각 상이한 색채로 된 안경)이나 편광 안경(좌우의 렌즈에 각각 편광 축이 상이한 편광 판이 부착된 안경)을 장착시키는 방법이나, 렌티큘라 렌즈(lenticular lens) 또는 패럴랙스 배리어(parallex barrier) 등의 기구를 이용하여 이용자의 시야의 일부를 차단하는 방법 등 종래부터 제안되고 있는 각종 방법이 채용된다. 이용자는, 오른쪽눈용 화상을 오른쪽눈에 의해 시인하는 동시에 왼쪽눈용 화상을 왼쪽눈에 의해 시인함으로써, 원화상에 포함되는 각각의 피사체에 대하여 화소 이동량에 따른 깊이를 지각할 수 있다.

제어부(10)가 원화상으로부터 생성하는 입체시 화상의 특성은 상기 원화상에 대하여 설정된 각각의 입체화 파라미터에 따라 결정된다. 여기서, 입체시 화상 생성 장치 D의 각 부의 설명에 앞서, 원화상으로부터 입체시 화상을 생성하기 위한 처리(이하 「입체화 처리」라 한다)의 내용에 대하여 각각의 입체화 파라미터의 구체적인 의의에 대하여 언급하면서 설명한다. 도 2는, 입체화 처리의 구체적인 내용을 예시하는 흐름도이다. 화상 처리 프로그램 PGM의 실행에 의해 입체화 처리를 개시하는과 제어부(10)는, 원화상을 나타내는 화상 데이터에 기초하여 화소마다 깊이치(Z치)를 산정한다(단계 Sa1). 상기 깊이치는, 화소 이동량을 결정하기 위하여 기초가 되는 수치이다. 본 실시예에서는, 원화상의 하나의 화소에서의 적색의 계조를 나타낸 수치(화소치)와 녹색의 계조를 나타낸 수치와 청색의 계조를 나타낸 수치 각각에 대해서 소정의 계수를 곱한 후에 서로 더함으로써 깊이치를 산정한다. 이하에서는, 깊이치가 합계 8비트에 의해 표현되며, 「0」부터 「255」까지의 합계 256 단계의 수치가 될 수 있는 경우를 상정한다.

이어서, 제어부(10)는, 입체시 화상을 자연스러운 입체감을 가진 화상으로 만들기 위해, 단계 Sa1에서 산정한 깊이치를 수정하기 위한 처리를 실행한다(단계 Sa2로부터 단계 Sa5). 도 3은, 수정을 위한 처리에 수반하는 깊이치의 변화의 모습을 단계적으로 나타낸 도면이다. 도 3에서는, 하나의 행에 속하는 화소(표시 장치(41)의 표시면의 가로 방향으로 배열된 화소)의 위치가 가로축에 나타내어지고, 각각의 화소의 깊이치가 세로축에 나타나 있다. 단계 Sa1에서 산정된 깊이치는 도 3의 (a)에 도시되는 바와 같다.

원화상 중 서로 근접하는 화소의 깊이치의 차이가 현저하게 큰 경우에는 이용자에 의해 지각되는 입체시 화상의 품질이 저하될 수 있다. 그래서, 제어부(10)는, 단계 Sa1에서 산정한 깊이치를 평균화하기 위한 처리를 행하다(단계 Sa2). 구체적으로는, 도 4에 나타낸 바와 같이, 제어부(10)는, 원화상 Ga에 포함되는 각각의 화소 Pix의 깊이치를, 그 화소 Pix를 좌상측 코너에 포함하는 영역(이하 「매트릭스 영역」이라 한다) Am에 속하는 각각의 화소 Pix의 깊이치의 평균치로 변경한다. 이 처리의 결과, 도 3의 (b)에 나타낸 바와 같이, 원화상 Ga에서 서로 근접하는 각각의 화소 Pix의 깊이치의 차이는, 단계 Sa1에서 산정된 각각의 깊이치보다 저감되게 된다. 이 처리에서의 매트릭스 영역 Am의 사이즈(이하 「매트릭스 사이즈」라 한다) Sm은 입체화 파라미터 중 하나이다. 매트릭스 사이즈 Sm이 클수록 평균치의 산정에서 참조되는 화소수가 많아지므로, 각각의 화소 Pix의 깊이치의 상이(즉 화소 Pix의 이동량)는 상대적으로 작아지고, 이 결과로서 이용자가 지각하는 입체감은 저감된다. 한편, 매트릭스 사이즈 Sm이 작을수록 평균치의 산정에서 참조 되는 화소수는 적어지므로, 각각의 화소 Pix의 깊이치의 상이는 상대적으로 커지고, 이 결과로서 이용자가 지각하는 입체감은 커진다. 즉, 매트릭스 사이즈 Sm은, 입체시 화상을 시인한 이용자가 지각하는 입체감의 대소를 결정하기 위한 입체화 파라미터이다.

그런데, 입체시 화상에서의 화소 이동량의 최소 단위는 하나의 화소 Pix이다. 따라서, 깊이치가 「1」만큼 증가할 때마다 화소 이동량을 그 최소 단위인 화소 Pix 하나분 만큼 증가시키더라도, 깊이치가 최대인 「255」인 경우에는 화소 이동량이 화소 Pix의 256개분에 해당하는 크기가 된다. 그러나, 화소 이동량이 너무 커지면(예를 들면 표시 장치(41)의 표시면에서 8mm 이상이 되면), 입체시 화상을 시인하는 이용자에게 안정 피로(eye strain)가 생기는 경우나, 오른쪽눈용 화상과 왼쪽눈용 화상이 별개의 화상으로서 인식된 결과, 이용자가 입체감을 지각할 수 없는 경우가 생길 수 있다. 이와 같은 문제를 해결하기 위해, 본 실시예에서는, 단계 Sa2에서 산정된 각각의 화소 Pix의 깊이치를 몇개의 단계의 이산치에 근사시키기 위한 처리(이하 「양자화 처리」라 한다)가 실행된다(단계 Sa3). 구체적으로는, 제어부(10)는, 단계 Sa2에서 산정된 각각의 화소 Pix의 깊이치를 특정한 수치(이하 「정규화 계수」라 한다) MK에 의해 뺄셈하고, 그 결과를 정수화한 수치에 대해서 동일한 정규화 계수 MK를 곱셈한다. 이 결과, 도 3의 (c)에 나타낸 바와 같이, 각각의 화소 Pix의 깊이치는 정규화 계수 MK의 정수배에 해당하는 수치로 근사된다. 따라서, 정규화 계수 MK는, 깊이치가 근사되어야 할 각각의 이산치의 간격의 크기를 나타낸 입체화 파라미터로서 파악된다. 본 실시예에서는, 이 정규화 계수 MK로서, 단계 Sa1에서 산정된 깊이치의 최대(여기서는 「255」)를 오브젝트 심도 Ob에 의해 뺄셈한 수치의 정수 부분이 적용된다. 이 오브젝트 심도 Ob는, 단계 Sa3에서 산정되는 깊이치의 단계 수를 나타내는 입체화 파라미터이다. 전술한 바와 같이 화소 이동량의 단계 수는 깊이치의 단계 수에 비례하기 때문에, 오브젝트 심도 Ob는, 이용자가 입체시 화상을 시인했을 때 가장 내측과 지각하는 위치와 가장 바로 앞쪽과 지각하는 위치와의 격차의 크기를 나타내는 입체화 파라미터일 수도 있다.

이 양자화 처리에 이어서, 제어부(10)는, 각각의 화소 Pix의 깊이치를 특정한 범위 내의 수치로 제한하기 위한 처리를 행한다(단계 Sa4). 즉, 제어부(10)는, 단계 Sa3에서 산정된 각각의 화소 Pix의 깊이치가 상한치 Du보다 클 때는 상기 화소 Pix의 깊이치를 그 상한치 Du로 변경하는 한편, 깊이치가 하한치 D1보다 작을 때에는 상기 화소 Pix의 깊이치를 그 하한치 D1으로 변경한다. 이 상한치 Du 및 하한치 D1도 입체화 파라미터이다. 또한, 제어부(10)는, 단계 Sa4를 거친 모든 화소 Pix의 깊이치에 대해서 공통의 수치(이하 「깊이 심도」라고 한다) Dc를 가산한다(단계 Sa5). 이 깊이 심도 Dc는, 원화상 Ga 전체에 공통되어 반영시켜야 할 깊이를 나타내는 입체화 파라미터이다. 즉, 이용자가 가장 내측으로 지각하는 위치와 가장 앞쪽으로 지각하는 위치와의 범위가 오브젝트 심도 Ob(또는 정규화 계수 MK)에 의해 지정되는 한편, 이 범위의 전체의 깊이가 깊이 심도 Dc에 의해 지정되도록 할 수 있다.

이같이 하여 깊이치를 수정하기 위한 각각의 처리가 완료되면, 제어부(10)는, 각각의 화소 Pix의 깊이치에 기초하여 입체시 화상을 생성한다(단계 Sa6). 즉, 원화상 Ga에 포함되는 각각의 화소 Pix를, 해당 화소 Pix의 깊이치에 따른 양 만큼 수평 방향으로 이동시켜서 오른쪽눈용 화상 및 왼쪽눈용 화상을 생성하고, 이들 화상을 합성함으로써 입체시 화상을 생성한다. 이상이 입체화 처리의 구체적인 내용이다. 본 발명에서, 입체시 화상을 생성하기 위한 처리의 내용이나 각각의 처리에서 적용되는 입체화 파라미터의 내용은 여기에서 예시한 것으로 한정되지 않는 것은 당연하다.

도 1에 나타낸 기억 장치(21)는, 각각이 상이한 컨텐츠에 대응한 복수개의 프로젝트 파일 Fp를 기억하고 있다. 각각의 프로젝트 파일 Fp는, 하나의 컨텐츠를 구성하는 원화상 Ga마다 매트릭스 사이즈 Sm이나 오브젝트 심도 Ob 등, 복수개의 입체화 파라미터 세트(이하 「파라미터 군」이라 한다)를 지정하기 위한 파일이다. 즉, 제어부(10)는, 재생 장치(31) 또는 재생 장치(32)에 의해 재생되는 컨텐츠의 각각의 원화상 Ga에 대해, 상기 컨텐츠에 대응하는 프로젝트 파일 Fp에 원화상 Ga마다 지정되어 있는 파라미터 군을 적용한 입체화 처리를 실행함으로써 입체시 화상을 생성한다. 이용자가 최적의 입체감을 지각할 수 있는 입체시 화상을 생성하기 위한 각각의 입체화 파라미터는 원화상 Ga의 내용에 따라 상이하므로, 프로젝트 파일 Fp에서의 파라미터 군의 각각의 입체화 파라미터는 원화상 Ga마다 바람직한 수치로 설정되어 있다.

그런데, 컨텐츠가 단지 최초로부터 소정의 순서로 재생되는 경우만을 상정하면, 각각의 원화상 Ga의 파라미터 군을 프로젝트 파일 Fp로부터 각각의 원화상의 순서로 선택함으로써 최적인 입체시 화상을 생성할 수 있다. 그러나, 예를 들면 컨텐츠의 재생 포인트가 이용자에 의한 조작(예를 들면 빨리 감기 조작이나 되감기 조작)에 따라 변경된 경우에는, 파라미터 군의 내용만으로서는, 그 변경 후에 재생되는 원화상 Ga의 파라미터 군을 특정할 수 없다. 즉, 컨텐츠를 구성하는 각각의 원화상 Ga와 그 원화상 Ga의 입체화 처리에 적용되어야 할 파라미터 군을 정합(매칭)시킬 수 없게 된다. 이와 같은 문제를 해결하기 위해, 본 실시예의 프로젝트 파일 Fp는, 각각의 원화상 Ga의 입체화 처리에 적용되어야 할 파라미터 군에 대해서, 그 화상을 구성하는 화소의 화소치로부터 산정되는 수치(이하 「화상 특성치」라 한다)가 대응한 데이터 구조로 되어 있다.

보다 상세하게 설명하면, 도 5에 나타낸 바와 같이, 프로젝트 파일 Fp는, 컨텐츠의 원화상 Ga에 각각이 대응하는 복수개의 레코드 R을 이들 원화상 Ga가 재생되는 순서로 배열한 데이터 구조로 되어 있다. 하나의 레코드 R은, 컨텐츠를 구성하는 각각의 원화상 Ga에 할당된 식별자와, 그 원화상 Ga에 대하여 산정된 화상 특성치 Nf와, 그 원화상 Ga의 입체화 처리에 적용되어야 할 파라미터 군 P를 포함한다. 본 실시예에서의 화상 특성치 Nf는, 하나의 원화상 Ga를 구성하는 모든 화소 Pix의 화소치를 합계한 수치이다. 도 5에서는, 화상 식별자가 「0001」인 원화상 Ga의 화상 특성치 Nf가 「1342」이며, 그 원화상 Ga의 입체화 처리에 적용되는 파 라미터 군 P 중 매트릭스 사이즈 Sm으로서 「23」이, 오브젝트 심도 Ob로서 「124」가 지정된 경우를 상정하고 있이다. 이러한 구성하에, 재생 장치(31) 또는 재생 장치(32)로부터 출력되는 각각의 원화상 Ga의 화상 특성치 Ng와 프로젝트 파일 Fp에 포함되는 각각의 화상 특성치 Nf가 대비됨으로써 원화상 Ga에 대응하는 레코드 R이 검색되고, 이 레코드 R에 포함되는 파라미터 군 P가 상기 원화상 Ga의 입체화 처리에 적용되어야 할 파라미터 군 P로서 특정된다(이 처리의 상세한 것은 후술한다). 이들 프로젝트 파일 Fp는, DVD(301)나 비디오 테이프(302)에 기록되는 컨텐츠와는 별개로 작성된 후에 통신부(24)나 커넥터(38)를 통하여 기억 장치(21)에 저장된다. 이 점에 대하여 상세하게 설명하면 이하와 같다.

도 1에 나타낸 커넥터(38)는, 예를 들면 USB(Universal Serial Bus)에 따른 접속 포트이다. 이 커넥터(38)에는, EEPROM(Electrically Erasable Programmable Read Only Memory) 등의 반도체 메모리를 구비한 휴대용 기록 매체(이른바 메모리 카드)(45)가 접속된다. 기록 매체(45)에는 하나 또는 복수개의 프로젝트 파일 Fp가 기록되어 있다. 이용자에 의해 기록 매체(45)가 커넥터(38)에 접속되면, 제어부(10)는, 이 기록 매체(45)에 기록된 복수개의 프로젝트 파일 Fp를 읽어내어 기억 장치(21)에 기입한다. 당연한 것으로서, 기록 매체(45)에 기록된 프로젝트 파일 Fp를 제어부(10)가 입체화 처리 시에 직접적으로 읽어내어 사용하도록 구성되어도 된다.

통신부(24)는, 인터넷 등의 통신망(51)을 통하여 다른 통신 단말기와 통신하기 위한 수단이다. 이 통신망(51)에는 서버 장치(52)가 접속되어 있다. 서버 장 치(52)는, 예를 들면 WWW(World Wide Web) 서버이며, 각각이 상이한 컨텐츠에 대응한 복수개의 프로젝트 파일 Fp를 기억하고 있다. 통신부(24)는, 제어부(10)에 의한 제어 하에 통신망(51)을 통한 통신을 실행함으로써, 서버 장치(52)로부터 프로젝트 파일 Fp를 수신한다. 프로젝트 파일 Fp를 서버 장치(52)로부터 취득하기 위한 단계는 이하와 같다.

통신부(24)가 통신망(51)을 통하여 서버 장치(52)에 액세스하면, 도 6에 예시하는 화면(이하 「파일 선택 화면」이라 한다)(411)이 표시 장치(41)에 표시된다. 이 파일 선택 화면(411)은, 복수개의 컨텐츠 중 어느 하나를 입체시 화상 생성 장치 D의 이용자가 선택하도록 하기 위한 화면이며, 각각의 컨텐츠의 명칭과 커맨드 버튼 B의 조가 나열된 리스트를 포함하고 있다. 이용자가 입력 장치(28)를 조작함으로써 어느 컨텐츠의 커맨드 버튼 B를 지정하면, 서버 장치(52)는, 사전에 축적된 복수개의 프로젝트 파일 Fp 중에서 이용자에 의해 선택된 컨텐츠의 프로젝트 파일 Fp를 선정하고, 이 선정한 프로젝트 파일 Fp를 통신망(51)에 송신한다. 통신부(24)는, 이 프로젝트 파일 Fp를 통신망(51)으로부터 수신한다. 이와 같이 하여 통신부(24)가 수신한 프로젝트 파일 Fp가 제어부(10)에 의해 기억 장치(21)에 기입된다. 이상이 프로젝트 파일 Fp의 내용 및 그 취득 방법이다.

다음에, 도 7은, 제어부(10)의 기능적 구성을 나타낸 블록도이다. 도 7에 나타내는 각각의 수단은 제어부(10)가 화상 처리 프로그램 PGM을 실행함으로써 실현된다. 도 7에 나타내는 취득 수단(11)은, 재생 장치(31) 또는 재생 장치(32)로부터 출력된 복수개의 원화상 Ga의 화상 데이터를 취득하는 수단이다. 전술한 바 와 같이 재생 장치(31) 및 재생 장치(32)는, DVD(301)나 비디오 테이프(302)에 기록된 화상 데이터를 원화상 Ga의 배열 순으로 읽어내어 출력한다. 따라서, 취득 수단(11)은, 각각의 원화상 Ga의 화상 데이터를 각각의 배열 순으로 취득한다. 취득 수단(11)에 의해 취득된 각각의 원화상 Ga의 화상 데이터는 산정 수단(12)과 입체화 수단(14)에 공급된다.

산정 수단(12)은, 취득 수단(11)이 취득한 각각의 원화상 Ga의 화상 데이터로부터 화상 특성치 Ng를 산정하기 위한 수단이다. 이 산정 수단(12)이 화상 특성치 Ng를 산정하는 방법은, 프로젝트 파일 Fp에서의 화상 특성치 Nf를 산정하기 위한 방법과 동일하다. 즉, 산정 수단(12)은, 하나의 원화상 Ga의 화상 데이터가 나타낸 모든 화소 Pix의 화소치를 총 합계함으로써 그 원화상 Ga의 화상 특성치 Ng를 산정한다.

한편, 검색 수단(13)은, 산정 수단(12)에 의해 산정된 화상 특성치 Ng에 기초하여, 프로젝트 파일 Fp에 포함되는 복수개의 파라미터 군 P 중 어느 하나를 검색하는 수단이다. 보다 상세하게 설명하면, 검색 수단(13)은, 어느 원화상 Ga에 대하여 산정 수단(12)이 산정한 화상 특성치 Ng와 일치하는 화상 특성치 Nf를 프로젝트 파일 Fp 중에서 검색하고, 이 화상 특성치 Nf에 대응한 파라미터 군 P를 해당 원화상 Ga의 입체화 처리에 적용되는 파라미터 군으로서 기억 장치(21)로부터 읽어낸다. 여기서, 본 실시예에서는, 각각의 원화상 Ga의 파라미터 군 P를 포함하는 레코드 R이 복수개의 원화상 Ga의 순서로 배열되도록 구성되어 있다. 따라서, 컨텐츠를 구성하는 모든 원화상 Ga에 대하여 화상 특성치 Ng로부터 파라미터 군 P를 검색하지 않아도, 이 중 특정 원화상 Ga의 화상 특성치 Ng로부터 해당 원화상 Ga의 파라미터 군 P가 특정되면, 이것에 계속되는 각각의 원화상 Ga의 파라미터 군 P는 먼저 특정 파라미터 군 P에 계속하여 프로젝트 파일 Fp에 배치된 각각의 파라미터 군 P로서 특정된다. 그래서, 본 실시예에서는, 컨텐츠를 구성하는 복수개의 원화상 Ga 중 특정 원화상 Ga(이하에서는 특히 「특정 화상 Gs」라 할 경우가 있다)에 대한 보고 화상 특성치 Ng로부터 파라미터 군 P가 특정되도록 되어 있다. 보다 구체적으로는, 컨텐츠를 구성하는 최초의 원화상 Ga와 재생 장치(31) 또는 재생 장치(32)로부터 재생 포인트 변경 신호 Sp가 입력된 직후에 취득 수단(11)에 의해 취득된 원화상 Ga가 특정 화상 Gs가 된다.

입체화 수단(14)은, 도 2에 나타낸 순서에 의해 입체시 화상 Gb를 생성하기 위한 수단이다. 이 입체화 수단(14)는, 취득 수단(11)이 취득한 각각의 원화상 Ga에 대해, 검색 수단(13)이 특정 파라미터 군 P의 각각의 입체화 파라미터를 적용한 입체화 처리를 실행함으로써 원화상 Ga마다 입체시 화상 Gb의 화상 데이터를 생성한다. 이 화상 데이터가 표시 장치(41)에 출력됨으로써 입체시 화상 Gb가 표시된다.

다음에, 본 실시예의 동작을 설명한다. 도 8은, 제어부(10)가 도 7에 나타낸 각각의 수단으로서 실행하는 처리의 흐름을 나타낸 블록도이다. 도 8에 나타낸 바와 같이, 컨텐츠를 구성하는 각각의 원화상 Ga의 화상 데이터가 취득 수단(11)에 의해 취득되면, 산정 수단(12)은, 이들 화상 데이터로부터 원화상 Ga마다 화상 특성치 Ng를 산정한다.

이어서, 검색 수단(13)은, 각각의 원화상 Ga에 대응한 파라미터 군 P를 프로젝트 파일 Fp로부터 검색한다. 즉, 먼저, 컨텐츠의 재생이 개시되어 최초의 원화상 Ga(특정 화상 Gs)의 화상 특성치 Ng가 산정 수단(12)에 의해 산정되면, 검색 수단(13)은, 기억 장치(21)에 기억된 복수개의 프로젝트 파일 Fp 중 실제로 재생 대상으로 되어 있는 컨텐츠에 대응하는 프로젝트 파일을 검색한다. 보다 상세하게 설명하면, 검색 수단(13)은, 기억 장치(21)에 기억되어 있는 복수개의 프로젝트 파일 Fp 중, 산정 수단(12)이 산정한 화상 특성치 Ng와 일치하는 화상 특성치 Nf를 최초의 레코드 R에 포함하는 프로젝트 파일 Fp(즉 실제로 재생 대상으로 되어 있는 컨텐츠에 대응하는 프로젝트 파일 Fp)를 특정한다. 그리고, 검색 수단(13)은, 이 검색한 프로젝트 파일 Fp의 최초의 레코드 R에 포함되는 파라미터 군 P를 읽어내어 특정 화상 Gs의 파라미터 군 P로서 입체화 수단(14)에 출력한다. 이어서, 검색 수단(13)은, 먼저 특정한 프로젝트 파일 Fp의 각각의 레코드 R에 포함되는 파라미터 군 P를 그 배열 순으로 기억 장치(21)로부터 차례로 읽어내어 입체화 수단(14)에 출력한다. 이상의 처리에 의해, 컨텐츠의 최초로부터 소정의 순서로 배열된 복수개의 원화상 Ga 각각에 대해, 그 원화상 Ga에 대하여 설정된 파라미터 군 P의 각각의 입체화 파라미터를 적용한 입체화 처리가 입체화 수단(14)에 의해 실시된다. 이와 같이 하여 생성된 입체시 화상 Gb는 표시 장치(41)에 의해 차례로 표시된다.

한편, 컨텐츠의 재생이 개시된 후에 입력 장치(33)에 대한 조작을 계기로 하여 재생 포인트 변경 신호 Sp가 입력되면, 검색 수단(13)은, 도 9에 나타내는 처리를 실행함으로써 각각의 원화상 Ga의 파라미터 군 P를 검색한다. 즉, 재생 포인트 변경 신호 Sp가 입력된 직후에 산정 수단(12)으로부터 화상 특성치 Ng(특정 화상 Gs의 화상 특성치 Ng)를 취득하면(단계 Sb1), 검색 수단(13)은, 컨텐츠의 재생을 개시한 때에 특정한 프로젝트 파일 Fp 중에서 단계 Sb1에서 취득한 화상 특성치 Ng와 일치하는 화상 특성치 Nf를 포함하는 레코드 R를 검색한다(단계 Sb2). 여기서 하나의 레코드 R만 검색되면(단계 Sb3: No), 검색 수단(13)은, 그 레코드 R에 포함되는 파라미터 군 P를 기억 장치(21)로부터 읽어내어 입체화 수단(14)에 출력한다(단계 Sb4). 도 8에서는, 재생 포인트 변경 신호 Sp의 입력의 직후에 특정 화상 Gs가 되는 화상 Gai의 화상 특성치 Ng로서 수치 「428」이 산정된 경우를 상정하고 있이다. 이 경우에는, 프로젝트 파일 Fp 중에서 화상 특성치 Nf가 「428」인 레코드 R이 검색되고, 이 레코드 R에 포함되는 파라미터 군 P가 읽어내어 진다. 도 8에 나타낸 바와 같이, 이 파라미터 군 P는 특정 화상 Gs가 되는 원화상 Gai로부터 입체시 화상 Gb를 생성하기 위해 적용된다. 이어서, 검색 수단(13)은, 단계 Sb2에서 검색한 레코드 R에 계속하여 배치된 각각의 레코드 R의 파라미터 군 P를 순서대로 읽어낸다. 예를 들면, 도 8의 경우에는, 화상 특성치 Nf가 「628」인 레코드 R의 파라미터 군 P가 읽어내어 원화상 Gai + 1의 입체화 처리에 적용되고, 이어서 화상 특성치 Nf가 「29」인 레코드 R의 파라미터 군 P가 읽어내어 원화상 Gai + 2의 입체화 처리에 적용된다.

그런데, 컨텐츠를 구성하는 각각의 원화상 Ga의 내용에 따라서는, 하나의 프로젝트 파일 Fp 중 복수개의 레코드 R에 포함되는 화상 특성치 Nf가 공통되는 경우도 있다. 이와 같은 경우에는 특정 화상 Gs의 화상 특성치 Ng 만으로는 해당 특정 화상 Gs의 파라미터 군 P를 일의적으로 특정할 수 없다. 그래서, 본 실시예에서의 검색 수단(13)은, 단계 Sb1에서 취득한 화상 특성치 Ng로부터 복수개의 레코드 R이 단계 Sb2에서 검색되었는지의 여부를 판정하고(단계 Sb3), 여기서 복수개의 레코드 R이 검색된 것으로 판정한 경우에는, 특정 화상 Gs에 계속되는 각각의 원화상 Ga의 화상 특성치 Ng에 기초하여 파라미터 군 P를 특정한다. 즉, 단계 Sb3에서 복수개의 레코드 R이 검색된 것으로 판정하면, 검색 수단(13)은, 특정 화상 Gs에 계속되는 원화상 Ga의 화상 특성치 Ng를 산정 수단(12)으로부터 취득하고(단계 Sb5), 단계 Sb1에서 취득한 특정 화상 Gs의 화상 특성치 Ng와 단계 Sb4에서 새로 취득한 원화상 Ga의 화상 특성치 Ng를 각각이 포함하는 2개의 레코드 R의 배열을 프로젝트 파일 Fp로부터 검색한다(단계 Sb2). 예를 들면, 도 10에는, 화상 식별자가 「0053」인 원화상 Ga의 화상 특성치 Nf와 화상 식별자가 「0078」인 원화상 Ga의 화상 특성치 Nf가 모두 수치 「845」가 되는 프로젝트 파일 Fp가 예시되어 있다. 이와 같은 경우에는, 단계 Sb3에서 복수개의 레코드 R이 검색된 것으로 판정되는 것이 되지만, 다음의 원화상 Ga의 화상 특성치 Ng로서 「643」을 취득함으로써(단계 Sb5), 화상 식별자가 「0053」인 원화상 Ga가 특정 화상 Gs인 것으로 판단할 수 있다. 검색 수단(13)은, 이같이 하여 특정 화상 Gs의 레코드 R가 특정된 단계에서, 화상 식별자가 「0053」인 특정 화상 Gs의 파라미터 군 P와 화상 식별자가 「0054」인 원화상 Ga의 파라미터 군 P를 입체화 수단(14)에 출력한다. 그리고, 여기서는 특정 화상 Gs의 직후의 원화상 Ga의 화상 특성치 Ng에 의해 파라미터 군 P가 특정되는 경우를 예시했지만, 특정 화상 Gs 및 그 직후의 원화상 Ga의 각각의 화상 특성치 Ng를 고려하더라도 레코드 R을 일의적으로 확정할 수 없는 경우도 있다. 이와 같은 경우, 검색 수단(13)은, 그 다음의 원화상 Ga의 화상 특성치 Ng도 고려하여 해당하는 레코드 R를 검색한다. 이상이 검색 수단(13)에 의한 처리의 내용이다.

도 8에 나타낸 바와 같이, 입체화 수단(14)은, 이상의 단계에서 검색 수단(13)이 특정한 파라미터 군 P의 각각의 입체화 파라미터에 기초하여, 취득 수단(11)으로부터 공급되는 각각의 원화상 Ga의 화상 데이터로부터 입체시 화상 Gb의 화상 데이터를 생성한다. 이와 같이 하여 생성된 화상 데이터가 표시 장치(41)에 출력됨으로써 입체시 화상 Gb가 표시된다. 여기서, 특정 화상 Gs의 화상 특성치 Ng에 의해서 만으로는 파라미터 군 P를 일의적으로 특정할 수 없으므로, 복수개의 원화상 Ga의 화상 특성치 Ng를 참조할 필요가 있는 경우에는, 원화상 Ga의 화상 데이터가 취득 수단(11)으로부터 공급되고 있음에도 불구하고 해당 원화상 Ga에 대응하는 파라미터 군 P가 검색 수단(13)으로부터 공급되고 있지 않는 것처럼, 파라미터 군 P의 공급 타이밍이 화상 데이터의 공급 타이밍보다 지연될 경우가 생길 수 있다. 이와 같은 경우, 입체화 수단(14)은, 파라미터 군 P가 검색 수단(13)으로부터 출력될 때까지 취득 수단(11)으로부터 받은 화상 데이터에 대하여 입체화 처리를 실시 하지 않고 표시 장치(41)에 출력하고, 파라미터 군 P가 검색 수단(13)으로부터 출력된 후에 취득 수단(11)이 취득한 화상 데이터로부터 해당 파라미터 군 P에 기초하는 입체화 처리를 재개한다. 따라서, 이 경우에는, 검색 수단(13)에 의한 파라미터 군 P의 검색이 개시된 때부터 실제로 검색되기까지의 기간 중에 입체 화 수단(14)에 공급되는 원화상 Ga가 평면 화상으로서(즉 입체화 처리를 거치지 않고) 표시 장치(41)에 표시되게 된다. 단, 그 기간은 매우 짧으므로 이용자에게는 거의 인식되지 않는다.

이상에서 설명한 바와 같이, 본 실시예에서는, 컨텐츠를 구성하는 각각의 원화상 Ga의 화상 특성치 Ng에 기초하여 파라미터 군 P가 특정되고나서, 입체화 파라미터가 대응되어 있지 않은 컨텐츠를 재생하는 경우라도, 각각의 원화상 Ga에 대하여 적절한 입체화 파라미터를 적용하여 자연스러운 입체감을 가진 입체시 화상 Gb를 생성할 수 있다. 또한, 본 실시예에서는, 특정 화상 Gs의 화상 특성치 Ng에 의해서만 파라미터 군 P가 일의적으로 특정되지 않는 경우라도, 다음의 원화상 Ga의 화상 특성치 Ng를 참조함으로써 파라미터 군 P를 특정할 수 있다.

<B: 제2 실시예>

제1 실시예에 예시한 프로젝트 파일 Fp의 내용은 적절하게 변경된다. 구체적인 변형의 태양을 열거하면 이하와 같다. 그리고, 본 실시예의 각각의 태양에 따른 입체시 화상 생성 장치 D의 구성은 제1 실시예와 동일하다. 그러므로, 본 실시예에 따른 입체시 화상 생성 장치 D 중 제1 실시예와 공통되는 요소에 대하여는 공통 부호를 부여하여 그 상세한 설명을 적절하게 생략한다. 또한, 이하에서는, 화상 특성치 Ng와 화상 특성치 Nf를 특별히 구별할 필요가 없는 경우에는 「화상 특성치 N」으로 표기한다.

<B-1: 제1 태양>

제1 실시예에서는, 각각의 원화상 Ga를 구성하는 모든 화소 Pix의 화소치로 부터 화상 특성치 N이 산정되는 경우를 예시했다. 이에 비해, 본 태양에서는, 도 11에 나타낸 바와 같이, 하나의 원화상 Ga가 복수개의 영역 A로 구분되고, 그 영역 A마다 화상 특성치 N이 산정되도록 구성되어 있다. 그리고, 도 11에서는, 원화상 Ga가 가로 3열 × 세로 2행의 합계 6개의 영역 A로 구분되는 경우를 예시하고 있지만, 이 구분 개수는 임의로 변경될 수 있다. 한편, 도 12에 나타낸 바와 같이, 본 태양에서의 프로젝트 파일 Fp 중 하나의 화상에 대응하는 레코드 R에는, 그 화상에 할당된 식별자와, 이 화상을 구분한 각각의 영역 A의 번호와, 각각의 영역 A에 속하는 모든 화소 Pix의 화소치를 합계한 수치인 화상 특성치 Nf와, 복수개의 입체화 파라미터를 포함하는 파라미터 군 P가 포함되어 있다.

본 태양에서의 산정 수단(12)은, 취득 수단(11)이 취득한 원화상 Ga의 화상 데이터로부터 해당 원화상 Ga의 각 영역 A마다 화상 특성치 Ng를 산정하여 검색 수단(13)에 출력한다(도 11 참조). 이 때 원화상 Ga를 구분하는 태양(구분 개수나 각각의 영역 A의 가로 세로의 줄)은 프로젝트 파일 Fp의 작성 시에 상정된 태양과 공통된다. 한편, 검색 수단(13)은, 특정 화상 Gs에 대하여 산정 수단(12)이 산정한 각각의 영역 A의 화상 특성치 Ng와, 프로젝트 파일 Fp의 각각의 레코드 R에 포함되는 영역 A마다의 화상 특성치 Nf를 대비함으로써 특정 화상 Gs에 대응하는 레코드 R을 검색하고(도 9의 단계 Sb2), 이 레코드 R에 포함되는 파라미터 군 P를 입체화 수단(14)에 통지한다(단계 Sb4). 특정 화상 Gs의 각각의 화상 특성치 Ng로부터 하나의 레코드 R을 일의적으로 특정할 수 없는 경우에 다음의 원화상 Ga의 각각의 화상 특성치 Ng도 참작하여 레코드 R을 특정하는 점은 상기 제1 실시예와 동일 하다.

이와 같이, 본 태양에서는, 하나의 원화상 Ga에 대하여 복수개의 화상 특성치 Ng가 산정되고, 이들 화상 특성치 Ng에 기초하여 파라미터 군 P가 검색되므로, 상기 제1 실시예와 비교하여 양호한 정밀도로 파라미터 군 P를 검색할 수 있다. 또한, 특정 화상 Gs의 각각의 화상 특성치 Ng에 의해서만 파라미터 군 P를 일의적으로 특정할 수 있는 경우가 제1 실시예보다 증가하므로, 특정 화상 Gs에 계속되는 각각의 화상의 화상 특성치 Ng를 참작하여 파라미터 군 P를 특정하는 처리의 부하를 경감시킬 수 있다.

<B-2: 제2 태양>

제1 실시예 및 제1 태양에서는, 원화상 Ga를 구성하는 모든 화소 Pix의 회소치로부터 화상 특성치 N가 산정되는 구성을 예시했다. 이에 비해, 본 태양에서는, 원화상 Ga를 구성하는 일부의 화소 Pix의 회소치로부터 화상 특성치 N을 산정하도록 구성되어 있다. 예를 들면, 도 14에 사선으로 나타낸 바와 같이, 컨텐츠를 구성하는 각각의 원화상 Ga 중 특정 영역(여기서는 하나의 행) Ap에 속하는 복수개의 화소 Pix의 회소치를 합계한 수치가 해당 원화상 Ga의 화상 특성치 Nf로서 프로젝트 파일 Fp에 포함되는 한편, 산정 수단(12)은, 취득 수단(11)이 취득한 각각의 원화상 Ga 중 해당 영역 Ap에 속하는 화소 Pix의 화소치의 합계치를 화상 특성치 Ng로서 검색 수단(13)에 출력한다. 이 태양에 의해도 제1 실시예와 마찬가지의 효과를 얻을 수 있다. 또한, 본 태양에 의하면, 화상 특성치 Ng의 산정의 대상이 되는 화소 Pix의 개수가 제1 실시예와 비교하여 적으므로, 산정 수단(12)이 화상 특성치 Ng를 산정하는 처리의 부하를 경감시킬 수 있다. 그리고, 원화상 Ga 중 화상 특성치 N의 산정의 대상이 되는 영역 Ap의 태양은 도 14의 예로 한정되지 않는다. 예를 들면, 원화상 Ga 중 하나의 열에 속하는 화소 Pix의 회소치로부터 화상 특성치 N이 산정되도록 구성해도 되고, 복수개의 행 또는 열에 속하는 각각의 화소 Pix의 회소치로부터 화상 특성치 N가 산정되도록 구성해도 된다. 또한, 화상 특성치 N의 산정의 대상이 되는 각각의 화소 Pix가 반드시 연속되어 있을 필요는 없고, 예를 들면 도 15에 나타낸 바와 같이, 원화상 Ga를 구성하는 복수개의 화소 Pix 중 소정의 룰에 따라 선정된 화소 Pix(도 15에서 사선으로 나타낸 화소)의 회소치로부터 화상 특성치 N이 산정되도록 구성해도 된다. 또한, 제1 태양과 같이 원화상 Ga가 복수개의 영역 A로 구분되는 구성 하에서는, 각각의 영역 A에 속하는 일부의 화소의 회소치로부터 화상 특성치 N이 산정되도록 구성해도 된다.

<B-3: 제3 태양>

원화상 Ga를 구성하는 각각의 화소 Pix의 회소치는, 공통의 컨텐츠를 재생한 경우라도 재생 장치(31이나 32)의 사양에 따라 상이한 경우가 있다. 예를 들면, 화상 데이터에 대해서 보정 처리(예를 들면 감마 보정)를 실시하는 기능을 구비한 재생 장치로부터 출력되는 각각의 화소 Pix의 화소치와, 이와 같은 보정 처리를 실시하지 않은 재생 장치로부터 출력되는 각각의 화소 Pix의 회소치는 서로 상이할 수 있다. 따라서, 제1 태양과 같이, 원화상 Ga의 각각의 화소치의 합계치 그 자체가 화상 특성치 N으로 된 구성 하에서는, 그 산정 시에 상정된 재생 장치가 입체시 화상 생성 장치 D에 접속되어 있는 경우에는 파라미터 군 P를 적절하게 검색할 수 있지만, 이와는 다른 재생 장치가 접속되어 있는 경우에는, 프로젝트 파일 Fp에 포함되는 화상 특성치 Nf와 산정 수단(12)에 의해 산정되는 화상 특성치 Ng가 일치하지 않고, 각각의 원화상 Ga에 대응하는 파라미터 군 P를 적절하게 검색할 수 없을 가능성도 있다. 그래서, 본 태양에서는, 도 16에 나타낸 바와 같이, 각각의 영역 A의 화소치의 합계치가 아니고, 각각의 영역 A에서의 회소치의 합계치의 상대치가 화상 특성치 Nf로서 프로젝트 파일 Fp에 포함되도록 구성되어 있다.

도 16에 나타내는 프로젝트 파일 Fp는, 도 13에 나타낸 프로젝트 파일 Fp의 각각의 화상 특성치 Nf를 상대치로 치환한 내용이 되어 있다. 즉, 도 13의 프로젝트 파일 Fp에서는, 화상 식별자가 「0001」인 원화상 Ga 중 영역 번호가 「01」인 영역 A의 화상 특성치 Nf가 회소치의 합계치인 「1342」이며 영역 번호가 「02」인 영역 A의 화상 특성치 Nf가 「345」가 되어 있다. 이에 비해, 도 16에 나타내는 프로젝트 파일 Fp에서는, 화상 식별자가 「0001」인 원화상 Ga 중 영역 번호가 「01」인 영역 A의 회소치의 합계치를 「1」이라 할 때의 상대치가 각각의 영역 A의 화상 특성치 Nf가 되어 있다. 예를 들면, 영역 번호가 「02」인 영역 A의 화상 특성치 Nf는 「0.257(= 345/1342)」이 된다. 한편, 본 태양에서의 산정 수단(12)은, 취득 수단(11)이 취득한 원화상 Ga의 화상 데이터로부터 영역 A마다 회소치의 합계치를 산정하고, 그 합계치의 상대치를 각각의 영역 A의 화상 특성치 Ng로 하여 검색 수단(13)에 출력한다. 검색 수단(13)의 동작은 제1 태양과 동일하다. 본 태양에 의하면, 원화상 Ga의 각각의 영역 A에서의 화상 특성치 N(Ng 및 Nf)이 상대치로 표현되어 있으므로, 입체시 화상 생성 장치 D에 접속된 재생 장치의 사양에 관계없 이 양호한 정밀도로 파라미터 군 P를 검색할 수 있다.

<C: 제3 실시예>

제1 실시예 및 제 2실시예에서는, 특정 화상 Gs의 화상 특성치 Ng에만 기초하여 파라미터 군 P가 특정되는 구성을 예시했다. 본 실시예에서는, 이 화상 특성치 Ng에 더하여 다른 지표를 참작함으로써 파라미터 군 P가 검색되도록 구성되어 있다. 그리고, 이하에서는 제1 실시예의 구성을 기초로 하여 본 실시예를 설명하지만, 제 2실시예의 각각의 태양에 대해서도 동일한 구성이 적용된다. 또한, 본 실시예에 따른 입체시 화상 생성 장치 D 중 제1 실시예와 공통되는 요소에 대하여는 공통 부호를 부여하여 그 상세한 설명을 적절하게 생략한다.

본 실시예에서는, 도 17에 나타낸 바와 같이, 하나의 컨텐츠를 구성하는 일련의 원화상 Ga가 복수개의 그룹으로 구분된다. 보다 구체적으로는, 영화 작품 등의 컨텐츠가 그 영화의 장면마다 그룹으로 구분된다. 여기서, 도 17에 나타낸 바와 같이, 시계열적으로 배열된 복수개의 원화상 Ga를 재생했을 때 화상의 내용이 대폭 변화하는 시점을 특정하고, 이 시점을 경계로 하여 컨텐츠를 구분한 각각의 구간을 「단위 구간」으로 표기한다. 예를 들면, 임의의 원화상 Ga의 화상 특성치 Ng와 그 직후의 원화상 Ga의 화상 특성치 Ng의 차분이 소정의 임계치를 넘는 경우(즉 화상의 내용이 대폭 변화하는 경우)에는, 이들 각각의 화상의 간극이 단위 구간의 경계로서 선정되는 한편, 시간적으로 전후하는 각각의 화상의 화상 특성치 Ng의 차분이 소정의 임계치 미만일 경우에는, 이들 각각의 화상이 동일한 단위 구간에 속하게 된다. 도 17에 나타낸 바와 같이, 각각의 장면에 대응하는 그룹은, 서 로 연속하는 소정수(예를 들면 「4」)의 단위 구간의 집합으로서 특정된다. 각각의 그룹에는 식별자(이하 「그룹 식별자」라 한다)가 할당된다.

도 18은, 본 실시예에서의 프로젝트 파일 Fp의 내용을 나타낸 도면이다. 도 18에 나타낸 바와 같이, 이 프로젝트 파일 Fp는, 각각이 상이한 그룹에 대응하는 복수개의 레코드 R을 포함하고 있다. 하나의 레코드 R에서는, 그 레코드 R에 대응하는 그룹의 그룹 식별자와 그 그룹에 속하는 각각의 원화상 Ga의 화상 식별자와, 이들 원화상 Ga의 각각에 대하여 상기 제1 실시예와 마찬가지의 순서로 산정된 화상 특성치 Nf와, 이들 원화상 Ga의 각각에 대한 입체화 처리에 적용되는 파라미터 군 P가 대응하고 있다. 따라서, 하나의 그룹에 속하는 화상 식별자의 개수를 카운트함으로써, 그 그룹에 속하는 원화상 Ga의 총 수(이하 「그룹 원화상 수」라 한다) m을 특정할 수 있다.

다음에, 도 19는, 본 실시예에서의 제어부(10)의 기능적 구성을 나타낸 블록도이다. 본 실시예에서의 제어부(10)는, 도 7에 나타낸 각각의 수단에 더하여, 컨텐츠를 복수개의 그룹으로 구분하기 위한 구분 수단(16)으로서 기능한다. 이 구분 수단(16)은, 취득 수단(11)이 취득한 일련의 원화상 Ga로부터 각각의 원화상 Ga의 내용에 기초하여 단위 구간의 경계를 검출하고, 소정 수의 단위 구간의 집합을 그룹으로 하여 컨텐츠를 구분한다. 컨텐츠를 그룹으로 구분하는 방법은 도 17을 참조하여 기재한 바와 같다. 그리고, 구분 수단(16)은, 각각의 그룹에 대하여 그룹 원화상 수 m을 산정하여 검색 수단(13)에 출력한다. 이 구분 수단(16)에 의한 처리는 취득 수단(11)으로부터 각각의 원화상 Ga의 화상 데이터가 공급될 때마다 실 행된다.

한편, 본 실시예에서의 검색 수단(13)은, 특정 화상 Gs의 화상 특성치 Ng에 더하여 구분 수단(16)이 산정한 그룹 원화상 수m에 기초하여 각각의 원화상 Ga의 파라미터 군 P를 특정한다. 도 20은, 본 실시예에서의 검색 수단(13)의 동작을 나타낸 흐름도이다. 도 9에 나타낸 제1 실시예의 동작과 마찬가지로, 단계 Sc1 및 단계 Sc2에서 특정 화상 Gs의 화상 특성치 Ng로부터 하나의 파라미터 군 P 만 검색되었을 경우(단계 Sc3: No), 검색 수단(13)은, 상기 제1 실시예와 마찬가지로, 이 파라미터 군 P를 입체화 수단(14)에 출력한다(단계 Sc5). 이에 비해, 특정 화상 Gs의 화상 특성치 Ng로부터 복수개의 파라미터 군 P가 검색되는 경우(단계 Sc3: Yes), 검색 수단(13)은, 그 특정 화상 Gs를 포함하는 그룹의 그룹 원화상 수 m을 구분 수단(16)으로부터 취득하는 동시에, 이 그룹 원화상 수 m와 동일한 수의 화상 식별자를 포함하는 레코드 R(즉 구분 수단(16)이 산정한 총수 m의 원화상 Ga를 포함하는 그룹의 레코드 R)를 검색한다(단계 Sc4). 그리고, 검색 수단(13)은, 이 레코드 R에 포함되는 각각의 파라미터 군 P를 원화상 Ga마다 입체화 수단(14)에 출력한다.

예를 들면 지금, 도 21에 나타낸 바와 같이, 화상 식별자가 「0053」부터 「0082」까지 합계 30개의 원화상 Ga를 포함하는 제1 그룹(그룹 식별자 「010」)과 화상 식별자가 「0160」부터 「0198」인 합계 39개의 원화상 Ga를 포함하는 제2 그룹(그룹 식별자 「013」)으로 컨텐츠가 구분되고, 또한, 화상 식별자가 「0053」인 원화상 Ga의 화상 특성치 Nf와 화상 식별자가 「0160」인 원화상 Ga의 화상 특성치 Nf가 공통의 수치 「845」인 프로젝트 파일 Fp를 상정한다. 여기서, 산정 수단(12)에 의해 산정된 화상 특성치 Ng가 「845」라 하면, 화상 식별자 「0053」에 대응한 파라미터 군 P과 화상 식별자 「0160」에 대응한 파라미터 군 P이 검색되게 되어 하나의 파라미터 군 P 만을 일의적으로 특정할 수 없다. 그러나, 구분 수단(16)에 의해 산정된 그룹 원화상 수 m이 「30」이라 하면, 검색 수단(13)은, 여기서 검색해야 할 파라미터 군 P가 합계 「30」의 원화상 Ga으로 이루어지는 제1 그룹의 파라미터 군 P인 것으로 판단할 수 있다.

이후의 입체화 수단(14)의 동작은 상기 제1 실시예와 동일하다. 단, 도 20의 단계 Sc3에서 「Yes」로 판단된 경우, 특정 화상 Gs가 취득 수단(11)에 의해 취득된 후에 그 특정 화상 Gs를 포함하는 그룹의 최후의 원화상 Ga가 취득되어 그룹 원화상 수 m이 확정될 때까지의 기간 중에는, 검색 수단(13)으로부터 입체화 수단(14)에 파라미터 군 P를 지정할 수 없다. 그래서, 입체화 수단(14)은, 이 구간에 속하는 원화상 Ga의 화상 데이터에 대해서는 입체화 처리를 실시하지 않고 표시 장치(41)에 출력한다. 이 경우라 하더라도, 그 구간은 최대라도 컨텐츠의 하나의 장면에 지나지 않기 때문에 이용자에게 과대한 위화감을 주지는 않고, 또한, 다음의 그룹의 각각의 원화상 Ga에 대해서는 해당 원화상 Ga에 대하여 설정된 입체화 파라미터를 적용하기에 바람직한 입체시 화상 Gb를 생성할 수 있다.

<D: 변형예>

상기 실시예에는 각종 변형이 가해질 수 있다. 구체적인 변형의 태양을 예시하면 이하와 같다. 제1 내지 제3 실시예나 이하에 나타내는 각각의 태양을 적당 히 조합시켜도 된다.

(1) 상기 각각의 실시예에서는, DVD(301)나 비디오 테이프(302) 등의 기록 매체로부터 원화상 Ga가 취득되는 구성을 예시했지만, 원화상 Ga의 취득처는 이러한 매체에 한정되지 않는다. 예를 들면, 동화상을 촬상하는 촬상 장치(디지털 비디오 카메라)로부터 원화상 Ga가 차례로 입체시 화상 생성 장치 D에 공급되는 구성이나, 통신부(24)를 통하여 서버 장치(52)로부터 원화상 Ga가 차례로 입체시 화상 생성 장치 D에 공급되는 구성도 채용된다. 또한, 프로젝트 파일 Fp의 취득처도 임의로 선정된다. 예를 들면, 반도체 메모리를 구비한 기록 매체(45) 외에, 휴대용 자기 디스크로부터 프로젝트 파일 Fp가 읽어들여지도록 구성해도 된다. 또한, 이용자가 입력 장치(28)를 적절하게 조작함으로써 프로젝트 파일 Fp가 작성되는 구성도 채용된다. 또한, 각각의 실시예에서는, 원화상 Ga와는 별개의 경로를 통하여 프로젝트 파일 Fp가 취득되는 구성을 예시했지만, 컨텐츠가 기록된 기록 매체(DVD(301)나 비디오 테이프(302))에 해당 컨텐츠의 프로젝트 파일 Fp가 병행하여 기록된 구성도 채용된다.

(2) 입체화 처리의 내용이나 각각의 입체화 파라미터의 내용 및 종류가 상기 각각의 실시예에 나타낸 것으로 한정되지 않는 것은 물론이다. 즉, 본 발명에서의 입체화 파라미터는, 원화상 Ga로부터 입체시 화상 Gb를 생성하는 입체화 처리에서 적용되는 파라미터이면 된다. 환언하면, 입체화 처리에 의해 생성되는 입체시 화상의 태양(예를 들면 이용자가 지각하는 깊이 등)을 특징짓는 모든 파라미터가 본 발명에서 말하는 「입체화 파라미터」의 개념에 포함된다. 또한, 본 발명에서의 「입체화 수단」은, 이용자가 시차에 기인하여 입체감을 지각하는 입체시 화상 Gb를 원화상 Ga(전형적으로는 평면 화상)로부터 생성하는 모든 수단이면 되고, 그 구체적인 처리의 여부는 특히 문제될 것이 없다.

(3) 프로젝트 파일 Fp의 내용은 각각의 실시예에 나타낸 것으로 한정되지 않는다. 예를 들면, 도 5에 나타낸 화상 식별자는 프로젝트 파일 Fp로부터 적절하게 생략된다. 또한, 제3 실시예에서는 화상 식별자의 총 수로부터 그룹 원화상 수 m을 산정하는 구성을 예시했지만, 이것을 산정하는 방법은 임의이다. 예를 들면, 도 18에 나타내는 하나의 레코드 R에 포함되는 화상 특성치 Nf나 파라미터 군 P의 개수로부터 그룹 원화상 m이 산정되도록 구성해도 되고, 따라서 도 18의 화상 식별자는 적절히 생략된다. 이와 같이, 본 발명에서는, 각각의 원화상 Ga의 화상 특성치 Nf와 그 원화상의 입체화 파라미터가 대응하도록 구성되면 되고, 각각을 기억하는 태양의 여부는 특히 문제될 것이 없다.

예를 들면, 제2 실시예의 제1 태양에서는, 원화상 Ga를 소정의 영역으로 구분하고, 각각의 영역마다 화상 특성치 N을 산정했지만, 예를 들면 이 영역은 매트릭스형으로 한정되지 않아도 된다. 예를 들면, 원화상에 포함되는 오브젝트(인물이나 꽃으로 분리하여 인식되는 피사체)에 대응한 영역을 특정하고, 해당 영역마다(즉 오브젝트마다) 화상 특성치 N을 산정해도 된다. 구체적으로는, 도 22에 나타내는 바와 같이, 각각의 오브젝트 Oi에 대응시켜서 파라미터 군 Pi를 설정해도 된다. 이와 같이 원화상으로부터 오브젝트를 추출하는 경우, 각각의 원화상마다 설정되는 파라미터 군 P에 더하여 해당 파라미터 군 Pi를 비교함으로써, 원화상 및 해당 원화상에 포함되는 각각의 오브젝트에 대해서 적용해야 할 입체화 처리 파라미터를 결정할 수 있다. 그리고, 원화상 Ga로부터 오브젝트를 추출하는 방법은 임의이지만, 예를 들면, 화소치가 동일한 화소군을 결정하고, 화소군 사이의 회소치를 비교하여 물체의 윤곽선을 결정하고, 상기 윤곽선의 내측의 영역을 하나의 오브젝트에 대응한 영역으로서 판정해도 된다.

또한, 프로젝트 파일 Fp에는, 화상 특성치 Nf 대신, 도 23에 나타낸 바와 같이, 화상 특성치 Nf를 소정의 방법으로 구분한 화상 특성 구분 GN의 번호를 저장하는 동시에, 각각의 구분에 파라미터 군 P를 대응시켜 저장하여도 된다. 구분 방법으로서는, 예를 들면 화상 특성치 Nf가 「1 ∼10」의 것은 화상 특성 구분 GN 「1」로, 화상 특성치 Nf가 「11 ∼20」의 것은 화상 특성 구분 GN 「2」로 구분되는 방법을 고려할 수 있다. 이 경우, 원화상의 입체화 처리에 적용해야 할 파라미터 군 P의 특정은, 화상 특성치 Nf가 아니라 화상 특성 구분 GN을 비교함으로써 행해지므로, 재생 장치의 사양 등의 영향에 의해, 완전하게 일치하는 화상 특성치 N이 발견되지 않는 상황이 발생하는 것을 회피할 수 있다. 또한, 동일한 화상 특성 구분 GN에 속하는 원화상 Ga에는 동일한 파라미터 군 P가 설정되므로, 파라미터 군 P의 개수를 줄일 수 있고, 따라서 프로젝트 파일 Fp의 사이즈의 저감이나 검색에 걸리는 처리 시간 단축을 도모할 수 있다.

(4) 상기 각각의 실시예에서는, 입체시 화상 생성 장치 D가 재생 장치(31) 또는 재생 장치(32)나 표시 장치(41)와 별개의 기기(이른바 셋탑 박스)로 된 구성을 예시했지만, 입체시 화상 생성 장치 D의 기능이 재생 장치(31) 또는 재생 장 치(32)나 표시 장치(41) 또는 그 외의 각종 기기에 내장되도록 구성해도 된다. 예를 들면, 각종 기록 매체에 기록된 게임 소프트를 읽어들여서 표시 장치(41)에 화상을 표시하는 게임 기기 등 각종 재생 장치, 또는, 표시 장치가 일체로 구성된 퍼스널 컴퓨터나, 휴대 전화기, 텔레비전 수상기, 자동차 내비게이션 시스템, 프로젝터, 헤드 마운트 디스플레이 등 각종 표시 장치에 대해서, 상기 각각의 실시예와 동일하게 구성된 입체시 화상 생성 장치가 적용된다.

본 발명에 따르면, 입체화 파라미터가 대응되어 있지 않은 컨텐츠를 재생하는 경우라도, 각각의 화상에 최적인 입체화 파라미터를 적용하여 자연스러운 입체시 화상을 재생할 수 있다.

Claims

시계열적으로 배열되어 컨텐츠를 구성하는 복수개의 원화상(original image)을 차례로 취득하는 취득 수단과,

상기 취득 수단이 취득한 원화상에 포함되는 복수개의 화소의 화소치로부터 화상 특성치를 산정하는 산정 수단과,

컨텐츠를 구성하는 각각의 원화상의 화상 특성치와 그 원화상으로부터 입체시 화상(stereographic view image)을 생성하기 위한 입체화 파라미터를 대응시켜서 기억하는 기억 수단과,

상기 산정 수단이 특정 원화상에 대하여 산정한 화상 특성치와 상기 기억 수단에 기억된 각각의 화상 특성치를 대비하고, 이 대비한 결과에 기초하여 상기 특정 원화상의 입체화 파라미터를 검색하는 검색 수단과,

상기 검색 수단이 검색한 입체화 파라미터에 기초하여 상기 특정 원화상으로부터 입체시 화상을 생성하는 입체화 수단

을 포함하는 입체시 화상 생성 장치.
제1항에 있어서,

상기 산정 수단은, 원화상에 포함되는 복수개의 화소의 화소치를 합계함으로써 화상 특성치를 산정하는 것을 특징으로 하는 입체시 화상 생성 장치.
제1항에 있어서,

상기 산정 수단은, 하나의 원화상을 구분한 각각의 영역에 속하는 화소의 화소치로부터 상기 영역마다 화상 특성치를 산정하고,

상기 기억 수단은, 상기 컨텐츠를 구성하는 각각의 원화상을 구분한 복수개의 영역 각각에 대하여 화상 특성치를 그 원화상의 입체화 파라미터와 대응시켜서 기억하고,

상기 검색 수단은, 상기 산정 수단이 산정한 각각의 화상 특성치와 상기 기억 수단에 기억된 각각의 화상 특성치를 원화상의 영역마다 대비함으로써 상기 특정 원화상에 대응하는 입체화 파라미터를 검색하는 것을 특징으로 하는 입체시 화상 생성 장치.
제3항에 있어서,

상기 산정 수단은, 하나의 원화상을 구분한 복수개의 영역 각각에 대하여 그 영역에 속하는 화소의 화소치에 대응한 수치를 산정하는 동시에, 각각의 영역에서의 상기 수치의 상대치를 각각의 영역의 화상 특성치로서 산정하는 것을 특징으로 하는 입체시 화상 생성 장치.
제1항에 있어서,

상기 기억 수단은, 각각의 원화상의 입체화 파라미터를 복수개의 원화상의 배열에 따라 기억하고,

상기 검색 수단은, 상기 특정 원화상의 입체화 파라미터를 검색하는 동시에, 상기 특정 원화상에 계속되는 각각의 원화상의 입체화 파라미터를 차례로 상기 기억 수단으로부터 검색하고,

상기 입체화 수단은, 상기 특정 원화상에 계속되는 각각의 원화상으로부터, 상기 검색 수단이 차례로 검색한 입체화 파라미터에 기초하여 입체시 화상을 생성하는 것을 특징으로 하는 입체시 화상 생성 장치.
제1항 내지 제5항 중 어느 한 항에 있어서,

상기 검색 수단은, 상기 컨텐츠의 재생 포인트가 변경된 경우에, 그 변경 후의 상기 재생 포인트에 대응한 원화상을 상기 특정 원화상으로 하여 입체화 파라미터를 검색하는 것을 특징으로 하는 입체시 화상 생성 장치.
제1항에 있어서,

상기 검색 수단은, 상기 산정 수단이 상기 특정 원화상에 대하여 산정한 화상 특성치에 대하여, 각각 별개의 원화상에 대응하는 복수개의 입체화 파라미터가 검색되는 경우에, 상기 특정 원화상에 계속되는 각각의 원화상에 대하여 상기 산정 수단이 산정한 화상 특성치와, 상기 기억 수단에 기억된 각각의 화상 특성치를 대비함으로써, 상기 특정 원화상과 이것에 계속되는 각각의 원화상에 대응하는 입체화 파라미터를 확정하는 것을 특징으로 하는 입체시 화상 생성 장치.
제7항에 있어서,

상기 입체화 수단은, 상기 산정 수단이 상기 특정 원화상에 대하여 산정한 화상 특성치에 대하여, 별개의 원화상에 대응하는 복수개의 입체화 파라미터가 검색되는 경우에, 상기 특정 원화상과 이것에 계속되는 각각의 원화상에 대응하는 입체화 파라미터가 상기 검색 수단에 의해 확정될 때까지 입체시 화상의 생성을 정지하는 것을 특징으로 하는 입체시 화상 생성 장치.
제1항에 있어서,

상기 취득 수단이 취득한 복수개의 원화상을 복수개의 그룹으로 구분하는 구분 수단을 포함하고,

상기 기억 수단은, 각각의 원화상의 화상 특성치와 그 원화상의 입체화 파라미터를 각각이 포함하는 복수개의 레코드를 그룹으로 구분하여 기억하고,

상기 검색 수단은, 상기 산정 수단이 상기 특정 원화상에 대하여 산정한 화상 특성치에 대하여, 별개의 원화상에 대응하는 복수개의 입체화 파라미터가 검색되는 경우에, 상기 취득 수단이 구분한 그룹 중 상기 특정 원화상이 속하는 그룹의 원화상의 총 개수와, 상기 기억 수단에 기억된 각각의 그룹의 레코드에서 대상이 되어 있는 원화상의 총 개수를 대비하고, 이 대비한 결과에 기초하여 상기 특정 원화상이 속하는 그룹에 대응한 입체화 파라미터를 검색하는 것을 특징으로 하는 입체시 화상 생성 장치.
시계열적으로 배열되어 컨텐츠를 구성하는 복수개의 원화상을 차례로 취득하는 취득 처리와,

상기 취득 처리로 취득한 원화상에 포함되는 복수개의 화소의 화소치로부터 화상 특성치를 산정하는 산정 처리와,

컨텐츠를 구성하는 원화상의 상기 화상 특성치와 그 원화상으로부터 입체시 화상을 생성하기 위한 입체화 파라미터를 대응시켜서 상기 컨텐츠의 원화상마다 기억하는 기억 수단으로부터, 상기 산정 처리로 산정한 상기 화상 특성치에 대응하는 입체화 파라미터를 검색하는 검색 처리와,

상기 검색 처리로 검색한 입체화 파라미터에 기초하여 상기 특정 원화상으로부터 입체시 화상을 생성하는 입체화 처리

를 컴퓨터에 실행시키기 위한, 프로그램.