KR100812905B1

KR100812905B1 - 입체 화상 처리 방법, 장치 및 컴퓨터 판독가능 기록 매체

Info

Publication number: KR100812905B1
Application number: KR1020047015105A
Authority: KR
Inventors: 겐 마시따니; 고로 하마기시; 사또시 다께모또
Original assignee: 산요덴키가부시키가이샤
Priority date: 2002-03-27
Filing date: 2003-03-27
Publication date: 2008-03-11
Also published as: EP2381691A3; KR20050004823A; EP2387248A3; EP2357839A3; EP2381691B1; CN1643939B; EP2357837A2; EP2357835A3; EP1489857A4; EP2357836A2; WO2003081921A1; EP2357841B1; EP2357838B1; EP2357838A2; CN1643939A; EP2357841A3; EP2357840A2; EP2387248A2; EP2357836A3; EP2357841A2

Abstract

입체감 조정부(112)는 입체 화상을 사용자에게 표시한다. 표시된 오브젝트가 한계 시차에 도달하면 사용자는 입체감 조정부(112)에 응답한다. 취득된 적정 시차 정보에 따라 시차 제어부(114)가 이후의 입체 표시에서 해당 적정 시차를 실현하도록 시차 화상을 생성한다. 시차의 제어는 3차원 데이터로 거슬러 올라가 카메라 파라미터를 최적 설정함으로써 실현된다. 적정 시차를 실현하는 기능을 라이브러리화하여 제공한다.

입체감, 시차 화상, 화상 판정, 시차 유지

Description

입체 화상 처리 방법 및 장치{3-DIMENSIONAL IMAGE PROCESSING METHOD AND DEVICE}

본 발명은 입체 화상 처리 기술, 특히 시차 화상을 바탕으로 입체 화상을 생성 또는 표시하는 방법 및 장치에 관한 것이다.

최근 네트워크 인플레이션의 미정비가 문제시 되어 왔지만, 브로드 밴드로의 이행기를 맞이하여 오히려 넓은 대역을 유효하게 활용하는 콘텐츠의 종류나 수가 적다는 것이 눈에 띄기 시작하였다. 영상은 어느 시대에서나 가장 중요한 표현 수단이기는 하지만, 지금까지 착수되었던 대부분은 표시 품질이나 데이터 압축율의 개선에 관한 것으로, 이들에 비하면 표현의 가능성 자체를 넓히는 기술적인 착수는 소홀한 감이 있었다.

그러한 가운데, 입체 영상 표시(이하, 단순히 입체 표시라고 한다)는 예전부터 여러가지로 연구되었으며, 극장 용도나 특수 표시 장치를 이용하는 어느 정도 한정된 시장에서 실용화되어 왔다. 앞으로는 보다 현장감이 넘치는 콘텐츠의 제공을 목표로 이 방면의 연구 개발이 가속화되고, 개인 사용자가 가정에서도 입체 표시를 즐기는 시대가 올 것으로 생각된다.

또한, 입체 표시는 앞으로 보급이 기대되는 것으로, 이에 따라 현재의 표시 장치에서는 상상할 수 없었던 표시 형태도 제안되고 있다. 예를 들면, 2차원 화상의 선택된 부분 화상을 입체로 표시하는 기술이 개시되어 있다(예를 들면, 특개평11-39507호 공보 참조).

이러한 흐름 속에서, 입체 표시에는 예전부터 몇개의 과제가 지적되고 있었다. 예를 들면, 입체감을 만들어 내는 원인이 되는 시차의 적정화가 어렵다. 원래, 3차원의 오브젝트를 정말로 영출(映出)하는 것이 아니라 그 영상을 좌우 양쪽 눈에 대해서 화소 단위로 어긋나게 투영하는 것으로, 그 인공적인 입체감에 자연스러운 느낌을 가지게 하는 것이 용이하지 않다.

또한, 시차가 너무 발생하여도 문제가 되는 경우가 있으므로, 입체 영상의 관찰자(이하, 단순히 사용자라고도 한다)에 따라서는 가벼운 불쾌감을 호소하는 경우도 있다. 물론, 여기에는 입체 표시 뿐만 아니라 표시되는 신(scene)과 자기 주위의 상황 내지 감각이 일치하지 않는 등 여러가지 요인이 있다. 그러나, 경험에 의하면 그러한 문제는 시차가 너무 큰, 바꾸어 말하면 입체감이 지나치게 강한 경우에 관찰되기 쉽다.

이상은 인간의 생리상의 이야기이지만 이와 별도로 입체 영상의 콘텐츠나 애플리케이션의 보급을 저해하는 기술 요인이 있다. 입체시(立體視)는 시차에 의해 실현되는데, 가령 시차를 좌우 화상의 화소 어긋남량으로 표현하여도 표시 장치의 하드웨어의 차이에 의해 동일한 입체 영상이 적절하게 입체시되는 경우와 그렇지 않은 경우가 있다. 먼 곳을 표현하는 시차가 안간(眼間) 거리를 넘어버리면 이론적으로 입체시를 할 수 없다. 오늘날과 같이 표시 장치의 해상도나 스크린 사이즈 가 PC(퍼스널 컴퓨터), 텔레비전 수상기, 휴대 기기 등 다양화되고 있는데 여러가지 하드웨어를 고려하여 입체 표시를 위한 최적의 콘텐츠를 만드는 것은 난제이며, 또한 이를 위한 방법론이 제공되지 않았다고 하는 편이 보다 정확하다.

또한, 가령 그 방법론이 제공되었다고 하여도 그것을 일반 프로그래머가 이해하고 콘텐츠 및 애플리케이션의 작성에 이용하기를 기대한다는 것은 어려울 것이다.

상기 문헌에 개시된 기술은 상술의 과제를 해결하는 한 수법으로 제안되고 있지만, 앞으로 입체 표시를 보급시키기 위해서는 한층 더한 방법을 제안하여 새로운 기술을 축적하는 동시에 이들 기술을 연계하여 제품에 적용시킬 필요가 있다.

본 발명은 이러한 배경을 감안하여 이루어진 것으로, 그 목적은 입체 표시의 새로운 표현 방법을 제안하는 것에 있다. 다른 목적은 표시 대상 화상이나 표시 장치가 바뀌어도 사용자에게 적절한 입체 화상을 생성 또는 표시하는 것에 있다. 또 다른 목적은 입체 표시가 이루어지고 있을 때에 간단한 조작으로 그 입체감을 조정하는 것에 있다. 또 다른 목적은 적절한 입체 표시가 가능한 콘텐츠 또는 애플리케이션의 조성에 있어서 프로그래머의 부담을 경감시키는 것에 있다. 또 다른 목적은 적절한 입체 표시를 실현하는 기술을 비즈니스 모델로 제공하는 것에 있다.

본 발명의 기초를 이루는 발명자의 식견은 적정 시차를 일단 표시 장치의 하드웨어나 사용자와 표시 장치의 거리 등의 요소(이하, 이들을 통괄적으로 「 하드웨어」라고 표현한다)로부터 분리하는 것에 있다. 즉, 적정 시차의 표현을 후술의 카메라 간격과 광축 교차 위치에서 일반화함으로써, 일단 하드웨어에 의존하지 않는 범용적인 형식으로 기술한다. 「하드웨어에 의존하지 않는다」란, 표시 장치에 고유의 하드웨어 정보의 판독이 원칙적으로 불필요하다는 의미이고, 이 범용적인 기술이 이루어진다면 다음에는 그 적정 시차에 의거하여 시차 화상을 생성 또는 조정하여 원하는 입체 표시를 실현한다.

적정 시차의 취득 및 화상의 입체 표시시에 그 적정 시차를 실현하는 제어를 라이브러리로 제공함으로써, 일반 프로그래머가 라이브러리를 호출하면 복잡한 입체시의 원리나 프로그래밍을 의식하지 않고 적정한 입체 표시가 실현된다.

본 발명의 여러 형태중 제1 그룹은 사용자의 응답을 바탕으로 적정 시차를 취득하는 기술을 기본으로 한다. 이 기술은 사용자에 의한 시차의 「초기 설정」에 이용할 수 있으므로, 한번 적정 시차가 장치 내에 취득되면 이후 다른 화상의 표시 때에도 그 적정 시차가 실현된다. 단, 이 기술은 초기 설정에 그치지 않고, 사용자가 적의 표시중인 화상의 시차를 조정하는 「수동 조정」에도 이용된다. 이하, 제1 그룹에 관한 것이다.

본 발명은 입체 화상 처리 장치에 관한 것으로, 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 표시되는 입체 화상에 대한 사용자의 응답을 취득하는 지시 취득부와, 취득된 응답을 바탕으로 그 사용자에 대한 적정 시차를 특정하는 시차 특정부를 포함한다.

지시 취득부는 예를 들면 GUI(그래피컬 유저 인터페이스, 이하 동일)로서 제공되며, 먼저 시점 화상간의 시차를 변경하면서 표시한다. 사용자는 자신이 좋아 하는 입체감이 되었을 때에 버튼 조작 등을 통해 그 취지를 입력한다.

「입체 화상」이란, 입체감을 가지고 표시되는 화상으로, 그 데이터의 실체는 복수의 화상에 시차를 지니게 한 「시차 화상」이다. 시차 화상은 일반적으로 복수의 2차원 화상의 집합이다. 시차 화상을 구성하는 각 화상은 각각 대응하는 시점을 갖는 「시점 화상」이다. 즉, 복수의 시점 화상에 의해 시차 화상이 구성되고, 그것을 표시하면 입체 화상으로 표시된다. 입체 화상의 표시를 단순히 「입체 표시」라고도 한다.

「시차」란, 입체감을 살리기 위한 파라미터로 여러가지 정의가 가능한데, 일 예로서 시점 화상간의 동일한 점을 나타내는 화소의 시프트량으로 표현할 수 있다. 이하, 본 명세서에서는 특별한 언급이 없는 한 그 정의에 따른다.

적정 시차는 범위 지정하여도 된다. 그 경우, 그 범위의 양단을 「한계 시차」라고 부르기로 한다. 「적정 시차의 특정」은 후술의 근접 배치 오브젝트의 시차로서, 허용할 수 있는 최대치로 수행하여도 된다.

본 발명의 입체 화상 처리 장치는 또한 특정된 적정 시차가 다른 화상의 표시 때에도 실현되도록 처리를 실시하는 시차 제어부를 포함하여도 된다. 다른 화상이 3차원 데이터를 기점으로 생성되는 입체 화상일 때, 시차 제어부는 상기된 적정 시차에 따라 그 입체 화상을 생성하는 복수의 시점을 결정하여도 된다. 보다 구체적으로는, 복수의 시점간의 거리와 그들 시점으로부터 오브젝트로의 광축의 교차 위치를 결정하여도 된다. 이들 처리의 일 예는 후술의 카메라 배치 결정부에 의해 이루어진다. 이들 처리를 리얼 타임으로 한다면 항상 최적의 입체 표시가 실 현된다.

시차 제어부는, 표시의 대상이 되는 소정의 기본 3차원 공간에 대하여 적정 시차가 실현되도록 제어하여도 된다. 이 처리의 일 예는 후술의 투영 처리부에 의해 이루어진다.

시차 제어부는, 3차원 공간에서 가장 근접 배치되는 오브젝트의 좌표와 가장 원방 배치되는 오브젝트의 좌표에 대하여 상기 적정 시차가 실현되도록 제어하여도 된다. 이 처리의 일 예는 후술의 투영 처리부에 의해 이루어진다. 오브젝트는 정적이어도 된다.

「근접 배치」는 복수의 시점에 각각 놓인 카메라의 시선, 즉 광축의 교차 위치(이하, 「 광축 교차 위치」라고도 한다)에 있는 면(이하, 「 광축 교차면」이라고도 한다)보다 앞에 입체시되는 시차가 부여된 상태를 가리킨다. 「원방 배치」는 반대로 광축 교차면보다 뒤에 입체시되는 시차가 부여된 상태를 가리킨다. 근접 배치 오브젝트의 시차가 커질수록 사용자에게 근접 감지되고, 원방 배치 오브젝트의 시차가 커질수록 사용자로부터 멀어져 보인다. 즉, 특별한 언급이 없는 한, 시차는 근접 배치, 원방 배치에서 정부(正負)가 반전되지 않고 모두 비부(非負)의 값으로 정의되며, 광축 교차면에서의 근접 배치 시차, 원방 배치 시차는 모두 제로로 한다.

표시되는 오브젝트나 공간중 시차가 없는 부분에 대한 광축 교차면은 표시 장치의 스크린면과 일치한다. 왜냐하면, 시차가 없는 화소는 좌우 양눈에서 보는 시선이 스크린면 내의 동일한 위치에 도달하고, 그곳에서 교차하기 때문이다.

상기된 다른 화상이 이미 시차가 주어진 복수의 2차원 화상인 경우, 시차 제어부가 적정 시차에 따라 이들 복수의 2차원 화상의 수평 방향의 시프트량을 정하여도 된다. 이 형태에서는 입체 표시를 위한 입력이 3차원 데이터를 기점으로 높은 자유도를 가지고 생성되는 것이 아니라 이미 생성된 시차 화상으로, 시차는 고정되어 있다. 이 경우, 원래의 3차원 공간 혹은 실제로 촬영된 실 공간으로 되돌아가 카메라 위치를 변경하여 재묘화 또는 재촬영하는 처리를 할 수 없다. 따라서, 시차 화상을 구성하는 시점 화상 또는 이들에 포함되는 화소를 수평으로 시프트하여 시차를 조정한다.

상기의 다른 화상이 심도(depth) 정보가 주어진 평면 화상(이하 이것을 「심도 정보 포함 화상」이라고도 한다)인 경우, 시차 제어부가 적정 시차에 따라 그 심도를 조정하여도 된다. 이 처리의 일 예는 후술의 제3 입체 화상 처리 장치의 2차원 화상 생성부에 의해 이루어진다.

이 입체 화상 처리 장치는 적정 시차를 기록하는 시차 유지부를 더 포함하고, 시차 제어부는 소정의 타이밍, 예를 들면 이 장치의 기동 시간이나 이 장치가 갖는 입체 화상 처리 기능 또는 그 일부가 기동되었을 때에 적정 시차를 판독하며, 그 값을 초기치로 처리를 실시하여도 된다. 즉, 「기동」은 하드웨어적인 의미이거나 소프트웨어적인 의미이어도 된다. 이 형태에 따르면, 사용자가 한번 적정 시차를 정하면 이후 입체감 조정을 위한 자동 처리가 실현된다. 이것은 「적정 시차의 초기 설정」이라고도 불리우는 기능이다.

본 발명의 다른 형태는 입체 화상 처리 방법에 관한 것으로, 다른 시차에 따 라 복수의 입체 화상을 사용자에게 표시하는 단계와, 표시된 입체 화상에 대한 사용자의 응답을 바탕으로 그 사용자에 대한 적정 시차를 특정하는 단계를 포함한다.

본 발명의 또 다른 형태도 입체 화상 처리 방법에 관한 것으로, 사용자에게 의존하는 적정 시차를 취득하는 단계와, 취득된 적정 시차가 실현되도록 표시 전에 화상에 처리를 가하는 단계를 포함한다. 여기서 「취득」은 적극적으로 특정하는 처리이어도 되고, 상기의 시차 유지부 등으로부터 판독하는 처리이어도 된다.

이들 각 단계를 입체 표시용 라이브러리의 기능으로 실장하고, 복수의 프로그램으로부터 이 라이브러리의 기능을 함수로서 호출 가능하게 구성한다면 프로그래머가 일일이 입체 표시 장치의 하드웨어를 고려하여 프로그램을 기술할 필요가 없어져 효과적이다.

본 발명의 제2 그룹은 사용자의 지시를 바탕으로 시차를 조정하는 기술을 기본으로 한다. 이 기술은 사용자에 의한 시차의 「수동 조정」에 이용될 수 있으므로, 사용자는 적절하게 표시중인 화상의 입체감을 변경할 수 있다. 단, 이 기술은 수동 조정에 그치지 않으며, 임의의 화상을 입체 표시할 때에 전술의 적정 시차를 판독하고, 그 화상의 시차를 자동 조정할 때에도 이용할 수 있다. 제1 그룹의 자동 조정과의 차이는 제2 그룹의 자동 조정이 2차원의 시차 화상 또는 심도 정보 포함 화상에 대하여 작용한다는 점이며, 3차원 데이터까지 시차를 변경하는 경우에는 제1 그룹의 기술을 이용한다. 이하, 제2 그룹에 관한 것이다.

본 발명의 임의의 형태는 입체 화상 처리 장치에 관한 것으로, 복수의 시점 화상으로부터 표시되는 입체 화상에 대한 사용자의 지시를 취득하는 지시 취득부 와, 취득된 지시에 따라 상기 복수의 시점 화상간의 시차량을 변화시키는 시차 제어부를 포함한다. 이 처리의 일 예는 후술의 도45에 도시되며, 「수동 조정」의 전형예이다. 사용자의 지시는 예를 들면 버튼 조작 등의 간단한 GUI로 제공하면 편리성이 높다.

본 발명의 다른 양태도 입체 화상 처리 장치에 관한 것으로, 복수의 시점 화상으로부터 입체 화상을 표시할 때에 발생되는 제1 시차량을 검출하는 시차량 검출부와, 제1 시차량이 사용자의 허용 시차량인 제2 시차량의 범위 내에 포함되도록 상기 복수의 시점 화상간의 시차량을 변화시키는 시차 제어부를 포함한다. 이것은 「자동 조정」의 전형예로, 제2 시차량으로 전술의 적정 시차를 이용할 수 있다. 이 처리의 일 예는 후술의 도46에 도시된다.

시차량 검출부는 제1 시차량의 최대치를 검출하고, 시차 제어부는 그 최대치가 제2 시차량의 최대치을 넘지 않도록 복수의 시점 화상간의 시차량을 변화시켜도 된다. 지나친 시차로 인한 과도한 입체감을 피하기 위하여 시차량의 최대치, 즉 한계 시차를 지키고자 하는 의도이다. 여기서 말하는 최대치는 근접 배치측 최대치라고 생각하여도 된다.

시차량 검출부가 복수의 시점 화상간에서 대응점 매칭을 계산하여 제1 시차량을 검출하거나 또는 복수의 시점 화상중 어느 하나의 헤더에 미리 기록된 제1 시차량을 검출하여도 된다. 이들 처리의 일 예는 후술의 도47에 도시된다.

시차 제어부가 복수의 시점 화상의 합성 위치를 시프트시켜 복수의 시점 화상간의 시차량을 변화시켜도 된다. 이것은 도45 내지 47에 공통이다. 합성 위치의 시프트는 화소 또는 화상 전체를 단위로 하는 수평 또는 수직 방향의 시프트이다. 입력이 심도 정보 포함 화상인 경우, 시차 제어부가 심도 정보를 조정하여 시차량을 변화시켜도 된다.

본 발명의 다른 형태는 입체 화상 처리 방법에 관한 것으로, 복수의 시점 화상을 바탕으로 표시되는 입체 화상에 대한 사용자의 지시를 취득하는 단계와, 그 지시에 따라 상기 복수의 시점 화상간의 시차량을 변화시키는 단계를 포함한다.

본 발명의 또 다른 형태도 입체 화상 처리 방법에 관한 것으로, 복수의 시점 화상으로부터 입체 화상을 표시할 때에 발생되는 제1 시차량을 검출하는 단계와, 제1 시차량이 사용자의 허용 시차량인 제2 시차량의 범위 내에 포함되도록 복수의 시점 화상간의 시차량을 변화시키는 단계를 포함한다.

이들 각 단계를 입체 표시용 라이브러리의 기능으로 실장하고, 복수의 프로그램으로부터 이 라이브러리의 기능을 함수로서 호출 가능하게 구성하여도 된다.

본 발명의 제3 그룹은 화상 내 위치에 의거하여 시차를 보정하는 기술을 기본으로 한다. 이 「자동 보정」은 입체 표시에 대한 사용자의 위화감 또는 거부감을 경감시키도록 작용하며, 제1, 제2 그룹의 기술과 병용될 수 있다. 일반적으로 입체 표시의 경우, 화상 단부에 가까울수록 복수의 시점 화상이 어긋나 관찰되거나 위화감을 낳기 쉽다는 등 기술상 또는 생리상의 문제점이 지적된다. 제3 그룹에서는 화상단에 가까운 부분에서 시차를 줄이거나 오브젝트가 근접 배치로부터 원방 배치측으로 이동하도록 시차를 조정하는 등의 처리를 통해 이 문제의 경감을 도모한다. 이하, 제3 그룹에 관한 것이다.

본 발명이 임의의 형태는 입체 화상 처리 장치에 관한 것으로, 입체 화상을 표시하기 위한 복수의 시점 화상간의 시차를 보정하는 시차 제어부와, 시차 제어부가 그 처리를 할 때에 참조할 보정 맵을 유지하는 맵 유지부를 포함하는데, 이 보정 맵은 시차가 시점 화상 내의 위치에 의거하여 보정되도록 기술되어 있다. 보정 맵에는 시차 보정 맵, 거리감 보정 맵 등이 있다.

시차 제어부는 예를 들면 복수의 시점 화상의 주변부에서 시차를 작게 하거나, 또는 오브젝트가 사용자로부터 보다 멀게 감지되도록 시차를 변화시킨다. 시차 제어부는 복수의 시점 화상중 어느 하나에 선택적으로 처리를 실시하여 시차를 변화시켜도 된다.

복수의 시점 화상은 3차원 데이터로부터 생성되는 것, 즉 3차원 공간까지 되돌아가 시점 화상을 생성할 수 있는 경우에 시차 제어부가 복수의 시점 화상의 생성에 대응하여 카메라 파라미터를 제어하여 시차를 변화시켜도 된다. 카메라 파라미터로는 좌우 카메라의 간격, 카메라로부터 오브젝트를 들여다 보는 각도, 또는 광축 교차 위치 등이 있다.

마찬가지로, 복수의 시점 화상이 3차원 데이터로부터 생성되는 경우에 시차 제어부가 복수의 시점 화상의 생성시 3차원 공간 자체를, 예를 들면 월드 좌표계에 대하여 왜곡시킴으로써 시차를 변화시켜도 된다. 한편, 복수의 시점 화상이 심도 정보 포함 화상으로부터 생성되는 경우, 시차 제어부가 그 심도 정보를 조작하여 시차를 변화시켜도 된다.

본 발명의 다른 형태는 입체 화상 처리 방법에 관한 것으로, 입체 화상을 표 시하기 위한 복수의 시점 화상을 취득하는 단계와, 취득된 상기 복수의 시점 화상간의 시차를 이들 시점 화상 내의 위치에 의거하여 변화시키는 단계를 포함한다. 이들 단계를 입체 표시용 라이브러리의 기능으로 실장하고, 복수의 프로그램으로부터 이 라이브러리의 기능을 함수로서 호출 가능하게 구성하여도 된다.

본 발명의 제4 그룹은 제1 내지 제3 그룹 및 그 관련 기능을 소프트웨어 라이브러리로서 제공하므로써, 프로그래머 및 사용자의 부담을 경감시켜 입체 화상 표시 애플리케이션의 보급을 촉진하는 기술에 관한 것이다. 이하, 제4 그룹에 관한 것이다.

본 발명의 임의의 형태는 입체 화상 처리 방법에 관한 것으로, 입체 화상 표시와 관련된 정보를 메모리상에 유지하고, 그 유지된 정보를 복수의 서로 다른 프로그램간에 공유하며, 이들 프로그램중 어느 하나가 입체 화상을 표시할 때에 유지된 정보를 참조하여 출력할 화상의 상태를 결정한다. 화상 상태의 예는 시차 화상에 어느 정도의 시차가 주어졌는가 하는 정도이다.

「유지된 정보」는 입체 화상 표시 장치에 입력되는 화상의 포맷, 시점 화상의 표시 순서, 시점 화상간의 시차량중 어느 하나의 정보를 포함하여도 된다. 또한, 유지된 정보의 공유와 더불어 입체 화상 표시 고유의 처리를 복수의 프로그램에서 공유하여도 된다. 「입체 화상 표시 고유의 처리」의 일 예는 유지된 정보를 결정하기 위한 처리이다. 다른 예는 적정 시차를 결정하기 위한 그래피컬 유저 인터페이스에 관한 처리, 적정 시차 상태의 실현을 지원하는 시차 조정용 화면의 표시 처리, 사용자의 머리 위치를 검출하여 추적하는 처리, 입체 표시 장치를 조정하 기 위한 화상을 표시하는 처리 등이다.

본 발명의 다른 형태는 입체 화상 처리 장치에 관한 것으로, 입체 표시 화상의 입체감을 조정하기 위한 그래피컬 유저 인터페이스를 사용자에게 제공하는 입체감 조정부와, 사용자에 의한 입체감 조정의 결과 판명되는 한계 시차를 지키는 형식으로 시차 화상을 생성하는 시차 제어부를 포함한다.

이 장치는 또한 입체 화상 표시를 적정화하기 위하여 참조할 정보를 취득하는 정보 검출부와, 취득된 정보에 따라 상기 시차 제어부에서 생성된 시차 화상의 포맷을 변환하는 변환부를 포함히여도 된다.

시차 제어부는 3차원 데이터에 의거하여 카메라 파라미터를 제어하며, 한계 시차를 지키면서 시차 화상을 생성하여도 되고, 심도 정보 포함 화상의 심도를 제어하여 시차 화상을 생성하여도 되며, 시차가 있는 복수의 2차원 화상의 수평 방향의 시프트량을 정한후 시차 화상을 생성하여도 된다.

본 발명의 제5 그룹은 이상의 입체 화상 처리 기술 또는 그 관련 기술을 이용하는 하나의 애플리케이션 또는 비지니스 모델에 관한 것이다. 제4 그룹의 소프트웨어 라이브러리가 이용 가능하다. 이하, 제5 그룹에 관한 것이다.

본 발명의 임의의 형태는 입체 화상 처리 방법에 관한 것으로, 시차 화상을 입체 표시하기 위한 적정 시차를 일단 표시 장치의 하드웨어에 의존하지 않는 표현 형식으로 변환하고, 이 표현 형식에 의한 적정 시차를 서로 다른 표시 장치간에 유통한다.

본 발명의 다른 형태도 입체 화상 처리 방법에 관한 것으로, 제1 표시 장치 에서 취득된 사용자의 적정 시차를 제2 표시 장치로 읽어 들이는 단계와, 제2 표시 장치에서 상기 적정 시차에 따라 시차 화상간의 시차를 조정하는 단계와, 제2 표시 장치로부터 조정후의 시차 화상을 출력하는 단계를 포함한다. 예를 들면, 제1 표시 장치는 사용자가 통상 이용하는 장치, 제2 표시 장치는 다른 장소에 설치된 장치이다. 또한, 제1 표시 장치의 하드웨어에 관한 정보를 제2 표시 장치로 읽어 들이는 단계와, 판독된 제1 표시 장치의 하드웨어에 관한 정보 및 제2 표시 장치의 하드웨어에 관한 정보를 바탕으로 시차 화상의 시차를 조정하는 단계에서 시차가 조정된 시차 화상을 제2 표시 장치에서 적정 시차에 따라 시차를 보정하는 단계를 더 포함하여도 된다.

또한, 하드웨어에 관한 정보는 표시 화면의 크기, 표시 장치의 최적 관찰 거리, 표시 장치의 화상 분리 성능중 적어도 어느 하나를 포함하여도 된다.

본 발명의 다른 형태는 입체 화상 처리 장치에 관한 것으로, 네트워크를 통해 접속된 제1 표시 장치, 제2 표시 장치 및 서버를 포함하되, 제1 표시 장치는 해당 장치에서 취득된 사용자의 적정 시차 정보를 서버로 송신하고, 서버는 적정 시차 정보를 수신하여 이것을 사용자와 관련지어 기록하며, 사용자가 제2 표시 장치에서 화상 데이터의 출력을 요구하였을 때에 해당 장치는 서버로부터 그 사용자의 적정 시차 정보를 판독하여 시차를 조정한 후 시차 화상을 출력한다.

본 발명의 제6 그룹은 입체 화상을 이용하는 새로운 표현 방법을 제안하는 기술을 기본으로 한다.

본 발명의 임의의 형태는 입체 화상 처리 장치에 관한 것이다. 이 입체 화 상 처리 장치는 서로 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 입체 화상을 표시하는 입체 화상 처리 장치로서, 해당 입체 화상 표시 장치를 이용하여 입체 화상을 표시할 때에 추장(推奬)되는 시차 범위를 취득하는 추장 시차 취득부와, 취득된 추장되는 시차 범위 내에서 상기 입체 표시 화상을 표시하도록 시차를 설정하는 시차 제어부를 갖는다.

또한, 입체 화상에 포함되는 소정의 오브젝트의 지정을 사용자로부터 접수받는 오브젝트 지정부와, 지정된 오브젝트의 위치에 복수의 시점 화상 각각에 관련지어진 광축 교차 위치를 대응시키는 동시에 지정된 오브젝트가 입체 화상이 표시되는 표시 화면의 위치 부근에 표현되도록 광축의 교차 위치를 설정하는 광축 교차 위치 설정부를 더 가져도 된다.

또한, 지정된 오브젝트에 대하여, 지정된 오브젝트가 광축 교차 위치와 대응되고, 또한 상기된 오브젝트가 표시 화면 위치 부근에 표현된다는 취지가 기술된 광축 대응 정보를 상기된 오브젝트와 관련짓는 지정 정보 부가부를 더 가져도 된다.

또한, 광축 교차 위치 설정부는, 광축 대응 정보를 취득하고, 취득된 광축 대응 정보에 기술되어 있는 오브젝트에 대하여 광축 교차 위치를 대응시키는 동시에 광축 교차 위치가 대응되는 오브젝트를 상기 입체 화상이 표시되는 표시 화면 위치 부근에 표현하여도 된다.

또한, 입체 화상을 생성할 때에 이용되는 화상 데이터와 관련지어져 있으며, 입체 화상에 포함되는 오브젝트에서 입체 표시할 오브젝트가 포함되는 기본 표현 공간 내에 표현할지 여부의 정보가 포함되어 있는 식별 정보를 취득하는 식별 정보 취득부를 더 가져도 되고, 시차 제어부는 취득된 식별 정보를 오브젝트를 입체 화상으로 표현할 때에 반영시켜도 된다.

또한, 식별 정보는 상기 오브젝트를 기본 표현 공간 내에 표현할 때의 타이밍에 관한 정보를 포함하여도 되고, 식별 정보 취득부는 취득된 타이밍을, 오브젝트를 입체 화상으로 표현할 때에 반영시켜도 된다.

본 발명의 다른 형태는 입체 화상 처리 방법에 관한 것이다. 이 입체 화상 처리 방법은 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 표시되는 입체 화상에 포함되는 소정의 오브젝트를 선택 가능하게 하고, 오브젝트가 선택된 경우에 선택된 오브젝트의 위치에 상기된 복수의 시점 화상 각각에 관련지어진 광축 교차 위치를 대응시키는 동시에 그 광축 교차 위치를 입체 화상이 표시되는 표시 화면 위치와 대략 일치시킨다. 이 입체 화상 처리 방법에 따르면, 표시 화면을 원방 배치 공간과 근접 배치 공간의 경계에 설정할 수 있으므로, 오브젝트가 표시 화면을 넘어 관찰자를 향해 오는 듯한 표현이 가능해진다.

또한, 지정된 오브젝트가 소정의 계면을 가지고, 광축 교차 위치 설정부가 계면상에 광축 교차 위치를 대응시켜도 된다. 또한, 입체 화상이 3차원 데이터를 기점으로 생성되어도 된다. 3차원 데이터를 기점으로 입체 화상이 생성되는 경우, 입체 화상에 여러가지 효과를 가미하는 것이 용이하다. 예를 들면, 임의의 오브젝트가 계면, 즉 표시 화면을 넘도록 표현할 때에 그 표시 화면을 변형시키는 듯한 효과를 가미할 수 있다.

본 발명의 또 다른 형태도 입체 화상 처리 방법에 관한 것이다. 이 입체 화상 처리 방법은 서로 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 생성되는 입체 화상이 표시되는 표시 화면 부근에 입체 화상의 일부로서 공간과 공간을 사이에 둔 계면을 설정하는 동시에 그 계면을 근접 배치 공간 및 원방 배치 공간의 경계로서 입체 화상을 표현한다. 또한, 계면은 물질과 물질의 경계면이어도 되고, 박판이어도 된다. 박판으로는 유리판이나 종이 등이 있다.

본 발명의 또 다른 형태는 입체 화상 처리 방법에 관한 것이다. 이 입체 화상 처리 방법은 서로 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 생성되는 입체 화상에 포함되고 또한 입체 표시할 오브젝트가 포함되는 기본 표현 공간 내에 표현될 오브젝트의 이동 속도를 근접 배치 또는 원방 배치 방향에 대하여 변경하는 단계를 포함한다.

본 발명의 또 다른 형태도 입체 화상 처리 방법에 관한 것이다. 이 입체 화상 처리 방법은 서로 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 입체 화상을 생성할 때에 입체 표시할 오브젝트가 포함되는 기본 표현 공간 내에 표현될 오브젝트를 소정의 시차 범위 내에 포함되도록 표현하면서 상기 기본 표현 공간의 최전면 혹은 최후면중 적어도 한쪽 면을 오브젝트가 존재하지 않는 위치로 설정한다.

본 발명의 또 다른 형태도 입체 화상 처리 방법에 관한 것이다. 이 입체 화상 처리 방법은 서로 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 입체 화상을 생성할 때에 입체 표시할 오브젝트가 포함되는 기본 표현 공간 내에 표현될 오브젝트의 시차를 산출하는 경우, 오브젝트의 실제 사이즈 대신에 오브젝트 전방의 확장 영역을 포함하는 사이즈로 오브젝트의 시차를 산출한다. 또한, 전방의 확장 영역을 포함하는 형식으로 오브젝트가 이동함에 따라 기본 표현 공간의 최전면에 위치한 후, 오브젝트가 더욱 전방으로 이동하는 경우에 오브젝트를 전방의 확장 영역을 이동하도록 표현하여도 된다.

본 발명의 또 다른 형태도 입체 화상 처리 방법에 관한 것이다. 이 입체 화상 처리 방법은 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 입체 화상을 생성할 때에 입체 표시할 오브젝트가 포함되는 기본 표현 공간 내에 표현될 오브젝트의 시차를 산출하는 경우, 오브젝트의 실제 사이즈 대신에 오브젝트 후방의 확장 영역을 포함하는 사이즈로 오브젝트의 시차를 산출한다. 또한, 전방의 확장 영역을 포함하는 형식으로 오브젝트가 이동함에 따라 기본 표현 공간의 최후면에 위치한 후, 오브젝트가 더욱 후방으로 이동하는 경우에 오브젝트가 후방의 확장 영역을 이동하도록 표현하여도 된다.

본 발명의 제7 그룹은 화상의 상태에 따라 설정할 시차를 조정하는 기술을 기본으로 한다.

본 발명의 임의의 형태는 입체 화상 처리 장치에 관한 것이다. 이 입체 화상 처리 장치는 3차원 데이터를 통해 입체 화상을 생성할 때에 입체 화상 내에 표현되는 오브젝트의 폭과 깊이의 비율이 인간의 눈에 바르게 지각되는 범위의 시차보다 시차가 커지지 않도록 제어하는 시차 제어부를 갖는다.

본 발명의 다른 형태도 입체 화상 처리 장치에 관한 것이다. 이 입체 화상 처리 장치는 심도 정보가 부여된 2차원 화상보다 입체 화상을 생성할 때에 상기 입체 화상 내에 표현되는 오브젝트의 폭과 깊이의 비율이 인간의 눈에 바르게 지각되는 범위의 시차보다 시차가 커지지 않도록 제어하는 시차 제어부를 갖는다.

본 발명의 또 다른 형태도 입체 화상 처리 장치에 관한 것이다. 이 입체 화상 처리 장치는 서로 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 표시되는 입체 화상을 주파수 분석하는 화상 판정부와, 주파 분석에 의해 판명되는 고주파 성분의 양에 대응하여 시차량을 조정하는 시차 제어부를 갖는다. 또한, 시차 제어부는 고주파 성분의 양이 많은 경우에 시차량을 크게 하는 조정을 수행하여도 된다.

본 발명의 또 다른 형태도 입체 화상 처리 장치에 관한 것이다. 이 입체 화상 처리 장치는 서로 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 표시되는 입체 화상의 움직임을 검출하는 화상 판정부와, 입체 화상의 움직임 양에 대응하여 시차량을 조정하는 시차 제어부를 갖는다. 또한, 시차 제어부는 상기 입체 화상의 움직임 양이 적은 경우에 시차량을 작게 하는 조정을 수행하여도 된다.

본 발명의 또 다른 형태도 입체 화상 처리 장치에 관한 것이다. 이 입체 화상 처리 장치는, 3차원 데이터에 의해 입체 화상을 생성할 때에 시차 화상을 생성하기 위하여 설정되는 카메라 배치에 관한 파라미터가 변경되는 경우, 카메라 파라미터를 상기 파라미터의 변동에 대하여 미리 설정된 임계치 내에 포함되도록 제어한다. 이 장치에 따르면, 시차가 급격하게 변화하여 입체 화상 관찰자가 위화감을 느끼는 것을 저감시킬 수 있다.

본 발명의 또 다른 형태도 입체 화상 처리 장치에 관한 것이다. 이 입체 화상 처리 장치는 심도 정보가 부여된 2차원 동화상으로부터 동화상의 입체 화상을 생성할 때에 2차원 동화상의 진행에 따라 발생되는 심도 정보에 포함된 심도의 최대치 혹은 최소치의 변동이 미리 설정된 임계치 내에 포함되도록 제어한다. 이 장치에 따르면, 시차가 급격하게 변화하여 입체 화상 관찰자가 위화감을 느끼는 것을 저감시킬 수 있다.

본 발명의 또 다른 형태는 입체 화상 처리 방법에 관한 것이다. 이 입체 화상 처리 방법은 서로 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 표시되는 입체 화상의 적정 시차를 신(scene)을 단위로 설정한다.

본 발명의 또 다른 형태는 입체 화상 처리 방법에 관한 것이다. 이 입체 화상 처리 방법은 서로 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 표시되는 입체 화상의 적정 시차를 소정의 시간 간격으로 설정한다.

본 발명의 다른 형태는 입체 화상 처리 장치에 관한 것이다. 이 입체 화상 처리 장치는 입체 화상의 기점이 되는 오리지널 데이터가 입력되었을 때에 복수의 시점 화상을 생성하기 위한 복수의 가상 카메라의 배치를 설정하는 카메라 배치 설정부와, 가상 카메라 각각에 대응하여 생성되는 시점 화상에 표시할 오브젝트의 정보가 존재하지 않는 영역이 발생하였는지 여부를 판정하는 오브젝트 영역 판정부와, 표시할 오브젝트의 정보가 존재하지 않는 영역이 발생한 경우에 오브젝트의 정보가 존재하지 않는 영역이 없어지도록 가상 카메라의 화각, 카메라 간격 및 광축의 교차 위치중 적어도 어느 하나를 조정하는 카메라 파라미터 조정부를 갖는다.

또한, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 기록 매체, 컴퓨터 프로그램 등의 사이에서 변환시키는 것 또한 본 발명의 형태로서 유효하다.

상술된 목적과 그 이외의 목적, 특징 및 이점은 이하에 기술되는 바람직한 실시 형태와 그에 부수되는 이하의 도면에 의해 더욱 명확해진다.

도1은 이상적인 입체시(立體視)가 이루어진 사용자, 스크린, 재생 오브젝트(14)의 위치 관계를 도시한 도면이다.

도2는 도1의 상태를 실현하는 촬영계의 예를 도시한 도면이다.

도3은 도1의 상태를 실현하는 촬영계의 다른 예를 도시한 도면이다.

도4는 도1의 상태를 실현하는 촬영계의 다른 예를 도시한 도면이다.

도5는 제1 입체 화상 처리 장치에서 이용되는 모델 좌표계를 도시한 도면이다.

도6은 제1 입체 화상 처리 장치에서 이용되는 월드 좌표계를 도시한 도면이다.

도7은 제1 입체 화상 처리 장치에서 이용되는 카메라 좌표계를 도시한 도면이다.

도8은 제1 입체 화상 처리 장치에서 이용되는 뷰 볼륨을 도시한 도면이다.

도9는 도8의 볼륨의 투시 변환 후의 좌표계를 도시한 도면이다.

도10은 제1 입체 화상 처리 장치에서 이용되는 스크린 좌표계를 도시한 도면 이다.

도11은 제1 입체 화상 처리 장치의 구성도이다.

도12는 제2 입체 화상 처리 장치의 구성도이다.

도13은 제3 입체 화상 처리 장치의 구성도이다.

도14(a), 도14(b)는 제1 입체 화상 처리 장치의 입체감 조정부에 의해 표시되는 좌안(左眼) 화상과 우안(右眼) 화상을 도시한 도면이다.

도15는 제1 입체 화상 처리 장치의 입체감 조정부에 의해 표시되는 서로 다른 시차를 갖는 복수의 오브젝트를 도시한 도면이다.

도16은 제1 입체 화상 처리 장치의 입체감 조정부에 의해 표시되는 시차가 변화하는 오브젝트를 도시한 도면이다.

도17은 적정 시차가 실현될 때의 카메라 화각, 화상 사이즈, 시차 관계를 도시한 도면이다.

도18은 도17의 상태를 실현하는 촬영계의 위치 관계를 도시한 도면이다.

도19는 도17의 상태를 실현하는 촬영계의 위치 관계를 도시한 도면이다.

도20은 다시점 화상을 적정 시차로 생성할 때의 카메라 배치를 도시한 도면이다.

도21은 제1 입체 화상 처리 장치의 왜곡 처리부가 이용하는 시차 보정 맵을 도시한 도면이다.

도22는 도21의 시차 보정 맵에 따라 시차 화상을 생성할 때의 카메라 시점을 도시한 도면이다.

도23은 도21의 시차 보정 맵에 따라 시차 화상을 생성할 때의 다른 카메라 시점을 도시한 도면이다.

도24는 제1 입체 화상 처리 장치의 왜곡 처리부가 이용하는 시차 보정 맵을 도시한 도면이다.

도25는 도24의 시차 보정 맵에 따라 시차 화상을 생성할 때의 카메라 시점을 도시한 도면이다.

도26은 제1 입체 화상 처리 장치의 왜곡 처리부가 이용하는 거리감 보정 맵을 도시한 도면이다.

도27은 도26의 거리감 보정 맵에 따라 시차 화상을 생성할 때의 카메라 시점을 도시한 도면이다.

도28는 제1 입체 화상 처리 장치의 왜곡 처리부가 이용하는 다른 거리감 보정 맵을 도시한 도면이다.

도29는 도28의 거리감 보정 맵에 따라 시차 화상을 생성할 때의 카메라 시점을 도시한 도면이다.

도30(a), 도30(b), 도30(c), 도30(d), 도30(e), 도30(f)는 모두 제1 입체 화상 처리 장치의 왜곡 처리부가 3차원 공간에서 처리를 실시한 결과 얻어지는 시차 분포의 상면도이다.

도31은 제1 입체 화상 처리 장치의 왜곡 처리부에 의한 처리 원리를 도시한 도면이다.

도32는 도31의 처리를 구체적으로 도시한 도면이다.

도33은 도31의 처리를 구체적으로 도시한 도면이다.

도34는 도31의 처리를 구체적으로 도시한 도면이다.

도35는 제1 입체 화상 처리 장치의 왜곡 처리부에 의한 처리의 다른 예를 도시한 도면이다.

도36은 도35의 처리를 구체적으로 도시한 도면이다.

도37은 심도 맵을 도시한 도면이다.

도38은 제3 입체 화상 처리 장치의 왜곡 처리부에 의한 처리 예를 도시한 도면이다.

도39는 제3 입체 화상 처리 장치의 왜곡 처리부에 의한 처리에 의해 생성된 심도 맵을 도시한 도면이다.

도40은 제3 입체 화상 처리 장치의 왜곡 처리부에 의한 처리의 다른 예를 도시한 도면이다.

도41은 제2 입체 화상 처리 장치의 2차원 화상 생성부에 의한 처리 예를 도시한 도면이다.

도42는 시차 화상의 예를 도시한 도면이다.

도43은 제2 입체 화상 처리 장치의 2차원 화상 생성부에 의해 합성 위치가 시프트된 시차 화상을 도시한 도면이다.

도44는 제2 입체 화상 처리 장치의 화상단 조정부의 처리를 도시한 도면이다.

도45는 제2 입체 화상 처리 장치의 처리를 도시한 도면이다.

도46은 제2 입체 화상 처리 장치의 다른 처리를 도시한 도면이다.

도47은 제2 입체 화상 처리 장치의 다른 처리를 도시한 도면이다.

도48은 심도 맵이 부가된 평면 화상을 도시한 도면이다.

도49는 심도 맵을 도시한 도면이다.

도50은 제2 입체 화상 처리 장치의 2차원 화상 생성부에서 심도 맵을 바탕으로 시차 화상을 생성하는 모습을 도시한 도면이다.

도51은 제2 입체 화상 처리 장치의 2차원 화상 생성부에서 보정된 심도 맵을 도시한 도면이다.

도52는 실시 형태에 따른 입체 화상 처리 장치를 라이브러리화하여 이용하는 모습을 도시한 도면이다.

도53은 입체 표시 라이브러리를 3차원 데이터 소프트에 조립한 구성도이다.

도54는 입체 표시 라이브러리를 네트워크 이용형 시스템에서 이용하는 모습을 도시한 도면이다.

도55는 3차원 데이터에 의해 구성된 화상이 표시 화면에 표시되어 있는 상태를 도시한 도면이다.

도56은 3차원 데이터에 의해 구성된 화상이 표시 화면에 표시되어 있는 다른 상태를 도시한 도면이다.

도57은 3차원 데이터에 의해 구성된 화상이 표시 화면에 표시되어 있는 다른 상태를 도시한 도면이다.

도58은 표시할 오브젝트가 갖는 계면을 표시 화면과 일치시키는 방법을 도시 한 도면이다.

도59는 2개의 가상 카메라의 광축 교차 위치를 수조의 하나의 면과 일치시켜 화상을 촬영하는 다른 모습을 도시한 도면이다.

도60은 제4 입체 화상 처리 장치의 구성도이다.

도61은 제4 입체 화상 처리 장치에 의해 표시되는 화상에 관하여 편의적으로 기본 표현 공간(T)에 대하여 도시한 도면이다.

도62는 오브젝트가 아무것도 존재하지 않는 영역을 기본 표현 공간(T)에 포함시켜 표현한 도면이다.

도63은 오브젝트가 아무것도 존재하지 않는 영역을 기본 표현 공간(T)에 포함시켜 표현한 도면이다.

도64는 시차를 계산하는 대상으로서 새뿐만 아니라 그 전후의 공간을 포함시키는 형식으로 이동 오브젝트를 형성하고 있는 모습을 도시한 도면이다.

도65는 이동 오브젝트가 전방 투영면을 넘은 후, 미리 포함시켜 놓은 공간속에서 새(330)를 이동시키는 모습을 도시한 도면이다.

도66은 표시 화면에서 관찰자가 입체 화상을 관찰하고 있는 모습을 도시한 도면이다.

도67은 카메라 배치 결정부에 의해 정해지는 카메라 배치를 도시한 도면이다.

도68은 도67의 카메라 배치로 얻어진 시차 화상을 관찰자가 관찰하고 있는 모습을 도시한 도면이다.

도69는 도67의 카메라 배치로 적정 시차가 얻어진 화상을 도66에 도시된 관찰자의 위치에서 관찰자가 표시 화면을 관찰하고 있는 모습을 도시한 도면이다.

도70은 도67에 도시된 카메라 배치로 표시 화면으로부터 거리가 A에 위치한 공의 최대 근접 배치점을 촬영하는 모습을 도시한 도면이다.

도71은 2개의 카메라와 카메라의 광축 공차 거리 및 도70에 도시된 시차를 얻기 위해 필요한 카메라 간격의 관계를 도시한 도면이다.

도72는 도67에 도시된 카메라 배치로 표시 화면으로부터 거리가 T-A에 위치한 공의 최대 원방 배치점을 촬영하는 모습을 도시한 도면이다.

도73은 2개의 카메라와 카메라의 광축 공차 거리 및 도72에 도시된 시차를 얻기 위해 필요한 카메라 간격(E1)의 관계를 도시한 도면이다.

도74는 적정 시차 범위 내에서 입체 화상의 시차를 설정하기 위해 필요한 카메라 파라미터의 관계를 도시한 도면이다.

도75는 적정 시차 범위 내에서 입체 화상의 시차를 설정하기 위해 필요한 카메라 파라미터의 관계를 도시한 도면이다.

도76은 제5 입체 화상 처리 장치의 구성도이다.

도77은 3차원 데이터를 작성하는 제작자에 의해 설정되는 임시 카메라 위치, 화각 및 제1 내지 제3 오브젝트의 관계를 도시한 도면이다.

도78은 도77에서 정해진 임시 카메라 위치를 바탕으로 2개의 가상 카메라가 배치된 상태를 도시한 도면이다.

도79는 오브젝트 정보가 존재하지 않는 영역이 발생하지 않도록 카메라 배치 가 조정된 상태를 도시한 도면이다.

도80은 화각 조정 처리를 도시한 도면이다.

도81은 오락 시설이나 사진관 등에서 입체 사진을 촬영하는 입체 사진 촬영 장치와 피사체의 관계를 도시한 도면이다.

도82는 제6 입체 화상 처리 장치의 구성을 도시한 도면이다.

도83은 원격 조작을 통해 카메라를 조작하고 촬영된 영상을 입체 화상 표시 장치로 관찰하고 있는 모습을 도시한 도면이다.

도84는 제6 입체 화상 처리 장치를 구비하는 입체 화상 촬영 장치에 의한 촬영의 일 예를 도시한 도면이다.

도85는 조도계를 통해 화상 분해성을 측정하는 모습을 도시한 도면이다.

도86은 화상 분해성 측정에 이용되는 모아레 화상을 도시한 도면이다.

도87은 적정 시차의 변환예를 도시한 도면이다.

도88은 적정 시차의 다른 변환예를 도시한 도면이다.

도89는 시차 및 기본 표현 공간의 간이(簡易) 결정시에 이용하는 테이블을 도시한 도면이다.

도1은 사용자(10), 스크린(12), 입체 표시되는 재생 오브젝트(14)의 위치 관계를 도시한 것이다. 사용자(10)의 눈 사이의 거리를 E, 사용자(10)와 스크린(12)의 거리를 D라 표시하였을 때의 재생 오브젝트(14)의 폭은 W이다. 재생 오브젝트(14)가 입체로 표시되어 있기 때문에 스크린(12)보다 가까이 감지되는 화소, 즉 근 접 배치되는 화소와 스크린(12)보다 멀리 감지되는 화소, 즉 원방 배치되는 화소를 갖는다. 시차가 부가되지 않은 화소는 스크린(12)상에서 양쪽 눈으로부터 완전히 동일한 위치에 보이기 때문에 스크린(12)상에서 감지된다.

도2는 도1의 이상적인 표시를 생성하기 위한 촬영계를 도시한 것이다. 2대의 카메라(22, 24)의 간격을 E라 하고, 이들로부터 현실의 오브젝트(20)를 보았을 때의 광축 교차 위치까지의 거리(이것을 광축 교차 거리라고 한다)를 D라 하고, 스크린(12)과 동일한 폭을 들여다보는 화각으로, 폭이 현실에서 W인 오브젝트(20)를 촬영하면 2개의 카메라로부터 시차 화상이 얻어진다. 이것을 도1의 스크린(12)에 표시하면 도1의 이상 상태가 실현된다.

도3, 도4는 각각 도2의 위치 관계를 A배(A < 1), B배(B > 1)한 상태를 도시한 것이다. 이들 위치 관계에서 얻어진 시차 화상으로도 도1의 이상 상태가 실현된다. 즉, 이상적인 입체 표시의 기본은 W : D : E를 일정하게 하는 것으로부터 시작된다. 이 관계가 시차를 부가하는 방법의 기초가 되기도 한다.

도5 내지 도10은 실시 형태에서 오브젝트(20)의 3차원 데이터를 바탕으로 입체 표시가 이루어지기까지의 처리 과정을 대략적으로 도시한 것이다.

도5는 모델 좌표계, 즉 개개의 3차원 오브젝트(20)가 갖고 있는 좌표 공간이다. 이 공간에서 오브젝트(20)를 모델링했을 때의 좌표가 부여된다. 통상 오브젝트(20)의 중심에 원점이 존재한다.

도6은 월드 좌표계를 도시한 것이다. 월드 공간은 오브젝트(20)나 바닥, 벽을 배치하여 신(scene)이 형성되는 넓은 공간이다. 도5의 모델링과 도6의 월드 좌 표계의 확정까지를 「3차원 데이터의 구축」으로 인식할 수 있다.

도7은 카메라 좌표계를 도시한 것이다. 월드 좌표계의 임의의 위치로부터 임의의 방향으로 임의의 화각으로 카메라(22)를 설치함으로써, 카메라 좌표계로의 변환이 수행된다. 카메라의 위치, 방향, 화각이 카메라 파라미터이다. 입체 표시인 경우에는 2개의 카메라에 대한 파라미터를 설정해야 하기 때문에 카메라 간격과 광축 교차 위치도 설정된다. 또한, 2개의 카메라의 중간점을 원점으로 하기 때문에 원점 이동도 수행된다.

도8, 도9는 투시 좌표계를 도시한 것이다. 먼저, 도8과 같이 표시할 공간을 전방 투영면(30)과 후방 투영면(32)으로 클립핑한다. 후술되는 바와 같이, 실시 형태의 하나의 특징은 근접 배치 최대 시차점이 있는 면을 전방 투영면(30)으로 하고, 원방 배치 최대 시차점이 있는 면을 후방 투영면(32)으로 한다는 것이다. 클립핑 후, 이 뷰 볼륨을 도9와 같이 직방체로 변환한다. 도8과 도9의 처리를 투영 처리라고도 부른다.

도10은 스크린 좌표계를 도시한 것이다. 입체 표시인 경우, 복수의 카메라 각각으로부터의 화상을 각각 스크린이 갖고 있는 좌표계로 변환하여 복수의 2차원 화상, 즉 시차 화상을 생성한다.

도11, 도12, 도13은 각각 일부가 서로 다른 입체 화상 처리 장치(100)의 구성을 도시한 것이다. 이하, 편의상 이들 입체 화상 처리 장치(100)를 각각 제1, 제2, 제3 입체 화상 처리 장치(100)라고 부른다. 이들 입체 화상 처리 장치(100)는 장치 내에 일체로 조립될 수도 있지만, 여기서는 도면의 복잡을 피하기 위하여 3개로 분리하였다. 제1 입체 화상 처리 장치(100)는 묘화할 오브젝트와 공간이 3차원 데이터의 단계로 입수될 수 있는 경우에 효과적이므로, 주된 입력을 3차원 데이터로 한다. 제2 입체 화상 처리 장치(100)는 이미 시차가 부여된 복수의 2차원 화상, 즉 기존의 시차 화상의 시차 조정에 효과적이므로, 2차원의 시차 화상을 입력받는다. 제3 입체 화상 처리 장치(100)는 심도 정보를 포함하는 화상의 심도 정보를 조작하여 적정 시차를 실현하는 것이므로, 주된 입력을 심도 정보 포함 화상으로 한다. 이들 3가지 입력을 총칭하여 「오리지널 데이터」라고 표기한다.

제1 내지 제3 입체 화상 처리 장치(100)를 일체화하여 실장하는 경우, 이들 전처리부로서 「화상 형식 판정부」를 설치하여 3차원 데이터, 시차 화상, 심도 정보 포함 화상을 판정한 후, 제1 내지 제3 입체 화상 처리 장치(100)중 최적의 것을 기동하는 구성으로 하여도 된다.

제1 입체 화상 처리 장치(100)는, 입체 표시에 대한 입체감의 설정에 있어서 「초기 설정」 및 「자동 조정」의 기능을 갖는다. 사용자가 입체 표시되는 화상에 대한 자신의 적정 시차 범위를 지정하면, 이것이 시스템에 의해 취득되어 이후의 다른 입체 화상 표시 때에 미리 이 적정 시차가 실현되도록 변환 처리가 실시되어 표시된다. 따라서, 사용자가 원칙적으로 1번의 설정 절차를 거치면 제1 입체 화상 처리 장치(100)에 의해 이후 자신에게 맞은 입체 표시를 즐길 수 있다.

제1 입체 화상 처리 장치(100)는 또한 화상 주변부의 시차를 인공적으로 완화시키는 「시차 보정」이라는 부기능을 갖는다. 이미 기술된 바와 같이, 화상 단부에 근접할수록 복수의 시점 화상의 어긋남이 「2중상」으로 인식되기 쉬워진다. 이것은 시차 배리어나 표시 장치의 스크린 휨 등의 기구 오차가 주 요인이다. 이에, 화상의 주변부에서 1)근접 배치 시차, 원방 배치 시차를 모두 줄이고, 2)근접 배치 시차를 줄이고 원방 배치 시차는 그대로 하고, 3)근방 배치 시차, 원방 배치 시차를 불문하고 전체적으로 원방 배치 시차 쪽으로 시프트시키는 등의 여러가지 방법을 실시한다. 또한, 이 「시차 보정」 기능은 제3 입체 화상 처리 장치(100)에도 존재하지만 입력 데이터의 차이에 따라 처리는 서로 다르다.

제1 입체 화상 처리 장치(100)는 입체 표시된 화상에 대한 사용자로부터의 응답을 바탕으로 입체감을 조정하는 입체감 조정부(112)와, 입체감 조정부(112)에서 특정된 적정 시차를 보존하는 시차 정보 유지부(120)와, 시차 정보 유지부(120)로부터 적정 시차를 판독하고 오리지널 데이터로부터 적정 시차를 갖는 시차 화상을 생성하는 시차 제어부(114)와, 표시 장치의 하드웨어 정보를 취득하고 또한 입체 표시 방식을 취득하는 기능을 갖는 정보 취득부(118)와, 정보 취득부(118)에서 취득된 정보를 바탕으로 시차 제어부(114)에서 생성된 시차 화상의 형식을 변경하는 포맷 변환부(116)를 포함한다. 오리지널 데이터를 단순히 3차원 데이터라고 부르지만, 엄밀하게는 월드 좌표계에서 기술된 오브젝트 및 공간 데이터가 이에 해당된다.

정보 취득부(118)에서 취득되는 정보의 예로는 입체 표시의 시점 수, 공간 분할 또는 시간 분할 등의 입체 표시 장치의 방식, 셔터 안경 이용 여부, 다안식(多眼式)인 경우에 있어서의 시점 화상의 배열 방법, 시차 화상중에 시차가 반전되는 시점 화상의 배열이 있는지 여부, 헤드 트랙킹의 결과 등이 있다. 또한, 헤드 트랙킹의 결과는 예외적으로 도시되지 않은 경로를 거쳐 직접 카메라 배치 결정부(132)로 입력되고 그곳에서 처리된다.

이상의 구성은 하드웨어적으로는 임의의 컴퓨터의 CPU, 메모리, 그 이외의 LSI에서 실현될 수 있고, 소프트웨어적으로는 GUI 기능, 시차 제어 기능 그 이외의 기능을 갖는 프로그램 등에 의해 실현되는데, 여기서는 이들의 연계에 의해 실현되는 기능 블록을 나타내고 있다. 따라서, 이들 기능 블록이 하드웨어만으로, 소프트웨어만으로, 또는 이들의 조합에 의해 여러가지 모양으로 실현될 수 있다는 것은 당업자에게 이해되는 바이며, 이후의 구성에 대해서도 그 사정은 동일하다.

입체감 조정부(112)는 지시 취득부(122)와 시차 특정부(124)를 갖는다. 지시 취득부(122)는 입체 표시된 화상에 대하여 사용자가 적정 시차 범위를 지정하였을 때에 이를 취득한다. 시차 특정부(124)는 그 범위를 바탕으로 사용자가 이 표시 장치를 이용할 때의 적정 시차를 특정한다. 적정 시차는 표시 장치의 하드웨어에 의존하지 않는 표현 형식으로 나타내어진다. 적정 시차를 실현함으로써, 사용자의 생리에 적합한 입체시가 가능해진다.

시차 제어부(114)는 카메라 파라미터를 가설정하는 카메라 임시 배치부(130)와, 적정 시차에 따라 가설정된 카메라 파라미터를 수정하는 카메라 배치 결정부(132)와, 카메라 파라미터가 결정되었을 때에 복수의 카메라의 중간점을 원점으로 하기 위해 원점 이동 처리를 수행하는 원점 이동부(134)와, 전술의 투영 처리를 수행하는 투영 처리부(138)와, 투영 처리후 스크린 좌표계로의 변환 처리를 수행하여 시차 화상을 생성하는 2차원 화상 생성부(142)를 포함한다. 또한, 필요에 따라 화 상 주변부의 시차를 완화시키기 위하여 공간 왜곡 변환(이하, 단순히 왜곡 변환이라고도 한다)을 수행하는 왜곡 처리부(136)가 카메라 임시 배치부(130)와 카메라 배치 결정부(132)의 사이에 설치된다. 왜곡 처리부(136)는 보정 맵 유지부(140)로부터 후술의 보정 맵을 판독하여 이용한다.

또한, 입체 표시를 위하여 표시 장치를 조정할 필요가 있으면, 이를 위한 도시되지 않은 GUI를 추가하여도 된다. 이 GUI로 표시되는 시차 화상 전체를 상하 좌우로 미소 시프트시켜 최적 표시 위치를 확정하는 등의 처리를 하여도 된다.

도12의 제2 입체 화상 처리 장치(100)는 복수의 시차 화상을 입력받는다. 이것을 단순히 입력 화상이라고도 부른다. 제2 입체 화상 처리 장치(100)는 먼저 제1 입체 화상 처리 장치(100)에서 취득된 적정 시차를 판독하고, 입력 화상의 시차를 조정하여 적정 시차 범위 내에 포함시켜 출력한다. 그러한 의미에서 제2 입체 화상 처리 장치(100)는 시차의 「자동 조정」 기능을 갖는다. 그 뿐만 아니라 실제로 입체 표시가 수행되고 있는 경우에 사용자가 입체감을 변경하고 싶을 때 GUI 기능을 제공하여 사용자의 지시에 따라 시차를 변경하는 「수동 조정」 기능도 겸비한다.

이미 생성 완료된 시차 화상의 시차는 통상 변경할 수 없는 것이지만, 제2 입체 화상 처리 장치(100)에 따르면 시차 화상을 구성하는 시점 화상의 합성 위치를 시프트함으로써 충분히 실용할만한 레벨로 입체감을 변경할 수 있다. 제2 입체 화상 처리 장치(100)는 입력 데이터가 3차원 데이터에 이르지 못하는 상황에서도 양호한 입체감 조정 기능을 발휘한다. 이하, 제1 입체 화상 처리 장치(100)와의 상위점을 중심으로 진술한다.

입체감 조정부(112)는 수동 조정에 이용된다. 지시 취득부(122)는 예를 들면 스크린을 통한 「+n」「-n」 등의 수치 입력을 실현하고, 그 값은 시차 변경량으로서 시차 특정부(124)에서 특정된다. 수치와 지시되는 입체감의 관계는 몇 가지로 생각할 수 있다. 예를 들면, 「+n」은 입체감을 강화시키는 지시로, 「-n」은 약화시키는 지시로, n이 커질수록 입체감에 대한 변경량이 크다고 하여도 된다. 또한, 「+n」은 전체적으로 근접 배치 방향으로 오브젝트를 이동시키는 지시로, 「-n」은 전체적으로 원방 배치 방향으로 오브젝트를 이동시키는 지시로 하여도 된다. 다른 방법으로 n의 값을 지정하지 않고 단순히 「+」와 「-」의 버튼만 표시한 후, 이것을 클릭할 때마다 시차가 변경되는 구성으로 하여도 된다.

제2 입체 화상 처리 장치(100)는 시차량 검출부(150)와 시차 제어부(152)를 갖는다. 입력 화상이 복수의 시차 화상인 경우, 시차량 검출부(150)는 이들 시차 화상의 헤더 영역을 검사하여 화소 수의 형식으로 기술된 시차량, 특히 근접 배치 최대 시차 화소수와 원방 배치 최대 시차 화소수가 있으면 이를 취득한다. 시차량이 기술되어 있지 않으면, 매칭부(158)가 블록 매칭 등의 공지의 수법을 이용하여 시차 화상간에서 대응점을 검출하는 것으로 시차량을 특정한다. 매칭부(158)는 화상의 중앙부 등 중요 영역에 대해서만 처리를 실시하여도 되며, 가장 중요한 근접 배치 최대 시차 화소수를 중심으로 검출하여도 된다. 검출된 시차량은 화소 수의 형식으로 시차 제어부(152)로 보내어진다.

일반적으로, 휴대 전화의 표시 화면에 입체 화상을 표시하는 것과 같은 경우 에는 입체감에 관한 개인차가 작아 때로는 사용자가 적정 시차의 입력을 번거롭게 느끼는 경우도 상정할 수 있다. 또한, 불특정 다수의 사용자에 의해 사용되는 입체 표시 장치에서도 적정 시차의 입력은 반대로 불편하다고 느껴질 가능성이 있다. 이러한 경우에는 적정 시차의 범위를 입체 화상 표시 장치의 제조자나 입체 화상 표시 장치에 표시되는 콘텐츠의 작성자가 결정하여도 되고, 혹은 일반적인 지침에 따르는 등의 다른 방법으로 결정하여도 된다. 예를 들면, 입체 화상에 관련된 업계 단체나 학술 단체가 책정한 지침이나 규격 등을 반영시킨다. 그 예로, 「15인치의 표시 화면에서는 최대 시차를 20mm 정도로 한다」라는 지침이 있으면 그 지침에 따르고, 또는 그 지침을 베이스로 보정을 수행하는 등의 처리를 들 수 있다. 이 경우, 입체감 조정부(112)는 불필요해진다.

시차 제어부(152)의 위치 시프트부(160)는 시점 화상간의 시차량이 적정 시차가 되도록 시차 화상을 구성하는 시점 화상의 합성 위치를 수평 방향으로 시프트시킨다. 시프트는 시점 화상중 어느 하나에 대하여 수행하면 된다. 위치 시프트부(160)는 다른 동작 모드도 갖는데, 사용자가 입체감 조정부(112)를 통해 시차의 증가 또는 감소를 지시하면 단순히 이 지시에 따라 화상 합성 위치를 변경한다. 즉, 위치 시프트부(160)는 적정 시차로의 자동 조정 기능과 사용자에 의한 수동 조정 기능의 2가지 기능을 갖는다.

시차 기입부(164)는 전술의 시차량 검출부(150)를 위하여, 또는 다른 용도를 위하여 시차 화상을 구성하는 복수의 시점 화상중 어느 하나의 헤더 영역에 시차량을 화소 수로 기입한다. 화상단 조정부(168)는 위치 시프트부(160)에 의한 시프트 에 의해 화상단에서 발생하는 화소의 누락을 매립한다.

도13의 제3 입체 화상 처리 장치(100)는 심도 정보 포함 화상을 입력받는다. 제3 입체 화상 처리 장치(100)는 적정 시차가 실현되도록 심도를 조정한다. 또한, 전술의 「시차 보정」 기능을 갖는다. 시차 제어부(170)의 왜곡 처리부(174)는 보정 맵 유지부(176)에 보존된 보정 맵에 따라 후술의 요령으로 왜곡 변환을 실시한다. 왜곡 변환 후의 심도 정보와 화상은 2차원 화상 생성부(178)에 입력되며, 여기서 시차 화상이 생성된다. 이 2차원 화상 생성부(178)는 제1 입체 화상 처리 장치(100)의 2차원 화상 생성부(142)와는 달리 적정 시차를 고려한다. 심도 정보 포함 화상도 화상으로서는 2차원이기 때문에 2차원 화상 생성부(178)는 도시되지 않았지만 내부에 제2 입체 화상 처리 장치(100)의 위치 시프트부(160)와 유사한 기능을 가지며, 심도 정보에 따라 화상 내의 화소를 수평 방향으로 어긋나게 하여 입체감을 생성한다. 이때, 후술의 처리에 의해 적정 시차가 실현된다.

이상의 구성에서의 각 입체 화상 처리 장치(100)의 각부의 처리 동작과 그 원리는 이하와 같다.

도14(a), 도14(b)는 제1 입체 화상 처리 장치(100)의 입체감 조정부(112)에 의해 적정 시차의 특정 프로세스에서 각각 표시되는 좌안 화상(200), 우안 화상(202)을 도시한 것이다. 각각의 화상에는 5개의 검은 원이 표시되어 있는데, 위로 갈수록 근접 배치 또한 큰 시차, 아래로 갈수록 원방 배치 또한 큰 시차가 부가되어 있다.

도15는 이들 5개의 검은 원을 표시하였을 때에 사용자(10)에게 감지되는 거 리감을 모식적으로 도시한 것이다. 사용자(10)는 이들 5개의 거리감의 범위를 「적정하다」라고 응답하고 있으며, 이 응답을 지시 취득부(122)가 취득한다. 동 도면에서는 시차가 서로 다른 5개의 검은 원이 동시에 또는 순서대로 표시되는데, 허용할 수 있는 시차인지 여부를 사용자(10)가 입력해 나간다. 한편, 도16에서는 표시 자체가 1개의 검은 원으로 수행되지만 그 시차를 연속적으로 변경하고, 사용자(10)는 원방 배치와 근접 배치 각각의 방향에서 허용되는 한계에 도달하였을 때에 응답한다. 응답은 통상의 키 조작, 마우스 조작, 음성에 의한 입력 등 공지의 기술을 이용한다.

또한, 시차의 결정은 보다 간이적인 방법으로 수행되어도 된다. 마찬가지로, 기본 표현 공간의 설정 범위의 결정도 간이적인 방법으로 수행되어도 된다. 도89는 시차 및 기본 표현 공간의 간이 결정시에 이용되는 테이블이다. 기본 표현 공간의 설정 범위는 근접 배치 공간측을 많게 하는 설정으로부터 원방 배치 공간측만의 설정까지 A 내지 D의 4단계 등급으로 구분되어 있으며, 각각의 시차는 1 내지 5까지 5단계의 등급으로 나누어져 있다. 여기서는, 예를 들면 가장 강한 입체감을 선호하고 가장 튀어나온 입체 표시를 선호하는 경우에의 등급을 5A로 한다. 그리고, 반드시 입체 표시를 확인하면서 등급을 결정할 필요는 없으며, 등급을 결정하는 버튼만 표시되어 있어도 된다. 이들 곁에 입체감 확인용 버튼이 구비되어 있어, 그것을 누르는 것으로 입체감을 확인하는 화상이 표시되어도 된다.

도15, 도16의 어느 경우이든 지시 취득부(122)는 적정 시차를 범위로서 취득할 수 있고, 그 근접 배치측 및 원방 배치측의 한계 시차가 결정된다. 근접 배치 최대 시차는 자신에게 가장 가까운 위치에 보이는 점에 허용되는 거리에 대응하는 시차, 원방 배치 최대 시차는 자신으로부터 가장 먼 위치에 보이는 점에 허용되는 거리에 대응하는 시차이다. 단, 사용자의 생리상의 문제로 인해 근접 배치 최대 시차를 케어해야 하는 경우가 많으므로, 이하 근접 배치 최대 시차만을 한계 시차라고 부르는 경우도 있다.

도17은 입체 표시되는 화상이 3차원 데이터로부터 취출되는 경우에 실제로 2시점의 시차를 조정하는 원리를 도시한 것이다. 먼저, 사용자가 정한 한계 시차를 임시 배치된 카메라의 예상각으로 변환한다. 동 도면과 같이 근접 배치와 원방 배치의 한계 시차는 화소수 M, N으로 나타낼 수 있고, 카메라의 화각(θ)은 표시 화면의 수평 화소수(L)에 상당하므로, 한계 시차 화소수의 예상각인 근접 배치 최대 예상각(θ)과 원방 배치 최대 예상각(Ψ)은 θ, M, N, L로 나타내어진다.φ

tan(φ/2) = Mtan(θ/2)/L

tan(Ψ/2) = Ntan(θ/2)/L

다음에 이 정보를 3차원 공간 내에서의 2시점 화상의 취출에 적용한다. 도18과 같이, 먼저 기본 표현 공간(T)(그 깊이도 T라고 표기)을 정한다. 여기서, 기본 표현 공간(T)은 오브젝트의 배치에 대한 제한으로부터 결정되는 것으로 한다. 기본 표현 공간(T)의 전면인 전방 투영면(30)으로부터 카메라 배치면, 즉 시점면(208)까지의 거리를 S라 한다. T나 S는 사용자가 지정할 수 있다. 시점이 2개 있으며, 이들의 광축 교차면(210)의 시점면(208)으로부터의 거리를 D라 한다. 광축 교차면(210)과 전방 투영면(30)까지의 거리를 A라 한다.

다음에 기본 표현 공간(T) 내에서의 근접 배치 및 원방 배치의 한계 시차를 각각 P, Q라 하면,

E : S = P : A

E : S + T = Q : T - A가 성립한다.

E는 시점간 거리이다. 시차가 부가되지 않은 화소인 점(G)은 양 카메라로부터의 광축(K2)이 광축 교차면(210)상에서 교차되는 위치에 있으며, 광축 교차면(210)이 스크린면의 위치가 된다. 근접 배치 최대 시차(P)를 낳는 광선(K1)은 전방 투영면(30)상에서 교차되고, 원방 배치 최대 시차(Q)를 낳는 광선(K3)은 후방 투영면(32)상에서 교차된다.

P와 Q는 도19와 같이 Ø, Ψ를 이용하여,

P = 2(S + A)tan(φ/2)

Q = 2(S + A)tan(Ψ/2)

로 나타내어지며, 결과적으로

E = 2(S + A)tan(θ/2)·(SM + SN + TN)/(LT)

A = STM/(SM + SN + TN)

가 얻어진다. S와 T는 이미 알고 있는 값이므로, A 및 E가 자동적으로 결정되며, 그에 따라 광축 교차 거리(D)와 카메라간 거리(E)가 자동적으로 결정되어 카메라 파라미터가 확정된다. 카메라 배치 결정부(132)가 이들 파라미터에 따라 카메라의 배치를 결정하면, 이후 투영 처리부(138), 2차원 화상 생성부(142)의 처리를 각 카메라로부터의 화상에 대하여 독립적으로 수행함으로써, 적정 시차를 갖는 시차 화상을 생성 및 출력할 수 있다. 이상과 같이, E와 A는 하드웨어 정보를 포함하지 않으므로, 하드웨어에 의존하지 않는 표현 형식이 실현된다.

이후, 다른 화상을 입체 표시할 때에도 이 A 또는 D와 E를 지키도록 카메라를 배치하면 자동적으로 적정 시차를 실현할 수 있다. 적정 시차의 특정으로부터 이상적인 입체 표시까지의 프로세스는 모두 자동화될 수 있으므로, 이 기능을 소프트웨어 라이브러리로서 제공한다면 콘텐츠나 애플리케이션을 작성하는 프로그래머는 입체 표시를 위한 프로그래밍을 의식할 필요가 없다. 또한, L, M, N을 화소수로 나타내면 L이 표시 범위를 도시하기 때문에 전 화면에 의한 표시인지, 화면의 일부에 의한 표시인지를 L로 지시할 수 있다. L도 하드웨어에 의존하지 않는 파라미터이다.

도20은 4대의 카메라(22, 24, 26, 28)에 의한 4안식 카메라 배치를 도시한 것이다. 정확하게는 제1 카메라(22)와 제2 카메라(24)의 사이 등 인접한 카메라간에 적정 시차가 되도록 전술의 A와 E를 결정하여야 하지만, 간이적인 처리로 보다 중앙에 가까운 제2 카메라(24)와 제3 카메라(26)의 사이에서 결정되는 A 및 E를 다른 카메라의 사이에 유용하여도 거의 동일한 효과가 얻어진다.

또한, T는 오브젝트의 배치에 대한 제한으로 사용되지만, 기본적인 3차원 공간의 크기로서 프로그램에 의하여 정해져도 된다. 이 경우, 프로그램 전체를 통해 반드시 이 기본 표현 공간(T) 내에만 오브젝트를 배치할 수도 있고, 효과적인 표시를 위하여 때로는 고의적으로 이 공간을 벗어나도록 오브젝트에 시차를 부여하여도 된다.

다른 예로 3차원 공간의 오브젝트중 가장 근접 배치되는 것과 가장 원방 배치되는 것의 좌표에 대하여 T를 결정하여도 되는데, 이것을 실시간으로 수행하면 기본 표현 공간(T)에 반드시 오브젝트가 배치될 수 있다. 오브젝트를 언제나 기본 표현 공간(T)내에 넣는 것의 예외로서, 「일정 시간의 위치의 평균이 기본 표현 공간(T) 내에 있으면 된다」라는 완화 조건으로 운용한다면 단시간의 예외를 만들 수도 있다. 또한, 기본 표현 공간(T)을 정하는 오브젝트를 정적인 것에 한정하여도 되는데, 이 경우에 동적인 오브젝트가 기본 표현 공간(T)으로부터 튀어나오는 예외적인 동작을 부여할 수 있다. 또한, 다른 예로 이미 오브젝트가 배치된 공간을 기본 표현 공간의 폭(T) 사이즈로 줄이는 변환을 수행하여도 되고, 이미 기술된 조작과 조합하여도 된다. 오브젝트를 고의로 기본 표현 공간으로부터 튀어나오도록 표시하는 수법은 후술된다.

또한, 제1 입체 화상 처리 장치(100)의 입체감 조정부(112)가 사용자에게 표시하는 화상을 이중상이 나오기 쉬운 것으로 하면, 한계 시차가 약간 작게 정해지므로 다른 화상을 표시할 때의 이중상의 출현 빈도를 저하시킬 수 있다. 이중상이 나오기 쉬운 화상으로는 오브젝트와 배경의 색상이나 밝기가 대조적인 것이 알려져 있는데, 한계 시차를 특정하는 단계, 즉 초기 설정시에 그러한 화상을 이용하면 된다.

도21에서 도36까지는 제1 입체 화상 처리 장치(100)의 왜곡 처리부(136)에 의한 처리와 그 원리를 도시한 것이다.

도21은 제1 입체 화상 처리 장치(100)의 보정 맵 유지부(140)에 저장된 보정 맵의 일 예를 개념적으로 도시한 것이다. 이 맵은 직접 시차를 보정하는 것으로, 그 전체가 그대로 시차 화상에 대응하고 있으며, 주변부로 갈수록 작은 시차가 된다. 도22는 이 보정 맵에 따라 왜곡 처리부(136)가 카메라 배치를 정하고, 그것을 수신한 카메라 배치 결정부(132)에 의한 카메라 파라미터의 조작 결과 발생하는 시차의 변화를 도시한 것이다. 2개의 카메라의 좌우 시점 위치에서 정면 방향을 볼 때는 「통상 시차」가 부가되고, 정면에서 크게 벗어난 방향을 볼 때는 「작은 시차」가 부가된다. 실제로, 주변으로 갈수록 카메라 배치 결정부(132)는 카메라 간격을 근접시킨다.

도23은 카메라 배치 결정부(132)가 왜곡 처리부(136)의 지시에 따라 카메라의 배치를 변경하여 시차를 바꾸는 다른 예를 도시한 것이다. 여기서는 2개의 카메라중 좌측 카메라만을 이동시키면서 화상 주변을 향함에 따라 「통상 시차」→「중간 시차」→「작은 시차」로 시차가 변화하고 있다. 이 방법이 도22에 비해 계산 비용이 낮다.

도24는 보정 맵의 다른 예를 도시한 것이다. 이 맵도 시차를 변경하는 것으로서, 화상의 중앙 부근은 통상 시차 그대로 유지하고, 그 이외의 시차 보정 영역에서는 시차를 서서히 작게 한다. 도25는 카메라 배치 결정부(132)가 이 맵에 따라 변화시키는 카메라 위치를 도시한 것이다. 카메라의 방향이 정면에서 크게 벗어났을 때, 비로소 좌측 카메라의 위치가 우측 카메라로 다가가 「작은 시차」가 부가된다.

도26은 보정 맵의 다른 예를 개념적으로 도시한 것이다. 이 맵은 시점에서 오브젝트까지의 거리감을 보정하는 것으로, 이를 실현하기 위하여 카메라 배치 결정부(132)가 2개의 카메라의 광축 교차 거리를 조정한다. 화상 주변으로 갈수록 광축 교차 거리를 작게하면 오브젝트가 상대적으로 원방 배치 방향으로 들어가 보이므로, 특히 근접 배치 시차를 작게 한다는 의미에서 목적을 달설하게 된다. 광축 교차 거리를 작게 하기 위해서는 카메라 배치 결정부(132)가 카메라의 광축 방향을 변경하면 되는데, 어느 한쪽 카메라의 방향을 변경하면 된다. 도27은 도26의 맵을 통해 2차원 화상을 생성할 때의 광축 교차 위치 또는 광축 교차면(210)의 변화를 도시한 것이다. 화상 주변일수록 광축 교차면(210)이 카메라 쪽으로 다가온다.

도28은 거리감에 관한 다른 보정 맵, 도29는 도28의 맵에 따라 카메라 배치 결정부(132)가 왜곡 처리부(136)의 지시에 의거하여 광축 교차면(210)을 변화시키는 모습을 도시한 것이다. 이 예에서는 화상 중앙 영역에서 보정을 수행하지 않고 오브젝트를 통상 위치에 배치하며, 화상 주변 영역에서 오브젝트의 위치를 보정한다. 이러한 목적을 위하여 도29의 화상 중앙 부근에서는 광축 교차면(210)에 변화가 없고, 임의의 점을 넘으면 광축 교차면(210)이 카메라로 다가온다. 도29에서는 좌측 카메라만 방향을 바꿔 대응하고 있다.

도30(a) 내지 (f)는 왜곡 처리부(136)에 의한 다른 왜곡 변환을 도시한 것이다. 지금까지의 예와는 달리 카메라 위치를 바꾸는 것이 아니라 카메라 좌표계에서 3차원 공간 자체를 직접 왜곡시킨다. 도30(a) 내지 (f)에서 장방형 영역은 원래 공간의 상면도, 사선 영역은 변환후 공간의 상면도를 도시한 것이다. 예를 들 면, 도30(a)의 원래 공간의 점 U는 변환후 점 V로 옮겨진다. 이것은 이 점이 원방 배치 방향으로 이동된 것을 의미한다. 도30(a)에서 공간은 주변부로 갈수록 깊이 방향에 대하여 화살표 방향으로 눌려져 근접 배치인 경우도 원방 배치인 경우도 동 도면의 점 W와 같이 일정 거리감에 가까운 거리감을 지니게 된다. 그 결과, 화상 주변부에서는 거리감이 갖추어지고 특별히 근접 배치되는 오브젝트도 없어져 이중상의 문제를 해결하는 동시에 사용자의 생리에 적합하기 쉬운 표현이 된다.

도30(b), 도30(c), 도30(d), 도30(e)는 모두 화상 주변부에서 거리감을 일정치로 근접시키는 변환의 변형예를 도시한 것이고, 도30(f)는 모든 점을 원방 배치 방향으로 변환하는 예를 도시한 것이다.

도31는 도30(a)의 변환을 실현하기 위한 원리를 도시한 것이다. 직방체 공간(228)은 제1 카메라(22)와 제2 카메라(24)의 투영 처리가 수행되는 공간을 포함한다. 제1 카메라(22)의 뷰 볼륨은 그 카메라의 화각과 전방 투영면(230) 및 후방 투영면(232)에 의해 정해지고, 제2 카메라(24)의 뷰 볼륨은 그 카메라의 화각과 전방 투영면(234) 및 후방 투영면(236)에 의해 정해진다. 왜곡 처리부(136)는 이 직방체 공간(228)에 왜곡 변환을 실시한다. 원점은 직방체 공간(228)의 중심으로 한다. 다안식인 경우에는 카메라가 증가할 뿐 변환 원리는 동일하다.

도32는 왜곡 변환의 일 예로, Z방향의 축소 변환을 채용하고 있다. 실제로는 공간 내의 개개의 오브젝트에 대하여 처리를 수행한다. 도33은 이 변환을 시차 보정 맵을 본떠 표현한 것으로, Y축상이 통상 시차이고, X의 절대값이 증가할 수록 시차가 작아지며, X = ±A가 시차 없음으로 된다. 여기서는 Z방향만의 축소 변환 이기 때문에 변환식은 아래와 같다.

변환을 도34에서 설명한다. 먼저, X ≥ 0 또한 Z ≥ 0의 범위를 생각한다. 점(X0, Y0, Z0)가 축소 처리에 의해 점(X0, Y0, Z1)으로 이동했을 때, 축소율(Sz)은,

Sz = Z1/ZO

= CE/CD

이다. C의 좌표는 (X0, Y0, 0)이고 D의 좌표는 (X0, Y0, B)이다.

E는 직선과 평면의 교점으로 좌표를 (X0, Y0, Z2)로 하면, Z2는 아래와 같이 구할 수 있다.

Z = B - X × B/A(평면)

X = X0, Y = Y0(직선)

Z2 = B - X0 × B/A

따라서,

Sz = CE/CD

= (B - X0 × B/A)/B

= 1 - X0/A

X에 대하여 일반적으로,

Sz = 1 - X/A

가 된다. X와 Z의 다른 범위에 대해서도 동일한 계산을 수행하면 이하의 결과가 얻어져 변환을 검증할 수 있다.

X ≥ 0일 때, Sz = 1 - X/A

X < 0일 때, Sz = 1 + X/A

도35는 왜곡 변환의 다른 예를 도시한 것이다. 보다 엄밀하게는 카메라로부터 방사형으로 촬영이 수행되는 것을 고려하여 X축, Y축 방향의 축소 처리도 조합하고 있다. 여기서는 2개의 카메라의 중심을 카메라 위치의 대표로 하여 변환을 수행한다. 변환식은 아래와 같다.

도36은 이 변환을 검증한다. 여기서도 X ≥ 0 또한 Z ≥ 0의 범위를 생각한다. 점(X0, Y0, Z0)이 축소 처리에 의해 점(X1, Y1, Z1)으로 이동했을 때, 축소율(Sx, Sy, Sz)은,

Sx = (X1 - X2)/(X0 - X2)

= (X4 - X2)/(X3 - X2)

Sy = (Y1 - Y2)/(Y0 - Y2)

= (Y4 - Y2)/(Y3 - Y2)

Sz = (Z1 - Z2)/(Z0 - Z2)

= (Z4 - Z2)/(Z3 - Z2)

가 된다. E는 평면과 직선의 교점이기 때문에 상술과 마찬가지로 Sx, Sy, Sz를 구할 수 있다.

또한, 이상과 같은 변환 후의 공간을 평면의 집합으로 나타내면 면끼리의 접선을 경계로 처리가 변화되어 경우에 따라 위화감이 발생할 수 있다. 이 경우에는 곡면으로 접속하거나 곡면만으로 공간을 구성하여도 된다. 계산은 곡면과 직선의 교점(E)을 구하는 것에 의해 변할 뿐이다.

또한, 이상의 예에서 축소율은 동일 직선(CD)상에서는 동일해지지만 가중을 하여도 된다. 예를 들면 Sx, Sy, Sz에 카메라로부터의 거리(L)에 대한 가중 함수 G(L)을 곱하면 된다.

도37에서 도40까지는 제3 입체 화상 처리 장치(100)의 왜곡 처리부(174)에 의한 처리와 그 원리를 도시한 것이다.

도37은 제3 입체 화상 처리 장치(100)에 입력되는 심도 정보 포함 화상의 심도 맵을 도시한 것으로, 여기서는 심도의 범위가 K1 내지 K2의 값을 갖는 것으로 한다. 여기서는 근접 배치의 심도를 플러스, 원방 배치의 심도를 마이너스로 나타내었다.

도38은 원래의 심도 범위(240)와 변환 후의 심도 범위(242)의 관계를 도시한 것이다. 심도는 화상 주변부로 갈수록 일정치에 근접한다. 왜곡 처리부(174)는 이 보정에 따르도록 심도 맵을 변환한다. 수직 방향으로 시차를 갖게 하는 경우도 마찬가지다. 이 변환도 Z방향의 축소뿐이므로, 이하의 식으로 표현할 수 있다.

또한, Sz는 X의 값에 의해 분할되어,

X ≥ 0일 때, Sz = 1 - 2X/L

X < O일 때, Sz = 1 + 2X/L

이 된다. 이상의 변환에 의해 도39에 도시된 새로운 요소를 갖는 새로운 심도 맵이 생성된다.

도40은 심도 맵에 대한 다른 왜곡 변환의 원리를 도시한 것이다. 공간은 보다 엄밀하게는 사용자(10)로부터 방사형으로 관찰되기 때문에 X축, Y축 방향의 축소 처리도 조합하고 있다. 여기서는 안간 중심을 관찰 위치로 하고 있다. 구체적인 처리는 도36의 경우와 동일한 식이 된다. 또한, 원래의 심도 맵은 Z 값밖에 갖지 않지만, 이 계산을 수행하는 경우에는 X 값과 Y 값도 유지하게 된다. Z 값은 X방향 혹은 Y방향의 화소 시프트량으로 변환되지만, X 값과 Y 값은 이들에 대한 오프셋값으로서 유지하면 된다.

여하튼, 왜곡 처리부(174)에서 변환된 심도 맵과 원래의 화상은 2차원 화상 생성부(178)에 입력되고, 여기서 적정 시차가 되도록 수평 방향으로 시프트되는 합성 처리가 수행된다. 그 상세는 후술한다.

도41 내지 도51은 제2 입체 화상 처리 장치(100)의 위치 시프트부(160) 및 그 연장으로 파악할 수 있는 제3 입체 화상 처리 장치(100)의 2차원 화상 생성부(178)의 처리를 도시한 것이다.

도41은 위치 시프트부(160)에 의한 2개의 시차 화상의 합성 위치의 시프트 원리를 도시한 것이다. 동 도면과 같이 초기 상태에서는 우안 화상(R)과 좌안 화상(L)의 위치가 일치하고 있다. 그러나, 동 도면 상부와 같이 좌안 화상(L)을 상대적으로 우측으로 시프트시키면 근접 배치점의 시차는 증가하고, 원방 배치점의 시차는 감소한다. 반대로, 동 도면 하부와 같이 좌안 화상(L)을 상대적으로 좌측으로 시프트시키면 근접 배치점의 시차는 감소하고, 원방 배치점의 시차는 증가한다.

이상이 시차 화상의 시프트를 통한 시차 조정의 본질이다. 화상의 시프트는 일측 방향이어도 되고, 양방을 상호 반대 방향으로 시프트시켜도 된다. 또한, 이 원리에서 입체 표시 방식은 안경 방식이나 안경 없는 방식을 막론하고 시차를 이용하고 있는 모든 방식에 적용될 수 있다는 것을 알 수 있다. 다시점 영상이나 수직 방향의 시차에 대해서도 동일한 처리가 가능하다.

도42는 시프트 처리를 화소 레벨로 도시한 것이다. 좌안 화상(200)과 우안 화상(202)에는 모두 제1 사각형(250)과 제2 사각형(252)이 찍혀 있다. 제1 사각형(250)에는 근접 배치 시차가 부가되어 있으며, 그 시차량을 양수로 나타내면 「6화소」가 된다. 이에 반해 제2 사각형(252)은 원방 배치 시차가 부가되어 있으며, 그 시차량을 음수로 나타내면 「-6화소」가 된다. 여기서, 이 시차량을 각각 F2, F1으로 한다.

한편, 사용자가 보유하고 있는 표시 장치의 적정 시차가 J1 내지 J2인 것을 알고 있다고 한다. 위치 시프트부(160)는 양 화상의 합성 개시 위치를 상호 (J2 - F2) 화소 시프트시킨다. 도43은 그 시프트 종료후의 상태로, F1 = -6, F2 = 6이고 또한 J1 = -5, J2 = 4이라고 한다면, 합성 개시 위치는 상호 -2화소, 즉 원방 배치 방향으로 전체가 시프트된 방향으로 어긋나게 된다. 최종적인 시차량은 도43과 같이 E1 = -8, E2 = 4가 되므로, 적어도 근접 배치 방향에 관하여 한계 시차 내에 들어간다. 일반적으로 원방 배치 방향과 비교하여 근접 배치 방향의 이중상 쪽이 위화감이 강하며 또한 피사체는 근접 배치 방향에 배치된 상태로 촬영되는 일이 많기 때문에 기본적으로 근접 배치 방향의 시차를 한계 내에 포함시키는 것이 바람직하다. 이하에 처리예를 나타낸다.

1. 근접 배치점이 한계 시차 밖이고 원방 배치점이 한계 시차 내인 경우에는 근접 배치점을 한계 시차점으로 시프트한다. 단, 원방 배치점의 시차가 안간 거리에 도달하면 처리를 멈춘다.

2. 근접 배치점이 한계 시차 밖이고 원방 배치점이 한계 시차 밖인 경우에는 근접 배치점을 한계 시차점으로 시프트한다. 단, 원방 배치점의 시차가 안간 거리 에 도달하면 처리를 멈춘다.

3. 근접 배치점도 원방 배치점도 한계 시차 내인 경우에는 처리하지 않는다.

4. 근방 배치점이 한계 시차 내이고 원방 배치점이 한계 시차 밖인 경우에는 원방 배치점을 한계 시차점으로 시프트하지만, 처리 도중에 근접 배치점이 한계 시차점에 도달하면 처리를 멈춘다.

도44는 합성 위치의 시프트에 의한 화상단의 누락을 도시한 것이다. 여기서는 좌안 화상(200)과 우안 화상(202)의 시프트량이 1화소이므로, 좌안 화상(200)의 우측단과 우안 화상(202)의 좌측단에 각각 1화소 폭의 누락 부분(260)이 발생한다. 화상단 조정부(168)는 이때 도44와 같이 화상단의 화소열을 복제하여 수평 화소수를 보상한다.

그 이외의 방법으로, 누락 부분(260)을 흑 또는 백 등의 특정 색상으로 표시하여도 되고, 비표시로 하여도 된다. 더욱이 초기 화상의 사이즈와 동일해지도록 절삭이나 부가 처리를 실시하여도 된다. 또한, 미리 초기 화상의 사이즈를 실제 표시 사이즈보다 크게 해 두어 누락 부분(260)이 표시에 영향을 주지 않도록 배려하여도 된다.

도45는 제2 입체 화상 처리 장치(100)에 의한 시차의 수동 조정 흐름이다. 동 도면과 같이, 먼저 시차 화상인 좌우 화상이 사람 손에 의해 작성되고(S10), 이것이 네트워크와 그 밖의 루트로 배포된다(S12). 이것을 제2 입체 화상 처리 장치(100)가 수취하는데(S14), 이 도면의 예에서는 먼저 시프트 없는 통상의 상태에서 화상을 합성하고 표시한다(S16). 즉, 여기서는 적정 시차가 아직 취득되지 않은 경우나 위치 시프트부(160)를 동작시키지 않은 경우를 생각한다. 계속해서, 입체 표시된 시차 화상에 대하여 사용자가 입체감 조정부(112)를 통해 시차의 조정을 지시하고, 이것을 위치 시프트부(160)가 「수동 조정 모드」로 받아들여 화상 합성 위치를 조정하고 표시한다(S18). 또한, S10과 S12는 화상 크리에이터의 절차(270, S14). 이후는 제2 입체 화상 처리 장치(100)의 절차(272)이다. 또한, 도시되지 않았지만 이 시프트량을 헤더에 기록하고 다음번부터 참조하여 합성하면 재조정의 수고를 덜 수 있다.

도46은 제2 입체 화상 처리 장치(100)에 의한 자동 조정의 흐름을 도시한 것이다. 화상 크리에이터의 절차(270)인 좌우 화상의 생성(S30), 화상 배포(S32)는 도45와 동일하다. 또한, 제2 입체 화상 처리 장치(100)의 절차(272)중 화상 수취(S34)도 마찬가지다. 다음에는 시차량 검출부(150)의 매칭부(158)를 통해 시차 화상간에 미리 부가된 시차, 특히 최대 시차를 검출하고(S36), 한편 시차 정보 유지부(120)로부터 적정 시차, 특히 한계 시차를 취득한다(S38). 이 후, 위치 시프트부(160)가 전술의 처리를 통해 한계 시차를 충족시키도록 화상의 합성 위치를 시프트시키고(S40), 시차 기입부(164), 화상단 조정부(168), 포맷 변환부(116)에 의한 처리를 거쳐 입체 표시된다(S42).

도47은 제2 입체 화상 처리 장치(100)에 의한 또 다른 자동 조정의 흐름을 도시한 것이다. 화상 크리에이터의 절차(270)로 좌우 화상을 생성(S50)한 후, 이 시점에서 최대 시차를 검출하고(S52), 시차 화상중 어느 하나의 시점 화상의 헤더에 기록해 둔다(S54). 이 검출은 대응점 매칭을 통해 실시하여도 되지만, 크리에 이터가 수작업으로 시차 화상을 생성했을 때에는 그 편집 과정에서 당연히 알 수 있기 때문에 이것을 기록하면 된다. 이 후, 화상을 배포한다(S56).

한편, 제2 입체 화상 처리 장치(100)의 절차(272)중 화상 수취(S58)는 도46과 동일하다. 다음에는 시차량 검출부(150)의 헤더 검사부(156)를 통해 전술의 최대 시차를 헤더로부터 판독한다(S60). 한편, 시차 정보 유지부(120)로부터 한계 시차를 취득하고(S62), 이하의 처리(S64, S66)는 도46의 처리(S40, S42)와 각각 동일하다. 이 방법에 따르면 최대 시차를 계산할 필요가 없다. 또한, 화상 전체에 적절한 입체감을 실현할 수 있다. 또한, 시프트량을 헤더에 기록할 수 있기 때문에 원화상 자체를 손상시킬 우려가 없다. 또한, 도시되지 않았지만 도46에서도 검출된 최대 시차를 헤더에 기록하면 다음부터는 도47의 절차에 따라 처리할 수 있다.

또한, 다안식이라도 동일한 처리가 가능하므로, 각각 인접한 시점 화상간의 시차량에 대하여 동일한 처리를 수행하면 된다. 실제로는 이들 복수의 시점 화상간의 시차중 최대 시차를 전시점 화상간의 「최대 시차」로 간주하여 합성 위치의 시프트량을 정하여도 된다.

헤더 정보는 다시점 화상중 적어도 하나에 있으면 된다고 하였지만, 다시점 화상이 1장의 화상에 합성되어 있는 경우에는 그 화상의 헤더를 이용하면 된다.

또한, 이미 합성 완료된 화상이 배포되는 경우도 있는데, 그 경우는 한번의 반대 변환 처리로 화상을 분리하고 합성 위치 시프트량을 계산하여 재합성하거나, 그것과 결과가 동일해지도록 화소의 재배열 처리를 수행하면 된다.

도48 내지 도51은 합성 위치의 시프트를 심도 정보 포함 화상에 대하여 수행하는 처리를 도시한 것이다. 이는 제3 입체 화상 처리 장치(100)의 2차원 화상 생성부(178)에서 수행된다. 도48, 도49는 심도 정보 포함 화상을 구성하는 평면 화상(204)과 심도 맵이다. 여기서는 근접 배치 심도를 플러스, 원방 배치 심도를 마이너스로 나타내고 있다. 오브젝트로서 제1 사각형(250), 제2 사각형(252), 제3 사각형(254)이 존재하고, 제1 사각형(250)은 심도 「4」, 제2 사각형(252)은 「2」, 제3 사각형(254)은 「-4」이다. 제1 사각형(250)은 최대 근접 배치점, 제2 사각형(252)은 중간 근접 배치점, 제3 사각형(254)이 최대 원방 배치점에 있다.

2차원 화상 생성부(178)는 원래의 평면 화상(204)을 바탕으로 먼저 각 화소를 심도 맵의 값만큼 시프트시키는 처리를 수행하고, 다른 쪽의 시점 화상을 생성한다. 기준을 좌안 화상으로 하면 원래의 평면 화상(204)은 그대로 좌안 화상이 된다. 제1 사각형(250)을 좌측으로 4화소, 제2 사각형(252)을 좌측으로 2화소, 제3 사각형(254)을 우측으로 4화소 시프트시켜 도50과 같이 우안 화상(202)이 작성된다. 화상단 조정부(168)는 오브젝트의 이동에 의한 화소 정보의 누락 부분(260)을 시차가 「0」인 배경으로 판단하여 근접 화소로 매립한다.

계속해서, 2차원 화상 생성부(178)는 적정 시차를 충족시키는 심도를 계산한다. 심도의 범위를 K1 내지 K2로 하고 각 화소의 심도치를 Gxy로 하면, 심도 맵은 도37에서 Hxy를 Gxy로 변경한 모양이 된다. 또한, 사용자가 보유하고 있는 표시 장치의 적정 시차가 J1 내지 J2인 것을 알고 있다고 한다. 이 경우, 그 심도 맵에서 각 화소의 심도치(G)는 이하와 같이 변환되어 새로운 심도치(Fxy)가 얻어진다.

Fxy = J1 + (Gxy - K1) × (J2 - J1)/(K2 - K1)

전술의 예에서 K1 = -4, K2 = 4이고 또한 Jl = -3, J2 = 2였다고 하면, 이 변환식에 의해 도49의 심도 맵은 도51의 심도 맵으로 변환된다. 즉, 「4」는 「2」로, 「2」는 「1」로, 「-4」는 「-3」으로 각각 변환된다. K1과 K2 사이의 중간치는 J1과 J2의 사이로 변환된다. 예를 들면, 제2 사각형(252)은 Gxy = 2로, Fxy = 0.75가 된다. Fxy가 정수가 되지 않는 경우에는 사사오입이나 근접 배치 시차가 작아지는 처리를 실시하면 된다.

또한 상술의 변환식은 선형 변환의 예이지만, 더욱이 Gxy에 대한 가중 함수 F(Gxy)를 곱하거나 기타 여러가지 비선형 변환도 생각할 수 있다. 또한, 원래의 평면 화상(204)으로부터 오브젝트를 상호 반대 방향으로 시프트시켜 새롭게 좌우 화상을 생성할 수도 있다. 다안식인 경우에는 동일한 처리를 여러번 수행하여 다시점 화상을 생성하면 된다.

이상이 실시 형태에 따른 입체 화상 처리 장치(100)의 구성 및 동작이다.

입체 화상 처리 장치(100)는 장치로서 설명되었지만, 이것은 하드웨어와 소프트웨어의 조합이어도 되고 소프트웨어만으로도 구성할 수 있다. 그 경우, 입체 화상 처리 장치(100)의 임의의 부분을 라이브러리화하여 각종 프로그램으로부터 호출 가능하게 하면 편리성이 높다. 프로그래머는 입체 표시의 지식이 필요한 부분의 프로그래밍을 스킵할 수 있다. 사용자에게는 소프트웨어나 콘텐츠에 상관없이 입체 표시에 관한 조작, 즉 GUI가 공통이므로 설정된 정보는 다른 소프트웨어에서도 공유 가능하기 때문에 재설정의 수고를 덜 수 있다.

또한, 입체 표시에 관한 처리가 아니라 정보를 복수의 프로그램간에서 공유하는 것만으로도 유용하다. 각종 프로그램은 그 정보를 참조하여 화상의 상태를 결정할 수 있다. 공유되는 정보의 예로는 전술의 입체 화상 처리 장치(100)의 정보 취득부(118)에서 취득되는 정보이다. 이 정보를 도시되지 않는 기록부 또는 보정 맵 유지부(140) 등에 유지해 두면 된다.

도52 내지 도54는 이상의 입체 화상 처리 장치(100)를 라이브러리로 이용하는 일 예를 도시한 것이다. 도52는 입체 표시 라이브러리(300)의 용도를 도시한 것이다. 입체 표시 라이브러리(300)는 복수의 프로그램A(302), 프로그램B(304), 프로그램C(306) 등으로부터 함수를 호출하는 형식으로 참조된다. 파라미터 파일(318)에는 전술의 정보 이외에 사용자의 적정 시차 등이 저장되어 있다. 입체 표시 라이브러리(300)는 API(애플리케이션 프로그램 인터페이스)(310)를 통해 복수의 장치A(312), 장치B(314), 장치C(316) 등에서 이용된다.

프로그램A(302) 등의 예로는 게임, 소위 Web 3D라고 불리는 3차원 애플리케이션, 3차원 데스크탑 화면, 3차원 지도, 2차원 화상인 시차 화상의 뷰어, 심도 정보 포함 화상 등의 뷰어를 생각할 수 있다. 게임중에도 당연히 좌표의 사용 방법이 다른 것이 있지만, 입체 표시 라이브러리(300)는 이에도 대응할 수 있다.

한편, 장치A(312) 등의 예로는 2안이나 다안의 시차 배리어식, 셔터 안경 방식, 편광 안경 방식 등의 시차를 이용하는 임의의 입체 표시 장치이다.

도53은 3차원 데이터 소프트(402)에 입체 표시 라이브러리(300)가 조립된 예를 도시한 것이다. 3차원 데이터 소프트(402)는 프로그램 본체(404)와, 이를 위해 적정 시차를 실현하는 입체 표시 라이브러리(300)와, 촬영 지시 처리부(406)를 구비한다. 프로그램 본체(404)는 사용자 인터페이스(410)를 통해 사용자와 통신한다. 촬영 지시 처리부(406)는 사용자의 지시에 따라 프로그램 본체(404)의 동작중 소정의 장면을 가상적으로 카메라 촬영한다. 촬영된 화상은 화상 기록 장치(412)에 기록된다. 또한, 입체 표시 장치(408)로 출력된다.

예를 들면, 3차원 데이터 소프트(402)가 게임 소프트라고 한다. 이 경우, 사용자는 게임중에 입체 표시 라이브러리(300)를 통해 적절한 입체감을 체험하면서 게임을 실행할 수 있다. 게임중 사용자가 기록을 남기고 싶은 경우, 예를 들면 대전형 전투 게임에서 완전 승리를 거두었을 때에 사용자 인터페이스(410)를 통해 촬영 지시 처리부(406)에 지시를 하여 그 장면을 기록한다. 이때, 입체 표시 라이브러리(300)를 이용하여 후에 입체 표시 장치(408)로 재생했을 때에 적정 시차가 되도록 시차 화상을 생성하는데, 이것이 화상 기록 장치(412)의 전자 앨범 등에 기록된다. 또한, 기록을 시차 화상이라는 2차원 화상으로 수행함에 따라 프로그램 본체(404)가 갖는 3차원 데이터 자체는 유출되지 않으므로, 저작권 보호면에도 배려할 수 있다.

도54는 도53의 3차원 데이터 소프트(402)를 네트워크 이용형 시스템(430)에 조립한 예를 도시한 것이다.

게임기(432)는 도시되지 않은 네트워크를 통해 서버(436)와 사용자 단말기(434)에 접속된다. 게임기(432)는 소위 아케이드 게임용으로, 통신부(442), 3차원 데이터 소프트(402) 및 게임을 로컬로 표시하는 입체 표시 장치(440)를 구비한다. 3차원 데이터 소프트(402)는 도53의 것이다. 3차원 데이터 소프트(402)로부터 입체 표시 장치(440)에 표시되는 시차 화상은 입체 표시 장치(440)에 대하여 미리 최적 설정되어 있다. 3차원 데이터 소프트(402)에 의한 시차 조정은 후술과 같이 통신부(442)를 통해 사용자에게 화상을 송신할 때에 이용된다. 여기서 이용되는 표시 장치는 시차를 조정하여 입체 화상을 생성하는 기능을 구비하고 있으면 되는데, 반드시 입체 표시를 할 수 있는 장치가 아니어도 된다.

사용자 단말기(434)는 통신부(454), 입체 화상을 보기 위한 뷰어 프로그램(452) 및 입체 화상을 로컬로 표시하는 임의의 사이즈 및 타입의 입체 표시 장치(450)를 구비한다. 뷰어 프로그램(452)에는 입체 화상 처리 장치(100)가 실장되어 있다.

서버(436)는 통신부(460), 게임과 관련하여 사용자가 가상적으로 촬영한 화상을 기록하는 화상 유지부(462) 및 사용자의 적정 시차 정보, 사용자의 메일 어드레스 그 밖의 개인 정보 등을 사용자와 대응시켜 기록하는 사용자 정보 유지부(464)를 구비한다. 서버(436)는 예를 들면 게임의 공식 사이트로서 기능하며, 게임 실행중에 사용자가 마음에 드는 장면이나 명승부의 동화상 또는 정지화상을 기록한다. 입체 표시는 동화상, 정지 화상중 어느 것이라도 가능하다.

이상의 구성에서의 화상 촬영의 일 예는 이하의 요령으로 수행된다. 사용자는 미리 사용자 단말기(434)의 입체 표시 장치(450)로 입체 표시를 수행하여 입체 화상 처리 장치(100)의 기능을 바탕으로 적정 시차를 취득하고, 이것을 통신부(454)를 통해 서버(436)에 통지하여 사용자 정보 유지부(464)에 저장한다. 이 적 정 시차는 사용자가 보유하고 있는 입체 표시 장치(450)의 하드웨어와 관계가 없는 범용적인 기술로 되어 있다.

사용자는 임의의 타이밍으로 게임기(432)를 통해 게임을 한다. 그 사이, 입체 표시 장치(440)에서는 처음에 설정되어 있던 시차 또는 사용자가 수동 조정한 시차에 의한 입체 표시가 이루어진다. 게임 플레이중 또는 리플레이중 사용자가 화상의 기록을 희망하면 게임기(432)의 3차원 데이터 소프트(402)에 내장된 입체 표시 라이브러리(300)가 2개의 통신부(442, 460)를 통해 서버(436)의 사용자 정보 유지부(464)로부터 이 사용자의 적정 시차를 취득하고, 그것에 맞게 시차 화상을 생성하며, 다시 2개의 통신부(442, 460)를 통해 화상 유지부(462)에 가상적으로 촬영된 화상에 관한 시차 화상을 저장한다. 사용자가 자택으로 돌아온 후, 이 시차 화상을 사용자 단말기(434)에 다운로드하면 원하는 입체감으로 입체 표시를 할 수 있다. 이때도 뷰어 프로그램(452)을 갖는 입체 화상 처리 장치(100)에 의한 시차의 수동 조정은 가능하다.

이 응용예에 따르면 본래 표시 장치의 하드웨어마다 사용자마다 설정해야만 하는 입체감에 관한 프로그래밍이 입체 화상 처리 장치(100) 및 입체 표시 라이브러리(300)에 집약되어 있으므로, 게임 소프트의 프로그래머는 입체 표시에 관한 복잡한 요건을 일체 걱정할 필요가 없다. 이것은 게임 소프트에 제한되지 않으며, 입체 표시를 이용하는 임의의 소프트웨어에 대해서도 동일하여, 입체 표시를 이용하는 콘텐츠나 애플리케이션 개발의 제약을 해소한다. 따라서, 이들의 보급을 비약적으로 촉진시킬 수 있다.

특히, 원래 3차원인 CG 데이터가 존재하는 게임 그 밖의 애플리케이션의 경우, 종래에는 적확한 입체 표시를 코딩하는 것이 곤란하다는 것도 큰 원인이 되어 3차원 데이터를 가지고 있으면서도 그것을 입체 표시에 이용하지 않은 경우도 많다. 실시 형태에 따른 입체 화상 처리 장치(100) 또는 입체 표시 라이브러리(300)에 따르면 그러한 폐해를 제거할 수 있으므로, 입체 표시 애플리케이션의 충실화에 기여할 수 있다.

또한, 도54에서는 사용자의 적정 시차를 서버(436)에 등록하였지만, 사용자는 그 정보를 기록한 IC 카드 등을 지참하고 게임기(432)를 이용하여도 된다. 이 카드에 이 게임에 관한 득점이나 마음에 드는 화상을 기록하여도 된다.

이상, 본 발명을 실시 형태를 바탕으로 설명하였다. 이 실시 형태는 예시로서, 이들의 각 구성 요소나 각 처리 프로세스의 조합에 따라 여러가지 변형예가 가능하고, 또한 그러한 변형예도 본 발명의 범위에 있다는 것은 당업자에게 이해되는 바이다. 이하, 그러한 예를 든다.

제1 입체 화상 처리 장치(100)는 3차원 데이터가 입력됨에 따라 높은 정밀도로 처리가 가능하다. 그러나, 3차원 데이터를 일단 심도 정보 포함 화상으로 수신받고, 이에 대해 제3 입체 화상 처리 장치(100)를 이용하여 시차 화상을 생성하여도 된다. 경우에 따라 그러한 방법이 계산 비용이 낮은 경우가 있다. 마찬가지로, 복수의 시점 화상이 입력될 때에도 고정밀도의 대응점 매칭을 이용하여 심도 맵을 만드는 것도 가능하며, 이와 같이 해서 심도 정보 포함 화상으로 수신받고, 이에 대해 제3 입체 화상 처리 장치(100)를 이용하여 시차 화상을 생성하여도 된다.

제1 입체 화상 처리 장치에 있어서, 제1 입체 화상 처리 장치(100)의 카메라 배치부(130)를 입체 화상 처리 장치(100)의 구성으로 하였지만, 이것은 입체 화상 처리 장치(100)의 전처리이어도 된다. 카메라의 임시 배치까지는 적정 시차에 관계없이 처리할 수 있기 때문이다. 마찬가지로, 제1, 제2, 제3 입체 화상 처리 장치(100)를 구성하는 임의의 처리 유닛을 입체 화상 처리 장치(100)의 외부에 두는 것도 가능하므로, 입체 화상 처리 장치(100)의 구성 자유도가 높다는 것은 당업자에게 이해되는 바이다.

실시 형태에서는 시차의 제어를 수평 방향으로 수행하는 경우를 설명하였지만, 동일한 처리를 수직 방향에 대해서도 실시할 수 있다.

입체 표시 라이브러리(300)나 입체 화상 처리 장치(100)의 동작중에 문자 데이터를 확대 처리하는 유닛을 설치하여도 된다. 예를 들면, 수평 2시점에 의한 시차 화상인 경우, 사용자의 눈에 보이는 화상의 수평 해상도는 1/2이 된다. 그 결과, 문자의 판독 가능성이 저하될 수 있기 때문에 수평 방향으로 2배로 문자를 늘리는 처리가 유효하다. 수직 방향으로 시차가 있는 경우, 마찬가지로 수직 방향으로 문자를 늘리는 것도 유용하다.

입체 표시 라이브러리(300)나 입체 화상 처리 장치(100)의 동작중에 표시하고 있는 화상에 「3D」 등의 문자나 마크를 넣는 「동작중 표시부」를 설치하여도 된다. 이 경우, 사용자는 시차 조정이 가능한 화상인지 여부를 알 수 있다.

입체 표시/통상 표시 전환 유닛을 설치하여도 된다. 이 유닛은 GUI를 포함 하는데, 사용자가 소정의 버튼을 클릭하면 표시가 입체 표시에서 통상의 2차원 표시로 전환되고, 그 반대도 가능한 구성으로 하면 편리하다.

정보 취득부(118)는 반드시 사용자 입력에 의해 정보를 취득하는 것이 아니라 플러그 앤드 플레이 등의 기능에 의해 자동적으로 취득할 수 있는 정보이어도 된다.

실시 형태에서는 E와 A를 도출하는 방법을 취하였지만, 이들을 고정하고 다른 파라미터를 도출하는 방법이어도 되며 변수의 지정은 자유롭다.

입체 표시에 관한 다른 표현 방법에 대하여 제안한다. 일반적으로, 평면의 화상 표시에서는 「어떤 계면을 오브젝트가 통과한다」와 같이 특히 깊이 방향의 표현에는 현실성이라는 점에서 한계가 있다. 또한, 창문의 면에 실제로 공간과 공간을 사이에 두는 계면이 있다는 것을 관찰자에게 인식시키는 것은 곤란하다. 이에, 이하에서 설명하는 바와 같이 입체 화상 표시 장치에서 입체적으로 물체를 표시하는 것으로 화면이나 프레임과 같은 실체와 화상 내에 표현되는 오브젝트 상의 계면이 일치하도록 인식시키는 것이 가능해지고, 이러한 표시에 의해 새로운 표현 방법이 생성된다. 일반적으로, 표시 화면이나 그 주변 프레임은 시각적으로 인지되기 때문에 이것을 창문과 같이 이용하는 표시 방법이 고안되고, 그 면에 공간과 공간의 계면이나 판형인 오브젝트를 배치하는 지정이 필요하게 된다. 이 경우, 도18에 도시된 위치 관계에서는 광축 교차 위치(D)가 지정된다.

도18에 도시된 촬영계의 위치 관계에서 기본 표현 공간(T) 내의 근접 배치 및 원방 배치의 한계 시차를 각각 P, Q로 하면,

E : S = P : A

E : S + T = Q : T - A

의 관계식이 얻어진다. 이들 관계식을 근접 배치, 원방 배치의 한계 시차 각각 대하여 풀면,

E = PS/A

E = Q(S + T)/(T - A)

이 얻어진다. 이들 2개의 E중 작은 쪽 E를 선택하면 적정 시차 범위의 입체 화상이 얻어진다.

도55는 3차원 데이터에 의해 구성된 화상이 표시 화면(400)에 표시되어 있는 상태를 도시한 것이다. 이 화상은 수조(410)의 하나의 유리면(401)이 표시 화면(400)과 일치하고 있으며, 수조(410) 내를 물고기(301)가 헤엄치고 있는 것을 표현하고 있다. 표시 화면(400)의 안쪽을 원방 배치 공간, 앞쪽을 근접 배치 공간이 되도록 처리가 이루어지면 물고기(301)는 도56에 도시된 바와 같이 통상은 원방 배치 공간을 헤엄치고 있듯이 나타내어지고, 때때로 도57에 도시된 바와 같이 「물고기(301)가 표시 화면(400)을 뛰어넘어 근접 배치 공간에 나타난다」와 같은 표현을 할 수 있다. 또한, 물고기(301)가 표시 화면(400)을 빠져나갈 때, 예를 들면 「표시 화면(400)의 주변에서 물보라가 일어나고, 물고기(301)가 빠져나가면 계면이 재생된다.」와 같은 표현도 할 수 있다. 다른 표현의 예로서, 예를 들면 「표시 화면보다 앞쪽의 근접 배치 공간에는 물이 없기 때문에 물고기(301)가 근접 배치 공간에서 잠시 헤엄치면 숨이 차서 다시 계면, 즉 표시 화면(400)을 관통하여 원방 배치 공간으로 되돌아간다.」와 같은 표현도 할 수 있다.

또한, 반드시 물체가 계면을 통과하고 그 후 물체가 통과할 때에 깨진 계면이 재생될 필요는 없으며, 계면이 깨진 그대로의 상태로 하거나 물체의 충돌에 맞추어 계면이 변형되지만 통과하지 못하게 하거나, 아울러 그 때의 충격만 전해지는 영상상의 효과로서, 예를 들면 전기 쇼크가 가해지는 등 계면과 물체의 상호 작용에 관한 여러가지 표현을 할 수 있다는 것은 분명하다. 또한, 계면은 단순한 면이어도 되지만, 유리와 같은 판형 물체나 종이 등의 얇은 물체를 배치하여도 된다. 또한, 계면이 표시 화면에 완전하게 일치할 필요는 없으며, 그 근변이면 된다. 이상과 같은 표현 효과가 평면적인 화상에서는 충분히 관찰자에게 상황을 전달할 수 없다는 것은 분명하다. 특히, 입체 화상의 기점이 되는 오리지널 데이터가 3차원 데이터라면 상술과 같은 효과를 표현하기 위한 편집이 용이해진다.

이와 같이 표시해야 할 오브젝트가 갖는 계면을 표시 화면에 일치시키는 표현은 도58에 도시된 방법을 통해 생성할 수 있다. 즉, 3차원 공간에 가상적인 수조(410)가 배치되고, 그 좌측에 배치된 2개의 가상 카메라(430, 440)로부터 시차를 갖는 2개의 화상이 생성된다. 이때 2개의 가상 카메라(430, 440)의 광축 교차 위치를 수조의 하나의 면과 일치시킨다. 또한, 이러한 화상은 도59와 같이 촬영할 수도 있다. 실제 수조(410)의 상부에 2대의 가상 카메라(430, 440)를 배치하고 수조(410)를 촬영한다. 이때, 2대의 카메라의 광축 교차 위치를 수면에 일치시킨다.

도60은 이상의 처리를 실현하기 위한 제4 입체 화상 처리 장치(100)의 구성을 도시한 것이다. 이 입체 화상 처리 장치(100)는 도11에 도시된 제1 입체 화상 처리 장치(100)의 입체감 조정부(112)에 오브젝트 지정부(180)를 더 설치한 구성이다. 이 오브젝트 지정부(180)는 사용자의 지정을 받은 오브젝트의 계면을 표시 화면 부근에 위치시키거나 혹은 일치시키는 처리를 수행한다. 여기서, 사용자로는 입체 화상의 제작자를 상정하고, 상술의 처리는 입체 화상의 제작 혹은 편집시에 이루어진다. 또한, 사용자는 관찰자이어도 된다.

먼저, 도60에 도시된 입체 화상 처리 장치(100)에 관하여 그 처리 순서를 설명한다. 오브젝트 지정부(180)는 마우스 등의 소정의 입력 장치를 통해 사용자로부터 2개의 가상 카메라(430, 440)의 광축 교차면에 대응시키는 오브젝트의 지정을 접수하고, 그 지정된 오브젝트를 시차 제어부(114)에 통지한다. 시차 제어부(114), 보다 구체적으로는 카메라 배치 결정부(132)는 사용자로부터 지정된 오브젝트가 갖는 평면을 2개의 가상 카메라(430, 440)의 광축 교차면이 되도록 조정한다. 이 처리 이외의 동작은 도11에 도시된 입체 화상 처리 장치(100)의 동작과 동일하면 된다. 이와 같이 하여 결정된 오브젝트에는 표시 화면 부근에 표시시키는 것을 나타내는 정보가 부가된다. 표시할 때에는 적절하게 그것을 판독하여 광축의 교차 거리(D)를 정하고, 앞서 진술한 처리를 통해 카메라간 거리(E)를 정한다.

또한, 다른 표현 수법에 대하여 제안한다. 표시 화면에 표시해야 할 오브젝트가 복수 존재하는 경우, 반드시 모든 오브젝트를 항상 적정 시차 내에 둘 필요는 없다. 때로는 효과적인 표시를 위해 임의의 조건하에서, 예를 들면 일정 기간만 일부 오브젝트를 적정 시차의 조건에서 이탈시켜 표시하여도 된다. 이 수법으로서 정지 오브젝트에 대하여 기본 표현 공간을 결정하는 것을 상술했지만, 보다 자세하 게는 오브젝트마다에 입체 표시할 오브젝트가 포함되는 기본 표현 공간 내에서 표현해야 할 오브젝트인지를 판별하는 정보(이하, 단순히 「식별 정보」라고도 한다)를 지니게 하면 된다. 또한, 기본 표현 공간 내에 표현해야 할 대상을 「기본 표현 공간의 산출 대상」이라고도 한다. 그리고, 이 식별 정보를 바탕으로 수시(隨時) 기본 표현 공간이 결정되면 된다.

식별 정보가 필요에 따라 적절하게 변경될 수 있도록 구성되어 있다면 적정 시차로부터 이탈시키는 조건을 유연하게 설정할 수 있다. 예를 들면, 식별 정보에 적정 시차 조건으로부터 벗어나게 하는 시간의 지정이 기술되어 있다면, 지정된 시간이 지나면 자동적으로 적정 시차의 범위로 되돌아가도록 할 수도 있다.

또한, 이와 같이 일시적으로 일부 오브젝트를 적정 시차 조건으로부터 이탈시켜 표시 화면에 표시하기 위한 수법을 이하에 도시한다. 예를 들면, 도11에 도시된 제1 입체 화상 처리 장치(100)의 카메라 배치 결정부(132)는 적정 시차에 따라 가설정된 카메라 파라미터를 수정하였지만, 더욱이 이 기능을 아래와 같이 확장하면 된다. 즉, 카메라 배치 결정부(132)가 오브젝트마다 관련지어져 있는 식별 정보를 판독하고, 그 식별 정보를 반영시키는 형식으로 카메라 파라미터를 배치한다.

또한, 다른 표현 방법에 대하여 제안한다. 기본 표현 공간의 전면 및 배면, 즉 근접 배치 한계인 전방 투영면과 원방 배치 한계인 후방 투영면이 임의의 오브젝트에 의해 결정되면, 오브젝트에 대응하는 공간의 전후 공간을 이동하는 표현을 할 수 없게 된다. 도61은 제4 입체 화상 처리 장치(100)에 의해 표시되는 화상을 편의적으로 깊이 방향, 특히 기본 표현 공간(T)에 대하여 나타내고 있다. 본 도면의 좌측에 전방 투영면(310)과 우측에 후방 투영면(312)이 설정되어 있고, 전방 투영면(310)과 후방 투영면(312)의 사이가 기본 표현 공간(T)이 된다. 기본 표현 공간(T)의 범위 내에는 정지 오브젝트로서 전방 투영면(310)측에 집(350)이, 후방 투영면(312)측에 나무(370)가 표현되어 있다. 또한, 이들 2개의 정지 오브젝트 상측의 공간을 동적 오브젝트인 새(330)가 전방으로 이동하고 있다. 새(330)가 기본 표현 공간(T) 범위 내에서 이동하고 있으면 그 움직임을 표현할 수 있지만 전방 투영면(310) 또는 후방 투영면(312)에 도달한 경우, 그 이후는 새(330)가 도61의 좌측에 도시된 새(330)와 같이 전방 투영면 혹은 도시되지 않았지만 후방 투영면(312)에 위치하는 오브젝트가 되므로, 새(330)가 최대 시차로 고정되어 실공간에서 더욱 전방 혹은 후방으로 이동할 수 없다. 만약 조금이라도 오브젝트를 이동하고 있는 것처럼 표현할 수 있다면 오브젝트에 대한 현장감을 유지할 수 있게 된다.

상술한 바와 같이, 동적 오브젝트를 기본 표현 공간(T)의 대상으로부터 이탈시키는 처리를 생각할 수 있지만, 상술된 바와 같이 어떤 효과를 노리는 경우 이외에는 사용자가 위화감을 느낄 가능성이 있으므로, 기본 표현 공간(T) 범위에서 표현하는 것이 바람직한 경우도 많다.

이에, 도62에 도시된 바와 같이, 오브젝트가 아무것도 존재하지 않는 영역을 기본 표현 공간(T)에 포함시킨다. 도62는 전방의 정지 오브젝트인 집(350)의 전방에 아무것도 존재하지 않는 공간을 기본 표현 공간(T)의 일부로서 설치해 두고, 동적 오브젝트인 새(330)가 집(350)의 전방으로 이동할 수 있도록 한 것이다.

도63은 또한 후방에 놓인 정지 오브젝트인 나무(370)의 후방에 아무것도 존재하지 않는 공간을 기본 표현 공간(T)의 일부로 설치한 것이다. 이에 의해, 예를 들면 동적 오브젝트인 새(330)가 후방으로부터 이동해 와서 집(350)의 전면에 해당하는 위치를 넘어도 새(330)가 기본 표현 공간(T) 범위 내에 위치하고 있기 때문에 더욱 전방으로 이동하여도 적정 시차로 표현되므로, 그 이동에 관하여 사용자인 관찰자는 위화감을 느끼는 일이 없다.

또한, 도64에 도시된 바와 같이, 예를 들면 새(330)를 그 자신뿐만 아니라 전후의 공간을 포함시키는 형식으로, 시차를 계산하는 대상으로서 이동 오브젝트(390)를 형성해 둔다. 이동 오브젝트(390)의 최전면이 전방 투영면(310)에 도달한 경우, 새(330)만을 이동시킨다. 이 경우, 예를 들면 새(330)의 이동 속도를 본래의 속도보다 느리게 함으로써, 새(330)가 금방 전방 투영면(310)에 도달해 버려 그 이후의 이동을 표현할 수 없게 되기까지의 시간을 지연시킬 수 있다.

또한, 도65에 도시된 바와 같이, 예를 들어 이동 오브젝트(390)가 전방 투영면(310)을 넘어선 이후에는 미리 포함시켜 놓은 공간 속에서 새(330)를 이동시켜도 된다. 이에 따라, 최대 시차는 이동 오브젝트(390)에 의해 결정되고, 새(330)는 조금씩 그 최대 시차에 근접하기 때문에 실공간에서 계속해서 앞으로 이동할 수 있게 된다. 이것은 오브젝트, 즉 새(330)의 위치에 따라 이동시키는 것을 유효하게 할지 무효로 할지를 판정하면 실현할 수 있다. 이동 속도는 본래 상정된 이동 속도나 빠른 속도, 느린 속도중 어느 것으로 설정되어 있어도 되므로, 이동 속도에 유연성을 지니게 함에 따라 여러가지 표현이 가능하게 된다. 예를 들면, 이동 오 브젝트(390)의 단부에 접근할수록 이동 속도를 느리게 변경함으로써, 전후 방향에 따라 시차량이 과도하게 커지는 것을 방지하면서 앞으로의 이동을 표현할 수 있다.

또한, 만약 다른 오브젝트가 그 전후에 출현하는 경우, 최대 시차는 그 오브젝트에 의존하게 되므로, 새(330)를 이동 오브젝트(390) 내의 원래의 위치로 조금씩 되돌린다.

다음에는 최대 시차를 변화시키면서 급격한 시차의 변화를 방지하는 원리를 앞서 도시된 도17 및 도18을 바탕으로 설명한다. 상술과 같이,

tan(φ/2) = Mtan(θ/2)/L

E : S = P : A

P = 2(S + A)tan(φ/2)

의 관계가 성립되고, 이들 식에서, 임의의 카메라 설정에 있어서 임의의 오브젝트의 근접 배치측 시차량은,

M = LEA/(2S(A + S)tan(θ/2))

로 나타낼 수 있다. 여기서, 이 오브젝트가 전방으로 이동하면 카메라 설정을 변경하지 않는 경우에 A가 커지고 S가 작아지므로 시차량은 커진다.

여기서, 오브젝트가 전방으로 이동하였을 때에 M이 M'로, S가 S'로, A가 A'이 되었다고 한다면,

M' = LEA'/(2S'(A' + S')tan(θ/2))

M < M'

로 나타낼 수 있다.

카메라 설정중 E와 A'를 변경하면,

M" = LE"A"/(2S'(A" + S')tan(θ/2))

로 변환되는데, 이때

M < M" <M'

의 관계를 충족시키면 관찰자를 향해 이동하는 오브젝트를 입체 표시할 때에 급격한 시차량의 변화를 방지할 수 있다. 또한, E 또는 A'중 어느 하나만을 변경하여도 된다. 이때, M"는,

M" = LE"A'/(2S'(A' + S')tan(θ/2))

또는,

M" = LEA"/(2S'(A" + S')tan(θ/2))

로 나타내어진다.

오브젝트의 안쪽을 향하는 움직임에 대한 급격한 시차량의 변화를 방지하기 위해서는,

M > M" > M'

의 관계를 충족시키면 된다.

또한, 원방 배치측 시차량(N)에 관해서도 마찬가지로,

N = LE(T - A)/(2(T + S)(A + S)tan(θ/2))

이고, 마찬가지로,

N' = LE(T - A')/(2(T + S')(A' + S')tan(θ/2))

N" = LE"(T - A")/(2(T + S')(A" + S')tan(θ/2))

를 구한다. 여기서

N > N" > N'

의 관계를 충족시키면 오브젝트의 관찰자를 향한 움직임에 대하여 현실 좌표상의 이동 속도는 급격한 시차량의 변화를 방지할 수 있고, 또한,

N < N" <N'

의 관계를 충족시키면 오브젝트의 안쪽을 향하는 움직임에 대하여 급격한 시차량의 변화를 방지할 수 있다.

이상, 도61에서 도65에 도시된 바와 같은 표현 수법을 실현하는 입체 화상 표시 장치(100)의 구성을 설명한다. 이 입체 화상 표시 장치(100)는 도60에 도시된 입체 화상 표시 장치(100)로서 실현할 수 있다. 단, 카메라 배치 결정부(132)가 적정 시차에 따라 가설정된 카메라 파라미터를 수정할 때에 오리지널 데이터로부터 기본 표현 공간의 산출 대상이 되는 범위에 관한 정보나 오브젝트의 시차량 변경에 관한 정보를 판독하고, 그것을 카메라 파라미터에 반영시키는 기능을 더 구비한다. 이 정보는 오리지널 데이터 자신에 담겨 있어도 되고, 예를 들어 시차 정보 유지부(120)에 유지되어도 된다.

실시 형태에서는, 예를 들면 공이 바르게 보이는 바른 시차 상태에 비해 적정 시차 처리에 의해 시차가 지나치게 큰 상태라고 판단되면 입체 화상의 시차가 작아지도록 처리하고 있다. 이때, 공이 안쪽 방향으로 찌그러진듯한 형상으로 보이지만, 일반적으로 이러한 표시에 대한 위화감은 작다. 사람은 통상 평면 화상에 눈이 익숙하기 때문에 시차가 O인 상태와 바른 시차 상태의 사이라면 위화감을 느 끼지 않는 경우가 많다.

반대로, 공이 바르게 보이는 시차 상태에 비해 적정 시차 처리에 의해 입체 화상의 시차가 지나치게 작아졌다고 판단되면 시차가 커지도록 처리한다. 이때, 예를 들어 공이 안쪽 방향으로 팽창한듯한 형상으로 보이는데, 이러한 표시에 대하여 사람은 크게 위화감을 느끼는 경우가 있다.

단체인 오브젝트를 입체 표시할 때에 상술과 같이 사람이 위화감을 느끼는 현상이 발생하기 쉬운데, 건물이나 타는 것 등 실생활에서 보는 물체의 표시에서는, 특히 이 시차 차이에 의해 보이는 모습의 위화감이 명확하게 인식되는 경향이 있다. 이에, 그 위화감을 저감하기 위해서는 시차가 커질 것 같은 처리에 대해서는 보정을 가할 필요가 있다.

3차원 데이터에 의해 입체 화상이 생성되는 경우에는 카메라의 배치를 변경함으로써, 시차 조정을 비교적 용이하게 수행할 수 있다. 도66에서 도71에 시차 보정 순서를 도시하였다. 또한, 이 시차 보정은 상술의 제1 내지 제4 입체 화상 처리 장치(100)에 의해 수행될 수 있다. 여기서는 도11에 도시된 제1 입체 화상 처리 장치(100)를 통해 3차원 데이터에 의해 입체 화상이 생성되는 것을 상정한다. 또한, 후술되는 제4, 제6 입체 화상 표시 장치(100)로도 상술의 보정 처리를 실현할 수 있다.

도66은 임의의 입체 화상 표시 장치(100)의 표시 화면(400)에서 관찰자가 입체 화상을 관찰하고 있는 모습을 도시한 것이다. 표시 화면(400)의 화면 사이즈는 L, 표시 화면(400)과 관찰자의 거리는 d, 안간 거리는 e이다. 또한, 근접 배치 한 계 시차(M)와 원방 배치 한계 시차(N)는 입체감 조정부(112)에 의해 미리 얻어지고, 근접 배치 한계 시차(M)와 원방 배치 한계 시차(N)의 사이가 적정 시차가 된다. 여기서는 이해를 쉽게 하기 위하여 근접 배치 한계 시차(M)만을 표시하고 있으나, 이 값으로부터 최대 돌출량(m)이 정해진다. 돌출량(m)이란, 표시 화면(400)에서 근접 배치점까지의 거리를 가리킨다. 또한, L, M, N의 단위는 「화소」인데, 다른 d, m, e 등의 파라미터와는 달리 본래 소정의 변환식을 이용하여 조정할 필요가 있지만, 여기서는 설명을 쉽게 하기 위하여 동일한 단위계로 나타내고 있다.

이때, 공(21)을 표시하기 위하여 공(21)의 최대 근접 배치점과 최대 원방 배치점을 기준으로 시차 제어부(114)의 카메라 배치 결정부(132)에 의해 카메라 배치가 도67과 같이 정해졌다고 한다. 2개의 카메라(22, 24)의 광축 교차 거리는 D, 이들 카메라의 간격은 Ec이다. 단, 파라미터의 비교를 쉽게 하기 위하여 광축 교차 거리에서의 카메라의 예상폭이 화면 사이즈(L)와 일치하도록 좌표계의 확대 축소 처리가 이루어져 있다. 이때, 예를 들면 카메라 간격(Ec)이 안간 거리(e)와 같고, 광축 교차 거리(D)가 관찰 거리(d)보다 작았다고 한다. 그러면, 이 계는 도68과 같이 도67에 도시된 카메라 위치에서 관찰자가 관찰하면 공(21)이 바르게 보인다. 이러한 촬영계에서 생성된 화상을 원래의 입체 화상 표시 장치(100)를 통해 공(21)을 관찰하면, 도69와 같이 적정 시차 범위 전체에 걸쳐 안쪽 방향으로 신장된 공(21)이 관찰된다.

이 원리를 이용하여 입체 화상에 대한 보정이 필요한지의 여부를 판단하는 수법을 이하에 도시한다. 도70은 도67에 도시된 카메라 배치로 표시 화면(400)으 로부터의 거리가 A에 위치하는 공의 최대 근접 배치점을 촬영하는 모습을 도시하고 있다. 이때, 2개의 카메라(22, 24) 각각과 거리 A가 위치하는 점을 연결하여 생기는 두개의 직선에 의해 거리 A에 대응하는 최대 시차(M)가 구해진다. 또한, 도71은 2개의 카메라(22, 24)와 카메라의 광축 공차 거리를 d로 하였을 때, 도70에 도시된 시차(M)를 얻기 위하여 필요한 카메라 간격(E1)을 나타내고 있다. 이것은 카메라 간격 이외의 촬영계의 파라미터를 모두 관찰계의 파라미터와 일치시키는 변환이라는 것을 할 수 있다. 도70 및 도71에서는 다음의 관계가 성립된다.

M : A = Ec : D - A

M : A = E1 : d - A

Ec = E1(D - A)/(d - A)

E1 = Ec(d - A)/(D - A)

그리고, 이 E1이 안간 거리(e)보다 클 때에 시차가 작아지는 보정이 필요하다고 판단된다. E1을 안간 거리(e)로 하면 되므로, 다음 식과 같이 Ec를 보정하면 된다.

Ec = e(D - A)/(d - A)

최대 원방 배치점에 대해서도 동일한데, 도72 및 도73에서 공(21)의 최대 근접 배치점과 최대 원방 배치점의 거리를 기본 표현 공간인 T라고 한다면,

N : T - A = Ec: D + T - A

N : T - A = E2 : d + T - A

Ec = E2(D + T - A)/(d + T - A)

E2 = Ec(d + T - A)/(D + T - A)

또한, 이 E2가 안간 거리(e)보다 클 때 보정이 필요하다고 판단된다. 계속해서, E2를 안간 거리(e)로 하면 되므로, 다음 식과 같이 Ec를 보정하면 된다.

Ec = e(D + T - A)/(d + T - A)

최종적으로, 최대 근접 배치점, 최대 원방 배치점으로부터 각각 얻어진 2개의 Ec중 작은 쪽을 선택하면, 근접 배치 및 원방 배치의 어느 것에 대해서도 시차가 지나치게 커지는 일이 없게 된다. 이 선택된 Ec를 원래의 3차원 공간의 좌표계로 되돌리고 카메라를 설정한다.

보다 일반적으로는,

Ec < e(D - A)/(d - A)

Ec < e(D + T - A)/(d + T - A)

의 2식을 동시에 충족시키도록 카메라 간격(Ec)을 설정하면 된다. 이것은 도74 및 도75에서 관찰 거리(d)의 위치에 안간 거리(e)의 간격으로 놓어진 2개의 카메라(22, 24)와 오브젝트의 최대 근접 배치점을 연결하는 2개의 광축(K4)상 또는 상기 2개의 카메라(22, 24)와 최대 원방 배치점을 연결하는 2개의 광축(K5)상에 2개의 카메라를 배치했을 때의 간격이 카메라 간격(Ec)의 상한인 것을 나타내고 있다. 즉, 도74에서의 2개의 광축(K4)의 간격 혹은 도75에서의 2개의 광축(K5)의 간격중 좁은 쪽의 광축 사이에 포함되도록 2개의 카메라(22, 24)를 배치하면 된다.

또한, 여기에서는 광축 교차 거리를 변경하지 않고 카메라 간격만으로 보정을 수행하였지만, 광축 교차 거리를 변경하여 오브젝트의 위치를 변경하여도 되고, 카메라 간격 및 광축 교차 거리의 양쪽을 변경하여도 된다.

심도 맵을 이용하는 경우도 보정이 필요하게 된다. 심도 맵치가 그 점의 변이량을 화소수로 나타내고 있는데, 초기치 일반적으로 오리지널 데이터에 기술되어 있는 값이 최적의 입체시를 실현하는 상태라고 한다면, 적정 시차 처리에서 심도 맵치의 범위를 크게 할 필요가 발생하였을 때에는 상기의 처리를 수행하지 않고, 심도 맵치의 범위를 작게 할 필요가 발생하였을 때, 즉 시차를 작게 할 필요가 발생하였을 때에만 상기 처리를 수행하면 된다.

또한, 초기치의 시차가 작게 설정되어 있는 경우에는 최대 허용치를 화상의 헤더 영역 등에 유지하고, 그 최대 허용치에 들도록 적정 시차 처리를 수행하면 된다. 이 경우에 적정 거리에 관한 하드웨어 정보가 필요하게 되지만, 앞서 도시된 하드웨어 정보에 의존하지 않는 경우의 처리에 비해 보다 고성능 처리를 실현할 수 있다. 이상의 처리는 시차가 자동 설정되는 경우 뿐만 아니라 수동으로 설정하고 있는 경우의 처리에도 이용할 수 있다.

또한, 관찰자가 위화감을 느끼는 시차의 한계는 화상에 따라 다르다. 일반적으로, 모양이나 색상 변화가 적은 화상이며 엣지가 눈에 띄는 화상은 시차를 크게 부가하면 크로스토크가 눈에 띈다. 또한, 엣지 양측의 휘도 차이가 큰 화상도 시차를 강하게 부가하면 크로스토크가 눈에 띈다. 즉, 입체 표시할 화상, 다시말해 시차 화상 나아가 시점 화상에 고주파 성분이 적은 경우, 사용자는 그 화상을 봤을 때 위화감을 느끼는 경향이 있다. 이에, 화상을 푸리에 변환 등의 수법으로 주파수 해석하고, 그 해석 결과 얻어진 주파 성분의 분포에 대응하여 적정 시차로 보정을 가하면 된다. 즉, 고주파 성분이 많은 화상에 대해서는 시차가 적정 시차보다 커지는 보정을 가한다.

또한, 움직임이 적은 화상은 크로스토크가 눈에 띈다. 일반적으로, 파일명의 확장자를 조사하는 것으로 파일의 종류가 동화상인지를 정지 화상인지를 아는 경우가 많다. 따라서, 동화상으로 판정된 경우에는 움직임 벡터 등의 공지의 움직임 검출 방법으로 움직임의 상태를 검출하고, 그 상태에 따라 적정 시차량으로 보정을 가하여도 된다. 즉, 움직임이 적은 화상에는 시차가 본래 시차보다도 작아지는 보정을 가한다. 한편, 움직임의 많은 화상에는 보정을 가하지 않는다. 또한, 움직임을 강조하고 싶은 경우 등에는 시차가 본래의 시차보다 커지는 보정을 가하여도 된다. 또한 적정 시차의 보정은, 일 예로 미리 정해진 시차 범위라면 어떠한 것이어도 보정할 수 있다. 또한, 심도 맵을 보정할 수도 있고, 시차 화상의 합성 위치 어긋남량을 보정할 수도 있다.

또한, 이들 분석 결과를 파일의 헤더 영역에 기록하고, 입체 화상 처리 장치가 그 헤더를 판독하여 이후의 입체 화상 표시시에 이용하여도 된다.

또한, 고주파 성분의 양이나 움직임 분포는 화상의 작성자나 사용자에 의해 실제의 입체시에 따라 등급이 붙어져도 되고, 복수의 평가자에 의하여 입체시에 등급이 부여되고 그 평균치를 이용하여도 되며, 그 랭크를 붙이는 수법은 상관없다.

또한, 적정 시차가 엄밀히 지켜질 필요는 없고, 카메라 파라미터의 산출이 항상 수행될 필요는 없으며, 일정 시간마다 혹은 신(scene) 체인지마다 수행되어도 된다. 특히, 처리 능력이 낮은 장치에 의해 수행되는 경우에 유효하다. 예를 들면, 일정 시간마다 카메라 파라미터를 산출하는 경우, 3차원 데이터로부터 입체 화상을 생성하는 케이스에서는 제1 입체 화상 처리 장치(100)의 시차 제어부(114)가 내부 타이머를 이용하여 일정 주기마다 카메라 배치 결정부(132)에 카메라 파라미터의 재산출을 지시하면 된다. 내부 타이머로는 입체 화상 처리 장치(100)의 연산 처리를 수행하는 CPU의 기준 주파수를 이용하여도 되고, 전용 타이머를 별도로 설치하여도 된다.

도76은 화상의 상태에 대응하여 적정 시차를 산출하는 것을 실현하는 제5 입체 화상 처리 장치(100)의 구성을 도시한 것이다. 여기에서는 도11에 도시된 제1 입체 화상 처리 장치(100)에 새롭게 화상 판정부(190)를 설치하고 있다. 그 이외의 구성 및 동작은 동일하기 때문에 다른 점을 주로 설명한다. 이 화상 판정부(190)는 화상의 주파수 성분을 해석하여 고주파 성분의 양을 구하고, 그 화상에 적합한 시차를 시차 제어부(114)에 통지하는 주파수 성분 검출부(192)와, 오리지널 데이터가 동화상이라면 신(scene) 체인지를 검출하거나 화상 내의 움직임을 검출하는 것으로 카메라 파라미터의 산출 타이밍을 시차 제어부(114)에 통지하는 신(scene) 판정부(194)를 구비한다. 신(scene) 체인지의 검출은 공지의 수법을 이용하여 수행하면 된다.

오리지널 데이터가 동화상일 때, 화상의 고주파 성분의 양에 따라 적정 시차를 조정하는 처리를 항상 수행한다면 주파수 성분 검출부(192)의 처리 부하가 커진다. 그 처리 부하에 맞는 연산 처리 장치를 사용한다면 입체 화상 처리 장치(100)의 비용이 상승될 염려가 있다. 상술된 바와 같이, 적정 시차가 항상 엄밀하게 지켜질 필요가 없기 때문에 신(scene) 판정부(190)의 검출 결과를 바탕으로 신(scene) 체인지 등과 같이 화상이 크게 변화할 때에 화상의 주파수 성분을 분석하는 구성으로 함으로써, 화상 판정분(190)의 처리 부하를 저감시킬 수 있다.

3차원 공간에 복수의 가상 카메라를 배치하고 이들 가상 카메라 각각에 대응하는 시차 화상을 생성할 때, 이들 시차 화상 내에 오브젝트의 정보가 존재하지 않는 영역이 발생하는 경우가 있다. 이하에서는 3차원 데이터를 기점으로 입체 화상을 생성하는 경우를 예로 시차 화상 내에 오브젝트 정보가 존재하지 않는 영역이 발생하는 원리를 설명하는 동시에 그 해소 방법을 설명한다. 도77은 3차원 데이터를 작성하는 제작자에 의해 설정되는 임시 카메라 위치(S)(Xs, Ys, Zs), 화각(θ) 및 제1 내지 제3 오브젝트(700, 702, 704)의 관계를 도시한 것이다.

임시 카메라 위치(S)(Xs, Ys, Zs)는 복수의 가상 카메라를 바탕으로 각각의 시차 화상을 생성할 때에 이들 가상 카메라의 중심이 된다{이하, 카메라군 중심 위치(S)라고도 한다}. 제1 오브젝트(700)는 배경에 해당한다. 여기서, 제작자는 화각(θ) 내에 제2 및 제3 오브젝트(702, 704)가 들어가는 동시에 배경 화상인 제1 오브젝트(700)에 의해 화각(θ) 내에 오브젝트의 정보가 존재하도록 화각(θ) 및 카메라군 중심 위치(S)를 설정한다.

다음에는 소정의 프로그램을 통해 도78에 도시된 바와 같이 원하는 시차가 얻어지도록 또한 근접 배치 및 원방 배치 기준인 광축 교차 위치(A)(Xa, Ya, Za)가 얻어지도록 2개의 가상 카메라(722, 724)의 파라미터, 구체적으로는 카메라 위치 및 각각의 광축이 정해진다. 이때, 화각(θ)이 미리 정해진 값과 동일한 경우에 이들 2개의 가상 카메라(722, 724)의 카메라 위치에서는, 예를 들면 배경 화상인 제1 오브젝트의 크기에 따라 본 도면에 도시된 바와 같이 오브젝트의 정보가 존재하지 않는 제1 및 제2 오브젝트 제로 영역(740, 742)이 발생한다.

제1 오브젝트 제로 영역(740)은 각도로 나타내면 α, 제2 오브젝트 제로 영역(742)은 β이고, 이들 각도 범위에는 오브젝트 정보가 존재하지 않는다. 따라서, 도79에 도시된 바와 같이 이들 α와 β가 없어지도록 화각(θ)을 조정하면 된다. 즉, α와 β의 값중 큰 쪽의 값을 화각(θ)으로부터 감산한다. 이때, 광축 방향을 변경하지 않도록 하기 위하여 화각(θ)의 좌우 양방으로부터 감산할 값을 줄이기 때문에 새로운 화각(θ1)은 θ1 = θ1 - 2 ×α 또는 θ1 - 2 × β로 정해진다. 단, α나 β가 시차 화상으로부터 바로 판명되지 않는 경우도 있으므로, 조금씩 화각(θ)을 조정하고, 그 때마다 시차 화상 내에 오브젝트의 정보가 존재하지 않는 영역이 발생하였는지 여부를 확인하여도 된다. 또한, 오브젝트의 정보가 존재하지 않는 영역의 유무는 실제로 표시 화면의 화소에 입력할 데이터가 있는지 여부를 통해 확인하면 된다. 또한, 화각(θ)의 조정만으로 전화소에 오브젝트 정보가 존재하도록 조정하는 것으로 한정되지 않으며, 카메라 간격(E)이나 광축 교차 위치(A)를 변경하여도 된다.

도80은 화각 조정의 처리를 도시한 흐름도이다. 이 화각 조정 처리는 도11에 도시된 제1 입체 화상 표시 장치(100)를 통해 실현 가능하다. 먼저, 입체 화상 표시 장치(100)에 입체 화상의 기점이 되는 오리지널 데이터가 입력되면, 카메라 가배치부(130)는 카메라군 중심 위치(S)를 결정한다(S110). 이어서, 카메라 배치 결정부(132)는 그 카메라군 중심 위치(S)를 바탕으로 카메라 화각(θ)을 결정하고 (S112), 카메라 간격(E)을 결정하며(S114), 가상 카메라의 광축 교차 위치(A)를 결정한다(S1I6). 또한, 카메라 배치 결정부(132)는 오리지널 데이터에 대하여 카메라 간격(E) 및 광축 교차 위치(A)에 의거하여 좌표 변환 처리를 수행하고(S118), 표시 화면의 전 화소에 오브젝트의 정보가 존재하는지 여부를 판정한다(S120).

오브젝트 정보가 없는 화소가 존재하는 경우(S120의 N)에는 화각(θ)을 조금 좁히는 보정을 수행하고(S122), S114의 처리로 되돌아가 이후 전 화소에 오브젝트 정보가 존재하게 될 때까지 S114 내지 S120의 처리를 계속한다. 단, 화각(θ)의 보정만으로 전 화소에 오브젝트 정보가 존재하도록 조정하는 경우에는 S114의 카메라 간격(E)의 결정 처리 및 S116의 광축 교차 위치(A)의 결정 처리를 스킵한다. 전 화소에 오브젝트 정보가 존재하는 경우(S120의 Y)에, 이 화각 조정 처리는 종료된다.

상기 실시 형태에서는 주로 3차원 데이터를 기점으로 생성되는 입체 화상에 대하여 설명하였다. 이하에서는 실사 화상을 기점으로 입체 화상을 표현하는 방법에 대하여 설명한다. 3차원 데이터를 기점으로 하는 경우와 실사 화상을 기점으로 하는 경우의 차이는 실사 화상을 기점으로 하는 경우에 기본 표현 공간의 깊이(T)의 개념이 없다는 것이다. 이것은 적정 시차 표시가 가능한 깊이 범위(T)라고 바꾸어 말할 수 있다.

도17 및 도18에 도시된 바와 같이, 입체 화상을 생성하기 위한 카메라 설정에 필요한 파라미터는 카메라 간격(E), 광축 교차 거리(A), 화각(θ), 기본 표현 공간의 전방면인 전방 투영면(30)으로부터 카메라 배치면, 즉 시점면(208)까지의 거리(S), 광축 교차면(210)의 시점면(208)으로부터의 거리(D), 깊이 범위(T)의 6종류이다. 그리고, 이들 사이에는 이하의 관계식이 충족된다.

E = 2(S + A)tan(θ/2)·(SM + SN + TN)/(LT)

A = STM/(SM + SN + TN)

D = S + A

따라서, 6종류의 파라미터(E, A, θ, S, D, T)중 3종류를 지정하면 남은 파라미터를 산출할 수 있다. 일반적으로, 어느 파라미터를 지정할지는 자유이지만, 앞서 도시된 실시 형태에서는 θ, S, T를 지정하고 E, A, D를 산출하였다. θ나 S를 자동 변경하면 확대율이 변하기 때문에 프로그램이나 촬영자가 의도하는 표현을 할 수 없게 될 우려가 있으므로, 이들을 자동적으로 정하는 것은 바람직하지 못하다. T가 표현 범위의 제한을 나타내는 파라미터라 하여도 미리 정하는 것이 바람직하다. 그리고, 3차원 데이터인 경우에는 어느 파라미터를 바꾸어도 수고는 거의 동일하다. 그러나, 실사인 경우에는 다르다. 카메라의 구조에 따라서는 가격이 크게 다르고, 게다가 조작성도 변하기 때문에 용도에 따라 지정하는 파라미터를 바꾸는 것이 바람직하다.

도81은 오락 시설이나 사진관 등에서 입체 사진을 촬영하는 입체 사진 촬영 장치(510)와 피사체(552)의 관계를 도시한 것이다. 이 입체 사진 촬영 장치(510)는 카메라(550)와 입체 화상 처리 장치(100)를 포함하여 구성된다. 여기서는 촬영 환경이 고정된다. 즉, 카메라(550)의 위치와 피사체(552)의 위치가 미리 정해져 있으며, 파라미터인 θ, S, T가 정해져 있다. 이 촬영계는 도18에 도시된 예를 실 제 카메라(550)에 치환한 상태로, 2개의 렌즈(522, 524)가 1대의 카메라(550)에 구비되는데, 이 카메라(550)만으로 입체 화상의 기점이 되는 2개의 시차 화상을 촬영할 수 있다.

도82는 이러한 처리를 수행하는 제6 입체 화상 처리 장치(100)의 구성을 도시한 것이다. 이 입체 화상 처리 장치(100)는 도12에 도시된 입체 화상 처리 장치(100)의 시차 검출부(150)를 카메라 제어부(151)로 치환한 것이다. 카메라 제어부(151)는 렌즈 간격 조정부(153)와 광축 조정부(155)를 갖는다.

렌즈 간격 조정부(153)는 2개의 렌즈(522, 524)의 위치를 조정하여 카메라 간격(E), 보다 상세히 말하면 렌즈 간격(E)을 조정한다. 또한, 광축 조정부(155)는 2개의 렌즈(522, 524) 각각의 광축 방향을 변경하여 D를 조정한다. 피사체(552)는 자택 등에서 보유하고 있는 입체 화상 표시 장치의 적정 시차 정보를 메모리나 카드 등의 운반 가능한 기록 매체나 인터넷 등의 통신 수단을 통해 입력한다. 정보 취득부(118)는 이 적정 시차의 입력을 접수하고, 카메라 제어부(151)에 통지한다. 그 통지를 받고 카메라 제어부(151)는 E, A, D를 산출하여 렌즈(522, 524)를 조정함으로써, 카메라(550)는 적정한 시차로 촬영을 수행한다. 이것은 라이브러리에 의해 피사체가 표시되는 입체 표시 장치와 입체 사진 촬영 장치(510)의 처리가 공통화되어 있는 것으로 실현된다.

또한, 표시할 때에 피사체를 화면상에 배치하고 싶은 경우에는 D, A도 정해 놓고 피사체를 D에 위치시켜 촬영하면 되는데, 이 경우에는 근접 배치와 원방 배치에서 따로따로 적정 시차의 계산을 수행하고, E가 작아지는 쪽을 선택하면 된다. 또한, T는 피사체가 차지하는 범위보다 크게 하여도 된다. 배경이 있는 경우에는 배경을 포함해서 T를 결정하면 된다.

또한, 적정 시차 정보는, 반드시 피사체인 사용자가 소유하는 입체 화상 표시 장치에서 조사된 것일 필요가 없다. 예를 들면, 촬영 현장에서 전형적인 입체 화상 표시 장치의 기호에 맞는 입체감을 선택하여도 된다. 이 선택은 입체감 조정부(112)에 의해 가능하다. 혹은, 단순히 「화면상/원방 배치/근방 배치」, 「입체감 : 대/중/소」와 같은 항목에서 선택하고, 이들에 대응하여 시차 정보 유지부(120)에 유지되어 있는 미리 정해진 카메라 파라미터가 이용되어도 된다. 또한, 광축 교차 위치의 변경은 기구 구조를 통해 변경되어도 되지만, 해상도가 높은 CCD(Charge Coupled Device)를 이용하여 화상으로 이용되는 범위를 바꾸는 것으로 실현하여도 된다. 이 처리에는 위치 시프트부(160)의 기능을 사용하면 된다.

도83은 인간이 들어갈 수 없는 장소에 이동 가능한 카메라(550)를 설치하고, 컨트롤러(519)를 사용한 원격 조작에 의해 그 카메라(550)가 조작되어 촬영되는 영상을 입체 화상 표시 장치(511)로 관찰하고 있는 모습을 도시한 것이다. 입체 화상 표시 장치(511)에는 도82에 도시된 구성의 입체 화상 표시 장치(100)가 조립되어 있다.

카메라(550)에는 렌즈 간격(E)을 자동 조정할 수 있는 기구가 구비되어 있다. 또한, 이 카메라(550)에는 광학줌 혹은 전자줌 기능이 구비되어 있으며, 이에 의해 θ가 결정된다. 그러나, 이 줌 조작에 의해 시차량이 변화한다. 일반적으로, 먼 곳을 촬영할수록 표시할 때의 시점간의 광축이 이루는 각도가 작아지기 때 문에 그 렌즈 간격(E)으로는 시차가 작아져 입체감이 부족하게 된다. 따라서, 렌즈 간격(E)이나 줌량 등의 카메라 설정을 적절하게 변경할 필요가 발생한다. 여기서는 이러한 경우에 카메라 설정을 자동적으로 제어하여 번잡한 카메라 설정을 대폭 경감시킨다. 또한, 컨트롤러(519)를 사용하여 카메라 설정을 조정하여도 된다.

조작자는, 먼저 컨트롤러(519)를 사용하여 광학줌 혹은 전자줌을 조작하면 θ가 결정된다. 다음에 카메라(550)를 움직여 촬영하고 싶은 피사체를 입체 표시 장치(511)의 중앙에 표시시킨다. 카메라(550)는 오토포커스 기능에 따라 피사체에 초점을 맞추고 동시에 거리를 취득한다. 초기 상태에서는 이 거리를 D로 한다. 즉, 피사체가 표시 화면 부근에 위치해 보이도록 카메라(550)를 자동 설정한다. T는 수동으로 범위를 변경할 수 있으며, 조작자는 미리 전후 관계를 파악하고 싶은 물체의 깊이 방향의 분포를 지정해 둔다. 이렇게 해서, θ, D, T가 결정된다. 이에 의해, 앞서 도시된 3개의 관계식으로부터 E, A, S가 결정되고, 카메라(550)가 적절하게 자동 조정된다. 이 예의 경우에는 S가 나중에 결정되기 때문에 T가 최종적으로 어떤 범위가 될지는 확정되지 않았다. 따라서, T를 어느 정도 크게 설정해 두면 좋다.

또한, 피사체를 화면단에 표시하고 싶은 경우에는 일단 피사체를 중앙에 표시하고, 소정의 버튼을 눌러 초점 및 D를 고정하고, 그 후 카메라(550)의 방향을 변경하면 된다. 또한, 초점이나 D를 수동으로 변경할 수 있도록 한다면, 피사체의 깊이 위치를 자유롭게 바꿀 수 있다.

도84는 입체 화상 촬영 장치(510)에 의한 촬영의 일 예를 도시한 것이다. 입체 화상 촬영 장치(510)는 도82에 도시된 구성을 갖는다. 이 카메라(550)에는 미리 촬영자가 유지하고 있는 입체 화상 표시 장치의 적정 시차가 운반 가능한 메모리 등의 기록 매체나 인터넷 등의 통신 수단을 통해 입력되어 있다. 여기서는 카메라(550)로 간단한 구조를 갖는 비교적 저가격으로 입수 가능한 카메라를 상정한다. 여기서는 카메라 간격(E), 광축 교차 거리(D), 화각(θ)이 고정되어 있고, 앞서 도시된 3개의 관계식으로부터 A, S, T가 결정된다. 이들 값으로부터 피사체까지의 거리의 적절한 범위를 계산할 수 있으므로, 피사체까지의 거리를 실시간으로 측정하여 계산된 거리가 적절한지 여부를 메시지나 램프의 색상 등으로 촬영자에게 통지할 수 있다. 피사체까지의 거리는 오토포커스의 거리 측정 기능 등 공지의 기술로 취득하면 된다.

이상과 같이 어느 카메라 파라미터를 변수 또는 상수로 할 것인지의 조합은 자유로우며, 용도에 맞게 여러가지 형태가 있다. 또한, 카메라(550)로는 상기 이외에도 현미경, 의료용 내시경, 휴대 단말기 등 여러가지 기기에 부착된 형태를 생각할 수 있다.

또한, 특정 입체 표시 장치에 대하여 시차를 최적화하면, 다른 입체 표시 장치에 의한 입체시가 곤란한 경우가 있다. 그러나, 일반적으로 장치의 성능은 향상되는 것이므로, 다음에 구입하는 입체 표시 장치에 대해서 시차가 지나치게 크다라는 것은 드물다고 생각된다. 오히려, 촬영 장치의 설정 미비에 의해 입체 표시 장치의 성능과 관계없이 입체시가 곤란해지는 위험을 피하기 위해서는 상기된 바와 같은 조정을 수행하는 것이 중요하다. 또한, 여기서 입체 표시 장치란, 입체시를 실현하기 위한 입체 화상 처리 장치를 구비하는 구성으로 한다.

제1 내지 제6 입체 화상 처리 장치(100)의 입체감 조정부(112)에서 얻어지는 적정 시차는 특정 입체 화상 처리 장치(100)에 대하여 사용자가 입체시하면서 정하는 파라미터이며, 그 입체 화상 처리 장치(100)에서는 이후 그 적정 시차가 지켜진다. 이 입체감 조정의 조작에는 입체 표시 장치 고유의 「화상 분리 성능」과 관찰자 고유의 「생리적 한계」라는 2개의 인자가 가미된다. 「 화상 분리 성능」이란 복수의 시점 화상을 분리하는 성능을 나타내는 객관적인 인자로, 이 성능이 낮은 입체 표시 장치는 거의 시차를 부가하지 않았어도 크로스토크가 감지되기 쉬우며, 복수의 관찰자가 조정을 수행한 경우의 적정 시차 범위는 평균적으로 좁다. 반대로, 화상 분리 성능이 높으면 큰 시차를 부가하여도 크로스토크가 거의 감지되지 않으며, 적정 시차 범위는 평균적으로 넓어지는 경향이 있다. 한편, 「생리적 한계」는 주관적인 인자로, 예를 들면 화상 분리 성능이 매우 높아 완전히 화상이 분리되어 있어도 관찰자가 불쾌감을 느끼지 않는 시차 범위는 서로 다르다. 이것은 동일한 입체 화상 처리 장치(100)에서의 적정 시차의 분산으로 나타난다.

화상 분리 성능은 분리도라고도 불리우는데, 도85와 같이 최적 관찰 거리에서 조도계(570)를 수평 방향으로 이동시키면서 기준 화상(572)의 조도를 측정하는 방법으로 정할 수 있다. 이때, 2안식인 경우에는 예를 들면 좌안 화상에 전백(全白)을 표시하고, 우안 화상에 전흑(全黑)을 표시한다. 화상이 완전하게 분리되어 있으면 우안 화상이 보이는 위치의 조도는 11O이 된다. 그에 대하여, 좌안 화상의 백색 누출 정도를 측정함으로써, 화상 분리 성능이 얻어진다. 본 도면의 우측단의 그래프는 측정 결과의 예이다. 또한, 이 측정은 모아레의 농담을 측정하는 것과 거의 등가이기 때문에 도86과 같이 모아레가 관찰되는 거리에서 모아레 화상을 입력하고, 그 농담을 해석하는 것으로도 화상 분리 성능을 측정할 수 있다.

안경식 입체 표시 장치 등에서도 동일하게 누설 광을 측정하는 것으로 화상 분리 성능을 측정할 수 있다. 또한, 실제로는 좌우 양방의 화상을 전흑으로 하였을 때의 측정치를 백그라운드로서 가미하여 계산하여도 된다. 또한, 화상 분리 성능은 다수의 관찰자에 의해 평가 부여된 등급의 평균치로 결정할 수도 있다.

이와 같이 입체 표시 장치의 화상 분리 성능에 대해서는 객관적인 수치 등의 판단 기준을 부여할 수 있으므로, 예를 들면 사용자가 보유한 도54의 입체 표시 장치(450)의 등급과 그 입체 표시 장치(450)에 대한 사용자의 적정 시차를 안다면 다른 입체 표시 장치(440)의 등급에 맞도록 적정 시차를 변환할 수 있다. 또한, 입체 표시 장치에는 화면 사이즈, 화소 피치, 최적 관찰 거리 등의 고유값을 갖는 파라미터도 있는데, 이들 파라미터의 정보도 적정 시차의 변환에 이용된다.

이하에 적정 시차의 변환 예에 대하여 도87 및 도88을 이용하여 파라미터마다 순서대로 설명한다. 여기서는 적정 시차가 N/L과 M/L으로 유지되는 것으로 한다. 여기서, M은 근접 배치 한계 시차, N은 원방 배치 한계 시차, L은 화면 사이즈이다. 이와 같은 비율의 값으로 나타내면 입체 표시 장치간의 화소 피치의 차이를 무시할 수 있다. 이에, 이하에 사용되는 도면에서는 설명을 용이하게 하기 위해 화소 피치가 동일한 것으로 하여 설명한다.

먼저, 화면 사이즈의 차이에 대한 변환에 대하여 설명한다. 도87에 도시된 바와 같이, 화면 사이즈에 상관없이 시차의 절대치를 바꾸지 않도록 처리하는 것이 바람직하다. 즉, 전후 방향의 입체 표현 범위를 동일하게 한다. 도면의 상측에 도시된 상태에서 하측에 도시된 상태와 같이 화면 사이즈가 a배가 되었다고 한다. 이때, N/L을 N/(aL)으로 변환하고, M/L을 M/(aL)로 변환하면 화면 사이즈가 서로 다른 경우라도 적정 시차가 실현된다. 본 도면에서는 최대 근접 배치점의 예를 도시하고 있다.

다음에는 관찰 거리의 차이에 대한 변환에 대하여 설명한다. 도88에 도시된 바와 같이, 최적 관찰 거리(d)가 b배가 되면 시차의 절대치도 b배로 하는 것이 바람직하다. 즉, 눈이 들여다 보는 시차의 각도를 일정하게 유지한다. 따라서, N/L을 bN/L로 변환하고, M/L을 bM/L로 변환하면 최적 관찰 거리가 서로 다른 경우라도 적정 시차가 실현된다. 본 도면에서는 최대 근접 배치점의 예로서 나타내고 있다.

마지막으로, 화상 분리 성능의 인자를 가미하는 것에 관하여 설명한다. 여기서는 화상 분리 성능의 등급(r)을 O이상의 정수라고 하고, 시차를 부가할 수 없을 정도로 성능이 나쁜 것을 0으로 한다. 그리고, 제1 입체 표시 장치의 화상 분리 성능을 r0로 하고, 제2 입체 표시 장치의 화상 분리 성능을 r1으로 하면, c = r1/r0로, N/L을 cN/L로, M/L을 cM/L로 변환한다. 이에 의해 화상 분해성이 서로 다른 입체 표시 장치라도 적정 시차가 실현된다. 또한, 여기에 도시된 c를 도출하는 식은 일 예이고, 다른 수식으로부터 도출하여도 된다.

이상의 처리를 모두 수행하면, 결국 N/L은 bcN/(aL)로, M/L을 bcM/(aL)로 변환된다. 또한, 이 변환은 수평 방향의 시차, 수직 방향의 시차중 어디에든 적용할 수 있다. 또한, 이상의 적정 시차의 변환은 도52, 도53 및 도54에 도시된 구성으로 실현할 수 있다.

또한, 기본 표현 공간의 전방면과 배면은 Z버퍼를 이용하여 정하여도 된다. Z버퍼는 음면(陰面) 처리 방법으로서, 카메라로부터 본 오브젝트군의 심도 맵이 얻어진다. 이 Z 값을 제거하는 최소치와 최대치를 최전방면, 최배면의 위치로 이용하여도 된다. 처리로는 가상 카메라의 위치에서 Z값을 취득하는 처리가 추가된다. 이 처리에 최종 해상도는 필요가 없기 때문에 화소수를 줄여 처리를 수행하면 처리 시간이 짧아진다. 이 수법에 의해 숨어 있는 부분이 무시되므로 적정 시차 범위를 유효하게 이용할 수 있다. 또한, 오브젝트가 복수이어도 다루기 쉽다.

또한, 시차 제어부(114)는, 3차원 데이터에 의해 입체 화상이 생성될 때에 시차 화상을 생성하기 위하여 설정된 카메라 배치에 관한 파라미터가 변경되는 경우, 상기 카메라 파라미터를 상기 파라미터의 변동에 대하여 미리 설정된 임계치 내에 포함되도록 제어하여도 된다. 또한, 심도 정보가 공급되는 2차원 동화상으로부터 동화상의 입체 화상을 생성할 때, 시차 제어부(114)가 2차원 동화상의 진행에 따라 발생되는 심도 정보에 포함된 심도의 최대치 혹은 최소치의 변동이 미리 설정된 임계치 내에 포함되도록 제어하여도 된다. 이들 제어시에 이용되는 임계치는 시차 정보 유지부(120)에 유지되어 있으면 된다.

3차원 데이터에 의해 입체 화상이 생성될 때, 시계 내에 존재하는 오브젝트로부터 기본 표현 공간을 결정하면 오브젝트의 급속한 이동이나 프레임 인, 프레임 아웃에 의해 기본 표현 공간의 크기가 급격히 변하여 카메라 배치에 관한 파라미터가 크게 변동되는 경우가 있다. 이 변동이 미리 정해진 임계치보다 큰 경우에는 임계치를 한도로 변동을 허가하여도 된다. 또한, 심도 정보가 부여된 2차원 동화상으로부터 입체 화상을 생성할 때에도 심도의 최대치 혹은 최소치로부터 시차량의 최대치나 최소치를 결정하고 있다면 동일한 문제점을 생각할 수 있다. 이 변동에 대해서도 임계치를 설치하면 된다.

본 실시 형태에 따르면, 이하와 같은 효과가 있다.

1. 사람의 생리에 적합하기 쉬운 입체 화상을 생성 또는 표시할 수 있다.

2. 표시 대상 화상이 변하여도 사용자에게 적절한 입체 화상을 생성 또는 표시할 수 있다.

3. 간단한 조작으로 입체 표시의 입체감을 조정할 수 있다.

4. 적절한 입체 표시가 가능한 콘텐츠 또는 애플리케이션 조성시에 프로그래머의 부담을 경감시킬 수 있다.

5. 입체 표시를 최적화하려는 사용자의 수고가 경감된다.

6. 통상 플러그 앤드 플레이 기능의 대상이 되지 않는 입체감 조정이나 헤드 트랙킹 정보를 용이하게 실현할 수 있으며, 후에 부가되는 시차 배리어와 같이 원리상 플러그 앤드 플레이를 할 수 없는 장치에 대해서도 마찬가지다.

이상과 같이, 본 발명은 입체 화상 처리 방법 및 입체 화상 처리 장치 등에 이용 가능하다.

Claims

서로 다른 시차에 대응하는 복수의 시점 화상을 바탕으로 입체 화상을 표시할 때에 여러가지 시차에서 표시되는 입체 화상을 허용할 수 있을지 여부에 관한 사용자의 응답을 취득하는 지시 취득부와,

취득된 응답을 바탕으로 그 사용자가 허용한 시차로서의 적정 시차를 특정하는 시차 특정부와,

상기 입체 화상과는 별개의 입체 화상을 표시할 때에, 상기 별개의 입체 화상을 사용자가 허용할 수 있게, 상기 특정된 적정 시차에 의해 상기 별개의 입체 화상에 처리를 실시하는 시차 제어부

를 포함하는 것을 특징으로 하는 입체 화상 처리 장치.
삭제
제1항에 있어서,

상기 별개의 입체 화상은 3차원 데이터를 기점으로 생성되는 입체 화상이고, 상기 시차 제어부는 상기 적정 시차에 따라 그 입체 화상을 생성하는 복수의 시점을 결정하는 것을 특징으로 하는 입체 화상 처리 장치.
제3항에 있어서,

상기 시차 제어부는 상기 복수의 시점간 거리와 이들 시점으로부터 오브젝트를 예상한 광축의 교차 위치를 결정하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항, 제3항 또는 제4항에 있어서,

상기 시차 제어부는 표시의 대상이 되는 소정의 기본 3차원 공간에 대하여 상기 적정 시차가 실현되도록 제어하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항, 제3항 또는 제4항에 있어서,

상기 시차 제어부는 3차원 공간에서 가장 근접 배치되는 오브젝트의 좌표와 가장 원방 배치되는 오브젝트의 좌표에 대하여 상기 적정 시차가 실현되도록 제어하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항에 있어서,

상기 별개의 입체 화상을 구성하는 화상은 이미 시차가 공급되어 있는 복수의 2차원 화상이고, 상기 시차 제어부는 상기 적정 시차에 따라 이들 복수의 2차원 화상의 수평 방향의 시프트량을 정하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항에 있어서,

상기 별개의 입체 화상을 구성하는 화상은 심도(depth) 정보가 부여되어 있는 평면 화상이고, 상기 시차 제어부는 상기 적정 시차에 따라 그 평면 화상의 심도 정보를 조정하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항에 있어서,

상기 적정 시차를 기록하는 시차 유지부를 더 포함하고, 상기 시차 제어부는 소정의 타이밍에서 상기 적정 시차를 판독하며, 그 값을 초기치로서 상기 처리를 실시하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항에 있어서,

상기 입체 화상에 포함되는 소정의 오브젝트의 지정을 사용자로부터 접수받는 오브젝트 지정부와,

지정된 오브젝트의 위치에 상기 복수의 시점 화상 각각에 관련되어 있는 광축의 교차 위치를 대응시킴과 함께, 상기 지정된 오브젝트가 상기 입체 화상이 표시되는 표시 화면의 위치 부근에 표현되도록 상기 광축의 교차 위치를 설정하는 광축 교차 위치 설정부

를 갖는 것을 특징으로 하는 입체 화상 처리 장치.
제10항에 있어서,

상기 지정된 오브젝트는 소정의 계면을 가지며,

상기 광축 교차 위치 설정부는 상기 계면상에 상기 광축의 교차 위치를 대응짓는 것을 특징으로 하는 입체 화상 처리 장치.
제10항에 있어서,

상기 지정된 오브젝트에 대하여 그 오브젝트가 상기 광축의 교차 위치와 대응되고 또한 상기 오브젝트가 표시 화면의 위치 부근에 표현된다는 취지가 기술된 광축 대응 정보를 상기 오브젝트와 관련짓는 지정 정보 부가부

를 더 구비하는 것을 특징으로 하는 입체 화상 처리 장치.
제12항에 있어서,

광축 교차 위치 설정부는 상기 광축 대응 정보를 취득하고, 취득된 광축 대응 정보에 기술되어 있는 오브젝트에 대하여 상기 광축의 교차 위치를 대응시킴과 함께 상기 광축의 교차 위치가 대응되는 오브젝트를 상기 입체 화상이 표시되는 표시 화면 위치 부근에 표현하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항에 있어서,

상기 입체 화상을 생성할 때에 이용되는 화상 데이터와 관련지어져 있으며, 상기 입체 화상에 포함되는 오브젝트에, 입체 표시할 오브젝트가 포함되는 기본 표현 공간 내에 표현할지 여부의 정보가 포함되는 식별 정보를 취득하는 식별 정보 취득부와,

상기 취득된 식별 정보를 바탕으로 오브젝트에 시차량을 반영시키는 시차 제어부

를 더 구비하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항에 있어서,

상기 시차 제어부는 또한 상기 입체 화상 내에 표현되는 오브젝트의 폭과 깊이의 비가 인간의 눈에 바르게 지각되는 범위의 시차보다 시차가 커지지 않도록 제어하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항에 있어서,

상기 입체 화상의 기점이 되는 오리지널 데이터가 입력되었을 때에 복수의 시점 화상을 생성하기 위한 복수의 가상 카메라의 배치를 설정하는 카메라 배치 설정부와,

상기 가상 카메라 각각에 대응하여 생성되는 시점 화상에 표시할 오브젝트의 정보가 존재하지 않는 영역이 발생하였는지 여부를 판정하는 오브젝트 영역 판정부와,

표시할 오브젝트의 정보가 존재하지 않는 영역이 발생한 경우, 오브젝트의 정보가 존재하지 않는 영역이 없어지도록 상기 가상 카메라의 화각, 카메라 간격 및 광축의 교차 위치중 적어도 어느 하나를 조정하는 카메라 파라미터 조정부

를 더 구비하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항에 있어서,

상기 입체 화상이 3차원 데이터를 기점으로 생성되는 경우, 상기 시차 제어부는 상기 입체 화상을 생성할 때에 시차 화상을 생성하기 위하여 설정된 카메라 배치에 관한 파라미터가 변경되는 경우에 상기 카메라 파라미터를 상기 파라미터의 변동에 대하여 미리 설정된 임계치내에 포함되도록 제어하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항에 있어서,

상기 입체 화상이 깊이 정보가 공급된 2차원 동화상을 기점으로 생성될 때, 상기 시차 제어부는 상기 2차원 동화상의 진행에 따라 발생되는 상기 깊이 정보에 포함된 심도의 최대치 혹은 최소치의 변동이 미리 설정된 임계치 내에 포함되도록 제어하는 것을 특징으로 하는 입체 화상 처리 장치.
제1항에 있어서,

상기 입체 화상을 신(scene)을 단위로 분석하는 화상 판정부를 더 구비하는 것을 특징으로 하는 입체 화상 처리 장치.
서로 다른 시차에 따른 복수의 입체 화상을 사용자에게 표시하는 단계와,

여러가지 시차에서 표시되는 복수의 입체 화상을 허용할 수 있을지 여부에 관한 사용자의 응답을 바탕으로 그 사용자를 허용할 수 있는 시차로서의 적정 시차를 특정하는 단계와,

상기 복수의 입체 화상과는 별개의 입체 화상을 표시할 때에 상기 별개의 입체 화상을 사용자가 허용할 수 있게, 상기 복수의 입체 화상에 대해서 특정된 적정 시차에 의해 상기 별개의 입체 화상에 처리를 실시하는 단계

를 포함하는 것을 특징으로 하는 입체 화상 처리 방법.
삭제
제20항에 있어서,

상기된 각 단계를 입체 표시용 라이브러리의 기능으로 실장하고, 복수의 프로그램으로부터 이 라이브러리의 기능을 함수로서 호출 가능하게 구성한 것을 특징으로 하는 입체 화상 처리 방법.
제20항에 있어서,

상기 입체 화상 내에 입체 표시할 오브젝트가 포함되는 기본 표현 공간 내에 표현해야 하는 오브젝트의 이동 속도를 근접 배치 또는 원방 배치 배치 방향에 대하여 변경하는 단계를 더 포함하는 것을 특징으로 하는 입체 화상 처리 방법.
제20항에 있어서,

입체 표시할 오브젝트가 포함되는 기본 표현 공간 내에 표현해야 하는 오브젝트를 소정의 시차 범위 내에 포함되도록 표현하고, 상기 기본 표현 공간의 최전면 혹은 최후면중 적어도 한쪽 면을 오브젝트가 존재하지 않는 위치에 설정하여 상기 적정 시차를 조정하는 단계를 더 포함하는 것을 특징으로 하는 입체 화상 처리 방법.
서로 다른 시차에 따라 복수의 입체 화상을 사용자에게 표시하는 단계와,

여러가지 시차에서 표시되는 복수의 입체 화상을 허용할 수 있을지 여부에 대한 사용자의 응답을 바탕으로, 그 사용자가 허용할 수 있는 시차로서의 적정 시차를 특정하는 단계와,

상기 복수의 입체 화상과는 별개의 입체 화상을 표시할 때에, 상기 별개의 입체 화상을 사용자가 허용할 수 있게, 상기 복수의 입체 화상에 대해서 특정된 적정 시차에 의해 상기 별개의 입체 화상에 처리를 실시하는 단계

를 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능 기록매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제