KR101340102B1 - 영상 부호화 장치, 영상 부호화 방법, 영상 재생 장치 및 영상 재생 방법 - Google Patents

Abstract

좌우 양안용으로 각각 다른 영상을 표시하여 입체 영상을 시각화하는 방식에 있어서, 서브 픽쳐 데이터(GRD)는 좌안용으로 작성되어, 좌안용 서브 픽쳐로서, 그대로 좌안용 영상(VDD)에 중첩해서 표시한다. 우안용 영상에 중첩해서 표시하는 우안용 서브 픽쳐(106)는, 좌안용으로 작성된 서브 픽쳐 데이터를 표시하는 수평 위치를 소정폭만큼 시프트해서 표시하도록 하였다. 예컨대, 서브 픽쳐는 복수의 오브젝트(GRD-1, GRD-2, … GRD-N)를 포함할 수 있고, 오브젝트 좌우 양단의 표시 화면 상의 수평 위치에 대해, 우안용으로 표시할 때의 시프트폭(108, 110)을 각각 설정하여 서브 픽쳐 데이터(GRD) 중에 유지시킨다. 입체 영상에 중첩되는 서브 픽쳐를 깊이 방향으로 표현할 수 있고, 또한 그 서브 픽쳐의 데이터량과 표시를 위한 연산량을 삭감할 수 있다.

Description

영상 부호화 장치, 영상 부호화 방법, 영상 재생 장치 및 영상 재생 방법{VIDEO ENCODING DEVICE, VIDEO ENCODING METHOD, VIDEO REPRODUCTION DEVICE AND VIDEO REPRODUCTION METHOD}

본 발명은 입체 영상을 표시하는 영상 재생 장치 및 방법, 및 입체 영상을 작성하는 영상 부호화 장치와 부호화 방법에 관한 것이며, 또한, 영상 부호화 데이터를 유지하는 영상 기록 매체 및 영상 데이터 스트림에 관한 것이다.

입체 영상(3차원 영상)을 표시하는 영상 재생 장치에는 몇 개의 방식이 실용화되고 있다. 가장 널리 보급되어 있는 방식은, 좌우 양안(兩眼)용으로 각각 다른 영상을 표시해서 각각의 눈으로 보도록 하여, 그들 좌우 양안용의 영상에 대해, 인간이 실제의 입체를 볼 때와 동등한 시차를 부여함으로써 입체 영상을 시각화하는 방식이다.

실사 영상을 입체 표시하기 위해서는, 촬영시에 2대의 카메라를 이용하여, 양안의 간격에 상당하는 거리만큼 수평 방향으로 떨어뜨려서 배치한 카메라로 동시에 촬영한다. 그리고, 재생할 때, 좌안(左眼)에는 좌안용 카메라로 촬영한 영상만을, 우안(右眼)에는 우안용 카메라로 촬영한 영상만을, 각각 볼 수 있도록 표시하여, 양안으로 시차를 감지할 수 있도록 하여, 입체 영상으로서 인식시키는 것이다. 지금까지, 각각의 눈에 각각 전용의 영상을 보이게 하기 위한 방식, 그 영상의 해상도를 높게 보이게 하는 방식, 그 영상을 표현하는 데이터량을 삭감하는 방식 등에 대해서 다양한 기술이 개시되어 있다.

DVD나 BD로 대표되는 영상 콘텐츠 제공용의 미디어에 입체 영상을 수록하는 수요가 높아지고 있다. 이들 미디어에서는, 콘텐츠의 주요부로 되는 영화 등의 영상 외에, 자막을 표시하는 서브 픽쳐나, 사용자의 기기 조작에 따라 선택지나 샘플, 안내 등을 표시하는 그래픽스를 중첩해서 표시할 수 있다. 이들 부가적인 영상 정보도, 주요부로 되는 영상을 돋보이게 하여 콘텐츠의 가치를 높이는 중요한 구성요소로 되고 있다. 종래, 영상이 평면 영상(2차원 영상)이기 때문에, 이에 중첩하는 서브 픽쳐나 그래픽스 등의 부가적인 영상 정보도 평면 영상이어서, 중첩 표시에 있어서, 투과도를 적절히 설정하여 배치의 전후 관계를 나타내거나, 시각적으로 인상 깊은 표현이 가능하도록 되어 있었다.

영상 콘텐츠가 입체 영상으로 된 경우, 부가적인 영상 정보가 평면 영상이면 표현 효과가 제한되기 때문에, 서브 픽쳐나 그래픽스 등의 부가적인 영상 정보도 깊이 방향의 표현이 가능한 것으로 하는 것이 요구된다.

종래, 입체 영상에 평면의 자막을 중첩했을 때, 시차를 포함하는 입체 영상은 원근감이 생기도록 표시되지만 자막은 무한원(無限遠)에 있도록 표시되어 버리거나, 혹은 자막이 항상 화상 바로 앞에 표시되는 평면 표시와 달리, 원경(遠景)에 표시되기 때문에 사용자가 위화감을 가진다고 하는 문제가 있었다. 이에 대하여, 자막 데이터에 깊이 방향의 표시 위치를 나타내는 파라미터를 갖게 하여, 입체 영상에 중첩할 때 자막을 변형 처리하여 합성함으로써, 자막을 적절한 위치에 표시하는 기술이 개시되어 있다(예컨대, 특허 문헌 1 참조).

[선행기술문헌]

[특허문헌]

특허 문헌 1: 일본 특허 공개 제2004-274125호 공보

종래 기술에서는, 자막의 표시 위치를 영상의 바로 앞의 적절한 위치에 설정가능하지만, 한 곳으로 한정된다. 또한, 자막 그 자체를 바로 앞으로부터 안쪽에 걸쳐서 기울여서 배치가능하게 하는 것과 같은 깊이 방향의 표시 위치를 설정하는 기술은 개시되어 있지 않아, 입체 영상의 표현법으로서 자유도가 부족하였다.

본 발명은 이러한 현상을 감안하여, 좌우 양안용으로 각각 다른 영상을 표시하여 입체 영상을 시각화하는 방식에 있어서, 입체 영상에 중첩하는 서브 픽쳐나 그래픽스 등의 부가적인 영상 정보에 대해 깊이 방향의 표현도 가능하게 하여, 입체적으로 볼 수 있는 것을 목적으로 한다.

또한, 이때의 서브 픽쳐나 그래픽스 등의 부가적인 영상 정보를 입체시 가능한 표현으로 하기 위한 데이터량을 삭감하는 것을 목적으로 한다.

또한, 영상 재생 장치에 있어서, 서브 픽쳐나 그래픽스 등의 영상 정보의 입체적인 표현을 실현할 때의 연산 처리를 간략화하는 것을 목적으로 한다. 동시에, 영상 재생 장치에 요구되는 연산 처리 성능을 절약함으로써 비용을 저감하는 것, 및, 소여의 연산 처리 성능 하에서 입체 표시되는 영상 정보의 갱신 속도를 향상시키는 것도 목적으로 한다.

본 발명의 영상 부호화 장치는, 좌우 양안용으로 각각 다른 영상을 표시시키는 것에 의해 입체 영상을 시각화하는 영상 데이터를 생성하는 영상 부호화 장치로서, 입체 영상을 구성하는 제 1 및 제 2 시점의 표시 영상에 각각 중첩해서 표시하는 제 1 및 제 2 시점의 표시 서브 영상의 데이터를 부호화하여 서브 영상 부호화 데이터 스트림을 생성하는 서브 영상 부호화 수단을 구비하고, 상기 서브 영상 부호화 수단에 있어서, 상기 제 1 시점의 표시 서브 영상에 포함되는 하나 이상의 오브젝트의 데이터를 독립적으로 복호할 수 있도록 부호화함과 아울러, 상기 제 2 시점의 표시 서브 영상에 포함되는 상기 하나 이상의 오브젝트를, 상기 제 1 시점의 표시 서브 영상으로서 표시되는 각각 대응하는 오브젝트에 대해, 적어도 수평 방향으로 신축함으로써 깊이를 표현하도록 한 것을 특징으로 한다.

또한, 본 발명의 영상 재생 장치는, 부호화된 서브 영상을 포함하는 입체 영상의 데이터를 복호하여, 좌우 양안용으로 각각 다른 영상을 표시시키는 것에 의해 입체 영상을 시각화하는 영상 재생 장치로서, 입체 영상을 구성하는 상기 제 1 및 제 2 시점의 표시 영상에 각각 중첩해서 표시하는 복수의 시점의 표시 서브 영상의 데이터를 복호하는 서브 영상 복호 수단을 구비하고, 상기 서브 영상 복호 수단에 있어서, 상기 제 1 시점의 표시 서브 영상에 포함되는 하나 이상의 오브젝트의 데이터를 독립적으로 복호함과 아울러, 상기 제 2 시점의 표시 서브 영상의 데이터에 근거하여, 상기 제 2 시점의 표시 서브 영상에 포함되는 하나 이상의 오브젝트를, 상기 제 1 시점의 표시 서브 영상으로서 표시되는 각각 대응하는 오브젝트에 대해, 표시면 상에서 수평 방향으로 신축하여 표시하는 것을 특징으로 한다.

본 발명에 의하면, 좌우 양안용으로 각각 다른 영상을 표시하여 입체 영상을 시각화하는 방식에 있어서, 입체 영상에 중첩하는 서브 픽쳐나 그래픽스 등의 서브 영상 정보에 대해, 깊이 방향의 표현이 가능하게 되어, 입체 영상의 표현법으로서의 자유도가 높아졌다.

또한, 본 발명에 의하면, 이때의 서브 영상 정보(서브 픽쳐, 그래픽스 등)를 입체시 가능한 표현으로 하기 위한 데이터량을 삭감하는 것이 가능하게 되었다.

또한, 본 발명에 의하면, 영상 재생 장치에 있어서, 서브 영상 정보(서브 픽쳐, 그래픽스 등)를 입체적으로 표현할 때의 연산 처리를 간략화하는 것이 가능하게 되었다.

또한, 본 발명에 의하면, 영상 재생 장치에 요구되는 연산 처리 성능을 절약할 수 있게 되어, 그 비용을 저감하는 것이 가능하게 되었다.

또한, 본 발명에 의하면, 그 소여의 연산 처리 성능 하에서, 입체 표시되는 영상 정보의 표시의 갱신 속도를 향상하는 것도 가능해져, 영상 정보를 입체 표시한 채로 빠르게 재생하는 것이 가능하게 되었다.

도 1은 본 발명의 실시형태 1의 영상 부호화 장치를 나타내는 블록도,
도 2는 본 발명의 실시형태 1의 영상 재생 장치를 나타내는 블록도,
도 3(a) 및 (b)는 본 발명의 원리를 설명하기 위한, 시차와 깊이의 관계를 나타내는 도면,
도 4(a) 및 (b)는 본 발명의 원리를 설명하기 위한, 양안용의 화상을 나타내는 도면,
도 5(a) 및 (b)는 본 발명의 원리를 설명하기 위한, 시차와 거리의 정량적 관계를 나타내는 도면,
도 6(a) 및 (b)는 본 발명의 실시형태 1에서 사용되는 자막 배치의 일례를 나타내는 도면,
도 7(a) 및 (b)는 도 6(a) 및 (b)에 도시되는 자막의 양안용 화상의 구성을 나타내는 도면,
도 8은 도 6(a) 및 (b)의 예에 있어서의 부호화한 영상 데이터 구조를 나타내는 도면,
도 9(a) 및 (b)는 본 발명의 실시형태 2에서 사용되는 자막 배치의 일례를 나타내는 도면,
도 10(a) 및 (b)는 도 9(a) 및 (b)에 도시되는 자막의 양안용 화상의 구성을 나타내는 도면,
도 11은 도 9(a) 및 (b)의 예에 있어서의 부호화한 영상 데이터 구조를 나타내는 도면,
도 12(a) 및 (b)는 본 발명의 실시형태 3에서 사용되는 자막의 표시 방법의 일례를 나타내는 도면,
도 13(a) 및 (b)는 본 발명의 원리를 설명하기 위한, 시차와 높이의 관계를 나타내는 도면.

이하에, 본 발명의 실시형태에 대해서 도면을 사용하면서 설명한다.

(실시형태 1)

도 1에, 본 발명의 실시형태 1의 영상 부호화 장치를 포함하는 시스템의 구성을 나타낸다. 이 장치는, 촬영한 입체 영상(이하, 메인 영상이라고 부름)을 디지털 부호화함과 아울러, 재생시에 이 입체 영상에 중첩해서 표시하는 서브 영상, 즉, 자막용의 서브 픽쳐나 사용자의 기기 조작에 따라 선택지나 샘플, 안내 등을 표시하는 그래픽스 등의 영상을 생성하여 디지털 부호화하고, 메인 영상을 디지털 부호화한 데이터에 다중화한 영상 데이터 스트림을 생성하는 것이다. 여기서 메인 영상은 입체 표현가능한 영상으로서, 이것에 중첩 표시하는 서브 영상도 깊이 방향의 표현이 가능하여 입체시되도록 생성해서 부호화하는 것이며, 좌안용 비디오 카메라(11) 및 우안용 비디오 카메라(12)에 접속된 비디오 인코더(영상 부호화 수단)(21)과, 그래픽스 제너레이터(22)와, 그래픽스 데이터 인코더(서브 영상 부호화 수단)(23)과, 데이터 스트림ㆍ멀티플렉서(스트림 다중화 수단)(25)를 갖는다. 데이터 스트림 전송/축적 수단(30) 중, 송신/기록 수단(31)도, 영상 부호화 장치의 일부를 구성한다.

메인 영상의 촬영에는, 양안의 간격에 상당하는 거리만큼 수평 방향으로 떨어뜨려 배치한 2대의 카메라, 좌안용 비디오 카메라(11)와 우안용 비디오 카메라(12)를 이용하여, 이 2개의 카메라로 동시에 촬영한다. 촬영한 각 카메라의 영상 신호는 비디오 데이터 인코더(21)에 입력되고, 여기서 디지털 부호화하여 메인 영상 부호화 데이터 스트림을 형성한다. 입체 영상의 디지털 부호화에는 복수의 방식이 알려져 있지만, 본 발명에서는 특정한 방식으로 한정되지 않는다.

서브 영상은, 콘텐츠 제작자에 의해 마련된 사양에 따라서 그래픽스 제너레이터(22)에 의해서 작성되어, 디지털화된 서브 영상 데이터로서 출력된다. 이 서브 영상 데이터에는, 서브 영상으로서 표시되는 서브 픽쳐나 그래픽스 등의 화상 데이터 외에, 그 서브 영상에 포함되는 오브젝트에 대하여, 각 오브젝트가 표시되어야 하는 깊이 방향의 위치 정보를 포함하도록 한다.

여기서, 그래픽스 제너레이터(22)에 의해서 작성되는 서브 영상 데이터는, 시청자의 시점에서 보여지는 형상으로 작성하면 바람직하다. 예컨대 표시하는 오브젝트가 정방형일 때, 그 오브젝트가 시점에서 등거리가 아니라 깊이 방향으로 기울어져서 배치된 경우에는, 그 오브젝트는 사다리꼴이나 부등변 사각형으로 보이지만, 그렇게 해서 보이는 형상으로 서브 영상 데이터를 작성한다. 그것에, 깊이 방향으로 어떻게 배치할지의 위치 정보를 부가한다.

다음으로, 서브 영상 데이터는 그래픽스 데이터 인코더(23)에 입력되어, 좌안용의 서브 영상과 우안용의 서브 영상으로서 부호화된다. 좌안과 우안의 시점을 일반화하여, 제 1 시점과 제 2 시점으로 생각하고, 기준으로 하는 제 1 시점으로서 예컨대 좌안을 할당했을 때, 좌안용의 서브 영상에 포함되는 오브젝트의 데이터는, 독립적으로 복호할 수 있고 표시가능해지도록 부호화된다.

제 2 시점의 서브 영상은, 기준으로 하는 제 1 시점의 서브 영상으로부터 생성한다. 이 경우, 제 2 시점은 우안으로 된다. 양안의 시차에 의해, 우안용의 서브 영상에 포함되는 오브젝트는, 좌안용의 서브 영상으로서 표시되는 오브젝트에 대하여, 수평 방향으로 신축하고 이동하여 표시하는 것만으로 깊이감을 표현할 수 있다. 따라서, 우안용의 서브 영상을 표현하기 위해서는, 각 오브젝트에 대하여, 그 좌단과 우단의 표시 위치를 좌안용에 표시할 때의 수평 위치로부터 얼마만큼 시프트시키면 될지를 나타내는 이동폭을 데이터로서 생성하여, 관련시키거나 혹은 부수시켜 두는 것만으로도 좋다. 예컨대 데이터 스트림의 일부로서 유지시켜 둔다.

이 원리는, 뒤에서 상세하게 설명한다.

이렇게 하여 그래픽스 데이터 인코더(23)에 있어서 생성된 서브 영상 부호화 데이터는, 비디오 데이터 인코더(21)에 있어서 생성된 메인 영상 부호화 데이터와 함께, 데이터 스트림ㆍ멀티플렉서(25)에 입력된다. 데이터 스트림ㆍ멀티플렉서(25)는 2개의 부호화 데이터를 다중화하여, 다중화 부호화 데이터 스트림을 생성한다. 여기서는, 동일한 시각에 1개의 화면에 중첩해서 표시되도록 시각 지정된 메인 영상과 서브 영상이, 데이터의 언더런(underrun) 등의 파탄 없이 표시될 수 있는 다중화 부호화 데이터 스트림으로 되도록 합성된다.

다중화 부호화 데이터 스트림은 데이터 스트림 전송/축적 수단(30)에 입력된다. 데이터 스트림 전송/축적 수단(30)은, 송신/기록 수단(31)으로 나타낸 기능 블록 중 송신 기능을 갖는 경우에는, 다중화 부호화 데이터 스트림을 전송용으로 변조하여, 떨어진 장소에 있는 수신/재생 수단(33)으로 나타낸 기능 블록 중 수신 기능에 전송한다. 또한, 송신/기록 수단(31)으로 나타낸 기능 블록 중 기록 기능을 갖는 경우에는, 다중화 부호화 데이터 스트림을 축적용으로 변조하여, 기록 매체(32)에 기록하여 축적한다. 송신 기능과 기록 기능 중 어느 하나의 필요한 기능이 있으면 좋다.

도 2에, 본 발명의 실시형태 1의 영상 재생 장치를 포함하는 시스템의 구성을 나타낸다. 이 장치는, 도 1에 있어서의 설명에 따라서 영상 부호화 장치에 의해서 부호화되어, 데이터 스트림 전송/축적 수단(30)에 입력된 다중화 부호화 데이터 스트림을, 입체 영상인 메인 영상과 깊이 방향의 표현이 가능하게 입체시되는 서브 영상으로 복조하고, 그것들의 중첩된 영상으로서 재생하는 것으로, 데이터 스트림ㆍ디멀티플렉서(45)와, 비디오 데이터 디코더(영상 복호 수단)(41)와, 그래픽스 데이터 디코더(서브 영상 복호 수단)(43)와, 우안용 비디오ㆍ그래픽스 표시 합성 수단(52)과, 좌안용 비디오ㆍ그래픽스 표시 합성 수단(51)과, 입체 표시 디스플레이(60)를 갖는다. 데이터 스트림 전송/축적 수단(30) 중, 수신/재생 수단(33)도, 영상 재생 장치의 일부를 구성한다.

데이터 스트림 전송/축적 수단(30)에 있어서, 수신/재생 수단(33)으로 나타낸 기능 블록 중 수신 기능을 갖는 경우에는, 송신 기능에 의해서 전송된 다중화 부호화 데이터 스트림을 수신 기능으로 수신해서 복조하여, 데이터 스트림ㆍ디멀티플렉서(45)에 입력한다. 또한, 수신/재생 수단(33)으로 나타낸 기능 블록 중 재생 기능을 갖는 경우에는, 기록 매체(32)에 축적된 다중화 부호화 데이터 스트림을 재생 기능으로 판독하여 복조하고, 데이터 스트림ㆍ디멀티플렉서(45)에 입력한다. 수신 기능 또는 재생 기능 중 어느 하나의 필요한 기능이 있으면 좋다.

데이터 스트림ㆍ디멀티플렉서(45)에서는, 다중화 부호화 데이터 스트림으로부터, 스트림에 부가되어 있는 속성 정보를 참조하여, 메인 영상 부호화 데이터 스트림과 서브 영상 부호화 데이터 스트림을 구분한다. 메인 영상 부호화 데이터 스트림은 비디오 데이터 디코더(41)에, 서브 영상 부호화 데이터 스트림은 그래픽스데이터 디코더(43)에, 각각 입력된다.

비디오 데이터 디코더(41)는 메인 영상 부호화 데이터를 복호하여, 좌안용과 우안용의 각 메인 영상 데이터로서 재생한다. 이렇게 해서 복호된 양안용의 영상 데이터는, 좌안용 비디오ㆍ그래픽스 표시 합성 수단(51)과, 우안용 비디오ㆍ그래픽스 표시 합성 수단(52)에 각각 보내어진다. 비디오 데이터 디코더(41)에 있어서의 복호는, 본 발명에서는 특정한 비디오 부호화 방식에 한정되지 않고, 비디오 데이터 인코더(21)에 의해서 부호화된 방식에 대응하는 것이면 좋다.

그래픽스 데이터 디코더(43)는, 서브 영상 부호화 데이터 스트림을 복호하여, 좌안용과 우안용의 각 서브 영상 데이터로서 재생한다. 그래픽스 데이터 디코더(43)에 있어서의 복호는, 그래픽스 데이터 인코더(23)에 의해서 부호화했을 때의 방식에 대응하는 복호 방식으로 한다.

기술한 바와 같이, 기준으로 하는 제 1 시점에 좌안을 할당했을 때, 좌안용의 서브 영상에 포함되는 오브젝트의 데이터는, 독립적으로 복호할 수 있기 때문에, 좌안용 서브 영상 데이터로서 그대로 출력된다.

또한, 제 2 시점으로 되는 우안용의 서브 영상에 포함되는 오브젝트는, 좌안용의 서브 영상으로서 표시되는 오브젝트에 대하여, 수평 방향으로 이동하고 신축하여 표시함으로써, 깊이감을 표현할 수 있도록 한다. 여기서 각 오브젝트의 좌단과 우단의 각각의 표시 위치에 관하여, 좌안용으로 표시할 때의 수평 위치로부터 얼마만큼 시프트시키면 좋은지를 나타내는 이동폭을 데이터로서 가지고 있기 때문에, 그 이동폭을 판독하여 표시 위치를 산출한다. 이렇게 해서, 양안의 시차에 의해서 생기는 입체감을 재현할 수 있다.

영상 신호는, 수평 방향의 주사선을 화면 위로부터 아래로 순차적으로 주사시켜서 표현하는 형태로 되어 있기 때문에, 오브젝트를 표현하는 각 주사선 상에서 표시 내용을 수평 방향으로 이동하는 것은 매우 용이하다. 또한, 수평 방향의 신축에 대해서도 하나의 주사선 상의 각 점에 관하여 이동폭을 위치에 따라서 변경하는 것만으로, 간단한 연산 처리에 의해 용이하게 실현된다.

이렇게 해서 복호된 양안용의 서브 영상 데이터가 각각, 좌안용 비디오ㆍ그래픽스 표시 합성 수단(51)과 우안용 비디오ㆍ그래픽스 표시 합성 수단(52)으로 보내어진다. 좌안용 비디오ㆍ그래픽스 표시 합성 수단(51)과 우안용 비디오ㆍ그래픽스 표시 합성 수단(52)에서는, 각각 복원한 메인 영상과 서브 영상을 소정의 사양에 따라서 중첩하여, 입체 표시 디스플레이(60)에 영상 표시 신호로서 보낸다. 시청자는 입체 표시 디스플레이(60)를 통해서 입체적인 영상으로서 인식한다.

메인 영상의 입체 표시에 따른 깊이감과 서브 영상의 입체 표시에 따른 깊이감은, 콘텐츠 제작자가 오서링(authoring)시에 조정한다. 기본적으로 깊이 방향의 위치에서 전후 관계를 나타내는 것 외에, 서브 영상을 색정보와 투과도의 정보로 표현하도록 하고, 먼 곳일수록 투과도를 크게 하여 메인 영상과 혼합하는 설정에 의해서 배경으로 되는 메인 영상과의 전후 관계를 표현하는 것도 가능하다.

이하에, 양안의 시차에 의해, 좌안용의 서브 영상의 오브젝트에 대하여, 대응하는 우안용의 서브 영상의 오브젝트를 수평 방향으로 이동하고 신축하여 표시하는 것만으로 깊이감을 표현할 수 있는 원리와, 깊이 방향의 위치와 수평 방향의 이동폭의 관계에 대해서, 상세하게 설명한다.

도 3(a) 및 (b)는 본 발명의 원리로 되는 시차와 깊이의 관계를 나타내는 도면이다. 도 3(a)에 카메라, 즉, 시청자의 시점을 포함해서, 영상의 대상으로 되는 공간 전체의 평면도를, 도 3(b)에 그 측면도를 나타낸다. 도 3(a)에 나타내는 바와 같이, x축을 수평 방향(오른쪽이 정(正)), z축을 깊이 방향(안쪽이 정)으로 하고, 도 3(b)에 나타내는 바와 같이, y축을 수직 방향(아래쪽이 정)으로 한다. 좌안과 우안의 시점, 즉 좌안과 우안의 카메라는, 각각, z=0의 거리에서, x축 상에 나타내는 L과 R의 위치에 있다. 좌안 L과 우안 R의 시선의 중심은 모두, 도면 중에 화살표(실선과 파선)로 표시하는 바와 같이, 동일한 방향의 앞에 있는 무한 원점을 향해 있다. 또한 도 3(a)에 도시된 바와 같이, 좌안 L의 수평 방향의 시야의 범위를 깊이 방향으로 넓어지는 부채꼴(실선)로, 우안 R의 수평 방향의 시야의 범위를 깊이 방향으로 넓어지는 부채꼴(파선)로 표시하였다.

이하에서는, 깊이 방향의 시점으로부터의 거리를 단순히 거리라고 칭한다. 좌안 L의 시선 중심선 상의 거리 d1, d2, d3, d4, d5, d6, d7의 위치에, 각각 오브젝트 L1, L2, L3, L4, L5, L6, L7이 있다. 또한, 우안 R의 시선 중심선 상의 거리 d1, d2, d3, d4, d5, d6, d7의 위치에, 각각 오브젝트 R1, R2, R3, R4, R5, R6, R7이 있다. 오브젝트 L1, L2, L3, L4, L5, L6, L7은 흰 막대이며 수직 방향 중앙으로부터 위로 신장하고 있으며, 먼 곳에 있는 것일수록 길다. 오브젝트 R1, R2, R3, R4, R5, R6, R7은 검은 막대이며 수직 방향 중앙으로부터 아래로 신장하고 있으며, 먼 곳에 있는 것일수록 길다. 이들 오브젝트를, 좌안 L과 우안 R의 시점에서 보았을 때에 각각이 어떻게 보이는지를 생각한다.

도 4(a) 및 (b)는 본 발명의 원리로 되는 양안용의 화상의 일례를 나타내는 도면이다. 도 4(a)에 좌안 L에 보이는, 즉, 재생하여 표시할 때 좌안용으로 표시하는 화상을, 도 4(b)에 우안 R에 보이는, 즉, 재생하여 표시할 때 우안용으로 표시하는 화상을 나타낸다. 시점으로부터 등거리에 있는 2개의 오브젝트 L1과 R1, L2과 R2 등은, 동일한 간격으로 놓여져 있지만, 시점에 있어서의 화상 위에서는 원근법을 따라, 가까운 거리에 있는 것일수록 간격이 넓게 표시된다.

도 4(a)에 나타내는 바와 같이, 좌안 L에서는, 오브젝트 L1, L2, L3, L4, L5, L6, L7은 모두 수평 방향의 중앙에서 나타난다. 오브젝트 R1, R2, R3, R4, R5, R6, R7은 수평 방향의 중앙으로부터 각각, ΔR1, ΔR2, ΔR3, ΔR4, ΔR5, ΔR6, ΔR7만큼 오른쪽으로 이동한 위치에서 나타난다. 여기서, 이 좌안 L의 화상을 이용하여, 도 4(b)에 나타내는 우안 R의 화상을 생성하는 것을 생각한다.

좌안 L에 의해 수평 방향의 중앙에서 나타난 오브젝트 L1, L2, L3, L4, L5, L6, L7은, 우안 R에서는, 좌안 L의 화상에 있어서의 수평 방향의 위치와 비교하여, ΔL1, ΔL2, ΔL3, ΔL4, ΔL5, ΔL6, ΔL7만큼, 각각 왼쪽으로 이동한 위치에서 나타난다.

또한, 좌안 L에 의해 수평 방향의 오른쪽으로 이동해서 나타나 있었던 오브젝트 R1, R2, R3, R4, R5, R6, R7은, 우안 R에서는 모두 수평 방향의 중앙에서 겹쳐서 나타난다. 즉, 좌안 L의 화상에 있어서의 수평 방향의 위치와 비교하여, ΔR1, ΔR2, ΔR3, ΔR4, ΔR5, ΔR6, ΔR7만큼, 각각 왼쪽으로 이동한 위치에서 나타난다.

이상의 것으로부터, 좌안 L의 화상을 이용하여 우안 R의 화상을 생성할 때, 오브젝트의 수평 방향의 위치의 이동폭은, 거리가 가까운 것일수록 크고, 거리가 멀어질수록 작게 되어, 무한 원점에서는 움직이지 않고서 동일한 위치에 머무르는 것을 알 수 있다. 이들 각 오브젝트에 대하여, 각각의 위치에 대응한 수평 방향의 위치의 이동폭을 지정해 두면, 좌안 L의 화상으로부터 우안 R의 화상을 만들어서 양안의 시차를 표현하여, 깊이 방향의 거리감을 재현할 수 있게 된다. 즉, 입체시 가능한 화상을 생성할 수 있다.

도 5(a) 및 (b)는 본 발명의 원리를 설명하기 위한, 시차와 거리의 정량적 관계를 나타내는 도면이다. 도 5(a)는, 도 3(a)과 동일하게, 시청자의 시점을 포함해서 영상의 대상으로 되는 공간 전체의 평면도를 나타낸다. x축, z축의 정의, 좌안과 우안의 시점, 시선, 시야의 범위의 표시 방식도 동일하다. 도 5(b)는 좌안용의 화상을 나타낸다. 도 5(a) 및 (b)에 있어서, 2θ는 카메라의 수평 화각, d는 카메라로부터의 거리, a는 양안 간격, X0는 수평 방향의 시야폭, Δx는 양안 시차, Px는 수평 방향의 화소수, ΔPx는 양안 시차 Δx에 상당하는 화면 수평 방향의 화소수이다.

수평 화각 2θ의 양안용의 각 카메라로부터 깊이 방향의 거리 d의 수직면에 있어서의 수평 방향의 시야폭 X0에 대하여, 양안 간격 a가 상대적인 길이(양안 시차라고 부름) Δx를 구하면 이하와 같게 된다.

다음에, 양안 간격 a에 기인하는 양안 시차 Δx를, 카메라, 또는, 표시 디스플레이의 화면 상의 수평 방향의 화소수 ΔPx로 환산한다. 수평 방향의 화면의 크기(화소수)를 Px로 하고, Px가 1920화소인 경우, ΔPx는 이하로 된다.

반대로, (2)식으로부터, 깊이 방향의 거리 d는, 카메라의 수평 화각 2θ와 양안 간격 a, 및 양안 시차 Δx에 상당하는 표시 화면 상의 수평 방향의 화소수 ΔPx로부터, 이하와 같이 산출된다.

이상으로 나타낸 각 파라미터간의 관계식을 이용하면, 입체 화상을 제작할 때에, 좌안 L의 화상을 이용하여 우안 R의 화상을 생성하는 것이 가능해진다. 카메라의 시야각과 거리, 및 화면의 크기(화소수)를 지정함으로써, 좌안 L의 화상을 이용하여 우안 R의 화상을 생성할 때에, 그 오브젝트의 위치에 대한 수평 방향의 이동폭을 정량적으로 계산할 수 있고, 화소수 단위로 지정할 수 있게 된다.

상기한 바와 같이 하여, 각 오브젝트, 또는 각 오브젝트의 소정의 개소에 대하여, 산출한 이동폭 ΔPx를 지정해 둠으로써, 재생시에 깊이 방향의 거리감을 표현하는 화상을 만들어낼 수 있게 된다.

소정의 영상 장면 중에서는 a와 θ는 고정 파라미터로 생각되기 때문에, (3)식에 있어서 구하는 깊이 방향의 거리 d는, 오브젝트 각 부분의 ΔPx의 값에만 대응하여 변화된다.

따라서, 예컨대, 2개의 오브젝트가 겹치도록 배치된 경우, 표시할 때에 겹친 부분에서는 어느 한쪽을 앞으로 할지를, ΔPx의 대소로 판단할 수 있다. 불투명한 오브젝트에서는 뒤에 있는 오브젝트가 숨겨지지만, 겹친 부분에서는, ΔPx가 큰 부분이 바로 앞에 표시되고, ΔPx가 작은 부분이 숨겨진다.

본 발명의 영상 부호화 장치에 있어서 이 처리를 실시할 때, 그래픽스 제너레이터(22)에서 좌안 L의 화상 데이터를 작성함과 아울러, 화상의 소정 개소에 관한 깊이 방향의 거리, 및 카메라의 시야각과 화면의 크기를 부가하여 그래픽스 데이터 인코더(23)에 출력한다. 그래픽스 데이터 인코더(23)에 있어서, 거리가 지정된 화상의 소정 개소에 관하여 상기한 바와 같이 (2)식을 이용하여 ΔPx를 산출하고, 우안 R의 화상을 생성하여, 부호화한다.

다음에, 이상의 원리에 근거하여, 실제로 서브 영상을 표현하는 구체예를 설명한다.

도 6(a) 및 (b)에, 본 실시형태 1에서 사용되는 자막 배치의 일례를 나타낸다. 도 3(a) 및 (b)와 동일하게, 시청자의 시점을 포함해서 영상의 대상으로 되는 공간 전체의 평면도 및 측면도를 나타낸다. x축, y축, z축의 정의, 좌안과 우안의 시점, 시선, 시야의 범위의 표시 방식도 동일하다. 여기서는, 거리 d5의 위치의 시점에서 보아서 수직으로 직사각형인 자막 [A]를 배치하고, 또한, 거리 d5 내지 d7에 따른 위치의 시점에서 보아서 우변을 안쪽으로 기울여 직사각형의 자막 [B]를배치한다. 측면도로부터 알 수 있는 바와 같이, 자막 [A]는 중앙보다 위의 부분에, 자막 [B]는 중앙보다 아래의 부분에 배치하였다. 도 3(a) 및 (b)를 참조하면서, 이 2개의 자막이 양안의 시점에서 어떻게 보일지, 즉, 표시 화면 상에 어떻게 표시되어야 할지를 생각한다.

도 7(a) 및 (b)에, 도 6(a) 및 (b)에 도시되는 자막의 양안용 화상의 구성을 나타낸다. 도 7(a)에 나타내는 바와 같이 좌안 L에서는, 수직으로 놓여진 직사각형의 자막 [A]는 직사각형으로 보이고, 안쪽으로 기울어진 직사각형의 자막 [B]는 사다리꼴로 보인다. 2개의 자막의 수평 방향의 위치는, 좌변은 동일하게 x1에 있다. 우변은 실물에서는 동일하지만, 화상에서는, 거리 d5에 있는 자막 [A]가 x2에, 거리 d7에 있는 자막 [B]가 x3으로 된다.

도 7(b)에 나타내는 바와 같이 우안 R에서는, 수직으로 놓여진 직사각형의 자막 [A]는 직사각형으로 보이고, 안쪽으로 기울어진 직사각형의 자막 [B]는 사다리꼴로 보인다. 2개의 자막의 수평 방향의 위치는, 좌변은 동일하게 (x1-Δx1)에 있다. 우변은 실물로서는 동일하지만, 화상에서는, 거리 d5에 있는 자막 [A]이 (x2-Δx1)에, 거리 d7에 있는 자막 [B]가 (x3-Δx3)으로 된다.

좌안용의 화상을 기준으로 하여 우안용의 화상을 작성하기 위해서는, 자막 [A]에 관하여, 전체적으로 Δx1만큼 좌측으로 이동시키면 된다. 또한, 자막 [B]에 관하여, 좌변을 Δx1만큼 좌측으로 이동시키고, 우변을 Δx3만큼 좌측으로 이동시키면 된다. 이 예에서는, Δx1>Δx3이며, 우변이 더욱 안쪽에 있고 거리가 클수록, 그 이동폭 Δx3는 작아진다.

결과적으로, 자막 [A]의 폭은, 좌안 L에서도 우안 R에서도 (x2-x1)로 되어 변하지 않지만, 자막 [B]의 폭은, 좌안 L에서는 (x3-x1), 우안 R에서는 (x3-x1)-(Δx3-Δx1)로, 양안 시차의 영향에 의해 우안 R에서 보았을 때가 길게 보인다.

표시하는 오브젝트의 좌우 부분에서 깊이 방향의 거리가 상이한 경우, 그래픽스 데이터 인코더(23)에 있어서 부호화할 때, 오브젝트 좌단의 위치와 우단의 위치를 이동시키는 각각의 이동폭 Δx1과 Δx3를 산출하여 서브 영상 부호화 데이터 중에 유지해 두면, 좌안용의 화상을 기준으로 하여 우안용의 화상을 표현할 수 있다. 이 서브 영상 부호화 데이터를 사용하면, 그래픽스 데이터 디코더(43)에 있어서 복호할 때, 좌안용의 화상 데이터와 이동폭 Δx1과 Δx3로부터, 우안용의 화상에 표시되는 오브젝트를 간단하게 재현할 수 있다.

도 8에, 도 6(a) 및 (b)의 예에 있어서의 부호화한 영상의 데이터 구조를 나타낸다. 메인 영상과 서브 영상을 포함하는 영상을 부호화한 영상 데이터 스트림의 전체 구조이다. 이 영상 데이터 스트림 전체를 「입체 영상 비디오 데이터ㆍ그래픽스 데이터ㆍ스트림」 VGS라고 부른다. 입체 영상 비디오 데이터ㆍ그래픽스 데이터ㆍ스트림 VGS는, 소정의「부호화 단위」 UOC마다 구분해서 디지털화되고, 부호화된다. 하나의 부호화 단위 UOC 중에, 메인 영상 부호화 데이터로 이루어지는 「비디오 데이터」 VDD와 서브 영상 부호화 데이터로 이루어지는 「그래픽스 데이터」 GRD가 포함되도록, 데이터 스트림ㆍ멀티플렉서(25)에 있어서 다중화된다.

하나의 부호화 단위 UOC의 데이터를 재생해서 표시하고 있는 중에, 다음의 부호화 단위 UOC의 데이터를 판독해 놓는 것에 의해, 하나의 부호화 단위 UOC의 표시를 끝낸 후, 도중에 끊기지 않고서 다음 부호화 단위 UOC의 표시가 계속되도록 할 수 있다. 단, 도 8에 나타낸 데이터 배치는 일례이며, 예컨대, 그래픽스 데이터 GRD용으로 큰 버퍼 메모리가 준비되어 있는 경우는, 그래픽스 데이터 GRD는 반드시 모든 부호화 단위 UOC에 포함되지 않아도 좋다.

그래픽스 데이터 GRD에는, 서브 영상으로서 표시하는 모든 오브젝트의 데이터를 저장한다. 도면 중에 그 구조를 나타낸다. 「오브젝트 수」 NOB는, 그 그래픽스 데이터 GRD의 부호화 단위 UOC에 포함되는 오브젝트의 개수를 나타낸다. 오브젝트 수 NOB가 N일 때, 오브젝트 #1 내지 오브젝트 #N의 그래픽스 데이터가, 「오브젝트 #1 그래픽스 데이터」 GRD-1 내지 「오브젝트 #N 그래픽스 데이터」 GRD-N에 저장된다.

각 오브젝트의 그래픽스 데이터 GRD-n(n=1, 2, … N)의 구조는, 선두에 그 오브젝트를 식별하기 위한 「ID」(102)를 가지고, 이하에, 좌안용의 서브 영상의 부호화 데이터를 표현하는 「좌안 표시 그래픽스 데이터」(104)와, 좌안용의 서브 영상을 기준으로 우안용의 화상을 표현하기 위한 「우안 표시 그래픽 스데이터」(106)를 가진다. 「우안 표시 그래픽스 데이터」(106)는, 「좌단 시프트폭」(108)과 「우단 시프트폭」(110)으로 이루어진다. 이들 모두는, 좌안용의 화상으로 표시되는 오브젝트로부터 우안용의 화상으로 표시되는 오브젝트를, 이상 설명한 바와 같이 하여 재현하기 위해 필요한 이동폭의 데이터이며, 도 7(a) 및 (b)의 예에서는 Δx1과 Δx3에 상당한다.

또한, 상기의 설명은, 오브젝트의 우단과 좌단이 깊이 방향으로 상이한 위치에 배치된 경우에 대응하여, 그 오브젝트의 배치를 표현하기 위해서 「우안 표시 그래픽스 데이터」(106)로 설정하는 「좌단 시프트폭」(108)과 「우단 시프트폭」(110)을 상이한 값으로 한 경우이었다. 오브젝트 전체가, 깊이 방향으로 동일한 위치에 배치되는 것을 미리 알 수 있는 경우는, 「좌단 시프트폭」(108)과 「우단 시프트폭」(110)을 동일한 값으로 하면 좋은 것은 말할 필요도 없다. 이때, 「우안 표시 그래픽스 데이터」(106)로서, 1개의 「시프트폭」을 규정하게 된다.

(실시형태 2)

도 9(a) 및 (b)에, 본 실시형태 2에서 사용되는 자막 배치의 일례의 자막 배치를 나타낸다. 도 6(a) 및 (b)와 동일하게 시청자의 시점을 포함해서 영상의 대상으로 되는 공간 전체의 평면도 및 측면도를 나타낸다. 자막 [A]의 배치는 도 6(a) 및 (b)에 나타낸 예와 동일하다. 직사각형의 자막 [C]를, 거리 d5로부터 d7에 따른 위치의 시점에서 보아서 상변을 안쪽으로 기울여서 배치한다. 측면도로부터 알 수 있는 바와 같이, 자막 [A]는 중앙보다 위의 부분에, 자막 [C]는 중앙보다 하래의 부분에 배치하였다. 도 6(a) 및 (b)의 경우와 마찬가지로 하여, 이 2개의 자막이 양안의 시점에서 어떻게 보일지, 즉, 표시 화면 상에 어떻게 표시되어야 할지를 생각한다.

도 10(a) 및 (b)에, 도 9(a) 및 (b)에 도시되는 자막의 양안용의 화상의 구성을 나타낸다. 도 10(a)에 나타내는 바와 같이 좌안 L에서는, 수직으로 놓여진 직사각형의 자막 [A]는 직사각형으로 보이고, 안쪽으로 기울어진 직사각형의 자막 [C]는 사다리꼴로 보인다. 2개의 자막의 수평 방향의 위치는, 거리 d5에 있는 각각의 하변의 좌우 양단은 동일한 위치 x1와 x2에 있다. 상변에 대해서, 자막 [A]는 거리 d5에 있고 하변과 동일한 x1와 x2에 있지만, 거리 d7에 있는 자막 [C]에서는, 위쪽 좌단의 위치는 x4, 위쪽 우단의 위치는 x3으로 된다.

도 10(b)에 나타내는 바와 같이 우안 R에서는, 수직으로 놓여진 직사각형의 자막 [A]는 직사각형으로 보이고, 안쪽으로 기울어진 직사각형의 자막 [C]는 사다리꼴로 보인다. 2개의 자막의 수평 방향의 위치는, 왼쪽 하단과 오른쪽 하단은 동일하게 (x1-Δx1)과 (x2-Δx1)에 있다. 상변에 대해서, 거리 d5에 있는 자막 [A]는 하변과 동일하게, 위쪽 좌단이 (x1-Δx1), 위쪽 우단이 (x2-Δx1)에 있지만, 거리 d7에 있는 자막 [C]는 위쪽 좌단이 (x4-Δx3), 위쪽 우단이 (x3-Δx3)로 된다.

좌안용의 화상을 기준으로 하여 우안용의 화상을 작성하기 위해서는, 자막 [A]에 관하여, 전체적으로 Δx1만큼 좌측으로 이동시키면 된다. 또한, 자막 [C]에 관하여, 아래쪽 좌단, 아래쪽 우단 모두 Δx1만큼 좌측으로, 위쪽 좌단, 위쪽 우단 모두 Δx3만큼 좌측으로 이동시키면 된다. 이 예에서는, Δx1>Δx3이며, 상변이 더욱 안쪽에 있고 거리가 클수록, 그 이동폭 Δx3는 작아진다.

결과적으로, 자막 [A]의 폭은, 좌안 L에서도 우안 R에서도 (x2-x1)으로 되어 변하지 않는다. 또한, 자막 [C]의 형태는 양안 시차의 영향에 의해 좌우안용에서 변형되지만, 폭은 좌안 L에서도 우안 R에서도 하변이 (x2-x1), 상변이 (x3-x4)으로 되어, 동일한 거리의 부분에 대해서는 변하지 않는다.

표시하는 오브젝트의 상하의 부분에서 깊이 방향의 거리가 상이할 때, 그래픽스 데이터 인코더(23)에 있어서 부호화할 때, 오브젝트 하단의 위치와 상단의 위치를 이동시키는 각각의 이동폭 Δx1과 Δx3를 산출하여 서브 영상 부호화 데이터 중에 유지해 두면, 좌안용의 화상을 기준으로 하여 우안용의 화상을 표현할 수 있다. 이 서브 영상 부호화 데이터를 사용하면, 그래픽스 데이터 디코더(43)에 있어서 복호할 때, 좌안용의 화상 데이터와 이동폭 Δx1과 Δx3로부터, 우안용의 화상에 표시되는 오브젝트를 간단하게 재현할 수 있다.

또한, 도 6(a) 및 (b)의 예에 있어서, 표시하는 오브젝트의 좌우의 부분에서 깊이 방향의 거리가 상이할 때에 대하여 나타낸 예와 합치면, 다음과 같이 정리할 수 있다.

표시하는 오브젝트의 상하 좌우의 부분에서 깊이 방향의 거리가 상이할 때, 그래픽스 데이터 인코더(23)에 있어서 부호화할 때, 오브젝트 왼쪽 상하단의 위치와 오른쪽 상하단의 위치를 이동시키는 각각의 이동폭을 산출하여 서브 영상 부호화 데이터 중에 유지해 두면, 좌안용의 화상을 기준으로 하여 우안용의 화상을 표현할 수 있다. 이 서브 영상 부호화 데이터를 사용하면, 그래픽스 데이터 디코더(43)에 있어서 복호할 때, 좌안용의 화상 데이터와 그 각 좌우 상하단의 위치의 이동폭으로부터, 우안용의 화상에 표시되는 오브젝트를 간단하게 재현할 수 있다.

도 11에, 도 9(a) 및 (b)의 예에 있어서의 부호화한 영상의 데이터 구조를 나타낸다. 도면의 대부분은 도 8과 동일하며, 다른 부분에 대해서 설명한다.

도 8에서는, 「우안 표시 그래픽스 데이터」(106)를, 단순히 「좌단 시프트폭」(108)과 「우단 시프트폭」(110)의 2개의 필드로 이루어진다고 하였다. 도 11에서는, 상기의 도 9(a) 및 (b)의 예에 맞추기 위해서, 더욱 상세하게, 「좌단 시프트폭」(108)을 「왼쪽 상단 시프트폭」(112)과 「왼쪽 하단 시프트폭」(114)의 2개의 필드로 구성하고, 「우단 시프트폭」(110)을 「오른쪽 상단 시프트폭」(116)과 「오른쪽 하단 시프트폭」(118)의 2개의 필드로 구성하도록 하였다.

이들 모두, 좌안용의 화상에 표시되는 오브젝트로부터 우안용의 화상에 표시되는 오브젝트를, 이상 설명한 바와 같이 하여 재현하기 위해서 필요한 이동폭의 데이터이며, 도 7(a) 및 (b)의 예에 적용하기 위해서는, 「좌측 상단 시프트폭」과 「좌측 하단 시프트폭」에 동일한 값을, 「오른쪽 상단 시프트폭」과 「오른쪽 하단 시프트폭」에 동일한 값을, 각각 할당하면 된다.

또한, 도 10(a) 및 (b)의 예에 적용하기 위해서는, 「좌측 상단 시프트폭」과 「오른쪽 상단 시프트폭」에 동일한 값을, 「좌측 하단 시프트폭」과 「오른쪽 하단 시프트폭」에 동일한 값을, 각각 할당하면 된다. 더욱 일반적으로는, 오브젝트의 경사 방향에 따라 4개의 필드 각각에 적절한 값을, 그래픽스 데이터 인코더(23)에 있어서 산출하여 각 필드로 설정한다.

(실시형태 3)

도 12(a) 및 (b)는 본 발명의 실시형태 3에서 사용되는 자막의 묘화 방법의 일례를 나타내는 도면이다. 여기서는, 도 10(a) 및 (b)에 나타낸 자막의 묘화 방법과는 상이한 표현 방법을 나타낸다. 상기 도 10에서는, 깊이 방향으로 경사하여 배치되는 도형에 대해서, 자막 [C]를 예로 하여 좌안용의 화상으로부터 우안용의 화상을 생성하는 방법을 나타내었다. 이 예에서는, 좌안용의 화상은 사다리꼴이며, 각 정점의 수평 방향의 위치인 x좌표의 값이 x1, x2, x3, x4이었다. 좌안용의 화상을 기준으로 하는 우안용의 화상의 위치 표현을 간략화하기 위해서는, 직사각형의 묘화 영역을 확보해 두고, 그 안에 사다리꼴로 되는 자막 [C]를 묘화하고, 우안용의 화상에서는 이 직사각형의 묘화 영역 전체를 변형함으로써, 그 묘화 영역 상의 화상을 변형시키는 쪽이 간단하다.

도 12(a)에 나타내는 바와 같이, 좌안 L용의 화상에서는 사다리꼴의 자막 [C]를, 도면 중에 일점 쇄선으로 둘러싸서 표시하는 x좌표가 x1부터 x2 사이에 있는 직사각형의 묘화 영역 위에 묘화한다. 이 직사각형의 하변은 자막 [C]의 하변에 맞춰져 있다. 여기서, 도 12(b)에 나타내는 바와 같이, 좌안 L용의 화상을 기준으로 하여 우안 R용의 화상을 작성할 때, 일점 쇄선으로 둘러싼 직사각형 Qa의 묘화 영역을 이동시켜 적절한 평행 사변형 Qb로 되도록 변형하면, 이 영역 상에 묘화된 사다리꼴의 자막 [C]는, 도 10(b)에 나타낸 형태에 일치한다.

우안 R용의 화상에서는, 좌안 L용의 화상에서 직사각형이었던 묘화 영역의 수평 방향의 위치는, 왼쪽 하단이 (x1-Δx1), 오른쪽 하단이 (x2-Δx2)로 된다. 또한, 왼쪽 상단은 (x1-Δx11), 오른쪽 상단은 (x2-Δx12)로 된다. 여기서는, Δx1과 Δx2는 같고, Δx11와 Δx12도 같다. 우안용의 화상을 생성할 때에는, 수평 방향의 주사선마다 묘화 영역의 좌우단의 시프트폭을 산출하여, 묘화 위치를 결정한다. 이와 같이 직사각형의 묘화 영역을 1개의 오브젝트로서 정의하고, 각 정점의 수평 방향의 시프트폭을 지정함으로써 좌안용의 화상으로부터 우안용의 화상을 생성하도록 하면, 대상으로 되는 오브젝트가 존재하는 장소를 간단하게 표현할 수 있기 때문에, 화상의 생성이 용이해진다.

예컨대 묘화의 수법으로서, 각 수평 주사선 중 직사각형의 묘화 영역에 포함되는 부분에 있어서, 수평 방향의 길이 요소에 대하여 계수를 승산하여 스케일링하는 것이 생각된다. 직사각형의 묘화 영역의 폭이, 변형 후의 사다리꼴의 묘화 영역의 상변과 하변에서 각각 몇 배로 될지 구해 두고, 각 주사선에서는 스케일링을 위해서 승산하는 계수를 그 묘화 영역의 높이 방향의 위치에 따라서 비례 배분에 의해서 산출하면, 우안용의 화상을 생성하는 연산이 간략화된다.

각 정점의 시프트폭을 표현하는 데이터의 구조는, 이미 설명한 도 11에 나타내는 것을 적용할 수 있고, 상기의 도 12의 예에서는, 「왼쪽 상단 시프트폭」이 Δx11, 「왼쪽 하단 시프트폭」이 Δx1, 「오른쪽 상단 시프트폭」이 Δx12, 「오른쪽 하단 시프트폭」이 Δx2로 된다. 이 4점의 값을 적절하게 설정함으로써, 임의의 방향으로 경사하여, 깊이 방향의 임의의 위치에 배치된 평면 오브젝트의 입체감을 표현할 수 있게 된다.

또한, 본 발명의 요지는, 깊이 방향의 상이한 지점에 위치하는 오브젝트를 표시함에 있어서, 좌안용 오브젝트의 좌우 상하단의 4정점의 위치로부터 우안용 오브젝트의 동일한 4정점의 위치를 산출하도록 하는 점에 있다. 그때, 우안용의 오브젝트의 좌우 상하단의 4정점의 위치를 산출하기 쉽게 하기 위해서, 각각의 시프트폭을 설정하는 필드를 마련해서 표현하는 예를 설명했지만, 이 4정점의 위치의 표현법은, 「시프트폭」에는 한정되지 않는다. 다른 표현 방법으로서, 우안용의 오브젝트의 「왼쪽 상단」, 「왼쪽 하단」의 위치는 기술한 바와 같이 「시프트폭」으로 표현하고, 「오른쪽 상단」,「오른쪽 하단」의 위치는 오브젝트의 상단ㆍ하단 각각의 수평 방향의 길이의 비율로 나타내는 방법도 있다. 예컨대 길이의 비율이 「1.0」이면, 그 오브젝트의 우단의 시프트폭은 좌단의 시프트폭과 동일하게 되는 것으로 정의하고, 길이의 비율이 「1.0」보다 클 때는 오브젝트의 좌단으로부터 우단까지의 길이가 그 비율로 신장하며, 길이의 비율이 「1.0」보다 작을 때는 오브젝트의 좌단으로부터 우단까지의 길이가 그 비율로 줄어드는 것으로 한다. 그리고, 이들 오브젝트의 상단ㆍ하단 각각의 수평 방향의 길이의 비율을, 「오른쪽 상단」, 「오른쪽 하단」의 「시프트폭」을 대신해서 설정하는 필드를 마련해서 표현하도록 해도 좋다.

그런데, 이상의 설명에 있어서, 좌안용의 화상을 기준으로 하여 우안용의 화상을 작성할 때, 좌안용의 화상을 수평 방향으로 시프트하는 것만으로 우안용의 화상을 생성할 수 있다고 설명하였다. 여기서 그 근거를 확인해 둔다.

도 13(a) 및 (b)는 본 발명의 원리로 되는 시차와 높이의 관계를 나타내는 도면이다. 도 13(a) 및 (b)는, 도 3에 나타낸 본 발명의 원리로 되는 시차와 길이의 관계를 나타내는 도면과 마찬가지로, 영상의 대상으로 되는 공간 전체의 평면도 (a)와 측면도 (b)를 나타내는 도면이지만, 배치된 오브젝트가 상이하다. 깊이 방향의 거리 d6의 위치에, 일반적인 경우를 상정하여 시선의 중심으로부터 벗어난 위치에 세로 막대 형상의 오브젝트 E를 놓는다. 촬상시에 좌안과 우안의 카메라로부터 촬영된 화상을, 재생시에는, 예컨대 도면 중에 「표시 스크린」으로 나타낸 거리 d0의 위치에 있었던 화면에 표시한다. 시청자의 시점에서 이 화면을 보았을 때, 좌안 L에는 좌안의 카메라로 촬영한 화상이, 우안 R에는 우안의 카메라로 촬영한 화상이, 각각 보이도록 표시한다.

이렇게 해서 표시된 오브젝트 E의 양단을 좌안 L과 우안 R로부터 보았을 때의 시선을, 평면도 (a)와 측면도 (b)에 각각 나타내었다. 좌안용의 화상과 우안용의 각 화상에 있어서, 오브젝트 E는, 시선이 거리 d0의 위치에 있는 표시 스크린과 교차하는 평면 위에 표시된다. 오브젝트 E의 상단을 보는 양안의 시선의 방향이, 평면도 (a) 위에서는 시차 때문에 수평 방향으로 어긋나 있는 반면에, 측면도 (b) 위에서는 수직 방향으로는 일치하고 있음을 알 수 있다. 환언하면, 좌안용과 우안용으로 표시하는 오브젝트 E는 양쪽 화상에 있어서 동일한 높이로 되는 것을 알 수 있다.

이상과 같이, 본 발명의 영상 부호화 장치 및 방법에서는, 서브 픽쳐를 복수의 모듈을 포함해서 구성할 수 있고, 각 모듈에 모듈 좌우 양단의 화면 상의 수평 표시 위치에 대하여, 우안용으로 표시할 때의 시프트폭을 각각 설정해서 서브 픽쳐 데이터 중에 유지하도록 하고 있다.

또한, 본 발명의 영상 재생 장치 및 방법에서는, 서브 픽쳐 데이터를 좌안용 서브 픽쳐로서 그대로 좌안용 영상에 중첩해서 표시하고, 우안용 서브 픽쳐에는 서브 픽쳐 데이터의 수평 표시 위치를 소정폭만큼 시프트하여, 우안용 영상에 중첩해서 표시하도록 하고 있다.

또한, 본 발명의 영상 기록 매체 및 영상 데이터 스트림에서는, 상기한 바와 같이 하여 부호화한 서브 픽쳐 데이터를 포함하는 입체 영상의 데이터를, 각각의 내부에 유지하도록 하고 있다.

또한, 상기의 각 「시프트폭」은 데이터 스트림 상에서는 고정값으로서 유지되지만, 재생 장치에서는, 판독한 데이터 스트림의 「시프트폭」을 재생 장치에 부가한 조정 기능에 의해서 변화시키고, 대응하는 오브젝트가 표시되는 깊이 방향의 거리를 변화시킬 수도 있다. 사용자가 원하는 거리에 오브젝트를 표시할 수 있게 된다.

본 발명에 관한 이상의 설명에 있어서, 입체 영상인 메인 영상에 대하여 중첩해서 표시하는 서브 영상의 부호화와 재생을 행하는 장치와 방법을 기술하였다. 그러나, 본 발명은 메인 영상이 아니라 서브 영상만의 경우에도 적용가능하다.

즉, 그래픽스를 깊이 방향으로 표현할 수 있고 입체시할 수 있도록 하고, 또한 그 데이터량을 삭감하거나, 입체적으로 표현할 때의 연산 처리를 간략화하거나, 또는 영상 재생 장치에 요구되는 연산 처리 성능을 절약하여 비용을 저감하거나, 소여의 연산 처리 성능 하에서 입체 영상 표시의 갱신 속도를 향상시키기 위한 일반적인 부호화와 재생을 행하는 장치와 방법으로서 적용하는 것이 가능하다.

영상이 그래픽스만으로 이루어지는 경우, 도 1에 나타낸 영상 부호화 장치의 구성 중, 좌안용 비디오 카메라(11), 우안용 비디오 카메라(12), 비디오 데이터 인코더(21), 데이터 스트림ㆍ멀티플렉서(25)는 불필요하게 된다. 또한, 도 2에 나타낸 영상 재생 장치의 구성 중, 비디오 데이터 디코더(41), 데이터 스트림ㆍ디멀티플렉서(45), 좌안용 비디오ㆍ그래픽스 표시 합성 수단(51), 우안용 비디오ㆍ그래픽스 표시 합성 수단(52)은 불필요하게 된다.

11: 좌안용 비디오 카메라, 12: 우안용 비디오 카메라, 21: 비디오 데이터 인코더, 22: 그래픽스 제너레이터, 23: 그래픽스 데이터 인코더, 25: 데이터 스트림ㆍ멀티플렉서, 30: 데이터 스트림 전송/축적 수단, 31: 송신/기록 수단, 32: 기록 매체, 33: 수신/재생 수단, 41: 비디오 데이터 디코더, 43: 그래픽스 데이터 디코더, 45: 데이터 스트림ㆍ디멀티플렉서, 51: 좌안용 비디오ㆍ그래픽스 표시 합성 수단, 52: 우안용 비디오ㆍ그래픽스 표시 합성 수단, 60: 입체 표시 디스플레이

Claims (8)

1. 좌우 양안(兩眼)용으로 각각 다른 영상을 표시시키는 것에 의해 입체 영상을 시각화하는 영상 데이터를 생성하는 영상 부호화 장치로서,
   입체 영상을 구성하는 제 1 및 제 2 시점의 표시 영상에 각각 중첩해서 표시하는 제 1 및 제 2 시점의 표시 서브 영상의 데이터를 부호화하여 서브 영상 부호화 데이터 스트림을 생성하는 서브 영상 부호화 수단을 구비하고,
   상기 서브 영상 부호화 수단에 있어서, 상기 제 1 시점의 표시 서브 영상에 포함되는 하나 이상의 오브젝트의 데이터를 독립적으로 복호할 수 있도록 부호화함과 아울러,
   상기 제 2 시점의 표시 서브 영상에 포함되는 상기 하나 이상의 오브젝트를, 상기 제 1 시점의 표시 서브 영상으로서 표시되는 각각 대응하는 오브젝트로부터, 적어도 표시면 상의 수평 방향으로 이동함으로써 깊이를 표현하되, 상기 깊이는 이동되는 상기 하나 이상의 오브젝트 각각에 대한 표시면 상의 수평 방향에서의 좌단 및 우단의 이동폭에 의해 표현되는 것
   을 특징으로 하는 영상 부호화 장치.
   
2. 제 1 항에 있어서,
   상기 제 2 시점의 표시 서브 영상의 데이터로서, 상기 오브젝트의 각각에 대한 표시면 상의 수평 방향에서의 좌단의 이동폭과 우단의 이동폭을 나타내는 데이터를 독립적으로 생성하는 것을 특징으로 하는 영상 부호화 장치.
   
3. 좌우 양안용으로 각각 다른 영상을 표시시키는 것에 의해 입체 영상을 시각화하는 영상 데이터를 생성하는 영상 부호화 방법으로서,
   입체 영상을 구성하는 제 1 및 제 2 시점의 표시 영상에 각각 중첩해서 표시하는 제 1 및 제 2 시점의 표시 서브 영상의 데이터를 부호화하여 서브 영상 부호화 데이터 스트림을 생성하는 서브 영상 부호화 단계를 구비하고,
   상기 서브 영상 부호화 단계에 있어서, 상기 제 1 시점의 표시 서브 영상에 포함되는 하나 이상의 오브젝트의 데이터를 독립적으로 복호할 수 있도록 부호화하는 제 1 서브 단계와,
   상기 제 2 시점의 표시 서브 영상에 포함되는 상기 하나 이상의 오브젝트를, 상기 제 1 시점의 표시 서브 영상으로서 표시되는 각각 대응하는 오브젝트로부터, 적어도 표시면 상의 수평 방향으로 이동함으로써 깊이를 표현하되, 상기 깊이는 이동되는 상기 하나 이상의 오브젝트 각각에 대한 표시면 상의 수평 방향에서의 좌단 및 우단의 이동폭에 의해 표현되는 것인 제 2 서브 단계를 포함하는 것
   을 특징으로 하는 영상 부호화 방법.
   
4. 제 3 항에 있어서,
   상기 제 2 시점의 표시 서브 영상의 데이터로서, 상기 오브젝트의 각각에 대한 표시화면 상의 수평 방향에서의 좌단의 이동폭과 우단의 이동폭을 나타내는 데이터를 독립적으로 생성하는 것을 특징으로 하는 영상 부호화 방법.
   
5. 청구항 1에 기재된 영상 부호화 장치에 의해서 부호화된 서브 영상을 포함하는 입체 영상의 데이터를 복호하여, 좌우 양안용으로 각각 다른 영상을 표시시키는 것에 의해 입체 영상을 시각화하는 영상 재생 장치로서,
   입체 영상을 구성하는 상기 제 1 및 제 2 시점의 표시 영상에 각각 중첩해서 표시하는 복수의 시점의 표시 서브 영상의 데이터를 복호하는 서브 영상 복호 수단
   을 구비하고,
   상기 서브 영상 복호 수단에 있어서, 상기 제 1 시점의 표시 서브 영상에 포함되는 하나 이상의 오브젝트의 데이터를 독립적으로 복호함과 아울러,
   상기 제 2 시점의 표시 서브 영상의 데이터에 근거하여, 상기 제 2 시점의 표시 서브 영상에 포함되는 하나 이상의 오브젝트를, 상기 제 1 시점의 표시 서브 영상으로서 표시되는 각각 대응하는 오브젝트로부터, 표시면 상에서 수평 방향으로 이동함으로써 깊이를 표현하되, 상기 깊이는 이동되는 상기 하나 이상의 오브젝트 각각에 대한 표시면 상의 수평 방향에서의 좌단 및 우단의 이동폭에 의해 표현되는 것
   을 특징으로 하는 영상 재생 장치.
   
6. 청구항 3에 기재된 영상 부호화 방법에 의해서 부호화된 서브 영상을 포함하는 입체 영상의 데이터를 복호하여, 좌우 양안용으로 각각 다른 영상을 표시시키는 것에 의해 입체 영상을 시각화하는 영상 재생 방법으로서,
   입체 영상을 구성하는 상기 제 1 및 제 2 시점의 표시 영상에 각각 중첩해서 표시하는 복수의 시점의 표시 서브 영상의 데이터를 복호하는 서브 영상 복호 단계를 구비하고,
   상기 서브 영상 복호 단계에 있어서, 상기 제 1 시점의 표시 서브 영상에 포함되는 하나 이상의 오브젝트의 데이터를 독립적으로 복호하는 제 1 서브 단계와,
   상기 제 2 시점의 표시 서브 영상의 데이터에 근거하여, 상기 제 2 시점의 표시 서브 영상에 포함되는 하나 이상의 오브젝트를, 상기 제 1 시점의 표시 서브 영상으로서 표시되는 각각 대응하는 오브젝트로부터, 표시면 상에서 수평 방향으로 이동함으로써 깊이를 표현하되, 상기 깊이는 이동되는 상기 하나 이상의 오브젝트 각각에 대한 표시면 상의 수평 방향에서의 좌단 및 우단의 이동폭에 의해 표현되는 것인 제 2 서브 단계를 포함하는 것
   을 특징으로 하는 영상 재생 방법.
   
7. 삭제
8. 삭제

Images