KR101609890B1

KR101609890B1 - 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 프로그램

Info

Publication number: KR101609890B1
Application number: KR1020107010649A
Authority: KR
Inventors: 다다마사 도마; 다카히로 니시; 다이지 사사키; 히로시 야하타
Original assignee: 파나소닉 아이피 매니지먼트 가부시키가이샤
Priority date: 2008-09-18
Filing date: 2009-09-14
Publication date: 2016-04-06
Also published as: WO2010032419A1; JP5568465B2; KR20110068946A; CN101861735A; CN101861735B; EP2326092A1; US8885709B2; TW201018248A; US20100272174A1; EP2326092A4; JPWO2010032419A1; TWI514856B

Abstract

복호가 즉각 완료되지 않는 경우라도, 뷰간 예측을 이용하여 부호화된 복수의 뷰를 복호할 수 있는 화상 복호 장치를 제공한다. 화상 복호 장치는, 부호화된 제1 뷰, 및, 제1 뷰를 참조하여 부호화된 제2 뷰를 복호하는 복호 처리부(100)와, 복호 처리부(100)의 전단에 배치된 버퍼 메모리(900)를 구비하고, 복호 처리부(100)는, 제1 뷰 및 제2 뷰에 부여된 복호 시각이 동일한 경우에 있어서, 제2 뷰에 부여된 복호 시각에 제1 뷰의 픽쳐의 복호가 완료하기까지 필요로 하는 지연 시간을 가산하여 얻어진 시각에 제2 뷰의 픽쳐를 복호한다.

Description

화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 프로그램{IMAGE DECODING DEVICE, IMAGE ENCODING DEVICE, IMAGE DECODING METHOD, IMAGE ENCODING METHOD, AND PROGRAM}

본 발명은, 뷰간 예측을 이용하여 부호화된 영상을 복호하는 화상 복호 장치, 뷰간 예측을 이용하여 영상을 부호화하는 화상 부호화 장치에 관한 것이다.

영화 작품 등의 동영상 컨텐츠를 반포하기 위해서는, DVD 및 Blu-ray Disc 등의 광 디스크가 넓게 이용되고 있다. 특히 Blu-ray Disc는, 지금까지의 DVD가 SD(Standard Definition)인데 대해, 최대 1920×1080인 HD(High Definition)까지 취급할 수 있으므로, 보다 고화질의 영상을 저장할 수 있다. 광 디스크에는, 지금까지 통상의 2D(2차원) 영상이 저장되어 왔지만, 최근에는 입체 표시를 행할 수 있는 3D(3차원) 영상을 즐길 수 있는 영화관이 증가하고 있는데 따라, 3D 영상을 고화질 그대로 광 디스크에 저장하는 것이 요구되고 있다.

3D 영상이 저장된 광 디스크는, 2D 영상이 저장된 광 디스크만을 재생할 수 있는 재생 장치(이하, 「2D 재생 장치」라고 부른다)와의 재생 호환성이 요구된다. 3D 영상이 저장된 광 디스크를, 2D 재생 장치가 2D 영상으로서 재생할 수 없는 경우, 동일한 컨텐츠에 대해서 「3D 영상용 광 디스크」와 「2D 영상용 광 디스크」의 2종류를 제작할 필요가 있어, 비용고로 되어 버린다. 따라서, 3D 영상이 저장된 광 디스크는, 2D 재생 장치에서는 2D 영상으로서 재생하고, 2D 영상과 3D 영상을 재생할 수 있는 재생 장치(이하, 「2D/3D 재생 장치」로 부른다)에서는, 2D 영상 혹은 3D 영상으로서 재생할 수 있는 것이 요구된다.

3D 영상이 저장된 광 디스크로, 재생 호환성을 확보하기 위한 광 디스크와 재생 장치의 종래예로는, 도 39에 나타내는 것과 같은 방법이 알려져 있다.

광 디스크(1801)에는, 왼쪽눈용의 화면이 저장된 왼쪽눈용 영상 스트림과 오른쪽눈용의 화면이 저장된 오른쪽눈용 영상 스트림이 다중화되어 저장되어 있다. 왼쪽눈용 영상 스트림과 오른쪽눈용 영상 스트림의 프레임 레이트는 동일하고, 재생 표시 시각은 교대로 되어 있다. 예를 들면, 각 영상 스트림이 1초간에 24프레임의 프레임 레이트인 경우는, 왼쪽눈용 영상 스트림과 오른쪽눈용 영상 스트림이 1/48초마다 교대로 표시되게 된다. 각 영상 스트림은 다중화되고, 광 디스크(1801)에는 1GOP 이상의 화상 정보의 기록 단위로 인터리브, 즉 교대로 디스크 상에 배치되어 있다.

도 39에서는, 스트림(1802A), 스트림(1802B) 및 스트림(1802C)에 왼쪽눈용 영상 스트림이, 스트림(1803A), 스트림(1803B) 및 스트림(1803C)에 오른쪽눈용 영상 스트림이 광 디스크(1801) 상에 인터리브 배치된다. 왼쪽눈용 영상 스트림이 배치된 스트림(1802A), 스트림(1802B) 및 스트림(1802C)은, 각각을 순차적으로 재생한 경우에, 재생이 중간에 끊기지 않도록 광 디스크(1801)의 시크 성능 및 판독 속도 등을 바탕으로 배치되어 있다.

광 디스크(1801)는, 2D 재생 장치(1804)에 장전되면, 왼쪽눈용 영상 스트림인 스트림(1802A), 스트림(1802B) 및 스트림(1802C)이 재생되어 2D 영상을 출력한다.

한편으로, 광 디스크(1801)가 3D 영상을 재생할 수 있는 3D 재생 장치(1805)에 장전된 경우, 또는, 광 디스크(1801)가 2D/3D 재생 장치에 장전되고, 사용자가 3D 재생을 선택한 경우는, 왼쪽눈용 영상 스트림과 오른쪽눈용 영상 스트림이 인터리브 블록 단위로 교대로 판독된다. 즉, 스트림(1802A), 스트림(1803A), 스트림(1802B), 스트림(1803B), 스트림(1802C) 및 스트림(1803C)의 순으로, 드라이브의 시크가 발생하지 않도록 연속적으로 판독된다.

판독된 영상 스트림은, 왼쪽눈용 영상 스트림은 왼쪽눈용 영상 디코더에, 오른쪽눈용 영상 스트림은 오른쪽눈용 영상 디코더에 입력되고, 각각 양쪽의 스트림을 복호하여 왼쪽눈 화면 및 오른쪽눈 화면이 교대로 텔레비젼에 출력된다. 왼쪽눈용 영상 스트림과 오른쪽눈용 영상 스트림의 복호는 동일한 디코더로 실시해도 된다. 이 출력 화상은, 1/48초마다 오른쪽눈과 왼쪽눈의 셔터가 전환되는 입체 안경(1806)으로 보면 입체 영상으로 보인다.

이러한 구성으로 함으로써, 3D 영상이 저장된 디스크가, 2D 재생 장치에서 2D 영상을 재생하고, 3D 재생 장치 또는 2D/3D 재생 장치에서는 3D 영상을 재생할 수 있다. 이 3D 영상이 저장된 광 디스크에서의 재생 호환성을 확보하기 위한 기술에 대한 선행 기술로는, 이하의 특허 문헌 1에 기재된 것이 있다.

ISO/IEC MPEG와 ITU-T VCEG의 공동 프로젝트인 Joint Video Team(JVT)는, 2008년 7월에 Multiview Video Coding(MVC)로 불리는 MPEG-4 AVC/H.264의 수정 규격의 책정을 완료했다. MVC는, 복수 시점(뷰)의 영상을 모아 부호화하는 규격이며, 영상의 시간 방향의 유사성뿐만 아니라 뷰간의 유사성도 예측 부호화에 이용함으로써, 복수 뷰의 독립된 압축에 비해 압축 효율을 향상시키고 있다.

도 40은, 2시점의 경우의 예측 참조의 예를 나타내는 도면이다. 베이스 뷰(이하, 제1 뷰라고 부르는 경우가 있다)로 불리는 뷰에서는 다른 뷰를 참조하는 것이 금지되어 있고, 베이스 뷰는 단독으로 복호할 수 있으므로, 2D 재생 장치와의 친화성이 높다. 또한, MVC의 다중화 방식에 대해서도, MPEG-2 시스템 규격의 추가 보충판의 규격화가 진행중이며, 이하의 비특허 문헌 1에 기재된 드래프트가 발행 완료이다.

비특허 문헌 1에서는, MVC의 영상 스트림을 패킷 다중화하는 방법, 및, 패킷 다중화된 MVC의 데이터를 판독하고, 역다중화하여 MVC의 비트 스트림을 인출하고, 디코더에 입력하기까지의 일련의 동작을 정한 시스템·타겟·디코더 등에 대해서 규정하고 있다.

규정에 의거하는 재생 장치는, 시스템·타겟·디코더에 규정된 사이즈의 버퍼를 구비한다. 비특허 문헌 1에 기재대로, 버퍼에는, 디코더에 가까운 순으로, 엘레멘터리·스트림·버퍼(EB), 멀티플랙싱·버퍼(MB), 및, 트랜스포트·버퍼(TB)가 포함된다. 이하, 이들 버퍼를 총칭하여 STD(System Target Decoder) 버퍼라고 부른다. 규정에 의거하는 재생 장치는, 규정된 데이터의 판독 타이밍과 판독 레이트에 따라 동작하면, STD 버퍼를 오버플로우 및 언더플로우시키지 않고, 소정의 복호 시각에 있어서 각 프레임을 복호할 수 있다고 생각된다.

국제 공개 제97/032437호

Text of ISO/IEC 13818-1:2007/FPDAM 4-Transport of Multiview Video over ITU-T Rec H.222. O │ISO/IEC 13818-1

종래예의 과제를 기술한다.

도 39의 종래의 재생 장치에 있어서, MVC와 같은 뷰간의 예측을 사용하는 화상 부호화 방법을 이용하여 2시점 화상의 부호화 효율의 향상을 도모하는 경우, 뷰간의 예측에 사용하는 제1 뷰의 프레임이, 다른 쪽의 뷰(이하, 제2 뷰라고 부른다)로부터 참조되기 전에 복호되어 있을 필요가 있다. 이는, 제1 뷰와 제2 뷰의 복호를 동일한 디코더로 실시하는 경우에도 동일하다.

또한, 광 디스크(1801)에 저장된 종래의 다중화 스트림에 있어서는, 제1 뷰와 제2 뷰에 대해서 동일한 복호 시각(디코딩·타임·스탬프. 이하, DTS라고 부른다)이 부여되고 있고, 제1 뷰의 복호를 즉각 완료하는 것을 전제로 하고 있다. 또한, DTS, 및, 표시 시각(프레젠테이션·타임·스탬프. 이하, PTS라고 부른다)은, MPEG-2 시스템 규격의 PES(Packetized Elementary Stream) 패킷의 헤더, MVC의 비트 스트림 내의 파라미터, 혹은, Blu-ray Disc 등의 응용 규격에 있어서 재생 시에 참조되는 데이터 베이스 정보로부터 취득할 수 있다.

그러나, 실제의 재생 장치에 있어서 제1 뷰의 복호를 즉각 완료하는 것은 불가능하고, 이하의 과제가 있었다.

종래의 재생 장치에서는, DTS에 의거하여 각 뷰의 복호 시각을 결정하고 있는데, 실제로는, 제1 뷰의 복호 개시 시각에 있어서 제2 뷰의 복호를 개시할 수 없기 때문에, 제2 뷰의 복호 시각을 결정할 수 없다. 즉, 복수의 뷰가 뷰간 예측을 포함하는 방법으로 부호화되어 있는 경우, 부여되어 있는 DTS에 의거하는 복호 시각에 복호할 수 없다는 본질적인 제1의 과제가 있었다.

또한, 종래의 시스템·타겟·디코더에서는, 제1 뷰의 복호가 즉각 완료하는 것을 전제로 STD 버퍼의 사이즈가 규정되어 있기 때문에, 제1 뷰의 복호가 즉각 완료하지 않는 경우, 그 사이에, STD 버퍼가 오버플로우하여 STD 버퍼에 데이터를 판독하지 못하고, 후속 프레임의 데이터가 DTS까지 준비되지 않는다고 하는 제2의 과제가 있었다.

이하, 제2의 과제에 대해서, 도 41 및 도 42를 참조하여 설명한다. 도 41은 복호가 즉각 완료하는 케이스, 도 42는 제1 뷰의 복호에 T_dec의 시간을 필요로 하는 케이스에 있어서의, 엘레멘터리·스트림·버퍼의 점유량을 나타낸다.

도 41에서는, DTS1, DTS2 및 DTS3에 있어서, 각각, 프레임 1, 프레임 2 및 프레임 3의 제1 뷰와 제2 뷰의 스트림 데이터가 동시에 뻬내져, 즉각 복호된다.

한편, 도 42에서는, DTS1에 있어서 프레임 1의 제1 뷰의 스트림 데이터가, DTS1로부터 T_dec 지연된 시각에 있어서 프레임 1의 제2 뷰의 스트림 데이터가 빼내져, 프레임 2이후도 동일하게 처리된다. 이 때, 엘레멘터리·스트림·버퍼는, 시각 Tfull에 있어서 오버플로우되어 버리고, 시각 Tfull로부터 제2 뷰의 복호 시각(DTS1＋T_dec)까지의 동안, 데이터를 판독할 수 없다. 결과적으로, DTS3에 있어서 프레임 3의 제1 뷰의 데이터가 준비되지 않아, 엘레멘터리·스트림·버퍼가 언더플로우되어 버린다.

본 발명은, 상기의 과제를 해결하는 것으로, 복호가 즉각 완료되지 않는 경우에도, 뷰간 예측을 이용하여 부호화된 복수의 뷰를 복호할 수 있는 화상 복호 장치, 또는, 복호할 수 있도록 뷰간 예측을 이용하여 복수의 뷰를 부호화하는 화상 부호화 장치를 제공하는 것을 목적으로 한다.

상기 종래의 과제를 해결하기 위해서, 본 발명의 화상 복호 장치는, 뷰간 예측을 포함하는 방법으로 부호화된, 각 뷰에 픽쳐를 포함하는 복수의 뷰를 가지는 비트 스트림을 복호하는 화상 복호 장치로서, 부호화된 제1 뷰의 비트 스트림, 및, 상기 제1 뷰를 참조하여 부호화된 제2 뷰의 비트 스트림을 복호하는 복호 처리부와, 상기 복호 처리부에 입력되는 비트 스트림을 유지하기 위해서 상기 복호 처리부의 전단에 배치된 버퍼 메모리를 구비하고, 상기 복호 처리부는, 상기 제1 뷰 및 상기 제2 뷰에 부여된 복호 시각이 동일한 경우에 있어서, 상기 제2 뷰에 부여된 복호 시각에 상기 제1 뷰의 픽쳐의 복호가 완료하기까지 필요로 하는 지연 시간을 가산하여 얻어진 시각에 상기 제2 뷰의 픽쳐를 복호한다.

이에 따라, 제1 뷰의 픽쳐가 복호된 후에, 제1 뷰의 픽쳐를 참조하여 제2 뷰의 픽쳐가 복호된다. 따라서, 뷰간 예측을 이용하여 부호화된 복수의 뷰를 복호 할 수 있다.

또한, 상기 버퍼 메모리에는, 상기 비트 스트림에 부여된 데이터 판독 레이트에 따라 상기 비트 스트림이 판독되고, 상기 복호 처리부는, 상기 복수의 뷰에 포함되는 각 뷰의 비트 스트림을 복호할 때에, 상기 버퍼 메모리로부터, 복호할 상기 각 뷰의 비트 스트림을 빼내고, 상기 버퍼 메모리의 사이즈는, 상기 복호 처리부가 상기 지연 시간을 가산하여 얻어진 시각에 상기 제2 뷰의 비트 스트림을 빼낸 경우에 있어서, 상기 복호 처리부가 상기 각 뷰의 비트 스트림을 빼낼 때, 상기 버퍼 메모리가 언더플로우하지 않는 최소의 사이즈 이상이어도 된다.

이에 따라, 복호 지연에 기인하는 언더플로우를 일으키지 않고, 부호화된 데이터가 판독된다. 따라서, 화상 복호 장치는, 보다 확실하게 데이터를 복호할 수 있다.

또한, 상기 버퍼 메모리의 사이즈는, 상기 각 뷰에 부여된 복호 시각에 상기 각 뷰의 비트 스트림이 빼내지는 것을 전제로 정해지는 규정 사이즈에, 상기 지연 시간 중에 있어서 상기 데이터 판독 레이트에 따라 판독되는 비트 스트림의 사이즈를 가산한 사이즈 이상이어도 된다.

이에 따라, 버퍼 메모리의 사이즈를 정할 수 있다.

또한, 상기 복호 처리부는, 상기 복수의 뷰의 비트 스트림을 순차적으로 복호하고, 상기 버퍼 메모리의 사이즈는, 상기 복수의 뷰에 포함되는 뷰의 수를 n, 상기 복수의 뷰에 포함되는 각 픽쳐의 복호에 필요로 하는 시간의 최대치를 T, 상기 데이터 판독 레이트를 R, 및, 상기 규정 사이즈를 D로 한 경우, D＋R×T×(n-1) 이상의 사이즈여도 된다.

이에 따라, 복수의 뷰의 비트 스트림이 순차적으로 복호되는 경우에 있어서, 보다 구체적으로, 버퍼 메모리의 사이즈가 정해진다.

또한, 상기 복호 처리부는, 상기 복수의 뷰의 비트 스트림을 병렬로 복호하고, 상기 버퍼 메모리의 사이즈는, 뷰간 예측에 의해 참조되는 뷰의 계층의 최대치를 m, 상기 복수의 뷰에 포함되는 각 픽쳐의 복호에 필요로 하는 시간의 최대치를 T, 상기 데이터 판독 레이트를 R, 및, 상기 규정 사이즈를 D로 한 경우, D＋R×T×(m-1) 이상의 사이즈여도 된다.

이에 따라, 복수의 뷰의 비트 스트림이 병렬로 복호되는 경우에 있어서, 보다 구체적으로, 버퍼 메모리의 사이즈가 정해진다.

또한, 상기 복호 처리부는, 상기 복수의 뷰에 포함되는 픽쳐를 기억하기 위한 외부 메모리와, 상기 제1 뷰의 비트 스트림을 복호하고, 뷰간 예측에 사용되는 픽쳐를 상기 외부 메모리에 기억시키는 제1 디코더와, 상기 픽쳐가 유지되어 있는 상기 외부 메모리 내의 위치를 나타내는 관리 정보를 참조하여, 상기 외부 메모리로부터 뷰간 예측에 사용되는 픽쳐를 취득함으로써, 상기 제2 뷰의 비트 스트림을 복호하는 제2 디코더를 더 구비해도 된다.

이에 따라, 2개의 디코더를 구비하는 화상 복호 장치라도, 각각의 디코더는, 뷰간 예측에 이용되는 참조 화상을 공유할 수 있다.

또한, 상기 버퍼 메모리에는, 상기 지연 시간에 의해 판독되지 않은 비트 스트림이 있는 경우, 상기 비트 스트림에 부여된 데이터 판독 레이트보다도 고속으로 상기 비트 스트림이 판독되어도 된다.

이에 따라, 복호 지연이 발생하고 있는 동안에 판독되지 않은 데이터가 판독된다. 따라서, 화상 복호 장치는, 보다 확실하게 데이터를 복호할 수 있다.

이에 따라, 2개의 디코더를 구비하는 화상 복호 장치라도, 각각의 디코더는, 뷰간 예측에 이용되는 참조 화상을 공유할 수 있다. 그리고, 이러한 공유는, 고속으로 비트 스트림이 판독되는 경우에도, 적용될 수 있다.

또한, 본 발명의 화상 부호화 장치는, 뷰간 예측을 포함하는 방법으로, 각 뷰에 픽쳐를 포함하는 복수의 뷰를 부호화하는 화상 부호화 장치로서, 상기 복수의 뷰를 부호화하고, 상기 복수의 뷰에 동일한 복호 시각을 부여하는 부호화 처리부와, 부호화된 상기 복수의 뷰를 판독하는 화상 복호 장치의 버퍼 메모리의 사이즈가, 상기 복호 시각에 복호가 즉각 완료하는 것을 상정하여 정해지는 규정 사이즈에서, 뷰간 예측에 의해 참조되는 뷰의 복호가 완료하기까지 필요로 하는 지연 시간 중에 판독되는 부호화된 상기 복수의 뷰의 데이터 사이즈를 감산하여 얻어지는 사이즈 이하인 것으로 하여, 부호화 처리부에 부호화시키는 레이트 제어부를 구비하는 화상 부호화 장치여도 된다.

이에 따라, 복수의 뷰는, 화상 복호 장치에서 언더플로우하지 않도록 부호화된다.

또한, 상기 레이트 제어부는, 상기 화상 복호 장치의 버퍼 메모리의 사이즈가, 부호화된 상기 복수의 뷰의 수를 n, 상기 복수의 뷰에 포함되는 각 픽쳐의 복호에 필요로 하는 시간의 최대치를 T, 부호화된 상기 복수의 뷰를 판독할 때의 데이터 판독 레이트를 R, 및, 상기 규정 사이즈를 D로 한 경우, D-R×T×(n-1) 이하의 사이즈인 것으로 하여, 부호화 처리부에 부호화시켜도 된다.

이에 따라, 보다 구체적으로, 부호화에 있어서의 제한을 설정할 수 있다.

또한, 상기 부호화 처리부는, 상기 복수의 뷰에 포함되는 픽쳐를 기억하기 위한 외부 메모리와, 상기 복수의 뷰에 포함되는 제1 뷰를 부호화하고, 뷰간 예측에 사용되는 픽쳐를 외부 메모리에 기억시키는 제1 인코더와, 상기 픽쳐가 유지되어 있는 상기 외부 메모리 내의 위치를 나타내는 관리 정보를 참조하여, 상기 외부 메모리로부터 뷰간 예측에 사용되는 상기 제1 뷰의 픽쳐를 취득함으로써, 뷰간 예측을 사용하여 상기 복수의 뷰에 포함되는 제2 뷰를 부호화하는 제2 인코더를 더 구비해도 된다.

이에 따라, 2개의 인코더를 구비하는 화상 부호화 장치라도, 각각의 인코더는, 뷰간 예측에 이용되는 참조 화상을 공유할 수 있다.

또한, 본 발명의 화상 복호 방법은, 뷰간 예측을 포함하는 방법으로 부호화된, 각 뷰에 픽쳐를 포함하는 복수의 뷰를 가지는 비트 스트림을 복호하는 화상 복호 방법으로서, 부호화된 제1 뷰의 비트 스트림, 및, 상기 제1 뷰를 참조하여 부호화된 제2 뷰의 비트 스트림을 복호하는 복호 처리 단계와, 상기 복호 처리 단계의 전에, 복호 처리 단계에 입력되는 비트 스트림을 유지하는 데이터 유지 단계를 포함하고, 상기 복호 처리 단계에서는, 상기 제1 뷰 및 상기 제2 뷰에 부여된 복호 시각이 동일한 경우에 있어서, 상기 제2 뷰에 부여된 복호 시각에 상기 제1 뷰의 픽쳐의 복호가 완료하기까지 필요로 하는 지연 시간을 가산하여 얻어진 시각에 상기 제2 뷰의 픽쳐를 복호하는 화상 복호 방법이어도 된다.

이에 따라, 제1 뷰의 픽쳐가 복호된 후에, 제1 뷰의 픽쳐를 참조하여 제2 뷰의 픽쳐가 복호된다. 따라서, 뷰간 예측을 이용하여 부호화된 복수의 뷰를 복호할 수 있다.

또한, 본 발명의 화상 부호화 방법은, 뷰간 예측을 포함하는 방법으로, 각 뷰에 픽쳐를 포함하는 복수의 뷰를 부호화하는 화상 부호화 방법으로서, 상기 복수의 뷰를 부호화하고, 상기 복수의 뷰에 동일한 복호 시각을 부여하는 부호화 처리 단계와, 부호화된 상기 복수의 뷰를 판독하는 화상 복호 장치의 버퍼 메모리의 사이즈가, 상기 복호 시각에 복호가 즉각 완료하는 것을 상정하여 정해지는 규정 사이즈에서, 뷰간 예측에 의해 참조되는 뷰의 복호가 완료하기까지 필요로 하는 지연 시간 중에 판독되는 부호화된 상기 복수의 뷰의 데이터 사이즈를 감산하여 얻어지는 사이즈 이하인 것으로 하여, 부호화 처리 단계에 부호화시키는 레이트 제어 단계를 포함하는 화상 부호화 방법이어도 된다.

또한, 상기 화상 복호 방법에 포함되는 단계를 컴퓨터에 실행시키는 프로그램이어도 된다.

이에 따라, 상기 화상 복호 방법이 프로그램으로서 실현된다.

또한, 상기 화상 부호화 방법에 포함되는 단계를 컴퓨터에 실행시키는 프로그램이어도 된다.

이에 따라, 상기 화상 부호화 방법이 프로그램으로서 실현된다.

본 발명에 의해, 복호가 즉각 완료되지 않는 경우라도, 뷰간 예측을 포함하는 방법으로 부호화된 비트 스트림이 복호된다.

도 1은 본 발명의 실시의 형태 1에 관한 3D 화상 복호 장치의 블록도이다.
도 2는 본 발명의 실시의 형태 1에 있어서의 각 뷰의 실제의 복호 시각 및 표시 시각의 예를 나타내는 도면이다.
도 3은 본 발명의 실시의 형태 1에 있어서의 각 뷰의 실제의 복호 시각의 결정 방법을 나타내는 플로우차트이다.
도 4는 도 3에 나타내는 각 뷰의 실제의 복호 시각의 결정 방법의 변형예를 나타내는 플로우차트이다.
도 5는 본 발명의 실시의 형태 1에 관한 3D 화상 복호 장치에 있어서의 보상 버퍼의 설명도이다.
도 6은 본 발명의 실시의 형태 1에 관한 보상 버퍼의 효과를 나타내는 도면이다.
도 7은 도 5에 나타내는 보상 버퍼의 배치의 변형예를 나타내는 도면이다.
도 8은 도 5에 나타내는 보상 버퍼의 배치의 변형예를 나타내는 도면이다.
도 9는 2개 이상의 뷰를 가지는 경우의 동작을 설명하는 도면이다.
도 10은 고속 판독의 경우의 동작을 설명하는 도면이다.
도 11은 본 발명의 실시의 형태 1에 관한 구성 요소를 나타내는 도면이다.
도 12는 본 발명의 실시의 형태 1에 관한 3D 화상 복호 장치의 변형예의 블록도이다.
도 13은 본 발명의 실시의 형태 1의 변형예에 있어서의 각 뷰의 실제의 복호 시각 및 표시 시각의 예를 나타내는 도면이다.
도 14는 본 발명의 실시의 형태 2에 관한 3D 화상 복호 장치의 블록도이다.
도 15는 본 발명의 실시의 형태 2에 있어서의 각 뷰의 실제의 복호 시각 및 표시 시각의 예를 나타내는 도면이다.
도 16은 도 15에 나타내는 각 뷰의 실제의 복호 시각 및 표시 시각의 변형예를 나타내는 도면이다.
도 17은 복수의 뷰의 참조 관계의 예를 나타내는 도면이다.
도 18은 본 발명의 실시의 형태 3에 관한 3D 화상 부호화 장치의 블록도이다.
도 19는 본 발명의 실시의 형태 3에 관한 3D 화상 부호화 장치의 효과를 나타내는 도면이다.
도 20은 본 발명의 실시의 형태 3에 관한 3D 화상 부호화 장치의 변형예의 블록도이다.
도 21은 본 발명의 실시의 형태 4에 관한 3D 화상 복호 장치의 블록도이다.
도 22는 2개의 디코더를 구비하는 3D 화상 복호 장치로 재생할 수 있는 PTS 및 DTS의 일예를 나타내는 도면이다.
도 23은 본 발명의 실시의 형태 4에 관한 3D 화상 부호화 장치의 블록도이다.
도 24는 도 22에 나타내는 PTS 및 DTS의 결정 방법의 일예를 나타내는 플로우차트이다.
도 25는 2개의 디코더를 구비하는 3D 화상 복호 장치로 재생할 수 있는 PTS 및 DTS의 일예를 나타내는 도면이다.
도 26은 도 25에 나타내는 PTS 및 DTS의 결정 방법의 일예를 나타내는 플로우차트이다.
도 27은 본 발명의 실시의 형태 4에 관한 3D 화상 복호 장치의 변형예의 블록도이다.
도 28은 본 발명의 실시의 형태 4에 관한 3D 화상 복호 장치의 변형예의 블록도이다.
도 29는 본 발명의 실시의 형태 5에 관한 3D 화상 복호 장치의 블록도이다.
도 30은 배성능 디코더를 구비하는 3D 화상 복호 장치로 재생할 수 있는 PTS 및 DTS의 일예를 나타내는 도면이다.
도 31은 본 발명의 실시의 형태 5에 관한 3D 화상 부호화 장치의 블록도이다.
도 32는 도 30에 나타내는 PTS 및 DTS의 결정 방법의 일예를 나타내는 플로우차트이다.
도 33은 배성능 디코더를 구비하는 3D 화상 복호 장치로 재생할 수 있는 PTS 및 DTS의 일예를 나타내는 도면이다.
도 34는 도 33에 나타내는 PTS 및 DTS의 결정 방법의 일예를 나타내는 플로우차트이다.
도 35는 본 발명의 실시의 형태 6에 관한 3D 화상 복호 장치에 있어서의 복호 처리 전환 판정 플로우차트이다.
도 36은 본 발명의 실시의 형태 6에 관한 3D 화상 복호 장치의 블록도이다.
도 37은 본 발명의 실시의 형태 6에 관한 3D 화상 복호 장치에 있어서의 복호 처리 전환 판정 플로우차트이다.
도 38은 본 발명의 실시의 형태 6에 관한 3D 화상 복호 장치의 블록도이다.
도 39는 종래의 3D 영상 재생 장치의 설명도이다.
도 40은 MVC에 있어서의 2시점 화상 부호화의 예측 참조의 예를 나타내는 도면이다.
도 41은 3D 화상 재생 시의 버퍼 관리를 나타내는 도면이다.
도 42는 3D 화상 재생 시의 버퍼 관리의 과제를 나타내는 도면이다.

이하, 본 발명의 실시의 형태에 대해서, 도면을 참조하면서 설명한다.

(실시의 형태 1)

우선, 본 발명에 관한 실시의 형태 1에 대해서, 도면을 참조하여 설명한다.

도 1은, 실시의 형태 1의 3D 화상 복호 장치(001)의 블록도이다. 도 1의 3D화상 복호 장치(001)는, 3D 영상의 한쪽 뷰의 영상을 3D 영상의 프레임 레이트의 2배의 속도로 복호하는 능력을 가지는 디코더(112e)를 구비한다. 그리고, 디코더(112e)는, 제1 뷰 및 제2 뷰의 양 뷰를 복호한다. 제2 뷰는, 제1 뷰를 참조하여 부호화되어 있으므로, 3D 화상 복호 장치(001)는, 제2 뷰의 복호 중에 제1 뷰의 복호 화상을 참조할 수 있도록 구성되어 있다.

3D 화상 복호 장치(001)는, 제1 뷰의 복호가 즉각 완료하지 않는 경우라도, 각 뷰를 실제로 복호하는 시각에 있어서, 각 뷰의 스트림 데이터를 복호할 수 있는 점에서 종래의 재생 장치와 상이하다.

3D 화상 복호 장치(001)의 동작에 대해서 설명한다. 입력된 다중화 비트 스트림(101)은, STD 버퍼(902)에 입력된다. 그리고, 역다중화됨으로써, 비트 스트림이 분리된다. 그 후, 제1 뷰에 대한 비트 스트림은 DTS에 따라, 제2 뷰에 대한 비트 스트림은 제1 뷰의 복호에 필요로 하는 시간을 고려한 복호 시각(이하, DTS_MOD로 부른다)에 따라 디코더(112e)에 입력된다.

여기서, 다중화 방식으로는, MPEG-2 시스템의 트랜스포트·스트림을 이용한다. 그리고, 역다중화 시, 도시하지 않은 역다중화 수단에 의해, 트랜스포트·패킷열로부터 PES 패킷이 분리되고, PES 패킷의 페이로드에 저장된 비트 스트림이 취득된다.

또한, 다중화 방식은, MPEG-2 시스템의 트랜스포트·스트림에 한정되는 것은 아니다. 예를 들면, 다중화 방식은, 응용 규격에 있어서 기능 확장한 트랜스포트·스트림, 혹은, MPEG로 규정하는 MP4 파일 포맷, 나아가, IETF(Internet Engineering Task Force)로 규정하는 RTP(Real Time streaming Protocol) 등, 네트워크 경유에서의 스트리밍 전달로 사용하는 방식이어도 된다.

디코더(112e)는, 입력된 다중화 비트 스트림(101)을 복호하고, PTS에 따라 복호 화상을 출력한다. 스위치(903)는, 출력된 화상을 제1 뷰의 복호 화상(114) 및 제2 뷰의 복호 화상(115)으로 분리한다. 그리고, 분리된 화상은, 비디오 출력 인터페이스(116)를 통하여, 3D 디스플레이(117)에, 3D 화상으로서 표시된다.

디코더(112e)는, 복호 처리에 있어서, 화면간 예측 부호화로 참조되는 복호 완료 프레임을, 외부 메모리(109) 상의 제1 프레임 메모리(110c) 및 제2 프레임 메모리(121)에 카피하고, 참조되지 않게 될 때까지 제1 프레임 메모리(110c) 및 제2 프레임 메모리(121)에 유지한다. 여기서, 제1 프레임 메모리(110c)에는, 제1 뷰의 프레임이 저장되고, 제2 프레임 메모리(121)에는, 제2 뷰의 프레임이 저장된다.

각 프레임 메모리에는 복수의 프레임이 유지된다. 이 때문에, 디코더(112e)는, 제1 프레임 메모리 관리 정보(108g) 및 제2 프레임 메모리 관리 정보(120)를 유지함으로써, 어느 시각의 프레임이 제1 프레임 메모리(110c) 및 제2 프레임 메모리(121) 상의 어느 위치에 유지되어 있는지를 관리한다.

여기서, 제2 뷰의 부호화에는, 제1 뷰의 프레임을 이용하여 예측하는 뷰간 예측 부호화가 이용되고 있다. 이 때문에, 디코더(112e)는, 제2 뷰의 복호에, 제1 뷰의 복호 화상을 참조할 필요가 있다. 여기서, 디코더(112e)는, 제1 뷰의 프레임의 복호가 끝날 때마다, 제1 프레임 메모리 관리 정보(108g)를 갱신한다. 그리고, 제2 뷰의 복호 중에도, 제1 프레임 메모리 관리 정보(108g)를 유지한다. 디코더(112e)는, 제1 프레임 메모리 관리 정보(108g)에 의거하여, 제1 프레임 메모리(110c)에 유지된 제1 뷰의 원하는 프레임의 복호 화상을 참조한다. 그리고, 디코더(112e)는, 뷰간 예측 부호화를 포함하는 부호화 방식으로 부호화된 제2 뷰의 비트 스트림을 복호한다.

또한, 제1 뷰의 비트 스트림은, 다른 뷰를 참조하고 있지 않아 단독으로의 복호가 가능하다. 따라서, 디코더(112e)가 제2 뷰의 비트 스트림을 건너뛰고 읽음으로써, 3D 화상 복호 장치(001)는, 2D 화상 복호 장치로서도 사용하는 것이 가능하다.

또한, 디코더(112e)에 있어서의 제2 뷰의 복호 처리에 있어서, 비트 스트림(Syntax) 이상(異常) 등 어떠한 이상이 검출된 경우, 비트 스트림의 랜덤 액세스 포인트(비순차 재생 가능 포인트) 등에 도달함으로써 정상 복호를 재개할 수 있기까지의 동안, 3D 화상 복호 장치(001)는, 제1 뷰의 복호 화상만을 표시해도 된다. 또한, 상기의 이상이 검출된 경우, 3D 화상 복호 장치(001)는, 제1 뷰의 복호 화상을 제2 뷰의 복호 화상으로서 표시해도 된다. 이러한 표시 등에 의해, 3D 화상 복호 장치(001)는, 시청자의 불쾌감을 경감시키는 것이 가능하다.

또한, 디코더(112e)에 있어서의 제1 뷰의 복호 처리에 있어서, 비트 스트림(Syntax) 이상 등 어떠한 이상이 검출된 경우는, 제1 뷰를 참조하는 제2 뷰도 정상적으로 복호할 수 없게 된다. 이 때문에, 3D 화상 복호 장치(001)는, 상위 시스템에 디코더(112e)의 이상을 통지하고, 비트 스트림의 랜덤 액세스 포인트(비순차 재생 가능 포인트) 등에 도달하여 정상 복호를 재개할 수 있기까지의 동안, 제1 뷰 및 제2 뷰 모두 마지막에 정상 복호된 프레임을 계속 출력해도 된다. 이러한 출력 등에 의해, 3D 화상 복호 장치(001)는, 시청자의 불쾌감을 경감시키는 것이 가능하다.

도 2는, 3D 화상 복호 장치(001)의 복호 처리에 있어서의, 각 뷰의 PTS 및 DTS의 관계의 일예를 나타내는 도면이다. 도 2의 예에 있어서는, 각 뷰의 프레임은, 표시순으로 I, B, B 및 P타입(P타입은 한방향의 예측만을 행한다. B타입은 쌍방향의 예측을 포함한다), 부호화순으로, I, P, B 및 B타입으로서 부호화되어 있다. 뷰간 예측에 의한 제2 뷰로부터의 제1 뷰의 참조는, 직전에 표시되는 제1 뷰의 프레임만이다. 또한 제1 뷰 및 제2 뷰는 교대로 표시된다.

본 예에서는, 제1 뷰의 선두 프레임(I1)이 먼저 복호된다. 그리고, 제2 뷰의 선두 프레임(P1)은, 제1 뷰의 선두 프레임(I1)을 참조하고 있다. 이 때문에, 제1 뷰의 선두 프레임(I1)의 복호가 완료하기까지, 제2 뷰의 선두 프레임(P1)의 복호를 개시할 수 없다. 3D 화상 복호 장치(001)는, 표시 프레임 레이트의 배의 속도의 디코더(112e)를 이용하고 있으므로, 제1 뷰의 선두 프레임(I1)의 복호에 프레임 주기 △t/2(△t＝1/프레임 레이트)를 필요로 한다.

여기서, PES 패킷의 헤더, 및, MVC 스트림 내의 HRD(Hypothetical Reference Decoder) 관련의 파라미터 등으로부터 얻어지는 DTS치는, 제1 뷰와 제2 뷰에서 동일하다. 이 때문에, 제2 뷰의 선두 프레임(P1)의 실제의 복호 시각 DTS_MOD는, 제1 뷰의 선두 프레임(I1)의 DTS로부터 △t/2 후로 결정된다.

또한, 제1 뷰의 프레임 P4는, 제1 뷰의 프레임 I1을 예측으로 사용하기 때문에, 본래는 제1 뷰의 프레임 I1의 복호 완료 후에, 제1 뷰의 프레임 P4의 복호를 개시할 수 있다. 그러나, 3D 화상 복호 장치(001)에 있어서는, 제1 뷰와 제2 뷰의 복호를 1개의 디코더로 실시하기 때문에, 제2 뷰의 프레임 P1와 동시에 복호할 수 없다. 여기서, 제1 뷰의 프레임 P4의 DTS는, 제2 뷰의 프레임 P1의 DTS_MOD로부터 △t/2 후로 된다. 이후, 제1 뷰와 제2 뷰의 프레임의 복호가 △t/2 간격으로 교대로 개시된다.

다음에, PTS에 대해서 설명한다. 표시순에 대해서 복호순이 가장 늦은 것은 제2 뷰의 B프레임이다. 이 때문에, 제2 뷰의 B프레임을 표시할 수 있는 시각을 기준으로, 제1 뷰 및 제2 뷰의 프레임의 PTS는, 결정된다. 구체적으로는, 제2 뷰의 프레임 B2의 PTS는, 디코더(112e)가 1프레임의 복호에 △t/2를 필요로 하기 때문에, DTS_MOD의 △t/2 후로 된다. 이 시각을 기준으로 하여, 제1 뷰의 선두 프레임 I1의 PTS는, DTS의 3△t/2 후로 되고, 제2 뷰의 선두 프레임 P1의 PTS는, DTS_MOD의 3△t/2 후로 된다.

여기서, 3D 화상의 표시 방식으로는, 제1 뷰와 제2 뷰를 동시에 표시하는 방식과, 3D 화상 복호 장치(001)와 같이 제1 뷰와 제2 뷰를 교대로 표시하는 방식이 있다.

전자의 방식에의 대응을 상정하면, 다중화 비트 스트림(101)에 있어서, 제1 뷰와 제2 뷰의 PTS가, 동일치로 설정되는 것을 생각할 수 있다. 이러한 다중화 스트림이 3D 화상 복호 장치(001)에 입력되는 경우, 즉, PES 패킷의 헤더, 및, MVC 스트림 내의 HRD(Hypothetical Reference Decoder) 관련의 파라미터 등으로부터 얻어지는 PTS가 제1 뷰와 제2 뷰에서 동일한 경우에는, 도 2의 예와 같이, 제1 뷰와 제2 뷰를 교대로 표시할 수 있도록 제2 뷰의 실제의 PTS를 결정해도 된다.

또한, 다른 예로서, PES 패킷의 헤더로부터 취득할 수 있는 PTS는 제1 뷰의 PTS만으로 하고, 제2 뷰의 PTS는 제1 뷰의 PTS에 의거하여 결정하는 것으로 하고, 제2 뷰의 PTS를 PES 패킷의 헤더에 저장하지 않는 것을 생각할 수 있다. 혹은, PES 패킷의 헤더에 저장되는 제2 뷰의 PTS는, 소정의 값에 고정하는 것을 생각할 수 있다. 예를 들면, 저장되는 PTS는 항상 0에 고정하고, 실제의 PTS는 제1 뷰의 PTS에 의거하여 결정하는 것도 생각할 수 있다. 이러한 경우에도, 도 2의 예와 같이, 제1 뷰와 제2 뷰를 교대로 표시할 수 있도록 제2 뷰의 실제의 PTS를 결정해도 된다.

도 3은, 3D 화상 복호 장치(001)에 있어서 제1 뷰와 제2 뷰의 복호 시각을 결정하는 동작을 나타내는 플로우차트이다.

우선, 디코더(112e)는, PES 패킷 헤더에 있어서 나타나는 각 뷰의 DTS를 취득한다(S1000). 여기서, PES 패킷 헤더에는 전 프레임의 뷰에 대한 DTS가 반드시 저장되지 않는다. 이 때문에, PES 패킷 헤더에 DTS가 나타나지 않는 경우는, 디코더(112e)는, 별도 취득한 프레임 레이트 정보 등으로부터 DTS를 결정해도 된다. 또한, PES 패킷에 저장된 MVC 스트림의 HRD 관련 정보로부터 DTS를 결정해도 된다.

다음에, 디코더(112e)는, 처리 대상이 제1 뷰인지 여부를 판정한다(S1001). 여기서, 제1 뷰이면(S1001에서 Yes), 디코더(112e)는, 취득된 DTS에 의거하여 복호를 개시한다고 결정한다(S1002). 한편, 제1 뷰가 아니면(S1001에서 No), 디코더(112e)는, 제1 뷰의 복호에 필요로 하는 시간을 고려하여, DTS에 프레임 주기 △t의 1/2의 시간을 가산하여 제2 뷰의 복호 시각 DTS_MOD를 결정한다(S1003).

도 4는, 도 3의 동작의 변형예를 나타내는 플로우차트이다.

이 예에 있어서, 디코더(112e)는, 처리 대상이 제1 뷰인지 여부를 판정한다(S1001). 여기서, 제1 뷰가 아닌 경우(S1001에서 No), 디코더(112e)는, DTS 변경용의 보조 정보를 참조하여, DTS의 가산치 DTS_DELTA를 취득한다(S1004). 다음에, 디코더(112e)는, DTS에 DTS_DELTA를 가산하고, 제2 뷰의 복호 시각 DTS_MOD를 결정한다(S1005).

DTS_DELTA는, 예를 들면, MVC 스트림 내의 보조 정보 저장용의 데이터 저장 단위를 이용하여, 랜덤 액세스 단위의 선두마다 등 소정의 위치에 있어서 전송 가능하다. 여기서, 제1 뷰와 제2 뷰의 데이터를 맞추어 1개의 액세스 유닛이 정의되는 경우, 보조 정보 저장용의 저장 단위, 및, 화소 데이터 저장용의 저장 단위 등의 저장 단위의 종류에 따라, 액세스 유닛 내에서의 배치순이 제한되는 경우가 있다.

이 때, 액세스 유닛을 작성할 때에 저장 단위의 배열 바뀜이 일어나지 않도록, 보조 정보 저장용의 저장 단위를 배치해도 된다. 예를 들면, 보조 정보용의 저장 단위는, 화소 데이터용의 저장 단위의 앞에 배치할 필요가 있는 경우가 있다. 이 때, 보조 정보를 제2 뷰의 데이터로서 저장하면, 제1 뷰와 제2 뷰의 데이터를 결합했을 때에, 보조 정보가 제1 뷰의 화소 데이터의 뒤로 되어 버려, 저장 단위의 배열 바뀜이 발생한다. 따라서, 미리 보조 정보를 제1 뷰의 데이터로서, 제1 뷰의 화소 데이터의 앞에 배치해 두어도 된다.

또한, MPEG-2 시스템 규격에 있어서의 트랜스포트·스트림 내(예를 들면, 디스크 리프터 등을 이용할 수 있다), 또는, Blu-ray Disc 등의 응용 규격에 있어서 재생 시에 참조되는 데이터 베이스 정보 내에, DTS_DELTA를 나타내는 보조 정보를 저장해도 된다. 또한, 보조 정보는, DTS_DELTA의 절대치를 나타내는 것이어도 되고, 프레임 간격 또는 그 외의 기준 시간 간격의 정수배, 혹은, 정수분의 1배, 등, DTS_DELTA의 값을 간접적으로 나타내도 된다. 나아가, DTS_MOD를 보조 정보로서 전송해도 된다. 또한, 제2 뷰의 실제의 PTS를 결정하기 위한 보조 정보도, 동일하게 하여 전송 가능하다.

상기에서는, 2개의 뷰로 구성되는 스트림의 3D 표시를 상정했는데, 3개 이상의 뷰로부터 2개의 뷰를 선택하여, 복호 및 표시하는 경우에는, 복수 뷰로부터 2개의 뷰를 선택하는 단계를 추가하면 된다.

또한, 3D 표시가 아니라, 복수의 뷰를 전환하면서, 혹은, 동시에 화면을 분할하여 표시한다고 하는 용도도 상정된다. 이들 케이스에서도, 단독으로 복호할 수 있는 제1 뷰를 기준으로 하여, 후속 뷰의 DTS_MOD를 결정한다. 예를 들면, 3개의 뷰를 표시하는 경우, 프레임 주기 △t의 1/3의 시간에 각 뷰의 복호를 완료할 수 있다고 하면, 제2 뷰의 DTS_MOD는, DTS＋(1/3)×△t, 제3 뷰의 DTS_MOD는, DTS＋(2/3)×△t로 결정할 수 있다.

또한, 여기서 설명된 프레임에는, 프레임을 구성하는 필드도 포함된다. 그리고, 본 방법은, 프로그래시브 영상과 함께, 인터레이스 영상에도 적용할 수 있다.

다음에, 3D 화상 복호 장치(001)가 구비하는 STD 버퍼(902)에 대해서 설명한다. 종래의 재생 장치에 대해서, 상기 제2의 과제에서 기술한 것처럼, 3D 화상 복호 장치(001)가 제1 뷰의 복호에 필요로 하는 시간을 고려하여 제2 뷰의 복호 시각을 결정하는 경우, 제1 뷰의 복호 기간에 제2 뷰의 비트 스트림 데이터를 디코더(112e)가 판독할 수 없다. 따라서, STD 버퍼(902)가 오버플로우되어 버린다. 그리고, 결과적으로, 후속 프레임 데이터가 DTS까지 준비되지 않는다고 하는 과제가 발생한다.

따라서, 3D 화상 복호 장치(001)에서는, 제1 뷰의 복호 기간에 제2 뷰의 비트 스트림 데이터의 판독이 정지하는 것에 기인하는 STD 버퍼의 오버플로우를 회피하기 위해서, 종래의 시스템·타겟·디코더로 규정하고 있던 STD 버퍼에 추가하여, 보상 버퍼를 신규로 구비한다.

도 5는, 3D 화상 복호 장치(001)의 STD 버퍼(902)의 구성을 나타내는 도면이다. 도시하지 않은 제어부에 의해, 입력된 다중화 비트 스트림(101)은, 우선, 트랜스포트·버퍼(902a)에 입력되고, 트랜스 포트·패킷으로부터 PES 패킷이 분리된 후, 멀티플랙싱·버퍼(902b)에 입력된다. 이어서, PES 패킷의 페이로드로부터 취득된 비트 스트림 데이터는, 엘레멘터리·스트림·버퍼(902c)에 입력된다. STD 버퍼(902)는, 비트 스트림 데이터를 저장하는 버퍼로서, 엘레멘터리·스트림·버퍼(902c)에 추가하여, 보상 버퍼(902d)를 구비한다.

도 5의 예에서는, 엘레멘터리·스트림·버퍼(902c)와 보상 버퍼(902d)를 나누어 나타냈는데, 양자의 역할은 모두, PES 패킷의 페이로드로부터 분리한 비트 스트림 데이터를 저장하는 것이다. 따라서, STD 버퍼(902)는, 이들 2개의 버퍼의 사이즈를 가산한 사이즈를 가지는 단일 버퍼를, 비트 스트림 데이터 저장용의 버퍼로서 구비해도 된다.

그리고, 엘레멘터리·스트림·버퍼(902c) 및 보상 버퍼(902d) 중 어느 하나의 버퍼로부터, 제1 뷰와 제2 뷰의 복호 시각에 따라, 각각의 뷰의 비트 스트림 데이터가, 디코더(112e)로 입력된다.

도 6은, 도 42에 예시한 종래의 재생 장치에 있어서 과제가 발생하는 비트 스트림 데이터를, 3D 화상 복호 장치(001)에서는, STD 버퍼(902)의 오버플로우 및 언더플로우를 발생시키지 않고 복호할 수 있는 것을 나타내는 도면이다. 도 6의 그래프 내의 실선과 점선은, 각각 3D 화상 복호 장치(001)와 종래의 재생 장치에 있어서의 버퍼 점유량의 천이를 나타낸다. 종래의 재생 장치에서는 시각 T1에 있어서 오버플로우하고 있는데, STD 버퍼(902)에서는, 보상 버퍼(902d)를 구비한 것에 의해, 오버플로우가 발생하지 않고 비트 스트림 데이터를 계속하여 판독할 수 있다. 그 결과, 프레임 3의 제1 뷰의 데이터는, DTS3에 있어서 준비되고, 3D 화상 복호 장치(001)는, 도중에 끊기지 않는 연속된 복호를 실현할 수 있다.

도 7 및 도 8은, 제1 뷰와 제2 뷰의 데이터를 별도 채널로 처리할 때의, STD 버퍼(902)의 변형예를 나타내는 도면이다.

우선, 도 7에 대해서 설명한다. 다중화 비트 스트림(101)은, 스위치(913)에 의해, PID(Packet Indicator) 등의 트랜스포트·스트림·패킷의 식별 정보에 의거하여, 제1 뷰의 패킷(101b)과 제2 뷰의 패킷(101e)으로 분리된다. 제1 뷰만 재생하는 경우에는, 스위치(913)에 있어서, 제1 뷰의 트랜스포트·패킷만을 선택하고, 제2 뷰의 트랜스포트·패킷은 파기한다.

제1 뷰의 패킷은, 트랜스포트·버퍼(9021a), 멀티플랙싱·버퍼(9021b) 및 엘레멘터리·스트림·버퍼(9021c)를 통과한다. 제2 뷰의 패킷은, 트랜스포트·버퍼(9022a), 멀티플랙싱·버퍼(9022b), 엘레멘터리·스트림·버퍼(9022c) 및 보상 버퍼(9022d)를 통과한다. 제1 뷰와 제2 뷰의 비트 스트림 데이터는, 각각의 복호 시각에 따라 스위치(914)를 통해 디코더(112e)에 입력된다.

도 7에 나타난 STD 버퍼(902)는, 제1 뷰에 대해서, 종래의 STD 버퍼와 호환성이 있는 구성을 구비한다. 그리고, 제2 뷰에 대응하는 보상 버퍼(9022d)를 구비한다. 이러한 구성에 의해, 2개의 뷰의 복호에 기인하는 STD 버퍼의 과제가 해결된다.

도 8에 나타난 STD 버퍼(902)는, 보상 버퍼(9022d)를 스위치(914)의 후단에 구비한다. 또한, 뷰의 수가 3개 이상이어도, 도 7 및 도 8에 나타난 변형예와 마찬가지로, 스위치(913)와 스위치(914)가 뷰의 선택을 함으로써, STD 버퍼(902)는, 각 뷰를 별도 채널로 처리할 수 있다. 또한, 도 7과 동일한 구성으로 할 때는, 보상 버퍼는, 제2 뷰와 제3 뷰 이후의 뷰로 공용해도 된다.

다음에, 보상 버퍼(9022d)의 사이즈에 대해서 설명한다.

우선, 멀티플렉싱·버퍼로부터 엘레멘터리·스트림·버퍼로의 데이터의 유입 레이트의 최대치를 Rin로 한 경우, 최대 유입 레이트(Rin)에, 제1 뷰의 복호 시간(프레임 주기 △t의 1/2과 같다)을 곱해 얻어지는 데이터량 DATA_IN이, 제1 뷰의 복호 기간내에 엘레멘터리·스트림·버퍼(902c)에 유입될 수 있다. 이 때의 계산식을 식 1로 나타낸다.

DATA_IN＝(1/2)×△t×Rin (식 1)

최대 유입 레이트(Rin)는, 비특허 문헌 1에서 규정되는 바와 같이, 다중화 비트 스트림(101)에 있어서의 MVC 스트림의 최대 비트 레이트, 혹은, MVC 스트림이 속하는 레벨에 있어서 규정된 최대 레이트에 의거하여 결정된다. 여기서 레벨이란, 비트 레이트, 버퍼 사이즈, 화상 사이즈 및 프레임 레이트 등의 파라미터 상한치를 규정하는 정보이며, 레벨마다 파라미터 상한치가 상이하다. 또, 레벨 및 MVC 스트림의 비트 레이트 등의 정보는, MVC의 비트 스트림 내에 부호화할 수 있으므로, 3D 화상 복호 장치(001)는, 이들 정보를 취득하여, 최대 유입 레이트(Rin)를 결정할 수 있다. 단, DATA_IN의 상한치는, 엘레멘터리·스트림·버퍼의 사이즈 EB_SIZE에 의해 제한된다.

또한, 도 42의 예 등에서 나타난 엘레멘터리·스트림·버퍼의 오버플로우는, 제1 뷰의 복호 시각에 있어서 제2 뷰의 데이터를 빼낼 수 없는 것에 기인한다. 따라서, 보상 버퍼의 사이즈는, 제2 뷰의 데이터 사이즈의 상한치(이하, View2_MAX라고 부른다) 이상이면 된다. 그리고, View2_MAX의 값은 MVC 등의 부호화 규격에 의해 규정되어 있다. 예를 들면, 각 뷰 화상에 있어서, 원화상과 부호화 화상의 비트량의 비는, MinCR(Minimum Compression Ratio)로 불리는 파라미터에 의해 규정되어 있다. 그리고, MinCR이 2이면, 부호화 화상의 데이터 사이즈는, 원화상의 비트량의 1/2 이하로 제한된다. 원화상의 데이터 사이즈는, 화상 사이즈나 색차 정보의 샘플링 방법 등에 의거하여 결정할 수 있다. 또한, 전체 뷰의 합계 데이터 사이즈의 상한치에 의거하여 View2_MAX를 결정해도 된다.

이상에서, DATA_IN, EB_SIZE 및 View2_MAX의 3개의 파라미터값 중, 사이즈가 최소가 되는 파라미터치(이하, COMP_BUF_SIZE라고 부른다)를 보상 버퍼의 사이즈로 해도 된다. 또는, 간단히 3개의 파라미터치 중, 어느 하나를 선택하여, 보상 버퍼의 사이즈로 해도 된다. 이와 같이 설정한 보상 버퍼의 사이즈는 워스트 케이스를 가정하여 결정한 것이다. 실제의 비트 스트림에 있어서 필요한 보상 버퍼의 사이즈는, COMP_BUF_SIZE 이하로 되고, 그 값은 부호화 조건에 의존하여 변동한다.

따라서, 3D 화상 부호화 장치는, 비트 스트림의 부호화 시에, 각 뷰의 복호에 필요로 하는 시간을 설정하고, 설정한 시간에 의거하여 실제로 필요한 보상 버퍼의 사이즈를 결정하고, 결정한 사이즈를 나타내는 정보를 비트 스트림 내의 파라미터 정보로서 부호화해도 된다. 3D 화상 복호 장치에서는, 이 파라미터 정보를 취득하고, 보상 버퍼의 사이즈를 결정하여, 확보할 수 있다.

또한, 각 뷰의 복호에 필요로 하는 시간으로서 설정한 값도, 파라미터 정보로서 포함해도 된다. 또한, 3D 화상 부호화 장치는, 각 뷰의 복호에 필요로 하는 시간으로서 복수의 후보를 상정하고, 각각의 후보에 대응한 보상 버퍼의 사이즈를 파라미터 정보에 포함시키는 것도 가능하다. 이 때, 3D 화상 복호 장치에서는, 자신의 처리 속도에 대응하는 후보를 선택하여, 보상 버퍼의 사이즈를 결정한다.

도 5에 도시된 보상 버퍼(902d)는, 비트 스트림 저장용의 버퍼이다. 이에 따라, PES 패킷의 오버헤드를 포함하는 멀티플랙싱·버퍼, 혹은, PES 패킷에 추가하여 트랜스포트·패킷의 오버헤드를 포함하는 트랜스포트·버퍼의 단계에서 보상 버퍼를 설치하는 것보다도, 버퍼 사이즈를 삭감할 수 있다.

한편으로, 예를 들면, 엘레멘터리·스트림·버퍼를 내장한 디코더를 재생 장치에 집어넣는 경우에 있어서, 엘레멘터리·스트림·버퍼의 단계에서 보상 버퍼를 설치할 수 없는 경우가 있다. 그 경우, 보상 버퍼를 멀티플랙싱·버퍼 등과 동일한 단계에 설치해도 된다. 이 때, 멀티플랙싱·버퍼에서는 비트 스트림이 PES 패킷화된 상태로 저장되기 때문에, 보상 버퍼의 사이즈는, COMP_BUF_SIZE에, PES 패킷의 헤더, 및, 그 외의 다중화와 관련되는 오버헤드를 더한 값으로 한다. 오버헤드의 사이즈는, 멀티플랙싱·버퍼에 유지되는 데이터에 있어서, 오버헤드가 점유하는 비율을 규정하고, 그 규정에 의거하여 결정할 수 있다.

또한, 보상 버퍼의 사이즈는, COMP_BUF_SIZE 이상의 임의의 값으로 설정해도 된다. 이와 같이 정해지는 보상 버퍼를 STD 버퍼에 추가함으로써, 과제가 해결된다.

도 9는, 2개 이상의 뷰를 복호할 때의 COMP_BUF_SIZE의 결정 방법을 설명하는 도면이다. 여기서, 2개 이상의 뷰의 복호가 필요한 케이스란, 복호한 뷰 전체를 표시하는 경우뿐만 아니라, 예를 들면, 10개의 뷰로부터 2개의 뷰를 선택하여 표시하는 경우에, 선택한 뷰가 다른 2개의 뷰를 참조하고 있고, 결과적으로 4개의 뷰의 복호가 필요해지는 경우 등도 포함한다.

도 9는, 4개의 뷰를 복호할 때의 엘레멘터리·스트림·버퍼의 점유량의 천이를 나타내고 있다. 1번째의 뷰 View1로부터 3번째의 뷰 View3까지의 부호량이 작기 때문에, 각 뷰의 복호 중에, 각각, 시각 Tfull1, 시각 Tfull2, 시각 Tfull3에 있어서 버퍼가 오버플로우하고 있다. 그리고, 비트 스트림 데이터가 입력되지 않게 된다.

각 뷰의 복호에는, 각각 프레임 주기 △t의 1/4만큼 시간이 걸리다고 하면, 1번째에서 3번째의 뷰의 복호에 기인하여 버퍼에 입력할 수 없게 되는 데이터 사이즈의 최대치는, (3/4)×Rin으로 된다. 이 값이 DATA_IN에 상당한다.

또한, 마찬가지로, 뷰의 수를 n, 및, 각 뷰에 포함되는 각 프레임의 복호에 필요로 하는 시간의 최대치를 Tmax로 한 경우, DATA_IN에 상당하는 값은, 식 2에 의해 얻어진다.

DATA_IN＝Rin×Tmax×(n-1) (식 2)

그리고, View2_MAX에 상당하는 값은, View2로부터 View4까지의 3개의 뷰의 데이터 사이즈 상한치의 합으로 한다. 마지막으로, EB_SIZE를 포함한 3종류의 값을 비교하여 COMP_BUF_SiZE를 결정해도 된다. 또는, 간단히 3개의 파라미터치 중, 어느 하나를 선택하여, 보상 버퍼의 사이즈로 해도 된다. 이와 같이 정해지는 보상 버퍼를 STD 버퍼에 추가함으로써, 과제가 해결된다.

그러나, 본 방법에서는, 복호할 뷰의 수의 증가에 따라 보상 버퍼의 사이즈가 증가할 가능성이 있다. 여기서, 보상 버퍼의 사이즈를, 예를 들면, 뷰의 데이터 사이즈의 상한치의 2배 등으로 제한하고, 부호화 시에, 3D 화상 부호화 장치가 제한치를 만족하도록 부호화해도 된다.

또한, 최대 유입 레이트를 올림으로써, 보상 버퍼를 필요로 하지 않는 것도 가능하다. 제2 뷰의 복호 기간 내에, 엘레멘터리·스트림·버퍼에는, COMP_BUF_SIZE분의 데이터가, 추가로 판독되도록 해도 된다. 예를 들면, 제2 뷰의 복호 기간 내는, 데이터 판독 레이트를 Rin＋COMP_BUF_SIZE/(△t/2)로 하여, 데이터가 판독되도록 한다. 혹은, 간략화하여, Rin의 2배의 레이트로 판독되도록 해도 된다.

도 10은, 도 42와 동일한 비트 스트림을 복호할 때의 동작예를 나타내는 도면이다. 그래프 내의 실선이 본 방법의 동작을 나타내고, 점선이 종래의 재생 장치의 동작을 나타낸다. 프레임(1)의 제2 뷰의 복호 기간 내에서는, Rin보다도 고속으로 데이터가 판독되므로, DTS3에 있어서, 프레임(3)의 제1 뷰의 데이터가 준비되어 있다. 도 10의 동작과 같이, 제1 뷰의 복호 기간 내에 있어서, 엘레멘터리·스트림·버퍼가 오버플로우한 경우에만, 제2 뷰의 복호 기간 내에 있어서, 데이터가 고속으로 판독되도록 해도 된다.

도 11은, 실시의 형태 1에 있어서의 3D 화상 복호 장치의 특징적인 구성 요소를 나타내는 도면이다. 실시의 형태 1에 있어서의 3D 화상 복호 장치는, STD 버퍼(902) 등에 의해 실장되는 버퍼 메모리(900) 및, 디코더(112e) 등에 의해 실장되는 복호 처리부(100)를 구비한다.

버퍼 메모리(900)는, 복호 처리부(100)에 입력되는 비트 스트림을 유지한다. 그리고, 복호 처리부(100)는, 제1 뷰의 비트 스트림 및 제2 뷰의 비트 스트림을 복호한다. 여기서, 복호 처리부(100)는, 제1 뷰의 프레임을 복호한 후에, 복호한 프레임을 참조하여, 제2 뷰의 프레임을 복호한다. 이에 따라, 뷰간 예측을 이용하여 부호화된 복수의 뷰가 복호된다.

또한, 버퍼 메모리(900)의 사이즈를 크게 하거나, 혹은, 고속으로 데이터가 버퍼 메모리(900)에 판독되도록 함으로써, 보다 확실하게, 뷰간 예측을 이용하여 부호화된 복수의 뷰가 복호된다.

도 12는, 본 발명의 실시의 형태 1에 관한 3D 화상 복호 장치의 블록도로서, 도 1에서 도시된 3D 화상 복호 장치(001)의 변형예를 나타내는 도면이다.

도 1에 나타낸 3D 화상 복호 장치(001)에 추가하여, 제1 뷰의 복호 화상의 경로에, 지연 버퍼(904)가 설치되어 있다. 이에 따라, 제1 뷰의 표시 타이밍을 조정할 수 있다.

도 13은, 도 12에서 나타난 3D 화상 복호 장치(001)에 있어서의 각 뷰의 실제의 복호 시각 및 표시 시각의 예를 나타내는 도면이다. 도 2에 나타낸 복호 시각 및 표시 시각과 비교하여, 제1 뷰와 제2 뷰가 동일 시각에 표시되도록 조정되어 있다. 도 12에 나타낸 3D 화상 복호 장치(001)는, 이와 같이, 지연 버퍼(904)에 의해, 제1 뷰와 제2 뷰를 동일 시각에 표시할 수 있다.

이상과 같이, 실시의 형태 1에 있어서의 3D 화상 복호 장치(001)는, 복호가 즉각 완료되지 않는 경우라도, 뷰간 예측을 이용하여 부호화된 복수의 뷰를 복호할 수 있다. 또한, 적절한 버퍼 메모리의 사이즈, 또는, 고속 판독에 의해, 보다 확실하게, 뷰간 예측을 이용하여 부호화된 복수의 뷰가 복호된다.

(실시의 형태 2)

다음에, 실시의 형태 2에 대해서 설명한다. 실시의 형태 2에 있어서의 3D 화상 복호 장치는, 2개의 디코더를 구비한다. 그리고, 각 디코더는, 각각 표시 프레임 레이트와 동일한 속도로 복호한다.

도 14는, 본 발명의 실시의 형태 2에 관한 3D 화상 복호 장치의 블록도이다. 도 14에 나타낸 3D 화상 복호 장치(001)는, 도 7에 도시된 STD 버퍼(902)와 동일한 STD 버퍼(902)를 구비한다. 그리고, STD 버퍼(902)는, 도 7에 나타낸 스위치(914)를 통하지 않고, 2개의 디코더에 접속된다. 제1 디코더(107a)는, 제1 뷰를 복호하고, 제2 디코더(112a)는, 제2 뷰를 복호한다.

제1 디코더(107a)는, 복호된 프레임을 외부 메모리(109)의 제1 프레임 메모리(110a)에 카피하고, 프레임의 위치를 나타내는 제1 프레임 메모리 관리 정보(108a)를 외부 메모리(109)의 제1 프레임 메모리 관리 정보(108b)에 카피한다.

제2 디코더(112a)는, 외부 메모리(109)의 제1 프레임 메모리 관리 정보(108b)를 제2 디코더(112a)의 제1 프레임 메모리 관리 정보(108c)에 카피한다. 그리고, 제2 디코더(112a)는, 제1 프레임 메모리 관리 정보(108c)를 참조함으로써, 제1 뷰의 프레임을 참조하여, 제2 뷰를 복호한다. 또한, 제2 디코더(112a)는, 화면간 예측에 이용하기 위해, 복호된 프레임을 외부 메모리(109)의 제2 프레임 메모리(111)에 카피하고, 프레임의 위치를 나타내는 제2 프레임 메모리 관리 정보(113)를 유지한다.

복호된 프레임인 제1 뷰의 복호 화상(114) 및 제2 뷰의 복호 화상(115)은, 비디오 출력 인터페이스(116)를 통하여, 3D 디스플레이(117)에 표시된다. 여기서, 제1 뷰의 경로에는, 지연 버퍼(904)가 배치된다. 이에 따라, 제1 뷰의 표시 타이밍이 조정된다.

도 15는, 도 14에 나타낸 3D 화상 복호 장치(001)에 있어서의 각 뷰의 실제의 복호 시각 및 표시 시각의 예를 나타내는 도면이다.

도 14에 나타낸 3D 화상 복호 장치(001)는, 2개의 디코더를 구비하므로, 2개의 뷰를 병렬로 복호할 수 있다. 따라서, 교대로 복호할 필요는 없다. 한편, 도 14에 나타낸 3D 화상 복호 장치(001)에서는, 프레임 주기 △t와 동일한 시간의 복호 지연이 발생한다. 그리고, 제2 뷰의 프레임은, 제1 뷰의 프레임을 참조하고 있으므로, 제1 뷰의 프레임이 복호된 후에, 복호된다. 결과적으로, 제2 뷰의 프레임은, 프레임 주기 △t의 시간만큼 지연되어, 제1 뷰의 프레임과 동시에 복호된다.

도 16은, 도 14에 나타낸 3D 화상 복호 장치(001)에 있어서의 각 뷰의 실제의 복호 시각 및 표시 시각의 예를 나타내는 도면으로서, 도 15에 나타낸 예와는 다른 예를 나타내는 도면이다.

도 16에 나타낸 복호 시각 및 표시 시각은, 도 15에 나타낸 복호 시각 및 표시 시각과 비교하여, 제1 뷰와 제2 뷰가 동일 시각으로 표시되도록 조정되어 있다. 도 14에 나타낸 3D 화상 복호 장치(001)는, 이와 같이, 지연 버퍼(904)에 의해, 제1 뷰와 제2 뷰를 동일 시각으로 표시할 수도 있다.

또한, 실시의 형태 2에 있어서의 3D 화상 복호 장치(001)는, 2개의 디코더를 구비하는데, 3이상의 디코더를 구비해도 된다. 또한, 이 경우, 3D 화상 복호 장치(001)에서는, 뷰간 예측을 이용하여 부호화된 복수의 뷰를 복호할 때, 참조되는 뷰의 계층분의 지연이 발생한다.

도 17은, 5개의 뷰에 있어서의 뷰간 예측의 참조 관계의 예를 나타내는 도면이다. 계층 2의 뷰는, 계층 1의 뷰를 참조하고, 계층 3의 뷰는, 계층 2를 참조한다. 이 경우, 동일한 DTS가 부여된 프레임이라도, 2개분의 프레임의 복호 지연이 발생한다. 즉, 복수의 뷰에 포함되는 뷰의 수보다도 적은, 참조되는 뷰의 계층의 수에 따른 지연 기간이 발생한다.

따라서, 최대 유입 레이트를 Rin, 각 프레임의 복호에 필요로 하는 시간의 최대치를 Tmax, 및, 뷰간 예측에 의해 참조되는 뷰의 계층의 최대치를 m으로 한 경우에, 지연 기간 중에 판독되는 데이터량인 DATA_IN에 상당하는 값은, 식 3에 의해 얻어진다.

DATA_IN＝Rin×Tmax×(m-1) (식 3)

이와 같이 정해지는 보상 버퍼를 STD 버퍼에 추가해도 된다.

이상과 같이, 실시의 형태 2에 있어서의 3D 화상 복호 장치(001)는, 복수의 디코더를 구비하는 경우에도, 뷰간 예측에 이용되는 참조 화상을 공유함으로써, 뷰간 예측을 이용하여 부호화된 복수의 뷰를 복호할 수 있다.

(실시의 형태 3)

다음에, 실시의 형태 3에 대해서 설명한다. 실시의 형태 3에 있어서의 3D 화상 부호화 장치는, 3D 화상 복호 장치에 있어서 복호 지연이 발생하는 경우라도, 복호할 수 있도록 부호화한다.

도 18은, 본 발명의 실시의 형태 3에 관한 3D 화상 부호화 장치의 블록도이다. 제1 뷰의 화상(601) 및 제2 뷰의 화상(611)은, 스위치(701)를 통하여, 부호화 처리부(200)의 인코더(607b)에 입력된다. 여기서, 제2 뷰의 화상(611)은, 프레임 버퍼(621)를 경유하여 입력되는 것으로 해도 된다. 이에 따라, 부호화 처리부(200)는, 제1 뷰의 화상(601)의 부호화 완료까지, 제2 뷰의 화상(611)의 부호화 개시를 지연시킬 수 있다.

인코더(607b)는, 제1 뷰 및 제2 뷰를 부호화한다. 또한, 인코더(607b)는, 화면간 예측에 사용하는 제1 뷰 및 제2 뷰의 프레임을 국소 복호하고, 각각, 외부 메모리(604)의 제1 프레임 메모리(605b) 및 제2 프레임 메모리(606)에 카피한다. 또한, 프레임의 위치를 나타내는 제1 프레임 메모리 관리 정보(603d) 및 제2 프레임 메모리 관리 정보(608)를 유지한다. 그리고, 인코더(607b)는, 제1 프레임 메모리 관리 정보(603d)를 이용하여, 제1 프레임 메모리(605b)를 참조함으로써, 제2 뷰를 부호화한다.

레이트 제어부(201)는, 부호화된 비트 스트림이 3D 화상 복호 장치에 소정의 비율로 판독되도록, 인코더(607b)에 부호화시킨다. 예를 들면, 압축율, 프레임 레이트 및 화소수 등을 조정한다. 이에 따라, 3D 화상 복호 장치에 있어서의 오버플로우의 발생이 억제된다.

그리고, 부호화된 제1 뷰 및 제2 뷰는, 다중화 비트 스트림(101)으로서, 시스템 인코더(610)를 통해 출력된다.

도 19는, 본 발명의 실시의 형태 3에 관한 3D 화상 부호화 장치의 효과를 나타내는 도면이다.

도 18에 나타낸 3D 화상 부호화 장치는, 도 19에 나타낸 상정 사이즈의 엘레멘터리·스트림·버퍼가, 3D 화상 복호 장치에 구비되는 것으로 상정하여 부호화한다. 즉, 3D 화상 부호화 장치는, 실제로 3D 화상 복호 장치에 구비되어 있는 엘레멘터리·스트림·버퍼의 사이즈로부터, 복호 지연이 발생하고 있는 동안에 판독되는 비트 스트림의 사이즈를 감산하여 얻어진 결과를 제한치로 하여, 부호화한다. 이에 따라, 복호 지연이 발생하는 동안도, 확실하게 비트 스트림이 판독된다.

또한, 복호 지연이 발생하는 동안에 판독되는 비트 스트림의 사이즈는, 실시의 형태 1에 있어서 나타난 DATA_IN와 동일하며, 예를 들면, 실시의 형태 1에 있어서의 식 2에 의해 얻어진다. 부호화할 때의 제한치는, 복호가 즉각 완료하는 것을 상정하여 정해지는 규정 사이즈로부터, 복호 지연이 발생하는 동안에 판독되는 비트 스트림의 사이즈를 감산하여 얻어지는 값으로 할 수 있다.

도 20은, 본 발명의 실시의 형태 3의 변형예에 관한 3D 화상 부호화 장치의 블록도이다. 도 20에 나타난 3D 화상 부호화 장치는, 제1 인코더(602a) 및 제2 인코더(607a)의 2개의 인코더를 구비한다. 또한, 3D 화상 부호화 장치는, 제1 인코더(602a) 및 제2 인코더(607a)에 접속된 레이트 제어부(202)를 구비한다.

2개의 인코더는, 도 14에 나타낸 2개의 디코더와 마찬가지로, 프레임을 공유한다. 즉, 제1 인코더(602a)는, 제1 뷰의 프레임을 부호화한 후, 국소 복호함으로써, 제1 뷰의 프레임을 제1 프레임 메모리(605a)에 저장한다. 그리고, 프레임의 위치를 나타내는 제1 프레임 메모리 관리 정보(603a)를 제1 프레임 메모리 관리 정보(603b)에 카피한다. 제2 인코더(607a)는, 제1 프레임 메모리 관리 정보(603b)를 제1 프레임 메모리 관리 정보(603c)에 카피한다. 그리고, 제1 프레임 메모리 관리 정보(603c)를 참조함으로써, 제1 뷰의 프레임을 참조하고, 뷰간 예측을 이용하여, 제2 뷰를 부호화한다.

레이트 제어부(202)는, 도 18에 있어서의 레이트 제어부(201)와 마찬가지로, 부호화의 제어를 행한다. 즉, 레이트 제어부(202)는, 부호화된 비트 스트림이 3D 화상 복호 장치에 소정의 비율로 판독되도록, 제1 인코더(602a) 및 제2 인코더(607a)에 부호화시킨다. 그리고, 2개의 인코더에 의해 부호화된 비트 스트림은, 스위치(609)를 통하여 출력된다.

이와 같이 구성함으로써, 2개의 인코더를 구비하는 3D 화상 부호화 장치라도, 3D 화상 복호 장치에 판독되는 비트 스트림의 사이즈를 제한할 수 있다. 또한, 뷰간 예측을 이용하는 화상을 공유함으로써, 효율적으로 부호화할 수 있다.

또한, 도 18에 나타난 3D 화상 부호화 장치와 마찬가지로, 제2 뷰의 화상(611)은, 프레임 버퍼(621)를 경유하여 입력되는 것으로 해도 된다. 이에 따라, 부호화 처리부(200)는, 제1 뷰의 화상(601)의 부호화 완료까지, 제2 뷰의 화상(611)의 부호화 개시를 지연시킬 수 있다.

또한, 제1 인코더(602a)에 의해 부호화된 제1 뷰의 비트 스트림(103)은, 스트림 버퍼(622)를 통해 출력되는 것으로 해도 된다. 이에 따라, 제1 뷰의 비트 스트림(103)은, 제2 뷰의 동일 시각에 있어서의 프레임의 부호화가 완료한 타이밍에 중첩된다. 따라서, 동일 시각의 프레임이 동일한 타이밍에 중첩된다.

이상과 같이, 실시의 형태 3에 있어서의 3D 화상 부호화 장치는, 뷰간 예측을 이용하여, 화상 복호 장치에서 언더플로우하지 않도록, 복수의 뷰를 부호화한다. 또한, 복수의 인코더를 구비하는 경우라도, 뷰간 예측에 이용하는 참조 화상을 공유함으로써, 뷰간 예측을 이용하여, 복수의 뷰를 부호화할 수 있다.

(실시의 형태 4)

다음에, 본 발명에 관한 화상 부호화 방법 및 화상 복호 방법을 이용하는 실시의 형태 4에 대해서, 도면을 참조하여 설명한다. 실시의 형태 4에서는, DTS 및 PTS의 값은, 각각의 뷰에 대해서 상이한 값을 설정할 수 있는 것을 전제로 하고 있다. 또한, 규격에 의해 DTS 및 PTS가, 각각 동일한 값으로 설정되는 경우라도, 실제로 복호 및 표시되는 시각으로서, 실시의 형태 4에서 나타나는 DTS 및 PTS를 이용해도 된다.

도 21은, 실시의 형태 4의 3D 화상 복호 장치의 블록도이다. 도 21의 3D 화상 복호 장치는, 3D 영상의 한쪽 뷰의 영상을 3D 영상의 프레임 레이트와 동일한 속도로 복호하는 능력을 가지는 2개의 디코더로서, 제1 디코더(107a) 및 제2 디코더(112a)를 구비한다. 그리고, 제1 디코더(107a)는, 제1 뷰를 복호하고, 제2 디코더(112a)는, 제2 뷰를 복호한다. 제2 뷰는, 제1 뷰를 참조하여 부호화되어 있으므로, 제2 디코더(112a)는, 제1 뷰의 복호 화상을 참조할 수 있도록 구성되어 있다.

도 21의 3D 화상 복호 장치의 동작에 대해서 설명한다. 입력된 다중화 비트 스트림(101)은, 스위치(102)에 있어서, 제1 뷰의 비트 스트림(103)과 제2 뷰의 비트 스트림(104)으로 분리된다. 그리고, 분리된 각 비트 스트림은, 각각 제1 입력 버퍼(105) 또는 제2 입력 버퍼(106)에 입력된다. 또한, 입력된 각 비트 스트림은, DTS에 따라 제1 디코더(107a) 또는 제2 디코더(112a)로 입력된다.

제1 디코더(107a) 및 제2 디코더(112a)에서는, 각각, 입력된 제1 뷰의 비트 스트림(103) 및 제2 뷰의 비트 스트림(104)을 복호한다. 그리고, 각 디코더는, PTS에 따라 제1 뷰의 복호 화상(114) 또는 제2 뷰의 복호 화상(115)을 출력한다. 각 복호 화상은, 비디오 출력 인터페이스(116)를 통해 3D 디스플레이(117)에서 3D 화상으로서 표시된다.

제1 디코더(107a) 및 제2 디코더(112a)는, 복호 처리에 있어서, 화면간 예측 부호화로 참조되는 복호 완료의 프레임을, 외부 메모리(109) 상의 제1 프레임 메모리(110a) 또는 제2 프레임 메모리(111)에 카피한다. 그리고, 카피된 프레임은, 참조되지 않게 되기까지 제1 프레임 메모리(110a) 및 제2 프레임 메모리(111)에 유지된다.

각 프레임 메모리에는 복수의 프레임이 유지되므로, 제1 디코더(107a) 및 제2 디코더(112a)는, 각각, 제1 프레임 메모리 관리 정보(108a) 및 제2 프레임 메모리 관리 정보(113)를 유지함으로써, 어느 시각의 프레임이 제1 프레임 메모리(110a) 또는 제2 프레임 메모리(111) 상의 어느 위치에 유지되어 있는지를 관리한다.

여기서, 제2 뷰의 부호화에는, 제1 뷰의 프레임을 이용하여 예측하는 뷰간 예측 부호화가 이용되고 있다. 이 때문에, 제2 디코더(112a)는, 제2 뷰의 복호에, 제1 뷰의 복호 화상을 참조할 필요가 있다. 여기서, 제1 디코더(107a)는, 프레임의 복호가 끝날 때마다, 제1 프레임 메모리 관리 정보(108a)를 외부 메모리(109) 상에 제1 프레임 메모리 관리 정보(108b)로서 카피한다. 그리고, 제2 디코더(112a)는, 프레임의 복호 개시 전에, 제1 프레임 메모리 관리 정보(108b)를 내부에 카피하여, 제1 프레임 메모리 관리 정보(108c)로서 유지한다.

제2 디코더(112a)는, 제1 프레임 메모리 관리 정보(108c)에 의거하여, 제1 프레임 메모리(110a)에 유지된 제1 뷰의 원하는 프레임의 복호 화상을 참조한다. 그리고, 제2 디코더(112a)는, 뷰간 예측 부호화를 포함하는 부호화 방식으로 부호화된 제2 뷰의 비트 스트림(104)을 복호한다.

또한, 제1 뷰의 비트 스트림(103)은, 다른 뷰를 참조하지 않고 단독으로의 복호가 가능하다. 따라서, 실시의 형태 4에 있어서의 3D 화상 복호 장치는, 제1 디코더(107a)만을 동작시키고, 제2 디코더(112a)를 동작시키지 않음으로써, 2D 화상 복호 장치로도 사용하는 것이 가능하다.

또한, 제2 디코더(112a)에 있어서의 제2 뷰의 복호 처리에 있어서, 비트 스트림(Syntax) 이상 등 어떠한 이상이 검출된 경우, 3D 화상 복호 장치는, 상위 시스템에 제2 디코더(112a)의 이상을 통지해도 된다. 그리고, 3D 화상 복호 장치는, 비트 스트림의 랜덤 액세스 포인트(비순차 재생 가능 포인트) 등에 도달함으로써 정상 복호를 재개할 수 있기까지의 동안, 제1 뷰의 복호 화상만을 표시해도 된다. 또한, 제1 뷰의 복호 화상을 제2 뷰의 복호 화상으로서 표시해도 된다. 이러한 표시 등에 의해, 시청자의 불쾌감을 경감시키는 것이 가능하다.

또한, 제1 디코더(107a)에 있어서의 제1 뷰의 복호 처리에 있어서, 비트 스트림(Syntax) 이상 등 어떠한 이상이 검출된 경우는, 제1 뷰를 참조하는 제2 뷰도 정상적으로 복호할 수 없게 된다. 이 때문에, 3D 화상 복호 장치는, 상위 시스템에 제1 디코더(107a)의 이상을 통지해도 된다. 그리고, 3D 화상 복호 장치는, 비트 스트림의 랜덤 액세스 포인트(뛰어넘음 재생 가능 포인트) 등에 도달함으로써 정상 복호를 재개할 수 있기까지의 동안, 제1 뷰 및 제2 뷰 모두 마지막에 정상 복호된 프레임을 계속 출력해도 된다. 이러한 출력 등에 의해, 시청자의 불쾌감을 경감시키는 것이 가능하다.

도 22는, 도 21의 3D 화상 복호 장치의 복호 처리에 있어서의, 각 뷰의 PTS 및 DTS의 관계의 일예를 나타내는 도면이다. 도 22의 예에 있어서는, 각 뷰의 프레임은, 표시순으로, I, B, B 및 P타입(P타입은 한방향의 예측만을 행한다. B타입은 쌍방향의 예측을 포함한다), 부호화순으로 I, P, B 및 B타입으로서 부호화되어 있다. 뷰간 예측에 의한 제2 뷰로부터의 제1 뷰의 참조는, 직전에 표시되는 제1 뷰의 프레임만으로 하고 있다. 또한 제1 뷰 및 제2 뷰는 교대로 표시된다.

본 예에서는, 제1 뷰의 선두 프레임 I1이 먼저 복호된다. 그리고, 제2 뷰의 선두 프레임 P1은, 제1 뷰의 선두 프레임 I1을 참조하고 있다. 이 때문에, 제1 뷰의 선두 프레임 I1의 복호가 완료하기까지, 제2 뷰의 선두 프레임 P1의 복호를 개시할 수 없다.

도 21의 3D 화상 복호 장치에서는, 표시 프레임 레이트와 동일한 속도의 제1 디코더(107a)를 이용하고 있다. 이 때문에, 제1 뷰의 선두 프레임 I1의 복호에는 프레임 주기 △t(＝1/프레임 레이트)를 필요로 한다. 따라서, 제2 뷰의 선두 프레임 P1의 DTS는, 제1 뷰의 선두 프레임 I1의 DTS로부터 △t후로 된다. 제1 뷰의 프레임 P4은, 제1 뷰의 프레임 I1을 예측으로 사용한다. 이 때문에, 제1 뷰의 프레임 I1의 복호 완료 후에 복호를 개시할 수 있다.

도 21의 3D 화상 복호 장치에 있어서는, 제1 뷰와 제2 뷰의 복호는 별개의 디코더로 실시한다. 이 때문에, 제1 뷰의 프레임 P4은, 제2 뷰의 프레임 P1과 동시에 복호할 수 있다. 따라서, 제1 뷰의 프레임 P4의 DTS는, 제2 뷰의 프레임 P1의 DTS와 동일하게 된다. 이후, 제1 뷰와 제2 뷰의 프레임 B2과 P4, B3와 B2, P7와 B3, 그리고, B5와 P7의 순으로, △t 간격으로, 2개의 뷰의 프레임의 복호가 동시에 개시된다.

다음에, PTS에 대해서 설명한다. 표시순에 대해서 복호 순서가 가장 늦은 것은 제2 뷰의 B프레임이다. 이 때문에, 제2 뷰의 B프레임을 표시할 수 있는 시각을 기준으로, 제1 뷰 및 제2 뷰의 프레임의 PTS가 결정된다. 구체적으로는, 제2 뷰의 프레임 B2의 PTS는, 1프레임의 복호에 △t를 필요로 하기 때문에, DTS의 △t 후로 된다. 이 시각을 기준으로 하여, 제1 뷰의 선두 프레임(I1)의 PTS는, DTS의 5△t/2 후로 되고, 제2 뷰의 선두 프레임(P1)의 PTS는, DTS의 2△t 후로 된다.

도 23은, 도 21의 3D 화상 복호 장치로 복호 가능한 비트 스트림을 작성하는 3D 화상 부호화 장치의 일예이다. 도 23의 3D 화상 부호화 장치는, 3D 영상의 한쪽 뷰의 영상을 3D 영상의 프레임 레이트와 동일한 속도로 부호화하는 능력을 가지는 2개의 인코더로서, 제1 인코더(602a) 및 제2 인코더(607a)를 구비한다. 제1 인코더(602a)는, 제1 뷰를 부호화하고, 제2 인코더(607a)는, 제2 뷰를 부호화한다. 제1 뷰를 참조하여 제2 뷰를 부호화하기 위해, 제2 인코더(607a)는, 제1 뷰의 국소 복호 화상을 참조할 수 있도록 구성되어 있다.

국소 복호 화상을 참조하기 위한 구성은, 도 21에 나타난 3D 화상 복호 장치와 동일하다. 즉, 제2 인코더(607a)는, 제1 프레임 메모리 관리 정보(603c)에 의거하여, 제1 프레임 메모리(605a)에 유지된 제1 뷰의 원하는 프레임의 국소 복호 화상을 참조한다. 그리고, 제2 인코더(607a)는, 뷰간 예측 부호화를 포함하는 부호화 방식으로 제2 뷰의 화상(611)을 부호화한다.

도 24는, 도 23의 3D 화상 부호화 장치의 시스템 인코더(610)에 있어서, 도 22에 나타내는 부호화순에 따라, 제1 뷰의 프레임과 제2 뷰의 프레임을 교대로, DTS 및 PTS를 부여하는 순서를 나타내는 플로우챠트이다. 도 23의 3D 화상 부호화 장치에 있어서, 도 24의 플로우챠트에 따라 DTS 및 PTS를 부여함으로써, 도 22에 나타내는 DTS 및 PTS를 부여할 수 있다. 이에 따라, 도 21의 3D 화상 복호 장치에 있어서 중간에 끊기지 않고 3D 영상을 재생할 수 있는 비트 스트림을 작성할 수 있다. 작성된 비트 스트림은, 광 디스크나 하드 디스크에 기록하여 가지고 다닐 수 있다. 또한, 무선 LAN 및 광 파이버 등의 통신 수단을 통하여 원격지에 전송할 수 있다.

도 25는, 도 21의 3D 화상 복호 장치의 복호 처리에 있어서의, 각 뷰의 PTS 및 DTS의 관계의 일예를 나타내는 도면이다. 도 22는, 제1 뷰 및 제2 뷰가 동시에 표시되는 점이 다른 이외는 공통이다.

도 26은, 도 23의 3D 화상 부호화 장치의 시스템 인코더(610)에 있어서, 도 25에 나타내는 부호화순에 따라 제1 뷰와 제2 뷰의 프레임에 대해서 교대로 DTS 및 PTS를 부여하는 순서를 나타내는 플로우차트이다. 도 23의 3D 화상 부호화 장치에 있어서, 도 26의 플로우차트에 따라 DTS 및 PTS를 부여함으로써, 도 25에 나타내는 DTS 및 PTS를 부여할 수 있다. 이에 따라, 도 21의 3D 화상 복호 장치에 있어서 도중에 끊기지 않고 3D 영상을 재생할 수 있는 비트 스트림을 작성하는 것이 가능하다.

도 27은, 도 21의 3D 화상 복호 장치의 제1의 변형예를 나타내는 도면이다. 제2 뷰를 복호하는 제2 디코더(112b)는, 제1 뷰를 복호하는 제1 디코더(107b)의 제1 프레임 메모리 관리 정보(108d)를 직접 참조할 수 있도록 구성되어 있다. 이 구성에 의해, 외부 메모리(109) 상 및 제2 디코더(112b) 내에 제1 뷰의 프레임 메모리 관리 정보를 유지하는 영역의 확보가 불필요해져, 회로 면적을 삭감하는 것이 가능해진다.

도 28은, 도 21의 3D 화상 복호 장치의 제2의 변형예를 나타내는 도면이다. 제2 뷰를 복호하는 제2 디코더(112c)는, 제1 뷰를 복호하는 제1 디코더(107c)의 제1 프레임 메모리 관리 정보(108a)의 관리 순서를 에뮬레이트(emulate)함으로써, 제1 프레임 메모리 관리 정보(108a)와 일치하는 제1 프레임 메모리 관리 정보(108e)를 유지하도록 구성되어 있다. 제2 디코더(112c)에 있어서, 관리 순서의 에뮬레이트에 필요한 제1 뷰의 헤더 정보(프레임의 부호화 타입 및 시간 정보 등)는, 다중화 비트 스트림(101) 작성 시에 제2 뷰의 비트 스트림 내에 메워넣어도 된다. 혹은, 도 28의 3D 화상 복호 장치의 상위 시스템으로부터 제2 디코더(112c)에 통지하는 등의 수단에 의해, 헤더 정보가 제2 디코더(112c)에 통지되도록 해도 된다.

이상과 같이, 실시의 형태 4에 있어서의 3D 화상 부호화 장치는, 복수의 인코더를 구비하는 경우라도, 뷰간 예측에 이용하는 참조 화상을 공유함으로써, 뷰간 예측을 이용하여, 복수의 뷰를 부호화할 수 있다. 또한, 실시의 형태 4에 있어서의 3D 화상 복호 장치는, 복수의 디코더를 구비하는 경우라도, 뷰간 예측에 이용되는 참조 화상을 공유함으로써, 뷰간 예측을 이용하여 부호화된 복수의 뷰를 복호할 수 있다.

(실시의 형태 5)

본 발명에 관한 화상 부호화 방법 및 화상 복호 방법을 이용하는 실시의 형태 5에 대해서, 도면을 참조하여 설명한다. 실시의 형태 5에서는, DTS 및 PTS의 값은, 각각의 뷰에 대해서 다른 값을 설정할 수 있는 것을 전제로 하고 있다. 또한, 규격에 의해 DTS 및 PTS가, 각각 동일한 값으로 설정되는 경우라도, 실제로 복호 및 표시되는 시각으로서, 실시의 형태 5에서 나타내는 DTS 및 PTS를 이용해도 된다.

도 29는, 실시의 형태 5의 3D 화상 복호 장치의 블록도이다. 도 29의 3D 화상 복호 장치는, 3D 영상의 한쪽 뷰의 영상을 3D 영상의 프레임 레이트의 2배의 속도로 복호하는 능력을 가지는 디코더(112d)를 구비한다. 디코더(112d)는, 제1 뷰 및 제2 뷰의 양 뷰를 복호한다. 제2 뷰는, 제1 뷰를 참조하여 부호화되어 있으므로, 도 29의 3D 화상 복호 장치는, 제2 뷰의 복호 중에 제1 뷰의 복호 화상을 참조할 수 있도록 구성되어 있다.

도 29의 3D 화상 복호 장치의 동작에 대해서 설명한다. 입력된 다중화 비트 스트림(101)은, 입력 버퍼(901)에 입력되고, DTS에 따라서 디코더(112d)로 입력된다. 디코더(112d)에서는, 입력된 다중화 비트 스트림(101)을 복호하여, PTS에 따라 복호 화상을 출력한다. 스위치(903)는, 출력된 비트 스트림을 제1 뷰의 복호 화상(114) 및 제2 뷰의 복호 화상(115)으로 분리한다. 각 복호 화상은, 비디오 출력 인터페이스(116)를 통하여 3D 디스플레이(117)에서 3D 화상으로서, 표시된다.

디코더(112d)는, 복호 처리에 있어서, 화면간 예측 부호화로 참조되는 복호 완료의 프레임을, 외부 메모리(109) 상의 제1 프레임 메모리(110b) 및 제2 프레임 메모리(111)에 카피한다. 그리고, 카피된 프레임은, 참조되지 않게 되기까지 제1 프레임 메모리(110b) 및 제2 프레임 메모리(111)에 유지된다. 프레임 메모리에는 복수의 프레임이 유지되므로, 디코더(112d)는, 제1 프레임 메모리 관리 정보(108f) 및 제2 프레임 메모리 관리 정보(113)를 유지하고, 어느 시각의 프레임이 제1 프레임 메모리(110b) 및 제2 프레임 메모리(111)상의 어느 위치에 유지되어 있는지를 관리한다.

여기서, 제2 뷰의 부호화에는, 제1 뷰의 프레임을 이용하여 예측하는 뷰간 예측 부호화가 이용되고 있다. 이 때문에, 디코더(112d)는, 제2 뷰의 복호에, 제1 뷰의 복호 화상을 참조할 필요가 있다. 여기서, 디코더(112d)는, 제1 뷰의 프레임의 복호가 끝날 때마다, 제1 프레임 메모리 관리 정보(108f)를 갱신한다. 그리고, 제2 뷰의 복호 중에도, 제1 프레임 메모리 관리 정보(108f)를 유지한다. 디코더(112d)는, 제1 프레임 메모리 관리 정보(108f)에 의거하여, 제1 프레임 메모리(110b)에 유지된 제1 뷰의 원하는 프레임의 복호 화상을 참조한다. 그리고, 디코더(112d)는, 뷰간 예측 부호화를 포함하는 부호화 방식으로 부호화된 제2 뷰의 비트 스트림을 복호한다.

또한, 제1 뷰의 비트 스트림은, 다른 뷰를 참조하지 않고 단독으로의 복호가 가능하다. 따라서, 디코더(112d)가 제2 뷰의 비트 스트림을 건너뛰고 읽음으로써, 3D 화상 복호 장치는, 2D 화상 복호 장치로서도 사용하는 것이 가능하다.

또한, 디코더(112d)에 있어서의 제2 뷰의 복호 처리에 있어서, 비트 스트림(Syntax) 이상 등 어떠한 이상이 검출된 경우는, 비트 스트림의 랜덤 액세스 포인트(비순차 재생 가능 포인트) 등에 도달함으로써 정상 복호를 재개할 수 있기까지의 동안, 3D 화상 복호 장치는, 제1 뷰의 복호 화상만을 표시해도 된다. 또한, 제1 뷰의 복호 화상을 제2 뷰의 복호 화상으로서 표시해도 된다. 이러한 표시 등에 의해, 시청자의 불쾌감을 경감시키는 것이 가능하다.

또한, 디코더(112d)에 있어서의 제1 뷰의 복호 처리에 있어서, 비트 스트림(Syntax) 이상 등 어떠한 이상이 검출된 경우는, 제1 뷰를 참조하는 제2 뷰도 정상적으로 복호할 수 없게 된다. 이 때문에, 3D 화상 복호 장치는, 상위 시스템에 디코더(112d)의 이상을 통지하고, 비트 스트림의 랜덤 액세스 포인트(뛰어넘음 재생 가능 포인트) 등에 도달하여 정상 복호를 재개할 수 있기까지의 동안, 제1 뷰 및 제2 뷰 모두 마지막에 정상 복호된 프레임을 계속 출력해도 된다. 이러한 출력 등에 의해, 시청자의 불쾌감을 경감시키는 것이 가능하다.

도 30은, 도 29의 3D 화상 복호 장치의 복호 처리에 있어서의, 각 뷰의 PTS 및 DTS의 관계의 일예를 나타내는 도면이다. 도 30의 예에 있어서는, 각 뷰의 프레임은, 표시순으로 I, B, B 및 P타입(P타입은 한방향의 예측만을 행한다. B타입은 쌍방향의 예측을 포함한다), 부호화순으로 I, P, B 및 B타입으로서 부호화되어 있다. 뷰간 예측에 의한 제2 뷰로부터의 제1 뷰의 참조는, 직전에 표시되는 제1 뷰의 프레임만이다. 또한 제1 뷰 및 제2 뷰는 교대로 표시된다.

본 예에서는, 제1 뷰의 선두 프레임 I1이 우선 복호된다. 그리고, 제2 뷰의 선두 프레임 P1는, 제1 뷰의 선두 프레임 I1을 참조하고 있다. 이 때문에, 제1 뷰의 선두 프레임 I1의 복호가 완료하기까지, 제2 뷰의 선두 프레임 P1의 복호를 개시할 수 없다. 도 29의 3D 화상 복호 장치는, 표시 프레임 레이트의 배의 속도의 디코더(112d)를 이용하고 있으므로, 제1 뷰의 선두 프레임 I1의 복호에는 프레임 주기 △t/2(△t＝1/프레임 레이트)를 필요로 한다.

따라서, 제2 뷰의 선두 프레임 P1의 DTS는, 제1 뷰의 선두 프레임 I1의 DTS로부터 △t/2 후로 된다. 제1 뷰의 프레임 P4는, 제1 뷰의 프레임 I1을 예측으로 사용하기 때문에, 본래는 제1 뷰의 프레임 I1의 복호 완료 후에 복호를 개시할 수 있다. 그러나, 도 29의 3D 화상 복호 장치에 있어서는, 제1 뷰와 제2 뷰의 복호를 1개의 디코더로 실시하기 때문에, 제2 뷰의 프레임 P1과 동시에 복호할 수 없다. 여기서, 제1 뷰의 프레임 P4의 DTS는, 제2 뷰의 프레임 P1의 DTS로부터 △t/2 후로 된다. 이후, 제1 뷰와 제2 뷰의 프레임이 △t/2 간격으로 교대로 복호가 개시된다.

다음에, PTS에 대해서 설명한다. 표시순에 대해서 복호 순서가 가장 늦은 것은 제2 뷰의 B프레임이다. 이 때문에, 제2 뷰의 B프레임을 표시할 수 있는 시각을 기준으로, 제1 뷰 및 제2 뷰의 프레임의 PTS가 결정정된다. 구체적으로는, 제2 뷰의 프레임 B2의 PTS는, 1프레임의 복호에 △t/2를 필요로 하기 때문에, DTS의 △t/2 후로 된다. 이 시각을 기준으로 하여, 제1 뷰의 선두 프레임 I1의 PTS는, DTS의 3△t/2후로 되고, 제2 뷰의 선두 프레임 P1의 PTS는, DTS의 2△t 후로 된다.

도 31은, 도 29의 3D 화상 복호 장치로 복호 가능한 비트 스트림을 작성하는 3D 화상 부호화 장치의 일예이다. 도 31의 3D 화상 부호화 장치는, 3D 영상의 한쪽 뷰의 영상을 3D 영상의 프레임 레이트의 배의 속도로 부호화하는 능력을 가지는 인코더(607b)를 구비한다. 인코더(607b)는, 제1 뷰 및 제2 뷰를 부호화한다. 제2 뷰는, 제1 뷰를 참조하여 제2 뷰를 부호화하기 때문에, 인코더(607b)는, 제2 뷰의 부호화 중에 있어서도 제1 뷰의 국소 복호 화상을 참조할 수 있도록 구성되어 있다.

도 32는, 도 31의 3D 화상 부호화 장치의 시스템 인코더(610)에 있어서, 도 30에 나타내는 부호화순에 따라, 제1 뷰의 프레임과 제2 뷰의 프레임을 교대로, DTS 및 PTS를 부여하는 순서를 나타내는 플로우챠트이다. 도 31의 3D 화상 부호화 장치에 있어서, 도 32의 플로우챠트에 따라 DTS 및 PTS를 부여함으로써, 도 30에 나타내는 DTS 및 PTS를 부여할 수 있다. 이에 따라, 도 29의 3D 화상 복호 장치에 있어서 도중에 끊기지 않고 3D 영상을 재생할 수 있는 비트 스트림을 작성할 수 있다. 작성된 비트 스트림은, 광 디스크나 하드 디스크에 기록하여 가지고 다닐 수 있다. 또한, 무선 LAN 및 광 파이버 등의 통신 수단을 통하여 원격지에 전송할 수 있다.

도 33은, 도 29의 3D 화상 복호 장치의 복호 처리에 있어서의, 각 뷰의 PTS 및 DTS의 관계의 일예를 나타내는 도면이다. 도 30은, 제1 뷰 및 제2 뷰가 동시에 표시되는 점이 상이한 이외는 공통이다.

도 34는, 도 31의 3D 화상 부호화 장치의 시스템 인코더(610)에 있어서, 도 33에 도시하는 부호화순에 따라, 제1 뷰의 프레임과 제2 뷰의 프레임을 교대로, DTS 및 PTS를 부여하는 순서를 나타내는 플로우챠트이다. 도 31의 3D 화상 부호화 장치에 있어서, 도 34의 플로우 챠트에 따라 DTS 및 PTS를 부여함으로써, 도 33에 나타내는 DTS 및 PTS를 부여할 수 있다. 이에 따라, 도 29의 3D 화상 복호 장치에 있어서 도중에 끊기지 않고 3D 영상을 재생할 수 있는 비트 스트림을 작성할 수 있다.

이상과 같이, 실시의 형태 5에 있어서의 3D 화상 부호화 장치는, 뷰간 예측을 이용하여, 복수의 뷰를 부호화할 수 있다. 또한, 실시의 형태 5에 있어서의 3D 화상 복호 장치는, 뷰간 예측을 이용하여 부호화된 복수의 뷰를 복호할 수 있다.

(실시의 형태 6)

도 22 및 도 30에 나타내는 바와 같이, 3D 화상 복호 장치의 구성(등속 성능을 가지는 2디코더 또는 배속 성능을 가지는 1디코더)에 의해, DTS와 PTS의 부여 방법이 달라지는 것을 알 수 있다. 여기서, 실시의 형태 6에서는, 비트 스트림 작성 시에 상정한 3D 화상 복호 장치의 구성과, 실제 3D 화상 복호 장치의 구성의 조합에 따라, 복호 처리를 전환하는 방법에 대해서 설명한다.

도 35는, 실제의 3D 화상 복호 장치가 등속 성능을 가지는 2디코더인 경우에, 비트 스트림 작성 시에 3D 화상 부호화 장치에 의해 상정된 3D 화상 복호 장치의 구성에 따라, 3D 화상 복호 장치가 처리를 전환하는 순서를 나타내는 플로우차트이다. 도 36은, 도 35에 나타난 순서에 따라, 처리를 전환하는 3D 화상 복호 장치의 예를 나타내는 도면이다.

실제의 구성과 상정한 구성이 상이한 경우, 도 36에 나타나는 3D 화상 복호 장치는, 지연 버퍼(1601)에 의해 제2 뷰의 비트 스트림을 △t/2 지연시키고, 지연 버퍼(1602) 및 지연 버퍼(1603)에 의해, 각각 제1 뷰 및 제2 뷰의 표시를 △t 지연시킨다. 이에 따라, 도중에 끊기지 않고 3D 영상을 재생할 수 있다.

도 37은, 실제의 3D 화상 복호 장치가 배속 성능을 가지는 1디코더인 경우에, 비트 스트림 작성 시에 3D 화상 부호화 장치에 의해 상정된 3D 화상 복호 장치의 구성에 따라, 3D 화상 복호 장치가 처리를 전환하는 순서를 나타내는 플로우차트이다. 도 38은, 도 37에 나타난 순서에 따라, 처리를 전환하는 3D 화상 복호 장치의 예를 나타내는 도면이다.

실제의 구성과 상정한 구성이 상이한 경우, 도 38에 나타내는 3D 화상 복호 장치는, 스위치(1701)에 의해 다중화 비트 스트림(101)을 제1 뷰와 제2 뷰의 비트 스트림으로 분리한다. 그리고, 제1 뷰의 비트 스트림을 지연 버퍼(1702)에 의해 △t 지연시키고, 제2 뷰의 비트 스트림을 지연 버퍼(1704)에 의해 △t/2 지연시킨다. 그 후, 제1 뷰 및 제2 뷰의 비트 스트림은, 각각, 제1 입력 버퍼(1703) 및 제2 입력 버퍼(1705)에 입력되고, 스위치를 통하여, 복호 처리부(100)에 입력된다. 그 후의 처리는, 도 29에 나타난 3D 화상 복호 장치와 동일하다.

이에 따라, 도중에 끊기지 않고 3D 영상을 재생할 수 있다.

이상과 같이, 실시의 형태 6에 있어서의 3D 화상 복호 장치는, 뷰간 예측을 이용하여 부호화된 복수의 뷰를 복호할 때, 버퍼를 사용함으로써 복호 시각 및 표시 시각을 조정한다.

(그 외의 변형예)

또한, 본 발명을 상기의 실시의 형태에 의거하여 설명했는데, 본 발명은, 상기의 실시의 형태에 한정되지 않는 것은 물론이다. 이하와 같은 경우도 본 발명에 포함된다.

(1) 상기의 각 장치는, 구체적으로는, 마이크로 프로세서, ROM(Read Only Memory), RAM(Random Access Memory), 하드 디스크 유닛, 디스플레이 유닛, 키보드 및 마우스 등으로 구성되는 컴퓨터 시스템이다. 상기 RAM 또는 하드 디스크 유닛에는, 컴퓨터 프로그램이 기억되어 있다. 상기 마이크로 프로세서가, 상기 컴퓨터 프로그램에 따라 동작함으로써, 각 장치는, 그 기능을 달성한다. 여기서 컴퓨터 프로그램은, 소정의 기능을 달성하기 위해서, 컴퓨터에 대한 지령을 나타내는 명령 코드가 복수개 조합되어 구성된 것이다.

(2) 상기의 각 장치를 구성하는 구성 요소의 일부 또는 전부는, 1개의 시스템 LSI(Large Scale Integration : 대규모 집적 회로)로 구성되어 있어도 된다. 시스템 LSI는, 복수의 구성 요소를 1개의 칩 상에 집적하여 제조된 초다기능 LSI이며, 구체적으로는, 마이크로 프로세서, ROM, RAM 등을 포함하여 구성되는 컴퓨터 시스템이다. 상기 RAM에는, 컴퓨터 프로그램이 기억되어 있다. 상기 마이크로 프로세서가, 상기 컴퓨터 프로그램에 따라 동작함으로써, 시스템 LSI는, 그 기능을 달성한다.

(3) 상기의 각 장치를 구성하는 구성 요소의 일부 또는 전부는, 각 장치에 탈착 가능한 IC(Integrated Circuit) 카드 또는 단체의 모듈로 구성되어 있는 것으로 해도 된다. 상기 IC 카드 또는 상기 모듈은, 마이크로 프로세서, ROM, RAM 등으로 구성되는 컴퓨터 시스템이다. 상기 IC 카드 또는 상기 모듈은, 상기의 초다기능 LSI를 포함하는 것으로 해도 된다. 마이크로 프로세서가, 컴퓨터 프로그램에 따라 동작함으로써, 상기 IC 카드 또는 상기 모듈은, 그 기능을 달성한다. 이 IC 카드 또는 이 모듈은, 내(耐)탬퍼(tamper)성을 가지는 것으로 해도 된다.

(4) 본 발명은, 상기에 나타내는 방법인 것으로 해도 된다. 또한, 이들 방법을 컴퓨터에 의해 실현되는 컴퓨터 프로그램인 것으로 해도 되고, 상기 컴퓨터 프로그램으로 이루어지는 디지털 신호인 것으로 해도 된다.

또한, 본 발명은, 상기 컴퓨터 프로그램 또는 상기 디지털 신호를 컴퓨터 판독 가능한 기록 매체, 예를 들면, 플렉서블 디스크, 하드 디스크, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD(Blu-ray Disc), 반도체 메모리 등에 기록한 것으로 해도 된다. 또한, 이들 기록 매체에 기록되어 있는 상기 디지털 신호인 것으로 해도 된다.

또한, 본 발명은, 상기 컴퓨터 프로그램 또는 상기 디지털 신호를, 전기 통신 회선, 무선 또는 유선 통신 회선, 인터넷을 대표로 하는 네트워크, 혹은, 데이터 방송 등을 경유하여 전송하는 것으로 해도 된다.

또한, 본 발명은, 마이크로 프로세서와 메모리를 구비한 컴퓨터 시스템으로서, 상기 메모리는, 상기 컴퓨터 프로그램을 기억하고 있고, 상기 마이크로 프로세서는, 상기 컴퓨터 프로그램에 따라 동작한다고 해도 된다.

또한, 상기 프로그램 또는 상기 디지털 신호를 상기 기록 매체에 기록하여 이송함으로써, 또는, 상기 네트워크 등을 경유하여 상기 프로그램 또는 상기 디지털 신호를 이송함으로써, 독립된 다른 컴퓨터 시스템에 의해 실시한다고 해도 된다.

(5) 상기 실시의 형태, 상기 변형예, 및, 이들에 있어서 나타난 구성 요소를 각각 조합하는 것으로 해도 된다.

또한, 복수의 뷰로부터 선택되는 제1 뷰는, 베이스 뷰가 아니어도 된다. 제1 뷰가 베이스뷰가 아닌 경우라도, 본 발명에 의해 동일한 효과가 얻어진다.

또한, 3D 화상 복호 장치 및 3D 화상 부호화 장치에 있어서의 예를 중심으로 설명했는데, 본 발명은, 3D 화상 복호 장치 및 3D 화상 부호화 장치에 한정되지 않고, 뷰간 예측을 이용하는 화상 복호 장치 및 화상 부호화 장치에 적용할 수 있다.

<산업상의 이용 가능성>

본 발명에 관한 화상 복호 장치 및 화상 부호화 장치에 의하면, MVC 등의 뷰간의 예측을 이용한 고성능의 화상 부호화 방식에 의해, 요구 성능의 증가를 최소한으로 억제하고, 3D 영상을 복호 및 부호화하는 것이 가능해진다. 따라서, 보다 고품위의 3D 영상의 영화 타이틀 등의 동영상 컨텐츠를 시장에 공급할 수 있어, 영화 시장이나 민생 기기 시장을 활성화시킬 수 있다. 따라서, 본 발명에 관한 화상 복호 장치 및 화상 부호화 장치는, 영화 산업이나 민생 기기 산업에 있어서 높은 이용 가능성을 가진다.

001 : 3D 화상 복호 장치 100 : 복호 처리부
101 : 다중화 비트 스트림 101b, 101e : 패킷
102, 609, 701, 903, 913, 914, 1701 : 스위치
103, 104 : 비트 스트림 105, 1703 : 제 1 입력 버퍼
106, 1705 : 제2 입력 버퍼 107a, 107b, 107c : 제1 디코더
108a, 108b, 108c, 108d, 108e, 108f, 108g, 603a, 603b, 603c, 603d :
제1 프레임 메모리 관리 정보
109, 604 : 외부 메모리
110a, 110b, 110c, 605a, 605b : 제1 프레임 메모리
111, 121, 606 : 제2 프레임 메모리 112a, 112b, 112c : 제2 디코더
112d, 112e : 디코더
113, 120, 608 : 제2 프레임 메모리 관리 정보
114, 115 : 복호 화상 116 : 비디오 출력 인터페이스
117 : 3D 디스플레이 200 : 부호화 처리부
201, 202 : 레이트 제어부 601, 611 : 화상
602a : 제1 인코더 607a : 제2 인코더
607b : 인코더 610 : 시스템 인코더
621 : 프레임 버퍼 622 : 스트림 버퍼
900 : 버퍼 메모리 901 : 입력 버퍼
902 : STD 버퍼
902a, 9021a, 9022a : 트랜스포트·버퍼(TB)
902b, 9021b, 9022b : 멀티플랙싱·버퍼(MB)
902c, 9021c, 9022c : 엘레멘터리·스트림·버퍼(EB)
902d, 9022d : 보상 버퍼
904, 1601, 1602, 1603, 1702, 1704 : 지연 버퍼
1801 : 광 디스크
1802A, 1802B, 1802C, 1803A, 1803B, 1803C : 스트림
1804 : 2D 재생 장치 1805 : 3D 재생 장치
1806 : 입체 안경

Claims

뷰간 예측을 포함하는 방법으로 부호화된, 각 뷰에 픽쳐를 포함하는 복수의 뷰를 가지는 비트 스트림을 복호하는 화상 복호 장치로서,
부호화된 제1 뷰의 비트 스트림, 및, 상기 제1 뷰를 참조하여 부호화된 제2 뷰의 비트 스트림을 복호하는 복호 처리부와,
상기 복호 처리부에 입력되는 비트 스트림을 유지하기 위해서 상기 복호 처리부의 전단에 배치된 버퍼 메모리를 구비하고,
상기 복호 처리부는, 상기 제1 뷰 및 상기 제2 뷰에 부여된 복호 시각이 동일한 경우에 있어서, 상기 제2 뷰에 부여된 복호 시각에 상기 제1 뷰의 픽쳐의 복호가 완료하기까지 필요로 하는 지연 시간을 가산하여 얻어진 시각에 상기 제2 뷰의 픽쳐를 복호하며,
상기 버퍼 메모리에는, 상기 비트 스트림에 부여된 데이터 판독 레이트에 따라 상기 비트 스트림이 판독되고,
상기 복호 처리부는, 상기 복수의 뷰에 포함되는 각 뷰의 비트 스트림을 복호할 때에, 상기 버퍼 메모리로부터, 복호할 상기 각 뷰의 비트 스트림을 빼내며,
상기 버퍼 메모리의 사이즈는, 상기 각 뷰에 부여된 복호 시각에 상기 각 뷰의 비트 스트림이 빼내지는 것을 전제로 정해지는 규정 사이즈에, 상기 지연 시간 중에 있어서 상기 데이터 판독 레이트에 따라 판독되는 비트 스트림의 사이즈를 가산한 사이즈 이상인, 화상 복호 장치.
삭제
삭제
청구항 1에 있어서,
상기 복호 처리부는, 상기 복수의 뷰의 비트 스트림을 순차적으로 복호하고,
상기 버퍼 메모리의 사이즈는, 상기 복수의 뷰에 포함되는 뷰의 수를 n, 상기 복수의 뷰에 포함되는 각 픽쳐의 복호에 필요로 하는 시간의 최대치를 T, 상기 데이터 판독 레이트를 R, 및, 상기 규정 사이즈를 D로 한 경우, D＋R×T×(n-1) 이상의 사이즈인, 화상 복호 장치.
청구항 1에 있어서,
상기 복호 처리부는, 상기 복수의 뷰의 비트 스트림을 병렬로 복호하고,
상기 버퍼 메모리의 사이즈는, 뷰간 예측에 의해 참조되는 뷰의 계층의 최대치를 m, 상기 복수의 뷰에 포함되는 각 픽쳐의 복호에 필요로 하는 시간의 최대치를 T, 상기 데이터 판독 레이트를 R, 및, 상기 규정 사이즈를 D로 한 경우, D＋R×T×(m-1) 이상의 사이즈인, 화상 복호 장치.
청구항 1에 있어서,
상기 복호 처리부는,
상기 복수의 뷰에 포함되는 픽쳐를 기억하기 위한 외부 메모리와,
상기 제1 뷰의 비트 스트림을 복호하고, 뷰간 예측에 사용되는 픽쳐를 상기 외부 메모리에 기억시키는 제1 디코더와,
상기 픽쳐가 유지되어 있는 상기 외부 메모리 내의 위치를 나타내는 관리 정보를 참조하여, 상기 외부 메모리로부터 뷰간 예측에 사용되는 픽쳐를 취득함으로써, 상기 제2 뷰의 비트 스트림을 복호하는 제2 디코더를 더 구비하는, 화상 복호 장치.
뷰간 예측을 포함하는 방법으로 부호화된, 각 뷰에 픽쳐를 포함하는 복수의 뷰를 가지는 비트 스트림을 복호하는 화상 복호 장치로서,
부호화된 제1 뷰의 비트 스트림, 및, 상기 제1 뷰를 참조하여 부호화된 제2 뷰의 비트 스트림을 복호하는 복호 처리부와,
상기 복호 처리부에 입력되는 비트 스트림을 유지하기 위해서 상기 복호 처리부의 전단에 배치된 버퍼 메모리를 구비하고,
상기 복호 처리부는, 상기 제1 뷰 및 상기 제2 뷰에 부여된 복호 시각이 동일한 경우에 있어서, 상기 제2 뷰에 부여된 복호 시각에 상기 제1 뷰의 픽쳐의 복호가 완료하기까지 필요로 하는 지연 시간을 가산하여 얻어진 시각에 상기 제2 뷰의 픽쳐를 복호하며,
상기 버퍼 메모리에는, 상기 지연 시간에 의해 판독되지 않은 비트 스트림이 있는 경우, 상기 비트 스트림에 부여된 데이터 판독 레이트보다도 고속으로 상기 비트 스트림이 판독되는, 화상 복호 장치.
청구항 7에 있어서,
상기 복호 처리부는,
상기 복수의 뷰에 포함되는 픽쳐를 기억하기 위한 외부 메모리와,
상기 제1 뷰의 비트 스트림을 복호하고, 뷰간 예측에 사용되는 픽쳐를 상기 외부 메모리에 기억시키는 제1 디코더와,
상기 픽쳐가 유지되어 있는 상기 외부 메모리 내의 위치를 나타내는 관리 정보를 참조하여, 상기 외부 메모리로부터 뷰간 예측에 사용되는 픽쳐를 취득함으로써, 상기 제2 뷰의 비트 스트림을 복호하는 제2 디코더를 더 구비하는, 화상 복호 장치.
뷰간 예측을 포함하는 방법으로, 각 뷰에 픽쳐를 포함하는 복수의 뷰를 부호화하는 화상 부호화 장치로서,
상기 복수의 뷰를 부호화하고, 상기 복수의 뷰에 동일한 복호 시각을 부여하는 부호화 처리부와,
부호화된 상기 복수의 뷰를 판독하는 화상 복호 장치의 버퍼 메모리의 사이즈가, 상기 복호 시각에 복호가 즉각 완료하는 것을 상정하여 정해지는 규정 사이즈에서, 뷰간 예측에 의해 참조되는 뷰의 복호가 완료하기까지 필요로 하는 지연 시간 중에 판독되는 부호화된 상기 복수의 뷰의 데이터 사이즈를 감산하여 얻어지는 사이즈 이하인 것으로 하여, 부호화 처리부에 부호화시키는 레이트 제어부를 구비하며,
상기 레이트 제어부는, 상기 화상 복호 장치의 버퍼 메모리의 사이즈가, 부호화된 상기 복수의 뷰의 수를 n, 상기 복수의 뷰에 포함되는 각 픽쳐의 복호에 필요로 하는 시간의 최대치를 T, 부호화된 상기 복수의 뷰를 판독할 때의 데이터 판독 레이트를 R, 및, 상기 규정 사이즈를 D로 한 경우, D-R×T×(n-1) 이하의 사이즈인 것으로 하여, 부호화 처리부에 부호화시키는, 화상 부호화 장치.
삭제
청구항 9에 있어서,
상기 부호화 처리부는,
상기 복수의 뷰에 포함되는 픽쳐를 기억하기 위한 외부 메모리와,
상기 복수의 뷰에 포함되는 제1 뷰를 부호화하고, 뷰간 예측에 사용되는 픽쳐를 외부 메모리에 기억시키는 제1 인코더와,
상기 픽쳐가 유지되어 있는 상기 외부 메모리 내의 위치를 나타내는 관리 정보를 참조하여, 상기 외부 메모리로부터 뷰간 예측에 사용되는 상기 제1 뷰의 픽쳐를 취득함으로써, 뷰간 예측을 사용하여 상기 복수의 뷰에 포함되는 제2 뷰를 부호화하는 제2 인코더를 더 구비하는, 화상 부호화 장치.
뷰간 예측을 포함하는 방법으로 부호화된, 각 뷰에 픽쳐를 포함하는 복수의 뷰를 가지는 비트 스트림을 복호하는 화상 복호 방법으로서,
부호화된 제1 뷰의 비트 스트림, 및, 상기 제1 뷰를 참조하여 부호화된 제2 뷰의 비트 스트림을 복호하는 복호 처리 단계와,
상기 복호 처리 단계의 전에, 복호 처리 단계에 입력되는 비트 스트림을 버퍼 메모리에 유지하는 데이터 유지 단계를 포함하고,
상기 복호 처리 단계에서는, 상기 제1 뷰 및 상기 제2 뷰에 부여된 복호 시각이 동일한 경우에 있어서, 상기 제2 뷰에 부여된 복호 시각에 상기 제1 뷰의 픽쳐의 복호가 완료하기까지 필요로 하는 지연 시간을 가산하여 얻어진 시각에 상기 제2 뷰의 픽쳐를 복호하며,
상기 버퍼 메모리에는, 상기 비트 스트림에 부여된 데이터 판독 레이트에 따라 상기 비트 스트림이 판독되고,
상기 복호 처리 단계에서는, 상기 복수의 뷰에 포함되는 각 뷰의 비트 스트림을 복호할 때에, 상기 버퍼 메모리로부터, 복호할 상기 각 뷰의 비트 스트림을 빼내며,
상기 버퍼 메모리의 사이즈는, 상기 각 뷰에 부여된 복호 시각에 상기 각 뷰의 비트 스트림이 빼내지는 것을 전제로 정해지는 규정 사이즈에, 상기 지연 시간 중에 있어서 상기 데이터 판독 레이트에 따라 판독되는 비트 스트림의 사이즈를 가산한 사이즈 이상인, 화상 복호 방법.
뷰간 예측을 포함하는 방법으로, 각 뷰에 픽쳐를 포함하는 복수의 뷰를 부호화하는 화상 부호화 방법으로서,
상기 복수의 뷰를 부호화하고, 상기 복수의 뷰에 동일한 복호 시각을 부여하는 부호화 처리 단계와,
부호화된 상기 복수의 뷰를 판독하는 화상 복호 장치의 버퍼 메모리의 사이즈가, 상기 복호 시각에 복호가 즉각 완료하는 것을 상정하여 정해지는 규정 사이즈에서, 뷰간 예측에 의해 참조되는 뷰의 복호가 완료하기까지 필요로 하는 지연 시간 중에 판독되는 부호화된 상기 복수의 뷰의 데이터 사이즈를 감산하여 얻어지는 사이즈 이하인 것으로 하여, 부호화 처리 단계에 부호화시키는 레이트 제어 단계를 포함하며,
상기 레이트 제어 단계에서는, 상기 화상 복호 장치의 버퍼 메모리의 사이즈가, 부호화된 상기 복수의 뷰의 수를 n, 상기 복수의 뷰에 포함되는 각 픽쳐의 복호에 필요로 하는 시간의 최대치를 T, 부호화된 상기 복수의 뷰를 판독할 때의 데이터 판독 레이트를 R, 및, 상기 규정 사이즈를 D로 한 경우, D-R×T×(n-1) 이하의 사이즈인 것으로 하여, 부호화 처리 단계에 부호화시키는, 화상 부호화 방법.
청구항 12에 기재된 화상 복호 방법에 포함되는 단계를 컴퓨터에 실행시키는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
청구항 13에 기재된 화상 부호화 방법에 포함되는 단계를 컴퓨터에 실행시키는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.