KR20130105814A - 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법 - Google Patents

부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법 Download PDF

Info

Publication number
KR20130105814A
KR20130105814A KR1020137004236A KR20137004236A KR20130105814A KR 20130105814 A KR20130105814 A KR 20130105814A KR 1020137004236 A KR1020137004236 A KR 1020137004236A KR 20137004236 A KR20137004236 A KR 20137004236A KR 20130105814 A KR20130105814 A KR 20130105814A
Authority
KR
South Korea
Prior art keywords
image
unit
parallax
picture
auxiliary
Prior art date
Application number
KR1020137004236A
Other languages
English (en)
Inventor
시노부 핫토리
요시토모 다카하시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130105814A publication Critical patent/KR20130105814A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은, 다시점의 화상에 대하여, 기존의 방식과의 호환성을 갖는 방식으로 부호화 및 복호를 행할 수 있도록 하는 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법에 관한 것이다. 호환용 인코더는, 호환 화상인 화상 A1을 액세스 유닛 단위로 부호화하여, 호환 스트림을 생성한다. 보조용 인코더는, 호환 화상으로부터 다시점 화상을 생성할 때에 사용하는 보조 화상인 화상 B1과 화상 C1의 다중화 화상을 액세스 유닛 단위로 부호화하여, 보조 화상의 다중화 화상의 부호화 스트림을 생성한다. 다중화부는, 호환 스트림과, 유닛의 경계를 나타내는 3DV Representation Delimiter와, 보조 화상의 다중화 화상의 부호화 스트림을 전송한다. 본 기술은, 예를 들어 다시점 방식의 3D 화상을 부호화하는 부호화 장치에 적용할 수 있다.

Description

부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법{ENCODING DEVICE AND ENCODING METHOD, AS WELL AS DECODING DEVICE AND DECODING METHOD}
본 기술은, 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법에 관한 것으로, 특히, 다시점의 화상에 대하여, 기존의 방식과의 호환성을 갖는 방식으로 부호화 및 복호를 행할 수 있도록 한 부호화 장치 및 부호화 방법 및 복호 장치 및 복호 방법에 관한 것이다.
현재, 3D 화상의 시청 방식으로서는, 2시점의 화상 중 한쪽 화상의 표시 시에 좌안용 셔터가 개방되고, 다른 쪽 화상의 표시 시에 우안용 셔터가 개방되는 안경을 장착하여, 교대로 표시되는 2시점의 화상을 보는 방식(이하, 2시점 방식이라고 한다)이 일반적이다.
그러나, 이러한 2시점 방식에서는, 시청자는, 3D 화상의 표시 장치와는 별도로 안경을 구입할 필요가 있어, 시청자의 구매 의욕은 저하한다. 또한, 시청자는, 시청 시에 안경을 장착할 필요가 있기 때문에, 번거롭다. 따라서, 안경을 장착하지 않고 3D 화상을 시청 가능한 시청 방식(이하, 다시점 방식이라고 한다)의 수요가 높아지고 있다.
다시점 방식에서는, 다시점의 화상이, 시점마다 시인 가능한 각도가 상이하도록 표시되어, 시청자가, 임의의 2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 3D 화상을 볼 수 있다.
다시점 방식의 시청을 제공하는 표시 장치는, 예를 들어 2시점 방식용의 2시점의 화상으로부터 다시점 방식용의 다시점의 화상을 생성하여, 표시한다. 구체적으로는, 표시 장치는, 화상의 시차 추정 기술(Depth Estimation)을 사용하여, 2시점 방식용의 2시점의 화상의 시차(depth)를 구한다. 그리고, 표시 장치는, 2시점의 화상의 시차를 이용한 다시점 화상의 생성 기술(View Generation) 및 합성 기술(View Synthesis)을 사용하여, 2시점 방식용의 2시점의 화상에 대응하는 시점에 인접하는 다시점의 화상의 합성 화상을 생성하여, 표시한다.
그런데, 기존의 부호화 방식으로서는, AVC(Advanced Video Coding)나 MVC(Multiview Video Coding) 방식이 있다.
도 1은, 2시점의 화상을 MVC 방식으로 부호화하고, 다중화하는 부호화 장치의 일례를 나타내는 도면이다.
도 1의 부호화 장치(10)는, 촬영부(11A), 촬영부(11B), MVC 인코더(12) 및 다중화부(13)에 의해 구성된다.
촬영부(11A)는, 소정의 시점의 화상 A를 촬영하여 MVC 인코더(12)에 공급한다. 또한, 촬영부(11B)는, 화상 A와는 상이한 시점의 화상 B를 촬영하여 MVC 인코더(12)에 공급한다. MVC 인코더(12)는, 촬영부(11A)로부터 공급되는 화상 A를 베이스 화상으로 하고, 촬영부(11B)로부터 공급되는 화상 B를 디펜던트 화상으로 하여, MVC 방식으로 부호화한다. MVC 인코더(12)는, 부호화 후의 화상 A 및 화상 B를 다중화부(13)에 공급한다. 다중화부(13)는, 부호화 후의 화상 A로부터 제1 TS(Transport Stream)(이하, TS1이라고 한다)를 생성하고, 부호화 후의 화상 B로부터 제2 TS(이하, TS2라고 한다)를 생성하여, TS1과 TS2를 다중화한다.
다중화된 TS1과 TS2는, 복호 장치에 있어서 분리되어, 부호화 후의 화상 A 및 화상 B가, MVC 방식에 대응하는 방식으로 복호된다. 그리고, 복호의 결과 얻어지는 화상 A와 화상 B가 교대로 표시된다. 이때, 시청자는, 예를 들어 화상 A의 표시 시에 좌안용 셔터가 개방되고, 화상 B의 표시 시에 우안용 셔터가 개방되는 안경을 장착하여, 화상 A를 좌안으로만 보고, 화상 B를 우안으로만 본다. 이에 의해, 시청자는 3D 화상을 볼 수 있다. 또한, 시청자가 2D 화상을 보고 싶은 경우에는, 화상 A만이 표시된다.
한편, 다시점의 화상을 부호화하는 방식도 고안되어 있다(예를 들어, 특허문헌 1 참조).
일본 특허 공개 제2008-182669호 공보
그런데, 다시점의 화상을 부호화 및 복호하는 방식이며, 기존의 2시점 이하의 화상의 방식과 호환성을 갖는 방식은 고려되어 있지 않다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이며, 다시점의 화상에 대하여, 기존의 방식과의 호환성을 갖는 방식으로 부호화 및 복호를 행할 수 있도록 하는 것이다.
본 기술의 제1 측면의 부호화 장치는, 다시점의 화상으로부터 호환 화상을 지정하고, 지정한 상기 호환 화상을 액세스 유닛 단위로 부호화하여, 제1 부호화 스트림을 생성하는 호환 화상 부호화부와, 상기 호환 화상으로부터 다시점 화상을 생성할 때에 사용하는 보조 화상을 액세스 유닛 단위로 부호화하여, 제2 부호화 스트림을 생성하는 보조 화상 부호화부와, 유닛의 경계를 나타내는 경계 정보를 설정하는 설정부와, 상기 호환 화상 부호화부에 의해 생성된 상기 제1 부호화 스트림과, 상기 설정부에 의해 설정된 상기 경계 정보와, 상기 보조 화상 부호화부에 의해 부호화된 상기 제2 부호화 스트림을 전송하는 전송부를 구비하는 부호화 장치이다.
본 기술의 제1 측면의 부호화 방법은, 본 기술의 제1 측면의 부호화 장치에 대응한다.
본 기술의 제1 측면에 있어서는, 다시점의 화상으로부터 호환 화상이 지정되고, 지정된 상기 호환 화상이 액세스 유닛 단위로 부호화되어, 제1 부호화 스트림이 생성되고, 상기 호환 화상으로부터 다시점 화상을 생성할 때에 사용하는 보조 화상이 액세스 유닛 단위로 부호화되어, 제2 부호화 스트림이 생성되고, 유닛의 경계를 나타내는 경계 정보가 설정되어, 상기 제1 부호화 스트림과, 상기 경계 정보와, 상기 제2 부호화 스트림이 전송된다.
본 기술의 제2 측면의 복호 장치는, 다시점의 화상으로부터 지정된 호환 화상이 액세스 유닛 단위로 부호화된 결과 얻어지는 제1 부호화 스트림과, 유닛의 경계를 나타내는 경계 정보와, 상기 호환 화상으로부터 다시점 화상을 생성할 때에 사용하는 보조 화상이 액세스 유닛 단위로 부호화된 결과 얻어지는 제2 부호화 스트림을 수취하여, 상기 경계 정보에 기초하여, 상기 제1 부호화 스트림과 상기 제2 부호화 스트림을 분리하는 분리부와, 상기 분리부에 의해 분리된 상기 제1 부호화 스트림을 복호하는 호환 화상 복호부와, 상기 분리부에 의해 분리된 상기 제2 부호화 스트림을 복호하는 보조 화상 복호부를 구비하는 복호 장치이다.
본 기술의 제2 측면의 복호 방법은, 본 기술의 제2 측면의 복호 장치에 대응한다.
본 기술의 제2 측면에 있어서는, 다시점의 화상으로부터 지정된 호환 화상이 액세스 유닛 단위로 부호화된 결과 얻어지는 제1 부호화 스트림과, 유닛의 경계를 나타내는 경계 정보와, 상기 호환 화상으로부터 다시점 화상을 생성할 때에 사용하는 보조 화상이 액세스 유닛 단위로 부호화된 결과 얻어지는 제2 부호화 스트림이 수취되고, 상기 경계 정보에 기초하여, 상기 제1 부호화 스트림과 상기 제2 부호화 스트림이 분리되고, 분리된 상기 제1 부호화 스트림이 복호되고, 분리된 상기 제2 부호화 스트림이 복호된다.
또한, 제1 측면의 부호화 장치 및 제2 측면의 복호 장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다.
또한, 제1 측면의 부호화 장치 및 제2 측면의 복호 장치를 실현하기 위해서, 컴퓨터에 실행시키는 프로그램은, 전송 매체를 통하여 전송함으로써, 또는, 기록 매체에 기록하여, 제공할 수 있다.
본 기술의 제1 측면에 의하면, 다시점의 화상에 대하여, 기존의 방식과의 호환성을 갖는 방식으로 부호화를 행할 수 있다.
또한, 본 기술의 제2 측면에 의하면, 기존의 방식과의 호환성을 갖는 방식으로 부호화된 다시점의 화상을 복호할 수 있다.
도 1은 종래의 부호화 장치의 일례를 나타내는 도면이다.
도 2는 본 기술을 적용한 부호화 장치의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 3은 도 2의 다중화부에 의해 생성되는 TS의 구성예를 도시하는 도면이다.
도 4는 도 3의 TS2의 상세 구성예를 도시하는 도면이다.
도 5는 TS1과 TS2의 다중화 방법의 예를 설명하는 도면이다.
도 6은 도 2의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 7은 도 2의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 8은 도 2의 부호화 장치에 대응하는 복호 장치의 구성예를 도시하는 도면이다.
도 9는 도 8의 복호 장치에 의한 복호 처리를 설명하는 흐름도이다.
도 10은 도 2의 다중화부에 의해 생성되는 TS의 다른 구성예를 도시하는 도면이다.
도 11은 도 10의 TS2의 상세 구성예를 도시하는 도면이다.
도 12는 도 10의 TS3의 상세 구성예를 도시하는 도면이다.
도 13은 도 8의 복호 장치에 의한 다른 복호 처리를 설명하는 흐름도이다.
도 14는 본 기술을 적용한 부호화 장치의 제2 실시 형태의 구성예를 도시하는 블록도이다.
도 15는 도 14의 다중화부에 의해 생성되는 TS의 구성예를 도시하는 도면이다.
도 16은 도 14의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 17은 도 14의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 18은 도 14의 부호화 장치에 대응하는 복호 장치의 구성예를 도시하는 도면이다.
도 19는 도 18의 복호 장치에 의한 복호 처리를 설명하는 흐름도이다.
도 20은 도 14의 다중화부에 의해 생성되는 TS의 다른 구성예를 도시하는 도면이다.
도 21은 도 18의 복호 장치에 의한 다른 복호 처리를 설명하는 흐름도이다.
도 22는 본 기술을 적용한 부호화 장치의 제3 실시 형태의 구성예를 도시하는 블록도이다.
도 23은 도 22의 다중화부에 의해 생성되는 TS의 제1 구성예를 도시하는 도면이다.
도 24는 도 22의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 25는 도 22의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 26은 도 22의 부호화 장치에 대응하는 복호 장치의 구성예를 도시하는 도면이다.
도 27은 도 26의 복호 장치에 의한 복호 처리를 설명하는 흐름도이다.
도 28은 도 22의 다중화부에 의해 생성되는 TS의 제2 구성예를 도시하는 도면이다.
도 29는 도 28의 TS1 내지 TS3의 다중화 방법의 예를 설명하는 도면이다.
도 30은 도 26의 복호 장치에 의한 제2 복호 처리를 설명하는 흐름도이다.
도 31은 도 22의 다중화부에 의해 생성되는 TS의 제3 구성예를 도시하는 도면이다.
도 32는 도 26의 복호 장치(200)에 의한 제3 복호 처리를 설명하는 흐름도이다.
도 33은 본 기술을 적용한 부호화 장치의 제4 실시 형태의 구성예를 도시하는 블록도이다.
도 34는 도 33의 다중화부에 의해 생성되는 TS의 구성예를 도시하는 도면이다.
도 35는 도 34의 TS2의 상세 구성예를 도시하는 도면이다.
도 36은 도 33의 부호화 장치에 대응하는 복호 장치의 구성예를 도시하는 도면이다.
도 37은 본 기술을 적용한 부호화 장치의 제5 실시 형태의 구성예를 도시하는 블록도이다.
도 38은 도 37의 부호화 처리부의 구성예를 도시하는 도면이다.
도 39는 도 38의 부호화부에 의한 부호화에 있어서의 참조 관계를 도시하는 도면이다.
도 40은 NAL 유닛의 구성예를 도시하는 도면이다.
도 41은 비트 스트림의 구성예를 도시하는 도면이다.
도 42는 3DV 방식의 SEI의 구성예를 도시하는 도면이다.
도 43은 시차 정보의 기술예를 도시하는 도면이다.
도 44는 도 37의 부호화 장치의 다시점 부호화 처리를 설명하는 흐름도이다.
도 45는 도 44의 스텝 S257의 부호화 처리의 상세를 설명하는 흐름도이다.
도 46은 도 37의 부호화 장치에 대응하는 AVC 방식의 복호 장치의 구성예를 도시하는 블록도이다.
도 47은 도 46의 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 48은 도 37의 부호화 장치에 대응하는 MVC 방식의 복호 장치의 구성예를 도시하는 블록도이다.
도 49는 도 48의 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 50은 도 37의 부호화 장치에 대응하는 3DV 방식의 복호 장치의 구성예를 도시하는 블록도이다.
도 51은 도 50의 복호 장치(360)의 복호 처리를 설명하는 흐름도이다.
도 52는 복호 대상으로 되는 부호화 데이터를 설명하는 도면이다.
도 53은 본 기술을 적용한 부호화 장치의 제6 실시 형태의 구성예를 도시하는 블록도이다.
도 54는 도 53의 부호화 처리부의 구성예를 도시하는 블록도이다.
도 55는 NAL 유닛의 구성예를 도시하는 도면이다.
도 56은 비트 스트림의 구성예를 도시하는 도면이다.
도 57은 도 53의 부호화 장치의 다시점 부호화 처리를 설명하는 흐름도이다.
도 58은 도 57의 스텝 S369의 부호화 처리의 상세를 설명하는 흐름도이다.
도 59는 도 53의 부호화 장치에 대응하는 3DV 방식의 복호 장치의 구성예를 도시하는 블록도이다.
도 60은 도 59의 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 61은 시차 정보의 기술예를 도시하는 도면이다.
도 62는 본 기술을 적용한 부호화 장치의 제7 실시 형태의 구성예를 도시하는 블록도이다.
도 63은 호환 정보와 시차 화상 정보의 기술예를 도시하는 도면이다.
도 64는 도 63의 시차 화상 정보의 상세 기술예를 도시하는 도면이다.
도 65는 보조 스트림 내의 호환 정보와 시차 화상 정보의 기술예를 도시하는 도면이다.
도 66은 도 65의 시차 화상 정보의 상세 기술예를 도시하는 도면이다.
도 67은 도 62의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 68은 도 62의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 69는 도 62의 부호화 장치에 대응하는 복호 장치의 구성예를 도시하는 도면이다.
도 70은 도 69의 복호 장치에 의한 복호 처리를 설명하는 흐름도이다.
도 71은 본 기술을 적용한 부호화 장치의 제8 실시 형태의 구성예를 도시하는 블록도이다.
도 72는 도 71의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 73은 도 71의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 74는 도 71의 부호화 장치에 대응하는 복호 장치의 구성예를 도시하는 도면이다.
도 75는 도 74의 복호 장치에 의한 복호 처리를 설명하는 흐름도이다.
도 76은 부호화 대상의 다중화 패턴의 예를 나타내는 도면이다.
도 77은 다중화에 의한 효과의 특징을 도시하는 도면이다.
도 78은 부호화 대상의 다중화 패턴의 다른 예를 나타내는 도면이다.
도 79는 부호화 대상의 다중화 패턴의 또 다른 예를 도시하는 도면이다.
도 80은 본 기술을 적용한 부호화 장치의 제9 실시 형태의 구성예를 도시하는 블록도이다.
도 81은 도 80의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 82는 도 80의 부호화 장치에 의한 부호화 처리를 설명하는 흐름도이다.
도 83은 도 80의 부호화 장치에 대응하는 복호 장치의 구성예를 도시하는 도면이다.
도 84는 도 83의 복호 장치에 의한 복호 처리를 설명하는 흐름도이다.
도 85는 비트 스트림의 다른 구성예를 도시하는 도면이다.
도 86은 도 85의 시차 화상용 3DV 방식의 Subset SPS의 기술예를 도시하는 도면이다.
도 87은 도 86의 시차 화상용 확장 정보의 기술예를 도시하는 도면이다.
도 88은 도 86의 시차 화상용 VUI 확장 정보의 기술예를 도시하는 도면이다.
도 89는 3DV 방식의 부호화 데이터의 NAL 헤더의 기술예를 도시하는 도면이다.
도 90은 도 89의 시차 화상용 헤더 확장 정보의 기술예를 도시하는 도면이다.
도 91은 도 85의 3DV 방식의 SEI의 기술예를 도시하는 도면이다.
도 92는 비트 스트림의 또 다른 구성예를 도시하는 도면이다.
도 93은 도 92의 화상용 3DV 방식의 Subset SPS의 기술예를 도시하는 도면이다.
도 94는 3DV 방식이 HEVC 방식에 준한 방식인 경우의 비트 스트림의 구성예를 도시하는 도면이다.
도 95는 도 94의 SPS의 기술예를 도시하는 도면이다.
도 96은 도 95의 Subset SPS의 기술예를 도시하는 도면이다.
도 97은 도 96의 Subset SPS의 VUI 정보의 기술예를 도시하는 도면이다.
도 98은 도 94의 3DV 방식의 SEI의 기술예를 도시하는 도면이다.
도 99는 컴퓨터의 일 실시 형태의 구성예를 도시하는 도면이다.
도 100은 본 기술을 적용한 텔레비전 장치의 개략 구성을 도시하는 도면이다.
도 101은 본 기술을 적용한 휴대 전화기의 개략 구성을 도시하는 도면이다.
도 102는 본 기술을 적용한 기록 재생 장치의 개략 구성을 도시하는 도면이다.
도 103은 본 기술을 적용한 촬상 장치의 개략 구성을 도시하는 도면이다.
<제1 실시 형태>
[부호화 장치의 일 실시 형태의 구성예]
도 2는 본 기술을 적용한 부호화 장치의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 2의 부호화 장치(50)는, 촬영부(51A 내지 51C), 화상 변환부(52), 시차 화상 생성부(53), 화상 정보 생성부(54), 호환 정보 생성부(55), 시점간 거리 정보 생성부(56), 시차 화상 정보 생성부(57), 인코더(58) 및 다중화부(59)에 의해 구성된다.
부호화 장치(50)는, 다시점의 화상 중 1시점의 화상을 2D 화상으로 하여 기존의 부호화 방식으로 부호화하고, 단독으로 TS를 생성함으로써, 기존의 2D 화상을 부호화하는 부호화 장치와의 호환성을 확보한다.
또한, 이하에서는, 다시점의 화상 중, 기존의 부호화 장치와의 호환성을 확보하기 위하여 기존의 부호화 방식으로 부호화되는 화상을 호환 화상이라고 하고, 호환 화상을 사용하여 호환 화상의 시점수보다 많은 시점의 화상을 생성하기 위한 화상을 보조 화상이라고 한다.
부호화 장치(50)에 있어서, 촬영부(51A)는, 소정의 시점의 HD(High Definition) 화상을 화상 A1로서 촬영하여, 화상 변환부(52), 시차 화상 생성부(53) 및 시점간 거리 정보 생성부(56)에 공급한다. 촬영부(51B)는, 촬영부(51A)로부터 거리 Δd1AB만큼, 피사체의 깊이 방향의 거리가 동일한 수평 방향으로 이격된 위치에서, 화상 A1과는 상이한 시점의 HD 화상을 화상 B1로서 촬영하여, 화상 변환부(52), 시차 화상 생성부(53) 및 시점간 거리 정보 생성부(56)에 공급한다. 촬영부(51C)는, 촬영부(51A)로부터 거리 Δd1AC만큼 촬영부(51B)와는 반대인 수평 방향으로 이격된 위치에서, 화상 A1 및 화상 B1과는 상이한 시점의 HD 화상을 화상 C1로서 촬영하여, 화상 변환부(52), 시차 화상 생성부(53) 및 시점간 거리 정보 생성부(56)에 공급한다.
또한, 화상 B1과 화상 C1에 대응하는 시점은, 3D 화상으로서 지각 가능한 화상의 시점 중, 보다 외측의 시점이다. 이에 의해, 부호화 장치(50)에 대응하는 복호 장치는, 화상 A1 내지 화상 C1을 사용하여, 화상 B1 및 화상 C1의 시점보다 내측의 시점의 화상을 보간함으로써, 다시점의 화상을 생성할 수 있다. 그 결과, 내측의 시점의 화상을 사용하여 외측의 시점의 화상을 보간하는 경우에 비하여, 다시점의 화상을 고정밀도로 생성할 수 있다. 거리 Δd1AB와 거리 Δd1AC는, 고정이어도 좋고, 시간마다 변화하도록 해도 좋다.
화상 변환부(52)는, 촬영부(51A) 내지 촬영부(51C) 중 수평 방향의 위치가 내측에 있는 촬영부(51A)로부터 공급되는 화상 A1을 호환 화상으로 결정한다. 화상 변환부(52)는, 호환 화상으로서 화상 A1을 지정하는 정보를 호환 정보 생성부(55)에 공급한다. 그리고, 화상 변환부(52)는, 호환 화상인 화상 A1을 그대로 인코더(58)에 공급한다.
또한, 화상 변환부(52)는, 화상 A1 이외의 화상 B1 및 화상 C1을 보조 화상으로 하여 소정의 다중화 방식으로 다중화한다. 구체적으로는, 예를 들어 다중화 방식이 사이드 바이 사이드 방식인 경우, 화상 변환부(52)는, 화상 B1 및 화상 C1의 해상도를 절반으로 한다. 그리고, 화상 변환부(52)는, 해상도가 절반으로 된 화상 B1(이하, 1/2 해상도 화상 B1이라고 한다)이 화면의 좌측 절반의 화상으로 되고, 해상도가 절반으로 된 화상 C1(이하, 1/2 해상도 화상 C1이라고 한다)이 화면의 우측 절반의 화상으로 되도록, 1/2 해상도 화상 B1 및 1/2 해상도 화상 C1을 다중화한다. 화상 변환부(52)는, 다중화의 결과 얻어지는 다중화 화상을 인코더(58)에 공급하고, 보조 화상의 다중화 방식을 나타내는 정보를 화상 정보 생성부(54)에 공급한다.
시차 화상 생성부(53)는, 촬영부(51A) 내지 촬영부(51C)로부터 공급되는 화상 A1 내지 화상 C1을 사용하여, 화상 A1 내지 화상 C1의 각 화소의 시차를 검출한다. 시차 화상 생성부(53)는, 호환 화상인 화상 A1의 각 화소의 시차를 나타내는 시차 화상 A1'를 생성하여, 그대로 인코더(58)에 공급한다. 또한, 시차 화상 생성부(53)는, 보조 화상인 화상 B1의 각 화소의 시차를 나타내는 시차 화상 B1'와, 보조 화상인 화상 C1의 각 화소의 시차를 나타내는 시차 화상 C1'를 생성하여, 소정의 다중화 방식으로 다중화한다. 시차 화상 생성부(53)는, 그 결과 얻어지는 다중화 화상을 인코더(58)에 공급한다. 시차 화상 생성부(53)는, 보조 화상의 시차 화상의 다중화 방식을 나타내는 정보를 시차 화상 정보 생성부(57)에 공급한다.
화상 정보 생성부(54)는, 화상 변환부(52)로부터 공급되는 정보에 기초하여, 보조 화상의 다중화 방식을 나타내는 정보 등을, 호환 화상 및 보조 화상에 관한 정보인 화상 정보로서 생성하여, 다중화부(59)에 공급한다.
호환 정보 생성부(55)는, 화상 변환부(52)로부터 공급되는 정보에 기초하여, 호환 화상을 지정하는 정보, 호환 모드 등을, 호환에 관한 정보인 호환 정보로서 생성하여, 다중화부(59)에 공급한다.
또한, 호환 모드란, 호환 화상의 부호화 방법을 나타내는 모드이다. 호환 모드로서는, 예를 들어 1시점의 호환 화상을 AVC 방식으로 부호화하는 부호화 방법을 나타내는 모노 모드(mono), 2시점의 호환 화상을 다중화하여, AVC 방식으로 부호화하는 부호화 방법을 나타내는 프레임 패킹 모드(frame packing), 2시점의 호환 화상을 MVC 방식으로 부호화하는 부호화 방법을 나타내는 스테레오 모드(stereo) 등이 있다.
시점간 거리 정보 생성부(56)는, 촬영부(51A) 내지 촬영부(51C)로부터 공급되는 화상 A1 내지 화상 C1을 사용하여, 화상 A1 내지 화상 C1 중 2매의 화상의 시점간의 거리(이하, 시점간 거리라고 한다)를 검출한다. 예를 들어, 시점간 거리 정보 생성부(56)는, 촬영부(51A)와 촬영부(51B) 사이의 수평 방향의 거리 Δd1AB 및 촬영부(51A)와 촬영부(51C) 사이의 수평 방향의 거리 Δd1AC를 시점간 거리로서 검출한다. 시점간 거리 정보 생성부(56)는, 시점간 거리를 나타내는 정보 등을, 시점간 거리에 관한 정보인 시점간 거리 정보로서 생성하여, 다중화부(59)에 공급한다.
시차 화상 정보 생성부(57)는, 시차 화상 생성부(53)로부터 공급되는 정보에 기초하여, 보조 화상의 시차 화상의 다중화 방식을 나타내는 정보 등을, 시차 화상에 관한 정보인 시차 화상 정보로서 생성하여, 다중화부(59)에 공급한다.
인코더(58)는, 호환용 인코더(61)와 보조용 인코더(62)에 의해 구성된다.
호환용 인코더(61)(호환 화상 부호화부)는, 화상 변환부(52)로부터 공급되는 호환 화상과 보조 화상의 다중화 화상으로부터 호환 화상인 화상 A1을 지정하고, 화상 A1에 대하여 기존의 AVC 방식으로 액세스 유닛 단위의 부호화를 행한다. 호환용 인코더(61)는, 그 결과 얻어지는 부호화 스트림을 호환 스트림(제1 부호화 스트림)으로 하여 다중화부(59)에 공급한다.
보조용 인코더(62)(보조 화상 부호화부)는, 화상 변환부(52)로부터의 보조 화상의 다중화 화상, 및 시차 화상 생성부(53)로부터의 호환 화상의 시차 화상 A1' 및 보조 화상의 시차 화상의 다중화 화상에 대하여 소정의 방식으로 액세스 유닛 단위의 부호화를 행한다. 보조용 인코더(62)는, 그 결과 얻어지는 부호화 스트림(제2 부호화 스트림, 제1 시차 부호화 스트림, 제2 시차 부호화 스트림)을 보조 스트림으로 하여 다중화부(59)에 공급한다. 또한, 보조용 인코더(62)에 있어서의 부호화 방식으로서는, AVC 방식, MVC 방식, MPEG2(Moving Picture Experts Group phase 2) 방식 등을 사용할 수 있다.
다중화부(59)(설정부 및 전송부)는, 호환용 인코더(61)로부터 공급되는 호환 스트림, 보조용 인코더(62)로부터 공급되는 보조 스트림, 화상 정보 생성부(54)로부터의 화상 정보, 호환 정보 생성부(55)로부터의 호환 정보, 시점간 거리 정보 생성부(56)로부터의 시점간 거리 정보 및 시차 화상 정보 생성부(57)로부터의 시차 화상 정보 등을 사용하여, TS를 생성한다. 다중화부(59)는, 생성된 TS를 다중화하고, 그 결과 얻어지는 다중화 스트림을 송신한다.
또한, 이하에서는, 화상 정보, 호환 정보, 시점간 거리 정보 및 시차 화상 정보를 통합하여 보조 정보라고 한다.
[TS의 구성예]
도 3은, 도 2의 다중화부(59)에 의해 생성되는 TS의 구성예를 도시하는 도면이다.
도 3의 예에서는, 다중화부(59)에 있어서, 호환 스트림으로부터 TS1이 생성된다. 또한, 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 A', 및 보조 화상의 시차 화상의 다중화 화상을 포함하는 보조 스트림과 보조 정보로부터 TS2가 생성된다.
도 3의 예에서는, 호환 스트림과, 호환 스트림 이외의 것이 다른 TS에 저장되므로, 호환 스트림의 정보량을 삭감할 필요가 없다. 따라서, 호환 화상의 화질을, 기존의 AVC 방식으로 부호화되는 2D 화상의 화질과 동등하게 할 수 있다.
도 4는, 도 3의 TS2의 상세 구성예를 도시하는 도면이다.
도 4의 A 내지 도 4의 C에 도시한 바와 같이, 도 3의 TS2에는, 유닛 단위로 데이터가 배치되고, 각 유닛의 선두에는, 유닛의 단락(경계)을 나타내는 델리미터(Del)(경계 정보)가 삽입된다.
도 4의 A의 예에서는, 각 유닛에, 디코드 단위인 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상(B1+C1)과 보조 화상의 다중화 화상의 보조 정보(Aux Inf), 부호화된 호환 화상의 시차 화상(A1')과 호환 화상의 시차 화상의 보조 정보 또는 부호화된 보조 화상의 시차 화상의 다중화 화상(B1'+C1')과 보조 화상의 시차 화상의 다중화 화상의 보조 정보가, 데이터로서 배치되어 있다.
이 경우, TS2를 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을, 각각 독립적으로 추출할 수 있다. 그 결과, 예를 들어 복호 장치가, 호환 화상과 호환 화상의 시차 화상만을 사용하여 다시점의 화상을 생성하는 경우, 다시점의 화상의 생성에 사용되는 화상을 용이하게 추출할 수 있다. 또한, 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상의 각 화상과, 그 화상의 보조 정보가 동일한 유닛 내에 배치되므로, 각 유닛에 배치되는 화상을 용이하게 독립하여 처리할 수 있다.
도 4의 B의 예에서는, 각 유닛에, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상, 및 보조 정보가 통합되어 배치되어 있다. 이 경우, TS2를 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상, 및 보조 정보를 통합하여 추출할 수 있다.
도 4의 C의 예에서는, 각 유닛에, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상과 보조 화상의 다중화 화상의 보조 정보 또는, 부호화된 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상, 및 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 보조 정보가, 배치되어 있다.
이 경우, TS2를 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상과, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을, 각각 독립적으로 추출할 수 있다. 그 결과, 예를 들어 복호 장치에 있어서, 화상용 디코더와 시차 화상용 디코더가 별도로 준비되는 경우, 각각의 디코더에 효율적으로 데이터를 공급할 수 있다. 또한, 복호 장치에 있어서, 화상과 시차 화상을 용이하게 독립하여 처리할 수 있다.
[다중화 방법의 설명]
도 5는, TS1과 TS2의 다중화 방법의 예를 설명하는 도면이다.
도 5에 도시한 바와 같이, TS1 및 TS2는, 액세스 유닛 단위로, TS2, TS1의 순서대로 선두부터 배치됨으로써, 다중화된다. 또한, TS2의 선두에는, 호환 스트림 이외의 정보를 포함하는 TS의 선두인 것을 나타내는 3DV Representation Delimiter(경계 정보)가 설정되어, 부가된다. 즉, 3DV Representation Delimiter는, 어느 한 액세스 유닛의 TS2와, 1개 전의 액세스 유닛의 TS1의 경계에 배치된다. 따라서, 부호화 장치(50)에 대응하는 복호 장치는, 어느 한 3DV Representation Delimiter부터 다음 3DV Representation Delimiter까지 사이의 데이터를 추출함으로써, 호환 스트림과, 거기에 동기하는 보조 스트림 및 보조 화상을 용이하게 인식할 수 있다.
[부호화 장치의 처리의 설명]
도 6 및 도 7은, 도 2의 부호화 장치(50)에 의한 부호화 처리를 설명하는 흐름도이다. 이 부호화 처리는, 예를 들어 촬영부(51A) 내지 촬영부(51C)로부터 화상 A1 내지 화상 C1이 출력되었을 때 개시된다.
도 6의 스텝 S11에 있어서, 시점간 거리 정보 생성부(56)는, 촬영부(51A) 내지 촬영부(51C)로부터 공급되는 화상 A1 내지 화상 C1을 사용하여, 거리 Δd1AB와 거리 Δd1AC를 시점간 거리로서 검출한다.
스텝 S12에 있어서, 시점간 거리 정보 생성부(56)는, 스텝 S11에서 검출된 시점간 거리를 나타내는 정보 등을 시점간 거리 정보로서 생성하여, 다중화부(59)에 입력한다.
스텝 S13에 있어서, 화상 변환부(52)는, 촬영부(51A) 내지 촬영부(51C) 중 수평 방향의 위치가 내측에 있는 촬영부(51A)로부터 공급되는 화상 A1을 호환 화상으로 결정하고, 보조 화상의 다중화 방식을 결정한다. 화상 변환부(52)는, 호환 화상으로서 화상 A1을 지정하는 정보를 호환 정보 생성부(55)에 공급하고, 보조 화상의 다중화 방식을 화상 정보 생성부(54)에 공급한다.
스텝 S14에 있어서, 호환 정보 생성부(55)는, 화상 변환부(52)로부터 공급되는 정보에 기초하여, 호환 화상으로서 화상 A1을 지정하는 정보, 호환 모드로서의 모노 모드 등을 호환 정보로서 생성하여, 다중화부(59)에 입력한다.
스텝 S15에 있어서, 화상 정보 생성부(54)는, 화상 변환부(52)로부터 공급되는 정보에 기초하여, 보조 화상의 다중화 방식을 나타내는 정보 등을 화상 정보로서 생성하여, 다중화부(59)에 입력한다.
스텝 S16에 있어서, 화상 변환부(52)는, 화상 A1 이외의 화상 B1 및 화상 C1을 보조 화상으로 하고, 스텝 S13에서 결정된 보조 화상의 다중화 방식에 기초하여 보조 화상을 다중화하여, 보조 화상의 다중화 화상을 얻는다.
스텝 S17에 있어서, 화상 변환부(52)는, 호환 화상인 화상 A1과 보조 화상의 다중화 화상을 인코더(58)에 입력한다.
도 7의 스텝 S18에 있어서, 시차 화상 생성부(53)는, 촬영부(51A) 내지 촬영부(51C)로부터 공급되는 화상 A1 내지 화상 C1을 사용하여 화상 A1 내지 화상 C1의 각 화소의 시차를 검출하여, 시차 화상 A1' 내지 시차 화상 C1'를 생성한다.
스텝 S19에 있어서, 시차 화상 생성부(53)는, 보조 화상의 시차 화상의 다중화 방식을 결정하여, 그 다중화 방식을 나타내는 정보를 시차 화상 정보 생성부(57)에 공급한다.
스텝 S20에 있어서, 시차 화상 정보 생성부(57)는, 시차 화상 생성부(53)로부터 공급되는 정보에 기초하여, 보조 화상의 시차 화상의 다중화 방식을 나타내는 정보 등을, 시차 화상 정보로서 생성하여, 다중화부(59)에 입력한다.
스텝 S21에 있어서, 시차 화상 생성부(53)는, 스텝 S19에서 결정된 보조 화상의 시차 화상의 다중화 방식에 기초하여, 보조 화상의 시차 화상을 다중화하여, 보조 화상의 시차 화상의 다중화 화상을 얻는다.
스텝 S22에 있어서, 시차 화상 생성부(53)는, 호환 화상의 시차 화상 A1'와 보조 화상의 시차 화상의 다중화 화상을 인코더(58)에 입력한다.
스텝 S23에 있어서, 인코더(58)의 호환용 인코더(61)는, 화상 변환부(52)로부터 공급되는 호환 화상인 화상 A1을 기존의 AVC 방식으로 부호화하고, 그 결과 얻어지는 부호화 스트림을 호환 스트림으로 하여 다중화부(59)에 공급한다.
스텝 S24에 있어서, 보조용 인코더(62)는, 화상 변환부(52)로부터의 보조 화상의 다중화 화상, 및 시차 화상 생성부(53)로부터의 호환 화상의 시차 화상 A1' 및 보조 화상의 시차 화상의 다중화 화상을 소정의 방식으로 부호화한다. 보조용 인코더(62)는, 부호화의 결과 얻어지는 부호화 스트림을 보조용 스트림으로 하여 다중화부(59)에 공급한다.
스텝 S25에 있어서, 다중화부(59)는, 호환용 인코더(61)로부터 공급되는 호환 스트림으로부터 TS1을 생성하고, 보조용 인코더(62)로부터 공급되는 보조 스트림 및 보조 정보로부터 TS2를 생성하여, 다중화하고, 그 결과 얻어지는 다중화 스트림을 송신한다. 이 다중화 스트림은, 예를 들어 BD(Blu-Ray(등록 상표) Disc) 등에 기록되거나, 방송용 스트림으로서 송신되거나 한다. 그리고, 처리는 종료된다.
이상과 같이, 부호화 장치(50)는, 호환 스트림과, 보조 스트림 및 보조 정보를 다른 TS에 저장하여 다중화를 행하므로, 다중화에 있어서 기존의 2D 화상을 부호화하는 부호화 장치와의 호환성을 확보할 수 있다. 즉, 부호화 장치(50)는, 다시점의 화상에 대하여, 기존의 방식과의 호환성을 갖는 방식으로 다중화를 행할 수 있다.
또한, 부호화 장치(50)는, 다시점의 화상 중 1시점의 화상을 호환 화상으로 하여 기존의 부호화 방식으로 부호화하므로, 부호화에 있어서 기존의 2D 화상을 부호화하는 부호화 장치와의 호환성을 확보할 수 있다. 즉, 부호화 장치(50)는, 다시점의 화상에 대하여, 기존의 부호화 방식과의 호환성을 갖는 방식으로 부호화를 행할 수 있다.
또한, 부호화 장치(50)는, 3시점의 화상 A1 내지 C1을 부호화하므로, 부호화 장치(50)에 대응하는 복호 장치는, 3시점의 화상 A1 내지 C1로부터 다시점의 화상을 생성할 수 있다. 이에 의해, 복호 장치는, 2시점의 화상으로 생성하는 경우에 비하여, 생성 가능한 화상의 시점이 한정되지 않고, 또한, 보다 정밀도가 높은 다시점의 화상을 생성할 수 있다.
또한, 부호화 장치(50)는, 보조 화상의 해상도를 저해상도화하여 부호화하므로, 저해상도화하지 않고 부호화하는 경우에 비하여, 부호화 처리 및 복호 처리의 처리 비용을 경감할 수 있다. 예를 들어, 2시점의 보조 화상이 저해상도화되지 않고 부호화되는 경우, 부호화 처리나 복호 처리의 처리 비용은, 2매의 HD 화상에 대한 부호화 처리나 복호 처리의 처리 비용과 등가이지만, 부호화 장치(50)에 의한 2시점의 보조 화상에 대한 부호화 처리의 처리 비용은, 1매의 HD 화상에 대한 부호화 처리나 복호 처리의 처리 비용과 등가가 된다. 그 결과, 복호 장치에 있어서의 복호 처리의 성능이 다시점의 화상의 화질에 큰 영향을 미치는 것을 방지할 수 있다.
또한, 부호화 장치(50)에 대응하는 복호 장치는, 후술하는 바와 같이, 다시점의 화상을 합성할 때, 그 다시점의 화상의 시점수의 역수배로 해상도를 저하시키기 때문에, 부호화 장치(50)에 의한 보조 화상의 저해상도화는, 합성 후의 다시점의 화상의 화질에 영향을 주지 않는다.
또한, 부호화 장치(50)는, 보조 화상의 해상도를 절반으로 하여 부호화하고, 보조 화상의 시차 화상을 절반으로 하여 부호화하므로, 부호화 대상의 정보량은, AVC 방식에 있어서의 4HD 화상분(1080ix4) 정도로 할 수 있다.
여기서, 현재의 다시점의 화상을 표시하는 표시 장치와, 그에 수반하는 복호 장치의 처리 속도, 소비 전력에 대한 처리 퍼포먼스, 전송 데이터 레이트, 전송 대역 폭, 메모리의 대역 폭, 메모리의 액세스 속도 등을 종합적으로 감안하면, 복호 장치에 의해 처리 가능한 정보량으로서 타당한 값은, 현상의 MVC 방식에 있어서의 HD 화상분의 2배 정도, 즉 AVC 방식에 있어서의 4HD 화상분 정도라고 생각되어진다. 따라서, 부호화 대상의 정보량이 AVC 방식에 있어서의 4HD 화상분(1080ix4) 정도인 부호화 장치(50)에 대응하는 복호 장치(복호 방법)는, 타당한 처리 비용, 합리적인 어프로치로 실현할 수 있다.
또한, 부호화 장치(50)에서는, 부호화 대상의 정보량이 AVC 방식에 있어서의 4HD 화상분(1080ix4) 정도로 삭감되므로, 사용 가능한 대역에 제한이 있는 BD나 방송 어플리케이션으로 용이하게 취급할 수 있다.
또한, 부호화 장치(50)는, 시차 화상을 생성하여, 부호화 스트림에 포함하여 송신하므로, 부호화 장치(50)에 대응하는 복호 장치는, 다시점의 화상을 생성하기 위하여 시차 화상을 생성할 필요가 없어, 복호 장치의 처리의 부하를 경감시킬 수 있다. 그 결과, 복호 장치의 제조 비용을 저감할 수 있다. 또한, 복호 장치의 시차 검출의 성능이 다시점의 화상의 화질에 큰 영향을 미치는 것을 방지할 수 있다.
[복호 장치의 구성예]
도 8은, 도 2의 부호화 장치(50)로부터 송신되는 다중화 스트림을 복호하는 복호 장치의 구성예를 도시하는 도면이다.
도 8의 복호 장치(120)는, 분리부(121), 디코더(122), 화상 정보 취득부(123), 시점간 거리 정보 취득부(124), 시차 화상 정보 취득부(125), 호환 정보 취득부(126) 및 화상 생성부(127)에 의해 구성된다. 복호 장치(120)는, 부호화 장치(50)로부터 송신되는 다중화 스트림을 분리하여 복호하고, 1시점의 화상 또는 다시점의 화상을 생성하여, 도시하지 않은 표시 장치에 표시시킨다.
구체적으로는, 복호 장치(120)의 분리부(121)(분리부)는, 부호화 장치(50)로부터 송신되어 오는 다중화 스트림을 수신하여, TS마다 분리한다. 분리부(121)는, TS에 포함되는 호환 스트림과, TS에 포함되는 보조 스트림을 추출하여, 디코더(122)에 공급한다. 또한, 분리부(121)는, TS에 포함되는 보조 정보를 추출하여, 보조 정보 중 화상 정보를 화상 정보 취득부(123)에 공급하고, 시점 거리 정보를 시점간 거리 정보 취득부(124)에 공급한다. 또한, 분리부(121)는, 보조 정보 중 시차 화상 정보를 시차 화상 정보 취득부(125)에 공급하고, 호환 정보를 호환 정보 취득부(126)에 공급한다.
디코더(122)는, 호환용 디코더(131)와 보조용 디코더(132)에 의해 구성된다. 디코더(122)의 호환용 디코더(131)(호환 화상 복호부)는, 분리부(121)로부터 공급되는 호환 스트림에 포함되는 부호화된 호환 화상을 AVC 방식에 대응하는 방식으로 복호하여, 화상 생성부(127)에 공급한다.
보조용 디코더(132)(보조 화상 복호부)는, 분리부(121)로부터 공급되는 보조 스트림에 포함되는 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을, 도 2의 보조용 인코더(62)에 대응하는 방식으로 복호한다. 보조용 디코더(132)는, 복호의 결과 얻어지는 보조 화상의 다중화 화상, 호환 화상의 시차 화상 A', 및 보조 화상의 시차 화상의 다중화 화상을 화상 생성부(127)에 공급한다.
화상 정보 취득부(123)는, 분리부(121)로부터 공급되는 화상 정보를 취득하여, 화상 생성부(127)에 공급한다. 시점간 거리 정보 취득부(124)는, 분리부(121)로부터 공급되는 시점간 거리 정보를 취득하여, 화상 생성부(127)에 공급한다.
시차 화상 정보 취득부(125)는, 분리부(121)로부터 공급되는 시차 화상 정보를 취득하여, 화상 생성부(127)에 공급한다. 호환 정보 취득부(126)는, 분리부(121)로부터 공급되는 호환 정보를 취득하여, 화상 생성부(127)에 공급한다.
화상 생성부(127)는, 시청자로부터의 표시 명령에 따라, 화상을 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 구체적으로는, 화상 생성부(127)(생성부)는, 시청자로부터의 다시점 방식의 3D 화상의 표시 명령에 따라, 화상 정보 취득부(123)로부터의 화상 정보, 시점간 거리 정보 취득부(124)로부터의 시점간 거리 정보, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보, 호환 정보 취득부(126)로부터의 호환 정보 등에 기초하여, 호환 화상, 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을 사용하여, 도시하지 않은 표시 장치에 대응하는 3 이상의 시점수의, 호환 화상이나 보조 화상의 해상도의 절반의 해상도의 화상을 생성한다.
보다 상세하게는, 화상 생성부(127)는, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보에 포함되는 보조 화상의 시차 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상의 시차 화상의 다중화 화상으로부터, 각 보조 화상의 시차 화상을 분리한다. 또한, 화상 생성부(127)는, 화상 정보 취득부(123)로부터의 화상 정보에 포함되는 보조 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상의 다중화 화상으로부터, 각 보조 화상을 분리한다.
또한, 화상 생성부(127)는, 시점간 거리 정보와 도시하지 않은 표시 장치에 대응하는 시점수에 기초하여, 생성하는 다시점의 화상의 각 시점의 위치를 결정한다. 그리고, 화상 생성부(127)는, 호환 화상, 각 보조 화상, 호환 화상의 시차 화상 및 각 보조 화상의 시차 화상을 사용하여, 위치가 결정된 각 시점의 화상을 생성한다. 그리고, 화상 생성부(127)는, 생성된 각 시점의 화상의 해상도를, 호환 화상이나 보조 화상의 해상도의 1/시점수의 해상도로 변환하고 합성하여, 도시하지 않은 표시 장치에 표시시킨다.
이때, 합성 후의 다시점의 화상은, 시점마다 시인 가능한 각도가 상이하도록 표시되어, 시청자는, 임의의 2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 3D 화상을 볼 수 있다.
또한, 화상 생성부(127)는, 시청자로부터의 2D 화상의 표시 명령에 따라, 디코더(122)의 호환용 디코더(131)로부터 공급되는 호환 화상인 화상 A1을 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 이에 의해, 시청자는, 2D 화상을 볼 수 있다.
[복호 장치의 처리의 설명]
도 9는, 도 8의 복호 장치(120)에 의한 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 2의 부호화 장치(50)로부터 송신되는 다중화 스트림이 복호 장치(120)에 입력되었을 때, 개시된다.
도 9의 스텝 S31에 있어서, 복호 장치(120)의 화상 생성부(127)는, 시청자로부터 2D 화상의 표시가 명령되었는지 여부를 판정한다. 스텝 S31에서 시청자로부터 2D 화상의 표시가 명령되지 않았다고 판정된 경우, 즉 시청자로부터 다시점 방식의 3D 화상의 표시가 명령된 경우, 처리는 스텝 S32로 진행된다.
스텝 S32에 있어서, 분리부(121)는, 부호화 장치(50)로부터 송신되어 오는 다중화 스트림을 수신하여, 그 다중화 스트림으로부터 TS1과 TS2를 분리한다. 분리부(121)는, 델리미터 등을 참조하여, TS1에 포함되는 호환 스트림과 TS2에 포함되는 보조 스트림을 추출하여, 디코더(122)에 공급한다. 또한, 분리부(121)는, 델리미터 등을 참조하여, TS2에 포함되는 보조 정보를 추출하여, 보조 정보 중 화상 정보를 화상 정보 취득부(123)에 공급하고, 시점 거리 정보를 시점간 거리 정보 취득부(124)에 공급한다. 또한, 분리부(121)는, 보조 정보 중 시차 화상 정보를 시차 화상 정보 취득부(125)에 공급하고, 호환 정보를 호환 정보 취득부(126)에 공급한다.
스텝 S33에 있어서, 디코더(122)의 호환용 디코더(131)는, 분리부(121)로부터 공급되는 호환 스트림으로부터 부호화된 호환 화상을 추출하여, 그 호환 화상을 AVC 방식에 대응하는 방식으로 복호한다. 그리고, 호환용 디코더(131)는, 복호의 결과 얻어지는 화상 A1을 화상 생성부(127)에 공급한다.
스텝 S34에 있어서, 보조용 디코더(132)는, 보조 스트림으로부터 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 A', 및 보조 화상의 시차 화상의 다중화 화상을 추출하여, 도 2의 보조용 인코더(62)에 대응하는 방식으로 복호한다. 보조용 디코더(132)는, 복호의 결과 얻어지는 보조 화상의 다중화 화상, 호환 화상의 시차 화상 A', 및 보조 화상의 시차 화상의 다중화 화상을 화상 생성부(127)에 공급한다.
스텝 S35에 있어서, 화상 정보 취득부(123)는, 분리부(121)로부터 공급되는 화상 정보를 취득하여, 화상 생성부(127)에 입력한다. 스텝 S36에 있어서, 시점간 거리 정보 취득부(124)는, 분리부(121)로부터 공급되는 시점간 거리 정보를 취득하여, 화상 생성부(127)에 입력한다.
스텝 S37에 있어서, 시차 화상 정보 취득부(125)는, 분리부(121)로부터 공급되는 시차 화상 정보를 취득하여, 화상 생성부(127)에 입력한다. 스텝 S38에 있어서, 호환 정보 취득부(126)는, 분리부(121)로부터 공급되는 호환 정보를 취득하여, 화상 생성부(127)에 공급한다.
스텝 S39에 있어서, 화상 생성부(127)는, 시점간 거리 정보 취득부(124)로부터의 시점간 거리 정보와, 도시하지 않은 표시 장치에 대응하는 시점수에 기초하여, 생성하는 다시점의 화상의 각 시점의 위치를 결정한다. 예를 들어, 시점간 거리 정보에 포함되는 시점간 거리가 좁은 경우에는, 화상 생성부(127)는, 화상 B1과 화상 C1의 시점보다 외측의 시점의 위치도, 생성하는 다시점의 3D 화상의 시점의 위치로 결정한다. 한편, 시점간 거리 정보에 포함되는 시점간 거리가 넓은 경우에는, 화상 생성부(127)는, 화상 B1과 화상 C1의 시점보다 내측의 시점의 위치만을, 생성하는 다시점의 3D 화상의 시점의 위치로서 결정한다.
스텝 S40에 있어서, 화상 생성부(127)는, 스텝 S39에서 결정된 각 시점의 위치, 화상 정보 취득부(123)로부터의 화상 정보, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보, 호환 정보 취득부(126)로부터의 호환 정보 등에 기초하여, 호환 화상, 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을 사용하여, 각 시점의, 호환 화상이나 보조 화상의 절반의 해상도의 화상을 생성한다.
스텝 S41에 있어서, 화상 생성부(127)는, 스텝 S40에서 생성된 각 시점의 화상의 해상도를, 호환 화상이나 보조 화상의 해상도의 1/시점수의 해상도로 변환하고, 변환 후의 각 시점의 화상을 시점의 위치에 기초하여 합성한다.
스텝 S42에 있어서, 화상 생성부(127)는, 스텝 S41의 처리에 의해 얻어지는 합성 후의 다시점의 화상을 도시하지 않은 표시 장치에 출력하여, 시점마다 시인 가능한 각도가 상이하도록 표시시킨다. 그리고, 처리는 종료된다.
한편, 스텝 S31에서 시청자로부터 2D 화상의 표시가 명령되었다고 판정된 경우, 스텝 S43에 있어서, 분리부(121)는, 다중화 스트림으로부터 TS1을 분리한다. 구체적으로는, 분리부(121)는, 다중화 스트림 중 3DV Representation Delimiter NAL unit이 부가된 TS2 이외의 TS1을 취득한다. 그리고, 분리부(121)는, 델리미터 등을 참조하여, TS1에 포함되는 호환 스트림을 추출하여, 디코더(122)에 공급한다.
스텝 S44에 있어서, 디코더(122)의 호환용 디코더(131)는, 분리부(121)로부터 공급되는 호환 스트림으로부터 부호화된 호환 화상을 추출하여, AVC 방식에 대응하는 방식으로 복호한다. 호환용 디코더(131)는, 복호의 결과 얻어지는 호환 화상인 화상 A를 화상 생성부(127)에 공급한다.
스텝 S45에 있어서, 화상 생성부(127)는, 호환용 디코더(131)로부터 공급되는 호환 화상인 화상 A1을 도시하지 않은 표시 장치에 출력하여, 표시시킨다. 그리고, 처리는 종료된다.
또한, 복호 장치(120)와의 호환성을 갖는 호환 스트림만을 복호 가능한 복호 장치에서는, 3DV Representation Delimiter NAL unit이 부가된 TS2가 무시되고, 스텝 S44 및 S45의 처리가 행해진다.
이상과 같이, 복호 장치(120)는, 부호화 장치(50)에 의해 기존의 방식과의 호환성을 갖는 방식으로 다중화된 다중화 스트림을 분리할 수 있다. 또한, 복호 장치(120)는, 부호화 장치(50)에 의해 기존의 방식과의 호환성을 갖고, 처리 비용이 비교적 적은 방식으로 부호화된 호환 스트림과 보조 스트림을 복호할 수 있다.
또한, 복호 장치(120)는, 1시점의 호환 화상과 2시점의 보조 화상을 사용하여 다시점의 화상을 생성하므로, 부호화 장치(50)는, 다시점의 화상을 생성하기 위한 촬영부로서, 기존의 1시점의 호환 화상을 촬영하는 촬영부(51A) 외에, 2대의 촬영부(51B)와 촬영부(51C)만 준비하면 된다. 따라서, 다시점의 화상을 생성하기 위한 촬영부의 설치를 용이하게, 또한 저비용으로 행할 수 있다.
[TS의 다른 구성예]
도 10은, 도 2의 다중화부(59)에 의해 생성되는 TS의 다른 구성예를 도시하는 도면이다.
도 10의 예에서는, 다중화부(59)에 있어서, 3개의 TS가 생성되고, 보조 스트림과 보조 정보가 다른 TS에 포함된다. 구체적으로는, 호환 스트림으로부터 TS1이 생성되고, 보조 스트림으로부터 TS2가 생성되고, 보조 정보로부터 TS3이 생성된다.
도 10의 예에서는, 비교적 정보량이 적은 보조 정보로만 단독의 TS3이 생성된다. 따라서, 예를 들어 BD의 어플리케이션과 같이, 동시에 처리 가능한 TS의 수에 제한이 있는 어플리케이션을 실행하는 복호 장치는, 비교적 정보량이 적은 TS3을 프리로드함으로써, TS1과 TS2를 동기하여 재생하는 것이 가능하게 된다.
또한, 보조 스트림을 포함하여 이루어지는 TS2 및 보조 정보를 포함하여 이루어지는 TS3의 선두에는, 보조 스트림과 보조 정보가 동일한 TS에 포함되는 경우와 마찬가지로, 도 5에 도시한 3DV Representation Delimiter가 배치된다.
도 11은, 도 10의 TS2의 상세 구성예를 도시하는 도면이다.
도 11의 A 내지 도 11의 C에 도시한 바와 같이, 도 10의 TS2에는, 유닛 단위로 데이터가 배치되고, 각 유닛의 선두에는, 유닛의 단락을 나타내는 델리미터가 삽입된다.
도 11의 A의 예에서는, 각 유닛에, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상(B+C), 호환 화상의 시차 화상(A'), 또는 보조 화상의 시차 화상의 다중화 화상(B'+C')이, 데이터로서 배치되어 있다.
이 경우, TS2를 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을, 각각 독립적으로 추출할 수 있다. 그 결과, 예를 들어 복호 장치가, 호환 화상과 호환 화상의 시차 화상만을 사용하여 다시점의 화상을 생성하는 경우, 다시점의 화상의 생성에 사용되는 화상을 용이하게 추출할 수 있다.
도 11의 B의 예에서는, 각 유닛에, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상이 통합되어 배치되어 있다. 이 경우, TS2를 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을 통합하여 추출할 수 있다.
도 11의 C의 예에서는, 각 유닛에, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상 또는, 부호화된 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상이, 통합되어 배치되어 있다.
이 경우, TS2를 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상과, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을, 각각 독립적으로 추출할 수 있다. 그 결과, 예를 들어 복호 장치에 있어서, 화상용 디코더와 시차 화상용 디코더가 별도로 준비되는 경우, 각각의 디코더에 효율적으로 데이터를 공급할 수 있다. 또한, 복호 장치에 있어서, 화상과 시차 화상을 용이하게 독립하여 처리할 수 있다.
도 12는 도 10의 TS3의 상세 구성예를 도시하는 도면이다.
도 12의 A 내지 도 12의 D에 도시한 바와 같이, 도 10의 TS3에는, 유닛 단위로 데이터가 배치되고, 각 유닛의 선두에는, 유닛의 단락을 나타내는 델리미터가 삽입된다.
도 12의 A의 예에서는, 각 유닛에, 액세스 유닛 단위의 보조 화상의 다중화 화상의 보조 정보(Aux Info(B+C)), 호환 화상의 시차 화상의 보조 정보(Aux Info(A')), 또는 보조 화상의 시차 화상의 다중화 화상의 보조 정보(Aux Info(B'+C'))가, 데이터로서 배치되어 있다.
이 경우, TS2를 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 보조 화상의 다중화 화상의 보조 정보, 호환 화상의 시차 화상의 보조 정보 및 보조 화상의 시차 화상의 다중화 화상의 보조 정보를, 각각 독립적으로 추출할 수 있다. 그 결과, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을 용이하게 독립하여 처리할 수 있다.
도 12의 B의 예에서는, 각 유닛에, 액세스 유닛 단위의 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상의 보조 정보(Aux Info(B+C, A',B'+C'))가 통합되어 배치되어 있다. 이 경우, TS2를 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상의 보조 정보를 통합하여 추출할 수 있다.
도 12의 C의 예에서는, 각 유닛에, 액세스 유닛 단위의 보조 화상의 다중화 화상의 보조 정보(Aux Info(B+C)) 또는, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상의 보조 정보(Aux Info(A',B'+C'))가, 배치되어 있다.
이 경우, TS3을 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 보조 화상의 다중화 화상의 보조 정보와, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상의 보조 정보를, 각각 독립적으로 추출할 수 있다. 그 결과, 예를 들어 복호 장치에 있어서, 화상용 디코더와 시차 화상용 디코더가 별도로 준비되는 경우, 복호 결과에 동기하여 효율적으로 보조 정보를 공급할 수 있다.
도 12의 D의 예에서는, 각 유닛에, 소정의 시간분(예를 들어, 2시간분)의 보조 화상의 다중화 화상의 보조 정보(Aux Info(All B+C)), 호환 화상의 시차 화상의 보조 정보(Aux Info(All A')), 및 보조 화상의 시차 화상의 다중화 화상의 보조 정보(Aux Info(All B'+C'))가 배치되어 있다. 이 경우, TS3을 수신하는 복호 장치는, 보조 정보를 프리로드할 때, 유닛 단위로 데이터를 추출함으로써, 소정의 시간분의 보조 화상의 다중화 화상의 보조 정보, 호환 화상의 시차 화상의 보조 정보 및 보조 화상의 시차 화상의 다중화 화상의 보조 정보를 각각 통합하여 추출하여, 유지할 수 있다.
[다른 부호화 처리의 설명]
도 10 내지 도 12에서 설명한 구성의 TS를 생성하는 경우의 부호화 장치(50)의 부호화 처리는, 도 7의 스텝 S25에서, 호환 스트림으로부터 TS1을 생성하고, 보조 스트림으로부터 TS2를 생성하고, 보조 정보로부터 TS3을 생성하여 다중화하는 점을 제외하고, 도 6 및 도 7의 부호화 처리와 마찬가지이므로 설명은 생략한다.
[다른 복호 처리의 설명]
도 13은, 다중화 스트림에 있어서 다중화되어 있는 TS의 구성이 도 10 내지 도 12에서 설명한 구성인 경우의 도 8의 복호 장치(120)에 의한 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 2의 부호화 장치(50)로부터 송신되는 다중화 스트림이 복호 장치(120)에 입력되었을 때, 개시된다.
도 13의 스텝 S51에 있어서, 복호 장치(120)의 화상 생성부(127)는, 시청자로부터 2D 화상의 표시가 명령되었는지 여부를 판정한다. 스텝 S31에서 시청자로부터 2D 화상의 표시가 명령되지 않았다고 판정된 경우, 즉 시청자로부터 다시점 방식의 3D 화상의 표시가 명령된 경우, 처리는 스텝 S52로 진행된다.
스텝 S52에 있어서, 분리부(121)는, 부호화 장치(50)로부터 송신되어 오는 다중화 스트림을 취득하여, 그 다중화 스트림으로부터 TS3을 분리한다. 그리고, 분리부(121)는, 델리미터 등을 참조하여, TS3에 포함되는 보조 정보를 추출하여, 보조 정보 중 화상 정보를 화상 정보 취득부(123)에 공급하여 유지시키고, 시점 거리 정보를 시점간 거리 정보 취득부(124)에 공급하여 유지시킨다. 또한, 분리부(121)는, 보조 정보 중 시차 화상 정보를 시차 화상 정보 취득부(125)에 공급하여 유지시키고, 호환 정보를 호환 정보 취득부(126)에 공급하여 유지시킨다. 그리고, 처리는 스텝 S53으로 진행된다.
스텝 S53 내지 S66의 처리는, 도 9의 스텝 S32 내지 S45의 처리와 마찬가지이므로, 설명은 생략한다.
또한, 복호 장치(120)와의 호환성을 갖는 호환 스트림만을 복호 가능한 복호 장치에서는, TS2 및 TS3이 무시되고, 스텝 S65 및 S66의 처리가 행해진다.
<제2 실시 형태>
[부호화 장치의 제2 실시 형태의 구성예]
도 14는, 본 기술을 적용한 부호화 장치의 제2 실시 형태의 구성예를 도시하는 블록도이다.
도 14에 도시하는 구성 중, 도 2의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 14의 부호화 장치(140)의 구성은, 주로 촬영부(51A) 내지 촬영부(51C), 화상 변환부(52), 시차 화상 생성부(53), 시점간 거리 정보 생성부(56), 인코더(58) 대신 촬영부(141A) 내지 촬영부(141D), 화상 변환부(142), 시차 화상 생성부(143), 시점간 거리 정보 생성부(144), 인코더(145)가 설치되어 있는 점이 도 2의 구성과 상이하다.
부호화 장치(140)는, 다시점의 화상 중 2시점의 화상을 호환 화상으로 하여 AVC 방식으로 부호화하고, 단독으로 TS를 생성함으로써, 기존의 2시점 방식의 3D 화상을 AVC 방식으로 부호화하는 부호화 장치와의 호환성을 확보한다.
구체적으로는, 부호화 장치(140)의 촬영부(141A)는, 소정의 시점의 HD 화상을 화상 A2로서 촬영하여, 화상 변환부(142), 시차 화상 생성부(143) 및 시점간 거리 정보 생성부(144)에 공급한다. 촬영부(141B)는, 촬영부(141A)로부터 거리 Δd2AB만큼 수평 방향으로 이격된 위치에서, 화상 A2와는 상이한 시점의 HD 화상을 화상 B2로서 촬영하여, 화상 변환부(142), 시차 화상 생성부(143) 및 시점간 거리 정보 생성부(144)에 공급한다.
촬영부(141C)는, 촬영부(141B)로부터 거리 Δd2BC만큼 촬영부(141A)와는 반대인 수평 방향으로 이격된 위치에서, 화상 A2 및 화상 B2와는 상이한 시점의 HD 화상을 화상 C2로서 촬영하여, 화상 변환부(142), 시차 화상 생성부(143) 및 시점간 거리 정보 생성부(144)에 공급한다. 촬영부(141D)는, 촬영부(141A)로부터 거리 Δd2AD만큼 촬영부(141B)와는 반대인 수평 방향으로 이격된 위치에서, 화상 A2 내지 화상 C2와는 상이한 시점의 HD 화상을 화상 D2로서 촬영하여, 화상 변환부(142), 시차 화상 생성부(143) 및 시점간 거리 정보 생성부(144)에 공급한다.
또한, 화상 C2와 화상 D2에 대응하는 시점은, 3D 화상으로서 지각 가능한 화상의 시점 중, 보다 외측의 시점이다. 이에 의해, 부호화 장치(140)에 대응하는 복호 장치는, 화상 A2 내지 화상 D2를 사용하여, 화상 C2 및 화상 D2의 시점보다 내측의 시점의 화상을 보간함으로써, 다시점의 화상을 생성할 수 있다. 그 결과, 내측의 시점의 화상을 사용하여 외측의 시점의 화상을 보간하는 경우에 비하여, 다시점의 화상을 고정밀도로 생성할 수 있다. 거리 Δd2AB, 거리 Δd2BC 및 거리 Δd2AD는, 고정이어도 좋고, 시간마다 변화하도록 해도 좋다.
화상 변환부(142)는, 촬영부(141A) 내지 촬영부(141D) 중 수평 방향의 위치가 내측에 있는 촬영부(141A)로부터 공급되는 화상 A2와 촬영부(141B)로부터 공급되는 화상 B2를 호환 화상으로 결정한다. 그리고, 화상 변환부(142)는, 호환 화상인 화상 A2 및 화상 B2를 소정의 다중화 방식으로 다중화하여, 인코더(145)에 공급한다. 또한, 화상 변환부(142)는, 호환 화상으로서 화상 A2 및 화상 B2를 지정하는 정보를 호환 정보 생성부(55)에 공급한다.
또한, 화상 변환부(142)는, 화상 A2 및 화상 B2 이외의 화상 C2 및 화상 D2를 보조 화상으로 하여 소정의 다중화 방식으로 다중화한다. 화상 변환부(142)는, 다중화의 결과 얻어지는 다중화 화상을 인코더(145)에 공급한다. 화상 변환부(142)는, 호환 화상과 보조 화상의 다중화 방식을 나타내는 정보를 화상 정보 생성부(54)에 공급한다.
시차 화상 생성부(143)는, 촬영부(141A) 내지 촬영부(141D)로부터 공급되는 화상 A2 내지 화상 D2를 사용하여, 화상 A2 내지 화상 D2의 각 화소의 시차를 검출한다. 시차 화상 생성부(143)는, 호환 화상인 화상 A2의 각 화소의 시차를 나타내는 시차 화상 A2'와, 화상 B2의 각 화소의 시차를 나타내는 시차 화상 B2'를 생성하여, 소정의 다중화 방식으로 다중화한다. 시차 화상 생성부(143)는, 그 결과 얻어지는 다중화 화상을 인코더(145)에 공급한다.
또한, 시차 화상 생성부(143)는, 보조 화상인 화상 C2의 각 화소의 시차를 나타내는 시차 화상 C2'와, 보조 화상인 화상 D2의 각 화소의 시차를 나타내는 시차 화상 D2'를 생성하여, 소정의 다중화 방식으로 다중화한다. 시차 화상 생성부(143)는, 그 결과 얻어지는 다중화 화상을 인코더(145)에 공급한다. 시차 화상 생성부(143)는, 호환 화상 및 보조 화상의 시차 화상의 다중화 방식을 나타내는 정보를 시차 화상 정보 생성부(57)에 공급한다.
시점간 거리 정보 생성부(144)는, 촬영부(141A) 내지 촬영부(141D)로부터 공급되는 화상 A2 내지 화상 D2를 사용하여, 화상 A2 내지 화상 D2의 시점간 거리를 검출한다. 예를 들어, 시점간 거리 정보 생성부(144)는, 촬영부(141A)와 촬영부(141B) 사이의 수평 방향의 거리 Δd2AB, 촬영부(141B)와 촬영부(141C) 사이의 수평 방향의 거리 Δd2BC, 촬영부(141A)와 촬영부(141D) 사이의 수평 방향의 거리 Δd2AD를 시점간 거리로서 검출한다. 시점간 거리 정보 생성부(144)는, 시점간 거리를 나타내는 정보 등을 시점간 거리 정보로서 생성하여, 다중화부(59)에 공급한다.
인코더(145)는, 호환용 인코더(151)와 보조용 인코더(152)에 의해 구성된다. 호환용 인코더(151)는, 화상 변환부(142)로부터 공급되는 호환 화상의 다중화 화상과 보조 화상의 다중화 화상으로부터 호환 화상의 다중화 화상을 지정하여, 호환 화상의 다중화 화상에 대하여 기존의 AVC 방식으로 액세스 유닛 단위의 부호화를 행한다. 인코더(145)는, 그 결과 얻어지는 부호화 스트림을 호환 스트림으로 하여 다중화부(59)에 공급한다.
보조용 인코더(152)는, 화상 변환부(142)로부터의 보조 화상의 다중화 화상, 및 시차 화상 생성부(143)로부터의 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상에 대하여 소정의 방식으로 액세스 유닛 단위의 부호화를 행한다. 보조용 인코더(152)는, 그 결과 얻어지는 부호화 스트림을 보조 스트림으로 하여 다중화부(59)에 공급한다. 또한, 보조용 인코더(152)에 있어서의 부호화 방식으로서는, 예를 들어 AVC 방식, MVC 방식 등을 사용할 수 있다.
[TS의 구성예]
도 15는, 도 14의 다중화부(59)에 의해 생성되는 TS의 구성예를 도시하는 도면이다.
도 15의 예에서는, 다중화부(59)에 있어서, 호환 스트림으로부터 TS1이 생성되고, 보조 스트림과 보조 정보로부터 TS2가 생성된다.
또한, 도시는 생략하지만, 도 15의 TS2의 구성은, 호환 화상의 시차 화상 대신 호환 화상의 시차 화상의 다중화 화상이 배치되는 점을 제외하고 도 4에서 설명한 구성과 마찬가지이다.
[부호화 장치의 처리의 설명]
도 16 및 도 17은, 도 14의 부호화 장치(140)에 의한 부호화 처리를 설명하는 흐름도이다. 이 부호화 처리는, 예를 들어 촬영부(141A) 내지 촬영부(141D)로부터 화상 A2 내지 화상 D2가 출력되었을 때 개시된다.
도 16의 스텝 S71에 있어서, 시점간 거리 정보 생성부(144)는, 촬영부(141A) 내지 촬영부(141D)로부터 공급되는 화상 A2 내지 화상 D2를 사용하여, 거리 Δd2AB, 거리 Δd2BC, 거리 Δd2AD를 시점간 거리로서 검출한다.
스텝 S72에 있어서, 시점간 거리 정보 생성부(144)는, 스텝 S71에서 검출된 시점간 거리를 나타내는 정보 등을 시점간 거리 정보로서 생성하여, 다중화부(59)에 입력한다.
스텝 S73에 있어서, 화상 변환부(142)는, 촬영부(141A) 내지 촬영부(141D) 중 수평 방향의 위치가 내측에 있는 촬영부(141A)로부터 공급되는 화상 A2와, 촬영부(141B)로부터 공급되는 화상 B2를 호환 화상으로 결정하고, 호환 화상 및 보조 화상의 다중화 방식을 결정한다. 화상 변환부(142)는, 호환 화상으로서 화상 A2 및 화상 B2를 지정하는 정보를 호환 정보 생성부(55)에 공급하고, 호환 화상 및 보조 화상의 다중화 방식을 화상 정보 생성부(54)에 공급한다.
스텝 S74에 있어서, 호환 정보 생성부(55)는, 화상 변환부(142)로부터 공급되는 정보에 기초하여, 호환 화상으로서 화상 A2 및 화상 B2를 지정하는 정보, 호환 모드로서의 프레임 패킹 모드 등을 호환 정보로서 생성하여, 다중화부(59)에 입력한다.
스텝 S75에 있어서, 화상 변환부(142)는, 스텝 S73에서 결정된 호환 화상의 다중화 방식에 기초하여 호환 화상인 화상 A2와 화상 B2를 다중화하여, 인코더(145)에 공급한다.
스텝 S76에 있어서, 화상 정보 생성부(54)는, 화상 변환부(142)로부터 공급되는 정보에 기초하여, 호환 화상 및 보조 화상의 다중화 방식을 나타내는 정보 등을 화상 정보로서 생성하여, 다중화부(59)에 입력한다.
스텝 S77에 있어서, 화상 변환부(142)는, 화상 A2 및 화상 B2 이외의 화상 C2 및 화상 D2를 보조 화상으로 하고, 스텝 S73에서 결정된 보조 화상의 다중화 방식에 기초하여 보조 화상을 다중화하여, 보조 화상의 다중화 화상을 얻는다.
스텝 S78에 있어서, 화상 변환부(142)는, 호환 화상의 다중화 화상과 보조 화상의 다중화 화상을 인코더(145)에 입력한다.
도 17의 스텝 S79에 있어서, 시차 화상 생성부(143)는, 촬영부(141A) 내지 촬영부(141D)로부터 공급되는 화상 A2 내지 화상 D2를 사용하여 화상 A2 내지 화상 D2의 각 화소의 시차를 검출하여, 시차 화상 A2' 내지 시차 화상 D2'를 생성한다.
스텝 S80에 있어서, 시차 화상 생성부(143)는, 호환 화상의 시차 화상과 보조 화상의 시차 화상의 다중화 방식을 결정하여, 그 다중화 방식을 나타내는 정보를 시차 화상 정보 생성부(57)에 공급한다.
스텝 S81에 있어서, 시차 화상 정보 생성부(57)는, 시차 화상 생성부(143)로부터 공급되는 정보에 기초하여, 호환 화상의 시차 화상과 보조 화상의 시차 화상의 다중화 방식을 나타내는 정보 등을, 시차 화상 정보로서 생성하여, 다중화부(59)에 입력한다.
스텝 S82에 있어서, 시차 화상 생성부(143)는, 스텝 S80에서 결정된 호환 화상의 시차 화상의 다중화 방식에 기초하여, 호환 화상의 시차 화상 A2'와 시차 화상 B2'를 다중화하고, 보조 화상의 시차 화상의 다중화 방식에 기초하여 보조 화상의 시차 화상 C2'와 시차 화상 D2'를 다중화한다.
스텝 S83에 있어서, 시차 화상 생성부(143)는, 스텝 S82의 다중화의 결과 얻어지는 호환 화상의 시차 화상의 다중화 화상과 보조 화상의 시차 화상의 다중화 화상을 인코더(145)에 입력한다.
스텝 S84에 있어서, 인코더(145)의 호환용 인코더(151)는, 화상 변환부(142)로부터 공급되는 호환 화상의 다중화 화상을 기존의 AVC 방식으로 부호화하고, 그 결과 얻어지는 부호화 스트림을 호환 스트림으로 하여 다중화부(59)에 공급한다.
스텝 S85에 있어서, 보조용 인코더(152)는, 화상 변환부(142)로부터의 보조 화상의 다중화 화상, 및 시차 화상 생성부(143)로부터의 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 소정의 방식으로 부호화한다. 보조용 인코더(152)는, 부호화의 결과 얻어지는 부호화 스트림을 보조용 스트림으로 하여 다중화부(59)에 공급한다.
스텝 S86에 있어서, 다중화부(59)는, 호환용 인코더(151)로부터 공급되는 호환 스트림으로부터 TS1을 생성하고, 보조용 인코더(152)로부터 공급되는 보조 스트림 및 보조 정보로부터 TS2를 생성하여, 다중화하고, 그 결과 얻어지는 다중화 스트림을 송신한다. 이 다중화 스트림은, 예를 들어 BD 등에 기록되거나, 방송용 스트림으로서 송신되거나 한다. 그리고, 처리는 종료된다.
이상과 같이, 부호화 장치(140)는, 호환 스트림과, 보조 스트림 및 보조 정보를 다른 TS에 저장하여 다중화를 행하므로, 다중화에 있어서 기존의 2시점 방식의 3D 화상을 AVC 방식으로 부호화하는 부호화 장치와의 호환성을 확보할 수 있다. 즉, 부호화 장치(140)는, 다시점의 화상에 대하여, 기존의 방식과의 호환성을 갖는 방식으로 다중화를 행할 수 있다.
또한, 부호화 장치(140)는, 다시점의 화상 중 2시점의 화상을 호환 화상으로 하여 기존의 부호화 방식으로 부호화하므로, 부호화에 있어서 기존의 2시점 방식의 3D 화상을 부호화하는 부호화 장치와의 호환성을 확보할 수 있다.
또한, 부호화 장치(140)는, 4시점의 화상 A2 내지 D2를 부호화하므로, 부호화 장치(140)에 대응하는 복호 장치는, 4시점의 화상 A2 내지 D2로부터 다시점의 화상을 생성할 수 있다. 이에 의해, 복호 장치는, 2시점의 화상으로 생성하는 경우에 비하여, 생성 가능한 화상의 시점이 한정되지 않고, 또한 보다 정밀도가 높은 다시점의 화상을 생성할 수 있다.
[복호 장치의 구성예]
도 18은, 도 14의 부호화 장치(140)로부터 송신되는 다중화 스트림을 복호하는 복호 장치의 구성예를 도시하는 도면이다.
도 18에 도시하는 구성 중, 도 8의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 18의 복호 장치(170)의 구성은, 주로, 화상 생성부(127) 대신 화상 생성부(171)가 설치되어 있는 점이 도 8의 구성과 상이하다. 복호 장치(170)는, 부호화 장치(140)로부터 송신되는 다중화 스트림을 복호하고, 2시점의 화상 또는 다시점의 화상을 생성하여, 도시하지 않은 표시 장치에 표시시킨다.
구체적으로는, 복호 장치(170)의 화상 생성부(171)는, 시청자로부터의 표시 명령에 따라, 화상을 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 상세하게는, 화상 생성부(171)는, 시청자로부터의 다시점 방식의 3D 화상의 표시 명령에 따라, 화상 정보 취득부(123)로부터의 화상 정보, 시점간 거리 정보 취득부(124)로부터의 시점간 거리 정보, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보, 호환 정보 취득부(126)로부터의 호환 정보 등에 기초하여, 호환 화상의 다중화 화상, 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 사용하여, 도시하지 않은 표시 장치에 대응하는 3 이상의 시점수의, 호환 화상이나 보조 화상의 해상도의 절반의 해상도의 화상을 생성한다.
보다 상세하게는, 화상 생성부(171)는, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보에 포함되는 보조 화상의 시차 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상의 시차 화상의 다중화 화상으로부터, 각 보조 화상의 시차 화상을 분리한다. 또한, 화상 생성부(171)는, 시차 화상 정보에 포함되는 호환 화상의 시차 화상의 다중화 방식을 나타내는 정보에 기초하여, 호환 화상의 시차 화상의 다중화 화상으로부터, 각 호환 화상의 시차 화상을 분리한다.
또한, 화상 생성부(171)는, 화상 정보 취득부(123)로부터의 화상 정보에 포함되는 보조 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상의 다중화 화상으로부터, 각 보조 화상을 분리한다. 또한, 화상 생성부(171)는, 화상 정보에 포함되는 호환 화상의 다중화 방식을 나타내는 정보에 기초하여, 호환 화상의 다중화 화상으로부터, 각 호환 화상을 분리한다.
또한, 화상 생성부(171)는, 시점간 거리 정보와 도시하지 않은 표시 장치에 대응하는 시점수에 기초하여, 생성하는 다시점의 화상의 각 시점의 위치를 결정한다. 그리고, 화상 생성부(171)는, 각 호환 화상, 각 보조 화상, 각 호환 화상의 시차 화상 및 각 보조 화상의 시차 화상을 사용하여, 위치가 결정된 각 시점의 화상을 생성한다. 그리고, 화상 생성부(171)는, 생성된 다시점의 화상의 해상도를, 호환 화상이나 보조 화상의 해상도의 1/시점수의 해상도로 변환하고 합성하여, 도시하지 않은 표시 장치에 표시시킨다.
이때, 합성 후의 다시점의 화상은, 시점마다 시인 가능한 각도가 상이하도록 표시되어, 시청자는, 임의의 2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 3D 화상을 볼 수 있다.
또한, 화상 생성부(171)는, 시청자로부터의 2시점 방식의 3D 화상의 표시 명령에 따라, 화상 정보 취득부(123)로부터의 화상 정보에 기초하여, 디코더(122)로부터 공급되는 호환 화상의 다중화 화상을, 호환 화상의 해상도의 절반의 해상도의 화상 A2와 화상 B2로 분리한다. 그리고, 화상 생성부(171)는, 분리된 호환 화상의 해상도의 절반의 해상도의 화상 A2와 화상 B2를 교대로 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 이때, 시청자는, 화상 A2의 표시 시에 좌안용 셔터 또는 우안용 셔터의 한쪽이 개방되고, 화상 B2의 표시 시에 다른 쪽이 개방되는 안경을 장착하여, 표시 장치에 교대로 표시되는 화상 A2와 화상 B2를 봄으로써, 3D 화상을 볼 수 있다.
[복호 장치의 처리의 설명]
도 19는, 도 18의 복호 장치(170)에 의한 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 14의 부호화 장치(140)로부터 송신되는 다중화 스트림이 복호 장치(170)에 입력되었을 때, 개시된다.
도 19의 스텝 S91에 있어서, 복호 장치(170)의 분리부(121)는, 부호화 장치(50)로부터 송신되어 오는 다중화 스트림을 취득하고, 그 다중화 스트림으로부터 TS1과 TS2를 분리한다. 분리부(121)는, 델리미터 등을 참조하여, TS1에 포함되는 호환 스트림과 TS2에 포함되는 보조 스트림을 추출하여, 디코더(122)에 공급한다. 또한, 분리부(121)는, 델리미터 등을 참조하여, TS2에 포함되는 보조 정보를 추출하여, 보조 정보 중 화상 정보를 화상 정보 취득부(123)에 공급하고, 시점 거리 정보를 시점간 거리 정보 취득부(124)에 공급한다. 또한, 분리부(121)는, 보조 정보 중 시차 화상 정보를 시차 화상 정보 취득부(125)에 공급하고, 호환 정보를 호환 정보 취득부(126)에 공급한다.
스텝 S92에 있어서, 화상 생성부(171)는, 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었는지 여부를 판정한다. 스텝 S92에서 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되지 않았다고 판정된 경우, 즉 다시점 방식의 3D 화상의 표시가 명령된 경우, 처리는 스텝 S93으로 진행된다.
스텝 S93 내지 S102의 처리는, 호환 화상이 호환 화상의 다중화 화상이며, 호환 화상의 시차 화상이 호환 화상의 시차 화상의 다중화 화상인 점을 제외하고, 도 9의 스텝 S33 내지 S42의 처리와 마찬가지이므로, 설명은 생략한다.
한편, 스텝 S92에서 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었다고 판정된 경우, 처리는 스텝 S103으로 진행된다.
스텝 S103에 있어서, 디코더(122)의 호환용 디코더(131)는, 분리부(121)로부터 공급되는 호환 스트림으로부터 부호화된 호환 화상의 다중화 화상을 추출하여, AVC 방식에 대응하는 방식으로 복호한다. 호환용 디코더(131)는, 복호의 결과 얻어지는 호환 화상의 다중화 화상을 화상 생성부(171)에 공급한다.
스텝 S104에 있어서, 화상 정보 취득부(123)는, 분리부(121)로부터 공급되는 화상 정보를 화상 생성부(171)에 입력한다.
스텝 S105에 있어서, 화상 생성부(171)는, 화상 정보 취득부(123)로부터 공급되는 화상 정보에 포함되는 호환 화상의 다중화 방식을 나타내는 정보에 기초하여, 호환용 디코더(131)에 의한 복호의 결과 얻어지는 호환 화상의 다중화 화상을 분리한다.
스텝 S106에 있어서, 화상 생성부(171)는, 분리된 호환 화상의 해상도의 절반의 해상도의 호환 화상인 화상 A2 및 화상 B2를, 교대로 도시하지 않은 표시 장치에 출력하여, 표시시킨다. 그리고, 처리는 종료된다.
또한, 복호 장치(170)와의 호환성을 갖는 호환 스트림만을 복호 가능한 복호 장치에서는, 3DV Representation Delimiter NAL unit이 부가된 TS2가 무시되고, 스텝 S103, S105 및 S106의 처리가 행해진다. 단, 이 경우, 스텝 S105의 처리에서는, 미리 결정된 다중화 방식에 기초하여, 호환 화상의 다중화 화상이 분리된다.
이상과 같이, 복호 장치(170)는, 부호화 장치(140)에 의해 기존의 방식과의 호환성을 갖는 방식으로 다중화된 다중화 스트림을 분리할 수 있다. 또한, 복호 장치(170)는, 부호화 장치(140)에 의해 기존의 방식과의 호환성을 갖고, 처리 비용이 비교적 적은 방식으로 부호화된 호환 스트림과 보조 스트림을 복호할 수 있다.
또한, 복호 장치(170)는, 2시점의 호환 화상과 2시점의 보조 화상을 사용하여 다시점의 화상을 생성하므로, 부호화 장치(140)는, 다시점의 화상을 생성하기 위한 촬영부로서, 기존의 2시점의 호환 화상을 촬영하는 촬영부(141A) 및 촬영부(141B) 외에, 2대의 촬영부(141C)와 촬영부(141D)만 준비하면 된다. 따라서, 다시점의 화상을 생성하기 위한 촬영부의 설치를 용이하게, 또한, 저비용으로 행할 수 있다.
[TS의 다른 구성예]
도 20은, 도 14의 다중화부(59)에 의해 생성되는 TS의 다른 구성예를 도시하는 도면이다.
도 20의 예에서는, 다중화부(59)에 있어서, 3개의 TS가 생성되고, 보조 스트림과 보조 정보가 다른 TS에 포함된다. 구체적으로는, 호환 스트림으로부터 TS1이 생성되고, 보조 스트림으로부터 TS2가 생성되고, 보조 정보로부터 TS3이 생성된다.
도 20의 예에서는, 비교적 정보량이 적은 보조 정보만으로 단독의 TS3이 생성된다. 따라서, 예를 들어 BD의 어플리케이션과 같이, 동시에 처리 가능한 TS의 수에 제한이 있는 어플리케이션을 실행하는 복호 장치는, 비교적 정보량이 적은 TS3을 프리로드함으로써, TS1과 TS2를 동기하여 재생하는 것이 가능하게 된다.
또한, 도시는 생략하지만, 도 20의 TS2의 구성은, 호환 화상의 시차 화상 대신 호환 화상의 시차 화상의 다중화 화상이 배치되는 점을 제외하고 도 11에서 설명한 구성과 마찬가지이다. 또한, TS3의 구성은, 호환 화상의 시차 화상의 보조 화상 대신 호환 화상의 시차 화상의 다중화 화상의 보조 화상이 배치되는 점을 제외하고 도 12에서 설명한 구성과 마찬가지이다.
[다른 부호화 처리의 설명]
도 20에서 설명한 구성의 TS를 생성하는 경우의 부호화 장치(140)의 부호화 처리는, 도 17의 스텝 S86에서, 호환 스트림으로부터 TS1을 생성하고, 보조 스트림으로부터 TS2를 생성하고, 보조 정보로부터 TS3을 생성하여 다중화하는 점을 제외하고, 도 16 및 도 17의 부호화 처리와 마찬가지이므로 설명은 생략한다.
[다른 복호 처리의 설명]
도 21은, 다중화 스트림에 있어서 다중화되어 있는 TS의 구성이 도 20에서 설명한 구성인 경우의 도 18의 복호 장치(170)에 의한 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 14의 부호화 장치(140)로부터 송신되는 다중화 스트림이 복호 장치(170)에 입력되었을 때, 개시된다.
도 21의 스텝 S111에 있어서, 복호 장치(120)의 분리부(121)는, 부호화 장치(50)로부터 송신되어 오는 다중화 스트림을 취득하고, 그 다중화 스트림으로부터 TS3을 분리한다. 그리고, 분리부(121)는, 델리미터 등을 참조하여, TS3에 포함되는 보조 정보를 추출한다. 분리부(121)는, 보조 정보 중 화상 정보를 화상 정보 취득부(123)에 공급하여 유지시키고, 시점 거리 정보를 시점간 거리 정보 취득부(124)에 공급하여 유지시킨다. 또한, 분리부(121)는, 보조 정보 중 시차 화상 정보를 시차 화상 정보 취득부(125)에 공급하여 유지시키고, 호환 정보를 호환 정보 취득부(126)에 공급하여 유지시킨다. 그리고, 처리는 스텝 S112로 진행된다.
스텝 S112에 있어서, 화상 생성부(127)는, 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었는지 여부를 판정한다. 스텝 S112에서 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되지 않았다고 판정된 경우, 즉 다시점 방식의 3D 화상의 표시가 명령된 경우, 처리는 스텝 S113으로 진행된다.
스텝 S113에 있어서, 분리부(121)는, 다중화 스트림으로부터, TS1과 TS2를 분리한다. 분리부(121)는, 델리미터 등을 참조하여, TS1에 포함되는 호환 스트림과 TS2에 포함되는 보조 스트림을 추출하여, 디코더(122)에 공급한다. 그리고, 처리는 스텝 S114로 진행된다.
스텝 S114 내지 S123의 처리는, 도 19의 스텝 S93 내지 S102의 처리와 마찬가지이므로, 설명은 생략한다.
한편, 스텝 S112에서 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었다고 판정된 경우, 스텝 S124에 있어서, 분리부(121)는, 다중화 스트림으로부터 TS1을 분리한다. 그리고, 분리부(121)는, 델리미터 등을 참조하여, TS1에 포함되는 호환 스트림을 디코더(122)에 공급하고, 처리를 스텝 S125로 진행시킨다.
스텝 S125 내지 S128의 처리는, 도 19의 스텝 S103 내지 S106의 처리와 마찬가지이므로, 설명은 생략한다.
<제3 실시 형태>
[부호화 장치의 제3 실시 형태의 구성예]
도 22는, 본 기술을 적용한 부호화 장치의 제3 실시 형태의 구성예를 도시하는 블록도이다.
도 22에 도시하는 구성 중, 도 2나 도 14의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 22의 부호화 장치(180)의 구성은, 주로, 화상 변환부(142), 인코더(145) 대신 화상 변환부(181), 인코더(182)가 설치되어 있는 점이 도 14의 구성과 상이하다. 부호화 장치(180)는, 다시점의 화상 중 2시점의 화상을 호환 화상으로 하여 MVC 방식으로 부호화하여, 1개의 TS에 통합하여 저장하거나 또는 시점마다 다른 TS에 저장함으로써, 기존의 2시점 방식의 3D 화상을 MVC 방식으로 부호화하는 부호화 장치와의 호환성을 확보한다.
구체적으로는, 부호화 장치(180)의 화상 변환부(181)는, 도 14의 화상 변환부(142)와 마찬가지로, 촬영부(141A) 내지 촬영부(141D) 중 수평 방향의 위치가 내측에 있는 촬영부(141A)로부터 공급되는 화상 A2와 촬영부(141B)로부터 공급되는 화상 B2를 호환 화상으로 결정한다. 그리고, 화상 변환부(181)는, 호환 화상인 화상 A2 및 화상 B2를, 그대로 인코더(182)에 공급한다. 또한, 화상 변환부(181)는, 화상 변환부(142)와 마찬가지로, 호환 화상으로서 화상 A2 및 화상 B2를 지정하는 정보를 호환 정보 생성부(55)에 공급한다.
또한, 화상 변환부(181)는, 화상 변환부(142)와 마찬가지로, 화상 A2 및 화상 B2 이외의 화상 C2 및 화상 D2를 보조 화상으로 하여 소정의 다중화 방식으로 다중화한다. 화상 변환부(181)는, 다중화의 결과 얻어지는 다중화 화상을 인코더(182)에 공급하고, 보조 화상의 다중화 방식을 나타내는 정보를 화상 정보 생성부(54)에 공급한다.
인코더(182)는, 호환용 인코더(191)와 보조용 인코더(152)에 의해 구성된다. 인코더(182)의 호환용 인코더(191)는, 화상 변환부(181)로부터 공급되는 호환 화상과 보조 화상의 다중화 화상으로부터 호환 화상을 지정하여, 호환 화상 중 화상 A2를 베이스 화상으로 하여 기존의 AVC 방식으로 액세스 유닛 단위의 부호화를 행하고, 화상 B2를 디펜던트 화상으로 하여 기존의 MVC 방식으로 액세스 유닛 단위의 부호화를 행한다. 호환용 인코더(191)는, 그 결과 얻어지는 부호화 스트림을 호환 스트림으로 하여 다중화부(59)에 공급한다.
[TS의 제1 구성예]
도 23은, 도 22의 다중화부(59)에 의해 생성되는 TS의 제1 구성예를 도시하는 도면이다.
도 23의 예에서는, 다중화부(59)에 있어서, 호환 스트림 중 부호화 후의 화상 A2로부터 TS1이 생성되고, 부호화 후의 화상 B2, 보조 스트림 및 보조 정보로부터 TS2가 생성된다.
[부호화 장치의 처리의 설명]
도 24 및 도 25는, 도 22의 부호화 장치(180)에 의한 부호화 처리를 설명하는 흐름도이다. 이 부호화 처리는, 예를 들어 촬영부(141A) 내지 촬영부(141D)로부터 화상 A2 내지 화상 D2가 출력되었을 때 개시된다.
도 24의 스텝 S131 및 S132의 처리는, 도 16의 스텝 S71 및 S72의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S132의 처리 후, 스텝 S133에 있어서, 화상 변환부(181)는, 촬영부(141A) 내지 촬영부(141D) 중 수평 방향의 위치가 내측에 있는 촬영부(141A)로부터 공급되는 화상 A2와, 촬영부(141B)로부터 공급되는 화상 B2를 호환 화상으로 결정하고, 보조 화상의 다중화 방식을 결정한다. 화상 변환부(181)는, 호환 화상으로서 화상 A2 및 화상 B2를 지정하는 정보를 호환 정보 생성부(55)에 공급하고, 보조 화상의 다중화 방식을 화상 정보 생성부(54)에 공급한다. 그리고, 처리는 스텝 S134로 진행된다.
스텝 S134 내지 S137의 처리는, 도 6의 스텝 S14 내지 S17의 처리와 마찬가지이므로, 설명은 생략한다. 스텝 S138 내지 S142의 처리는, 도 17의 스텝 S79 내지 S83의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S142의 처리 후, 스텝 S143에 있어서, 인코더(182)의 호환용 인코더(191)는, 화상 변환부(181)로부터 공급되는 호환 화상 중 화상 A2를 베이스 화상으로 하여 기존의 AVC 방식으로 부호화하고, 화상 B2를 디펜던트 화상으로 하여 기존의 MVC 방식으로 부호화한다. 호환용 인코더(191)는, 그 결과 얻어지는 부호화 스트림을 호환 스트림으로 하여 다중화부(59)에 공급한다.
스텝 S144에 있어서, 보조용 인코더(152)는, 화상 변환부(142)로부터의 보조 화상의 다중화 화상, 및 시차 화상 생성부(53)로부터의 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 소정의 방식으로 부호화한다. 보조용 인코더(152)는, 부호화의 결과 얻어지는 부호화 스트림을 보조용 스트림으로 하여 다중화부(59)에 공급한다.
스텝 S145에 있어서, 다중화부(59)는, 호환 스트림 중 부호화 후의 화상 A로부터 TS1을 생성하고, 부호화 후의 화상 B, 보조 스트림 및 보조 정보로부터 TS2를 생성하여, 다중화하고, 그 결과 얻어지는 다중화 스트림을 송신한다. 이 다중화 스트림은, 예를 들어 BD 등에 기록되거나, 방송용 스트림으로서 송신되거나 한다. 그리고, 처리는 종료된다.
이상과 같이, 부호화 장치(180)는, 부호화 후의 호환 화상 중 한쪽과 다른 쪽을 다른 TS에 저장하여 다중화를 행하므로, 다중화에 있어서 기존의 2시점 방식의 3D 화상을 MVC 방식으로 부호화하여, 2개의 TS에 저장하는 부호화 장치와의 호환성을 확보할 수 있다.
또한, 부호화 장치(180)는, 다시점의 화상 중 2시점의 화상을 호환 화상으로 하여 기존의 부호화 방식으로 부호화하므로, 부호화에 있어서 기존의 2시점 방식의 3D 화상을 부호화하는 부호화 장치와의 호환성을 확보할 수 있다.
[복호 장치의 구성예]
도 26은, 도 22의 부호화 장치(180)로부터 송신되는 다중화 스트림을 복호하는 복호 장치의 구성예를 도시하는 도면이다.
도 26에 도시하는 구성 중, 도 18의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 26의 복호 장치(200)의 구성은, 주로 디코더(122), 화상 생성부(171) 대신 디코더(201), 화상 생성부(202)가 설치되어 있는 점이 도 18의 구성과 상이하다. 복호 장치(200)는, 부호화 장치(180)로부터 송신되는 다중화 스트림을 복호하고, 1시점의 화상, 2시점의 화상 또는 다시점의 화상을 생성하여, 도시하지 않은 표시 장치에 표시시킨다.
구체적으로는, 복호 장치(200)의 디코더(201)는, 호환용 디코더(211)와 보조용 디코더(132)에 의해 구성된다. 디코더(201)의 호환용 디코더(211)는, 분리부(121)로부터 공급되는 호환 스트림에 포함되는 부호화된 호환 화상을 MVC 방식에 대응하는 방식으로 복호하여, 화상 생성부(202)에 공급한다.
화상 생성부(202)는, 시청자로부터의 표시 명령에 따라, 화상을 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 구체적으로는, 화상 생성부(202)는, 시청자로부터의 다시점 방식의 3D 화상의 표시 명령에 따라, 화상 정보 취득부(123)로부터의 화상 정보, 시점간 거리 정보 취득부(124)로부터의 시점간 거리 정보, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보, 호환 정보 취득부(126)로부터의 호환 정보 등에 기초하여, 호환 화상, 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 사용하여, 도시하지 않은 표시 장치에 대응하는 3 이상의 시점수의, 호환 화상이나 보조 화상의 해상도의 절반의 해상도의 화상을 생성한다.
보다 상세하게는, 화상 생성부(202)는, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보에 포함되는 보조 화상의 시차 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상의 시차 화상의 다중화 화상으로부터, 각 보조 화상의 시차 화상을 분리한다. 또한, 화상 생성부(202)는, 시차 화상 정보에 포함되는 호환 화상의 시차 화상의 다중화 방식을 나타내는 정보에 기초하여, 호환 화상의 시차 화상의 다중화 화상으로부터, 각 호환 화상의 시차 화상을 분리한다.
또한, 화상 생성부(202)는, 화상 정보 취득부(123)로부터의 화상 정보에 포함되는 보조 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상의 다중화 화상으로부터, 각 보조 화상을 분리한다. 또한, 화상 생성부(202)는, 시점간 거리 정보와 도시하지 않은 표시 장치에 대응하는 시점수에 기초하여, 생성하는 다시점의 화상의 각 시점의 위치를 결정한다. 그리고, 화상 생성부(202)는, 각 호환 화상, 각 보조 화상, 각 호환 화상의 시차 화상 및 각 보조 화상의 시차 화상을 사용하여, 위치가 결정된 각 시점의 화상을 생성한다. 그리고, 화상 생성부(202)는, 화상 생성부(127)와 마찬가지로, 생성된 다시점의 화상의 해상도를, 호환 화상이나 보조 화상의 해상도의 1/시점수의 해상도로 변환하고 합성하여, 도시하지 않은 표시 장치에 표시시킨다.
이때, 합성 후의 다시점의 화상은, 시점마다 시인 가능한 각도가 상이하도록 표시되어, 시청자는, 임의의 2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 3D 화상을 볼 수 있다.
또한, 화상 생성부(202)는, 시청자로부터의 2시점 방식의 3D 화상의 표시 명령에 따라, 디코더(122)로부터 공급되는 호환 화상으로서의 화상 A2와 화상 B2를 교대로 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 이때, 시청자는, 화상 A2의 표시 시에 좌안용 셔터 또는 우안용 셔터의 한쪽이 개방되고, 화상 B2의 표시 시에 다른 쪽이 개방되는 안경을 장착하여, 표시 장치에 교대로 표시되는 화상 A2와 화상 B2를 봄으로써, 3D 화상을 볼 수 있다.
또한, 화상 생성부(202)는, 시청자로부터의 2D 화상의 표시 명령에 따라, 디코더(122)로부터 공급되는 호환 화상 중 화상 A2를 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 이에 의해, 시청자는, 2D 화상을 볼 수 있다.
[복호 장치의 처리의 설명]
도 27은, 도 26의 복호 장치(200)에 의한 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 22의 부호화 장치(180)로부터 송신되는 다중화 스트림이 복호 장치(200)에 입력되었을 때, 개시된다.
도 27의 스텝 S151에 있어서, 복호 장치(200)의 화상 생성부(202)는, 시청자로부터 2D 화상의 표시가 명령되었는지 여부를 판정한다. 스텝 S151에서 시청자로부터 2D 화상의 표시가 명령되었다고 판정된 경우, 처리는 스텝 S152로 진행된다.
스텝 S152에 있어서, 분리부(121)는, 부호화 장치(180)로부터 송신되어 오는 다중화 스트림을 수신하여, 그 다중화 스트림으로부터 TS1을 분리한다. 그리고, 분리부(121)는, 델리미터 등을 참조하여, TS1에 포함되는 호환 스트림 중 일부를 추출하여, 디코더(201)에 공급한다.
스텝 S153에 있어서, 디코더(201)의 호환용 디코더(211)는, 분리부(121)로부터 공급되는 호환 스트림의 일부로부터 부호화된 호환 화상 중 베이스 화상인 화상 A2를 추출하여, AVC 방식에 대응하는 방식으로 복호한다. 호환용 디코더(211)는, 복호의 결과 얻어지는 화상 A2를 화상 생성부(202)에 공급한다.
스텝 S154에 있어서, 화상 생성부(202)는, 호환용 디코더(211)로부터 공급되는 화상 A2를 도시하지 않은 표시 장치에 출력하여, 표시시킨다. 그리고, 처리는 종료된다.
한편, 스텝 S151에서 시청자로부터 2D 화상의 표시가 명령되지 않았다고 판정된 경우, 스텝 S155에 있어서, 분리부(121)는, 다중화 스트림으로부터, TS1과 TS2를 분리한다. 그리고, 분리부(121)는, 델리미터 등을 참조하여, TS1에 포함되는 호환 스트림의 일부를 추출하여, 디코더(122)에 공급한다. 또한, 분리부(121)는, 델리미터 등을 참조하여, TS2에 포함되는 호환 스트림의 다른 일부 및 보조 스트림을 추출하여, 디코더(122)에 공급한다. 또한, 분리부(121)는, 델리미터 등을 참조하여, TS2에 포함되는 보조 정보를 추출하여, 보조 정보 중 화상 정보를 화상 정보 취득부(123)에 공급하고, 시점 거리 정보를 시점간 거리 정보 취득부(124)에 공급한다. 또한, 분리부(121)는, 보조 정보 중 시차 화상 정보를 시차 화상 정보 취득부(125)에 공급하고, 호환 정보를 호환 정보 취득부(126)에 공급한다.
스텝 S156에 있어서, 화상 생성부(202)는, 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었는지 여부를 판정한다. 스텝 S156에서 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었다고 판정된 경우, 처리는 스텝 S157로 진행된다.
스텝 S157에 있어서, 디코더(122)의 호환용 디코더(211)는, 분리부(121)로부터 공급되는 호환 스트림으로부터 부호화된 호환 화상을 추출하여, 복호한다. 구체적으로는, 호환용 디코더(211)는, 분리부(121)로부터 공급되는 호환 스트림의 일부로부터 부호화된 화상 A를 추출하고, 호환 스트림의 다른 일부로부터 부호화된 화상 B를 추출한다. 그리고, 호환용 디코더(211)는, 부호화된 화상 A를 부호화된 베이스 화상으로 하여 AVC 방식에 대응하는 방식으로 복호하고, 부호화된 화상 B를 부호화된 디펜던트 화상으로 하여, MVC 방식에 대응하는 방식으로 복호한다. 호환용 디코더(211)는, 복호의 결과 얻어지는 호환 화상인 화상 A 및 화상 B를 화상 생성부(202)에 공급한다.
스텝 S158에 있어서, 화상 생성부(202)는, 호환용 디코더(211)로부터 공급되는 호환 화상 중 화상 A1과 화상 B1을 교대로 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 그리고, 처리는 종료된다.
한편, 스텝 S156에서 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되지 않았다고 판정된 경우, 즉 시청자로부터 다시점 방식의 3D 화상의 표시가 명령된 경우, 처리는 스텝 S159로 진행된다.
스텝 S159에 있어서, 호환용 디코더(211)는, 스텝 S157의 처리와 마찬가지로, 분리부(121)로부터 공급되는 호환 스트림으로부터 부호화된 호환 화상을 추출하여, MVC 방식에 대응하는 방식으로 복호한다. 호환용 디코더(211)는, 복호의 결과 얻어지는 호환 화상인 화상 A 및 화상 B를 화상 생성부(202)에 공급한다.
스텝 S160에 있어서, 보조용 디코더(132)는, 보조 스트림으로부터 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 추출하여, 도 22의 보조용 인코더(152)에 대응하는 방식으로 복호한다. 보조용 디코더(132)는, 복호의 결과 얻어지는 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 화상 생성부(202)에 공급한다.
스텝 S161 내지 S168의 처리는, 호환 화상의 시차 화상이 호환 화상의 시차 화상의 다중화 화상인 점을 제외하고, 도 9의 스텝 S35 내지 S42의 처리와 마찬가지이므로, 설명은 생략한다.
또한, 복호 장치(200)와의 호환성을 갖는 호환 스트림만을 복호 가능한 복호 장치에서는, TS2의 보조 스트림 및 보조 정보는 무시되고, 스텝 S151 내지 S155, S157 및 S158의 처리가 행해진다.
이상과 같이, 복호 장치(200)는, 부호화 장치(180)에 의해 기존의 방식과의 호환성을 갖는 방식으로 다중화된 다중화 스트림을 분리할 수 있다. 또한, 복호 장치(200)는, 부호화 장치(180)에 의해 기존의 방식과의 호환성을 갖고, 처리 비용이 비교적 적은 방식으로 부호화된 호환 스트림과 보조 스트림을 복호할 수 있다.
[TS의 제2 구성예]
도 28은, 도 22의 다중화부(59)에 의해 생성되는 TS의 제2 구성예를 도시하는 도면이다.
도 28의 예에서는, 다중화부(59)에 있어서, 3개의 TS가 생성되어, 호환 스트림 중 부호화된 호환 화상의 1개인 화상 B2와, 보조 스트림 및 보조 정보가 다른 TS에 포함된다. 구체적으로는, 호환 스트림 중 부호화된 호환 화상의 한쪽인 화상 A2로부터 TS1이 생성되고, 다른 쪽인 화상 B2로부터 TS2가 생성되고, 보조 스트림 및 보조 정보로부터 TS3이 생성된다.
도 28의 예에서는, 호환 스트림 중 부호화 후의 화상 A1과 화상 B2가 각각 단독으로 TS에 저장되므로, 호환 스트림의 정보량을 삭감할 필요가 없다. 따라서, 호환 화상의 화질을 기존의 MVC 방식으로 부호화되는 2시점의 화상의 화질과 동등하게 할 수 있다.
[다중화 방법의 설명]
도 29는, 도 28의 TS1 내지 TS3의 다중화 방법의 예를 설명하는 도면이다.
도 29에 도시한 바와 같이, TS1 내지 TS3은, 액세스 유닛 단위로, TS3, TS1, TS2의 순서대로 선두부터 배치됨으로써, 다중화된다. 또한, TS3의 선두에는, 호환 스트림 이외의 정보를 포함하는 TS의 선두인 것을 나타내는 3DV Representation Delimiter가 부가된다. 즉, 3DV Representation Delimiter는, 어느 한 액세스 유닛의 TS3과, 1개 전의 액세스 유닛의 TS2의 경계에 배치된다. 따라서, 복호 장치(200)는, 어느 한 3DV Representation Delimiter부터 다음 3DV Representation Delimiter까지 사이의 데이터를 추출함으로써, 호환 스트림과, 거기에 동기하는 보조 스트림 및 보조 화상을 용이하게 인식할 수 있다.
[제2 부호화 처리의 설명]
도 28에서 설명한 구성의 TS를 생성하는 경우의 부호화 장치(180)의 부호화 처리는, 도 25의 스텝 S145에서, 호환 스트림 중 부호화 후의 화상 A로부터 TS1이 생성되고, 부호화 후의 화상 B로부터 TS2가 생성되고, 보조 스트림 및 보조 정보로부터 TS3이 생성되는 점을 제외하고, 도 24 및 도 25에서 설명한 부호화 처리와 마찬가지이므로, 설명은 생략한다.
[제2 복호 처리의 설명]
도 30은, 다중화 스트림에 있어서 다중화되어 있는 TS의 구성이 도 28에서 설명한 구성인 경우의 도 26의 복호 장치(200)에 의한 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 22의 부호화 장치(180)로부터 송신되는 다중화 스트림이 복호 장치(200)에 입력되었을 때, 개시된다.
도 30의 스텝 S181 내지 S184의 처리는, 도 27의 스텝 S151 내지 S154의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S181에서 시청자로부터 2D 화상의 표시가 명령되지 않았다고 판정된 경우, 스텝 S185에 있어서, 화상 생성부(202)는, 도 30의 스텝 S156의 처리와 마찬가지로, 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었는지 여부를 판정한다. 스텝 S185에서 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었다고 판정된 경우, 처리는 스텝 S186으로 진행된다.
스텝 S186에 있어서, 분리부(121)는, 도 27의 스텝 S155의 처리와 마찬가지로, 다중화 스트림으로부터, TS1과 TS2를 분리한다. 그리고, 분리부(121)는, 델리미터 등을 참조하여, TS1에 포함되는 호환 스트림의 일부와 TS2에 포함되는 호환 스트림의 다른 일부를 추출하여, 디코더(122)에 공급한다. 그리고, 처리는 스텝 S187로 진행된다.
스텝 S187 및 S188의 처리는, 도 27의 스텝 S157 및 S158의 처리와 마찬가지이므로, 설명은 생략한다.
한편, 스텝 S185에서 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되지 않았다고 판정된 경우, 즉 시청자로부터 다시점 방식의 3D 화상의 표시가 명령된 경우, 처리는 스텝 S189로 진행된다.
스텝 S189에 있어서, 분리부(121)는, 다중화 스트림으로부터 TS3을 분리한다. 그리고, 분리부(121)는, 델리미터 등을 참조하여, TS3에 포함되는 보조 정보를 추출하여, 보조 정보 중 화상 정보를 화상 정보 취득부(123)에 공급하여 유지시키고, 시점 거리 정보를 시점간 거리 정보 취득부(124)에 공급하여 유지시킨다. 또한, 분리부(121)는, 보조 정보 중 시차 화상 정보를 시차 화상 정보 취득부(125)에 공급하여 유지시키고, 호환 정보를 호환 정보 취득부(126)에 공급하여 유지시킨다. 또한, 분리부(121)는, 델리미터 등을 참조하여, TS3에 포함되는 보조 스트림을 추출하여, 디코더(122)에 공급한다.
스텝 S190에 있어서, 분리부(121)는, 스텝 S186의 처리와 마찬가지로, 다중화 스트림으로부터, TS1과 TS2를 분리한다. 그리고, 분리부(121)는, TS1에 포함되는 호환 스트림의 일부와 TS2에 포함되는 호환 스트림의 다른 일부를 추출하여, 디코더(122)에 공급한다.
스텝 S191 내지 S200의 처리는, 도 27의 스텝 S159 내지 S168의 처리와 마찬가지이므로, 설명은 생략한다.
또한, 복호 장치(200)와의 호환성을 갖는 호환 스트림만을 복호 가능한 복호 장치에서는, TS3은 무시되고, 스텝 S181 내지 S188의 처리가 행해진다.
이상과 같이, 복호 장치(200)는, 부호화 장치(180)에 의해 기존의 방식과의 호환성을 갖는 방식으로 다중화된 다중화 스트림을 분리할 수 있다.
[TS의 제3 구성예]
도 31은, 도 22의 다중화부(59)에 의해 생성되는 TS의 제3 구성예를 도시하는 도면이다.
도 31의 예에서는, 다중화부(59)에 있어서, 3개의 TS가 생성되어, 호환 스트림, 보조 스트림 및 보조 정보가 각각 다른 TS에 포함된다. 구체적으로는, 호환 스트림으로부터 TS1이 생성되고, 보조 스트림으로부터 TS2가 생성되고, 보조 정보로부터 TS3이 생성된다.
도 31의 예에서는, 비교적 정보량이 적은 보조 정보만으로 단독의 TS3이 생성된다. 따라서, 예를 들어 BD의 어플리케이션과 같이, 동시에 처리 가능한 TS의 수에 제한이 있는 어플리케이션을 실행하는 복호 장치는, 비교적 정보량이 적은 TS3을 프리로드함으로써, TS1과 TS2를 동기하여 재생하는 것이 가능하게 된다.
또한, 도 31의 예에서는, 호환 스트림이, 보조 스트림 및 보조 정보와는 다른 TS에 저장되므로, 부호화 장치는, 호환 스트림을 생성한 후에, 다른 장치로부터 보조 스트림 및 보조 정보를 다운로드 등에 의해 취득하여, 다중화 스트림을 생성할 수 있다.
또한, 호환 스트림이, 1개의 TS에 저장되므로, 부호화 장치(180)는, 다중화에 있어서 기존의 2시점 방식의 3D 화상을 MVC 방식으로 부호화하여, 1개의 TS에 저장하는 부호화 장치와의 호환성을 확보할 수 있다.
[제3 부호화 처리의 설명]
도 31에서 설명한 구성의 TS를 생성하는 경우의 부호화 장치(180)의 부호화 처리는, 도 25의 스텝 S145에서, 호환 스트림으로부터 TS1이 생성되고, 보조 스트림으로부터 TS2가 생성되고, 보조 정보로부터 TS3이 생성되는 점을 제외하고, 도 24 및 도 25에서 설명한 부호화 처리와 마찬가지이므로, 설명은 생략한다.
[제3 복호 처리의 설명]
도 32는, 다중화 스트림에 있어서 다중화되어 있는 TS의 구성이 도 31에서 설명한 구성인 경우의 도 26의 복호 장치(200)에 의한 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 22의 부호화 장치(180)로부터 송신되는 다중화 스트림이 복호 장치(200)에 입력되었을 때, 개시된다.
도 32의 스텝 S211에 있어서, 복호 장치(200)의 화상 생성부(202)는, 도 27의 스텝 S151의 처리와 마찬가지로, 시청자로부터 2D 화상의 표시가 명령되었는지 여부를 판정한다. 스텝 S211에서 시청자로부터 2D 화상의 표시가 명령되었다고 판정된 경우, 처리는 스텝 S212로 진행된다.
스텝 S212에 있어서, 분리부(121)는, 부호화 장치(180)로부터 송신되어 오는 다중화 스트림을 수신하여, 그 다중화 스트림으로부터 TS1을 분리한다. 그리고, 분리부(121)는, TS1에 포함되는 호환 스트림을 추출하여, 디코더(201)에 공급한다.
스텝 S213에 있어서, 디코더(201)의 호환용 디코더(211)는, 분리부(121)로부터 공급되는 호환 스트림으로부터 부호화된 호환 화상을 추출하여, MVC 방식에 대응하는 방식으로 복호한다. 호환용 디코더(211)는, 복호의 결과 얻어지는 화상 A2를 화상 생성부(202)에 공급한다.
스텝 S214에 있어서, 화상 생성부(202)는, 도 15의 스텝 S154의 처리와 마찬가지로, 호환용 디코더(211)로부터 공급되는 화상 A2를 도시하지 않은 표시 장치에 출력하여, 표시시킨다. 그리고, 처리는 종료된다.
한편, 스텝 S211에서 시청자로부터 2D 화상의 표시가 명령되지 않았다고 판정된 경우, 스텝 S215에 있어서, 화상 생성부(202)는, 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었는지 여부를 판정한다. 스텝 S215에서 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었다고 판정된 경우, 처리는 스텝 S216으로 진행된다.
스텝 S216에 있어서, 분리부(121)는, 다중화 스트림으로부터 TS1을 분리한다. 그리고, 분리부(121)는, TS1에 포함되는 호환 스트림을 추출하여, 디코더(122)에 공급한다.
스텝 S217에 있어서, 디코더(122)의 호환용 디코더(211)는, 분리부(121)로부터 공급되는 호환 스트림으로부터 부호화된 호환 화상을 추출하여, MVC 방식에 대응하는 방식으로 복호한다. 호환용 디코더(211)는, 복호의 결과 얻어지는 호환 화상인 화상 A 및 화상 B를 화상 생성부(202)에 공급한다.
스텝 S218에 있어서, 화상 생성부(202)는, 호환용 디코더(211)로부터 공급되는 호환 화상 중 화상 A1과 화상 B1을 교대로 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 그리고, 처리는 종료된다.
한편, 스텝 S215에서 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었다고 판정된 경우, 즉 시청자로부터 다시점 방식의 3D 화상의 표시가 명령된 경우, 처리는 스텝 S219로 진행된다.
스텝 S219에 있어서, 분리부(121)는, 부호화 장치(180)로부터 출력되는 다중화 스트림으로부터 TS3을 분리한다. 그리고, 분리부(121)는, 델리미터 등을 참조하여, TS3에 포함되는 보조 정보를 추출하여, 보조 정보 중 화상 정보를 화상 정보 취득부(123)에 공급하여 유지시키고, 시점 거리 정보를 시점간 거리 정보 취득부(124)에 공급하여 유지시킨다. 또한, 분리부(121)는, 보조 정보 중 시차 화상 정보를 시차 화상 정보 취득부(125)에 공급하여 유지시키고, 호환 정보를 호환 정보 취득부(126)에 공급하여 유지시킨다.
스텝 S220에 있어서, 분리부(121)는, 부호화 장치(180)로부터 출력되는 다중화 스트림으로부터, TS1과 TS2를 분리한다. 그리고, 분리부(121)는, TS1에 포함되는 호환 스트림과 TS2에 포함되는 보조 스트림을, 디코더(122)에 공급한다.
스텝 S221에 있어서, 디코더(122)의 호환용 디코더(211)는, 분리부(121)로부터 공급되는 호환 스트림으로부터 부호화된 호환 화상을 추출하여, MVC 방식에 대응하는 방식으로 복호한다. 호환용 디코더(211)는, 복호의 결과 얻어지는 호환 화상인 화상 A 및 화상 B를 화상 생성부(202)에 공급한다. 그리고, 처리는 스텝 S222로 진행된다.
스텝 S222 내지 S230의 처리는, 도 30의 스텝 S192 내지 S200의 처리와 마찬가지이므로, 설명은 생략한다.
또한, 상술한 설명에서는, 복호 장치가, 델리미터에 의해 TS를 분리했지만, 각 TS의 PID가 고정값인 경우에는, PID에 의해 TS를 분리하도록 해도 좋다. 이 경우, 호환 스트림만을 복호 가능한 복호 장치는, 호환 스트림이 포함되는 TS 이외의 PID를 인식하고 있지 않기 때문에, 그 TS 이외는 무시한다.
또한, 보조 정보는, 부호화되도록 해도 좋다.
<제4 실시 형태>
[부호화 장치의 제4 실시 형태의 구성예]
도 33은 본 기술을 적용한 부호화 장치의 제4 실시 형태의 구성예를 도시하는 블록도이다.
도 33에 도시하는 구성 중, 도 2의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 33의 부호화 장치(230)의 구성은, 주로, 촬영부(51B) 및 촬영부(51C), 화상 변환부(52), 시차 화상 생성부(53), 시점간 거리 정보 생성부(56) 대신에 촬영부(231-1 내지 231-N)(N은 4 이상의 2의 배수), 화상 변환부(232), 시차 화상 생성부(233), 시점간 거리 정보 생성부(234)가 설치되어 있는 점이 도 2의 구성과 상이하다. 부호화 장치(230)는, 다시점의 화상 중 1시점의 화상을 호환 화상으로 하고, 나머지의 N 시점의 화상을 보조 화상으로 하여 부호화한다.
구체적으로는, 부호화 장치(230)에 있어서, 촬영부(231-1 내지 231-N)는, 촬영부(51A)를 중심으로 하여, 수평 방향으로 순서대로 배열된다. 촬영부(231-1)와 촬영부(231-2), 촬영부(231-2)와 촬영부(231-3), …, 촬영부(231-(N-1))와 촬영부(231-N)의 거리는, 각각, 거리 Δd11, Δd12, …, Δd1N -1이다.
촬영부(231-1 내지 231-N)는, 각각, 화상 A1과는 상이한 시점의 HD 화상을 화상 P1 내지 PN으로서 촬영하여, 화상 변환부(232), 시차 화상 생성부(233) 및 시점간 거리 정보 생성부(234)에 공급한다. 또한, 이하에서는, 촬영부(231-1 내지 231-N) 각각을 특별히 구별할 필요가 없는 경우, 그들을 통합하여 촬영부(231)라고 한다. 마찬가지로, 화상 P1 내지 PN을 화상 P라고 한다.
또한, 화상 P에 대응하는 시점은, 3D 화상으로서 지각 가능한 화상의 시점 중, 보다 외측의 시점이다. 이에 의해, 부호화 장치(230)에 대응하는 복호 장치는, 화상 A1과 화상 P를 사용하여, 화상 P의 시점보다 내측의 시점의 화상을 보간함으로써, 다시점의 화상을 생성할 수 있다. 그 결과, 내측의 시점의 화상을 사용하여 외측의 시점의 화상을 보간하는 경우에 비하여, 다시점의 화상을 고정밀도로 생성할 수 있다. 거리 Δd11 내지 Δd1N -1은, 고정이어도 좋고, 시간마다 변화하도록 해도 좋다.
화상 변환부(232)는, 촬영부(51A)와 촬영부(231) 중 수평 방향의 위치가 내측에 있는 촬영부(51A)로부터 공급되는 화상 A1을 호환 화상으로 결정한다. 화상 변환부(232)는, 호환 화상으로서 화상 A1을 지정하는 정보를 호환 정보 생성부(55)에 공급한다. 그리고, 화상 변환부(232)는, 호환 화상인 화상 A1을 그대로 인코더(58)에 공급한다.
또한, 화상 변환부(232)는, 화상 A1 이외의 화상 P를 보조 화상으로 하여 소정의 다중화 방식으로 다중화한다. 구체적으로는, 예를 들어 다중화 방식이 사이드 바이 사이드 방식인 경우, 화상 변환부(232)는, 화상 P의 해상도를 절반으로 한다. 그리고, 화상 변환부(232)는, 해상도가 절반으로 된 화상 P1, P3, …, P(N-1)(이하, 1/2 해상도 홀수 화상이라고 한다)가 화면의 좌측 절반의 화상으로 되고, 해상도가 절반으로 된 화상 P2, P4, …, PN(이하, 1/2 해상도 짝수 화상이라고 한다)이 화면의 우측 절반의 화상으로 되도록, 1/2 해상도 홀수 화상과 1/2 해상도 짝수 화상을 다중화한다. 화상 변환부(232)는, 다중화의 결과 얻어지는 다중화 화상을 인코더(58)에 공급하고, 보조 화상의 다중화 방식을 나타내는 정보를 화상 정보 생성부(54)에 공급한다.
시차 화상 생성부(233)는, 촬영부(51A)로부터의 화상 A1과 촬영부(231)로부터의 화상 P를 사용하여, 화상 A1과 화상 P의 각 화소의 시차를 검출한다. 시차 화상 생성부(233)는, 호환 화상인 화상 A1의 시차 화상 A1'를 생성하여, 그대로 인코더(58)에 공급한다. 또한, 시차 화상 생성부(233)는, 보조 화상인 화상 P1 내지 PN의 시차 화상 P1' 내지 PN'를 생성하여, 화상 변환부(232)와 마찬가지로, 소정의 다중화 방식으로 다중화한다. 시차 화상 생성부(233)는, 그 결과 얻어지는 다중화 화상을 인코더(58)에 공급한다. 시차 화상 생성부(233)는, 보조 화상의 시차 화상의 다중화 방식을 나타내는 정보를 시차 화상 정보 생성부(57)에 공급한다.
또한, 이하에서는, 시차 화상 P1' 내지 PN'를 특별히 구별할 필요가 없는 경우, 그들을 통합하여 시차 화상 P'라고 한다.
시점간 거리 정보 생성부(234)는, 촬영부(51A)로부터의 화상 A1과 촬영부(231)로부터의 화상 P를 사용하여, 화상 A1과 화상 P의 시점간 거리를 검출한다. 예를 들어, 시점간 거리 정보 생성부(234)는, 촬영부(231-1)와 촬영부(231-2) 사이의 수평 방향의 거리 Δd11, …, 및 촬영부(231-(N-1)와 촬영부(231-N) 사이의 수평 방향의 거리 Δd1N -1을 시점간 거리로서 검출한다. 시점간 거리 정보 생성부(234)는, 시점간 거리를 나타내는 정보 등을 시점간 거리 정보로서 생성하여, 다중화부(59)에 공급한다.
[TS의 구성예]
도 34는, 도 33의 다중화부(59)에 의해 생성되는 TS의 구성예를 도시하는 도면이다.
도 34의 예에서는, 다중화부(59)에 있어서, 호환 스트림으로부터 TS1이 생성된다. 또한, 부호화된 보조 화상인 화상 P의 다중화 화상, 호환 화상의 시차 화상 A', 및 보조 화상의 시차 화상 P'의 다중화 화상을 포함하는 보조 스트림과 보조 정보로부터 TS2가 생성된다.
도 34의 예에서는, 도 3의 경우와 마찬가지로, 호환 스트림과, 호환 스트림 이외의 것이 다른 TS에 저장되므로, 호환 스트림의 정보량을 삭감할 필요가 없다. 따라서, 호환 화상의 화질을, 기존의 AVC 방식으로 부호화되는 2D 화상의 화질과 동등하게 할 수 있다.
도 35는, 도 34의 TS2의 상세 구성예를 도시하는 도면이다.
도 35의 A 내지 도 35의 C에 도시한 바와 같이, 도 34의 TS2에는, 유닛 단위로 데이터가 배치되고, 각 유닛의 선두에는 델리미터(Del)가 삽입된다.
도 35의 A의 예에서는, 각 유닛에, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상(P1+P2, …, P(N-1)+PN)과 보조 화상의 다중화 화상의 보조 정보(Aux Inf), 부호화된 호환 화상의 시차 화상(A1')과 호환 화상의 시차 화상의 보조 정보 또는 부호화된 보조 화상의 시차 화상의 다중화 화상(P1'+P2', …, P(N-1)'+PN')과 보조 화상의 시차 화상의 다중화 화상의 보조 정보가, 데이터로서 배치되어 있다.
이 경우, 도 4의 A의 경우와 마찬가지로, TS2를 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을, 각각 독립적으로 추출할 수 있다. 그 결과, 예를 들어 복호 장치가, 호환 화상과 호환 화상의 시차 화상만을 사용하여 다시점의 화상을 생성하는 경우, 다시점의 화상의 생성에 사용되는 화상을 용이하게 추출할 수 있다. 또한, 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상의 각 화상과, 그 화상의 보조 정보가 동일한 유닛 내에 배치되므로, 각 유닛에 배치되는 화상을 용이하게 독립하여 처리할 수 있다.
도 35의 B의 예에서는, 각 유닛에, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상, 및 보조 정보가 통합되어 배치되어 있다. 이 경우, 도 4의 B의 경우와 마찬가지로, TS2를 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상, 및 보조 정보를 통합하여 추출할 수 있다.
도 35의 C의 예에서는, 각 유닛에, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상과 보조 화상의 다중화 화상의 보조 정보 또는, 부호화된 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상, 및 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 보조 정보가, 배치되어 있다.
이 경우, 도 4의 C의 경우와 마찬가지로, TS2를 수신하는 복호 장치는, 유닛 단위로 데이터를 추출함으로써, 액세스 유닛 단위의 부호화된 보조 화상의 다중화 화상과, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을, 각각 독립적으로 추출할 수 있다. 그 결과, 예를 들어 복호 장치에 있어서, 화상용 디코더와 시차 화상용 디코더가 별도로 준비되는 경우, 각각의 디코더에 효율적으로 데이터를 공급할 수 있다. 또한, 복호 장치에 있어서, 화상과 시차 화상을 용이하게 독립하여 처리할 수 있다.
또한, 도 33의 부호화 장치(230)의 부호화 처리는, 보조 화상의 시점수가 2시점이 아니고, N 시점인 점을 제외하고, 도 6 및 도 7의 부호화 처리와 마찬가지이므로, 설명은 생략한다.
이상과 같이, 부호화 장치(230)는, 호환 스트림과, 보조 스트림 및 보조 정보를 다른 TS에 저장하여 다중화를 행하므로, 다중화에 있어서 기존의 2D 화상을 부호화하는 부호화 장치와의 호환성을 확보할 수 있다.
또한, 부호화 장치(230)는, 다시점의 화상 중 1시점의 화상을 호환 화상으로 하여 기존의 부호화 방식으로 부호화하므로, 부호화에 있어서 기존의 2D 화상을 부호화하는 부호화 장치와의 호환성을 확보할 수 있다. 즉, 부호화 장치(230)는, 다시점의 화상에 대하여, 기존의 부호화 방식과의 호환성을 갖는 방식으로 부호화를 행할 수 있다.
또한, 부호화 장치(230)는, N+1시점의 화상 A1 및 화상 P를 부호화하므로, 부호화 장치(230)에 대응하는 복호 장치는, N+1시점의 화상 A1 및 화상 P로부터 다시점의 화상을 생성할 수 있다. 이에 의해, 복호 장치는, 2시점의 화상으로 생성하는 경우에 비하여, 생성 가능한 화상의 시점이 한정되지 않고, 또한 보다 정밀도가 높은 다시점의 화상을 생성할 수 있다.
또한, 부호화 장치(230)는, 보조 화상의 해상도를 저해상도화하여 부호화하므로, 저해상도화하지 않고 부호화하는 경우에 비하여, 부호화 처리 및 복호 처리의 처리 비용을 경감할 수 있다.
[복호 장치의 구성예]
도 36은, 도 33의 부호화 장치(230)로부터 송신되는 다중화 스트림을 복호하는 복호 장치의 구성예를 도시하는 도면이다.
도 36에 도시하는 구성 중, 도 8의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 36의 복호 장치(260)의 구성은, 주로, 디코더(122), 화상 생성부(127) 대신에 디코더(261), 화상 생성부(262)가 설치되어 있는 점이 도 8의 구성과 상이하다. 복호 장치(120)는, 부호화 장치(230)로부터 송신되는 다중화 스트림을 분리하여 복호하고, 1시점의 화상 또는 다시점의 화상을 생성하여, 도시하지 않은 표시 장치에 표시시킨다.
도 36의 복호 장치(260)의 디코더(261)는, 호환용 디코더(131)와 보조용 디코더(271)에 의해 구성된다. 디코더(261)의 보조용 디코더(271)(보조 화상 복호부)는, 분리부(121)로부터 공급되는 보조 스트림에 포함되는 보조 화상의 다중화 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상을, 도 33의 보조용 인코더(62)에 대응하는 방식으로 복호한다. 보조용 디코더(271)는, 복호의 결과 얻어지는 보조 화상인 화상 P의 다중화 화상, 호환 화상의 시차 화상 A', 및 보조 화상의 시차 화상인 시차 화상 P'의 다중화 화상을 화상 생성부(262)에 공급한다.
화상 생성부(262)는, 시청자로부터의 표시 명령에 따라, 화상을 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 구체적으로는, 화상 생성부(262)(생성부)는, 시청자로부터의 다시점 방식의 3D 화상의 표시 명령에 따라, 화상 정보 취득부(123)로부터의 화상 정보, 시점간 거리 정보 취득부(124)로부터의 시점간 거리 정보, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보, 호환 정보 취득부(126)로부터의 호환 정보 등에 기초하여, 호환 화상인 화상 A, 보조 화상인 화상 P의 다중화 화상, 호환 화상의 시차 화상 A', 및 보조 화상의 시차 화상 P'의 다중화 화상을 사용하여, 도시하지 않은 표시 장치에 대응하는 3 이상의 시점수의, 호환 화상이나 보조 화상의 해상도의 절반의 해상도의 화상을 생성한다.
보다 상세하게는, 화상 생성부(262)는, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보에 포함되는 보조 화상의 시차 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상의 시차 화상 P1'의 다중화 화상으로부터, 각 보조 화상의 시차 화상 P'를 분리한다. 또한, 화상 생성부(262)는, 화상 정보 취득부(123)로부터의 화상 정보에 포함되는 보조 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상인 화상 P의 다중화 화상으로부터, 각 화상 P를 분리한다.
또한, 화상 생성부(262)는, 시점간 거리 정보와 도시하지 않은 표시 장치에 대응하는 시점수에 기초하여, 생성하는 다시점의 화상의 각 시점의 위치를 결정한다. 그리고, 화상 생성부(262)는, 호환 화상, 각 보조 화상, 호환 화상의 시차 화상 및 각 보조 화상의 시차 화상을 사용하여, 위치가 결정된 각 시점의 화상을 생성한다. 그리고, 화상 생성부(262)는, 생성된 각 시점의 화상의 해상도를, 호환 화상이나 보조 화상의 해상도의 1/시점수의 해상도로 변환하고 합성하여, 도시하지 않은 표시 장치에 표시시킨다.
이때, 합성 후의 다시점의 화상은, 시점마다 시인 가능한 각도가 상이하도록 표시되어, 시청자는, 임의의 2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 3D 화상을 볼 수 있다.
또한, 화상 생성부(262)는, 시청자로부터의 2D 화상의 표시 명령에 따라, 디코더(261)의 호환용 디코더(131)로부터 공급되는 호환 화상인 화상 A1을 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 이에 의해, 시청자는, 2D 화상을 볼 수 있다.
또한, 도 36의 복호 장치(260)의 복호 처리는, 보조 화상이 N 시점의 화상 P인 점을 제외하고, 도 9의 복호 처리와 마찬가지이므로, 설명은 생략한다.
이상과 같이, 복호 장치(260)는, 부호화 장치(230)에 의해 기존의 방식과의 호환성을 갖는 방식으로 다중화된 다중화 스트림을 분리할 수 있다. 또한, 복호 장치(260)는, 부호화 장치(230)에 의해 기존의 방식과의 호환성을 갖고, 처리 비용이 비교적 적은 방식으로 부호화된 호환 스트림과 보조 스트림을 복호할 수 있다.
<제5 실시 형태>
[부호화 장치의 제5 실시 형태의 구성예]
도 37은, 본 기술을 적용한 부호화 장치의 제5 실시 형태의 구성예를 도시하는 블록도이다.
도 37의 부호화 장치(290)는, 화상 변환 처리부(291), 시차 정보 생성부(292), 부호화 처리부(293) 및 전송부(294)에 의해 구성된다. 부호화 장치(290)는, 2시점의 호환 화상 중 한쪽을 AVC 방식으로 부호화하고, 다른 쪽을 MVC 방식으로 부호화하고, 1시점의 보조 화상, 호환 화상의 시차 화상 및 보조 화상의 시차 화상을 3DV 방식으로 부호화한다. 또한, 3DV 방식이란, AVC 방식이나 MVC 방식에 준한 다시점 방식에서의 표시용 화상을 부호화하기 위한 방식이다.
구체적으로는, 부호화 장치(290)에는, 1시점의 호환 화상으로서의 2시점 방식에 있어서의 좌안용의 화상인 L 화상과, L 화상의 시차 화상(이하, L 시차 화상이라고 한다)을 포함하여 이루어지는 L 시점 화상이 입력된다. 또한, 부호화 장치(290)에는, 다른 1시점의 호환 화상으로서의 2시점 방식에 있어서의 우안용의 화상인 R 화상과, R 화상의 시차 화상(이하, R 시차 화상이라고 한다)을 포함하여 이루어지는 R 시점 화상이 입력된다. 또한, 부호화 장치(290)에는, 보조 화상으로서의 O 화상과 O 화상의 시차 화상(이하, O 시차 화상이라고 한다)을 포함하여 이루어지는 O 시점 화상이 입력된다. 여기에서는, L 시점 화상, R 시점 화상 및 O 시점 화상의 해상도는 모두 동일한 것으로 한다.
부호화 장치(290)의 화상 변환 처리부(291)는, 부호화 장치(290)에 입력되는 O 시점 화상을 구성하는 O 화상과 O 시차 화상에 대하여, 각각, 필터 처리 등의 저해상도화 처리를 행함으로써, 해상도를 저하시킨다. 화상 변환 처리부(291)는, 저해상도화 처리 후의 O 시점 화상을 부호화 처리부(293)에 공급한다. 또한, 화상 변환 처리부(291)는, 저해상도화 처리에 있어서의 필터의 종류를 나타내는 정보 등을, 보조 화상의 저해상도화 처리에 관한 정보인 보조 화상 저해상도 변환 정보로서 생성하여, 전송부(294)에 공급한다.
시차 정보 생성부(292)(설정부)는, L 화상, R 화상 및 O 화상의 촬영 시의 정보 등에 기초하여, L 시차 화상, R 시차 화상 및 O 시차 화상의 시차 화상에 관한 정보인 시차 정보를 생성하여, 부호화 처리부(293)에 공급한다.
부호화 처리부(293)는, 부호화 장치(290)에 입력되는 L 시점 화상 중 L 화상을 AVC 방식으로 부호화한다. 또한, 부호화 처리부(293)는, R 시점 화상 중 R 화상을, L 화상을 베이스 뷰(베이스 화상)로 하고, R 화상을 논베이스 뷰(디펜던트 화상)로 하여, MVC 방식으로 부호화한다.
또한, 부호화 처리부(293)는, L 시차 화상, R 시점 화상 및, 화상 변환 처리부(291)로부터 공급되는 저해상도화 처리 후의 O 시점 화상을, 3DV 방식으로 부호화한다. 이때, 부호화 처리부(293)는, 저해상도화 처리 후의 O 시점 화상을 부호화하는 경우, 참조하는 L 시점 화상이나 R 시점 화상에 대하여, 필터 처리 등의 저해상도화 처리를 행하고, 그 결과 얻어지는 O 시점 화상의 해상도와 동일한 해상도의 L 시점 화상이나 R 시점 화상을 참조 화상으로서 사용한다.
부호화 처리부(293)는, 부호화의 결과 얻어지는 L 시점 화상, R 시점 화상 및 O 시점 화상의 부호화 데이터, 및 시차 정보 생성부(292)로부터 공급되는 시차 정보로부터 비트 스트림을 생성하여, 그 비트 스트림을 전송부(294)에 공급한다. 또한, 부호화 처리부(293)는, O 시점 화상의 참조 화상을 생성할 때의 저해상도화 처리에 있어서의 필터의 종류를 나타내는 정보 등을, 참조 화상의 저해상도화 처리에 관한 정보인 참조 화상 저해상도 변환 정보로서 생성하여, 전송부(294)에 공급한다.
전송부(294)는, 화상 변환 처리부(291)로부터 공급되는 보조 화상 저해상도 변환 정보, 및 부호화 처리부(293)로부터 공급되는 비트 스트림 및 참조 화상 저해상도 변환 정보로부터 TS를 생성하여, 전송한다.
[부호화 처리부의 구성예]
도 38은, 도 37의 부호화 처리부(293)의 구성예를 도시하는 도면이다.
도 38의 부호화 처리부(293)는, 부호화부(301), 부가 정보 생성부(302), 부가부(303) 및 비트 스트림 생성부(304)에 의해 구성된다.
부호화 처리부(293)의 부호화부(301)는, 호환 부호화부(311)와 보조 부호화부(312)에 의해 구성된다. 부호화부(301)의 호환 부호화부(311)는, 호환 화상인 L 화상과 R 화상 중 L 화상을 AVC 방식으로 부호화한다. 또한, 호환 부호화부(311)는, L 화상을 베이스 뷰로 하고, R 화상을 논베이스 뷰로 하여 R 화상을 MVC 방식으로 부호화한다. 호환 부호화부(311)는, 부호화의 결과 얻어지는 L 화상과 R 화상의 부호화 데이터를 부가부(303)에 공급한다.
보조 부호화부(312)는, 호환 화상의 시차 화상인 L 시차 화상 및 R 시차 화상, 보조 화상인 O 화상, 및 보조 화상의 시차 화상인 O 시차 화상을 3DV 방식으로 부호화한다. 구체적으로는, 보조 부호화부(312)는, O 화상을, L 화상이나 R 화상을 참조 화상으로 하여 3DV 방식으로 부호화한다. 이때, 보조 부호화부(312)는, 참조하는 L 화상이나 R 화상에 대하여 저해상도화 처리를 행하고, 그 L 화상이나 R 화상의 해상도를 O 화상의 해상도와 동일한 해상도로 저하시킨다. 그리고, 보조 부호화부(312)는, 저해상도화 처리 후의 L 화상이나 R 화상을 참조하여 O 화상을 부호화한다.
또한, 보조 부호화부(312)는, 동일한 시점의 시차 화상 이외를 참조하지 않고 L 시차 화상을 3DV 방식으로 부호화하고, R 시차 화상을, L 시차 화상을 참조하여 3DV 방식으로 부호화한다. 또한, 보조 부호화부(312)는, 저해상도화 처리 후의 O 시차 화상을, L 시차 화상이나 R 시차 화상을 참조하여 3DV 방식으로 부호화한다. 이때, 보조 부호화부(312)는, 참조하는 L 시차 화상이나 R 시차 화상의 해상도를, 저해상도화 처리에 의해, O 시차 화상과 동일한 해상도로 저하시켜, 저해상도화 처리 후의 L 시차 화상이나 R 시차 화상을 참조한다.
보조 부호화부(312)는, 부호화의 결과 얻어지는 L 시차 화상, R 시차 화상 및 O 시점 화상의 부호화 데이터를 부가부(303)에 공급한다. 또한, 보조 부호화부(312)는, O 시점 화상의 참조 화상을 생성할 때의 저해상도화 처리에 있어서의 필터의 종류를 나타내는 정보 등을, 참조 화상 저해상도 변환 정보로서 생성하여, 도 37의 전송부(294)에 공급한다.
부가 정보 생성부(302)는, L 화상의 SPS(Sequence Parameter Set), 및 L 시차 화상, R 시점 화상 및 O 시점 화상의 Subset SPS의 정보를 생성한다. 또한, 부가 정보 생성부(302)는, L 화상, R 화상 및 O 화상의 SEI(Supplemental Enhancement Information)의 정보를 생성한다. 또한, 부가 정보 생성부(302)는, 도 37의 시차 정보 생성부(292)로부터 공급되는 L 시차 화상의 시차 정보를 포함하는 L 시차 화상의 SEI의 정보, R 시차 화상의 시차 정보를 포함하는 R 시차 화상의 SEI의 정보 및 O 시차 화상의 시차 정보를 포함하는 O 시차 화상의 SEI의 정보를 생성한다. 부가 정보 생성부(302)는, L 화상의 SPS 및 SEI의 정보, 및 L 시차 화상, R 시점 화상 및 O 시점 화상의 Subset SPS 및 SEI의 정보를 부가부(303)에 공급한다.
부가부(303)는, 호환 부호화부(311)로부터 공급되는 L 화상의 부호화 데이터에, NAL(Network Abstraction Layer) 유닛의 타입으로서, AVC 방식의 픽처의 종류를 나타내는 정보를 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 또한, 부가부(303)는, 호환 부호화부(311)로부터 공급되는 R 화상의 부호화 데이터에, NAL 유닛의 타입으로서, MVC 방식의 부호화 데이터를 나타내는 정보를 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다.
또한, 부가부(303)는, 보조 부호화부(312)로부터 공급되는 O 화상의 부호화 데이터에, NAL 유닛의 타입으로서 3DV 방식의 부호화 데이터를 나타내는 정보를 포함하고, 시차 화상이 아님을 나타내는 시차 플래그를 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 또한, 부가부(303)는, 보조 부호화부(312)로부터 공급되는 L 시차 화상, R 시차 화상 및 O 시차 화상의 부호화 데이터에, 각각, NAL 유닛의 타입으로서 3DV 방식의 부호화 데이터를 나타내는 정보를 포함하고, 시차 화상인 것을 나타내는 시차 플래그(시차 식별 정보), 대응하는 화상에 관한 정보 등을 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다.
또한, 부가부(303)는, 부가 정보 생성부(302)로부터 공급되는 L 화상의 SPS 및 SEI의 정보, 및 L 시차 화상, R 시점 화상 및 O 시점 화상의 Subset SPS 및 SEI의 정보에, 각각, NAL 유닛의 타입으로서, 각각의 정보를 나타내는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 부가부(303)는, 이상과 같이 하여 생성된 NAL 유닛을 비트 스트림 생성부(304)에 공급한다.
비트 스트림 생성부(304)는, 부가부(303)로부터 공급되는 NAL 유닛을 소정의 순서대로 배치하여 비트 스트림을 생성하여, 도 37의 전송부(294)에 공급한다.
[부호화의 설명]
도 39는, 도 38의 부호화부(301)에 의한 부호화에 있어서의 참조 관계를 도시하는 도면이다.
도 39에 도시한 바와 같이, 호환 부호화부(311)는, L 화상을 AVC 방식으로 부호화한다. 또한, 호환 부호화부(311)는, L 화상을 베이스 뷰로 하고, R 화상을 논베이스 뷰로 하여, R 화상을 MVC 방식으로 부호화한다. 또한, 보조 부호화부(312)는, 저해상도화 처리 후의 L 화상이나 R 화상을 참조하여, 저해상도화 처리 후의 O 화상을 3DV 방식으로 부호화한다.
또한, 도 39에 도시한 바와 같이, 보조 부호화부(312)는, 동일한 시점의 시차 화상 이외를 참조하지 않고 L 시차 화상을 3DV 방식으로 부호화하고, L 시차 화상을 참조하여 R 시차 화상을 3DV 방식으로 부호화한다. 또한, 보조 부호화부(312)는, 저해상도화 처리 후의 L 시차 화상이나 R 시차 화상을 참조하여, 저해상도화 처리 후의 O 시차 화상을 3DV 방식으로 부호화한다.
[NAL 유닛의 구성예]
도 40은, 도 38의 부호화 처리부(293)에 의해 생성되는 비트 스트림 중, L 시점 화상, R 시점 화상 및 O 시점 화상의 부호화 데이터의 NAL 유닛의 구성예를 도시하는 도면이다.
도 40의 A에 도시한 바와 같이, 예를 들어 L 화상이 기존의 AVC 방식으로 부호화되고, L 시차 화상, R 시점 화상 및 O 시점 화상이 L 화상을 베이스 뷰로 하여 MVC 방식으로 부호화되는 경우, L 화상의 부호화 데이터의 NAL 유닛은, NAL 유닛의 타입으로서, 그 L 화상의 AVC 방식의 픽처의 종류를 나타내는 정보를 포함하는 NAL 헤더와, L 화상의 부호화 데이터를 포함하여 구성된다.
또한, R 화상, O 화상, L 시차 화상, R 시차 화상 및 O 시차 화상의 부호화 데이터의 NAL 유닛은, 각각, NAL 유닛의 타입(NAL unit type)으로서 MVC의 부호화 데이터를 나타내는 정보를 포함하는 NAL 헤더와, 그 부호화 데이터를 포함하여 구성된다. 따라서, MVC 방식으로 부호화되는 R 화상, O 화상, L 시차 화상, R 시차 화상 및 O 시차 화상의 부호화 데이터의 NAL 유닛의 NAL 헤더는 동일하다.
따라서, 비트 스트림을 복호하는 복호 장치에 있어서, R 화상, O 화상, L 시차 화상, R 시차 화상 및 O 시차 화상의 NAL 유닛을 식별할 수 없다. 따라서, 기존의 MVC 방식의 복호 장치는, 필요한 R 화상의 NAL 유닛만을 추출하여 복호할 수 없어, 불필요한 복호 처리를 행한다.
이에 반하여, 도 40의 B에 도시한 바와 같이, 부호화 처리부(293)에 의한 부호화 처리에서는, O 화상, L 시차 화상, R 시차 화상 및 O 시차 화상의 NAL 유닛의 NAL 헤더에, NAL 유닛의 타입으로서 3DV 방식의 부호화 데이터를 나타내는 정보가 포함됨과 함께, 확장 정보(nal_unit_header_3dv_extension)로서 시차 플래그(is_depth)가 포함된다.
구체적으로는, O 화상의 NAL 유닛의 NAL 헤더에는, 시차 화상이 아님을 나타내는 0인 시차 플래그가 포함된다. 이에 의해, 복호 장치에 있어서, O 화상을 식별할 수 있다. 또한, L 시차 화상, R 시차 화상 및 O 시차 화상의 NAL 유닛의 NAL 헤더에는, 시차 화상인 것을 나타내는 1인 시차 플래그가 포함된다. 이에 의해, 복호 장치에 있어서, L 시차 화상, R 시차 화상 및 O 시차 화상을 식별할 수 있다.
또한, L 시차 화상, R 시차 화상 및 O 시차 화상의 NAL 유닛의 NAL 헤더에는, 확장 정보로서, 대응하는 화상(호환 화상, 보조 화상)에 관한 정보가 포함된다. 대응하는 화상에 관한 정보로서는, 대응하는 화상의 시점수(num_cor_view_id)와, 대응하는 화상의 시점을 특정하는 정보(cor_view_id)(호환 화상 식별 정보, 보조 화상 식별 정보)가 있다.
여기에서는, L 시차 화상은, 1시점의 L 화상의 시차 화상이며, R 시차 화상은, 1시점의 R 화상의 시차 화상이며, O 시차 화상은, 1시점의 O 화상의 시차 화상이다. 또한, 도 40의 예에서는, L 화상의 시점을 특정하는 정보가 0이며, R 화상의 시점을 특정하는 정보가 1이며, O 화상의 시점을 특정하는 정보가 2이다.
따라서, L 시차 화상의 NAL 유닛의 NAL 헤더에 포함되는 대응하는 화상에 관한 정보는, 대응하는 화상의 시점수로서의 1과, 대응하는 화상의 시점을 특정하는 정보로서의 0이다. 또한, R 시차 화상의 NAL 유닛의 NAL 헤더에 포함되는 대응하는 화상에 관한 정보는, 대응하는 화상의 시점수로서의 1과, 대응하는 화상의 시점을 특정하는 정보로서의 1이다. 또한, O 시차 화상의 NAL 유닛의 NAL 헤더에 포함되는 대응하는 화상에 관한 정보는, 대응하는 화상의 시점수로서의 1과, 대응하는 화상의 시점을 특정하는 정보로서의 2이다.
이상과 같이, 확장 정보로서, 대응하는 화상에 관한 정보가 포함됨으로써, L 시차 화상, R 시차 화상 및 O 시차 화상을 각각 식별할 수 있다. 또한, 시차 화상과 화상의 대응 관계를 나타내는, 시차 화상에 대응하는 화상을 특정하는 정보가, 화상의 NAL 헤더가 아니고, 시차 화상의 NAL 헤더에 포함되므로, 호환 화상의 NAL 유닛의 호환성을 유지할 수 있다.
또한, 호환 화상인 L 화상의 NAL 유닛의 타입은, AVC 방식의 픽처인 것을 나타내는 정보이며, R 화상의 NAL 유닛의 타입은, MVC 방식의 부호화 데이터를 나타내는 정보이다. 따라서, 3DV 방식의 부호화 데이터를 나타내는 NAL 유닛의 타입은, 호환 화상 이외의 정보의 선두를 나타내는 정보, 즉 호환 화상 이외의 정보의 경계를 나타내는 경계 정보라고 할 수 있다.
[비트 스트림의 구성예]
도 41은, 도 38의 비트 스트림 생성부(304)에 의해 생성되는 비트 스트림의 구성예를 도시하는 도면이다.
도 41의 A에 도시한 바와 같이, AVC 방식으로 부호화된 L 화상의 비트 스트림은, L 화상의 AVC 방식의 SPS의 정보의 NAL 유닛, L 화상의 AVC 방식의 SEI의 정보의 NAL 유닛 및 L 화상의 부호화 데이터(L color)의 NAL 유닛에 의해 구성된다.
또한, 도 41의 B에 도시한 바와 같이, MVC 방식으로 부호화된 R 화상의 비트 스트림은, R 화상의 MVC 방식의 Subset SPS의 정보의 NAL 유닛, R 화상의 MVC 방식의 SEI의 정보의 NAL 유닛 및 R 화상의 부호화 데이터(R color)의 NAL 유닛에 의해 구성된다.
도 41의 C에 도시한 바와 같이, 3DV 방식으로 부호화된 O 화상의 비트 스트림은, O 화상의 3DV 방식의 Subset SPS의 정보의 NAL 유닛, O 화상의 3DV 방식의 SEI의 정보의 NAL 유닛 및 O 화상의 부호화 데이터(O color)의 NAL 유닛에 의해 구성된다.
도 41의 D에 도시한 바와 같이, 3DV 방식으로 부호화된 L 시차 화상의 비트 스트림은, L 시차 화상의 3DV 방식의 Subset SPS의 정보의 NAL 유닛, L 시차 화상의 시차 정보(3DV_view_synthesis_info)를 포함하는 3DV 방식의 SEI의 정보의 NAL 유닛 및 L 시차 화상의 부호화 데이터(L Depth)의 NAL 유닛에 의해 구성된다.
도 41의 E에 도시한 바와 같이, 3DV 방식으로 부호화된 R 시차 화상의 비트 스트림은, R 시차 화상의 3DV 방식의 Subset SPS의 정보의 NAL 유닛, R 시차 화상의 시차 정보를 포함하는 3DV 방식의 SEI의 정보의 NAL 유닛 및 R 시차 화상의 부호화 데이터(R Depth)의 NAL 유닛에 의해 구성된다.
또한, 도시는 생략하지만, 3DV 방식으로 부호화된 O 시차 화상의 비트 스트림은, R 시차 화상의 비트 스트림과 마찬가지로, O 시차 화상의 3DV 방식의 Subset SPS의 정보의 NAL 유닛, O 시차 화상의 시차 정보를 포함하는 3DV 방식의 SEI의 정보의 NAL 유닛 및 O 시차 화상의 부호화 데이터의 NAL 유닛에 의해 구성된다.
이상과 같이, 시차 정보는 3DV 방식의 SEI에 포함되므로, 3DV 방식에 대응하고 있지 않은 복호 장치에 있어서, 불필요하게 시차 정보를 처리할 필요가 없다.
[3DV 방식의 SEI의 구성예]
도 42는 3DV 방식의 SEI의 구성예를 도시하는 도면이다.
도 42에 도시한 바와 같이, 3DV 방식의 SEI에는, 시차 정보(3DV_view_synthesis_info)가 포함된다.
도 43은 시차 정보(3DV_view_synthesis_info)의 기술예를 도시하는 도면이다.
도 43에 도시한 바와 같이, 시차 정보로서는, 시차 화상의 각 화소값이, 시차 그 자체를 나타내는 시차값(Disparity)인지, 시차에 대응하는 피사체의 깊이(Depth)를 나타내는 뎁스값인지를 나타내는 시차 타입(depth_type)이 기술된다.
또한, 시차 정보로서는, 시차 화상의 각 화소값이 소정의 범위(예를 들어, 0부터 255까지의 범위) 내에 정규화되어 있는지 여부를 나타내는 정규화 플래그(is_normalized)(정규화 식별 정보)가 기술된다.
또한, 시차 화상의 각 화소값이 뎁스값인 경우, 시차 정보로서, 전체 시점에 공통된 뎁스값의 최대값(z_near)과, 뎁스값의 최소값(z_far)이 기술된다. 또한, 시차 화상의 각 화소값이 시차값인 경우, 시점마다의 시차값의 최대값(max_disp), 시차값의 최소값(min_disp)이 기술된다.
또한, 시차 정보로서는, 시차 화상에 대응하는 화상을 촬영하는 카메라의 촬영 모드(camera_mode)가 기술된다. 촬영 모드로서는, 카메라와 피사체의 깊이 방향의 거리가 동일해지도록 촬영하는 평행 촬영 모드(1D parallel mode)와, 피사체로부터 복사 방향으로 각 카메라를 배치하여 촬영하는 복사 포함 촬영 모드(General mode)가 있다.
시차 정보로서는, 또한, 시차 화상이 나타내는 시차가, 그 시차 화상에 대응하는 화상과, 어느 화상의 시차인지를 나타내는 대응 관계 정보(interval_view_id)가 기술된다. 또한, 시차 정보로서는, 시차 화상에 대응하는 화상의 시점수(num_cor_view_id)와, 그 화상을 특정하는 정보(cor_view_id)가 기술된다.
또한, 시차 정보로서는, 시차 화상에 대응하는 화상을 촬영하는 카메라의 파라미터(camera_parameters)가 기술된다. 또한, 카메라의 파라미터는, 내부 파라미터와 외부 파라미터에 의해 구성된다. 내부 파라미터는, 전체 시점에 공통된 카메라의 수평 방향의 초점 거리와, 화상 중심인 주점, 즉 렌즈의 광학적인 중심의 수평 방향의 위치를 포함하여 이루어진다. 또한, 주점의 수평 방향의 위치는, 시점마다 상이하게 할 수 있다. 또한, 외부 파라미터는, 카메라의 수평 방향의 위치를 정의하는 파라미터이다.
[부호화 장치의 처리의 설명]
도 44는, 도 37의 부호화 장치(290)의 다시점 부호화 처리를 설명하는 흐름도이다. 이 다시점 화상 부호화 처리는, 예를 들어 L 시점 화상, R 시점 화상 및 O 시점 화상이 부호화 대상으로서 부호화 장치(290)에 입력되었을 때, 개시된다.
도 44의 스텝 S251에 있어서, 부호화 장치(290)의 부호화 처리부(293)는, 부호화 장치(290)에 입력된 L 시점 화상을 취득한다. 스텝 S252에 있어서, 부호화 처리부(293)는, 부호화 장치(290)에 입력된 R 시점 화상을 취득한다. 스텝 S253에 있어서, 화상 변환 처리부(291)는, 부호화 장치(290)에 입력된 O 시점 화상을 취득한다.
스텝 S254에 있어서, 화상 변환 처리부(291)는, O 시점 화상 중 O 화상과 O 시차 화상 각각에 대하여 저해상도화 처리를 행한다. 화상 변환 처리부(291)는, 저해상도화 처리 후의 O 시점 화상을 부호화 처리부(293)에 공급한다.
스텝 S255에 있어서, 화상 변환 처리부(291)는, 스텝 S254의 저해상도화 처리에 있어서의 필터의 종류를 나타내는 정보 등을 보조 화상 저해상도 변환 정보로서 생성하여, 전송부(294)에 공급한다.
스텝 S256에 있어서, 시차 정보 생성부(292)는, L 화상, R 화상 및 O 화상의 촬영 시의 정보 등에 기초하여, L 시차 화상, R 시차 화상 및 O 시차 화상의 시차 정보를 생성하여, 부호화 처리부(293)에 공급한다.
스텝 S257에 있어서, 부호화 처리부(293)는, L 시점 화상 및 R 시점 화상, 및 화상 변환 처리부(291)로부터 공급되는 저해상도화 처리 후의 O 시점 화상을 부호화하는 부호화 처리를 행한다. 이 부호화 처리의 상세한 것은, 후술하는 도 45를 참조하여 설명한다.
스텝 S258에 있어서, 전송부(294)는, 화상 변환 처리부(291)로부터 공급되는 보조 화상 저해상도 변환 정보, 및 부호화 처리부(293)로부터 공급되는 참조 화상 저해상도 변환 정보 및 비트 스트림으로부터 TS를 생성하여, 전송한다. 그리고, 처리는 종료된다.
도 45는, 도 44의 스텝 S257의 부호화 처리의 상세를 설명하는 흐름도이다.
도 45의 스텝 S270에 있어서, 부호화 처리부(293)의 부호화부(301)(도 38)는, L 시점 화상, R 시점 화상 및 저해상도화 처리 후의 O 시점 화상을 부호화한다. 구체적으로는, 부호화부(301)의 호환 부호화부(311)가, L 화상을 AVC 방식으로 부호화하고, R 화상을 MVC 방식으로 부호화한다. 또한, 보조 부호화부(312)가, L 시차 화상, R 시차 화상 및 저해상도화 처리 후의 O 시점 화상을 3DV 방식으로 부호화한다. 부호화부(301)는, 부호화의 결과 얻어지는 L 시점 화상, R 시점 화상 및 O 시점 화상의 부호화 데이터를 부가부(303)에 공급한다.
스텝 S271에 있어서, 보조 부호화부(312)는, 참조 화상 저해상도 변환 정보를 생성하여, 도 37의 전송부(294)에 공급한다.
스텝 S272에 있어서, 부가 정보 생성부(302)는, 도 37의 시차 정보 생성부(292)로부터 공급되는 시차 정보를 사용하여, L 화상의 SPS 및 SEI의 정보, 및 L 시차 화상, R 시점 화상 및 O 시점 화상의 Subset SPS 및 SEI의 정보를 생성하여, 부가부(303)에 공급한다.
스텝 S273에 있어서, 부가부(303)는, 호환 부호화부(311)로부터 공급되는 L 화상의 부호화 데이터에, AVC 방식의 픽처의 종류를 나타내는 NAL 유닛의 타입을 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 부가부(303)는, 생성된 L 화상의 부호화 데이터의 NAL 유닛을 비트 스트림 생성부(304)에 공급한다.
스텝 S274에 있어서, 부가부(303)는, 호환 부호화부(311)로부터 공급되는 R 화상의 부호화 데이터에, MVC 방식의 부호화 데이터를 나타내는 NAL 유닛의 타입을 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 부가부(303)는, 생성된 R 화상의 부호화 데이터의 NAL 유닛을 비트 스트림 생성부(304)에 공급한다.
스텝 S275에 있어서, 부가부(303)는, 보조 부호화부(312)로부터 공급되는 O 화상의 부호화 데이터에, 3DV 방식의 부호화 데이터를 나타내는 NAL 유닛의 타입과, 시차 화상이 아님을 나타내는 시차 플래그를 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 부가부(303)는, 생성된 O 화상의 부호화 데이터의 NAL 유닛을 비트 스트림 생성부(304)에 공급한다.
스텝 S276에 있어서, 부가부(303)는, 보조 부호화부(312)로부터 공급되는 L 시차 화상, R 시차 화상 및 O 시차 화상의 부호화 데이터에, 각각, 3DV 방식의 부호화 데이터를 나타내는 NAL 유닛의 타입, 시차 화상인 것을 나타내는 시차 플래그 및, 대응하는 화상에 관한 정보를 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 부가부(303)는, 생성된 L 시차 화상, R 시차 화상 및 O 시차 화상의 부호화 데이터의 NAL 유닛을 비트 스트림 생성부(304)에 공급한다.
스텝 S277에 있어서, 부가부(303)는, 부가 정보 생성부(302)로부터 공급되는 L 화상의 SPS 및 SEI의 정보, 및 L 시차 화상, R 시점 화상 및 O 시점 화상의 Subset SPS 및 SEI의 정보에, 각각의 정보를 나타내는 NAL 유닛의 타입을 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 부가부(303)는, 생성된 L 화상의 SPS 및 SEI의 정보, 및 L 시차 화상, R 시점 화상 및 O 시점 화상의 Subset SPS 및 SEI의 정보의 NAL 유닛을, 비트 스트림 생성부(304)에 공급한다.
스텝 S278에 있어서, 비트 스트림 생성부(304)는, 부가부(303)로부터 공급되는 NAL 유닛을 소정의 순서대로 배치하여 비트 스트림을 생성하여, 도 37의 전송부(294)에 공급한다. 그리고, 처리는 도 44의 스텝 S257로 복귀되고, 처리는 스텝 S258로 진행된다.
이상과 같이, 부호화 장치(290)는, 호환 화상을 기존의 부호화 방식으로 부호화하고, 보조 화상인 O 화상의 부호화 데이터에, 3DV 방식의 부호화 데이터를 나타내는 NAL 유닛의 타입을 포함하는 NAL 헤더를 부가한다. 이에 의해, 기존의 부호화 방식에만 대응하는 복호 장치는, NAL 헤더에 기초하여 복호 가능한 호환 화상의 부호화 데이터만을 추출하여, 기존의 부호화 방식에 대응하는 방식으로 복호할 수 있으므로, 부호화 장치(290)는, 기존의 방식과의 호환성을 갖는 방식으로 부호화를 행하고 있다고 할 수 있다. 그 결과, 예를 들어 AVC 방식, MVC 방식 및 3DV 방식 각각에 대응하는 어플리케이션용의 데이터를 통합하여 부호화하여 방송할 수 있다.
[AVC 방식의 복호 장치의 구성예]
도 46은, 도 37의 부호화 장치(290)에 의해 전송되어 오는 비트 스트림을 복호하는 AVC 방식의 복호 장치의 구성예를 도시하는 블록도이다.
도 46의 복호 장치(320)는, 수신부(321), 분리부(322) 및 AVC 복호부(323)에 의해 구성되고, 부호화 장치(290)에 의해 전송되어 오는 비트 스트림에 포함되는 L 화상의 부호화 데이터를 복호한다.
복호 장치(320)의 수신부(321)는, 도 37의 부호화 장치(290)에 의해 전송되어 오는 TS를 수신하여, 그 TS에 포함되는 비트 스트림을 분리부(322)에 공급한다.
분리부(322)는, 수신부(321)로부터 공급되는 비트 스트림을, NAL 헤더에 기초하여, L 화상의 SPS, SEI 및 부호화 데이터의 NAL 유닛과, 그 NAL 유닛 이외의 NAL 유닛으로 분리한다.
구체적으로는, 분리부(322)는, 비트 스트림으로부터, AVC 방식의 픽처의 종류를 나타내는 NAL 유닛의 타입을 NAL 헤더에 포함하는 L 화상의 부호화 데이터의 NAL 유닛, AVC 방식의 SPS를 나타내는 NAL 유닛의 타입을 NAL 헤더에 포함하는 L 화상의 SPS의 NAL 유닛 및 AVC 방식의 SEI를 나타내는 NAL 유닛의 타입을 NAL 헤더에 포함하는 L 화상의 SEI의 NAL 유닛을 추출한다. 분리부(322)는, 분리된 NAL 유닛에 포함되는 데이터인 L 화상의 SPS의 정보, SEI의 정보 및 부호화 데이터를, 그 데이터가, SPS의 정보, SEI의 정보 및 부호화 데이터 중 어느 하나를 나타내는 종류 정보와 함께 AVC 복호부(323)에 공급한다. 또한, 종류 정보는, 대응하는 NAL 유닛의 타입에 기초하여 생성된다.
AVC 복호부(323)는, 분리부(322)로부터 공급되는 종류 정보에 기초하여, SPS의 정보 및 SEI의 정보를 나타내는 종류 정보에 대응하여 공급되는 SPS 및 SEI의 정보를 유지한다. AVC 복호부(323)는, 유지하고 있는 SPS 및 SEI의 정보에 기초하여, 분리부(322)로부터 부호화 데이터를 나타내는 종류 정보와 함께 공급되는 L 화상의 부호화 데이터를, AVC 방식에 대응하는 방식으로 복호한다. AVC 복호부(323)는, 복호의 결과 얻어지는 L 화상을 도시하지 않은 표시 장치에 출력하여, 표시시킨다. 이에 의해, 시청자는, 2D 화상을 볼 수 있다.
[AVC 방식의 복호 장치의 처리의 설명]
도 47은, 도 46의 복호 장치(320)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 37의 부호화 장치(290)로부터 TS가 전송되어 왔을 때, 개시된다.
도 47의 스텝 S291에 있어서, 복호 장치(320)의 수신부(321)는, 부호화 장치(290)에 의해 전송되어 오는 TS를 수신한다. 수신부(321)는, TS에 포함되는 비트 스트림을 분리부(322)에 공급한다. 또한, 이후의 스텝 S292 내지 S297의 처리는, 비트 스트림을 구성하는 NAL 유닛마다 행해진다.
스텝 S292에 있어서, 분리부(322)는, NAL 유닛의 NAL 헤더에 포함되는 NAL 유닛의 타입이, AVC 방식의 타입인지 여부를 판정한다. 즉, 분리부(322)는, NAL 유닛의 타입이, AVC 방식의 픽처의 종류, SPS 또는 SEI를 나타내는 정보인지 여부를 판정한다.
스텝 S292에서 NAL 유닛의 타입이 AVC 방식의 타입이라고 판정된 경우, 처리는 스텝 S293으로 진행된다. 스텝 S293에 있어서, 분리부(322)는, 그 NAL 유닛에 포함되는 L 화상의 데이터, 즉 L 화상의 SPS의 정보, SEI의 정보 또는 부호화 데이터를, 종류 정보와 함께 AVC 복호부(323)에 입력한다.
스텝 S294에 있어서, AVC 복호부(323)는, 분리부(322)로부터 공급되는 L 화상의 데이터에 대응하는 종류 정보에 기초하여, 그 데이터가 L 화상의 부호화 데이터인지 여부를 판정한다. 스텝 S294에서 L 화상의 부호화 데이터라고 판정된 경우, 스텝 S295에 있어서, AVC 복호부(323)는, 그 L 화상의 부호화 데이터를, 유지하고 있는 SPS 및 SEI의 정보에 기초하여 AVC 방식에 대응하는 방식으로 복호한다.
스텝 S296에 있어서, AVC 복호부(323)는, 복호의 결과 얻어지는 L 화상을 도시하지 않은 표시 장치에 출력하여, 표시시킨다. 그리고, 처리는 종료된다.
한편, 스텝 S294에서 L 화상의 부호화 데이터가 아니라고 판정된 경우, 즉, 분리부(322)로부터 공급되는 L 화상의 데이터가 L 화상의 SPS 또는 SEI의 정보인 경우, 처리는 스텝 S297로 진행된다.
스텝 S297에 있어서, AVC 복호부(323)는, 분리부(322)로부터 공급되는 L 화상의 SEI 또는 SPS의 정보를 유지하고, 처리를 종료한다.
또한, 스텝 S292에서 NAL 유닛의 타입이 AVC 방식의 타입이 아니라고 판정된 경우, 그 NAL 유닛은 AVC 복호부(323)에 공급되지 않고, 처리는 종료된다.
이상과 같이, 복호 장치(320)는, NAL 헤더에 기초하여, 비트 스트림을, 복호 장치(320)에 의해 복호 가능한 호환 화상인 L 화상의 SPS, SEI 및 부호화 데이터의 NAL 유닛과, 그 NAL 유닛 이외의 NAL 유닛으로 분리하고, 분리된 NAL 유닛에 포함되는 부호화 데이터만을 기존의 AVC 방식에 대응하는 방식으로 복호한다. 따라서, 복호 장치(320)는, 부호화 장치(290)에 의해 기존의 방식과의 호환성을 갖는 방식으로 부호화된 결과 얻어지는 비트 스트림을 복호할 수 있다.
[MVC 방식의 복호 장치의 구성예]
도 48은, 도 37의 부호화 장치(290)에 의해 전송되어 오는 비트 스트림을 복호하는 MVC 방식의 복호 장치의 구성예를 도시하는 블록도이다.
도 48에 도시하는 구성 중, 도 46의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 48의 복호 장치(320)의 구성은, 주로, 분리부(322), AVC 복호부(323) 대신에 분리부(341), MVC 복호부(342)가 설치되어 있는 점이 도 46의 구성과 상이하다. 복호 장치(320)는, 부호화 장치(290)에 의해 전송되어 오는 비트 스트림에 포함되는 L 화상과 R 화상의 부호화 데이터를 복호한다.
구체적으로는, 복호 장치(320)의 분리부(341)는, 수신부(321)로부터 공급되는 비트 스트림을, NAL 헤더에 기초하여, L 화상의 SPS 및 R 화상의 Subset SPS, 및 L 화상과 R 화상의 SEI 및 부호화 데이터의 NAL 유닛과, 그 NAL 유닛 이외의 NAL 유닛으로 분리한다.
보다 상세하게는, 분리부(341)는, 도 46의 분리부(322)와 마찬가지로, 비트 스트림으로부터, L 화상의 부호화 데이터, SPS 및 SEI의 NAL 유닛을 추출한다. 또한, 분리부(341)는, 비트 스트림으로부터, MVC 방식의 부호화 데이터를 나타내는 NAL 유닛의 타입을 NAL 헤더에 포함하는 R 화상의 부호화 데이터의 NAL 유닛, MVC 방식의 Subset SPS를 나타내는 NAL 유닛의 타입을 NAL 헤더에 포함하는 R 화상의 Subset SPS의 NAL 유닛 및 MVC 방식의 SEI를 나타내는 NAL 유닛의 타입을 NAL 헤더에 포함하는 R 화상의 SEI의 NAL 유닛을 추출한다.
분리부(341)는, 분리된 NAL 유닛에 포함되는 데이터인 L 화상의 SPS 및 R 화상의 Subset SPS, 및 L 화상과 R 화상의 SEI 및 부호화 데이터를, 그 데이터의 종류 정보와 함께 MVC 복호부(342)에 공급한다.
MVC 복호부(342)는, 분리부(341)로부터 공급되는 종류 정보에 기초하여, L 화상과 R 화상의 SEI, L 화상의 SPS 및 R 화상의 Subset SPS의 정보를 유지한다. MVC 복호부(342)는, 도 46의 AVC 복호부(323)와 마찬가지로, 유지하고 있는 L 화상의 SEI 및 SPS의 정보에 기초하여, 분리부(341)로부터 공급되는 L 화상의 부호화 데이터를 AVC 방식에 대응하는 방식으로 복호한다.
또한, MVC 복호부(342)는, 유지하고 있는 R 화상의 SEI 및 Subset SPS의 정보에 기초하여, 분리부(341)로부터 R 화상의 부호화 데이터를 나타내는 종류 정보와 함께 공급되는 R 화상의 부호화 데이터를, L 화상을 베이스 뷰로 하고, R 화상을 논베이스 뷰로 하여, MVC 방식에 대응하는 방식으로 복호한다. MVC 복호부(342)는, 복호의 결과 얻어지는 L 화상과 R 화상을 도시하지 않은 표시 장치에 교대로 출력하여, 표시시킨다.
이때, 시청자는, L 화상의 표시 시에 좌안용 셔터가 개방되고, R 화상의 표시 시에 우안용 셔터가 개방되는 안경을 장착하여, 표시 장치에 교대로 표시되는 L 화상과 R 화상을 봄으로써, 3D 화상을 볼 수 있다.
[MVC 방식의 복호 장치의 처리의 설명]
도 49는, 도 48의 복호 장치(340)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 37의 부호화 장치(290)로부터 TS가 전송되어 왔을 때, 개시된다.
도 49의 스텝 S311에 있어서, 복호 장치(340)의 수신부(321)는, 부호화 장치(290)에 의해 전송되어 오는 TS를 수신한다. 수신부(321)는, TS에 포함되는 비트 스트림을 분리부(341)에 공급한다. 또한, 이후의 스텝 S312 내지 S317의 처리는, 비트 스트림을 구성하는 NAL 유닛마다 행해진다.
스텝 S312에 있어서, 분리부(341)는, NAL 유닛의 NAL 헤더에 포함되는 NAL 유닛의 타입이, AVC 방식의 타입 또는 MVC 방식의 타입인지 여부를 판정한다. 즉, 분리부(341)는, NAL 유닛의 타입이, AVC 방식의 픽처의 종류, SPS 또는 SEI, 혹은, MVC 방식의 부호화 데이터, Subset SPS 또는 SEI를 나타내는 정보인지 여부를 판정한다.
스텝 S312에서 NAL 유닛의 타입이 AVC 방식의 타입 또는 MVC 방식의 타입이라고 판정된 경우, 처리는 스텝 S313으로 진행된다. 스텝 S313에 있어서, 분리부(341)는, 그 NAL 유닛에 포함되는 L 화상 또는 R 화상의 데이터, 즉 L 화상의 SPS의 정보, SEI의 정보 또는 부호화 데이터, 혹은 R 화상의 Subset SPS의 정보, SEI의 정보 또는 부호화 데이터를, 종류 정보와 함께 MVC 복호부(342)에 입력한다.
스텝 S314에 있어서, MVC 복호부(342)는, 종류 정보에 기초하여, 분리부(341)로부터 공급되는 데이터가 L 화상 또는 R 화상의 부호화 데이터인지 여부를 판정한다. 스텝 S314에서 L 화상 또는 R 화상의 부호화 데이터라고 판정된 경우, 스텝 S315에 있어서, MVC 복호부(342)는, 그 L 화상 또는 R 화상의 부호화 데이터를, 유지하고 있는 SPS 또는 Subset SPS 및 SEI의 정보에 기초하여 복호한다.
스텝 S316에 있어서, MVC 복호부(342)는, 복호의 결과 얻어지는 L 화상 또는 R 화상을 도시하지 않은 표시 장치에 출력하여 표시시켜, 처리를 종료한다.
한편, 스텝 S314에서 L 화상 또는 R 화상의 부호화 데이터가 아니라고 판정된 경우, 즉, 분리부(341)로부터의 데이터가 L 화상의 SPS 또는 SEI의 정보, 혹은, R 화상의 Subset SPS 또는 SEI의 정보인 경우, 처리는 스텝 S317로 진행된다.
스텝 S317에 있어서, MVC 복호부(342)는, 분리부(341)로부터 공급되는 L 화상의 SPS 또는 SEI의 정보, 혹은, R 화상의 Subset SPS 또는 SEI의 정보를 유지하고, 처리를 종료한다.
또한, 스텝 S312에서 NAL 유닛의 타입이 AVC 방식의 타입 또는 MVC 방식의 타입이 아니라고 판정된 경우, 그 NAL 유닛은 MVC 복호부(342)에 공급되지 않고, 처리는 종료된다.
이상과 같이, 복호 장치(340)는, NAL 헤더에 기초하여, 비트 스트림을, 복호 장치(340)에 의해 복호 가능한 호환 화상인 L 화상의 SPS, SEI 및 부호화 데이터, 및 R 화상의 Subset SPS, SEI 및 부호화 데이터의 NAL 유닛과, 그 NAL 유닛 이외의 NAL 유닛으로 분리하고, 분리된 NAL 유닛에 포함되는 부호화 데이터만을 기존의 AVC 방식 또는 MVC 방식에 대응하는 방식으로 복호한다. 따라서, 복호 장치(340)는, 부호화 장치(290)에 의해 기존의 방식과의 호환성을 갖는 방식으로 부호화된 결과 얻어지는 비트 스트림을 복호할 수 있다.
[3DV 방식의 복호 장치의 구성예]
도 50은, 도 37의 부호화 장치(290)에 의해 전송되어 오는 비트 스트림을 복호하는 3DV 방식의 복호 장치의 구성예를 도시하는 블록도이다.
도 50의 복호 장치(360)는, 수신부(361), 분리부(362), 3DV 복호부(363), 저해상도 화상 역변환 처리부(364) 및 화상 생성부(365)에 의해 구성된다. 복호 장치(360)는, 부호화 장치(290)에 의해 전송되어 오는 비트 스트림에 포함되는 L 시점 화상, R 시점 화상 및 O 시점 화상의 부호화 데이터를 복호한다.
구체적으로는, 복호 장치(360)의 수신부(361)는, 도 37의 부호화 장치(290)에 의해 전송되어 오는 TS를 수신한다. 수신부(361)는, TS에 포함되는 비트 스트림을 분리부(362)에 공급하고, 참조 화상 저해상도 변환 정보를 3DV 복호부(363)에 공급하고, 보조 화상 저해상도 변환 정보를 저해상도 화상 역변환 처리부(364)에 공급한다.
분리부(362)는, 수신부(361)로부터 공급되는 비트 스트림을, NAL 헤더에 기초하여 각 NAL 유닛으로 분리한다. 보다 상세하게는, 분리부(362)는, 도 48의 분리부(341)와 마찬가지로, 비트 스트림으로부터, L 화상의 부호화 데이터, SPS 및 SEI의 NAL 유닛을 추출한다. 또한, 분리부(362)는, 분리부(341)와 마찬가지로, 비트 스트림으로부터, R 화상의 부호화 데이터, Subset SPS 및 SEI의 NAL 유닛을 추출한다.
또한, 분리부(362)는, 3DV 방식의 부호화 데이터를 나타내는 NAL 유닛의 타입을 NAL 헤더에 포함하는 L 시차 화상, R 시차 화상 및 O 시점 화상의 부호화 데이터의 NAL 유닛을 추출한다. 또한, 분리부(362)는, 3DV 방식의 Subset SPS, SEI를 나타내는 NAL 유닛의 타입을 NAL 헤더에 포함하는, L 시차 화상, R 시차 화상 및 O 시점 화상의 Subset SPS, 및 L 시차 화상, R 시차 화상 및 O 시점 화상의 SEI의 NAL 유닛을 추출한다.
또한, 분리부(362)는, NAL 헤더에 포함되는 확장 정보에 기초하여, L 시차 화상, R 시차 화상 및 O 시점 화상의 부호화 데이터의 NAL 헤더를, 또한 분리한다. 구체적으로는, 분리부(362)는, 확장 정보가 시차 화상이 아님을 나타내는 시차 플래그인 NAL 유닛을, O 시차 화상의 부호화 데이터의 NAL 유닛으로서 추출한다. 또한, 분리부(362)는, 확장 정보가, 시차 화상인 것을 나타내는 시차 플래그, 대응하는 화상의 시점수로서의 1 및 대응하는 화상의 시점을 특정하는 정보로서의 L 화상을 특정하는 정보인 NAL 유닛을, L 시차 화상의 부호화 데이터의 NAL 유닛으로서 추출한다. 마찬가지로, 분리부(362)는, R 시차 화상의 부호화 데이터의 NAL 유닛과 O 시차 화상의 부호화 데이터의 NAL 유닛을 추출한다.
분리부(362)는, 분리된 NAL 유닛에 포함되는 데이터인 L 화상의 SPS의 정보, L 시차 화상, R 시점 화상 및 O 시점 화상의 Subset SPS의 정보, 및 L 시점 화상, R 시점 화상 및 O 시점 화상의 SEI의 정보 및 부호화 데이터를, 그 데이터의 종류 정보와 함께 3DV 복호부(363)에 공급한다.
3DV 복호부(363)는, 분리부(362)로부터 공급되는 종류 정보에 기초하여, L 화상의 SPS 및 SEI의 정보, 및 L 시차 화상, R 시점 화상 및 O 시점 화상의 Subset SPS와 SEI의 정보를 유지한다. 3DV 복호부(363)는, 도 48의 MVC 복호부(342)와 마찬가지로, 유지하고 있는 L 화상의 SEI 및 SPS의 정보에 기초하여, 분리부(362)로부터 공급되는 L 화상의 부호화 데이터를, AVC 방식에 대응하는 방식으로 복호한다. 또한, 3DV 복호부(363)는, MVC 복호부(342)와 마찬가지로, 유지하고 있는 R 화상의 SEI 및 Subset SPS의 정보에 기초하여, 분리부(362)로부터 공급되는 R 화상의 부호화 데이터를, MVC 방식에 대응하는 방식으로 복호한다.
또한, 3DV 복호부(363)는, 유지하고 있는 O 화상의 SEI 및 Subset SPS의 정보에 기초하여, 분리부(362)로부터 O 화상의 부호화 데이터를 나타내는 종류 정보와 함께 공급되는 O 화상의 부호화 데이터를, L 화상이나 R 화상을 참조하여, 3DV 방식에 대응하는 방식으로 복호한다. 이때, 3DV 복호부(363)는, 수신부(361)로부터 공급되는 참조 화상 저해상도 변환 정보에 기초하여, 참조하는 L 화상이나 R 화상에 대하여 저해상도화 처리를 행하여, 저해상도화 처리 후의 L 화상이나 R 화상을 참조한다.
또한, 3DV 복호부(363)는, 유지하고 있는 L 시차 화상의 SEI 및 Subset SPS의 정보에 기초하여, 분리부(362)로부터 L 시차 화상의 부호화 데이터를 나타내는 종류 정보와 함께 공급되는 L 시차 화상의 부호화 데이터를, 동일한 시점의 시차 화상 이외를 참조하지 않고 3DV 방식에 대응하는 방식으로 복호한다. 또한, 3DV 복호부(363)는, 유지하고 있는 R 시차 화상의 SEI 및 Subset SPS의 정보에 기초하여, 분리부(362)로부터 R 시차 화상의 부호화 데이터를 나타내는 종류 정보와 함께 공급되는 R 시차 화상의 부호화 데이터를, L 시차 화상을 참조하여 3DV 방식에 대응하는 방식으로 복호한다.
또한, 3DV 복호부(363)는, 유지하고 있는 O 시차 화상의 SEI 및 Subset SPS의 정보에 기초하여, 분리부(362)로부터 O 시차 화상의 부호화 데이터를 나타내는 종류 정보와 함께 공급되는 O 시차 화상의 부호화 데이터를, L 시차 화상이나 R 시차 화상을 참조하여 3DV 방식에 대응하는 방식으로 복호한다. 이때, 3DV 복호부(363)는, 수신부(361)로부터 공급되는 참조 화상 저해상도 변환 정보에 기초하여, 참조하는 L 시차 화상이나 R 시차 화상에 대하여 저해상도화 처리를 행하여, 저해상도화 처리 후의 L 시차 화상이나 R 시차 화상을 참조한다.
3DV 복호부(363)는, 복호의 결과 얻어지는 L 시점 화상과 R 시점 화상을 화상 생성부(365)에 공급한다. 또한, 3DV 복호부(363)는, 복호의 결과 얻어지는 O 시점 화상을 저해상도 화상 역변환 처리부(364)에 공급한다. 또한, 3DV 복호부(363)는, 유지하고 있는 L 시차 화상, R 시차 화상 및 O 시차 화상의 SEI에 포함되는 시차 정보를 화상 생성부(365)에 공급한다.
저해상도 화상 역변환 처리부(364)는, 수신부(361)로부터의 보조 화상 저해상도 변환 정보에 기초하여, 3DV 복호부(363)로부터의 O 시점 화상을 구성하는 O 화상과 O 시차 화상 각각에 대하여, 도 37의 화상 변환 처리부(291)에 있어서의 저해상도화 처리에 대응하는 필터 처리 등의 고해상도화 처리를 행한다. 이에 의해, O 시점 화상의 해상도는, L 시점 화상 및 R 시점 화상의 해상도와 동일해진다. 저해상도 화상 역변환 처리부(364)는, 고해상도화 처리 후의 O 시점 화상을 화상 생성부(365)에 공급한다.
화상 생성부(365)는, 3DV 복호부(363)로부터 공급되는 L 시차 화상의 시차 정보에 기초하여, 필요에 따라, 3DV 복호부(363)로부터 공급되는 L 시차 화상에 대하여 변환을 행한다.
예를 들어, 화상 생성부(365)는, L 시차 화상의 시차 정보에 포함되는 시차 타입이, 시차 화상의 각 화소값이 뎁스값인 것을 나타내고, 화상 생성부(365)가 처리 가능한 시차를 나타내는 값이 시차값인 경우, L 시차 화상의 각 화소값을 시차값으로 변환한다.
또한, 화상 생성부(365)는, L 시차 화상의 시차 정보에 포함되는 정규화 플래그가, 정규화되어 있지 않은 것을 나타내는 값이며, 화상 생성부(365)가 처리 가능한 시차를 나타내는 값이 정규화 후의 값인 경우, L 시차 화상의 각 화소값을 정규화하고, 정규화 후의 값으로 변환한다.
또한, 화상 생성부(365)는, L 시차 화상의 시차 정보에 포함되는 촬영 모드가 복사 포함 촬영 모드이며, 화상 생성부(365)가 처리 가능한 시차 화상이 평행 촬영 모드에서 촬영된 화상의 시차 화상인 경우, L 시차 화상을, 평행 촬영 모드에서 촬영된 L 화상의 시차 화상으로 변환한다.
화상 생성부(365)는, L 시차 화상과 마찬가지로, 필요에 따라, R 시차 화상의 시차 정보에 기초하여 R 시차 화상을 변환하고, O 시차 화상의 시차 정보에 기초하여 O 시차 화상을 변환한다.
화상 생성부(365)는, 변환 후의 L 시차 화상, R 시차 화상 및 O 시차 화상, L 화상, R 화상 및 O 화상, 및 시차 정보에 포함되는, 뎁스값의 최대값 및 최소값 또는 시차값의 최대값 및 최소값, 및 대응 관계 정보에 기초하여, 도시하지 않은 표시 장치에 대응하는 3 이상의 시점수의 화상을 생성한다. 그리고, 화상 생성부(365)는, 생성된 각 시점의 화상의 해상도를, 호환 화상이나 보조 화상의 해상도의 1/시점수의 해상도로 변환하고 합성하여, 도시하지 않은 표시 장치에 출력하여 표시시킨다.
이때, 합성 후의 다시점의 화상은, 시점마다 시인 가능한 각도가 상이하도록 표시되어, 시청자는, 임의의 2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 3D 화상을 볼 수 있다.
[3DV 방식의 복호 장치의 처리의 설명]
도 51은, 도 50의 복호 장치(360)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 37의 부호화 장치(290)로부터 TS가 전송되어 왔을 때, 개시된다.
도 51의 스텝 S331에 있어서, 복호 장치(340)의 수신부(361)는, 부호화 장치(290)에 의해 전송되어 오는 TS를 수신한다. 수신부(361)는, TS에 포함되는 비트 스트림을 분리부(362)에 공급하고, 참조 화상 저해상도 변환 정보를 3DV 복호부(363)에 공급하고, 보조 화상 저해상도 변환 정보를 저해상도 화상 역변환 처리부(364)에 공급한다. 또한, 이후의 스텝 S332 내지 S342의 처리는, 비트 스트림을 구성하는 NAL 유닛마다 행해진다.
스텝 S332에 있어서, 분리부(362)는, NAL 유닛의 NAL 헤더에 기초하여 각 NAL 유닛을 분리하고, 그 NAL 유닛에 포함되는, L 시점 화상, R 시점 화상 또는 저해상도화 처리 후의 O 시점 화상의 데이터를, 종류 정보와 함께 3DV 복호부(363)에 공급한다.
스텝 S333에 있어서, 3DV 복호부(363)는, 종류 정보에 기초하여, 그 종류 정보와 함께 분리부(362)로부터 공급되는 데이터가 L 시점 화상, R 시점 화상 또는 저해상도화 처리 후의 O 시점 화상의 부호화 데이터인지 여부를 판정한다. 스텝 S333에서 L 시점 화상, R 시점 화상 또는 O 시점 화상의 부호화 데이터라고 판정된 경우, 처리는 스텝 S334로 진행된다.
스텝 S334에 있어서, 3DV 복호부(363)는, L 시점 화상, R 시점 화상 또는 저해상도화 처리 후의 O 시점 화상의 부호화 데이터를, 유지하고 있는 SPS 또는 Subset SPS 및 SEI의 정보에 기초하여 복호한다.
스텝 S335에 있어서, 3DV 복호부(363)는, 종류 정보에 기초하여, 복호의 결과 얻어지는 화상이 저해상도화 처리 후의 O 화상 또는 O 시차 화상인지 여부를 판정한다. 스텝 S335에서 복호의 결과 얻어지는 화상이 저해상도화 처리 후의 O 화상 또는 O 시차 화상이라고 판정된 경우, 3DV 복호부(363)는, 그 O 화상 또는 O 시차 화상을 저해상도 화상 역변환 처리부(364)에 공급한다.
스텝 S336에 있어서, 저해상도 화상 역변환 처리부(364)는, 수신부(361)로부터 공급되는 보조 화상 저해상도 변환 정보에 기초하여, 3DV 복호부(363)로부터 공급되는 저해상도화 처리 후의 O 화상 또는 O 시차 화상에 대하여 고해상도화 처리를 행한다. 이에 의해, O 화상 또는 O 시차 화상의 해상도가, L 시점 화상 및 R 시점 화상과 동일한 해상도로 된다.
스텝 S337에 있어서, 저해상도 화상 역변환 처리부(364)는, 고해상도화 처리 후의 O 화상 또는 O 시차 화상을 화상 생성부(365)에 출력하고, 처리를 종료한다.
한편, 스텝 S335에서 복호의 결과 얻어지는 화상이 저해상도화 처리 후의 O 화상 또는 O 시차 화상이 아니라고 판정된 경우, 즉, 복호의 결과 얻어지는 화상이 L 화상, L 시차 화상, R 화상 또는 R 시차 화상인 경우, 처리는 스텝 S338로 진행된다.
스텝 S338에 있어서, 3DV 복호부(363)는, 복호의 결과 얻어지는 L 화상, L 시차 화상, R 화상 또는 R 시차 화상을 화상 생성부(365)에 출력하고, 처리를 종료한다.
또한, 스텝 S333에서 L 시점 화상, R 시점 화상 또는 O 시점 화상의 부호화 데이터가 아니라고 판정된 경우, 즉, 분리부(362)로부터 공급되는 데이터가 SPS, Subset SPS 또는 SEI의 정보인 경우, 처리는 스텝 S339로 진행된다.
스텝 S339에 있어서, 3DV 복호부(363)는, 분리부(362)로부터 공급되는 SPS, Subset SPS 또는 SEI의 정보를 유지한다.
스텝 S340에 있어서, 3DV 복호부(363)는, 스텝 S339에서 유지된 데이터가, SEI의 정보인지 여부를 판정한다. 스텝 S340에서 유지된 데이터가 SEI의 정보라고 판정된 경우, 처리는 스텝 S341로 진행된다.
스텝 S341에 있어서, 3DV 복호부(363)는, 스텝 S339에서 유지된 SEI의 정보에 시차 정보가 있는지 여부를 판정한다. 스텝 S341로 시차 정보가 있다고 판정된 경우, 스텝 S342에 있어서, 3DV 복호부(363)는, SEI의 정보로부터 시차 정보를 추출하여 화상 생성부(365)에 출력하고, 처리를 종료한다.
한편, 스텝 S340에서 유지된 데이터가 SEI의 정보가 아니라고 판정된 경우 또는 스텝 S341에서 시차 정보가 없다고 판정된 경우, 처리는 종료된다.
이상과 같이, 복호 장치(360)는, NAL 헤더에 기초하여, 비트 스트림을 각 NAL 유닛으로 분리한다. 그리고, 복호 장치(360)는, 분리된 NAL 유닛에 포함되는 호환 화상의 부호화 데이터를 기존의 AVC 방식 또는 MVC 방식에 대응하는 방식으로 복호하고, 보조 화상 및 시차 화상의 부호화 데이터를 3DV 방식에 대응하는 방식으로 복호한다. 따라서, 복호 장치(340)는, 부호화 장치(290)에 의해 기존의 방식과의 호환성을 갖는 방식으로 부호화된 결과 얻어지는 비트 스트림을 복호할 수 있다.
[복호 대상으로 되는 부호화 데이터의 설명]
도 52는, 도 46의 복호 장치(320), 도 48의 복호 장치(340) 및 도 50의 복호 장치(360)에 있어서 복호 대상으로 되는 부호화 데이터를 설명하는 도면이다.
도 52의 예에서는, 도 39에 도시한 참조 관계에 의해 부호화된 비트 스트림이 부호화 장치(290)로부터 전송되어 오는 것으로 한다.
이 경우, 도 52에 도시한 바와 같이, 복호 장치(320)는, NAL 유닛의 타입(nal_unit_type)이, AVC 방식의 픽처의 종류를 나타내는 정보(도 52의 예에서는, 1 또는 5)인 L 화상의 NAL 유닛에 포함되는 부호화 데이터(Coded slice)만을 AVC 방식에 대응하는 방식으로 복호한다.
한편, 복호 장치(340)는, 도 52에 도시한 바와 같이, 복호 장치(320)와 마찬가지로, L 화상의 NAL 유닛이 포함되는 부호화 데이터를 AVC 방식에 대응하는 방식으로 복호한다. 또한, 복호 장치(340)는, NAL 유닛의 타입이 MVC 방식의 부호화 데이터를 나타내는 정보(도 52의 예에서는, 20)인 R 화상의 NAL 유닛에 포함되는 부호화 데이터를, L 화상을 베이스 뷰로 하고, R 화상을 논베이스 뷰로 하여, MVC 방식에 대응하는 방식으로 복호한다.
또한, 복호 장치(360)는, 도 52에 도시한 바와 같이, 복호 장치(320)나 복호 장치(340)와 마찬가지로, L 화상의 NAL 유닛이 포함되는 부호화 데이터를 AVC 방식에 대응하는 방식으로 복호한다. 또한, 복호 장치(360)는, 복호 장치(340)와 마찬가지로, R 화상의 NAL 유닛에 포함되는 부호화 데이터를, L 화상을 베이스 뷰로 하고, R 화상을 논베이스 뷰로 하여, MVC 방식에 대응하는 방식으로 복호한다.
또한, 복호 장치(360)는, NAL 유닛의 타입이 3DV 방식의 부호화 데이터를 나타내는 정보(도 52의 예에서는, 21)이며, 확장 정보(nal_unit_header_3dv_extension)가 시차 화상이 아님을 나타내는 시차 플래그(is_depth=0)인 저해상도화 처리 후의 O 화상의 NAL 유닛에 포함되는 부호화 데이터를, 저해상도화 처리 후의 L 화상 및 R 화상을 참조하여 3DV 방식에 대응하는 방식으로 복호한다.
또한, 복호 장치(360)는, NAL 유닛의 타입이 3DV 방식의 부호화 데이터를 나타내는 정보이며, 확장 정보가, 시차 화상인 것을 나타내는 시차 플래그(is_depth=1)와, 대응하는 화상을 특정하는 정보로서의 L 화상을 특정하는 정보(cor_view_id=0)인 L 시차 화상의 NAL 유닛에 포함되는 부호화 데이터를, 동일한 시점의 시차 화상 이외를 참조하지 않고, 3DV 방식에 대응하는 방식으로 복호한다.
또한, 복호 장치(360)는, NAL 유닛의 타입이 3DV 방식의 부호화 데이터를 나타내는 정보이며, 확장 정보가, 시차 화상인 것을 나타내는 시차 플래그와, 대응하는 화상을 특정하는 정보로서의 R 화상을 특정하는 정보(cor_view_id=1)인 R 시차 화상의 NAL 유닛에 포함되는 부호화 데이터를, L 시차 화상을 참조하여 3DV 방식에 대응하는 방식으로 복호한다.
또한, 복호 장치(360)는, NAL 유닛의 타입이 3DV 방식의 부호화 데이터를 나타내는 정보이며, 확장 정보가, 시차 화상인 것을 나타내는 시차 플래그와, 대응하는 화상을 특정하는 정보로서의 O 화상을 특정하는 정보(cor_view_id=2)인 저해상도화 처리 후의 O 시차 화상의 NAL 유닛에 포함되는 부호화 데이터를, 저해상도화 처리 후의 L 시차 화상과 R 시차 화상을 참조하여 3DV 방식에 대응하는 방식으로 복호한다.
<제6 실시 형태>
[부호화 장치의 제6 실시 형태의 구성예]
도 53은, 본 기술을 적용한 부호화 장치의 제6 실시 형태의 구성예를 도시하는 블록도이다.
도 53의 부호화 장치(380)는, 다중화 처리부(381), 다중화 처리부(382), 시차 정보 생성부(383), 부호화 처리부(384) 및 전송부(385)에 의해 구성된다. 부호화 장치(380)에서는, 호환 화상이 L 화상 및 R 화상이며, 보조 화상이, N(N은 2의 배수) 시점의 O1 화상 내지 ON 화상이다. 부호화 장치(380)는, 호환 화상의 시차 화상, 및 각 2시점의 보조 화상 및 보조 화상의 시차 화상을 다중화하여 부호화한다.
구체적으로는, 부호화 장치(380)의 다중화 처리부(381)는, 부호화 장치(380)에 입력되는 L 시점 화상 중 L 시차 화상이 입력됨과 함께, R 시점 화상 중 R 시차 화상이 입력된다. 다중화 처리부(381)는, L 시차 화상과 R 시차 화상을 소정의 다중화 방식으로 다중화한다.
보다 상세하게는, 예를 들어 다중화 방식이 사이드 바이 사이드 방식인 경우, 다중화 처리부(381)는, L 시차 화상과 R 시차 화상의 해상도를 절반으로 한다. 그리고, 다중화 처리부(381)는, 해상도가 절반으로 된 L 시차 화상이 화면의 좌측 절반의 화상으로 되고, 해상도가 절반으로 된 R 시차 화상이 화면의 우측 절반의 화상으로 되도록, 해상도가 절반으로 된 L 시차 화상과 R 시차 화상을 다중화한다. 또한, 예를 들어 다중화 방식이 톱 앤드 보텀 방식인 경우, 다중화 처리부(381)는, 해상도가 절반으로 된 L 시차 화상이 화면의 상반부의 화상으로 되고, 해상도가 절반으로 된 R 시차 화상이 화면의 하반부의 화상으로 되도록, 해상도가 절반으로 된 L 시차 화상과 R 시차 화상을 다중화한다.
다중화 처리부(381)는, 다중화의 결과 얻어지는 다중화 화상을 호환 시차 화상으로 하여 부호화 처리부(384)에 공급한다. 또한, 다중화 처리부(381)는, 호환 화상의 시차 화상인 L 시차 화상과 R 시차 화상의 다중화 방식을 나타내는 정보인 호환 다중화 정보를 생성하여, 전송부(385)에 공급한다.
다중화 처리부(382)는, 부호화 장치(380)에 입력되는, O1 화상과 O1 화상의 시차 화상인 O1 시차 화상을 포함하여 이루어지는 O1 시점 화상, …, 및 ON 화상과 ON 화상의 시차 화상인 ON 시차 화상을 포함하여 이루어지는 ON 시점 화상이 입력된다. 다중화 처리부(382)는, O1 화상과 O2 화상, O3 화상과 O4 화상, …, O(N-1) 화상과 ON 화상을 각각 소정의 다중화 방식으로 다중화한다. 그리고, 다중화 처리부(382)는, 그 다중화의 결과 얻어지는 다중화 화상을 보조 다중화 화상으로 하여 부호화 처리부(384)에 공급한다.
마찬가지로, 다중화 처리부(382)는, O1 시차 화상과 O2 시차 화상, O3 시차 화상과 O4 시차 화상, …, O(N-1) 시차 화상과 ON 시차 화상을 각각, 소정의 다중화 방식으로 다중화한다. 다중화 처리부(382)는, 그 다중화의 결과 얻어지는 다중화 화상을 보조 시차 다중화 화상으로 하여 부호화 처리부(384)에 공급한다. 또한, 보조 화상인 O1 화상 내지 ON 화상과, 보조 화상의 시차 화상인 O1 시차 화상 내지 ON 시차 화상의 다중화 방식을 나타내는 정보인 보조 다중화 정보를 생성하여, 전송부(385)에 공급한다.
또한, 이하에서는, O1 시점 화상 내지 ON 시점 화상을, 각각을 특별히 구별할 필요가 없는 경우, 그들을 통합하여 O 다시점 화상이라고 한다. 마찬가지로, O 다화상 및 O 다시차 화상이라고 한다.
시차 정보 생성부(383)는, L 화상, R 화상 및 O 다화상의 촬영 시의 정보 등에 기초하여, L 시차 화상, R 시차 화상 및 O 다시차 화상의 시차 정보를 생성하여, 부호화 처리부(384)에 공급한다.
부호화 처리부(384)는, 도 37의 부호화 처리부(293)와 마찬가지로, 부호화 장치(380)에 입력되는 L 시점 화상 중 L 화상을 AVC 방식으로 부호화한다. 또한, 부호화 처리부(384)는, 부호화 처리부(293)와 마찬가지로, 부호화 장치(380)에 입력되는 R 시점 화상 중 R 화상을, L 화상을 베이스 뷰로 하고, R 화상을 논베이스 뷰로 하여 MVC 방식으로 부호화한다.
또한, 부호화 처리부(384)는, 다중화 처리부(382)로부터 공급되는 보조 다중화 화상을, L 화상이나 R 화상을 참조하여 3DV 방식으로 부호화한다. 이때, 부호화 처리부(384)는, 참조하는 L 화상이나 R 화상을 복제하여, 보조 다중화 화상과 동일한 다중화 방식으로 다중화를 행하고, 그 결과 얻어지는 다중화 화상을 참조한다.
또한, 부호화 처리부(384)는, 다중화 처리부(381)로부터 공급되는 호환 다중화 화상을, 동일한 시점의 호환 다중화 화상 이외를 참조하지 않고, 3DV 방식으로 부호화한다. 또한, 부호화 처리부(384)는, 다중화 처리부(382)로부터 공급되는 보조 시차 다중화 화상을, 3DV 방식으로 부호화한다.
부호화 처리부(384)는, 부호화의 결과 얻어지는 L 화상, R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 부호화 데이터, 및 시차 정보 생성부(383)로부터 공급되는 시차 정보로부터 비트 스트림을 생성하여, 그 비트 스트림을 전송부(385)에 공급한다. 또한, 부호화 처리부(384)는, 호환 다중화 화상의 참조 화상을 생성할 때의 다중화 방식을 나타내는 정보인 참조 화상 다중화 정보를 생성하여, 전송부(385)에 공급한다.
전송부(385)는, 다중화 처리부(381)로부터 공급되는 호환 다중화 정보, 다중화 처리부(382)로부터 공급되는 보조 다중화 정보, 및 부호화 처리부(384)로부터 공급되는 비트 스트림 및 참조 화상 다중화 정보로부터 TS를 생성하여, 전송한다.
[부호화 처리부의 구성예]
도 54는, 도 53의 부호화 처리부(384)의 구성예를 도시하는 블록도이다.
도 54에 도시하는 구성 중, 도 38의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 54의 부호화 처리부(384)의 구성은, 주로, 부호화부(301), 부가 정보 생성부(302) 및 부가부(303) 대신 부호화부(401), 부가 정보 생성부(402), 부가부(403)가 설치되어 있는 점이 도 38의 구성과 상이하다.
부호화 처리부(384)의 부호화부(401)는, 호환 부호화부(311)와 보조 부호화부(411)에 의해 구성된다. 부호화부(401)의 보조 부호화부(411)는, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상을, 3DV 방식으로 부호화한다. 보조 부호화부(411)는, 부호화의 결과 얻어지는 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 부호화 데이터를 부가부(403)에 공급한다. 또한, 부호화부(401)는, 참조 화상 다중화 정보를 생성하여, 도 53의 전송부(385)에 공급한다.
부가 정보 생성부(402)는, L 화상의 SPS의 정보, 및 R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 Subset SPS의 정보를 생성한다. 또한, 부가 정보 생성부(402)는, L 화상, R 화상 및 보조 다중화 화상의 SEI의 정보를 생성한다. 또한, 부가 정보 생성부(402)는, 도 53의 시차 정보 생성부(383)로부터 공급되는 L 시차 화상과 R 시차 화상의 시차 정보를 포함하는 호환 다중화 화상의 SEI의 정보를 생성한다.
또한, 부가 정보 생성부(402)는, 시차 정보 생성부(383)로부터 공급되는 보조 시차 다중화 화상을 구성하는 2시점의 O 다시차 화상의 시차 정보를 포함하는, 그 보조 시차 다중화 화상의 SEI의 정보를 생성한다. 부가 정보 생성부(402)는, L 화상의 SPS의 정보, R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 Subset SPS의 정보, 및 L 화상, R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 SEI의 정보를 부가부(403)에 공급한다.
부가부(403)는, 도 38의 부가부(303)와 마찬가지로, 호환 부호화부(311)에 의한 부호화의 결과 얻어지는 L 화상의 부호화 데이터에, NAL 유닛의 타입으로서, AVC 방식의 픽처의 종류를 나타내는 정보를 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 또한, 부가부(403)는, 부가부(303)와 마찬가지로, 호환 부호화부(311)에 의한 부호화의 결과 얻어지는 R 화상의 부호화 데이터에, NAL 유닛의 타입으로서, MVC 방식의 부호화 데이터를 나타내는 정보를 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다.
또한, 부가부(403)는, 보조 부호화부(411)로부터 공급되는 보조 다중화 화상의 부호화 데이터에, NAL 유닛의 타입으로서 3DV 방식의 부호화 데이터를 나타내는 정보를 포함하고, 시차 화상이 아님을 나타내는 시차 플래그를 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 또한, 부가부(403)는, 보조 부호화부(411)로부터 공급되는 호환 다중화 화상과 보조 시차 다중화 화상의 부호화 데이터에, 각각, NAL 유닛의 타입으로서 3DV 방식의 부호화 데이터를 나타내는 정보를 포함하고, 시차 화상인 것을 나타내는 시차 플래그와, 대응하는 화상에 관한 정보를 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다.
또한, 부가부(403)는, 부가 정보 생성부(402)로부터 공급되는 L 화상의 SPS의 정보, R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 Subset SPS의 정보, 및 L 화상, R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 SEI의 정보에, 각각, NAL 유닛의 타입으로서, 각각의 정보를 나타내는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 부가부(403)는, 이상과 같이 하여 생성된 NAL 유닛을 비트 스트림 생성부(304)에 공급한다.
[NAL 유닛의 구성예]
도 55는, 도 53의 부호화 처리부(384)에 의해 생성되는 비트 스트림 중, L 화상, R 화상, 보조 다중화 화상, 호환 다중화 화상 및 보조 시차 다중화 화상의 부호화 데이터의 NAL 유닛의 구성예를 도시하는 도면이다.
도 55에 있어서, L 화상 및 R 화상의 부호화 데이터의 NAL 유닛은, 도 40의 경우와 마찬가지이므로, 설명은 생략한다.
도 55에 도시한 바와 같이, 부호화 처리부(384)에 의한 부호화 처리에서는, 보조 다중화 화상의 NAL 유닛의 NAL 헤더에, NAL 유닛의 타입으로서 3DV 방식의 부호화 데이터를 나타내는 정보가 포함됨과 함께, 확장 정보로서 시차 화상이 아님을 나타내는 0인 시차 플래그가 포함된다. 이에 의해, 복호 장치에 있어서, 보조 다중화 화상을 식별할 수 있다.
또한, 호환 다중화 화상과 각 보조 시차 다중화 화상의 NAL 유닛의 NAL 헤더에는, 시차 화상인 것을 나타내는 1인 시차 플래그가 포함된다. 이에 의해, 복호 장치에 있어서, 호환 다중화 화상과 보조 시차 다중화 화상을 식별할 수 있다.
또한, 호환 다중화 화상과 각 보조 시차 다중화 화상의 NAL 유닛의 NAL 헤더에는, 확장 정보로서, 대응하는 화상에 관한 정보가 포함된다. 여기에서는, 호환 다중화 화상은, 2시점의 L 화상과 R 화상의 시차 화상이며, 각 보조 시차 다중화 화상은, 2시점의 O 다화상의 시차 화상이다. 또한, 도 55의 예에서는, L 화상의 시점을 특정하는 정보가 0이며, R 화상의 시점을 특정하는 정보가 1이며, 보조 시차 다중화 화상에 대응하는 2시점의 O 다화상의 시점을 특정하는 정보가 2 및 3이다.
따라서, 호환 다중화 화상의 NAL 유닛의 NAL 헤더에 포함되는 대응하는 화상에 관한 정보는, 대응하는 화상의 시점수로서의 2와, 대응하는 화상의 시점을 특정하는 정보로서의 0 및 1이다. 또한, 보조 시차 다중화 화상의 NAL 유닛의 NAL 헤더에 포함되는 대응하는 화상에 관한 정보는, 대응하는 화상의 시점수로서의 2와, 대응하는 화상의 시점을 특정하는 정보로서의 2 및 3이다.
이상과 같이, 확장 정보로서, 대응하는 화상에 관한 정보가 포함됨으로써, 호환 다중화 화상 및 각 보조 시차 다중화 화상을 각각 식별할 수 있다.
[비트 스트림의 구성예]
도 56은, 도 54의 비트 스트림 생성부(304)에 의해 생성되는 비트 스트림의 구성예를 도시하는 도면이다.
도 56의 A에 도시한 L 화상의 비트 스트림과, 도 56의 B에 도시한 R 화상의 비트 스트림은, 각각, 도 41의 A의 L 화상의 비트 스트림, 도 41의 B의 R 화상의 비트 스트림과 동일하므로, 설명은 생략한다.
도 56의 C에 도시한 바와 같이, 3DV 방식으로 부호화된 보조 다중화 화상의 비트 스트림은, 보조 다중화 화상의 3DV 방식의 Subset SPS의 정보의 NAL 유닛, 보조 다중화 화상의 3DV 방식의 SEI의 정보의 NAL 유닛 및 보조 다중화 화상의 부호화 데이터의 NAL 유닛에 의해 구성된다.
도 56의 D에 도시한 바와 같이, 3DV 방식으로 부호화된 호환 다중화 화상의 비트 스트림은, 호환 다중화 화상의 3DV 방식의 Subset SPS의 정보의 NAL 유닛, 호환 다중화 화상의 시차 정보를 포함하는 3DV 방식의 SEI의 정보의 NAL 유닛 및 호환 다중화 화상의 부호화 데이터의 NAL 유닛에 의해 구성된다.
또한, 도 56의 E에 도시한 바와 같이, 3DV 방식으로 부호화된 보조 시차 다중화 화상의 비트 스트림은, 보조 시차 다중화 화상의 3DV 방식의 Subset SPS의 정보의 NAL 유닛, 보조 시차 다중화 화상의 시차 정보를 포함하는 3DV 방식의 SEI의 정보의 NAL 유닛 및 보조 시차 다중화 화상의 부호화 데이터의 NAL 유닛에 의해 구성된다.
이상과 같이, 시차 정보는 3DV 방식의 SEI에 포함되므로, 3DV 방식에 대응하고 있지 않은 복호 장치에 있어서, 불필요하게 시차 정보를 처리할 필요가 없다.
[부호화 장치의 처리의 설명]
도 57은, 도 53의 부호화 장치(380)의 다시점 부호화 처리를 설명하는 흐름도이다. 이 다시점 화상 부호화 처리는, 예를 들어 L 시점 화상, R 시점 화상 및 O 다시점 화상이 부호화 대상으로서 부호화 장치(380)에 입력되었을 때, 개시된다.
도 57의 스텝 S361에 있어서, 부호화 장치(380)의 부호화 처리부(384)는, 부호화 장치(380)에 입력된 L 시점 화상 중 L 화상을 취득하고, 다중화 처리부(382)는, L 시차 화상을 취득한다.
스텝 S362에 있어서, 부호화 처리부(384)는, 부호화 장치(380)에 입력된 R 시점 화상 중 R 화상을 취득하고, 다중화 처리부(382)는, R 시차 화상을 취득한다. 스텝 S363에 있어서, 다중화 처리부(382)는, 부호화 장치(380)에 입력된 O 다시점 화상을 취득한다.
스텝 S364에 있어서, 다중화 처리부(381)는, 스텝 S361에서 취득된 L 시차 화상과, 스텝 S362에서 취득된 R 시차 화상을 소정의 다중화 방식으로 다중화하고, 다중화의 결과 얻어지는 다중화 화상을 호환 시차 화상으로 하여 부호화 처리부(384)에 공급한다. 스텝 S365에 있어서, 다중화 처리부(381)는, 호환 다중화 정보를 생성하여, 전송부(385)에 공급한다.
스텝 S366에 있어서, 다중화 처리부(382)는, O 다시점 화상을 구성하는 O 다화상과 O 다시차 화상을, 각각, 2시점마다, 소정의 다중화 방식으로 다중화한다. 다중화 처리부(382)는, 그 다중화의 결과 얻어지는 O 다화상의 다중화 화상을 보조 다중화 화상으로 하고, O 다시차 화상의 다중화 화상을 보조 시차 다중화 화상으로 하여, 부호화 처리부(384)에 공급한다.
스텝 S367에 있어서, 다중화 처리부(382)는, 보조 다중화 정보를 생성하여, 전송부(385)에 공급한다.
스텝 S368에 있어서, 시차 정보 생성부(383)는, L 화상, R 화상 및 O 다화상의 촬영 시의 정보 등에 기초하여, L 시차 화상, R 시차 화상 및 O 다시차 화상의 시차 정보를 생성하여, 부호화 처리부(384)에 공급한다.
스텝 S369에 있어서, 부호화 처리부(384)는, L 화상, R 화상, 다중화 처리부(381)로부터 공급되는 호환 다중화 화상, 및 다중화 처리부(382)로부터 공급되는 보조 다중화 화상 및 보조 시차 다중화 화상을 부호화하는 부호화 처리를 행한다. 이 부호화 처리의 상세한 것은, 후술하는 도 58을 참조하여 설명한다.
스텝 S370에 있어서, 전송부(385)는, 다중화 처리부(381)로부터의 호환 다중화 정보, 다중화 처리부(382)로부터의 보조 다중화 정보, 및 부호화 처리부(384)로부터의 참조 화상 다중화 정보 및 비트 스트림으로부터, TS를 생성하여, 전송한다. 그리고, 처리는 종료된다.
도 58은, 도 57의 스텝 S369의 부호화 처리의 상세를 설명하는 흐름도이다.
도 58의 스텝 S390에 있어서, 부호화 처리부(384)의 부호화부(401)(도 54)는, L 화상, R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상을 부호화한다. 구체적으로는, 부호화부(401)의 호환 부호화부(311)가, L 화상을 AVC 방식으로 부호화하고, R 화상을 MVC 방식으로 부호화한다. 또한, 보조 부호화부(411)가, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상을 3DV 방식으로 부호화한다. 부호화부(401)는, 부호화의 결과 얻어지는 L 화상, R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 부호화 데이터를 부가부(403)에 공급한다.
스텝 S391에 있어서, 보조 부호화부(411)는, 참조 화상 다중화 정보를 생성하여, 도 53의 전송부(385)에 공급한다.
스텝 S392에 있어서, 부가 정보 생성부(402)는, 도 53의 시차 정보 생성부(383)로부터 공급되는 시차 정보를 사용하여, L 화상의 SPS 및 SEI의 정보, 및 R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 Subset SPS 및 SEI의 정보를 생성하여, 부가부(303)에 공급한다.
스텝 S393 및 스텝 S394의 처리는, 도 45의 스텝 S273 및 S274의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S394의 처리 후, 스텝 S395에 있어서, 부가부(403)는, 보조 부호화부(411)로부터 공급되는 보조 다중화 화상의 부호화 데이터에, 3DV 방식의 부호화 데이터를 나타내는 NAL 유닛의 타입과, 시차 화상이 아님을 나타내는 시차 플래그를 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 부가부(403)는, 생성된 보조 다중화 화상의 부호화 데이터의 NAL 유닛을 비트 스트림 생성부(304)에 공급한다.
스텝 S396에 있어서, 부가부(403)는, 보조 부호화부(411)로부터 공급되는 호환 다중화 화상과 보조 시차 다중화 화상의 부호화 데이터에, 각각, 3DV 방식의 부호화 데이터를 나타내는 NAL 유닛의 타입, 시차 화상인 것을 나타내는 시차 플래그 및, 대응하는 화상에 관한 정보를 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 부가부(403)는, 생성된 호환 다중화 화상과 보조 시차 다중화 화상의 부호화 데이터의 NAL 유닛을 비트 스트림 생성부(304)에 공급한다.
스텝 S397에 있어서, 부가부(403)는, 부가 정보 생성부(402)로부터 공급되는 L 화상의 SPS 및 SEI의 정보, 및 R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 Subset SPS 및 SEI의 정보에, 각각의 정보를 나타내는 NAL 유닛의 타입을 포함하는 NAL 헤더를 부가하여, NAL 유닛을 생성한다. 부가부(403)는, 생성된 L 화상의 SPS 및 SEI, 및 R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 Subset SPS 및 SEI의 NAL 유닛을, 비트 스트림 생성부(304)에 공급한다.
스텝 S398에 있어서, 비트 스트림 생성부(304)는, 도 45의 스텝 S278의 처리와 마찬가지로, 부가부(403)로부터 공급되는 NAL 유닛을 소정의 순서대로 배치하여 비트 스트림을 생성한다. 그리고, 비트 스트림 생성부(304)는, 그 비트 스트림을 도 53의 전송부(385)에 공급하고, 처리를 도 57의 스텝 S369로 복귀시킨다. 이에 의해, 처리는 스텝 S370으로 진행된다.
이상과 같이, 부호화 장치(380)는, 호환 화상을 기존의 부호화 방식으로 부호화하고, 보조 화상인 O 다화상의 부호화 데이터에, 3DV 방식의 부호화 데이터를 나타내는 NAL 유닛의 타입을 포함하는 NAL 헤더를 부가한다. 이에 의해, 기존의 부호화 방식에만 대응하는 복호 장치는, NAL 헤더에 기초하여 복호 가능한 호환 화상의 부호화 데이터만을 추출하여, 기존의 부호화 방식에 대응하는 방식으로 복호할 수 있으므로, 부호화 장치(380)는, 기존의 방식과의 호환성을 갖는 방식으로 부호화를 행하고 있다고 할 수 있다.
또한, 상술한 부호화 장치(290)와 부호화 장치(380)는, 호환 화상의 시차 화상을, 동일한 시점의 시차 화상 이외를 참조하지 않고 부호화했지만, 동일한 시점의 화상도 참조하여 부호화하도록 해도 좋다.
또한, 부호화 장치(380)는, 호환 화상을 그대로 부호화했지만, 호환 화상을 다중화하여 부호화하도록 해도 좋다.
[3DV 방식의 복호 장치의 구성예]
도 59은, 도 53의 부호화 장치(380)에 의해 전송되어 오는 비트 스트림을 복호하는 3DV 방식의 복호 장치의 구성예를 도시하는 블록도이다.
도 59의 복호 장치(420)는, 수신부(421), 분리부(422), 3DV 복호부(423), 분리부(424), 분리부(425) 및 화상 생성부(426)에 의해 구성된다. 복호 장치(420)는, 부호화 장치(380)에 의해 전송되어 오는 비트 스트림에 포함되는 L 화상, R 화상, 보조 다중화 화상, 호환 다중화 화상 및 보조 시차 다중화 화상의 부호화 데이터를 복호한다.
구체적으로는, 복호 장치(420)의 수신부(421)는, 도 53의 부호화 장치(380)에 의해 전송되어 오는 TS를 수신한다. 수신부(421)는, TS에 포함되는 비트 스트림을 분리부(422)에 공급하고, 참조 화상 다중화 정보를 3DV 복호부(423)에 공급한다. 또한, 수신부(421)는, TS에 포함되는 호환 다중화 정보를 분리부(424)에 공급하고, 보조 다중화 정보를 분리부(425)에 공급한다.
분리부(422)는, 수신부(421)로부터 공급되는 비트 스트림을, NAL 헤더에 기초하여 각 NAL 유닛으로 분리한다. 보다 상세하게는, 분리부(422)는, 도 50의 분리부(362)와 마찬가지로, 비트 스트림으로부터, L 화상의 부호화 데이터, SPS 및 SEI의 NAL 유닛을 추출한다. 또한, 분리부(422)는, 분리부(362)와 마찬가지로, 비트 스트림으로부터, R 화상의 부호화 데이터, Subset SPS 및 SEI의 NAL 유닛을 추출한다.
또한, 분리부(422)는, 3DV 방식의 부호화 데이터를 나타내는 NAL 유닛의 타입을 NAL 헤더에 포함하는 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 부호화 데이터의 NAL 유닛을 추출한다. 또한, 분리부(422)는, 3DV 방식의 Subset SPS, SEI를 나타내는 NAL 유닛의 타입을 NAL 헤더에 포함하는, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 Subset SPS, 및 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 SEI의 NAL 유닛을 추출한다.
또한, 분리부(422)는, NAL 헤더에 포함되는 확장 정보에 기초하여, 보조 다중화 화상, 호환 다중화 화상 및 보조 시차 다중화 화상의 부호화 데이터의 NAL 헤더를, 더 분리한다. 구체적으로는, 분리부(422)는, 확장 정보가 시차 화상이 아님을 나타내는 시차 플래그인 NAL 유닛을, 보조 다중화 화상의 부호화 데이터의 NAL 유닛으로서 추출한다. 또한, 분리부(422)는, 확장 정보가, 시차 화상인 것을 나타내는 시차 플래그, 대응하는 화상의 시점수로서의 2 및, 대응하는 화상의 시점을 특정하는 정보로서의 L 화상 및 R 화상을 특정하는 정보인 NAL 유닛을, 호환 다중화 화상의 부호화 데이터의 NAL 유닛을 추출한다. 마찬가지로, 분리부(422)는, 보조 시차 다중화 화상의 부호화 데이터의 NAL 유닛을 추출한다.
분리부(422)는, 분리된 NAL 유닛에 포함되는 데이터인 L 화상의 SPS의 정보, R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 Subset SPS의 정보, 및 L 화상, R 화상, 보조 다중화 화상, 호환 다중화 화상 및 보조 시차 다중화 화상의 SEI의 정보 및 부호화 데이터를, 그 데이터의 종류 정보와 함께 3DV 복호부(423)에 공급한다.
3DV 복호부(423)는, 분리부(422)로부터 공급되는 종류 정보에 기초하여, L 화상의 SPS, R 화상, 호환 다중화 화상, 보조 다중화 화상 및 보조 시차 다중화 화상의 Subset SPS, 및 L 화상, R 화상, 보조 다중화 화상, 호환 다중화 화상 및 보조 시차 다중화 화상의 SEI의 정보를 유지한다.
3DV 복호부(423)는, 도 50의 3DV 복호부(363)와 마찬가지로, 유지하고 있는 L 화상의 SEI 및 SPS의 정보에 기초하여, 분리부(422)로부터 공급되는 L 화상의 부호화 데이터를, AVC에 대응하는 방식으로 복호한다. 또한, 3DV 복호부(423)는, 3DV 복호부(363)와 마찬가지로, 유지하고 있는 R 화상의 SEI 및 Subset SPS의 정보에 기초하여, 분리부(422)로부터 공급되는 R 화상의 부호화 데이터를, MVC 방식에 대응하는 방식으로 복호한다.
또한, 3DV 복호부(423)는, 유지하고 있는 보조 다중화 화상의 SEI 및 Subset SPS의 정보에 기초하여, 분리부(422)로부터 보조 다중화 화상의 부호화 데이터를 나타내는 종류 정보와 함께 공급되는 보조 다중화 화상의 부호화 데이터를, L 화상이나 R 화상을 참조하여, 3DV 방식에 대응하는 방식으로 복호한다. 이때, 3DV 복호부(423)는, 수신부(421)로부터 공급되는 참조 화상 다중화 정보에 기초하여, 참조하는 L 화상이나 R 화상을 복제하여 다중화하고, 그 결과 얻어지는 다중화 화상을 참조한다.
또한, 3DV 복호부(423)는, 유지하고 있는 호환 다중화 화상의 SEI 및 Subset SPS의 정보에 기초하여, 분리부(422)로부터 호환 다중화 화상의 부호화 데이터를 나타내는 종류 정보와 함께 공급되는 호환 다중화 화상의 부호화 데이터를, 동일한 시점의 시차 화상 이외를 참조하지 않고 3DV 방식에 대응하는 방식으로 복호한다.
또한, 3DV 복호부(423)는, 유지하고 있는 보조 시차 다중화 화상의 SEI 및 Subset SPS의 정보에 기초하여, 분리부(422)로부터 보조 시차 다중화 화상의 부호화 데이터를 나타내는 종류 정보와 함께 공급되는 보조 시차 다중화 화상의 부호화 데이터를, 호환 다중화 화상을 참조하여 3DV 방식에 대응하는 방식으로 복호한다.
3DV 복호부(423)는, 복호의 결과 얻어지는 L 화상과 R 화상을 화상 생성부(426)에 공급하고, 호환 다중화 화상을 분리부(424)에 공급하고, 보조 다중화 화상과 보조 시차 다중화 화상을 분리부(425)에 공급한다. 또한, 3DV 복호부(423)는, 유지하고 있는 호환 다중화 화상과 보조 시차 다중화 화상의 SEI에 포함되는 시차 정보를 화상 생성부(426)에 공급한다.
분리부(424)는, 수신부(421)로부터 공급되는 호환 다중화 정보에 기초하여, 3DV 복호부(423)로부터 공급되는 호환 다중화 화상을, L 화상이나 R 화상과 동일한 해상도의 L 시차 화상과 R 시차 화상으로 분리한다. 구체적으로는, 분리부(424)는, 호환 다중화 화상으로부터, 해상도가 절반으로 된 L 시차 화상과 R 시차 화상을 분리하고, 그 L 시차 화상과 R 시차 화상에 대하여 고해상도화 처리를 행함으로써, L 화상이나 R 화상과 동일한 해상도의 L 시차 화상과 R 시차 화상을 얻는다. 분리부(424)는, 그 L 시차 화상과 R 시차 화상을 화상 생성부(426)에 공급한다.
분리부(425)는, 수신부(421)로부터 공급되는 보조 화상 다중화 정보에 기초하여, 분리부(424)와 마찬가지로, 3DV 복호부(423)로부터 공급되는 보조 다중화 화상으로부터 O 다화상을 분리하고, 보조 시차 다중화 화상으로부터 O 다시차 화상을 분리한다. 분리부(425)는, 그 결과 얻어지는 O 다시점 화상을 화상 생성부(426)에 공급한다.
화상 생성부(426)는, 도 50의 화상 생성부(365)와 마찬가지로, 3DV 복호부(423)로부터 공급되는 시차 정보에 기초하여, 필요에 따라, 분리부(424)로부터의 L 시차 화상 및 R 시차 화상, 및 분리부(425)로부터의 O 다시차 화상에 대하여 변환을 행한다.
화상 생성부(426)는, 변환 후의 L 시차 화상, R 시차 화상 및 O 다시차 화상, L 화상, R 화상 및 O 다화상, 및 시차 정보에 포함되는, 뎁스값의 최대값 및 최소값 또는 시차값의 최대값 및 최소값, 및 대응 관계 정보에 기초하여, 도시하지 않은 표시 장치에 대응하는 3 이상의 시점수의 화상을 생성한다. 그리고, 화상 생성부(426)는, 생성된 각 시점의 화상의 해상도를, 호환 화상이나 보조 화상의 해상도의 1/시점수의 해상도로 변환하고 합성하여, 도시하지 않은 표시 장치에 출력하여 표시시킨다.
이때, 합성 후의 다시점의 화상은, 시점마다 시인 가능한 각도가 상이하도록 표시되어, 시청자는, 임의의 2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 3D 화상을 볼 수 있다.
[3DV 방식의 복호 장치의 처리의 설명]
도 60은, 도 59의 복호 장치(420)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 53의 부호화 장치(380)로부터 TS가 전송되어 왔을 때, 개시된다.
도 60의 스텝 S411에 있어서, 복호 장치(340)의 수신부(421)는, 부호화 장치(380)에 의해 전송되어 오는 TS를 수신한다. 수신부(421)는, TS에 포함되는 비트 스트림을 분리부(422)에 공급하고, 참조 화상 다중화 정보를 3DV 복호부(423)에 공급한다. 또한, 수신부(421)는, TS에 포함되는 호환 다중화 정보를 분리부(424)에 공급하고, 보조 다중화 정보를 분리부(425)에 공급한다. 또한, 이후의 스텝 S412 내지 S428의 처리는, 비트 스트림을 구성하는 NAL 유닛마다 행해진다.
스텝 S412에 있어서, 분리부(422)는, NAL 유닛의 NAL 헤더에 기초하여 각 NAL 유닛을 분리하고, 그 NAL 유닛에 포함되는, L 화상, R 화상, 보조 다중화 화상, 호환 다중화 화상 또는 보조 시차 다중화 화상의 데이터를 종류 정보와 함께 3DV 복호부(423)에 입력한다.
스텝 S413에 있어서, 3DV 복호부(423)는, 분리부(422)로부터 공급되는 종류 정보에 기초하여, 그 종류 정보와 함께 입력되는 데이터가 L 화상, R 화상, 보조 다중화 화상, 호환 다중화 화상 또는 보조 시차 다중화 화상의 부호화 데이터인지 여부를 판정한다. 스텝 S413에서 L 화상, R 화상, 보조 다중화 화상, 호환 다중화 화상 또는 보조 시차 다중화 화상의 부호화 데이터라고 판정된 경우, 처리는 스텝 S414로 진행된다.
스텝 S414에 있어서, 3DV 복호부(423)는, L 화상, R 화상, 보조 다중화 화상, 호환 다중화 화상 또는 보조 시차 다중화 화상의 부호화 데이터를, 유지하고 있는 SPS 또는 Subset SPS 및 SEI의 정보에 기초하여 복호한다.
스텝 S415에 있어서, 3DV 복호부(423)는, 종류 정보에 기초하여, 복호의 결과 얻어지는 화상이 호환 다중화 화상인지 여부를 판정한다. 스텝 S415에서 복호의 결과 얻어지는 화상이 호환 다중화 화상이라고 판정된 경우, 3DV 복호부(423)는, 그 호환 다중화 화상을 분리부(424)에 공급한다.
스텝 S416에 있어서, 분리부(424)는, 수신부(421)로부터의 호환 다중화 정보에 기초하여, 3DV 복호부(423)로부터 공급되는 호환 다중화 화상을, L 화상이나 R 화상과 동일한 해상도의 L 시차 화상과 R 시차 화상으로 분리한다. 분리부(424)는, 그 L 시차 화상과 R 시차 화상을 화상 생성부(426)에 공급한다.
스텝 S417에 있어서, 분리부(424)는, L 시차 화상과 R 시차 화상을 화상 생성부(426)에 출력하고, 처리를 종료한다.
한편, 스텝 S415에서 복호의 결과 얻어지는 화상이 호환 다중화 화상이 아니라고 판정된 경우, 스텝 S418에 있어서, 3DV 복호부(423)는, 종류 정보에 기초하여, 복호의 결과 얻어지는 화상이 보조 다중화 화상인지 여부를 판정한다.
스텝 S418에서 복호의 결과 얻어지는 화상이 보조 다중화 화상이라고 판정된 경우, 3DV 복호부(423)는, 그 보조 다중화 화상을 분리부(425)에 공급하고, 처리를 스텝 S419로 진행시킨다.
스텝 S419에 있어서, 분리부(425)는, 수신부(421)로부터의 보조 다중화 정보에 기초하여, 3DV 복호부(423)로부터 공급되는 보조 다중화 화상을, L 화상이나 R 화상과 동일한 해상도의 2시점의 O 다화상으로 분리한다. 분리부(425)는, 그 2시점의 O 다화상을 화상 생성부(426)에 공급한다.
스텝 S420에 있어서, 분리부(425)는, 2시점의 O 다화상을 화상 생성부(426)에 출력하고, 처리를 종료한다.
스텝 S418에서 복호의 결과 얻어지는 화상이 보조 다중화 화상이 아니라고 판정된 경우, 스텝 S421에 있어서, 3DV 복호부(423)는, 종류 정보에 기초하여, 복호의 결과 얻어지는 화상이 보조 시차 다중화 화상인지 여부를 판정한다.
스텝 S421에서 복호의 결과 얻어지는 화상이 보조 시차 다중화 화상이라고 판정된 경우, 3DV 복호부(423)는, 그 보조 시차 다중화 화상을 분리부(425)에 공급하고, 처리를 스텝 S422로 진행시킨다.
스텝 S422에 있어서, 분리부(425)는, 보조 다중화 정보에 기초하여, 3DV 복호부(423)로부터 공급되는 보조 시차 다중화 화상을, L 화상이나 R 화상과 동일한 해상도의 2시점의 O 다시차 화상으로 분리한다. 분리부(425)는, 그 2시점의 O 다시차 화상을 화상 생성부(426)에 공급한다.
스텝 S423에 있어서, 분리부(424)는, 2시점의 O 다시차 화상을 화상 생성부(426)에 출력하고, 처리를 종료한다.
한편, 스텝 S421에서 복호의 결과 얻어지는 화상이 보조 시차 다중화 화상이 아니라고 판정된 경우, 즉, 복호의 결과 얻어지는 화상이 L 화상 또는 R 화상인 경우, 처리는 스텝 S424로 진행된다.
스텝 S424에 있어서, 3DV 복호부(423)는, 복호의 결과 얻어지는 L 화상 또는 R 화상을 화상 생성부(426)에 출력하고, 처리를 종료한다.
또한, 스텝 S413에서 L 화상, R 화상, 보조 다중화 화상, 호환 다중화 화상 또는 보조 시차 다중화 화상의 부호화 데이터가 아니라고 판정된 경우, 즉, 분리부(422)로부터 공급되는 데이터가 SPS, Subset SPS 또는 SEI의 정보인 경우, 처리는 스텝 S425로 진행된다.
스텝 S425 내지 S428의 처리는, 도 51의 스텝 S339 내지 S342의 처리와 마찬가지이므로, 설명은 생략한다.
이상과 같이, 복호 장치(420)는, NAL 헤더에 기초하여, 비트 스트림을 각 NAL 유닛으로 분리한다. 그리고, 복호 장치(420)는, 분리된 NAL 유닛에 포함되는 호환 화상의 부호화 데이터를 기존의 AVC 방식 또는 MVC 방식에 대응하는 방식으로 복호하고, 보조 화상 및 시차 화상의 부호화 데이터를 3DV 방식에 대응하는 방식으로 복호한다. 따라서, 복호 장치(420)는, 부호화 장치(380)에 의해 기존의 방식과의 호환성을 갖는 방식으로 부호화된 결과 얻어지는 비트 스트림을 복호할 수 있다.
또한, 도시는 생략하지만, 도 53의 부호화 장치(380)에 의해 생성되는 비트 스트림을 복호하는 AVC 방식의 복호 장치와 MVC 방식의 복호 장치는, 각각, 도 46의 복호 장치(320), 도 48의 복호 장치(340)와 마찬가지이다.
[시차 정보의 다른 배치예]
상술한 설명에서는, SEI에 시차 정보가 포함되었지만, TS에 포함되도록 해도 좋다. 이 경우, 예를 들어 TS 내의 PMT(Program Map Table)나 SIT(Selection Information Table)의 디스크립터에 시차 정보가 기술된다.
도 61은, 시차 정보가 PMT의 디스크립터에 기술되는 경우의, 시차 정보의 기술예를 도시하는 도면이다.
도 61에 도시한 바와 같이, 시차 정보가 PMT의 디스크립터에 기술되는 경우, PMT의 디스크립터로서, 시차 정보가 배치되는 디스크립터(3DV_view_synthesis_descriptor)가 설정된다. 이 디스크립터에는, 도 43에 도시된 시차 정보(3DV_view_synthesis_info)가 기술된다.
또한, 시차 정보는, SEI와 TS 내의 PMT나 SIT의 양쪽에 포함되도록 해도 좋다. 또한, 확장 정보는, NAL 헤더가 아니고, TS 내의 PMT나 SIT, SEI 등에 기술되도록 해도 좋다.
또한, 보조 화상 저해상도 변환 정보, 호환 다중화 정보 및 보조 다중화 정보는, SEI 등에 포함되어 전송되도록 해도 좋다.
또한, 상술한 설명에서는, 확장 정보가 부호화 데이터에 부가되었지만, 확장 정보는, 화상 데이터(또는 비트 스트림)와 별도로 전송(기록)되어도 좋다. 또한, 확장 정보는 화상 데이터(또는 비트 스트림)와 연결되도록 해도 좋다.
또한, 본 실시 형태에서는, 「연결」을 이하와 같이 정의한다. 「연결」이란, 화상 데이터(또는 비트 스트림)와 확장 정보가 서로 링크되어 있는 상태를 가리킨다. 연결 대상의 화상 데이터와 확장 정보는, 다른 전송로에 의해 전송되어도 좋다. 또한, 연결 대상의 화상 데이터(또는 비트 스트림)와 확장 정보는, 서로 다른 기록 매체(또는 동일한 기록 매체 내의 별도의 기록 에리어)에 기록되어도 좋다. 또한, 화상 데이터(또는 비트 스트림)와 확장 정보를 링크시키는 단위는, 예를 들어 부호화 처리 단위(1프레임, 복수 프레임 등)로 할 수 있다.
또한, 부호화 장치(290) 및 부호화 장치(380)는, 1개의 TS를 생성했지만, 보조 정보가 보조 화상 저해상도 변환 정보와 참조 화상 저해상도 변환 정보를 대신하는 점을 제외하고, 도 2의 부호화 장치(50), 도 14의 부호화 장치(140), 도 22의 부호화 장치(180) 및 도 33의 부호화 장치(230)와 마찬가지로, 복수의 TS를 생성하도록 해도 좋다.
<제7 실시 형태>
[부호화 장치의 제7 실시 형태의 구성예]
도 62는, 본 기술을 적용한 부호화 장치의 제7 실시 형태의 구성예를 도시하는 블록도이다.
도 62에 도시하는 구성 중, 도 14의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 62의 부호화 장치(440)의 구성은, 주로, 시차 화상 생성부(143), 인코더(145) 대신에 시차 화상 생성부(441), 인코더(442)가 설치되어 있는 점이 도 14의 구성과 상이하다. 부호화 장치(440)는, 호환 화상의 시차 화상을 공간 방향으로 다중화하는 것이 아니고, 시간 방향으로 다중화하여 부호화한다.
구체적으로는, 부호화 장치(440)의 시차 화상 생성부(441)는, 촬영부(141A) 내지 촬영부(141D)로부터 공급되는 화상 A2 내지 화상 D2를 사용하여, 화상 A2 내지 화상 D2의 각 화소의 시차를 검출한다. 시차 화상 생성부(441)는, 검출 결과에 기초하여, 호환 화상인 화상 A2의 시차 화상 A2' 및 화상 B2의 시차 화상 B2', 및 보조 화상인 화상 C2의 시차 화상 C2' 및 화상 D2의 시차 화상 D2'를 생성한다.
또한, 시차 화상 생성부(441)는, 도 14의 시차 화상 생성부(143)와 마찬가지로, 시차 화상 C2'와 시차 화상 D2'를, 소정의 다중화 방식으로 공간 방향으로 다중화한다. 또한, 시차 화상 생성부(441)는, 시차 화상 A2', 시차 화상 B2', 및 보조 화상의 시차 화상의 다중화 화상을, 시간 방향으로 다중화한다. 시차 화상 생성부(441)는, 그 결과 얻어지는, 1프레임 시간 내에 1프레임분의 시차 화상 A2', 시차 화상 B2', 및 보조 화상의 시차 화상의 다중화 화상이 존재하는 다중화 화상을, 시간 다중화 화상으로 하여 인코더(442)에 공급한다.
또한, 시차 화상 생성부(441)는, 보조 화상의 시차 화상의 다중화 방식과, 호환 화상 및 보조 화상의 시차 화상의 다중화 방식으로서의 시간 방향으로 다중화하는 방식(이하, 프레임 시퀀셜 방식이라고 한다)을 나타내는 정보를, 시차 화상 정보 생성부(57)에 공급한다.
인코더(442)는, 호환용 인코더(151)와 보조용 인코더(451)에 의해 구성된다. 인코더(442)의 보조용 인코더(451)는, 화상 변환부(142)로부터의 보조 화상의 다중화 화상과 시차 화상 생성부(441)로부터의 시간 다중화 화상에 대하여, 3DV 방식으로 액세스 유닛 단위의 부호화를 행한다. 보조용 인코더(451)는, 그 결과 얻어지는 부호화 스트림을 보조 스트림으로 하여 다중화부(59)에 공급한다.
[보조 정보의 기술예]
도 63은, 보조 정보가 PMT의 디스크립터에 기술되는 경우의 호환 정보와 시차 화상 정보의 기술예를 도시하는 도면이다.
도 63에 도시한 바와 같이, 보조 정보가 PMT의 디스크립터에 기술되는 경우, PMT의 디스크립터로서, 호환 정보가 배치되는 디스크립터(3DV_view_structure_descriptor), 시차 화상 정보가 배치되는 디스크립터(depth_map_structure_descriptor) 등이 설정된다.
그리고, 디스크립터(depth_map_structure_descriptor)에는, 도 64에 도시한 바와 같이, 디스크립터 태그(descriptor_tag), 디스크립터 길이(descriptor_length)에 이어, 시차 화상 정보로서, 시차 화상의 수(num_of_depth_map), 시차 화상이 다중화되어 있는지 여부를 나타내는 플래그(is_frame_packing), 시차 화상의 다중화 방식(frame_packing_mode), 다중화되어 있는 시차 화상을 지정하는 정보(comb_frame_packing_views) 등이 기술된다.
또한, 다중화 방식으로서는, 사이드 바이 사이드 방식(SBS), 톱 앤드 보텀 방식(TOB), 프레임 시퀀셜 방식 등이 있다.
또한, 본 명세서에서는, 보조 정보가 TS에 포함되는 것으로 하지만, 보조 정보는 보조 스트림에 포함되도록 해도 좋다.
도 65 및 도 66은, 보조 정보가 보조 스트림에 포함되는 경우의, 보조 스트림 내의 호환 정보와 시차 화상 정보의 기술예를 도시하는 도면이다.
도 65에 도시한 바와 같이, 호환 정보(3DV_view_structure)와 시차 화상 정보(depth_map_structure)는, 예를 들어 보조 스트림 내의 SEI(Supplemental Enhancement Information)에 배치된다.
시차 화상 정보(depth_map_structure)로서는, 도 66에 도시한 바와 같이, 시차 화상(depth map)의 수(num_of_depth_map), 시차 화상이 다중화되어 있는지 여부를 나타내는 플래그(is_frame_packing), 시차 화상의 다중화 방식(frame_packing_mode), 다중화되어 있는 시차 화상을 지정하는 정보(comb_frame_packing_views) 등이 기술된다.
또한, 도시는 생략하지만, 화상 정보는, 시차 화상이 아니고, 호환 화상 및 보조 화상에 관한 정보인 것 이외의 시차 화상 정보와 마찬가지이다.
[부호화 장치의 처리의 설명]
도 67 및 도 68은, 도 62의 부호화 장치(440)에 의한 부호화 처리를 설명하는 흐름도이다. 이 부호화 처리는, 예를 들어 촬영부(141A) 내지 촬영부(141D)로부터 화상 A2 내지 화상 D2가 출력되었을 때 개시된다.
도 67 및 도 68의 스텝 S451 내지 S459의 처리는, 도 16 및 도 17의 스텝 S71 내지 S79의 처리와 마찬가지이므로, 설명은 생략한다.
도 68의 스텝 S460에 있어서, 시차 화상 생성부(441)는, 보조 화상의 시차 화상의 다중화 방식과, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상의 다중화 방식을 결정하여, 그 다중화 방식을 나타내는 정보를 시차 화상 정보 생성부(57)에 공급한다.
스텝 S461에 있어서, 시차 화상 정보 생성부(57)는, 시차 화상 생성부(441)로부터 공급되는 정보에 기초하여, 보조 화상의 시차 화상의 다중화 방식과, 호환 화상의 시차 화상 및 보조 화상의 시차 화상의 다중화 화상의 다중화 방식을 나타내는 정보 등을, 시차 화상 정보로서 생성하여, 다중화부(59)에 입력한다.
스텝 S462에 있어서, 시차 화상 생성부(441)는, 스텝 S460에서 결정된 다중화 방식에 기초하여, 보조 화상의 시차 화상 C2'와 시차 화상 D2'를 공간 방향으로 다중화하고, 호환 화상의 시차 화상 A2' 및 시차 화상 B2'와 보조 화상의 시차 화상의 다중화 화상을 시간 방향으로 다중화한다.
스텝 S463에 있어서, 시차 화상 생성부(441)는, 스텝 S462의 다중화의 결과 얻어지는 시간 다중화 화상을 인코더(442)에 입력한다.
스텝 S464에 있어서, 인코더(442)의 호환용 인코더(151)는, 화상 변환부(142)로부터 공급되는 호환 화상의 다중화 화상을 기존의 AVC 방식으로 부호화하고, 그 결과 얻어지는 부호화 스트림을 호환 스트림으로 하여 다중화부(59)에 공급한다.
스텝 S465에 있어서, 보조용 인코더(451)는, 화상 변환부(142)로부터의 보조 화상의 다중화 화상과 시차 화상 생성부(441)로부터의 시간 다중화 화상을, 3DV 방식으로 부호화한다. 보조용 인코더(451)는, 부호화의 결과 얻어지는 부호화 스트림을 보조용 스트림으로 하여 다중화부(59)에 공급한다.
스텝 S466에 있어서, 다중화부(59)는, 도 17의 스텝 S86의 처리와 마찬가지로, 호환용 인코더(151)로부터 공급되는 호환 스트림으로부터 TS1을 생성하고, 보조용 인코더(451)로부터 공급되는 보조 스트림 및 보조 정보로부터 TS2를 생성하여, 다중화하고, 그 결과 얻어지는 다중화 스트림을 송신한다. 이 다중화 스트림은, 예를 들어 BD 등에 기록되거나, 방송용 스트림으로서 송신되거나 한다. 그리고, 처리는 종료된다.
[복호 장치의 구성예]
도 69는, 도 62의 부호화 장치(440)로부터 송신되는 다중화 스트림을 복호하는 복호 장치의 구성예를 도시하는 도면이다.
도 69에 도시하는 구성 중, 도 18의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 69의 복호 장치(460)의 구성은, 주로, 디코더(122), 화상 생성부(171) 대신에 디코더(461), 화상 생성부(462)가 설치되어 있는 점이 도 18의 구성과 상이하다. 복호 장치(460)는, 부호화 장치(440)로부터 송신되는 다중화 스트림을 복호하고, 2시점의 화상 또는 다시점의 화상을 생성하여, 도시하지 않은 표시 장치에 표시시킨다.
구체적으로는, 복호 장치(460)의 디코더(461)는, 호환용 디코더(131)와 보조용 디코더(471)에 의해 구성된다. 디코더(461)의 보조용 디코더(471)는, 분리부(121)로부터 공급되는 보조 스트림에 포함되는 보조 화상의 다중화 화상과 시간 다중화 화상을, 도 62의 보조용 인코더(451)에 대응하는 방식으로 복호한다. 보조용 디코더(471)는, 복호의 결과 얻어지는 보조 화상의 다중화 화상과 시간 다중화 화상을 화상 생성부(462)에 공급한다.
화상 생성부(462)는, 시청자로부터의 표시 명령에 따라 화상을 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 상세하게는, 화상 생성부(462)는, 시청자로부터의 다시점 방식의 3D 화상의 표시 명령에 따라, 화상 정보 취득부(123)로부터의 화상 정보, 시점간 거리 정보 취득부(124)로부터의 시점간 거리 정보, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보, 호환 정보 취득부(126)로부터의 호환 정보 등에 기초하여, 호환 화상의 다중화 화상, 보조 화상의 다중화 화상 및 시간 다중화 화상을 사용하여, 도시하지 않은 표시 장치에 대응하는 3 이상의 시점수의, 호환 화상이나 보조 화상의 해상도의 절반의 해상도의 화상을 생성한다.
보다 상세하게는, 화상 생성부(462)는, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보에 포함되는 호환 화상의 시차 화상과 보조 화상의 시차 화상의 다중화 화상의 다중화 방식으로서 프레임 시퀀셜 방식을 나타내는 정보에 기초하여, 시간 다중화 화상으로부터, 호환 화상의 시차 화상인 시차 화상 A2' 및 시차 화상 B2', 및 보조 화상의 시차 화상의 다중화 화상을 분리한다. 그리고, 화상 생성부(462)는, 시차 화상 정보에 포함되는 보조 화상의 시차 화상의 다중화 방식에 기초하여, 보조 화상의 시차 화상의 다중화 화상으로부터, 시차 화상 C2'와 시차 화상 D2'를 분리한다.
또한, 화상 생성부(462)는, 도 18의 화상 생성부(171)와 마찬가지로, 화상 정보 취득부(123)로부터의 화상 정보에 포함되는 보조 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상의 다중화 화상으로부터, 각 보조 화상을 분리한다. 또한, 화상 생성부(462)는, 화상 생성부(171)와 마찬가지로, 화상 정보에 포함되는 호환 화상의 다중화 방식을 나타내는 정보에 기초하여, 호환 화상의 다중화 화상으로부터, 각 호환 화상을 분리한다.
또한, 화상 생성부(462)는, 화상 생성부(171)와 마찬가지로, 시점간 거리 정보와 도시하지 않은 표시 장치에 대응하는 시점수에 기초하여, 생성하는 다시점의 화상의 각 시점의 위치를 결정한다. 그리고, 화상 생성부(462)는, 화상 생성부(171)와 마찬가지로, 각 호환 화상, 각 보조 화상, 각 호환 화상의 시차 화상 및 각 보조 화상의 시차 화상을 사용하여, 위치가 결정된 각 시점의 화상을 생성한다. 그리고, 화상 생성부(462)는, 화상 생성부(171)와 마찬가지로, 생성된 다시점의 화상의 해상도를, 호환 화상이나 보조 화상의 해상도의 1/시점수의 해상도로 변환하고 합성하여, 도시하지 않은 표시 장치에 표시시킨다.
이때, 합성 후의 다시점의 화상은, 시점마다 시인 가능한 각도가 상이하도록 표시되어, 시청자는, 임의의 2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 3D 화상을 볼 수 있다.
또한, 화상 생성부(462)는, 화상 생성부(171)와 마찬가지로, 시청자로부터의 2시점 방식의 3D 화상의 표시 명령에 따라, 화상 정보 취득부(123)로부터의 화상 정보에 기초하여, 디코더(461)로부터 공급되는 호환 화상의 다중화 화상을, 호환 화상의 해상도의 절반의 해상도의 화상 A2와 화상 B2로 분리한다. 그리고, 화상 생성부(462)는, 화상 생성부(171)와 마찬가지로, 분리된 호환 화상의 해상도의 절반의 해상도의 화상 A2와 화상 B2를 교대로 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 이때, 시청자는, 화상 A2의 표시 시에 좌안용 셔터 또는 우안용 셔터의 한쪽이 개방되고, 화상 B2의 표시 시에 다른 쪽이 개방되는 안경을 장착하여, 표시 장치에 교대로 표시되는 화상 A2와 화상 B2를 봄으로써, 3D 화상을 볼 수 있다.
[복호 처리의 설명]
도 70은, 도 69의 복호 장치(460)에 의한 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 62의 부호화 장치(440)로부터 송신되는 다중화 스트림이 복호 장치(460)에 입력되었을 때, 개시된다.
도 70의 스텝 S471 내지 S473의 처리는, 도 19의 스텝 S91 내지 S93의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S474에 있어서, 보조용 디코더(471)는, 보조 스트림으로부터 부호화된 보조 화상의 다중화 화상과 시간 다중화 화상을 추출하여, 도 2의 보조용 인코더(62)에 대응하는 방식으로 복호한다. 보조용 디코더(471)는, 복호의 결과 얻어지는 보조 화상의 다중화 화상과 시간 다중화 화상을 화상 생성부(127)에 공급하고, 처리를 스텝 S475로 진행시킨다.
스텝 S475 내지 S479의 처리는, 도 19의 스텝 S95 내지 S99의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S480에 있어서, 화상 생성부(462)는, 스텝 S479에서 결정된 각 시점의 위치, 화상 정보 취득부(123)로부터의 화상 정보, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보, 호환 정보 취득부(126)로부터의 호환 정보 등에 기초하여, 호환 화상의 다중화 화상, 보조 화상의 다중화 화상 및 시간 다중화 화상을 사용하여, 각 시점의, 호환 화상이나 보조 화상의 절반의 해상도의 화상을 생성한다.
스텝 S481 내지 S486의 처리는, 도 19의 스텝 S101 내지 S106의 처리와 마찬가지이므로, 설명은 생략한다.
또한, 복호 장치(460)와의 호환성을 갖는 호환 스트림만을 복호 가능한 복호 장치에서는, 3DV Representation Delimiter NAL unit이 부가된 TS2가 무시되고, 스텝 S483, S485 및 S486의 처리가 행해진다. 단, 이 경우, 스텝 S485의 처리에서는, 미리 결정된 다중화 방식에 기초하여, 호환 화상의 다중화 화상이 분리된다.
<제8 실시 형태>
[부호화 장치의 제8 실시 형태의 구성예]
도 71은, 본 기술을 적용한 부호화 장치의 제8 실시 형태의 구성예를 도시하는 블록도이다.
도 71에 도시하는 구성 중, 도 14의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 71의 부호화 장치(480)의 구성은, 주로, 시차 화상 생성부(143), 인코더(145), 시차 화상 정보 생성부(57) 대신 시차 화상 생성부(481), 인코더(482), 시차 화상 정보 생성부(483)가 설치되어 있는 점이 도 14의 구성과 상이하다. 부호화 장치(480)는, 호환 화상에 공통된 시차값을 나타내는 공통 시차 화상과 보조 화상의 공통 시차 화상을 부호화한다.
구체적으로는, 부호화 장치(480)의 시차 화상 생성부(481)는, 촬영부(141A) 내지 촬영부(141D)로부터 공급되는 화상 A2 내지 화상 D2를 사용하여, 화상 A2와 화상 B2 사이의 각 화소의 시차를 검출하고, 화상 C2와 화상 D2 사이의 각 화소의 시차를 검출한다. 시차 화상 생성부(481)는, 화상 A2와 화상 B2 사이의 각 화소의 시차를 나타내는 시차값을 포함하여 이루어지는 시차 화상을, 호환 화상의 공통 시차 화상 AB2'로서 생성하여, 인코더(482)에 공급한다. 또한, 시차 화상 생성부(481)는, 화상 C2와 화상 D2 사이의 각 화소의 시차를 나타내는 시차값을 포함하여 이루어지는 시차 화상을, 보조 화상의 공통 시차 화상 CD2'로서 생성하여, 인코더(482)에 공급한다.
또한, 시차 화상 생성부(481)는, 호환 화상 및 보조 화상의 시차 화상이 공통 시차 화상인 것을 나타내는 정보를 시차 화상 정보 생성부(483)에 공급한다.
인코더(482)는, 호환용 인코더(151과 보조용 인코더(491)에 의해 구성된다. 보조용 인코더(491)는, 화상 변환부(142)로부터의 보조 화상의 다중화 화상, 및 시차 화상 생성부(481)로부터의 호환 화상의 공통 시차 화상 AB2' 및 보조 화상의 공통 시차 화상 CD2'에 대하여, 3DV 방식으로 액세스 유닛 단위의 부호화를 행한다. 보조용 인코더(491)는, 그 결과 얻어지는 부호화 스트림을 보조 스트림으로 하여 다중화부(59)에 공급한다.
시차 화상 정보 생성부(483)는, 시차 화상 생성부(53)로부터 공급되는 정보에 기초하여, 호환 화상과 보조 화상의 시차 화상이 공통 시차 화상인 것을 나타내는 정보 등을, 시차 화상 정보로서 생성하여, 다중화부(59)에 공급한다.
[부호화 장치의 처리의 설명]
도 72 및 도 73은, 도 71의 부호화 장치(480)에 의한 부호화 처리를 설명하는 흐름도이다. 이 부호화 처리는, 예를 들어 촬영부(141A) 내지 촬영부(141D)로부터 화상 A2 내지 화상 D2가 출력되었을 때 개시된다.
도 72의 스텝 S491 내지 S498의 처리는, 도 16의 스텝 S71 내지 S78의 처리와 마찬가지이므로, 설명은 생략한다.
도 73의 스텝 S499에 있어서, 시차 화상 생성부(481)는, 촬영부(141A) 내지 촬영부(141D)로부터 공급되는 화상 A2 내지 화상 D2를 사용하여, 화상 A2와 화상 B2 사이의 각 화소의 시차와, 화상 C2와 화상 D2의 각 화소의 시차를 검출한다. 그리고, 시차 화상 생성부(481)는, 화상 A2와 화상 B2 사이의 각 화소의 시차를 나타내는 시차값을 포함하여 이루어지는 공통 시차 화상 AB2'와, 화상 C2와 화상 D2 사이의 각 화소의 시차를 나타내는 시차값을 포함하여 이루어지는 공통 시차 화상 CD2'를 생성한다.
스텝 S500에 있어서, 시차 화상 정보 생성부(483)는, 시차 화상 생성부(481)로부터 공급되는 정보에 기초하여, 호환 화상과 보조 화상의 시차 화상이 공통 시차 화상인 것을 나타내는 정보 등을, 시차 화상 정보로서 생성하여, 다중화부(59)에 입력한다.
스텝 S501에 있어서, 시차 화상 생성부(481)는, 스텝 S499에서 생성된 보조 화상의 공통 시차 화상 CD2'와 호환 화상의 공통 시차 화상 AB2'를 인코더(482)에 입력한다.
스텝 S502에 있어서, 인코더(482)의 호환용 인코더(151)는, 화상 변환부(142)로부터 공급되는 호환 화상의 다중화 화상을 기존의 AVC 방식으로 부호화하고, 그 결과 얻어지는 부호화 스트림을 호환 스트림으로 하여 다중화부(59)에 공급한다.
스텝 S503에 있어서, 보조용 인코더(491)는, 화상 변환부(142)로부터의 보조 화상의 다중화 화상, 및 시차 화상 생성부(481)로부터의 호환 화상의 공통 시차 화상 및 보조 화상의 공통 시차 화상을 3DV 방식으로 부호화한다. 보조용 인코더(491)는, 부호화의 결과 얻어지는 부호화 스트림을 보조용 스트림으로 하여 다중화부(59)에 공급한다.
스텝 S504에 있어서, 다중화부(59)는, 호환용 인코더(151)로부터 공급되는 호환 스트림으로부터 TS1을 생성하고, 보조용 인코더(491)로부터 공급되는 보조 스트림 및 보조 정보로부터 TS2를 생성하여, 다중화하고, 그 결과 얻어지는 다중화 스트림을 송신한다. 이 다중화 스트림은, 예를 들어 BD 등에 기록되거나, 방송용 스트림으로서 송신되거나 한다. 그리고, 처리는 종료된다.
[복호 장치의 구성예]
도 74는, 도 71의 부호화 장치(480)로부터 송신되는 다중화 스트림을 복호하는 복호 장치의 구성예를 도시하는 도면이다.
도 74에 도시되는 구성 중, 도 18의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 74의 복호 장치(500)의 구성은, 주로, 디코더(122), 화상 생성부(171) 대신에 디코더(501), 화상 생성부(502)가 설치되어 있는 점이 도 18의 구성과 상이하다. 복호 장치(500)는, 부호화 장치(480)로부터 송신되는 다중화 스트림을 복호하고, 2시점의 화상 또는 다시점의 화상을 생성하여, 도시하지 않은 표시 장치에 표시시킨다.
구체적으로는, 복호 장치(500)의 디코더(501)는, 호환용 디코더(131)와 보조용 디코더(511)에 의해 구성된다. 디코더(501)의 보조용 디코더(511)는, 분리부(121)로부터 공급되는 보조 스트림에 포함되는 보조 화상의 다중화 화상, 호환 화상의 공통 시차 화상 AB2', 및 보조 화상의 공통 시차 화상 CD2'를, 도 71의 보조용 인코더(491)에 대응하는 방식으로 복호한다. 보조용 디코더(511)는, 복호의 결과 얻어지는 보조 화상의 다중화 화상, 공통 시차 화상 AB2', 및 공통 시차 화상 CD2'를 화상 생성부(502)에 공급한다.
화상 생성부(502)는, 시청자로부터의 표시 명령에 따라, 화상을 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 상세하게는, 화상 생성부(502)는, 시청자로부터의 다시점 방식의 3D 화상의 표시 명령에 따라, 화상 정보 취득부(123)로부터의 화상 정보, 시점간 거리 정보 취득부(124)로부터의 시점간 거리 정보, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보, 호환 정보 취득부(126)로부터의 호환 정보 등에 기초하여, 호환 화상의 다중화 화상, 보조 화상의 다중화 화상, 공통 시차 화상 AB2', 및 공통 시차 화상 CD2'를 사용하여, 도시하지 않은 표시 장치에 대응하는 3 이상의 시점수의, 호환 화상이나 보조 화상의 해상도의 절반의 해상도의 화상을 생성한다.
보다 상세하게는, 화상 생성부(502)는, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보에 포함되는 호환 화상과 보조 화상의 시차 화상이 공통 시차 화상인 것을 나타내는 정보에 기초하여, 공통 시차 화상 AB2'와 공통 시차 화상 CD2'를 그대로 놓아둔다.
또한, 화상 생성부(502)는, 도 18의 화상 생성부(171)와 마찬가지로, 화상 정보 취득부(123)로부터의 화상 정보에 포함되는 보조 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상의 다중화 화상으로부터, 각 보조 화상을 분리한다. 또한, 화상 생성부(502)는, 화상 생성부(171)와 마찬가지로, 화상 정보에 포함되는 호환 화상의 다중화 방식을 나타내는 정보에 기초하여, 호환 화상의 다중화 화상으로부터, 각 호환 화상을 분리한다.
또한, 화상 생성부(502)는, 화상 생성부(171)와 마찬가지로, 시점간 거리 정보와 도시하지 않은 표시 장치에 대응하는 시점수에 기초하여, 생성하는 다시점의 화상의 각 시점의 위치를 결정한다. 그리고, 화상 생성부(502)는, 각 호환 화상, 각 보조 화상, 공통 시차 화상 AB2', 및 공통 시차 화상 CD2'를 사용하여, 위치가 결정된 각 시점의 화상을 생성한다. 그리고, 화상 생성부(502)는, 화상 생성부(171)와 마찬가지로, 생성된 다시점의 화상의 해상도를, 호환 화상이나 보조 화상의 해상도의 1/시점수의 해상도로 변환하고 합성하여, 도시하지 않은 표시 장치에 표시시킨다.
이때, 합성 후의 다시점의 화상은, 시점마다 시인 가능한 각도가 상이하도록 표시되어, 시청자는, 임의의 2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 3D 화상을 볼 수 있다.
또한, 화상 생성부(502)는, 화상 생성부(171)와 마찬가지로, 시청자로부터의 2시점 방식의 3D 화상의 표시 명령에 따라, 화상 정보 취득부(123)로부터의 화상 정보에 기초하여, 디코더(501)로부터 공급되는 호환 화상의 다중화 화상을, 호환 화상의 해상도의 절반의 해상도의 화상 A2와 화상 B2로 분리한다. 그리고, 화상 생성부(502)는, 화상 생성부(171)와 마찬가지로, 분리된 호환 화상의 해상도의 절반의 해상도의 화상 A2와 화상 B2를 교대로 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 이때, 시청자는, 화상 A2의 표시 시에 좌안용 셔터 또는 우안용 셔터의 한쪽이 개방되고, 화상 B2의 표시 시에 다른 쪽이 개방되는 안경을 장착하여, 표시 장치에 교대로 표시되는 화상 A2와 화상 B2를 봄으로써, 3D 화상을 볼 수 있다.
[복호 장치의 처리의 설명]
도 75는, 도 74의 복호 장치(500)에 의한 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 71의 부호화 장치(480)로부터 송신되는 다중화 스트림이 복호 장치(500)에 입력되었을 때, 개시된다.
도 75의 스텝 S511 내지 S513의 처리는, 도 19의 스텝 S91 내지 S93의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S514에 있어서, 보조용 디코더(511)는, 보조 스트림으로부터 부호화된 보조 화상의 다중화 화상, 호환 화상의 공통 시차 화상 AB2', 및 보조 화상의 공통 시차 화상 CD2'를 추출하여, 도 71의 보조용 인코더(491)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 보조용 디코더(511)는, 복호의 결과 얻어지는 보조 화상의 다중화 화상, 공통 시차 화상 AB2', 및 공통 시차 화상 CD2'를 화상 생성부(502)에 공급한다.
스텝 S515 내지 S519의 처리는, 도 19의 스텝 S95 내지 S99의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S519의 처리 후, 스텝 S520에 있어서, 화상 생성부(502)는, 스텝 S519에서 결정된 각 시점의 위치, 화상 정보 취득부(123)로부터의 화상 정보, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보, 호환 정보 취득부(126)로부터의 호환 정보 등에 기초하여, 호환 화상, 보조 화상의 다중화 화상, 공통 시차 화상 AB2', 및 공통 시차 화상 CD2'를 사용하여, 각 시점의, 호환 화상이나 보조 화상의 절반의 해상도의 화상을 생성한다.
스텝 S521 내지 S526의 처리는, 도 19의 스텝 S101 내지 S106의 처리와 마찬가지이므로, 설명은 생략한다.
또한, 부호화 장치(440) 및 부호화 장치(480)는, 부호화 장치(140)와 마찬가지로 2시점의 호환 화상을 다중화하여 부호화했지만, 도 22의 부호화 장치(180)와 마찬가지로 2시점의 호환 화상을 다중화하지 않고 부호화하도록 해도 좋다. 또한, 부호화 장치(440) 및 부호화 장치(480)는, 도 2의 부호화 장치(50)와 마찬가지로, 1시점의 호환 화상을 부호화하도록 해도 좋다.
또한, 부호화 장치(140)와 부호화 장치(180)는, 호환 화상과 보조 화상의 시차 화상을 다중화하지 않고 부호화하도록 해도 좋다. 또한, 부호화 장치(50)는, 보조 화상의 시차 화상을 다중화하지 않고 부호화하도록 해도 좋다.
<부호화 대상의 다중화 패턴의 예>
도 76은, 호환 화상의 시점수가 2이며, 보조 화상의 시점수가 2인 경우의, 부호화 대상의 다중화 패턴의 예를 나타내는 도면이다.
도 76의 (1)에 도시한 바와 같이, 도 14의 부호화 장치(140)는, 호환 화상인 화상 A2와 화상 B2를 공간 방향으로 다중화하여, AVC 방식으로 부호화한다. 또한, 부호화 장치(140)는, 보조 화상인 화상 C2와 화상 D2, 호환 화상의 시차 화상인 시차 화상 A2'와 시차 화상 B2', 및 보조 화상의 시차 화상인 시차 화상 C2'와 시차 화상 D2'를 각각 공간 방향으로 다중화하여, MVC 방식에 준하는 3DV 방식으로 부호화한다.
또한, 부호화 장치(140)는, 도 76의 (2)에 도시한 바와 같이, 시차 화상 A2' 내지 D2'를 다중화하지 않고, MVC 방식에 준하는 3DV 방식으로 부호화하도록 해도 좋다. 또한, 도 76의 (3)에 도시한 바와 같이, 도 71의 부호화 장치(480)는, 호환 화상의 시차 화상인 시차 화상 A2'와 시차 화상 B2' 대신에 공통 시차 화상 AB2'를 부호화하고, 보조 화상의 시차 화상인 시차 화상 C2'와 시차 화상 D2' 대신에 공통 시차 화상 CD2'를 부호화한다.
또한, 도 76의 (4)에 도시한 바와 같이, 도 62의 부호화 장치(440)는, 호환 화상의 시차 화상인 시차 화상 A2'와 시차 화상 B2'를 공간 방향으로 다중화하지 않고, 시차 화상 A2', 시차 화상 B2', 및 보조 화상의 시차 화상의 다중화 화상을 프레임 시퀀셜 방식으로 다중화하여, MVC 방식에 준하는 3DV 방식으로 부호화한다.
또한, 도 76의 (5)에 도시한 바와 같이, 도 22의 부호화 장치(180)는, 호환 화상인 화상 A2와 화상 B2를 다중화하지 않고, 화상 A2를 AVC 방식으로 부호화하고, 화상 B2를, 화상 A2를 베이스 뷰로 한 MVC 방식으로 부호화한다. 또한, 부호화 장치(180)는, 보조 화상인 화상 C2와 화상 D2, 호환 화상의 시차 화상인 시차 화상 A2'와 시차 화상 B2', 및 보조 화상의 시차 화상인 시차 화상 C2'와 시차 화상 D2'를 각각 공간 방향으로 다중화하여, MVC 방식에 준하는 3DV 방식으로 부호화한다.
또한, 부호화 장치(180)는, 도 76의 (6)에 도시한 바와 같이, 시차 화상 A2' 내지 D2'를 다중화하지 않고, MVC 방식에 준하는 3DV 방식으로 부호화하도록 해도 좋다. 또한, 부호화 장치(180)는, 도 76의 (7)에 도시한 바와 같이, 부호화 장치(480)와 마찬가지로, 시차 화상 A2'와 시차 화상 B2' 대신 공통 시차 화상 AB2'를 부호화하고, 시차 화상 C2'와 시차 화상 D2' 대신 공통 시차 화상 CD2'를 부호화하도록 해도 좋다.
또한, 부호화 장치(180)는, 도 76의 (8)에 도시한 바와 같이, 부호화 장치(440)와 마찬가지로, 시차 화상 A2'와 시차 화상 B2'를 공간 방향으로 다중화하지 않고, 시차 화상 A2', 시차 화상 B2', 및 보조 화상의 시차 화상의 다중화 화상을 프레임 시퀀셜 방식으로 다중화하여, MVC 방식에 준하는 3DV 방식으로 부호화하도록 할 수도 있다.
도 77은, 도 76의 (1) 내지 (8)에 도시한 다중화 패턴으로의 다중화에 의한 효과의 특징을 도시하는 도면이다.
도 77의 표에서는, 효과의 항목 「호환성」, 「화질」 및 「데이터량」이 설정되고, 도 76의 (1) 내지 (8)에 도시한 다중화 패턴에 있어서의 각 항목의 효과의 정도가 표현되어 있다. 또한, 도 77의 표에 있어서, 원은, 효과가 있는 것을 나타내고, 이중원은, 현저한 효과가 있는 것을 나타낸다.
도 76의 (1)에 도시한 다중화 패턴으로 다중화가 행하여지는 경우, 호환 화상의 다중화 방식 및 부호화 방식이 기존의 방식과 동일해져, 호환성이 확보된다. 또한, 시차 화상이, 호환 화상과 마찬가지로 공간 방향으로 다중화되므로, 예를 들어 복호 장치측에 준비되어 있는 호환 화상을 분리하는 분리부를 사용하여 시차 화상을 분리할 수 있다. 따라서, 복호 장치측에서 시차 화상을 분리할 수 있는 것이 보증된다. 따라서, 이 경우, 호환성에 있어서 현저한 효과가 있어, 도 77의 항목 「호환성」에 대응하여 이중원이 기술되어 있다.
또한, 도 76의 (2)에 도시한 다중화 패턴으로 다중화가 행하여지는 경우, 호환 화상의 다중화 방식 및 부호화 방식이 기존의 방식과 동일해져, 호환성이 확보된다. 또한, 시차 화상의 해상도가 다중화 전의 화상과 동일한 해상도이므로 정밀도가 높다. 그 결과, 복호 장치에 있어서, 시차 화상을 사용하여 생성되는 소정의 시점의 화상의 정밀도가 향상된다. 따라서, 이 경우, 호환성과, 시차 화상을 사용하여 생성되는 화상의 화질에 있어서 효과가 있어, 도 77의 항목 「호환성」과 「화질」에 대응하여 원이 기술되어 있다.
또한, 도 76의 (3)에 도시한 다중화 패턴으로 다중화가 행하여지는 경우, 호환 화상의 부호화 방식 및 다중화 방식이 기존의 방식과 동일해져, 호환성이 확보된다. 또한, 다중화 전의 화상과 동일한 해상도의 호환 화상 및 보조 화상의 시차 화상의 데이터량이, 2시점분의 시차 화상의 데이터량으로 삭감된다. 따라서, 이 경우, 호환성과 데이터량에 있어서 효과가 있어, 도 77의 항목 「호환성」과 「데이터량」에 대응하여 원이 기술되어 있다.
또한, 도 76의 (4)에 도시한 다중화 패턴으로 다중화가 행하여지는 경우, 호환 화상의 부호화 방식 및 다중화 방식이 기존의 방식과 동일해져, 호환성이 확보된다. 또한, 시차 화상이 시간 방향으로 다중화되므로, 각 시각에 있어서의 시차 화상의 데이터량이, 도 76의 (3)의 경우에 비하여 보다 삭감되어, 전송 가능한 데이터량이 증가한다. 따라서, 다중화 전의 화상과 동일한 해상도의 시차 화상을 전송 가능할수록 전송 대역에 여유가 없는 상황에서도 다중화 전의 화상과 동일한 해상도의 시차 화상을 전송할 수 있으므로, 복호 장치에 있어서, 시차 화상을 사용하여 생성되는 소정의 시점의 화상의 정밀도가 향상된다. 따라서, 이 경우, 호환성과 시차 화상을 사용하여 생성되는 화상의 화질에 효과가 있고, 데이터량에 있어서 현저한 효과가 있다. 따라서, 도 77의 항목 「호환성」과 「화질」에 대응하여 원이 기술되고, 「데이터량」에 대응하여 이중원이 기술되어 있다.
도 76의 (1) 내지 (4)에 도시한 다중화 패턴으로의 다중화는, 예를 들어 방송, ATSC(Advanced Television Systems Committee) 2.0 규격 등에 준거한 IP(Internet Protocol)와 융합한 방송인 차세대 방송 또는 인터넷 배신의 어플리케이션용의 화상을 부호화 대상으로 할 때에 행해진다.
또한, 도 76의 (5)에 도시한 다중화 패턴으로 다중화가 행하여지는 경우, 호환 화상의 부호화 방식 및 다중화 방식이 기존의 방식과 동일해져, 호환성이 확보된다. 또한, 각 시차 화상의 해상도가 화상의 해상도의 절반이므로, 호환 화상 및 보조 화상의 시차 화상의 데이터량이, 2시점분의 시차 화상의 데이터량으로 삭감된다. 따라서, 이 경우, 호환성과 데이터량에 효과가 있어, 도 77의 항목 「호환성」과 「데이터량」에 대응하여 원이 기술되어 있다.
또한, 도 76의 (6)에 도시한 다중화 패턴으로 다중화가 행하여지는 경우, 도 76의 (2)와 마찬가지로, 호환성이 확보됨과 함께, 복호 장치에 있어서 시차 화상을 사용하여 생성되는 소정의 시점의 화상의 정밀도가 향상된다. 따라서, 이 경우, 호환성과 시차 화상을 사용하여 생성되는 화상의 화질에 효과가 있어, 도 77의 항목 「호환성」과 「화질」에 대응하여 원이 기술되어 있다.
또한, 도 76의 (7)에 도시한 다중화 패턴으로 다중화가 행하여지는 경우, 도 76의 (3)과 마찬가지로, 호환성이 확보됨과 함께, 시차 화상의 데이터량이 삭감된다. 따라서, 이 경우, 호환성과 데이터량에 효과가 있어, 도 77의 항목 「호환성」과 「데이터량」에 대응하여 원이 기술되어 있다.
도 76의 (8)에 도시한 다중화 패턴으로 다중화가 행하여지는 경우, 도 76의 (4)와 마찬가지로, 호환성이 확보된다. 또한, 도 76의 (4)와 마찬가지로, 각 시각에 있어서의 시차 화상의 데이터량이, 도 76의 (7)의 경우에 비하여 보다 삭감되고, 그 결과, 복호 장치에 있어서 시차 화상을 사용하여 생성되는 소정의 시점의 화상의 정밀도가 향상된다. 따라서, 이 경우, 호환성과 시차 화상을 사용하여 생성되는 화상의 화질에 효과가 있고, 데이터량에 있어서 현저한 효과가 있다. 따라서, 도 77의 항목 「호환성」과 「화질」에 대응하여 원이 기술되고, 「데이터량」에 대응하여 이중원이 기술되어 있다.
또한, 도 76의 (5), (7) 및 (8)에 도시한 다중화 패턴으로의 다중화는, 예를 들어 BD, 방송, 차세대 방송 또는 인터넷 배신의 어플리케이션용의 화상을 부호화 대상으로 할 때에 행해진다. 또한, 도 76의 (6)에 도시한 다중화 패턴으로의 다중화는, 예를 들어BD, 차세대 방송 또는 인터넷 배신의 어플리케이션용의 화상을 부호화 대상으로 할 때에 행해진다.
도 78은, 호환 화상의 시점수가 1이며, 보조 화상의 시점수가 2인 경우의, 부호화 대상의 다중화 패턴의 예를 나타내는 도면이다.
도 78의 (1)에 도시한 바와 같이, 도 2의 부호화 장치(50)는, 호환 화상인 화상 A1을 AVC 방식으로 부호화한다. 또한, 부호화 장치(50)는, 보조 화상인 화상 B1과 화상 C1 및, 보조 화상의 시차 화상인 시차 화상 B1'와 시차 화상 C1'를 각각 시간 방향으로 다중화한다. 그리고, 부호화 장치(50)는, 호환 화상의 시차 화상인 시차 화상 A1', 보조 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을, MVC 방식에 준하는 3DV 방식으로 부호화한다.
또한, 부호화 장치(50)는, 도 78의 (2)에 도시한 바와 같이, 시차 화상 A1' 내지 C1'를 다중화하지 않고, MVC 방식에 준하는 3DV 방식으로 부호화하도록 해도 좋다. 또한, 도 78의 (3)에 도시한 바와 같이, 부호화 장치(50)는, 부호화 장치(480)와 마찬가지로, 보조 화상의 시차 화상의 다중화 화상 대신에 보조 화상인 화상 B와 화상 C의 공통 시차 화상 BC1'를 부호화하도록 할 수도 있다.
또한, 도 78의 (4)에 도시한 바와 같이, 부호화 장치(50)는, 부호화 장치(440)와 마찬가지로, 시차 화상 B1'와 시차 화상 C1'를 공간 방향으로 다중화하지 않고, 시차 화상 A1' 내지 시차 화상 C1'를 프레임 시퀀셜 방식으로 다중화하여, MVC 방식에 준하는 3DV 방식으로 부호화하도록 할 수도 있다.
또한, 도 78의 (1) 내지 (4)에 나타낸 다중화 패턴으로의 다중화에 의한 효과 및 그 다중화 패턴으로의 다중화를 행할 때의 부호화 대상은, 각각, 도 76의 (5) 내지 (8)에 도시한 다중화 패턴으로의 다중화에 의한 효과 및 부호화 대상과 마찬가지이다. 단, 도 78의 (1)에 도시한 다중화 패턴으로의 다중화에서는, 호환 화상의 시차 화상의 해상도는 호환 화상과 동일하므로, 이 다중화에 의한 효과로서의 시차 화상의 데이터량의 삭감은, 보조 화상의 시차 화상에 대해서만 효과적이다.
도 79는, 호환 화상의 시점수가 2이며, 보조 화상의 시점수가 0인 경우의, 부호화 대상의 다중화 패턴의 예를 나타내는 도면이다.
호환 화상의 시점수가 2이며, 보조 화상의 시점수가 0인 경우, 도 79의 (1)에 도시한 바와 같이, 도 14의 부호화 장치(140)의 경우와 마찬가지로, 호환 화상인 화상 A2와 화상 B2가 공간 방향으로 다중화되어, AVC 방식으로 부호화된다. 또한, 호환 화상의 시차 화상인 시차 화상 A2'와 시차 화상 B2'가 공간 방향으로 다중화되어, AVC 방식에 준하는 3DV 방식으로 부호화된다.
또한, 도 79의 (2)에 도시한 바와 같이, 시차 화상 A2'와 시차 화상 B2'는 다중화되지 않고, MVC 방식에 준하는 3DV 방식으로 부호화되도록 해도 좋다. 또한, 도 79의 (3)에 도시한 바와 같이, 부호화 장치(480)의 경우와 마찬가지로, 시차 화상 A2'와 시차 화상 B2' 대신 공통 시차 화상 AB2'가 부호화되도록 할 수도 있다.
또한, 도 79의 (4)에 도시한 바와 같이, 부호화 장치(440)의 경우와 마찬가지로, 시차 화상 A2'와 시차 화상 B2'가, 시간 방향으로 다중화되는 것이 아니고, 프레임 시퀀셜 방식으로 다중화되어, 부호화되도록 할 수도 있다.
또한, 도 79의 (5)에 도시한 바와 같이, 부호화 장치(180)의 경우와 마찬가지로, 호환 화상인 화상 A2와 화상 B2가 다중화되지 않고, 화상 A2가 AVC 방식으로 부호화됨과 함께, 화상 B2가, 화상 A2를 베이스 뷰로 한 MVC 방식으로 부호화되도록 할 수도 있다.
또한, 이 경우, 도 79의 (6)에 도시한 바와 같이, 도 79의 (2)와 마찬가지로, 시차 화상이 다중화되지 않고 부호화되거나, 도 79의 (7)에 도시한 바와 같이, 도 79의 (3)과 마찬가지로, 공통 시차 화상 AB2'가 부호화되거나 할 수도 있다. 또한, 도 79의 (8)에 도시한 바와 같이, 도 79의 (4)와 마찬가지로, 호환 화상의 시차 화상이 프레임 시퀀셜 방식으로 다중화되어, 부호화되도록 할 수도 있다.
또한, 도 78의 (1) 내지 (8)에 나타낸 다중화 패턴으로의 다중화에 의한 효과 및 그 다중화 패턴으로의 다중화를 행할 때의 부호화 대상은, 각각, 도 76의 (1) 내지 (8)에 도시한 다중화 패턴으로의 다중화에 의한 효과 및 부호화 대상과 동일하다.
또한, 상술한 설명에서는, 프레임 시퀀셜 방식으로 다중화되는 시차 화상의 해상도는, 다중화 전의 화상과 동일한 해상도이었지만, 다중화 전의 화상의 해상도보다 저하시키도록 해도 좋다. 또한, 보조 화상도, 시차 화상과 마찬가지로 프레임 시퀀셜 방식으로 다중화되도록 해도 좋다.
또한, 상술한 설명에서는, 부호화 장치에 있어서, 화상의 다중화 방식을 나타내는 정보와 시차 화상의 다중화 방식을 나타내는 정보가 전송되었지만, 도 76, 도 78 및 도 79에 도시한 다중화 패턴을 식별하는 정보를 전송하도록 해도 좋다.
또한, 부호화 장치는, 부호화 대상의 화상에 대응하는 어플리케이션을 식별하는 플래그를 전송하도록 해도 좋다.
<제9 실시 형태>
[부호화 장치의 제9 실시 형태의 구성예]
도 80은, 본 기술을 적용한 부호화 장치의 제9 실시 형태의 구성예를 도시하는 블록도이다.
도 80에 도시한 구성 중, 도 14의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 80의 부호화 장치(520)의 구성은, 주로, 인코더(145), 다중화부(59) 대신 인코더(523), 전송부(524)가 설치되어 있는 점 및 다중화부(521)와 다중화 정보 생성부(522)가 새로 설치되어 있는 점이 도 14의 구성과 상이하다.
부호화 장치(520)는, 호환 화상의 다중화 화상, 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 프레임 시퀀셜 방식으로 다중화하여, 부호화한다.
구체적으로는, 부호화 장치(520)의 다중화부(521)는, 화상 변환부(142)에 의한 다중화의 결과 얻어지는 호환 화상 및 보조 화상의 다중화 화상, 및 시차 화상 생성부(143)에 의한 다중화의 결과 얻어지는 호환 화상 및 보조 화상의 시차 화상의 다중화 화상을, 프레임 시퀀셜 방식으로 다중화한다.
그리고, 다중화부(521)는, 다중화의 결과 얻어지는, 1프레임 시간 내에, 호환 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상, 보조 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상이 순서대로 존재하는 다중화 화상을, 시간 방향 다중화 화상으로 하여 인코더(523)에 공급한다.
또한, 다중화부(521)는, 호환 화상 및 보조 화상의 다중화 화상, 및 호환 화상 및 보조 화상의 시차 화상의 다중화 화상이, 프레임 시퀀셜 방식으로 다중화되어 있는 것, 시간 다중화 화상 내의 화상의 배치순 등을 나타내는 정보를, 다중화 정보 생성부(522) 및 인코더(523)에 공급한다.
다중화 정보 생성부(522)는, 다중화부(521)로부터 공급되는 정보에 기초하여, 그 정보 등을, 호환 화상 및 보조 화상, 및 호환 화상 및 보조 화상의 시차 화상의 다중화에 관한 전체 다중화 정보로서 생성하여, 전송부(524)에 공급한다.
인코더(523)는, 호환용 인코더(531)와 보조용 인코더(532)에 의해 구성된다. 인코더(523)는, 다중화부(521)로부터 공급되는 정보에 기초하여, 다중화부(521)로부터 공급되는 시간 다중화 화상 중 호환 화상의 다중화 화상을 지정하여, 호환 화상의 다중화 화상을 호환용 인코더(531)에 공급한다. 또한, 인코더(523)는, 다중화부(521)로부터 공급되는 정보에 기초하여, 시간 다중화 화상 중 보조 화상의 다중화 화상 및 호환 화상 및 보조 화상의 시차 화상의 다중화 화상을, 보조용 인코더(532)에 공급한다.
인코더(523)의 호환용 인코더(531)는, 시간 다중화 화상 중 호환 화상의 다중화 화상에 대하여, 기존의 AVC 방식으로 액세스 유닛 단위의 부호화를 행한다. 보조용 인코더(532)는, 시간 다중화 화상 중 보조 화상의 다중화 화상 및 호환 화상 및 보조 화상의 시차 화상의 다중화 화상에 대하여, 3DV 방식으로 액세스 유닛 단위의 부호화를 행한다. 이때, 보조 화상의 다중화 화상은, 호환 화상의 다중화 화상을 참조하여 부호화되고, 보조 화상의 시차 화상의 다중화 화상은, 호환 화상의 시차 화상의 다중화 화상을 참조하여 부호화된다.
인코더(523)는, 호환용 인코더(531) 또는 보조용 인코더(532)에 의해 부호화된 결과 얻어지는 시간 다중화 화상의 부호화 데이터를 포함하여 이루어지는 비트 스트림을 전송부(524)에 공급한다.
전송부(524)는, 인코더(523)로부터 공급되는 비트 스트림, 화상 정보 생성부(54)로부터의 화상 정보, 호환 정보 생성부(55)로부터의 호환 정보, 시점간 거리 정보 생성부(144)로부터의 시점간 거리 정보, 시차 화상 정보 생성부(57)로부터의 시차 화상 정보, 다중화 정보 생성부(522)로부터의 전체 다중화 정보 등을 사용하여, TS를 생성한다. 다중화부(59)는, 생성된 TS를 송신한다.
[부호화 장치의 처리의 설명]
도 81 및 도 82는, 도 80의 부호화 장치(520)에 의한 부호화 처리를 설명하는 흐름도이다. 이 부호화 처리는, 예를 들어 촬영부(141A) 내지 촬영부(141D)로부터 화상 A2 내지 화상 D2가 출력되었을 때 개시된다.
도 81의 스텝 S531 내지 S537의 처리는, 도 16의 스텝 S71 내지 S77의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S537의 처리 후, 스텝 S538에 있어서, 화상 변환부(142)는, 호환 화상의 다중화 화상과 보조 화상의 다중화 화상을 다중화부(521)에 입력하고, 처리를 도 82의 스텝 S539로 진행시킨다.
도 82의 스텝 S539 내지 S542의 처리는, 도 17의 스텝 S79 내지 S82의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S543의 처리 후, 스텝 S544에 있어서, 다중화부(521)는, 화상 변환부(142)에 의한 다중화의 결과 얻어지는 호환 화상 및 보조 화상의 다중화 화상, 및 시차 화상 생성부(143)에 의한 다중화의 결과 얻어지는 호환 화상 및 보조 화상의 시차 화상의 다중화 화상을, 프레임 시퀀셜 방식으로 다중화한다. 다중화부(521)는, 다중화의 결과 얻어지는 다중화 화상을, 시간 방향 다중화 화상으로 하여 인코더(523)에 공급한다.
또한, 다중화부(521)는, 호환 화상 및 보조 화상의 다중화 화상 및 시차 화상의 다중화 화상이 프레임 시퀀셜 방식으로 다중화되어 있는 것, 시간 다중화 화상 내의 화상의 배치순 등을 나타내는 정보를, 다중화 정보 생성부(522) 및 인코더(523)에 공급한다.
스텝 S545에 있어서, 다중화 정보 생성부(522)는, 다중화부(521)로부터 공급되는 정보에 기초하여, 그 정보 등을 전체 다중화 정보로서 생성하여, 전송부(524)에 입력한다.
스텝 S546에 있어서, 호환용 인코더(531)는, 인코더(523)에 의해 다중화부(521)로부터의 정보에 기초하여 입력되는, 시간 다중화 화상 중 호환 화상의 다중화 화상을 기존의 AVC 방식으로 부호화한다.
스텝 S547에 있어서, 보조용 인코더(532)는, 인코더(523)에 의해 다중화부(521)로부터의 정보에 기초하여 입력되는, 시간 다중화 화상 중 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을, 3DV 방식으로 부호화한다. 인코더(523)는, 스텝 S546 및 S547의 부호화의 결과 얻어지는 시간 다중화 화상의 부호화 데이터를 포함하여 이루어지는 비트 스트림을 전송부(524)에 공급한다.
스텝 S548에 있어서, 전송부(524)는, 인코더(523)로부터의 비트 스트림, 보조 정보 및 다중화 정보 생성부(522)로부터의 전체 다중화 정보로부터 TS를 생성하여, 송신한다. 이 TS는, 예를 들어 BD 등에 기록되거나, 방송용 스트림으로서 송신되거나 한다. 그리고, 처리는 종료된다.
이상과 같이, 부호화 장치(520)는, 호환 화상의 다중화 화상, 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상의 부호화 데이터로부터 1개의 비트 스트림을 생성한다. 따라서, 1개의 비트 스트림만을 복호 가능한 디코더를 갖는 복호 장치에 있어서, 부호화 장치(520)에 의해 생성된 비트 스트림을 복호할 수 있다.
또한, 상술한 설명에서는, 호환 화상의 시차 화상, 보조 화상 및 보조 화상의 시차 화상이, 호환 화상의 부호화 방식에 준하는 3DV 방식으로 부호화되는 것으로 했지만, 호환 화상의 부호화 방식에 준하지 않는 MPEG2(Moving Picture Experts Group phase 2) 방식 등으로 부호화되도록 해도 좋다.
[복호 장치의 구성예]
도 83은, 도 80의 부호화 장치(520)로부터 송신되는 TS를 복호하는 복호 장치의 구성예를 도시하는 도면이다.
도 83에 도시한 구성 중, 도 18의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복하는 설명에 대해서는 적절히 생략한다.
도 83의 복호 장치(540)의 구성은, 주로, 분리부(121), 디코더(122), 화상 생성부(171) 대신 수신부(541), 디코더(542), 화상 생성부(544)가 설치되어 있는 점 및 다중화 정보 취득부(543)가 새로 설치되어 있는 점이 도 18의 구성과 상이하다. 복호 장치(540)는, 부호화 장치(520)로부터 송신되는 TS에 포함되는 시간 다중화 화상의 비트 스트림을 복호하고, 2시점의 화상 또는 다시점의 화상을 생성하여, 도시하지 않은 표시 장치에 표시시킨다.
구체적으로는, 복호 장치(540)의 수신부(541)는, 부호화 장치(520)로부터 송신되어 오는 TS를 수신한다. 수신부(541)는, TS에 포함되는 시간 다중화 화상의 비트 스트림을 추출하여, 디코더(542)에 공급한다. 또한, 수신부(541)는, TS에 포함되는 보조 정보를 추출하여, 보조 정보 중 화상 정보를 화상 정보 취득부(123)에 공급하고, 시점 거리 정보를 시점간 거리 정보 취득부(124)에 공급한다. 또한, 수신부(541)는, 보조 정보 중 시차 화상 정보를 시차 화상 정보 취득부(125)에 공급하고, 호환 정보를 호환 정보 취득부(126)에 공급한다. 또한, 수신부(541)는, TS에 포함되는 전체 다중화 정보를 추출하여, 다중화 정보 취득부(543)에 공급한다.
디코더(542)는, 호환용 디코더(551)와 보조용 디코더(552)에 의해 구성된다. 디코더(542)의 호환용 디코더(551)는, 수신부(541)로부터 공급되는 비트 스트림에 포함되는 호환 화상의 다중화 화상의 부호화 데이터를 AVC 방식에 대응하는 방식으로 복호하여, 화상 생성부(544)에 공급한다.
보조용 디코더(552)는, 수신부(541)로부터 공급되는 비트 스트림에 포함되는 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상의 부호화 데이터를, 도 80의 보조용 인코더(532)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 보조용 디코더(552)는, 복호의 결과 얻어지는 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 화상 생성부(544)에 공급한다.
다중화 정보 취득부(543)는, 수신부(541)로부터 공급되는 전체 다중화 정보를 취득하여, 화상 생성부(544)에 공급한다.
화상 생성부(544)는, 시청자로부터의 표시 명령에 따라, 화상을 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 구체적으로는, 화상 생성부(544)는, 시청자로부터의 다시점 방식의 3D 화상의 표시 명령에 따라, 화상 정보 취득부(123)로부터의 화상 정보, 시점간 거리 정보 취득부(124)로부터의 시점간 거리 정보, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보, 호환 정보 취득부(126)로부터의 호환 정보, 다중화 정보 취득부(543)로부터의 전체 다중화 정보 등에 기초하여, 호환 화상의 다중화 화상, 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 사용하여, 도시하지 않은 표시 장치에 대응하는 3 이상의 시점수의, 호환 화상이나 보조 화상의 해상도의 절반의 해상도의 화상을 생성한다.
보다 상세하게는, 화상 생성부(544)는, 다중화 정보 취득부(543)로부터의 전체 다중화 정보에 기초하여, 보조용 디코더(552)로부터 공급되는 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 식별한다. 또한, 화상 생성부(544)는, 도 18의 화상 생성부(171)와 마찬가지로, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보에 포함되는 보조 화상의 시차 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상의 시차 화상의 다중화 화상으로부터, 각 보조 화상의 시차 화상을 분리한다. 또한, 화상 생성부(544)는, 화상 생성부(171)와 마찬가지로, 시차 화상 정보에 포함되는 호환 화상의 시차 화상의 다중화 방식을 나타내는 정보에 기초하여, 호환 화상의 시차 화상의 다중화 화상으로부터, 각 호환 화상의 시차 화상을 분리한다.
또한, 화상 생성부(544)는, 화상 생성부(171)와 마찬가지로, 화상 정보 취득부(123)로부터의 화상 정보에 포함되는 보조 화상의 다중화 방식을 나타내는 정보에 기초하여, 보조 화상의 다중화 화상으로부터, 각 보조 화상을 분리한다. 또한, 화상 생성부(544)는, 화상 생성부(171)와 마찬가지로, 화상 정보에 포함되는 호환 화상의 다중화 방식을 나타내는 정보에 기초하여, 호환 화상의 다중화 화상으로부터, 각 호환 화상을 분리한다.
또한, 화상 생성부(544)는, 화상 생성부(171)와 마찬가지로, 시점간 거리 정보와 도시하지 않은 표시 장치에 대응하는 시점수에 기초하여, 생성하는 다시점의 화상의 각 시점의 위치를 결정한다. 그리고, 화상 생성부(544)는, 화상 생성부(171)와 마찬가지로, 각 호환 화상, 각 보조 화상, 각 호환 화상의 시차 화상 및 각 보조 화상의 시차 화상을 사용하여, 위치가 결정된 각 시점의 화상을 생성한다. 그리고, 화상 생성부(544)는, 생성된 다시점의 화상의 해상도를, 호환 화상이나 보조 화상의 해상도의 1/시점수의 해상도로 변환하고 합성하여, 도시하지 않은 표시 장치에 표시시킨다.
이때, 합성 후의 다시점의 화상은, 시점마다 시인 가능한 각도가 상이하도록 표시되어, 시청자는, 임의의 2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 3D 화상을 볼 수 있다.
또한, 화상 생성부(544)는, 화상 생성부(171)와 마찬가지로, 시청자로부터의 2시점 방식의 3D 화상의 표시 명령에 따라, 화상 정보 취득부(123)로부터의 화상 정보에 기초하여, 디코더(542)로부터 공급되는 호환 화상의 다중화 화상을, 호환 화상의 해상도의 절반의 해상도의 화상 A2와 화상 B2로 분리한다. 그리고, 화상 생성부(544)는, 화상 생성부(171)와 마찬가지로, 분리된 호환 화상의 해상도의 절반의 해상도의 화상 A2와 화상 B2를 교대로 출력하여, 도시하지 않은 표시 장치에 표시시킨다. 이때, 시청자는, 화상 A2의 표시 시에 좌안용 셔터 또는 우안용 셔터의 한쪽이 개방되고, 화상 B2의 표시 시에 다른 쪽이 개방되는 안경을 장착하여, 표시 장치에 교대로 표시되는 화상 A2와 화상 B2를 봄으로써, 3D 화상을 볼 수 있다.
[복호 장치의 처리의 설명]
도 84는, 도 83의 복호 장치(540)에 의한 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 80의 부호화 장치(520)로부터 송신되는 TS가 복호 장치(540)에 입력되었을 때, 개시된다.
도 84의 스텝 S551에 있어서, 복호 장치(540)의 수신부(541)는, 부호화 장치(520)로부터 송신되어 오는 TS를 수신한다. 수신부(541)는, TS에 포함되는 비트 스트림을 추출하여, 디코더(542)에 공급한다. 또한, 수신부(541)는, TS에 포함되는 보조 정보를 추출하여, 보조 정보 중 화상 정보를 화상 정보 취득부(123)에 공급하고, 시점 거리 정보를 시점간 거리 정보 취득부(124)에 공급한다. 또한, 수신부(541)는, 보조 정보 중 시차 화상 정보를 시차 화상 정보 취득부(125)에 공급하고, 호환 정보를 호환 정보 취득부(126)에 공급한다. 또한, 수신부(541)는, TS에 포함되는 전체 다중화 정보를 추출하여, 다중화 정보 취득부(543)에 공급한다.
스텝 S552에 있어서, 화상 생성부(544)는, 도 19의 스텝 S92의 처리와 마찬가지로, 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되었는지 여부를 판정한다. 스텝 S552에서 시청자로부터 2시점 방식의 3D 화상의 표시가 명령되지 않았다고 판정된 경우, 즉 다시점 방식의 3D 화상의 표시가 명령된 경우, 처리는 스텝 S553으로 진행된다.
스텝 S553에 있어서, 디코더(542)의 호환용 디코더(551)는, 수신부(541)로부터 공급되는 비트 스트림으로부터 호환 화상의 다중화 화상의 부호화 데이터를 추출하여, AVC 방식에 대응하는 방식으로 복호한다. 그리고, 호환용 디코더(551)는, 복호의 결과 얻어지는 호환 화상의 다중화 화상을 화상 생성부(544)에 공급한다.
스텝 S554에 있어서, 보조용 디코더(552)는, 수신부(541)로부터 공급되는 비트 스트림으로부터 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상의 부호화 데이터를 추출하여, 도 80의 보조용 인코더(532)에 대응하는 방식으로 복호한다. 보조용 디코더(552)는, 복호의 결과 얻어지는 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 화상 생성부(544)에 공급하고, 처리를 스텝 S555로 진행시킨다.
스텝 S555 내지 S558의 처리는, 도 19의 스텝 S95 내지 S98의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S558의 처리 후, 스텝 S559에 있어서, 다중화 정보 취득부(543)는, 수신부(541)로부터 공급되는 전체 다중화 정보를 취득하여, 화상 생성부(544)에 입력한다.
스텝 S560에 있어서, 화상 생성부(544)는, 도 19의 스텝 S99의 처리와 마찬가지로, 시점간 거리 정보 취득부(124)로부터의 시점간 거리 정보와, 도시하지 않은 표시 장치에 대응하는 시점수에 기초하여, 생성하는 다시점의 화상의 각 시점의 위치를 결정한다.
스텝 S561에 있어서, 화상 생성부(544)는, 스텝 S560에서 결정된 각 시점의 위치, 화상 정보 취득부(123)로부터의 화상 정보, 시차 화상 정보 취득부(125)로부터의 시차 화상 정보, 호환 정보 취득부(126)로부터의 호환 정보, 다중화 정보 취득부(543)로부터의 전체 다중화 정보 등에 기초하여, 호환 화상의 다중화 화상, 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상을 사용하여, 각 시점의, 호환 화상이나 보조 화상의 절반의 해상도의 화상을 생성한다. 그리고, 처리는 스텝 S562로 진행된다.
스텝 S562 내지 S567의 처리는, 도 19의 스텝 S101 내지 S106의 처리와 마찬가지이므로, 설명은 생략한다. 단, 스텝 S564의 처리에서는, 호환용 디코더(551)는, 호환 스트림이 아니고, 수신부(541)로부터 공급되는 비트 스트림으로부터 호환 화상의 다중화 화상을 추출한다.
또한, 복호 장치(540)와의 호환성을 갖는 호환 화상만을 복호 가능한 복호 장치에서는, 처리 가능한 호환 화상의 부호화 데이터 이외의 부호화 데이터가 무시되고, 스텝 S564, S566 및 S567의 처리가 행해진다. 단, 이 경우, 스텝 S566의 처리에서는, 미리 결정된 다중화 방식에 기초하여, 호환 화상의 다중화 화상이 분리된다.
이상과 같이, 복호 장치(540)는, 호환 화상의 다중화 화상, 보조 화상의 다중화 화상, 호환 화상의 시차 화상의 다중화 화상 및 보조 화상의 시차 화상의 다중화 화상의 부호화 데이터로부터 생성된 1개의 비트 스트림을 복호할 수 있다.
<제5 실시 형태에 있어서의 비트 스트림의 다른 예>
[비트 스트림의 다른 구성예]
도 85는, 제5 실시 형태로 생성되는 액세스 유닛 단위의 비트 스트림의 다른 구성예를 도시하는 도면이다.
또한, 도 85의 예에서는, 호환 화상이 1920×1080 화소의 L 화상과 R 화상이며, 보조 화상이 1920×1080 화소의 O 화상이다. 또한, L 시차 화상, R 시차 화상 및 O 시차 화상의 크기는, 960×1080 화소이다. 또한, L 화상은 AVC 방식으로 부호화되고, R 화상은 MVC 방식으로 부호화되고, O 화상, L 시차 화상, R 시차 화상 및 O 시차 화상은 3DV 방식으로 부호화된다. 또한, L 화상, R 화상, O 화상, L 시차 화상, R 시차 화상, O 시차 화상의 뷰 ID는, 각각, 0, 1, 2, 3, 4, 5이다. 또한, 뷰 ID란, 각 시점의 화상 및 시차 화상에 고유한 ID이다.
도 85에 도시한 바와 같이, 액세스 유닛 단위의 비트 스트림에는, 예를 들어 선두부터 순서대로, 액세스 유닛 델리미터(AUD), SPS, 화상용 MVC 방식의 Subset SPS(Subset SPS1), 시차 화상용 3DV 방식의 Subset SPS(Subset SPS2), PPS, AVC 방식의 SEI, MVC 방식의 SEI, 3DV 방식의 SEI, 부호화 데이터의 NAL 유닛이 배치된다.
액세스 유닛 델리미터의 NAL 유닛은, 액세스 유닛의 경계를 나타내는 NAL 유닛이다. SPS의 NAL 유닛은, AVC 방식으로 정의되는 프로파일 중 L 화상의 프로파일을 나타내는 profile_idc(도 85의 예에서는 100)를 포함하는 SPS의 NAL 유닛이다. 화상용 Subset SPS의 NAL 유닛은, MVC 방식으로 정의되는 프로파일 중 R 화상 및 O 화상의 프로파일을 나타내는 profile_idc(도 85의 예에서는 128)를 포함하는 Subset SPS의 NAL 유닛이다. 시차 화상용 Subset SPS의 NAL 유닛은, 3DV 방식으로 시차 화상용 프로파일로서 정의되는 프로파일 중, L 시차 화상, R 시차 화상 및 O 시차 화상의 프로파일을 나타내는 profile_idc(도 85의 예에서는 138)를 포함하는 Subset SPS의 NAL 유닛이다.
AVC 방식의 SEI의 NAL 유닛은, L 화상의 SEI의 NAL 유닛이다. MVC 방식의 SEI의 NAL 유닛은, L 화상과 R 화상의 SEI의 NAL 유닛이다. 3DV 방식의 SEI의 NAL 유닛은, L 화상, R 화상, O 화상, L 시차 화상, R 시차 화상 및 O 시차 화상의 SEI의 NAL 유닛이다.
부호화 데이터의 NAL 유닛으로서는, 선두부터 순서대로, L 화상의 부호화 데이터, 델리미터(MVC DD), R 화상의 부호화 데이터, 델리미터(3DV DD), O 화상의 부호화 데이터, 델리미터(3DV DD), L 시차 화상의 부호화 데이터, 델리미터(3DV DD), R 시차 화상의 부호화 데이터, 델리미터(3DV DD), O 시차 화상의 부호화 데이터의 NAL 유닛이 배치된다.
L 화상의 부호화 데이터의 NAL 유닛에는, NAL 유닛의 타입으로서 1 또는 5를 포함하는 NAL 헤더가 부가된다. 또한, 델리미터(MVC DD)의 NAL 유닛은, MVC 방식의 부호화 데이터의 선두를 나타내는 NAL 유닛이다. R 화상의 부호화 데이터의 NAL 유닛에는, NAL 유닛의 타입으로서 20을 포함하는 NAL 헤더가 부가된다. 또한, 델리미터(3DV DD)의 NAL 유닛은, 3DV 방식의 부호화 데이터의 선두를 나타내는 NAL 유닛이다. 또한, O 화상, L 시차 화상, R 시차 화상 및 O 시차 화상의 부호화 데이터의 NAL 유닛에는, NAL 유닛의 타입으로서 21을 포함하는 NAL 헤더가 부가된다.
[시차 화상용 3DV 방식의 Subset SPS의 기술예]
도 86은, 도 85의 시차 화상용 3DV 방식의 Subset SPS의 기술예를 도시하는 도면이다.
도 86에 도시한 바와 같이, 시차 화상용 3DV 방식의 Subset SPS에는, L 시차 화상, R 시차 화상 및 O 시차 화상의 프로파일을 나타내는 profile_idc(도 86의 예에서는 138)를 포함하는 SPS(seq_parameter_set_data)와, 3DV 방식으로 정의되어 있는 profile_idc마다의 정보가 기술되어 있다.
구체적으로는, 시차 화상용 3DV 방식의 Subset SPS에는, profile_idc가 138일 때의 정보로서, 시차 화상용 확장 정보(seq_parameter_set_depth_extension), 시차 화상용 VUI 확장 정보가 포함되는지 여부를 나타내는 시차 화상용 VUI 정보 플래그(depth_vui_parameters_present_flag) 등이 기술된다. 또한, 시차 화상용 VUI 정보 플래그가, 시차 화상용 VUI 확장 정보가 포함되는 것을 나타내는 경우에는, 시차 화상용 VUI 확장 정보(depth_vui_parameters__extension)도 기술된다.
또한, 시차 화상용 3DV 방식의 Subset SPS를 복호 시에 참조하는 경우, 즉, L 시차 화상, R 시차 화상 및 O 시차 화상을 복호하는 경우, IDR 픽처의 복호 시와 마찬가지로, 참조 화상은 리셋된다.
도 87은, 도 86의 시차 화상용 확장 정보의 기술예를 도시하는 도면이다.
도 87에 도시한 바와 같이, 시차 화상용 확장 정보는, MVC 방식의 Subset SPS 내의 확장 정보(seq_parameter_set_mvc_extension)와 마찬가지로 기술되는 정보와, 각 시차 화상에 대응하는 화상의 뷰 ID(ref_view_id)를 포함하여 이루어진다.
또한, 도 87에서는, MVC 방식의 Subset SPS 내의 확장 정보와 마찬가지로 기술되는 정보는 전개되어 시차 화상용 확장 정보에 포함된다. 따라서, 각 시차 화상의 뷰 ID(view_id)와, 각 시차 화상에 대응하는 화상의 뷰 ID를, 시차 화상마다 통합하여 기술할 수 있다. 즉, 시차 화상의 수를 나타내는 정보(num_views_minus1)를 기술하고, 그 수만큼, 시차 화상의 뷰 ID와, 그 시차 화상에 대응하는 화상의 뷰 ID를 판독시키는 기술을 행할 수 있다.
이에 반하여, MVC 방식의 Subset SPS 내의 확장 정보와 마찬가지로 기술되는 정보가 전개되지 않고 시차 화상용 확장 정보에 포함되는 경우, 시차 화상용 확장 정보 외에, 시차 화상의 수를 나타내는 정보를 기술하고, 그 수만큼, 시차 화상에 대응하는 화상의 뷰 ID를 판독시키는 기술을 행할 필요가 있다. 그 결과, 시차 화상의 수를 나타내는 정보의 기술과, 그 수만큼 정보를 판독시키는 기술이 중복된다.
따라서, 도 87에 도시한 바와 같이, MVC 방식의 Subset SPS 내의 확장 정보와 마찬가지로 기술되는 정보가 전개되어 시차 화상용 확장 정보에 포함되는 경우, 그 정보가 전개되지 않고 시차 화상용 확장 정보에 포함되는 경우에 비하여, 시차 화상용 확장 정보의 데이터량을 삭감할 수 있다.
도 88은, 도 86의 시차 화상용 VUI 확장 정보의 기술예를 도시하는 도면이다.
도 88에 도시한 바와 같이, 시차 화상용 VUI 확장 정보는, 이하의 점을 제외하고, MVC 방식의 VUI 확장 정보(mvc_vui_parameters__extension)와 마찬가지로 기술된다. 즉, 시차 화상용 VUI 정보에는, 시차 화상의 각 화소의, 그 시차 화상에 대응하는 화상 위의 위치의 타입을 나타내는 위치 타입이 포함되는지 여부를 나타내는 위치 타입 플래그(depth_loc_info_present_flag)와 해상도 변환 전의 시차 화상의 크기를 나타내는 변환 전 크기 정보가 포함되는지 여부를 나타내는 변환 전 크기 정보 플래그(video_src_info_present_flag)가 포함된다. 또한, 위치 타입 플래그가, 위치 타입이 포함되는 것을 나타내는 경우, 시차 화상용 VUI 정보에는 위치 타입도 포함되고, 변환 전 크기 정보 플래그가, 변환 전 크기 정보가 포함되는 것을 나타내는 경우, 시차 화상용 VUI 정보에는 변환 전 크기 정보도 포함된다.
위치 타입은, 톱 필드의 위치 타입(depth_sample_loc_type_top_field)과 보텀 필드의 위치 타입(depth_sample_loc_type_bottom_field)을 포함하여 이루어진다. 톱 필드 및 보텀 필드의 위치 타입은, 각각, MVC 방식의 VUI 확장 정보에 포함되는 톱 필드의 위치 타입(chroma_sample_loc_type_top_field)이나 보텀 필드의 위치 타입(chroma_sample_loc_type_bottom_field)과 마찬가지로 기술된다.
또한, 변환 전 크기 정보는, 해상도 변환 전의 시차 화상의 가로 방향의 매크로 블록수를 나타내는 정보(pic_width_in_mbs_minus1) 및 세로 방향의 매크로 블록수를 나타내는 정보(pic_height_in_mbs_minus1), 종횡비를 나타내는 애스펙트 정보가 포함되는지 여부를 나타내는 종횡비 플래그(aspect_ratio_info_present_flag) 등에 의해 구성된다. 또한, 종횡비 플래그가, 애스펙트 정보가 포함되는 것을 나타내는 경우, 변환 전 크기 정보에는 애스펙트 정보도 포함된다.
애스펙트 정보는, 종횡비에 고유한 ID인 종횡비 ID(aspect_ratio_idc) 등을 포함하여 이루어진다. 또한, 이 종횡비 ID는, 미리 정의되어 있는 종횡비에 부여되는 것 이외에, 정의되어 있지 않은 종횡비 전체에 대해서도 부여된다. 그리고, 애스펙트 정보에 포함되는 종횡비 ID가, 정의되어 있지 않은 종횡비 전체에 대하여 부여된 종횡비 ID(Extended_SAR)인 경우, 애스펙트 정보에는, 해상도 변환 전의 시차 화상의 종횡비에 있어서의 가로 방향의 값(sar_width)과 세로 방향의 값(sar_height)도 포함된다.
[3DV 방식의 부호화 데이터의 NAL 헤더의 기술예]
도 89는, NAL 유닛 타입으로서 21을 포함하는, 3DV 방식의 부호화 데이터의 NAL 유닛의 NAL 헤더의 기술예를 도시하는 도면이다.
도 89에 도시한 바와 같이, 3DV 방식의 부호화 데이터의 NAL 헤더에는, NAL 유닛 타입이 21일 때의 정보로서, 시차 화상용 헤더 확장 정보가 포함되어 있는지 여부를 나타내는 시차 화상용 헤더 확장 정보 플래그(depth_extension_flag) 등이 기술된다. 여기서, 시차 화상용 헤더 확장 정보는, 3DV 방식의 시차 화상의 부호화 데이터의 NAL 헤더에 기술되는 것이며, 시차 화상용 헤더 확장 정보 플래그는, 상술한 시차 플래그와 마찬가지의 것이다.
시차 화상용 헤더 확장 정보 플래그가, 시차 화상용 헤더 확장 정보가 포함되어 있는 것을 나타내는 경우, 3DV 방식의 부호화 데이터의 NAL 헤더에는, 시차 화상용 헤더 확장 정보(nal_unit_header_depth_extension)도 기술된다. 한편, 시차 화상용 헤더 확장 정보 플래그가, 시차 화상용 헤더 확장 정보가 포함되어 있지 않은 것을 나타내는 경우, 3DV 방식의 부호화 데이터의 NAL 헤더에는, MVC 방식용 헤더 확장 정보(nal_unit_header_mvc_extension)도 기술된다.
도 90은, 도 89의 시차 화상용 헤더 확장 정보의 기술예를 도시하는 도면이다.
도 90에 도시한 바와 같이, 시차 화상용 헤더 확장 정보는, 시차 화상에 대응하는 화상의 뷰 ID(ref_view_id)를 포함하는 점을 제외하고, MVC 방식용 헤더 확장 정보와 마찬가지로 구성된다.
[3DV 방식의 SEI의 기술예]
도 91은, 도 85의 3DV 방식의 SEI의 기술예를 도시하는 도면이다.
도 91에 도시한 바와 같이, 3DV 방식의 SEI는, MVC 방식의 SEI와 마찬가지로, SEI의 메시지가 기술된다.
즉, 3DV 방식의 SEI에는, 오퍼레이션 포인트를 지정하는지 여부를 나타내는 오퍼레이션 포인트 플래그(operation_point_flag)가 기술되고, 오퍼레이션 포인트 플래그가, 오퍼레이션 포인트를 지정하지 않는 것을 나타내는 경우, 액세스 유닛 내의 모든 화상 및 시차 화상에 SEI의 메시지를 적응하는지 여부를 나타내는 전체 컴포넌트 플래그(all_view_components_in_au_flag)가 기술된다. 또한, 전체 컴포넌트 플래그가, 액세스 유닛 내의 모든 화상 및 시차 화상에 적응하지 않는 것을 나타내는 경우, SEI의 메시지를 적응하는 화상 및 시차 화상의 뷰 ID의 수(num_view_components_minus1)와 뷰 ID(sei_view_id)가 기술된다.
한편, 오퍼레이션 포인트 플래그가, 오퍼레이션 포인트를 지정하는 것을 나타내는 경우, SEI의 메시지를 적응하는 오퍼레이션 포인트 중 적응 대상의 화상 및 시차 화상의 뷰 ID(sei_op_view_id)와, 그 오퍼레이션 포인트의 번호(sei_op_temporal_id)가 기술된다. 그리고, SEI의 메시지(sei_rbsp)가 기술된다. 또한, 3DV 방식의 SEI에서는, 복수의 SEI의 메시지를 기술하는 것이 가능하다. 또한, SEI의 메시지로서는, 상술한 시차 정보 등이 기술된다.
또한, 도 85의 예에서는, R 화상과 O 화상의 프로파일을 동일한 것으로 했지만, 상이하도록 할 수도 있다.
[비트 스트림의 또 다른 구성예]
도 92는, 도 85에 있어서 R 화상과 O 화상의 프로파일이 상이한 경우의 액세스 유닛 단위의 비트 스트림의 구성예를 도시하는 도면이다.
도 92의 비트 스트림의 구성은, 화상용 MVC 방식의 Subset SPS와 시차 화상용 3DV 방식의 Subset SPS 외에, 화상용 3DV 방식의 Subset SPS가 배치되는 점이, 도 85의 비트 스트림의 구성과 상이하다.
화상용 MVC 방식의 Subset SPS의 NAL 유닛(Subset SPS1)은, MVC 방식으로 정의되는 프로파일 중 R 화상의 프로파일을 나타내는 profile_idc(도 92의 예에서는 128)를 포함하는 Subset SPS의 NAL 유닛이다. 화상용 3DV 방식의 Subset SPS(Subset SPS2)의 NAL 유닛은, 3DV 방식으로 화상용 프로파일로서 정의되는 프로파일 중 O 화상의 프로파일을 나타내는 profile_idc(도 92의 예에서는 148)를 포함하는 Subset SPS의 NAL 유닛이다. 시차 화상용 Subset SPS(Subset SPS3)의 NAL 유닛은, 3DV 방식으로 시차 화상용 프로파일로서 정의되는 프로파일 중, L 시차 화상, R 시차 화상 및 O 시차 화상의 프로파일을 나타내는 profile_idc(도 92의 예에서는 138)를 포함하는 Subset SPS의 NAL 유닛이다.
[화상용 3DV 방식의 Subset SPS의 기술예]
도 93은, 도 92의 화상용 3DV 방식의 Subset SPS의 기술예를 도시하는 도면이다.
도 93에 도시한 바와 같이, 화상용 3DV 방식의 Subset SPS는, 화상 O의 프로파일을 나타내는 profile_idc(도 93의 예에서는 148)를 포함하는 SPS(seq_parameter_set_data)와, 3DV 방식으로 정의되어 있는 profile_idc마다의 정보가 기술되어 있다.
구체적으로는, 화상용 3DV 방식의 Subset SPS에는, profile_idc가 148일 때의 정보로서, MVC 방식의 Subset SPS와 마찬가지로, MVC 방식의 확장 정보(seq_parameter_set_mvc_extension), MVC 방식의 VUI 확장 정보가 포함되는지 여부를 나타내는 MVC 방식 VUI 정보 플래그(mvc_vui_parameters_present_flag) 등이 기술된다. 또한, MVC 방식 VUI 정보 플래그가, MVC 방식의 VUI 확장 정보가 포함되는 것을 나타내는 경우에는, MVC 방식의 VUI 확장 정보(mvc_vui_parameters_extension)도 기술된다. 또한, profile_idc가 138일 때의 정보로서는, 도 86과 마찬가지의 정보가 기술된다.
또한, 제5 실시 형태에서는, 3DV 방식이 AVC 방식이나 MVC 방식에 준한 다시점 방식에서의 표시용 화상을 부호화하기 위한 방식인 것으로 했지만, 3DV 방식은, HEVC(High Efficiency Video Coding) 방식에 준한 다시점 방식에서의 표시용 화상을 부호화하기 위한 방식이도록 해도 좋다. 이 경우의 비트 스트림에 대하여 이하에 설명한다. 또한, 본 명세서에서는, HEVC 방식이, HEVC Working Draft: Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivian, "WD3: Working Draft3 of High-Efficiency Video Coding", JCTVc-E603_d5(version5), 2011년 5월 20일의 기재에 기초하는 것으로 한다.
<3DV 방식이 HEVC 방식에 준한 방식인 경우의 비트 스트림>
[비트 스트림의 구성예]
도 94는, 3DV 방식이 HEVC 방식에 준한 방식인 경우의 액세스 유닛 단위의 비트 스트림의 구성예를 도시하는 도면이다.
또한, 도 94의 예에서는, 도 85의 예와 마찬가지의 L 시점 화상, R 시점 화상 및 O 시점 화상이 부호화 대상으로 되어, L 화상이 AVC 방식으로 부호화되고, L 시차 화상, R 시점 화상 및 O 시점 화상이 3DV 방식으로 부호화된다.
도 94의 비트 스트림은, 화상용 3DV 방식의 Subset SPS(Subset SPS1)와 시차 화상용 3DV 방식의 Subset SPS(Subset SPS2)를 SPS 내에 기술 가능한 점, HEVC 방식의 SEI와 3DV 방식의 SEI의 NAL 유닛에, 각각 다른 NAL 유닛의 타입을 포함하는 NAL 헤더가 부가되는 점이, 도 85의 비트 스트림과 상이하다.
도 94의 비트 스트림에서는, 화상용 3DV 방식의 Subset SPS와 시차 화상용 3DV 방식의 Subset SPS를 SPS 내에만 기술시키거나, SPS와는 별도로 기술시키거나, SPS에 기술시킴과 함께 SPS와는 별도로 기술시키거나 할 수 있다. 또한, 화상용 3DV 방식의 Subset SPS와 시차 화상용 3DV 방식의 Subset SPS가, SPS와 별도로 기술되는 것은, BD 규격에 준거하여, HEVC 방식의 부호화 데이터와 3DV 방식의 부호화 데이터를 다른 ES(Elementary Stream)로서 생성하는 경우에 적합하다.
또한, 도 94의 비트 스트림에서는, HEVC 방식의 SEI의 NAL 유닛과 3DV 방식의 SEI의 NAL 유닛에 부가되는 NAL 헤더에 포함되는 NAL 유닛의 타입이 상이하기 때문에, 복호 시에 HEVC 방식의 SEI나 3DV 방식의 SEI의 NAL 유닛을 용이하게 추출할 수 있다.
[SPS의 기술예]
도 95는, 도 94의 SPS의 기술예를 도시하는 도면이다.
도 95의 SPS의 기술은, Subset SPS의 정보가 포함되는지 여부를 나타내는 Subset SPS 정보 플래그(subset_seq_present_flag)가 기술되는 점 및 Subset SPS 정보 플래그가 Subset SPS의 정보가 포함되는 것을 나타내는 경우에 Subset SPS의 정보가 기술되는 점을 제외하고, HEVC 방식의 SPS의 기술과 마찬가지이다.
도 95에 도시한 바와 같이, Subset SPS의 정보는, Subset SPS의 수(num_subset_seq)와, Subset SPS를 포함하는지 여부를 나타내는 Subset SPS 플래그(subset_seq_info_present_flag)를 포함한다. 또한, Subset SPS 플래그가, Subset SPS를 포함하는 것을 나타내는 경우, Subset SPS의 정보에는, Subset SPS(subset_seq_parameter_set_data)도 포함된다.
이상과 같이, Subset SPS의 정보로서 Subset SPS의 수가 기술되므로, 복호 시에 SPS의 기술을 판독하는 것만으로, Subset SPS가 존재하는지 여부를 인식할 수 있다. 또한, Subset SPS 플래그가 기술되므로, Subset SPS를 SPS 내에 기술하지 않고 SPS와는 별도로 기술할 수 있어, Subset SPS의 기술의 중복을 방지할 수 있다.
[Subset SPS의 기술예]
도 96은, 도 95의 Subset SPS의 기술예를 도시하는 도면이다.
도 96의 Subset SPS의 기술은, Subset SPS를 적응하는 화상 및 시차 화상의 뷰 ID의 수(num_subset_seq_views), Subset SPS의 적응 대상이 시차 화상인지 여부를 나타내는 시차 화상용 플래그(depth_extension_flag) 및 Subset SPS의 적응 시에 SPS를 무효로 할지 여부를 나타내는 무효 플래그(seq_param_override_flag)가 기술되는 점을 제외하고, HEVC 방식의 SPS의 기술과 마찬가지이다.
시차 화상용 플래그가, Subset SPS의 적응 대상이 시차 화상인 것을 나타내는 경우, Subset SPS에는, 적응 대상의 시차 화상에 대응하는 화상의 뷰 ID(ref_view_id)가 기술된다. 또한, 무효 플래그가, Subset SPS의 적응 시에 SPS를 무효로 하는 것을 나타내는 경우, Subset SPS에는, SPS와 마찬가지로, 프로파일을 나타내는 정보(subset_seq_profile_idc) 등이 기술된다.
또한, Subset SPS의 기술 중 SPS의 기술과 마찬가지의 기술로서는, 예를 들어 적응하는 화상 및 시차 화상이 크로핑되어 있는지 여부를 나타내는 정보(subset_seq_frame_cropping_flag), VUI 정보(subset_seq_vui_parameters)를 포함하는지 여부를 나타내는 VUI 정보 플래그(subset_seq_vui_parameters_present_flag) 등이 있다. VUI 정보 플래그가 VUI 정보를 포함하는 것을 나타내는 경우, SPS와 마찬가지로 VUI 정보도 기술된다. 한편, VUI 정보 플래그가 VUI 정보를 포함하지 않는 것을 나타내는 경우, SPS와 마찬가지로 VUI 정보가 기술되지 않는다. 이 경우, VUI 정보로서는 SPS의 VUI 정보가 적응된다.
[Subset SPS의 VUI 정보의 기술예]
도 97은, 도 96의 Subset SPS의 VUI 정보의 기술예를 도시하는 도면이다.
도 97의 Subset SPS의 VUI 정보의 기술은, 적응 대상의 변환 전 크기 정보가 포함되는지 여부를 나타내는 변환 전 크기 정보 플래그(video_src_info_present_flag)가 기술되는 점을 제외하고, HEVC 방식의 SPS의 VUI 정보의 기술과 마찬가지이다.
또한, 변환 전 크기 정보 플래그가 적응 대상의 변환 전 크기 정보가 포함되는 것을 나타내는 경우, 도 97의 VUI 정보에는, 변환 전 크기 정보가 기술된다. 즉, 해상도 변환 전의 적응 대상의 가로 방향의 매크로 블록수를 나타내는 정보(src_pic_width_in_mbs_minus1) 및 세로 방향의 매크로 블록수를 나타내는 정보(src_pic_height_in_mbs_minus1), 종횡비를 나타내는 애스펙트 정보가 포함되는지 여부를 나타내는 종횡비 플래그(src_aspect_ratio_info_present_flag) 등이 기술된다.
그리고, 종횡비 플래그가, 애스펙트 정보가 포함되는 것을 나타내는 경우, 변환 전 크기 정보에는, 종횡비 ID(src_aspect_ratio_idc) 등을 포함하여 이루어지는 애스펙트 정보도 포함된다. 그리고, 애스펙트 정보에 포함되는 종횡비 ID가, 정의되어 있지 않은 종횡비 전체에 대하여 부여된 종횡비 ID(Extended_SAR)인 경우, 애스펙트 정보에는, 해상도 변환 전의 적응 대상의 종횡비에 있어서의 가로 방향의 값(sar_width)과 세로 방향의 값(sar_height)도 포함된다.
또한, 도 97의 Subset SPS의 VUI 정보는, SPS의 VUI 정보와 상이한 점만 기술되도록 해도 좋다. 이 경우, Subset SPS의 VUI 정보 중 기술되지 않는 정보에 대해서는, SPS의 VUI 정보에 포함되는 정보가 적용된다.
[SEI의 기술예]
도 98은, 도 94의 3DV 방식의 SEI의 기술예를 도시하는 도면이다.
도 98의 3DV 방식의 SEI의 기술은, SEI 메시지의 타입(nesting_type), 전체 컴포넌트 플래그(all_view_components_in_au_flag) 등이 기술되는 점을 제외하고, SEI 메시지의 타입의 SEI 메시지의 기술과 마찬가지이다.
SEI 메시지의 타입으로서는, MVC 방식의 SEI 메시지, 3DV 방식의 SEI 메시지, 유저에 의해 정의된 SEI 메시지 등이 있다. 또한, 전체 컴포넌트 플래그가, 액세스 유닛 내의 모든 화상 및 시차 화상에 적응하지 않는 것을 나타내는 경우, 3DV 방식의 SEI에는, SEI의 메시지를 적응하는 화상 및 시차 화상의 뷰 ID의 수(num_view_components_minus1)와, 그 수만큼의 뷰 ID(nesting_sei_view_id)도 기술된다.
또한, 제5 실시 형태 이외의 형태의 비트 스트림(부호화 스트림)도, 도 85 내지 도 98에서 설명한 비트 스트림과 마찬가지로 생성되어도 좋다.
<제10 실시 형태>
[본 기술을 적용한 컴퓨터의 설명]
이어서, 상술한 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.
따라서, 도 99는, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 나타내고 있다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 기억부(608)나 ROM(Read Only Memory)(602)에 미리 기록해 둘 수 있다.
혹은 또한, 프로그램은, 리무버블 미디어(611)에 저장(기록)해 둘 수 있다. 이러한 리무버블 미디어(611)는, 소위 팩키지 소프트 웨어로서 제공할 수 있다. 여기서, 리무버블 미디어(611)로서는, 예를 들어 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.
또한, 프로그램은, 상술한 바와 같은 리무버블 미디어(611)로부터 드라이브(610)를 통하여 컴퓨터에 인스톨하는 것 외에, 통신망이나 방송망을 통하여, 컴퓨터에 다운로드하여, 내장하는 기억부(608)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들어 다운로드 사이트로부터, 디지털 위성 방송용의 인공 위성을 통하여, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷이라는 네트워크를 통하여, 컴퓨터에 유선으로 전송할 수 있다.
컴퓨터는, CPU(Central Processing Unit)(601)를 내장하고 있으며, CPU(601)에는, 버스(604)를 통하여, 입출력 인터페이스(605)가 접속되어 있다.
CPU(601)는, 입출력 인터페이스(605)를 통하여, 유저에 의해, 입력부(606)가 조작 등 됨으로써 명령이 입력되면, 그에 수반하여, ROM(602)에 저장되어 있는 프로그램을 실행한다. 혹은, CPU(601)는, 기억부(608)에 저장된 프로그램을, RAM(Random Access Memory)(603)에 로드하여 실행한다.
이에 의해, CPU(601)는, 상술한 흐름도에 따른 처리, 혹은 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(601)는, 그 처리 결과를, 필요에 따라, 예를 들어 입출력 인터페이스(605)를 통하여, 출력부(607)로부터 출력, 혹은 통신부(609)로부터 송신, 나아가, 기억부(608)에 기록시킨다.
또한, 입력부(606)는, 키보드나, 마우스, 마이크 등으로 구성된다. 또한, 출력부(607)는, LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.
여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라 행하는 처리는, 반드시 흐름도로서 기재된 순서를 따라 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라 행하는 처리는, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함한다.
또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 좋고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 좋다. 또한, 프로그램은, 먼 곳의 컴퓨터에 전송되어 실행되는 것이어도 좋다.
본 기술은, 위성 방송, 케이블 TV(텔레비전), 인터넷 및 휴대 전화기 등의 네트워크 미디어를 통하여 수신할 때에 혹은 광자기 디스크 및 플래시 메모리와 같은 기억 미디어 상에서 처리할 때에 사용되는 부호화 장치 및 복호 장치에 적용할 수 있다.
또한, 상술한 부호화 장치 및 복호 장치는, 임의의 전자 기기에 적용할 수 있다. 이하에 그 예에 대하여 설명한다.
<제11 실시 형태>
[텔레비전 장치의 구성예]
도 100은, 본 기술을 적용한 텔레비전 장치의 개략 구성을 예시하고 있다. 텔레비전 장치(900)는, 안테나(901), 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 표시부(906), 음성 신호 처리부(907), 스피커(908), 외부 인터페이스부(909)를 갖고 있다. 또한, 텔레비전 장치(900)는, 제어부(910), 유저 인터페이스부(911) 등을 갖고 있다.
튜너(902)는, 안테나(901)로 수신된 방송파 신호로부터 원하는 채널을 선국하여 복조를 행하여, 얻어진 부호화 비트 스트림을 디멀티플렉서(903)에 출력한다.
디멀티플렉서(903)는, 부호화 비트 스트림으로부터 시청 대상인 프로그램의 영상이나 음성의 패킷을 추출하여, 추출한 패킷의 데이터를 디코더(904)에 출력한다. 또한, 디멀티플렉서(903)는, EPG(Electronic Program Guide) 등의 데이터의 패킷을 제어부(910)에 공급한다. 또한, 스크램블이 행해지고 있는 경우, 디멀티플렉서 등에 의해 스크램블의 해제를 행한다.
디코더(904)는, 패킷의 복호화 처리를 행하여, 복호 처리화에 의해 생성된 영상 데이터를 영상 신호 처리부(905), 음성 데이터를 음성 신호 처리부(907)에 출력한다.
영상 신호 처리부(905)는, 영상 데이터에 대하여, 노이즈 제거나 유저 설정에 따른 영상 처리 등을 행한다. 영상 신호 처리부(905)는, 표시부(906)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 통하여 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성한다. 또한, 영상 신호 처리부(905)는, 항목의 선택 등의 메뉴 화면 등을 표시하기 위한 영상 데이터를 생성하여, 그것을 프로그램의 영상 데이터에 중첩한다. 영상 신호 처리부(905)는, 이와 같이 하여 생성한 영상 데이터에 기초하여 구동 신호를 생성하여 표시부(906)를 구동한다.
표시부(906)는, 영상 신호 처리부(905)로부터의 구동 신호에 기초하여 표시 디바이스(예를 들어 액정 표시 소자 등)를 구동하여, 프로그램의 영상 등을 표시시킨다.
음성 신호 처리부(907)는, 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 처리 후의 음성 데이터의 D/A 변환 처리나 증폭 처리를 행하여 스피커(908)에 공급함으로써 음성 출력을 행한다.
외부 인터페이스부(909)는, 외부 기기나 네트워크와 접속하기 위한 인터페이스이며, 영상 데이터나 음성 데이터 등의 데이터 송수신을 행한다.
제어부(910)에는 유저 인터페이스부(911)가 접속되어 있다. 유저 인터페이스부(911)는, 조작 스위치나 리모트 컨트롤 신호 수신부 등에 의해 구성되어 있고, 유저 조작에 따른 조작 신호를 제어부(910)에 공급한다.
제어부(910)는, CPU(Central Processing Unit)나 메모리 등을 사용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터, EPG 데이터, 네트워크를 통하여 취득된 데이터 등을 기억한다. 메모리에 기억되어 있는 프로그램은, 텔레비전 장치(900)의 기동 시 등의 소정 타이밍에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 텔레비전 장치(900)가 유저 조작에 따른 동작으로 되도록 각 부를 제어한다.
또한, 텔레비전 장치(900)에서는, 튜너(902), 디멀티플렉서(903), 영상 신호 처리부(905), 음성 신호 처리부(907), 외부 인터페이스부(909) 등과 제어부(910)를 접속하기 위하여 버스(912)가 설정되어 있다.
이렇게 구성된 텔레비전 장치에서는, 디멀티플렉서(903) 및 디코더(904)에 본원의 복호 장치(복호 방법)의 기능이 설정된다. 이로 인해, 기존의 방식과의 호환성을 갖는 방식으로 다중화된 다시점의 화상을 분리할 수 있다.
<제12 실시 형태>
[휴대 전화기의 구성예]
도 101은, 본 기술을 적용한 휴대 전화기의 개략 구성을 예시하고 있다. 휴대 전화기(920)는, 통신부(922), 음성 코덱(923), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930), 제어부(931)를 갖고 있다. 이들은, 버스(933)를 통하여 서로 접속되어 있다.
또한, 통신부(922)에는 안테나(921)가 접속되어 있고, 음성 코덱(923)에는, 스피커(924)와 마이크로폰(925)이 접속되어 있다. 또한 제어부(931)에는, 조작부(932)가 접속되어 있다.
휴대 전화기(920)는, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영 또는 데이터 기록 등의 각종 동작을 행한다.
음성 통화 모드에서, 마이크로폰(925)에 의해 생성된 음성 신호는, 음성 코덱(923)에 의해 음성 데이터로의 변환이나 데이터 압축이 행해져 통신부(922)에 공급된다. 통신부(922)는, 음성 데이터의 변조 처리나 주파수 변환 처리 등을 행하여, 송신 신호를 생성한다. 또한, 통신부(922)는, 송신 신호를 안테나(921)에 공급하여 도시하지 않은 기지국에 송신한다. 또한, 통신부(922)는, 안테나(921)로 수신한 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하여, 얻어진 음성 데이터를 음성 코덱(923)에 공급한다. 음성 코덱(923)는, 음성 데이터의 데이터 신장이나 아날로그 음성 신호로의 변환을 행하여 스피커(924)에 출력한다.
또한, 데이터 통신 모드에서, 메일 송신을 행하는 경우, 제어부(931)는, 조작부(932)의 조작에 의해 입력된 문자 데이터를 접수하여, 입력된 문자를 표시부(930)에 표시한다. 또한, 제어부(931)는, 조작부(932)에 있어서의 유저 지시 등에 기초하여 메일 데이터를 생성하여 통신부(922)에 공급한다. 통신부(922)는, 메일 데이터의 변조 처리나 주파수 변환 처리 등을 행하여, 얻어진 송신 신호를 안테나(921)로부터 송신한다. 또한, 통신부(922)는, 안테나(921)로 수신한 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하여, 메일 데이터를 복원한다. 이 메일 데이터를, 표시부(930)에 공급하여, 메일 내용의 표시를 행한다.
또한, 휴대 전화기(920)는, 수신한 메일 데이터를, 기록 재생부(929)에 의해 기억 매체에 기억시키는 것도 가능하다. 기억 매체는, 재기입 가능한 임의의 기억 매체이다. 예를 들어, 기억 매체는, RAM이나 내장형 플래시 메모리 등의 반도체 메모리, 하드 디스크, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리 또는 메모리 카드 등의 리무버블 미디어이다.
데이터 통신 모드에서 화상 데이터를 송신하는 경우, 카메라부(926)에 의해 생성된 화상 데이터를 화상 처리부(927)에 공급한다. 화상 처리부(927)는, 화상 데이터의 부호화 처리를 행하여, 부호화 데이터를 생성한다.
다중 분리부(928)는, 화상 처리부(927)에 의해 생성된 부호화 데이터와, 음성 코덱(923)으로부터 공급된 음성 데이터를 소정의 방식으로 다중화하여 통신부(922)에 공급한다. 통신부(922)는, 다중화 데이터의 변조 처리나 주파수 변환 처리 등을 행하여, 얻어진 송신 신호를 안테나(921)로부터 송신한다. 또한, 통신부(922)는, 안테나(921)로 수신한 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하여, 다중화 데이터를 복원한다. 이 다중화 데이터를 다중 분리부(928)에 공급한다. 다중 분리부(928)는, 다중화 데이터의 분리를 행하여, 부호화 데이터를 화상 처리부(927), 음성 데이터를 음성 코덱(923)에 공급한다. 화상 처리부(927)는, 부호화 데이터의 복호화 처리를 행하여, 화상 데이터를 생성한다. 이 화상 데이터를 표시부(930)에 공급하여, 수신한 화상의 표시를 행한다. 음성 코덱(923)은, 음성 데이터를 아날로그 음성 신호로 변환하고 스피커(924)에 공급하여, 수신한 음성을 출력한다.
이렇게 구성된 휴대 전화 장치에서는, 화상 처리부(927) 및 다중 분리부(928)에 본원의 복호 장치(복호 방법)의 기능이 설정된다. 이로 인해, 화상 데이터의 통신에 있어서, 기존의 방식과의 호환성을 갖는 방식으로 다중화된 다시점의 화상을 분리할 수 있다.
<제13 실시 형태>
[기록 재생 장치의 구성예]
도 102는 본 기술을 적용한 기록 재생 장치의 개략 구성을 예시하고 있다. 기록 재생 장치(940)는, 예를 들어 수신한 방송 프로그램의 오디오 데이터와 비디오 데이터를, 기록 매체에 기록하여, 그 기록된 데이터를 유저의 지시에 따른 타이밍에 유저에게 제공한다. 또한, 기록 재생 장치(940)는, 예를 들어 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하여, 그들을 기록 매체에 기록시킬 수도 있다. 또한, 기록 재생 장치(940)는, 기록 매체에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호하여 출력함으로써, 모니터 장치 등에 있어서 화상 표시나 음성 출력을 행할 수 있도록 한다.
기록 재생 장치(940)는, 튜너(941), 외부 인터페이스부(942), 인코더(943), HDD(Hard Disk Drive)부(944), 디스크 드라이브(945), 셀렉터(946), 디코더(947), OSD(On-Screen Display)부(948), 제어부(949), 유저 인터페이스부(950)를 갖고 있다.
튜너(941)는, 도시하지 않은 안테나로 수신된 방송 신호로부터 원하는 채널을 선국한다. 튜너(941)는, 원하는 채널의 수신 신호를 복조하여 얻어진 부호화 비트 스트림을 셀렉터(946)에 출력한다.
외부 인터페이스부(942)는, IEEE1394 인터페이스, 네트워크 인터페이스부, USB 인터페이스, 플래시 메모리 인터페이스 등의 적어도 어느 하나로 구성되어 있다. 외부 인터페이스부(942)는, 외부 기기나 네트워크, 메모리 카드 등과 접속하기 위한 인터페이스이며, 기록하는 영상 데이터나 음성 데이터 등의 데이터 수신을 행한다.
인코더(943)는, 외부 인터페이스부(942)로부터 공급된 영상 데이터나 음성 데이터가 부호화되어 있지 않을 때 소정의 방식으로 부호화를 행하여, 부호화 비트 스트림을 다중화하여 셀렉터(946)에 출력한다.
HDD부(944)는, 영상이나 음성 등의 콘텐츠 데이터, 각종 프로그램이나 그 밖의 데이터 등을 내장의 하드 디스크에 기록하고, 또한 재생 시 등에 그들을 당해 하드 디스크로부터 판독한다.
디스크 드라이브(945)는, 장착되어 있는 광 디스크에 대한 신호의 기록 및 재생을 행한다. 광 디스크, 예를 들어 DVD 디스크(DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW 등)나 Blu-ray 디스크 등이다.
셀렉터(946)는, 영상이나 음성의 기록 시에는, 튜너(941) 또는 인코더(943)로부터의 어느 한 부호화 비트 스트림을 선택하여, HDD부(944)나 디스크 드라이브(945) 중 어느 하나에 공급한다. 또한, 셀렉터(946)는, 영상이나 음성의 재생 시에, HDD부(944) 또는 디스크 드라이브(945)로부터 출력된 부호화 비트 스트림을 디코더(947)에 공급한다.
디코더(947)는, 부호화 비트 스트림의 복호화 처리를 행한다. 디코더(947)는, 복호 처리화를 행함으로써 생성된 영상 데이터를 OSD부(948)에 공급한다. 또한, 디코더(947)는, 복호 처리화를 행함으로써 생성된 음성 데이터를 출력한다.
OSD부(948)는, 항목의 선택 등의 메뉴 화면 등을 표시하기 위한 영상 데이터를 생성하고, 그것을 디코더(947)로부터 출력된 영상 데이터에 중첩하여 출력한다.
제어부(949)에는, 유저 인터페이스부(950)가 접속되어 있다. 유저 인터페이스부(950)는, 조작 스위치나 리모트 컨트롤 신호 수신부 등으로 구성되어 있고, 유저 조작에 따른 조작 신호를 제어부(949)에 공급한다.
제어부(949)는, CPU나 메모리 등을 사용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터를 기억한다. 메모리에 기억되어 있는 프로그램은, 기록 재생 장치(940)의 기동시 등의 소정 타이밍에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 기록 재생 장치(940)가 유저 조작에 따른 동작으로 되도록 각 부를 제어한다.
이렇게 구성된 기록 재생 장치에서는, 인코더(943)에 본원의 부호화 장치(부호화 방법)의 기능이 설정된다. 이로 인해, 다시점의 화상에 대하여, 기존의 방식과의 호환성을 갖는 방식으로 다중화를 행할 수 있다.
<제14 실시 형태>
[촬상 장치의 구성예]
도 103은 본 기술을 적용한 촬상 장치의 개략 구성을 예시하고 있다. 촬상 장치(960)는, 피사체를 촬상하여, 피사체의 화상을 표시부에 표시시키거나, 그것을 화상 데이터로서, 기록 매체에 기록한다.
촬상 장치(960)는, 광학 블록(961), 촬상부(962), 카메라 신호 처리부(963), 화상 데이터 처리부(964), 표시부(965), 외부 인터페이스부(966), 메모리부(967), 미디어 드라이브(968), OSD부(969), 제어부(970)를 갖고 있다. 또한, 제어부(970)에는, 유저 인터페이스부(971)가 접속되어 있다. 또한, 화상 데이터 처리부(964)나 외부 인터페이스부(966), 메모리부(967), 미디어 드라이브(968), OSD부(969), 제어부(970) 등은, 버스(972)를 통하여 접속되어 있다.
광학 블록(961)은, 포커스 렌즈나 조리개 기구 등을 사용하여 구성되어 있다. 광학 블록(961)은, 피사체의 광학상을 촬상부(962)의 촬상면에 결상시킨다. 촬상부(962)는, CCD 또는 CMOS 이미지 센서를 사용하여 구성되어 있고, 광전 변환에 의해 광학상에 따른 전기 신호를 생성하여 카메라 신호 처리부(963)에 공급한다.
카메라 신호 처리부(963)는, 촬상부(962)로부터 공급된 전기 신호에 대하여 니(Knee) 보정이나 감마 보정, 색보정 등의 다양한 카메라 신호 처리를 행한다. 카메라 신호 처리부(963)는, 카메라 신호 처리 후의 화상 데이터를 화상 데이터 처리부(964)에 공급한다.
화상 데이터 처리부(964)는, 카메라 신호 처리부(963)로부터 공급된 화상 데이터의 부호화 처리 및 다중화 처리를 행한다. 화상 데이터 처리부(964)는, 부호화 처리 및 다중화 처리를 행함으로써 생성된 부호화 데이터를 외부 인터페이스부(966)나 미디어 드라이브(968)에 공급한다. 또한, 화상 데이터 처리부(964)는, 외부 인터페이스부(966)나 미디어 드라이브(968)로부터 공급된 부호화 데이터의 분리 처리 및 복호화 처리를 행한다. 화상 데이터 처리부(964)는, 분리 처리 및 복호화 처리를 행함으로써 생성된 화상 데이터를 표시부(965)에 공급한다. 또한, 화상 데이터 처리부(964)는, 카메라 신호 처리부(963)로부터 공급된 화상 데이터를 표시부(965)에 공급하는 처리나, OSD부(969)로부터 취득한 표시용 데이터를, 화상 데이터에 중첩시켜 표시부(965)에 공급한다.
OSD부(969)는, 기호, 문자 또는 도형을 포함하여 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를 생성하여 화상 데이터 처리부(964)에 출력한다.
외부 인터페이스부(966)는, 예를 들어 USB 입출력 단자 등으로 구성되고, 화상의 인쇄를 행하는 경우에, 프린터와 접속된다. 또한, 외부 인터페이스부(966)에는, 필요에 따라 드라이브가 접속되고, 자기 디스크, 광 디스크 등의 리무버블 미디어가 적절히 장착되어, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라, 인스톨된다. 또한, 외부 인터페이스부(966)는, LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 제어부(970)는, 예를 들어 유저 인터페이스부(971)로부터의 지시에 따라, 메모리부(967)로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스부(966)로부터, 네트워크를 통하여 접속되는 다른 장치에 공급시킬 수 있다. 또한, 제어부(970)는, 네트워크를 통하여 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를, 외부 인터페이스부(966)를 통하여 취득하여, 그것을 화상 데이터 처리부(964)에 공급하거나 할 수 있다.
미디어 드라이브(968)에 의해 구동되는 기록 미디어로서는, 예를 들어 자기 디스크, 광자기 디스크, 광 디스크 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어가 사용된다. 또한, 기록 미디어는, 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 좋고, 디스크이어도 좋고, 메모리 카드이어도 좋다. 물론, 비접촉 IC 카드 등이어도 좋다.
또한, 미디어 드라이브(968)와 기록 미디어를 일체화하고, 예를 들어 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 해도 좋다.
제어부(970)는, CPU나 메모리 등을 사용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터 등을 기억한다. 메모리에 기억되어 있는 프로그램은, 촬상 장치(960)의 기동 시 등의 소정 타이밍에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 촬상 장치(960)가 유저 조작에 따른 동작으로 되도록 각 부를 제어한다.
이렇게 구성된 촬상 장치에서는, 화상 데이터 처리부(964)에 본원의 복호 장치(복호 방법)의 기능이 설정된다. 이로 인해, 메모리부(967)나 기록 미디어 등에 기록된 부호화 데이터를 복호화하여 복호 화상 데이터를 생성할 때, 기존의 방식과의 호환성을 갖는 방식으로 다중화된 다시점의 화상을 분리할 수 있다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니라, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
50: 부호화 장치
59: 다중화부
61: 호환용 인코더
62: 보조용 인코더
120: 복호 장치
121: 분리부
127: 화상 생성부
131: 호환용 디코더
132: 보조용 디코더
140: 부호화 장치
151: 호환용 인코더
152: 보조용 인코더
170: 복호 장치
171: 화상 생성부
180: 부호화 장치
191: 호환용 인코더
200: 복호 장치
202: 화상 생성부
211: 호환용 디코더

Claims (30)

  1. 다시점의 화상으로부터 호환 화상을 지정하고, 지정한 상기 호환 화상을 액세스 유닛 단위로 부호화하여, 제1 부호화 스트림을 생성하는 호환 화상 부호화부와,
    상기 호환 화상으로부터 다시점 화상을 생성할 때에 사용하는 보조 화상을 액세스 유닛 단위로 부호화하여, 제2 부호화 스트림을 생성하는 보조 화상 부호화부와,
    유닛의 경계를 나타내는 경계 정보를 설정하는 설정부와,
    상기 호환 화상 부호화부에 의해 생성된 상기 제1 부호화 스트림과, 상기 설정부에 의해 설정된 상기 경계 정보와, 상기 보조 화상 부호화부에 의해 부호화된 상기 제2 부호화 스트림을 전송하는 전송부를 구비하는, 부호화 장치.
  2. 제1항에 있어서,
    상기 전송부는, 상기 설정부에 의해 설정된 상기 경계 정보를, 상기 제2 부호화 스트림에 부가하는, 부호화 장치.
  3. 제2항에 있어서,
    상기 전송부는, 상기 설정부에 의해 설정된 상기 경계 정보를, 상기 제2 부호화 스트림의 액세스 유닛의 선두에 부가하는, 부호화 장치.
  4. 제3항에 있어서,
    상기 호환 화상이 2시점의 화상인 경우, 상기 제1 부호화 스트림은, 부호화된 상기 호환 화상 중 한쪽 시점의 화상을 포함하여 이루어지고, 상기 제2 부호화 스트림은, 다른 쪽 시점의 화상과 부호화된 상기 보조 화상을 포함하여 이루어지는, 부호화 장치.
  5. 제1항에 있어서,
    상기 호환 화상과 상기 보조 화상으로부터 상기 다시점 화상을 생성할 때에 사용하는 보조 정보를 부호화하여, 제3 부호화 스트림을 생성하는 보조 정보 부호화부를 더 구비하고,
    상기 설정부는, 상기 보조 정보를 설정하고,
    상기 전송부는, 상기 보조 정보 부호화부에 의해 생성된 상기 제3 부호화 스트림을 전송하는, 부호화 장치.
  6. 제5항에 있어서,
    상기 전송부는, 상기 설정부에 의해 설정된 상기 경계 정보를, 상기 제3 부호화 스트림에 부가하는, 부호화 장치.
  7. 제6항에 있어서,
    상기 전송부는, 상기 설정부에 의해 설정된 상기 경계 정보를, 상기 제3 부호화 스트림의 액세스 유닛의 선두에 부가하는, 부호화 장치.
  8. 제1항에 있어서,
    상기 호환 화상의 시차를 나타내는 호환 시차 화상을 부호화하여 제1 시차 부호화 스트림을 생성하고, 상기 보조 화상의 시차를 나타내는 보조 시차 화상을 부호화하여 제2 시차 부호화 스트림을 생성하는 시차 부호화부를 더 구비하고,
    상기 전송부는, 상기 시차 부호화부에 의해 생성된 상기 제1 시차 부호화 스트림과 상기 제2 시차 부호화 스트림을 전송하는, 부호화 장치.
  9. 제8항에 있어서,
    상기 전송부는, 상기 제2 부호화 스트림과, 상기 제1 시차 부호화 스트림과, 상기 제2 시차 부호화 스트림을 각각 상기 유닛으로서 설정하고, 설정한 상기 유닛에 상기 경계 정보를 부가하는, 부호화 장치.
  10. 제8항에 있어서,
    상기 전송부는, 상기 제2 부호화 스트림과 상기 제1 시차 부호화 스트림과 상기 제2 시차 부호화 스트림을 통합하여 상기 유닛으로서 설정하고, 설정한 상기 유닛에 상기 경계 정보를 부가하는, 부호화 장치.
  11. 제8항에 있어서,
    상기 전송부는, 상기 제2 부호화 스트림과, 상기 제1 시차 부호화 스트림 및 상기 제2 시차 부호화 스트림을 각각 상기 유닛으로서 설정하고, 설정한 상기 유닛에 상기 경계 정보를 부가하는, 부호화 장치.
  12. 제8항에 있어서,
    상기 설정부는, 시차 화상인 것을 나타내는 시차 식별 정보를 설정하고,
    상기 전송부는, 상기 제1 시차 부호화 스트림과 상기 제2 시차 부호화 스트림에, 상기 설정부에 의해 설정된 상기 경계 정보와 상기 시차 식별 정보를 부가하는, 부호화 장치.
  13. 제12항에 있어서,
    상기 설정부는, 상기 호환 화상을 식별하는 호환 화상 식별 정보와 상기 보조 화상을 식별하는 보조 화상 식별 정보를 설정하고,
    상기 전송부는, 상기 제1 시차 부호화 스트림에 상기 호환 화상 식별 정보를 부가하고, 상기 제2 시차 부호화 스트림에 상기 보조 화상 식별 정보를 부가하는, 부호화 장치.
  14. 제12항에 있어서,
    상기 설정부는, 상기 시차 화상의 각 화소의 시차값이 정규화되어 있는 것을 나타내는 정규화 식별 정보를 설정하고,
    상기 전송부는, 상기 설정부에 의해 설정된 상기 정규화 식별 정보를 전송하는, 부호화 장치.
  15. 부호화 장치가,
    다시점의 화상으로부터 호환 화상을 지정하고, 지정한 상기 호환 화상을 액세스 유닛 단위로 부호화하여, 제1 부호화 스트림을 생성하는 호환 화상 부호화 스텝과,
    상기 호환 화상으로부터 다시점 화상을 생성할 때에 사용하는 보조 화상을 액세스 유닛 단위로 부호화하여, 제2 부호화 스트림을 생성하는 보조 화상 부호화 스텝과,
    유닛의 경계를 나타내는 경계 정보를 설정하는 설정 스텝과,
    상기 호환 화상 부호화 스텝의 처리에 의해 생성된 상기 제1 부호화 스트림과, 상기 설정 스텝의 처리에 의해 설정된 상기 경계 정보와, 상기 보조 화상 부호화 스텝의 처리에 의해 부호화된 상기 제2 부호화 스트림을 전송하는 전송 스텝을 포함하는, 부호화 방법.
  16. 다시점의 화상으로부터 지정된 호환 화상이 액세스 유닛 단위로 부호화된 결과 얻어지는 제1 부호화 스트림과, 유닛의 경계를 나타내는 경계 정보와, 상기 호환 화상으로부터 다시점 화상을 생성할 때에 사용하는 보조 화상이 액세스 유닛 단위로 부호화된 결과 얻어지는 제2 부호화 스트림을 수취하여, 상기 경계 정보에 기초하여, 상기 제1 부호화 스트림과 상기 제2 부호화 스트림을 분리하는 분리부와,
    상기 분리부에 의해 분리된 상기 제1 부호화 스트림을 복호하는 호환 화상 복호부와,
    상기 분리부에 의해 분리된 상기 제2 부호화 스트림을 복호하는 보조 화상 복호부를 구비하는, 복호 장치.
  17. 제16항에 있어서,
    상기 분리부는, 상기 제2 부호화 스트림에 부가된 상기 경계 정보를 수취하는, 복호 장치.
  18. 제17항에 있어서,
    상기 분리부는, 상기 제2 부호화 스트림의 액세스 유닛의 선두에 부가된 상기 경계 정보를 수취하는, 복호 장치.
  19. 제18항에 있어서,
    상기 호환 화상이 2시점의 화상인 경우, 상기 제1 부호화 스트림은, 부호화된 상기 호환 화상 중 한쪽 시점의 화상을 포함하여 이루어지고, 상기 제2 부호화 스트림은, 다른 쪽 시점의 화상과 부호화된 상기 보조 화상을 포함하여 이루어지는, 복호 장치.
  20. 제16항에 있어서,
    상기 분리부는, 상기 호환 화상과 상기 보조 화상으로부터 상기 다시점 화상을 생성할 때에 사용하는 보조 정보가 부호화된 결과 얻어지는 제3 부호화 스트림을 수취하여, 상기 경계 정보에 기초하여, 상기 제1 부호화 스트림, 상기 제2 부호화 스트림 및 상기 제3 부호화 스트림을 분리하는, 복호 장치.
  21. 제20항에 있어서,
    상기 분리부는, 상기 제3 부호화 스트림에 부가된 상기 경계 정보를 수취하는, 복호 장치.
  22. 제21항에 있어서,
    상기 분리부는, 상기 제3 부호화 스트림의 액세스 유닛의 선두에 부가된 상기 경계 정보를 수취하는, 복호 장치.
  23. 제16항에 있어서,
    상기 분리부는, 상기 호환 화상의 시차를 나타내는 호환 시차 화상이 부호화된 결과 얻어지는 제1 시차 부호화 스트림과, 상기 보조 화상의 시차를 나타내는 보조 시차 화상이 부호화된 결과 얻어지는 제2 시차 부호화 스트림을 수취하는, 복호 장치.
  24. 제23항에 있어서,
    상기 분리부는, 상기 제2 부호화 스트림과, 상기 제1 시차 부호화 스트림과, 상기 제2 시차 부호화 스트림이 각각 상기 유닛으로서 설정되고, 설정된 상기 유닛에 부가된 상기 경계 정보를 수취하여, 상기 경계 정보에 기초하여, 상기 제1 부호화 스트림과, 상기 제2 부호화 스트림과, 상기 제1 시차 부호화 스트림과, 상기 제2 시차 부호화 스트림을 분리하는, 복호 장치.
  25. 제23항에 있어서,
    상기 분리부는, 상기 제2 부호화 스트림과 상기 제1 시차 부호화 스트림과 상기 제2 시차 부호화 스트림이 통합되어 상기 유닛으로서 설정되고, 설정된 상기 유닛에 부가된 상기 경계 정보를 수취하여, 상기 경계 정보에 기초하여, 상기 제1 부호화 스트림과, 상기 제2 부호화 스트림, 상기 제1 시차 부호화 스트림 및 상기 제2 시차 부호화 스트림을 분리하는, 복호 장치.
  26. 제23항에 있어서,
    상기 분리부는, 상기 제2 부호화 스트림과, 상기 제1 시차 부호화 스트림 및 상기 제2 시차 부호화 스트림이 각각 상기 유닛으로서 설정되고, 설정된 상기 유닛에 부가된 상기 경계 정보를 수취하여, 상기 경계 정보에 기초하여, 상기 제1 부호화 스트림과, 상기 제2 부호화 스트림과, 상기 제1 시차 부호화 스트림 및 상기 제2 시차 부호화 스트림을 분리하는, 복호 장치.
  27. 제23항에 있어서,
    상기 분리부는, 시차 화상인 것을 나타내는 시차 식별 정보가 부가된 상기 제1 시차 부호화 스트림과 상기 제2 시차 부호화 스트림을 수취하는, 복호 장치.
  28. 제27항에 있어서,
    상기 분리부는, 상기 호환 화상을 식별하는 호환 화상 식별 정보가 부가된 상기 제1 시차 부호화 스트림과 상기 보조 화상을 식별하는 보조 화상 식별 정보가 부가된 상기 제2 시차 부호화 스트림을 수취하는, 복호 장치.
  29. 제27항에 있어서,
    상기 분리부는, 상기 시차 화상의 각 화소의 시차값이 정규화되어 있는 것을 나타내는 정규화 식별 정보를 수취하는, 복호 장치.
  30. 복호 장치가,
    다시점의 화상으로부터 지정된 호환 화상이 액세스 유닛 단위로 부호화된 결과 얻어지는 제1 부호화 스트림과, 유닛의 경계를 나타내는 경계 정보와, 상기 호환 화상으로부터 다시점 화상을 생성할 때에 사용하는 보조 화상이 액세스 유닛 단위로 부호화된 결과 얻어지는 제2 부호화 스트림을 수취하여, 상기 경계 정보에 기초하여, 상기 제1 부호화 스트림과 상기 제2 부호화 스트림을 분리하는 분리 스텝과,
    상기 분리 스텝의 처리에 의해 분리된 상기 제1 부호화 스트림을 복호하는 호환 화상 복호 스텝과,
    상기 분리 스텝의 처리에 의해 분리된 상기 제2 부호화 스트림을 복호하는 보조 화상 복호 스텝을 구비하는, 복호 장치.
KR1020137004236A 2010-09-03 2011-08-31 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법 KR20130105814A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010198351 2010-09-03
JPJP-P-2010-198351 2010-09-03
JPJP-P-2011-131679 2011-06-13
JP2011131679 2011-06-13
PCT/JP2011/069841 WO2012029884A1 (ja) 2010-09-03 2011-08-31 符号化装置および符号化方法、並びに復号装置および復号方法

Publications (1)

Publication Number Publication Date
KR20130105814A true KR20130105814A (ko) 2013-09-26

Family

ID=45772961

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137004236A KR20130105814A (ko) 2010-09-03 2011-08-31 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법

Country Status (11)

Country Link
US (1) US9667941B2 (ko)
EP (1) EP2613531A4 (ko)
JP (2) JPWO2012029884A1 (ko)
KR (1) KR20130105814A (ko)
CN (3) CN105979240B (ko)
AU (2) AU2011296954B2 (ko)
BR (1) BR112013004450A2 (ko)
CA (1) CA2806857A1 (ko)
MX (1) MX338309B (ko)
RU (1) RU2013108079A (ko)
WO (1) WO2012029884A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2806846A1 (en) * 2010-09-03 2012-03-08 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
CN103210653B (zh) * 2010-11-15 2016-08-31 Lg电子株式会社 用于转换帧格式的方法及使用该方法的装置
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
CN111182311A (zh) * 2012-04-25 2020-05-19 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
JP6150277B2 (ja) * 2013-01-07 2017-06-21 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
US9992528B2 (en) 2013-06-10 2018-06-05 Ani-View Ltd. System and methods thereof for displaying video content
WO2014199367A1 (en) * 2013-06-10 2014-12-18 Ani-View Ltd. A system and methods thereof for generating images streams respective of a video content
JP6253380B2 (ja) * 2013-12-11 2017-12-27 キヤノン株式会社 画像処理方法、画像処理装置および撮像装置
GB2524726B (en) * 2014-03-25 2018-05-23 Canon Kk Image data encapsulation with tile support
KR20170075349A (ko) * 2015-12-23 2017-07-03 한국전자통신연구원 멀티 뷰를 가진 다중영상 송수신 장치 및 다중영상 다중화 방법
CN114070950B (zh) * 2020-07-30 2024-05-17 北京市商汤科技开发有限公司 图像处理方法及相关装置、设备
CN117135358A (zh) * 2022-05-20 2023-11-28 海思技术有限公司 视频编码方法、视频解码方法及相关装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100742674B1 (ko) * 2002-06-28 2007-07-25 샤프 가부시키가이샤 화상데이터 전송시스템, 그의 화상데이터 송신장치, 및그의 화상데이터 수신장치
JP4679804B2 (ja) * 2003-04-17 2011-05-11 シャープ株式会社 画像ファイル作成装置
JP4490074B2 (ja) * 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP2006140618A (ja) * 2004-11-10 2006-06-01 Victor Co Of Japan Ltd ３次元映像情報記録装置及びプログラム
JP4665166B2 (ja) * 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
CA2623297C (en) * 2005-09-20 2011-11-01 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8306112B2 (en) 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
KR101362941B1 (ko) * 2006-11-01 2014-02-17 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
US8488677B2 (en) 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
TW200910975A (en) * 2007-06-25 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
WO2009051719A2 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for video encoding and decoding geometically partitioned super blocks
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
EP2235957A1 (en) 2007-12-20 2010-10-06 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
JP5147546B2 (ja) 2008-05-30 2013-02-20 キヤノン株式会社 映像符号化装置及び映像復号化装置
WO2010043773A1 (en) 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
JP2010157826A (ja) 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像復号装置、画像符復号方法およびそのプログラム
US12120326B2 (en) * 2009-02-19 2024-10-15 Interdigital Madison Patent Holdings Method and apparatus for encoding and decoding 3D video content
WO2010095410A1 (ja) 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
JPWO2010098134A1 (ja) * 2009-02-27 2012-08-30 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP4984184B2 (ja) 2009-04-08 2012-07-25 ソニー株式会社 再生装置および再生方法
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US9025933B2 (en) 2010-02-12 2015-05-05 Sony Corporation Information processing device, information processing method, playback device, playback method, program and recording medium
CN101783951B (zh) * 2010-03-02 2012-01-04 西安交通大学 基于人类视觉系统的视频编码帧间预测模式快速确定方法
CN101783957B (zh) * 2010-03-12 2012-04-18 清华大学 一种视频预测编码方法和装置

Also Published As

Publication number Publication date
CN103098465A (zh) 2013-05-08
AU2011296954B2 (en) 2016-02-11
US20130169751A1 (en) 2013-07-04
MX2013002138A (es) 2013-04-03
MX338309B (es) 2016-04-12
CN103098465B (zh) 2016-08-03
JP2016015767A (ja) 2016-01-28
RU2013108079A (ru) 2014-10-20
CN105939469A (zh) 2016-09-14
CA2806857A1 (en) 2012-03-08
EP2613531A1 (en) 2013-07-10
AU2011296954A1 (en) 2013-02-14
JPWO2012029884A1 (ja) 2013-10-31
EP2613531A4 (en) 2014-08-06
AU2016202169A1 (en) 2016-04-28
US9667941B2 (en) 2017-05-30
CN105979240A (zh) 2016-09-28
WO2012029884A1 (ja) 2012-03-08
CN105979240B (zh) 2018-06-05
BR112013004450A2 (pt) 2017-05-30

Similar Documents

Publication Publication Date Title
KR20130105814A (ko) 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법
JP6365635B2 (ja) 画像処理装置および画像処理方法
US9338430B2 (en) Encoding device, encoding method, decoding device, and decoding method
WO2012070500A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2012111757A1 (ja) 画像処理装置および画像処理方法
WO2012128069A1 (ja) 画像処理装置および画像処理方法
JP6206559B2 (ja) 復号装置、復号方法、プログラム、および記録媒体
WO2012029885A1 (ja) 画像処理装置および方法
WO2012029883A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid