JPWO2012029885A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JPWO2012029885A1
JPWO2012029885A1 JP2012531952A JP2012531952A JPWO2012029885A1 JP WO2012029885 A1 JPWO2012029885 A1 JP WO2012029885A1 JP 2012531952 A JP2012531952 A JP 2012531952A JP 2012531952 A JP2012531952 A JP 2012531952A JP WO2012029885 A1 JPWO2012029885 A1 JP WO2012029885A1
Authority
JP
Japan
Prior art keywords
image
information
unit
parallax
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2012531952A
Other languages
English (en)
Inventor
しのぶ 服部
しのぶ 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2012029885A1 publication Critical patent/JPWO2012029885A1/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G09G5/008—Clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本発明は、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができるようにする画像処理装置および方法に関する。再生装置のモード判定部は、多視点の画像を生成する際に用いる３D画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードを判定し、３Ｄ情報生成部は、判定された互換モードを示す互換情報を３Ｄ情報として生成する。通信部は、その３Ｄ画像データと３D情報を表示装置に送信する。表示装置の通信部は、再生装置から伝送された３Ｄ画像データを受信するとともに、互換情報を３D情報として受信し、モード判定部は、３Ｄ情報により３Ｄ画像データの互換モードを判定する。同期制御部は、判定された互換モードに基づいて、３Ｄ画像データに対する処理の同期を制御する。本技術は、例えば、画像処理装置に適用することができる。

Description

本技術は画像処理装置および方法に関し、特に、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができるようにした画像処理装置および方法に関する。
従来、映像コンテンツとして、視差を利用して立体視を可能とする３Ｄ（3 Dimensions）画像が普及しつつある。
この３Ｄ画像の視聴方式として、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下において、２視点方式と称する）が一般的である。
立体視可能な３Ｄの画像データ、すなわち、複数の視点の画像データの符号化と復号の方法については、例えば、特許文献１に記載されている。
近年、３Ｄ画像の１つとして、立体視用のメガネを装着せずに立体視可能な視聴方式（以下において、多視点方式と称する）の需要が高まっている。多視点方式の場合、３Ｄ画像を表示する際、多視点の画像が生成されて表示される。視聴者には、立体視用のメガネを装着しなくても、その位置（視点）に応じた画像が提供されることになる。
特開２００８−１８２６６９号公報
このような３Ｄ画像も、他の画像と同様に、機器間で伝送することが想定される。例えばブルーレイプレーヤ（再生装置）等からデジタルテレビジョンモニタ（表示装置）等に３Ｄ画像を非圧縮で伝送する方法が考えられる。
しかしながら、従来においては、２視点方式の３Ｄ画像しかその伝送方法は考えられておらず、多視点方式の３Ｄ画像を伝送する方法は考えられていなかった。
そのため、このような多視点方式の３Ｄ画像を、従来の２視点方式の３Ｄ画像の伝送方法で伝送すると、正しく伝送することができない。
本技術は、このような状況に鑑みてなされたものであり、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができるようにすることを目的とする。
本技術の一側面は、多視点の画像を生成する際に用いる立体視用画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードを判定するモード判定部と、前記モード判定部により判定された前記互換モードを示す互換情報を３Ｄ情報として生成する生成部と、前記立体視用画像データと前記生成部により生成された前記３Ｄ情報を、前記立体視用画像データの送信先に送信する送信部とを備える画像処理装置である。
前記生成部は、前記立体視用画像データのフォーマットを示すフォーマット情報を前記３Ｄ情報として生成することができる。
前記生成部は、前記立体視用画像データのうちの画像データの多重化方式を示す画像多重化情報と、前記立体視用画像データのうちの視差画像データの多重化方式を示す視差画像多重化情報とを前記３Ｄ情報として生成することができる。
前記生成部は、前記立体視用画像データのうちの画像データの多重化パターン、または、前記立体視用画像データのうちの視差画像データの多重化パターンを識別する識別情報を前記３Ｄ情報として生成することができる。
前記送信部は、前記３Ｄ情報を、ＨＤＭＩ（High Definition Multimedia Interface）規格のＶＳＩＦＰＣ（Vendor Specific InfoFrame Packet Contents）に記述して送信することができる。
前記送信部は、前記３Ｄ情報を、ＶＳＩＦＰＣの３Ｄ画像データに関する情報を記述する領域の空き領域に記述して送信することができる。
前記互換モードは、既存の２次元画像データとの互換性を示すモノコンパチブルモード、既存のフレームパッキングの３Ｄ画像データとの互換性を示すフレームパッキングコンパチブルモード、並びに、既存のステレオスコピックの３Ｄ画像データとの互換性を示すステレオスコピックコンパチブルモードを含むことができる。
前記送信部は、前記立体視用画像データの１フレーム分のデータを、垂直同期信号複数周期分のアクティブビデオ区間を用いて送信することができる。
前記垂直同期信号の各周期を不等間隔に設定する間隔設定部をさらに備え、前記送信部は、前記立体視用画像データの１フレーム分のデータを、前記間隔設定部により設定された周期のアクティブビデオ区間を用いて送信することができる。
前記立体視用画像データの送信先のデバイスから、前記デバイスの処理能力を示す能力情報を取得する能力情報取得部と、前記能力情報取得部により取得された前記能力情報が示す前記デバイスの処理能力に基づいて、前記立体視用画像データの同期方法を設定する同期設定部とをさらに備え、前記生成部は、前記同期設定部により設定された同期方法を示す同期情報を前記３Ｄ情報として生成することができる。
本技術の一側面は、また、画像処理装置の画像処理方法であって、モード判定部が、多視点の画像を生成する際に用いる立体視用画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードを判定し、生成部が、前記モード判定部により判定された前記互換モードを示す互換情報を３Ｄ情報として生成し、送信部が、前記立体視用画像データと前記生成部により生成された前記３Ｄ情報を、前記立体視用画像データの送信先に送信する画像処理方法である。
本技術の他の側面は、多視点の画像を生成する際に用いる立体視用画像データを受信するとともに、前記立体視用画像データのフォーマットの画像データのフォーマットとの互換性を示す互換モードを３Ｄ情報として受信する受信部と、前記受信部により受信された前記３Ｄ情報に基づいて、前記受信部により受信される前記立体視用画像データの前記互換モードを判定するモード判定部と、前記モード判定部により判定された前記互換モードに基づいて、前記受信部により受信される前記立体視用画像データに対する処理の同期を制御する同期制御部とを備える画像処理装置である。
前記受信部は、前記立体視用画像データのフォーマットを示すフォーマット情報を前記３Ｄ情報として受信することができる。
前記受信部は、前記立体視用画像データのうちの画像データの多重化方式を示す画像多重化情報と、前記立体視用画像データのうちの視差画像データの多重化方式を示す視差画像多重化情報とを前記３Ｄ情報として生成することができる。
前記受信部は、前記立体視用画像データのうちの画像データの多重化パターン、または、前記立体視用画像データのうちの視差画像データの多重化パターンを識別する識別情報を前記３Ｄ情報として受信することができる。
前記受信部は、ＨＤＭＩ（High Definition Multimedia Interface）規格のＶＳＩＦＰＣ（Vendor Specific InfoFrame Packet Contents）に記述して送信されてくる前記３Ｄ情報を受信することができる。
前記受信部は、ＶＳＩＦＰＣの３Ｄ画像データに関する情報を記述する領域の空き領域に記述して送信されてくる前記３Ｄ情報を受信することができる。
前記互換モードは、既存の２次元画像データとの互換性を示すモノコンパチブルモード、既存のフレームパッキングの３Ｄ画像データとの互換性を示すフレームパッキングコンパチブルモード、並びに、既存のステレオスコピックの３Ｄ画像データとの互換性を示すステレオスコピックコンパチブルモードを含むことができる。
前記受信部は、垂直同期信号複数周期分のアクティブビデオ区間を用いて送信された前記立体視用画像データの１フレーム分のデータを受信することができる。
前記受信部は、前記垂直同期信号の各周期が不等間隔である複数周期分のアクティブビデオ区間を用いて送信された前記立体視用画像データの１フレーム分のデータを受信することができる。
前記立体視用画像データの送信元のデバイスに、前記画像処理装置自身の処理能力を示す能力情報を提供する能力情報提供部をさらに備えることができる。
本技術の他の側面は、また、画像処理装置の画像処理方法であって、受信部が、多視点の画像を生成する際に用いる立体視用画像データを受信するとともに、前記立体視用画像データのフォーマットの画像データのフォーマットとの互換性を示す互換モードを３Ｄ情報として受信し、モード判定部が、前記受信部により受信された前記３Ｄ情報に基づいて、前記受信部により受信される前記立体視用画像データの前記互換モードを判定し、同期制御部が、前記モード判定部により判定された前記互換モードに基づいて、前記受信部により受信される前記立体視用画像データに対する処理の同期を制御する画像処理方法である。
本技術の一側面においては、多視点の画像を生成する際に用いる立体視用画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードが判定され、前記互換モードを示す互換情報が３Ｄ情報として生成され、前記立体視用画像データと前記３Ｄ情報が、前記立体視用画像データの送信先に送信される。
本技術の他の側面においては、多視点の画像を生成する際に用いる立体視用画像データを受信するとともに、前記立体視用画像データのフォーマットの画像データのフォーマットとの互換性を示す互換モードが３Ｄ情報として受信され、受信された前記３Ｄ情報に基づいて、前記立体視用画像データの前記互換モードが判定され、前記互換モードに基づいて、前記立体視用画像データに対する処理の同期が制御される。
本技術によれば、通信を行うことができる。特に、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
３Ｄ画像システムの符号化装置の主な構成例を示すブロック図である。 ３Ｄ画像システムの、図１の符号化装置に対応する復号装置の主な構成例を示すブロック図である。 ３Ｄ画像システムの符号化装置の他の構成例を示すブロック図である。 ３Ｄ画像システムの、図３の符号化装置に対応する復号装置の主な構成例を示すブロック図である。 ３Ｄ画像システムの符号化装置の、さらに他の構成例を示すブロック図である。 ３Ｄ画像システムの、図５の符号化装置に対応する復号装置の主な構成例を示すブロック図である。 本技術を適用した伝送システムの主な構成例を示すブロック図である。 図７の再生装置の主な構成例を示すブロック図である。 図７の表示装置の主な構成例を示すブロック図である。 HDMI伝送系の主な構成例を示すブロック図である。 Vendor Specific infoFrame Packet Contentsの構成例を示す図である。 3D_Structureの拡張例を説明する図である。 従来の画像の伝送例を説明する図である。 本技術を適用した画像伝送の例を説明する図である。 本技術を適用した画像伝送の他の例を説明する図である。 本技術を適用した画像伝送のさらに他の例を説明する図である。 本技術を適用した画像伝送のさらに他の例を説明する図である。 本技術を適用した画像伝送のさらに他の例を説明する図である。 本技術を適用した画像伝送のさらに他の例を説明する図である。 本技術を適用した画像伝送のさらに他の例を説明する図である。 送信処理の流れの例を説明するフローチャートである。 受信処理の流れの例を説明するフローチャートである。 E-EDIDデータの構造例を示す図である。 Vendor-Specific Data Blockの構成例を示す図である。 3D_Structure_ALL_Xの拡張例を説明する図である。 3D_Structure_Xの拡張例を説明する図である。 図７の再生装置の他の構成例を示すブロック図である。 図７の表示装置の他の構成例を示すブロック図である。 送信処理の他の流れの例を説明するフローチャートである。 受信処理の他の流れの例を説明するフローチャートである。 ３Ｄ画像システムの符号化装置の他の構成例を示すブロック図である。 互換情報と視差画像情報の記述例を示す図である。 図３２の視差画像情報の詳細記述例を示す図である。 補助ストリーム内の互換情報と視差画像情報の記述例を示す図である。 図３４の視差画像情報の詳細記述例を示す図である。 図３１の符号化装置による符号化処理を説明するフローチャートである。 図３１の符号化装置による符号化処理を説明するフローチャートである。 図３１の符号化装置に対応する復号装置の構成例を示す図である。 図３８の復号装置による復号処理を説明するフローチャートである。 ３Ｄ画像システムの符号化装置の他の構成例を示すブロック図である。 図４０の符号化装置による符号化処理を説明するフローチャートである。 図４０の符号化装置による符号化処理を説明するフローチャートである。 図４０の符号化装置に対応する復号装置の構成例を示す図である。 図４３の復号装置による復号処理を説明するフローチャートである。 符号化対象の多重化パターンの例を示す図である。 多重化による効果の特徴を示す図である。 符号化対象の多重化パターンの他の例を示す図である。 符号化対象の多重化パターンのさらに他の例を示す図である。 ３Ｄ画像システムの符号化装置の他の構成例を示すブロック図である。 図４９の符号化装置による符号化処理を説明するフローチャートである。 図４９の符号化装置による符号化処理を説明するフローチャートである。 図４９の符号化装置に対応する復号装置の構成例を示す図である。 図５２の復号装置による復号処理を説明するフローチャートである。 ビットストリームの構成例を示す図である。 図５４の視差画像用の3DV方式のSubset SPSの記述例を示す図である。 図５５の視差画像用拡張情報の記述例を示す図である。 図５５の視差画像用VUI拡張情報の記述例を示す図である。 3DV方式の符号化データのNALヘッダの記述例を示す図である。 図５８の視差画像用ヘッダ拡張情報の記述例を示す図である。 図５４の3DV方式のSEIの記述例を示す図である。 ビットストリームの他の構成例を示す図である。 図６１の画像用の3DV方式のSubset SPSの記述例を示す図である。 3DV方式がHEVC方式に準じた方式である場合のビットストリームの構成例を示す図である。 図６３のSPSの記述例を示す図である。 図６４のSubset SPSの記述例を示す図である。 図６５のSubset SPSのVUI情報の記述例を示す図である。 図６３の3DV方式のSEIの記述例を示す図である。 本技術を適用したコンピュータの主な構成例を示すブロック図である。 本技術を適用したテレビジョン装置の概略構成を示す図である。 本技術を適用した携帯電話機の概略構成を示す図である。 本技術を適用した記録再生装置の概略構成を示す図である。 本技術を適用した撮像装置の概略構成を示す図である。
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。１．第１の実施の形態（伝送システム）２．第２の実施の形態（伝送システム）３．第３の実施の形態（伝送システム）４．第４の実施の形態（伝送システム）５．第５の実施の形態（伝送システム）６．本実施の形態におけるビットストリーム７．3DV方式がHEVC方式に準じた方式である場合のビットストリーム８．第６の実施の形態（コンピュータ）９．第７実施の形態（テレビジョン装置）１０．第８実施の形態（携帯電話機）１１．第９実施の形態（記録再生装置）１２．第１０実施の形態（撮像装置）
＜１．第１の実施の形態＞
［３Ｄ画像システムの例］
最初に、画像間の視差を利用して立体視を可能とする立体視画像（３Ｄ画像）を扱うシステムについて説明する。以下に説明する３Ｄ画像システムは、多視点の画像を生成し、表示する多視点方式の３Ｄ画像を扱うシステムである。この３Ｄ画像の場合、ユーザは、裸眼で（立体視用のメガネを用いずに）、画像を立体視することができる。
以下において、このような多視点の画像を生成し、表示する多視点方式の３Ｄ画像のフォーマットを3DVと称する。なお、ここでは、3DVは、AVC、MVC、後述するHEVC（High Efficiency Video Coding）等に準じたフォーマット（方式）であるものとする。
3DVフォーマットにおいては、多視点方式の３Ｄ画像データを伝送する際、送信側において３Ｄ画像データが符号化され、受信側においてその符号化データが復号される。また、3DVフォーマットは、従来の他の画像フォーマットとの互換性が確保されている。
つまり、3DVフォーマットにおいては、３Ｄ画像として構成される多視点の画像の中に、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像と、それ以外の画像が含まれる。以下においては、この既存の符号化方式で符号化される画像を互換画像と称し、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための、前記互換画像以外の画像を補助画像と称する。
以下に、そのデータ伝送の様子の例を説明する。
［符号化装置の構成例］
最初に、既存の２Ｄ画像との互換性を確保するようなフォーマット（Mono Compatible Mode）で３Ｄ画像を伝送する例について説明する。
図１は、３Ｄ画像システムの符号化装置の主な構成例を示すブロック図である。図１に示される符号化装置５０は、３Ｄ画像システムの送信側の装置であり、Mono Compatible Modeで３Ｄ画像を符号化する。
図１に示されるように、符号化装置５０において、撮影部５１Ａは、所定の視点のHD（High Definition）画像を画像Ａ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。撮影部５１Ｂは、撮影部５１Ａから距離Δｄ１ＡＢだけ水平方向に離れた位置で、画像Ａ１とは異なる視点のHD画像を画像Ｂ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。撮影部５１Ｃは、撮影部５１Ａから距離Δｄ１ＡＣだけ撮影部５１Ｂとは反対の水平方向に離れた位置で、画像Ａ１および画像Ｂ１とは異なる視点のHD画像を画像Ｃ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。
なお、以下において、画像Ｂ１と画像Ｃ１に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点であるものとする。これにより、符号化装置５０に対応する復号装置は、画像Ａ１乃至画像Ｃ１を用いて、画像Ｂ１および画像Ｃ１の視点より内側の視点の画像を補間（内挿）することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間（外挿）する場合に比べて、多視点の画像を高精度に生成することができる。
もちろん、符号化装置５０に対応する復号装置が、画像Ｂ１と画像Ｃ１より外側の視点の画像を補間（外挿）するようにしてもよい。また、距離Δｄ１ＡＢと距離Δｄ１ＡＣは、固定であってもよいし、時間ごとに変化するようにしてもよい。
画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される画像Ａ１を互換画像に決定する。画像変換部５２は、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給する。そして、画像変換部５２は、互換画像である画像Ａ１をそのままエンコーダ５８に供給する。
また、画像変換部５２は、画像Ａ１以外の画像Ｂ１および画像Ｃ１を補助画像とし、所定の多重化方式で多重化する。例えば、画像変換部５２は、図１に示されるように、画像Ｂ１および画像Ｃ１の水平方向の解像度を半減させ（以下、1/2解像度画像Ｂ１、および、1/2解像度画像Ｃ１と称する）、その解像度を半減させた画像Ｂ１および画像Ｃ１を水平方向に並べ、元の１フレームの画像サイズとなるようにする。このような多重化方式をサイドバイサイド（SBS（Side By Side））方式と称する。
画像変換部５２は、多重化の結果得られる多重化画像をエンコーダ５８に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
視差画像生成部５３(視差画像生成部)は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、画像Ａ１乃至画像Ｃ１の各画素の視差を検出する。視差画像生成部５３は、互換画像である画像Ａ１の各画素の視差を表す視差画像Ａ１'を生成し、そのままエンコーダ５８に供給する。
また、視差画像生成部５３は、補助画像である画像Ｂ１の各画素の視差を表す視差画像Ｂ１'と、補助画像である画像Ｃ１の各画素の視差を表す視差画像Ｃ１'を生成し、画像Ｂ１および画像Ｃ１と同様の方法（例えばサイドバイサイド方式）で多重化する。視差画像生成部５３は、その結果得られる多重化画像をエンコーダ５８に供給する。視差画像生成部５３は、補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、エンコーダ５８に供給する。
互換情報生成部５５（生成部）は、画像変換部５２から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、エンコーダ５８に供給する。
なお、互換モードとは、互換画像の符号化方法または多重化方法（多重化するかしないか、多重化方式など）を表すモードである。互換モードとしては、例えば、１視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード(mono)、２視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード(frame packing)、２視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモード(stereo)などがある。
視点間距離情報生成部５６（視点間距離情報生成部）は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、画像Ａ１乃至画像Ｃ１のうちの２枚の画像の視点間の距離（以下、視点間距離という）を検出する。例えば、視点間距離情報生成部５６は、撮影部５１Ａと撮影部５１Ｂの間の水平方向の距離Δｄ１ＡＢ、および、撮影部５１Ａと撮影部５１Ｃの間の水平方向の距離Δｄ１ＡＣを視点間距離として検出する。視点間距離情報生成部５６は、視点間距離を表す情報などを、視点間距離に関する情報である視点間距離情報として生成し、エンコーダ５８に供給する。
視差画像情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像に関する情報である視差画像情報として生成し、エンコーダ５８に供給する。
エンコーダ５８は、互換用エンコーダ６１と補助用エンコーダ６２により構成される。互換用エンコーダ６１（互換画像符号化部）は、画像変換部５２から供給される互換画像である画像Ａ１を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
補助用エンコーダ６２（補助画像符号化部）は、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１'および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ６２における符号化方式としては、AVC方式、MVC方式、MPEG2（Moving Picture Experts Group phase 2）方式などを用いることができる。
また、補助用エンコーダ６２は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部５６からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳ（Transport Stream）を生成し、多重化する。多重化部５９（伝送部）は、多重化の結果得られる多重化ストリームを送信する。
［復号装置の構成例］
図２は、図１の符号化装置５０から送信される多重化ストリームを復号する（Mono Compatible Modeの）復号装置の構成例を示す図である。
図２の復号装置１２０は、分離部１２１、デコーダ１２２、画像情報取得部１２３、視点間距離情報取得部１２４、視差画像情報取得部１２５、互換情報取得部１２６、および画像生成部１２７により構成される。復号装置１２０は、符号化装置５０から送信される多重化ストリームを復号して、１視点の画像または多視点の画像を生成し、図示せぬ表示装置に表示させる。
具体的には、復号装置１２０の分離部１２１（受信部）は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。
デコーダ１２２は、互換用デコーダ１３１と補助用デコーダ１３２により構成される。
デコーダ１２２の互換用デコーダ１３１（互換画像復号部）は、補助用デコーダ１３２から供給される互換ストリームを特定するための情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。互換用デコーダ１３１は、互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号し、その結果得られる画像Ａ１を画像生成部１２７に供給する。
補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報に基づいて、互換ストリームを特定するための情報を互換用デコーダ１３１に供給する。補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ１３２（補助画像復号部）は、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像Ａ'、および補助画像の視差画像の多重化画像を、図５の補助用エンコーダ６２に対応する方式で復号する。
補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ'、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、視点間距離情報を視点間距離情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に供給する。視点間距離情報取得部１２４は、補助用デコーダ１３２から供給される視点間距離情報を取得し、画像生成部１２７に供給する。
視差画像情報取得部１２５は、補助用デコーダ１３２から供給される視差画像情報を取得し、画像生成部１２７に供給する。互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に供給する。
画像生成部１２７は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部１２７（生成部）は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部１２７は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、例えばサイドバイサイド方式で多重化された、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部１２７は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、例えばサイドバイサイド方式で多重化された、補助画像の多重化画像から、各補助画像を分離する。
さらに、画像生成部１２７は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部１２７は、互換画像、各補助画像、互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部１２７は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部１２７は、視聴者からの２Ｄ画像の表示指令に応じて、デコーダ１２２の互換用デコーダ１３１から供給される互換画像である画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
［符号化装置の構成例］
次に、既存のフレームパッキングの３Ｄ画像との互換性を確保するようなフォーマット（Frame Packing Compatible Mode）で３Ｄ画像を伝送する例について説明する。
図３は、本技術を適用した符号化装置の他の構成例を示すブロック図である。図３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図３に示される符号化装置１４０は、基本的に図１の符号化装置５０と同様であるが、このFrame packing Compatible Modeの場合、４つの画像から１組の互換画像と１組の補助画像が生成される。そして、互換画像も補助画像のように例えばサイドバイサイド方式で多重化される。
図３の符号化装置１４０の構成は、主に、撮影部５１Ａ乃至撮影部５１Ｃ、画像変換部５２、視差画像生成部５３、視点間距離情報生成部５６、エンコーダ５８の代わりに撮影部１４１Ａ乃至撮影部１４１Ｄ、画像変換部１４２、視差画像生成部１４３、視点間距離情報生成部１４４、エンコーダ１４５が設けられている点が図５の構成と異なる。
符号化装置１４０は、多視点の画像のうちの２視点の画像を互換画像としてAVC方式で符号化を行うことにより、既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保する。
具体的には、符号化装置１４０の撮影部１４１Ａは、所定の視点のHD画像を画像Ａ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。撮影部１４１Ｂは、撮影部１４１Ａから距離Δｄ２ＡＢだけ水平方向に離れた位置で、画像Ａ２とは異なる視点のHD画像を画像Ｂ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。
撮影部１４１Ｃは、撮影部１４１Ｂから距離Δｄ２ＢＣだけ撮影部１４１Ａとは反対の水平方向に離れた位置で、画像Ａ２および画像Ｂ２とは異なる視点のHD画像を画像Ｃ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。撮影部１４１Ｄは、撮影部１４１Ａから距離Δｄ２ＡＤだけ撮影部１４１Ｂとは反対の水平方向に離れた位置で、画像Ａ２乃至画像Ｃ２とは異なる視点のHD画像を画像Ｄ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。
なお、画像Ｃ２と画像Ｄ２に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置１４０に対応する復号装置は、画像Ａ２乃至画像Ｄ２を用いて、画像Ｃ２および画像Ｄ２の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。もちろん、図１の場合と同様に、画像の補間を外挿としてもよい。距離Δｄ２ＡＢ、距離Δｄ２ＢＣ、および距離Δｄ２ＡＤは、固定であってもよいし、時間ごとに変化するようにしてもよい。
画像変換部１４２は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定する。そして、画像変換部１４２は、互換画像である画像Ａ２および画像Ｂ２を所定の多重化方式で多重化し、エンコーダ１４５に供給する。
例えば、画像変換部１４２は、図３に示されるように、画像Ａ２および画像Ｂ２をサイドバイサイド（Side By Side）方式で多重化する。また、画像変換部１４２は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給する。
また、画像変換部１４２は、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像とし、所定の多重化方式で多重化する。例えば、画像変換部１４２は、この画像Ｃ２および画像Ｄ２もサイドバイサイド方式で多重化する。
画像変換部１４２は、多重化の結果得られる多重化画像をエンコーダ１４５に供給する。画像変換部１４２は、互換画像と補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
視差画像生成部１４３は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の各画素の視差を検出する。視差画像生成部１４３は、互換画像である画像Ａ２の各画素の視差を表す視差画像Ａ２'と、画像Ｂ２の各画素の視差を表す視差画像Ｂ２'を生成し、所定の多重化方式で多重化する。例えば、視差画像生成部１４３は、視差画像Ａ２'および視差画像Ｂ２'をサイドバイサイド方式で多重化する。視差画像生成部１４３は、その結果得られる多重化画像をエンコーダ１４５に供給する。
また、視差画像生成部１４３は、補助画像である画像Ｃ２の各画素の視差を表す視差画像Ｃ２'と、補助画像である画像Ｄ２の各画素の視差を表す視差画像Ｄ２'を生成し、所定の多重化方式で多重化する。例えば、視差画像生成部１４３は、視差画像Ｃ２'および視差画像Ｄ２'をサイドバイサイド方式で多重化する。視差画像生成部１４３は、その結果得られる多重化画像をエンコーダ１４５に供給する。視差画像生成部１４３は、互換画像および補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
視点間距離情報生成部１４４は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の視点間距離を検出する。例えば、視点間距離情報生成部１４４は、撮影部１４１Ａと撮影部１４１Ｂの間の水平方向の距離Δｄ２ＡＢ、撮影部１４１Ｂと撮影部１４１Ｃの間の水平方向の距離Δｄ２ＢＣ、撮影部１４１Ａと撮影部１４１Ｄの間の水平方向の距離Δｄ２ＡＤを視点間距離として検出する。視点間距離情報生成部１４４は、視点間距離を表す情報などを視点間距離情報として生成し、エンコーダ１４５に供給する。
エンコーダ１４５は、互換用エンコーダ１５１と補助用エンコーダ１５２により構成される。互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
補助用エンコーダ１５２は、画像変換部１４２からの補助画像の多重化画像、並びに視差画像生成部１４３からの互換画像の視差画像の多重化画像および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ１５２における符号化方式としては、例えば、AVC方式、MVC方式などを用いることができる。
また、補助用エンコーダ１５２は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部１４４からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを付加して、符号化ストリームを生成する。補助用エンコーダ１５２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
［復号装置の構成例］
図４は、図３の符号化装置１４０から送信される多重化ストリームを復号する（Frame Packing Compatible Modeの）復号装置の構成例を示す図である。図４に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図４の復号装置１７０の構成は、主に、画像生成部１２７の代わりに画像生成部１７１が設けられている点が図２の構成と異なる。復号装置１７０は、符号化装置１４０から送信されるFrame Packing Compatible Modeの多重化ストリームを復号して、２視点の画像または多視点の画像を生成し、図示せぬ表示装置に表示させる。
具体的には、復号装置１７０の画像生成部１７１は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部１７１は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部１７１は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。例えば、補助画像の視差画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部１７１は、その視差画像を左右２つに分離する。
また、画像生成部１７１は、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。例えば、互換画像の視差画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部１７１は、その視差画像を左右２つに分離する。
さらに、画像生成部１７１は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。例えば、補助画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部１７１は、その補助画像を左右２つに分離する。
また、画像生成部１７１は、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。例えば、互換画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部１７１は、その互換画像を左右２つに分離する。
また、画像生成部１７１は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部１７１は、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部１７１は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部１７１は、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ１２２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部１７１は、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
なお、図３および図４の例において、互換画像および補助画像、並びに、それらの視差画像が、サイドバイサイド（Side By Side）方式の代わりに、トップアンドボトム（TAB（Top And Bottom）方式（Top Over Bottom（TOB）方式とも称する）で多重化されるようにしてもよい。
トップアンドボトム（TAB（Top And Bottom）方式は、多重化する２つの画像の垂直方向の解像度を半減させ、その解像度を半減させた両画像を垂直方向に並べ、元の１フレームの画像サイズとなるようにする多重化方式である。
［符号化装置の構成例］
次に、既存のステレオスコピックの３Ｄ画像との互換性を確保するようなフォーマット（Stereo Scopic Compatible Mode）で３Ｄ画像を伝送する例について説明する。なお、既存のステレオスコピックの３Ｄ画像の場合、互いに視差が形成される左眼用の画像と右眼用の画像とが交互に表示される。
図５は、本技術を適用した符号化装置の他の構成例を示すブロック図である。図５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図５に示される符号化装置１４０は、基本的に図１の符号化装置５０と同様であるが、このStereo Scopic Compatible Modeの場合、４つの画像から２つの互換画像と１組の補助画像が生成される。そして、互換画像同士は多重化されず、補助画像同士は例えばサイドバイサイド方式で多重化される。
図５の符号化装置１８０の構成は、主に、画像変換部１４２、エンコーダ１４５の代わりに画像変換部１８１、エンコーダ１８２が設けられている点が図３の構成と異なる。符号化装置１８０は、多視点の画像のうちの２視点の画像を互換画像として、MVC方式で符号化を行うことにより、既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保する。
具体的には、符号化装置１８０の画像変換部１８１は、図１４の画像変換部１４２と同様に、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定する。例えば、画像Ａ２を左眼用画像とし、画像Ｂ２を右眼用画像とする。
そして、画像変換部１８１は、互換画像である画像Ａ１および画像Ａ２を、そのまま（互換画像同士を多重化せずに）エンコーダ１８２に供給する。また、画像変換部１８１は、画像変換部１４２と同様に、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給する。
また、画像変換部１８１は、画像変換部１４２と同様に、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像とし、所定の多重化方式で多重化する。例えば、画像変換部１４２は、この画像Ｃ２および画像Ｄ２をサイドバイサイド方式で多重化する。
画像変換部１８１は、多重化の結果得られる多重化画像をエンコーダ１８２に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
エンコーダ１８２は、互換用エンコーダ１９１と補助用エンコーダ１５２により構成される。エンコーダ１８２の互換用エンコーダ１９１は、画像変換部１８１から供給される互換画像のうちの画像Ａ２をベース画像として既存のAVC方式で符号化し、画像Ｂ２をディペンデント画像として既存のMVC方式で符号化を行う。互換用エンコーダ１９１は、その結果得られる符号化画像に各種の情報を付加して符号化ストリームを生成し、その符号化ストリームを互換ストリームとして多重化部５９に供給する。
なお、視差情報は、図３の符号化装置１４０の場合と同様に生成される。
［復号装置の構成例］
図６は、図５の符号化装置１８０から送信される多重化ストリームを復号する（Frame Packing Compatible Modeの）復号装置の構成例を示す図である。図６に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図６の復号装置２００の構成は、主に、デコーダ１２２、画像生成部１２７の代わりにデコーダ２０１、画像生成部２０２が設けられている点が図２の構成と異なる。復号装置２００は、符号化装置１８０から送信される多重化ストリームを復号して、２視点の画像または多視点の画像を生成し、図示せぬ表示装置に表示させる。
具体的には、復号装置２００のデコーダ２０１は、互換用デコーダ２１１と補助用デコーダ１３２により構成される。デコーダ２０１の互換用デコーダ２１１は、図２の互換用デコーダ１３１と同様に、補助用デコーダ１３２から供給される互換ストリームを特定するための情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうちの互換ストリームを識別する。互換用デコーダ２１１は、互換ストリームに含まれる符号化された互換画像をMVC方式に対応する方式で復号し、その結果得られる画像Ａ２と画像Ｂ２を画像生成部２０２に供給する。
画像生成部２０２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部２０２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部２０２は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。例えば、補助画像の視差画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部２０２は、その補助画像の視差画像を左右２つに分離する。
また、画像生成部２０２は、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。例えば、互換画像の視差画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部２０２は、その互換画像の視差画像を左右２つに分離する。
さらに、画像生成部２０２は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。例えば、互換画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部２０２は、その互換画像を左右２つに分離する。
また、画像生成部２０２は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部２０２は、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部２０２は、画像生成部１２７と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部２０２は、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、デコーダ１２２から供給される互換画像としての画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
［ベースバンドのデータ伝送］
例えば、上述した図２の復号装置１２０において、点線Ｌ１の左側（分離部１２１およびデコーダ１２２）を再生装置として構成し、点線Ｌ１の右側（画像生成部１２７）を表示装置として構成するとする。
再生装置としては、例えば、記録媒体に記録されている３Ｄ画像データを読み出して再生するプレーヤやレコーダ（再生機能を有するもの）が考えられる。また、セットトップボックスのような、外部から３Ｄ画像データを取得し、再生するネットワーク機器も考えられる。表示装置としては、CRTディスプレイ、LCD、有機ELディスプレイ、若しくはプロジェクタ等が考えられる。
互換画像、補助画像、およびそれらの視差画像に注目すると、この場合、再生装置から表示装置へ、これらの画像をベースバンドのデータとして伝送する必要がある。
図４に示される復号装置１７０の場合も同様である。互換画像、補助画像、およびそれらの視差画像に注目し、点線Ｌ２の左側の構成を再生装置とし、右側の構成を表示装置とすると、この再生装置と表示装置との間で、これらの画像をベースバンドのデータとして伝送させる必要がある。
図６に示される復号装置２００の場合も同様である。互換画像、補助画像、およびそれらの視差画像に注目し、点線Ｌ３の左側の構成を再生装置とし、右側の構成を表示装置とすると、この再生装置と表示装置との間で、これらの画像をベースバンドのデータとして伝送させる必要がある。
このような再生装置と表示装置のようなAV機器間の通信の規格は多数存在する。しかしながら、図１乃至図６を参照して説明したような3DVフォーマットに準拠する３Ｄ画像フォーマットのデータを、ベースバンドで、AV機器間で伝送させる方法は無かった。
例えば、デジタル機器間を接続するインタフェースとして、HDMI（High Definition Multimedia Interface）がある。
HDMIは、デジタル家電向けのインタフェースであり、PC（Personal Computer）とディスプレイとの間の接続標準規格であるDVI（Digital Visual Interface）に、音声伝送機能や著作権保護機能（デジタルコンテンツ等の不正コピー防止機能）、色差伝送機能を加えるなど、AV（Audio Visual）家電向けにアレンジしたものである。２００２年１２月にHDMI1.0の仕様が策定された。
HDMIは非圧縮デジタル音声・映像を伝達し、画質・音質の劣化がない利点がある。HDMIでは現在フルスペック・ハイビジョン（フルHD：解像度は水平１９２０画素×垂直１０８０ライン）の機能を基本としている。映像・音声を非圧縮でプレーヤからテレビに側に転送できるため、デコーダなどの専用チップやソフトウェアを必要としない。接続機器同士が互いに認識できるインテリジェント機能も備えている。
また、映像・音声・制御信号が一本化したシングルケーブルのため、AV機器の配線を簡略化できるメリットもある。制御信号なども送信することができるので、各AV機器間の連携も容易である。
現在HDMIでは、例えばフレームパッキングやステレオスコピック等の既存の３Ｄ画像フォーマットにも対応している。
しかしながら、上述したように、3DVフォーマットのデータには、従来の３Ｄ画像フォーマットにおいては規定されていない情報が含まれる。したがって、このようなHDMI規格であっても、3DVフォーマットのデータを正しく伝送させることができない恐れがあった。
［伝送システムの構成］
そこで、以下においては、このような再生装置と表示装置との間で行われる、（デコードされた後の、）3DVフォーマットの３Ｄ画像データの伝送について説明する。
図７は、本技術を適用した伝送システムの主な構成例を示すブロック図である。図７に示される伝送システム３００は、上述したように、復号後の3DVフォーマットの３Ｄ画像データを伝送するシステムである。
図７に示されるように、伝送システム３００は、再生装置３０１および表示装置３０２を有し、それらがHDMIケーブル３０３によりデータ伝送可能に接続されている。
再生装置３０１は、記録媒体から読み出した、若しくは、他の装置から取得した３Ｄ画像データを再生し、HDMIケーブル３０３を介して、表示装置３０２へ供給する装置である。再生装置３０１は、上述した復号装置の点線Ｌ１乃至Ｌ３の左側の構成（互換画像、補助画像、およびそれらの視差画像に関する構成）を有する。
表示装置３０２は、再生装置３０１からHDMIケーブル３０３を介して伝送される３Ｄ画像データから、多視点の表示用画像を生成し、それをディスプレイに表示させる。表示装置３０２は、上述した復号装置の点線Ｌ１乃至Ｌ３の右側の構成（互換画像、補助画像、およびそれらの視差画像に関する構成）を有する。
伝送システム３００においては、再生装置３０１から表示装置３０２へ、HDMIケーブル３０３を介して３Ｄ画像データが、HDMI規格に従って伝送される。
［再生装置の構成］
図８は、このHDMI規格に基づくデータ伝送の送信側デバイスである再生装置３０１のデータ伝送に関する部分の、主な構成例を示す図である。
図８に示されるように、再生装置３０１は、デコーダ３１１、モード判定部３１２、３Ｄ情報生成部３１３、および通信部３１４を有する。
デコーダ３１１は、符号化された３Ｄ画像データを復号し、ベースバンドの３Ｄ画像データをモード判定部３１２および通信部３１４に供給する。
モード判定部３１２は、供給された３Ｄ画像データの構成（フォーマット）を調べ、Mono Compatible Modeであるか、Frame Packing（Side by Side） Compatible Modeであるか、Frame Packing（Top and Bottom） Compatible Modeであるか、若しくは、Stereo Scopic Compatible Modeであるかを判定し、その判定結果を３Ｄ情報生成部３１３に供給する。
３Ｄ情報生成部３１３は、3DVフォーマットの画像データであること、および、モード判定部３１２により判定された互換性に関するモード等を示す情報を含む３Ｄ情報を生成し、伝送する３Ｄ画像データの所定の位置に挿入する。例えば、３Ｄ情報生成部３１３は、HDMI規格のVSIFPC(Vendor Specific infoFrame Packet Contents)を拡張し、３Ｄ情報を記述する。
通信部３１４は、HDMI規格に従って、表示装置３０２と通信を行う。例えば、通信部３１４は、デコーダ３１１から供給される３Ｄ画像データを表示装置３０２に送信する。
［表示装置の構成］
図９は、HDMI規格に基づくデータ伝送の受信側デバイスである表示装置３０２のデータ伝送に関する部分の、主な構成例を示す図である。
図９に示されるように、表示装置３０２は、通信部３２１、モード判定部３２２、同期設定部３２３、同期制御部３２４、画像生成部３２５、および表示部３２６を有する。
通信部３２１は、HDMI規格に従って、再生装置３０１と通信を行う。例えば、通信部３２１は、再生装置３０１から伝送された３Ｄ画像データを受信し、それをモード判定部３２２および画像生成部３２５に供給する。
モード判定部３２２は、通信部３２１から供給される３Ｄ画像データに含まれる３Ｄ画像情報を参照し、その３Ｄ画像データのモードを判定する。例えば、モード判定部３２２は、３Ｄ画像データのモードが、Mono Compatible Modeであるか、Frame Packing（Side by Side） Compatible Modeであるか、Frame Packing（Top and Bottom） Compatible Modeであるか、若しくは、Stereo Scopic Compatible Modeであるかを判定し、その判定結果を同期設定部３２３に通知する。
同期設定部３２３は、判定されたモードに応じて同期方法を設定する。同期制御部３２４は、同期設定部３２３に設定された同期方法に従って、画像生成部３２５および表示部３２６に同期信号を供給し、画像生成部３２５および表示部３２６の動作タイミングを制御する。
画像生成部３２５は、通信部３２１を介して供給された３Ｄ画像データ（互換画像、補助画像、およびそれらの視差画像）を用いて、ユーザ等に指定された、もしくは表示部３２６が対応可能な視点数の多視点の表示用画像を生成し、それを表示部３２６に供給して表示させる。
表示部３２６は、CRTディスプレイやLCD等のディスプレイを有し、画像生成部３２５から供給された多視点の表示用画像を、それぞれの視点方向に向けて表示する。
［HDMIデータ伝送］
次に、再生装置３０１の通信部３１４（HDMI送信部）および表示装置３０２の通信部３２１（HDMI受信部）について説明する。図１０は、通信部３１４と、通信部３２１の詳細な構成例を示すブロック図である。
HDMI送信部である通信部３１４は、所定の数の垂直同期信号の区間から、水平帰線区間および垂直帰線区間を除いた区間である有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部である通信部３２１に一方向に送信するとともに、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、通信部３２１に一方向に送信する。
すなわち、通信部３１４は、HDMIトランスミッタ３３１を有する。HDMIトランスミッタ３３１は、例えば、符号化データを対応する差動信号に変換し、複数のチャネルである３つのTMDSチャネル＃０，＃１，＃２で、HDMIケーブル３０３を介して接続されている通信部３２１に、一方向にシリアル伝送する。
また、HDMIトランスミッタ３３１は、符号化データに付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのTMDSチャネル＃０，＃１，＃２でHDMIケーブル３０３を介して接続されている通信部３２１に、一方向にシリアル伝送する。
さらに、HDMIトランスミッタ３３１は、３つのTMDSチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル３０３を介して接続されている通信部３２１に送信する。ここで、１つのTMDSチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、例えば１０ビットのデータが送信される。
通信部３２１は、アクティブビデオ区間において、複数のチャネルで、通信部３１４から一方向に送信されてくる、画素データに対応する差動信号を受信するとともに、水平帰線区間または垂直帰線区間において、複数のチャネルで、通信部３１４から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
すなわち、通信部３２１は、HDMIレシーバ３３２を有する。HDMIレシーバ３３２は、TMDSチャネル＃０，＃１，＃２で、HDMIケーブル３０３を介して接続されている通信部３１４から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を、同じく通信部３１４からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
通信部３１４と通信部３２１とからなるHDMIシステムの伝送チャネルには、通信部３１４から通信部３２１に対して、符号化データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての３つのTMDSチャネル＃０乃至＃２と、ピクセルクロックを伝送する伝送チャネルとしてのTMDSクロックチャネルの他に、DDC（Display Data Channel）３３３やCECライン３３４と呼ばれる伝送チャネルがある。
DDC３３３は、HDMIケーブル３０３に含まれる図示せぬ２本の信号線からなり、通信部３１４が、HDMIケーブル３０３を介して接続された通信部３２１から、E-EDIDを読み出すために使用される。
すなわち、通信部３２１は、HDMIレシーバ３３２の他に、自身の性能（Configuration/capability）に関する性能情報であるE-EDIDを記憶しているEDID ROM(Read Only Memory)３３５を有している。通信部３１４は、HDMIケーブル３０３を介して接続されている通信部３２１から、当該通信部３２１のE-EDIDを、DDC３３３を介して読み出し、そのE-EDIDに基づき、例えば、通信部３２１を有する電子機器が対応している画像のフォーマット（プロファイル）、例えば、RGB、YCbCr４：４：４、YCbCr４：２：２、YCbCr４：２：０等を認識する。
CECライン３３４は、HDMIケーブル３０３に含まれる図示せぬ１本の信号線からなり、通信部３１４と通信部３２１との間で、制御用のデータの双方向通信を行うのに用いられる。
また、HDMIケーブル３０３には、HPD（Hot Plug Detect）と呼ばれるピンに接続されるライン３３６が含まれている。ソース機器は、当該ライン３３６を利用して、シンク機器の接続を検出することができる。また、HDMIケーブル３０３には、ソース機器からシンク機器に電源を供給するために用いられるライン３３７が含まれている。さらに、HDMIケーブル３０３には、拡張用のリザーブライン３３８が含まれている。
［３Ｄ情報の記述］
以上のようなHDMI規格のデータ伝送において、３Ｄ情報生成部３１３は、上述したように例えば図１１に示されるようなHDMI規格のVendor Specific infoFrame Packet Contentsを拡張し、モードを示す３Ｄ情報を記述する。
図１１に示されるVendor Specific infoFrame Packet Contentsは、データとともに送信側から受信側に伝送される情報であり、今どのようなデータが伝送されているかを示す情報である。受信側の装置は、このVendor Specific infoFrame Packet Contentsを参照することにより、現在、どのようなデータが送信されているかを、容易に把握することができる。
図１１に示されるように、Vendor Specific infoFrame Packet Contentsの斜線で示される部分には、３Ｄ画像データに関する情報を記述する欄（3D_Structure）がある。３Ｄ情報生成部３１３は、例えば、この領域（3D_Structure）の値を拡張し、３Ｄ情報を記述する。
例えば図１２Ａの表に示されるように、従来この3D_Structureの欄には、「００００」、「０１１０」、「０１１１」、「１０００」、または「１００１」等の値を設定することができる。３Ｄ情報生成部３１３は、この3D_Structureの空き（リザーブ）を利用して、例えば、図１２Ａに示されるように、値「１０１０」を3DVフォーマットを示す値として設定する。
受信側のモード判定部３２２は、予めこの値「１０１０」が3DVフォーマットを示すことを把握していればよい。例えば、このVendor Specific infoFrame Packet Contentsの3D_Structureを参照し、その値が「１０１０」である場合、モード判定部３２２は、伝送される画像データが3DVフォーマットであることを把握することができる。
また、例えば、図１２Ｂに示されるように、3DVフォーマットの各モードも指定することができるようにしてもよい。図１２Ｂの例の場合、値「１０１０」がMono Compatible Modeに割り当てられ、値「１０１１」がFrame Packing（Side by Side） Compatible Modeに割り当てられ、値「１１００」がFrame Packing（Top and Bottom） Compatible Modeに割り当てられ、値「１１０１」がStereo Scopic Compatible Modeに割り当てられている。
３Ｄ情報生成部３１３は、モード判定部３１２により判定されたモードに対応する値を、このVendor Specific infoFrame Packet Contentsの3D_Structureに設定する。モード判定部３２２は、予めこれらの値を把握しているので、データ受信時にこの3D_Structure参照することにより、容易にモードを判定することができる。
［同期方法の拡張］
HDMIのデータ伝送においては、通常、図１３に示されるように、水平同期信号３５１が１周期分、並びに、垂直同期信号３５２が１周期分のアクティブビデオ区間に１フレーム分の画像データが伝送される。
通信部３１４は、３Ｄ画像データを伝送する際、例えば各モードに応じてこのような同期方法拡張する。
Mono Compatible Modeの場合、例えば図１４に示されるように、１フレーム分の３Ｄ画像データとして、互換画像、補助画像、およびそれらの視差画像により合計４フレーム分のデータを伝送する必要がある。
したがって、例えば図１４に示されるように、通信部３１４が、これらの４フレーム分のデータを、水平同期信号３５１が１周期分、並びに、垂直同期信号３５２が１周期分のアクティブビデオ区間に伝送させるようにしてもよい。
また、例えば図１５に示されるように、通信部３１４が、これらの４フレーム分のデータの伝送に、垂直同期信号２周期分のアクティブビデオ区間を使うようにしてもよい。もちろん、垂直同期信号３周期以上分のアクティブビデオ区間を使用するようにしてもよい。ただし、同期を正しくとることができるようにするために、垂直同期信号何周期分のアクティブビデオ区間を使用して、１フレーム分の３Ｄ画像データを伝送させるかを、再生装置３０１および表示装置３０２の双方が予め把握しておく必要がある。
このように垂直同期信号複数周期分のアクティブビデオ区間を使用して１フレーム分の３Ｄ画像データを伝送するようにすることにより、より詳細な伝送制御をより容易にすることができる。例えば、一部の情報のみを伝送させる場合、それ以外の周期のデータ伝送を中止すればよい。
Frame Packing（Side by Side） Compatible Modeの場合も、例えば図１６に示されるように、１フレーム分の３Ｄ画像データとして、互換画像、補助画像、およびそれらの視差画像により合計４フレーム分のデータを伝送する必要がある。
したがって、例えば図１６に示されるように、通信部３１４が、これらの４フレーム分のデータを、水平同期信号１周期および垂直同期信号１周期のアクティブビデオ区間に伝送させるようにしてもよい。もちろん、このFrame Packing（Side by Side） Compatible Modeの場合においても、上述したMono Compatible Modeの場合と同様に、垂直同期信号複数周期分のアクティブビデオ区間を使用して１フレーム分の３Ｄ画像データを伝送させるようにしてもよい。
Frame Packing（Top and Bottom） Compatible Modeの場合も、例えば図１７に示されるように、１フレーム分の３Ｄ画像データとして、互換画像、補助画像、およびそれらの視差画像により合計４フレーム分のデータを伝送する必要がある。
したがって、例えば図１７に示されるように、通信部３１４が、これらの４フレーム分のデータを、水平同期信号１周期および垂直同期信号１周期のアクティブビデオ区間に伝送させるようにしてもよい。もちろん、このFrame Packing（Top and Bottom） Compatible Modeの場合においても、上述したMono Compatible Modeの場合と同様に、垂直同期信号複数周期分のアクティブビデオ区間を使用して１フレーム分の３Ｄ画像データを伝送させるようにしてもよい。
Stereo Scopic Compatible Modeの場合も、例えば図１８に示されるように、１フレーム分の３Ｄ画像データとして、互換画像、補助画像、およびそれらの視差画像により合計４フレーム分のデータを伝送する必要がある。
したがって、例えば図１８に示されるように、通信部３１４が、これらの４フレーム分のデータを、水平同期信号１周期および垂直同期信号１周期のアクティブビデオ区間に伝送させるようにしてもよい。
なお、現在のHDMI規格（Ver. 1.4）では、垂直同期信号１周期のアクティブビデオ区間に、所謂４Ｋ×２Ｋ以上の解像度の画像データを伝送させることはできない。しかしながら、この制約を拡張し、垂直同期信号１周期のアクティブビデオ区間に５Ｋ×２Ｋの画像データを伝送させることができるようにしてもよい。
その場合のStereo Scopic Compatible Modeの伝送例を図１９に示す。このようにすることにより、図１８の例の場合よりも、高解像度の視差情報を伝送することができる。したがって、表示用画像において、より精密な奥行き表現が可能になる。
もちろん、このStereo Scopic Compatible Modeの場合においても、上述したMono Compatible Modeの場合と同様に、垂直同期信号複数周期分のアクティブビデオ区間を使用して１フレーム分の３Ｄ画像データを伝送させるようにしてもよい。
さらに、例えば図２０に示されるように、垂直同期信号の間隔（周波数）を、一定でない不等間隔としてもよい。図２０の例の場合、垂直同期信号の１周期目は２Ｋ分の長さであり、２周期目はその半分の１Ｋ分の長さであり、３周期目は１周期目と同じ２Ｋ分の長さである。
このように垂直同期信号の周波数を適宜変更し、伝送する３Ｄ画像データの構造に適切となるようにすることにより、３Ｄ画像データの構造に応じた、より詳細な伝送制御をより容易にすることができる。例えば、互換情報のみを伝送させる場合、２周期目と３周期目のデータ伝送を中止すればよい。
もちろん、垂直同期信号を不等間隔とするときの周期のパターンは任意であり、図２０に示される例以外のパターンであってもよい。また、このように垂直同期信号を不等間隔とする方法は、Stereo Scopic Compatible Modeにも適用することができる。
［送信処理の流れ］
以上のような３Ｄ画像のデータ伝送について行われる各種処理について説明する。
図２１のフローチャートを参照して、図８の再生装置３０１により実行される送信処理の流れの例を説明する。
送信処理が開始されると、再生装置３０１のモード判定部３１２は、ステップＳ１０１において、伝送するストリーム（３Ｄ画像データ）のモードを判定する。３Ｄ情報生成部３１３は、ステップＳ１０２において、ステップＳ１０１の判定結果に基づいて、ストリームのモードを示す３Ｄ情報を生成する。
ステップＳ１０３において、通信部３１４は、ステップＳ１０３により生成された３Ｄ情報を表示装置３０２に送信する。通信部３１４は、ステップＳ１０４において、ストリームを表示装置３０２に送信する。
このように処理を行うことにより、再生装置３０１は、伝送する３Ｄ画像データのモードを含む３Ｄ情報を受信側の表示装置３０２に供給することができる。これにより、再生装置３０１は、上述した3DVフォーマットのような、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
［受信処理の流れ］
図２２のフローチャートを参照して、図９の表示装置３０２により実行される受信処理の流れの例を説明する。
受信処理が開始されると、表示装置３０２の通信部３２１は、ステップＳ１２１において、再生装置３０１から送信された３Ｄ情報を受信する。ステップＳ１２２において、モード判定部３２２は、その３Ｄ情報を参照し、伝送されるストリーム（３Ｄ画像データ）のモードを判定する。
ステップＳ１２３において、同期設定部３２３は、ステップＳ１２２のモード判定結果に基づいて、例えば、図１４乃至図２０を参照して説明したような同期方法を設定する。ステップＳ１２４において、同期制御部３２４は、ステップＳ１２３において設定された同期方法で、画像生成部３２５や表示部３２６の同期を制御する。
ステップＳ１２５において、通信部３２１は、再生装置３０１から伝送されるストリーム（３Ｄ画像データ）を受信する。ステップＳ１２６において、画像生成部３２５は、ステップＳ１２５において受信された３Ｄ画像データを用いて、多視点の表示用画像を生成する。
ステップＳ１２７において、表示部３２６は、ステップＳ１２６の処理により生成された多視点の表示用画像を表示する。
このように処理を行うことにより、表示装置３０２は、伝送される３Ｄ画像データとともに、その３Ｄ画像データのモードを含む３Ｄ情報を受信することができ、さらにその３Ｄ情報から３Ｄ画像データのモードを容易に判定し、そのモードに従って適切な同期方法を設定することができる。したがって、表示装置３０２は、上述した3DVフォーマットのような、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
なお、以上においては、HDMI規格に従ったデータ伝送を例に説明したが、HDMI規格以外の伝送規格に適用することもできる。
また、以上においては、３Ｄ画像データのデータ伝送における送信側の装置として再生装置３０１を用い、受信側の装置として表示装置３０２を用いて説明したが、送信側の装置および受信側の装置は、互いに３Ｄ画像データを送受信することができるものであればどのような装置であってもよい。
＜２．第２の実施の形態＞
［E-EDIDの拡張］
以上においては、３Ｄ画像データのモードに関する３Ｄ情報を３Ｄ画像データとともに伝送することにより、3DVのデータ伝送を実現するように説明した。これに限らず、例えば、さらに、３Ｄ画像データの伝送を開始する前に、受信側の表示装置３０２が自身の対応可能なモードに関する情報を、送信側の再生装置３０１に対して提供するようにしてもよい。
このようにすることにより、再生装置３０１は、表示装置３０２の能力に関する情報を取得し、その情報に基づいて３Ｄ画像データのモードを設定することができる。つまり、再生装置３０１は、より適切に３Ｄ画像データの送信を行うことができる。
再生装置３０１の通信部３１４（HDMI送信部）は、HDMIケーブル３０３を介して、表示装置３０２の通信部３２１（HDMI受信部）から、その通信部３２１のE-EDID（Enhanced Extended Display Identification Data）を、DDC（Display Data Channel）を介して読み出す。このE-EDIDには、表示装置３０２で取り扱われる解像度、復号処理の遅延時間、ビット深度、フレームレート等、表示装置３０２の能力に関する情報が含まれている。
図２３は、E-EDIDのデータ構造例を示している。このE-EDIDは、基本ブロックと拡張ブロックとからなっている。基本ブロックの先頭には、“E-EDID1.3 Basic Structure”で表されるE-EDID1.3の規格で定められたデータが配置され、続いて“Preferred timing”で表される従来のEDIDとの互換性を保つためのタイミング情報、および“2nd timing”で表される従来のEDIDとの互換性を保つための“Preferred timing”とは異なるタイミング情報が配置されている。
また、基本ブロックには、“2nd timing”に続いて、“Monitor NAME”で表される表示装置の名前を示す情報、および“Monitor Range Limits”で表される、アスペクト比が４：３および１６：９である場合についての表示可能な画素数を示す情報が順番に配置されている。
拡張ブロックの先頭には、“Speaker Allocation”で表される左右のスピーカに関する情報が配置され、続いて“VIDEO SHORT”で表される、表示可能な画像サイズ（解像度）、フレームレート、インターレースであるかプログレッシブであるかを示す情報、アスペクト比などの情報が記述されたデータ、“AUDIO SHORT”で表される、再生可能な音声コーデック方式、サンプリング周波数、カットオフ帯域、コーデックビット数などの情報が記述されたデータ、および“Speaker Allocation”で表される左右のスピーカに関する情報が順番に配置されている。
また、拡張ブロックには、“Speaker Allocation”に続いて、“Vendor Specific”で表されるメーカごとに固有に定義されたデータ、“3rd timing”で表される従来のEDIDとの互換性を保つためのタイミング情報、および“4th timing”で表される従来のEDIDとの互換性を保つためのタイミング情報が配置されている。
図２４は、図２３において斜線で示されるVendor Specific領域（Vendor Specific Data Block）のデータ構造例を示している。このVendor Specific領域には、１バイトのブロックである第０ブロック乃至第Ｎブロックが設けられている。
このVendor Specific領域の第１３ブロック以降には、リザーブ領域が拡張され、表示装置３０２が対応可能な３Ｄフォーマットに関する情報が記述されている。表示装置３０２は、このVendor Specific Data Blockの3D_Structure_ALL_X、3D_Structure_X、および、3D_Detaile_Xを、リザーブ領域を活用して拡張し、3DVストリームや垂直方向の同期信号の単位や周期を定義する。
例えば、3D_Structure_ALL_Xの値を、図２５に示される表のように拡張し、９番乃至１３番に各モードを割り当てるようにしてもよい。
また、例えば、3D_Structure_Xの値を、図１２に示される表のように拡張し、さらに、3D_Detail_Xの値を図２６に示される表のように拡張し、上述したように垂直同期信号の複数周期分のアクティブビデオ領域を使って１フレーム分の３Ｄ画像データを伝送することや、垂直同期信号を不等間隔とすること等を定義するようにしてもよい。
［再生装置の構成］
図２７は、その場合の再生装置３０１の主な構成例を示すブロック図である。この場合、再生装置３０１は、図２７に示されるように、図８の構成に加え、受信側情報取得部４１１と同期設定部４１２を有する。
受信側情報取得部４１１は、３Ｄ画像データの伝送が開始される前に、表示装置３０２から供給される、受信側の装置としての能力を示す受信側情報を、通信部３１４を介して取得する。例えば、受信側情報取得部４１１は、受信側情報として、図２３に示されるようなE-EDIDデータを取得する。上述したように、このE-EDIDデータのVendor Specific Data Blockは、図２４に示されるように拡張され、3D_Structure_ALL_X、3D_Structure_X、および、3D_Detaile_X等の値が、図２５や図２６に示される表のように拡張されることにより、表示装置３０２が処理可能なモードが示される。
受信側情報取得部４１１は、このような受信側情報を取得すると、それを同期設定部４１２に供給する。同期設定部４１２は、受信側情報取得部４１１により取得された受信側情報と、モード判定部３１２により判定されたモードに従って、表示装置３０２が処理可能な同期方法を設定し、3D情報生成部３１３に通知する。
3D情報生成部３１３は、同期設定部４１２により設定された同期方法を示す３Ｄ情報を生成し、３Ｄ画像データに挿入する。
［表示装置の構成］
図２８は、その場合の表示装置３０２の主な構成例を示すブロック図である。この場合、表示装置３０２は、図２８に示されるように、図９の構成に加え、受信側情報提供部４２１を有する。
受信側情報提供部４２１は、例えば、図２３に示されるようなE-EDIDを記憶しており、３Ｄ画像データの伝送が開始される前に、ネゴシエーション情報として、そのE-EDIDを、通信部３２１を介して送信側の再生装置３０１に送信する。
なお、この受信側情報提供部４２１は、図１０に示されるEDIDROM３３５のように通信部３２１の内部に構成されるようにしてもよい。
［送信処理の流れ］
次に、図２９のフローチャートを参照して、図２７の再生装置３０１により実行される送信処理の流れの例を説明する。
送信処理が開始されると、ステップＳ２０１において、受信側情報取得部４１１は、受信側情報を取得する。ステップＳ２０２において、モード判定部３１２は、伝送するストリーム（３Ｄ画像データ）のモードを判定する。
ステップＳ２０３において、同期設定部４１２は、ステップＳ２０１において取得された受信側情報、および、ステップＳ２０２において判定されたストリームのモードに基づいて、表示装置３０２が処理可能で、かつ、ストリームのモードに対応した同期方法を設定する。
ステップＳ２０４において、３Ｄ情報生成部３１３は、ステップＳ２０３において設定された同期方法を示す３Ｄ情報を生成する。ステップＳ２０５において、通信部３１４は、ステップＳ２０４において生成された３Ｄ情報を表示装置３０２に送信する。また、ステップＳ２０６において、通信部３１４は、ストリームを表示装置３０２に送信する。
このように処理を行うことにより、再生装置３０１は、表示装置３０２の能力に応じて同期方法を設定することができ、さらにその３Ｄ情報を表示装置３０２に供給することができる。これにより、再生装置３０１は、上述した3DVフォーマットのような、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
［受信処理の流れ］
図３０のフローチャートを参照して、図２８の表示装置３０２により実行される受信処理の流れの例を説明する。
受信処理が開始されると、表示装置３０２の受信側情報提供部４２１は、ステップＳ２２１において、通信部３２１を介して受信側情報を再生装置３０１に提供する。
ステップＳ２２２において、通信部３２１は、再生装置３０１から送信された３Ｄ情報を受信する。ステップＳ２２３において、モード判定部３２２は、その３Ｄ情報を参照し、伝送されるストリーム（３Ｄ画像データ）のモードを判定する。
ステップＳ２２４において、同期設定部３２３は、ステップＳ２２３のモード判定結果に基づいて同期方法を設定する。ステップＳ２２５において、同期制御部３２４は、ステップＳ２２４において設定された同期方法で、画像生成部３２５や表示部３２６の同期を制御する。
ステップＳ２２６において、通信部３２１は、再生装置３０１から伝送されるストリーム（３Ｄ画像データ）を受信する。ステップＳ２２７において、画像生成部３２５は、ステップＳ２２６において受信された３Ｄ画像データを用いて、多視点の表示用画像を生成する。
ステップＳ２２８において、表示部３２６は、ステップＳ２２７の処理により生成された多視点の表示用画像を表示する。
このように処理を行うことにより、表示装置３０２は、自身の処理能力を示す受信側情報を送信側の再生装置３０１に提供することができ、自信の能力に応じた同期方法を再生装置３０１に設定させることができる。そして表示装置３０２は、その同期方法を適切に設定することができる。したがって、表示装置３０２は、上述した3DVフォーマットのような、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
なお、以上においては、HDMI規格に従ったデータ伝送を例に説明したが、HDMI規格以外の伝送規格に適用することもできる。
また、以上においては、３Ｄ画像データのデータ伝送における送信側の装置として再生装置３０１を用い、受信側の装置として表示装置３０２を用いて説明したが、送信側の装置および受信側の装置は、互いに３Ｄ画像データを送受信することができるものであればどのような装置であってもよい。
＜３．第３の実施の形態＞
［符号化装置の構成例］
図３１は、本技術を適用した伝送システムの第３の実施の形態で伝送される３Ｄ画像を符号化する符号化装置の構成例を示すブロック図である。
図３１に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３１の符号化装置４４０の構成は、主に、視差画像生成部１４３、エンコーダ１４５、多重化部５９の代わりに、視差画像生成部４４１、エンコーダ４４２、多重化部４４３が設けられている点が図３の構成と異なる。符号化装置４４０は、互換画像の視差画像を空間方向に多重化するのではなく、時間方向に多重化して符号化する。
具体的には、符号化装置４４０の視差画像生成部４４１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の各画素の視差を検出する。視差画像生成部４４１は、検出結果に基づいて、互換画像である画像Ａ２の視差画像Ａ２’および画像Ｂ２の視差画像Ｂ２’、並びに、補助画像である画像Ｃ２の視差画像Ｃ２’および画像Ｄ２の視差画像Ｄ２’を生成する。
また、視差画像生成部４４１は、図３の視差画像生成部１４３と同様に、視差画像Ｃ２’と視差画像Ｄ２’を、所定の多重化方式で空間方向に多重化する。さらに、視差画像生成部４４１は、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像を、時間方向に多重化する。視差画像生成部４４１は、その結果得られる、１フレーム時間内に１フレーム分の視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像が存在する多重化画像を、時間多重化画像としてエンコーダ４４２に供給する。
また、視差画像生成部４４１は、補助画像の視差画像の多重化方式と、互換画像および補助画像の視差画像の多重化方式としての時間方向に多重化する方式（以下、フレームシーケンシャル方式という）とを示す情報を、視差画像情報生成部５７に供給する。
エンコーダ４４２は、互換用エンコーダ１５１と補助用エンコーダ４５１により構成される。エンコーダ４４２の補助用エンコーダ４５１は、画像変換部１４２からの補助画像の多重化画像と視差画像生成部４４１からの時間多重化画像を3DV方式で符号化する。補助用エンコーダ４５１は、その結果得られる符号化ストリームを補助ストリームとして多重化部４４３に供給する。
多重化部４４３は、互換用エンコーダ１５１からの互換ストリーム、補助用エンコーダ４５１からの補助ストリーム、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部５６からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを用いて、ＴＳを生成する。多重化部４４３は、生成されたＴＳを多重化し、その結果得られる多重化ストリームを送信する。
なお、以下では、画像情報、互換情報、視点間距離情報、および視差画像情報をまとめて補助情報という。
［補助情報の記述例］
図３２は、補助情報がPMTのディスクリプタに記述される場合の互換情報と視差画像情報の記述例を示す図である。
図３２に示すように、補助情報がPMTのディスクリプタに記述される場合、PMTのディスクリプタとして、互換情報が配置されるディスクリプタ（3DV_view_structure_descriptor）、視差画像情報が配置されるディスクリプタ（depth_map_structure_descriptor）等が設けられる。
そして、ディスクリプタ（depth_map_structure_descriptor）には、図３３に示すように、ディスクリプタタグ(descriptor_tag)、ディスクリプタ長(descriptor_length)に続いて、視差画像情報として、視差画像の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。
なお、多重化方式としては、サイドバイサイド方式（SBS）、トップアンドボトム方式（TOB）、フレームシーケンシャル方式などがある。
また、符号化装置４４０では、補助情報がＴＳに含まれるものとしたが、補助情報は補助ストリームに含まれるようにしてもよい。
図３４および図３５は、補助情報が補助ストリームに含まれる場合の、補助ストリーム内の互換情報と視差画像情報の記述例を示す図である。
図３４に示すように、互換情報（3DV_view_structure）と視差画像情報(depth_map_structure)は、例えば、補助ストリーム内のSEI（Supplemental Enhancement Information）に配置される。
視差画像情報(depth_map_structure)としては、図３５に示すように、視差画像（depth map）の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。
なお、図示は省略するが、画像情報は、視差画像ではなく、互換画像および補助画像についての情報であること以外視差画像情報と同様である。
［符号化装置の処理の説明］
図３６および図３７は、図３１の符号化装置４４０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
図３６のステップＳ４５１において、視点間距離情報生成部１４４は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、距離Δｄ２ＡＢ、距離Δｄ２ＢＣ、距離Δｄ２ＡＤを視点間距離として検出する。
ステップＳ４５２において、視点間距離情報生成部１４４は、ステップＳ４５１で検出された視点間距離を表す情報などを視点間距離情報として生成し、多重化部４４３に入力する。
ステップＳ４５３において、画像変換部１４２は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と、撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定し、互換画像および補助画像の多重化方式を決定する。画像変換部１４２は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給し、互換画像および補助画像の多重化方式を画像情報生成部５４に供給する。
ステップＳ４５４において、互換情報生成部５５は、画像変換部１４２から供給される情報に基づいて、互換画像として画像Ａ２および画像Ｂ２を指定する情報、互換モードとしてのフレームパッキングモードなどを互換情報として生成し、多重化部４４３に入力する。
ステップＳ４５５において、画像変換部１４２は、ステップＳ４５３で決定された互換画像の多重化方式に基づいて互換画像である画像Ａ２と画像Ｂ２を多重化し、エンコーダ４４２に供給する。
ステップＳ４５６において、画像情報生成部５４は、画像変換部１４２から供給される情報に基づいて、互換画像および補助画像の多重化方式を示す情報などを画像情報として生成し、多重化部４４３に入力する。
ステップＳ４５７において、画像変換部１４２は、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像として、ステップＳ４５３で決定された補助画像の多重化方式に基づいて補助画像を多重化し、補助画像の多重化画像を得る。
ステップＳ４５８において、画像変換部１４２は、互換画像の多重化画像と補助画像の多重化画像をエンコーダ４４２に入力する。
図３７のステップＳ４５９において、視差画像生成部４４１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて画像Ａ２乃至画像Ｄ２の各画素の視差を検出し、視差画像Ａ２’乃至視差画像Ｄ２’を生成する。
ステップＳ４６０において、視差画像生成部４４１は、補助画像の視差画像の多重化方式と、互換画像の視差画像および補助画像の視差画像の多重化画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
ステップＳ４６１において、視差画像情報生成部５７は、視差画像生成部４４１から供給される情報に基づいて、補助画像の視差画像の多重化方式と、互換画像の視差画像および補助画像の視差画像の多重化画像の多重化方式を示す情報などを、視差画像情報として生成し、多重化部４４３に入力する。
ステップＳ４６２において、視差画像生成部４４１は、ステップＳ４６０で決定された多重化方式に基づいて、補助画像の視差画像Ｃ２’と視差画像Ｄ２’を空間方向に多重化し、互換画像の視差画像Ａ２’および視差画像Ｂ２’と補助画像の視差画像の多重化画像を時間方向に多重化する。
ステップＳ４６３において、視差画像生成部４４１は、ステップＳ４６２の多重化の結果得られる時間多重化画像をエンコーダ４４２に入力する。
ステップＳ４６４において、エンコーダ４４２の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部４４３に供給する。
ステップＳ４６５において、補助用エンコーダ４５１は、画像変換部１４２からの補助画像の多重化画像と視差画像生成部４４１からの時間多重化画像を、3DV方式で符号化する。補助用エンコーダ４５１は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部４４３に供給する。
ステップＳ４６６において、多重化部４４３は、互換用エンコーダ１５１から供給される互換ストリーム、補助用エンコーダ４５１から供給される補助ストリーム、および補助情報からＴＳを生成して多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
［復号装置の構成例］
図３８は、図３１の符号化装置４４０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
図３８に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３８の復号装置４６０の構成は、主に、分離部１２１、デコーダ１２２、画像生成部１７１の代わりに、デコーダ４６２、画像生成部４６３が設けられている点が図４の構成と異なる。復号装置４６０は、符号化装置４４０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
具体的には、復号装置４６０の分離部４６１は、符号化装置４４０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部４６１は、ＴＳに含まれる互換ストリームと、ＴＳに含まれる補助ストリームを抽出し、デコーダ４６２に供給する。また、分離部４６１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部４６１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
デコーダ４６２は、互換用デコーダ１３１と補助用デコーダ４７１により構成される。デコーダ４６２の補助用デコーダ４７１は、分離部４６１から供給される補助ストリームに含まれる補助画像の多重化画像と時間多重化画像を、図３１の補助用エンコーダ４５１に対応する方式で復号する。補助用デコーダ４７１は、復号の結果得られる補助画像の多重化画像と時間多重化画像を画像生成部４６３に供給する。
画像生成部４６３は、視聴者からの表示指令に応じて画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部４６３は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、および時間多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部４６３は、視差画像情報取得部１２５からの視差画像情報に含まれる互換画像の視差画像と補助画像の視差画像の多重化画像の多重化方式としてフレームシーケンシャル方式を示す情報に基づいて、時間多重化画像から、互換画像の視差画像である視差画像Ａ２’および視差画像Ｂ２’、並びに、補助画像の視差画像の多重化画像を分離する。そして、画像生成部４６３は、視差画像情報に含まれる補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像の多重化画像から、視差画像Ｃ２’と視差画像Ｄ２’を分離する。
さらに、画像生成部４６３は、図４の画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部４６３は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
また、画像生成部４６３は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部４６３は、画像生成部１７１と同様に、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部４６３は、画像生成部１７１と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部４６３は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ４６２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部４６３は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
［復号処理の説明］
図３９は、図３８の復号装置４６０による復号処理を説明するフローチャートである。この復号処理は、例えば、図３１の符号化装置４４０から送信される多重化ストリームが復号装置４６０に入力されたとき、開始される。
図３９のステップＳ４７１において、復号装置４６０の分離部４６１は、符号化装置５０から送信されてくる多重化ストリームを取得し、その多重化ストリームをＴＳごとに分離する。分離部４６１は、ＴＳに含まれる互換ストリームと補助ストリームを抽出し、デコーダ４６２に供給する。また、分離部４６１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部４６１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
ステップＳ４７２において、画像生成部４６３は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ４７２で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ４７３に進む。
ステップＳ４７３において、デコーダ４６２の互換用デコーダ１３１は、分離部４６１から供給される互換ストリームから符号化された互換画像を抽出し、その互換画像をAVC方式に対応する方式で復号する。そして、互換用デコーダ１３１は、復号の結果得られる画像Ａ１を画像生成部４６３に供給する。
ステップＳ４７４において、補助用デコーダ４７１は、補助ストリームから符号化された補助画像の多重化画像と時間多重化画像を抽出し、図３１の補助用エンコーダ４５１に対応する方式で復号する。補助用デコーダ４７１は、復号の結果得られる補助画像の多重化画像と時間多重化画像を画像生成部１２７に供給し、処理をステップＳ４７５に進める。
ステップＳ４７５において、画像情報取得部１２３は、分離部４６１から供給される画像情報を取得し、画像生成部４６３に入力する。ステップＳ４７６において、視点間距離情報取得部１２４は、分離部４６１から供給される視点間距離情報を取得し、画像生成部４６３に入力する。
ステップＳ４７７において、視差画像情報取得部１２５は、分離部４６１から供給される視差画像情報を取得し、画像生成部４６３に入力する。ステップＳ４７８において、互換情報取得部１２６は、分離部４６１から供給される互換情報を取得し、画像生成部４６３に供給する。
ステップＳ４７９において、画像生成部４６３は、視点間距離情報取得部１２４からの視点間距離情報と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。
ステップＳ４８０において、画像生成部４６３は、ステップＳ４７９で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、および時間多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
ステップＳ４８１において、画像生成部４６３は、ステップＳ４８０で生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換し、変換後の各視点の画像を視点の位置に基づいて合成する。
ステップＳ４８２において、画像生成部４６３は、ステップＳ４８１の処理により得られる合成後の多視点の画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。
一方、ステップ４７２で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ４８３に進む。
ステップＳ４８３において、デコーダ４６２の互換用デコーダ１３１は、分離部４６１から供給される互換ストリームから符号化された互換画像の多重化画像を抽出し、AVC方式に対応する方式で復号する。互換用デコーダ１３１は、復号の結果得られる互換画像の多重化画像を画像生成部４６３に供給する。
ステップＳ４８４において、画像情報取得部１２３は、分離部４６１から供給される画像情報を画像生成部４６３に入力する。
ステップＳ４８５において、画像生成部４６３は、画像情報取得部１２３から供給される画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換用デコーダ１３１による復号の結果得られる互換画像の多重化画像を分離する。
ステップＳ４８６において、画像生成部４６３は、分離された互換画像の解像度の半分の解像度の互換画像である画像Ａ２および画像Ｂ２を、交互に図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
なお、復号装置４６０との互換性を有する互換ストリームのみを復号可能な復号装置では、補助ストリームが無視され、ステップＳ４８３，Ｓ４８５、およびＳ４８６の処理が行われる。但し、この場合、ステップＳ４８５の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
［ベースバンドのデータ伝送］
上述した図３８の復号装置４６０において、点線Ｌ４の左側（分離部４６１およびデコーダ４６２）を再生装置として構成し、点線Ｌ３の右側（画像生成部４６３）を表示装置として構成したとき、その再生装置と表示装置は、それぞれ、上述した再生装置３０１、再生装置３０２と同様に構成される。
＜４．第４の実施の形態＞
［符号化装置の構成例］
図４０は、本技術を適用した伝送システムの第４の実施の形態で伝送される３Ｄ画像を符号化する符号化装置の構成例を示すブロック図である。
図４０に示す構成のうち、図３１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図４０の符号化装置４８０の構成は、主に、視差画像生成部１４３、エンコーダ１４５、視差画像情報生成部５７の代わりに視差画像生成部４８１、エンコーダ４８２、視差画像情報生成部４８３が設けられている点が図３１の構成と異なる。符号化装置４８０は、互換画像に共通の視差値を表す共通視差画像と補助画像の共通視差画像を符号化する。
具体的には、符号化装置４８０の視差画像生成部４８１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２と画像Ｂ２の間の各画素の視差を検出し、画像Ｃ２と画像Ｄ２の間の各画素の視差を検出する。視差画像生成部４８１は、画像Ａ２と画像Ｂ２の間の各画素の視差を表す視差値からなる視差画像を、互換画像の共通視差画像ＡＢ２’として生成し、エンコーダ４８２に供給する。また、視差画像生成部４８１は、画像Ｃ２と画像Ｄ２の間の各画素の視差を表す視差値からなる視差画像を、補助画像の共通視差画像ＣＤ２’として生成し、エンコーダ４８２に供給する。
また、視差画像生成部４８１は、互換画像および補助画像の視差画像が共通視差画像であることを示す情報を視差画像情報生成部４８３に供給する。
エンコーダ４８２は、互換用エンコーダ１５１と補助用エンコーダ４９１により構成される。補助用エンコーダ４９１は、画像変換部１４２からの補助画像の多重化画像、並びに視差画像生成部４８１からの互換画像の共通視差画像ＡＢ２’および補助画像の共通視差画像ＣＤ２’を3DV方式で符号化する。補助用エンコーダ４９１は、その結果得られる符号化ストリームを補助ストリームとして多重化部４４３に供給する。
視差画像情報生成部４８３は、視差画像生成部５３から供給される情報に基づいて、互換画像と補助画像の視差画像が共通視差画像であることを示す情報などを、視差画像情報として生成し、多重化部４４３に供給する。
［符号化装置の処理の説明］
図４１および図４２は、図４０の符号化装置４８０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
図４１のステップＳ４９１乃至Ｓ４９８の処理は、図３６のステップＳ４５１乃至Ｓ４５８の処理と同様であるので、説明は省略する。
図４２のステップＳ４９９において、視差画像生成部４８１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２と画像Ｂ２間の各画素の視差と、画像Ｃ２と画像Ｄ２の各画素の視差を検出する。そして、視差画像生成部４８１は、画像Ａ２と画像Ｂ２の間の各画素の視差を表す視差値からなる共通視差画像ＡＢ２’と、画像Ｃ２と画像Ｄ２の間の各画素の視差を表す視差値からなる共通視差画像ＣＤ２’を生成する。
ステップＳ５００において、視差画像情報生成部４８３は、視差画像生成部４８１から供給される情報に基づいて、互換画像と補助画像の視差画像が共通視差画像であることを示す情報などを、視差画像情報として生成し、多重化部４４３に入力する。
ステップＳ５０１において、視差画像生成部４８１は、ステップＳ４９９で生成された補助画像の共通視差画像ＣＤ２’と互換画像の共通視差画像ＡＢ２’をエンコーダ４８２に入力する。
ステップＳ５０２において、エンコーダ４８２の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部４４３に供給する。
ステップＳ５０３において、補助用エンコーダ４９１は、画像変換部１４２からの補助画像の多重化画像、並びに、視差画像生成部４８１からの互換画像の共通視差画像、および補助画像の共通視差画像を3DV方式で符号化する。補助用エンコーダ４９１は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部４４３に供給する。
ステップＳ５０４において、多重化部４４３は、互換用エンコーダ１５１から供給される互換ストリーム、補助用エンコーダ４９１から供給される補助ストリーム、および補助情報からＴＳを生成して多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
［復号装置の構成例］
図４３は、図４０の符号化装置４８０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
図４３に示す構成のうち、図３８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図４３の復号装置５００の構成は、主に、デコーダ１２２、画像生成部１７１の代わりに、デコーダ５０１、画像生成部５０２が設けられている点が図３８の構成と異なる。復号装置５００は、符号化装置４８０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
具体的には、復号装置５００のデコーダ５０１は、互換用デコーダ１３１と補助用デコーダ５１１により構成される。デコーダ５０１の補助用デコーダ５１１は、分離部４６１から供給される補助ストリームに含まれる補助画像の多重化画像、互換画像の共通視差画像ＡＢ２’、および補助画像の共通視差画像ＣＤ２’を、図４０の補助用エンコーダ４９１に対応する方式で復号する。補助用デコーダ５１１は、復号の結果得られる補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を画像生成部５０２に供給する。
画像生成部５０２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部５０２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部５０２は、視差画像情報取得部１２５からの視差画像情報に含まれる互換画像と補助画像の視差画像が共通視差画像であることを示す情報に基づいて、共通視差画像ＡＢ２’と共通視差画像ＣＤ２’をそのままにする。
また、画像生成部５０２は、図３の画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。さらに、画像生成部５０２は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
また、画像生成部５０２は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部５０２は、各互換画像、各補助画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部５０２は、画像生成部１７１と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部５０２は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ５０１から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部５０２は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
［復号装置の処理の説明］
図４４は、図４３の復号装置５００による復号処理を説明するフローチャートである。この復号処理は、例えば、図４０の符号化装置４８０から送信される多重化ストリームが復号装置５００に入力されたとき、開始される。
図４４のステップＳ５１１乃至Ｓ５１３の処理は、図３９のステップＳ４７１乃至Ｓ４７３の処理と同様であるので、説明は省略する。
ステップＳ５１４において、補助用デコーダ５１１は、補助ストリームから符号化された補助画像の多重化画像、互換画像の共通視差画像ＡＢ２’、および補助画像の共通視差画像ＣＤ２’を抽出し、図４０の補助用エンコーダ４９１における符号化方式に対応する方式で復号する。補助用デコーダ５１１は、復号の結果得られる補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を画像生成部５０２に供給する。
ステップＳ５１５乃至Ｓ５１９の処理は、図３９のステップＳ４７５乃至Ｓ４７９の処理と同様であるので、説明は省略する。
ステップＳ５１９の処理後、ステップＳ５２０において、画像生成部５０２は、ステップＳ５１９で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２'を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
ステップＳ５２１乃至Ｓ５２６の処理は、図３９のステップＳ４８１乃至Ｓ４８６の処理と同様であるので、説明は省略する。
［ベースバンドのデータ伝送］
上述した図４３の復号装置５００において、点線Ｌ５の左側（分離部４６１およびデコーダ５０１）を再生装置として構成し、点線Ｌ３の右側（画像生成部５０２）を表示装置として構成したとき、その再生装置と表示装置は、それぞれ、上述した再生装置３０１、再生装置３０２と同様に構成される。
なお、符号化装置４４０および符号化装置４８０は、符号化装置１４０と同様に２視点の互換画像を多重化して符号化したが、図５の符号化装置１８０と同様に２視点の互換画像を多重化せずに符号化するようにしてもよい。また、符号化装置４４０および符号化装置４８０は、図１の符号化装置５０と同様に、１視点の互換画像を符号化するようにしてもよい。
また、符号化装置１４０と符号化装置１８０は、互換画像と補助画像の視差画像を多重化せずに符号化するようにしてもよい。さらに、符号化装置５０は、補助画像の視差画像を多重化せずに符号化するようにしてもよい。
＜符号化対象の多重化パターンの例＞
図４５は、互換画像の視点数が２であり、補助画像の視点数が２である場合の、符号化対象の多重化パターンの例を示す図である。
図４５の（１）に示すように、図３の符号化装置１４０は、互換画像である画像Ａ２と画像Ｂ２を空間方向に多重化し、AVC方式で符号化する。また、符号化装置１４０は、補助画像である画像Ｃ２と画像Ｄ２、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’、並びに、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’をそれぞれ空間方向に多重化して、MVC方式に準ずる3DV方式で符号化する。
なお、符号化装置１４０は、図４５の（２）に示すように、視差画像Ａ２’乃至Ｄ２’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。さらに、図４５の（３）に示すように、図４０の符号化装置４８０は、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’の代わりに、共通視差画像ＡＢ２’を符号化し、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’の代わりに、共通視差画像ＣＤ２’を符号化する。
また、図４５の（４）に示すように、図３１の符号化装置４４０は、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’を空間方向に多重化せず、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化する。
さらに、図４５の（５）に示すように、図５の符号化装置１８０は、互換画像である画像Ａ２と画像Ｂ２を多重化せずに、画像Ａ２をAVC方式で符号化し、画像Ｂ２を、画像Ａ２をベースビューとしたMVC方式で符号化する。また、符号化装置１８０は、補助画像である画像Ｃ２と画像Ｄ２、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’、並びに、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’をそれぞれ空間方向に多重化し、MVC方式に準ずる3DV方式で符号化する。
なお、符号化装置１８０は、図４５の（６）に示すように、視差画像Ａ２’乃至Ｄ２’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。また、符号化装置１８０は、図４５の（７）に示すように、符号化装置４８０と同様に、視差画像Ａ２’と視差画像Ｂ２’の代わりに共通視差画像ＡＢ２’を符号化し、視差画像Ｃ２’と視差画像Ｄ２’の代わりに共通視差画像ＣＤ２’を符号化するようにしてもよい。
さらに、符号化装置１８０は、図４５の（８）に示すように、符号化装置４４０と同様に、視差画像Ａ２’と視差画像Ｂ２’を空間方向に多重化せず、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化するようにすることもできる。
図４６は、図４５の（１）乃至（８）に示した多重化パターンでの多重化による効果の特徴を示す図である。
図４６の表では、効果の項目「互換性」、「画質」、および「データ量」が設けられ、図４５の（１）乃至（８）に示した多重化パターンにおける各項目の効果の度合が表されている。なお、図４６の表において、丸は、効果があることを表し、二重丸は、顕著な効果があることを表す。
図４５の（１）に示した多重化パターンで多重化が行われる場合、互換画像の多重化方式および符号化方式が既存の方式と同一となり、互換性が確保される。また、視差画像が、互換画像と同様に空間方向に多重化されるので、例えば、復号装置側に用意されている互換画像を分離する分離部を用いて視差画像を分離することができる。従って、復号装置側で視差画像を分離できることが保証される。よって、この場合、互換性において顕著な効果があり、図４６の項目「互換性」に対応して二重丸が記述されている。
また、図４５の（２）に示した多重化パターンで多重化が行われる場合、互換画像の多重化方式および符号化方式が既存の方式と同一となり、互換性が確保される。また、視差画像の解像度が多重化前の画像と同一の解像度であるので精度が高い。その結果、復号装置において、視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と、視差画像を用いて生成される画像の画質とにおいて効果があり、図４６の項目「互換性」と「画質」に対応して丸が記述されている。
さらに、図４５の（３）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、多重化前の画像と同一の解像度の互換画像および補助画像の視差画像のデータ量が、2視点分の視差画像のデータ量に削減される。従って、この場合、互換性とデータ量において効果があり、図４６の項目「互換性」と「データ量」に対応して丸が記述されている。
また、図４５の（４）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、視差画像が時間方向に多重化されるので、各時刻における視差画像のデータ量が、図４５の（３）の場合に比べてより削減され、伝送可能なデータ量が増加する。従って、多重化前の画像と同一の解像度の視差画像を伝送可能なほど伝送帯域に余裕がない状況であっても、多重化前の画像と同一の解像度の視差画像を伝送することができるので、復号装置において、視差画像を用いて生成される所定の視点の画像の精度が向上する。よって、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、データ量において顕著な効果がある。従って、図４６の項目「互換性」と「画質」に対応して丸が記述され、「データ量」に対応して二重丸が記述されている。
図４５の（１）乃至（４）に示した多重化パターンでの多重化は、例えば、放送、ATSC（Advanced Television Systems Committee）2.0規格等に準拠したＩＰ（Internet Protocol）と融合した放送である次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。
さらに、図４５の（５）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、各視差画像の解像度が画像の解像度の半分であるので、互換画像および補助画像の視差画像のデータ量が、2視点分の視差画像のデータ量に削減される。従って、この場合、互換性とデータ量に効果があり、図４６の項目「互換性」と「データ量」に対応して丸が記述されている。
また、図４５の（６）に示した多重化パターンで多重化が行われる場合、図４５の（２）と同様に、互換性が確保されるとともに、復号装置において視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、図４６の項目「互換性」と「画質」に対応して丸が記述されている。
また、図４５の（７）に示した多重化パターンで多重化が行われる場合、図４５の（３）と同様に、互換性が確保されるとともに、視差画像のデータ量が削減される。従って、この場合、互換性とデータ量に効果があり、図４６の項目「互換性」と「データ量」に対応して丸が記述されている。
図４５の（８）に示した多重化パターンで多重化が行われる場合、図４５の（４）と同様に、互換性が確保される。また、図４５の（４）と同様に、各時刻における視差画像のデータ量が、図４５の（７）の場合に比べてより削減され、その結果、復号装置において視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、データ量において顕著な効果がある。よって、図４６の項目「互換性」と「画質」に対応して丸が記述され、「データ量」に対応して二重丸が記述されている。
また、図４５の（５）、（７）、および（８）に示した多重化パターンでの多重化は、例えば、ＢＤ、放送、次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。さらに、図４５の（６）に示した多重化パターンでの多重化は、例えば、ＢＤ、次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。
図４７は、互換画像の視点数が１であり、補助画像の視点数が２である場合の、符号化対象の多重化パターンの例を示す図である。
図４７の（１）に示すように、図１の符号化装置５０は、互換画像である画像Ａ１をAVC方式で符号化する。また、符号化装置５０は、補助画像である画像Ｂ１と画像Ｃ１、および、補助画像の視差画像である視差画像Ｂ１’と視差画像Ｃ１’をそれぞれ時間方向に多重化する。そして、符号化装置５０は、互換画像の視差画像である視差画像Ａ１’、補助画像の多重化画像、および補助画像の視差画像の多重化画像を、MVC方式に準ずる3DV方式で符号化する。
なお、符号化装置５０は、図４７の（２）に示すように、視差画像Ａ１’乃至Ｃ１’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。また、図４７の（３）に示すように、符号化装置５０は、符号化装置４８０と同様に、補助画像の視差画像の多重化画像の代わりに、補助画像である画像Ｂと画像Ｃの共通視差画像ＢＣ１’を符号化するようにすることもできる。
さらに、図４７の（４）に示すように、符号化装置５０は、符号化装置４４０と同様に、視差画像Ｂ１’と視差画像Ｃ１’を空間方向に多重化せず、視差画像Ａ１’乃至視差画像Ｃ１’をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化するようにすることもできる。
なお、図４７の（１）乃至（４）に示した多重化パターンでの多重化による効果、および、その多重化パターンでの多重化を行うときの符号化対象は、それぞれ、図４５の（５）乃至（８）に示した多重化パターンでの多重化による効果および符号化対象と同様である。但し、図４７の（１）に示した多重化パターンでの多重化では、互換画像の視差画像の解像度は互換画像と同一であるので、この多重化による効果としての視差画像のデータ量の削減は、補助画像の視差画像についてのみの効果である。
図４８は、互換画像の視点数が２であり、補助画像の視点数が０である場合の、符号化対象の多重化パターンの例を示す図である。
互換画像の視点数が２であり、補助画像の視点数が０である場合、図４８の（１）に示すように、図３の符号化装置１４０の場合と同様に、互換画像である画像Ａ２と画像Ｂ２が空間方向に多重化されて、AVC方式で符号化される。また、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’が空間方向に多重化されて、AVC方式に準ずる3DV方式で符号化される。
なお、図４８の（２）に示すように、視差画像Ａ２’と視差画像Ｂ２’は多重化されず、MVC方式に準ずる3DV方式で符号化されるようにしてもよい。また、図４８の（３）に示すように、符号化装置４８０の場合と同様に、視差画像Ａ２’と視差画像Ｂ２’の代わりに共通視差画像ＡＢ２’が符号化されるようにすることもできる。
また、図４８の（４）に示すように、符号化装置４４０の場合と同様に、視差画像Ａ２’と視差画像Ｂ２’が、時間方向に多重化されるのではなく、フレームシーケンシャル方式で多重化され、符号化されるようにすることもできる。
さらに、図４８の（５）に示すように、符号化装置１８０の場合と同様に、互換画像である画像Ａ２と画像Ｂ２が多重化されずに、画像Ａ２がAVC方式で符号化されるとともに、画像Ｂ２が、画像Ａ２をベースビューとしたMVC方式で符号化されるようにすることもできる。
また、この場合、図４８の（６）に示すように、図４８の（２）と同様に、視差画像が多重化されずに符号化されたり、図４８の（７）に示すように、図４８の（３）と同様に、共通視差画像ＡＢ２’が符号化されたりするようにすることもできる。また、図４８の（８）に示すように、図４８の（４）と同様に、互換画像の視差画像がフレームシーケンシャル方式で多重化され、符号化されるようにすることもできる。
なお、図４７の（１）乃至（８）に示した多重化パターンでの多重化による効果、および、その多重化パターンでの多重化を行うときの符号化対象は、それぞれ、図４５の（１）乃至（８）に示した多重化パターンでの多重化による効果および符号化対象と同一である。
また、上述した説明では、フレームシーケンシャル方式で多重化される視差画像の解像度は、多重化前の画像と同一の解像度であったが、多重化前の画像の解像度より低下させるようにしてもよい。また、補助画像も、視差画像と同様にフレームシーケンシャル方式で多重化されるようにしてもよい。
さらに、上述した説明では、符号化装置において、画像の多重化方式を示す情報と視差画像の多重化方式を示す情報が伝送されたが、図４５、図４７、および図４８に示した多重化パターンを識別する情報を伝送するようにしてもよい。
また、符号化装置は、符号化対象の画像に対応するアプリケーションを識別するフラグを伝送するようにしてもよい。
＜５．第５の実施の形態＞
［符号化装置の構成例］
図４９は、本技術を適用した伝送システムの第５の実施の形態で伝送される３Ｄ画像を符号化する符号化装置の構成例を示すブロック図である。
図４９に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図４９の符号化装置５２０の構成は、主に、エンコーダ１４５、多重化部４４３の代わりにエンコーダ５２３、伝送部５２４が設けられている点、および、多重化部５２１と多重化情報生成部５２２が新たに設けられている点が図３の構成と異なる。
符号化装置５２０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、符号化する。
具体的には、符号化装置５２０の多重化部５２１は、画像変換部１４２による多重化の結果得られる互換画像および補助画像の多重化画像、並びに、視差画像生成部１４３による多重化の結果得られる互換画像および補助画像の視差画像の多重化画像を、フレームシーケンシャル方式で多重化する。
そして、多重化部５２１は、多重化の結果得られる、１フレーム時間内に、互換画像の多重化画像、互換画像の視差画像の多重化画像、補助画像の多重化画像、および補助画像の視差画像の多重化画像が順に存在する多重化画像を、時間方向多重化画像としてエンコーダ５２３に供給する。
また、多重化部５２１は、互換画像および補助画像の多重化画像、並びに、互換画像および補助画像の視差画像の多重化画像が、フレームシーケンシャル方式で多重化されていること、時間多重化画像内の画像の配置順等を示す情報を、多重化情報生成部５２２およびエンコーダ５２３に供給する。
多重化情報生成部５２２は、多重化部５２１から供給される情報に基づいて、その情報などを、互換画像および補助画像、並びに、互換画像および補助画像の視差画像の多重化に関する全体多重化情報として生成し、伝送部５２４に供給する。
エンコーダ５２３は、互換用エンコーダ５３１と補助用エンコーダ５３２により構成される。エンコーダ５２３は、多重化部５２１から供給される情報に基づいて、多重化部５２１から供給される時間多重化画像のうちの、互換画像の多重化画像を互換用エンコーダ５３１に供給する。また、エンコーダ５２３は、多重化部５２１から供給される情報に基づいて、時間多重化画像のうちの補助画像の多重化画像並びに互換画像および補助画像の視差画像の多重化画像を、補助用エンコーダ５３２に供給する。
エンコーダ５２３の互換用エンコーダ５３１は、時間多重化画像のうちの、互換画像の多重化画像を既存のAVC方式で符号化する。補助用エンコーダ５３２は、時間多重化画像のうちの補助画像の多重化画像並びに互換画像および補助画像の視差画像の多重化画像を、3DV方式で符号化する。このとき、補助画像の多重化画像は、互換画像の多重化画像を参照して符号化され、補助画像の視差画像の多重化画像は、互換画像の視差画像の多重化画像を参照して符号化される。
エンコーダ５２３は、互換用エンコーダ５３１または補助用エンコーダ５３２で符号化された結果得られる時間多重化画像の符号化データからなるビットストリームを伝送部５２４に供給する。
伝送部５２４は、エンコーダ５２３から供給されるビットストリーム、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部１４４からの視点間距離情報、視差画像情報生成部５７からの視差画像情報、多重化情報生成部５２２からの全体多重化情報などを用いて、ＴＳを生成する。多重化部４４３は、生成されたＴＳを送信する。
［符号化装置の処理の説明］
図５０および図５１は、図４９の符号化装置５２０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
図５０のステップＳ５３１乃至Ｓ５３７の処理は、図３６のステップＳ４５１乃至Ｓ４５７の処理と同様であるので、説明は省略する。
ステップＳ５３７の処理後、ステップＳ５３８において、画像変換部１４２は、互換画像の多重化画像と補助画像の多重化画像を多重化部５２１に入力し、処理を図５１のステップＳ５３９に進める。
図５１のステップＳ５３９において、視差画像生成部１４３は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて画像Ａ２乃至画像Ｄ２の各画素の視差を検出し、視差画像Ａ２’乃至視差画像Ｄ２’を生成する。
ステップＳ５４０において、視差画像生成部１４３は、互換画像の視差画像と補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
ステップＳ５４１において、視差画像情報生成部５７は、視差画像生成部１４３から供給される情報に基づいて、互換画像の視差画像と補助画像の視差画像の多重化方式を示す情報などを、視差画像情報として生成し、伝送部５２４に入力する。
ステップＳ５４２において、視差画像生成部１４３は、ステップＳ５４０で決定された互換画像の視差画像の多重化方式に基づいて、互換画像の視差画像Ａ２’と視差画像Ｂ２’を多重化し、補助画像の視差画像の多重化方式に基づいて補助画像の視差画像Ｃ２’と視差画像Ｄ２’を多重化する。
ステップＳ５４３の処理後、ステップＳ５４４において、多重化部５２１は、画像変換部１４２による多重化の結果得られる互換画像および補助画像の多重化画像、並びに、視差画像生成部１４３による多重化の結果得られる互換画像および補助画像の視差画像の多重化画像を、フレームシーケンシャル方式で多重化する。多重化部５２１は、多重化の結果得られる多重化画像を、時間方向多重化画像としてエンコーダ５２３に供給する。
また、多重化部５２１は、互換画像および補助画像の多重化画像並びに視差画像の多重化画像がフレームシーケンシャル方式で多重化されていること、時間多重化画像内の画像の配置順等を示す情報を、多重化情報生成部５２２およびエンコーダ５２３に供給する。
ステップＳ５４５において、多重化情報生成部５２２は、多重化部５２１から供給される情報に基づいて、その情報などを全体多重化情報として生成し、伝送部５２４に入力する。
ステップＳ５４６において、互換用エンコーダ５３１は、エンコーダ５２３によって多重化部５２１からの情報に基づいて入力される、時間多重化画像のうちの互換画像の多重化画像を既存のAVC方式で符号化する。
ステップＳ５４７において、補助用エンコーダ５３２は、エンコーダ５２３によって多重化部５２１からの情報に基づいて入力される、時間多重化画像のうちの補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を、3DV方式で符号化する。エンコーダ５２３は、ステップＳ５４６およびＳ５４７の符号化の結果得られる時間多重化画像の符号化データからなるビットストリームを伝送部５２４に供給する。
ステップＳ５４８において、伝送部５２４は、エンコーダ５２３からのビットストリーム、補助情報、および多重化情報生成部５２２からの全体多重化情報からＴＳを生成し、送信する。このＴＳは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
以上のように、符号化装置５２０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データから１本のビットストリームを生成する。従って、1本のビットストリームのみを復号可能なデコーダを有する復号装置において、符号化装置５２０により生成されたビットストリームを復号することができる。
なお、上述した説明では、互換画像の視差画像、補助画像、および補助画像の視差画像が、互換画像の符号化方式に準ずる3DV方式で符号化されるものとしたが、互換画像の符号化方式に準じないMPEG2（Moving Picture Experts Group phase 2）方式等で符号化されるようにしてもよい。
［復号装置の構成例］
図５２は、図４９の符号化装置５２０から送信されるＴＳを復号する復号装置の構成例を示す図である。
図５２に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図５２の復号装置５４０の構成は、主に、分離部１２１、デコーダ１２２、画像生成部１７１の代わりに受信部５４１、デコーダ５４２、画像生成部５４４が設けられている点、および、多重化情報取得部５４３が新たに設けられている点が図４の構成と異なる。復号装置５４０は、符号化装置５２０から送信されるＴＳに含まれる時間多重化画像のビットストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
具体的には、復号装置５４０の受信部５４１は、符号化装置５２０から送信されてくるＴＳを受信する。受信部５４１は、ＴＳに含まれる時間多重化画像のビットストリームを抽出し、デコーダ５４２に供給する。また、受信部５４１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、受信部５４１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、受信部５４１は、ＴＳに含まれる全体多重化情報を抽出し、多重化情報取得部５４３に供給する。
デコーダ５４２は、互換用デコーダ５５１と補助用デコーダ５５２により構成される。デコーダ５４２の互換用デコーダ５５１は、受信部５４１から供給されるビットストリームに含まれる互換画像の多重化画像の符号化データをAVC方式に対応する方式で復号し、画像生成部５４４に供給する。
補助用デコーダ５５２は、受信部５４１から供給されるビットストリームに含まれる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データを、図４９の補助用エンコーダ５３２における符号化方式に対応する方式で復号する。補助用デコーダ５５２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を画像生成部５４４に供給する。
多重化情報取得部５４３は、受信部５４１から供給される全体多重化情報を取得し、画像生成部５４４に供給する。
画像生成部５４４は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部５４４は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報、多重化情報取得部５４３からの全体多重化情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部５４４は、多重化情報取得部５４３からの全体多重化情報に基づいて、補助用デコーダ５５２から供給される補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を識別する。また、画像生成部５４４は、図４の画像生成部１７１と同様に、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部５４４は、画像生成部１７１と同様に、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。
さらに、画像生成部５４４は、画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部５４４は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
また、画像生成部５４４は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部５４４は、画像生成部１７１と同様に、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部５４４は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部５４４は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ５４２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部５４４は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
［復号装置の処理の説明］
図５３は、図５２の復号装置５４０による復号処理を説明するフローチャートである。この復号処理は、例えば、図４９の符号化装置５２０から送信されるＴＳが復号装置５４０に入力されたとき、開始される。
図５３のステップＳ５５１において、復号装置５４０の受信部５４１は、符号化装置５２０から送信されてくるＴＳを受信する。受信部５４１は、ＴＳに含まれるビットストリームを抽出し、デコーダ５４２に供給する。また、受信部５４１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、受信部５４１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、受信部５４１は、ＴＳに含まれる全体多重化情報を抽出し、多重化情報取得部５４３に供給する。
ステップＳ５５２において、画像生成部５４４は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ５５２で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ５５３に進む。
ステップＳ５５３において、デコーダ５４２の互換用デコーダ５５１は、受信部５４１から供給されるビットストリームから互換画像の多重化画像の符号化データを抽出し、AVC方式に対応する方式で復号する。そして、互換用デコーダ５５１は、復号の結果得られる互換画像の多重化画像を画像生成部５４４に供給する。
ステップＳ５５４において、補助用デコーダ５５２は、受信部５４１から供給されるビットストリームから補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データを抽出し、図４９の補助用エンコーダ５３２に対応する方式で復号する。補助用デコーダ５５２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を画像生成部５４４に供給し、処理をステップＳ５５５に進める。
ステップＳ５５５乃至Ｓ５５８の処理は、図３９のステップＳ４７５乃至Ｓ４７８の処理と同様であるので、説明は省略する。
ステップＳ５５８の処理後、ステップＳ５５９において、多重化情報取得部５４３は、受信部５４１から供給される全体多重化情報を取得し、画像生成部５４４に入力する。
ステップＳ５６０において、画像生成部５４４は、視点間距離情報取得部１２４からの視点間距離情報と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。
ステップＳ５６１において、画像生成部５４４は、ステップＳ５６０で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報、多重化情報取得部５４３からの全体多重化情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。そして、処理はステップＳ５６２に進む。
ステップＳ５６２乃至Ｓ５６７の処理は、図３９のステップＳ４８１乃至Ｓ４８６の処理と同様であるので、説明は省略する。但し、ステップＳ５６４の処理では、互換用デコーダ５５１は、互換ストリームではなく、受信部５４１から供給されるビットストリームから互換画像の多重化画像を抽出する。
なお、復号装置５４０との互換性を有する互換画像のみを復号可能な復号装置では、処理可能な互換画像の符号化データ以外の符号化データが無視され、ステップＳ５６４，Ｓ５６６、およびＳ５６７の処理が行われる。但し、この場合、ステップＳ５６６の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
以上のように、復号装置５４０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データから生成された１本のビットストリームを復号することができる。
［ベースバンドのデータ伝送］
上述した図５２の復号装置５４０において、点線Ｌ５の左側（受信部５４１およびデコーダ５４２）を再生装置として構成し、点線Ｌ５の右側（画像生成部５４４）を表示装置として構成したとき、その再生装置と表示装置は、それぞれ、上述した再生装置３０１、再生装置３０２と同様に構成される。
＜６．本実施の形態におけるビットストリーム＞
［ビットストリームの構成例］
図５４は、本実施の形態で生成されるアクセスユニット単位のビットストリーム（符号化ストリーム）の構成例を示す図である。
なお、図５４の例では、互換画像が1920×1080画素のＬ画像とＲ画像であり、補助画像が1920×1080画素のＯ画像である。また、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のサイズは、960×1080画素である。さらに、Ｌ画像はAVC方式で符号化され、Ｒ画像はMVC方式で符号化され、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像は3DV方式で符号化される。また、Ｌ画像、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、Ｏ視差画像のビューＩＤは、それぞれ、0,1,2,3,4,5である。なお、ビューＩＤとは、各視点の画像および視差画像に固有のＩＤである。
図５４に示すように、アクセスユニット単位のビットストリームには、例えば、先頭から順に、アクセスユニットデリミタ(AUD)，SPS（Sequence Parameter Set）、画像用のMVC方式のSubset SPS（SubsetSPS1）、視差画像用の3DV方式のSubset SPS（Subset SPS2）,PPS（Picture Parameter Set）,AVC方式のSEI,MVC方式のSEI,3DV方式のSEI、符号化データのNAL(Network Abstraction Layer)ユニットが配置される。
アクセスユニットデリミタのNALユニットは、アクセスユニットの境界を表すNALユニットである。SPSのNALユニットは、AVC方式で定義されるプロファイルのうちのＬ画像のプロファイルを表すprofile_idc（図５４の例では100）を含むSPSのNALユニットである。画像用のSubset SPSのNALユニットは、MVC方式で定義されるプロファイルのうちのＲ画像およびＯ画像のプロファイルを表すprofile_idc（図５４の例では128）を含むSubset SPSのNALユニットである。視差画像用のSubset SPSのNALユニットは、3DV方式で視差画像用のプロファイルとして定義されるプロファイルのうちの、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図５４の例では138）を含むSubset SPSのNALユニットである。
AVC方式のSEIのNALユニットは、Ｌ画像のSEIのNALユニットである。MVC方式のSEIのNALユニットは、Ｌ画像とR画像のSEIのNALユニットである。3DV方式のSEIのNALユニットは、Ｌ画像、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のSEIのNALユニットである。
符号化データのNALユニットとしては、先頭から順に、Ｌ画像の符号化データ、デリミタ（MVC DD）、Ｒ画像の符号化データ、デリミタ（3DV DD）、O画像の符号化データ、デリミタ（3DV DD）、Ｌ視差画像の符号化データ、デリミタ（3DV DD）、Ｒ視差画像の符号化データ、デリミタ（3DV DD）、Ｏ視差画像の符号化データのNALユニットが配置される。
Ｌ画像の符号化データのNALユニットには、NALユニットのタイプとしてAVC方式のピクチャであることを表す1または5を含むNALヘッダが付加される。また、デリミタ（MVC DD）のNALユニットは、MVC方式の符号化データの先頭を表すNALユニットである。Ｒ画像の符号化データのNALユニットには、NALユニットのタイプとしてMVC方式の符号化データを表す20を含むNALヘッダが付加される。また、デリミタ（3DV DD）のNALユニットは、3DV方式の符号化データの先頭を表すNALユニットである。また、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データのNALユニットには、NALユニットのタイプとして3DV方式の符号化データを表す21を含むNALヘッダが付加される。
［視差画像用の3DV方式のSubset SPSの記述例］
図５５は、図５４の視差画像用の3DV方式のSubset SPSの記述例を示す図である。
図５５に示すように、視差画像用の3DV方式のSubset SPSには、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図５５の例では138）を含むSPS（seq_parameter_set_data）と、3DV方式で定義されているprofile_idcごとの情報とが記述されている。
具体的には、視差画像用の3DV方式のSubset SPSには、profile_idcが138であるときの情報として、視差画像用拡張情報（seq_parameter_set_depth_extension）、視差画像用VUI拡張情報が含まれるかどうかを表す視差画像用VUI情報フラグ（depth_vui_parameters_present_flag）等が記述される。また、視差画像用VUI情報フラグが、視差画像用VUI拡張情報が含まれることを表す場合には、視差画像用VUI拡張情報（depth_vui_parameters__extension）も記述される。
なお、視差画像用の3DV方式のSubset SPSを復号時に参照する場合、即ち、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像を復号する場合、IDRピクチャの復号時と同様に、参照画像はリセットされる。
図５６は、図５５の視差画像用拡張情報の記述例を示す図である。
図５６に示すように、視差画像用拡張情報は、MVC方式のSubset SPS内の拡張情報（seq_parameter_set_mvc_extension）と同様に記述される情報と、各視差画像に対応する画像のビューＩＤ（ref_view_id）とからなる。
なお、図５６では、MVC方式のSubset SPS内の拡張情報と同様に記述される情報は展開されて視差画像用拡張情報に含められる。従って、各視差画像のビューＩＤ（view_id）と、各視差画像に対応する画像のビューＩＤとを、視差画像ごとにまとめて記述することができる。即ち、視差画像の数を表す情報（num_views_minus1）を記述し、その数だけ、視差画像のビューＩＤと、その視差画像に対応する画像のビューＩＤを読み出させる記述を行うことができる。
これに対して、MVC方式のSubset SPS内の拡張情報と同様に記述される情報が展開されずに視差画像用拡張情報に含められる場合、視差画像用拡張情報のほかに、視差画像の数を表す情報を記述し、その数だけ、視差画像に対応する画像のビューＩＤを読み出させる記述を行う必要がある。その結果、視差画像の数を表す情報の記述と、その数だけ情報を読み出させる記述が重複する。
従って、図５６に示すように、MVC方式のSubset SPS内の拡張情報と同様に記述される情報が展開されて視差画像用拡張情報に含められる場合、その情報が展開されずに視差画像用拡張情報に含められる場合に比べて、視差画像用拡張情報のデータ量を削減することができる。
図５７は、図５５の視差画像用VUI拡張情報の記述例を示す図である。
図５７に示すように、視差画像用VUI拡張情報は、以下の点を除いて、MVC方式のVUI拡張情報（mvc_vui_parameters__extension）と同様に記述される。即ち、視差画像用VUI情報には、視差画像の各画素の、その視差画像に対応する画像上の位置のタイプを表す位置タイプが含まれるかどうかを表す位置タイプフラグ(depth_loc_info_present_flag)と解像度変換前の視差画像のサイズを表す変換前サイズ情報が含まれるかどうかを表す変換前サイズ情報フラグ(video_src_info_present_flag)が含まれる。また、位置タイプフラグが、位置タイプが含まれることを表す場合、視差画像用VUI情報には位置タイプも含まれ、変換前サイズ情報フラグが、変換前サイズ情報が含まれることを表す場合、視差画像用VUI情報には変換前サイズ情報も含まれる。
位置タイプは、トップフィールドの位置タイプ(depth_sample_loc_type_top_field)とボトムフィールドの位置タイプ(depth_sample_loc_type_bottom_field)からなる。トップフィールドおよびボトムフィールドの位置タイプは、それぞれ、MVC方式のVUI拡張情報に含まれるトップフィールドの位置タイプ(chroma_sample_loc_type_top_field)やボトムフィールドの位置タイプ(chroma_sample_loc_type_bottom_field)と同様に記述される。
また、変換前サイズ情報は、解像度変換前の視差画像の横方向のマクロブロック数を表す情報（pic_width_in_mbs_minus1）および縦方向のマクロブロック数を表す情報（pic_height_in_mbs_minus1）、アスペクト比を表すアスペクト情報が含まれるかどうかを表すアスペクト比フラグ(aspect_ratio_info_present_flag)等により構成される。なお、アスペクト比フラグが、アスペクト情報が含まれることを表す場合、変換前サイズ情報にはアスペクト情報も含まれる。
アスペクト情報は、アスペクト比に固有のＩＤであるアスペクト比ＩＤ（aspect_ratio_idc）等からなる。なお、このアスペクト比ＩＤは、予め定義されているアスペクト比に付与されるほか、定義されていないアスペクト比全体に対しても付与される。そして、アスペクト情報に含まれるアスペクト比ＩＤが、定義されていないアスペクト比全体に対して付与されたアスペクト比ＩＤ（Extended_SAR）である場合、アスペクト情報には、解像度変換前の視差画像のアスペクト比における横方向の値（sar_width）と縦方向の値(sar_height)も含まれる。
［3DV方式の符号化データのNALヘッダの記述例］
図５８は、NALユニットタイプとして21を含む、3DV方式の符号化データのNALユニットのNALヘッダの記述例を示す図である。
図５８に示すように、3DV方式の符号化データのNALヘッダには、NALユニットタイプが21であるときの情報として、視差画像用ヘッダ拡張情報が含まれているかどうかを表す視差画像用ヘッダ拡張情報フラグ（depth_extension_flag）等が記述される。ここで、視差画像用ヘッダ拡張情報は、3DV方式の視差画像の符号化データのNALヘッダに記述されるものである。
視差画像用ヘッダ拡張情報フラグが、視差画像用ヘッダ拡張情報が含まれていることを表す場合、3DV方式の符号化データのNALヘッダには、視差画像用ヘッダ拡張情報（nal_unit_header_depth_extension）も記述される。一方、視差画像用ヘッダ拡張情報フラグが、視差画像用ヘッダ拡張情報が含まれていないことを表す場合、3DV方式の符号化データのNALヘッダには、MVC方式用ヘッダ拡張情報（nal_unit_header_mvc_extension）も記述される。
図５９は、図５８の視差画像用ヘッダ拡張情報の記述例を示す図である。
図５９に示すように、視差画像用ヘッダ拡張情報は、視差画像に対応する画像のビューＩＤ（ref_view_id）を含む点を除いて、MVC方式用ヘッダ拡張情報と同様に構成される。
［3DV方式のSEIの記述例］
図６０は、図５４の3DV方式のSEIの記述例を示す図である。
図６０に示すように、3DV方式のSEIは、MVC方式のSEIと同様に、SEIのメッセージが記述される。
即ち、3DV方式のSEIには、オペレーションポイントを指定するかどうかを表すオペレーションポイントフラグ（operation_point_flag）が記述され、オペレーションポイントフラグが、オペレーションポイントを指定しないことを表す場合、アクセスユニット内の全ての画像および視差画像にSEIのメッセージを適応するかどうかを表す全コンポーネントフラグ（all_view_components_in_au_flag）が記述される。また、全コンポーネントフラグが、アクセスユニット内の全ての画像および視差画像に適応しないことを表す場合、SEIのメッセージを適応する画像および視差画像のビューＩＤの数（num_view_components_minus1）とビューＩＤ(sei_view_id)が記述される。
一方、オペレーションポイントフラグが、オペレーションポイントを指定することを表す場合、SEIのメッセージを適応するオペレーションポイントのうちの適応対象の画像および視差画像のビューＩＤ(sei_op_view_id)と、そのオペレーションポイントの番号(sei_op_temporal_id)とが記述される。そして、SEIのメッセージ(sei_rbsp)が記述される。なお、3DV方式のSEIでは、複数のSEIのメッセージを記述することが可能である。
なお、図５４の例では、Ｒ画像とＯ画像のプロファイルが同一であるものとしたが、異なるようにすることもできる。
[ビットストリームの他の構成例]
図６１は、図５４においてＲ画像とＯ画像のプロファイルが異なる場合のアクセスユニット単位のビットストリームの構成例を示す図である。
図６１のビットストリームの構成は、画像用のMVC方式のSubset SPSと視差画像用の3DV方式のSubset SPSのほかに、画像用の3DV方式のSubset SPSが配置される点が、図５４のビットストリームの構成と異なっている。
画像用のMVC方式のSubset SPSのNALユニット（Subset SPS1）は、MVC方式で定義されるプロファイルのうちのＲ画像のプロファイルを表すprofile_idc（図６１の例では128）を含むSubset SPSのNALユニットである。画像用の3DV方式のSubset SPS（Subset SPS2）のNALユニットは、3DV方式で画像用のプロファイルとして定義されるプロファイルのうちのＯ画像のプロファイルを表すprofile_idc（図６１の例では148）を含むSubset SPSのNALユニットである。視差画像用のSubset SPS（Subset SPS3）のNALユニットは、3DV方式で視差画像用のプロファイルとして定義されるプロファイルのうちの、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図６１の例では138）を含むSubset SPSのNALユニットである。
[画像用の3DV方式のSubset SPSの記述例]
図６２は、図６１の画像用の3DV方式のSubset SPSの記述例を示す図である。
図６２に示すように、画像用の3DV方式のSubset SPSは、画像Ｏのプロファイルを表すprofile_idc（図６２の例では148）を含むSPS（seq_parameter_set_data）と、3DV方式で定義されているprofile_idcごとの情報とが記述されている。
具体的には、画像用の3DV方式のSubset SPSには、profile_idcが148であるときの情報として、MVC方式のSubset SPSと同様に、MVC方式の拡張情報（seq_parameter_set_mvc_extension）、MVC方式のVUI拡張情報が含まれるかどうかを表すMVC方式VUI情報フラグ（mvc_vui_parameters_present_flag）等が記述される。また、MVC方式VUI情報フラグが、MVC方式のVUI拡張情報が含まれることを表す場合には、MVC方式のVUI拡張情報（mvc_vui_parameters_extension）も記述される。また、profile_idcが138であるときの情報としては、図５５と同様の情報が記述される。
なお、3DV方式は、AVC方式やMVC方式ではなく、HEVC方式に準じた多視点方式での表示用の画像を符号化するための方式であるようにしてもよい。この場合のビットストリームについて以下に説明する。なお、本明細書では、HEVC方式が、JCTVC（Joint Collaborative Team on Video Coding）のHEVC Working Draft（Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J. Sullivian,“WD3:Working Draft3 of High-Efficiency Video Coding”,JCTVc-E603_d5(version5), 2011年5月20日）の記載に基づくものであるとする。
＜７．3DV方式がHEVC方式に準じた方式である場合のビットストリーム＞
[ビットストリームの構成例]
図６３は、3DV方式がHEVC方式に準じた方式である場合のアクセスユニット単位のビットストリームの構成例を示す図である。
なお、図６３の例では、図５４の例と同様のＬ視点画像、Ｒ視点画像、およびＯ視点画像が符号化対象とされ、Ｌ画像がAVC方式で符号化され、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像が3DV方式で符号化される。
図６３のビットストリームは、画像用の3DV方式のSubset SPS（SubsetSPS1）と視差画像用の3DV方式のSubset SPS（Subset SPS2）をSPS内に記述可能である点、HEVC方式のSEIと3DV方式のSEIのNALユニットに、それぞれ別のNALユニットのタイプを含むNALヘッダが付加される点が、図５４のビットストリームと異なっている。
図６３のビットストリームでは、画像用の3DV方式のSubset SPSと視差画像用の3DV方式のSubset SPSをSPS内にのみ記述させたり、SPSとは別に記述させたり、SPSに記述させるとともにSPSとは別に記述させたりすることができる。なお、画像用の3DV方式のSubset SPSと視差画像用の3DV方式のSubset SPSが、SPSと別に記述されることは、BD規格に準拠して、HEVC方式の符号化データと3DV方式の符号化データを別のES（Elementary Stream）として生成する場合に好適である。
また、図６３のビットストリームでは、HEVC方式のSEIのNALユニットと3DV方式のSEIのNALユニットに付加されるNALヘッダに含まれるNALユニットのタイプが異なるため、復号時にHEVC方式のSEIや3DV方式のSEIのNALユニットを容易に抽出することができる。
[SPSの記述例]
図６４は、図６３のSPSの記述例を示す図である。
図６４のSPSの記述は、Subset SPSの情報が含まれるかどうかを表すSubset SPS情報フラグ（subset_seq_present_flag）が記述される点、および、Subset SPS情報フラグがSubset SPSの情報が含まれることを表す場合にSubset SPSの情報が記述される点を除いて、HEVC方式のSPSの記述と同様である。
図６４に示すように、Subset SPSの情報は、Subset SPSの数(num_subset_seq)と、Subset SPSを含むかどうかを表すSubset SPSフラグ(subset_seq_info_present_flag)を含む。また、Subset SPSフラグが、Subset SPSを含むことを表す場合、Subset SPSの情報には、Subset SPS(subset_seq_parameter_set_data)も含まれる。
以上のように、Subset SPSの情報としてSubset SPSの数が記述されるので、復号時にSPSの記述を読み出すだけで、Subset SPSが存在するかどうかを認識することができる。また、Subset SPSフラグが記述されるので、Subset SPSをSPS内に記述せずにSPSとは別に記述することができ、Subset SPSの記述の重複を防止することができる。
[Subset SPSの記述例]
図６５は、図６４のSubset SPSの記述例を示す図である。
図６５のSubset SPSの記述は、Subset SPSを適応する画像および視差画像のビューＩＤの数（num_subset_seq_views）、Subset SPSの適応対象が視差画像であるかどうかを表す視差画像用フラグ（depth_extension_flag）、およびSubset SPSの適応時にSPSを無効にするかどうかを表す無効フラグ（seq_param_override_flag）が記述される点を除いて、HEVC方式のSPSの記述と同様である。
視差画像用フラグが、Subset SPSの適応対象が視差画像であることを表す場合、Subset SPSには、適応対象の視差画像に対応する画像のビューＩＤ（ref_view_id）が記述される。また、無効フラグが、Subset SPSの適応時にSPSを無効にすることを表す場合、Subset SPSには、SPSと同様に、プロファイルを表す情報(subset_seq_profile_idc)等が記述される。
また、Subset SPSの記述のうちのSPSの記述と同様の記述としては、例えば、適応する画像および視差画像がクロッピングされているかどうかを表す情報（subset_seq_frame_cropping_flag）、VUI情報（subset_seq_vui_parameters）を含むかどうかを表すVUI情報フラグ（subset_seq_vui_parameters_present_flag）等がある。VUI情報フラグがVUI情報を含むことを表す場合、SPSと同様にVUI情報も記述される。一方、VUI情報フラグがVUI情報を含まないことを表す場合、SPSと同様にVUI情報が記述されない。この場合、VUI情報としてはSPSのVUI情報が適応される。
[Subset SPSのVUI情報の記述例]
図６６は、図６５のSubset SPSのVUI情報の記述例を示す図である。
図６６のSubset SPSのVUI情報の記述は、適応対象の変換前サイズ情報が含まれるかどうかを表す変換前サイズ情報フラグ(video_src_info_present_flag)が記述される点を除いて、HEVC方式のSPSのVUI情報の記述と同様である。
なお、変換前サイズ情報フラグが適応対象の変換前サイズ情報が含まれることを表す場合、図６６のVUI情報には、変換前サイズ情報が記述される。即ち、解像度変換前の適応対象の横方向のマクロブロック数を表す情報（src_pic_width_in_mbs_minus1）および縦方向のマクロブロック数を表す情報（src_pic_height_in_mbs_minus1）、アスペクト比を表すアスペクト情報が含まれるかどうかを表すアスペクト比フラグ(src_aspect_ratio_info_present_flag)等が記述される。
そして、アスペクト比フラグが、アスペクト情報が含まれることを表す場合、変換前サイズ情報には、アスペクト比ＩＤ（src_aspect_ratio_idc）等からなるアスペクト情報も含まれる。そして、アスペクト情報に含まれるアスペクト比ＩＤが、定義されていないアスペクト比全体に対して付与されたアスペクト比ＩＤ（Extended_SAR）である場合、アスペクト情報には、解像度変換前の適応対象のアスペクト比における横方向の値（sar_width）と縦方向の値(sar_height)も含まれる。
なお、図６６のSubset SPSのVUI情報は、SPSのVUI情報と異なる点だけ記述されるようにしてもよい。この場合、Subset SPSのVUI情報のうちの記述されない情報については、SPSのVUI情報に含まれる情報が適用される。
[SEIの記述例]
図６７は、図６３の3DV方式のSEIの記述例を示す図である。
図６７の3DV方式のSEIの記述は、SEIメッセージのタイプ（nesting_type）、全コンポーネントフラグ（all_view_components_in_au_flag）等が記述される点を除いて、SEIメッセージのタイプのSEIメッセージの記述と同様である。
SEIメッセージのタイプとしては、MVC方式のSEIメッセージ、3DV方式のSEIメッセージ、ユーザにより定義されたSEIメッセージなどがある。また、全コンポーネントフラグが、アクセスユニット内の全ての画像および視差画像に適応しないことを表す場合、3DV方式のSEIには、SEIのメッセージを適応する画像および視差画像のビューＩＤの数（num_view_components_minus1）と、その数だけのビューＩＤ(nesting_sei_view_id)も記述される。
なお、上述した再生装置３０１は、復号された３Ｄ画像データに基づいて、画像情報、互換情報、視点間距離情報、視差画像情報、画像の多重化パターンを識別する情報、視差画像の多重化パターンを識別する情報等も３Ｄ情報として生成するようにしてもよい。
＜８．第６の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図６８に示されるようなコンピュータとして構成されるようにしてもよい。
図６８において、コンピュータ６００のCPU（Central Processing Unit）６０１は、ROM（Read Only Memory）６０２に記憶されているプログラム、または記憶部６１３からRAM（Random Access Memory）６０３にロードされたプログラムに従って各種の処理を実行する。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU６０１、ROM６０２、およびRAM６０３は、バス６０４を介して相互に接続されている。このバス６０４にはまた、入出力インタフェース６１０も接続されている。
入出力インタフェース６１０には、キーボード、マウスなどよりなる入力部６１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部６１２、ハードディスクなどより構成される記憶部６１３、モデムなどより構成される通信部６１４が接続されている。通信部６１４は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース６１０にはまた、必要に応じてドライブ６１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部６１３にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図６８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア６２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM６０２や、記憶部６１３に含まれるハードディスクなどで構成される。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
＜９．第７実施の形態＞
［テレビジョン装置の構成例］
図６９は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、HDMI規格等に準拠して映像データや音声データ等を送受信する。
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
このように構成されたテレビジョン装置では、外部I/F部９０９に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
＜１０．第８実施の形態＞
［携帯電話機の構成例］
図７０は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。
画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。また、画像処理部９２７は、この画像データを表示部９３０に供給して、受信した画像の表示を行ったり、画像データをHDMI規格等に準拠して送信したりする。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
＜１１．第９実施の形態＞
［記録再生装置の構成例］
図７１は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース、HDMI等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、外部I/F部９４２に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
＜１２．第１０実施の形態＞
［撮像装置の構成例］
図７２は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子、HDMI入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、外部I/F部９６６に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
３００ 伝送システム， ３０１ 再生装置， ３０２ 表示装置， ３０３ HDMIケーブル， ３１１ デコーダ， ３１２ モード判定部， ３１３ ３Ｄ情報生成部， ３１４ 通信部， ３２１ 通信部， ３２２ モード判定部， ３２３ 同期設定部， ３２４ 同期制御部， ３２５ 画像生成部， ３２６ 表示部， ４１１ 受信側情報取得部， ４１２ 同期設定部， ４２１ 受信側情報提供部

Claims (22)

  1. 多視点の画像を生成する際に用いる立体視用画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードを判定するモード判定部と、
    前記モード判定部により判定された前記互換モードを示す互換情報を３Ｄ情報として生成する生成部と、
    前記立体視用画像データと前記生成部により生成された前記３Ｄ情報を、前記立体視用画像データの送信先に送信する送信部と
    を備える画像処理装置。
  2. 前記生成部は、前記立体視用画像データのフォーマットを示すフォーマット情報を前記３Ｄ情報として生成する
    請求項１に記載の画像処理装置。
  3. 前記生成部は、前記立体視用画像データのうちの画像データの多重化方式を示す画像多重化情報と、前記立体視用画像データのうちの視差画像データの多重化方式を示す視差画像多重化情報とを前記３Ｄ情報として生成する
    請求項２に記載の画像処理装置。
  4. 前記生成部は、前記立体視用画像データのうちの画像データの多重化パターン、または、前記立体視用画像データのうちの視差画像データの多重化パターンを識別する識別情報を前記３Ｄ情報として生成する
    請求項２に記載の画像処理装置。
  5. 前記送信部は、前記３Ｄ情報を、ＨＤＭＩ（High Definition Multimedia Interface）規格のＶＳＩＦＰＣ（Vendor Specific InfoFrame Packet Contents）に記述して送信する
    請求項２に記載の画像処理装置。
  6. 前記送信部は、前記３Ｄ情報を、ＶＳＩＦＰＣの３Ｄ画像データに関する情報を記述する領域の空き領域に記述して送信する
    請求項５に記載の画像処理装置。
  7. 前記互換モードは、既存の２次元画像データとの互換性を示すモノコンパチブルモード、既存のフレームパッキングの３Ｄ画像データとの互換性を示すフレームパッキングコンパチブルモード、並びに、既存のステレオスコピックの３Ｄ画像データとの互換性を示すステレオスコピックコンパチブルモードを含む
    請求項２に記載の画像処理装置。
  8. 前記送信部は、前記立体視用画像データの１フレーム分のデータを、垂直同期信号複数周期分のアクティブビデオ区間を用いて送信する
    請求項１に記載の画像処理装置。
  9. 前記垂直同期信号の各周期を不等間隔に設定する間隔設定部をさらに備え、
    前記送信部は、前記立体視用画像データの１フレーム分のデータを、前記間隔設定部により設定された周期のアクティブビデオ区間を用いて送信する
    請求項８に記載の画像処理装置。
  10. 前記立体視用画像データの送信先のデバイスから、前記デバイスの処理能力を示す能力情報を取得する能力情報取得部と、
    前記能力情報取得部により取得された前記能力情報が示す前記デバイスの処理能力に基づいて、前記立体視用画像データの同期方法を設定する同期設定部と
    をさらに備え、
    前記生成部は、前記同期設定部により設定された同期方法を示す同期情報を前記３Ｄ情報として生成する
    請求項１に記載の画像処理装置。
  11. 画像処理装置の画像処理方法であって、
    モード判定部が、多視点の画像を生成する際に用いる立体視用画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードを判定し、
    生成部が、前記モード判定部により判定された前記互換モードを示す互換情報を３Ｄ情報として生成し、
    送信部が、前記立体視用画像データと前記生成部により生成された前記３Ｄ情報を、前記立体視用画像データの送信先に送信する
    画像処理方法。
  12. 多視点の画像を生成する際に用いる立体視用画像データを受信するとともに、前記立体視用画像データのフォーマットの画像データのフォーマットとの互換性を示す互換モードを３Ｄ情報として受信する受信部と、
    前記受信部により受信された前記３Ｄ情報に基づいて、前記受信部により受信される前記立体視用画像データの前記互換モードを判定するモード判定部と、
    前記モード判定部により判定された前記互換モードに基づいて、前記受信部により受信される前記立体視用画像データに対する処理の同期を制御する同期制御部と
    を備える画像処理装置。
  13. 前記受信部は、前記立体視用画像データのフォーマットを示すフォーマット情報を前記３Ｄ情報として受信する
    請求項１２に記載の画像処理装置。
  14. 前記受信部は、前記立体視用画像データのうちの画像データの多重化方式を示す画像多重化情報と、前記立体視用画像データのうちの視差画像データの多重化方式を示す視差画像多重化情報とを前記３Ｄ情報として生成する
    請求項１３に記載の画像処理装置。
  15. 前記受信部は、前記立体視用画像データのうちの画像データの多重化パターン、または、前記立体視用画像データのうちの視差画像データの多重化パターンを識別する識別情報を前記３Ｄ情報として受信する
    請求項１３に記載の画像処理装置。
  16. 前記受信部は、ＨＤＭＩ（High Definition Multimedia Interface）規格のＶＳＩＦＰＣ（Vendor Specific InfoFrame Packet Contents）に記述して送信されてくる前記３Ｄ情報を受信する
    請求項１３に記載の画像処理装置。
  17. 前記受信部は、ＶＳＩＦＰＣの３Ｄ画像データに関する情報を記述する領域の空き領域に記述して送信されてくる前記３Ｄ情報を受信する
    請求項１６に記載の画像処理装置。
  18. 前記互換モードは、既存の２次元画像データとの互換性を示すモノコンパチブルモード、既存のフレームパッキングの３Ｄ画像データとの互換性を示すフレームパッキングコンパチブルモード、並びに、既存のステレオスコピックの３Ｄ画像データとの互換性を示すステレオスコピックコンパチブルモードを含む
    請求項１３に記載の画像処理装置。
  19. 前記受信部は、垂直同期信号複数周期分のアクティブビデオ区間を用いて送信された前記立体視用画像データの１フレーム分のデータを受信する
    請求項１２に記載の画像処理装置。
  20. 前記受信部は、前記垂直同期信号の各周期が不等間隔である複数周期分のアクティブビデオ区間を用いて送信された前記立体視用画像データの１フレーム分のデータを受信する 請求項１９に記載の画像処理装置。
  21. 前記立体視用画像データの送信元のデバイスに、前記画像処理装置自身の処理能力を示す能力情報を提供する能力情報提供部をさらに備える
    請求項１２に記載の画像処理装置。
  22. 画像処理装置の画像処理方法であって、
    受信部が、多視点の画像を生成する際に用いる立体視用画像データを受信するとともに、前記立体視用画像データのフォーマットの画像データのフォーマットとの互換性を示す互換モードを３Ｄ情報として受信し、
    モード判定部が、前記受信部により受信された前記３Ｄ情報に基づいて、前記受信部により受信される前記立体視用画像データの前記互換モードを判定し、
    同期制御部が、前記モード判定部により判定された前記互換モードに基づいて、前記受信部により受信される前記立体視用画像データに対する処理の同期を制御する
    画像処理方法。
JP2012531952A 2010-09-03 2011-08-31 画像処理装置および方法 Abandoned JPWO2012029885A1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010198120 2010-09-03
JP2010198120 2010-09-03
JP2011131677 2011-06-13
JP2011131677 2011-06-13
PCT/JP2011/069842 WO2012029885A1 (ja) 2010-09-03 2011-08-31 画像処理装置および方法

Publications (1)

Publication Number Publication Date
JPWO2012029885A1 true JPWO2012029885A1 (ja) 2013-10-31

Family

ID=45772962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012531952A Abandoned JPWO2012029885A1 (ja) 2010-09-03 2011-08-31 画像処理装置および方法

Country Status (9)

Country Link
US (1) US20130141534A1 (ja)
EP (1) EP2613538A4 (ja)
JP (1) JPWO2012029885A1 (ja)
KR (1) KR20130108260A (ja)
CN (1) CN103081480A (ja)
BR (1) BR112013004460A2 (ja)
MX (1) MX2013002134A (ja)
RU (1) RU2013108080A (ja)
WO (1) WO2012029885A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011296953A1 (en) * 2010-09-03 2013-03-14 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
JP5232319B2 (ja) 2011-10-20 2013-07-10 株式会社東芝 通信装置及び通信方法
JP2013168867A (ja) * 2012-02-16 2013-08-29 Canon Inc 画像処理装置、その制御方法およびプログラム
JP2013168866A (ja) * 2012-02-16 2013-08-29 Canon Inc 画像処理装置、その制御方法およびプログラム
JP5390667B2 (ja) 2012-06-11 2014-01-15 株式会社東芝 映像送信機器及び映像受信機器
KR101917224B1 (ko) * 2012-09-18 2018-11-13 엘지이노텍 주식회사 영상데이터 전송장치
JP6260926B2 (ja) * 2013-06-12 2018-01-17 株式会社リコー 通信装置、通信システム、通信装置の動作方法及びプログラム
JP2015005878A (ja) 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
JP6415179B2 (ja) * 2014-08-20 2018-10-31 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置並びにその制御方法
WO2016111199A1 (ja) * 2015-01-09 2016-07-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに記録媒体
JP5808509B2 (ja) * 2015-01-22 2015-11-10 株式会社東芝 映像受信機器

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6455999A (en) * 1987-08-27 1989-03-02 Toshiba Corp Stereoscopic video display device
US5416510A (en) * 1991-08-28 1995-05-16 Stereographics Corporation Camera controller for stereoscopic video system
JP2004274253A (ja) * 2003-03-06 2004-09-30 Sharp Corp 映像記録装置および映像送信装置
KR100828358B1 (ko) * 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2007065067A (ja) * 2005-08-29 2007-03-15 Seijiro Tomita 立体映像表示装置
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
KR101362941B1 (ko) * 2006-11-01 2014-02-17 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
JP2010088092A (ja) * 2008-09-02 2010-04-15 Panasonic Corp 立体映像伝送システム、映像表示装置および映像出力装置
KR101154051B1 (ko) * 2008-11-28 2012-06-08 한국전자통신연구원 다시점 영상 송수신 장치 및 그 방법
WO2010095410A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
CN101668205B (zh) * 2009-09-25 2011-04-20 南京邮电大学 基于残差宏块自适应下采样立体视频压缩编码方法

Also Published As

Publication number Publication date
EP2613538A4 (en) 2014-08-13
MX2013002134A (es) 2013-04-03
BR112013004460A2 (pt) 2016-06-07
RU2013108080A (ru) 2014-08-27
KR20130108260A (ko) 2013-10-02
US20130141534A1 (en) 2013-06-06
CN103081480A (zh) 2013-05-01
EP2613538A1 (en) 2013-07-10
WO2012029885A1 (ja) 2012-03-08

Similar Documents

Publication Publication Date Title
WO2012029885A1 (ja) 画像処理装置および方法
TWI514846B (zh) Transmission device, three-dimensional image data transmission method, receiving device and three-dimensional image data receiving method
TWI437873B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data receiving device and three-dimensional image data receiving method
TWI504231B (zh) 傳輸裝置，傳輸方法，接收裝置，接收方法及傳輸／接收系統
EP2451170A1 (en) Stereoscopic image data transmitter and method for transmitting stereoscopic image data
US9338430B2 (en) Encoding device, encoding method, decoding device, and decoding method
JP2011120261A (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2012029884A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
JP2011166757A (ja) 送信装置、送信方法および受信装置
US9762884B2 (en) Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints
EP2506580A1 (en) Stereoscopic image data transmission device, stereoscopic image data transmission method, and stereoscopic image data reception device
JP5477499B2 (ja) 送信装置および立体画像データ送信方法
JP5621944B2 (ja) 送信装置および送信方法
JP5583866B2 (ja) 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
JP2015029331A (ja) 送受信システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140723

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140723

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20150402