JP5594536B2 - 画像処理装置および方法、プログラム、並びに、記録媒体 - Google Patents

画像処理装置および方法、プログラム、並びに、記録媒体 Download PDF

Info

Publication number
JP5594536B2
JP5594536B2 JP2010542113A JP2010542113A JP5594536B2 JP 5594536 B2 JP5594536 B2 JP 5594536B2 JP 2010542113 A JP2010542113 A JP 2010542113A JP 2010542113 A JP2010542113 A JP 2010542113A JP 5594536 B2 JP5594536 B2 JP 5594536B2
Authority
JP
Japan
Prior art keywords
image data
image
unit
data
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010542113A
Other languages
English (en)
Other versions
JPWO2010067810A1 (ja
Inventor
高橋良知
卓也 北村
陽一 矢ケ崎
輝彦 鈴木
潤 米満
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010542113A priority Critical patent/JP5594536B2/ja
Publication of JPWO2010067810A1 publication Critical patent/JPWO2010067810A1/ja
Application granted granted Critical
Publication of JP5594536B2 publication Critical patent/JP5594536B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像処理装置および方法、プログラム、並びに、記録媒体に関し、特に、例えば、立体視のための複数の視点の画像データからなるコンテンツを、２次元画像として表示する場合に、コンテンツの制作者が意図する画像等を表示することができるようにする画像処理装置および方法、プログラム、並びに、記録媒体に関する。
近年、画像情報をディジタル信号として取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Expert Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
すなわち、例えば、MPEGや、H.26x等の、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償を採用する符号化方式によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルTV、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置及び復号装置が普及しつつある。
例えば、MPEG2（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、横×縦が、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Mbps、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまり、より高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO／IEC 14496-2としてその規格が国際標準に承認された。
さらに、近年、当初テレビ会議用の画像符号化を目的として、H.264(ITU-T Q6/16 VCEG)という標準の規格化が進んでいる。H.264は、MPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.264をベースに、H.264ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced−Compression Video Codingとして行われている。
Joint Video Team で標準化が行われている符号化方式（JVT Codec）については、符号化効率を、MPEG2やMPEG4等の既存技術よりも向上させるために、様々な改善が検討されている。例えば、離散コサイン変換では、４×４画素のブロックを対象として、整数の変換係数への変換が行われる。また、動き補償については、ブロックサイズが可変であり、より最適な動き補償を行うことができるようになっている。但し、符号化の基本的なアルゴリズムは、MPEG2やMPEG4等の既存技術と同様である。
ところで、上述のような符号化の対象となる画像のコンテンツとしては、２次元画像のコンテンツの他、立体視が可能な立体視画像のコンテンツがある。
立体視画像の表示には、専用のデバイス（以下、立体視用デバイス）が必要であり、そのような立体視用デバイスとしては、例えば、NHK（日本放送協会）が開発したIP(Integral Photography)立体画像システムがある。
立体視画像の画像データは、複数の視点の画像データ（複数の視点から撮影された画像の画像データ）からなり、視点の数が多く、かつ、視点が広範囲にわたるほど、様々な方向から被写体を見ることができる、いわば「のぞけるテレビ」を実現することができる。
ここで、立体視画像の画像データ、すなわち、複数の視点の画像データの符号化と復号の方法については、例えば、特許文献１に記載されている。
特開2008-182669号公報
立体視画像のうちの、視点の数が最も少ないのは、視点の数が２視点のステレオ画像であり、ステレオ画像の画像データは、左眼で観察される画像（以下、左眼用画像という）の画像データと、右眼で観察される画像（以下、右眼用画像という）の画像データとからなる。
ステレオ画像を含む立体視画像は、立体視用デバイスがあれば、立体視をすることができるが、２次元画像を表示するデバイス（以下、２次元表示デバイスともいう）、すなわち、例えば、一般のTV（テレビジョン受像機）等のディスプレイであっても、２次元画像として表示することができる。
すなわち、ステレオ画像を含む立体視画像は、複数の視点の画像のうちのいずれか１個の視点の画像を表示することで、２次元画像として表示することができる。
ところで、２次元表示デバイスにおいて、立体視画像を、２次元画像として表示する場合、複数の視点の画像のうちのいずれの視点の画像を表示するかが問題となる。
すなわち、例えば、ステレオ画像の左眼用画像と右眼用画像とは、視差が僅かに異なる同一のシーンの画像であるが、輝度（光の反射）や色味等に違いがある。
このため、２次元表示デバイスにおいて、例えば、ステレオ画像を、２次元画像として表示する場合、そのステレオ画像のコンテンツの制作者からは、左眼用画像と、右眼用画像とを、自身の意図に即して、適応的に切り換えて表示したいという要請がある。
しかしながら、従来においては、ステレオ画像を含む複数の視点の画像からなる立体視画像を２次元画像として表示する場合に、複数の視点の画像について、２次元画像として表示する画像をコントロールする仕組みが提案されていなかった。
このため、２次元表示デバイスにおいて、ステレオ画像を、２次元画像として表示する場合には、例えば、２次元表示デバイスの仕様等によって、左眼用画像、又は、右眼用画像のうちのいずれか一方が、コンテンツの制作者の意図に関係なく表示され続けることになることが予想される。
本発明は、このような状況に鑑みてなされたものであり、立体視画像のコンテンツを、２次元画像として表示する場合に、コンテンツの制作者が意図する画像等を表示することができるようにするものである。
本発明の第１の側面の画像処理装置は、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段とを備える画像処理装置である。
前記N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報を設定する指定情報設定手段を更に備えることができる。
前記伝送手段は、前記基本画像データ及び前記追加画像データのビットストリームと前記指定情報とを連結して伝送することができる。
前記指定情報設定手段は、１以上の連続するピクチャごとに、前記指定情報を設定することができる。
前記変換手段は、前記N個の視点の画像データを、1個の前記基本画像データとN-1個の前記追加画像データとに変換することができる。
前記N個の視点の画像データは、左眼で観察される左眼用視点画像データ、及び、右眼で観察される右眼用視点画像データであるようにすることができる。
N個の視点の画像データを符号化してビットストリームを生成する符号化手段を更に備えることができる。
本発明の第１の側面の画像処理方法は、画像処理装置が、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換ステップと、前記変換ステップにおいて変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送ステップとを含む画像処理方法である。
本発明の第１の側面のプログラムは、コンピュータを、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段として機能させるためのプログラムである。
本発明の第１の側面の記録媒体は、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
本発明の第１の側面においては、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の指定情報により指定されていない画像データを、他の視点の指定情報により指定される画像データ入れ替えることにより、N個の視点の画像データが、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換され、その変換された基本画像データ及び追加画像データと、指定情報とが伝送される。
本発明の第２の側面の画像処理装置は、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データとを受け取る受け取り手段と、前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段とを備える画像処理装置である。
前記N個の視点の画像データを、立体視用の立体視画像データに変換する立体視画像変換手段をさらに備えることができる。
前記受け取り手段は、前記指定情報と、前記N個の視点の画像データから得られた1個の前記基本画像データおよびN-1個の前記追加画像データと、を受け取ることができる。
本発明の第２の側面の画像処理方法は、画像処理装置が、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データとを受け取る受け取りステップと、前記受け取りステップにおいて受け取られた前記指定情報に従い、前記受け取りステップにおいて受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元ステップとを含む画像処理方法である。
本発明の第２の側面のプログラムは、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データとを受け取る受け取り手段と、前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段として機能させるためのプログラムである。
本発明の第２の側面の記録媒体は、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データとを受け取る受け取り手段と、前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
本発明の第２の側面においては、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、基準とする視点の指定情報により指定されていない画像データが、他の視点の指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、他の視点の指定情報により指定される画像データが、基準とする視点の指定情報により指定されていない画像データと入れ替えられた追加画像データとが受け取られ、その受け取られた指定情報に従い、同じく受け取られた基本画像データ及び追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データが復元される。
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本発明の第１ないし第４の側面によれば、２次元画像の表示に用いる画像データを指定することができる。その結果、例えば、立体視画像のコンテンツを、２次元画像として表示する場合に、コンテンツの制作者が意図する画像等を表示することができる。
本発明を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 符号化部１１1の構成例を示すブロック図である。 フラグ設定部１２によるビュースイッチングフラグの設定を説明する図である。 第１実施の形態の符号化処理を説明するフローチャートである。 本発明を適用した復号装置の第１実施の形態の構成例を示すブロック図である。 復号部４２1の構成例を示すブロック図である。 ステレオ画像が２次元画像として表示される場合の、復号装置の処理を説明する図である。 第１実施の形態の復号処理を説明するフローチャートである。 第１実施の形態の復号処理を説明するフローチャートである。 本発明を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。 第２実施の形態の入れ替え部７１の処理を説明する図である。 第２実施の形態の符号化処理を説明するフローチャートである。 本発明を適用した復号装置の第２実施の形態の構成例を示すブロック図である。 第２実施の形態の復号処理を説明するフローチャートである。 第２実施の形態の復号処理を説明するフローチャートである。 本発明を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。 第３実施の形態の符号化処理を説明するフローチャートである。 本発明を適用した復号装置の第３実施の形態の構成例を示すブロック図である。 第３実施の形態の復号処理を説明するフローチャートである。 第３実施の形態の復号処理を説明するフローチャートである。 本発明を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。 第４実施の形態の入れ替え部７１の処理を説明する図である。 第４実施の形態の符号化処理を説明するフローチャートである。 本発明を適用した復号装置の第４実施の形態の構成例を示すブロック図である。 第４実施の形態の復号処理を説明するフローチャートである。 第４実施の形態の復号処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。 マクロブロックサイズの例を示す図である。
＜第１実施の形態＞
［符号化装置の第１実施の形態］
図１は、本発明を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
図１において、符号化装置は、左眼用画像の画像データ（以下、左眼用視点画像データともいう）と、右眼用画像の画像データ（以下、右眼用視点画像データともいう）とからなるステレオ画像の画像データを符号化する。
すなわち、図１において、符号化装置は、複数である２個の符号化部１１1及び１１2、フラグ設定部１２、並びに、生成部１３から構成される。
符号化部１１1には、ステレオ画像の左眼用視点画像データが供給される。
符号化部１１1は、そこに供給される左眼用視点画像データを、例えば、MPEG2やAVC/H.264方式等の所定の符号化方式に従って符号化し、その結果得られる符号化データ（以下、左眼用符号化データともいう）を、生成部１３に供給する。
符号化部１１2には、ステレオ画像の右眼用視点画像データが供給される。
符号化部１１2は、そこに供給される右眼用視点画像データを、例えば、符号化部１１1と同様に符号化し、その結果得られる符号化データ（以下、右眼用符号化データともいう）を、生成部１３に供給する。
フラグ設定部１２は、例えば、ステレオ画像の制作者等のユーザの操作等に応じて、ステレオ画像の２個の視点の左眼用視点画像データ、及び、右眼用視点画像データのうちの、２次元画像の表示に用いる画像データを、例えば、シーン等ごとに指定するフラグであるビュースイッチングフラグ(view_switching_flag)を設定し、生成部１３に供給する。
生成部１３は、ステレオ画像の画像データと、ビュースイッチングフラグとを含むビットストリームを生成して出力する。
すなわち、生成部１３は、符号化部１１1からの左眼用符号化データと、符号化部１１2からの右眼用符号化データとを多重化して多重化データとし、その多重化データのヘッダ等に、フラグ設定部１２からのビュースイッチングフラグを含めて出力する。
［符号化部１１1の構成例］
図２は、図１の符号化部１１1の構成例を示すブロック図である。
なお、図１の符号化部１１2も、符号化部１１1と同様に構成される。
符号化部１１1は、例えば、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置である。
符号化対象の画像データは、A／D(Analog/Digital)変換部２１に供給される。A／D変換部２１は、そこに供給される画像データがアナログ信号の画像データである場合に、その画像データをA/D変換することで、ディジタル信号の画像データに変換し、画面並べ替えバッファ２２に供給する。
画面並べ替えバッファ２２は、A/D変換部２１からの画像データを一時記憶し、必要に応じて読み出すことで、符号化部１１1の出力である符号化データのGOP(Group of Pictures)構造に応じて、画像データのピクチャ（フレーム）（フィールド）の並べ替えを行う。
画面並べ替えバッファ２２から読み出されたピクチャのうちの、イントラ符号が行われるイントラピクチャは、演算部２３に供給される。
演算部２３は、画面並べ替えバッファ２２から供給されるイントラピクチャの画素値から、必要に応じて、イントラ予測部３３から供給される予測画像の画素値を減算し、直交変換部２４に供給する。
直交変換部２４は、イントラピクチャ（の画素値、又は、予測画像が減算された減算値）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部２５に供給する。
量子化部２５は、直交変換部２４からの変換係数を量子化し、その結果得られる量子化値を、可逆符号化部２６に供給する。
可逆符号化部２６は、量子化部２５からの量子化値に対して、可変長符号化や、算術符号化等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ２７に供給する。
蓄積バッファ２７は、可逆符号化部２６からの符号化データを一時記憶し、所定のレートで出力する。
レート制御部２８は、蓄積バッファ２７の符号化データの蓄積量を監視しており、その蓄積量に基づき、量子化部２５の量子化ステップ等の、量子化部２５の挙動を制御する。
量子化部２５で得られる量子化値は、可逆符号化部２６に供給される他、逆量子化部２９にも供給される。逆量子化部２９は、量子化部２５からの量子化値を、変換係数に逆量子化し、逆直交変換部３０に供給する。
逆直交変換部３０は、逆量子化部２９からの変換係数を逆直交変換し、演算部３１に供給する。
演算部３１は、逆直交変換部３０から供給されるデータに対して、必要に応じて、イントラ予測部３３から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得て、フレームメモリ３２に供給する。
フレームメモリ３２は、演算部３１から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部３３や動き予測／動き補償部３４に供給する。
イントラ予測部３３は、イントラピクチャの中で、演算部２３で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ３２に記憶されている画素から予測画像を生成し、演算部２３及び３１に供給する。
イントラ符号化が行われるピクチャについて、上述したようにして、イントラ予測部３３から演算部２３に予測画像が供給される場合、演算部２３では、画像並べ替えバッファ２２から供給されるピクチャから、イントラ予測部３３から供給される予測画像が減算される。
また、演算部３１では、演算部２３で減算された予測画像が、逆直交変換部３０から供給されるデータに加算される。
一方、インター符号化が行われるノンイントラピクチャは、画像並べ替えバッファ２２から、演算部２３、及び、動き予測／動き補償部３４に供給される。
動き予測／動き補償部３４は、フレームメモリ３２から、画像並べ替えバッファ２２からのノンイントラピクチャの動き予測に際して参照される復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部３４は、フレームメモリ３２からの参照画像を用いて、画像並べ替えバッファ２２からのノンイントラピクチャについて、動きベクトルを検出する。
そして、動き予測／動き補償部３４は、動きベクトルに従い、参照画像に動き補償を施すことで、ノンイントラピクチャの予測画像を生成し、演算部２３及び３１に供給する。
演算部２３では、画像並べ替えバッファ２２から供給されるノンイントラピクチャから、イントラ予測部３３から供給される予測画像が減算され、以下、イントラピクチャの場合と同様にして、符号化が行われる。
なお、イントラ予測部３３が予測画像を生成するモードであるイントラ予測モードは、イントラ予測部３３から可逆符号化部２６に供給される。また、動き予測／動き補償部３４で得られる動きベクトル、及び、動き予測／動き補償部３４が動き補償を行うモードである動き補償予測モードは、動き予測／動き補償部３４から可逆符号化部２６に供給される。
可逆符号化部２６では、イントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、復号に必要な情報が可逆符号化され、符号化データのヘッダに含められる。
［フラグ設定部１２によるビュースイッチングフラグの設定の説明］
次に、図３を参照して、図１のフラグ設定部１２によるビュースイッチングフラグの設定について説明する。
いま、図１の符号化装置での符号化の対象のステレオ画像が、図３に示すように、シーン#1,#2,#3から構成されることとする。
さらに、ステレオ画像が、２次元画像として表示される場合に、ステレオ画像の制作者が、２次元画像として表示される画像（以下、提示画像ともいう）として、シーン#1については、左眼用画像を、シーン#2については、右眼用画像を、シーン#3については、左眼用画像を選択するように、フラグ設定部１２を操作したこととする。
この場合、フラグ設定部１２は、シーン#1及び#3については、左眼用画像を提示画像として指定する値である、例えば、0を、ビュースイッチングフラグとして設定する。
また、フラグ設定部１２は、シーン#2については、右眼用画像を提示画像として指定する値である、例えば、1を、ビュースイッチングフラグとして設定する。
したがって、ここでは、ビュースイッチングフラグとしては、１ビットのフラグを採用することができる。
ここで、シーンとは、１以上の（連続する）ピクチャ（の集まり）であり、例えば、シーンチェンジの直後のピクチャから、次のシーンチェンジの直前のピクチャまでや、GOP等を、１シーンとすることができる。
なお、シーンごとに、提示画像の選択を可能とするため、図１の符号化部１１1において、AVC/H.264方式で符号化が行われる場合には、シーンの先頭のピクチャは、IDRピクチャとして符号化される。符号化部１１2でも同様である。
また、図１のフラグ設定部１２でのビュースイッチングフラグの設定では、例えば、１シーンごとに、１つのビュースイッチングフラグを設定することもできるし、１ピクチャごとに、１つのビュースイッチングフラグを設定することもできる。
したがって、シーンに対するビュースイッチングフラグの設定は、シーンに、１つのビュースイッチングフラグを設定することによって行うこともできるし、シーンを構成する各ピクチャに、ビュースイッチングフラグを設定することによって行うこともできる。
なお、図１の生成部１３において、ビュースイッチングフラグは、多重化データの、例えば、システムレイヤやピクチャレイヤのヘッダ等に含められる。具体的には、例えば、符号化部１１1及び１１2において、例えば、AVC/H.264方式で符号化が行われる場合には、ビュースイッチングフラグは、例えば、ユーザデータであるSEI (Supplemental Enhancement Information) に含めることができる。
［符号化装置の処理の説明］
図４を参照して、図１の符号化装置の処理（符号化処理）を説明する。
図１の符号化装置では、フラグ設定部１２が、ステレオ画像の制作者によって操作されると、ステップＳ１１において、フラグ設定部１２が、ステレオ画像の制作者の操作に従って、ステレオ画像の各シーンに対するビュースイッチングフラグを設定し、生成部１３に供給する。
その後、符号化装置に対して、ステレオ画像の画像データである左眼用視点画像データ、及び、右眼用視点画像データが供給されるのを待って、処理は、ステップＳ１１からステップＳ１２に進み、符号化部１１1及び１１2は、符号化を行う。
すなわち、符号化部１１1は、左眼用視点画像データを符号化し、その結果得られる左眼用符号化データを、生成部１３に供給する。また、符号化部１１2は、右眼用視点画像データを符号化し、その結果得られる右眼用符号化データを、生成部１３に供給する。
その後、処理は、ステップＳ１２からステップＳ１３に進み、生成部１３は、符号化部１１1からの左眼用符号化データと、符号化部１１2からの右眼用符号化データとを多重化し、多重化データとする。さらに、生成部１３は、多重化データのヘッダに、フラグ設定部１２からのビュースイッチングフラグを含め、多重化データを出力する。
そして、処理は、ステップＳ１３からステップＳ１４に進み、符号化装置は、まだ符号化すべきステレオ画像の画像データがあるかどうかを判定し、あると判定された場合、処理は、ステップＳ１２に戻り、以下、ステップＳ１２ないしＳ１４の処理が繰り返される。
ここで、ステップＳ１２ないしＳ１４の処理は、例えば、ビュースイッチングフラグが設定されるシーン等の単位で行われる。
一方、ステップＳ１４において、符号化すべきステレオ画像の画像データがないと判定された場合、符号化装置は、符号化処理を終了する。
以上のようにして、生成部１３が出力する多重化データ、すなわち、ステレオ画像の画像データ（を符号化した符号化データ）と、ビュースイッチングフラグとを含むビットストリームは、例えば、伝送媒体を介して伝送され、又は、記録媒体に記録される。
［復号装置の第１実施の形態］
図５は、本発明を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
図５において、復号装置は、図１の符号化装置が出力する多重化データを復号する。
すなわち、図５において、復号装置は、抽出部４１、複数である２個の復号部４２1及び４２2、立体視画像変換部４３、選択部４４、並びに、復号部４５から構成される。
抽出部４１は、多重化データから、ビュースイッチングフラグを抽出し、選択部４４に供給する。
また、抽出部４１は、多重化データから、左眼用符号化データ、及び、右眼用符号化データを分離（逆多重化）し、左眼用符号化データを、復号部４２1に、右眼用符号化データを、復号部４２2に、それぞれ供給する。
さらに、抽出部４１は、左眼用符号化データ、及び、右眼用符号化データを、選択部４４に供給する。
復号部４２1は、抽出部４１からの左眼用符号化データを復号し、その結果得られる左眼用視点画像データを、立体視画像変換部４３に供給する。
復号部４２2は、抽出部４１からの右眼用符号化データを復号し、その結果得られる右眼用視点画像データを、立体視画像変換部４３に供給する。
立体視画像変換部４３は、復号部４２1からの左眼用視点画像データ、及び、復号部４２2からの右眼用視点画像データを、立体視用デバイスで扱うことができるフォーマットの立体視用の立体視画像データに変換し、図示せぬ立体視用デバイスに供給する。
選択部４４は、抽出部４１から供給されるビュースイッチングフラグに従い、同じく抽出部４１から供給される左眼用符号化データ、又は、右眼用符号化データのうちの一方を、２次元画像の表示に用いる画像データの符号化データとして、ビュースイッチングフラグが設定されているシーンやピクチャ等の単位で選択し、復号部４５に供給する。
復号部４５は、選択部４４から供給される符号化データ（左眼用符号化データ、又は、右眼用符号化データ）を復号し、その結果得られる画像データ（左眼用視点画像データ、又は、右眼用視点画像データ）を、図示せぬ２次元表示デバイスに供給する。
なお、図５では、選択部４４は、抽出部４１が出力する、復号前のデータである左眼用符号化データ、又は、右眼用符号化データを選択するようになっているが、選択部４４では、その他、例えば、復号後のデータ、すなわち、復号部４２1で得られる左眼用視点画像データ、又は、復号部４２2で得られる右眼用視点画像データを選択することが可能である。この場合、図５の復号装置は、復号部４５を設けずに構成することができる。後述する図１６でも同様である。
［復号部４２1の構成例］
図６は、図５の復号部４２1の構成例を示すブロック図である。
なお、図５の復号部４２2及び４５も、復号部４２1と同様に構成される。
復号部４２1は、例えば、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置で得られる符号化データを復号する画像情報復号装置である。
復号の対象となる符号化データは、蓄積バッファ５１に供給される。蓄積バッファ５１は、そこに供給される符号化データを一時記憶し、可逆符号復号部５２に供給する。
可逆符号復号部５２は、蓄積バッファ５１からの符号化データに対して、その符号化データのフォーマットに基づき、可変長復号や、算術復号等の処理を施すことで、量子化値と、符号化データのヘッダに含められたイントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、画像の復号に必要な情報を復号する。
可逆符号復号部５２で得られる量子化値は、逆量子化部５３に供給され、イントラ予測モードは、イントラ予測部５７に供給される。また、可逆符号復号部５２で得られる動きベクトル(MV)、動き補償予測モード、及び、ピクチャタイプは、動き予測／動き補償部５８に供給される。
逆量子化部５３、逆直交変換部５４、演算部５５、フレームメモリ５６、イントラ予測部５７、及び、動き予測／動き補償部５８は、図２の逆量子化部２９、逆直交変換部３０、演算部３１、フレームメモリ３２、イントラ予測部３３、及び、動き予測／動き補償部３４とそれぞれ同様の処理を行い、これにより、画像が復号される（復号画像が得られる）。
すなわち、逆量子化部５３は、可逆符号復号部５２からの量子化値を、変換係数に逆量子化し、逆直交変換部５４に供給する。
逆直交変換部５４は、逆量子化部５３からの変換係数を逆直交変換し、演算部５５に供給する。
演算部５５は、逆直交変換部５４から供給されるデータのうちの、イントラピクチャのデータについては、必要に応じて、イントラ予測部５７から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得る。また、演算部５５は、逆直交変換部５４から供給されるデータのうちの、ノンイントラピクチャのデータについては、動き予測／動き補償部５８から供給される予測画像の画素値を加算することで、ノンイントラピクチャの復号画像を得る。
演算部５５で得られた復号画像は、必要に応じて、フレームメモリ５６に供給されるとともに、画像並べ替えバッファ５９に供給される。
フレームメモリ５６は、演算部５５から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部５７や動き予測／動き補償部３４に供給する。
イントラ予測部５７は、演算部５５で処理の対象となっているデータが、イントラピクチャのデータである場合、そのイントラピクチャの予測画像を、フレームメモリ５６からの参照画像としての復号画像を用いて、必要に応じて生成し、演算部５５に供給する。
すなわち、イントラ予測部５７は、可逆符号復号部５２からのイントラ予測モードに従い、演算部５５で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ５６に記憶されている画素から予測画像を生成し、演算部５５に供給する。
一方、動き予測／動き補償部５８は、演算部５５で処理の対象となっているデータが、ノンイントラピクチャのデータである場合、そのノンイントラピクチャの予測画像を生成し、演算部５５に供給する。
すなわち、動き予測／動き補償部５８は、可逆符号復号部５２からのピクチャタイプ等に従い、フレームメモリ５６から、予測画像の生成に用いる復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部５８は、フレームメモリ５６からの参照画像に対して、可逆符号復号部５２からの動きベクトル、及び、動き補償予測モードに従った動き補償を施すことにより、予測画像を生成し、演算部５５に供給する。
演算部５５では、以上のようにして、イントラ予測部５７、又は、動き予測／動き補償部５８から供給される予測画像を、逆直交変換部５４から供給されるデータに加算することで、ピクチャ（の画素値）が復号される。
画像並べ替えバッファ５９は、演算部５５からのピクチャ（復号画像）を一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A(Digital/Analog)変換部６０に供給する。
D/A変換部６０は、画像並べ替えバッファ５９からの復号画像をアナログ信号で出力する必要がある場合に、その復号画像をD/A変換して出力する。
［２次元画像が表示される場合の復号装置の処理］
次に、図７を参照して、ステレオ画像が２次元画像として表示される場合の、図５の復号装置の処理を説明する。
なお、図７において、Iは、I(Intra)ピクチャを表し、Pは、P(Predictive)ピクチャを表す。
図７のＡは、図５の抽出部４１が出力する左眼用符号化データと、右眼用符号化データとを示している。
左眼用符号化データにおいては、シーンの先頭のピクチャは、Iピクチャ（IDRピクチャ）になっており、他のピクチャは、Pピクチャになっている。右眼用符号化データについても同様である。
図７のＢは、図７のＡの左眼用符号化データと、右眼用符号化データとが多重化された状態の多重化データを示している。
図７のＢでは、左眼用符号化データと、右眼用符号化データとが、シーンごとに多重化されている。さらに、図７のＢでは、シーンに対して設定されたビュースイッチングフラグが、多重化データに含まれている。図７のＢでは、シーン#1には、値が0のビュースイッチングフラグが設定されており、シーン#2には、値が1のビュースイッチングフラグが設定されている。
図７のＣは、２次元画像として表示されるピクチャを示している。
シーン#1には、値が0のビュースイッチングフラグが設定されており、この場合、図５の選択部４４は、抽出部４１から供給される左眼用符号化データ、又は、右眼用符号化データのうちの、左眼用符号化データを選択して、復号部４５に供給する。
したがって、この場合、２次元表示デバイスでは、シーン#1については、左眼用符号化データを復号して得られる画像データに対応する左眼用画像が表示される。
一方、シーン#2には、値が1のビュースイッチングフラグが設定されており、この場合、選択部４４は、抽出部４１から供給される左眼用符号化データ、又は、右眼用符号化データのうちの、右眼用符号化データを選択して、復号部４５に供給する。
したがって、この場合、２次元表示デバイスでは、シーン#2については、右眼用符号化データを復号して得られる画像データに対応する右眼用画像が表示される。
［復号装置の処理の説明］
図８Ａおよび図８Ｂを参照して、図５の復号装置の処理（復号処理）を説明する。
図８Ａは、立体視画像の表示が行われる場合の、図５の復号装置の復号処理を説明するフローチャートである。
立体視画像の表示が行われる場合、ステップＳ２１において、抽出部４１は、そこに供給される多重化データから、左眼用符号化データ、及び、右眼用符号化データを分離する。さらに、抽出部４１は、左眼用符号化データを、復号部４２1に、右眼用符号化データを、復号部４２2に、それぞれ供給して、処理は、ステップＳ２１からステップＳ２２に進む。
ステップＳ２２では、多重化データに多重化されているすべての符号化データが復号され、処理は、ステップＳ２３に進む。
すなわち、復号部４２1は、抽出部４１からの左眼用符号化データを復号し、その結果得られる左眼用視点画像データを、立体視画像変換部４３に供給する。さらに、復号部４２2は、抽出部４１からの右眼用符号化データを復号し、その結果得られる右眼用視点画像データを、立体視画像変換部４３に供給する。
ステップＳ２３では、立体視画像変換部４３は、復号部４２1からの左眼用視点画像データ、及び、復号部４２2からの右眼用視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給して、処理は、ステップＳ２４に進む。
ステップＳ２４では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ２１に戻り、以下、ステップＳ２１ないしＳ２４の処理が繰り返される。
また、ステップＳ２４において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
図８Ｂは、２次元画像の表示が行われる場合の、図５の復号装置の復号処理を説明するフローチャートである。
２次元画像の表示が行われる場合、ステップＳ３１において、抽出部４１は、そこに供給される多重化データから、ビュースイッチングフラグを抽出し、選択部４４に供給して、処理は、ステップＳ３２に進む。
ステップＳ３２では、抽出部４１は、多重化データから、左眼用符号化データ、及び、右眼用符号化データを分離し、選択部４４に供給して、処理は、ステップＳ３３に進む。
ステップＳ３３では、選択部４４は、抽出部４１からのビュースイッチングフラグが0又は１のうちのいずれであるかを判定する。
ステップＳ３３において、ビュースイッチングフラグが0であると判定された場合、すなわち、２次元画像の表示に用いる画像データとして、左眼用画像データが指定されている場合、処理は、ステップＳ３４に進み、選択部４４は、抽出部４１からの左眼用符号化データ、又は、右眼用符号化データのうちの左眼用符号化データを選択符号化データとして選択し、復号部４５に供給して、処理は、ステップＳ３６に進む。
この場合、ステップＳ３６では、復号部４５は、選択部４４から供給される左眼用符号化データ（選択符号化データ）を復号し、その結果得られる左眼用視点画像データを、図示せぬ２次元表示デバイスに供給して、処理は、ステップＳ３７に進む。
したがって、この場合、２次元表示デバイスでは、２次元画像として、左眼用視点画像データに対応する左眼用画像が表示される。
一方、ステップＳ３３において、ビュースイッチングフラグが1であると判定された場合、すなわち、２次元画像の表示に用いる画像データとして、右眼用画像データが指定されている場合、処理は、ステップＳ３５に進み、選択部４４は、抽出部４１からの左眼用符号化データ、又は、右眼用符号化データのうちの右眼用符号化データを選択符号化データとして選択し、復号部４５に供給して、処理は、ステップＳ３６に進む。
この場合、ステップＳ３６では、復号部４５は、選択部４４から供給される右眼用符号化データ（選択符号化データ）を復号し、その結果得られる右眼用視点画像データを、図示せぬ２次元表示デバイスに供給して、処理は、ステップＳ３７に進む。
したがって、この場合、２次元表示デバイスでは、２次元画像として、右眼用視点画像データに対応する右眼用画像が表示される。
ステップＳ３７では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ３１に戻り、以下、ステップＳ３１ないしＳ３７の処理が繰り返される。
ここで、ステップＳ３１ないしＳ３７の処理は、ビュースイッチングフラグが設定されるシーン等の単位で行われる。
一方、ステップＳ３７において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
以上のように、図１の符号化装置では、２個の視点の画像データである左眼用視点画像データ及び右眼用視点画像データと、ビュースイッチングフラグとを含む多重化データが生成される。そして、図５の復号装置では、その多重化データから、ビュースイッチングフラグが抽出され、そのビュースイッチングフラグに従い、左眼用視点画像データと右眼用視点画像データとから、２次元画像の表示に用いる画像データがシーン単位等で選択される。
したがって、ビュースイッチングフラグによって、２次元画像の表示に用いる画像データをシーン単位等で指定することができるので、ステレオ画像のコンテンツを、２次元画像として表示する場合に、左眼用画像、又は、右眼用画像のうちの、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
なお、ビュースイッチングフラグは、２次元画像の表示に用いる画像データを指定するフラグであるが、図５の復号装置では、ビュースイッチングフラグに従い、２次元画像として表される画像が、左眼用画像、又は、右眼用画像に切り替えられる。したがって、図５の復号装置では、ビュースイッチングフラグは、２次元画像として表される画像を切り替えるフラグとして機能する。
＜第２実施の形態＞
［符号化装置の第２実施の形態］
図９は、本発明を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図９の符号化装置は、符号化部１１1及び１１2、フラグ設定部１２、及び、生成部１３を有する点で、図１の場合と共通し、入れ替え部７１をさらに有する点で、図１の場合と相違する。
入れ替え部７１には、ステレオ画像の左眼用視点画像データ及び右眼用視点画像データが供給される。
また、入れ替え部７１には、フラグ設定部１２からビュースイッチングフラグが供給される。
入れ替え部７１は、フラグ設定部１２からのビュースイッチングフラグに従い、２個の視点の画像データである左眼用視点画像データ及び右眼用視点画像データのうちの1個の視点の画像データを、他の視点の画像データと入れ替えることにより、２個の視点の画像データを、２次元画像の表示に用いる画像データである1個の基本画像データと、２次元画像の表示に用いない画像データである1個の追加画像データとに変換する。
なお、入れ替え部７１は、基本画像データを、符号化部１１1に供給し、追加画像データを、符号化部１１2に供給する。
このため、図９では、符号化部１１1は、左眼用視点画像データに代えて、入れ替え部７１からの基本画像データを符号化し、その結果得られる符号化データ（以下、基本符号化データともいう）を、生成部１３に供給する。
また、符号化部１１2は、右眼用視点画像データに代えて、入れ替え部７１からの追加画像データを符号化し、その結果得られる符号化データ（以下、追加符号化データともいう）を、生成部１３に供給する。
そして、生成部１３は、符号化部１１1からの基本符号化データと、符号化部１１2からの追加符号化データとを多重化して多重化データとし、その多重化データのヘッダ等に、フラグ設定部１２からのビュースイッチングフラグを含める。
すなわち、図９において、生成部１３で得られる多重化データには、基本画像データ及び追加画像データ、並びに、ビュースイッチングフラグが含まれる。
［入れ替え部７１の処理の説明］
図１０を参照して、図９の入れ替え部７１の処理について説明する。
いま、図９の符号化装置での符号化の対象のステレオ画像が、図３に示したように、シーン#1,#2,#3から構成されることとする。
さらに、ステレオ画像が、２次元画像として表示される場合に、ステレオ画像の制作者が、２次元画像として表示される画像（提示画像）として、シーン#1については、左眼用画像を、シーン#2については、右眼用画像を、シーン#3については、左眼用画像を、それぞれ選択するように、フラグ設定部１２を操作したこととする。
この場合、フラグ設定部１２は、シーン#1及び#3については、左眼用画像を提示画像として指定する値である、例えば、0を、ビュースイッチングフラグとして設定する。
また、フラグ設定部１２は、シーン#2については、左眼用画像を提示画像として指定する値である、例えば、1を、ビュースイッチングフラグとして設定する。
ここで、以上のことは、図３で説明したことと同様である。
入れ替え部７１は、上述したように、ビュースイッチングフラグに従い、２個の視点の画像データである左眼用視点画像データ及び右眼用視点画像データのうちの1個の視点の画像データを、他の視点の画像データと入れ替えることにより、２個の視点の画像データを、２次元画像の表示に用いる画像データである1個の基本画像データと、２次元画像の表示に用いない画像データである1個の追加画像データとに変換する。
すなわち、入れ替え部７１は、左眼用視点画像データ及び右眼用視点画像データのうちの1個である、例えば、左眼用視点画像データのシーンのうちの、ビュースイッチングフラグが左眼用視点画像データを指定していないシーン、つまり、右眼用視点画像データを指定するシーンについては、そのシーンの左眼用視点画像データを、右眼用視点画像データに入れ替える（左眼用視点画像データと、右眼用視点画像データとを、互いに入れ替える）。
図１０では、左眼用視点画像データのシーン#1ないし#3のうちの、シーン#2が、ビュースイッチングフラグによって右眼用視点画像データが指定されているシーンになっているので、左眼用視点画像データのシーン#1ないし#3のうちの、シーン#2のデータが、右眼用視点画像データのシーン#2のデータと入れ替えられ、その入れ替え後の画像データが、基本画像データとされる。
そして、右眼用視点画像データのシーン#1ないし#3のうちの、シーン#2のデータが、左眼用視点画像データのシーン#2のデータと入れ替えられ、その入れ替え後の画像データが、追加画像データとされる。
この場合、基本画像データにおいては、シーン#1及び#3のデータは、左眼用視点画像データとなっており、シーン#2のデータは、右眼用視点画像データになっている。そして、基本画像データは、２次元画像の表示に用いる画像データとしてビュースイッチングフラグが指定するデータになっている。
したがって、ステレオ画像を２次元画像として表示する場合には、基本画像データに対応する画像を表示することで、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
一方、追加画像データにおいては、シーン#1及び#3のデータは、右眼用視点画像データとなっており、シーン#2のデータは、左眼用視点画像データになっている。
追加画像データは、２次元画像の表示には必要がなく、立体視画像（ステレオ画像）を表示するときに、基本画像データとともに用いられる。
［符号化装置の処理の説明］
図１１を参照して、図９の符号化装置の処理（符号化処理）を説明する。
図９の符号化装置では、フラグ設定部１２が、ステレオ画像の制作者によって操作されると、ステップＳ５１において、フラグ設定部１２が、ステレオ画像の制作者の操作に従って、ステレオ画像の各シーンに対するビュースイッチングフラグを設定し、生成部１３及び入れ替え部７１に供給する。
その後、符号化装置に対して、ステレオ画像の画像データである左眼用視点画像データ、及び、右眼用視点画像データが供給されるのを待って、処理は、ステップＳ５１からステップＳ５２に進み、入れ替え部７１は、フラグ設定部１２からのビュースイッチングフラグに従い、図１０で説明したように、左眼用視点画像データを、右眼用画像データと入れ替えることにより、左眼用視点画像データ、及び、右眼用画像データを、1個の基本画像データと、1個の追加画像データとに変換する（左眼用視点画像データ、及び、右眼用画像データから、基本画像データ、及び、追加画像データを生成する）。
なお、ここでは、左眼用視点画像データを、右眼用画像データと入れ替えることにより、左眼用視点画像データ、及び、右眼用画像データを、基本画像データ、及び、追加画像データに変換することとしたが、逆に、右眼用視点画像データを、左眼用画像データと入れ替えることにより、左眼用視点画像データ、及び、右眼用画像データを、基本画像データ、及び、追加画像データに変換することも可能である。
また、左眼用視点画像データと、右眼用画像データとの入れ替えは、例えば、ビュースイッチングフラグが設定される単位と同一のシーン単位等で行うことができる。
ステップＳ５２の処理後、入れ替え部７１は、基本画像データを符号化部１１1に供給するとともに、追加画像データを符号化部１１2に供給する。
そして、その後、処理は、ステップＳ５３ないしＳ５５に順次進み、図４のステップＳ１２ないしＳ１４の場合とそれぞれ同様の処理が行われる。
すなわち、ステップＳ５３では、符号化部１１1が、入れ替え部７１からの基本画像データを符号化し、その結果得られる基本符号化データを、生成部１３に供給する。さらに、ステップＳ５３では、符号化部１１2が、入れ替え部７１からの追加画像データを符号化し、その結果得られる追加符号化データを、生成部１３に供給して、処理は、ステップＳ５４に進む。
ステップＳ５４では、生成部１３は、符号化部１１1からの基本符号化データと、符号化部１１2からの追加符号化データとを多重化し、多重化データとする。さらに、生成部１３は、多重化データのヘッダに、フラグ設定部１２からのビュースイッチングフラグを含め、多重化データを出力する。
そして、処理は、ステップＳ５４からステップＳ５５に進み、符号化装置は、まだ符号化すべきステレオ画像の画像データがあるかどうかを判定し、あると判定された場合、処理は、ステップＳ５２に戻り、以下、ステップＳ５２ないしＳ５５の処理が繰り返される。
一方、ステップＳ５５において、符号化すべきステレオ画像の画像データがないと判定された場合、符号化装置は、符号化処理を終了する。
以上のようにして、生成部１３が出力する多重化データ、すなわち、ステレオ画像の画像データを変換した基本画像データ及び追加画像データ（を符号化した符号化データ）と、ビュースイッチングフラグとを含むビットストリームは、例えば、伝送媒体を介して伝送され、又は、記録媒体に記録される。
［復号装置の第２実施の形態］
図１２は、本発明を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１２の復号装置は、抽出部４１、復号部４２1及び４２2、並びに、立体視画像変換部４３を有する点で、図５の場合と共通する。但し、図１２の復号装置は、図５の選択部４４及び復号部４５が設けられていない点、並びに、復元部８１が新たに設けられている点で、図５の場合と相違する。
図１２において、復号装置は、図９の符号化装置が出力する多重化データを復号する。
ここで、図９の符号化装置が出力する多重化データは、左眼用符号化データ、及び、右眼用符号化データに代えて、基本符号化データ、及び、追加符号化データを含んでいる。
このため、図１２の復号装置では、抽出部４１は、多重化データから、基本符号化データ、及び、追加符号化データを分離する。そして、抽出部４１は、基本符号化データを復号部４２1に、追加符号化データを復号部４２2に、それぞれ供給する。
復号部４２1は、左眼用符号化データに代えて、抽出部４１からの基本符号化データを復号する。また、復号部４２2は、右眼用符号化データに代えて、抽出部４１からの追加符号化データを復号する。
復号部４２1が基本符号化データを復号することにより得られる基本画像データと、復号部４２2が追加符号化データを復号することにより得られる追加画像データとは、復元部８１に供給される。
ここで、ステレオ画像が２次元画像として表示される場合には、復号部４２1が基本符号化データを復号することにより得られる基本画像データが、図示せぬ２次元表示デバイスに供給される。そして、２次元表示デバイスでは、復号部４２1からの基本画像データに対応する画像が表示される。
復元部８１には、上述のように、復号部４２1から基本画像データが供給されるとともに、復号部４２2から追加画像データが供給される他、多重化データから抽出されたビュースイッチングフラグが、抽出部４１から供給される。
復元部８１は、抽出部４１からのビュースイッチングフラグに従い、復号部４２1からの基本画像データを、復号部４２2からの追加画像データと入れ替えることで、基本画像データ、及び、追加画像データを、元の左眼用画像データ、及び、右眼用画像データに変換する。
すなわち、復元部８１は、抽出部４１からのビュースイッチングフラグに従い、基本画像データ、及び、追加画像データを対象に、図９の入れ替え部７１の場合と逆の入れ替えを行うことで、左眼用画像データ、及び、右眼用画像データを復元する。
そして、復元部８１は、左眼用画像データ、及び、右眼用画像データを、立体視画像変換部４３に供給する。
［復号装置の処理の説明］
図１３Ａおよび図１３Ｂを参照して、図１２の復号装置の処理（復号処理）を説明する。
図１３Ａは、立体視画像の表示が行われる場合の、図１２の復号装置の復号処理を説明するフローチャートである。
立体視画像の表示が行われる場合、ステップＳ６１において、抽出部４１は、そこに供給される多重化データから、ビュースイッチングフラグを抽出し、復元部８１に供給して、処理は、ステップＳ６２に進む。
ステップＳ６２では、抽出部４１は、多重化データから、基本符号化データ、及び、追加符号化データを分離し、基本符号化データを、復号部４２1に、追加符号化データを、復号部４２2に、それぞれ供給して、処理は、ステップＳ６３に進む。
ステップＳ６３では、多重化データに多重化されているすべての符号化データが復号され、処理は、ステップＳ６４に進む。
すなわち、復号部４２1は、抽出部４１からの基本符号化データを復号し、その結果得られる基本画像データを、復元部８１に供給する。さらに、復号部４２2は、抽出部４１からの追加符号化データを復号し、その結果得られる追加画像データを、復元部８１に供給する。
ステップＳ６４では、復元部８１は、抽出部４１からのビュースイッチングフラグに従い、基本画像データ、及び、追加画像データを対象に、図９の入れ替え部７１の場合と逆の入れ替えを行い、これにより、左眼用画像データ、及び、右眼用画像データを復元する。
そして、復元部８１は、左眼用画像データ、及び、右眼用画像データを、立体視変換部４３に供給する。
その後、処理は、ステップＳ６４からステップＳ６５及びＳ６６に順次進み、図８ＡのステップＳ２３及びＳ２４の場合とそれぞれ同様の処理が行われる。
すなわち、ステップＳ６５では、立体視画像変換部４３は、復元部８１からの左眼用視点画像データ、及び、右眼用視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給して、処理は、ステップＳ６６に進む。
ステップＳ６６では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ６１に戻り、以下、ステップＳ６１ないしＳ６６の処理が繰り返される。
また、ステップＳ６６において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
図１３Ｂは、２次元画像の表示が行われる場合の、図１２の復号装置の復号処理を説明するフローチャートである。
２次元画像の表示が行われる場合、ステップＳ７１において、抽出部４１は、そこに供給される多重化データから、基本符号化データを分離し、復号部４２1に供給して、処理は、ステップＳ７２に進む。
ステップＳ７２では、復号部４２1は、抽出部４１から供給される基本符号化データを復号し、その結果得られる基本画像データを、図示せぬ２次元表示デバイスに供給する。
したがって、２次元表示デバイスでは、２次元画像として、基本画像データに対応する画像が表示される。
その後、処理は、ステップＳ７２からステップＳ７３に進み、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ７１に戻り、以下、ステップＳ７１ないしＳ７３の処理が繰り返される。
一方、ステップＳ７３において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
以上のように、図９の符号化装置では、２次元画像の表示に用いる画像データを指定するビュースイッチングフラグに従い、左眼用画像データ又は右眼用画像データのうちの、一方を、他方と入れ替えることにより、左眼用画像データ、及び、右眼用画像データが、基本画像データと追加画像データとに変換され、基本画像データ、及び、追加画像データと、ビュースイッチングフラグとを含む多重化データが生成される。
したがって、図１２の復号装置では、ステレオ画像のコンテンツを、２次元画像として表示する場合に、基本画像データに対応する画像を表示することにより、左眼用画像、又は、右眼用画像のうちの、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
また、図１２の復号装置では、その多重化データから、ビュースイッチングフラグが抽出され、そのビュースイッチングフラグに従い、基本画像データ、及び、追加画像データが、元の左眼用視点画像データと右眼用視点画像データとに復元される。
したがって、立体視用デバイスにおいて、ステレオ画像を表示することができる。
なお、ビュースイッチングフラグは、２次元画像の表示に用いる画像データを指定するフラグであるが、図１２の復号装置では、ビュースイッチングフラグに従い、基本画像データ、及び、追加画像データのそれぞれから、左眼用視点画像データと、右眼用視点画像データとが分離される。したがて、図１２の復号装置では、基本画像データ、及び、追加画像データの中の、左眼用視点画像データと、右眼用視点画像データとのそれぞれを指定するフラグとして機能する。
また、図９の符号化装置では、ステレオ画像の画像データである左眼用視点画像データ及び右眼用視点画像データは、基本画像データと追加画像データとにされてから、その基本画像データと追加画像データとのそれぞれが符号化される。
したがって、基本画像データ全体については、復号画像の画質の劣化を抑制するような符号化パラメータ（量子化パラメータやエントロピー符号化方式など）を採用して、符号化を行うことができる。
すなわち、左眼用視点画像データと、右眼用視点画像データとのそれぞれを符号化する場合には、左眼用視点画像データと、右眼用視点画像データとのうちの一方について、復号画像の画質の劣化を抑制する符号化パラメータを採用しても、復号装置において、２次元画像として表示される画像全体の画質の劣化が抑制されるとは限らない。
これに対して、図９の符号化装置では、基本画像データと追加画像データとのそれぞれが符号化されるため、２次元画像の表示に用いられる基本画像データの符号化に、復号画像の画質の劣化を抑制する符号化パラメータを採用することにより、復号装置において、２次元画像として表示される画像全体の画質の劣化を抑制することができる。
以上、第１実施の形態及び第２実施の形態では、２個の視点の画像データである左眼用視点画像データと右眼用視点画像データからなるステレオ画像の画像データを、符号化の対象としたが、符号化の対象としては、２個を超えるN個の視点の画像データを採用することができる。
そこで、以下では、２個を超えるN個の視点の画像データを符号化の対象とする実施の形態について説明する。
＜第３実施の形態＞
［符号化装置の第３実施の形態］
図１４は、本発明を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。
なお、図１４において、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１４の符号化装置は、２個の符号化部１１1及び１１2に代えて、N個の符号化部１１1，１１2，・・・，１１Nが設けられていることを除いて、図１の場合と同様に構成されている。
図１４において、符号化装置は、３個以上のN個の視点の画像データ（以下、視点画像データともいう）からなる立体視画像の画像データを符号化する。
すなわち、立体視画像の画像データのうちの、n番目の視点の画像データである第n視点画像データは、符号化部１１nに供給される。
符号化部１１nは、そこに供給される第n視点画像データを、例えば、MPEG2やAVC/H.264方式等の所定の符号化方式に従って符号化し、その結果得られる符号化データ（以下、第n視点符号化データともいう）を、生成部１３に供給する。
フラグ設定部１２は、例えば、立体視画像の制作者等のユーザの操作等に応じて、立体視画像のN個の視点画像データのうちの、２次元画像の表示に用いる画像データを指定するフラグであるビュースイッチングフラグを設定し、生成部１３に供給する。
なお、第１実施の形態、及び、第２実施の形態では、ビュースイッチングフラグは、上述したように、１ビットのフラグを採用することができるが、第３実施の形態（及び、後述する第４実施の形態）では、ビュースイッチングフラグは、log2N以上のビット数のフラグを採用することができる。
ここで、２次元画像の表示に用いる画像データが、第n視点画像データである場合、ビュースイッチングフラグの値は、例えば、n-1とされることとする。なお、第n視点画像データを撮影したカメラに、そのカメラを識別するためのインデクスが付されている場合には、第n視点画像データを、２次元画像の表示に用いる画像データに指定するビュースイッチングフラグの値としては、その第n視点画像データを撮影したカメラのインデクスを採用することができる。
生成部１３は、立体視画像の画像データと、ビュースイッチングフラグとを含むビットストリームを生成して出力する。
すなわち、生成部１３は、符号化部１１1ないし１１Nそれぞれからの第１視点符号化データないし第N視点符号化データを多重化して多重化データとし、その多重化データのヘッダ等に、フラグ設定部１２からのビュースイッチングフラグを含める。
［符号化装置の処理の説明］
図１５を参照して、図１４の符号化装置の処理（符号化処理）を説明する。
図１４の符号化装置では、フラグ設定部１２が、立体視画像の制作者によって操作されると、ステップＳ１０１において、フラグ設定部１２が、立体視画像の制作者の操作に従って、立体視画像の各シーンに対するビュースイッチングフラグを設定し、生成部１３に供給する。
その後、符号化装置に対して、立体視画像の画像データである第１視点画像データないし第N視点画像データが供給されるのを待って、処理は、ステップＳ１０１からステップＳ１０２に進み、符号化部１１1ないし１１Nは、符号化を行う。
すなわち、符号化部１１nは、第n視点画像データを符号化し、その結果得られる第n視点符号化データを、生成部１３に供給する。
その後、処理は、ステップＳ１０２からステップＳ１０３に進み、生成部１３は、符号化部１１1ないし１１Nそれぞれからの第１視点符号化データないし第N視点符号化データを多重化し、多重化データとする。さらに、生成部１３は、多重化データのヘッダに、フラグ設定部１２からのビュースイッチングフラグを含め、多重化データを出力する。
そして、処理は、ステップＳ１０３からステップＳ１０４に進み、符号化装置は、まだ符号化すべき立体視画像の画像データがあるかどうかを判定し、あると判定された場合、処理は、ステップＳ１０２に戻り、以下、ステップＳ１０２ないしＳ１０４の処理が繰り返される。
一方、ステップＳ１０４において、符号化すべき立体視画像の画像データがないと判定された場合、符号化装置は、符号化処理を終了する。
以上のようにして、生成部１３が出力する多重化データ、すなわち、立体視画像の画像データ（を符号化した符号化データ）と、ビュースイッチングフラグとを含むビットストリームは、例えば、伝送媒体を介して伝送され、又は、記録媒体に記録される。
［復号装置の第３実施の形態］
図１６は、本発明を適用した復号装置の第３実施の形態の構成例を示すブロック図である。
なお、図１６において、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１６の復号装置は、復号部４２1及び４２2に代えて、N個の復号部４２1，４２2，・・・，４２Nが設けられている他は、図５の場合と同様に構成されている。
図１６において、復号装置は、図１４の符号化装置が出力する多重化データを復号する。
すなわち、抽出部４１は、そこに供給される多重化データから、ビュースイッチングフラグを抽出し、選択部４４に供給する。
また、抽出部４１は、多重化データから、第1視点符号化データないし第N視点符号化データを分離し、第n視点符号化データを、復号部４２nに供給する。
さらに、抽出部４１は、第1視点符号化データないし第N視点符号化データのすべてを、選択部４４に供給する。
復号部４２nは、抽出部４１からの第n視点符号化データを復号し、その結果得られる第n視点画像データを、立体視画像変換部４３に供給する。
立体視画像変換部４３は、復号部４２1ないし４２Nそれぞれから供給される第1視点画像データないし第N視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給する。
選択部４４は、抽出部４１から供給される、シーン等ごとのビュースイッチングフラグに従い、同じく抽出部４１から供給される第1視点符号化データないし第N視点符号化データのうちの１つを、２次元画像の表示に用いる画像データの符号化データとして選択し、選択符号化データとして、復号部４５に供給する。
復号部４５は、選択部４４から供給される選択符号化データを復号し、その結果得られる画像データ（第1視点画像データないし第N視点画像データのうちのいずれか）を、図示せぬ２次元表示デバイスに供給する。
［復号装置の処理の説明］
図１７Ａおよび図１７Ｂを参照して、図１６の復号装置の処理（復号処理）を説明する。
図１７Ａは、立体視画像の表示が行われる場合の、図１６の復号装置の復号処理を説明するフローチャートである。
立体視画像の表示が行われる場合、ステップＳ１１１において、抽出部４１は、そこに供給される多重化データから、第1視点符号化データないし第N視点符号化データのそれぞれを分離する。さらに、抽出部４１は、第n視点符号化データを、復号部４２nに供給して、処理は、ステップＳ１１１からステップＳ１１２に進む。
ステップＳ１１２では、多重化データに多重化されている第1視点符号化データないし第N視点符号化データのすべてが復号され、処理は、ステップＳ１１３に進む。
すなわち、復号部４２nは、抽出部４１からの第n視点符号化データを復号し、その結果得られる第n視点画像データを、立体視画像変換部４３に供給する。
ステップＳ１１３では、立体視画像変換部４３は、復号部４２1ないし４２Nそれぞれから供給される第1視点画像データないし第N視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給して、処理は、ステップＳ１１４に進む。
ステップＳ１１４では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ１１１に戻り、以下、ステップＳ１１１ないしＳ１１４の処理が繰り返される。
また、ステップＳ１１４において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
図１７Ｂは、２次元画像の表示が行われる場合の、図１６の復号装置の復号処理を説明するフローチャートである。
２次元画像の表示が行われる場合、ステップＳ１２１において、抽出部４１は、そこに供給される多重化データから、ビュースイッチングフラグを抽出し、選択部４４に供給して、処理は、ステップＳ１２２に進む。
ステップＳ１２２では、抽出部４１は、多重化データから、第1視点符号化データないし第N視点符号化データを分離し、選択部４４に供給して、処理は、ステップＳ１２３に進む。
ステップＳ１２３では、選択部４４は、抽出部４１からのビュースイッチングフラグに従い、抽出部４１からの第1視点符号化データないし第N視点符号化データのうちの１つを、選択符号化データとして選択する。
すなわち、選択部４４は、抽出部４１からのビュースイッチングフラグの値がn-1である場合、抽出部４１からの第1視点符号化データないし第N視点符号化データのうちの、第n視点符号化データを、選択符号化データとして選択する。
そして、選択部４４は、選択符号化データを、復号部４５に供給して、処理は、ステップＳ１２３からステップＳ１２４に進む。
ステップＳ１２４では、復号部４５は、選択部４４から供給される選択符号化データを復号し、その結果得られる画像データを、図示せぬ２次元表示デバイスに供給して、処理は、ステップＳ１２５に進む。
ステップＳ１２５では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ１２１に戻り、以下、ステップＳ１２１ないしＳ１２５の処理が繰り返される。
一方、ステップＳ１２５において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
以上のように、図１４の符号化装置では、N個の視点の画像データである第1視点画像データないし第N視点画像データと、ビュースイッチングフラグとを含む多重化データが生成される。そして、図１６の復号装置では、その多重化データから、ビュースイッチングフラグが抽出され、そのビュースイッチングフラグに従い、第1視点画像データないし第N視点画像データから、２次元画像の表示に用いる画像データがシーン等の単位で選択される。
したがって、ビュースイッチングフラグによって２次元画像の表示に用いる画像データを指定することができるので、立体視画像のコンテンツを、２次元画像として表示する場合に、第1視点画像データないし第N視点画像データのうちの、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
＜第４実施の形態＞
［符号化装置の第４実施の形態］
図１８は、本発明を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。
なお、図中、図９又は図１４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１８の符号化装置は、符号化部１１1及び１１2に代えて、N個の符号化部１１1，１１2，・・・，１１Nが設けられていることを除いて、図９の場合と同様に構成されている。
入れ替え部７１には、立体視画像の第1視点画像データないし第N視点画像データが供給される。
入れ替え部７１は、フラグ設定部１２からのビュースイッチングフラグに従い、N個の視点の画像データである第1視点画像データないし第N視点画像データのうちの1個の視点の画像データを、他の視点の画像データと入れ替えることにより、N個の第1視点画像データないし第N視点画像データを、２次元画像の表示に用いる画像データである1個の基本画像データと、２次元画像の表示に用いない画像データであるN-1個の追加画像データ#1ないし#N-1とに変換する。
なお、入れ替え部７１は、基本画像データを、符号化部１１1に供給し、追加画像データ#nを、符号化部１１n+1に供給する。
このため、図１８では、符号化部１１1は、入れ替え部７１からの基本画像データを符号化し、その結果得られる符号化データ（基本符号化データ）を、生成部１３に供給する。
また、符号化部１１n+1は、入れ替え部７１からの追加画像データ#nを符号化し、その結果得られる符号化データ（以下、追加符号化データ#nともいう）を、生成部１３に供給する。
そして、生成部１３は、符号化部１１1からの基本符号化データと、符号化部１１2ないし１１Nそれぞれからの追加符号化データ#1ないし#N-1とを多重化して多重化データとし、その多重化データのヘッダ等に、フラグ設定部１２からのビュースイッチングフラグを含める。
したがって、図１８において、生成部１３で得られる多重化データには、1個の基本画像データ、及び、N-1個の追加画像データ#1ないし#N-1、並びに、ビュースイッチングフラグが含まれる。
［入れ替え部７１の処理の説明］
図１９を参照して、図１８の入れ替え部７１の処理について説明する。
なお、以下、第n視点画像データに対応する画像を、第n視点画像ともいう。
いま、図１８の符号化装置での符号化の対象の立体視画像が、例えば、シーン#1,#2,#3,#4,#5から構成され、また、立体視画像の画像データが、3個の視点の画像データである第1視点画像データ、第2視点画像データ、及び、第3視点画像データからなることとする。
さらに、立体視画像が、２次元画像として表示される場合に、立体視画像の制作者が、２次元画像として表示される画像（提示画像）として、図中、太線の枠で囲んで示すように、シーン#1及びシーン#4については、第1視点画像を、シーン#2及び#3については、第2視点画像を、シーン#5については、第3視点画像を、それぞれ選択するように、フラグ設定部１２を操作したこととする。
この場合、フラグ設定部１２は、シーン#1及び#4については、第1視点画像を提示画像として指定する値である、例えば、0を、ビュースイッチングフラグとして設定する。
また、フラグ設定部１２は、シーン#2及び#3については、第2視点画像を提示画像として指定する値である、例えば、1を、ビュースイッチングフラグとして設定する。
さらに、フラグ設定部１２は、シーン#5については、第3視点画像を提示画像として指定する値である、例えば、2を、ビュースイッチングフラグとして設定する。
入れ替え部７１は、上述したように、ビュースイッチングフラグに従い、３個の視点の画像データである第1視点画像データないし第3視点画像データのうちの1個の視点の画像データと、他の視点の画像データとを、ビュースイッチングフラグが設定されたシーン等の単位で入れ替えることにより、３個の第1視点画像データないし第3視点画像データを、1個の基本画像データと、2個の追加画像データ#1及び#2とに変換する。
すなわち、入れ替え部７１は、３個の第1視点画像データないし第3視点画像データのうちの1個である、例えば、第2視点画像データを基準として、その第2視点画像データのシーンのうちの、ビュースイッチングフラグが基準である第2視点画像データを指定していないシーン、つまり、第1視点画像データ又は第3視点画像データを指定するシーンについては、そのシーンの第2視点画像データを、ビュースイッチングフラグが指定する画像データに入れ替える。
図１９では、基準である第2視点画像データのシーン#1ないし#5のうちの、シーン#1及び#4が、ビュースイッチングフラグが第2視点画像データではない第1視点画像データを指定するシーンになっている。このため、第2視点画像データのシーン#1ないし#5のうちの、シーン#1及び#4のデータが、第1視点画像データのシーン#1及び#4のデータとそれぞれ入れ替えられる。
さらに、図１９では、基準である第2視点画像データのシーン#1ないし#5のうちの、シーン#5が、ビュースイッチングフラグが第2視点画像データではない第3視点画像データを指定するシーンになっている。このため、第2視点画像データのシーン#1ないし#5のうちの、シーン#5のデータが、第3視点画像データのシーン#5のデータと入れ替えられる。
そして、第2視点画像データについて、シーンの画像データが基準以外の第1視点画像データ又は第3視点画像データと入れ替えられることにより得られる画像データが、基本画像データとされる。
また、第1視点画像データについて、シーンの画像データが基準である第2視点画像データと入れ替えられることにより得られる画像データが、追加画像データ#1とされる。さらに、第3視点画像データについて、シーンの画像データが基準である第2視点画像データと入れ替えられることにより得られる画像データが、追加画像データ#2とされる。
この場合、基本画像データにおいては、シーン#1及び#4のデータは、第1視点画像データに、シーン#2及び#3のデータは、第2視点画像データに、シーン#5のデータは、第3視点画像データに、それぞれなっている。
すなわち、基本画像データは、２次元画像の表示に用いる画像データとしてビュースイッチングフラグが指定するデータになっている。
したがって、立体視画像を２次元画像として表示する場合には、基本画像データに対応する画像を表示するだけで、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
一方、追加画像データ#1においては、シーン#1及び#4のデータは、第2視点画像データに、シーン#2,#3、及び#5のデータは、第1視点画像データに、それぞれなっている。
さらに、追加画像データ#2においては、シーン#1ないし#4のデータは、第3視点画像データに、シーン#5のデータは、第2視点画像データに、それぞれなっている。
追加画像データ#1及び#2は、２次元画像の表示には必要がなく、立体視画像（立体視画像）を表示するときに、基本画像データとともに用いられる。
［符号化装置の処理の説明］
図２０を参照して、図１８の符号化装置の処理（符号化処理）を説明する。
図１８の符号化装置では、フラグ設定部１２が、立体視画像の制作者によって操作されると、ステップＳ１４１において、フラグ設定部１２が、立体視画像の制作者の操作に従って、立体視画像の各シーンに対するビュースイッチングフラグを設定し、生成部１３及び入れ替え部７１に供給する。
その後、符号化装置に対して、立体視画像の画像データである第1視点画像データないし第N視点画像データが供給されるのを待って、処理は、ステップＳ１４１からステップＳ１４２に進み、入れ替え部７１は、フラグ設定部１２からのビュースイッチングフラグに従い、図１９で説明したように、第1視点画像データないし第N視点画像データのうちの、1個の視点の画像データを、他の視点の画像データと入れ替えることにより、第1視点画像データないし第N視点画像データを、1個の基本画像データと、N-1個の追加画像データ#1ないし#N-1とに変換する（第1視点画像データないし第N視点画像データから、1個の基本画像データと、N-1個の追加画像データ#1ないし#N-1とを生成する）。
ステップＳ１４２の処理後、入れ替え部７１は、基本画像データを符号化部１１1に供給するとともに、追加画像データ#nを符号化部１１n+1に供給する。
その後、処理は、ステップＳ１４３に進み、符号化部１１1が、入れ替え部７１からの基本画像データを符号化し、その結果得られる基本符号化データを、生成部１３に供給する。さらに、ステップＳ１４３では、符号化部１１n+1が、入れ替え部７１からの追加画像データ#nを符号化し、その結果得られる追加符号化データ#nを、生成部１３に供給して、処理は、ステップＳ１４４に進む。
ステップＳ１４４では、生成部１３は、符号化部１１1からの基本符号化データと、符号化部１１2ないし１１Nそれぞれからの追加符号化データ#1ないし#N-1とを多重化し、多重化データとする。さらに、生成部１３は、多重化データのヘッダに、フラグ設定部１２からのビュースイッチングフラグを含め、多重化データを出力する。
そして、処理は、ステップＳ１４４からステップＳ１４５に進み、符号化装置は、まだ符号化すべき立体視画像の画像データがあるかどうかを判定し、あると判定された場合、処理は、ステップＳ１４２に戻り、以下、ステップＳ１４２ないしＳ１４５の処理が繰り返される。
一方、ステップＳ１４５において、符号化すべき立体視画像の画像データがないと判定された場合、符号化装置は、符号化処理を終了する。
以上のようにして、生成部１３が出力する多重化データ、すなわち、立体視画像の画像データを変換した1個の基本画像データ、及び、N-1個の追加画像データ（を符号化した符号化データ）と、ビュースイッチングフラグとを含むビットストリームは、例えば、伝送媒体を介して伝送され、又は、記録媒体に記録される。
［復号装置の第４実施の形態］
図２１は、本発明を適用した復号装置の第４実施の形態の構成例を示すブロック図である。
なお、図中、図１２又は図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図２１の復号装置は、復号部４２1及び４２2に代えて、N個の復号部４２1ないし４２Nが設けられていることを除けば、図１２の場合と同様に構成されている。
図２１において、復号装置は、図１８の符号化装置が出力する多重化データを復号する。
ここで、図１８の符号化装置が出力する多重化データは、1個の基本符号化データ、及び、N-1個の追加符号化データ#1ないし#N-1を含んでいる。
このため、図２１の復号装置では、抽出部４１は、多重化データから、1個の基本符号化データ、及び、N-1個の追加符号化データ#1ないし#N-1のそれぞれを分離する。そして、抽出部４１は、基本符号化データを復号部４２1に、追加符号化データ#nを復号部４２n+1に、それぞれ供給する。
したがって、復号部４２1は、抽出部４１からの基本符号化データを復号し、復号部４２n+1は、抽出部４１からの追加符号化データ#nを復号する。
復号部４２1が基本符号化データを復号することにより得られる基本画像データと、復号部４２n+1が追加符号化データ#nを復号することにより得られる追加画像データ#nとは、復元部８１に供給される。
ここで、立体視画像が２次元画像として表示される場合には、復号部４２1が基本符号化データを復号することにより得られる基本画像データが、図示せぬ２次元表示デバイスに供給される。そして、２次元表示デバイスでは、復号部４２1からの基本画像データに対応する画像が表示される。
復元部８１には、上述のように、復号部４２1から基本画像データが供給されるとともに、復号部４２n+1から追加画像データ#nが供給される他、多重化データから抽出されたビュースイッチングフラグが、抽出部４１から供給される。
復元部８１は、抽出部４１からのビュースイッチングフラグに従い、復号部４２1からの基本画像データを、復号部４２n+1からの追加画像データ#nと入れ替えることで、基本画像データ、及び、N-1個の追加画像データ#1ないし#N-1を、元のN個の第1視点画像データないし第N視点画像データに変換する。
すなわち、復元部８１は、抽出部４１からのビュースイッチングフラグに従い、基本画像データ、及び、N-1個の追加画像データ#1ないし#N-1を対象に、図１８の入れ替え部７１の場合と逆の入れ替えを行うことで、N個の第1視点画像データないし第N視点画像データを復元する。
そして、復元部８１は、第1視点画像データないし第N視点画像データを、立体視画像変換部４３に供給する。
立体視画像変換部４３は、復元部８１からの第1視点画像データないし第N視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給する。
［復号装置の処理の説明］
図２２Ａおよび図２２Ｂを参照して、図２１の復号装置の処理（復号処理）を説明する。
図２２Ａは、立体視画像の表示が行われる場合の、図２１の復号装置の復号処理を説明するフローチャートである。
立体視画像の表示が行われる場合、ステップＳ１５１において、抽出部４１は、そこに供給される多重化データから、ビュースイッチングフラグを抽出し、復元部８１に供給して、処理は、ステップＳ１５２に進む。
ステップＳ１５２では、抽出部４１は、多重化データから、基本符号化データ、及び、N-1個の追加符号化データ#1ないし#N-1を分離し、基本符号化データを、復号部４２1に、追加符号化データ#nを、復号部４２n+1に、それぞれ供給して、処理は、ステップＳ１５３に進む。
ステップＳ１５３では、多重化データに多重化されているすべての符号化データが復号され、処理は、ステップＳ１５４に進む。
すなわち、復号部４２1は、抽出部４１からの基本符号化データを復号し、その結果得られる基本画像データを、復元部８１に供給する。さらに、復号部４２n+1は、抽出部４１からの追加符号化データ#nを復号し、その結果得られる追加画像データ#nを、復元部８１に供給する。
ステップＳ１５４では、復元部８１は、抽出部４１からのビュースイッチングフラグに従い、基本画像データ、及び、N-1個の追加画像データ#1ないし#N-1を対象に、図１８の入れ替え部７１の場合と逆の入れ替えを行い、これにより、N個の第1視点画像データないし第N視点画像データを復元する。
そして、復元部８１は、第1視点画像データないし第N視点画像データを、立体視変換部４３に供給する。
その後、処理は、ステップＳ１５４からステップＳ１５５に進み、立体視画像変換部４３は、復元部８１からの第1視点画像データないし第N視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給して、処理は、ステップＳ１５６に進む。
ステップＳ１５６では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ１５１に戻り、以下、ステップＳ１５１ないしＳ１５６の処理が繰り返される。
また、ステップＳ１５６において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
図２２Ｂは、２次元画像の表示が行われる場合の、図２１の復号装置の復号処理を説明するフローチャートである。
２次元画像の表示が行われる場合、ステップＳ１６１において、抽出部４１は、そこに供給される多重化データから、基本符号化データを分離し、復号部４２1に供給して、処理は、ステップＳ１６２に進む。
ステップＳ１６２では、復号部４２1は、抽出部４１から供給される基本符号化データを復号し、その結果得られる基本画像データを、図示せぬ２次元表示デバイスに供給する。
したがって、２次元表示デバイスでは、２次元画像として、基本画像データに対応する画像が表示される。
その後、処理は、ステップＳ１６２からステップＳ１６３に進み、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ１６１に戻り、以下、ステップＳ１６１ないしＳ１６３の処理が繰り返される。
一方、ステップＳ１６３において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
以上のように、図１８の符号化装置では、２次元画像の表示に用いる画像データを指定するビュースイッチングフラグに従い、N個の第1視点画像データないし第N視点画像データのうちの、1個の視点の画像データを、他の視点の画像データと入れ替えることにより、N個の第1視点画像データないし第N視点画像データが、1個の基本画像データとN-1個の追加画像データ#1ないし#N-1とに変換され、基本画像データ、及び、追加画像データ#1ないし#N-1と、ビュースイッチングフラグとを含む多重化データが生成される。
したがって、図２１の復号装置では、立体視画像のコンテンツを、２次元画像として表示する場合に、基本画像データに対応する画像を表示することにより、N個の第1視点画像データないし第N視点画像データのうちの、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
また、図２１の復号装置では、その多重化データから、ビュースイッチングフラグが抽出され、そのビュースイッチングフラグに従い、基本画像データ、及び、N-1個の追加画像データ#1ないし#N-1が、元のN個の第1視点画像データないし第N視点画像データに復元される。
したがって、立体視用デバイスにおいて、立体視画像を表示することができる。
なお、上述の符号化装置、及び、復号装置では、立体視画像以外の複数の視点の画像を対象として、処理を行うこともできる。
すなわち、上述の符号化装置、及び、復号装置では、例えば、ある俳優Aをメインに撮影するカメラで得られた画像と、他の俳優Bをメインに撮影するカメラで得られた画像VAとの2個の視点の画像VBを、対象として処理を行うことができる。
この場合、復号装置に、例えば、ユーザの操作に応じて、画像VA及びVBのうちのいずれかを選択する手段を設けることにより、ユーザは、興味がある俳優をメインとした画像を視聴することができる。
但し、この場合、画像VA及びVBは、立体視画像ではないため、画像の表示は、２次元画像の表示しか行うことができず、立体視画像の表示を行うことはできない。
［本発明を適用したコンピュータの実施の形態］
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図２３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
すなわち、例えば、本実施の形態では、画像データを、AVC/H.264方式等によって符号化し、復号することとしたが、画像データの符号化、及び、復号は、行わなくても良い。
また、本実施の形態では、フラグをビットストリームに多重化(記述)するものとして説明したが、多重化する以外にも、フラグと画像データ(又はビットストリーム)とを伝送(記録)してもよい。さらに、フラグと画像データ(又はビットストリーム)と連結する形態もある。
本実施の形態では、連結を以下のように定義する。連結とは、画像データ(又はビットストリーム)とフラグとが互いにリンクされている状態であれば良い。例えば、画像データ(又はビットストリーム)とフラグとを、別の伝送路で伝送してもよい。また、画像データ(又はビットストリーム)とフラグとを、互いに別の記録媒体(又は同一の記録媒体内の別々の記録エリア)に記録してもよい。なお、画像データ(又はビットストリーム)とフラグとをリンクさせる単位は、例えば、符号化処理単位(１フレーム、複数フレーム等)で設定してもよい。
ここで、図１等の符号化装置において、符号化部１１1及び１１2、並びに生成部１３は、複数であるN個の視点の画像データを符号化してビットストリームを生成する符号化手段として機能するとみなすことができる。また、フラグ設定部１２は、N個の視点の画像データのうちの、２次元画像の表示に用いる画像データを指定するビュースイッチングフラグを生成する生成手段として機能するとみなすことができる。さらに、生成部１３は、N個の視点の画像データを符号化したビットストリームと、ビュースイッチングフラグとを伝送する伝送手段として機能するとみなすことができる。
また、図５等の復号装置において、抽出部４１は、複数であるN個の視点の画像データを符号化して得られるビットストリームと、N個の視点の画像データのうちの、２次元画像の表示に用いる画像データを指定するビュースイッチングフラグと、を受け取る受け取り手段として機能するとみなすことができる。さらに、選択部４４は、ビュースイッチングフラグに従い、ビットストリームに含まれるN個の視点の画像データから、２次元画像の表示に用いる画像データを選択する選択手段として機能するとみなすことができる。
［本発明を適用した電子機器の実施の形態］
例えば、上述した符号化装置や復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
図２４は、本発明を適用した復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
図２４に示されるテレビジョン受像機１０００は、地上波チューナ１０１３、ビデオデコーダ１０１５、映像信号処理回路１０１８、グラフィック生成回路１０１９、パネル駆動回路１０２０、および表示パネル１０２１を有する。
地上波チューナ１０１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ１０１５に供給する。ビデオデコーダ１０１５は、地上波チューナ１０１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路１０１８に供給する。
映像信号処理回路１０１８は、ビデオデコーダ１０１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路１０１９に供給する。
グラフィック生成回路１０１９は、表示パネル１０２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路１０２０に供給する。また、グラフィック生成回路１０１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路１０２０に供給するといった処理も適宜行う。
パネル駆動回路１０２０は、グラフィック生成回路１０１９から供給されたデータに基づいて表示パネル１０２１を駆動し、番組の映像や上述した各種の画面を表示パネル１０２１に表示させる。
表示パネル１０２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路１０２０による制御に従って番組の映像などを表示させる。
また、テレビジョン受像機１０００は、音声A/D（Analog/Digital)変換回路１０１４、音声信号処理回路１０２２、エコーキャンセル／音声合成回路１０２３、音声増幅回路１０２４、およびスピーカ１０２５も有する。
地上波チューナ１０１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ１０１３は、取得した音声信号を音声A/D変換回路１０１４に供給する。
音声A/D変換回路１０１４は、地上波チューナ１０１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路１０２２に供給する。
音声信号処理回路１０２２は、音声A/D変換回路１０１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路１０２３に供給する。
エコーキャンセル／音声合成回路１０２３は、音声信号処理回路１０２２から供給された音声データを音声増幅回路１０２４に供給する。
音声増幅回路１０２４は、エコーキャンセル／音声合成回路１０２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ１０２５から出力させる。
さらに、テレビジョン受像機１０００は、デジタルチューナ１０１６およびMPEGデコーダ１０１７も有する。
デジタルチューナ１０１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ１０１７に供給する。
MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ１０１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路１０２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路１０１８に供給する。また、MPEGデコーダ１０１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU１０３２に供給する。
テレビジョン受像機１０００は、このように映像パケットをデコードするMPEGデコーダ１０１７として、図５、図１２、図１６、または図２１を参照して上述した復号装置を用いる。なお、放送局等より送信されるMPEG-TSは、図１、図９、図１４、または図１８を参照して上述した符号化装置によって符号化されており、複数の画像データが符号化されて１つのビットストリームとされている。
MPEGデコーダ１０１７は、図５、図１２、図１６、または図２１の復号装置の場合と同様に、ビュースイッチングフラグに基づいて２次元画像として表示される画像データの符号化データを選択し、復号するか、若しくは、符号化装置がビュースイッチングフラグによる指定に基づいて画像を入れ替えながら生成した、２次元画像表示に用いる基本画像データを符号化した基本符号化データを復号する。したがって、MPEGデコーダ１０１７は、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
MPEGデコーダ１０１７から供給された映像データは、ビデオデコーダ１０１５から供給された映像データの場合と同様に、映像信号処理回路１０１８において所定の処理が施され、グラフィック生成回路１０１９において、生成された映像データ等が適宜重畳され、パネル駆動回路１０２０を介して表示パネル１０２１に供給され、その画像が表示される。
MPEGデコーダ１０１７から供給された音声データは、音声A/D変換回路１０１４から供給された音声データの場合と同様に、音声信号処理回路１０２２において所定の処理が施され、エコーキャンセル／音声合成回路１０２３を介して音声増幅回路１０２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ１０２５から出力される。
また、テレビジョン受像機１０００は、マイクロホン１０２６、およびA/D変換回路１０２７も有する。
A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路１０２３に供給する。
エコーキャンセル／音声合成回路１０２３は、テレビジョン受像機１０００のユーザ（ユーザＡ）の音声のデータがA/D変換回路１０２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。
さらに、テレビジョン受像機１０００は、音声コーデック１０２８、内部バス１０２９、SDRAM（Synchronous Dynamic Random Access Memory)１０３０、フラッシュメモリ１０３１、CPU１０３２、USB（Universal Serial Bus) I/F１０３３、およびネットワークI/F１０３４も有する。
A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック１０２８に供給する。
音声コーデック１０２８は、A/D変換回路１０２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス１０２９を介してネットワークI/F１０３４に供給する。
ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F１０３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック１０２８から供給された音声データを送信する。また、ネットワークI/F１０３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子１０３５を介して受信し、それを、内部バス１０２９を介して音声コーデック１０２８に供給する。
音声コーデック１０２８は、ネットワークI/F１０３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路１０２３に供給する。
エコーキャンセル／音声合成回路１０２３は、音声コーデック１０２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。
SDRAM１０３０は、CPU１０３２が処理を行う上で必要な各種のデータを記憶する。
フラッシュメモリ１０３１は、CPU１０３２により実行されるプログラムを記憶する。フラッシュメモリ１０３１に記憶されているプログラムは、テレビジョン受像機１０００の起動時などの所定のタイミングでCPU１０３２により読み出される。フラッシュメモリ１０３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
例えば、フラッシュメモリ１０３１には、CPU１０３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ１０３１は、例えばCPU１０３２の制御により、そのMPEG-TSを、内部バス１０２９を介してMPEGデコーダ１０１７に供給する。
MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機１０００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ１０１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
また、テレビジョン受像機１０００は、リモートコントローラ１０５１から送信される赤外線信号を受光する受光部１０３７も有する。
受光部１０３７は、リモートコントローラ１０５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU１０３２に出力する。
CPU１０３２は、フラッシュメモリ１０３１に記憶されているプログラムを実行し、受光部１０３７から供給される制御コードなどに応じてテレビジョン受像機１０００の全体の動作を制御する。CPU１０３２とテレビジョン受像機１０００の各部は、図示せぬ経路を介して接続されている。
USB I/F１０３３は、USB端子１０３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機１０００の外部の機器との間でデータの送受信を行う。ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
テレビジョン受像機１０００は、MPEGデコーダ１０１７として、図５、図１２、図１６、または図２１を参照して上述した復号装置を用いることにより、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示することができる。
図２５は、本発明を適用した符号化装置および復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
図２５に示される携帯電話機１１００は、各部を統括的に制御するようになされた主制御部１１５０、電源回路部１１５１、操作入力制御部１１５２、画像エンコーダ１１５３、カメラI/F部１１５４、LCD制御部１１５５、画像デコーダ１１５６、多重分離部１１５７、記録再生部１１６２、変復調回路部１１５８、および音声コーデック１１５９を有する。これらは、バス１１６０を介して互いに接続されている。
また、携帯電話機１１００は、操作キー１１１９、CCD（Charge Coupled Devices）カメラ１１１６、液晶ディスプレイ１１１８、記憶部１１２３、送受信回路部１１６３、アンテナ１１１４、マイクロホン（マイク）１１２１、およびスピーカ１１１７を有する。
電源回路部１１５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機１１００を動作可能な状態に起動する。
携帯電話機１１００は、CPU、ROMおよびRAM等でなる主制御部１１５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
例えば、音声通話モードにおいて、携帯電話機１１００は、マイクロホン（マイク）１１２１で集音した音声信号を、音声コーデック１１５９によってデジタル音声データに変換し、これを変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
また、例えば、音声通話モードにおいて、携帯電話機１１００は、アンテナ１１１４で受信した受信信号を送受信回路部１１６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部１１５８でスペクトラム逆拡散処理し、音声コーデック１１５９によってアナログ音声信号に変換する。携帯電話機１１００は、その変換して得られたアナログ音声信号をスピーカ１１１７から出力する。
更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機１１００は、操作キー１１１９の操作によって入力された電子メールのテキストデータを、操作入力制御部１１５２において受け付ける。携帯電話機１１００は、そのテキストデータを主制御部１１５０において処理し、LCD制御部１１５５を介して、画像として液晶ディスプレイ１１１８に表示させる。
また、携帯電話機１１００は、主制御部１１５０において、操作入力制御部１１５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機１１００は、その電子メールデータを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機１１００は、復元された電子メールデータを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示する。
なお、携帯電話機１１００は、受信した電子メールデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。
この記憶部１１２３は、書き換え可能な任意の記憶媒体である。記憶部１１２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機１１００は、撮像によりCCDカメラ１１１６で画像データを生成する。CCDカメラ１１１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。CCDカメラ１１１６は、その画像データを、カメラI/F部１１５４を介して、画像エンコーダ１１５３で符号化し、符号化画像データに変換する。
携帯電話機１１００は、このような処理を行う画像エンコーダ１１５３として、図１、図９、図１４、または図１８を参照して上述した符号化装置を用いる。画像エンコーダ１０５３は、これらの符号化装置の場合と同様に、複数の視点の画像データをそれぞれ符号化し、それらの符号化データをビュースイッチングフラグと多重化する。これにより、画像エンコーダ１０５３は、復号側において、ビュースイッチングフラグが用いられてコンテンツの制作者が意図する画像が表示されるようにすることができる。
なお、携帯電話機１１００は、このとき同時に、CCDカメラ１１１６で撮像中にマイクロホン（マイク）１１２１で集音した音声を、音声コーデック１１５９においてアナログデジタル変換し、さらに符号化する。
携帯電話機１１００は、多重分離部１１５７において、画像エンコーダ１１５３から供給された符号化画像データと、音声コーデック１１５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機１１００は、その結果得られる多重化データを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
なお、画像データを送信しない場合、携帯電話機１１００は、CCDカメラ１１１６で生成した画像データを、画像エンコーダ１１５３を介さずに、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させることもできる。
また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機１１００は、多重分離部１１５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
携帯電話機１１００は、画像デコーダ１１５６において符号化画像データをデコードすることにより、再生動画像データを生成し、これを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ１１１８に表示される。
携帯電話機１１００は、このような処理を行う画像デコーダ１１５６として、図５、図１２、図１６、または図２１を参照して上述した復号装置を用いる。つまり、画像デコーダ１１５６は、これらの復号装置の場合と同様に、ビュースイッチングフラグに基づいて２次元画像として表示される画像データの符号化データを選択し、復号するか、若しくは、符号化装置がビュースイッチングフラグによる指定に基づいて画像を入れ替えながら生成した、２次元画像表示に用いる基本画像データを符号化した基本符号化データを復号する。したがって、画像デコーダ１１５６は、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
このとき、携帯電話機１１００は、同時に、音声コーデック１１５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ１１１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
なお、電子メールの場合と同様に、携帯電話機１１００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。
また、携帯電話機１１００は、主制御部１１５０において、撮像されてCCDカメラ１１１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
さらに、携帯電話機１１００は、赤外線通信部１１８１で赤外線により外部の機器と通信することができる。
携帯電話機１１００は、画像エンコーダ１１５３として図１、図９、図１４、または図１８を参照して上述した符号化装置を用いることにより、復号側において、ビュースイッチングフラグが用いられてコンテンツの制作者が意図する画像が表示されるようにすることができる。
また、携帯電話機１１００は、画像デコーダ１１５６として図５、図１２、図１６、または図２１を参照して上述した復号装置を用いることにより、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
なお、以上において、携帯電話機１１００が、CCDカメラ１１１６を用いるように説明したが、このCCDカメラ１１１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機１１００は、CCDカメラ１１１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
また、以上においては携帯電話機１１００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機１１００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機１１００の場合と同様に、上述した符号化装置や復号装置を適用することができる。
図２６は、本発明を適用した符号化装置および復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
図２６に示されるハードディスクレコーダ（HDDレコーダ）１２００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
ハードディスクレコーダ１２００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ１２００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
さらに、ハードディスクレコーダ１２００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることができる。また、ハードディスクレコーダ１２００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることもできる。
もちろん、この他の動作も可能である。
図２６に示されるように、ハードディスクレコーダ１２００は、受信部１２２１、復調部１２２２、デマルチプレクサ１２２３、オーディオデコーダ１２２４、ビデオデコーダ１２２５、およびレコーダ制御部１２２６を有する。ハードディスクレコーダ１２００は、さらに、EPGデータメモリ１２２７、プログラムメモリ１２２８、ワークメモリ１２２９、ディスプレイコンバータ１２３０、OSD（On Screen Display）制御部１２３１、ディスプレイ制御部１２３２、記録再生部１２３３、D/Aコンバータ１２３４、および通信部１２３５を有する。
また、ディスプレイコンバータ１２３０は、ビデオエンコーダ１２４１を有する。記録再生部１２３３は、エンコーダ１２５１およびデコーダ１２５２を有する。
受信部１２２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部１２２６に出力する。レコーダ制御部１２２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ１２２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部１２２６は、このとき、ワークメモリ１２２９を必要に応じて使用する。
通信部１２３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部１２３５は、レコーダ制御部１２２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
復調部１２２２は、チューナより供給された信号を、復調し、デマルチプレクサ１２２３に出力する。デマルチプレクサ１２２３は、復調部１２２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ１２２４、ビデオデコーダ１２２５、またはレコーダ制御部１２２６に出力する。
オーディオデコーダ１２２４は、入力されたオーディオデータをデコードし、記録再生部１２３３に出力する。ビデオデコーダ１２２５は、入力されたビデオデータをデコードし、ディスプレイコンバータ１２３０に出力する。レコーダ制御部１２２６は、入力されたEPGデータをEPGデータメモリ１２２７に供給し、記憶させる。
ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されたビデオデータを、ビデオエンコーダ１２４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部１２３３に出力する。また、ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されるビデオデータの画面のサイズを、モニタ１２６０のサイズに対応するサイズに変換し、ビデオエンコーダ１２４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部１２３２に出力する。
ディスプレイ制御部１２３２は、レコーダ制御部１２２６の制御のもと、OSD（On Screen Display）制御部１２３１が出力したOSD信号を、ディスプレイコンバータ１２３０より入力されたビデオ信号に重畳し、モニタ１２６０のディスプレイに出力し、表示させる。
モニタ１２６０にはまた、オーディオデコーダ１２２４が出力したオーディオデータが、D/Aコンバータ１２３４によりアナログ信号に変換されて供給されている。モニタ１２６０は、このオーディオ信号を内蔵するスピーカから出力する。
記録再生部１２３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
記録再生部１２３３は、例えば、オーディオデコーダ１２２４より供給されるオーディオデータを、エンコーダ１２５１によりエンコードする。また、記録再生部１２３３は、ディスプレイコンバータ１２３０のビデオエンコーダ１２４１より供給されるビデオデータを、エンコーダ１２５１によりエンコードする。記録再生部１２３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部１２３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
記録再生部１２３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部１２３３は、デコーダ１２５２によりオーディオデータおよびビデオデータをデコードする。記録再生部１２３３は、復号したオーディオデータをD/A変換し、モニタ１２６０のスピーカに出力する。また、記録再生部１２３３は、復号したビデオデータをD/A変換し、モニタ１２６０のディスプレイに出力する。
レコーダ制御部１２２６は、受信部１２２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ１２２７から最新のEPGデータを読み出し、それをOSD制御部１２３１に供給する。OSD制御部１２３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部１２３２に出力する。ディスプレイ制御部１２３２は、OSD制御部１２３１より入力されたビデオデータをモニタ１２６０のディスプレイに出力し、表示させる。これにより、モニタ１２６０のディスプレイには、EPG（電子番組ガイド）が表示される。
また、ハードディスクレコーダ１２００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
通信部１２３５は、レコーダ制御部１２２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部１２２６に供給する。レコーダ制御部１２２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部１２３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部１２２６および記録再生部１２３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
また、レコーダ制御部１２２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ１２３０に供給する。ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５から供給されるビデオデータと同様に、レコーダ制御部１２２６から供給されるビデオデータを処理し、ディスプレイ制御部１２３２を介してモニタ１２６０に供給し、その画像を表示させる。
また、この画像表示に合わせて、レコーダ制御部１２２６が、復号したオーディオデータを、D/Aコンバータ１２３４を介してモニタ１２６０に供給し、その音声をスピーカから出力させるようにしてもよい。
さらに、レコーダ制御部１２２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ１２２７に供給する。
以上のようなハードディスクレコーダ１２００は、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダとして、図５、図１２、図１６、または図２１を参照して上述した復号装置を用いる。つまり、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、これらの復号装置の場合と同様に、ビュースイッチングフラグに基づいて２次元画像として表示される画像データの符号化データを選択し、復号するか、若しくは、符号化装置がビュースイッチングフラグによる指定に基づいて画像を入れ替えながら生成した、２次元画像表示に用いる基本画像データを符号化した基本符号化データを復号する。したがって、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、それぞれ、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
したがって、ハードディスクレコーダ１２００は、例えば、チューナや通信部１２３５によるビデオデータ（符号化データ）の受信の際や、記録再生部１２３３によるビデオデータ（符号化データ）のハードディスクからの再生の際に、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
また、ハードディスクレコーダ１２００は、エンコーダ１２５１として図１、図９、図１４、または図１８を参照して上述した符号化装置を用いる。したがって、エンコーダ１２５１は、これらの符号化装置の場合と同様に、複数の視点の画像データをそれぞれ符号化し、それらの符号化データをビュースイッチングフラグと多重化する。したがって、ハードディスクレコーダ１２００は、例えば、復号側において、ビュースイッチングフラグが用いられてコンテンツの制作者が意図する画像が表示されるようにすることができる。
なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ１２００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ１２００の場合と同様に、上述した符号化装置や復号装置を適用することができる。
図２７は、本発明を適用した符号化装置および復号装置を用いるカメラの主な構成例を示すブロック図である。
図２７に示されるカメラ１３００は、被写体を撮像し、被写体の画像をLCD１３１６に表示させたり、それを画像データとして、記録メディア１３３３に記録したりする。
レンズブロック１３１１は、光（すなわち、被写体の映像）を、CCD/CMOS１３１２に入射させる。CCD/CMOS１３１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１３１３に供給する。
カメラ信号処理部１３１３は、CCD/CMOS１３１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１３１４に供給する。画像信号処理部１３１４は、コントローラ１３２１の制御の下、カメラ信号処理部１３１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１３４１で符号化したりする。画像信号処理部１３１４は、画像信号を符号化して生成した符号化データを、デコーダ１３１５に供給する。さらに、画像信号処理部１３１４は、オンスクリーンディスプレイ（OSD）１３２０において生成された表示用データを取得し、それをデコーダ１３１５に供給する。
以上の処理において、カメラ信号処理部１３１３は、バス１３１７を介して接続されるDRAM（Dynamic Random Access Memory）１３１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１３１８に保持させる。
デコーダ１３１５は、画像信号処理部１３１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１３１６に供給する。また、デコーダ１３１５は、画像信号処理部１３１４から供給された表示用データをLCD１３１６に供給する。LCD１３１６は、デコーダ１３１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
オンスクリーンディスプレイ１３２０は、コントローラ１３２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１３１７を介して画像信号処理部１３１４に出力する。
コントローラ１３２１は、ユーザが操作部１３２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１３１７を介して、画像信号処理部１３１４、DRAM１３１８、外部インタフェース１３１９、オンスクリーンディスプレイ１３２０、およびメディアドライブ１３２３等を制御する。FLASH ROM１３２４には、コントローラ１３２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
例えば、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５に代わって、DRAM１３１８に記憶されている画像データを符号化したり、DRAM１３１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１３１４やデコーダ１３１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
また、例えば、操作部１３２２から画像印刷の開始が指示された場合、コントローラ１３２１は、DRAM１３１８から画像データを読み出し、それを、バス１３１７を介して外部インタフェース１３１９に接続されるプリンタ１３３４に供給して印刷させる。
さらに、例えば、操作部１３２２から画像記録が指示された場合、コントローラ１３２１は、DRAM１３１８から符号化データを読み出し、それを、バス１３１７を介してメディアドライブ１３２３に装着される記録メディア１３３３に供給して記憶させる。
記録メディア１３３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１３３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
また、メディアドライブ１３２３と記録メディア１３３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
外部インタフェース１３１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１３３４と接続される。また、外部インタフェース１３１９には、必要に応じてドライブ１３３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１３３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１３２４にインストールされる。
さらに、外部インタフェース１３１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１３２１は、例えば、操作部１３２２からの指示に従って、DRAM１３１８から符号化データを読み出し、それを外部インタフェース１３１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１３２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１３１９を介して取得し、それをDRAM１３１８に保持させたり、画像信号処理部１３１４に供給したりすることができる。
以上のようなカメラ１３００は、デコーダ１３１５として図５、図１２、図１６、または図２１を参照して上述した復号装置を用いる。つまり、デコーダ１３１５は、これらの復号装置の場合と同様に、ビュースイッチングフラグに基づいて２次元画像として表示される画像データの符号化データを選択し、復号するか、若しくは、符号化装置がビュースイッチングフラグによる指定に基づいて画像を入れ替えながら生成した、２次元画像表示に用いる基本画像データを符号化した基本符号化データを復号する。したがって、デコーダ１３１５は、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
したがって、カメラ１３００は、例えば、CCD/CMOS１３１２において生成される画像データや、DRAM１３１８または記録メディア１３３３からビデオデータの符号化データを読み出す際や、ネットワークを介してビデオデータの符号化データを取得する際に、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
また、カメラ１３００は、エンコーダ１３４１として図１、図９、図１４、または図１８を参照して上述した符号化装置を用いる。エンコーダ１３４１は、これらの符号化装置の場合と同様に、複数の視点の画像データをそれぞれ符号化し、それらの符号化データをビュースイッチングフラグと多重化する。これにより、エンコーダ１３４１は、復号側において、ビュースイッチングフラグが用いられてコンテンツの制作者が意図する画像が表示されるようにすることができる。
したがって、カメラ１３００は、例えば、DRAM１３１８や記録メディア１３３３に符号化データを記録する際や、符号化データを他の装置に提供する際に、復号側において、ビュースイッチングフラグが用いられてコンテンツの制作者が意図する画像が表示されるようにすることができる。
なお、コントローラ１３２１が行う復号処理に上述した復号装置の復号方法を適用するようにしてもよい。同様に、コントローラ１３２１が行う符号化処理に上述した符号化装置の符号化方法を適用するようにしてもよい。
また、カメラ１３００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
もちろん、上述した符号化装置および復号装置は、上述した装置以外の装置やシステムにも適用可能である。
［拡張マクロブロック］
また、マクロブロックの大きさは任意である。本発明は、例えば図２８に示されるようなあらゆる大きさのマクロブロックに対して適用することができる。例えば、本発明は、通常の１６×１６画素のようなマクロブロックだけでなく、３２×３２画素のような拡張されたマクロブロック（拡張マクロブロック）にも適用することができる。
図２８において、上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。また、中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。さらに、下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。
すなわち、３２×３２画素のマクロブロックは、上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。
上段の右側に示される１６×１６画素のブロックは、H．264/AVC方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。
中段の右側に示される８×８画素のブロックは、H．264/AVC方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。
これらのブロックは、以下の３階層に分類することができる。すなわち、図２８の上段に示される３２×３２画素、３２×１６画素、および１６×３２画素のブロックを第１階層と称する。上段の右側に示される１６×１６画素のブロック、並びに、中段に示される１６×１６画素、１６×８画素、および８×１６画素のブロックを、第２階層と称する。中段の右側に示される８×８画素のブロック、並びに、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックを、第３階層と称する。
このような階層構造を採用することにより、１６×１６画素のブロック以下に関しては、H．264/AVC方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックを定義することができる。
例えば、本発明を適用した符号化装置や復号装置が、階層毎にフィルタ係数を算出するようにしてもよい。また、例えば、本発明を適用した符号化装置や復号装置が、第２の階層よりブロックサイズが大きい階層である第１階層に対応するフィルタ係数を、第２階層に対しても設定するようにしてもよい。さらに、例えば、本発明を適用した符号化装置や復号装置が、過去の同一の階層に対するフィルタ係数を設定するようにしてもよい。
第１階層や第２階層のように、比較的大きなブロックサイズを用いて符号化が行われるマクロブロックは、比較的高周波成分を含んでいない。これに対して、第３階層のように、比較的小さなブロックサイズを用いて符号化が行われるマクロブロックは、比較的、高周波成分を含んでいると考えられる。
そこで、ブロックサイズの異なる各階層に応じて、別々にフィルタ係数を算出することにより、画像の持つ、局所的性質に適した符号化性能向上を実現させることが可能である。
なお、フィルタのタップ数も、階層毎に異なるものであってもよい。
１１1ないし１１N 符号化部， １２ フラグ設定部， １３ 生成部， ２１ A/D変換部， ２２ 画像並べ替えバッファ， ２３ 演算部， ２４ 直交変換部， ２５ 量子化部， ２６ 可逆符号化部， ２７ 蓄積バッファ， ２８ レート制御部， ２９ 着量子化部， ３０ 逆直交変換部， ３１ 演算部， ３２ フレームメモリ， ３３ イントラ予測部， ３４ 動き予測／動き補償部， ４１ 抽出部， ４２1ないし４２N 復号部， ４３ 立体視画像変換部， ４４ 選択部， ４５ 復号部， ５１ 蓄積バッファ， ５２ 可逆符号復号部， ５３ 逆量子化部， ５４ 逆直交変換部， ５５ 演算部， ５６ フレームメモリ， ５７ イントラ予測部， ５８ 動き予測／動き補償部， ５９ 画像並べ替えバッファ， ６０ D/A変換部， ７１ 入れ替え部， ８１ 復元部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (16)

  1. N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、
    前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段と
    を備える画像処理装置。
  2. 前記N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報を設定する指定情報設定手段を更に備える
    請求項１に記載の画像処理装置。
  3. 前記伝送手段は、前記基本画像データ及び前記追加画像データのビットストリームと前記指定情報とを連結して伝送する
    請求項２に記載の画像処理装置。
  4. 前記指定情報設定手段は、１以上の連続するピクチャごとに、前記指定情報を設定する
    請求項２に記載の画像処理装置。
  5. 前記変換手段は、前記N個の視点の画像データを、1個の前記基本画像データとN-1個の前記追加画像データとに変換する
    請求項１に記載の画像処理装置。
  6. 前記N個の視点の画像データは、左眼で観察される左眼用視点画像データ、及び、右眼で観察される右眼用視点画像データである
    請求項１に記載の画像処理装置。
  7. N個の視点の画像データを符号化してビットストリームを生成する符号化手段を更に備える
    請求項１に記載の画像処理装置。
  8. N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換ステップと、
    前記変換ステップにおいて変換された前記基本画像データ及び前記追加画像データと、
    前記指定情報とを伝送する伝送ステップと
    を含む画像処理方法。
  9. コンピュータを、
    N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、
    前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段と
    して機能させるためのプログラム。
  10. コンピュータを、
    N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、
    前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段と
    して機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
  11. N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、
    基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、
    前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データと
    を受け取る受け取り手段と、
    前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段と
    を備える画像処理装置。
  12. 前記N個の視点の画像データを、立体視用の立体視画像データに変換する立体視画像変換手段をさらに備える
    請求項１１に記載の画像処理装置。
  13. 前記受け取り手段は、前記指定情報と、前記N個の視点の画像データから得られた1個の前記基本画像データおよびN-1個の前記追加画像データと、を受け取る
    請求項１１に記載の画像処理装置。
  14. N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、
    基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、
    前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データと
    を受け取る受け取りステップと、
    前記受け取りステップにおいて受け取られた前記指定情報に従い、前記受け取りステップにおいて受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元ステップと
    を含む画像処理方法。
  15. コンピュータを、
    N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、
    基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、
    前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データと
    を受け取る受け取り手段と、
    前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段と
    して機能させるためのプログラム。
  16. コンピュータを、
    N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、
    基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、
    前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データと
    を受け取る受け取り手段と、
    前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段と
    して機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
JP2010542113A 2008-12-09 2009-12-09 画像処理装置および方法、プログラム、並びに、記録媒体 Expired - Fee Related JP5594536B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010542113A JP5594536B2 (ja) 2008-12-09 2009-12-09 画像処理装置および方法、プログラム、並びに、記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008313133 2008-12-09
JP2008313133 2008-12-09
PCT/JP2009/070578 WO2010067810A1 (ja) 2008-12-09 2009-12-09 画像処理装置および方法
JP2010542113A JP5594536B2 (ja) 2008-12-09 2009-12-09 画像処理装置および方法、プログラム、並びに、記録媒体

Publications (2)

Publication Number Publication Date
JPWO2010067810A1 JPWO2010067810A1 (ja) 2012-05-17
JP5594536B2 true JP5594536B2 (ja) 2014-09-24

Family

ID=42242799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010542113A Expired - Fee Related JP5594536B2 (ja) 2008-12-09 2009-12-09 画像処理装置および方法、プログラム、並びに、記録媒体

Country Status (8)

Country Link
US (1) US8750631B2 (ja)
EP (1) EP2357842A1 (ja)
JP (1) JP5594536B2 (ja)
KR (1) KR20110124199A (ja)
CN (1) CN102301723A (ja)
BR (1) BRPI0922722A2 (ja)
RU (1) RU2513912C2 (ja)
WO (1) WO2010067810A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
WO2012011525A1 (ja) * 2010-07-21 2012-01-26 株式会社プランネット・アソシエイツ 三次元ビデオストリームへの映像変換方法
JP2012054862A (ja) 2010-09-03 2012-03-15 Sony Corp 画像処理装置および画像処理方法
JP5336666B2 (ja) * 2010-10-25 2013-11-06 パナソニック株式会社 符号化方法、表示装置、復号方法
JP2012138856A (ja) * 2010-12-27 2012-07-19 Toshiba Corp 映像送信装置及び３次元映像送信プログラム
WO2012108210A1 (ja) * 2011-02-10 2012-08-16 パナソニック株式会社 ビデオストリームの映像のデータ作成装置及び再生装置
WO2013014693A1 (ja) * 2011-07-22 2013-01-31 株式会社日立製作所 動画像復号化方法及び画像符号化方法
JP6192902B2 (ja) * 2011-11-11 2017-09-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
BR112013017322A2 (pt) 2011-11-11 2017-03-01 Sony Corp dispositivo e método de transmissão, e, método de recepção
CN103269430A (zh) * 2013-04-16 2013-08-28 上海上安机电设计事务所有限公司 基于bim的三维场景生成方法
JP2014225863A (ja) * 2013-04-16 2014-12-04 株式会社リコー 情報処理装置、画像表示装置、情報処理システム及び情報処理方法
CN112017253A (zh) * 2019-05-30 2020-12-01 阿里巴巴集团控股有限公司 图像生成方法、装置和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0847001A (ja) * 1994-08-01 1996-02-16 Minolta Co Ltd 立体テレビカメラ
JP2004165710A (ja) * 2002-09-27 2004-06-10 Sharp Corp 立体画像表示装置、立体画像記録方法及び立体画像伝送方法
JP2007048293A (ja) * 2005-08-05 2007-02-22 Samsung Sdi Co Ltd ３ｄグラフィックデータ処理装置及び立体映像表示装置並びに立体映像表示装置の駆動方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
JPH09289655A (ja) * 1996-04-22 1997-11-04 Fujitsu Ltd 立体画像表示方法及び多視画像入力方法及び多視画像処理方法及び立体画像表示装置及び多視画像入力装置及び多視画像処理装置
JP3668019B2 (ja) * 1998-10-27 2005-07-06 株式会社ソニー・コンピュータエンタテインメント 記録媒体、画像処理装置および画像処理方法
US6859877B2 (en) * 2000-06-12 2005-02-22 Canon Kabushiki Kaisha Image processing apparatus and method, and computer readable memory medium storing program for executing image processing
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
CN1703915A (zh) 2002-09-27 2005-11-30 夏普株式会社 3－d图像显示单元,3－d图像记录装置和3－d图像记录方法
KR100804572B1 (ko) 2002-09-27 2008-02-20 샤프 가부시키가이샤 입체화상 표시장치, 입체화상 기록장치, 입체화상 부호화장치, 입체화상 복호장치, 입체화상 기록방법 및 입체화상 전송방법
KR20070016712A (ko) * 2005-08-05 2007-02-08 삼성에스디아이 주식회사 입체영상 표시장치 및 그의 구동방법
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
JP4909779B2 (ja) * 2006-04-17 2012-04-04 パナソニック株式会社 画像データ転送方法、画像処理装置、及び撮像システム
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0847001A (ja) * 1994-08-01 1996-02-16 Minolta Co Ltd 立体テレビカメラ
JP2004165710A (ja) * 2002-09-27 2004-06-10 Sharp Corp 立体画像表示装置、立体画像記録方法及び立体画像伝送方法
JP2007048293A (ja) * 2005-08-05 2007-02-22 Samsung Sdi Co Ltd ３ｄグラフィックデータ処理装置及び立体映像表示装置並びに立体映像表示装置の駆動方法

Also Published As

Publication number Publication date
WO2010067810A1 (ja) 2010-06-17
CN102301723A (zh) 2011-12-28
RU2513912C2 (ru) 2014-04-20
JPWO2010067810A1 (ja) 2012-05-17
US20110242105A1 (en) 2011-10-06
EP2357842A1 (en) 2011-08-17
KR20110124199A (ko) 2011-11-16
RU2011122274A (ru) 2012-12-10
BRPI0922722A2 (pt) 2016-01-05
US8750631B2 (en) 2014-06-10

Similar Documents

Publication Publication Date Title
JP5594536B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
KR102074602B1 (ko) 화상 처리 장치 및 방법, 및 기록 매체
KR102498725B1 (ko) 화상 부호화 장치, 화상 부호화 방법 및 기록 매체
TWI620433B (zh) Image processing device and method
KR102407030B1 (ko) 화상 부호화 장치 및 방법 및 화상 복호 장치 및 방법
US20150043637A1 (en) Image processing device and method
US8810628B2 (en) Image processing apparatus and image processing method
US20120121188A1 (en) Image processing device and method
WO2010101064A1 (ja) 画像処理装置および方法
WO2012096229A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
KR20190114012A (ko) 화상 처리 장치 및 방법
WO2013164922A1 (ja) 画像処理装置及び画像処理方法
JP2013012846A (ja) 画像処理装置及び画像処理方法
WO2012093611A1 (ja) 画像処理装置および方法
WO2014097913A1 (ja) 画像処理装置および方法
US20110128355A1 (en) Image processing apparatus and image processing method
KR102197557B1 (ko) 화상 처리 장치 및 방법
WO2011046085A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140723

LAPS Cancellation because of no payment of annual fees