JP5318041B2 - 符号化・復号化装置、及び配信方法 - Google Patents

Description

本発明は、あらゆるマルチメディアデータの符号化方法及び復号方法に用いることができ、特に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ多視点映像の符号化方法及び復号方法に用いることができる。

三次元映像が世に出て久しい。視聴者に対して三次元の視覚的効果を提供するにはいくつかの方法がある。その方法の一つは、視聴者の左右の目に二つの映像を別々に見せることである。これは、二つのカメラを用いて二つの映像を撮影する立体撮像と呼ばれる。立体映像を表示するために以前に用いられていた技術の一つに、片目ずつで見ることができるように色成分をフィルターにかける方法がある。そのような技術では、片目ずつに届く画像の解像度が低くなる。

近年の表示技術の進歩により、今では視聴者は、片目ずつで最大解像度の映像を視聴することが可能である。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ多視点映像符号化（ＭＶＣ）の映像規格は、そのような、各視点が最大解像度で表示される場合の、三次元画像の圧縮を対象として策定されている。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ多視点映像符号化（ＭＶＣ）の映像規格は、複数の視点のセットを対象にした動画像を効率的に圧縮することを可能にする圧縮ツールのセットを提供している。ＭＶＣの映像規格により、異なる視点のセットに属する再構築ピクチャからの予測符号化を用いてピクチャを圧縮することが可能になる。この「視点間」予測は、ほぼ同時に異なるカメラで撮影された画像の相関関係を利用して、ピクチャを効率的に圧縮する。

ＭＶＣの映像規格において、「視点間」予測は同一のピクチャ・オーダ・カウント情報を有する異なる視点のピクチャに対してのみ行われる。ピクチャ・オーダ・カウント情報は、同一の視点の再構築ピクチャの順番を示すために用いられる。ＭＶＣの映像規格では、同一のピクチャ・オーダ・カウント情報を有する異なる視点のピクチャ（つまり、ＭＶＣ規格に定義されるビューコンポーネント）は、アクセスユニットと呼ばれるコンテナとしてまとめられる。このとき、それらのアクセスユニットのサイズは、その映像規格で規定されるバッファモデルが定義する制限の制約を受ける。そのような制約は、圧縮映像の正確な復号を保証するために必要である。ＭＶＣ規格および本明細書に定義されるビューコンポーネントは、単一のアクセスユニット内の一つの視点を符号化して表示したものである。視点の一例としては、画像が挙げられる。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣハイプロファイルは、高解像度のストレージメディアやハイビジョンデジタル放送など、様々な用途で広く用いられている。ＭＶＣ映像規格に定義される多視点ハイプロファイルは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣハイプロファイルを拡張して策定されており、既に実現されているＨ．２６４／ＭＰＥＧ−４ ＡＶＣハイプロファイルデコーダは、簡単な修正により、多視点ハイプロファイルを用いた圧縮映像ストリームの復号に対応させることができる。実装されているＭＶＣ規格の中には、実装されているＨ．２６４／ＭＰＥＧ−４ ＡＶＣデコーダを利用して各視点の復号が独立して達成できるものもある。

映像コンテンツは、プログレッシブ走査のカメラまたはインタレース走査のカメラで撮像できる。インタレース走査のカメラで映像を撮影する場合には、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣハイプロファイルは、特にインタレース走査で撮影された動画像の扱いを対象にした符号化ツールのセットを提供する。図１Ａ及び図１Ｂに示すように、各画像は、フレームまたは複数のフィールドとして符号化できる。図１Ａは、インタレース走査された二つのフィールドを有するフレームピクチャの、ピクセルサンプリング位置を示す。図１Ｂは、インタレース走査されたフィールドの各々が一つのフィールドピクチャとして符号化されたフィールドピクチャの、ピクセルサンプリング位置を示す。二つの補完的なフィールドが、図１Ａに示すように一つのフレームとして符号化される場合、そのフレームは各フィールドの順番を表す二つのピクチャオーダカウントを有する。

従来技術（多視点映像符号化規格）の課題の一つは、異なる視点のピクチャ（つまり、ＭＶＣ規格に定義されるビューコンポーネント）が、フレーム符号化またはフィールド符号化の何れかを用いてそれぞれ別に符号化されるときの、コンテナつまりアクセスユニットの定義付けである。図２は、各視点用に異なるピクチャ符号化構造を備えるアクセスユニットの例を示す。図２に示すように、モジュール２００に示されるアクセスユニットコンテナＡは、視点２の一つのフレームピクチャと、視点１の一つのフィールドピクチャとを有し、一方、モジュール２０２に示されるアクセスユニットコンテナＢは、視点１の一つのフィールドピクチャのみを有する。これにより、アクセスユニットＡ内の視点２のフレームピクチャは視点１からの視点間予測を十分に利用できないため、圧縮効率が低下する。

これに伴う課題は、各アクセスユニットコンテナは異なる視点の全てのピクチャ（つまりビューコンポーネント）を常時有しているわけではないことである。そのため、圧縮映像の適切な符号化を保証するために映像規格で規定されているバッファモデルが定義する制限によっては、各アクセスユニットのサイズを制約することができない。

従来技術（多視点映像符号化規格）のその他の課題は、複数の視点を有するピクチャ（つまり、ＭＶＣ規格に定義されるビューコンポーネント）を有するアクセスユニットコンテナのサイズを制限するために設定された制約があることである。アクセスユニットの最大サイズが制限されていても、アクセスユニットコンテナ内の各視点の各ピクチャ（つまり、ＭＶＣ規格に定義されるビューコンポーネント）の最大サイズは制約を受けない。そのため、各視点を別々のＨ．２６４／ＭＰＥＧ−４ ＡＶＣデコーダによって復号する場合に、ＭＶＣデコーダの実装に問題が生じることがある。

アクセスユニットの最大サイズを制限するために定義された制約は、各視点が独立しているデコーダで別々に復号されるときに、アクセスユニット内の各ビューコンポーネントが適切に復号されることを保証するものではない。そのような制約には、最大スライス数、およびアクセスユニット内の各ピクチャ（つまり、ＭＶＣ規格に定義されるビューコンポーネント）のサイズが含まれる。

本発明は、上記の事情に鑑みてなされたものであり、視点の異なる複数の画像群の符号化効率を向上させた符号化方法、復号方法、及びこれらを実現する符号化装置、復号装置、プログラム、及び集積回路を提供することを目的とする。

本発明の一形態に係る符号化方法は、異なる視点で撮影されたインタレース方式の第１及び第２の画像群を符号化する符号化方法であって、前記第１の画像群の画像と、前記第１の画像群の画像に対応する前記第２の画像群の画像とで構成されるアクセスユニットを定義するアクセスユニット定義ステップと、前記アクセスユニット定義ステップで定義された前記アクセスユニット毎に、当該アクセスユニットを構成する各画像を符号化する符号化ステップとを含み、前記アクセスユニット定義ステップは、前記アクセスユニットに含まれる各画像を、フィールド単位又はフレーム単位のいずれに統一して符号化するかを決定する符号化単位決定ステップを含む。

また、本発明の一形態に係る符号化方法は、異なる視点で撮影されたインタレース方式の第１及び第２の画像群を符号化する。具体的には、前記第１及び第２の画像群中の互いに対応する画像で構成されるアクセスユニットを定義するアクセスユニット定義ステップと、前記アクセスユニット定義ステップで定義された前記アクセスユニット毎に、当該アクセスユニットを構成する各画像を符号化する符号化ステップとを含む。前記アクセスユニット定義ステップは、前記アクセスユニットに含まれる各画像を、フィールド単位又はフレーム単位のいずれに統一して符号化するかを決定する符号化単位決定ステップと、前記アクセスユニットに含まれる各画像がフィールド単位に決定された場合に、当該各画像をトップフィールド又はボトムフィールドのいずれに統一して符号化するかを決定するフィールド種別決定ステップとを含む。そして、前記符号化ステップでは、前記アクセスユニット毎に、前記符号化単位決定ステップ及び前記フィールド種別決定ステップで決定された形式の各画像を符号化する。

上の方法によれば、同一のアクセスユニットに含まれる全ての画像の形式（フィールド／フレーム、トップ／ボトム）が統一されるので、視点間符号化する場合に符号化効率が向上する。

また、前記符号化単位決定ステップでは、フィールド単位の画像であるかフレーム単位の画像であるかを示す値を、参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇに設定してもよい。前記フィールド種別決定ステップでは、トップフィールドであるかボトムフィールドであるかを示す値を、参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇに設定してもよい。そして、前記符号化ステップでは、前記第１及び第２の画像群中の互いに対応する画像を、前記参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ及び前記参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇに設定された値に基づいて取得し、取得した各画像のスライスヘッダに含まれるｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇに前記参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値を設定し、前記参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇにフィールド単位の画像であることを示す値が設定されている場合に、前記スライスヘッダに含まれるｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇに前記参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値を設定してもよい。

また、前記符号化ステップは、前記第１の画像群中の画像から生成された予測画像を用いて、前記第１の画像群に属する画像を符号化する第１の符号化ステップと、前記第２の画像群中の画像から生成された予測画像、又は同一のアクセスユニットに含まれる前記第１の画像群に属する画像から生成された予測画像を用いて、前記第２の画像群に属する画像を符号化する第２の符号化ステップとを含んでもよい。同一アクセスユニットに含まれる全ての画像の形式が統一されているので、第２の符号化ステップで視点間予測符号化する場合に符号化効率が向上する。

さらに、該符号化方法は、前記符号化ステップでの符号化処理の適合性を確認する適合性確認ステップを含んでもよい。そして、前記適合性確認ステップは、前記アクセスユニットに含まれる各画像の最大スライス数を算出する最大スライス数算出ステップと、前記アクセスユニットに含まれる各画像の最大バイト数を算出する最大バイト数算出ステップと、前記符号化ステップで符号化された各画像のスライス数及びバイト数を、対応する前記最大スライス数及び前記最大バイト数と比較し、当該比較結果を前記符号化ステップにフィードバックする比較ステップとを含んでもよい。これにより、復号できないビットストリームが出力されるのを防止することができる。

また、前記符号化ステップでは、前記比較ステップからフィードバックされた比較結果に基づいて、量子化ステップを増減させてもよい。量子化ステップを増減させることにより、符号量を調整することができる。

本発明の一形態に係る復号方法は、視点の異なる第１及び第２の画像群を、互いに対応する画像で構成されるアクセスユニット毎に符号化して得られる符号化ストリームを復号する。具体的には、前記アクセスユニット内において、前記第１の画像群に属する画像と、前記第２の画像群に属する画像との間に同期が取れているかを判断する判断ステップと、前記判断ステップにおいて、同期が取れていると判断された場合と、同期が取れていないと判断された場合とで、異なる復号処理を実行する復号ステップとを含む。

上記の方法によれば、同期の有無を確認してから復号処理を行うので、例えば、本来の予測画像と異なる予測画像に基づいて、視点間予測復号処理を行うようなことを有効に防止できる。

また、前記アクセスユニットに含まれる各画像のスライスヘッダには、上記に記載のｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ及びｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇが含まれている。そして、前記判断ステップでは、前記第１の画像群に属する画像及び前記第２の画像群に属する画像のスライスヘッダに含まれる前記ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が一致し、且つ前記ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇにフィールド単位の画像であることを示す値が設定されている場合に、前記第１の画像群に属する画像及び前記第２の画像群に属する画像のスライスヘッダに含まれる前記ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値が一致することによって、同期が取れていると判断してもよい。

また、前記復号ステップは、前記第１の画像群中の画像から生成された予測画像を用いて、前記第１の画像群に属する画像を復号する第１の復号ステップと、前記第２の画像群中の画像から生成された予測画像、又は同一のアクセスユニットに含まれる前記第１の画像群に属する画像から生成された予測画像を用いて、前記第２の画像群に属する画像を復号する第２の復号ステップとを含んでもよい。そして、前記第２の復号ステップでは、前記判断ステップにおいて同期が取れていないと判断された場合に、同一の前記アクセスユニットに含まれる前記第１の画像群に含まれる画像を出力してもよい。

同一アクセスユニットに含まれる画像の同期が取れていない場合には、視点間予測復号処理を実行できないので、復号処理を諦めて、正常に復号された対応画像を出力する。これにより、一時的に２次元画像となるものの、不自然な画像が表示される等の不具合を解消することができる。

本発明の一形態に係る符号化装置は、異なる視点で撮影されたインタレース方式の第１及び第２の画像群を符号化する。具体的には、前記第１及び第２の画像群中の互いに対応する画像で構成されるアクセスユニットを定義するアクセスユニット定義部と、前記アクセスユニット定義部で定義された前記アクセスユニット毎に、当該アクセスユニットを構成する各画像を符号化する符号化部とを備える。前記アクセスユニット定義部は、前記アクセスユニットに含まれる各画像を、フィールド単位又はフレーム単位のいずれに統一して符号化するかを決定する符号化単位決定部と、前記アクセスユニットに含まれる各画像がフィールド単位に決定された場合に、当該各画像をトップフィールド又はボトムフィールドのいずれに統一して符号化するかを決定するフィールド種別決定部とを備える。そして、前記符号化部は、前記アクセスユニット毎に、前記符号化単位決定ステップ及び前記フィールド種別決定ステップで決定された形式の各画像を符号化する。

本発明の一形態に係る復号装置は、視点の異なる第１及び第２の画像群を、互いに対応する画像で構成されるアクセスユニット毎に符号化して得られる符号化ストリームを復号する。具体的には、前記アクセスユニット内において、前記第１の画像群に属する画像と、前記第２の画像群に属する画像との間に同期が取れているかを判断する判断部と、前記判断部において、同期が取れていると判断された場合と、同期が取れていないと判断されて場合とで、異なる復号処理を実行する復号部とを備える。

本発明の一形態に係るプログラムは、コンピュータに、異なる視点で撮影されたインタレース方式の第１及び第２の画像群を符号化させる。具体的には、前記第１及び第２の画像群中の互いに対応する画像で構成されるアクセスユニットを定義するアクセスユニット定義ステップと、前記アクセスユニット定義ステップで定義された前記アクセスユニット毎に、当該アクセスユニットを構成する各画像を符号化する符号化ステップとを含む。前記アクセスユニット定義ステップは、前記アクセスユニットに含まれる各画像を、フィールド単位又はフレーム単位のいずれに統一して符号化するかを決定する符号化単位決定ステップと、前記アクセスユニットに含まれる各画像がフィールド単位に決定された場合に、当該各画像をトップフィールド又はボトムフィールドのいずれに統一して符号化するかを決定するフィールド種別決定ステップとを含む。そして、前記符号化ステップでは、前記アクセスユニット毎に、前記符号化単位決定ステップ及び前記フィールド種別決定ステップで決定された形式の各画像を符号化する。

本発明の他の形態に係るプログラムは、コンピュータに、視点の異なる第１及び第２の画像群を、互いに対応する画像で構成されるアクセスユニット毎に符号化して得られる符号化ストリームを復号させる。具体的には、前記アクセスユニット内において、前記第１の画像群に属する画像と、前記第２の画像群に属する画像との間に同期が取れているかを判断する判断ステップと、前記判断ステップにおいて、同期が取れていると判断された場合と、同期が取れていないと判断された場合とで、異なる復号処理を実行する復号ステップとを含む。

本発明の一形態に係る集積回路は、異なる視点で撮影されたインタレース方式の第１及び第２の画像群を符号化する。具体的には、前記第１及び第２の画像群中の互いに対応する画像で構成されるアクセスユニットを定義するアクセスユニット定義部と、前記アクセスユニット定義部で定義された前記アクセスユニット毎に、当該アクセスユニットを構成する各画像を符号化する符号化部とを備える。前記アクセスユニット定義部は、前記アクセスユニットに含まれる各画像を、フィールド単位又はフレーム単位のいずれに統一して符号化するかを決定する符号化単位決定部と、前記アクセスユニットに含まれる各画像がフィールド単位に決定された場合に、当該各画像をトップフィールド又はボトムフィールドのいずれに統一して符号化するかを決定するフィールド種別決定部とを備える。そして、前記符号化部は、前記アクセスユニット毎に、前記符号化単位決定ステップ及び前記フィールド種別決定ステップで決定された形式の各画像を符号化する。

本発明の他の形態に係る集積回路は、視点の異なる第１及び第２の画像群を、互いに対応する画像で構成されるアクセスユニット毎に符号化して得られる符号化ストリームを復号する。具体的には、前記アクセスユニット内において、前記第１の画像群に属する画像と、前記第２の画像群に属する画像との間に同期が取れているかを判断する判断部と、前記判断部において、同期が取れていると判断された場合と、同期が取れていないと判断された場合とで、異なる復号処理を実行する復号部とを備える。

上の方法によれば、同一のアクセスユニットに含まれる全ての画像の形式（フィールド／フレーム、トップ／ボトム）が統一されるので、視点間符号化する場合に符号化効率が向上する。

図１Ａは、フレームピクチャの例を示す。 図１Ｂは、フィールドピクチャの例を示す。 図２は、各視点用に異なるピクチャ符号化構造を備えるアクセスユニットの例を示す。 図３は、アクセスユニットのデータ構造を示す例である。 図４は、本発明の実施の形態１に係る符号化装置の機能ブロック図である。 図５は、ビューコンポーネント符号化部の機能ブロック図である。 図６は、適合性確認部の機能ブロック図である。 図７は、ＭＶＣアクセスユニットを符号化する処理全体を示すフローチャートである。 図８は、ＭＶＣアクセスユニットのビューコンポーネントの符号化処理を示すフローチャートである。 図９は、ＭＶＣアクセスユニットの適合性を決定する処理を示すフローチャートである。 図１０は、本発明の実施の形態１に係る復号装置の機能ブロック図である。 図１１は、図１０に示される復号装置の変形例を示す図である。 図１２は、ＭＶＣアクセスユニットのビューコンポーネントの復号処理を示すフローチャートである。 図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。 図１４は、携帯電話の外観を示す図である。 図１５は、携帯電話の構成例を示すブロック図である。 図１６は、デジタル放送用システムの全体構成の一例を示す模式図である。 図１７は、テレビの構成例を示すブロック図である。 図１８は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。 図１９は、光ディスクである記録メディアの構造例を示す図である。 図２０は、各実施の形態に係る画像符号化方法および画像復号方法を実現する集積回路の構成例を示すブロック図である。

上記課題を解決するため、ピクチャ符号化構造（フレーム／フィールドピクチャ符号化）、およびアクセスユニット内の各ピクチャ（つまり、ＭＶＣ規格に定義されるビューコンポーネント）のデータサイズを制約する新たな方法を導入する。本発明の新規な点は、各視点を既存のＨ．２６４／ＭＰＥＧ−４ ＡＶＣデコーダを用いて別々に復号する方法により、ＭＶＣ規格を用いて圧縮された映像ストリームの復号を確実に成功させることである。この新たな発明は、データサイズと、アクセスユニット内の各ピクチャ（つまり、ＭＶＣ規格に定義されるビューコンポーネント）の特定のシンタックスの値とに確実に制約を加えるものである。

本発明の効果は、ＭＶＣ規格のエンコーダおよびデコーダを低コストで実装することである。本発明はまた、「視点間」予測が各視点のフィールドピクチャ間で利用できることから、符号化効率の向上に役立つ。

本発明は、アクセスユニットのビューコンポーネントの符号化処理と、アクセスユニットのビューコンポーネントの復号処理との、二つの主要な処理を含む。本発明は、上述の課題を解決するため、図３に示すスライスヘッダ内のシンタックスであるｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇおよびｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値を、同一アクセスユニット内の全てのビューコンポーネント間で同一になるように制限する。

図３のｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇは、ビューコンポーネントに関連するスライスが、フィールドとして符号化されるか、フレームとして符号化されるかを決定するために用いられる。例えば、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が「１」であれば、そのスライスが一つのフィールドとして符号化されるビューコンポーネントに属することを示し、その値が「０」であれば、そのスライスがフレームとして符号化されるビューコンポーネントに属することを示す。

また、図３のｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇを用いて、フィールドとして符号化されるビューコンポーネントに関連するスライスが、トップフィールドであるかボトムフィールドであるかを決定する。スライスヘッダ内にｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇが存在するか否かは、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値に依存する。例えば、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値が「１」であれば、フィールドとして符号化されるビューコンポーネントに属するスライスはボトムフィールドであることを示し、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値が「０」であれば、フィールドとして符号化されるビューコンポーネントに属するスライスはトップフィールドであることを示す。ただし、符号化装置から出力されるスライスヘッダのｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇに「０」が設定される場合、当該スライスヘッダのｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇは、省略される。

本発明はまた、アクセスユニット内の各ビューコンポーネントのスライス総数およびバイト総数を制限する。

（実施の形態１）
図４は、本発明の実施の形態１に係る符号化装置１０の機能ブロック図である。符号化装置１０は、視点１の画像及び視点２の画像を符号化する装置であって、図４に示されるように、アクセスユニット定義部２０と、ビューコンポーネント符号化部８００とを備える。視点１の画像は、対象物を第１の視点から撮影したインタレース方式の動画像（第１の画像群）である。視点２の画像は、同一の対象物を第１の視点と異なる第２の視点から撮影したインタレース方式の動画像（第２の画像群）である。

アクセスユニット定義部２０は、符号化単位決定部３０と、フィールド種別決定部４０とを備え、視点１及び視点２の互いに対応する画像で構成されるアクセスユニットを定義する。ここでの「対応する画像」とは、例えば、同時刻に撮影された画像を指し、同一のＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）が付加される。または、対応する画像には、それぞれ同一のピクチャ・オーダ・カウントが付される。

符号化単位決定部３０は、アクセスユニットに含まれる各画像を、フィールド単位又はフレーム単位のいずれに統一して符号化するかを決定する。より具体的には、符号化単位決定部３０は、アクセスユニットに含まれる各画像をフレーム単位に統一する場合、内部変数である参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇに「０」を設定する。一方、フィールド単位に統一する場合、参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇに「１」を設定する。

フィールド種別決定部４０は、アクセスユニットに含まれる各画像がフィールド単位に決定された場合に、当該各画像をトップフィールド又はボトムフィールドのいずれに統一して符号化するかを決定する。より具体的には、フィールド種別決定部４０は、アクセスユニットに含まれる各画像をトップフィールドに統一する場合に、内部変数である参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇに「０」を設定する。一方、ボトムフィールドに統一する場合、参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇに「１」を設定する。ただし、この処理は、参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇに「１」が設定されている場合だけであり、参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇに「０」が設定されている場合には、参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇに自動的に「０」を設定する。

ビューコンポーネント符号化部８００は、アクセスユニット定義部２０で定義されたアクセスユニット毎に、符号化単位決定部３０及びフィールド種別決定部４０で決定された形式の各画像を符号化する。

図５は、ビューコンポーネント符号化部８００の機能ブロック図である。ビューコンポーネント符号化部８００は、第１及び第２のビューコンポーネント符号化部９００、９０４と、記憶部９０２とを備える。ただし、ビューコンポーネント符号化部８００の変形例として、第１及び第２のビューコンポーネント符号化部８００、９００を統合してもよい。

第１のビューコンポーネント符号化部９００は、視点１の画像Ｄ００１を読み出す。このとき読み出される画像Ｄ００１の形式は、符号化単位決定部３０及びフィールド種別決定部４０の決定内容に基づいて、フィールド単位又はフレーム単位のいずれか、さらに（フィールド単位の場合には）トップフィールド又はボトムフィールドのいずれかに決定される。

次に、第１のビューコンポーネント符号化部９００は、読み出した画像Ｄ００１をスライス単位で符号化する。例えば、第１のビューコンポーネント符号化部９００は、画像Ｄ００１から画像Ｄ００１の予測画像を減算し、直交変換（ＤＣＴ変換）し、量子化し、エントロピー符号化して得られる視点１の符号化ビューコンポーネントＤ００５をＶｏｕｔに出力する。このとき、画像Ｄ００１の予測画像は、視点１の画像のうちの既に符号化された画像を用いて生成（画面内予測又は画面間予測）される。つまり、実施の形態１における視点１は、他の視点（この例では、視点２）に依存しない「Ｂａｓｅ ｖｉｅｗ」である。

また、第１のビューコンポーネント符号化部９００は、量子化して得られる量子化係数を逆量子化し、逆直交変換し、さらに予測画像を加算して得られる再構築画像Ｄ００３を記憶部９０２に出力する。さらに、第１のビューコンポーネント符号化部９００は、符号化ビューコンポーネントＤ００５の符号化に用いられたｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値およびｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値を第２のビューコンポーネント符号化部９０４へ出力する。

第２のビューコンポーネント符号化部９０４は、視点１の画像Ｄ００１と同一のアクセスユニットに含まれる視点２の画像Ｄ００２を読み出す。このとき読み出される画像Ｄ００２の形式は、第１のビューコンポーネント符号化部９００から取得したｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値およびｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値に基づいて、フィールド単位又はフレーム単位のいずれか、さらに（フィールド単位の場合には）トップフィールド又はボトムフィールドのいずれかに決定される。つまり、画像Ｄ００１と画像Ｄ００２とは、同一形式となる。

次に、第２のビューコンポーネント符号化部９０４は、読み出した画像Ｄ００２をスライス単位で符号化し、符号化ビューコンポーネントＤ００７をＶｏｕｔに出力する。具体的な符号化処理は第１のビューコンポーネント符号化部９００と同様であるが、画像Ｄ００２の予測画像を、視点２の画像のうちの既に符号化された画像を用いて生成（画面内予測又は画面間予測）してもよいし、同一のアクセスユニットに含まれる視点１の画像（すなわち、画像Ｄ００１の再構築画像Ｄ００３)を用いて生成（視点間予測）してもよい点で、第１のビューコンポーネント符号化部９００と異なる。

また、実施の形態１に係る符号化装置１０は、さらに、適合性確認部８１５を備えてもよい。図６は、適合性確認部８１５の機能ブロック図である。適合性確認部８１５は、スライス数計算部８０４と、バイト数計算部８０２と、最大スライス数算出部８０６と、比較部８０８、８１２と、最大バイト数算出部８１０と、切替部８１４とを備える。この適合性確認部８１５は、ビューコンポーネント符号化部８００で実行された符号化処理の結果を解析し、この解析結果をビューコンポーネント符号化部８００にフィードバックする。

まず、ビューコンポーネント符号化部８００は、視点１の符号化ビューコンポーネントＤ００５を、スライス数計算部８０４、バイト数計算部８０２、および切替部８１４に出力する。なお、視点２の符号化ビューコンポーネントＤ００７に対する処理も同様であるので、以降の説明では視点１の符号化ビューコンポーネントＤ００５に対する処理を中心に説明する。

スライス数計算部８０４は、取得した符号化ビューコンポーネントＤ００５内のスライス総数Ｄ０１１を比較部８０８に出力する。バイト数計算部８０２は、取得した符号化ビューコンポーネントＤ００５内のバイト総数Ｄ０１２を比較部８１２に出力する。

最大スライス数算出部８０６は、取得したプロファイル情報およびレベル情報入力Ｄ０１３に基づいて、ビューコンポーネント毎の最大スライス数Ｄ０１４を比較部８０８に出力する。ビューコンポーネント毎の最大スライス数Ｄ０１４の決定方法は特に限定されないが、例えば、「Ｂａｓｅ ｖｉｅｗ」である視点１に属する画像の最大スライス数を相対的に多くし、「Ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ」である視点２に属する画像の最大スライス数を相対的に少なくしてもよい。

最大バイト数算出部８１０は、取得したプロファイル情報およびレベル情報入力Ｄ０１３に基づいて、ビューコンポーネント毎の最大バイト数Ｄ０１５を比較部８０８に出力する。ビューコンポーネント毎の最大バイト数Ｄ０１５の決定方法は特に限定されないが、例えば、「Ｂａｓｅ ｖｉｅｗ」である視点１に属する画像の最大バイト数を相対的に多くし、「Ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ」である視点２に属する画像の最大バイト数を相対的に少なくしてもよい。

比較部８０８は、スライス総数Ｄ０１１と、最大スライス数Ｄ０１４を比較する。そして、スライス総数Ｄ０１１が最大スライス数Ｄ０１４以下であれば、符号化処理が所定の条件に適合していると判断し、有効信号Ｄ０１６を切替部８１４に出力する。一方、比較部８０８は、スライス総数Ｄ０１１が最大スライス数Ｄ０１４よりも大きければ、符号化処理が所定の条件に適合していないと判断し、制御信号Ｄ０１７をビューコンポーネント符号化部８００に出力する。

比較部８１２は、バイト総数Ｄ０１２と、最大バイト数Ｄ０１５を比較する。そして、バイト総数Ｄ０１２が最大バイト数Ｄ０１５の値以下であれば、符号化処理が所定の条件に適合していると判断し、有効信号Ｄ０１８を切替部８１４に出力する。一方、比較部８１２は、バイト総数Ｄ０１２が最大バイト数Ｄ０１５よりも大きければ、符号化処理が所定の条件に適合していないと判断し、制御信号Ｄ０１９をビューコンポーネント符号化部８００に出力する。

ビューコンポーネント符号化部８００は、制御信号Ｄ０１７、Ｄ０１９の何れかでも受信したときに、同一の入力画像を再符号化する。再符号化処理では、所定の条件に適合させるために、例えば、前回の符号化処理で使用した量子化ステップより大きな量子化ステップを用いて符号化処理を実行する。

切替部８１４は、比較部８０８、８１２から有効化信号Ｄ０１６、Ｄ０１８の両方を受信したときに有効になり、符号化ビューコンポーネントＤ００５をＶｏｕｔに出力する。受信しなかったときは、切替部８１４は、符号化ビューコンポーネントＤ００５をＶｏｕｔに出力しない。

なお、ビューコンポーネント符号化部８００は、画像Ｄ００１の符号化が全て完了したタイミングで、ピクチャ単位の符号化ビューコンポーネントＤ００５を出力してもよい。しかしながら、画像Ｄ００１の符号化が全て完了した後で所定の条件に適合していないことが判明した場合、同じ画像Ｄ００１を異なる条件（量子化ステップを変更する等）で再符号化する必要が生じ、ビューコンポーネント符号化部８００の処理負荷が大きくなる。

そこで、ビューコンポーネント符号化部８００は、画像Ｄ００１を構成する各スライスの符号化が完了したタイミングで、スライス単位の符号化ビューコンポーネントＤ００５を出力してもよい。また、バイト数計算部８０２は、現在までに符号化された符号化ビューコンポーネントＤ００５のバイト総数Ｄ０１２を、比較部８１２に逐一出力するようにしてもよい。

この場合、比較部８１２は、バイト総数Ｄ０１２が最大バイト数Ｄ０１５を超える可能性を事前に予測し、ビューコンポーネント符号化部８００に制御信号Ｄ０１９を送信することができる。そうすると、ビューコンポーネント符号化部８００は、当該制御信号Ｄ０１９に基づいて、画像Ｄ００１の符号化の途中で量子化ステップを大きくする等して、当該符号化処理を所定の条件に適合させることができる。

図７は、ＭＶＣ規格を用いてアクセスユニットを符号化する処理全体を示すフローチャートである。図７に示すように、ビューコンポーネント符号化部８００は、アクセスユニット内の全てのビューコンポーネントをまず符号化する（Ｓ７００）。次に、適合性確認部８１５は、パラメータであるＣｏｎｆｏｒｍａｎｃｅＦｌａｇの値を決定することにより、アクセスユニットの適合性を確認する（Ｓ７０２）。ＣｏｎｆｏｒｍａｎｃｅＦｌａｇは、全てのビューコンポーネント内のスライス総数および全てのアクセスユニット内のバイト総数が、ＭＶＣ規格の典型的なデコーダによるアクセスユニット内のビューコンポーネントの通常の復号で許容される最大値以下であるか否かを示すために用いられる。

次に、適合性確認部８１５は、ＣｏｎｆｏｒｍａｎｃｅＦｌａｇの値が「０」（つまり、符号化処理が所定の条件に適合しない）であれば（Ｓ７０４でＹｅｓ）、全てのビューコンポーネント内のスライス総数および全てのアクセスユニット内のバイト総数が、ＭＶＣ規格の通常のデコーダによるアクセスユニット内のビューコンポーネントの通常の復号で許容される最大値以下になるように、ビューコンポーネント符号化部８００に、アクセスユニットのビューコンポーネントを再符号化させ、ビューコンポーネント内のスライス総数またはバイト総数の何れかを削減する（Ｓ７０６）。

なお、Ｓ７０６では、ビューコンポーネントの再符号化処理に代えて、他の処理を実行することもできる。例えば、適切に符号化された（つまり、ＣｏｎｆｏｒｍａｎｃｅＦｌａｇが「１」の）符号化ビューコンポーネントに置き換えることができる。

具体的には、「Ｂａｓｅ ｖｉｅｗ」に属するビューコンポーネントのＣｏｎｆｏｒｍａｎｃｅＦｌａｇが「０」となった場合、ビューコンポーネント符号化部８００は、「Ｂａｓｅ ｖｉｅｗ」に属する他のビューコンポーネントのうち、既に符号化された符号化ビューコンポーネントを出力してもよい。このとき選択される符号化ビューコンポーネントは、符号化に失敗（Ｃｏｎｆｏｒｍａｎｃｅ違反）したビューコンポーネントの直前（再生時間順）であるのが望ましい。一方、「Ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ」に属するビューコンポーネントのＣｏｎｆｏｒｍａｎｃｅＦｌａｇが「０」となった場合、ビューコンポーネント符号化部８００は、同一アクセスユニットに含まれる「Ｂａｓｅ ｖｉｅｗ」に属する符号化ビューコンポーネントを出力してもよい。

上記の各処理（Ｓ７００、Ｓ７０２、Ｓ７０４、Ｓ７０６）は、アクセスユニットではなく、単一のビューコンポーネントにも適用できる。単一のビューコンポーネントに適用する場合、符号化処理、適合性確認処理、および再符号化処理をアクセスユニットの各ビューコンポーネントに対し順次行う。

図８は、アクセスユニットのビューコンポーネントの符号化処理を示すフローチャートである。まず、符号化単位決定部３０は、参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値を決定する（Ｓ５０２）。なお、参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの決定方法は、特に限定されず、従来のあらゆる方法を用いることができる。

次に、フィールド種別決定部４０は、参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値を「０」と比較する（Ｓ５０４）。ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が「０」と等しければ（Ｓ５０４でＹｅｓ）、フィールド種別決定部４０は、参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇを「０」に設定する（Ｓ５０６）。一方、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が「０」と等しくなければ（Ｓ５０４でＮｏ）、フィールド種別決定部４０は、参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値を決定する（Ｓ５０８）。なお、参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの決定方法は、特に限定されず、従来のあらゆる方法を用いることができる。

なお、参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇは、同一アクセスユニット内のスライスの全てのｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値を設定するために後で使用される。また、参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇは、同一アクセスユニット内のスライスの全てのｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値を設定するために後で使用される。

次に、アクセスユニット定義部２０は、同一アクセスユニットの全てのビューコンポーネント（Ｓ５１０〜Ｓ５３０）内の全てのスライス（Ｓ５１２〜Ｓ５２８）に対し、全てのスライスのスライスヘッダ内のｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値を、参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値と等しい値に設定する（Ｓ５１４）。

次に、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が「１」と等しければ（Ｓ５１６でＹｅｓ）、アクセスユニット定義部２０は、同一アクセスユニット内の全てのスライスのスライスヘッダ内のｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値を、参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値に設定する（Ｓ５２０）。一方、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が「１」と等しくなければ（Ｓ５１６でＮｏ）、アクセスユニット定義部２０は、同一アクセスユニット内の全てのスライスのスライスヘッダ内のｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値を、「０」に設定する（Ｓ５１８）。なお、Ｓ５１６及びＳ５１８を省略して、同一アクセスユニット内の全てのスライスのスライスヘッダ内のｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値を、参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値に設定してもよい。

そして、ビューコンポーネント符号化部８００は、同一アクセスユニット内の全てのスライスの符号化を、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値およびｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値に基づいて実行する（Ｓ５２６）。ビューコンポーネント符号化部８００の符号化処理の詳細は、図５を参照して説明した通りであるので、再度の説明は省略する。

図９は、アクセスユニットの適合性確認処理を示すフローチャートである。この処理は、アクセスユニット内のビューコンポーネントの適合性確認にも適用できる。

まず、最大スライス数算出部８０６は、一つのアクセスユニット内の各ビューコンポーネントで許容される最大スライス数Ｄ０１４を決定する（Ｓ６００）。この許容される最大スライス数Ｄ０１４は、そのアクセスユニットに関連する圧縮ストリームが伝達するシンタックス要素が示すプロファイル情報およびレベル情報Ｄ０１３が定義する制限に基づいて計算される。そのようなシンタックス要素とは、例えば、ＭＶＣ符号化ストリームのシーケンスパラメータセットの中のｐｒｏｆｉｌｅ＿ｉｄｃシンタックスおよびｌｅｖｅｌ＿ｉｄｃシンタックスである。

次に、最大バイト数算出部８１０は、一つのアクセスユニット内の各ビューコンポーネントで許容される最大バイト数Ｄ０１５を決定する（Ｓ６０２）。この許容される最大バイト数Ｄ０１５は、そのアクセスユニットに関連する符号化映像ストリームが伝達するシンタックス要素が示すプロファイル情報およびレベル情報Ｄ０１３が定義する制限に基づいて計算される。

次に、適合性確認部８１５は、一つのアクセスユニット内のビューコンポーネントの数を決定する（Ｓ６０４）。そして、適合性確認部８１５は、パラメータＣｏｎｆｏｒｍａｎｃｅＦｌａｇを「１」に設定する（Ｓ６０８）。このパラメータＣｏｎｆｏｒｍａｎｃｅＦｌａｇは、アクセスユニット内のビューコンポーネントが、その符号化映像ストリーム内の指定プロファイル値およびレベル値よりも高いプロファイル値およびレベル値を関連させて映像デコーダで正確に復号されるための要件を満たしているか否かを決定するために用いられる。

次に、アクセスユニット内の各ビューコンポーネントに対して、以下の処理を実行する(Ｓ６１０〜Ｓ６３２)。まず、バイト数計算部８０２は、パラメータＮｕｍＢｙｔｅｓＩｎＶｉｅｗＣｏｍｐｏｎｅｎｔを「０」に初期化する(Ｓ６１２)。また、スライス数計算部８０４は、パラメータＮｕｍＯｆＳｌｉｃｅｓを「０」に初期化する（Ｓ６１４）。パラメータＮｕｍＢｙｔｅｓＩｎＶｉｅｗＣｏｍｐｏｎｅｎｔは、ビューコンポーネント内のバイト総数Ｄ０１２を数えるカウンタである。パラメータＮｕｍＯｆＳｌｉｃｅｓは、ビューコンポーネント内のスライス総数Ｄ０１１を数えるカウンタである。

次に、ビューコンポーネントに関連する各ＮＡＬユニットに対して、以下の処理を実行する（Ｓ６１６〜Ｓ６２０）。まず、バイト数計算部８０２は、パラメータＮｕｍＢｙｔｅｓＩｎＮＡＬＵｎｉｔが表すバイト総数を、パラメータＮｕｍＢｙｔｅｓＩｎＶｉｅｗＣｏｍｐｏｎｅｎｔに追加する（Ｓ６１８）。つまり、パラメータＮｕｍＢｙｔｅｓＩｎＶｉｅｗＣｏｍｐｏｎｅｎｔは、そのビューコンポーネントに関連するパラメータＮｕｍＢｙｔｅｓＩｎＮＡＬＵｎｉｔの合計に等しい値を有する。ＮＡＬユニットは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格で規定されているネットワーク抽象化レイヤとして定義されており、符号化映像データを有する。

次に、ビューコンポーネントに関連する各スライスに対して、以下の処理を実行する（Ｓ６２２〜Ｓ６２６）。まず、スライス数計算部８０４は、パラメータＮｕｍＯｆＳｌｉｃｅｓを１ずつインクリメントする（Ｓ６２４）。つまり、パラメータＮｕｍＯｆＳｌｉｃｅｓは、同一のビューコンポーネントに関連するスライスの総数に等しい値を有する。

次に、比較部８０８、８１２は、パラメータＮｕｍＢｙｔｅｓＩｎＶｉｅｗＣｏｍｐｏｎｅｎｔおよびパラメータＮｕｍＯｆＳｌｉｃｅｓの値を、一つのビューコンポーネント内で許容される最大バイト数Ｄ０１５および最大スライス数Ｄ０１４と比較する（Ｓ６２８、Ｓ６３０）。

ＮｕｍＢｙｔｅｓＩｎＶｉｅｗＣｏｍｐｏｎｅｎｔの値が許容される最大バイト数Ｄ０１５よりも大きければ（Ｓ６２８でＹｅｓ）、比較部８１２は、パラメータＣｏｎｆｏｒｍａｎｃｅＦｌａｇを「０」に設定する（Ｓ６３４）。また、ＮｕｍＯｆＳｌｉｃｅｓの値が許容される最大スライス数Ｄ０１４よりも大きければ（Ｓ６３０でＹｅｓ）、比較部８０８は、パラメータＣｏｎｆｏｒｍａｎｃｅＦｌａｇを「０」に設定する（Ｓ６３４）。

パラメータＣｏｎｆｏｒｍａｎｃｅＦｌａｇに「０」が設定されているのは、アクセスユニット内のビューコンポーネントが、その符号化映像ストリーム内の指定プロファイル値およびレベル値よりも高いプロファイル値およびレベル値を関連させて映像デコーダで正確に復号されない可能性があることを示す。

図１０は、本発明の実施の形態１に係る復号装置５０の機能ブロック図である。復号装置５０は、図１０に示されるように、ビューコンポーネント分配部１０００と、第１及び第２のスライスヘッダ解析部１００２、１００４と、比較部１００６と、切替部１０１０と、第１及び第２のＡ型ビューコンポーネント復号部１００８、１０１４と、Ｂ型ビューコンポーネント復号部１０１６と、記憶部１０１２とを備える。

ビューコンポーネント分配部１０００は、符号化アクセスユニットＤ０２１を読み出し、二つの第１及び第２のビューコンポーネントＤ０２３、Ｄ０２２に分配する。第１のビューコンポーネントＤ０２３は、その画像を正しく再構築する際に第２のビューコンポーネントＤ０２２に依存しない視点１（Ｂａｓｅ ｖｉｅｗ）に属する画像である。一方、第２のビューコンポーネントＤ０２２は、その画像を正しく再構築する際に第１のビューコンポーネントＤ０２３に依存する視点２（Ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）に属する画像である。

第１のスライスヘッダ解析部１００２は、第１のビューコンポーネントＤ０２３を読み出し、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇおよびｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの情報Ｄ０２５を比較部１００６へ出力する。第２のスライスヘッダ解析部１００４は、第２のビューコンポーネントＤ０２２を読み出し、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇおよびｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの情報Ｄ０２６を比較部１００６へ出力する。

比較部１００６は、第１のスライスヘッダ解析部１００２からのｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇおよびｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの情報Ｄ０２５値と、第２のスライスヘッダ解析部１００４からのｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇおよびｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの情報Ｄ０２６とを比較し、比較結果を含む制御信号Ｄ０２７を切替部１０１０へ出力する。

この比較部１００６は、同一のアクセスユニット内において、視点１に属する第１のビューコンポーネントＤ０２３と、視点２に属する第２のビューコンポーネントＤ０２２との同期が取れているか否かを判断する判断部として機能する。すなわち、比較部１００６は、第１及び第２のビューコンポーネントＤ０２３、Ｄ０２２のｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇおよびｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が一致していれば、両者の同期が取れていると判断する。一方、比較部１００６は、これらの値の少なくとも一方が一致しなければ、同期が取れていないと判断する。

ただし、同期が取れているか否かを判断するパラメータは、上記の例に限定されない。例えば、第１及び第２のビューコンポーネントＤ０２３、Ｄ０２２が保持しているＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）やＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）が一致している場合に同期が取れていると、一致しない場合に同期が取れていないと判断してもよい。

第１のＡ型ビューコンポーネント復号部１００８は、第１のビューコンポーネントＤ０２３を読み出し、視点１の画像Ｄ０３１を出力する。また、第１のＡ型ビューコンポーネント復号部１００８は、視点１の再構築された画像Ｄ０３１を記憶部１０１２に出力する。具体的には、第１のＡ型ビューコンポーネント復号部１００８は、第１のビューコンポーネントＤ０２３をエントロピー復号し、逆量子化し、逆直交変換し、予測画像を加算して再構築された画像Ｄ０３１を出力する。ここで、第１のビューコンポーネントＤ０２３は、「Ｂａｓｅ ｖｉｅｗ」に属するので、予測画像は、視点１の画像のうちの既に復号された画像を用いて生成（画面内予測又は画面間予測）される。

切替部１０１０は、比較部１００６から取得した制御信号Ｄ０２７に基づいて、第２のビューコンポーネントＤ０２２を、第２のＡ型ビューコンポーネント復号部１０１４、またはＢ型ビューコンポーネント復号部１０１６の何れかに出力する。具体的には、切替部１０１０は、第１及び第２のビューコンポーネントＤ０２３、Ｄ０２２の同期が取れている場合に、第２のビューコンポーネントＤ０２２を第２のＡ型ビューコンポーネント復号部１０１４に出力する。一方、両者の同期が取れていない場合に、第２のビューコンポーネントＤ０２２をＢ型ビューコンポーネント復号部１０１６に出力する。

第２のＡ型ビューコンポーネント復号部１０１４は、第２のビューコンポーネントＤ０２２を受け取ると、記憶部１０１２から読み出した視点１の再構築された画像Ｄ０３１を用いて、第２のビューコンポーネントＤ０２２を復号して、視点２の画像Ｄ０３４を出力する。具体的な符号化処理は、第１のＡ型ビューコンポーネント復号部１００８と同様であるが、予測画像を、視点２の画像のうちの既に復号された画像を用いて生成（画面内予測又は画面間予測）してもよいし、同一のアクセスユニットに含まれる視点１の画像（すなわち、画像Ｄ０３１)を用いて生成（視点間予測）してもよい点で、第１のＡ型ビューコンポーネント復号部１００８と異なる。

Ｂ型ビューコンポーネント復号部１０１６は、第２のビューコンポーネントＤ０２２を受け取ると、視点２の画像Ｄ０３５を出力する。Ｂ型ビューコンポーネント復号部１０１６で復号処理が実行される場合とは、第１及び第２のビューコンポーネントＤ０２３、Ｄ０２２の同期が取れていない場合であるから、少なくとも「視点間予測」を用いた復号処理はできないものと考えられる。そこで、Ｂ型ビューコンポーネント復号部１０１６は、第２のビューコンポーネントＤ０２２が「視点間予測」を用いて符号化されて物である場合には、復号処理を諦めて、記憶部１０１２に記憶されている画像Ｄ０３１を視点２の画像Ｄ０３５として出力し、「画面内予測」又は「画面間予測」を用いて符号化されている場合には、通常の復号処理を実行してもよい。または、予測の種類に拘わらず、記憶部１０１２に記憶されている画像Ｄ０３１を視点２の画像Ｄ０３５として出力してもよい。

なお、本発明の一形態に係る復号装置の中には、Ｂ型ビューコンポーネント復号部１０１６を有しないものがあってもよい。

図１１は、復号装置５０の変形例である復号装置６０の機能ブロック図である。復号装置６０は、フィールドビューコンポーネント分配部１１００と、第１及び第２のフィールドビューコンポーネント復号部１１０２、１１０４と、記憶部１１０６とを備える。

フィールドビューコンポーネント分配部１１００は、符号化アクセスユニットＤ０４１を読み出し、第１及び第２のビューコンポーネントＤ０４４、Ｄ０４２に分配する。そして、フィールドビューコンポーネント分配部１１００は、第１のビューコンポーネントＤ０４４を第１のフィールドビューコンポーネント復号部１１０２に、第２のビューコンポーネントＤ０４２を第２のフィールドビューコンポーネント復号部１１０４に出力する。

なお、第１のビューコンポーネントＤ０４４は、その画像を正しく再構築する際に第２のビューコンポーネントＤ０４２に依存しない視点１（Ｂａｓｅ ｖｉｅｗ）に属する画像である。一方、第２のビューコンポーネントＤ０４２は、その画像を正しく再構築する際に第１のビューコンポーネントＤ０４４に依存する視点２（Ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）に属する画像である。また、ビューコンポーネントＤ０４２、Ｄ０４４は、単一のフィールドピクチャであってもよい。

第１のフィールドビューコンポーネント復号部１１０２は、取得した視点１に属するフィールド単位の第１のビューコンポーネントＤ０４４を復号し、視点１の画像Ｄ０５１を出力する。また、視点１の再構築された画像Ｄ０５１は、記憶部１１０６にも格納される。記憶部１１０６は、第１のフィールドビューコンポーネント復号部１１０２から出力される視点１の再構築された画像Ｄ０５１を格納するメモリバッファを備える。

第２のフィールドビューコンポーネント復号部１１０４は、取得した視点２に属するフィール単位の第２のビューコンポーネントＤ０４２を、記憶部１１０６から取得した視点１の再構築された画像Ｄ０５１を用いて復号し、視点２の再構築された画像Ｄ０５４を出力する。

図１２は、アクセスユニットのビューコンポーネントの復号処理を示すフローチャートである。まず、比較部１００６は、パラメータＳｐｅｃｉａｌＤｅｃｏｄｉｎｇＦｌａｇに「０」を設定する（Ｓ４００）。このＳｐｅｃｉａｌＤｅｃｏｄｉｎｇＦｌａｇは、アクセスユニット内の全ての第２のビューコンポーネントＤ０２２の復号処理に、ＭＶＣ規格で規定されている通常の復号処理を用いるか、またはアクセスユニット内のいくつかのビューコンポーネントの復号には異なる復号処理を用いるかを決定するために用いられる。つまり、図１０に示される制御信号Ｄ０２７に相当する。

図１２に示すように、第１のスライスヘッダ解析部１００２は、参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値を、「Ｂａｓｅ ｖｉｅｗ」に属する第１のビューコンポーネントＤ０２３の一つのスライスのスライスヘッダから決定する（Ｓ４０２）。この参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値は、他のビューコンポーネントのスライスヘッダ内のｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値と比較するために後で用いられる。

次に、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が「０」と等しくなければ（Ｓ４０４でＮｏ）、第１のスライスヘッダ解析部１００２は、参照ｂｏｔｔｏｍ＿ｐｉｃ＿ｆｌａｇの値を、第１のビューコンポーネントＤ０２３の一つのスライスのスライスヘッダから決定する（Ｓ４０８）。一方、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が「０」と等しければ（Ｓ４０４でＹｅｓ）、第１のスライスヘッダ解析部１００２は、参照ｂｏｔｔｏｍ＿ｐｉｃ＿ｆｌａｇの値に「０」を設定する（Ｓ４０６）。この参照ｂｏｔｔｏｍ＿ｐｉｃ＿ｆｌａｇの値は、他のビューコンポーネントのスライスヘッダ内のｂｏｔｔｏｍ＿ｐｉｃ＿ｆｌａｇの値と比較するために後で用いられる。

次に、同一アクセスユニット内の「Ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ」に属する各ビューコンポーネント（Ｓ４１０〜Ｓ４３６）の各スライス（Ｓ４１２〜Ｓ４３４）に対して、以下の処理を実行する。まず、第２のスライスヘッダ解析部１００４は、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値を、そのスライスのスライスヘッダから決定する（Ｓ４１４）。ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が「０」と等しくなければ（Ｓ４１６でＮｏ）、第２のスライスヘッダ解析部１００４は、ｂｏｔｔｏｍ＿ｐｉｃ＿ｆｌａｇの値を、そのスライスのスライスヘッダから決定する（Ｓ４２０）。一方、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が「０」と等しければ（Ｓ４１６でＹｅｓ）、第２のスライスヘッダ解析部１００４は、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値に「０」を設定する（Ｓ４１８）。

次に、比較部１００６は、第２のスライスヘッダ解析部１００４から取得したｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇおよびｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値を、第１のスライスヘッダ解析部１００２から取得した参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇおよび参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値と比較する（Ｓ４２２、Ｓ４２６）。

ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値が参照ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇの値と等しくなければ（Ｓ４２４でＮｏ）、比較部１００６は、パラメータＳｐｅｃｉａｌＤｅｃｏｄｉｎｇＦｌａｇに「１」を設定する（Ｓ４３２）。同様に、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値が参照ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇの値と等しくなければ（Ｓ４２８でＮｏ）、比較部１００６は、パラメータＳｐｅｃｉａｌＤｅｃｏｄｉｎｇＦｌａｇに「１」を設定する（Ｓ４３２）。そして、比較部１００６は、パラメータＳｐｅｃｉａｌＤｅｃｏｄｉｎｇＦｌａｇの値（つまり、制御信号Ｄ０２７）を、切替部１０１０に出力する。

そして最後に、切替部１０１０は、パラメータＳｐｅｃｉａｌＤｅｃｏｄｉｎｇＦｌａｇを「１」と比較する（Ｓ４３８）。このパラメータＳｐｅｃｉａｌＤｅｃｏｄｉｎｇＦｌａｇが「１」と等しくなければ（Ｓ４３８でＮｏ）、アクセスユニット内の全てのビューコンポーネントは、ＭＶＣ規格で規定されている復号処理によって復号される（Ｓ４４０）。一方、ＳｐｅｃｉａｌＤｅｃｏｄｉｎｇＦｌａｇが「１」と等しければ（Ｓ４３８でＹｅｓ）、アクセスユニット内の「Ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ」に属するビューコンポーネントは、上記と異なる復号処理によって復号される（Ｓ４４２）。

異なる復号処理の一例としては、映像デコーダからアクセスユニット内の一つのビューコンポーネントのみを正しく再構築することがある。

なお、実施の形態１においては、２つの異なる視点１、２で撮影された動画像を符号化する例を示したが、視点の数は２つに限定されない。つまり、本発明は、２以上の異なる視点で撮影された動画像を符号化する際にも利用できる。

（実施の形態２）
上記実施の形態で示した画像符号化方法または画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記実施の形態で示した画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図１３のような構成に限定されず、いず
れかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用および画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理および復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利または設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。
図１４は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えおよび消去が可能な不揮発性メモリであるＥＥＰＲＯＭの一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図１５を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２および操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６および音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、音声出力部ｅｘ６０８を介してこれを出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データを、カメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３およびＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を、音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これを、ＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図１６に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置を組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データまたはそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、衛星放送受信設備をもつ家庭のアンテナｅｘ２０４はこの電波を受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置はビットストリームを復号してこれを再生する。また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１５、ｅｘ２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で、衛星ｅｘ２０２または基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データまたはそれらのデータが多重化された符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に、音声データ、映像データまたはそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、符号化ビットストリームが記録された記録メディアｅｘ２１５により、他の装置およびシステム等は、映像信号を再生することができる。例えば、他の再生装置ｅｘ２１２は、符号化ビットストリームがコピーされた記録メディアｅｘ２１４を用いて、モニタｅｘ２１３に映像信号を再生することができる。

また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図１７は、上記実施の形態で説明した画像復号方法および画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、または、出力するチューナｅｘ３０１と、受信した符号化データを復調する、または、生成された符号化データを外部に送信するために変調する変調／復調部ｅｘ３０２と、復調した映像データと音声データとを分離する、または、符号化された映像データと音声データとを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、または、それぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号された音声信号を出力するスピーカｅｘ３０７、復号された映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２と多重／分離部ｅｘ３０３との間等でもシステムのオーバフローおよびアンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は、上記の符号化処理、多重化、および、外部出力ができる構成として説明したが、これらのすべての処理を行うことはできず、上記受信、復号処理、および、外部出力のうちいずれかのみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００およびリーダ／レコーダｅｘ２１８のうちいずれかで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図１８に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理は、システム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３およびサーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図１９に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置は、情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３の内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図１７に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器およびシステムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明は、上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態３）
上記各実施の形態で示した画像符号化方法および装置、画像復号方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２０に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３およびストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して得た符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声データの復号および／または映像データの復号を行う。ここで映像信号の復号処理は、上記実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号は、メモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５およびテレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、本発明に係る符号化方法、符号化装置、復号方法および復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施した形態、および、異なる実施の形態における構成要素およびステップ等を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。

本発明は、符号化方法及び復号方法に有利に利用される。

１０ 符号化装置
２０ アクセスユニット定義部
３０ 符号化単位決定部
４０ フィールド種別決定部
５０，６０ 復号装置
２００，２０２ モジュール
８００ ビューコンポーネント符号化部
８０２ バイト数計算部
８０４ スライス数計算部
８０６ 最大スライス数算出部
８０８，８１２，１００６ 比較部
８１０ 最大バイト数算出部
８１４，１０１０ 切替部
９００ 第１のビューコンポーネント符号化部
９０２，１００６，１０１２，１１０６ 記憶部
９０４ 第２のビューコンポーネント符号化部
１０００ ビューコンポーネント分配部
１００２ 第１のスライスヘッダ解析部
１００４ 第２のスライスヘッダ解析部
１００８ 第１のＡ型ビューコンポーネント復号部
１０１４ 第２のＡ型ビューコンポーネント復号部
１０１６ Ｂ型ビューコンポーネント復号部
１１００ フィールドビューコンポーネント分配部
１１０２ 第１のフィールドビューコンポーネント復号部
１１０４ 第２のフィールドビューコンポーネント復号部
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６，ｅｘ１０７，ｅｘ１０８，ｅｘ１０９，ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３，ｅｘ１１６ カメラ
ｅｘ１１４ カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４，ｅｘ２０５，ｅｘ６０１ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３，ｅｘ２１９ モニタ
ｅｘ２１４，ｅｘ２１５，ｅｘ２１６，ｅｘ６０７ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６，ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８，ｅｘ６０２ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０，ｅｘ５０１ 制御部
ｅｘ３１１，ｅｘ５０５，ｅｘ７１０ 電源回路部
ｅｘ３１２ 操作入力部
ｘ３１３ ブリッジ
ｅｘ３１４，ｅｘ６０６ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インターフェース部
ｅｘ３１８，ｅｘ３１９，ｅｘ３２０，ｅｘ３２１，ｅｘ４０４，ｅｘ５０８ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ６０３ カメラ部
ｅｘ６０４ 操作キー
ｅｘ６０５ 音声入力部
ｅｘ６０８ 音声出力部
ｅｘ７０１ 送受信回路部
ｅｘ７０２ ＬＣＤ制御部
ｅｘ７０３ カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４ 操作入力制御部
ｅｘ７０５ 音声処理部
ｅｘ７０６ 変復調回路部
ｅｘ７０７ 記録再生部
ｅｘ７０８ 多重分離部
ｅｘ７０９ 画像復号部
ｅｘ７１１ 主制御部
ｅｘ７１２ 画像符号化部
ｅｘ７１３ 同期バス

Claims (2)

1. 異なる視点で撮影されたインタレース方式の第１及び第２の画像群を、第１の画像郡の画像と、前記第１の画像群の画像に対応する第２の画像群の画像とで構成されるアクセスユニット毎に符号化して符号化ストリームを生成する符号化装置と、前記符号化ストリームを復号化する復号化装置とから構成される符号化・復号化装置であって、
   前記符号化装置は、
   前記第１の画像群の画像と、前記第１の画像群の画像に対応する前記第２の画像群の画像とで構成されるアクセスユニットを定義するアクセスユニット定義手段と、
   前記アクセスユニット定義手段で定義された前記アクセスユニット毎に、当該アクセスユニットを構成する各画像を符号化する符号化手段とを含み、
   前記アクセスユニット定義手段は、
   前記アクセスユニットに含まれる各画像を、フィールド単位又はフレーム単位のいずれに統一して符号化するかを決定する符号化単位決定手段と、
   前記アクセスユニットに含まれる各画像がフィールド単位に決定された場合に、当該各画像をトップフィールド又はボトムフィールドのいずれに統一して符号化するかを決定するフィールド種別決定手段とを含み、
   前記符号化単位決定手段では、フィールド単位の画像であるかフレーム単位の画像であるかを示す値を、スライスヘッダの第１フラグ情報に設定し、
   前記フィールド種別決定手段では、前記符号化単位決定手段において、フィールド単位に決定した場合に、トップフィールドであるかボトムフィールドであるかを示す値を、スライスヘッダの第２フラグ情報に設定し、
   前記符号化手段は、前記アクセスユニット毎に、前記符号化単位決定手段及び前記フィールド種別決定手段で決定された形式で、前記第１の画像群の画像を符号化し、前記第１の画像群の画像を参照して、前記符号化単位決定手段及び前記フィールド種別決定手段で決定された形式で、前記第１の画像群の第１の画像に対応する前記第２の画像群の第２の画像を符号化し、
   前記復号化装置は、
   前記第１のフラグ情報を、前記第１の画像群の画像のスライスヘッダ、または、前記第２の画像群の画像のスライスヘッダから抽出する第１の抽出手段と、
   前記第１のフラグ情報が、前記アクセスユニットに含まれる各画像が、フレーム単位で符号化されていることを示している場合に、前記第１の画像群の画像をフレーム単位で復号し、復号した前記第１の画像群の画像をフレーム単位で参照して、前記第１の画像群の画像に対応する第２の画像群の画像をフレーム単位で復号する第１の復号手段と、
   前記第１のフラグ情報が、前記アクセスユニットに含まれる各画像が、フィールド単位で符号化されていることを示している場合に、前記第２のフラグ情報を、前記第１の画像群の画像のスライスヘッダ、または、前記第２の画像群の画像のスライスヘッダから抽出する第２の抽出手段と、
   前記第２のフラグ情報が、前記アクセスユニットに含まれる各画像が、トップフィールドで符号化されていることを示している場合に、前記第１の画像群の画像をトップフィールドとして復号し、復号した前記第１の画像群の画像をフィールド単位で参照して、前記第１の画像群の画像に対応する第２の画像群の画像をトップフィールドとして復号する第２の復号手段と、
   前記第２のフラグ情報が、前記アクセスユニットに含まれる各画像が、ボトムフィールドで符号化されていることを示している場合に、前記第１の画像群の画像をボトムフィールドとして復号し、復号した前記第１の画像群の画像をフィールド単位で参照して、前記第１の画像群の画像に対応する第２の画像群の画像をボトムフィールドとして復号する第３の復号手段と、
   を含むことを特徴とする符号化・復号化装置。
2. 異なる視点で撮影されたインタレース方式の第１及び第２の画像群を、第１の画像郡の画像と、前記第１の画像群の画像に対応する第２の画像群の画像とで構成されるアクセスユニット毎に符号化して生成された符号化ストリームを、サーバから基地局を介して、ユーザの端末に配信する配信方法であって、
   前記端末から前記符号化ストリームの配信要求を受信する受信ステップと、
   前記配信要求に基づいて、前記端末に対して前記符号化ストリームの配信を行う配信ステップと、を有し、
   前記符号化ストリームは、
   前記第１の画像群の画像と、前記第１の画像群の画像に対応する前記第２の画像群の画像とで構成されるアクセスユニットを定義するアクセスユニット定義ステップと、
   前記アクセスユニットに含まれる各画像を、フィールド単位又はフレーム単位のいずれに統一して符号化するかを決定し、フィールド単位の画像であるかフレーム単位の画像であるかを示す値を、スライスヘッダの第１フラグ情報に設定する符号化単位決定ステップと、
   前記アクセスユニットに含まれる各画像がフィールド単位に決定された場合に、当該各画像をトップフィールド又はボトムフィールドのいずれに統一して符号化するかを決定し、トップフィールドであるかボトムフィールドであるかを示す値を、スライスヘッダの第２フラグ情報に設定するフィールド種別決定ステップと、
   前記アクセスユニット毎に、前記符号化単位決定ステップ及び前記フィールド種別決定ステップで決定された形式で、前記第１の画像群の画像を符号化し、前記第１の画像群の画像を参照して、前記符号化単位決定ステップ及び前記フィールド種別決定ステップで決定された形式で、前記第１の画像群の第１の画像に対応する前記第２の画像群の第２の画像を符号化する符号化ステップとを含む符号化方法により符号化されている、
   ことを特徴とする配信方法。

Images