JP4425635B2 - 両眼／多視点３次元動画像処理システム及びその方法 - Google Patents

Description

本発明は、３次元動画像を処理するシステム及びその方法に係り、より詳細には、ＭＰＥＧ４準拠の両眼／多視点３次元動画像を多重化処理するシステム及びその方法に関する。

ＭＰＥＧは、動画像の圧縮及びコード表現によって情報の伝送が行われるようにする方法であって、現在開発されているＭＰＥＧ１／２／４に続いて次世代圧縮方法であるＭＰＥＧ７までが研究されている。

インターネットで動画像ビデオをはじめとするマルチメディアデータを自由にデジタル保存媒体に保存するために開発されたビデオストリーミング標準であるＭＰＥＧ４は、現在商品化が本格的に推進されており、携帯用インターネット放送動画像プレイヤー（ＰＷＭＰ：Portable Webcasting MPEG4 Player）等に適用されている。

ＭＰＥＧ４は、具体的に、既存の動画像、オーディオ信号の圧縮符号化に加えて、静止画像、コンピュータグラフィックス（ＣＧ）、分析合成系の音声符号化、ＭＩＤＩ（Musical Instrument Data Interface）等に基づいた合成オーディオ及びテキストも含む総合マルチメディアに対する規格である。

従って、各客体の特性を表現することができる客体情報表現技術や、客体間の時間的、空間的関係を表現することができる場面技術情報表現技術は勿論、特性の異なる客体間の同期化技術が重要な部分を占めている。

ＭＰＥＧ４システムにおいて、メディア客体は、符号化されて基礎ストリーム（ＥＳ：Elementary Stream）形態で伝送され、このような基礎ストリームは、ネットワーク上の最大伝送率、ＱｏＳ（Quality of Service）変数、必要なデコーダリソース等を決定する変数によって特徴付けられる。各メディア客体は、各々異なる符号化方式によって一つの基礎ストリームから構成され、圧縮レイヤ、シンク（sync）レイヤ、伝達レイヤからなる階層的構造を通じてストリーミングされて伝送される。

このようなＭＰＥＧ４システムは、基本的に複数個の符号化器から出力されたデータストリームをアクセスユニット（ＡＵ：Access Unit）ごとにパケット化することにより、特性の異なる客体を処理して客体情報と場面技術情報とを利用して自由に表現することができる。

しかし、現在のＭＰＥＧ４システムでは、２次元（以下、「２Ｄ」という。）マルチメディアデータに限って標準化作業が進められたため、両眼／多視点３次元動画像データを処理する技術については全く開示されていない。

従って、本発明が目的とする技術的課題は、既存のＭＰＥＧ４準拠の両眼／多視点３次元動画像データを処理することにある。

特に、本発明が目的とする技術的課題は、同一の時間及び空間情報を有する複数のチャンネルのフィールド単位（field-based）の基礎ストリームを単一基礎ストリームに多重化することによって、重複するパケットのヘッダ情報を最少化することにある。

また、本発明が目的とする技術的課題は、使用者の要求及び使用者のシステム環境に適したデータのみを選択してストリーミングするのを容易にすることにある。

このような技術的課題を達成するための本発明の一つの観点に係る両眼／多視点３次元動画像処理システムによれば、
ＭＰＥＧ４準拠の両眼／多視点３次元動画像処理システムであって、
入力される複数の動画像データを処理して複数の圧縮された動画像データストリームを生成し、前記複数の圧縮された動画像データストリームを単一の統合された基礎ストリームとして結合する圧縮器と、
前記圧縮器から出力される前記単一統合基礎ストリームをパケット化された基礎ストリームとしてパケット化するパケット装置と、
前記パケット化された基礎ストリームを混合して、混合されたストリームを生成する混合器と、
を備え、
前記混合されたストリームは、
前記パケット化された基礎ストリームが提供する視点数を示す視点情報と、
前記パケット化された基礎ストリームが２次元又は３次元動画像データであるかを示す画像区別情報と、
を含むことを特徴とする両眼／多視点３次元動画像処理システムが提供される。

前記複数の圧縮された動画像データストリームは、複数のチャンネルのフィールド単位のストリームであるものとするとよい。

前記入力される複数の動画像データが両眼３次元動画像である場合、前記複数の圧縮された動画像データストリームは、両眼３次元左画像の奇数フィールド及び偶数フィールド、両眼３次元右画像の奇数フィールド及び偶数フィールドを含む４チャンネルのフィールド単位の基礎ストリームであるものとするとよい。

視点の数がＮである場合、前記複数の圧縮された動画像データストリームは、Ｎ×２個のフィールド単位の基礎ストリームであるものとするとよい。

前記混合されたストリームは、前記パケット化された基礎ストリームが提供する表示方式を示す表示区別情報をさらに含むものとするとよい。

本発明の他の観点に係るＭＰＥＧ４準拠の両眼／多視点３次元動画像処理方法によれば、
ＭＰＥＧ４準拠の両眼／多視点３次元動画像処理方法であって、
（ａ）入力される複数の動画像データを処理して複数の圧縮された動画像データストリームを生成する段階と、
（ｂ）前記複数の圧縮された動画像データストリームを単一の統合された基礎ストリームとして結合する段階と、
（ｃ）前記単一統合基礎ストリームをパケット化された基礎ストリームとしてパケット化する段階と、
（ｄ）前記パケット化された基礎ストリームを混合して、混合されたストリームを生成する段階と、
を含み、
前記混合されたストリームは、
前記パケット化された基礎ストリームが提供する視点数を示す視点情報と、
前記パケット化された基礎ストリームが２次元又は３次元動画像データであるかを示す画像区別情報と、
を含むことを特徴とする両眼／多視点３次元動画像処理方法が提供される。

前記複数の圧縮された動画像データストリームは、複数のチャンネルのフィールド単位のストリームであるものとするとよい。

前記入力される複数の動画像データが両眼３次元動画像である場合、前記複数の圧縮された動画像データストリームは、両眼３次元左画像の奇数フィールド及び偶数フィールド、両眼３次元右画像の奇数フィールド及び偶数フィールドを含む４チャンネルのフィールド単位の基礎ストリームであるものとするとよい。

視点の数がＮである場合、前記複数の圧縮された動画像データストリームは、Ｎ×２個のフィールド単位の基礎ストリームであるものとするとよい。

本発明によれば、既存のＭＰＥＧ４準拠のシステムにより両眼／多視点３次元動画像データを処理することができる。

特に、同一の時間及び空間情報を有する複数のチャンネルのフィールド単位（field-based）の基礎ストリームを単一基礎ストリームに多重化することによって、重複するヘッダ情報を最少化することができる。

また、同一の時間上で多視点画像に対する複数のチャンネルの基礎ストリームの中の一つのチャンネルの基礎ストリームから得られた時間情報を利用して他の視点での基礎ストリームと同期化し、３次元動画像間の同期化を簡単にすることができる。

また、本発明の多重化構造及びヘッダ部構成によって、既存の２次元動画像処理との互換性を維持しながら、両眼／多視点３次元動画像に対して、３次元動画像フィールド／フレームシャッタリング表示、多視点３次元動画像表示及び２次元動画像表示を使用者が選択的に表示することができるようにし、使用者の要求及び使用者のシステム環境に適したデータのみを選択してストリーミングすることができる。

以下、本発明の属する技術分野における通常の知識を有する者が、本発明を容易に実施することができる最も好ましい実施の形態を、添付した図面を参照して詳細に説明する。

本発明の実施の形態では、ＭＰＥＧ４準拠の両眼／多視点３次元動画像データを処理し、特に、符号化されて同一の時間上で複数のチャンネルから出力されるフィールド単位の基礎ストリームに対して、使用者のシステム環境及び要求による表示方式によって複数のチャンネルの基礎ストリームを単一チャンネルに統合した後、単一チャンネルの３次元アクセスユニットのストリーム（以下、「３Ｄ＿ＡＵストリーム」という。）に多重化する。

特に、２次元動画像表示、フィールド単位でシャッタリングして３次元動画像を表示する３次元動画像のフィールドシャッタリング表示、フレーム単位でシャッタリングして３次元動画像を表示する両眼３次元動画像のフレームシャッタリング表示、レンティキュラレンズ（lenticula lens）等を利用して画像を必要フレーム率で順に表示する多視点３次元動画像表示の４種類の表示方式を総てサポートするストリーミングが行われるようにする。

両眼／多視点３次元動画像の多重化処理及び使用者の要求による上記４種類の表示を可能にするために、本発明の実施の形態においては、シンク（sync）パケットヘッダ部に新たなヘッダ情報を生成し、このとき、重複する情報を最少化してヘッダを構成する。そして、同一の時間上で多視点画像に対する複数のチャンネルの基礎ストリームの中の一つのチャンネルの基礎ストリームから得られた時間情報を利用して他の視点での基礎ストリームと同期化し、３次元動画像間の同期化が簡単に行われるようにする。

図１は、本発明の実施の一形態に係る両眼／多視点３次元動画像処理システム（以下、説明の便宜のために「動画像処理システム」という。）の構造を示す概略図である。

図１に示されているように、本発明の実施の一形態に係る動画像処理システムは、ＭＰＥＧ４システム準拠の両眼／多視点３次元動画像データを処理するためのものであって、複数の符号化器をサポートする圧縮レイヤ１０、アクセスユニット（ＡＵ）のデータを受けて同期化に適したパケットを生成するパケット装置であるシンク（sync）レイヤ２０、複数のストリームを同時に多重化するための選択的要素であるＦｌｅｘＭｕｘ３１を含み、伝送環境及び記録メディアとのインターフェースを構成するためのＤＭＩＦ（Delivery Multimedia Integrated Framework）３２を含む伝送装置である伝達レイヤ３０から構成される三つの階層を含む。

圧縮レイヤ１０は、既存の２次元動画像、オーディオは勿論、静止画像、ＣＧ、分析合成系の音声符号化、ＭＩＤＩ及びテキストに至るまで、様々な客体符号化器を含む。

具体的には、圧縮レイヤ１０は、図１に示したように、３Ｄ客体符号化器１１、２Ｄ客体符号化器１２、場面構成情報ストリーム生成器１３、客体情報ストリーム生成器１４、３Ｄ基礎ストリーム混合器（以下、「３Ｄ＿ＥＳ混合器」という。）１５、１６を含む。

２Ｄ客体符号化器１２は、２Ｄ動画像、オーディオは勿論、静止画像、ＣＧ、分析合成系の音声符号化、ＭＩＤＩ及びテキストに至るまで、様々な客体を符号化する。２Ｄ客体符号化器１２内の各符号化器から出力される基礎ストリームは、ＡＵストリームの形態で出力されてシンクレイヤ２０に伝送される。

客体情報ストリーム生成器１４は、複数の客体の特性を表現するための客体情報ストリームを生成し、場面構成情報ストリーム生成器１３は、客体間の時間的、空間的相関関係を表現するための場面構成情報ストリームを生成する。

一方、３Ｄ客体符号化器１１及び３Ｄ＿ＥＳ混合器１５、１６は、既存のＭＰＥＧ４システムとの互換性を維持しながら、両眼／多視点３次元動画像を処理するためのものである。

３Ｄ客体符号化器１１は、両眼／多視点３次元動画像データに対する客体基盤（object-based）符号化器であり、カメラ等によって実際に撮影された画像を処理する複数の３Ｄ実像符号化器、及び、コンピュータによって生成された画像、即ち、ＣＧを処理する３ＤＣＧ符号化器からなる。

３Ｄ客体符号化器１１は、入力されるデータが、相互に異なる方向において生成される両眼３次元動画像である場合には、各々左右画像の偶数及び奇数フィールド単位で基礎ストリームを出力する。これとは異なり、入力されるデータが、Ｎ視点の多視点動画像である場合には、Ｎ×２個のフィールド単位で基礎ストリームを出力して、３Ｄ＿ＥＳ混合器１５、１６に提供する。

３Ｄ＿ＥＳ混合器１５、１６は、３Ｄ客体符号化器１１から出力される各基礎ストリームを、一つに統合された単一３Ｄ＿ＡＵストリームに処理してシンクレイヤ２０に伝送する。

上記圧縮レイヤ１０により処理されて出力される単一３Ｄ＿ＡＵストリームは、ＥＳＩ（Elementary Stream Interface）を通じてシンクレイヤ２０に伝送される。ＥＳＩは、メディアデータストリームとシンクレイヤとを連結する概念的なインターフェースであって、ＩＳＯ／ＩＥＣ１４４９６−１に規定されたものではなく、実現上の便宜のために提供されているので、必要によって変更が可能である。ＥＳＩは、ＳＬパケットヘッダ情報を伝送する。既存のＭＰＥＧ４システムにおいてＥＳＩを通じて伝送されるＳＬパケットヘッダ情報の例が図２に示されている。ＳＬパケットヘッダ情報は、シンクレイヤ２０がＳＬパケットヘッダを生成するために利用される。

シンクレイヤ２０は、基礎ストリーム間又は基礎ストリーム内部の時間的同期化を維持するために、圧縮レイヤ１０から出力される基礎ストリームをアクセスユニット（ＡＵ）ごとに受け入れて複数個のＳＬパケットに分割して各ＳＬパケットのペイロード部を生成し、アクセスユニットごとにＥＳＩを通じて伝達される情報を参照してヘッダ部を生成して、ヘッダ部及びペイロード部からなるＳＬパケットを生成する複数の客体パケッタイザー（packetizer）２１を含む。

ＳＬパケットヘッダ部は、データロス時に連続性をチェックするために使用され、タイムスタンプに関する情報を有する。

シンクレイヤ２０から出力されたパケットストリームは伝達レイヤ３０に伝送され、伝達レイヤ３０では、伝送されたパケットストリームがＦｌｅｘＭｕｘ３１によって多重化された後、ＤＭＩＦ３２を経て伝送環境及び記録メディアとのインターフェースに適したストリームに処理される。

シンクレイヤ２０及び伝達レイヤ３０の基本処理過程は、既存のＭＰＥＧ４システムと同一であるので、これについての詳細な説明は省略する。

次に、上記構造からなる動画像処理システムに基づいて両眼／多視点３次元動画像を多重化する方法について説明する。

例えば、２次元画像、少なくとも２個以上のカメラで撮影された複数のチャンネルの３次元画像（静止画像又は動画像を含む）、コンピュータにより生成された３次元画像（ＣＧ）は、圧縮レイヤ１０の２Ｄ客体符号化器１２及び３Ｄ客体符号化器１１に各々入力される。２次元画像に対する多重化処理方法は既に公知の技術であるので、これについての詳細な説明は省略する。

カメラで撮影された実像である両眼／多視点３Ｄ画像は、３Ｄ客体符号化器１１の３Ｄ実像符号化器１１１に入力されて処理され、コンピュータにより生成された両眼／多視点３Ｄ画像であるＣＧは、３ＤＣＧ符号化器１１２に入力されて処理される。

図３及び図４は、複数の３Ｄ実像符号化器及び３ＤＣＧ符号化器の動作例をそれぞれ示している。

図３に示されているように、入力されるデータが左右方向において生成された両眼３次元動画像である場合、３Ｄ実像符号化器１１１又は３ＤＣＧ符号化器１１２は、左画像及び右画像又は左ＣＧデータ及び右ＣＧデータを受信して各々フィールド単位で符号化し、４チャンネルのフィールド単位で基礎ストリームを出力する。

より具体的には、両眼３次元実像画像又はＣＧを符号化して、両眼３Ｄ左画像の奇数フィールドの基礎ストリーム（３ＤＥＳ＿ＬＯ：3D elementary stream_left odd field）、両眼３Ｄ左画像の偶数フィールドの基礎ストリーム（３ＤＥＳ＿ＬＥ：3D elementary stream_left even field）、両眼３Ｄ右画像の奇数フィールドの基礎ストリーム（３ＤＥＳ＿ＲＯ：3D elementary stream_right odd field）、両眼３Ｄ右画像の偶数フィールドの基礎ストリーム（３ＤＥＳ＿ＲＥ：3D elementary stream_right even field）を出力する。

一方、入力されるデータがＮ視点の多視点動画像である場合、３Ｄ実像符号化器１１１又はＣＧ符号化器１１２は、Ｎ視点の画像又はＮ視点のＣＧデータを受信して各フィールド単位で符号化し、Ｎ×２個の基礎ストリーム、即ち、第１視点から第Ｎ視点までの画像の偶数フィールドの基礎ストリーム、第１視点から第Ｎ視点までの画像の奇数フィールドの基礎ストリームを各々出力する。

より具体的には、図４に示されているように、Ｎ視点の多視点動画像に対して、第１視点画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃１ OddField，第２視点画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃２ OddField，．．．，第Ｎ視点画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃Ｎ OddField，第１視点画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿＃１ EvenField，第２視点画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿＃２ EvenField，．．．，第Ｎ視点画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿＃Ｎ EvenFieldのＮ×２個の基礎ストリームを出力する。

上記のように、両眼／多視点３Ｄ客体符号化器１１から出力される複数のチャンネルのフィールド単位の基礎ストリームは、３Ｄ＿ＥＳ混合器１５、１６に入力されて多重化される。

図５及び図６は、３Ｄ＿ＥＳ混合器において行われる多重化処理例を示している。

３Ｄ＿ＥＳ混合器１５、１６は、複数のチャンネルのフィールド単位の基礎ストリームを多重化して単一チャンネルの統合ストリームである３Ｄ＿ＡＵストリームに出力する。ここで、伝送されるべき基礎ストリームデータは、表示方式に応じて可変である。従って、各表示方式に対して必要な基礎ストリームのみが伝送されるように多重化が行われる。

表示方式は、２次元動画像表示方式、３次元動画像フィールドシャッタリング表示方式、３次元動画像フレームシャッタリング表示方式、多視点３次元動画像表示方式の４種類の表示方式が可能である。

図７乃至図１１は、関係する表示方式に応じた複数のチャンネルのフィールド単位の基礎ストリームを多重化する例を示している。図７、図８及び図９は、両眼３次元動画像データに対する多重化方式を示し、図１０及び図１１は、多視点３次元動画像データに対する多重化方式を示している。

両眼３次元動画像データに対して、使用者が３次元動画像フィールドシャッタリング表示を選択した場合には、図７に示されているように、３Ｄ客体符号化器１１から出力される４チャンネルの基礎ストリームのうちの両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、両眼右画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＲＥのみを順に統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。

また、両眼３次元動画像データに対して、使用者が３次元動画像フレームシャッタリング表示を選択した場合には、図８に示されているように、４チャンネルの基礎ストリームの中の両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、両眼３Ｄ左画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＬＥ、両眼３Ｄ右画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＲＯ、両眼３Ｄ右画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＲＥを順に統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。

また、両眼３次元動画像データに対して、使用者が２次元動画像表示を選択した場合には、図９に示されているように、４チャンネルの基礎ストリームの中の両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、両眼３Ｄ左画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＬＥを順に統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。

一方、多視点３次元動画像データに対して、使用者が３次元動画像表示を選択した場合には、図１０に示されているように、各視点ごとに奇数フィールド及び偶数フィールドの順に基礎ストリームを統合しながら視点順に各視点を統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。即ち、第１視点の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃１ OddField、第１視点の偶数フィールドの基礎ストリーム３ＤＥＳ＿＃１ EvenFiled，．．．，第Ｎ視点の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃Ｎ EvenFiled、第Ｎ視点の偶数フィールドの基礎ストリーム３ＤＥＳ＿＃Ｎ EvenFiledの順に多視点動画像の基礎ストリームを統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。

また、多視点３次元動画像データに対して、使用者が２次元動画像表示を選択した場合には、図１１に示されているように、一つの視点での奇数フィールド及び偶数フィールドの基礎ストリームのみを順に統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。従って、多視点３次元動画像に対して、使用者が２次元動画像表示を選択した場合には、使用者が所望の視点での画像のみを任意に表示することができる。

上記のように、３Ｄ＿ＥＳ混合器１５、１６から出力される単一チャンネルの３Ｄ＿ＡＵストリームは、シンクレイヤ２０に入力される。図２に示されたＥＳＩから伝達される情報に加えて、単一チャンネルの３Ｄ＿ＡＵストリームは、本発明の実施の形態に係る両眼／多視点３次元動画像ストリームの処理のための選択的な情報を含む。

両眼／多視点３次元動画像データに対して追加される情報のシンタックス（syntax）及びセマンティクス（semantics）が図１２に定義されている。

図１２は、両眼／多視点３次元動画像に対する単一の３Ｄ＿ＡＵストリームに追加される情報のシンタックス及びセマンティクスを示したものであり、ここでは、ＥＳＩを通じて伝達される情報以外の選択的な情報のみが示されている。

より具体的には、図１２に示されているように、画像区別フラグ２Ｄ＿３Ｄ DataFlag、表示区別フラグ２Ｄ＿３Ｄ DispFlag、及び、視点情報フラグNumViewPointの３種類の情報が追加される。

画像区別フラグ２Ｄ＿３Ｄ DataFlagは、圧縮レイヤ１０から出力される基礎ストリームが２次元又は３次元動画像データのいずれであるかを示す。本実施の形態では、任意的に、当該フラグが‘０’である場合には伝送されるデータが２次元動画像の基礎ストリームであることを示し、‘１’である場合には３次元動画像の基礎ストリームであることを示すが、これに限定されるものではない。

表示区別フラグ２Ｄ＿３Ｄ DispFlagは、使用者が両眼／多視点３次元動画像に対して選択した表示方式を示す。本実施の形態では、任意的に、“００”である場合には２次元動画像表示、“０１”である場合には３次元動画像フィールドシャッタリング表示、“１０”である場合には３次元動画像フレームシャッタリング表示、“１１”である場合には多視点３次元動画像表示であることを示すが、これに限定されるものではない。

視点情報フラグNumViewPointは、動画像の視点数を示す。即ち、両眼３次元動画像の場合、２視点の動画像であるので、視点情報フラグは“２”に設定され、Ｎ視点の３次元動画像の場合、“Ｎ”に設定される。

シンクレイヤ２０は、入力される基礎ストリームをアクセスユニットごとに受け入れて複数個のＳＬパケットに分割して各ＳＬパケットのペイロード部を生成し、アクセスユニットごとにＥＳＩを通じて伝達される情報と、上記のように追加される両眼／多視点３次元動画像に対する追加情報（画像区別フラグ、表示区別フラグ、視点情報フラグ）とに基づいて、シンクパケットヘッダ部を構成する。

図１３は、本発明の実施の形態に係る両眼３次元動画像データに対する一つの３Ｄ＿ＡＵストリームに追加されるヘッダ情報であるシンクパケットヘッダ部の構造を示している。

図１３に示されたシンクパケットヘッダ部において、アクセスユニット開始フラグは、シンク（sync）パケットペイロードの何番目のバイトが３Ｄ＿ＡＵストリームの開始であるかを示すものであり、例えば、フラグビットが‘１’である場合、ＳＬパケットペイロードの第１バイトが３Ｄ＿ＡＵストリーム１個の開始であることを示す。

アクセスユニット末端フラグは、シンクパケットペイロードの何番目のバイトが３Ｄ＿ＡＵストリームの末端であるかを示したもので、例えば、フラグビットが‘１’である場合、ＳＬパケットペイロードの最後のバイトが現在の３Ｄ＿ＡＵの末端のバイトであることを示す。

ＯＣＲフラグは、いくつの客体クロック参照（Object clock Reference）が後続しているかを示すものであり、例えば、フラグビットが‘１’である場合、一つの客体クロック参照が後続していることを示す。

アイドル（idle）フラグは、３Ｄ＿ＡＵストリームの出力状態を示すものであり、例えば、フラグビットが‘１’である場合、任意の時間内に３Ｄ＿ＡＵデータが出力されないことを示し、フラグビットが‘０’である場合、３Ｄ＿ＡＵデータが出力されていることを示す。

パディング（padding）フラグは、ＳＬパケット内のパディング存在の有無を示すものであり、フラグビットが‘１’である場合、ＳＬパケット内にパディングが存在することを示す。

パディングビットは、ＳＬパケットに使用されるパディングモードを示し、デフォルト値は‘０’である。

パケットシーケンス番号は、ＳＬパケットに対して連続的に増加するモジュール値を有する。デコーダでの不連続は、一つ以上のＳＬパケットの損失を意味する。

客体クロック参照は、ＯＣＲ時間スタンプを含み、ＯＣＲフラグがセッティングされている場合にのみＳＬパケットヘッダに存在する。

画像区別フラグ（２Ｄ＿３Ｄ DataFlag）は、圧縮レイヤから出力される基礎ストリームが２Ｄ又は３Ｄ動画像データのいずれであるかを判別する。本実施の形態では、任意的に、‘０’である場合には２Ｄ動画像基礎ストリームであることを示し、‘１’である場合には３Ｄ動画像基礎ストリームであることを示す。

アクセスユニット開始フラグAccessUnitStartFlagのフラグビットが、ＳＬパケットペイロードの第１バイトが一つの３Ｄ＿ＡＵの開始であることを示す‘１’に設定される場合、選択的フィールド部の情報が伝達される。

ランダムアクセスポイントフラグは、フラグビットが‘１’である場合、コンテンツに対するランダムアクセスが可能であることを示す。

３Ｄ＿ＡＵシーケンス番号は、各３Ｄ＿ＡＵに対して連続的に増加するモジュール値を有する。デコーダでの不連続は、一つ以上の３Ｄ＿ＡＵの損失を意味する。

デコーディング時間スタンプフラグDecodingTimeStampFlagは、ＳＬパケットにデコーディング時間スタンプ（ＤＴＳ：Decoding Time Stamp）が存在することを示す。

合成時間スタンプフラグCompositionTimeStampFlagは、ＳＬパケットに合成時間スタンプ（ＣＴＳ：Composition Time Stamp）が存在することを示す。

インスタントビットレートフラグInstantBitRateFlagは、ＳＬパケットにインスタントビットレート（Instant Bit Rate）が存在することを示す。

デコーディング時間スタンプ（ＤＴＳ）は、関係するＳＬ構成記述子に存在するＤＴＳであり、ＤＴＳは、デコーディング時間が３Ｄ＿ＡＵに対する合成時間と異なる場合にのみ存在する。

合成時間スタンプ（ＣＴＳ）は、関係するＳＬ構成記述子に存在するＣＴＳである。

３Ｄ＿ＡＵの長さは、３Ｄ＿ＡＵのバイト長を示す。

インスタントビットレートは、現在の３Ｄ＿ＡＵに対するビットレートを示し、次のインスタントビットレートフィールドが示されるまで有効である。

デグラデーション優先順位（Degradation Priority）は、ＳＬパケットペイロードの重要性を示す。

視点情報フラグNumViewPointは、動画像の視点数を示す。即ち、両眼３次元動画像の場合、２視点の動画像であるので、“２”に設定され、Ｎ視点の３次元動画像の場合、“Ｎ”に設定される。

表示区別フラグ２Ｄ＿３Ｄ DispFlagは、両眼３次元動画像の場合と同様に、３次元動画像に対する表示方式を示す。本実施の形態では、任意的に、“００”である場合には２Ｄ動画像表示、“０１”である場合には３Ｄ動画像フィールドシャッタリング表示、“１０”である場合には３Ｄ動画像フレームシャッタリング表示、‘１１’である場合には多視点表示であることを示すものとして設定される。

上述のような構造のヘッダ部を構成した後、シンクレイヤ２０は、ヘッダ部をペイロード部と組み合わせてＳＬパケットを生成し、伝達レイヤ３０に伝送する。

伝達レイヤ３０に伝送されたＳＬパケットストリームは、ＦｌｅｘＭｕｘ３１によって多重化された後、ＤＭＩＦ３２を経て伝送環境のインターフェースに適したストリームに処理されて受信側に伝送されたり、記録メディアとのインターフェースに適したストリームに処理されて記録メディアに保存される。

受信側では、このように処理されて動画像処理システムから伝送されるパケットストリームを復号化して、元来の画像を再現する。

この場合、受信側の３次元客体復号化器は、受信される各３Ｄ＿ＡＵに多重化されているストリームのフォーマット形態に適合するように３次元動画像を復元しなければならないので、３Ｄ＿ＡＵがどのストリームのフォーマット形態で多重化されているかを検出する。従って、受信側の復号化器は、伝送されるパケットのヘッダ部に保存された情報のうちの視点情報フラグNumViewPoint及び表示区別フラグ２Ｄ＿３Ｄ dispFlagに保存された値によって３Ｄ＿ＡＵがどのストリームのフォーマット形態で多重化されているかを検出して復号化を行う。

例えば、伝送されたパケットストリームヘッダ部の視点情報フラグNumViewPointが“２”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“００”である場合には、両眼３次元動画像データを２次元動画像表示方式で表示しようとすることを示し、３Ｄ＿ＡＵは、両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、左画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＬＥの順に、上記の図１０のように多重化されていることを示す。

そして、視点情報フラグNumViewPointが“２”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“０１”である場合には、両眼３次元動画像データを３次元動画像フィールドシャッタリング表示方式で表示しようとすることを示し、３Ｄ＿ＡＵは、両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、右画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＲＥの順に、図８のように多重化されていることを示す。

最後に、視点情報フラグNumViewPointが“２”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“１０”である場合には、両眼３次元動画像データを３次元動画像フレームシャッタリング表示方式で表示しようとすることを示し、３Ｄ＿ＡＵは、両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、左画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＬＥ、３Ｄ右画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＲＯ、右画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＲＥの順に、図９のように多重化されていることを示す。

一方、視点情報フラグNumViewPointが“２”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“１１”である場合には、両眼３次元動画像データを多視点３次元動画像表示方式で表示しようとすることを示すので、このような場合は発生しない。

また、視点情報フラグNumViewPointが“Ｎ”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“００”である場合には、多視点３次元動画像データを２次元動画像表示方式で表示しようとすることを示すので、３Ｄ＿ＡＵは、第１視点画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃１ Ｏ、偶数フィールドの基礎ストリーム３ＤＥＳ＿＃１ Ｅの順に、図１２のように多重化されていることを示す。

また、視点情報フラグNumViewPointが“Ｎ”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“１１”である場合には、多視点３次元動画像データを多視点３次元動画像表示方式で表示しようとすることを示すので、３Ｄ＿ＡＵは、第１視点から第Ｎ視点までの総ての奇数フィールドの基礎ストリーム３ＤＥＳ＿＃１ Ｏ−３ＤＥＳ＿＃Ｎ Ｏ、第１視点から第Ｎ視点までの総ての偶数フィールドの基礎ストリーム３ＤＥＳ＿＃１ Ｅ−３ＤＥＳ＿＃Ｎ Ｅの順に、図１１のように多重化されていることを示す。

また、視点情報フラグNumViewPointが“Ｎ”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“１０”又は“０”である場合には、多視点３次元動画像データを３次元動画像フレーム／フィールドシャッタリング表示方式で表示しようとすることを示すので、このような場合は発生しない。

上記のように、受信側では、本発明の実施の形態に係る動画像処理システムから伝送されるパケットストリームヘッダ部の視点情報フラグNumViewPoint及び表示区別フラグ２Ｄ＿３Ｄ DispFlagに保存された値によってパケットストリーム内の３Ｄ＿ＡＵがどのストリームのフォーマット形態で多重化されているかを確認した後、復号化を行って、３次元画像を再現する。

図１４は、ＭＰＥＧ４システムの復号化器構成記述子により定義されたストリーム型式を示しており、図１５は、圧縮レイヤから出力された両眼３次元動画像の基礎ストリームが２次元動画像データ又は３次元動画像データのいずれであるかを決定するための新規ストリーム型式を示している。

本発明は、現時点で最も実用的かつ好ましい実施の形態と考えられる事項との関連において説明されてきたが、本発明は開示された実施の形態に限定されるものではなく、逆に、請求の範囲の意図及び範囲内に含まれる種々の変形例及び等価構成をも含むことを意図していることが理解されるべきである。

本発明の実施の一形態に係る両眼／多視点３次元動画像処理システムの構造を示す概略図である。 既存の２Ｄマルチメディアに対するＥＳＩによって伝送される情報を示した例示図である。 本発明の実施の一形態に係る両眼３次元動画像符号化器の入出力データを示した図面である。 本発明の実施の一形態に係るＮ視点３次元動画像符号化器の入出力データを示した図面である。 本発明の実施の一形態に係る両眼３次元動画像に対する３Ｄ＿ＥＳ混合器の入出力データを示した図面である。 本発明の実施の一形態に係る多視点３Ｄ＿ＥＳ混合器の入出力データを示した図面である。 本発明の実施の一形態に係るフィールドシャッタリング表示のための両眼３次元動画像のフィールド単位の基礎ストリームの多重化を示した図面である。 本発明の実施の一形態に係るフレームシャッタリング表示のための両眼３次元動画像のフィールド単位の基礎ストリームの多重化を示した図面である。 本発明の実施の一形態に係る２次元表示のための両眼３次元動画像のフィールド単位の基礎ストリームの多重化を示した図面である。 本発明の実施の一形態に係る多視点３次元動画像表示のための多視点３次元動画像のフィールド単位の基礎ストリームの多重化を示した図面である。 本発明の実施の一形態に係る２次元表示のための多視点３次元動画像のフィールド単位の基礎ストリームの多重化を示した図面である。 本発明の実施の一形態に係る両眼／多視点３次元動画像の処理のために既存のＥＳＩに対する追加伝送情報の例示図である。 本発明の実施の一形態に係る両眼／多視点３次元動画像の処理のためのシンクパケットヘッダ部の構造を示した図面である。 ＭＰＥＧ４システムの復号化器構成記述子により定義されたストリーム型式を示す図面である。 圧縮レイヤから出力された両眼３次元動画像の基礎ストリームが２次元動画像データ又は３次元動画像データのいずれであるかを決定するための新規ストリーム型式を示す図面である。

Claims (9)

1. ＭＰＥＧ４準拠の両眼／多視点３次元動画像処理システムであって、
   入力される複数の動画像データを処理して複数の圧縮された動画像データストリームを生成し、前記複数の圧縮された動画像データストリームを単一の統合された基礎ストリームとして結合する圧縮器と、
   前記圧縮器から出力される前記単一統合基礎ストリームをパケット化された基礎ストリームとしてパケット化するパケット装置と、
   前記パケット化された基礎ストリームを同時に多重化して、多重化されたストリームを生成する多重化器と、
   を備え、
   前記多重化されたストリームは、
   前記パケット化された基礎ストリームが提供する視点数を示す視点情報と、
   前記パケット化された基礎ストリームが２次元又は３次元動画像データであるかを示す画像区別情報と、
   を含むことを特徴とする両眼／多視点３次元動画像処理システム。
2. 前記複数の圧縮された動画像データストリームは、複数のチャンネルのフィールド単位のストリームであることを特徴とする請求項１に記載の両眼／多視点３次元動画像処理システム。
3. 前記入力される複数の動画像データが両眼３次元動画像である場合、前記複数の圧縮された動画像データストリームは、両眼３次元左画像の奇数フィールド及び偶数フィールド、両眼３次元右画像の奇数フィールド及び偶数フィールドを含む４チャンネルのフィールド単位の基礎ストリームであることを特徴とする請求項１に記載の両眼／多視点３次元動画像処理システム。
4. 視点の数がＮである場合、前記複数の圧縮された動画像データストリームは、Ｎ×２個のフィールド単位の基礎ストリームであることを特徴とする請求項１に記載の両眼／多視点３次元動画像処理システム。
5. 前記多重化されたストリームは、前記パケット化された基礎ストリームが提供する表示方式を示す表示区別情報をさらに含むことを特徴とする請求項１に記載の両眼／多視点３次元動画像処理システム。
6. ＭＰＥＧ４準拠の両眼／多視点３次元動画像処理方法であって、
   （ａ）入力される複数の動画像データを処理して複数の圧縮された動画像データストリームを生成する段階と、
   （ｂ）前記複数の圧縮された動画像データストリームを単一の統合された基礎ストリームとして結合する段階と、
   （ｃ）前記単一統合基礎ストリームをパケット化された基礎ストリームとしてパケット化する段階と、
   （ｄ）前記パケット化された基礎ストリームを同時に多重化して、多重化されたストリームを生成する段階と、
   を含み、
   前記多重化されたストリームは、
   前記パケット化された基礎ストリームが提供する視点数を示す視点情報と、
   前記パケット化された基礎ストリームが２次元又は３次元動画像データであるかを示す画像区別情報と、
   を含むことを特徴とする両眼／多視点３次元動画像処理方法。
7. 前記複数の圧縮された動画像データストリームは、複数のチャンネルのフィールド単位のストリームであることを特徴とする請求項６に記載の両眼／多視点３次元動画像処理方法。
8. 前記入力される複数の動画像データが両眼３次元動画像である場合、前記複数の圧縮された動画像データストリームは、両眼３次元左画像の奇数フィールド及び偶数フィールド、両眼３次元右画像の奇数フィールド及び偶数フィールドを含む４チャンネルのフィールド単位の基礎ストリームであることを特徴とする請求項６に記載の両眼／多視点３次元動画像処理方法。
9. 視点の数がＮである場合、前記複数の圧縮された動画像データストリームは、Ｎ×２個のフィールド単位の基礎ストリームであることを特徴とする請求項６に記載の両眼／多視点３次元動画像処理方法。

Images