JP6037567B2 - ２次元にも対応する立体映像フローのデコード方法 - Google Patents

Description

本発明は、立体デジタル映像ストリーム、つまり、視覚化装置により適切に処理されると、観察者により３次元と認識される画像のシーケンスを生成する映像ストリームをデコードする方法に関する。

この方法により、従来の（つまり、非立体用の）デコーダおよび／またはテレビのユーザは、２次元モードで立体画像を見ることができ、また、立体用（３次元用）デコーダおよび／またはテレビを２次元表示用に使うことができるようになる。

近年、映画制作界は、新しいデジタル技術により利用可能となった新しい制作ツールに刺激され、立体３次元コンテンツの制作に多大な注目を払い、莫大な資源を投入してきた。

３次元への関心は、現在、家庭利用、つまり、テレビへの画像の表示に拡大している。たとえば、有料テレビ会社では、近いうちに、３次元の番組を放送する予定となっている会社もある。立体映像コンテンツを提供する最も一般的な方法では、右目用および左目用の２つの独立した映像ストリームを表示し、人間の脳によって３次元オブジェクトに再合成させる。

家庭用の立体コンテンツは、一般的に、高解像度の映像コンテンツであり、大容量記憶媒体（ＤＶＤもしくはＢｌｕ−ｒａｙディスク、または光磁気媒体もしくはソリッドステート媒体）上で、または（有線もしくは無線）放送チャネルもしくは電気通信網を介して、配布される。

しかし、制作現場では、異なる２つの視点からシーンを撮影する立体ビデオカメラにより生成された２つのストリームを別々に転送および処理するのは、既存の設備では困難である。

さらに、最終ユーザにまで至る分配ネットワークは、非常に大きく、１つのサービスを提供するのに、２つの独立した高解像度ストリームを使うのは、経済的ではない。その結果、コンテンツの転送および実現に求められるビットレートを減らすべく、制作過程において、数多くの手段を講じなければならない。

２次元画像および３次元画像における細部の知覚の違いについての研究の結果によると、立体コンテンツの解像度を２次元コンテンツの解像度より下げても、ユーザにより知覚される画質は許容範囲であることが示されているので、立体画像を構成する２つの画像を１つのフレームにパッキングする様々な技術（フレームパッキング）が開発されてきた。

たとえば、単一の高解像度フレームＣ（１９２０×１０８０画素）の場合、左チャネルおよび右チャネル（以下、ＬおよびＲとする）を構成する２つの画像を、高解像度フレームの解像度の半分に等しい水平解像度で取得し、図１（ａ）に示すように、単一のフレームに隣り合わせに配置する（隣り合わせフォーマット）。

このようにすると、２つの独立した映像チャネルを搬送するのに単一の高解像度ストリームを使用することが可能になり、デコード時には、２つの半フレームを分割し、適切な補間技術を適用して１６／９フォーマットに戻す。

同じく、水平解像度は変えずに垂直解像度を半分にし、２つのフレームＬおよびＲを、図１（ｂ）に示すように、一方を他方の上に配置する（上下フォーマット）代替的なプロセスを用いてもよい。

合成フレームから構成される立体映像ストリームは、圧縮して搬送ビットレートを減らしてから、放送ネットワーク、ＩＰネットワーク、もしくは大容量記憶媒体で配布する。

多くのサービスプロバイダ（特に、公共放送局）が注目する最も重要な要件の１つが、立体信号の２次元対応性である。

実際、高解像度デコーダを既に所有しているユーザが放送サービスを享受できるようにするには、３次元番組を２次元番組としても表示できることが望ましい。同じく、ＤＶＤ、Ｂｌｕ−ｒａｙディスク、３次元、またはインターネットサイト上の３次元コンテンツも２次元および３次元の両方のテレビおよびモニタで表示できることが望ましい。

これは、１つの番組の２次元版と３次元版の両方を同時に放送すること、および、立体ストリームを符号化する適切な技術を用いることの２つの方法により、達成できる。

もちろん、最初の方法では、サービスプロバイダが避けたい要素の１つである、帯域幅の浪費が発生する。

２番目の方法については、当該技術分野では、２次元対応する立体ストリームを生成するいくつかの技術が知られている。

これらの技術のうち１つは、たとえば、米国特許出願公開第２００２／００４８３９５号明細書および第２００４／０１０１０４３号明細書に記載される、いわゆる「深度マップ」の適用に関する。

実際には、信号は、深度マップを搬送する補助的な黒白映像として、２次元カラー映像に対応付けられる。適切なデコーダであれば、受信したデータから立体映像を再現できる。しかし、この技術は、同じ番組の２次元版および３次元版の送信という上記と全く同じ問題を有しており、事実、２つの映像信号をパラレルに転送しなければならず、搬送ビットレートが高くなる結果となっている。

２次元対応の立体ストリームを符号化する別の技術は、たとえば、「マルチビュー」と呼ばれる技術である。

立体映像ストリームを構成する対の右画像および左画像は、類似の程度が高いことにより特徴付けられるので、２次元ストリームを符号化するときに採用される空間−時間冗長圧縮技術を、この場合にも用いることができる。実際に、撮影地点間の幾何学的距離（つまり、瞳孔間隔）による所定のオフセットを差し引くと、右画像と左画像との差は小さい。

ＭＰＥＧ２規格は、マルチビュープロファイル（ＭＶＰ）と呼ばれる補助的な規格に拡張されており、同じく後継のＨ．２６４／ＡＶＣ規格も、マルチビュー符号化（ＭＶＣ）規格を含むよう拡張されている。

これら２つの仕様に共通の特徴は、スケーラブルビデオ符号化を使用することであり、立体映像ストリームは、基本層（２次元基本ストリーム）と、第２のビューを搬送する強化層とに圧縮される。符号化ストリームのシンタックスにより、ＭＰＥＧ２もしくはＨ．２６４／ＡＶＣ規格に準拠する限り旧世代のデコーダでも２次元映像をデコードすることができるようになっている。

しかし、立体ストリームを上記のフォーマットのうち１つに符号化するのに必要なビットレートは、放送で用いるには依然高く、その結果、フレームパッキングフォーマットが、３次元サービスを開始するための唯一の実行可能な短期的視点における解決策となっている。

したがって、本発明の目的は、立体デジタル映像ストリームから２次元対応（２次元）映像信号を抽出することができるデコード方法、特に、合成フレームに右画像および左画像をパッキングするべく用いられた方法がいかなるものであっても適用可能な、当該合成フレームの使用に基づく、２次元対応立体デジタル映像ストリームのデコード方法を提供することである。

本発明のこの目的およびその他の目的は、本明細書の不可欠の一部であると意図される添付の特許請求の範囲に記載される特性を組み込んだ立体画像ストリームのデコード方法により達成される。

本発明のさらなる目的および利点は、非限定的な例として提供される本発明のいくつかの実施形態についての以下の記載からより明確になるであろう。

これらの実施形態は、添付の図面を参照して記載される。
（ａ）、（ｂ）、および（ｃ）は、立体映像ストリームの合成フレームを、すでに参照した隣り合わせフォーマット、上下フォーマット、および代替的フォーマットでそれぞれ示す。 図１の（ａ）、（ｂ）、および（ｃ）の合成フレームを、本発明に係る方法における特定の段階を示すべくフレーム領域を適切にハイライトして示す。 本発明に係るデコーダおよび映像再生装置を備える、画像の映像ストリームを生成および表示するシステムを示す。

図３を参照すると、それぞれ文字ＲおよびＬで示される右立体画像および左立体画像の対を受信するステレオプレクサ２００（ステレオプレクシングとも呼ばれる合成フレーム生成を行うデバイス）を備える、画像の映像ストリームを生成および表示するシステムが示されている。配布される映像ストリームでは、１対の立体画像が、特定のパッキングフォーマットにしたがって、１つの合成フレームＦＣに組み込まれている。この実施形態では、図１（ａ）を参照して上記したパッキングフォーマットを使用して画像が組み込まれる。

ステレオプレクサ２００の出力信号は、エンコーダ２０２で圧縮し、可能であれば、その他の圧縮信号に多重し、放送ネットワーク上で放送してよく、または、電気通信網を介してファイルとして、もしくは記憶媒体上で配布してよい。ステレオプレクサ２００は、別個のデバイスであっても、エンコーダ２０２に組み込まれてもよいことに注意されたい。

合成フレームＦＣの生成後の処理段階は、本発明の範囲に含まれず、したがって、本明細書ではさらなる記載はされない、周知の装置および方法を用いて実行される。

ステレオプレクシング、圧縮、もしくは多重段階の間、結果として得られるデータストリームに適切な信号伝達メタデータを挿入して、立体ストリームを符号化するのに用いたフレームパッキング方法を記述するのは、一般的である。このようなメタデータは、Ｈ．２６４符号化規格のＳＥＩ（補助強化情報）メッセージに、または、当該映像コンテンツを多重した搬送ストリームについての構成を記載するサービス情報に、組み込んでよい。または、メタデータは、特許出願第ＩＴ２００８ＭＯ０００２６７号に記載の方法にしたがって、合成フレームＦＣそのものに組み込んでもよい。実際、このメタデータは、いかなる形態もしくは態様（たとえば、ＸＭＬ記述子、適切な二値データ構造、または、デコードデバイスにおいて周知のルックアップテーブルから導出する符号として）で組み込んでもよく、帯域内信号方式または帯域外信号方式（ｏｆｆ−ｂａｎｄ ｓｉｇｎａｌｌｉｎｇ）で搬送してよく、コンテンツの生成および配布の流れにおけるどの時点において映像ストリームに対応付けてもよい。これらの態様は、本発明の一部ではなく、したがって、本明細書ではさらなる記載はしない。

映像ストリームを再現するべく、デコーダ２１２は、上記のメタデータにより搬送されたフレームパッキングフォーマットの記述に基づいて、２つの立体画像のうち一方により占められる領域（図２（ａ）、（ｂ）、および（ｃ）に示す）を判定することができ、その後、その領域を切り取って、２次元視覚化装置に送信する。

この判定は、メタデータから、明示的もしくは黙示的に行ってよい。

明示的なモードでは、フレームパッキングフォーマットの配置がメタデータに詳細に記述される（たとえば、各立体画像に占められる領域の頂点の座標を明示的に記述することによって）。

黙示的なモードでは、代わりに、フレームパッキングの種類（たとえば、隣り合わせ）だけがメタデータに記述され、この記述は、デコーダが領域を判定するのに十分である。

第１実施形態では、符号化され、圧縮され、および放送もしくは記憶媒体から読み出された立体信号は、視覚化装置２２２（たとえば、従来のテレビ）に接続することができるデジタルデコーダ２１２に到着する。

デコーダ２１２には、立体信号を記述する信号伝達（ｓｉｇｎａｌｌｉｎｇ）を取得して分析することを可能にする適切なソフトウェアコンポーネントが設けられている。たとえば、これらのソフトウェアコンポーネントは、製造段階でインストールしてよく、または、その後に、たとえば、新しいファームウェア版を、無線により受信すること、電気通信網を介してダウンロードすること、またはＵＳＢインターフェースを介して接続された周辺機器から読み込むこと、等の異なる方法で実行しうる更新処理でインストールしてもよい。これらのソフトウェアコンポーネントとしては、立体映像を構成する２つの画像のうち一方を、使用されているフレームパッキングフォーマットに基づいて取得するのに必要なアルゴリズムも実装されている。

たとえば、黙示的モードおよび隣り合わせフォーマット（図１（ａ））が用いられる場合、本発明に係る方法は、フレームの垂直軸に沿ってフレームを面積が等しい２つの部分（図２（ａ））に分割することにより、立体画像のうち一方に占められる領域を判定する。他方、上下フォーマット（図１（ｂ））の場合は、フレームを水平軸に沿って分割する（図２（ｂ））。

フレームを分割した部分のうち一方を、２次元画像として選択し、適切に処理（サイズ変更）した後、表示する。

信号伝達（ｓｉｇｎａｌｌｉｎｇ）がフレームパッキングフォーマットの明示的な記述（たとえば、図１（ｃ）のフォーマット）を含む場合、デコーダ２１２は、立体映像ストリームのフレームから、構成要素を成す２つの画像のうち一方を切り出すのに必要な情報を選択する。たとえば、信号伝達は、立体画像の対を構成する画像のうち一方を囲む多角形の頂点（たとえば、図２（ｃ）の点Ａ、Ｂ、Ｃ、およびＤ）の座標を示している場合もあり、この場合、デコーダ２１２は、２つの画像のうち一方に関するデータだけを選択して、使用されているフレームパッキングフォーマットに対応する切り出しアルゴリズムを適用するべきである。

その後、選択した部分のサイズ変更は、デコーダ２１２のスケーラに任せることができ、または、同等の効果を有する表示装置２２２の１つに任せることができる。このコンポーネントは、選択した表示フォーマットに画像を戻すべく、適切な補間アルゴリズムを適用して、紛失した画素を復元し、もしくは、画素表示に用いられているフォームファクターを補正する。

一代替的実施形態では、デコーダ２１２は、表示装置２２２に一体化される。

合成フレームのうち、２次元表示ウィンドウに含まれない部分（つまり、図２（ａ）、（ｂ）、および（ｃ）の白い部分）は、視覚化装置により使用されず、原則として、デコードもされないことに注意されたい。したがって、デコーダは、パッキングフォーマット情報を読み出すとき、合成フレームのうち、２次元視覚化に用いられない部分のデコードをしなくてよい。たとえば、処理できるのは１０８０ｉフレームだけで、５０または６０Ｈｚの１０８０ｐフレームを処理できないデコーダは、図１（ｃ）の１０８０ｐフレームに組み込まれた２つのビューのうち一方を表す７２０ｐ画像をデコードすることができるかもしれない。

本発明のさらなる実施形態では、ユーザが、（たとえば、３次元画像により目が疲れたので）一時的に３次元表示から２次元表示に切り替えようと決めた場合、上記の方法をデコーダ２１２または３次元視覚化装置で用いることができる。このような状況では、観察者は、適切なコマンドを発行することにより（たとえば、リモートコントローラの特定のボタンを押すことにより）、３次元表示と２次元表示とを切り替えることができる。

要約すると、本発明に係る方法およびデコーダによると、従来の２次元視覚化装置および３次元視覚化装置に対する３次元映像ストリームの２次元対応性が保証される。

デコーダ２１２は、本発明に係る立体映像ストリームを受信してデコードすることができる任意のデバイスであってよく、たとえば、デジタルテレビ受像機、光または磁気デジタル媒体の読み出し装置（ＤＶＤもしくはＢｌｕ−ｒａｙの再生装置、パソナルビデオレコーダ）等であってよい。デコーダ２１２は、表示装置を備える装置に内蔵させてもよい。

本発明は、立体映像ストリームを２次元対応させてデコードする方法および関連デバイスに限定されず、以下の特許請求の範囲に明記される発明の思想から逸脱することなく、均等のパーツおよび要素を多様に変更、改善、もしくは置換することができる。
［項目１］
デジタル画像の映像ストリームを処理する方法であって、
１対の立体デジタル画像（Ｌ、Ｒ）を所定のパッキングフォーマットに従って含む少なくとも１つの合成フレーム（ＦＣ）を含む前記映像ストリームを受信する段階と、
前記合成フレーム（ＦＣ）の前記フォーマットを記述するメタデータを受信する段階と、
視覚化装置（２２２）上で再現することができる出力映像ストリームを生成する段階と
を備え、
前記合成フレーム内で、前記１対の立体デジタル画像のうち一方が前記合成フレーム（ＦＣ）内で占める領域を、前記メタデータに基づいて判定する段階と、
前記領域に含まれる前記画像を前記合成フレーム（ＦＣ）から抽出する段階と、
抽出された前記画像を含む出力フレームを生成する段階と
をさらに備える方法。
［項目２］
前記メタデータは、前記パッキングフォーマットを示す情報を含む項目１に記載の方法。
［項目３］
前記メタデータは、Ｈ．２６４規格のＳＥＩメッセージに配置される項目１に記載の方法。
［項目４］
前記メタデータは、搬送ストリームのサービス情報に配置される項目１に記載の方法。
［項目５］
前記メタデータは、前記合成フレーム（ＦＣ）内に配置される項目１に記載の方法。
［項目６］
前記メタデータは、前記パッキングフォーマットの明示的の記述を含む項目２に記載の方法。
［項目７］
前記合成フレーム（ＦＣ）のうち、抽出される前記画像を含む部分だけがデコードされる項目１から６のいずれか１項に記載の方法。
［項目８］
デジタル画像の映像ストリームをデコードする装置であって、項目１から７のいずれか１項に記載の方法を実施する装置。
［項目９］
デコードを実施する前記方法は、ユーザのコマンドにより起動される項目８に記載の装置。
［項目１０］
デコードを実施する前記方法は、リモートコントローラの特定のボタンを押すことでユーザにより起動される項目９に記載の装置。
［項目１１］
項目８から１０のいずれか１項に記載の装置を備える映像再生装置。

Claims (14)

1. デジタル画像の映像ストリームを処理する方法であって、
   １対の立体デジタル画像を所定のパッキングフォーマットに従って含む少なくとも１つの合成フレームを含む前記映像ストリームを受信する段階と、
   前記合成フレーム内に含まれる前記１対の立体デジタル画像のうちの１つの画像が占める領域を定める複数の座標を記述するメタデータを受信する段階と、
   視覚化装置上で再現することができる出力映像ストリームを生成する段階と
   を備え、
   前記合成フレーム内で、前記１対の立体デジタル画像のうちの１つの画像が前記合成フレーム内で占める領域を、前記メタデータに基づいて判定する段階と、
   前記合成フレームのうち、表示されるべき前記１つの画像を含む部分だけをデコードする段階と、
   抽出された前記画像を含む出力フレームを生成する段階と
   をさらに備える方法。
2. 前記メタデータは、前記パッキングフォーマットを示す情報を含む請求項１に記載の方法。
3. 前記メタデータは、Ｈ．２６４規格のＳＥＩメッセージに配置される請求項１又は２に記載の方法。
4. 前記メタデータは、搬送ストリームのサービス情報に配置される請求項１又は２に記載の方法。
5. 前記メタデータは、前記合成フレーム内に配置される請求項１又は２に記載の方法。
6. デジタル画像の映像ストリームを処理する方法であって、
   １対の立体デジタル画像を所定のパッキングフォーマットに従って含む少なくとも１つの合成フレームを含む前記映像ストリームを受信する段階と、
   前記合成フレーム内に含まれる前記１対の立体デジタル画像のうちの１つの画像が占める領域の複数の頂点の複数の座標を記述するメタデータを受信する段階と、
   視覚化装置上で再現することができる出力映像ストリームを生成する段階と
   を備え、
   前記合成フレーム内で、前記１対の立体デジタル画像のうちの１つの画像が前記合成フレーム内で占める領域を、前記メタデータに基づいて判定する段階と、
   前記合成フレームのうち、表示されるべき前記１つの画像を含む部分だけをデコードする段階と、
   抽出された前記画像を含む出力フレームを生成する段階と
   をさらに備える方法。
7. デジタル画像の映像ストリームを処理する方法であって、
   １対の立体デジタル画像を所定のパッキングフォーマットに従って含む少なくとも１つの合成フレームを含む前記映像ストリームを受信する段階と、
   前記合成フレーム内に含まれる前記１対の立体デジタル画像のうちの１つの画像を囲む多角形の複数の頂点の複数の座標を記述するメタデータを受信する段階と、
   視覚化装置上で再現することができる出力映像ストリームを生成する段階と
   を備え、
   前記合成フレーム内で、前記１対の立体デジタル画像のうちの１つの画像が前記合成フレーム内で占める領域を、前記メタデータに基づいて判定する段階と、
   前記合成フレームのうち、表示されるべき前記１つの画像を含む部分だけをデコードする段階と、
   抽出された前記画像を含む出力フレームを生成する段階と
   をさらに備える方法。
8. デジタル画像の映像ストリームを処理する方法であって、
   １対の立体デジタル画像を所定のパッキングフォーマットに従って含む少なくとも１つの合成フレームを含む前記映像ストリームを受信する段階と、
   前記合成フレーム内に含まれる前記１対の立体デジタル画像のうちの１つの画像を囲む複数の多角形の複数の頂点の複数の座標を記述するメタデータを受信する段階と、
   視覚化装置上で再現することができる出力映像ストリームを生成する段階と
   を備え、
   前記合成フレーム内で、前記１対の立体デジタル画像のうちの１つの画像が前記合成フレーム内で占める領域を、前記メタデータに基づいて判定する段階と、
   前記合成フレームのうち、表示されるべき前記１つの画像を含む部分だけをデコードする段階と、
   抽出された前記画像を含む出力フレームを生成する段階と
   をさらに備える方法。
9. デジタル画像の映像ストリームを処理する方法であって、
   １対の立体デジタル画像を所定のパッキングフォーマットに従って含む少なくとも１つの合成フレームを含む前記映像ストリームを受信する段階と、
   前記合成フレーム内に含まれる前記１対の立体デジタル画像のうちの１つの画像が占める複数の領域の複数の頂点の複数の座標を記述するメタデータを受信する段階と、
   視覚化装置上で再現することができる出力映像ストリームを生成する段階と
   を備え、
   前記合成フレーム内で、前記１対の立体デジタル画像のうちの１つの画像が前記合成フレーム内で占める領域を、前記メタデータに基づいて判定する段階と、
   前記合成フレームのうち、表示されるべき前記１つの画像を含む部分だけをデコードする段階と、
   抽出された前記画像を含む出力フレームを生成する段階と
   をさらに備える方法。
10. デジタル画像の映像ストリームをデコードする装置であって、請求項１から９のいずれか１項に記載の方法を実施する装置。
11. デコードを実施する前記方法は、ユーザのコマンドにより起動される請求項１０に記載の装置。
12. デコードを実施する前記方法は、リモートコントローラの特定のボタンを押すことでユーザにより起動される請求項１１に記載の装置。
13. 請求項１０から１２のいずれか１項に記載の装置を備える映像再生装置。
14. 請求項１から９のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。

Images