JP5346076B2 - 奥行きを用いた視点間スキップモード - Google Patents

奥行きを用いた視点間スキップモード Download PDF

Info

Publication number
JP5346076B2
JP5346076B2 JP2011506294A JP2011506294A JP5346076B2 JP 5346076 B2 JP5346076 B2 JP 5346076B2 JP 2011506294 A JP2011506294 A JP 2011506294A JP 2011506294 A JP2011506294 A JP 2011506294A JP 5346076 B2 JP5346076 B2 JP 5346076B2
Authority
JP
Japan
Prior art keywords
viewpoint image
viewpoint
encoded
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011506294A
Other languages
English (en)
Other versions
JP2011519226A (ja
JP2011519226A5 (ja
Inventor
ドン ティアン
ビブハス パンディット パービン
ペン イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2011519226A publication Critical patent/JP2011519226A/ja
Publication of JP2011519226A5 publication Critical patent/JP2011519226A5/ja
Application granted granted Critical
Publication of JP5346076B2 publication Critical patent/JP5346076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

コーディングシステムに関する実装例が説明される。様々な具体的な実装例は、奥行きを用いた視点間スキップモードに関する。
関連発明の相互参照
本願は、米国仮特許出願第６１／１２５，５２０号（発明名称「奥行きを用いた視点間スキップモード」、出願日２００８年４月２５日）の利益を主張し、当該出願は参照されることによって本願に包含されている。
他のマクロブロックからの情報を用いて現在のマクロブロックをデコーディングする１または複数のコーディングツールが存在する。１つのコーディングツールは、奥行き情報を用いて現在のマクロブロックをデコーディングする視点間スキップモードである。
米国仮特許出願第６１／１２５，５２０号明細書
視点間スキップモードコーディングツールの１または複数の欠点が本出願において認識される。
全体的な態様によれば、多視点システム内の第１の視点から得られた第１視点画像の部分がエンコーディングされる。当該部分は、第１視点画像の全てまたは一部である。多視点システム内の第２の視点得られた第２視点画像の部分が第１視点画像の部分に対応することが判定される。この判定は、第２視点画像の部分の奥行き情報を提供する第２視点奥行き値に基づいている。第２視点画像の部分は、第１視点画像の部分のエンコーディングから得られた情報を用いてエンコーディングされる。
他の全体的な特徴によれば、ビデオ信号またはビデオ信号構造が以下のセクションを含む。第１視点画像セクションは、多視点システムにおける第１の視点から得られた第１視点画像の部分に関するコーディングされた情報を含む。第１視点画像セクションの部分は、第１視点画像の全部分または一部分である。第２視点画像セクションは、多視点システムにおける第２の視点から得られた第２視点画像の部分に関するコーディングされた情報を含み、当該第２視点画像の部分は、第１視点画像の部分に対応している。第２視点奥行きセクションは、第２視点画像の部分の奥行き情報を提供する第２視点奥行き値に関する情報を含む。第１視点画像セクション、第２視点画像セクション、及び第２視点奥行きセクションは、奥行きマップのコーディングをサポートせずに多視点のコーディングをサポートする規格に従ってフォーマット化される。
他の全体的な特徴によれば、多視点システム内の第１の視点から得られた第１視点画像の部分のエンコーディングがデコーディングされる。当該部分は、第１視点画像の全部分または一部分である。多視点システムにおける第２の視点から得られた第２視点画像の部分が第１視点画像の部分に対応していることが判定される。この判定は、第２視点画像の部分の奥行き情報を提供する第２視点奥行き値に基づいている。第２視点画像の部分のエンコーディングは、第１視点画像のデコーディングされた部分から得られた情報を用いてデコーディングされる。
１または複数の実施例の詳細が添付の図面及び以下の発明を実施するための形態において説明される。１つの具体的な態様において説明されたとしても、実装は様々な態様で構成または実施されることは明らかである。例えば、実装は方法として実行されるか、装置（操作のセットを実行する装置、または操作のセットを実行する命令を保存する装置）として実施されるか、信号内で具体化される。他の態様及び特徴は、以下の発明を実施するための形態において、添付図面及び特許請求の範囲を参照しつつ明らかにされるだろう。
エンコーダの実装例の図である。 デコーダの実装例の図である。 ビデオ伝送システムの実装例の図である。 ビデオ受信システムの実装例の図である。 ビデオ処理デバイスの実装例の図である。 実装例において現在のマクロブロックの隣接マクロブロックを識別する図である。 第１のエンコーディングプロセスの実装例の図である。 第１のエンコーディングプロセスの実装例の図である。 第１のデコーディングプロセスの実装例の図である。 精細モーションマッチングの実装例の図である。 第２のエンコーディングプロセスの実装例の図である。 第２のエンコーディングプロセスの実装例の図である。 第２のデコーディングプロセスの実装例の図である。 第３のエンコーディングプロセスの実装例の図である。 第３のエンコーディングプロセスの実装例の図である。 第３のデコーディングプロセスの実装例の図である。
視点間スキップは、奥行き情報を用いて現在のマクロブロックをデコーディングするコーディングツールである。発明者は、視点間スキップの欠点は、視点間スキップが、デコーダにおいて奥行きマップが利用可能であることを必要とするかまたは仮定する点であると見出している。このことは、奥行きマップが視点合成のために必要とされる３ＤＶフレームワークにおいて起こり得る。多視点ビデオコーディング（ＭＶＣ）の場合、奥行きマップの標準的伝送は規定されていない。結果として、奥行きマップを必要とするモードは使用不可能である。
少なくとも１つの実装例において、我々は奥行きを伴った視点間スキップモードを使用するためのフレームワークを提案する。少なくとも１つの実装例において、我々は、視点間スキップの技術を多視点コーティングのコーディングモードとして使用することを提案する。本明細書に記載の少なくとも１つの実装例は、例えば、奥行きマップを別個に伝送する代わりに対応するマクロブロックの奥行きを伝送することによってこの手法を変更することを提案する。オリジナルのビデオシーケンス及び対応するカメラパラメータから生成された奥行き情報は、デコーダ側における視点合成（view synthesis）に対する利点だけでなく、エンコーダにおけるコーディング効率に対する利点ももたらし得る。奥行き情報を用いると、２つの視点間ピクチャ間の一致の評価が従来の方法よりもさらに正確になり得る。少なくとも１つの実装例において、我々は、新しい「スキップモード」、すなわち「奥行きスキップモード」を導入する。
従って、少なくともいくつかの実装例によって解決される少なくとも１つの課題は、奥行きを伴った視点間スキップモードを使用した多視点ビデオシーケンスの効率的なコーディングである。多視点ビデオシーケンスは、異なった視点から同一の場面を記録している２または複数のビデオシーケンスのセットである。
さらに、上述のように、多視点ビデオコーディング（ＭＶＣ）の場合、奥行きマップの標準的伝送は規定されていない。結果として、奥行きマップを必要とするモードは使用できない。本明細書に記載の少なくとも１つの実装例は、必要ならば奥行き情報（奥行きマップとは全体として異なる）を明示的に送信することによってこの問題を解決する。「奥行き情報」は、奥行きに関する様々な種類の情報をいう一般的な用語である。１つのタイプの奥行き情報は「奥行きマップ」であり、これは通常は、ピクセル毎奥行き画像と称される。他のタイプの奥行き情報は、単一の奥行き値を、コーディングされたピクセルの各々ではなくコーディングされたブロックの各々に使用するものを含む。
図１は、本発明の原理の実施形態に従って、本発明の原理が適用される例示のエンコーダ１００を示している。エンコーダ１００は、合成器１０５を含み、合成器１０５は変換器１１０の入力と信号通信接続されている出力を有する。変換器１１０の出力は、量子化器１１５の入力と信号通信接続されている。量子化器１１５の出力は、エントロピーコーダ１２０の入力及び逆量子化器１２５の入力に信号通信接続されている。逆量子化器１２５の出力は、逆変換器１３０の入力に信号通信接続されている。逆変換器１３０の出力は、合成器１３５の第１の非反転入力と信号通信接続されている。合成器１３５の出力は、イントラ予測器１４５の入力及び非ブロック化フィルタ１５０の入力と信号通信接続されている。非ブロック化フィルタ１５０は、例えば、マクロブロック境界に沿ったアーチファクト（ａｒｔｉｆａｃｔ）を除去する。非ブロック化フィルタ１５０の第１の出力は、基準画像ストア１５５（時間予測のため）の入力及び基準画像ストア１６０（視点間予測のため）の第１の入力と信号通信接続されている。基準画像ストア１５５の出力は、モーション補償器１７５の第１の入力及びモーション評価器１８０の第１の入力と信号通信接続されている。モーション評価器１８０の出力は、モーション補償器１７５の第２の入力と信号通信接続されている。基準画像ストア１６０の第１の出力は、視差評価器１７０の第１の入力と信号通信接続されている。基準画像ストア１６０の第２の出力は、視差補償器１６５の第１の入力と信号通信接続されている。視差評価器１７０の出力は、切換器１３４の第１の出力と信号通信接続されている。視差コンバータ１３２（奥行きに基づく）の出力は、切換器１３４の第２の入力と信号通信接続されている。切換器の第１または第２の入力のいずれかを選択するために、視差選択器１３１の第１の出力は、切換器１３４の制御入力と信号通信接続されている。切換器１３４の出力は、視差補償器１６５の第２の入力と信号通信接続されている。
エントロピーデコーダ１２０の出力、モード判定モジュール１２２の第１の出力、及び視差選択器１３１の出力は、ビットストリームを出力するために、各々エンコーダ１００の個別の出力として利用可能である。視差選択器１３１は、様々な形式の奥行き情報を出力するために使用されてもよい。このような奥行き情報は、保存されるか伝送されても良く、例えば、デコーディング動作を許可して、エンコーディングされている視点の全てまたは一部の視差ベクトルを判定するために使用され得る。
合成器１０５の第１の入力、モーション補償器１７５の第３の入力、モーション評価器１８０の第２の入力、視差評価器１７０の第２の入力、及び視差コンバータ１３２の第１の入力は、視点ｉのピクチャデータを受信するために、各々がエンコーダの個別の入力として利用可能である。視差コンバータ１３２の第２の入力は、帯域外の奥行きを受信するために、エンコーダ１００の入力として利用可能である。
補償器１７５の出力は、切換器１８５の第１の入力と信号通信接続されている。視差補償器１６５の出力は、切換器１８５の第２の入力と信号通信接続されている。イントラ予測器１４５の出力は、切換器１８５の第３の入力と信号通信接続されている。切換器１８５の出力は、合成器１０５の反転入力及び合成器１３５の非反転入力と信号通信接続されている。モード判定モジュール１２２の出力は、どの入力が切換器１８５に提供されるかを決定する。
図１の部分、ブロック１１０、１１５及び１２０等は、個別にまたは集合的に、エンコーダ、エンコーダユニット、またはアクセスユニットとも称される。同様に、例えば、ブロック１２５、１３０、１３５及び１５０は、個別にまたは集合的に、デコーダまたはデコーディングユニットとも称される。
図２は、本発明の原理の実施形態に従って、本発明の原理が適用され得る例示のデコーダ２００を示している。デコーダ２００は、エントロピーデコーダ２０５を含み、エントロピーデコーダ２０５は、逆量子化器２１０の入力と信号通信接続されている出力を有する。逆量子化器の出力は、逆変換器２１５の入力と信号通信接続されている。逆変換器２１５の出力は、合成器２２０の第１の非反転入力と信号通信接続されている。合成器２２０の出力は、非ブロック化フィルタ２２５の入力及びイントラ予測器２３０の入力と信号通信接続されている。非ブロック化フィルタ２２５の第１の出力は、基準画像ストア２４０（時間的予測のため）の入力及び基準画像ストア２４５（視点間予測のため）の第１の入力と信号通信接続されている。基準画像ストア２４０の出力は、モーション補償器２３５の第１の入力と信号通信接続されている。基準画像ストア２４５の出力は、視差補償器２５０の第１の入力と信号通信接続されている。
ビットストリーム受信器２０１の出力は、ビットストリーム解析器２０２の入力と信号通信接続されている。ビットストリーム解析器２０２の第１の出力（残余ストリームを提供する）は、エントロピーデコーダ２０５の入力と信号通信接続されている。ビットストリーム解析器２０２の第２の出力（スイッチ２５５によってどの入力が選択されるかを制御する制御シンタックスを提供する）は、モード選択器２２２の入力と信号通信接続されている。ビットストリーム解析器２０２の第３の出力（モーションベクトルを提供する）は、モーション補償器２３５の第２の入力と信号通信接続されている。ビットストリーム解析器２０２の第４の出力（照度オフセットを提供する）は、視差補償器２５０の第２の入力と信号通信接続されている。ビットストリーム解析器２０２の第５の出力（視差制御シンタックスを提供する）は、視差選択器２０４の入力と信号通信接続されている。ビットストリーム解析器２０２の第６の出力（視差ベクトルを提供する）は、スイッチ２１１の第１の入力と信号通信接続されている。ビットストリーム解析器１０２の第７の出力（帯域内奥行きを提供する）は、視差コンバータ２０３の第１の入力と信号通信接続されている。視差コンバータ２０３の出力は、切換器２１１の第２の入力と信号通信接続されている。視差選択器２０４の出力は、どの入力が切換器２１１に提供されるかを決定する。当該切換器の出力は、視差補償器２５０の第３の入力と信号通信接続されている。照度オフセットが任意的な入力であり、実施例によって使用されたり使用されなかったりすることが理解されるべきである。
切換器２５５の出力は、合成器２２０の非反転入力と信号通信接続されている。切換器２５５の第１の入力は、視差補償器２５０の出力と信号通信接続されている。切換器２５５の第２の入力は、モーション補償器２３５の出力と信号通信接続されている。切換器２５５の第３の入力は、イントラ予測器２３０の出力と信号通信接続されている。モードモジュール２２２の出力は、切換器２５５によって選択される入力はどれかを制御するために、スイッチ２５５と信号通信接続されている。非ブロック化フィルタ２２５の第２の出力は、デコーダ２００の出力として利用可能である。視差コンバータ２０３の第２の出力は、帯域外奥行きを受信するために、デコーダ２００の入力として利用可能である。
図２の部分、ビットストリーム解析器２０２、及びデータまたは情報の特定の一部へのアクセスを提供する他のブロック等は、個別にまたは集合的に、アクセスユニットとも称される。同様に、例えば、ブロック２０５、２１０、２１５、２２０及び２２５は、個別にまたは集合的に、デコーダまたはデコーディングユニットとも称される。
図３は、本発明の原理の実施形態に従って本発明の原理が適用され得る例示のビデオ伝送システム３００を示している。ビデオ伝送システム３００は、例えば、衛星、ケーブル、電話線、または地上放送波等の任意の様々な媒体を使用して信号を伝送するヘッドエンド（ｈｅａｄ−ｅｎｄ）または伝送システムであってもよい。この伝送は、インターネットまたはいくつかの他のネットワークを介して提供されてもよい。
ビデオ伝送システム３００は、奥行きを伴った視点間スキップモードを用いてエンコーディングされているビデオコンテンツを生成して配信することが可能である。このことは、奥行き情報を含むエンコーディング信号（単数または複数）、または例えばデコーダを有し得る受信側において奥行き情報を合成するために使用可能な情報を含むエンコーディング信号（単数または複数）を生成することによって成される。
ビデオ伝送システム３００は、エンコーダ３１０と、エンコーディングされた信号を伝送可能な送信器３２０と、を含む。エンコーダ３１０は、ビデオ情報を受信して、奥行きを用いた視点間スキップモードを使用して、そこからエンコーディングされた信号（単数または複数）を生成する。エンコーダ３１０は、例えば、詳細に上述されたエンコーダ３００であってもよい。エンコーダ３１０は、サブモジュールを有していてもよく、例えば、情報の様々な部分を受信して保存または送信のための構造化フォーマットにするアセンブリユニットを有し得る。情報の様々な部分は、例えば、コーディングされたビデオまたはコーディングされていないビデオ、コーディングされた奥行き情報またはコーディングされていない奥行き情報、並びにモーションベクトル、コーディングモードインジケータ及びシンタックス要素等を含み得る。
送信器３２０は、例えば、エンコーディングされている画像を表す１または複数のビットストリーム及び／またはそれらに関連する情報を有するプログラム信号を伝送するのに適していてもよい。典型的な送信器は、エラー訂正コーディングの提供、信号内のデータのインターリーブ、信号内のエネルギのランダム化、及び１もしくは複数の搬送波への信号の変調のうちの１または複数等の機能を果たす。送信器は、アンテナ（図示せず）を含むかまたはアンテナと連動していてもよい。従って、送信器３２０の実装例は、変調器を含むかまたは変調器に限定され得る。
図４は、本発明の原理の実施形態に従って本発明の原理が適用され得る例示のビデオ受信システム４００を示している。ビデオ受信システム４００は、衛星、ケーブル、電話線または地上放送波等の様々な媒体を介して信号を受信するように構成されていてもよい。信号は、インターネットまたはいくつかの他のネットワークを介して受信されてもよい。
ビデオ受信システム４００は、エンコーディングされているビデオを受信して、例えば、ユーザに表示するためまたは保存のためにデコーディングされたビデオを提供する、例えば、携帯電話、コンピュータ、セットトップボックス（ｓｅｔ−ｔｏｐ ｂｏｘ）、テレビ、または他のデバイスであってもよい。従って、ビデオ受信システム４００は、例えば、テレビのスクリーン、コンピュータのモニタ、コンピュータ（保存、処理または表示のため）、またはいくつかの他の保存、処理または表示デバイスに出力を提供してもよい。
ビデオ受信システム４００は、ビデオ情報を含むビデオコンテンツを受信して処理可能である。ビデオ受信システム４００は、本願の実装例において説明されている信号等のエンコーディングされている信号を受信可能な受信器４１０と、当該受信された信号をデコーディング可能なデコーダ４２０と、を含む。
受信器４１０は、例えば、エンコーディングされている画像に相当する複数のビットストリームを有するプログラム信号を受信するのに適していてもよい。典型的な受信器は、例えば、変調されかつエンコーディングされているデータ信号の受信、１または複数の搬送波からのデータ信号の復調、信号内のエネルギのデランダム化（de-randomizing）、信号内のデータのデインターリーブ（de-interleaving）、及び信号のエラー訂正デコーディングの内の１または複数等の機能を果たす。受信器４１０は、アンテナ（図示せず）を含んでいるかまたはアンテナと連動していてもよい。受信器４１０の実装例は、復調器を含むかまたは復調器に限定され得る。
デコーダは、ビデオ情報及び奥行き情報を含むビデオ信号を出力する。デコーダ４２０は、例えば、詳述されたデコーダ４００であってもよい。
図５は、本発明の原理の実施形態に従って本発明の原理が適用され得る例示のビデオ処理デバイス５００を示している。ビデオ処理デバイス５００は、例えば、エンコーディングされているビデオを受信して、例えば、ユーザに表示するためかまたは保存のためにデコーディングされたビデオを提供する、例えば、セットトップボックス、または他のデバイスであってもよい。従って、ビデオ処理デバイス５００は、テレビ、コンピュータのモニタ、またはコンピュータもしくは他の処理デバイスに出力を提供してもよい。
ビデオ処理デバイス５００は、フロントエンド（ＦＥ）デバイス５０５及びデコーダ５１０を含む。フロントエンドデバイス５０５は、例えば、エンコーディングされた画像に相当する複数のビットストリームを有するプログラム信号を受信すること、及びデコーディングのために当該複数のビットストリームから１または複数のビットストリームを選択することに適した受信器であってもよい。典型的な受信器は、例えば、変調されかつエンコーディングされているデータ信号の受信、データ信号の復調、データ信号の１または複数のエンコーディングのデコーディング（例えば、チャンネルコーディング及び／またはソースコーディング）、及び／またはデータ信号のエラー訂正等の機能を果たす。フロントエンドデバイス５０５は、例えば、アンテナ（図示せず）からプログラム信号を受信してもよい。フロントエンドデバイス５０５は、受信したデータ信号をデコーダ５１０に提供する。
デコーダ５１０は、データ信号５２０を受信する。データ信号５２０は、例えば、１または複数のアドバンスド・ビデオ・コーディング（ＡＶＣ）、スケーラブル・ビデオ・コーディング（ＳＶＣ）または多視点ビデオコーディング（ＭＶＣ）互換ストリームを含んでもよい。
ＡＶＣは、さらに厳密には、現行の国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４）第１０部ＡＶＣ（ａｄｖａｎｃｅｄ ｖｉｄｅｏ Ｃｏｒｄｉｎｇ）規格／国際電気通信連合、電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以下、「Ｈ２６４／ＭＰＥＧ−４ＡＶＣ規格」、または「ＡＶＣ規格」もしくは単に「ＡＶＣ」といった変化形で称される）をいう。
ＭＶＣは、さらに厳密には、Ｈ２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＶＣ拡張（「ＭＶＣ拡張」または単に「ＭＶＣ」）とも称される、ＡＶＣ規格の多視点ビデオコーディング（ＭＶＣ）拡張（Ａｎｎｅｘ Ｈ）をいう。
ＳＶＣは、さらに厳密には、Ｈ２６４／ＭＰＥＧ−４ ＡＶＣ、ＳＶＣ拡張（「ＳＶＣ拡張」または単に「ＳＶＣ」）とも称される、ＡＶＣ規格のスケーラブル・ビデオ・コーディング（ＳＶＣ）拡張（Ａｎｎｅｘ Ｇ）をいう。
デコーダ５１０は、受信した信号５２０の全てまたは一部をデコーディングし、出力としてデコーディングされたビデオ信号５３０を提供する。デコーディングされたビデオ５３０は、選択器５５０に提供される。デバイス５００は、ユーザ入力５７０を受信するユーザインタフェース５６０も含む。ユーザインタフェース５６０は、ユーザ入力５７０に基づいて、選択器５５０に画像選択信号５８０を提供する。画像選択信号５８０及びユーザ入力５７０は、複数のピクチャ、シーケンス、スケーラブル・バージョン（ｓｃａｌａｂｌｅ ｖｅｒｓｉｏｎ）、視点、またはその他のデコーディングされたデータのどれを表示したいとユーザが望んでいるかを示す。選択器５５０は、選択されたピクチャ（１または複数）を出力５９０として提供する。選択器５５０は、ピクチャ選択情報５８０を使用して、出力５９０として提供されるデコーディングされたビデオ５３０内のピクチャを選択する。
様々な実装例において、選択器５５０はユーザインタフェース５６０を含むが、他の実装例において、別個のインタフェース機能が実行されずに、選択器５５０がユーザ入力５７０を直接受信する故に、ユーザインタフェース５６０は必要無い。例えば、選択器５５０は、ソフトウェア内に実装されるかまたは集積回路として実装されてもよい。１つの実装例において、選択器５５０は、デコーダ５１０に組み込まれており、他の実施例においては、デコーダ５１０、選択器５５０、及びユーザインタフェース５６０は、全て統合されている。
１つの適用例において、フロントエンド５０５は、様々なテレビ番組の放送を受信し、処理のために１つを選択する。１つの番組の選択は、見たいと望むチャンネルのユーザ入力に基づいている。フロントエンドデバイス５０５へのユーザの入力は図５に示されていないが、フロントエンドデバイス５０５は、ユーザ入力５７０を受信する。フロントエンド５０５は、放送を受信して、放送スペクトルの関連部分を復調して、当該復調された番組になされたエンコーディングをデコーディングすることによって所望の番組を処理する。フロントエンド５０５は、デコーディングされた番組をデコーダ５１０に提供する。デコーダ５１０は、デバイス５６０及び５５０を含む統合されたユニットである。従って、デコーダ５１０は、番組において見たい所望の視点のユーザによる提示であるユーザ入力を受信する。デコーダ５１０は、選択された視点及び他の視点からの任意の必要な関連画像をデコーディングし、テレビ（図示せず）への表示のためにデコーディングされた視点５９０を提供する。
上述の適用例に続いて、ユーザは、表示されている視点を切り替えたいと望み得、デコーダ５１０に新たな入力を提供するだろう。ユーザから「視点変更」を受信した後、デコーダ５１０は、以前の視点及び新しい視点の両方をデコードしかつ、当該以前の視点と当該新しい視点との間にある任意の視点をデコーディングする。すなわち、デコーダ５１０は、当該以前の視点を撮影しているカメラと当該新しい視点を撮影しているカメラとの間に物理的に位置するカメラから撮影された任意の視点をデコーディングする。フロントエンドデバイス５０５は、当該以前の視点、新しい視点及びその間の視点を特定する情報も受信する。このような情報は、例えば、視点の位置に関する情報を有するコントローラ（図５には図示せず）またはデコーダ５１０によって提供されてもよい。他の実装例は、フロントエンドデバイスと一体化されているコントローラを有するフロントエンドデバイスを使用してもよい。
デコーダ５１０は、これらのデコーディングされている視点の全てを出力５９０として提供する。ポストプロセッサ（図５内には図示せず）は、視点間で補間を行って、以前の視点から新しい視点へのスムーズな遷移を提供し、この遷移をユーザに表示する。新しい視点への遷移の後、ポストプロセッサは、（図示していない１または複数の通信リンクを介して）新しい視点のみが必要であることをデコーダ５１０及びフロントエンドデバイス５０５に通知する。その後、デコーダ５１０は、出力５９０として新しい視点のみを提供する。
システム５００は、一連の画像の複数の視点を受信して、表示のために単一の視点のみを提供し、スムーズな態様にて様々な視点間で切換を行うために使用されてもよい。スムーズな態様は、他の視点に移動するために視点間で補間を行うことを含む。さらに、システム５００は、物体または場面を回転させること、または物体または場面を三次元表示で見ることをユーザに可能とさせ得る。例えば、物体の回転は、視点間で移動して、視点間のスムーズな遷移を得るかまたは単に三次元表示を得るために視点間の補間を行うことに相当し得る。すなわち、ユーザは、補間された視点を、表示される「視点」として「選択」することができる。
＜奥行きマップを用いた視点間対応の発見＞
点Ｍ（ｘ，ｙ，ｚ）（ｚは奥行きマップから導出される）が、カメラ平面１において座標（ｕ１，ｖ１）の突起を有し、カメラ平面２において座標（ｕ２，ｖ２）の突起を有すると仮定する。点（ｘ，ｙ，ｚ）は、カメラ装置から独立した現実世界座標システムからのものであり、三次元点の位置を特定する。点（ｕ１，ｖ１）は、視点１のカメラ座標システムへの三次元点（ｘ，ｙ，ｚ）の突出座標である。同様に、点（ｕ２，ｖ２）も、視点２のカメラ座標システムへの三次元点（ｘ，ｙ，ｚ）の突出座標である。
突出行列Ｐは、カメラパラメータＫ、Ｒ及びＴから以下のように導出される。
Figure 0005346076
ここで、Ｋは固有行列であり、Ｒは回転行列であり、Ｔは並進ベクトルであり、式１は行列Ｒが行列Ｔによって右マージされていることを示しており、その結果に行列Ｋが乗じられている。
視点１及び視点２に関して、式（２）及び式（３）によれば、視点２におけるピクセル（ｕ２，ｖ２）は、視点１における対応する（ｕ１，ｖ１）を発見可能である。ここで、Ｐ１及びＰ２は、視点１及び視点２の突出行列を以下のように表す。
Figure 0005346076
カメラの各々は、上記３×４行列で示された固有の突出行列Ｐを有している。現実世界の座標に突出行列を左から掛けると、カメラ座標システムにおける座標を得ることが可能である。カメラの各々は、自らの式のセットを生成する。
＜視差演算及び奥行きスキップモード＞
上述の演算はピクセルベースであるが、少なくとも１つの実際の実装例は、視差ベクトルとして、マクロブロック全体の内の左上のピクセルの対応のみを必要とする。左上ピクセル（ｕ１，ｖ１）を有する現在のマクロブロックに対して、その視点間で対応するのがピクセル（ｕ２，ｖ２）である場合、奥行きスキップモードの視差ベクトル（ＤＶ）は、ＤＶ＝（ｕ２−ｕ１、ｖ２−ｖ１）となる。このモードの基準ピクチャは、基準リスト０内の第１の視点間ピクチャに設定される。残りのものは送信される必要がない。
エンコーダまたはデコーダにおいてＤＶを判定するプロセスは、通常は、ピクチャ内の点の（ｕ１，ｖ１）を使用しかつ（ｕ１，ｖ１）に付随する奥行き値を使用して当該ピクチャ内の点の位置（ｘ，ｙ，ｚ）を判定することを含む。これは式２を用いて行われる。その後、（ｘ，ｙ，ｚ）が式３内で使用されて、当該点の（ｕ２，ｖ２）が判定される。このプロセスは「ワーピング（ｗａｒｐｉｎｇ）」と称され、例えば、個別にかまたは奥行きマップの一部としてコーディングされるかまたは外部的に伝送され得る奥行き値に基づいている。視点１内のピクセル（ｕ１，ｖ１）の各々にワーピングプロセスを使用すると、視点２内の対応するピクセル（ｕ２，ｖ２）が通常は特定され得る。その後、ＤＶが（ｕ２−ｕ１，ｖ２−ｖ１）に設定される。ＤＶは、基準ピクチャ内の対応するブロックを指し示す。対応するブロックが十分に近似している場合、「奥行きスキップ」モードは、以下に示すように、対応するブロックからのピクセルをコピーすることによって現在のブロックをコーディングするために使用され得る。
本明細書に示されている様に、奥行き情報は、視差ベクトルの生成に使用され得る。
＜奥行きスキップモードにおける照度補償＞
従来のスキップモードにおいて、基準ピクチャは同一の視点からのものであるので、照度の変化はない。しかし、他の視点から基準ピクチャを取得する場合、照度補償（ＩＣ）が考慮され得る。従って、照度補償ツールが使用可能である場合、奥行きスキップモードにおける照度補償のための補償オフセットが伝送されるべきである。このオフセットは、本技術分野において知られている様々な態様にて演算される。
＜帯域外で伝送される奥行きデータを用いる実施形態０＞
表１Ａは、ＭＶＣ規格からの現在シンタックス構造の変更を示している。表１Ａのシンタックスは、マクロブロックレベルにおける奥行きスキップモードの使用を示するために使用され得る。照度補償も、照度補償オフセット値として信号伝達される。変更されている部分は、全体としてイタリック体で示されている。macroblock_layer_mvc_extension()は、slice_data()から呼び出されるmacroblock_layer()と入れ替わるべきであることに留意する。
Figure 0005346076
depth_skip_flagが１であることは、コーディングされているマクロブロックが奥行きスキップモードであることを示す。depth_skip_flagが０であることは、コーディングされているマクロブロックが奥行きスキップモードでないことを示す。
ic_enableが１であることは、現在のスライスに対して照度補償が有効であることを特定する。ic_enableが０であることは、現在のスライスに対して照度補償が無効であることを特定する。
mc_ic_flagが１であることは、現在のマクロブロックに対して照度補償が使用されていることを特定する。mc_ic_flagが０であることは、現在のマクロブロックに対して照度補償が使用されていないことを特定する。mc_ic_flagの初期値は０である。
dpcm_of_dvicは、現在のマクロブロックに使用されるべき照度補償オフセットの量を特定する。
少なくとも１つの実装例において、我々は、奥行きスキップモードの性能を向上させることを提案する。このモードが、奥行きデータがデコーダにおいて利用可能であることを想定している故に、この方法によって必要とされるビットレート全体は、ビットレート（ビデオ）＋ビットレート（奥行き）である。奥行きデータが奥行きスキップモードをサポートするためのだけにコーディングされる場合、奥行きデータのための追加のビットレートがコーディング最適化において考慮される。さらに、多視点ビデオコーディング規格は、ビデオ信号と共に奥行き信号を伝送することをサポートしてこなかった。
少なくとも部分的にこれら２つの問題を解決するために、我々は、ビデオ信号と共に奥行き情報を伝送する方法を提案する。
＜帯域内で伝送される奥行きデータを用いる実施形態１＞
奥行きデータが各々の視点のエンコーダにおいて利用可能であると仮定する。上述のプロセスにおいて言及されてきたように、１つの実装例に関して、奥行きスキップモードは、奥行きスキップモードでコーディングされているマクロブロックの左上ピクセルの奥行き値を必要とする。他の実装例は、例えば、右下ピクセルまたはブロック内の全てのピクセルの平均を使用してもよい。奥行きスキップモードにおいて、奥行き値は、現在の視点に対応する奥行き信号の対応ピクセルから取得される。
マクロブロックのモードを選択するための判定は、レート歪み最適化に基づいていてもよい。従って、全てのマクロブロックが奥行きスキップモードとして選択されるわけではない。このことに関わらず、奥行きデータは画像全体かつ画像全てに対して送信されると仮定する。このことは、奥行きデータがレンダリング目的等の任意の他の目的に必要無い場合に、多視点システム全体に高いビットレートを必要とする。
従って、我々は、この高いビットレート要求を著しく低減する方法を提案する。奥行きスキップモードが、ある程度の割合のマクロブロックのみに選択される故に、全てのピクセル及び全ての画像に関する奥行き値を送信する必要はない。従って、我々は、奥行きスキップモードを使用するマクロブロックに関してのみ奥行き値を送信することを提案する。
Figure 0005346076
Figure 0005346076
このことは図１Ｂに示されており、図１Ｂにおいて、macroblock_layer_mvc_extension()構造は、depth_skip_flag及び奥行きに関するコーディングされた値を送信するべく変更されている。depth_skip_flagが真の場合、そのマクロブロックの追加の奥行き値を伝送する。これは、表１Ｂに示されているシンタックス要素depthdによって示される。このシンタックス要素のセマンティクスは、以下のように記述され得る：
depthdは、使用される奥行き値と現在のマクロブロックの予測との間の差異を特定する。
depth_skip_flagが１であることは、コーディングされているマクロブロックが奥行きスキップモードであることを示す。depth_skip_flagが０であることは、コーディングされているマクロブロックが奥行きスキップモードでないことを示す。slice_typeがＰまたはＢでない場合、この値は０と導出される。
現在のマクロブロックの最後の、すなわち再構成された奥行きは、以下のように導出される：
predDepth=Min(depthA, depthB)
mbAが存在しない場合、
predDepth=depthB
mbBが存在しない場合、
predDepth=depthA
mbA及びmbBが存在しないかまたはmbA及びmbBと関連付けられている奥行きが無い場合、
predDepth=128
depth=predDepth+depthd
ここでdepthAは、左隣のマクロブロックの再構成された奥行き信号であり、depthBは上隣のマクロブロックの再構成された奥行き信号である。depthA及びdepthBは、単一の値である。図６は、本発明の原理の実施形態に従って、「Ｃｕｒｒ」とラベリングされている現在マクロブロックに対して「Ａ」、「Ｂ」及び「Ｃ」とラベリングされた隣接マクロブロックを示している。
奥行きスキップモードは、マクロブロックの残余部分すなわちピクセル値の残余部分を伝送しない。このことは制限され得、我々は、奥行きスキップモードが拡張されて、マクロブロックに関して残余部分が送信されることが許容されることを提案する。我々は、これを奥行きダイレクトモードという。残余部分を送ることは、奥行きフラグ及び奥行き情報を伴ってまたは伴わずに行われてもよい。
図７は、第１の例示の実施形態に従って、奥行きを用いた奥行きスキップモードを使用するエンコ−ディングの例示の方法７００を示すフロー図である。ステップ７０６において、エンコーダ設定ファイルが読み込まれる。ステップ７０９において、ＳＰＳ拡張内のアンカーピクチャ基準または非アンカーピクチャ基準が設定される。ステップ７１２において、視点の数がＮに設定され、変数ｉ及びｊが０に初期化される。ステップ７１５において、ｉ＜Ｎであるか否かが判定される。もしも、ｉ＜Ｎならば、制御はステップ７１８に送られる。そうでなければ、制御はステップ７６０に送られる。
ステップ７１８にいて、ｊ＜視点ｉ内のピクチャの数（ｎｕｍ）であるか否かが判定される。もし、ｊ＜視点ｉ内のピクチャの数（ｎｕｍ）であるならば、制御はステップ７２１に送られる。そうでなければ、制御はステップ７５４に送られる。
ステップ７２１において、現在のマクロブロックのエンコーディングが開始される。ステップ７２４において、マクロブロックモードがチェックされる。ステップ７２７において、視点間スキップマクロブロックモードがチェックされる。ステップ７３０において、視点間スキップモードが最良のモードであるか否かが判定される。最良のモードであるならば、制御はステップ７３３に送られる。そうでなければ、制御はステップ７５７に送られる。
ステップ７３３において、depth_skip_flagは１に設定され、depthdは左上ピクセルの奥行き引く奥行き予測因子に設定される。ステップ７３６において、照度補償が有効かどうか否かが判定される。有効な場合、制御はステップ７３９に送られる。そうでない場合、制御はステップ７４２に送られる。
ステップ７３９において、mb_ic_flagは１に設定され、dpcm_of_dvicが設定される。ステップ７４２において、現在のマクロブロックがエンコーディングされる。ステップ７４５において、全てのマクロブロックがエンコーディングされたか否かが判定される。もしもエンコーディングされていたならば、制御はステップ７４８に送られる。そうでなければ、制御はステップ７２１に戻される。
ステップ７４８において、変数ｊがインクリメントされる。ステップ７５１において、frame_num及びピクチャオーダカウント（ＰＯＣ）がインクリメントされる。
ステップ７５４において、変数ｉがインクリメントされ、frame_num及びＰＯＣがリセットされる。
ステップ７５７において、depth_skip_flagが０に設定される。
ステップ７６０において、ＳＰＳ、ＰＰＳ及び／またはＶＰＳを帯域内で信号伝達するか否かを判定する。帯域内で信号伝達する場合、制御はステップ７６３に送られる。そうでない場合、制御はステップ７６６に送られる。
ステップ７６３において、ＳＰＳ、ＰＰＳ及び／またはＶＰＳが帯域内で送信される。
ステップ７６６において、ＳＰＳ、ＰＰＳ及び／またはＶＰＳが帯域外で送信される。
ステップ７６９において、ビットストリームがファイルに書き込まれるかまたはネットワークを介して流される。
図８は、第１の実施形態に従って、奥行きを用いた視点間スキップモードを使用したデコーディングの例示の方法８００を示しているフロー図である。
ステップ８０６において、view_idは、ＳＰＳ、ＰＰＳ、ＶＰＳ、スライスヘッダ、またはネットワーク抽象化レイヤ（ＮＡＬ）ユニットヘッダから解析される。ステップ８０９において、他のＳＰＳパラメータが解析される。ステップ８１２において、現在のピクチャがデコーディングを必要としているか否かが判定される。デコーディングを必要としている場合、制御はステップ８１５に送られる。そうでない場合、制御はステップ８３０に送られる。
ステップ８１５において、POC(curr)!=POC(prev)であるか否かが判定される。POC(curr)!=POC(prev)であるならば、制御はステップ８１８に送られる。そうでなければ、制御はステップ８２１に送られる。
ステップ８１８において、view_numが０に設定される。ステップ８２１において、view_id情報がハイレベルでインデックス化されて視点コーディング順序が判定され、view_numがインクリメントされる。
ステップ８２４において、現在のピクチャが予期されたコーディング順序である否かが判定される。予期されたコーディング順序であるならば、制御はステプ８３３に送られる。そうでなければ、制御はステップ８２７に送られる。
ステップ８３３において、スライスヘッダが解析される。ステップ８３６において、depth_skip_flagが解析される。ステップ８３９において、depth_skip_flagが１であるか否かが判定される。１である場合、制御はステップ８４２に送られる。そうでなければ、制御はステップ８６３に送られる。
ステップ８４２において、depthd及びmb_ic_flagが解析される。ステップ８４５において、mb_ic_flagが１であるか否かが判定される。１である場合、制御はステップ８４８に送られる。そうでない場合、制御はステップ８４９に送られる。
ステップ８４８において、dpcm_of_dvicが解析される。ステップ８４９において、depthdが使用されて視差ベクトルが取得される。ステップ８５１において、現在のマクロブロックがデコーディングされる。ステップ８５４において、全てのマクロブロックが終了しているか（デコーディングされているか）否かが判定される。終了している場合、制御はステップ８５７に送られる。そうでなければ、制御はステップ８３６に戻される。
ステップ８５７において、現在のピクチャは、デコーディングされているピクチャバッファ（ＤＰＢ）内に挿入される。ステップ８６０において、全てのピクチャがデコーディングされているか否かが判定される。デコーディングされている場合、デコーディングが完了させられる。そうでなければ、制御はステップ８３３に戻される。
ステップ８２７において、現在のピクチャが隠される（concealed）。
ステップ８３０において、次のピクチャが取得される。
ステップ８６３において、ＭＢモード、ｍｖ、及びref_idxが解析される。
＜実施形態２＞
この実施形態において、我々は、全体視差ベクトル（ＧＤＶ）の使用の代わりに奥行き情報を使用するためにモーションスキップモードを変更することを提案する。
モーションスキップモードの少なくとも１つの実装例において、モーションスキップモードは、モード及びモーション情報を、全体視差ベクトルを用いて隣接する視点から推測する。この視差ベクトルは、エンコーダにおいて演算されてアンカーピクチャの各々にのせて送信される。そして、非アンカーピクチャの視差ベクトルは、先行する一連のアンカーピクチャのＧＤＶから導出され得る。ＧＤＶは、他の視点内の対応するマクロブロックまたはサブマクロブロック（sub-macroblock）を決定するために使用される。我々は、この全体視差ベクトルを使用する代わりに、モーションスキップモードを選択しているマクロブロックまたはサブマクロブロックに関して伝送される奥行き値を使用することを提案する。この奥行き値は、上述のように視差ベクトルを判定するために使用され得る。このサブマクロブロック及び奥行き信号及びベクトルの改善のケースは表２に示されている。表２は、例えば、イタリック体で示されている「depthd」を含めることによるシンタックスの変更を示している。
Figure 0005346076
エンコーダにおいて、モード判定は、上述のように、マクロブロックまたはサブマクロブロックの奥行きを使用してこれらをワープする。これは、視差ベクトルに相当する。
このワーピング（warping）は、基準視点内の位置を指し示す。この位置が、（モーションスキップモードで要求されるように）マクロブロックまたはサブマクロブロックの境界に必ずしもアラインメントさせられないので、この位置は、最も近いマクロブロックまたはサブマクロブロック境界に近似され（rounded）得る。奥行きスキップモードにおいて、対応するピクセルがマクロブロックまたはサブマクロブロック境界上に無くても対応するピクセルがコピーされ得る故に、このようなアラインメントは厳格には必要ではないことに留意する。
さらに、この点の周囲のさらなる検索が、視差ベクトルを精密化するために行われ得る。このことは図９に示されている。すなわち、図９は、精密視差マッチング９００の例を示している。精密視差マッチングは、コーディングされるべき現在のマクロブロック９１０を内部に有するコーディングピクチャ９２０、視点間基準ピクチャ９５０、及び視点間基準ピクチャ９５０内の現在のマクロブロック９１０から対応するブロック９８０までの初期視差ベクトル９７０に関与する。さらなる検索が、例えば、９１０及び９８０のピクセルベースの比較をして、その後、対応するブロック９８０を検索領域９９０（陰付きで示す）内の異なった位置に移動して、最良のピクセルベース比較を有するブロックを選択することによって行われてもよい。図９に示されているように、対応するブロック９８０は、陰付きの検索領域９９０の中央部分を占有しており、対応するマクロブロック９８０は、太線で囲まれている。
デコーダにおいて、同様の手順が行われ、デコーディングされている奥行き値が、現在のマクロブロック及びサブマクロブロックを隣接する視点内の位置にワープさせるために使用される。精密化されたものが伝送された場合、当該精密化されたものはこの位置に追加され、最も近いマクロブロックまたはサブマクロブロック位置に近似される（round off）。
他の視点内の対応するマクロブロック及びサブマクロブロックからのモード及びモーションは、現在のマクロブロックまたはサブマクロブロックをエンコーディングするためにエンコーダによって使用される。モード及びモーション情報は、例えば、時間的に異なっているが現在のマクロブロックまたはサブマクロブロックと同一の視点からのものであるピクチャ内の特定のブロック／サブブロックを指し示してもよい。同様に、デコーダは、導出されたモーション情報によって指し示された（同一の視点の）時間的に異なったマクロブロックまたはサブマクロブロックに関する現在のマクロブロックまたはサブマクロブロックをデコーディングする。
図１０は、第２の例示の実施形態に従って奥行きを用いたモーションスキップモードを使用したエンコーディングの例示の方法１０００を示している。ステップ１００６において、エンコーダ設定ファイルが読み込まれる。ステップ１００９において、ＳＰＳ拡張内のアンカー及び非アンカーピクチャが設定される。ステップ１０１２において、視点の数がＮに設定され、変数ｉ及びｊが０に初期化される。ステップ１０１５において、ｉ＜Ｎであるか否かが判定される。ｉ＜Ｎであるならば、制御はステップ１０１８に送られる。そうでなければ、制御はステップ１０６０に送られる。
ステップ１０１８において、ｊ＜視点ｉ内のピクチャの数（ｎｕｍ）であるか否かが判定される。ｊ＜視点ｉ内のピクチャの数（ｎｕｍ）である場合、制御は１０２１に送られる。そうでない場合、制御は１０５７に送られる。
ステップ１０２１において、現在のマクロブロックのエンコーディングが開始される。ステップ９２４において、マクロブロックモードがチェックされる。ステップ１０２８において、マクロブロック（ＭＢ）の奥行き値を使用して視差ベクトルが取得される。ステップ１０３１において、視差ベクトルは、最も近接しているマクロブロックまたはサブマクロブロック位置に近似される。ステップ１０３２において、検索が最良の視差ベクトルに関するこの（近似された）位置の周囲で行われる。ステップ１０３４において、モーションスキップが最良のモードか否かが判定される。最良のモードである場合、制御はステップ１０３５に送られる。そうでない場合、制御はステップ１０５８に送られる。
ステップ１０３５において、motion_skip_flagが１に設定され、depthdが、左上ピクセルの奥行きから奥行き予測因子を引いたものに設定される。ステップ１０３７において、オフセット値が設定される。ステップ１０４２において、現在のマクロブロックがエンコーディングされる。ステップ１０４５において、全てのマクロブロックがエンコーディングされているか否かが判定される。全てのマクロブロックがエンコーディングされている場合、制御はステップ１０４８に送られる。そうでなければ、制御はステップ１０２１に戻される。
ステップ１０４８において、変数ｊがインクリメントされる。ステップ１０５１において、frame_num及びピクチャオーダカウント（ＰＯＣ）がインクリメントされる。
ステップ１０５７において、変数ｉがインクリメントされ、frame_num及びＰＯＣがリセットされる。
ステップ１０５８において、motion_skip_flagが０に設定される。
ステップ１０６０において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳが帯域内で信号伝達されるか否かが判定される。帯域内で信号伝達される場合、制御はステップ１０６３に送られる。そうでなければ、制御はステップ１０６６に送られる。
ステップ１０６３において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳが帯域内で送信される。
ステップ１０６６において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳが帯域外で送信される。
ステップ１０６９において、ビットストリームがファイルに書き込まれるかまたはネットワークを介して流される。
図１１は、第２の例示の実施形態に従って奥行きを用いた視点間スキップモードを使用してデコーディングする例示の方法１１００を示すフロー図である。
ステップ１１０６において、view_idがＳＰＳ、ＰＰＳ、ＶＰＳ、スライスヘッダ、またはネットワーク抽象化レイヤ（ＮＡＬ）ユニットヘッダから解析される。ステップ１１０９において、他のＳＰＳパラメータが解析される。ステップ１１１２において、現在のピクチャがデコーディングを必要としているか否かが判定される。デコーディングが必要な場合、制御はステップ１１１５に送られる。そうでなければ、制御はステップ１１３０に送られる。
ステップ１１１５において、POC(curr)!=POC(prev)であるか否かが判定される。POC(curr)!=POC(prev)である場合、制御はステップ１１１８に送られる。そうでなければ、制御はステップ１１２１に送られる。
ステップ１１１８において、view_numが０に設定される。ステップ１１２１において、view_id情報がハイレベルにおいてインデックス化されて視点コーディング順序が判定され、view_numがインクリメントされる。
ステップ１１２４において、現在のピクチャが期待されているコーディング順序であるか否かが判定される。期待されているコーディング順序である場合、制御はステップ１１３３に送られる。そうでなければ、制御はステップ１１２７に送られる。
ステップ１１３３において、スライスヘッダが解析される。ステップ１１３５において、motion_skip_flagが解析される。ステップ１１３８において、motion_skip_flagが１か否かが判定される。１である場合、その後制御は１１４１に送られる。そうでなければ、制御は１１６３に送られる。
ステップ１１４１において、depthdが解析される。ステップ１１４４において、視差ベクトルオフセットが解析される。ステップ１１４５において、奥行きを用いかつ視差オフセットを追加することによって、視差が演算される。ステップ１１４７において、現在のマクロブロックがデコーディングされる。ステップ１１５４において、全てのマクロブロックが終了している（デコーディングされている）か否かが判定される。終了している場合、その後制御はステップ１１５７に送られる。そうでなければ、制御はステップ１１３５に戻される。
ステップ１１５７において、現在のピクチャがデコーディングピクチャバッファ（ＤＰＢ）内に装入される。ステップ１１６０において、全ての画像がデコーディングされているか否かが判定される。全てのピクチャがデコーディングされている場合、その後デコーディングが完了される。そうでなければ、制御がステップ１１３３に戻される。
ステップ１１２７において、現在のピクチャが隠される。
ステップ１１３０において、次のピクチャが取得される。
ステップ１１６３において、ＭＢモード、ｍｖ、及びref_idxが解析される。
＜実施形態３＞
モーションベクトル予測において、どのモーションベクトルがモーションベクトル予測因子として使用されるかを判定するためにプロセスが特定される。同様に、視点間モーション補償に対して、視差ベクトルが使用される。一般的に、モーションベクトル予測に使用されるのと同一のプロセスは、視差ベクトル予測に適用され得る。さらに、我々は、奥行き値から変換された視差ベクトルを、視差ベクトル予測因子の追加の候補として使用することを提案する。
我々は、視差ベクトル予測因子としての歪んだ値の使用または視差ベクトル予測因子としての従来の中央値予測の使用を信号伝達することが可能である。このことは、マクロブロックレベルシンタックスの表３及びサブマクロブロックレベルシンタックスの表４において示されている。
Figure 0005346076
Figure 0005346076
表３及び表４は、新しいシンタックス要素「disparity_vec_pred_type」を含んでいる。マクロブロックレベルまたはサブマクロブロックレベルにおいて行われる実施形態のために、奥行き情報も送信され得る。
シンタックスdisparity_vec_pred_typeは、以下のセマンティクスを有する。
disparity_vec_pred_typeは、現在のマクロブロックまたはサブマクロブロックに関する視差ベクトル予測因子を如何にして導出するかを示す。disparity_vec_pred_typeが１に等しいことは、奥行き値から変換された視差ベクトルが、視差ベクトル予測因子として使用されることを示す。disparity_vec_pred_typeが０に等しいことは、中間値予測因子を用いて得られた視差ベクトルが視差ベクトル予測因子として使用されることを示す。
以下の点が、少なくとも部分的に上述のコンセプト詳述し、様々な実装例の詳細を提供し得る。以下の実装例は、以前の実装例、または本発明の変更例及び／または新しい実装例に対応し得る。
第１に、奥行きスキップモードにおいて、残余コーディングが必要無くともよくかつ／または奥行きが帯域外で送信されてもよい。対応するブロックは、他の視点において判定されてもよく、これらのピクセルは、現在のブロック（通常は、マクロブロックまたはサブマクロブロックと称される）の再構築のために使用されてもよい。フラグが送信され、このコーディングモードを示して、再構築された基準視点内の対応するブロックからのピクセルをデコーダが使用することを命令してもよい
しかし、多くの実装例において、対応するブロックを見付けるために現在のブロックの奥行き情報が必要である。この奥行き情報は、良く知られているように、視差ベクトルの生成のために使用され得る。従って、様々な実装例において、我々は、このモード（これを我々は、「奥行きスキップモード」と称する）を信号伝達するシンタックスを提案しかつ奥行き情報も送信するさらに変更されたシンタックスを提案する。
多くの実装例が奥行き予測因子を使用するので、我々は奥行き差のみを送信する必要があることに留意する。
第２に、エンコーディングのその他のモードは、モーションスキップモード（ＭＳＭ）である。このモードは、視点間ブロックを見て、そのモーションデータを取得して、時間的な基準から動きを表現する。すなわち、異なった視点内のブロックからの時間的モーション情報は、現在のブロックから取り込まれる。しかし、モーションスキップモードにおいて、通常は全体視差ベクトルが使用されて、他の視点の対応するブロックが発見される。全体視差ベクトルは、通常はそのピクチャのグループ（ＧＯＰ）のアンカーピクチャと共に送信されるが、当該全体視差ベクトルは、ピクチャのグループ内の任意の所定のブロックに対する最良の視差ベクトルではないかもしれない。１または複数の実装例は、現在のブロックの奥行き情報を使用して、対応するブロックへのポインタを異なった視点から取得する。全体視差ベクトルを使用するのではなく、奥行き情報は、現在のブロックの奥行きデータに基づいている視差ベクトルを生成するために使用される。このような実装例は、通常はビットストリーム内または帯域外にて奥行きデータを送信するので、デコーダは、デコーディングのために類似の動作を実行することができる。
奥行き情報点から計算された視差ベクトルは、他の視点内の対応するブロックを示す。この対応するブロックからのモーション情報（例えば、モーションベクトル、基準ピクチャインデックス等）は、その後、現在のブロックに用いられる。このモーション情報は、現在のブロックをエンコーディングするために使用されるだろう時間的基準を示すために現在のブロックによって使用される。
第３に、視点間予測において、視点モーションベクトルが使用されて他の視点内の対応するブロックが発見される。視点モーションベクトルは、同時刻の場合の異なった視点からのピクチャ（またはピクチャの一部）間の差（視点モーションまたは単にモーションと称される）を示す。視点モーションベクトルは、現在のマクロブロックを予測的にエンコーディングするために使用される他の視点内の基準ブロックを指し示す。
視点モーションと時間的モーションとの間のコンセプトの類似性を前提として、視点モーションベクトルは、通常は、例えば、異なった時刻における同一視点のピクチャ間のモーションを判定するために使用される従来のモーション評価手法を使用して生成される。視点モーションベクトル（Ｖ−ＭＶ）は、しばしば、単に視差ベクトルと称されるが、通常は、奥行きデータを用いて生成されない。Ｖ−ＭＶ予測因子（Ｖ−ＭＶＰ）も使用され、予測因子間の差及びＶ−ＭＶが伝送される。このプロセスは、（時間的予測における）ＭＶの生成に類似しているが、視点間予測の場合に適用される。しかし、どちらの場合においても、目標は、予測の使用（時間的予測または視点間予測）及びデコーディングに必要とされる情報をデコーダに伝えることを含む。我々は、Ｖ−ＭＶＰを変更することを提案する。Ｖ−ＭＶＰは、通常は、空間的に近接するブロックからのＶ−ＭＶに基づいて生成される。例えば、中間値が予測因子として使用されてもよい。
しかし、様々な実装例において、我々は、現在のブロックの奥行き情報に基づいて視差ベクトル（ＤＶ）を演算する。このＤＶは、通常は、現在のブロックに最も密接に対応し得る他の視点内のブロックの良好な評価であり、このＤＶはＶ−ＭＶよりも良好な評価であり得る。このＤＶによって指し示されているブロックは、対応するブロックと称される。従って、いくつかの実装例は、現在のマクロブロックのＶ−ＭＶＰの判定においても（または代替的に）ＤＶを使用する。３つの例のように、現在ブロックのＶ−ＭＶＰは、（１）ＤＶと等しく設定されてもよく、（２）現在のマクロブロックと空間的に近接しているブロックから得られたＤＶ及び１または複数のＶ−ＭＶの関数であってもよく、（３）ＤＶによって指し示された対応するブロックからのＶ−ＭＶの関数であってもよい。対応するブロックから得られたＶ−ＭＶは、例えば、カメラが規則的に間隔を開けられているかまたは物体のモーションが一定である場合に、Ｖ−ＭＶＰの計算に関連しかつＶ−ＭＶＰの計算において有用であってもよいことに留意する。
少なくとも１つの実装例において、デコーダは以下の動作を行う：
（１）伝送された現在のブロックの奥行きデータを受信し、（２）ＤＶを計算し、（３）ＤＶによって指し示される対応するブロックを発見し、（４）可能ならば、その対応するブロックからＶ−ＭＶを取得し、（５）可能ならば、現在のブロックに空間的に近接した１または複数のブロックからＶ−ＭＶを取得し、（６）１または複数のＶ−ＭＶ及び／またはＤＶに基づいて現在のブロックのＶ−ＭＶＰを計算し、（７）エンコーダによって送信される、Ｖ−ＭＶＰとＶ−ＭＶとの間の差のエンコーダによる判定である「差」を受信し、（８）受信した「差」に計算されたＶ−ＭＶＰを追加することで現在のブロックのＶ−ＭＶを計算し、（９）計算された現在のブロックのＶ−ＭＶによって指し示されるブロックに基づいて現在のブロックをデコーディングする。実装において、記載した動作を記載した順序で実行する必要は無い。
さらに他の実装例は、他の視点内の対応するブロックを発見するために単にＤＶを使用する。この対応するブロックは、その後、現在のブロックをエンコーディングするための基準ブロックとして取得される。この実装例は、ＤＶによって指し示されている対応するブロックがＶ−ＭＶによって指し示されている対応するブロックよりも良好な基準である場合に効果がある。この実装例は、Ｖ−ＭＶＰ及びＶ−ＭＶの計算を回避し、「差」（Ｖ−ＭＶＰ − Ｖ−ＭＶ）の送信も回避する。図１２は、第３の例示の実施形態に従って奥行きを用いた奥行きスキップモードを使用したエンコーディングに関する例示の方法１２００を示すフロー図である。ステップ１２０６において、エンコーダ設定ファイルが読み込まれる。ステップ１２０９において、ＳＰＳ拡張内のアンカー及び非アンカーピクチャ基準が設定される。ステップ１２１２において、視点の数がＮに設定され、変数ｉ及びｊが０に初期化される。ステップ１２１５において、ｉ＜Ｎか否かが判定される。そうである場合、制御はステップ１２１８に送られる。そうでなければ、制御はステップ１２６０に送られる。
ステップ１２１８において、ｊ＜視点ｉ内のピクチャの数（ｎｕｍ）か否かが判定される。そうである場合、その後、制御はステップ１２２１に送られる。そうでなければ、制御はステップ１２５４に送られる。
ステップ１２２１において、現在のマクロブロックのエンコーディングが開始される。ステップ１２２４において、マクロブロックモードがチェックされる。ステップ１２２７において、視点間スキップマクロブロックモードがチェックされる。ステップ１２３５において、視差ベクトル（ＤＶ）予測因子を計算するために奥行きが使用される場合、disparity_vec_pred_typeが１に設定され、それ以外の場合disparity_vec_pred_typeは０に設定される。ステップ１２４２において、現在のマクロブロックがエンコーディングされる。ステップ１２４５において、全てのマクロブロックがエンコーディングされたか否かが判定される。そうである場合、その後、制御はステップ１２４８に送られる。そうでなければ、制御はステップ１２２１に戻される。
ステップ１２４８において、変数ｊがインクリメントされる。ステップ１２５１において、frame_num及びピクチャオーダカウント（ＰＯＣ）がインクリメントされる。
ステップ１２５４において、変数ｉがインクリメントされ、frame_num及びＰＯＣがリセットされる。
ステップ１２６０において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳを帯域内で信号伝達するか否かが判定される。そうである場合、その後、制御はステップ１２６３に送られる。そうでなければ、制御はステップ１２６６に送られる。
ステップ１２６３において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳが帯域内で送信される。
ステップ１２６６において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳが帯域外で送信される。
ステップ１２６９において、ビットストリームがファイルに書き込まれるかまたはネットワークを介して流される。
ステップ１２８２において、視差ベクトルが使用されて、対応するマクロブロックの奥行きが視差ベクトル（ＤＶ）予測因子として使用される。
ステップ１２８４において、中間値モーションベクトルが、モーションベクトル（ＭＶ）予測因子として使用される。
図１３は、第３の例示の実施形態に従って奥行きを用いた視点間スキップモードを使用したデコーディングの例示の方法１３００を示すフロー図である。
ステップ１３０６において、view_idが、ＳＰＳ、ＰＰＳ、ＶＰＳ、スライスヘッダ、またはネットワーク抽象化レイヤ（ＮＡＬ）ユニットヘッダから解析される。ステップ１３０９において、他のＳＰＳパラメータが解析される。ステップ１３１２において、現在のピクチャがデコーディングを必要としているか否かが判定される。そうである場合、その後、制御はステップ１３１５に送られる。そうでなければ、制御はステップ１３３０に送られる。
ステップ１３１５において、ＰＯＣ（curr）!＝ＰＯＣ（prev）か否かが判定される。そうである場合、制御はステップ１３１８に送られる。そうでなければ、制御はステップ１３２１に送られる。
ステップ１３１８において、view_numが０に設定される。ステップ１３２１において、view_id情報が、ハイレベルにおいてインデックス化されて視点コーディング順序が判定され、view_numがインクリメントされる。
ステップ１３２４において、現在のピクチャが期待されたコーディング順序で有るか否かが判定される。そうである場合、その後、制御はステップ１３３３に送られる。そうでなければ、制御はステップ１３２７に送られる。
ステップ１３３３において、スライスヘッダが解析される。ステップ１３３５において、マクロブロックレベルデータ及び奥行きデータが解析される。ステップ１３３８において、diparity_vec_pred_typeが解析される。ステップ１３４１において、disparity_vec _pred_typeが１に等しいか否かが判定される。そうである場合、その後、制御はステップ１３４４に送られる。そうでなければ、制御はステップ１３４７に送られる。
ステップ１３４４において、depthdが使用されて視差ベクトル予測因子が導出される。
ステップ１３４７において、中間値予測因子が使用されて、視差ベクトル予測因子が導出される。
ステップ１３５０において、現在のマクロブロックがデコーディングされる。ステップ１３５４において、全てのマクロブロックが終了したか（デコーディングされたか）否かが判定される。そうである場合、その後、制御はステップ１３５７に送られる。そうでなければ、制御はステップ１３３５に戻される。
ステップ１３５７において、現在のピクチャがデコーディングされたピクチャのバッファ（ＤＰＢ）内に挿入される。ステップ１３６０において、全てのピクチャがデコーディングされたか否かが判定される。そうである場合、その後、デコーディングは終了する。そうでなければ、制御はステップ１３３３に戻される。
ステップ１３２７において、現在のピクチャが隠される。
ステップ１３３０において、次のピクチャが取得される。
このようにして、１つの実装例に従って、我々は、奥行きマップを用いて他の視点内の対応するブロックを発見し、その対応するブロックを使用して、何もコーディングせずに奥行きスキップモードを実行する。他の実装例において、視差ベクトルは、モーションベクトルを発見するために行われるが如く、ピクセル比較を用いて評価される。しかし、本発明の原理に従った奥行きマップの使用は、例えば、奥行きマップがピクセル比較視差ベクトルに比べてさらに正確な視差ベクトルを生成する場合のピクセル比較法において好ましいだろう。実際、従来の方法において、奥行きマップは、単純なピクセル比較ではなくてさらに複雑な方法、すなわちモーション評価方式（ＭＥ−方式）モーションマッチングを用いて取得される。さらに、このような場合、視差の正確な指示が与えられれば、奥行きマップの使用は、ビデオコーディング効率を向上させるだろう。
他の実装例によれば、我々は奥行きマップを使用して、他の視点内の対応するブロックを発見し、モーションスキップモードを実行する。ここで、我々は、対応するブロック及びモーションベクトルに基づいているコードからモーションベクトルを取得する（従って、新しい残余を生成する）。特定の実装例において、我々は、異なった時刻の同一の視点から得られた基準を使用する。これは、少なくとも奥行きマップの他の使用方法とは異なる。他の方法によって実行されるモーションスキップ解析も、ピクチャのグループ（ＧＯＰ）全体の単一の視差ベクトル（全体視差ベクトル）しか使用しない。
さらに他の実施形態によれば、我々は、より良好なコーディング結果のために奥行きマップベースの視差ベクトルを最適化／精緻化する。この精緻化の１つは、検索範囲（search window）内の視差ベクトルを移動すること及びレート歪みが改善するかの判定を含む。その後、奥行きマップベースの視差ベクトルは、実際の奥行きマップベースの視差ベクトルを（少なくとも部分的に）使用して予測される。
説明されているいくつかの実施形態は、奥行き信号を含むビデオデータをエンコーディングすることが可能である。奥行き信号はエンコーディングされる必要が無いが、例えば、差分エンコーティング及び／またはエントロピーエンコーディングを用いてエンコーディングされてもよい。同様に、説明されているいくつかの実施形態は、奥行き信号を含むビデオデータをデコーディングすることが可能であり、様々な方法で奥行き信号または奥行き値を処理することが可能である。このような処理は、受信された奥行き値を解析してその奥行き値をデコーディングすることを含み、かつ例えばそれに依存している（奥行き値がすでにエンコーディングされていると仮定する）。奥行き値を処理するための処理ユニットが、例えば、（１）ビットストリーム解析器、（２）奥行きに基づいている視差コンバータ２０３、及び（３）いくつかの実装例において使用されてエントロピーコーディングされている奥行き値をデコーディングし得るエントロピーデコーダ２０５を含んでもよいことに留意する。
本願において説明されている実装例及び特徴のいくつかは、Ｈ２６４／ＭＰＥＧ−４ＡＶＣ（ＡＶＣ）規格、またはＭＶＣ拡張を伴っているＡＶＣ規格もしくはＳＶＣ拡張を伴っているＡＶＣ規格の環境において使用されてもよい。しかし、これらの実装例及び特徴は、（現在または未来の）他の規格の環境において使用されても良いし、規格を伴わない環境において使用されてもよい。このようにして、我々は、特定の特徴及び態様を有する１または複数の実装例を提供する。しかし、説明されてきた実装例の特徴及び態様は、他の実装例に適合させられてもよい。
さらに、多くの実装例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、またはエンコーダへの入力を提供するプリプロセッサの内の１または複数において実装されてもよい。さらに、他の実装例は、この開示によって予期される。
上述のように、我々は、特定の特徴及び態様を有する１または複数の実装例を提供する。しかし、説明されてきた実装例の特徴及び態様は、他の実装例に適合されてもよい。実装例は、限定するわけではないが、ＳＥＩメッセージ、スライスヘッダ、他のハイレベルシンタックス、非ハイレベルシンタックス、帯域外情報、データストリームデータ、及び非明示的信号伝達を含む様々な方法を用いて情報を信号伝達してもよい。従って、本明細書内で説明されている実装例は特定の状況において説明されているが、このような説明は、これらの特徴及びコンセプトを当該実装例または状況に限定するとしては全く解釈されるべきではない。
明細書における、本発明原理の「１つの実施形態」もしくは「実施形態」または「１つの実装例」もしくは「実装例」、及びこれらの変化形への言及は、実施形態に関連して説明された特定の特徴、構造、及び性質等が本発明の原理の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書の様々な場所に登場する「１つの実施形態において」もしくは「実施形態において」または「１つの実装例において」もしくは「実装例において」というフレーズ、及びこれらの変化形は、必ずしも全てが同一の実施形態に言及するものではない。
例えば、「Ａ／Ｂ」、「Ａ及び／またはＢ」及び「Ａ及びＢのうちの少なくとも１つ」における「／」、「及び／または」及び「〜のうちの少なくとも１つ」の使用は、最初に挙げられた選択肢（Ａ）のみの選択、２番目に挙げられた選択肢（Ｂ）のみの選択、または両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていると理解されるべきである。他の例として、「Ａ、Ｂ及び／またはＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」という場合は、当該表現は、最初に挙げられた選択肢（Ａ）のみの選択、２番目に挙げられた選択肢（Ｂ）のみの選択、３番目に挙げられた選択肢（Ｃ）のみの選択、最初及び２番目に挙げられた選択肢（Ａ及びＢ）のみの選択、最初及び３番目に挙げられた選択肢（Ａ及びＣ）のみの選択、２番目及び３番目に挙げられた選択肢（Ｂ及びＣ）のみの選択、または３つの全ての選択肢（Ａ、Ｂ及びＣ）の選択を包含することが意図されている。このことは、本技術分野及び関連技術分野の当業者によって容易に理解されるように、多数のアイテムが挙げられる場合に拡張され得る
本明細書において説明されている実装例は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号内に実装されてもよい。単一の形式の実装例においてのみ説明されていても（例えば、方法としてのみ説明されていても）、説明されている特徴の実装例は、他の形式（例えば、装置またはプログラム）において実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装され得る。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能論理デバイス等を含み、一般的に処理デバイスをいうプロセッサのような装置内に実装され得る。プロセッサは、例えば、コンピュータ、携帯電話、ＰＤＡ（portable/personal digital assistant）、及び他のデバイスであってエンドユーザ間の情報の通信を容易にするデバイスを含む通信デバイスも含む。
本明細書において説明されている様々な処理及び特徴の実装例は、様々な異なった装置またはアプリケーションにおいて具体化されてもよく、特に、例えば、データエンコーディング及びデータデコーディングに関連する装置またはアプリケーションにおいて具体化されてもよい。これらの装置の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信デバイスを含む。明快であるが、これらの装置は、可動式かつ移動車両に設けられていてもよい。
さらに、方法は、プロセッサによって実行される命令によって実装されてもよく、このような命令（及び／または実装例によって生成されたデータ値）は、例えば、集積回路、ソフトウェア担体、またはハードディスク、コンパクトディスケット、ＲＡＭ（random access memory）もしくはＲＯＭ（read-only memory）等の他の記憶デバイス等のプロセッサ可読媒体に保存されてもよい。これらの命令は、プロセッサ可読媒体に明確に具体化されるアプリケーションプログラムを形成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせ内にあってもよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、またはこれら２つの組み合わせ内に含まれていてもよい。従って、プロセッサは、例えば、処理を実行するデバイス及び処理を実行する命令を有するプロセッサ可読媒体（記憶デバイス等）を含むデバイスの両方として見なされてもよい。さらに、プロセッサ可読媒体は、命令に加えてかまたは命令の代わりに、実装例によって生成されるデータ値を保存してもよい。
本技術分野の当業者に明らかなように、実装例は保存されるかまたは送信され得る情報を伝送するためにフォーマット化された様々な信号を生成してもよい。この情報は、例えば、方法を実行するための命令、上述の実装例のうちの１つによって生成されるデータを含んでもよい。例えば、信号は、上述の実施形態のシンタックスを書き込むかまたは読み込むことに関するルールをデータとして伝送するために、または上述の実施形態によって書き込まれた実際のシンタックス値をデータとして伝送するためにフォーマット化されてもよい。このような信号は、例えば、電磁波（例えば、スペクトルのラジオ周波数部分を使用）としてかまたはベースバンド信号としてフォーマット化されてもよい。フォーマット化は、例えば、データストリームエンコーディング、エンコーディングされたデータストリームを有する搬送波の変調を含んでもよい。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報でもよい。知られているように、信号は様々な異なった有線接続または無線接続を介して伝送されてもよい。信号は、プロセッサ可読媒体に保存されてもよい。
多くの実装例が説明されてきた。しかしながら、様々な変更がなされ得ることが理解されるだろう。例えば、異なった実装例の要素が組み合わせられ、保管され、変更され、除去されて他の実装例が生成されてもよい。さらに、当業者は、他の構造及び処理がこれらの開示に置き換えられ、結果としてもたらされた実装例が、少なくとも実質的に同一の方法（単数または複数）にて少なくとも実質的に同一の機能（単数または複数）を発揮され、上述の実装例と少なくとも実質的に同一の結果（単数または複数）が達成されることを理解するだろう。従って、これら及び他の実装例は、本願によって予期され、添付の特許請求の範囲内に含まれる。

Claims (24)

  1. 多視点システム内の第１の視点から得られる第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングするステップと、
    前記多視点システム内の第２の視点から得られる第２視点画像の部分が前記第１視点画像の前記部分に対応していることを判定するステップであって、当該判定が前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいている、ステップと、
    前記第２視点画像の前記部分を前記第１視点画像の前記部分のエンコーディングしたものから得られる情報を使用してエンコーディングするステップと、
    前記第２視点画像の前記部分に関するシンタックスを生成するステップであって、当該生成されたシンタックスは、（ｉ）前記第２視点画像の前記部分が前記第１視点画像の前記部分の前記エンコーディングしたものからの情報を用いてエンコーディングされたという表示、及び（ｉｉ）前記第２視点奥行き値の表示を含む、ステップと、
    当該生成したシンタックスに基づいて前記第２視点奥行き値をデコーダに伝送するステップと、
    を含み、
    前記第１視点画像の前記部分が前記第２視点画像の前記部分に対応していることを判定するステップは、ワーピング処理を使用するステップを含み、前記ワーピング処理は、
    前記第２視点画像の前記部分内の点の位置に基づいて現実の空間内の前記点の位置を判定するステップと、
    現実の空間内の前記点の位置に基づいて前記第１視点画像の前記部分内の前記点の位置を判定するステップと、
    を含む、方法。
  2. 前記第１視点画像の当該エンコーディングされた部分、前記第２視点画像の当該エンコーディングされた部分、及び当該エンコーディングされた第２視点の奥行き値が、奥行きマップのコーディングをサポートせずに多視点コーディングをサポートしている規格に従ってエンコーディングされている、請求項１に記載の方法。
  3. 前記第２視点画像の前記部分の視差ベクトルを判定するステップをさらに含み、前記視差ベクトルが、前記第２視点画像の前記部分の位置と前記第１視点画像の前記部分の位置との間の差を示し、前記視差ベクトルが前記第２視点奥行き値に基づいて判定される、請求項１に記載の方法。
  4. 前記視差ベクトルを判定するステップが、さらに、前記視差ベクトルを合成ではなくエンコーディングしたものにさらに適合させる精緻化に基づいている、請求項３に記載の方法。
  5. 前記第２視点画像の前記部分が前記第１視点画像の前記部分の前記エンコーディングしたものからの情報を用いてエンコーディングされたという表示は、前記第２視点画像の前記部分が再構築されるように前記第２視点画像の前記部分が前記第１視点画像の前記部分を再構築したものを用いて再構築されるべきであることを示すフラグを備える、請求項１に記載の方法。
  6. 装置であって、
    多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングする手段と、
    前記多視点システムにおける第２の視点から得られた第２視点画像部分が前記第１視点画像の前記部分に対応しているかを判定する手段であって、当該判定は前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいている、手段と、
    前記第１視点画像の前記部分のエンコーディングしたものから得られた情報を使用して前記第２視点画像の前記部分をエンコーディングする手段と、
    前記第２視点画像の前記部分に関するシンタックスを生成する手段であって、当該生成されたシンタックスは、（ｉ）前記第２視点画像の前記部分が前記第１視点画像の前記部分の前記エンコーディングしたものからの情報を用いてエンコーディングされたという表示、及び（ｉｉ）前記第２視点奥行き値の表示を含む、手段と、
    当該生成したシンタックスに基づいて前記第２視点奥行き値をデコーダに伝送する手段と、
    を含み、
    前記第１視点画像の前記部分が前記第２視点画像の前記第２の部分に対応していることを判定する手段は、ワーピング処理を使用する手段を含み、前記ワーピング処理は、
    前記第２視点画像の前記部分内の点の位置に基づいて現実の空間内の前記点の位置を判定することと、
    現実の空間内の前記点の位置に基づいて前記第１視点画像の前記部分内の前記点の位置を判定することと、
    を含む、装置。
  7. 命令が保存されているプロセッサ可読媒体であって、前記命令がプロセッサに少なくとも、
    多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングするステップと、
    前記多視点システムにおける第２の視点から得られた第２視点画像部分が前記第１視点画像の前記部分に対応しているかを判定するステップであって、当該判定は前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいている、ステップと、
    前記第１視点画像の前記部分のエンコーディングしたものから得られた情報を使用して前記第２視点画像の前記部分をエンコーディングするステップと、
    前記第２視点画像の前記部分に関するシンタックスを生成するステップであって、当該生成されたシンタックスは、（ｉ）前記第２視点画像の前記部分が前記第１視点画像の前記部分の前記エンコーディングしたものからの情報を用いてエンコーディングされたという表示、及び（ｉｉ）前記第２視点奥行き値の表示を含む、ステップと、
    当該生成したシンタックスに基づいて前記第２視点奥行き値をデコーダに伝送するステップと、
    を実行させ、
    前記第１視点画像の前記部分が前記第２視点画像の前記第２の部分に対応していることを判定するステップは、ワーピング処理を使用するステップを含み、前記ワーピング処理は、
    前記第２視点画像の前記部分内の点の位置に基づいて現実の空間内の前記点の位置を判定するステップと、
    現実の空間内の前記点の位置に基づいて前記第１視点画像の前記部分内の前記点の位置を判定するステップと、
    を含む、プロセッサ可読媒体。
  8. 多視点システムにおける第２の視点から得られた第２視点画像の部分が多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分と対応していることを判定する視差コンバータであって、当該判定は前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいている、視差コンバータと、
    前記第１視点画像の前記部分をエンコーディングして、前記第１視点画像の前記部分のエンコーディングしたものから得られた情報を使用して前記第２視点画像の前記部分をエンコーディングし、前記第２視点画像の前記部分に関するシンタックスを生成し、当該生成したシンタックスに基づいて前記第２視点奥行き値をデコーダに伝送するエンコ−ディングユニットであって、前記生成されたシンタックスは、（ｉ）前記第２視点画像の前記部分が前記第１視点画像の前記部分の前記エンコーディングからの情報を用いてエンコーディングされたという表示、及び（ｉｉ）前記第２視点奥行き値の表示を含む、エンコーディングユニットと、
    を含み、
    前記第１視点画像の前記部分が前記第２視点画像の前記第２の部分に対応していることの判定は、ワーピング処理を使用することを含み、前記ワーピング処理は、
    前記第２視点画像の前記部分内の点の位置に基づいて現実の空間内の前記点の位置を判定することと、
    現実の空間内の前記点の位置に基づいて前記第１視点画像の前記部分内の前記点の位置を判定することと、
    を含む、装置。
  9. 前記第２視点画像の前記部分が前記第１視点画像の前記部分の前記エンコーディングしたものからの情報を用いてエンコーディングされたという表示は、前記第２視点画像の前記部分が再構築されるように前記第２視点画像の前記部分が前記第１視点画像の前記部分を再構築したものを用いて再構築されるべきであることを示すフラグを備える、請求項８に記載の装置。
  10. 多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分とのエンコーディングしたものをデコーディングするステップと、
    （ｉ）前記多視点システムにおける第２の視点からの第２視点画像の部分が前記第１視点画像の対応部分のエンコーディングしたものからの情報を用いてエンコーディングされたという表示と、（ｉｉ）前記第２視点画像の前記部分に関する奥行き情報を提供する第２視点奥行き値の表示とを含むシンタックスにアクセスするステップであって、前記奥行き情報は、前記第１視点画像の対応部分を判定するために用いることができる、ステップと、
    前記第２視点画像の前記部分が、前記第１視点画像の前記部分に対応し、前記第１視点画像の前記部分の前記エンコーディングしたものからの情報を用いてエンコーディングされることを判定するステップであって、前記判定は、前記第２視点奥行き値の表示と、前記第２視点画像の前記部分が前記第１視点画像の対応部分のエンコーディングしたものからの情報を用いてエンコーディングされたという表示とに基づいている、ステップと、
    前記判定に基づいて、前記第１視点画像の当該デコーディングされた部分からの情報を使用して前記第２視点画像の前記部分の前記エンコーディングしたものをデコーディングするステップと、
    を含み、
    前記第２視点画像の前記部分をデコーディングするステップは、前記第２視点画像の前記部分が再構築されるように前記第２視点画像の前記部分が前記第１視点画像の前記部分を再構築したものを用いて再構築されるべきであることを示すフラグを読み込むステップを備える、方法。
  11. 前記第２視点画像の前記部分をデコーディングするステップが、前記第１視点画像の当該デコーディングされた部分から得られたモーションベクトルを使用するステップと、
    前記第２視点画像の前記部分と前記第２視点画像から前記モーションベクトルによって指し示されている基準画像との間の残余を判定するステップと、
    を含む、請求項１０に記載の方法。
  12. 前記第２視点奥行き値が所定のマクロブロックまたはマクロブロックの所定の部分の単一の値である、請求項１０に記載の方法。
  13. 前記第２視点画像の前記部分の視差ベクトルを判定するステップをさらに含み、前記視差ベクトルは、前記第２視点の前記部分の位置と前記第１視点画像の前記部分の位置との間の差を示し、前記視差ベクトルは、前記第２視点奥行き値に基づいて判定される、請求項１０に記載の方法。
  14. 前記第２視点画像の前記部分の視差ベクトル予測因子を形成するステップと、
    前記視差ベクトル予測因子に基づいて視差ベクトルをデコーディングするステップと、
    を含み、
    前記視差ベクトル予測因子は、前記第２視点画像の前記部分の位置と前記第１視点画像の前記部分の位置との間の差を示し、前記視差ベクトル予測因子は、前記第２視点奥行き値に基づいて判定される、請求項１０に記載の方法。
  15. 前記第１視点画像の前記部分の視差ベクトルであって奥行き値から導出された視差ベクトルに基づいて視差ベクトル予測因子を生成するステップと、
    前記視差ベクトル予測因子に基づいて視差ベクトルをデコーディングするステップと、
    をさらに含む、請求項１０に記載の方法。
  16. 前記第２視点画像の前記部分が前記第１視点画像の前記部分に対応することを判定するステップは、ワーピング処理を使用するステップを含み、前記ワーピング処理は、
    前記第２視点画像の前記部分内の点の位置に基づいて現実の空間内の前記点の位置を判定するステップと、
    現実の空間内の前記点の位置に基づいて前記第１視点画像の前記部分内の前記点の位置を判定するステップと、
    を含む、請求項１０に記載の方法。
  17. 前記方法がデコーダ内に実装される、請求項１０に記載の方法。
  18. 前記方法がエンコーダ内にエンコーディング処理の一部として実装される、請求項１０に記載の方法。
  19. 多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングしたものをデコーディングする手段と、
    （ｉ）前記多視点システムにおける第２の視点からの第２視点画像の部分が前記第１視点画像の対応部分のエンコーディングしたものからの情報を用いてエンコーディングされたという表示と、（ｉｉ）前記第２視点画像の前記部分に関する奥行き情報を提供する第２視点奥行き値の表示とを含むシンタックスにアクセスする手段であって、前記奥行き情報は、前記第１視点画像の対応部分を判定するために用いることができる、手段と、
    前記第２視点画像の前記部分が、前記第１視点画像の前記部分に対応し、前記第１視点画像の前記部分の前記エンコーディングしたものからの情報を用いてエンコーディングされることを判定する手段であって、前記判定は、前記第２視点奥行き値の表示と、前記第２視点画像の前記部分が前記第１視点画像の対応部分のエンコーディングしたものからの情報を用いてエンコーディングされたという表示とに基づいている、手段と、
    前記判定に基づいて、前記第１視点画像の当該デコーディングされた部分からの情報を使用して前記第２視点画像の前記部分の前記エンコーディングしたものをデコーディングする手段と、
    を含み、
    前記第２視点画像の前記部分をデコーディングする手段は、前記第２視点画像の前記部分が再構築されるように前記第２視点画像の前記部分が前記第１視点画像の前記部分を再構築したものを用いて再構築されるべきであることを示すフラグを読み込むことを備える、装置。
  20. 命令が保存されているプロセッサ可読媒体であって、前記命令がプロセッサに少なくとも、
    多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングしたものをデコーディングするステップと、
    （ｉ）前記多視点システムにおける第２の視点からの第２視点画像の部分が前記第１視点画像の対応部分のエンコーディングしたものからの情報を用いてエンコーディングされたという表示と、（ｉｉ）前記第２視点画像の前記部分に関する奥行き情報を提供する第２視点奥行き値の表示とを含むシンタックスにアクセスするステップであって、前記奥行き情報は、前記第１視点画像の対応部分を判定するために用いることができる、ステップと、
    前記第２視点画像の前記部分が、前記第１視点画像の前記部分に対応し、前記第１視点画像の前記部分の前記エンコーディングしたものからの情報を用いてエンコーディングされることを判定するステップであって、前記判定は、前記第２視点奥行き値の表示と、前記第２視点画像の前記部分が前記第１視点画像の対応部分のエンコーディングしたものからの情報を用いてエンコーディングされたという表示とに基づいている、ステップと、
    前記判定に基づいて、前記第１視点画像の当該デコーディングされた部分から得られた情報を使用して前記第２視点画像の前記部分の前記エンコーディングしたものをデコーディングするステップと、
    を実行させ、
    前記第２視点画像の前記部分をデコーディングするステップは、前記第２視点画像の前記部分が再構築されるように前記第２視点画像の前記部分が前記第１視点画像の前記部分を再構築したものを用いて再構築されるべきであることを示すフラグを読み込むステップを備える、プロセッサ可読媒体。
  21. （ｉ）多視点システムにおける第２の視点からの第２視点画像の部分が前記多視点システムにおける第１視点画像の対応部分のエンコーディングしたものからの情報を用いてエンコーディングされたことを示すコーディング表示と、（ｉｉ）前記第２視点画像の前記部分に関する奥行き情報を提供する第２視点奥行き値を示す奥行き表示とを含むシンタックスをデコーディングするデコーディングユニットであって、前記奥行き情報は、前記第１視点画像の対応部分の位置を判定するために用いることができる、デコーディングユニットと、
    前記第１視点画像の前記対応部分の前記位置を判定する視差コンバータであって、前記判定は、前記コーディング表示と前記奥行き表示とに基づいている、視差コンバータと、
    を含み、
    前記デコーディングユニットは、前記第１視点画像の前記対応部分の前記エンコーディングしたものをさらにデコーディングし、前記判定に基づいて、前記第１視点画像の前記対応部分の当該デコーディングしたものからの情報を用いて前記第２の視点画像の前記部分のエンコーディングしたものをさらにデコーディングし、
    前記第２視点画像の前記部分をデコーディングは、前記第２視点画像の前記部分が再構築されるように前記第２視点画像の前記部分が前記第１視点画像の前記部分を再構築したものを用いて再構築されるべきであることを示すフラグを読み込むことを備える、装置。
  22. 前記第２視点画像の前記部分が前記第１視点画像の前記部分に対応することを判定することは、ワーピング処理を使用することを含み、前記ワーピング処理は、
    前記第２視点画像の前記部分内の点の位置に基づいて現実の空間内の前記点の位置を判定することと、
    現実の空間内の前記点の位置に基づいて前記第１視点画像の前記部分内の前記点の位置を判定することと、
    を含む、請求項２１に記載の装置。
  23. 請求項１−５、１０−１８のいずれかに記載の方法を実行するように構成された、装置。
  24. 請求項１−５、１０−１８のいずれかに記載の方法をプロセッサに実行させるための命令を保存したプロセッサ可読媒体。
JP2011506294A 2008-04-25 2009-04-23 奥行きを用いた視点間スキップモード Active JP5346076B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12552008P 2008-04-25 2008-04-25
US61/125,520 2008-04-25
PCT/US2009/002513 WO2009131688A2 (en) 2008-04-25 2009-04-23 Inter-view skip modes with depth

Publications (3)

Publication Number Publication Date
JP2011519226A JP2011519226A (ja) 2011-06-30
JP2011519226A5 JP2011519226A5 (ja) 2012-06-07
JP5346076B2 true JP5346076B2 (ja) 2013-11-20

Family

ID=41036789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011506294A Active JP5346076B2 (ja) 2008-04-25 2009-04-23 奥行きを用いた視点間スキップモード

Country Status (7)

Country Link
US (1) US8532410B2 (ja)
EP (2) EP2269378A2 (ja)
JP (1) JP5346076B2 (ja)
KR (2) KR101617842B1 (ja)
CN (3) CN103297771B (ja)
BR (1) BRPI0911672A2 (ja)
WO (1) WO2009131688A2 (ja)

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
BRPI0821500A2 (pt) * 2008-01-11 2015-06-16 Thomson Licensing Codificação de vídeo e profundidade
JP2012504924A (ja) 2008-10-06 2012-02-23 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法及び装置
KR101625058B1 (ko) * 2008-11-10 2016-05-27 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
CN102265617A (zh) * 2008-12-26 2011-11-30 日本胜利株式会社 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
CN102726046B (zh) 2010-01-27 2015-09-09 杜比实验室特许公司 用于图像和视频编解码中的参考处理的方法和系统
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
CN102823248B (zh) * 2010-04-08 2015-06-24 株式会社东芝 图像编码方法以及图像编码装置
JP2011244025A (ja) * 2010-05-13 2011-12-01 Sony Corp 画像処理装置および画像処理方法
KR20120000485A (ko) * 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
PL2596637T3 (pl) * 2010-07-21 2021-12-13 Dolby Laboratories Licensing Corporation Systemy i sposoby dostarczania wielowarstwowego wideo zgodnego z ramką
HU1000640D0 (en) * 2010-11-29 2011-02-28 Holografika Hologrameloeallito Fejlesztoe Es Forgalmazo Kft Image coding and decoding method and apparatus for efficient encoding and decoding of 3d field content
KR101893559B1 (ko) 2010-12-14 2018-08-31 삼성전자주식회사 다시점 비디오 부호화/복호화 장치 및 방법
SG10201810141WA (en) 2011-01-12 2018-12-28 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
JP6061150B2 (ja) * 2011-03-18 2017-01-18 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
WO2012171477A1 (en) * 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of texture image compression in 3d video coding
EP2717572B1 (en) * 2011-06-24 2018-08-08 LG Electronics Inc. Encoding/decoding method and apparatus using a skip mode
US9363535B2 (en) 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
EP2744201A4 (en) * 2011-08-09 2016-03-23 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING A DEPTH CARD OF VIDEO DATA WITH MULTIPLE VIEWPOINTS AND METHOD AND DEVICE FOR DECODING THE CODED DEPTH CARD
JP2014528190A (ja) * 2011-08-12 2014-10-23 テレフオンアクチーボラゲット エル エム エリクソン（パブル） カメラおよび／または深度パラメータのシグナリング
RU2573213C2 (ru) * 2011-08-30 2016-01-20 Интел Корпорейшн Схемы многопланового видеокодирования
CA2846425A1 (en) * 2011-08-30 2013-03-07 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
WO2013035452A1 (ja) * 2011-09-05 2013-03-14 シャープ株式会社 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム
JP6232117B2 (ja) * 2011-09-15 2017-11-15 シャープ株式会社 画像符号化方法、画像復号方法、及び記録媒体
US20140241434A1 (en) * 2011-10-11 2014-08-28 Mediatek Inc Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
CN104247432B (zh) 2011-11-11 2019-06-11 Ge视频压缩有限责任公司 使用深度图估计和更新的高效多视点编码
WO2013068548A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
EP2781091B1 (en) * 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
US9473752B2 (en) 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
CN102413332B (zh) * 2011-12-01 2013-07-24 武汉大学 基于时域增强的视点合成预测多视点视频编码方法
US20130176390A1 (en) * 2012-01-06 2013-07-11 Qualcomm Incorporated Multi-hypothesis disparity vector construction in 3d video coding with depth
WO2013115562A1 (ko) * 2012-01-30 2013-08-08 삼성전자 주식회사 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치
US9602831B2 (en) 2012-03-07 2017-03-21 Lg Electronics Inc. Method and apparatus for processing video signals
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
JP2013198059A (ja) 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
US20130271567A1 (en) * 2012-04-16 2013-10-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for predicting motion vector and disparity vector
EP2839639A4 (en) 2012-04-19 2016-01-06 Intel Corp THREE-DIMENSIONAL VIDEO CODING (3D) INCLUDING DEPARTIVITY VECTOR CALIBRATION BASED ON DEPTH
US9549180B2 (en) * 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
WO2013162454A1 (en) * 2012-04-24 2013-10-31 Telefonaktiebolaget L M Ericsson (Publ) Identifying a parameter set for decoding a multi-layer video representation
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US20130329007A1 (en) * 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
AU2013284038B2 (en) * 2012-06-28 2015-11-05 Hfi Innovation Inc. Method and apparatus of disparity vector derivation in 3D video coding
US9843820B2 (en) 2012-07-05 2017-12-12 Mediatek Inc Method and apparatus of unified disparity vector derivation for 3D video coding
KR101641606B1 (ko) * 2012-07-09 2016-07-21 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
JP5876933B2 (ja) * 2012-07-09 2016-03-02 日本電信電話株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体
US20150195569A1 (en) * 2012-07-11 2015-07-09 Lg Electronics Inc. Method and apparatus for processing video signal
US20150201215A1 (en) * 2012-07-27 2015-07-16 Mediatek Inc. Method of constrain disparity vector derivation in 3d video coding
TW201409994A (zh) 2012-08-30 2014-03-01 Novatek Microelectronics Corp 立體視訊的編碼方法與編碼裝置
CN103686190A (zh) * 2012-09-07 2014-03-26 联咏科技股份有限公司 立体视频的编码方法与编码装置
SG11201502194QA (en) 2012-09-21 2015-04-29 Nokia Technologies Oy Method and apparatus for video coding
JP6000463B2 (ja) * 2012-09-21 2016-09-28 聯發科技股▲ふん▼有限公司Ｍｅｄｉａｔｅｋ Ｉｎｃ． ３ｄ映像符号化の仮想深度値の方法および装置
KR102137266B1 (ko) * 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
KR102186605B1 (ko) * 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
CN103716641B (zh) * 2012-09-29 2018-11-09 浙江大学 预测图像生成方法和装置
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
WO2014053514A1 (en) 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using base-layer hints for enhancement layer motion parameters
US9357214B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
JP6101067B2 (ja) * 2012-12-12 2017-03-22 日本放送協会 画像処理装置及び画像処理プログラム
US9516332B2 (en) * 2012-12-21 2016-12-06 Qualcomm Incorporated Disparity vector derivation in three-dimensional video coding
CN103024395B (zh) * 2012-12-31 2015-08-12 清华大学 多视点视频编码模式选择方法及装置
US10021414B2 (en) 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
WO2014106496A1 (en) * 2013-01-07 2014-07-10 Mediatek Inc. Method and apparatus of depth to disparity vector conversion for three-dimensional video coding
WO2014109547A1 (ko) * 2013-01-08 2014-07-17 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
US9521425B2 (en) * 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
US9762905B2 (en) * 2013-03-22 2017-09-12 Qualcomm Incorporated Disparity vector refinement in video coding
US9894377B2 (en) 2013-04-05 2018-02-13 Samsung Electronics Co., Ltd. Method for predicting disparity vector for interlayer video decoding and encoding apparatus and method
US10904551B2 (en) * 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
CN104104964B (zh) * 2013-04-09 2019-03-12 乐金电子(中国)研究开发中心有限公司 一种深度图像帧间编码、解码方法、编码器及解码器
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
US10477230B2 (en) 2013-04-10 2019-11-12 Mediatek Inc. Method and apparatus of disparity vector derivation for three-dimensional and multi-view video coding
JP6158423B2 (ja) 2013-04-10 2017-07-05 ゼットティーイー コーポレイション 奥行情報の符号化および復号化方法、システムおよび装置
US10080030B2 (en) 2013-04-11 2018-09-18 Lg Electronics Inc. Video signal processing method and device
CN105075257A (zh) * 2013-04-11 2015-11-18 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
US10080036B2 (en) 2013-05-16 2018-09-18 City University Of Hong Kong Method and apparatus for depth video coding using endurable view synthesis distortion
JP6587046B2 (ja) * 2013-07-08 2019-10-09 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2015005754A1 (ko) * 2013-07-12 2015-01-15 삼성전자 주식회사 뷰 합성 예측을 이용한 인터 레이어 비디오 복호화 방법 및 그 장치 뷰 합성 예측을 이용한 인터 레이어 비디오 부호화 방법 및 장치
US10045014B2 (en) * 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
US9860529B2 (en) * 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
US9628795B2 (en) * 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
CN104243947B (zh) * 2013-07-29 2018-03-16 深圳深讯和科技有限公司 视差估计方法和装置
WO2015056955A1 (ko) 2013-10-14 2015-04-23 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
WO2015082763A1 (en) 2013-12-02 2015-06-11 Nokia Technologies Oy Video encoding and decoding
CN103826135B (zh) * 2013-12-24 2017-02-08 浙江大学 基于恰可识别视差错误估计的三维视频深度图编码方法
WO2015135174A1 (en) * 2014-03-13 2015-09-17 Qualcomm Incorporated Simplified disparity derived depth coding in three-dimensional (3d) video coding
JP6430542B2 (ja) * 2014-06-16 2018-11-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄ−ｈｅｖｃにおける簡略化シフティングマージ候補およびマージリスト導出
FR3022724A1 (fr) * 2014-06-19 2015-12-25 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
CA2952793C (en) * 2014-10-08 2019-03-12 Lg Electronics Inc. Depth picture coding method and device in video coding
US20170162230A1 (en) * 2015-12-04 2017-06-08 Livestream LLC Interactive digital camera for live crop editing and recording of video streams
US10506198B2 (en) 2015-12-04 2019-12-10 Livestream LLC Video stream encoding system with live crop editing and recording
JP2016131405A (ja) * 2016-04-21 2016-07-21 シャープ株式会社 画像復号装置
US10834372B2 (en) 2017-06-05 2020-11-10 Massachusetts Institute Of Technology 3DTV at home: Eulerian-Lagrangian stereo-to-multi-view conversion
EP3432581A1 (en) * 2017-07-21 2019-01-23 Thomson Licensing Methods, devices and stream for encoding and decoding volumetric video
JP2017204898A (ja) * 2017-08-24 2017-11-16 シャープ株式会社 画像復号装置
KR20210096449A (ko) 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
US11146818B1 (en) * 2020-09-21 2021-10-12 Tencent America LLC Methods of intra picture block prediction for multi-view video compression
USD996493S1 (en) 2020-12-07 2023-08-22 Applied Materials, Inc. Live streaming camera

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104439B2 (ja) * 1992-11-13 2000-10-30 ソニー株式会社 高能率符号化及び／又は復号化装置
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
US6188730B1 (en) * 1998-03-23 2001-02-13 Internatonal Business Machines Corporation Highly programmable chrominance filter for 4:2:2 to 4:2:0 conversion during MPEG2 video encoding
JP2000261828A (ja) 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
US6504872B1 (en) * 2000-07-28 2003-01-07 Zenith Electronics Corporation Down-conversion decoder for interlaced video
US6940538B2 (en) * 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
KR100433625B1 (ko) 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
US20030198290A1 (en) * 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
WO2005013623A1 (en) 2003-08-05 2005-02-10 Koninklijke Philips Electronics N.V. Multi-view image generation
EP1671276B1 (en) * 2003-09-30 2007-09-05 Koninklijke Philips Electronics N.V. Image rendering with interactive motion parallax
GB2418314A (en) 2004-09-16 2006-03-22 Sharp Kk A system for combining multiple disparity maps
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7468745B2 (en) 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
JP2006191357A (ja) 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP4414379B2 (ja) 2005-07-28 2010-02-10 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8670437B2 (en) * 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
JP5587552B2 (ja) * 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
CN101375594B (zh) * 2006-01-12 2011-09-07 Lg电子株式会社 处理多视图视频
BRPI0708305A2 (pt) * 2006-03-29 2011-05-24 Thomson Licensing método e aparelho para uso em um sistema de codificação de vìdeo de múltiplas visões
JP4605715B2 (ja) * 2006-06-14 2011-01-05 Ｋｄｄｉ株式会社 多視点画像圧縮符号化方法、装置及びプログラム
JP5013993B2 (ja) * 2006-07-12 2012-08-29 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 或るシーンの複数のマルチビュービデオを処理する方法及びシステム
TWI344792B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
KR20080007069A (ko) * 2006-07-14 2008-01-17 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
CN101690220B (zh) 2007-04-25 2013-09-25 Lg电子株式会社 用于解码/编码视频信号的方法和装置
JP5406182B2 (ja) 2007-06-26 2014-02-05 コーニンクレッカ フィリップス エヌ ヴェ ３次元ビデオ信号をエンコードするための方法及びシステム、含まれる３次元ビデオ信号、並びに３次元ビデオ信号のためのデコーダのための方法及び信号
BRPI0821500A2 (pt) 2008-01-11 2015-06-16 Thomson Licensing Codificação de vídeo e profundidade
CN101483765B (zh) 2008-01-11 2011-09-21 华为技术有限公司 一种图像处理方法、编解码方法及装置
US20100188476A1 (en) * 2009-01-29 2010-07-29 Optical Fusion Inc. Image Quality of Video Conferences

Also Published As

Publication number Publication date
EP3512202A1 (en) 2019-07-17
KR101727311B1 (ko) 2017-04-14
WO2009131688A2 (en) 2009-10-29
CN103297771B (zh) 2017-03-01
KR101617842B1 (ko) 2016-05-18
WO2009131688A3 (en) 2010-01-28
KR20160054026A (ko) 2016-05-13
JP2011519226A (ja) 2011-06-30
US20110044550A1 (en) 2011-02-24
CN103297771A (zh) 2013-09-11
EP2269378A2 (en) 2011-01-05
CN103297770B (zh) 2017-04-26
BRPI0911672A2 (pt) 2018-03-13
KR20110006696A (ko) 2011-01-20
CN103297770A (zh) 2013-09-11
CN102017627B (zh) 2013-05-01
CN102017627A (zh) 2011-04-13
US8532410B2 (en) 2013-09-10

Similar Documents

Publication Publication Date Title
JP5346076B2 (ja) 奥行きを用いた視点間スキップモード
KR101663819B1 (ko) 정제된 깊이 맵
KR101653724B1 (ko) 가상 레퍼런스 뷰
US20110038418A1 (en) Code of depth signal
JP2010525744A (ja) ダウンサンプリングされたリファレンスピクチャによるビュー間予測
CN114631318A (zh) 应用双向预测时推导用于加权平均的权重索引信息的图像解码方法和设备
CN114208171A (zh) 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
WO2010021664A1 (en) Depth coding
JP6114404B2 (ja) ビデオ信号処理方法及び装置
CN115668935A (zh) 基于卷绕运动补偿的图像编码/解码方法和设备及存储比特流的记录介质
CN114762351A (zh) 图像/视频编译方法和装置
CN114208168A (zh) 视频或图像编码系统中的帧间预测
CN114303375A (zh) 使用双向预测的视频解码方法和用于该方法的装置
CN114080814A (zh) 基于运动矢量预测的图像/视频编码方法和装置
US10972754B2 (en) Encoder, decoder, encoding method, and decoding method of generating power of 2 transform block sizes
CN115699755A (zh) 基于卷绕运动补偿的图像编码/解码方法和装置及存储比特流的记录介质
CN114097240A (zh) 基于双向预测的图像/视频编码方法和装置
CN114375573A (zh) 使用合并候选推导预测样本的图像解码方法及其装置
KR102300036B1 (ko) 비디오 신호 처리 방법 및 장치
CN115152214A (zh) 基于画面划分的图像编码装置和方法
WO2008130716A2 (en) Video coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130304

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130815

R150 Certificate of patent or registration of utility model

Ref document number: 5346076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250