JP6198021B2 - 動き補償に基づくビデオ符号化を支援するために奥行き情報を使用すること - Google Patents

Description

本発明は、動き補償に基づくビデオ符号化を支援するために奥行き情報を使用することに関する。

本出願は、「動き補償に基づくビデオ符号化を支援するために奥行き情報を使用すること」と題する、Ｚｈｅｎｙｕ Ｗｕらによって２０１３年４月１７日に出願された米国非仮出願第１３／８６４，６７２の優先権を主張し、前記米国非仮出願は、「動き補償に基づくビデオ符号化のためのシステム及び方法」と題する、Ｚｈｅｎｙｕ Ｗｕらによって２０１２年４月１９日に出願された米国仮出願第６１／６３５，６９０の優先権を主張し、それらの両方がその全体において再現されるかのように参照によって組み込まれる。

一般的に、ビデオは、一連の静止画又は静止フレームを比較的速く連続して表示することを含み、それによって、視聴者に動きを知覚させる。各フレームは、複数の画素を有してもよく、各画素は、フレーム内の単一の基準点を表してもよい。例え短いビデオセグメントであっても、描写するために必要とされるデータ量は大量であり得、データが限られた帯域幅容量を用いてネットワーク経由で通信されるときに困難が生じる。従って、ビデオは、ビデオの出所である装置上のビデオ圧縮ハードウェア又はソフトウェアを介して圧縮されてもよい。圧縮は、ネットワーク経由で通信されるビデオストリームよりも前の符号化プロセスの一部であってもよく、そのことは、ビデオを通信するために必要とされるデータ量を減少させる。符号化は、ソースデータを信号に変換するプロセスを指してもよい。ビデオは、次に、復号化プロセスの一部として、ビデオの受信機である装置上のビデオ解凍ハードウェア又はソフトウェアを介して解凍されてもよい。復号化は、信号を変換してソースデータに戻すプロセスを指してもよい。改善された圧縮及び解凍技術は、圧縮率を増加させるとともに、このように、ビデオを通信するために必要なデータ量を、実質的にビデオ品質を低下させることなく、低減することができる。さらに、改善された圧縮及び解凍技術は、ビデオ品質を改善することができる。

１つの態様では、前記開示は、複数のポートとプロセッサとを有する装置を含み、前記プロセッサは、ポートに接続されるとともに、ポートのいずれかから複数のビデオフレームを受信するように構成され、ビデオフレームは、オブジェクト及び背景を有するとともに、ビデオフレームは、オブジェクト及び背景のための複数の色画素を有し、ポートのいずれかから複数の奥行きフレームを受信するように構成され、奥行きフレームは、オブジェクト及び背景を有するとともに、奥行きフレームは、背景の奥行きと相対的なオブジェクトの奥行きの指標を有し、背景の奥行きと相対的なオブジェクトの奥行きの指標を使用して、ビデオフレームを符号化するように構成される。

他の態様では、前記開示はシステムを含み、前記システムは、複数のビデオフレームを取得するように構成されるカメラであって、ビデオフレームはオブジェクト及び背景を有するとともに、ビデオフレームは、オブジェクト及び背景のための複数の色画素を有する、カメラと、複数の奥行きフレームを取得するように構成される奥行き装置であって、奥行きフレームは、オブジェクト及び背景を有するとともに、奥行きフレームは、背景の奥行きと相対的なオブジェクトの奥行きの指標を有する、奥行き装置と、カメラ及び奥行き装置に接続されるエンコーダであって、エンコーダは、背景の奥行きと相対的なオブジェクトの奥行きの指標を使用して、ビデオフレームを符号化するように構成される、エンコーダとを有する。

さらに他の態様では、前記開示は方法を含み、前記方法は、ポートのいずれかから複数のビデオフレームを受信するステップであって、ビデオフレームは、オブジェクト及び背景を有するとともに、ビデオフレームは、オブジェクト及び背景のための複数の色画素を有する、ステップと、ポートのいずれかから複数の奥行きフレームを受信するステップであって、奥行きフレームは、オブジェクト及び背景を有するとともに、奥行きフレームは、背景の奥行きと相対的なオブジェクトの奥行きの指標を有する、ステップと、背景の奥行きと相対的なオブジェクトの奥行きの指標を使用してビデオフレームを符号化するステップとを有する。

これらの及び他の特徴は、添付の図面及び特許請求の範囲と併せてなされる、以下の詳細な説明からより明確に理解されるだろう。

本開示のより十分な理解のために、ここでは、添付図面及び詳細な説明に関連してなされる、以下の簡単な説明が参照される。同様の参照番号は同様の部分を表す。

図１は、本開示の実施形態に係る通信システムの概略図である。 図２は、奥行きフレームの一例である。 図３は、本開示の実施形態に係るビデオ符号化方法を例示するフローチャートである。 図４は、本開示の実施形態に係るネットワーク装置の概略図である。

初めに、１つ又は２つ以上の実施形態の例示的な実装が以下に提供されるが、開示されるシステム及び／又は方法は、現在知られているか又は存在する、任意の数の技術を使用して実装されてもよいことは理解されるべきである。本開示は、本明細書で例示及び説明される例示的な設計及び実装を含めて、以下に例示される例示的な実装、図面及び技術に限定されることは決してあってはならず、しかし、それらの全範囲の均等物と共に、添付の特許請求の範囲の範囲内で修正されてもよい。

ビデオ符号化は、動き推定を有してもよい。ビデオ符号化の構成では、動き推定は、１つのビデオフレームを他のビデオフレームと関連付ける動きベクトルを決定するための特定のプロセスを指してもよい。動き推定は、ブロックマッチングアルゴリズムを採用してもよい。そのようなアルゴリズムでは、エンコーダはビデオフレームをマクロブロックに分割してもよく、マクロブロックは、同様に、より小さなサブマクロブロックにサブ分割されてもよい。元のマクロブロック及びサブ分割されたサブマクロブロックはまた、符号化ブロックと呼ばれてもよい。エンコーダは、第１のビデオフレームにおける第１のマクロブロックを特定してもよい。次に、第２のビデオフレーム全体で各マクロブロックを順次走査することによって、エンコーダは、第１のビデオフレームにおける第１のマクロブロックに最も密接に似ている、第２のビデオフレームにおける第２のマクロブロックを特定してもよい。第２のマクロブロックが、第１のマクロブロックに関する２次元格子に沿ってシフトされる場合、そのとき、エンコーダは、２つのビデオフレームからデータを符号化する際に、第１のマクロブロックを完全に記載するとともに第２のマクロブロックを、シフト距離を記載する動きベクトルに関してのみ記載してもよい。そうでなければ、エンコーダは、第１のマクロブロックと第２のマクロブロックの両方を完全に記載してもよい。後者のシナリオと比較される場合、動きベクトルを採用する前者のシナリオは、２つのビデオマクロブロック及び従って２つのビデオフレームを記載するために必要とされるデータ量を低減することができる。エンコーダは前記プロセスを繰り返すとともに、例えば、ビデオ会議が終了するまでの時間で、有限数のビデオフレームのための動き推定情報を決定してもよい。

動き推定は、ビデオ符号化のための計算資源消費量の重要な原因であってもよい。いくつかのケースでは、動き推定は、計算資源消費量の６０％から７０％を占めてもよい。いくつかの既存の解決手段は、したがって、高速動き推定及びモード決定技術のような、改善されたアルゴリズムを使用して、動き推定の計算資源消費量を低減しようとする。上述の２つのビデオフレーム及び２つのマクロブロックの例では、エンコーダは、事前に定義された探索パターン及び早期終了基準を使用して、第２のマクロブロックを探索してもよい。それらの技術を使用することにおいて、エンコーダは、第１のマクロブロックに一致する可能性が低い第２のビデオフレーム内で、候補を探索することをスキップしてもよい。上述の２つのビデオフレーム及び２つのマクロブロックの例を続けると、エンコーダは、最初に、第１のマクロブロックの空間的及び／又は時間的近傍を探索してもよいか、又はエンコーダは、異なる空間解像度での、第１のマクロブロックの共通の位置のブロックを探索してもよい。他の既存の解決手段は、より強力なグラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）及びフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）のような、強力なハードウェアを必要とし得る。しかしながら、そのようなシステム及びアーキテクチャは、計算資源消費量の観点から望ましくない。

本明細書では、改善された符号化技術のためのシステム及び方法が開示される。開示される技術は、ビデオ会議、テレプレゼンス、ビデオ監視及び画像又はビデオを含む他のアプリケーションに適用してよい。この技術によって、ビデオは、画素ベースのカメラ及び奥行き装置の両方によって捕捉されてよい。エンコーダは、次に、画素データ及び奥行きデータの両方を使用してオブジェクトを分割し、ビデオフレーム全体でそれらのオブジェクトを追跡し、それらのオブジェクトの動きモデルを構築し、動きモデルに基づいて、それらのオブジェクトの動きベクトルを導出してよい。この構成では、分割は、フレームを画素のセットに仕切ることを指してもよい。例えば、フレーム内の個々のオブジェクトは、フレームの残りの部分から仕切られてもよい。この技術を採用することによって、エンコーダは、少なくとも部分的に、他の方法では必要とされる動き推定の量を低減する。動き推定における低減は、低減された計算資源消費量につながり、このことは、より複雑でないハードウェアへの必要性に帰するとともに、従って、ハードウェアコスト及び電力消費量を低減する。低減された計算資源消費量はまた、より少ないデータへの必要性に帰するとともに、従って、ビデオ容量及びビデオ品質を改善する。さらに、開示される技術は、直接的に、改善された圧縮効率に帰する。最後に、開示される技術は、直接的に、改善されたビデオ品質に帰する。

開示される技術を使用する、計算資源消費量における低減は、少なくとも２つの方法で生じる。第一に、エンコーダは、モデル化されたオブジェクトに対して、開示される技術に従って、動き推定を回避してもよい。開示される技術を使用して、モデル化されたオブジェクトのための動きベクトルを導出することは、そうでない場合の動き推定よりも、より少ない計算資源消費量を必要とする。第二に、モデル化されたオブジェクトに対して動き推定を回避することの代わりに、エンコーダは、モデル化されたオブジェクト内のマクロブロックに対して動き推定を開始するための、従来技術よりもより良い（例えば、より最適な）動き予測子を決定するために、導出された動きベクトルを使用してもよい。そのようにして、エンコーダは、一致する可能性が低いマクロブロックへの探索を回避することによって、計算資源消費量を減少させる。

開示される技術を使用して改善される圧縮効率は、少なくとも２つの方法で生じる。第一に、上述のように、動き推定は、一致するマクロブロックを見つけるまで、ビデオフレーム全体で、各マクロブロックを順次走査するエンコーダを有してもよい。その際、エンコーダは、未だ、一致するマクロブロックに隣接する符号化されていないマクロブロックのための動きベクトルを知らない。このプロセスは、一致するマクロブロックのためのより良い（例えば、より最適な）動きベクトルに帰するが、隣接するマクロブロックが共に考慮される場合は、最適以下になる。開示される技術では、エンコーダは、モデル化されたオブジェクトに属する隣接するマクロブロックのための動きベクトルを知っていてもよい。エンコーダは、ビデオフレームの非モデル化領域のためのより良い（例えば、より最適な）動きベクトルを導出するためにその情報を使用してもよい。第二に、上述のように、エンコーダは、より良い（例えば、より最適な）動き予測子を決定するために、導出された動きベクトルを使用してもよい。固定サイズの動き探索ウィンドウが与えられると、より良い動き予測子は、従来技術よりもより良い（例えば、より最適な）動き推定動きベクトルを生成してもよい。

前記奥行きデータは、オブジェクトの本当の動きをより正確に反映するため、開示される技術は、直接的に品質を改善することができる。そのため、開示される技術は、画素データのみを使用することと比較された場合、より少ないアーティファクト又は歪みに帰する。

図１は、本開示の実施形態に係る通信システム１００の概略図である。通信システム１００は、ネットワーク１５０を介して、複数の第２の装置１６０に通信可能に接続された、第１の装置１１０を有する。第１の装置１１０は、携帯電話、タブレットコンピュータ、デスクトップコンピュータ、ノートブックコンピュータ又は他のデバイスであってもよい。第２の装置１６０の各々は、同様に、携帯電話、タブレットコンピュータ、デスクトップコンピュータ、ノートブックコンピュータ又は他のデバイスであってもよい。ネットワーク１５０は、インターネット、無線携帯電話ネットワーク又は他のネットワークであってもよい。

前記第１の装置１１０は、カメラ１２０、奥行き装置１３０及びエンコーダ１４０を有する。カメラ１２０は、画像又はビデオフレームを捕捉するために適した任意のカメラであってよい。画像又はビデオフレームは、当技術分野では周知であるとともに、各画像又はビデオフレームは、赤−緑−青（ＲＧＢ）又は他の適切な色空間における複数の画素を有してよい。奥行き装置１３０は、示されるように、第１の装置１１０の一部であってよい。あるいは、奥行き装置１３０は、第１の装置１１０への付属品であってもよいし、又は単に第１の装置１１０に通信可能に接続されてもよい。奥行き装置１３０は、奥行きセンサや、ライトフィールドカメラや、測距カメラや、赤外線カメラや、紫外線カメラや、レーダー又はソナーアセンブリや、相補性金属酸化膜半導体（ＣＭＯＳ）視覚センサや、電荷結合素子（ＣＣＤ）視覚センサや、視覚センサの組合せや、又は奥行きフレームを捕捉するために適した他の奥行き装置であってもよい。奥行き装置１３０は、カメラ１２０と協調してそのような奥行きフレームを捕捉するとともに、それ自体は一般的に、カメラ１２０の近く（例えば、６インチ以内）に位置されるとともに、カメラ１２０の視野角と同様の視野角を有する。換言すると、カメラ１２０が特定の時点でのフォーカスの特定領域のビデオフレームを捕捉する場合、奥行き装置１３０は、フォーカスの同一領域及び同一時点に対応する奥行きフレームを捕捉する。奥行き装置１３０は、赤外線又は他の電磁波を使用して、奥行きフレームを捕捉してもよい。奥行きフレームは、異なる奥行きを表す複数の異なる強度値を有する。例えば、高い又は明るい強度は、奥行き装置１３０に比較的近いオブジェクトを表し、一方、低い又は暗い強度は、奥行き装置１３０から比較的遠いオブジェクトを表す。あるいは、奥行きフレームは、奥行き装置１３０からオブジェクト内の一部又は全ての画素の距離のおおよその、又は絶対的な（例えば、数値的な）測定を有してもよい。実施形態では、奥行きフレームの各画素が、対応するビデオフレームの同一領域に位置する画素に対応するように、奥行きフレームは、画素を有してよい。

図２は、奥行きフレーム２００の一例である。奥行きフレーム２００は、奥行きフレーム２００の前景における人物２１０及び奥行きフレーム２００の背景におけるソファ２２０を有する。示されるように、人物２１０は、奥行きフレーム２００において比較的近くにあるとともに、従って、明るい強度又はより薄い陰影によって表され、一方、ソファ２２０は、奥行きフレーム２００において比較的遠くにあるとともに、従って、暗い強度又はより濃い陰影によって表される。ソファ２２０の後ろの領域は、さらに遠いとともに、従って、さらに暗い強度又はさらに濃い陰影によって表される。当業者は、一般的に奥行きフレームがどのように表れるか理解する。

図１に戻ると、エンコーダ１４０は、ビデオデータを符号化するために適した任意のエンコーダであってよい。エンコーダ１４０は、個別のモジュールであってもよく、又はより大きな演算処理の一部であってもよい。第１の装置１１０はまた、ビデオデコーダ（示されず）及びおそらくディスプレイスクリーン（示されず）を有することは理解されるであろう。

前記奥行き装置１３０は、いくつかの制限を持ってよい。第一に、奥行き装置１３０とオブジェクトとの間の距離における違いと、最小の識別可能な距離差と、視野角は、パフォーマンスを低下させ得る。第二に、適切にビデオフレーム及び奥行きフレームを配置するために、カメラ１２０及び奥行き装置１３０を慎重に調整することは重要である。そのような慎重な調整がなければ、開示される技術は、十分に理解されない。

前記第１の装置１１０は、第２の装置１６０の少なくとも１つとのビデオ通話に参加してよい。第１の装置１１０及び参加する各第２の装置１６０は、ビデオ通話に参加するためにデータを送信及び受信してよい。例えば、第１の装置１１０は、カメラ１２０及び奥行き装置１３０を介して、データを捕捉し、エンコーダ１４０を介してデータを符号化し、その符号化されたデータを、参加する第２の装置１６０に送信してよい。同時に、第１の装置１１０は、参加する第２の装置１６０から符号化されたデータを受信するとともに、その受信されたデータを復号してよい。このように、第２の装置１６０は、第１の装置１１０と同一の構成要素を有してもよい。第１の装置１１０及び各第２の装置１６０は、ハードウェアとソフトウェアの任意の組合せを介して、前述のタスク及び後述のタスクを実行してもよい。

図３は、本開示の実施形態に係るビデオ符号化方法３００を例示するフローチャートである。方法３００は、上述の第１の装置１１０において、例えば、エンコーダ１４０において実装されてもよい。また、方法３００は、画像抽出３６５、オブジェクト分割３７０、動き計算３７５及びビデオ符号化３８０の一般的なステップを有してよい。

前記方法３００は、ステップ３０５で開始し、そこでは、ビデオフレームは、カメラ１２０のような、任意の適切なソースから受信される。ステップ３１０では、奥行きフレームは、奥行き装置１３０のような、任意の適切なソースから受信される。上述されるように、ビデオフレーム及び奥行きフレームは、同一時間でのフォーカスの同一領域に対応する。ステップ３１５では、画素データは、ビデオフレームから抽出される。画素データは、ビデオフレーム内の各画素を形成するために使用される、赤、緑及び青の値であってよい。ステップ３２０では、奥行きデータは、奥行きフレームから抽出される。奥行きデータは、奥行きフレーム内の各画素を形成するために使用される強度値であってよいとともに、奥行き装置１３０からオブジェクトまでの相対的な距離を示す。

ステップ３２５では、オブジェクトが分割される。オブジェクトは、例えば、（図２に示されるように、）ビデオフレーム及び奥行きフレームの背景におけるソファであってもよい。ビデオフレーム内の色パターンは、オブジェクトを分割するために使用されてよい。例えば、ソファが赤と白のストライプを有する場合、その時、エンコーダ１４０は、赤と白の色のグループを、ビデオフレームの残りの部分から区別して分割することによって、ソファをビデオフレームの残りの部分から分割する。しかしながら、画素データのみを使用するオブジェクト分割は、比較的複雑で誤りがちである。例えば、ビデオフレームの前景における人物が赤と白のストライプが入ったシャツを着ている場合、その時、エンコーダ１４０は、２つのオブジェクトが同様の模様及び色を共有するため、人物のシャツとソファの両方を１つのオブジェクトとして誤って分割し得る。奥行きデータを使用するオブジェクト分割は、奥行きフレームにおける奥行きパターンを決定する。例えば、ソファは、奥行きフレームの背景において実質的に均一の奥行きにあり、従って、その画素は、それ全体にわたって実質的に同様の強度を示す。ソファは背景にあるため、ソファは、比較的暗い強度を示す。逆に、人物のシャツは前景にあるため、人物のシャツは比較的明るい強度を示す。奥行きデータを使用するオブジェクト分割は、画素データを使用するオブジェクト分割に高度に関係づけられ、２つのオブジェクト分割方法は、互いに補足し合うとともに、改善されたオブジェクト分割を提供することを意味する。明確な前景のオブジェクトと明確な背景のオブジェクトを持つフレームにおいてオブジェクトを分割する場合、改善は特に明白であり得る。例えば、画素データのみを使用するオブジェクト分割は、人物のシャツとソファとを１つの分割されたオブジェクトとして結びつける可能性がある一方で、また、奥行きデータを使用するオブジェクト分割を採用することは、ソファから人物のシャツを区別する助けとなる。従って、画素データと奥行きデータの両方を使用するオブジェクト分割を採用することは、画素データのみを使用するオブジェクト分割と比較して、複雑さを低減し、信頼性を改善する。

ステップ３３０では、方法３００は、分割されたオブジェクトが剛体であるかどうかを判断する。剛体オブジェクトは、ビデオフレーム全体で位置を移動させるが、オブジェクト自体の境界内では、実質的に変化しない、オブジェクトを指してよい。例えば、カメラ１２０が、フォーカスの領域を移動させる場合、ソファはビデオフレーム全体を移動する。しかしながら、ソファそのものは、実質的にその形や色を変化させることはない。逆に、人の顔は、ビデオフレーム全体でその形を変化させ得る。例えば、人は、話すために口を開けたり、まばたきをするために目を閉じたりする。オブジェクトが剛体でない場合、その時、プロセスは、ステップ３５０に進む。ステップ３５０では、エンコーダは、オブジェクトの動き推定を実行して、ステップ３５５に進む。オブジェクトが剛体である場合、その時、方法３００は、ステップ３３５に進む。オブジェクト分割は、例えば、人間の体の残りの部分から人間の胴体のような、より大きなオブジェクトの一部を分割することを有してもよいことに留意することは重要である。このことは、胴体はビデオフレーム全体で剛体のままである一方、顔はビデオフレーム全体でその形を変化させるため、行われ得る。さらに、第１のオブジェクトは、第２のオブジェクトからその奥行きを区別することによって分割されてもよい。第２のオブジェクトは、第１のオブジェクトの背後にあるため、背景にあるものとして考えられてよい。換言すると、「前景」及び「背景」という用語は、相対的な表現において使用されてよい。

ステップ３３５では、オブジェクトは、特定及び追跡される。換言すると、エンコーダ１４０は、上述の２つのオブジェクト分割方法を採用するとともに、有限数の次のフレームにおいて、第１のフレームにおいて分割されたオブジェクトを特定する。方法３００は、その後、どのようにそのオブジェクトがフレーム全体を移動するかを追跡する。

ステップ３４０では、オブジェクトの動きがモデル化される。エンコーダ１４０は、トランスレーショナルなモデルや、幾何学的なモデルや、アフィン形式のモデルや、及び遠近画法モデルを含む、任意の適したグローバルな動きモデルを使用して、モデル化を行う。それらのモデルは、より特有の動きからより一般的な動きに対応する、低次モデルから高次モデルの順序で一覧表示されるとともに、“Global Motion Estimation from Coarsely Sampled Motion Vector Field and the Applications,” Yeping Su, et al., IEEE Transactions on Circuits and Systems for Video Technology, vol. 15, no. 2, February 2005において説明され、その全体において再現されるかのように参照によって組み込まれる。

ステップ３４５では、方法３００は、オブジェクトの各符号化ブロックのための動きベクトルを導出するために、上述のオブジェクトの動きのモデル化を使用する。動きベクトルは、フレーム全体でのオブジェクトの各符号化ブロックの実際の動きの軌跡を記載する。さらに、方法３００は、奥行きフレームから、フレーム全体を移動しないオブジェクトは、動きのない静止背景であると判断する。

前記方法３００では、次に、ステップ３５０又はステップ３５５のいずれかに進む。ステップ３５０に進む場合、方法３００は、上述のように、モデル化されたオブジェクト内の符号化ブロックに対して動き推定を開始するための、より最適な動き予測子を決定するために、導出された動きベクトルを使用し、その後ステップ３５５に進む。そうでなければ、プロセスは、直接ステップ３５５に進む。ステップ３５５では、方法３００は、導出された動きベクトルを含む、データを符号化し、ビデオフレームを記載する。ステップ３６０では、方法３００は、符号化されたデータを出力する。例えば、符号化されたビデオデータを、第２の装置１６０に送信する。剛体オブジェクトに対して動きベクトルを導出して符号化する上述の方法３００を使用することによって、エンコーダは、動き補償に基づくビデオ符号化を使用していると言われてもよい。

本明細書に記載される改善された圧縮効率は、いかに正確にオブジェクトが分割され追跡されるかに依存する。例えば、オブジェクトが比較的明確で簡単な動きを示す、ビデオ会議及びビデオ監視のようなアプリケーションは、最大の改善を示すことができる。

図４は、本開示の実施形態に係るネットワーク装置４００の概略図である。ネットワーク装置４００は、データを受信するための、複数の入力ポート４１０及び／又は受信部（Ｒｘ）４２０と、信号を処理するためのプロセッサ又はロジック部４３０と、他の構成要素へデータを送信するための、複数の出力ポート４４０及び／又は送信部（Ｔｘ）４５０と、メモリ４６０とを有してよい。ネットワーク装置４００は、上述の特徴、方法及び装置を実装するために適していてもよく、それ自体は、図１において示されるとともに、本開示において説明される、第１の装置１１０及び／又は第２の装置１６０の一部であってよい。例えば、入力ポート４１０は、カメラ１２０及び奥行き装置１３０に接続されてもよいとともに、出力ポート４４０は、ネットワーク１５０に接続されてもよい。さらに、エンコーダ１４０は、プロセッサ４３０及び／又はメモリ４６０において実装されてもよい。そのように、プロセッサ４３０及び／又はメモリ４６０は、ビデオ符号化モジュール４７０を有してもよく、方法３００に対応してもよい。ビデオ符号化モジュール４７０は、画像抽出サブモジュール４７５（画像抽出３６５を実装するための命令を有してもよい）と、オブジェクト分割サブモジュール４８０（オブジェクト分割３７０を実装するための命令を有してもよい）と、動き計算サブモジュール４８５（動き計算３７５を実装するための命令を有してもよい）と、ビデオ符号化サブモジュール４９０（ビデオ符号化３８０を実装するための命令を有してもよい）と、を有してもよい。

前記プロセッサ４３０は、中央処理装置（ＣＰＵ）として呼ばれてもよく、入力ポート４１０と、受信部４２０と、出力ポート４４０と、送信部４５０と、メモリ４６０と通信してもよい。プロセッサ４３０は、１つ又は２つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、及び／又はデジタル信号プロセッサ（ＤＳＰ）として実装されてもよく、及び／又は１つ又は２つ以上のＡＳＩＣの一部であってもよい。

前記メモリ４６０は、１つ又は２つ以上のディスク、テープドライブ又はソリッドステートドライブで構成されてよく、データの不揮発性記憶のために、及びオーバーフローデータ記憶装置として使用されてよく、そのようなプログラムが実行のために選択されるとき、プログラムを格納するために使用されてよく、プログラム実行中に読み込まれる命令及びおそらくデータを格納するために使用されてよい。メモリ４６０は、揮発性及び／又は不揮発性であってよいとともに、読出し専用メモリ（ＲＯＭ）及び／又はランダムアクセスメモリ（ＲＡＭ）であってもよい。

少なくとも１つの実施形態が開示されるとともに、当業者によって行われる、実施形態及び／又は実施形態の特徴の変更、組合せ及び／又は修正は、本開示の範囲に包含される。実施形態の特徴を組合せ、統合し及び／又は省略することから生じる別の実施形態もまた、本開示の範囲に包含される。数値範囲又は限定が明示的に記載されているところでは、そのような明示的な範囲又は限定は、明示的に記載された範囲又は限定内（例えば、約１から約１０は、２，３，４等を含み、０．１０よりも大きいときは、０．１１，０．１２，０．１３等を含む）に含まれる大きさの反復範囲又は限定を含むことが理解されることができる。例えば、下限Ｒ_１及び上限Ｒ_ｕを有する数値範囲が開示されるときはいつでも、前記範囲内に含まれる任意の数が具体的に開示されている。特に、前記範囲内の以下の数字が、具体的に開示される：Ｒ＝Ｒ_ｌ＋ｋ*（Ｒ_ｕ−Ｒ_ｌ），ｋは１パーセント刻みで、１パーセントから１００パーセントで変動する変数である。すなわち、ｋは１パーセント，２パーセント，３パーセント，４パーセント，５パーセント，…，５０パーセント，５１パーセント，５２パーセント，…，９５パーセント，９６パーセント，９７パーセント，９８パーセント，９９パーセント，又は１００パーセントである。さらに、上述において定義されるように２つの数Ｒによって定義される任意の数値範囲もまた、具体的に開示される。他に記載されない限り、「約」という用語の使用は、次の数の＋／−１０％を意味する。請求項の任意の要素に関する「任意で」という用語の使用は、要素が必要とされるか、又は要素は必要とされないことを意味し、どちらの選択肢も特許請求の範囲に包含される。「有する」、「含む」及び「持つ」のようなより広範な用語の使用は、「構成する」、「本質的に構成する」及び「実質的に有する」のようなより狭い用語へのサポートを提供することが理解されることができる。したがって、保護の範囲は、上述される説明によって限定されるものではなく、添付の特許請求の範囲によって定義され、その範囲は特許請求の範囲の主題の全ての均等物を含む。各請求項及び全ての請求項は、さらなる開示として明細書に組み込まれるとともに、特許請求の範囲は、本開示の実施形態である。開示における参照の議論は、それが従来技術、特に本出願の優先日後に公表日を持つ任意の参照であることを認めるものではない。本開示において引用される全ての特許、特許出願及び刊行物の開示は、例示的な、手続き的な、又は本開示に対する他の詳細な補足を提供する範囲まで、本明細書で参照によって組み込まれる。

いくつかの実施形態が本開示において提供された一方で、開示されたシステム及び方法は、本開示の主旨又は範囲を逸脱することなく、多くの他の特定の形態で実施されることができることが理解されることができる。本実施例は、例示的であり、及び限定的でないと考えられるべきであり、本明細書で与えられる詳細に限定されるものではないことを意図する。例えば、様々な要素又は構成要素が他のシステムにおいて組み合わされるか、又は統合されるか、あるいはある特徴は省略されるか、又は実装されなくてもよい。

さらに、様々な実施形態において別々に、又は離れて説明及び例示される技術、システム、サブシステム及び方法は、他のシステム、モジュール、技術又は方法と、本開示の範囲を逸脱することなく組み合わされるか、又は統合されてもよい。接続されるか、又は直接接続された、あるいは互いに通信する、示される又は議論される他の項目は、いくつかのインタフェース、装置又は中間構成要素を介して、電気的、機械的又は他の方法で間接接続されるか、又は通信することができる。他の実施例の変更、置換及び改変は、当業者によって確認可能であり、本明細書に開示される主旨及び範囲を逸脱することなく行われることができる。

１１０ 第１の装置
１２０ カメラ
１３０ 奥行きセンサ
１４０ エンコーダ
１５０ ネットワーク
１６０ 第２の装置
４００ ネットワーク装置
４１０ 入力ポート
４２０ 受信部（Ｒｘ）
４３０ プロセッサ
４４０ 出力ポート
４５０ 送信部（Ｔｘ）
４６０ メモリ
４７０ ビデオ符号化モジュール
４７５ 画像抽出サブモジュール
４８０ オブジェクト分割サブモジュール
４８５ 動き計算サブモジュール
４９０ ビデオ符号化サブモジュール

Claims (12)

1. 複数のポートと、
   プロセッサとを有し、前記プロセッサは、
   前記ポートに接続されるとともに、
   前記ポートのいずれかから複数のビデオフレームを受信するように構成され、前記ビデオフレームは、オブジェクト及び背景を有するとともに、前記ビデオフレームは、前記オブジェクト及び前記背景のための複数の色画素を有し、
   前記プロセッサは、前記ポートのいずれかから複数の奥行きフレームを受信するように構成され、前記奥行きフレームは、前記オブジェクト及び前記背景を有するとともに、前記奥行きフレームは、背景の奥行きと相対的なオブジェクトの奥行きの指標を有し、
   前記プロセッサは、前記色画素及び前記背景の奥行きと相対的な前記オブジェクトの奥行きの前記指標を使用して、前記ビデオフレームを符号化するように構成され、
   前記ビデオフレームを符号化することは、
   前記ビデオフレームから前記色画素を抽出することと、
   前記奥行きフレームから、背景の奥行きと相対的なオブジェクトの奥行きの前記指標を抽出することと、
   前記色画素及び前記背景の奥行きと相対的な前記オブジェクトの奥行きの前記指標を使用して、前記背景から前記オブジェクトを分割することであって、分割された前記オブジェクトは、より大きなオブジェクトの一部を含む、分割することと、
   前記オブジェクトが剛体でないと判断された場合、前記オブジェクトに対する動き推定を実行することと、
   前記オブジェクトが剛体であると判断された場合、前記フレームにわたって前記背景全体で前記オブジェクトを追跡し、前記オブジェクトの前記動きをモデル化し、前記オブジェクトの第１の符号化ブロックのための動きベクトルを導出することと、
   前記オブジェクトを符号化することと
   を有する装置。
2. 前記動きベクトルは、前記第１の符号化ブロックの動きを記載するために使用されるが、動き推定は、前記ビデオフレームの第２の符号化ブロックの動きを記載するために使用される、請求項１に記載の装置。
3. 前記モデル化は、トランスレーショナルなモデルや、幾何学的なモデルや、アフィン形式のモデルや、又は遠近画法モデルに基づく、請求項２に記載の装置。
4. 前記背景の奥行きと相対的な前記オブジェクトの奥行きの前記指標は、色の強度における違いによって表される、請求項１に記載の装置。
5. 前記背景の奥行きと相対的な前記オブジェクトの奥行きの前記指標は、奥行きセンサからの前記オブジェクトの数値距離によって表される、請求項１に記載の装置。
6. 前記ビデオフレームは、ビデオ会議や、テレプレゼンスや、又はビデオ監視のために使用される、請求項１に記載の装置。
7. 複数のビデオフレームを取得するように構成されるカメラであって、前記ビデオフレームはオブジェクト及び背景を有するとともに、前記ビデオフレームは、前記オブジェクト及び前記背景のための複数の色画素を有する、前記カメラと、
   複数の奥行きフレームを取得するように構成される奥行き装置であって、前記奥行きフレームは、前記オブジェクト及び前記背景を有するとともに、前記奥行きフレームは、背景の奥行きと相対的なオブジェクトの奥行きの指標を有する、前記奥行き装置と、
   前記カメラ及び前記奥行き装置に接続されるエンコーダであって、前記エンコーダは、前記色画素及び前記背景の奥行きと相対的な前記オブジェクトの奥行きの前記指標を使用して、前記ビデオフレームを符号化するように構成される、前記エンコーダと
   を有し、前記エンコーダは、
   前記ビデオフレームから前記色画素を抽出するとともに前記奥行きフレームから背景の奥行きと相対的なオブジェクトの奥行きの前記指標を抽出するように構成される、画像抽出サブモジュールと、
   前記色画素及び前記背景の奥行きと相対的な前記オブジェクトの奥行きの前記指標を使用して、前記背景から前記オブジェクトを分割するように構成される、オブジェクト分割サブモジュールであって、分割された前記オブジェクトは、より大きなオブジェクトの一部を含む、オブジェクト分割サブモジュールと、
   前記オブジェクトが剛体でないと判断された場合、前記オブジェクトに対する動き推定を実行し、前記オブジェクトが剛体であると判断された場合、前記フレームにわたって前記背景全体で前記オブジェクトを追跡し、前記オブジェクトの前記動きをモデル化し、前記オブジェクトの符号化ブロックのための動きベクトルを導出するように構成される、動き計算サブモジュールと、
   前記オブジェクトを符号化するように構成される、ビデオ符号化サブモジュールと
   を有するシステム。
8. 前記奥行き装置は、赤外線カメラである、請求項７に記載のシステム。
9. 前記奥行き装置は、紫外線カメラである、請求項７に記載のシステム。
10. 前記奥行き装置は、レーダーシステム又はソナーシステムである、請求項７に記載のシステム。
11. 前記奥行き装置は、奥行きセンサや、ライトフィールドカメラや、測距カメラや、相補性金属酸化膜半導体（ＣＭＯＳ）視覚センサや、電荷結合素子（ＣＣＤ）視覚センサや、又は視覚センサの組合せである、請求項８に記載のシステム。
12. ポートのいずれかから複数のビデオフレームを受信するステップであって、前記ビデオフレームは、オブジェクト及び背景を有するとともに、前記ビデオフレームは、前記オブジェクト及び前記背景のための複数の色画素を有する、ステップと、
    前記ポートのいずれかから複数の奥行きフレームを受信するステップであって、前記奥行きフレームは、前記オブジェクト及び前記背景を有するとともに、前記奥行きフレームは、背景の奥行きと相対的なオブジェクトの奥行きの指標を有する、ステップと、
    前記色画素及び前記背景の奥行きと相対的な前記オブジェクトの奥行きの前記指標を使用して前記ビデオフレームを符号化するステップと
    を有し、前記ビデオフレームを符号化するステップは、
    前記ビデオフレームから前記色画素を抽出するステップと、
    前記奥行きフレームから、背景の奥行きと相対的なオブジェクトの奥行きの前記指標を抽出するステップと、
    前記色画素及び前記背景の奥行きと相対的な前記オブジェクトの奥行きの前記指標を使用して、前記背景から前記オブジェクトを分割するステップであって、分割された前記オブジェクトは、より大きなオブジェクトの一部を含む、ステップと、
    前記オブジェクトが剛体でないと判断された場合、前記オブジェクトに対する動き推定を実行するステップと、
    前記オブジェクトが剛体であると判断された場合、前記フレームにわたって前記背景全体で前記オブジェクトを追跡し、前記オブジェクトの前記動きをモデル化し、前記オブジェクトの符号化ブロックのための動きベクトルを導出するステップと、
    前記オブジェクトを符号化するステップと
    を有する方法。

Images