JP6889417B2 - 一連の画像の画像内のオブジェクト境界安定化のための画像処理装置及び方法 - Google Patents

Description

〔関連出願との相互参照／引用による組み入れ〕
なし。

本開示の様々な実施形態は、オブジェクトセグメンテーション技術及び画像背景置換技術に関する。具体的には、本開示の様々な実施形態は、一連の画像フレームの画像内のオブジェクト境界安定化のための画像処理装置及び方法に関する。

最近のビデオ監視システムの分野、ロボット工学及び自動車産業分野におけるマシンビジョンシステム、及び消費者向け電子（ＣＥ）装置の進歩は、画像処理技術の急速な技術開発に因るところが大きい。画像の背景から前景オブジェクトを分離するオブジェクトセグメンテーション法は様々なものが知られているが、複雑さ、精度及び計算リソース要件は、達成すべき目標に基づいて異なる。深度ベースのオブジェクトセグメンテーション法では、オブジェクトセグメンテーションに深度マップを使用することで、カラー画像のみを使用する方法と比べてオブジェクト描写プロセスにおける多くの不確実性を回避することができる。深度マップをもたらす既存の深度センサは未だに精度に欠け、ＲＧＢカメラの解像度の上昇に追いついていない。例えば、深度マップは、深度センサの赤外線（ＩＲ）エミッタからの光が伝播しないことによって領域の深度が不明になる陰影領域（ｓｈａｄｏｗｙ ａｒｅａ）を含むことがある。また、深度マップは、深度が急落して画像フレーム間の揺らぎが強いオブジェクト境界において最も不明確になり得る。最新の深度センサの深度マップが不完全であると、セグメント化されたオブジェクトの境界に、特に映画又はその他のビデオなどの一連の画像フレームのフレーム間で目に見える大きな揺らぎが生じる。結果として生じるアーチファクトは、見る者にとって視覚的に不快である。従って、精密なオブジェクトセグメンテーション及び背景置換の強化のためには、境界揺らぎの量を低減してオブジェクト境界を安定させることが望ましいと考えられる。

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的方法のさらなる制限及び不利点が明らかになるであろう。

少なくとも１つの図に実質的に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示す、一連の画像フレームの画像内のオブジェクト境界安定化のための画像処理装置及び方法を提供する。

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための例示的なネットワーク環境を示すブロック図である。 本開示の実施形態による、例示的な画像処理装置によって処理した深度画像における異なるアーチファクトを示す、シーンの例示的なカラー画像及び深度画像を示す図である。 本開示の実施形態による、例示的な画像処理装置を示すブロック図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作を示す図である。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための例示的な方法を示すフローチャートである。 本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための例示的な方法を示すフローチャートである。

開示する一連の画像フレームの画像内のオブジェクト境界安定化のための画像処理装置及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、第１のタイプのセンサからシーンの深度画像を受け取って第２のタイプのセンサからシーンのカラー画像を受け取ることを含む画像処理装置及び方法を含むことができる。第１のタイプのセンサは、第２のタイプのセンサとは異なることができる。シーンは、少なくとも関心オブジェクトを含むことができる。受け取った深度画像に対する深度閾値動作によって、関心オブジェクトの第１のオブジェクトマスクを取得することができる。第１のオブジェクトマスクの第１のオブジェクト境界上に存在するダングリング画素アーチファクト（ｄａｎｇｌｉｎｇ−ｐｉｘｅｌｓ ａｒｔｉｆａｃｔ）を除去することができる。ダングリング画素アーチファクトの除去後には、カラー画像上で移動テンプレートフィルタを使用して第１のオブジェクトマスクの第１のオブジェクト境界を平滑化することができる。第１のオブジェクト境界の平滑化に基づいて、第２のオブジェクト境界を有する第２のオブジェクトマスクを生成することができる。生成された第２のオブジェクト境界を有する第２のオブジェクトマスクに基づいて、カラー画像からの関心オブジェクトを抽出することができる。

ある実施形態によれば、カラー画像から関心オブジェクトを抽出するために、シーンのカラー画像の処理を第１のタイプのセンサの有効視野（ＦＯＶ）に制限することができる。深度閾値動作によって、閾値深度値を上回る複数の深度値を除外することができる。閾値深度値は、関心オブジェクトの第１のオブジェクトマスクの画素に関連する最大深度値に対応することができる。

ある実施形態によれば、深度画像からゼロ深度アーチファクトを除去することができる。ゼロ深度アーチファクトは、深度画像における深度値が不明な領域に対応することができる。指定基準に基づいて、不明な深度値に関連する画素を背景画素又は前景画素として分類することができる。さらに、深度画像からは、関心オブジェクトの一部が第１のオブジェクトマスク上に影を落とした（ｃａｓｔｅｄ）赤外線（ＩＲ）シャドーを除去することもできる。ＩＲシャドーを除去するために、カラー画像における第１のオブジェクトマスクの外側の背景領域を動的に更新することができる。

ある実施形態によれば、移動テンプレートフィルタは、第１のオブジェクトマスクの内部領域に存在する第１の画素集合と、第１のオブジェクトマスクの外側の外部領域に存在する第２の画素集合とを含むように、第１のオブジェクト境界の境界画素を含むようにカラー画像上に配置することができる。移動テンプレートフィルタ内の第１のオブジェクト境界の法線に沿った画像勾配が最大の画素を検索することができる。第１のオブジェクト境界の法線は、画像勾配を計算する方向を定めることができる。ある実施形態によれば、第１の画素集合と第２の画素集合との間の色値及び輝度値の差分を計算することができる。計算された第１の画素集合と第２の画素集合との間の色値及び輝度値の差分に基づいて、第１のオブジェクト境界を平滑化するための画素候補としての境界画素を識別することができる。

ある実施形態によれば、抽出された関心オブジェクトを、関心オブジェクトの新たな背景をもたらす新たな画像に埋め込むことができる。新たな画像内の関心オブジェクトの第２のオブジェクト境界には、新たな背景へのスムーズな色−輝度混合のための混合動作を適用することができる。第２のオブジェクト境界の境界画素の色値又は輝度値の少なくとも一方を更新することができる。この更新は、境界画素の色値又は輝度値と、境界画素に隣接する画素集合の色値又は輝度値との間の差分に基づいて行うことができる。境界画素に隣接する画素集合は、第２のオブジェクトマスク内の第１の画素数と、新たな画像の新たな背景内の第２の画素数とを含む。

図１Ａは、本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための例示的なネットワーク環境を示すブロック図である。図１Ａにはネットワーク環境１００を示す。ネットワーク環境１００は、画像処理装置１０２と、センサ回路１０４と、サーバ１０６と、通信ネットワーク１０８とを含むことができる。ある実施形態によれば、センサ回路１０４は、画像処理装置１０２と一体化することができる。ある実施形態によれば、センサ回路１０４は、画像処理装置１０２に通信可能に結合された外部センサデバイスとすることができる。センサ回路１０４は、第１のタイプのセンサ１０４ａ及び第２のタイプのセンサ１０４ｂを含むことができる。画像処理装置１０２及びサーバ１０６は、通信ネットワーク１０８を介して互いに通信可能に結合することができる。

画像処理装置１０２は、第１のタイプのセンサ１０４ａからシーンの深度マップを受け取って第２のタイプのセンサ１０４ｂから同じシーンのカラー画像を受け取るように構成できる好適な回路、インターフェイス及び／又はコードを含むことができる。深度マップ及びカラー画像は、同時に受け取って処理することができる。深度センサなどの第１のタイプのセンサ１０４ａ及び第２のタイプのセンサ１０４ｂによって取り込まれるシーンは、１又は２以上のオブジェクトを含むことができる。１又は２以上のオブジェクトの例としては、以下に限定するわけではないが、人間オブジェクト、動物、移動オブジェクト、変形オブジェクト、或いはロボットなどの非人間又は無生物オブジェクト、又は多関節オブジェクトを挙げることができる。多関節オブジェクトとは、関節を介して取り付けられて相対的に動くことができる部分を有するオブジェクトのことである。画像処理装置１０２は、深度マップ及びカラー画像の両方を利用して関心オブジェクトの境界を正確に識別して精緻化するように構成することができる。画像処理装置１０２は、逐次精緻化動作によって、第１のタイプのセンサ１０４ａなどの深度センサの特徴である典型的な深度マップのアーチファクトを除去することができる。画像処理装置１０２は、逐次精緻化動作を実行して関心オブジェクトのオブジェクト境界揺らぎの量を低減するように構成することができる。画像処理装置１０２は、精緻化されたオブジェクト境界を含む精緻化オブジェクトマスクに基づいてカラー画像から関心オブジェクトを抽出するように構成することができる。抽出された関心オブジェクトは、関心オブジェクトの新たな背景をもたらす新たな画像に埋め込むことができる。画像処理装置１０２の例としては、以下に限定するわけではないが、デジタルカメラ、ビデオカメラ、ヘッドマウント装置（ＨＭＤ）、監視装置、スマートホン、スマートメガネ、仮想現実ベース、複合現実ベース又は拡張現実ベースの装置、コンピュータ装置及び／又はその他の消費者向け電子（ＣＥ）装置を挙げることができる。

センサ回路１０４は、同じシーンの深度マップとカラー画像とを同時に取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。センサ回路１０４は、第１のタイプのセンサ１０４ａ及び第２のタイプのセンサ１０４ｂを含むことができる。第１のタイプのセンサ１０４ａは、深度センサ及び赤外線（ＩＲ）エミッタを含むことができる。深度センサは、ＩＲ深度センサとすることができる。第２のタイプのセンサ１０４ｂは、ＲＧＢ画像などのカラー画像を取り込むことができる、例えばＲＧＢカメラなどの画像センサとすることができる。センサ回路１０４は、深度マップ及びカラー画像をローカルバッファ、メモリ及び／又はサーバ１０６に記憶するように構成することができる。

サーバ１０６は、画像処理装置１０２によって取り込まれた一連の画像フレーム及び深度マップを記憶するように構成できる好適な回路、インターフェイス及び／又はコードを含むことができる。サーバ１０６の例としては、以下に限定するわけではないが、データベースサーバ、ファイルサーバ、アプリケーションサーバ、クラウドサーバ、ウェブサーバ、又はこれらの組み合わせを挙げることができる。

通信ネットワーク１０８は、画像処理装置１０２とサーバ１０６とが通信可能に結合できるようにする通信媒体を含むことができる。通信ネットワーク１０８の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、無線フィデリティ（Ｗｉ−Ｆｉ）ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１０８に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ ８０２．１１、ライトフィデリティ（Ｌｉ−Ｆｉ）、８０２．１６、ＩＥＥＥ ８０２．１１ｓ、ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、又はＢｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）通信プロトコル、これらの変形例及び／又は組み合わせを含むことができる。

動作中、画像処理装置１０２は、第１のタイプのセンサ１０４ａからシーンの深度マップを受け取って第２のタイプのセンサ１０４ｂからシーンのカラー画像を受け取るように構成することができる。シーンは、例えばセグメント化すべき関心オブジェクトなどの１又は２以上の前景オブジェクトを含むことができる。画像処理装置１０２は、シーンのカラー画像の処理を、例えば図１Ｂに示すような第１のタイプのセンサ１０４ａの有効視野（ＦＯＶ）に制限するように構成することができる。

図１Ｂに、本開示の実施形態による、例示的な画像処理装置が処理した深度画像における異なるアーチファクトを示す、あるシーンの例示的なカラー画像及び深度画像を示す。図１Ｂには、シーン１１４のＲＧＢ画像１１０ａなどの例示的なカラー画像と、シーン１１４の深度画像１１２ａなどの例示的な深度マップとを示す。ＲＧＢ画像１１０ａは、第１の前景オブジェクト１１８ａと、第２の前景オブジェクト１２０ａと、ＲＧＢカラーチャネルで表される背景１１６ａとを含む。深度画像１１２ａは、第１の前景オブジェクト１１８ａの第１の深度表現１１８ｂと、第２の前景オブジェクト１２０ａの第２の深度表現１２０ｂと、背景１１６ａの第３の深度表現１１６ｂとを含む。深度画像１１２ａには、領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄ及び１２４などのいくつかの陰影領域も示される。

画像処理装置１０２は、受け取った深度画像１１２ａに対する深度閾値動作によって、第１の前景オブジェクト１１８ａなどの関心オブジェクトの第１のオブジェクトマスクを取得するように構成することができる。画像処理装置１０２は、深度閾値動作によって、閾値深度値を上回る複数の深度値を除外するように構成することができる。例えば、センサ回路１０４から（１．５深度値などの）一定メートルの深さ未満に位置する全ての画素は前景オブジェクトに属するものとみなすことができ、これに応じて（単複の）オブジェクトマスクを生成することができる。閾値深度値は、第１の前景オブジェクト１１８ａなどの関心オブジェクトの第１のオブジェクトマスクの画素に関連する最大深度値に対応する。

いくつかのシナリオでは、深度画像１１２ａが、例えば領域１２２ａ、１２２ｂ、１２２ｃ及び１２２ｄに示すような陰影領域を含むことができる。第１のタイプのセンサ１０４ａのＩＲエミッタによって放出されるＩＲ光は、取り込まれたシーン１１４のいくつかの領域に伝播しないこともある。通常、このような光が効果的に伝播しない領域は、深度画像１１２ａにおいて陰影領域として現れ、不明な深度値を有する。この不明な深度値は、ゼロ深度値又は未定義深度値と呼ぶこともできる。例えば、領域１２２ａは、第１のタイプのセンサ１０４ａのＦＯＶの外側に存在するシーン１１４の領域を意味する。第１のタイプのセンサ１０４ａの報告によると、領域１２２ａはゼロ深度値を含むことができる。従って、画像処理装置１０２は、領域１２２ａの０深度アーチファクトを解決するために、シーン１１４のＲＧＢ画像１１０ａの処理を、例えば図１Ｂの平行な点線で示すような第１のタイプのセンサ１０４ａのＦＯＶに制限するように構成することができる。

領域１２２ｂは、深度画像１１２ａの第３の深度表現１１６ｂ（すなわち、背景１１６ａに対応する）における領域を意味することができ、やはりゼロ深度値を含むことができる。領域１２２ｂは、非ゼロ深度領域との境界を有することができ、領域１２２ｂと隣接する非ゼロ深度領域との間の差分は閾値深度値を上回ることができる。換言すれば、領域１２２ｂは、領域１２２ｂと境界を共有する近隣の非ゼロ深度領域と比べてシーン１１４の深度の急落を示すことができる。領域１２２ｃは、深度画像１１２ａの第３の深度表現１１６ｂにおける陰影領域を意味することができ、やはりゼロ深度値を含むことができる。領域１２２ｃにおけるゼロ深度値は、第１の前景オブジェクト１１８ａなどの前景オブジェクトが背景１１６ａ上に影を落とした領域１２２ｃにおけるＩＲシャドーの結果として生じることができる。

いくつかのシナリオでは、領域１２２ｄによって示すように、第１の前景オブジェクト１１８ａなどの前景オブジェクトの一部がそれ自体に影を落とすこともある。従って、第１のタイプのセンサ１０４ａのＩＲエミッタによって放出されたＩＲ光は領域１２２ｄに伝播できないため、領域１２２ｄもゼロ深度値を含むことができる。画像処理装置１０２は、深度画像１１２ａからゼロ深度アーチファクトを除去するように構成することができる。ゼロ深度アーチファクトは、例えば深度画像１１２ａにおける領域１２２ａ、１２２ｂ、１２２ｃ及び１２２ｄなどの、深度値が不明な領域に対応する。画像処理装置１０２は、指定基準に基づいて、これらの不明な深度値に関連する画素を背景画素又は前景画素として分類するように構成することができる。画素の分類は、関心オブジェクトの第１のオブジェクトマスクなどの正しいオブジェクトマスクを取得するために行うことができる。画素の分類及び指定基準については、図３Ａ〜図３Ｉで詳細に説明する。

ある実施形態によれば、画像処理装置１０２は、第１のオブジェクトマスクの第１のオブジェクト境界上に存在するダングリング画素アーチファクトを除去するように構成することができる。「ダングリング（ｄａｎｇｌｉｎｇ）」又はダングリング画素アーチファクトは、深度画像１１２ａのＩＲシャドー領域に隣接する第１のオブジェクト境界に大きな揺らぎを示すことができる。これらの第１のオブジェクト境界における領域１２４などのＩＲシャドー領域では、フレーム毎及び画素毎にオブジェクト境界の揺らぎが生じ得る。領域１２４は、第１の前景オブジェクト１１８ａなどの関心オブジェクトの第１のオブジェクト境界及びその周囲にダングリング画素アーチファクトを引き起こす、（第１のタイプのセンサ１０４ａによって報告される）深度画像１１２ａ内の無秩序な深度を示す。ダングリング画素アーチファクトの例については、図３Ａ及び図３Ｃにさらに図示して説明する。画像処理装置１０２は、近隣の３×３画素内の画素が少なくとも１つの深度未定義画素（例えば、ゼロ深度値を含む画素）を有している時に、この画素にダングリング画素としてマーク付けするように構成することができる。

ある実施形態によれば、画像処理装置１０２は、ゼロ深度アーチファクト及びダングリング画素アーチファクトの除去後に、ＲＧＢ画像１１０ａ上で移動テンプレートフィルタを用いて第１のオブジェクトマスクの第１のオブジェクト境界を平滑化するように構成することができる。平滑化動作については、図３Ａ、図３Ｅ、図３Ｆ、図３Ｇ、図３Ｈ及び図３Ｉで詳細に説明する。画像処理装置１０２は、第１のオブジェクト境界の平滑化に基づいて、第２のオブジェクト境界を有する第２のオブジェクトマスクを生成するように構成することができる。画像処理装置１０２は、生成された第２のオブジェクト境界を有する第２のオブジェクトマスクに基づいて、ＲＧＢ画像１１０ａから関心オブジェクトを抽出するように構成することができる。画像処理装置１０２は、抽出された関心オブジェクトを、関心オブジェクトの新たな背景をもたらす新たな画像に埋め込むように構成することができる。画像処理装置１０２は、新たな画像内の関心オブジェクトの第２のオブジェクト境界に、新たな背景へのスムーズな色−輝度混合のための混合動作を適用するように構成することができる。混合動作については、例えば図３Ａ及び図３Ｍで詳細に説明する。

ある実施形態によれば、一連の画像フレームのＲＧＢ画像１１０ａなどの各ソースカラー画像から関心オブジェクトを抽出し、各新たなビデオ画像フレームにおいてフレーム毎にリアルタイム又は近リアルタイムで混合することができる。画像処理装置１０２は、新たな画像フレーム及び後続の画像フレームに埋め込まれた関心オブジェクト及び置換された背景を含むビデオを、通信ネットワーク１０８を介してサーバ１０６に通信するようにさらに構成することができる。サーバ１０６は、修正されたビデオを記憶するように構成することができる。

開示する映画又はその他のビデオなどの一連の画像フレームの画像内のオブジェクト境界安定化のための画像処理装置１０２は、ビデオ監視、自動ビデオ編集システム、自動背景置換システム、又は一連の入力画像フレームの取り込み中の異なる時点で位置又は配向を変化させるオブジェクトの追跡などの様々な応用分野で実装することができる。開示する画像処理装置１０２及び方法は、人間又はその他の多関節オブジェクトのビデオ監視、ゲームシステムにおけるオブジェクト追跡、或いはリアルタイム又は近リアルタイムオブジェクトセグメンテーション、及び新たな背景におけるオブジェクトの混合などの実際の追跡用途に適することができる。

図２は、本開示の実施形態による、例示的な画像処理装置を示すブロック図である。図２の説明は、図１Ａ及び図１Ｂの要素に関連して行う。図２には画像処理装置１０２を示す。画像処理装置１０２は、画像プロセッサ２０２などの１又は２以上の回路と、メモリ２０４と、オブジェクト混合プロセッサ２０６と、Ｉ／Ｏ装置２０８と、ネットワークインターフェイス２１０とを含むことができる。Ｉ／Ｏ装置２０８は、センサ回路１０４及びディスプレイ２０８Ａを含むことができる。１つの例では、センサ回路１０４を画像処理装置１０２の内蔵ユニットとして示す。画像プロセッサ２０２は、メモリ２０４、オブジェクト混合プロセッサ２０６、Ｉ／Ｏ装置２０８、ネットワークインターフェイス２１０及びセンサ回路１０４に通信可能に結合することができる。ネットワークインターフェイス２１０は、通信ネットワーク１０８を介したサーバ１０６との通信を容易にすることができる。

画像プロセッサ２０２は、ゼロ深度アーチファクト及びダングリング画素アーチファクトなどの様々なタイプのアーチファクトの除去後に、受け取ったカラー画像上で移動テンプレートフィルタを用いて第１のオブジェクトマスクの第１のオブジェクト境界を平滑化するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。画像プロセッサ２０２は、第１のオブジェクト境界の平滑化に基づいて、第２のオブジェクト境界を有する第２のオブジェクトマスクを生成するように構成することができる。その後、精緻化されたオブジェクト境界である第２のオブジェクト境界を有する生成された第２のオブジェクトマスクに基づいて、カラー画像から関心オブジェクトを抽出することができる。画像プロセッサ２０２は、メモリ２０４に記憶された命令セットを実行するように構成することができる。画像プロセッサ２０２は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。画像プロセッサ２０２の例は、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）、ハードウェアプロセッサ、中央処理装置（ＣＰＵ）、及び／又はその他のプロセッサ又は制御回路とすることができる。

メモリ２０４は、深度マップ及びカラー画像をメモリ２０４のローカル画像バッファに記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。メモリ２０４は、画像プロセッサ２０２が実行できる命令セットを記憶することもできる。メモリ２０４は、オペレーティングシステム及び関連するアプリケーションを記憶するように構成することができる。メモリ２０４の例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

オブジェクト混合プロセッサ２０６は、新たな画像における関心オブジェクトの第２のオブジェクト境界に、新たな背景へのスムーズな色−輝度混合のための平滑化動作を適用するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。オブジェクト混合プロセッサ２０６は、（コプロセッサなどの）別個のプロセッサ、又は画像処理装置１０２内の回路として実装することができる。オブジェクト混合プロセッサ２０６及び画像プロセッサ２０２は、オブジェクト混合プロセッサ２０６及び画像プロセッサ２０２の機能を実行する統合プロセッサ又はプロセッサ群として実装することもできる。

Ｉ／Ｏ装置２０８は、入力を受け取ってユーザに出力を提供するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２０８は、画像プロセッサ２０２と通信するように構成できる様々な入出力装置を含むことができる。入力装置の例としては、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、マイク、及び／又はセンサ回路１０４を挙げることができる。出力装置の例としては、限定するわけではないが、ディスプレイ２０８Ａ及び／又はスピーカを挙げることができる。

ディスプレイ２０８Ａは、抽出された関心オブジェクトを描画するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態によれば、ディスプレイ２０８Ａは、ユーザからの入力を受け取ることができる。このようなシナリオでは、ディスプレイ２０８Ａを、ユーザによる入力の提供を可能にするタッチ画面とすることができる。タッチ画面は、抵抗性タッチ画面、容量性タッチ画面、又は熱タッチ画面のうちの少なくとも１つに対応することができる。ある実施形態によれば、ディスプレイ２０８Ａは、仮想キーパッド、スタイラス、ジェスチャ式入力、及び／又はタッチ式入力を通じて入力を受け取ることができる。ディスプレイ２０８Ａは、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、及び／又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、及び／又はその他のディスプレイのうちの少なくとも１つなどの複数の既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ２０８Ａは、スマートメガネ装置のディスプレイ画面、シースルーディスプレイ、投射型ディスプレイ、エレクトロクロミックディスプレイ、カットトゥシェイプディスプレイ及び／又は透明ディスプレイを意味することができる。シースルーディスプレイは、透明ディスプレイ又は半透明ディスプレイとすることができる。ある実施形態によれば、シースルーディスプレイ及び／又は投射型ディスプレイは、抽出された関心オブジェクト及び透明の背景がユーザなどのユーザの目から所定の距離の空中に浮かんでいるという視覚的錯覚を引き起こすことによってユーザ体験を強化することができる。

ネットワークインターフェイス２１０は、通信ネットワーク１０８を介した画像処理装置１０２とサーバ１０６との間の通信を容易にするように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２１０は、画像処理装置１０２と通信ネットワーク１０８との有線又は無線通信をサポートする様々な既知の技術を用いて実装することができる。ネットワークインターフェイス２１０は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ−デコーダ（ＣＯＤＥＣ）チップセット、加入者アイデンティティモジュール（ＳＩＭ）カード及び／又はローカルバッファを含むことができる。ネットワークインターフェイス２１０は、無線通信を介して、インターネット、イントラネット、及び／又はセルラー電話網、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと通信することができる。無線通信は、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールプロトコル、インスタントメッセージング及び／又はショートメッセージサービスなどの複数の通信規格、通信プロトコル及び通信技術のいずれかを使用することができる。

図１Ａ及び図１Ｂで説明したような画像処理装置１０２によって実行される機能及び／又は動作は、画像プロセッサ２０２及び／又はオブジェクト混合プロセッサ２０６によって実行することができる。画像プロセッサ２０２及びオブジェクト混合プロセッサ２０６によって実行される他の動作については、例えば図３Ａ〜図３Ｍ、図４Ａ及び図４Ｂでさらに説明する。

図３Ａ〜図３Ｍに、本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための、図２の画像処理装置の例示的な動作をまとめて示す。図３Ａ〜図３Ｍの説明は、図１Ａ、図１Ｂ及び図２の要素に関連して行う。図３Ａには、本開示の実施形態による、オブジェクトマスク精緻化及び新たな背景内へのオブジェクト混合の例示的な処理パイプライン３００を示す。

３０２において、画像プロセッサ２０２は、第１のタイプのセンサ１０４ａからシーン１１４の深度画像１１２ａを受け取って第２のタイプのセンサ１０４ｂからシーン１１４のＲＧＢ画像１１０ａを受け取るように構成することができる。３０４において、画像プロセッサ２０２は、受け取った深度画像１１２ａに対する深度閾値動作によって、第１の前景オブジェクト１１８ａなどの関心オブジェクトの第１のオブジェクト境界３０４Ｂを有する第１のオブジェクトマスク３０４Ａを取得するように構成することができる。シーン１１４における、第１のタイプのセンサ１０４ａに近接するオブジェクトは、第１のタイプのセンサ１０４ａから離れて位置するオブジェクトに比べて小さな深度を有することができる。いくつかの例では、深度閾値動作において、第２の前景オブジェクト１２０ａなどのオブジェクトがシーン１１４において第１の前景オブジェクト１１８ａと同様の深さに存在する場合、さらなるマスク３０４Ｃを取得することもできる。このようなさらなるマスク３０４Ｃは、後で破棄することができる。画像プロセッサ２０２は、第１の前景オブジェクト１１８ａなどの関心オブジェクトの最大深度値を推定するように構成することができる。その後、画像プロセッサ２０２は、深度閾値動作によって、閾値深度値を上回る全ての深度値を除外するように構成することができる。閾値深度値は、第１の前景オブジェクト１１８ａなどの関心オブジェクトの画素に関連する推定された最大深度値に基づいて動的に計算することができる。通常、第１のタイプのセンサ１０４ａなどの最新の深度センサから受け取られるような深度情報は不完全であり、従って深度画像１１２ａは、図１Ｂで観察して説明したような領域１２２ａ〜１２２ｄ及び領域１２４などの陰影領域を含む。深度画像１１２ａなどの深度マップが不完全性であると、オブジェクトの第１のオブジェクト境界３０４Ｂなどの境界に、特に一連の画像フレームのフレーム間で目に見える大きな揺らぎが生じる。従って、従来の深度ベースのセグメンテーション法に基づいて取得されたオブジェクトマスクに基づいてオブジェクトを直接セグメント化しる場合には、見る者にとって不快なアーチファクトがもたらされることがある。従って、画像プロセッサ２０２は、第１のオブジェクト境界３０４Ｂ上の揺らぎの量を低減する一連の精緻化動作を実行する。画像プロセッサ２０２は、第１のオブジェクト境界３０４Ｂを有する第１のオブジェクトマスク３０４Ａを好適に精緻化することができる。

３０６Ａにおいて、画像プロセッサ２０２は、第１のオブジェクトマスク３０４Ａ上及びその周囲のドット様アーチファクトを除去するように構成することができる。ドット様アーチファクトは、ゼロ深度アーチファクトに対応する。第１のオブジェクトマスク３０４Ａ上及びその周囲のゼロ深度アーチファクトの除去については、例えば図３Ｂから詳細に理解することができる。次に、図３Ｂに、第１のオブジェクトマスク３０４Ａ上及びその周囲のゼロ深度（又はドット様）アーチファクトの除去について説明するゼロ深度分類マップ３１８を示す。ゼロ深度分類マップ３１８は、第１のオブジェクトマスク３０４Ａと、さらなるマスク３０４Ｃと、（点線パターンによって示す）背景領域３２０とを含む。背景領域３２０は黒色又はモノクロとすることができ、領域３２２Ａ及び３２２Ｂを含む。領域３２２Ａ及び３２２Ｂは、ゼロ深度アーチファクトが処理されて非ゼロ深度画素に更新される処理領域に対応する。

画像プロセッサ２０２は、深度画像１１２ａ内の、非ゼロ深度領域との境界を有する（図１Ｂ及び図３Ａに図示し、図３Ｂには図示していない領域１２２ｂなどの）１又は２以上のゼロ深度連結領域を発見するように構成することができる。領域１２２ｂは、領域１２２ｂと境界を共有する近隣の非ゼロ深度領域に比べてシーン１１４の深度の急落を示すことができる。いくつかの例では、境界画素の大部分、すなわち領域１２２ｂと境界を共有する画素が、第１の前景オブジェクト１１８ａなどの前景オブジェクトの最大深度よりも大きな深度値を含むことができる。このような場合、画像プロセッサ２０２は、第１の精緻化動作において、領域１２２ｂなどの１又は２以上のゼロ深度連結領域を非ゼロ深度値と共に分類するように構成することができる。分類される深度値は、境界画素（すなわち、領域１２２ｂと境界を共有する画素）の深度値に類似することができる。例えば図３Ｂのゼロ深度分類マップ３１８における領域３２２Ａは、その後に１又は２以上のゼロ深度連結領域内で深度値が非ゼロ深度値に分類される画素を表す。ある実施形態によれば、画像プロセッサ２０２は、これらの領域３２２Ａを、ゼロ深度分類マップ３１８の背景領域３２０とは異なるシアンなどの色で修復するように構成することができる。従って、第１の精緻化動作では、（シーン１１４（図１Ｂ）の深度の急落を示す）領域１２２ｂからのゼロ深度アーチファクトが除去される。

ある実施形態によれば、画像プロセッサ２０２は、第１のオブジェクト境界３０４Ｂを含む第１のオブジェクトマスク３０４Ａと、さらなるマスク３０４Ｃの全ての画素とを前景画素として分類するように構成することができる。ゼロ深度分類マップ３１８では、このような前景画素に赤色などの異なる色を付けることができる。このような前景画素は、深度閾値動作に使用される閾値深度値未満の深度を含むことができる。例えば、センサ回路１０４から深さ１．５メートル（すなわち、１．５深度値）未満に位置する全ての画素は前景オブジェクトに属するものとみなすことができ、ゼロ深度分類マップ３１８において赤色などの異なる色を付けることができる。その後、画像プロセッサ２０２は、例えば第１の前景オブジェクト１１８ａ及び第２の前景オブジェクト１２０ａなどの（単複の）前景オブジェクトの最も左側の画素（境界画素）から開始して、行内の次の画素を非ゼロ深度画素に遭遇するまで一定方向に（すなわち、（単複の）前景オブジェクトの境界画素から背景領域３２０に向かって行毎に）チェックするように構成することができる。例えば、画像プロセッサ２０２は、第１のオブジェクトマスク３０４Ａの第１のオブジェクト境界３０４Ｂの最も左側の境界画素から開始して、矢印３２４で示すように行内の後続の画素を左方向に向かって非ゼロ深度画素に遭遇するまでチェックするように構成することができる。画素が第１の前景オブジェクト１１８ａの最大深度値よりも大きな深度値を有する場合には、非ゼロ深度値を有する全てのチェック済みの画素が背景画素として分類される。さらなるマスク３０４Ｃの境界画素からも、矢印３２６で示すような同様のチェック及び非ゼロ深度値を有する画素の分類を実行することができる。従って、この分類に基づいて、それまでに非ゼロ深度アーチファクト又はドット様アーチファクトを含んでいた領域３２２Ｂを除去することができる。領域３２２Ｂは、深度画像１１２ａ内の画素の分類が更新される領域１２２ｃ及び１２４（図１Ｂ及び図３Ａ）に対応することができる。ゼロ深度分類マップ３１８では、領域１２２Ｂを緑色などの一意的な色によって表すことができる。

ここで再び図３Ａを参照すると、３０６Ｂにおいて、画像プロセッサ２０２を、ＲＧＢ画像１１０ａにおける第１のオブジェクトマスク３０４Ａの外側の背景１１６ａを動的に更新するように構成することができる。背景１１６ａ内のゼロ深度値を有している一部の画素が実際には背景領域に属しているという知識をＲＧＢ画像１１０ａの背景１１６ａの動的更新に利用し、これによって背景１１６ａ内の特定のブラインドスポット又はドット様アーチファクトを除去することができる。換言すれば、更新された背景１１６ａは、第１の前景オブジェクト１１８ａ及び第２の前景オブジェクト１２０ａなどの前景オブジェクトと、ブラインドスポット又はドット様アーチファクトとを含まないＲＧＢ背景画像とすることができる。

３０８において、画像プロセッサ２０２は、第１のオブジェクトマスク３０４Ａの第１のオブジェクト境界３０４Ｂ上に存在するダングリング画素アーチファクトを除去するように構成することができる。第１のオブジェクトマスク３０４Ａの周囲のドット様アーチファクト又はいくつかのゼロ深度アーチファクトの除去後には、第１のオブジェクトマスク３０４Ａの第１のオブジェクト境界３０４Ｂ上に存在するダングリング画素アーチファクトを除去することができる。ダングリング画素アーチファクトの除去については、図３Ｃからさらに理解することができる。次に、図３Ｃの例にダングリング画素アーチファクト３２６を示す。ダングリング画素アーチファクト３２６は、深度画像１１２ａのＩＲシャドー領域に隣接する第１のオブジェクト境界３０４Ｂに大きな揺らぎを示すことができる。これらの第１のオブジェクト境界３０４Ｂにおける領域１２４（図１Ｂ及び図３Ａ）などのＩＲシャドー領域では、フレーム毎及び画素毎にオブジェクト境界の揺らぎが生じ得る。ダングリング画素アーチファクト３２６は、深度画像１１２ａの領域１２４（図１Ｂ及び図３Ａ）に示すような無秩序な深度に起因して生じる。画像プロセッサ２０２は、近隣の「３×３」画素内の画素が少なくとも１つの深度未定義画素（例えば、ゼロ深度値を含む画素）を有している時に、第１のオブジェクト境界３０４Ｂにおける画素にダングリング画素としてタグ付けするように構成することができる。ダングリング画素アーチファクト３２６を識別してタグ付けしたら、ダングリング画素アーチファクト３２６を除去することができる。

ここで再び図３Ａを参照すると、３１０において、画像プロセッサ２０２を、第１のオブジェクトマスク３０４Ａから自己陰影（ｓｅｌｆ−ｓｈａｄｏｗ）を除去するように構成することができる。第１のオブジェクトマスク３０４Ａから自己陰影を除去することについては、図３Ｄからさらに理解することができる。次に、図３Ｄに、第１のオブジェクトマスク３０４Ａ内の自己陰影領域３２８を示す。いくつかのシナリオでは、第１の前景オブジェクト１１８ａなどの前景オブジェクトの一部がそれ自体に影を落とすことがあり、これを自己陰影と呼ぶ。自己陰影領域３２８は、領域１２２ｄ（図１Ｂ及び図３Ａ）に対応する。従って、第１のタイプのセンサ１０４ａのＩＲエミッタによって放出されるＩＲ光がいくつかの領域に伝播しない結果、第１のオブジェクトマスク３０４Ａに自己陰影領域３２８が生じるため、自己陰影領域３２８内の画素もゼロ深度値を含むことができる。画像プロセッサ２０２は、ＲＧＢ画像１１０ａの第１のオブジェクトマスク３０４Ａの外側のゼロ深度アーチファクトの除去、及び第１のオブジェクトマスク３０４Ａの外側の背景１１６ａの動的更新後に、第１のオブジェクトマスク３０４Ａ内の画素を処理するように構成することができる。第１の前景オブジェクト１１８ａの第１のオブジェクトマスク３０４Ａ内の画素がゼロ深度値を有する場合には、第１のオブジェクトマスク３０４Ａ内のゼロ深度値を有する全ての処理済みの画素を前景画素として分類することができる。

ここで再び図３Ａを参照すると、３１２において、画像プロセッサ２０２を、ＲＧＢ画像１１０ａ上で移動テンプレートフィルタを用いて第１のオブジェクトマスク３０４Ａの第１のオブジェクト境界３０４Ｂを平滑化するように構成することができる。移動テンプレートフィルタを用いた第１のオブジェクト境界３０４Ｂの平滑化については、例えば図３Ｅ、図３Ｆ、図３Ｇ、図３Ｈ及び図３Ｉから詳細に理解することができる。次に、図３Ｅに、移動テンプレートフィルタ３３０と、（矢印で示す）法線３３０Ａと、外部帯域３３２と、内部帯域３３４と、境界画素帯域３３６と、境界画素帯域３３６のアンカー画素３３６ａとを示す。画像プロセッサ２０２は、第１の前景オブジェクト１１８ａなどの関心オブジェクトの初期オブジェクト境界を定めるように構成することができる。ゼロ深度アーチファクト、ダングリング画素アーチファクト３２６及び自己陰影などの全てのアーチファクトの除去後には、メモリ２０４に記憶されているセグメンテーションアルゴリズムを用いて第１のオブジェクト境界３０４Ｂなどの初期オブジェクト境界を定めることができる。画像プロセッサ２０２は、境界画素の画素座標を取得する。

移動テンプレートフィルタ３３０は、境界画素帯域３３６に沿って移動するテンプレートベースの移動ウィンドウとすることができる。ある実施形態によれば、移動テンプレートフィルタ３３０のテンプレート形状を円形とすることができる。いくつかの実施形態では、本開示の範囲を限定することなく、テンプレートの形状を楕円形又は多角形とすることもできる。例に示すように、（ドットパターンで表す）外部帯域３３２は、第１のオブジェクトマスク３０４Ａの第１のオブジェクト境界３０４Ｂの外側の近隣画素群である。例に示すように、（斜線パターンで表す）内部帯域３３４は、第１のオブジェクトマスク３０４Ａの第１のオブジェクト境界３０４Ｂの内側の近隣画素群である。境界画素帯域３３６は、第１のオブジェクトマスク３０４Ａの第１のオブジェクト境界３０４Ｂの境界画素を含む。境界画素帯域３３６については、外部帯域３３２と内部帯域３３４との間の白色の画素によって表す。

ある実施形態によれば、移動テンプレートフィルタ３３０は、第１のオブジェクトマスク３０４Ａの（内部帯域３３４などの）内部領域に位置する第１の画素集合と、第１のオブジェクトマスク３０４Ａの外側の（外部帯域３３２などの）外部領域に位置する第２の画素集合とを含むことができるように、第１のオブジェクト境界３０４Ｂのアンカー画素３３６ａなどの境界画素を含むようにＲＧＢ画像１１０ａ上に配置することができる。換言すれば、移動テンプレートフィルタ３３０内の画素は、境界画素の両側に２つの部分集合、すなわち第１の画素集合（内部画素）及び第２の画素集合（外部画素）を形成する。移動テンプレートフィルタ３３０が境界画素（すなわち、アンカー画素３３６ａ）上に中心を置くと、第１の画素集合及び第２の画素集合への正確な分割を行うことができる。第１のオブジェクト境界３０４Ｂの（矢印で表す）法線３３０Ａは、移動テンプレートフィルタ３３０の最良位置の検索方向を定めることができる。

ある実施形態によれば、画像プロセッサ２０２は、アンカー画素３３６ａを通る法線３３０Ａ沿いの画素に逐次的に移動テンプレートフィルタ３３０を適用するように構成することができる。画像プロセッサ２０２は、移動テンプレートフィルタ３３０内の第１の画素集合と第２の画素集合との間の色値及び輝度値の差分を計算するように構成することができる。換言すれば、移動テンプレートフィルタ３３０が境界画素に沿って移動した時のフィルタの各位置において、第１の画素集合と第２の画素集合との間の色−輝度の差分を計算することができる。法線３３０Ａに沿った最大色−輝度差分をもたらす移動テンプレートフィルタ３３０の位置は、第１のオブジェクト境界３０４Ｂの精緻化候補とすることができる。換言すれば、画像プロセッサ２０２は、第１の画素集合と第２の画素集合との間の計算された色値及び輝度値の差分に基づいて、第１のオブジェクト境界３０４Ｂを平滑化する画素候補としての境界画素を識別するように構成することができる。柔軟かつ指向的なフィルタとして動作する移動テンプレートフィルタ３３０には多くの利点がある。例えば、移動テンプレートフィルタ３３０の形状は、第１のオブジェクト境界３０４Ｂなどのオブジェクトの境界の局所的形状に合わせて調整することができる。さらに、移動テンプレートフィルタ３３０による平滑化は、非局所的輝度変換に対して不変である。さらに、移動テンプレートフィルタ３３０による平滑化は非常に高速であり、検索長さを乗じた境界画素数、及び移動テンプレートフィルタ３３０内の総画素数の複雑性が単純である。

図３Ｆ〜図３Ｉに、第１のオブジェクトマスク３０４Ａなどのオブジェクトマスク内で行うことができる、第１のオブジェクトマスク３０４Ａの例示的な調整を示す。まず、図３Ｆに、（白色の画素で表す）初期オブジェクトマスク３３８Ａと、（ドット様の画素で表す）初期背景３４０Ａとを示す。初期オブジェクトマスク３３８Ａは、第１のオブジェクトマスク３０４Ａに対応する。初期背景３４０Ａは、背景１１６ａに対応する。図３Ｇには、初期オブジェクトマスク３３８Ａを調整するための（線パターンで表す）帯域３４２をさらに示す。帯域３４２は、内部帯域３３４（図３Ｅ）に対応する。図３Ｈには、帯域３４２内の調整されたオブジェクト境界３４４をさらに示す。画像プロセッサ２０２は、移動テンプレートフィルタ３３０内で（第１のオブジェクトマスク３０４Ａの第１のオブジェクト境界３０４Ｂなどの）初期オブジェクトマスク３３８Ａの初期オブジェクト境界の（図３の）法線３３０Ａに沿った画像勾配が最大の画素を発見するように構成することができる。初期オブジェクト境界の（図３Ｅの）法線３３０Ａは、画像勾配を計算する方向を定める。画素３４６などの、法線３３０Ａに沿った画像勾配が最大のいくつかの画素は、調整されたオブジェクト境界３４４を定める。図３Ｉには、調整された背景３４０Ｂと、調整されたオブジェクトマスク３３８Ｂと、調整されたオブジェクト境界３４４と、画像勾配が最大の画素３４６とを示す。調整されたオブジェクトマスク３３８Ｂは、第２のオブジェクトマスクに対応し、調整されたオブジェクト境界３４４は、第２のオブジェクトマスクの第２のオブジェクト境界に対応する。いくつかの実施形態では、第１のオブジェクト境界３０４Ｂなどのオブジェクト境界に（移動テンプレートフィルタ３３０などを使用して）移動平均を適用することによって、フレーム間のオブジェクト境界の揺らぎを大幅に低減することができる。移動テンプレートフィルタ３３０の最適な長さは、カラー画像のサイズに依存することができる。例えば、高解像度（ＨＤ）画像では、移動テンプレートフィルタ３３０の最適な長さを約２１画素とすることができる。

次に、図３Ｊに、第２のオブジェクト境界３４８Ｂを有する第２のオブジェクトマスク３４８Ａを示す。第２のオブジェクトマスク３４８Ａの位置は、第１の前景オブジェクト１１８ａの現在位置に対応する。画像プロセッサ２０２は、第１のオブジェクト境界３０４Ｂの平滑化に基づいて、第２のオブジェクト境界３４８Ｂを有する第２のオブジェクトマスク３４８Ａを生成するように構成することができる。従って、画像プロセッサ２０２は、第１のオブジェクト境界３０４Ｂなどの初期オブジェクト境界における揺らぎの量を低減してオブジェクト境界を安定化させるために一連の精緻化動作（例えば、図３Ａの処理パイプライン３００及び図３Ｂ〜図３Ｉに示すような動作３０６Ａ、３０６Ｂ、３０８、３１０及び３１２）を実行する。

図３Ｋには、ＲＧＢ画像１１０ａの背景１１６ａから描出した第１の前景オブジェクト１１８ａなどの例示的な最終セグメンテーション結果３５０を示す。画像プロセッサ２０２は、生成された第２のオブジェクト境界３４８Ｂを有する第２のオブジェクトマスク３４８Ａに基づいて、ＲＧＢ画像１１０ａから第１の前景オブジェクト１１８ａなどの関心オブジェクトを抽出するように構成することができる。生成された第２のオブジェクト境界３４８Ｂを有する第２のオブジェクトマスク３４８Ａは、精緻化された第１のオブジェクト境界３０４Ｂを有する精緻化された第１のオブジェクトマスク３０４Ａに対応する。最終セグメンテーション結果３５０は、ゼロ深度アーチファクト又はドット様アーチファクト、ダングリング画素アーチファクト３２６及び自己陰影などのいずれのアーチファクトも伴わないことができる。

ここで再び図３Ａを参照すると、３１４において、画像プロセッサ２０２を、第１の前景オブジェクト１１８ａに新たな背景をもたらす新たなＲＧＢ画像を検索するように構成することができる。新たなＲＧＢ画像は、ＲＧＢ画像１１０ａとは異なることができる。図３Ｌに、第１の前景オブジェクト１１８ａなどの抽出された関心オブジェクトの背景置換動作を示す。図３Ｌには、画像３５２と画像３５２の背景３５４とを示す。画像処理装置１０２は、第１の前景オブジェクト１１８ａなどの抽出された関心オブジェクトを、第１の前景オブジェクト１１８ａの背景３５４などの新たな背景をもたらす画像３５２などの新たな画像に埋め込むように構成することができる。通常、第１の前景オブジェクト１１８ａなどの抽出された関心オブジェクトを新たな背景に埋め込むと、第１の前景オブジェクト１１８ａと背景３５４などの新たな背景との間の色−輝度値の変化に起因して容易に気付く。

ここで再び図３Ａを参照すると、３１６において、オブジェクト混合プロセッサ２０６を、最後に第２のオブジェクト境界３４８Ｂに、新たな背景へのスムーズな色−輝度移行のための新たな背景との混合動作を適用するように構成することができる。図３Ｍに、新たな画像内の関心オブジェクトの精緻化されたオブジェクト境界に適用される新たな背景へのスムーズな色−輝度混合のための混合動作を示す。図３Ｍには、オブジェクト外層（ｅｘｔｅｒｎａｌ−ｔｏ−ｏｂｊｅｃｔ ｌａｙｅｒ）３５６と、オブジェクト隣接内層（ｎｅｘｔ−ｔｏ−ｏｂｊｅｃｔ ｉｎｔｅｒｎａｌ ｌａｙｅｒ）３５８と、第２のオブジェクト境界３４８Ｂとを示す。オブジェクト外層３５６は、第２のオブジェクト境界３４８Ｂの外側の背景画素を意味する。ある実施形態によれば、オブジェクト外層３５６において選択される画素数は、新たな画像の画像解像度と、最終セグメンテーション結果３５０の画素レベルの精度とに依存することができる。例えば、オブジェクト外層３５６は、第２のオブジェクト境界３４８Ｂの外側の新たな背景３５４などの新たな背景の３背景画素層とすることができる。いくつかの実施形態では、オブジェクト外層３５６を、第２のオブジェクト境界３４８Ｂの外側の新たな背景の１画素層とすることができる。オブジェクト隣接内層３５８は、第２のオブジェクト境界３４８Ｂの内側の第１の前景オブジェクト１１８ａの前景画素を意味する。オブジェクト混合プロセッサ２０６は、（画像３５２などの）新たな画像内の第１の前景オブジェクト１１８ａなどの関心オブジェクトの第２のオブジェクト境界３４８Ｂに（背景３５４などの）新たな背景へのスムーズな色−輝度混合のための混合動作を適用するように構成することができる。オブジェクト混合プロセッサ２０６は、第２のオブジェクト境界３４８Ｂの境界画素がオブジェクト隣接内層３５８の（色−輝度が）大きく異なる内部画素とオブジェクト外層３５６の外部画素との間に位置するかどうかを判定するように構成することができる。このような例では、内部画素の色−輝度値と外部画素の色−輝度値との差分が閾値を上回る場合、オブジェクト混合プロセッサ２０６を、スムーズな混合をもたらすために境界画素の色−輝度値を変更するように構成することができる。換言すれば、第２のオブジェクト境界３４８Ｂの境界画素の色値又は輝度値の少なくとも一方を更新することができる。この更新は、境界画素の色値又は輝度値と境界画素に隣接する画素集合の色値又は輝度値との間の差分に基づいて行うことができる。境界画素に隣接する画素集合は、関心オブジェクト（すなわち、オブジェクト隣接内層３５８）内の第１の画素数と、（画像３５２などの）新たな画像の新たな背景内（すなわち、背景３５４のオブジェクト外層３５６内）の第２の画素数とを含む。例えば、境界画素の新たな色−輝度値は、内部画素及び外部画素の５０％−５０％混合として設定することができる。このような第２のオブジェクト境界３４８Ｂの１画素混合をオブジェクト境界安定化と組み合わせることにより、視覚的に分かるアーチファクトを伴わない正確な混合をもたらすことができる。

図４Ａ及び図４Ｂに、本開示の実施形態による、一連の画像フレームの画像内のオブジェクト境界安定化のための例示的な方法を示すフローチャートをまとめて示す。図４Ａ及び図４Ｂにはフローチャート４００を示す。この画像処理装置１０２において実行されるフローチャート４００の説明は、図１Ａ、図１Ｂ、図２及び図３Ａ〜図３Ｍの要素に関連して行う。方法は、４０２から開始して４０４に進む。

４０４において、第１のタイプのセンサ１０４ａからシーンの深度画像を受け取って第２のタイプのセンサ１０４ｂからシーンのカラー画像を受け取ることができる。このシーンは、少なくとも関心オブジェクトを含むことができる。画像プロセッサ２０２は、第１のタイプのセンサ１０４ａ（例えば、深度センサ）からシーン（例えば、シーン１１４）の深度画像（例えば、深度画像１１２ａ）を受け取るように構成することができる。画像プロセッサ２０２は、第２のタイプのセンサ１０４ｂ（例えば、ＲＧＢ画像センサ）から同じシーンのカラー画像（例えば、ＲＧＢ画像１１０ａ）を受け取ることもできる。いくつかの実施形態では、センサ回路１０４が画像処理装置１０２に通信可能に結合された外部センサ装置である場合、画像プロセッサ２０２は、ネットワークインターフェイス２１０を介して深度画像及びカラー画像を受け取ることができる。

４０６において、シーンのカラー画像の処理を第１のタイプのセンサ１１０ａのＦＯＶに制限することができる。換言すれば、シーンのカラー画像は、同じシーンの深度画像を取り込む第１のタイプのセンサ１０４ａのＦＯＶに相当するカラー画像の領域に至るまで処理することができる。例えば、図１Ｂに示すように、画像プロセッサ２０２は、領域１２２ａの０深度アーチファクトを解決するために、シーン１１４のＲＧＢ画像１１０ａの処理を、平行な点線で示す第１のタイプのセンサ１０４ａのＦＯＶに制限するように構成することができる。

４０８において、受け取った深度画像に対する深度閾値動作によって関心オブジェクトの第１のオブジェクトマスクを取得することができる。第１のオブジェクトマスクを取得するには、深度閾値動作によって閾値深度値を上回る複数の深度値を除外することができる。閾値深度値は、関心オブジェクトの第１のオブジェクトマスクの画素に関連する最大深度値に対応することができる。例えば、画像プロセッサ２０２は、受け取った深度画像１１２ａ（図３Ａ）に対する深度閾値動作によって、第１の前景オブジェクト１１８ａなどの関心オブジェクトの第１のオブジェクト境界３０４Ｂを有する第１のオブジェクトマスク３０４Ａを取得するように構成することができる。通常、第１のタイプのセンサ１０４ａなどの最新の深度センサから受け取られるような深度情報は不完全であり、従って深度画像１１２ａは、図１Ｂで観察して説明したような領域１２２ａ〜１２２ｄ及び領域１２４などの陰影領域を含む。深度画像１１２ａなどの深度マップが不完全性であると、オブジェクトの第１のオブジェクト境界３０４Ｂなどの境界に、特に一連の画像フレームのフレーム間で目に見える大きな揺らぎが生じる。

４１０において、深度画像からゼロ深度アーチファクトを除去することができる。ゼロ深度アーチファクトは、深度画像内の深度値が不明な領域に対応することができる。不明な深度値に関連する画素は、ゼロ深度アーチファクト除去のための指定基準に基づいて背景画素又は前景画素として分類することができる。例えば、画像プロセッサ２０２は、動作３０６Ａによって示すように、第１のオブジェクトマスク３０４Ａ上及びその周囲のドット様アーチファクトを除去するように構成することができる。ドット様アーチファクトは、ゼロ深度アーチファクトに対応する。第１のオブジェクトマスク３０４Ａ上及びその周囲のゼロ深度アーチファクトの除去の例については、図３Ｂのゼロ深度分類マップ３１８によってさらに説明した。

４１２において、第１のオブジェクトマスクの第１のオブジェクト境界上に存在するダングリング画素アーチファクトを除去することができる。例えば、図３Ｃで説明したように、画像プロセッサ２０２は、第１のオブジェクトマスク３０４Ａの第１のオブジェクト境界３０４Ｂ上に存在するダングリング画素アーチファクト３２６を除去するように構成することができる。画像プロセッサ２０２は、近隣の「３×３」画素内の画素が少なくとも１つの深度未定義画素（例えば、ゼロ深度値を含む画素）を有している時に、第１のオブジェクト境界３０４Ｂにおける画素にダングリング画素としてタグ付けするように構成することができる。ダングリング画素アーチファクト３２６を識別してタグ付けしたら、ダングリング画素アーチファクト３２６を除去することができる。

４１４において、深度画像から、関心オブジェクトの一部が第１のオブジェクトマスク上に影を落としたＩＲシャドーを除去することができる。例えば、画像プロセッサ２０２は、第１のオブジェクトマスク３０４Ａから自己陰影を除去するように構成することができる。図３Ｄの例に、第１のオブジェクトマスク３０４Ａ内の自己陰影領域３２８の除去を示す。ある実施形態によれば、ＩＲシャドーの除去前に、カラー画像において第１のオブジェクトマスクの外側の背景領域を動的に更新することができる。

４１６において、ダングリング画素アーチファクト及びその他のアーチファクトの除去後に、カラー画像上で移動テンプレートフィルタを用いて第１のオブジェクトマスクの第１のオブジェクト境界を平滑化することができる。移動テンプレートフィルタ３３０を用いた第１のオブジェクト境界３０４Ｂの平滑化は、図３Ｅ、図３Ｆ、図３Ｇ、図３Ｈ及び図３Ｉから理解することができる。

４１８において、第１のオブジェクト境界の平滑化に基づいて、第２のオブジェクト境界を有する第２のオブジェクトマスクを生成することができる。例えば、図３Ｊに図示し説明したように、画像プロセッサ２０２は、第１のオブジェクト境界３０４Ｂの平滑化に基づいて第２のオブジェクト境界３４８Ｂを有する第２のオブジェクトマスク３４８Ａを生成するように構成することができる。

４２０において、生成された第２のオブジェクト境界を有する第２のオブジェクトマスクに基づいて、カラー画像からの関心オブジェクトを抽出することができる。関心オブジェクト抽出の例については、ＲＧＢ画像１１０ａの背景１１６ａから第１の前景オブジェクト１１８ａなどの最終セグメンテーション結果３５０を描出できる図３Ｋに図示し説明した。

４２２において、抽出された関心オブジェクトを、関心オブジェクトの新たな背景をもたらす新たな画像に埋め込むことができる。例えば、図３Ｌに図示し説明したように、画像処理装置１０２は、第１の前景オブジェクト１１８ａなどの抽出された関心オブジェクトを、第１の前景オブジェクト１１８ａの背景３５４などの新たな背景をもたらす画像３５２などの新たな画像に埋め込むように構成することができる。

４２４において、新たな画像内の関心オブジェクトの第２のオブジェクト境界に新たな背景へのスムーズな色−輝度混合のための混合動作を適用することができる。混合動作の例については図３Ｍで説明した。オブジェクト混合プロセッサ２０６は、（画像３５２などの）新たな画像内の第１の前景オブジェクト１１８ａなどの関心オブジェクトの第２のオブジェクト境界３４８Ｂに（背景３５４などの）新たな背景へのスムーズな色−輝度混合のための混合動作を適用するように構成することができる。

４２６において、一連の画像フレームのカラー画像などの全ての画像フレームが処理されたかどうかをチェックすることができる。一連の画像フレームの全ての画像フレームが処理されていない場合、制御は４０４に戻って次の画像フレームにオブジェクト抽出及び混合プロセスを繰り返すことができる。このプロセスは、一連の画像フレームが全て処理されて背景が置換された新たなビデオが生成されるまで繰り返すことができる。一連の画像フレームの全ての画像フレームが処理された場合、制御は終了４２８に進むことができる。

本開示の実施形態によれば、一連の画像フレームの画像（例えば、ＲＧＢ画像１１０ａ）内のオブジェクト境界安定化のための画像処理システムが開示される。画像処理システムは、（画像プロセッサ２０２（図２）などの）少なくとも１つの画像プロセッサを有することができる画像処理装置１０２（図１Ａ）を含むことができる。画像プロセッサ２０２は、第１のタイプのセンサ１０４ａからシーン（例えば、シーン１１４）の深度画像（例えば、深度画像１１２ａ）を受け取って第２のタイプのセンサ１０４ｂからシーンのカラー画像（例えば、ＲＧＢ画像１１０ａ）を受け取るように構成することができる。シーンは、少なくとも関心オブジェクト（例えば、第１の前景オブジェクト１１８ａ）を含むことができる。画像プロセッサ２０２は、受け取った深度画像に対する深度閾値動作によって関心オブジェクトの第１のオブジェクトマスク（例えば、第１のオブジェクトマスク３０４Ａ）を取得するようにさらに構成することができる。画像プロセッサ２０２は、第１のオブジェクトマスクの第１のオブジェクト境界（例えば、第１のオブジェクト境界３０４Ｂ）上に存在するダングリング画素アーチファクト（例えば、ダングリング画素アーチファクト３２６）を除去するようにさらに構成することができる。画像プロセッサ２０２は、ダングリング画素アーチファクトの除去後に、カラー画像上で移動テンプレートフィルタ（例えば、移動テンプレートフィルタ３３０）を用いて第１のオブジェクトマスクの第１のオブジェクト境界を平滑化するようにさらに構成することができる。画像プロセッサ２０２は、第１のオブジェクト境界の平滑化に基づいて、第２のオブジェクト境界（例えば、第２のオブジェクト境界３４８Ｂ）を有する第２のオブジェクトマスク（例えば、第２のオブジェクトマスク３４８Ａ）を生成するようにさらに構成することができる。画像プロセッサ２０２は、生成された第２のオブジェクト境界を有する第２のオブジェクトマスクに基づいて、カラー画像から関心オブジェクト（例えば、最終セグメンテーション結果３５０）を抽出するようにさらに構成することができる。

深度ベースのオブジェクトセグメンテーション法及びオブジェクト混合法にはいくつかの課題がある。深度ベースのオブジェクトセグメンテーション法では、オブジェクトセグメンテーションに深度マップを使用することで、カラー画像（例えば、ＲＧＢ画像１１０ａ）のみを使用する方法と比べてオブジェクト描写プロセスにおける多くの不確実性を回避することができる。しかしながら、深度画像（例えば、深度マップ）をもたらす（第１のタイプのセンサ１０４ａなどの）既存の深度センサは未だに精度に欠け、（第２のタイプのセンサ１０４ｂなどの）ＲＧＢカメラの解像度の上昇に追いついていない。例えば、深度センサから受け取った深度画像１１２ａは、深度センサの赤外線（ＩＲ）エミッタからの光が伝播しないことによって領域の深度が不明になってゼロ深度アーチファクトを引き起こす陰影領域を含むことがある。ゼロ深度アーチファクトは、例えば深度画像１１２ａ内の領域１２２ａ、１２２ｂ、１２２ｃ及び１２２ｄなどの深度値が不明な領域に対応する。また、深度情報は、深度が急落して画像フレーム間の揺らぎが強いオブジェクト境界において最も不明確になり得る。最新の深度センサの深度情報が不完全であると、セグメント化されたオブジェクトの境界に、特に映画又はその他のビデオなどの一連の画像フレームのフレーム間で目に見える大きな揺らぎが生じる。結果として生じるアーチファクトは顕著であり、見る者にとって視覚的に不快である。例えば、ダングリング画素アーチファクト３２６は、深度画像１１２ａの領域１２４（図１Ｂ及び図３Ａ）に示すような無秩序な深度に起因して生じる。さらに、いくつかのシナリオでは、第１の前景オブジェクト１１８ａなどの前景オブジェクトの一部がそれ自体に影を落とすことがあり、これを自己陰影と呼ぶ。自己陰影領域３２８は、領域１２２ｄ（図１Ｂ及び図３Ａ）に対応する。開示した一連の画像フレームの画像内のオブジェクト境界安定化のための画像処理装置１０２及び方法は、上記の深度ベースのオブジェクトセグメンテーションの課題を解決する。画像プロセッサ２０２は、逐次精緻化動作を実行して関心オブジェクトのオブジェクト境界揺らぎの量を低減するように構成することができる。画像プロセッサ２０２は、深度画像及びカラー画像の両方を利用して関心オブジェクトの境界を正確に識別するように構成することができる。例えば図３Ａの処理パイプライン３００における動作３０４、３０６Ａ、３０６Ｂ、３０８、３１０、３１２及び３１６によって示すような逐次精緻化動作によって、第１のタイプのセンサ１０４ａなどの深度センサの特徴である典型的な深度マップのアーチファクトを除去することができる。さらに、柔軟かつ指向的なフィルタとして動作する移動テンプレートフィルタ３３０には多くの利点がある。例えば、移動テンプレートフィルタ３３０の形状は、第１のオブジェクト境界３０４Ｂなどのオブジェクトの境界の局所的形状に合わせて調整することができる。さらに、移動テンプレートフィルタ３３０による平滑化は、非局所的輝度変換に対して不変である。さらに、移動テンプレートフィルタ３３０による平滑化は、従来の方法に比べて非常に高速であり、検索長さを乗じた境界画素数、及び移動テンプレートフィルタ３３０内の総画素数の複雑性が単純である。

また、通常、第１の前景オブジェクト１１８ａなどの抽出された関心オブジェクトを新たな背景に埋め込むと、第１の前景オブジェクト１１８ａと背景３５４などの新たな背景との間の色−輝度値の変化に起因して容易に気付く。しかしながら、オブジェクト混合プロセッサ２０６は、図３Ｍに示すように第２のオブジェクト境界３４８Ｂに新たな背景との混合動作を適用するので、新たな背景へのスムーズな色−輝度移行を達成することができる。いくつかのシナリオでは、このような第２のオブジェクト境界３４８Ｂの１画素混合をオブジェクト境界安定化と組み合わせることにより、視覚的にアーチファクトを伴わない正確な混合をもたらすことができる。画像プロセッサ２０２及びオブジェクト混合プロセッサ２０６によって実行される動作は、異なるアーチファクトの除去後に移動テンプレートフィルタ３３０を使用することにより、従来の深度ベースのオブジェクトセグメンテーション法に比べて、画像処理装置１０２自体のオブジェクト境界安定化に対するロバスト性を高める。

本開示の様々な実施形態は、一連の画像フレームの画像内のオブジェクト境界安定化のための機械及び／又はコンピュータによって実行可能な命令セットを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。この命令セットは、第１のタイプのセンサ１０４ａからシーン（例えば、シーン１１４）の深度画像（例えば、深度画像１１２ａ）を受け取って第２のタイプのセンサ１０４ｂからそのシーンのカラー画像（例えば、ＲＧＢ画像１１０ａ）を受け取ることを機械及び／又はコンピュータに行わせることができる。シーンは、少なくとも関心オブジェクト（例えば、第１の前景オブジェクト１１８ａ）を含むことができる。受け取った深度画像に対する深度閾値動作によって、関心オブジェクトの第１のオブジェクトマスク（例えば、第１のオブジェクトマスク３０４Ａ）を取得することができる。第１のオブジェクトマスクの第１のオブジェクト境界（例えば、第１のオブジェクト境界３０４Ｂ）上に存在するダングリング画素アーチファクト（例えば、ダングリング画素アーチファクト３２６）を除去することができる。ダングリング画素アーチファクトの除去後には、カラー画像上で移動テンプレートフィルタ（例えば、移動テンプレートフィルタ３３０）を使用して第１のオブジェクトマスクの第１のオブジェクト境界を平滑化することができる。第１のオブジェクト境界の平滑化に基づいて、第２のオブジェクト境界（例えば、第２のオブジェクト境界３４８Ｂ）を有する第２のオブジェクトマスク（例えば、第２のオブジェクトマスク３４８Ａ）を生成することができる。生成された第２のオブジェクト境界を有する第２のオブジェクトマスクに基づいて、カラー画像からの関心オブジェクト（例えば、最終セグメンテーション結果３５０）を抽出することができる。

本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含むコンピュータシステムとすることができる。本開示は、他の機能を実行する集積回路の一部分を含むハードウェアで具現化することができる。

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲に該当する全ての実施形態を含むように意図されている。

Claims (28)

1. 画像処理装置であって、
   少なくとも１つの画像プロセッサを備え、該少なくとも１つの画像プロセッサは、
   第１のタイプのセンサから少なくとも関心オブジェクトを含むシーンの深度画像を受け取って第２のタイプのセンサから前記シーンのカラー画像を受け取り、
   前記受け取った深度画像に対する深度閾値動作によって前記関心オブジェクトの第１のオブジェクトマスクを取得し、
   前記第１のオブジェクトマスクの第１のオブジェクト境界からダングリング画素アーチファクトを除去し、
   前記ダングリング画素アーチファクトの除去後に、前記カラー画像上で移動テンプレートフィルタの適用によって前記第１のオブジェクトマスクの前記第１のオブジェクト境界を平滑化し、
   前記第１のオブジェクト境界の前記平滑化に基づいて、第２のオブジェクト境界を有する第２のオブジェクトマスクを生成し、
   前記第２のオブジェクト境界を有する前記生成された第２のオブジェクトマスクに基づいて前記カラー画像から前記関心オブジェクトを抽出すし、
   関心オブジェクトの新たな背景を含む新たな画像に、抽出された前記関心オブジェクトを埋め込む、
   ように構成される、
   ことを特徴とする画像処理装置。
2. 前記少なくとも１つの画像プロセッサは、前記カラー画像からの前記関心オブジェクトの前記抽出のために、前記シーンの前記カラー画像を前記第１のタイプのセンサの有効視野（ＦＯＶ）に相当する前記カラー画像の領域に至るまで処理するようにさらに構成される、
   請求項１に記載の画像処理装置。
3. 前記少なくとも１つの画像プロセッサは、前記深度閾値動作によって閾値深度値を上回る複数の深度値を除外するようにさらに構成され、前記閾値深度値は、前記関心オブジェクトの前記第１のオブジェクトマスクの画素に関連する最大深度値に対応する、
   請求項１に記載の画像処理装置。
4. 前記少なくとも１つの画像プロセッサは、前記深度画像からゼロ深度アーチファクトを除去するようにさらに構成され、前記ゼロ深度アーチファクトは、前記深度画像内の深度値が不明な領域に対応する、
   請求項１に記載の画像処理装置。
5. 前記少なくとも１つの画像プロセッサは、指定基準に基づいて、前記不明な深度値に関連する画素を背景画素又は前景画素の一つとして分類するようにさらに構成される、
   請求項４に記載の画像処理装置。
6. 前記少なくとも１つの画像プロセッサは、前記深度画像から、前記関心オブジェクトの一部が前記第１のオブジェクトマスク上に影を落とした赤外線（ＩＲ）シャドーを除去するようにさらに構成される、
   請求項１に記載の画像処理装置。
7. 前記少なくとも１つの画像プロセッサは、前記カラー画像内の前記第１のオブジェクトマスクの外側の背景領域を動的に更新するようにさらに構成される、
   請求項１に記載の画像処理装置。
8. 前記移動テンプレートフィルタは、前記第１のオブジェクトマスクの内部領域における第１の画素集合と、前記第１のオブジェクトマスクの外側の外部領域における第２の画素集合とを含むように、前記第１のオブジェクト境界の境界画素を含むように前記カラー画像上に配置される、
   請求項１に記載の画像処理装置。
9. 前記少なくとも１つの画像プロセッサは、前記移動テンプレートフィルタ内の前記第１のオブジェクト境界の法線に沿った画像勾配が最大の画素を発見するようにさらに構成され、前記第１のオブジェクト境界の前記法線は、画像勾配を計算する方向を定める、
   請求項８に記載の画像処理装置。
10. 前記少なくとも１つの画像プロセッサは、前記第１の画素集合と前記第２の画素集合との間の色値の差分及び輝度値の差分を計算するようにさらに構成される、
    請求項８に記載の画像処理装置。
11. 前記少なくとも１つの画像プロセッサは、前記第１のオブジェクト境界の前記平滑化のために前記境界画素を候補画素として識別するようにさらに構成され、
    前記境界画素は、前記計算された前記色値及び前記輝度値の差分に基づいて識別される、
    請求項１０に記載の画像処理装置。
12. 前記少なくとも１つの画像プロセッサは、前記新たな画像内の前記関心オブジェクトの前記第２のオブジェクト境界に、前記新たな背景へのスムーズな色−輝度混合のための混合動作を適用するようにさらに構成される、
    請求項１に記載の画像処理装置。
13. 前記少なくとも１つの画像プロセッサは、境界画素の色値又は輝度値と、前記境界画素に隣接する画素集合の色値又は輝度値との間の差分に基づいて、前記第２のオブジェクト境界の境界画素の色値又は輝度値の少なくとも一方を更新するようにさらに構成され、前記画素集合は、前記第２のオブジェクトマスク内の第１の画素数と、前記新たな画像の前記新たな背景内の第２の画素数とを含む、
    請求項１２に記載の画像処理装置。
14. オブジェクト境界安定化のための方法であって、
    少なくとも１つの画像プロセッサを備えた画像処理装置において、
    前記少なくとも１つの画像プロセッサが、第１のタイプのセンサから少なくとも関心オブジェクトを含むシーンの深度画像を受け取って第２のタイプのセンサから前記シーンのカラー画像を受け取るステップと、
    前記少なくとも１つの画像プロセッサが、前記受け取った深度画像に対する深度閾値動作によって前記関心オブジェクトの第１のオブジェクトマスクを取得するステップと、
    前記少なくとも１つの画像プロセッサが、前記第１のオブジェクトマスクの第１のオブジェクト境界からダングリング画素アーチファクトを除去するステップと、
    前記少なくとも１つの画像プロセッサが、前記ダングリング画素アーチファクトの除去後に、前記カラー画像上で移動テンプレートフィルタの適用によって前記第１のオブジェクトマスクの前記第１のオブジェクト境界を平滑化するステップと、
    前記少なくとも１つの画像プロセッサが、前記第１のオブジェクト境界の前記平滑化に基づいて、第２のオブジェクト境界を有する第２のオブジェクトマスクを生成するステップと、
    前記少なくとも１つの画像プロセッサが、前記第２のオブジェクト境界を有する前記生成された第２のオブジェクトマスクに基づいて前記カラー画像から前記関心オブジェクトを抽出するステップと、
    関心オブジェクトの新たな背景を含む新たな画像に、前記抽出された前記関心オブジェクトを埋め込むステップと、
    を含むことを特徴とする方法。
15. 前記少なくとも１つの画像プロセッサが、前記カラー画像からの前記関心オブジェクトの前記抽出のために、前記シーンの前記カラー画像を前記第１のタイプのセンサの有効視野（ＦＯＶ）に相当する前記カラー画像の領域に至るまで処理するステップをさらに含む、
    請求項１４に記載の方法。
16. 前記少なくとも１つの画像プロセッサが、前記深度閾値動作によって閾値深度値を上回る複数の深度値を除外するステップをさらに含み、前記閾値深度値は、前記関心オブジェクトの前記第１のオブジェクトマスクの画素に関連する最大深度値に対応する、
    請求項１４に記載の方法。
17. 前記少なくとも１つの画像プロセッサが、前記深度画像からゼロ深度アーチファクトを除去するステップをさらに含み、前記ゼロ深度アーチファクトは、前記深度画像内の深度値が不明な領域に対応する、
    請求項１４に記載の方法。
18. 前記少なくとも１つの画像プロセッサが、指定基準に基づいて、不明な深度値に関連する画素を背景画素又は前景画素の一つとして分類するステップをさらに含む、
    請求項１７に記載の方法。
19. 前記少なくとも１つの画像プロセッサが、前記深度画像から、前記関心オブジェクトの一部が前記第１のオブジェクトマスク上に影を落とした赤外線（ＩＲ）シャドーを除去するステップをさらに含む、
    請求項１４に記載の方法。
20. 前記少なくとも１つの画像プロセッサが、前記カラー画像内の前記第１のオブジェクトマスクの外側の背景領域を動的に更新するステップをさらに含む、
    請求項１４に記載の方法。
21. 前記移動テンプレートフィルタは、前記第１のオブジェクトマスクの内部領域における第１の画素集合と、前記第１のオブジェクトマスクの外側の外部領域における第２の画素集合とを含むように、前記第１のオブジェクト境界の境界画素を含むように前記カラー画像上に配置される、
    請求項１４に記載の方法。
22. 前記少なくとも１つの画像プロセッサが、前記移動テンプレートフィルタ内の前記第１のオブジェクト境界の法線に沿った画像勾配が最大の画素を発見するステップをさらに含み、前記第１のオブジェクト境界の前記法線は、画像勾配を計算する方向を定める、
    請求項２１に記載の方法。
23. 前記少なくとも１つの画像プロセッサが、前記第１の画素集合と前記第２の画素集合との間の色値の差分及び輝度値の差分を計算するステップをさらに含む、
    請求項２１に記載の方法。
24. 前記少なくとも１つの画像プロセッサが、前記第１のオブジェクト境界の前記平滑化のために前記境界画素を候補画素として識別するステップをさらに含み、
    前記境界画素は、前記計算された前記色値及び前記輝度値の差分に基づいて識別される、
    請求項２３に記載の方法。
25. 前記少なくとも１つの画像プロセッサが、前記新たな画像内の前記関心オブジェクトの前記第２のオブジェクト境界に、前記新たな背景へのスムーズな色−輝度混合のための混合動作を適用するステップをさらに含む、
    請求項１４に記載の方法。
26. 前記少なくとも１つの画像プロセッサが、境界画素の色値又は輝度値と、前記境界画素に隣接する画素集合の前記色値又は前記輝度値との間の差分に基づいて、前記第２のオブジェクト境界の境界画素の色値又は輝度値の少なくとも一方を更新するステップをさらに含み、前記画素集合は、前記第２のオブジェクトマスク内の第１の画素数と、前記新たな画像の前記新たな背景内の第２の画素数とを含む、
    請求項２５に記載の方法。
27. 前記少なくとも１つの画像プロセッサが、前記第１のオブジェクト境界上の近隣の３×３画素内の画素が少なくとも１つの深度未定義画素を有している時に、前記画素にダングリング画素としてマーク付けするステップをさらに含む、
    請求項２５に記載の方法。
28. 画像処理装置であって、
    少なくとも１つの画像プロセッサを備え、該少なくとも１つの画像プロセッサは、
    第１のタイプのセンサから少なくとも関心オブジェクトを含むシーンの深度画像を受け取って第２のタイプのセンサから前記シーンのカラー画像を受け取り、
    前記受け取った深度画像に対する深度閾値動作によって前記関心オブジェクトの第１のオブジェクトマスクを取得し、
    前記第１のオブジェクトマスクの第１のオブジェクト境界からダングリング画素アーチファクトを除去し、
    前記ダングリング画素アーチファクトの除去後に、前記カラー画像上で移動テンプレートフィルタの適用によって前記第１のオブジェクトマスクの前記第１のオブジェクト境界を平滑化し、
    前記移動テンプレートフィルタは、前記第１のオブジェクトマスクの内部領域における第１の画素集合と、前記第１のオブジェクトマスクの外側の外部領域における第２の画素集合とを含むように、前記第１のオブジェクト境界の境界画素を含むように前記カラー画像上に配置され、
    前記少なくとも１つの画像プロセッサは、前記移動テンプレートフィルタ内の前記第１のオブジェクト境界の法線に沿った画像勾配が最大の画素を発見するようにさらに構成され、前記第１のオブジェクト境界の前記法線は、画像勾配を計算する方向を定め、
    前記少なくとも１つの画像プロセッサは、前記第１のオブジェクト境界の前記平滑化に基づいて、第２のオブジェクト境界を有する第２のオブジェクトマスクを生成し、
    前記第２のオブジェクト境界を有する前記生成された第２のオブジェクトマスクに基づいて前記カラー画像から前記関心オブジェクトを抽出する、
    ように構成される、
    ことを特徴とする画像処理装置。

Images