JP5932332B2 - 画像補正に対する修復技術の使用 - Google Patents

Description

本発明は、広くはデジタル画像の分野に関する。より具体的には、本発明は、画像又は画像シーケンス内のアーチファクトの補正に対して修復することに関する。

修復は、画像及びビデオの失われた又は劣化した部分を再構成するプロセスである。例えば、貴重な絵画の場合、このタスクは、熟練した画像復元芸術家により実行される。デジタルの世界において、画像内挿又はビデオ内挿としても知られる修復は、画像データの失われた又は破損した部分を回復する洗練されたアルゴリズムの応用を参照する。

アノテーション・アンド・プロパゲーションにより深度を作成することは、画像シーケンス内の１つの画像フレームに対する深度マップを描くプロセスであり、すなわちこれに注釈を付け、次いで前記画像シーケンス内の次の／前のフレームに前記深度を伝搬するのに注釈を付けたオブジェクトのソフトウェア追跡を使用するプロセスである。これは、半自動深度作成の既知の方法である。推定された深度情報は、情報源と独立に、典型的には、現実のオブジェクト境界ずれのような問題に悩まされる。

図１ａは、オブジェクトを有する画像を示し、ここでオブジェクトに対する深度ずれは、暗いエリアを越えて上部及び底部に突き出ている明るいエリアにより示されるように顕著である。図１ａは、輝度の上に重ねられた深度成分を示す。この深度ずれは、前景オブジェクトの小部分が不正確に背景と見なされるという事実による。一般に、ずれは、深度成分及びビデオデータのような少なくとも２つの信号／データの間で生じる。

周知の損失の多いビデオ圧縮スキームを使用して２．５Ｄビデオを圧縮する場合、オブジェクトを囲むアーチファクトが取り込まれる。２．５Ｄ（２．５次元）は、２Ｄ画像が、前記２Ｄ画像内の各要素の深度を示す深度マップを伴う表現を記述するのに使用される非公式の用語である。

ビデオ圧縮により生じるあるアーチファクトは、モスキート雑音、ギブス効果及びオーバーシュート／アンダーシュートアーチファクトである。図１ｂは、ハロ（halos）が、このような損失の多いビデオ圧縮スキームを使用してオブジェクトの周りに作成されることを示す。これは、２Ｄ画像又は２Ｄビデオの両方で生じうる。

上述のアーチファクトは、一般に、顕著に減少した画質を生じるが、このような２．５Ｄ表現からのマルチビューレンダリングのような後続のビデオ処理タスクをも妨げる。

したがって、ビデオ圧縮により生じたオブジェクトの周りのアーチファクトの除去、及び／又は前景オブジェクトの小部分が不正確に背景と見なされる場合に深度マップに関してずれた画像データの補正を可能にする改良された方法、処理ユニット及びコンピュータプログラムが有利である。

したがって、本発明は、好ましくは、当技術分野の上で識別された欠陥及び欠点を単独で又は組み合わせて軽減、緩和又は除去することを目的とし、添付の特許請求項による方法、処理ユニット及びコンピュータプログラムを提供することにより少なくとも上述の問題を解決する。

一態様によると、画像及び深度情報を有する画像信号を処理する方法が提供される。前記方法は、前記画像信号の深度又は視差成分に基づいて前記画像信号に含まれる画像に対して前景／背景分割を実行するステップを有し、結果として前景マスク及び背景マスクを生じる。前記方法は、更に、前記分割された画像において分割遷移部の周りにエリアを作成するステップを有し、ここで前記エリアは、アーチファクトを有する可能性が高い。更に、前記方法は、前記エリア内の画素データに対して前景／背景依存処理を実行するステップを有し、結果として処理された画像を生じる。

他の態様において、画像及び深度情報を有する画像信号を処理する処理ユニットが提供される。前記処理ユニットは、前記画像信号の深度又は視差成分に基づいて前記画像信号に含まれる画像に対して前景／背景分割を実行し、結果として前景マスク及び背景マスクを生じる。前記処理ユニットは、更に、前記分割された画像において分割遷移部に隣接したエリアを作成し、ここで前記エリアは、アーチファクトを有する。更に、前記処理ユニットは、前記エリア内の画素データに対して前景／背景依存処理を実行し、結果として処理された画像を生じる。

一態様において、データ処理装置上で実行される場合に、ある実施例による方法のステップを実行するソフトウェアコードを有するコンピュータ可読媒体に記憶されたコンピュータプログラムが提供される。

ある実施例によるアイデアは、画像内の符号化アーチファクト及び深度ずれの補正に対してビデオ又は画像データを処理することである。

ある実施例によるアイデアは、例えば２．５Ｄビデオにおいてオブジェクトを囲む圧縮アーチファクトを減少させる方法を提供することである。

更に、ある実施例によるアイデアは、画像及び深度表現内の現実のオブジェクトの境界に対してずれた深度情報を処理する方法を提供することである。この問題は、しばしば画像ベースレンダリングにおいて使用される、いわゆる画像及び深度フォーマットで表現される３Ｄコンテンツをレンダリングする場合に直面される。

前記方法は、典型的にはビデオ圧縮により生じるオブジェクトの周りの雑音の多いエリアの問題をも解決することができる。

ある実施例による方法は、画像及び深度情報を有する画像信号を処理するのに使用される。前記方法は、画像を有する前記画像信号内に存在する深度／視差情報に基づいて前記画像に対して分割を実行し、この後に前景オブジェクトの分割境界を越えて延在する領域内への前記前景オブジェクトの周りの前記画像のエラーの補正に対して背景を修復し、及び／又は前記前景オブジェクトの分割境界内に延在する領域への前記画像のエラーの補正に対して前景を修復する。このようにして、圧縮及び他のアーチファクトは減少されることができる。

本発明のこれら及び他の態様、フィーチャ及び利点は、本発明の実施例の以下の記載から説明され、明らかであり、添付の図面が参照され、同様の番号は同様の要素又は機能を示すのに使用される。

周知の損失の多いビデオ圧縮スキームを使用する画像又はビデオの深度ずれ圧縮に関する画質問題を示す画像を示す。 周知の損失の多いビデオ圧縮スキームを使用する画像又はビデオの深度ずれ圧縮に関する画質問題を示す画像を示す。 一実施例による方法の一部のステップにより処理された後の前景マスク２３、エリア２４及び背景マスク２２を有する画像を示す。 一実施例による方法を示すフローチャートである。 一実施例による方法により処理される図１ａに対応する。 一実施例による方法により処理される図１ｂに対応する。 一実施例による処理ユニットを示すブロックスキームである。 一実施例によるコンピュータプログラムを示す。

本発明の幾つかの実施例は、当業者が本発明を実行することができるために添付の図面を参照して以下に詳細に記載される。しかしながら、本発明は、多くの異なる形式で実施されることができ、ここに記載された実施例に限定されると解釈されるべきでない。むしろ、これらの実施例は、この開示が徹底的かつ完全であり、当業者に本発明の範囲を十分に伝えるように提供される。前記実施例は、本発明を限定せず、本発明は、添付の特許請求項によってのみ限定される。更に、添付の図面に示される特定の実施例の詳細な説明に使用される用語は、本発明の限定であることを意図されない。

以下の記載は、デジタル画像、特に修復を使用する画像及び深度補正に対する方法に応用可能な本発明の実施例に集中する。しかしながら、本発明が、この応用に限定されず、多くの他の応用に応用されることができると理解されたい。

ある実施例によるアイデアは、背景／前景分割、及び分割されたオブジェクトの境界の周りのエラーを補正する修復技術を実行するのに画像又はビデオの深度情報を利用する方法を提供することである。圧縮が伴う多くの場合、深度マップは、半自動的に生成される。前記分割は、人間に操作され、したがって高品質である。更に、アーチファクトは、特に、深度／視差遷移により示されるオブジェクト境界において見え、したがって、深度／視差マップにより操作される分割が有利である。

一実施例において、図３によると、画像及び深度情報を有する画像信号を処理する方法が提供される。前記方法は、
−前記画像信号の深度又は視差成分に基づいて前記画像信号に含まれる画像に対して前景／背景分割を実行するステップ３１であって、前景マスク２３を生じ、少なくとも前景オブジェクト２３及び背景エリア２２を有する分割された画像を生じる、ステップ３１と、
−前記分割された画像において分割エッジとも称される分割遷移部に隣接したエリア２４を作成するステップ３２であって、エリア２４が圧縮アーチファクト２６又は深度ずれ２５のようなアーチファクト２６を潜在的に有する、ステップ３２と、
−エリア２４内の画素データに対して前景／背景依存処理を実行するステップ３３であって、処理された画像を生じる、ステップ３３と、
を有する。

図２は、前記方法のステップ３１及び３２により処理された後の前景オブジェクト２３１及び背景エリア２２１を有する画像を示し、前記前景／背景分割からの結果として生じる前景マスク２３及び背景マスク２２が示される。この場合、エリア２４は、前景オブジェクト２３１の外側及び背景エリア２２の内側に作成される。圧縮アーチファクト２６及び深度ずれアーチファクト２５のようなアーチファクトは、エリア２４内に示される。

３１）前景／背景分割
ある実施例において、画像分割を実行するステップにおいて使用される画像分割技術は、以下のように実行されることができる。

どこに前記前景／背景依存処理を実行すべきかを知るために、この情報は、典型的には画像処理アルゴリズムに対する入力として供給されるものである。ある実施例による方法の場合、アーチファクトを潜在的に有する問題エリアは、深度遷移に基づいて自動的に位置特定されることができ、これにより大きな深度不連続が、前景と背景との間のエッジを示す。

しかしながら、前記問題エリアを位置特定するこのような画像分割の役割は、二重であり、すなわち、アーチファクトを補正する後続する画像処理を実行すべき場所を知ることのみが必要とされるわけではなく、シーンのどの部分がそれぞれ前景及び背景であるかを知ることも要求され、更に前記後続する画像処理に対する基準材料としていずれが使用されるべきかを知ることが必要とされる。

背景エリア／オブジェクト及び前景エリア／オブジェクトの分割は、ある実施例によると、バイナリマスクの計算により実行されることができる。このマスクは、典型的には、前記深度マップからラインワイズ（line-wise）で計算され、深度不連続に対する検索に基づく。正の深度不連続（すなわち低深度から高深度、ここで高深度値は観察者に近い深度を示し、低深度値は観察者から離れた深度を示す）が直面される場合、前記マスクは前景に設定される。同様に、負の深度不連続が発見される場合、前記前景オブジェクトが終了されると仮定され、前記マスクが背景に設定される。

各画素に対する処理は、例えば以下のとおりであることができる。
depth_jump = depth[x][y] - last_depth;
if (abs(depth_jump) > DEPTH_THRESHOLD) {
if (depth_jump > 0) {
on_occ_area = true;
bg_mask[x][y] = FOREGROUND;
}
else {
on_occ_area = false;
bg_mask[x][y] = BACKGROUND;
}
}
else {
bg_mask[x][y] = (on_occ_area ? FOREGROUND : BACKGROUND);
}

様々なエッジ検出器が、前記画像のシングル又はマルチパス分析を使用して前記深度不連続を分離させるのに使用されることができる。

前記深度遷移が急激ではなく滑らかである場合、又は深度の異なる層の上にスタックされた複数の重複する前景オブジェクトが存在する場合、複数のパラメータが、前記マスクの計算の性質を変化させるように設定されることができる。このようなパラメータは、例えば、基準背景として特定のレベルをマークする（このような深度以下の画素は常に背景と見なされる）か、不連続を背景から前景への（又はその逆の）遷移と見なす閾値を規定するか、又は操作する長方形領域を設定し、残りを背景と見なすことができる。

３２）エリア２４を作成する
前記エリア２４を作成するステップは、規則的な膨張を使用して実行されることができる。エリア２４は、これが圧縮アーチファクト又は深度ずれアーチファクトのようなエラーが生じうるところであるので、画像又はビデオコンテンツを信用することができないエリアを規定する。

一実施例において、エリア２４は、前景オブジェクト２３と背景エリア２２との間のエリアであり、背景エリア２２内に延在する。換言すると、エリア２４は、前景／背景分割後に前記前景オブジェクトを規定する前景マスク２３の拡大と見なされることができる。したがって、エリア２４は、背景が望ましいエリアを規定し、前景／背景依存処理を実行するステップ３３が、エリア２４の外側に配置された背景エリア２２内の背景情報を使用して、そこで背景情報を再構成することを有することができる。したがって、補正されるべきアーチファクトは、エリア２４の内側に配置される。したがって、この場合、前記エリアは、前記前景オブジェクトの外側に配置される。

前記深度が前記前景オブジェクトと適切に位置合わせされないだけではなく、近隣の背景画素も予測されるよりわずかに暗いことが、図２から観察されることができる。これは、圧縮によって生じる既知のアーチファクトである。背景エリア２２の中にエリア２４を作成し、エリア２４の外側の背景エリア２２からの背景情報に基づいて前記エリア内の画素データを処理、すなわち再構成することにより、前記アーチファクトは補正される。

前記エリア２４を作成するステップは、前記画像が２Ｄ画像である場合に、幾つの画素まで、前記前景マスクが、例えば垂直に及び水平に、拡大されるべきであるかを決定することを有することができる。

一実施例において、エリア２４のサイズは、圧縮に対して使用される共通のブロックサイズを前提として推定される。好ましくは、これは、符号化ブロックグリッド位置合わせされるべきである。ある符号化規格は、非ブロック化フィルタを使用する。これらの場合、ブロックグリッド位置合わせされたエリアを選び、前記非ブロック化アーチファクトを補償する１つの追加のブロックグリッドで拡張することができる。

圧縮アーチファクトのソースは、エッジの近くのオーバーシュート及びアンダーシュートである。一実施例において、エリア２４のサイズは、前記遷移部の外側のアンダーシュートエリア、すなわち画像値が前記エリアの外側の値より暗いエリアを計算することにより決定され、これに応じて前記エリアのサイズを設定する。他の実施例において、量子化パラメータのようなビットストリーム内のパラメータは、前記エリアのサイズを決定するのに使用されることができる。

前記処理された画像が２Ｄ画像である場合、エリア２４は、垂直及び水平拡張を持つ２Ｄ画像面内に作成される。

一実施例によると、深度マップの滑らかさにより前記エリアのサイズは、圧縮が関与し、前記深度マップが半自動的に生成されるある場合に対してより容易であることができるので、各画像に対して前記深度マップから決定される。前記分割は、人間に操作され、したがって高品質である。更に、アーチファクトは、特に、深度／視差遷移部で見え、したがって、深度／視差マップにより操作される分割は、有利である。深度マップは、オブジェクト境界から離れて滑らかであるので、高周波モスキート雑音並びに圧縮からのオーバーシュート及びアンダーシュートは、前記深度／視差マップにおいてオブジェクト境界の近くで検出するのが容易であることができ、このような高周波変化が検出されるエリアは、圧縮アーチファクトにより影響を受けたエリアを示す。エリア２４の決定されたサイズは、この場合、画像部分に対して使用されることができる。

本発明者は、背景を修復することにより前記エリア内の前記前景オブジェクトの外側の領域が背景色を含むことをどのように保証するかと同様に、前記前景オブジェクトの内側にエリア２４を作成する、すなわち前記前景マスクを減少させることにより前記エッジの他の側で同じことを行うことも可能である。このようにして、エリア２４は、圧縮アーチファクトに悩まされそうな前記前景オブジェクトの内側に配置され、前景深度を持つが背景色を持つ画素の形式のずれを持つこともできる。このようなエリアの色情報を放棄し、これを修復して、前記深度マップから得られる前記前景マスク内に存在するように前景色を前記境界まで延在させることにより、このようなアーチファクトは、除去されることもできる。

したがって、代替的な実施例において、エリア２４は、前景マスク２３を減少させることにより作成されることができ、次いでエリア２４は、前記前景／背景依存処理により、例えば修復することにより、前景マスク２３の内側のエリアからの色情報を使用して元の色を交換することにより又は予測される信頼性に基づいてエリア２４の外側からの色を混ぜることにより処理されることができる。

３３）画素データに対する前景／背景依存処理
エリア２４において画素データに対して前景／背景依存処理を実行するステップは、本質的にアーチファクト減少ステップである。したがって、前景／背景依存処理を実行するステップ３３は、画像内の前景オブジェクトのような前記オブジェクトの周りの圧縮アーチファクト２６の問題を解決することができる（図４ｂ参照）。

一実施例において、前記前景／背景依存処理は、エリア２４における修復を有する。複数の修復技術が、前記前景／背景依存処理を実行するのに可能である。

エリア２４が背景エリア２２の内側に配置される場合、背景エリア２２からの背景色情報は、エリア２４内の画素データを修復するのに使用されることができる。

エリア２４が前景オブジェクト２３１の内側に配置される場合、前景マスク２３からの前景色情報は、エリア２４内の画素データを修復するのに使用されることができる。

したがって、エリア２４の場所に依存して、すなわちどこでアーチファクトを補正するのかに依存して、前記処理は、異なることができ、それぞれ前景マスク２３からの前景色情報又は背景マスク２２からの背景色情報のいずれかを使用する。このようにして、エリア２４内の画素データに対する処理は、前景／背景依存である。

一実施例において、使用される修復技術は、処理すべきエリア２４内の画素を交換する画素繰り返し技術である。画素繰り返しは、再構成されたデータとも称される以前の既知の／信頼されている画素が、場合により所定のスキャン軸に沿って、未知の／信頼されていない画素上に複製される処理である。

一実施例において、前記画素データは、エリア２４の外側で生じる他の画素データ、すなわち再構成されたデータと交換される。例えば、エリア２４内の画素データは、背景エリア２２からの画素データの繰り返しにより再構成される。エリア２４内の画素毎に対して、（２４の外側の）エリア２２内の最も近い画素の値が複製されることができる。これは、所定の、例えば水平の、特定の方向に沿って、この場合には右に、又は元の方向に沿ってエッジを続けるように背景エリア２２から決定された方向に沿ってのいずれかで行われることができる。図２のように均一に色づけされた背景に対して、これは、既に良好な結果をもたらす。

他の実施例において、使用される修復技術は、場合によりエリア２４内の実際の画像情報と混ぜられる又は混合される、例えば平均されるべきエリア２４の外側の画像情報を使用する混合技術である。このようにして、アーチファクトは、エリア２４の元のテクスチャの一部を維持しながら抑制されることができる。このような場合に、前記再構成された画素データは、エリア２４内の既存の画素データと混合されることができる。

元の画素値と再構成される画素値との間の比を規定する混合係数は、先験的に決定される値であることができ、他の実施例において、この混合係数は、量子化パラメータ、測定される共鳴の量、前景と背景との間の統計的な差等のようなストリーム内の他のデータから算出される。

他の実施例において、前記混合係数は、前記エッジに近い画素が前記エッジから離れた画素とは異なる混合係数を持つような修復エリアのエッジに対する距離の関数である。

他の実施例において、前記混合係数は、前記修復により構成された再構成の信頼性から算出される。このような信頼性は、基にされる信頼された画素からの再構成される画素の距離に依存することができるが、例えば、画素繰り返しが信頼できない外挿を提供することを知られている場合に、信頼されるエリアにおけるテクスチャの量にも依存することができる。

一実施例において、前記修復するステップは、一般に使用される内挿ではなく、外挿を使用して実行される。

一実施例において、前記修復技術は、空間的修復技術である。一般に、空間的修復技術は、現在処理されている画像フレームからの色を排他的に使用し、前記背景をエリア２４に拡張する。画素繰り返しは、空間的修復の一例である。

一実施例において、前記修復を実行するステップは、修復するエリアに近く、前記修復するエリアのものと同様の深度／視差値を持つエリアの画像特性を測定することを有する。エッジ、色等のようなテクスチャは、信用されない画素情報を有するエリア２４を修復するように算出され、使用されることができる。

他の実施例において、前記修復技術は、時間的修復技術である。一般に、時間的修復技術は、現在のフレームの修復されるべきエリアの色を決定するのに前の及び／又は次のフレームからの背景画像情報を使用する。時間的修復を実行するために、少なくとも２つの連続した画像フレームの間のオブジェクトの運動を推定する運動フィールドが計算されることが必要とされる。運動推定は、背景画像情報が単に前記背景エリアを現在の画像に拡張することから得られるだけでなく、修復されるべき画像データが信頼できる背景エリアにおいて見えることができる以前の又は次回の画像からの運動補償背景情報によっても得られる時間的修復アルゴリズムの一部でありうる。したがって、このようにして、データが前記修復中に"作り上げられる"必要がないか、又はより少ないデータが作り上げられなければならない。

一実施例において、前記修復技術は、処理された画像フレームに対するステレオ入力のようなマルチビューカメラ入力を使用する。このようにして、前記前景オブジェクトの後ろの情報は、視差ベクトルフィールドを使用して、修復中に識別及び使用されることができる。

一実施例において、前記修復技術は、Y. Wexler et al "Space-time Video Completion" Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2004), 1, 2004に開示されるものである。

画像シーケンスの場合、これ以降運動推定と称される運動／視差推定は、これ以降運動ベクトルフィールドと称される運動／視差ベクトルフィールドを計算するために前記処理された画像に対して実行されることができる。最も単純な形式において、運動推定は、２つの画像の間の推定された運動を表すベクトルフィールドを計算する２つの画像の分析に関する。運動補償符号化に最初に使用されると、これは、ビデオフォーマット変換に対する内挿、インタレース解除及びステレオからの深度推定のような様々な手段に対して使用されている。

一実施例において、前記前景／背景依存処理は、かく乱フィルタ（deranging filter）を使用することを含む。画像データの特性は、典型的には、オブジェクト毎に変わる。これは、オブジェクト間の遷移部における追加の符号化アーチファクトの原因でもある。したがって、前記オブジェクトの内側だけでフィルタリングするフィルタを持つことは、より良好な画質を生じるように異なって設計されることができる。このようなフィルタは、かく乱フィルタとして周知である。

深度ずれの補正３４
ある実施例による方法は、深度ずれ２５の問題を少なくとも部分的に解決するように構成されることもできる。この場合、前記方法は、エリア２４内の深度ずれ２５の補正に対してエリア２４内の画像情報を変更するステップ３４を有する。エリア２４において、背景深度及び前景色の組み合わせが存在しうる。前記色は、背景色の拡張として再生成されるので、処理後に、ここで背景色及び背景深度が再び存在するので、不一致は消失される。これは、問題エリアの情報を新しい修復された背景材料と交換し、したがって背景深度を持つ不正確な前景情報を除去する結果となる。本発明者は、前記深度マスクのずれが再構成に前景オブジェクト情報を放棄させるにもかかわらず、このようなずれが不正確な背景深度を持つ前景材料を投影することにより既に見えるアーチファクトを生じており、したがって入力の品質が既に低かったので、結果の品質は、前景のこの部分を修復された背景と交換することにより劣化されないという意見である。

したがって、エリア２５の場所及びサイズに依存して、深度ずれアーチファクト及び圧縮アーチファクトは、ある実施例による方法を使用して補正されることができる。

図４ａは、一実施例による方法により処理される図１ａの画像を示し、図１に明確に示されるアーチファクトが前記方法を使用して前記画像を処理することにより補正されていることが観察されることができる。図４ａから観察されることができるように、前記深度ずれは、補正される（輝度の上に重ねられた深度成分）。

図４ｂは、一実施例による方法により処理される図１ｂの画像を示す。図４ｂから観察されることができるように、前記画像内の前記前景オブジェクトの周りのハロのような圧縮アーチファクトが、補償されている。

一実施例において、図５によると、処理ユニット５０が提供される。前記処理ユニットは、
−前記画像信号の深度又は視差成分に基づいて前記画像信号に含まれる画像に対して前景／背景分割を実行５１し、前景マスク及び背景マスク２２を生じ、
−前記分割された画像において分割遷移部に隣接したエリア２４を作成５２し、エリア２４がアーチファクト２６を有し、
−エリア２４内の画素データに対して前景／背景依存処理を実行５３し、処理された画像を生じる、
ように構成される。

一実施例において、前記処理ユニットは、セットトップボックス（ＳＴＢ）、ビデオデコーダ、又は例えば２Ｄから３Ｄにコンテンツを変換するオートステレオスコピックディスプレイ内のモジュールとして実施される。

この画像処理ユニットは、関与するタスクを実行するのに通常使用されるユニット、例えばメモリを持つプロセッサのようなハードウェアであることができる。前記プロセッサは、Intel又はAMDプロセッサ、ＣＰＵ、マイクロプロセッサ、プログラマブルインテリジェントコンピュータ（ＰＩＣ）マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）等のような様々なプロセッサのいずれであってもよい。しかしながら、本発明の範囲は、これら特定のプロセッサに限定されない。実際に、本発明は、プログラム可能な処理プラットフォーム若しくは回路、又はＡＳＩＣのような専用処理プラットフォーム若しくは回路を使用して実施されることができる。

一実施例において、図６によると、コンピュータプログラムプロダクト６０が提供される。前記コンピュータプログラムプロダクトは、コンピュータ可読媒体に記憶されることができ、プロセッサにより処理するコンピュータプログラムを有する。前記コンピュータプログラムは、前記画像信号の深度又は視差成分に基づいて前記画像信号に含まれる画像に対して前景／背景分割を実行３１し、前景マスク２３及び背景マスク２２を生じる第１のコードセグメント６１と、
−前記分割された画像において分割遷移部に隣接したエリア２４を作成３２し、エリア２４がアーチファクト２６を有する、第２のコードセグメント６２と、
−エリア２４内の画素データに対して前景／背景依存処理を実行３３し、処理された画像を生じる第３のコードセグメント６３と、
を有する。

一実施例において、前記コンピュータ可読媒体は、コンピュータ処理特性を持つ装置により実行される場合に、ある実施例に規定された方法ステップの全てを実行するコードセグメントを有する。

一実施例において、前記コンピュータ可読媒体は、コンピュータ処理特性を持つ装置により実行される場合に、ある実施例に規定された方法ステップの全てを実行するコードセグメントを有する。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの如何なる組み合わせをも含む如何なる適切な形式でも実施されることができる。しかしながら、好ましくは、本発明は、１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして実施される。本発明の一実施例の要素及び部品は、如何なる適切な形で物理的に、機能的に及び論理的に実施されてもよい。実際に、機能性は、単一のユニットで、複数のユニットで又は他の機能ユニットの一部として実施されてもよい。本発明は、単一のユニットで実施されてもよく、又は異なるユニット及びプロセッサの間で物理的に及び機能的に分散されてもよい。

本発明は、特定の実施例を参照して上に記載されているが、ここに記載された特定の形式に限定されることを意図しない。むしろ、本発明は、添付の請求項によってのみ限定され、上の特定のものとは別の実施例は、これら添付の請求項の範囲内で同等に可能である。

請求項において、用語"有する"は、他の要素又はステップの存在を除外しない。更に、個別にリストされているが、複数の手段、要素又は方法ステップは、例えば単一のユニット又はプロセッサにより実施されてもよい。加えて、個別のフィーチャが異なる請求項に含まれることができるが、これらは、場合により有利に組み合わせられてもよく、異なる請求項における包含は、フィーチャの組み合わせが実行可能及び／又は有利ではないことを意味しない。加えて、単数形は、複数を除外しない。用語"１つの"、"第１の"、"第２の"等は、複数を除外しない。請求項内の参照符号は、単に明確化する例として提供され、いかなる形でも請求の範囲を限定すると解釈されるべきでない。

Claims (14)

1. 画像及び深度情報を有する画像信号を処理する方法において、
   前記画像信号の深度又は視差成分に基づいて前記画像信号に含まれる画像に対して前景／背景分割を実行するステップであって、前景マスク及び背景マスクを生じる、前記前景／背景分割を実行するステップと、
   前記分割された画像において分割遷移部の周りにエリアを作成するステップであって、前記エリアがアーチファクトを有する、前記エリアを作成するステップと、
   前記エリア内の画素データに対して前景／背景依存処理を実行するステップであって、処理された画像を生じる、前記前景／背景依存処理を実行するステップと、
   を有し、
   前記前景／背景依存処理は、前記エリアが、前記前景／背景分割により設定された背景エリアの内側に配置される場合、背景色情報を前記エリア内の画素データを修復するのに使用し、前記エリアが、前記前景／背景分割により設定された前景エリアの内側に配置される場合、前景色情報を前記エリア内の画素データを修復するのに使用する、方法。
2. 前記前景／背景依存処理が、時間的修復、空間的修復、又は時空間的修復の修復技術である、請求項１に記載の方法。
3. 前記前景／背景依存処理が、前記エリア内の前記画素データを前記画像の前記エリアの外側の画素データと交換することを有する、請求項１に記載の方法。
4. 前記前景／背景依存処理が、前記エリア内の前記画素データに前記画像の前記エリアの外側に配置された画素データと混合することを有する、請求項１に記載の方法。
5. 混合係数が、前記エリアの前記分割遷移部に対する距離の関数である、請求項４に記載の方法。
6. 前記前景／背景依存処理が、ステレオ又はマルチビュー画像対から生じる画素データに基づいて前記エリア内の前記画素データを変更することを有する、請求項１に記載の方法。
7. 前記前景／背景依存処理が、前記エリア内の前記画素データを修復するのに前記前景マスクからの前景色情報を使用することにより実行される、請求項１に記載の方法。
8. 前記前景／背景依存処理が、前記エリア内の前記画素データを修復するのに前記背景マスクからの背景色情報を使用することにより実行される、請求項１に記載の方法。
9. 前記エリアが、ビットストリーム内のデータから算出される、請求項１に記載の方法。
10. 前記データが、圧縮に使用されるブロックサイズである、請求項９に記載の方法。
11. 前記データが、量子化パラメータである、請求項９に記載の方法。
12. 前記データが、非ブロック化フィルタ設定である、請求項９に記載の方法。
13. 画像及び深度情報を有する画像信号を処理する処理ユニットにおいて、
    前記画像信号の深度又は視差成分に基づいて前記画像信号に含まれる画像に対して前景／背景分割を実行し、前景マスク及び背景マスクを生じ、
    前記分割された画像において分割遷移部の周りにエリアを作成し、前記エリアがアーチファクトを有し、
    前記エリア内の画素データに対して前景／背景依存処理を実行し、処理された画像を生じる、
    ように構成され、
    前記前景／背景依存処理は、前記エリアが、前記前景／背景分割により設定された背景エリアの内側に配置される場合、背景色情報を前記エリア内の画素データを修復するのに使用し、前記エリアが、前記前景／背景分割により設定された前景エリアの内側に配置される場合、前景色情報を前記エリア内の画素データを修復するのに使用する、処理ユニット。
14. データ処理装置上で実行される場合に請求項１に記載の方法のステップを実行するソフトウェアコードを有するコンピュータ可読媒体に記憶されたコンピュータプログラム。

Images