JP6471448B2 - 視差深度画像のノイズ識別方法及びノイズ識別装置 - Google Patents

Description

本発明は視差深度画像の処理方法に関し、具体的に、視差深度画像のノイズ識別方法及びノイズ識別装置に関する。

画像マッチングは、コンピュータビジョンと画像認識分野の１つの基礎研究課題であり、既にマルチソース画像融合、目標識別、三次元再構成などの複数の分野に広く応用されている。

三次元再構成技術、仮想現実などの分野の発展に伴い、視差マップの精度と密度に対する要求はますます高くなり、画像における各画素点の信頼性の高い深度情報を取得することが必要になってきている。ステレオ画像マッチングの目的とは、同じ三次元シーンの２つの結像面におけるマッチングする画素点対を見付けて、各画素点座標の対応の視差値ｄの算出、及びシーンの三次元空間情報の正確な表示を可能にすることである。

視差マップは、例えばブロックマッチング、動的計画法、グラフカット法、セミグローバルマッチング法(ＳＧＭ)などの各種従来の視差値計算方法によって取得することができる。しかしながら、いずれの方法で取得した視差マップには、多かれ少なかれノイズが存在し、即ち、一部の画素の視差値が周辺画素の視差値との差分が大きく、誤っている凹凸点を形成してしまうことがある。

従来の技術には既にいくつかの視差画像のノイズ除去方法が提案されている。

従来の画像ノイズ除去方法においては、各種フィルタリング方法が用いられている。例えば、メディアンフィルタリングは、非線形のデジタルフィルタリング方法として、幅広く用いられている。しかしながら、メディアンフィルタリング方法においては、画像ウィンドウのサイズが限定されたものであり、ウィンドウサイズが大きすぎると、画像が非常に不鮮明となり、後続の画像処理に不利になる一方、ウィンドウの設定が小さすぎると、一部のノイズを除去することができず、実行効率も低下する。次に、メディアンフィルタリングにおいては、元々正確な視差値を含めて、各画素点の視差値は変化することがあり、より多くのノイズが発生してしまう。また、メディアンフィルタリングは画素毎に処理する必要があるので、非常に時間がかかることになる。

米国特許第ＵＳ７５７０８０４Ｂ２号（特許文献１）には動的計画とＧＧＣＰに基づく視差計算方法が提案されており、該特許のノイズ処理は、視差計算と同時に行われるものである。該方法において、視差計算の際、１つのマッチングコスト値を取得することがあり、最も低いコスト値と次に低いコスト値の差が１つの閾値よりも小さい場合は、この視差計算の信頼性は高くないと判定され、ノイズとして除去される。このようなノイズ除去方法は効率が高いので、実際の応用が非常に広範であるが、多くの正確な視差値も同様にノイズとして除去されてしまうことが欠点である。

瀋厳、楊志卿らの「距離画像の階層的フィルタリング処理アルゴリズム」、西安電子科技大学学報（自然科学版）、２００３年１号（非特許文献１）には距離画像の階層的フィルタリング処理アルゴリズムが提案されており、該方法においては、画像を複数の階層に分割してから、各層でローパスフィルタリングを採用し、最後に各層を統合して最終的な距離画像を形成している。このような方法は、やはりフィルタリング方法を採用するため、多くの正確な視差値も必ず影響を受けることになる。

本発明の１つの目的は、ノイズを迅速に識別することができるとともに、正確な視差値に影響を及ぼさないノイズ識別方法及び装置を提供することにある。

本発明の１つの態様によれば、視差深度画像におけるノイズを識別するノイズ識別方法であって、視差深度画像を複数の画像ブロックに分割するステップと、各画像ブロックについて、該画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定するステップと、各画像ブロックにおける各画素について、視差値が該画像ブロックの信頼可能な視差数値範囲内のものであるか否かを判断し、該画素の視差値が該信頼可能な視差数値範囲内のものでない場合は、該画素の視差値がノイズであると判定するステップと、を含むノイズ識別方法を提供する。

１つの実施例のノイズ識別方法によれば、前記画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定するステップは、前記画像ブロックの視差分布ヒストグラムを計算するステップと、視差分布ヒストグラムを利用して視差値の数値範囲を複数の範囲に分割するステップと、該複数の範囲から信頼度が最も高い１つ若しくは複数の範囲、又は信頼度が所定の閾値よりも大きい１つ若しくは複数の範囲を、信頼可能な視差数値範囲として抽出するステップと、を含んでもよい。

更に１つの実施例のノイズ識別方法によれば、前記視差深度画像を複数の画像ブロックに分割するステップは、画像全体を互いに重ならない複数の画像ブロックに等分するステップ、又は、画像全体を重なる複数の画像ブロックに分割するステップ、を含んでもよい。

更に１つの実施例のノイズ識別方法によれば、画像ブロックのサイズは画像ブロックの代表視差値の大きさによって異なり、画像ブロックの代表視差値が大きければ大きいほど、画像ブロックのサイズが大きい。

更に１つの実施例のノイズ識別方法によれば、前記視差分布ヒストグラムを計算するステップは、前記画像ブロックの視差値の数値範囲又は画像全体の視差値の数値範囲をｍ個の範囲、[ａ０，ａ１)，[ａ１，ａ２)，…，[ａ(ｍ-１)，ａｍ)に均一に分割するステップであって、ａ０とａｍはそれぞれ該画像ブロックの視差値の最小値と最大値又は画像全体の視差値の最小値と最大値であり、ｍが２よりも大きい正整数である、ステップと、画像ブロック内の各画素の視差値を走査し、各視差値範囲内に含まれる画素の個数を統計するステップと、を含んでもよい。

更に１つの実施例のノイズ識別方法によれば、前記視差分布ヒストグラムにおける視差値の数値範囲を複数の範囲に分割するステップは、視差分布ヒストグラムの統計計算に関する各数値範囲を、最初に分割された視差範囲とするステップと、それぞれ隣接する２つの視差範囲の代表視差値の間の距離を計算するステップと、該隣接する２つの視差範囲の代表視差値の間の距離が所定の閾値よりも小さい場合は、該２つの視差範囲を統合するステップと、統合を行えることができなくなるまで、距離の計算と視差範囲の統合を繰り返すステップと、を含んでもよい。

更に１つの実施例のノイズ識別装置によれば、前記それぞれ隣接する２つの視差範囲の代表視差値の間の距離を計算するステップは、各視差範囲において画素数が最も多い視差値を、該視差範囲の代表視差値として抽出するステップと、隣接する視差範囲の代表視差値の差を、それぞれ２つの隣接する視差範囲の代表視差値の間の距離として計算するステップと、を含んでもよい。

本発明のもう１つの態様によれば、視差深度画像におけるノイズを識別するノイズ識別装置であって、視差深度画像を複数の画像ブロックに分割する画像ブロック分割手段と、各画像ブロックについて、該画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定する視差数値範囲決定手段と、各画像ブロックにおける各画素について、視差値が該画像ブロックの信頼可能な視差数値範囲内のものであるか否かを判断し、該画素の視差値が該信頼可能な視差数値範囲内のものでない場合は、該画素の視差値がノイズであると判定するノイズ識別手段と、を備えるノイズ識別装置を提供する。

本発明のノイズ識別方法及び装置を利用することにより、画像ブロックのサイズはより大きくすることができるので、より高い計算効率を有し、識別されたノイズ画素のみに対して後続のノイズ除去処理を行うので、非ノイズ画素に影響を及ぼすことがない。

以下、図面を参照しながら本発明の実施例を詳しく説明する。これにより本発明のこれら及び／又は他の方面とメリットをより明らかになって且つより理解しやすくなる。
本発明の１つの実施例による初期視差マップ生成と初期視差マップノイズ除去の機能部を含む例示的なシステム機能図を示すものである。 ステレオマッチングにより得られた初期視差マップの１つの例示を示すものである。 本発明の実施例による視差深度画像におけるノイズを識別するノイズ識別方法の例示の全体的なフローチャートを示すものである。 図４(ａ)は画像ブロックの視差分布ヒストグラムには１つのピークを含有する例を示すものであり、図４(ｂ)は画像ブロックの視差分布ヒストグラムには複数のピークを含有する例を示すものである。 本発明の１つの実施例の画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定する例示的な方法のフローチャートを示すものである。 本発明の実施例による視差深度画像におけるノイズを識別するノイズ識別装置の構成ブロック図を示すものである。 本発明の実施形態を実現することに適用する例示的な計算システム４００のブロック図を示すものである。

当業者にとって本発明がより良く理解できるように、以下、図面と具体的な実施形態を参照しながら本発明を更に詳しく説明する。

図１は、本発明の１実施例による初期視差マップ生成と初期視差マップノイズ除去の機能部を含む例示的なシステム機能図を示すものである。図１に示すように、双眼カメラ１００が撮影して左画像１０２(１)と右画像１０２(２)を取得し、視差マップ生成部１０３に入力して、視差マップ生成アルゴリズムにより初期視差マップ１０４を取得し、該視差マップ生成部は双眼カメラに内蔵されてもよく、又は外部の計算装置に内蔵されてもよく、又は１つの別個のハードウェア装置であってもよい。生成した視差マップをノイズ除去装置１０１に入力して、ノイズ除去処理した後、ノイズ除去した視差マップ１０５を取得する。なお、該ノイズ除去装置１０１はステレオカメラ１００とともに１つのハードウェアとして設けられてもよく、又は別個のハードウェア、又は他の計算機器の１つのコンポーネントとして実現されてもよい。

図２はステレオマッチングによって得られた初期視差マップの１つの例示を示すものである。ノイズを丸１と２で模式的に示した。

以下、図３を参照しながら、本発明の実施例による視差深度画像におけるノイズを識別するノイズ識別方法を説明する。

図３は、本発明の実施例による視差深度画像におけるノイズを識別するノイズ識別方法の一例の全体的なフローチャートを示すものである。

ステップＳ２１０において、視差深度画像を複数の画像ブロックに分割する。

まず、ここで、視差深度画像の由来は限定されるものではなく、該視差深度画像はローカルで生成されたものであっても、又は外部から受信したものであってもよく、その由来は本発明の限定をなすものではない。また、視差深度画像は、いずれの視差値を計算する方法、例えばブロックマッチング、動的計画法、グラフカット法、セミグローバルマッチング法(ＳＧＭ)などで取得されたものであってよく、視差深度画像の生成方法は本発明を限定したものではない。また、本発明のノイズ識別方法の処理に達する前に、該視差深度画像に任意の他の処理を行うことができる。

なお、ここの視差深度画像は初期に取得した画像全体であってもよく、画像全体から取り出した一部の画像であってもよい。即ち、本発明は処理対象とする画像の大きさ、形状などを限定しない。

画像ブロック分割方法の例示として、１つの例子において、画像全体を互いに重ならない複数の画像ブロックに等分してもよい。もう１つの例において、画像全体を画像ブロックに重なりのある複数の画像ブロックに分割してもよく、例えば各画像ブロックとその例えば水平に隣接する画像ブロックとの間には水平方向に１/２の重なりを有し、即ち互いに半部が重なることになる。画像ブロックの間には重なりを有することにより、いずれの画素点もある１つの画像ブロックの比較的に中間位置に位置する機会を持っていて、画像ブロックにおける物体が完全に１つの画像ブロックに存在する機会を向上させて、画像ブロックで分割されないようになる。

画像ブロックの大きさについて、できるだけ視差画像における１つの物体を分割することを防止することが好ましく、言い換えると、できるだけ１つの物体が同一の画像ブロックに現れて、複数の異なる画像ブロックに現れること防止すべきである。

従来のフィルタリングに基づくノイズ除去方法において、各画像ブロックのサイズは非常に小さく、例えば３＊３、５＊５とする。多くの場合には、小さい画像ブロックには１つの物体のみを含むので、視差値のヒストグラム分布から見ると、例えば図４(ａ)に示すように１つのピークのみが存在する。図４(ａ)の例について、フィルタリングに基づく方法は一般的により良い効果を取得することができ、しかしながら、図４(ｂ)の例について、１つの画像ブロックには複数の物体を含み、ヒストグラムから見ると、図４(ｂ)に示すように複数のピークが存在する可能性がある。図４(ｂ)の例について、相変わらずフィルタリングに基づくノイズ除去方法を採用すると、その結果、処理した後の画像ブロックが非常にぼやけてなり、且つ異なる物体の間の分割はより不明確になることがある。

例えばメディアンフィルタリング方法における画像ブロックの大きさに比べて、本発明の実施例における画像ブロックははるかに大きくなることができる。１つの例示において、本発明の実施例の画像ブロックの大きさは３０＊３０である。もう１つの例示において、本発明の実施例の画像ブロックの大きさは４０＊４０である。ただ、これらは例示されたものであり、本発明の実施例の画像ブロックの大きさはより小さくしてもよく、又はより大きくしてもよい。

後述するように、本発明の実施例の方法において、画像ブロックの視差値を分析し、正確な又は信頼可能な視差値の数値範囲を見付けて、且つ画像ブロックにおける信頼可能な視差数値範囲に含まれない画素をノイズとして判定する。これにより、本発明の実施例における画像ブロックはより大きなサイズを取ることができるので、本発明の実施例のノイズ除去方法又は装置はより高い計算効率で運行することができ、且つ正確な視差値に影響を及ぼさない。

１つの例示において、画像ブロックのサイズは画像ブロックの代表視差値の大きさによって異なり、画像ブロックの代表視差値が大きくなる際、画像ブロックのサイズが大きくなる。これは、視差値は大きいほど、撮影された対象の撮影カメラからの距離が近づくなることを意味し、このため、該部分の画像画素で代表された実際のサイズは小さくし、このため、画像ブロックのサイズはより大きくしてもよく、これにより、同一の物体がより大きな確率で同一の画像ブロックに現れることができるからである。逆に、視差値が小さいほど、撮影された対象の撮影カメラからの距離が遠くなること意味し、このため、画像ブロックのサイズはより小さくしてもよい。

１つの例示において、画像ブロックの代表視差値は画像ブロックのすべての有効画素（視差値が零である画素を含まない）の視差値の和の平均値として計算されたものであってよい。なお、本明細書において、特に説明しない限り、画素又は有効画素は、有効視差値（非零視差値）を有する画素を指す。もう１つの例示において、画像ブロックの代表視差値は、画像ブロックのすべての視差数値におけるその値を取る画素数が最も多い視差値であってよい。ただし、代表視差値の定義は本発明が限定されたものではなくて、必要に応じて、他の意義での代表視差値であってもよい。

もう１つの例示において、できるだけ視差画像における１つの物体を分割することを防止するために、画像ブロックの分割の前に、大まかな物体検出を行うことができ、且つ物体検出の結果に基づいて画像ブロックの分割を行うことにより、１つの画像ブロックにおいて、異なる物体、特に明らかに視差が異なる物体を含むことを防止するようになる。

ステップＳ２２０において、第１個の画像ブロックを取得する。

ここで、画像ブロックの選択順番が限定されたものではなく、上から下まで又は下から上までの順番で左から右まで又は右から左までの走査を行うことができ、又は、ある形態ですべての画像ブロックを走査することができれば、他の順番、例えばランダムな順番で画像ブロックを選択してもよい。

ステップＳ２３０において、該画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定する。

信頼可能な視差数値範囲とは、該画像ブロックが理想的なノイズがない場合に表現すべきである視差値の数値範囲を指す。実際の操作において、画像ブロックの視差値の数値範囲において信頼度の高い１つ又は複数の部分の数値範囲を指すことができる。

以下、図５を参照しながら本発明の１つの実施例による画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定する例示的な方法を説明する。

図５は、本発明の１つの実施例による画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定する例示的な方法のフローチャートを示すものである。

図５に示すように、ステップＳ２３１において、該画像ブロックの視差分布ヒストグラムを計算する。

１つの例示において、視差分布ヒストグラムを計算することは以下の操作を含むことができる。

まず、該画像ブロックの視差値の数値範囲又は画像全体の視差値の数値範囲をｍ個の範囲、[ａ０，ａ１)，[ａ１，ａ２)，…，[ａ(ｍ-１)，ａｍ)に均一に分割し、ａ０とａｍはそれぞれ該画像ブロックの視差値の数値の最小値と最大値、又は画像全体の視差値の数値の最小値と最大値であり、ｍは２よりも大きい正整数である。

１つの例示において、すべての画像ブロックに対して、ａ０とａｍは画像全体の視差値の数値の最小値と最大値である。本発明のノイズ除去において視差値が零である画素（視差マップにおける黒色画素）を考慮しないことを考慮したので、ａ０を１つの極小値、例えば０．０００１に設置することができる。最大値ａｍは例えばステレオカメラの限界値により決定することができ、例えば、特定カメラについて、７０であってよい。１つの例示において、各範囲の間隔は３である。もう１つの例示において、各範囲の間隔は５である。必要に応じて、異なる間隔を設定することができる。

分割してｍ個の範囲を取得した後、画像ブロック内の各画素の視差値を走査し、各視差値範囲に含まれた画素の個数を統計する。これにより例えば図４における(ａ)と(ｂ)の形態に類似する視差分布ヒストグラムを取得する。

ステップＳ２３１において、計算して視差分布ヒストグラムを取得した後、ステップＳ２３２に前進する。

ステップＳ２３２において、視差分布ヒストグラムを利用して視差値の数値範囲を複数の範囲に分割する。

このステップにおける複数の範囲に分割する操作は、後続のその中から信頼可能な視差数値範囲を選択するために準備するものである。

１つの例示において、視差分布ヒストグラムにおける視差値の数値範囲を複数の範囲に分割することは以下の操作を含んでよい。

まず、視差分布ヒストグラムの統計計算に関する各数値範囲を、最初に分割された視差範囲とする。

そして、それぞれ隣接する２つの視差範囲の代表視差値の間の距離を計算する。１つの例示において、各視差範囲においてその値を取る画素数が最も多い視差値を、該視差範囲の代表視差値として抽出してもよい。又は、以上のように、視差数値が該視差範囲に含まれたすべての画素の視差値の平均値を該視差範囲の代表視差としてもよい。１つの例示において、視差範囲の代表視差値を決定した後、代表視差値の間の距離を該代表視差値の間の差の絶対値として計算してもよい。勿論、例えば、代表視差値の間の差の平方を用いて代表視差値の間の距離としてもよい。

次に、計算された隣接する視差範囲の代表視差値の間の距離は所定の閾値よりも小さいか否かを判断する。該２つの隣接する視差範囲の代表視差値の間の距離が所定閾値よりも小さい場合は、２つの視差範囲を統合する。１つの例示において、例えば、初期視差範囲の間隔は５である場合、所定閾値は例えば３に設定されてもよい。もう１つの例示において、閾値は動的に変化するものであってよく、例えば視差範囲の大きさにより適応的に調整してもよい。

統合操作を行えることができなくなるまで、上記距離の計算と視差範囲の統合を繰り返す。

言い換えると、上記代表視差値の距離の計算と視差範囲の統合は１つの反復プロセスである。毎回の反復は現在の各視差範囲に対して行い、例えば、現在ｋ個の視差範囲、１，２，…，ｋを有すると仮定すれば、１と２の間の距離を計算して統合するかどうかを判断し、そして順番に従って行い、仮に第ｋ個の範囲を処理し終わった後新しい例えばｊ個の視差範囲を取得すると、次の反復に前進し、このｊ個の視差範囲に対して類似の処理を行う。ある反復においていずれの統合操作がなくなるまで、上記反復を繰り返す。

ステップＳ２３２において、視差分布ヒストグラムにおける視差値の数値範囲を複数の範囲に分割し終わった後、ステップＳ２３３に前進する。

ステップＳ２３３において、該複数の範囲から信頼度が最も高い１つ若しくは複数の範囲、又は信頼度が所定閾値よりも大きい１つ若しくは複数の範囲を、信頼可能な視差数値範囲として抽出してもよい。

各範囲の信頼度の計算について、該範囲における画素点の個数と該範囲自体により行うことができる。一般的に、１つの範囲内の画素点の個数が多いほど、該範囲の信頼度が高くなり、及び、１つの範囲自体の視差値、例えば代表視差値が小さいほど、該範囲の信頼度が高くなる。１つの例示において、まず信頼度閾値のテーブルを準備することができ、例えば、閾値が閾値画素数で表し、閾値画素数と視差値を関連的に記憶し、例えば特定視差値がすべて関連の閾値画素数を有する。このように、１つの範囲について、計算して該範囲の代表視差値と関連の画素数を取得し、計算して得られた代表視差値に基づいて、信頼度閾値テーブルには対応の閾値画素数を探し、代表視差値と関連の画素数が探した閾値画素数よりも大きくなると、該範囲が信頼可能な視差範囲であると考える。

以上のことから、１つ又は複数の信頼可能な視差範囲を取得することができる。

以上、図５を参照しながら、本発明の１つの実施例による該画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定する方法の例示を説明したが、他の方法により画像ブロックの信頼可能な視差数値範囲を決定してよい。例えば、画像ブロックにおける各画素の視差値について、クラスタリングアルゴリズム、例えばＫ-Ｍｅａｎｓ、Ｋ-Ｍｅｄｏiｄｓ、ＧＭＭ、ＦＣＭなどを採用してクラスタリング結果を取得する。そして、クラスタリングの密度（カテゴリ内、カテゴリに対する空間範囲、サンプル点の個数）と範囲の大きさに基づいて信頼度の高い１つ又は複数のクラスタリングを決定し、このような１つ又は複数のクラスタリングの視差数値範囲を該信頼可能な視差数値範囲とする。

図３に戻し、ステップＳ２３０において該画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定し終わった後、ステップＳ２４０に前進する。

ステップＳ２４０において、該画像ブロックにおける各画素について、その視差値が該画像ブロックの信頼可能な視差数値範囲内のものであるか否かを判断し、該画素の視差値が信頼可能な視差数値範囲内のものでない場合は、該画素の視差値がノイズであると判定する。

ステップＳ２４０の処理を完成した後、ステップＳ２５０に前進する。

ステップＳ２５０において、現在の画像ブロックが最後の画像ブロックであるかどうかを判定する。最後の画像ブロックであると、処理終了し、そうでなければ、ステップＳ２６０に前進する。

ステップＳ２６０において、次の画像ブロックを取得し、そしてステップＳ２３０に前進し、続いて該画像ブロックに対して信頼可能な視差数値範囲の決定を行い（ステップＳ２３０）、画像ブロックの視差値が信頼可能な視差数値範囲内のものか否かによりノイズを識別し（ステップＳ２４０）、最後の図形ブロックであるかどうかを判定する（ステップＳ２５０）の操作を行う。最後の画像ブロックに対する処理を完成するまで、このように繰り返す。

本発明の実施例の視差ノイズの識別方法によれば、画像ブロックはより大きなサイズを取ることができるので、より高い計算効率を有し、且つ識別されたノイズ画素のみに対して後続のノイズ除去処理を行うことができるので、非ノイズ画素に影響を及ぼすことがない。

識別されたノイズ画素に対して、各種の処理を行うことができる。１つの例示において、該ノイズ画素を無効画素と見なし、その視差値をゼロに設定してもよい。もう１つの例示において、該ノイズ画素の周囲の画素の視差値により該ノイズ画素に対して視差値の充填処理を行うことができる。

以下、図６を参照しながら、本発明の実施例による視差深度画像におけるノイズを識別するノイズ識別装置３００の機能構成を説明する。

図６は本発明の実施例による視差深度画像におけるノイズを識別するノイズ識別装置の構成ブロック図を示すものである。

図６に示すように、ノイズ識別装置３００は、視差深度画像を複数の画像ブロックに分割する画像ブロック分割部３１０と、各画像ブロックについて、該画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定する視差数値範囲決定部３２０と、各画像ブロックにおける各画素について、その視差値が該画像ブロックの信頼可能な視差数値範囲内のものであるか否かを判断し、該画素の視差値が該信頼可能な視差数値範囲内のものでない場合は、該画素の視差値がノイズであると判定するノイズ識別部３３０と、を備えてもよい。画像ブロック分割部３１０、視差数値範囲決定部３２０、ノイズ識別部３３０に関する機能と操作は図３におけるステップＳ２１０、Ｓ２３０、Ｓ２４０に関する説明を参照することができる。

なお、図６に示すノイズ識別装置３００はただ例示であり、必要に応じて他の配置を行うことができ、例えば付加のノイズ画素充填部などを含むことができる。

本発明は更に視差深度画像におけるノイズを識別するための計算システムにより実施することができる。図７は本発明の実施形態を実現することに適用する例示的な計算システム４００のブロック図を示すものである。図７に示すように、計算システム４００は、ＣＰＵ（中央処理ユニット）４０１、ＲＡＭ（ランダムアクセスメモリ）４０２、ＲＯＭ（読出し専用メモリ）４０３、システムバス４０４、ハードディスクコントローラ４０５、キーボードコントローラ４０６、シリアルインタフェースコントローラ４０７、パラレルインタフェースコントローラ４０８、ディスプレイコントローラ４０９、ハードディスク４１０、キーボード４１１、シリアル外部デバイス４１２、パラレル外部デバイス４１３及びディスプレイ４１４を含んでよい。これらのデバイスにおいて、システムバス４０４とカップリングするのは、ＣＰＵ４０１、ＲＡＭ ４０２、ＲＯＭ４０３、ハードディスクコントローラ４０５、キーボードコントローラ４０６、シリアルインタフェースコントローラ４０７、パラレルインタフェースコントローラ４０８及びディスプレイコントローラ４０９を有する。ハードディスク４１０とハードディスクコントローラ４０５がカップリングされ、キーボード４１１とキーボードコントローラ４０６がカップリングされ、シリアル外部デバイス４１２とシリアルインタフェースコントローラ４０７がカップリングされ、パラレル外部デバイス４１３とパラレルインタフェースコントローラ４８がカップリングされ、及び、ディスプレイ４１４とディスプレイコントローラ４０９がカップリングされる。理解すべきことは、図７に記載の構造ブロック図はただ例示するためのものであり、本発明の範囲が限定されたものではない。ある場合には、具体的な状況に応じてあるデバイスを増加し又は減少してよい。

当業者にとって、本発明はシステム、装置、方法又はコンピュータプログラム製品として実現できることが分かる。このため、本発明は、具体的に、完全なハードウェア、完全なソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又はハードウェアとソフトウェアの組み合わせの形態として実現してよく、本明細書では、一般的に「回路」、「モジュール」、「装置」又は「システム」と呼ばれる。なお、いくつかの実施例において、本発明は、更に１つ又は複数のコンピュータ可読媒体におけるコンピュータプログラム製品の形態として実現してよく、該コンピュータ可読媒体にコンピュータ読み取り可能なプログラムコードを含む。

１つ又は複数のコンピュータ可読媒体の任意の組み合わせを採用することができる。コンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は、例えば電、磁、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、或いはこれらの任意の組み合わせであってよいが、これらに限定されたものではない。コンピュータ可読記憶媒体の更に具体的な例（非網羅的なリスト）は、１つ又は複数のリードがある電気接続、携帯用コンピュータディスク、ハードディスク、ランダムアクセスメモリ(ＲＡＭ)、読出し専用メモリ(ＲＯＭ)、消去可能なプログラマブル読出し専用メモリ(ＥＰＲＯＭ又はフラッシュ）、光ファイバ、携帯用コンパクトディスク読出し専用メモリ(ＣＤ-ＲＯＭ)、光メモリデバイス、磁気メモリデバイス、或いは以上のいずれの適合な組み合わせを含む。本明細書では、コンピュータ可読記憶媒体は、プログラムを含む或いは記憶する任意の有形媒体であってよく、該プログラムは指令実行システム、装置又はデバイスに使用されてよいし、或いはそれらと組み合わせて使用されてよい。

コンピュータ読み取り可能な信号媒体はベースバンドにおいて或いは一部の搬送波として伝播するデータ信号を含んでよく、その中にコンピュータ読み取り可能なプログラムコードを載せる。このような伝播するデータ信号は多種の形態を採用することができ、電磁信号、光信号又は以上のいずれの適合な組み合わせを含むが、これらに限定されたものではない。また、コンピュータ読み取り可能な信号媒体はコンピュータ可読記憶媒体以外のいずれのコンピュータ可読媒体であってよく、該コンピュータ可読媒体は指令実行システム、装置又はデバイスに使用され、或いはそれらと組み合わせて使用されるためのプログラムを送信、伝播又は伝送することができる。

コンピュータ可読媒体に含まれたプログラムコードはいずれの適合な媒体によって伝送することができ、無線、電線、ケーブル、ＲＦなど、或いは以上のいずれの適合な組み合わせを含むが、これらに限定されたものではない。

１種又は多種のプログラミング言語又はその組み合わせで本発明の操作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語はオブジェクト指向プログラミング言語、例えばＪａｖａ(登録商標)、Ｓｍａｌｌｔａｌｋ、Ｃ++を含み、通常な手続き型プログラミング言語、例えば「Ｃ」言語又は類似のプログラミング言語をさらに含む。プログラムコードは、完全にユーザーコンピュータで実行され、一部がユーザーコンピュータで実行され、１つの独立なソフトウェアパッケージとして実行され、一部がユーザーコンピュータで一部がリモートコンピュータで実行され、或いは完全にリモートコンピュータ又はサーバーで実行されてよい。リモートコンピュータに関わる場合には、リモートコンピュータは任意の種類のネットワーク（ローカルエリアネットワーク(ＬＡＮ)又は広域ネットワーク(ＷＡＮ)を含む）によってユーザーコンピュータに接続されることができ、或いは、外部コンピュータ（例えばインターネットサービスプロバイダを利用してインターネットによって接続される）に接続されることができる。

以上のように、本発明について、本発明の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら説明した。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータプログラム指令によって実現することができることが理解すべきである。これらのコンピュータプログラム指令は汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサに提供されることができ、これによって機器を生産し、これらのコンピュータプログラム指令はコンピュータ又は他のプログラマブルデータ処理装置によって実行され、フローチャート及び／又はブロック図におけるブロックに規定される機能／操作を実現する装置を製造する。

これらのコンピュータプログラム指令はコンピュータ又は他のプログラマブルデータ処理装置を特定の形態で働かせるコンピュータ可読媒体に記憶されてもよく、このように、コンピュータ可読媒体に記憶される指令は１つのフローチャート及び／又はブロック図におけるブロックに規定される機能／操作を実現する指令装置(ｉｎｓｔｒｕｃｔｉｏｎ ｍｅａｎｓ)を備える製造品(ｍａｎｕｆａｃｔｕｒｅ)を製造する。

コンピュータプログラム指令をコンピュータ、他のプログラマブルデータ処理装置、或いは他の機器にロードしてもよく、コンピュータ、他のプログラマブルデータ処理装置或いは他の機器で一連の操作ステップを実行させ、コンピュータの実現するプロセスを生じるようにし、これによりコンピュータ又は他のプログラマブル装置で実行される指令がフローチャート及び／又はブロック図におけるブロックに規定される機能／操作を実現するプロセスを提供することができる。

図面におけるフローチャートとブロック図は本発明の複数の実施例のシステム、方法及びコンピュータプログラム製品によれば実現可能な体系アーキテクチャ、機能及び操作を示す。この点では、フローチャート又はブロック図における各ブロックは１つのモジュール、プログラムセグメント或いはコードの一部を代表することができ、前記モジュール、プログラムセグメント或いはコードの一部は１つ又は複数の規定された論理機能を実現するための実行可能な指令を含む。注意すべきなのは、ある切り替えとしての実現のうち、ブロックに表記される機能は図面に表記される手順と異なるものに従って発生することもできる。例えば、２つの連続なブロックは実際にほぼ並列して実行してよく、逆の手順に従って実行してもよい場合があり、これは、関する機能に応じて決められる。注意すべきなのは、ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、規定された機能又は操作を実行する専用のハードウェアに基づいたシステムによって実現でき、或いは専用ハードウェアとコンピュータ指令の組み合わせによって実現できる。

以上は本発明の各実施例を説明しており、上記の説明は例示的なものであり、限定されたものではなく、且つ開示した各実施例に限定されたものではない。説明した各実施例の範囲と精神を逸脱しない限り、当業者にとって、多くの修正と変更をすることができるのは言うまでもない。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用又は市場における技術への改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解することができることを目的とする。

米国特許第ＵＳ７５７０８０４Ｂ２号

瀋厳、楊志卿らの「距離画像の階層的フィルタリング処理アルゴリズム」、西安電子科技大学学報（自然科学版）、２００３年１号

Claims (10)

1. 視差深度画像におけるノイズを識別するノイズ識別方法であって、
   視差深度画像を複数の画像ブロックに分割するステップと、
   各画像ブロックについて、該画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定するステップと、
   各画像ブロックにおける各画素について、視差値が該画像ブロックの信頼可能な視差数値範囲内のものであるか否かを判断し、該画素の視差値が該信頼可能な視差数値範囲内のものでない場合は、該画素の視差値がノイズであると判定するステップと、を含み、
   前記画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定するステップは、
   前記画像ブロックの視差分布ヒストグラムを計算するステップと、
   視差分布ヒストグラムを利用して視差値の数値範囲を複数の範囲に分割するステップと、
   該複数の範囲から信頼度が最も高い１つ若しくは複数の範囲、又は信頼度が所定の閾値よりも大きい１つ若しくは複数の範囲を、信頼可能な視差数値範囲として抽出するステップと、を含み、
   前記視差分布ヒストグラムにおける視差値の数値範囲を複数の範囲に分割するステップは、
   視差分布ヒストグラムの統計計算に関する各数値範囲を、最初に分割された視差範囲とするステップと、
   それぞれ隣接する２つの視差範囲の代表視差値の間の距離を計算するステップと、
   該隣接する２つの視差範囲の代表視差値の間の距離が所定の閾値よりも小さい場合は、該２つの視差範囲を統合するステップと、
   統合を行えることができなくなるまで、距離の計算と視差範囲の統合を繰り返すステップと、を含むノイズ識別方法。
2. 前記視差深度画像を複数の画像ブロックに分割するステップは、
   画像全体を互いに重ならない複数の画像ブロックに等分するステップ、又は、
   画像全体を重なる複数の画像ブロックに分割するステップ、を含む請求項１に記載のノイズ識別方法。
3. 画像ブロックのサイズは画像ブロックの代表視差値の大きさによって異なり、
   画像ブロックの代表視差値が大きければ大きいほど、画像ブロックのサイズを大きくする請求項２に記載のノイズ識別方法。
4. 前記視差分布ヒストグラムを計算するステップは、
   前記画像ブロックの視差値の数値範囲又は画像全体の視差値の数値範囲をｍ個の範囲、[ａ０，ａ１)，[ａ１，ａ２)，…，[ａ(ｍ-１)，ａｍ)に均一に分割するステップであって、ａ０とａｍはそれぞれ該画像ブロックの視差値の最小値と最大値又は画像全体の視差値の最小値と最大値であり、ｍが２よりも大きい正整数である、ステップと、
   画像ブロック内の各画素の視差値を走査し、各視差値範囲内に含まれる画素の個数を統計するステップと、を含む請求項１に記載のノイズ識別方法。
5. 前記それぞれ隣接する２つの視差範囲の代表視差値の間の距離を計算するステップは、
   各視差範囲において画素数が最も多い視差値を、該視差範囲の代表視差値として抽出するステップと、
   隣接する視差範囲の代表視差値の差を、それぞれ２つの隣接する視差範囲の代表視差値の間の距離として計算するステップと、を含む請求項１に記載のノイズ識別方法。
6. 視差深度画像におけるノイズを識別するノイズ識別装置であって、
   視差深度画像を複数の画像ブロックに分割する画像ブロック分割手段と、
   各画像ブロックについて、該画像ブロックの視差値の数値範囲における信頼可能な視差数値範囲を決定する視差数値範囲決定手段と、
   各画像ブロックにおける各画素について、視差値が該画像ブロックの信頼可能な視差数値範囲内のものであるか否かを判断し、該画素の視差値が該信頼可能な視差数値範囲内のものでない場合は、該画素の視差値がノイズであると判定するノイズ識別手段と、を備え、
   前記視差数値範囲決定手段は、
   前記画像ブロックの視差分布ヒストグラムを計算し、
   視差分布ヒストグラムを利用して視差値の数値範囲を複数の範囲に分割し、
   該複数の範囲から信頼度が最も高い１つ若しくは複数の範囲、又は信頼度が所定の閾値よりも大きい１つ若しくは複数の範囲を、信頼可能な視差数値範囲として抽出し、
   前記視差数値範囲決定手段は、
   前記視差分布ヒストグラムの統計計算に関する各数値範囲を、最初に分割された視差範囲とし、
   それぞれ隣接する２つの視差範囲の代表視差値の間の距離を計算し、
   該隣接する２つの視差範囲の代表視差値の間の距離が所定の閾値よりも小さい場合は、該２つの視差範囲を統合し、
   統合を行えることができなくなるまで、距離の計算と視差範囲の統合を繰り返すノイズ識別装置。
7. 前記画像ブロック分割手段は、
   画像全体を互いに重ならない複数の画像ブロックに等分し、或いは
   画像全体を重なる複数の画像ブロックに分割する請求項６に記載のノイズ識別装置。
8. 画像ブロックのサイズは画像ブロックの代表視差値の大きさによって異なり、
   画像ブロックの代表視差値が大きければ大きいほど、画像ブロックのサイズを大きくする請求項７に記載のノイズ識別装置。
9. 前記視差数値範囲決定手段は、前記視差分布ヒストグラムを計算する際に、
   前記画像ブロックの視差値の数値範囲又は画像全体の視差値の数値範囲をｍ個の範囲、[ａ０，ａ１)，[ａ１，ａ２)，…，[ａ(ｍ-１)，ａｍ)に均一に分割し、ａ０とａｍはそれぞれ該画像ブロックの視差値の最小値と最大値又は画像全体の視差値の最小値と最大値であり、ｍが２よりも大きい正整数であり、
   画像ブロック内の各画素の視差値を走査し、各視差値範囲内に含まれる画素の個数を統計する請求項６に記載のノイズ識別装置。
10. 前記視差数値範囲決定手段は、前記それぞれ隣接する２つの視差範囲の代表視差値の間の距離を計算する際に、
    各視差範囲において画素数が最も多い視差値を、該視差範囲の代表視差値として抽出し、
    隣接する視差範囲の代表視差値の差を、それぞれ２つの隣接する視差範囲の代表視差値の間の距離として計算する請求項６に記載のノイズ識別装置。