JP6332951B2 - 画像処理装置および画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像データにおける着目画素と参照画素との類似度を決定する方法に関するものである。

画像処理技術において、テンプレートマッチングやブロックマッチングなど、２つの領域に含まれる画素のパターンが互いに類似しているかどうかを判定するマッチング方法がある。これらの領域間におけるマッチング方法は、動き補償、位置合わせ、オプティカルフロー推定のためだけではなく、例えばノイズ低減処理にも使用されている。特許文献１や特許文献２には、着目画素と参照画素との類似度に基づいて、ノイズ低減処理を行う方法について開示されている。具体的には、着目画素を含む領域と参照画素を含む領域とのマッチングにより、着目画素に対する参照画素の類似度を算出し、類似度に応じた重み付き平均により、着目画素の画素値をノイズ低減処理する。

領域間の類似度は、対応する画素間の画素値を用いて算出される差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）がよく用いられる。つまり、各領域において対応する位置の画素同士について、画素値の差分を計算することによって、領域における類似度を算出するというものである。この領域間の類似度を高精度に算出することは、各画像処理の目的の効果を向上させる上で重要である。なお、ＳＳＤを用いた類似度算出方法に関しては、特許文献３に開示されている。

特表２００７−５３６６６２号公報 特開２０１１−３９６７５号公報 特開平１０−２８９３１５号公報

ところで、ＣＣＤセンサ、ＣＭＯＳセンサなどの撮像素子には、製造過程等に一部の画素にキズ（欠陥）が生じることがある。その結果、撮像して得られた画像データにおいて異常なレベルの画素値を出力する画素（以降、キズ画素とする）として現れる。さらに近年では、撮像素子の撮像領域内に撮像目的以外の特定用途向け画素（像面位相差画素や測距用画素等）を備えたものがある。従って撮像素子内には、周囲と同じ条件による画素値を取得できない画素も存在する。通常、このように異常値として認識された画素値をもつ画素の多くは、撮像装置内における画像処理によって補正されている。しかしながら、補正後の画素値は、撮像対象を撮像した結果得られた画素値を表しているわけではない。したがって、画像データにおける領域間の類似度を算出する際に、キズ画素や特定用途向け画素等に対応する画素が存在すると、正しい類似度を算出することができなかった。なお、ダイナミックレンジの限界を超えた白飛び画素、黒潰れ画素についても、正確な画素値が分からないという点で同様の課題があった。

そこで本発明の目的は、キズ画素や特定用途向け画素等の存在を考慮して領域間の類似度を算出することにより、高精度に領域間の類似度を出力することにある。

上記課題を解決するため本発明は、撮像素子に結像して得られる画像データに対して画像処理を実行する画像処理装置であって、前記画像データが表す画像における特定位置にある画素を特定画素として取得する取得手段と、前記画像において、着目画素と参照画素との類似度を算出するために用いる、前記着目画素を含む着目領域と前記参照画素を含む参照領域とを決定する決定手段と、前記着目領域と前記参照領域とを比較することにより、前記着目画素と前記参照画素との類似度を算出する算出手段と前記参照画素の画素値と前記参照画素に対して算出された前記類似度に応じた重みとを用いた重み付き平均により、前記着目画素のノイズ低減処理した画素値を算出する重み付き平均算出手段とを有し、前記算出手段は、前記着目領域および前記参照領域に含まれる前記特定画素は除いて前記参照画素の類似度を算出することを特徴とする。

本発明により、画像データにおいて、領域内にキズ画素、特定用途向け画素、あるいは白飛び画素、黒潰れ画素等に対応する画素が含まれている場合でも、高精度に領域間の類似度を算出することが可能になる。

画像処理装置のハードウェア構成の一例を示すブロック図 画像処理装置の論理構成の一例を示すブロック図 対応点探索処理部の構成の一例を示すブロック図 画像処理の動作の一例を示すフローチャート図 対応点探索処理部の動作の一例を示すフローチャート図 事前に保持しているキズ情報の一例を示す模式図 使用画素の決定の仕方の一例を示す模式図 対応点探索処理部の構成の一例を示すブロック図 対応点探索処理部の動作の一例を示すフローチャート図 信頼度合いの決定の仕方の一例を示す模式図 対応点探索処理部の構成の一例を示すブロック図 使用画素決定部の構成の一例を示すブロック図 対応点探索処理部の動作の一例を示すフローチャート図 画像処理装置の論理構成の一例を示すブロック図 ノイズ低減処理部の論理構成の一例を示すブロック図 画像処理の動作の一例を示すフローチャート図 ノイズ低減処理の動作の一例を示すフローチャート図 領域パラメータの例を説明する模式図 類似度の算出例を説明する模式図 ノイズ低減方法を説明する模式図 参照画素の重みを算出する関数を説明する模式図 ノイズ低減処理部の論理構成の一例を示すブロック図 ノイズ低減処理の動作の一例を示すフローチャート図 類似度信頼度の算出方法の一例を説明する模式図

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
図１は、本実施形態に適用可能な画像処理装置のハードウェア構成を示す図である。本実施形態では、画像データに対して各種画像処理を行うパーソナルコンピュータ（ＰＣ）を一例として説明する。なおここでは、画像処理装置としてＰＣを例に説明するが、これに限らない。タブレットデバイスやスマートホン等の携帯型情報処理装置であってもよいし、デジタルカメラやカメラ付き携帯電話のように撮像装置が本実施形態の画像処理を実行可能なハードウェアを内蔵する構成でもよい。

本実施形態における画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を有する。

汎用Ｉ／Ｆ１０４は、画像処理装置と外部装置とを接続するためのインターフェースである。撮像装置１０５は、内蔵するレンズにより撮像対象を撮像素子上に結像し、結像された光を電気信号に変換してデジタル画像データを生成する。ただし、撮像領域内の撮像素子上のごく一部には、撮像対象が光に結合された結果に基づいて得られた画素値ではない位置を含む場合がある。例えば、製造過程において生じてしまった欠陥画素や、像面位相差画素や測距用画素等のように意図的に撮像目的以外の用途のために設けられた画素がある。撮像装置１０５は、前述のような理由により撮像対象を撮像素子上に結像した光に基づいて得られたと期待される画素値をもたない特定位置を示す情報を保持している。撮像装置１０５は、撮像した結果得られるデジタル画像データを出力する。

入力装置１０６は、マウス、キーボードなどユーザによる画像処理装置に対する指示を受け付けるための外部装置である。また、外部メモリ１０７は、メモリーカードなどの外部メモリ１０７である。汎用Ｉ／Ｆ１０４は、撮像装置１０５、入力装置１０６、外部メモリ１０７をメインバス１０９に接続する。さらに汎用Ｉ／Ｆ１０４は、赤外線通信や無線ＬＡＮ等を用いて通信装置とデータのやりとりを行う構成としてもよい。

ＣＰＵ１０１は、入力された信号や後述のプログラムに従って画像処理装置の各部を制御する。ＨＤＤ１０３には、ＣＰＵ１０１が各種ソフトウェアを実行するためのコンピュータプログラムが格納されている。ＣＰＵ１０１は、ＨＤＤ１０３に格納されているソフトウェア（画像処理アプリケーション）を起動させることで、画像処理装置における各種画像処理を実現する。なお、ここではＣＰＵ１０１が装置全体を制御する場合を例に説明するが、複数のハードウェアが各種画像処理を分担することにより、装置全体を制御するようにしてもよい。

ＲＡＭ１０２は、処理対象の画像データを一時的に保持したり、ＣＰＵ１０１が作業をしたりする領域等として使用される。モニタ１０８は、処理対象の画像データや、画像処理を実行するためのユーザインターフェース（ＵＩ）を表示する。

以上のように、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されている画像データはＣＰＵ１０１からの指令に基づき各種演算される。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３または外部メモリ１０７に格納したりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

以下では、ＣＰＵ１０１が実行する各種画像処理について説明する。本実施形態では、上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、視点の異なる複数の画像データを入力し、撮像対象の３次元の位置を算出する処理の詳細について説明する。

（ステレオビジョン法）
まず、ステレオビジョン法について説明する。この手法は、複数の異なる視点から撮像された画像を用いて３次元情報を復元する技術である。このステレオビジョン法では、少なくとも２つの画像において、撮像対象におけるある空間点が、それぞれの画像上に投影された点の位置を特定する必要がある。具体的には、一方の画像を着目画像、もう一方の画像を参照画像とし、着目画像中の特定の位置の画素に対して、参照画像中から同じ点を探索する。この着目画像の特定の位置の画素に対応する参照画像中の対応点を探索するためには、着目画素と参照画素との類似度を算出する。類似度の算出には例えば、以下の数式（１）、（２）が用いられる。式（１）は差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、式（２）は差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を示している。

なお、式（１）、式（２）では、ブロックサイズをM×N、一方のブロック内の画素の位置（ｉ，ｊ）における画素値をＩ（ｉ，ｊ）、もう一方のブロック内の画素の位置（ｉ，ｊ）における画素値をＴ（ｉ，ｊ）とする。式（１）および式（２）によれば、着目画素と参照画素との類似度は、それぞれの画素を含む領域が類似しているかどうかにより決定される。着目画素を含む着目領域と参照画素を含む参照領域とにおいて、対応する画素間の画素値の差分和が小さいとき、着目領域と参照領域は類似しているということになる。そこで、類似度を示すＲ_ＳＡＤやＲ_ＳＳＤの値が最も小さくなる画素を、着目画素（ｉ，ｊ）に対する参照画像の対応点とする。なお、撮像対象の３次元の位置を表す３次元情報を高精度に算出するためには、対応点をサブピクセル精度で求める必要があるが、本実施例では最も単純な手法を示す。

（画像処理装置の論理構成）
図２は本実施形態に適用可能な画像処理装置の論理構成を示すブロック図である。各処理部は、ＣＰＵ１０１によって各処理が実行される。画像処理装置は、画像データ入力部２０１、対応点探索処理部２０２、距離画像生成部２０３、画像データ出力部２０４を有する。

画像データ入力部２０１は、処理対象とする異なる視点から撮像された２枚の画像データを画像処理装置に入力する。画像データは、ＣＰＵ１０１からの指示に基づき、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影した画像データをＨＤＤ１０３などの記憶装置に一旦記憶した後で入力してもかまわない。なお、以下では２枚の画像データの内、基準とする画像データを着目画像、もう一方の画像データを参照画像と呼ぶ。

対応点探索処理部２０２は、画像データ入力部２０１により入力された２枚の画像データのうち、画素ごとに着目画像に対する参照画像の対応点を探索する。探索した対応点のデータはＲＡＭ１０２に記憶される。対応点探索処理部２０２について図３を参照して詳細に説明する。ブロックサイズ設定部３０１は、着目画素と参照画素との類似度を算出するための領域の大きさを設定する。設定したブロックサイズはＲＡＭ１０２に記憶される。なお、ブロックサイズは、対象物の大きさや濃度変化および画像密度により決定される。

以降の処理は、着目画像における画素ごとに実行される。処理対象となる着目画像中の注目画素は、ラスタ順に決定されていく。また、着目画素ごとに参照画素中の全ての画素を参照画素として設定し、それぞれの類似度を算出する。処理領域取得部３０２は、ＲＡＭ１０２から取得したブロックサイズに応じて、画像データ入力部２０１で入力された画像データ中の着目画像の着目領域と参照画像の参照領域を取得する。ここで着目領域とは、着目画素と着目画素の周辺画素からなる。また、参照画素は、類似度を参照する対象となる参照画素と参照画素の周辺画素とからなる。処理領域取得部３０２が取得した着目領域と参照領域は、ＲＡＭ１０２に記憶される。

位置取得部３０３は、ＲＡＭ１０２から取得した着目領域と参照領域とにおける特定画素の位置を取得する。取得した特定画素の位置はＲＡＭ１０２に記憶される。特定画素と特定画素の位置の取得についての詳細は後述する。

使用画素決定部３０４は、着目領域と参照領域とにおいて、類似度の算出に使用する画素を決定する。使用画素決定部３０４は、予め保持しているデータから特定画素の位置を取得する。特定画素に基づいて、着目領域と参照領域の類似度を算出するために用いる使用画素を決定する。使用画素決定部３０４は、決定した使用画素をＲＡＭ１０２に記憶させる。使用画素決定部３０４についての詳細は後述する。

類似度決定部３０５は、使用画素決定部３０４により決定された使用画素に基づいて、着目領域と参照領域それぞれにおける使用画素とを取得する。そして取得した使用画素を用いて、着目領域と参照領域との類似度を算出する。本実施形態では、式（２）が示すように、対応する画素間の画素値の差分に基づいて類似度を算出する。

対応点決定部３０６は、類似度決定部３０５が算出した類似度に基づいて、着目画像における対応点を参照画像中の画素から決定する。類似度を算出した全ての参照画素のうち、もっとも類似度の値が小さい画素を、着目画素の対応点とする。距離画像生成部２０３は、対応点決定部３０６が出力した対応点のデータを取得し、三角測量の原理によって距離画像を生成する。生成した距離画像データはＲＡＭ１０２に記憶される。

画像データ出力部２０４は、距離画像生成部２０３で生成した距離画像データをモニタ１０８やＨＤＤ１０３などに出力する。なお、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７や、不図示の外部サーバなどに出力してもよいし、プリンタなどを接続して出力しても構わない。

（使用画素決定部３０４の詳細な説明）
前述の通り使用画素決定部３０４は、特定画素に基づいて、着目領域と参照領域との類似度を算出するための使用画素を決定する。特定画素とは、撮像装置１０５において内蔵のレンズにより撮像対象が撮像素子上に結像された光を電気信号に変換して得た画素値とは逸脱した値をもつ可能性が高い特定位置に対応する画素を意味する。具体的には、キズ画素、ダイナミックレンジの限界を超えた白飛び画素、黒潰れ画素、像面位相差画素、温度センサ画素、測距用センサ画素のように特定の目的のために設置された画素、ゴミや埃のついた画素等が考えられる。この中で、例えばキズ画素は通常、キズ補正処理により、周囲の画素の画素値により補間された画素値に置き換えられている。つまり本来の、撮像装置１０５において撮像対象がレンズにより結像された光を電気信号に変換して得られた画素値ではない。特に、製品出荷後に宇宙線等の影響によって発生したキズ画素や自身の周囲に連続してキズ画素が存在しているキズ画素は、周囲の画素に補間された値が本来の画素値と大きく異なってしまう可能性が高い。

そこで、撮像素子上のこのような特定位置に対応する画像データにおける画素を特定画素と定義する。なお、特定画素は上述した例に限定するものでなく、正確な画素値が記録されていない可能性のある画素であればどのように規定してもよい。また、当然のことながら、例えばキズ画素のみを特定画素の対象としてもよい。以降、本実施形態では、キズ画素を特定画素として適用する場合を例に説明する。

通常、キズ画素や特定の目的のために設置された画素については、それらの画素が撮像素子上のどの位置に存在するかというデータを撮像装置１０５が事前に保持している。図６は、各画素がキズ画素であるか否かを示したデータの一例を示す。図６（ａ）が示す画像データに対して、図６（ｂ）は、キズ画素の位置を示すキズ情報を表す。図６（ａ）が示す画像データのうち２つの画素がキズ画素として認識されている。したがって、キズ画素を特定画素の対象とする場合、このキズ情報を利用することによって、画像中における特定画素の位置を取得することが可能である。

また特定画素の位置は、キズ情報を用いる以外にも、リアルタイムに推定することによっても取得できる。例えばキズ画素であれば、隣接する画素値との比較によって検出する。具体的には、注目画素の画素値が隣接する画素群の画素値と比較し、いずれの画素とも極端に画素値が異なっているとき、その画素をキズ画素として認定する。また、黒潰れ画素、白飛び画素を特定画素として検出する場合、画素値が黒潰れ値又は白飛び値であるか判定することによって検出すればよい。以上のように、事前に保持している情報を用いるか、何らかの検出手段を実行することによって、着目領域と参照領域とに含まれる特定画素の位置を取得する。

本実施形態では、特定画素は、撮像対象が結像して得られた画素値ではないため、着目領域と参照領域との類似度の算出には使用しない。なぜなら、ブロックマッチングを行う際、式（１）や式（２）が示すような演算に特定画素を用いると、着目領域と参照領域は、本来は類似している領域間であっても特定画素の影響により類似度の値が大きくなってしまう。その結果、本来類似している領域間がマッチングしているとみなされなくなってしまうことがある。そこで、着目領域、参照領域中に特定画素が存在するとき、特定画素以外の画素を使用画素として決定する。図７は、使用画素の決定を説明するための図である。図７（ａ）、着目画像における着目領域と参照画像における参照領域の一例を示す。ここで、数値が書かれていない画素が特定画素である。本実施形態では、着目領域と参照領域において少なくともいずれかが特定画素である位置の画素は、使用画素から除外し、類似度の算出に用いない。図７（ｂ）は、使用画素を表している。斜線で示した画素が使用画素である。これにより、本来着目領域と参照領域との類似度が小さい場合に、特定画素の影響で大きい類似度が算出されることを防ぐことができる。

（類似度決定部３０５の詳細な説明）
類似度決定部３０５は、使用画素決定部３０４によって決定された使用画素を用いて、着目領域と参照領域との類似度を算出する。前述の通り類似度決定部３０５は、式（１）が示す差分絶対値和や式（２）が示す差分二乗和を用いて類似度を算出する。本実施形態では領域中の決定した使用画素のみを用いて類似度を算出するため、類似度を算出する式はそれぞれ式（３）、式（４）のようになる。

式（３）、式（４）では、着目領域、参照領域に特定画素が含まれるとき、特定画素が存在する位置の結果は類似度に加算されないことになる。

ところで、差分絶対値和、差分二乗和はこの類似度の値が小さいほど類似していることを表している。一方着目領域、参照領域内に特定画素が存在する際には、類似度の加算される差分が減る分、平均的に通常の類似度よりも小さくなる。類似度Ｒの平均的な大きさは、使用画素の数に比例する。そこで、着目領域や参照領域として設定されるブロックサイズに含まれる画素数と使用画素の数とに応じて、類似度を補正する。例えば、算出した類似度をＲとしたとき、補正後の類似度Ｒ’は、ブロックサイズをＭ×Ｎ（着目領域に含まれる画素数に相当）、使用画素数をＸとしたとき式（５）により得られる。

式（５）により、着目領域、参照領域に特定画素が存在した場合にも、全画素で算出したと仮定したときの類似度を得ることができる。

ただし、式（５）の右辺の分母である使用画素の数が０となるような場合、つまり領域中の全ての位置に着目領域または参照領域の少なくともいずれかに特定画素が存在する場合には、例外的な処理を行う。具体的には、使用画素の数が０の場合は、式（１）又は式（２）を用いて算出した結果を類似度Ｒ’として扱う。これにより、正確な画素値が記録されていない特定画素は、類似度の算出に使用しないようにした上で、全画素を使用した類似度を算出する。しかしながら特定画素が多い場合、類似度の値はとても大きくなる。従って実質的に、使用画素が０だった場合、着目領域と参照領域はマッチングしていると判定されにくい類似度が算出されることになる。

（処理フロー）
以下では、本実施形態における画像処理装置が実行する処理の流れを説明する。図４は本実施形態における画像処理装置のフローチャートである。ＣＰＵ１０１は、以下に説明するフローチャートがプログラムされたアプリケーションを実行することにより、各処理を実現する。

ステップＳ４０１において、画像データ入力部２０１は異なる視点から撮像された２枚の画像データを入力する。前述の通り、２つの画像データのうち１つを基準なる着目画像とし、他方を参照画像として入力する。ステップＳ４０２において、対応点探索処理部２０２はステップＳ４０１において着目画像に対する参照画像の対応点を探索する。対応点探索処理については後述する。

ステップＳ４０３において、距離画像生成部２０３はステップＳ４０２で得られた対応点の情報を用いて距離画像データを生成する。ステップＳ４０４において、画像データ出力部２０４は、ステップＳ４０３で生成された距離画像データを出力する。

以下では、図３で説明したステップＳ４０２における対応点探索処理の詳細について、図５のフローチャートを参照して説明する。ステップＳ５０１において、対応点探索処理部２０２は、ステップＳ４０１で入力された着目画像と参照画像を取得する。ステップＳ５０２において、ブロックサイズ設定部３０１は、着目画素と参照画素との類似度を算出するためのブロックマッチングに用いるブロックサイズを設定する。本実施形態では、５×５画素からなる矩形のブロックサイズを用いることとする。ステップＳ５０３において処理領域取得部３０２は、対応点を探索したい着目画像の着目画素を設定し、ステップＳ５０２で設定したブロックサイズに基づいて着目領域を決定する。本実施形態では、着目領域として着目画素を中心とする５×５画素の画素群が設定される。なお、着目画素はラスタ走査により、着目画像上の全画素、もしくは一定の間隔をあけて複数の画素を順次設定していく。

ステップＳ５０４において、処理領域取得部３０２は、参照画像中における画素を参照画素として設定し、ステップＳ５０２で設定したブロックサイズに基づいて参照領域を決定する。参照画素はラスタ走査により、参照画像上の全画素を順次設定していけばよい。従って、１つの着目画素に対して、参照画像中の全ての画素が順に参照画素として設定されることになる。また、参照領域を参照画像上の対応するエピポーラ線上に設定してもよい。これにより、マッチングの際の誤りや計算量を軽減することができる。

ステップＳ５０５において、使用画素決定部３０４は、ステップＳ５０３で決定した着目領域とステップＳ５０４で決定した参照領域とに含まれる画素のうち、特定画素である画素の位置を取得する。そして、着目領域、参照領域は共に特定画素ではない位置の画素を使用画素として決定する。前述の通り使用画素決定部３０４は、図７（ａ）が示す着目領域と参照領域の特定画素の位置に基づいて、図７（ｂ）が示す斜線で示された画素を使用画素として決定する。

ステップＳ５０６において類似度決定部３０５は、ステップＳ５０５において決定された使用画素のみを用いて、着目画素と参照画素との類似度を算出する。本実施例では、式（３）の通りに、差分二乗和により類似度を算出する。

ステップＳ５０７において、類似度決定部３０５はさらに、ステップＳ５０６で算出した差分二乗和に基づく類似度を式（５）により補正する。ステップＳ５０８において対応点決定部３０６は、設定された着目画素に対して、参照画像中全ての画素を参照画素として類似度を算出したか否かを判定する。終了していればステップＳ５０９に移行し、終了していなければステップＳ５０４に移行して、未処理の画素を参照画素として設定し、処理を継続する。

ステップＳ５０９において、対応点決定部３０６は、着目画素に対する対応点を決定する。対応点決定部３０６は、類似度決定部３０５から参照画像中の全ての画素について、着目画素との類似度を取得する。対応点決定部３０６は、全参照領域の中で最も類似度が小さい画素の位置とする。つまり、最も着目領域とマッチングしている参照領域に対応する参照画素が、対応点となる。

ステップＳ５１０において対応点決定部３０６は、ステップＳ５０１で入力された着目画像について、全ての画素に対して対応点探索処理が終了したかどうか判定する。終了していればステップＳ５１１に移行し、終了していなければステップＳ５０３に移行して未処理の画素を着目画素として設定し、処理を継続する。ステップＳ５１１において、対応点探索処理部２０２は、ステップＳ５０９で決定した各画素の対応点のデータを出力する。以上で、対応点探索処理が完了する。

以上、本実施形態によれば、着目画素に対する参照画素の類似度をブロックマッチングにより算出する際に、特定画素を除く画素を用いて類似度を算出する。特定画素とは、キズ画素のように、撮像対象を結像して得られる値とは異なる画素値をもつ画素である。これにより、より高精度に着目画素と類似した対応点を検出することができる。

なお、本実施形態では、２枚の画像により距離画像を生成しているが、視点の異なる３枚以上の画像から距離画像を生成することもできる。この場合は、画像データ入力部で入力する画像を、着目画像を一枚、参照画像を複数枚とし、着目画像の着目画素に対応する対応点を各参照画像から探索する。

＜第２実施形態＞
前述の実施形態では、類似度を決定する際に、まず、着目画素に対する参照画素の類似度を、特定画素以外の画素を用いて算出した。本実施形態では、特定画素をどれくらい信頼するかという意味で重み付けを行う方法を説明する。つまり本実施例では、領域における各画素位置の信頼性に基づいて類似度を決定する。なお、前述の実施形態と同様の構成については、説明を省略する。

図８は、第２実施形態に適用可能な対応点探索処理部２０２の詳細な構成を示すブロック図である。本実施形態における対応点探索処理部２０２は、ブロックサイズ設定部８０１、処理領域取得部８０２、情報取得部８０３、信頼度合い決定部８０４、類似度決定部８０５、対応点決定部８０６を有する。この中で、ブロックサイズ設定部８０１、処理領域取得部８０２、対応点決定部８０６は、それぞれ、ブロックサイズ設定部３０１、処理領域取得部３０２、対応点決定部３０６と同じである。

情報取得部８０３は、着目領域と参照領域とにおける特定画素の位置とその種類を表す情報を取得する。取得した特定画素の情報はＲＡＭ１０２に記憶される。特定画素の種類とは、その特定画素がキズ画素なのか、白飛び画素、黒潰れ画素なのか、特定の目的のために設置された画素なのか、ゴミや埃のついた画素なのかということを意味する。信頼度合い決定部８０４は、着目領域と参照領域とにおいて、各画素位置の信頼度合いを決定する。信頼度合いの決定についての詳細は後述する。

類似度決定部８０５は、着目領域と参照領域と信頼度合いとを取得し、信頼度合いに応じて着目領域と参照領域との類似度を算出して決定する。類似度の決定についての詳細は後述する。

（信頼度合い決定部８０４）
信頼度合いとは、着目領域と参照領域の各画素位置に対して定義されるパラメータである。信頼度合いは、類似度を算出する際に、その位置に対応する画素間の差分をどれだけ信頼して類似度に反映するかを意味する。図１０に信頼度合いの決定の仕方の具体例を示した。図１０（ａ）は、本実施形態において情報取得部８０３が取得する情報の一例である。ここで、数値が書かれていない画素が特定画素である。キズ、飽和というのは特定画素の種類であり、それぞれキズ画素、白飛び画素を表している。そして、図１０（ｂ）が、特定画素の種類に応じて設定される各画素位置の信頼度合いを示したものである。着目領域、参照領域共に正常な画素となっている画素位置の信頼度合いは１となっている。また、着目領域、参照領域のどちらか一方以上の画素が飽和画素であり、対応するもう一方の位置がキズ画素でないとき、その画素位置の信頼度合いを０.５としている。さらに、着目領域、参照領域のどちらか一方以上の画素がキズ画素であるとき、その画素位置の信頼度合いは0とする。

なお、信頼度合いは必ずしも０〜１の範囲にする必要はない。また、信頼度合いは、その画素が撮像対象を結像した結果得られる値ではない場合に、相対的に小さくするように決定されればどのように規定してもよい。あるいは、着目領域と参照領域において、ある画素位置がその両方の領域で特定画素だった場合に、信頼度合いをより小さくするといった方法も考えられる。例えば、着目領域のある画素と、対応する画素位置の参照領域における画素の何れも白飛び画素だった場合は、信頼度を０．３にするというように設定してもよい。

なお、ある領域における各画素位置の信頼度合いＥ_ｉｊは、式（４）により表すことができる。ここで、ブロックサイズをＭ×Ｎ、着目領域の画素をＩ、参照領域の画素をＴとし、各画素位置をｉ（ｉ＝０〜Ｍ−１）、ｊ（ｊ＝０〜Ｎ−１）とする。

式（６）は、着目領域、参照領域における同一位置の画素が共に特定画素でなかったとき１とし、特定の条件を満たす時に０．５とし、それ以外のときに０とすることを表している。

（類似度決定部８０５）
類似度の算出には式（１）で示した差分絶対値和や式（２）で示した差分二乗和を用いる。その際、本実施形態では信頼度合いＥ_ｉｊを考慮してそれぞれ式（７）、式（８）のように算出する。

式（７）、式（８）はそれぞれ差分絶対値和と差分二乗和に対して、信頼度合いＥ_ｉｊにより重みをつけることを意味している。例えば、式（６）で示した信頼度合いＥ_ｉｊを用いた場合には、着目領域、参照領域のある位置の画素が共に特定画素でない場合は、差分絶対和または差分二乗和をそのまま加算する。また、所定の条件を満たすとき０．５倍した結果を加算し、それ以外の場合にはその位置の結果を加算しない。前述の通り、類似度が小さいほど着目領域と参照領域は類似していることを表している。したがって、信頼度合いＥ_ｉｊが１とならない画素位置が存在する場合には、算出結果が通常の値よりも小さくなり、類似度が高いとみなされることになる。そこで、信頼度合いＥ_ｉｊに応じて、適切に類似度を補正する必要がある。算出した類似度をＲとすると、補正後の類似度Ｒ’は、ブロックサイズをＭ×Ｎとしたとき次式で得られる。

式（９）により、信頼度合いＥ_ｉｊを用いて特定画素が存在した個所の重みを小さくした場合にも、全画素を使用したと仮定したときの類似度の値を得ることができる。ただし、式（９）の右辺の分母である重みの総和が０となるような場合は、例外的な処理を行う。具体的には、例えば式（１）又は式（２）を用いて算出した結果を類似度Ｒ’とする。これにより、正確な画素値が記録されていない特定画素は、類似度の算出に使用しないようにした上で、全画素を使用した類似度を算出する。しかしながら特定画素が多い場合、類似度はとても大きい値となる。これは実質的に、使用画素が０だった場合には着目領域と参照領域は類似していると判定されにくい類似度が算出されることになる。

以下では、本実施形態における対応点探索処理の詳細を説明する。図９は第２実施形態に適用可能なフローチャートを示す。前述の実施形態と同様、ＣＰＵ１０１は、以下に示すフローチャートがプログラムされたアプリケーションを実行することにより、各処理を実行する。なおステップＳ９０１〜Ｓ９０４は、ステップＳ５０１〜Ｓ５０４に等しい。

ステップＳ９０５において信頼度決定部８０４は、ステップＳ９０３で決定した着目領域とステップＳ９０４で決定した参照領域とに含まれる各画素における特定画素の位置とその種類を表す情報を取得する。そして、各画素位置の信頼度合いを決定する。本実施形態では、キズ画素、白飛び画素、黒潰れ画素を特定画素として検出する。また図１０（ｂ）が示す通り、着目領域または参照領域の何れかにおいて白飛び画素および黒潰れ画素である場合は、信頼度合いを０．５とし、着目領域または参照領域の何れかにおいてキズ画素がある場合は、信頼度合いを０とする。

ステップＳ９０６において類似度決定部８０５は、ステップＳ９０５で決定した信頼度合いに応じてステップＳ９０３で決定した着目領域とステップＳ９０４で決定した参照領域との類似度を算出する。本実施形態では式（８）が示すように、信頼度合いに応じた重みを差分二乗和に積算し、類似度を算出する。

ステップＳ９０７において類似度決定部８０５はさらに、ステップＳ９０６で算出した差分二乗和に基づく類似度を、式（９）の通りに補正する。

以降ステップＳ９０８〜Ｓ９１１は、ステップＳ５０８〜Ｓ５１１に等しい。

以上のように、特定画素のうちその種類に応じた信頼度合いを用いて、より高精度に類似度を算出する方法について説明した。これによれば、画像データにおいて撮像対象が結像された結果得られる画素値ではない特定画素を、特定画素の種類に応じて類似度の算出に反映させることができる。

＜第３実施形態＞
前述の実施形態では、対応点探索処理部２０２において、予め決められたブロックサイズにおける画素について、類似度の算出に使用するか否を決定する方法について説明した。このとき、着目領域と参照領域とにおいて特定画素が多数存在し、使用画素の数が少ない、あるいは信頼度合いが低い画素が多くなってしまう場合がある。本来は差分が小さい（つまり類似している）場合に類似度が小さくなるのに対し、使用画素の数が極端に少ないと、合計する差分の数が少ないために類似度が小さくなってしまう。そこで第３実施形態では、領域内に特定画素が多数存在する場合には、ブロックサイズを設定し着目領域と参照領域を再度取得し直す。これにより、十分な数の使用画素（あるいは信頼度合いが高い画素）を用いて類似度の算出を行う方法について説明する。

図１１は本実施形態に適用可能な対応点探索処理部２０２の詳細を示すブロック図である。ブロックサイズ設定部１１０１、処理領域取得部１１０２、位置取得部１１０３、類似度決定部１１０５、対応点決定部１１０６は、ブロックサイズ設定部３０１、処理領域取得部３０２、位置取得部３０３、類似度決定部３０５、対応点決定部３０６に相当する。図１２は、第３実施形態における使用画素決定部１１０４の詳細を示すブロック図である。本実施形態における使用画素決定部１１０４は、判定部１２０１、ブロックサイズ変更部１２０２、処理領域取得部１２０３、位置取得部１２０４、決定部１２０５を有する。

判定部１２０１は、着目領域と参照領域とに含まれる特定画素の位置を取得する。そして、各領域に含まれる画素に対して特定画素の占める割合が閾値以上であるか判定する。なお、閾値はどのように規定してもよい。判定部１２０１は、閾値以下だった場合、探偵したブロックサイズをブロックサイズ変更部１２０２に出力する。

ブロックサイズ変更部１２０２は、判定部１２０１により、領域に含まれる画素に対して特定画素の占める割合が閾値以下として判定された場合、判定部１２０１が判定したブロックサイズを一回り大きいサイズに変更する。変更したブロックサイズはＲＡＭ１０２に記憶される。

処理領域取得部１２０３は、ブロックサイズ変更部１２０２により変更された後のブロックサイズに応じて、画像データ入力部２０１で着目画像の着目領域と参照画像の参照領域を取得する。処理領域取得部１２０３は、取得した着目領域と参照領域を位置取得部１２０４に出力する。 位置取得部１２０４は、処理領域取得部１２０３から取得した着目領域と参照領域とにおける特定画素の位置を取得する。取得した特定画素の位置は決定部１２０５に出力する。特定画素と特定画素の位置の取得については第１実施形態同様、本実施形態ではキズ情報を用いる。

決定部１２０５は、処理領域取得部１２０３が取得した着目領域と参照領域とにおいて、位置取得部１２０４が取得した特定画素に基づいて類似度の算出に使用する使用画素を決定する。決定した使用画素はＲＡＭ１０２に記憶される。使用画素の決定については第１実施形態に示した通りである。

以下では、本実施形態における対応点探索処理の流れを説明する。図１３は、第３実施形態に適用可能な対応点探索処理のフローチャートである。ステップＳ１３０１〜Ｓ１３０４は、ステップＳ５０１〜Ｓ５０４と同様である。

ステップＳ１３０５において判定部１２０１は、着目領域と参照領域とに含まれる画素のうち、特定画素の位置を取得する。そして、着目領域、参照領域共に特定画素ではない画素（使用画素候補）が領域に含まれる画素数（ブロックサイズ）に対して閾値以上あるか判定する。閾値以上あれば使用画素候補を使用画素として決定し、ステップＳ１３０９に移行する。閾値未満であればステップＳ１３０６に移行する。

ステップＳ１３０６においてブロックサイズ変更部１２０２は、ステップＳ１３０２で設定したブロックサイズを一回り大きいサイズに拡大する。着目画素、参照画素を中心とする領域を決定するためには、ブロックサイズは奇数×奇数とする必要がある。したがって、ステップＳ１３０２で設定したブロックサイズが奇数×奇数だったとき、拡大するブロックサイズは一つ大きい奇数×一つ大きい奇数になる。例えば、3×3なら5×5のように変更する。

ステップＳ１３０７において処理領域取得部１２０３は、ステップＳ１３０３において決定された着目画素に対して、拡大後のブロックサイズに基づいて着目領域を取得する。ステップＳ１３０８において処理領域取得部１２０３は、ステップＳ１３０４において決定された参照画素に対して、拡大後のブロックサイズに基づいて参照領域を取得する。ステップＳ１３０９〜Ｓ１３１５は、ステップＳ５０５〜Ｓ５１１と同様の処理を行う。

以上の処理により、着目領域と参照領域において、予め設定されたブロックサイズに使用画素候補が少ない場合にも、十分な数の使用画素を用いて類似度を算出することが可能となる。その結果、良好なノイズ低減効果を得ることができる。なお、本実施形態では、特定画素の位置を取得して、使用画素を決定する方法について説明したが、第２実施形態と同様に領域における各画素位置の信頼度合いに基づいて類似度を算出する方法で実施してもよい。

なお、本実施形態では、使用画素の数をブロックの拡大によって制御したが、これに限らない。予め、類似度の算出に用いる使用画素の数と、着目画素の近傍画素において判定純を決めておく。注目画素または参照画素について決められた画素順に、特定画素であるかどうかを判定し、いずれの画素においても特定画素でない場合、それぞれの使用画素を決定するような方法でもよい。

＜第４実施形態＞
前述の実施形態では、ブロックマッチングにより異なる視点から撮像された画像間の対応点を探索するステレオビジョン法を実行する画像処理について説明した。本実施形態では、ブロックマッチングによりノイズ低減処理を行う実施形態を例に説明する。基本的な画像処理装置のハードウェア構成は、前述の実施形態と同様である。
本実施形態では、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成し、出力する処理の詳細について説明する。

（ＮｏｎＬｏｃａｌＭｅａｎｓ）
まず、ＮｏｎＬｏｃａｌＭｅａｎｓと呼ばれるノイズ低減処理について説明しておく。この手法は、ノイズ低減対象となる画像データの着目画素について、複数の参照画素ごとにブロックマッチングにより類似度を算出する。各参照画素の画素値と類似度に応じた重みとを用いて重み付き平均した結果を、着目画素の画素値に置き換えることにより着目画素のノイズを低減する。参照画素の画素数をＮ_Ｓ、参照画素の画素値をＩ_ｊ（ｊ＝１〜Ｎ_Ｓ）、参照画素の重みをｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）とすると、加重平均したノイズ低減処理後の着目画素の画素値Ｉ_newは次式になる。

次に、参照画素の重みの決定方法について、図１４及び図１５を参照して説明する。図１４（ａ）において、画像データ１４０１が処理対象画像を示す。画像データ１４０１において、左上の画素を原点として各画素の画素値をＩ（ｘ、ｙ）と表すものとする。ここで、画素１４０２を着目画素とすると、着目画素の画素値はＩ（４、４）により表される。領域１４０３は着目領域であり、着目画素１４０２を中心とした３×３画素の矩形領域である。参照画素群１４０４は着目画素のノイズ低減に用いられる参照画素を示し、着目画素１４０２を含む５×５画素（Ｎ_Ｓ＝２５）の矩形領域内からなる。領域１４０５は、参照画素Ｉ（２，２）の参照領域であり、参照画素Ｉ（２，２）を中心とし、着目領域と同サイズの３×３画素の矩形領域である。尚、参照領域は参照画素毎に存在するが、ここでは参照画素Ｉ（２，２）の参照領域だけ示している。参照画素Ｉ（２、２）の重みを求めるために、まず、着目領域１４０３と当該参照画素Ｉ（２、２）の参照領域１４０５とを比較して類似度を決定する。本実施形態では、図１４（ｂ）のように、着目領域１４０３の画素をｂ_ｓ（ｐ，ｑ）、参照領域１４０５の画素をｂ_ｊ（ｐ，ｑ）（ｊ＝１〜Ｎ_Ｓ）とする。着目領域１４０３における各画素と参照領域１４０５における各画素は、画素位置が対応している。そして、着目領域１４０３と参照領域１４０５との空間的に対応する画素の差を類似度とすると、類似度Ｃ_ｊは式（１１）になる。

類似度Ｃ_ｊは値が小さいほど着目領域と参照領域は類似していることを意味する。そこで、類似度Ｃ_ｊに応じて、参照画素の重みを決定する。重みは、図１５に示す関数によって決められる。類似度Ｃ_ｊが小さいほど重みが大きく、類似度Ｃ_ｊが大きいほど重みが小さくなるように決定すればよく、式（１２）によって表される。

ここで、ｈは重みの大きさを制御する変数であり、ｈを大きくすると重みｗ_ｊは大きくなる。したがって、ｈを大きくするとノイズ低減効果が高くなるが、エッジがぼける。

以下同様に、着目領域１４０３と各参照画素の参照領域とを順次比較していくことで、参照画素毎の重みが得られる。

尚、本実施形態におけるノイズ低減処理は、参照画素の重みが着目領域と参照領域との類似度とに基づいて決まる処理であればよく、類似度や重みの決定方法などはここで説明した方法に限られるものではない。例えば、類似度は式（１３）のように差分絶対値和で算出することも考えられる。

（画像処理装置の論理構成）
以下では、図１６は、本実施形態に適用可能な画像処理装置の論理構成を示す。図１６において画像処理装置は、画像データ入力部１６０１と、領域設定部１６０２と、ノイズ低減処理部１６０３と、画像データ出力部１６０４とを有する。前述の実施形態同様、各処理部は、ＣPU１０１の指示により制御され、各処理が実行される。画像データ入力部１６０１は画像データを画像処理装置に入力する。画像データは、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影した画像データをＨＤＤ１０３などの記憶装置に一旦記憶した後で入力してもかまわない。

領域設定部１６０２は、ノイズ低減処理に用いる領域パラメータをノイズ低減処理部１６０３に入力する。領域パラメータは、ＨＤＤ１０３や外部メモリ１０７から入力される。また、ユーザインターフェイス（ＵＩ）を介し、キーボードやマウスなどの入力装置１０６から直接指定して入力してもかまわない。なお、領域パラメータの詳細については後述する。

ノイズ低減処理部１６０３は、画像データ入力部１６０１で入力された画像データを取得する。そして、画像データに対して画素毎にノイズ低減処理を行い、ノイズが低減された補正画像データを生成する。生成した補正画像データはＲＡＭ１０２に記憶される。

図１７は、ノイズ低減処理部１６０３の詳細な構成を示すブロック図である。ノイズ低減処理部１６０３は、信頼度合い算出部１７０１、類似度算出部１７０２、類似度補正部１７０３、重み算出部１７０４、重み付き平均算出部１７０５を有する。信頼度合い算出部１７０１は入力された画像データを取得し、処理対象とする着目領域と参照領域とに含まれる各画素における特定画素の位置とその種類を表す情報を取得する。そして、各画素位置の信頼度合いを決定する。本実施形態では、キズ画素を特定画素として取得する。また、着目領域と参照領域とにおいて、対応する画素のいずれも特定画素でない場合は信頼度合いを１とし、少なくとも一方の画素が特定画素である場合は信頼度合いを０とする。

類似度算出部１７０２は、入力された画像データと領域パラメータと信頼度合いとを取得し、着目領域と参照領域との類似度を算出する。類似度補正部１７０３は、類似度算出部１７０２が算出した類似度を、信頼度合いに応じて補正する。類似度算出部１７０２および類似度補正部１７０３については、詳細を後述する。

重み算出部１７０４は、画像データと領域パラメータと補正された類似度とを取得し、類似度に応じた重みを算出する。重みつき平均算出部１７０５は、画像データと領域パラメータと各参照画素の重みとを取得し、補正画像データを生成する。画像データ出力部１６０４は、ノイズ低減処理部１６０３が生成した補正画像データをモニタ１０８やＨＤＤ１０３などに出力する。なお、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７や、不図示の外部サーバなどに出力してもよいし、プリンタなどを接続して出力しても構わない。

（類似度算出部１７０２および類似度補正部１７０３）
類似度算出部１７０２は、信頼度合い算出部１７０１から得られる信頼度合いに基づいて類似度Ｃ_ｊを算出する。まず本実施形態における信頼度合いは、式（１４）により表すことができる。なお、信頼度合いをＥ_pqとする。

類似度算出部１７０２は、信頼度合いＥ_pqに応じて、式（１５）のように対応する画素間の差分二乗和により類似度Ｃ_ｊ算出する。

さらに類似度補正部１７０３は、信頼度合いＥ_pqに応じて類似度Ｃ_ｊを補正する。着目領域および参照領域のブロックサイズをM×Nとしたとき、補正した類似度Ｃ_ｊ’は次式で得られる。

補正された類似度Ｃ_ｊ’が、重み算出部１７０４に出力される。

（メイン処理フロー）
以下では、本実施形態における画像処理装置が実行する処理の流れを説明する。図１８は、本実施形態における画像処理のフローチャートを示す。前述の実施形態と同様、ＣＰＵ１０１は、以下に示すフローチャートがプログラムされたアプリケーションを実行することにより、各処理を実行する。

ステップＳ１８０１において、画像データ入力部１６０１は画像データを入力する。ステップＳ１８０２において、パラメータ入力部１６０２は画像処理パラメータを入力する。入力するパラメータは領域パラメータある。領域パラメータについて説明する。式（１０）から式（１２）で説明したように、ノイズ低減後の画素値を求めるためには、着目画素と参照画素との類似度を決定するための着目領域が必要である。なお着目領域が決まれば、参照画素に対応する参照領域も決まることになる。そこで本実施形態において領域パラメータは、参照画素と着目領域の画素配置を示すパラメータである。なお参照画素は着目画素近傍の画素としてもよいし、画像全体の画素としても構わない。以下では、参照画素は着目画素を中心とする５×５画素として説明する。尚、一般に参照画素を増やすとノイズ低減効果が向上するが、処理時間も増加するため、所望の実施形態に応じて参照画素を領域パラメータとして入力すればよい。

着目領域は、一般に着目領域を大きくすると、ベタ部のノイズ低減効果が大きく、反対に着目領域を小さくすると、エッジ部のノイズ低減効果が大きくなるため、所望の実施形態に応じて、適当な着目領域を領域パラメータとして入力すればよい。ここで、図１９を参照して、着目領域の例を説明する。図１９は、領域パラメータとして指定される着目領域と複数の参照画素とのセットが複数ある例を模式的に示している。図１９において、黒画素が着目画素を示している。図１９の各着目領域の項において、黒画素及び斜線で示す画素が着目領域を示しており、各参照画素の項において黒画素及び斜線で示す画素が参照画素を示している。このように、図１９（ａ）から図１９（ｆ）に示すセットが領域パラメータの例である。図１９（ａ）は３×３画素の着目領域ａ１、図１９（ｂ）は５×５画素の着目領域ｂ１を示しており、図１９（ａ）の着目領域ａ１と図１９（ｂ）の着目領域ｂ１とでは画素数が異なる。また、図１９（ｃ）は着目画素から１画素間隔の３×３画素の着目領域ｃ１を示している。図１９（ｄ）は着目画素から縦横に５画素ずつの着目領域ｄ１を示している。図１９（ａ）の着目領域ａ１と、図１９（ｃ）の着目領域ｃ１と、図１９（ｄ）の着目領域ｄ１とでは、画素数は同じであるが、着目領域の画素配置が異なる。なお、着目領域の画素配置はこれに限られるものではなく所望の配置を取って構わない。例えば、図１９（ｅ）は着目画素からのマンハッタン距離が２以下の着目領域ｅ１を示している。図１９（ｆ）は着目画素からのユークリッド距離が√５以下の着目領域ｆ１を示している。このように着目画素からの距離が異なる複数の着目領域を複数の領域パラメータとして入力しても構わない。尚、図１９では着目領域及び参照画素の範囲を便宜的に正方形で示しているが、これに限られるものではなく長方形やその他の形状であっても構わない。このように、着目領域は領域内の画素数または画素配置によって、様々なバリエーションが考えられる。

ステップＳ１８０３において、ノイズ低減処理部１６０３はノイズ低減処理を行い、補正画像データを生成する。ノイズ低減処理における詳細なフローについては後述する。ステップＳ１８０４において、画像データ出力部１６０４は、ステップＳ１８０３で生成された補正画像データを出力する。

（ノイズ低減処理フロー）
以下では、ステップＳ１８０３のノイズ低減処理のフローについて、図２０が示すフローチャートを参照して説明する。

ステップＳ２００１においてノイズ低減処理部１６０３は、ステップＳ１８０１において画像データ入力部１６０１により入力された画像データを取得する。
ステップＳ２００２においてノイズ低減処理部１６０３は、ステップＳ１８０２において領域設定部１６０２により入力された領域パラメータを取得する。ここでは、図１０（ａ）が示す３×３の画素からなる矩形領域を着目領域として設定するパラメータが入力されるとする。また、重み付き平均に用いられる参照画素群を示すパラメータも入力される。

ステップＳ２００３においてノイズ低減処理部１６０３は、ステップＳ２００２において取得した領域パラメータに基づいて、画像データにおける着目画素と着目領域を決定する。ステップＳ２００４においてノイズ低減処理部１６０３は、ステップＳ２００２で取得した領域パラメータに基づいて、画像データにおける参照画素と参照領域を決定する。

ステップＳ２００５において信頼度合い算出部１７０１は、着目領域と参照領域とに含まれる各画素の信頼度合いを、画素位置毎に決定する。本実施形態では、前述の実施形態と同様に式（１４）を用いて信頼度合いが決まるとする。つまり、着目領域または参照領域において少なくともいずれかにおいて特定画素である画素位置については、信用度合いは０となる。また、着目領域および参照領域においていずれも特定画素ではない画素位置における信頼度合いを１とする。

ステップＳ２００６において、ノイズ低減処理部１６０３は、ステップＳ２００５で決定した信頼度合いに基づいて、着目領域と参照領域とから着目画素に対する参照画素の類似度を算出する。前述の通り、類似度の算出は式（１５）を用いる。ステップＳ２００７において類似度補正部１７０３は、信頼度合い算出部１７０１から信頼度合いを取得し、信頼度合いに応じて類似度算出部７１７０２が算出した類似度を、式（１６）のように補正する。ステップＳ２００８において重み算出部１７０４は、ステップＳ２００７において類似度補正部１７０３により出力された類似度に応じて、参照画素の重みを算出する。重みの算出には式（９）を適用する。

ステップＳ２００９においてノイズ低減処理部１６０３は、ステップＳ２００２で入力された領域パラメータの参照画素の全ての画素に対する処理が終了したかどうか判定する。終了していればステップＳ２０１０に移行し、終了していなければステップＳ２００４に移行して処理を継続する。ステップＳ２０１０において、重みつき平均算出部１７０５は、ステップＳ２００８において算出した着目画素に対する各参照画素の重みに基づいて式（１０）を適用し、ノイズ低減処理後の補正画素値を算出する。

ステップＳ２０１１において、ノイズ低減処理部１６０３は、ステップＳ２００１で入力された画像データの全ての画素に対する処理が終了したかどうか判定する。終了していればステップＳ２０１２に移行し、終了していなければステップＳ２００３に移行して処理を継続する。ステップＳ２０１２において、ノイズ低減処理部１６０３は、ステップＳ２０１０で生成した補正画素値から補正画像データを生成する。

以上の処理で、本実施形態における画像データのノイズ低減処理が完了する。本実施形態によれば、着目画素に対する類似度を算出するために設定された着目領域および参照領域において、特定画素の種類に応じた信用度合いに基づいて類似度が決められる。これは、特定画素のような本来撮像対象が結像された結果得られる画素値じゃない画素を、類似度の算出に用いないことを目的とする。図２１（ａ）は、本実施形態における類似度算出の例を示す。着目領域と参照領域は、互いに対応する画素配置をもつ。少なくともいずれかの領域において特定画素であると判定された画素位置については、差分を算出しない。これにより、着目画素近傍の画素値が表すパターンと参照画素近傍の画素値が表すパターンとについて、より高精度に類似度を算出できる。その結果、画像データに対するノイズ低減処理の効果を高める。

なお、本実施形態では、着目領域を設定するための領域パラメータは変更せず、特定画素を差分二乗和に含まれないように算出した。これは、領域パラメータが示す着目領域を、参照画素ごとに変更して類似度を算出していると考えることもできる。着目領域の変更方法について、図２１を参照して説明する。図２１（ａ）は着目領域が３×３画素のときの着目領域と参照領域の一例である。ここで、丸で囲まれている画素は特定画素である。図２１（ｂ）は、このときに類似度を算出する際に使用する使用画素を示しており、使用画素は斜線で表されている。取得した領域パラメータを特定画素の位置によって、使用位置のみを含む着目領域になるように変更する。このように、類似度の算出には、着目領域、参照領域共に正常な画素を用いる。式（１５）で示した類似度Ｃ’_ｊは、Ｅ_ｐｑを式（１４）のように定義したとき、次式のように表すこともできる。

ここで補正係数αは、着目領域の全画素数／（着目領域の全画素数−特定画素数）で定義される。類似度を算出する際に特定画素の個所を使用しないと、差分二乗和（または差分絶対和）に加算される値が減る分、類似度Ｃ_ｊは小さくなってしまう。具体的には、着目領域に含まれる９画素および参照領域に含まれる９画素に特定画素がない場合、着目領域と参照領域において対応する画素間の差分二乗が９画素分総合された値が類似度Ｃ_ｊとなる。一方、着目領域および参照画素の何れかに特定画素がある場合、特定画素がある画素位置の分だけ、合算される差分二乗が少なくなる。つまり類似度Ｃ_ｊの平均的な大きさは使用した画素数に比例する。そこで、これを補うように補正係数αを乗算することにより、特定画素を除いた正常な画素の類似度から全画素を使用したと仮定したときの類似度の値を決定する。

なお、着目領域の全画素が特定画素だった場合にはαの分母が０になってしまうため、例外的な処理を行う。具体的には、例えば式（８）を用いて類似度Ｃ_ｊを算出する。この場合、特定画素を類似度の算出に用いることになる。しかしながら、特定画素は撮像対象が結像されることによって得られた値ではないため、特定画素位置における差分は大きくなる。従って、類似度が大きくなり、着目画素に対して参照画素は類似していないと判定される可能性が高くなる。あるいは、特定画素である着目画素の値をそのまま補正後の画素値として出力してもよい。また、類似度を算出する方法は差分二乗和だけでなく、例えば式（１３）に示した差分絶対値和でもよい。その場合は式（１８）により類似度を補正する。

式（１８）においても、式（１７）の補正係数を使うことができる。その他の補正方法として、特定画素が白飛び画素又は黒潰れ画素であり、さらにノイズの分散が予め解っている場合には、式（１１）に対して、式（１９）に示した例外的な画素数に分散の2倍をかけた値を加算してもよい。なお、そのとき類似度を差分絶対値和で算出した場合は、式（１３）に対して式（２０）を加算することになる。

これにより、類似度Ｃ_ｊの平均的な減少量を補うことができる。なお、決定方法はこれに限らず、差分を算出する画素数が減ることにより類似度Ｃ_ｊが減少するのを補えるものであればよい。

＜第５実施形態＞
第４実施形態では、ノイズ低減処理部１６０３において、信頼度合いに基づいた類似度を算出し、その類似度を適切に補正した類似度に応じて重みを算出する手法について説明した。本実施形態では、式（１１）により算出される類似度と信頼度合いに基づいて重みを決定する方法を例に説明する。つまり本実施形態では、類似度を算出する差分二乗和に使用される画素は一定であり、信頼度合いに応じて参照画素ごとに重みの算出方法が異なる。第５実施形態において、第４実施形態と同様の構成については、説明を省略する。第５実施形態は、ノイズ低減処理部１６０３において第４実施形態とは異なる。

図２２は、第５実施形態に適用可能なノイズ低減処理１６０３の詳細な論理構成の一例を示すブロック図である。第５実施形態におけるノイズ低減処理部１６０３は、類似度算出部２２０１と、類似度信頼度算出部２２０２と、重み算出部２２０３と、重み補正部２２０４と、重みつき平均算出部２２０５とを有する。

類似度算出部２２０１は、式（１１）を用いて着目画素に対する参照画素の類似度を算出する。第４実施形態と同様、本実施形態では、着目画素を含む着目領域と参照画素を含む参照領域とを比較することにより、着目画素に対する参照画素の類似度を算出する。式（８）の通り、着目領域と参照領域とにおいて、対応する画素間の差分により類似度が決定される。

類似度信頼度算出部２２０２は、類似度算出部２２０１が算出した類似度の信頼性を表すパラメータを、類似度信頼度βとして算出する。着目領域と参照領域とに特定画素が含まれない場合、類似度の信頼度βは最大の値となり、特定画素数が多くなるに従って低下していく。類似度の信頼度βは例えば式（２１）により算出される。

図２３は、５×５画素のある着目領域と参照領域について、類似度の信頼度βを算出した例を示す。なお、類似度信頼度βの決め方はこれに限定されるものではなく、特定画素数や特定画素の種類に基づいて、画素値の信頼度合いの低い画素が存在するときほどより小さくなるような決定方法なら何でもよい。

重み補正部２２０４は、式（１２）で算出される重みｗ_ｊを式（２２）により補正し、重みｗ_ｊ’を算出する。

類似度信頼度βが最大の場合（図２３の例ではβ＝１）、すなわち特定画素が存在しない場合、式（１２）により算出された重みは補正されない。また、類似度信頼度βが小さい場合、すなわち特定画素が存在する場合には、重みが小さくなるように補正される。重みの算出式は式（２２）に限らず、類似度信頼度βに応じて重みを補正する方法であればよい。例えば、次式のようにβを加算してもよい。

このように、信頼性が低い特定画素を含んで算出された重みを補正により小さくすることで、特定画素が重みに及ぼし得る影響を減らすことができ、良好なノイズ低減効果を得ることができる。

（ノイズ低減処理のフロー）
本実施形態におけるノイズ低減処理部１６０３が行うノイズ低減処理の流れを説明する。図２４は、ノイズ低減処理のフローチャートを示す。ステップＳ２４０１において、ノイズ低減処理部１６０３は、ステップＳ１６０１において入力された画像データを取得する。ステップＳ２４０２において、ノイズ低減処理部１６０３は、ステップＳ１６０２において入力された領域パラメータを取得する。ステップＳ２４０３において、ノイズ低減処理部１６０３は、ステップＳ２４０２において取得した領域パラメータに基づいて、着目画素と着目領域を決定する。ステップＳ２４０４において、ノイズ低減処理部１６０３は、ステップＳ２４０２で取得した領域パラメータに基づいて、参照画素と参照領域を決定する。ステップＳ２４０５において類似度算出部２２０１は、式（１１）の通りに着目領域と参照領域との類似度を算出する。ステップＳ２４０６においてノイズ低減処理部１６０３は、着目領域と参照領域における特定画素の位置とその種類を表す情報を取得する。そして、類似度信頼度算出部２２０２は、類似度の信頼度を決定する。

ステップＳ２４０７において重み算出部２２０３は、類似度算出部２２０１が算出した類似度に応じた重みを導出する。重みは式（１２）により算出される。ステップＳ２４０８において重み補正部２２０４は、類似度信頼度算出部２２０２が算出した類似度信頼度に基づいて、重み算出部２２０３が算出した重みを補正する。ステップＳ２４０９においてノイズ低減処理部１６０３は、ステップＳ２４０２で入力されたパラメータの参照画素の全ての画素に対する処理が終了したかどうか判定する。終了していればステップＳ２４１０に移行し、終了していなければステップＳ２４０４に移行して処理を継続する。

ステップＳ２４１０において重みつき平均算出部２２０５は、着目画素について、各参照画素の画素値と各重みとに基づいて式（１０）を適用して、ノイズ低減処理後の補正画素値を算出する。 ステップＳ２４１１において、ノイズ低減処理部１６０３は、ステップＳ２４０１において入力された画像データの全ての画素に対する処理が終了したかどうか判定する。終了していればステップＳ２４１２に移行し、終了していなければステップＳ２４０３に移行して処理を継続する。ステップＳ２４１２において、ノイズ低減処理部１６０３は、各画素をステップＳ２４１０で生成した補正画素値が構成する補正画像データを生成する。

第４実施形態および第５実施形態では、特定画素に応じて算出した類似度Ｃ_ｊや重みｗ_ｊの大きさを決定した。信頼度合いまたは類似度信頼度は、０から１の間の値を設定することにより、類似度や重みを特定画素の種類に応じて調整可能な構成となっている。しかしながら、第１実施形態と同様、特定画素を使用するかしないかを決定するような構成であってもよい。

＜その他の実施例＞
なお前述の実施形態では、画像処理アプリケーションで処理を行う例を説明した。しかしながら、これらは撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する形態であってもかまわない。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。

また、前述の実施形態では本発明の適用例として３次元位置推定処理とノイズ低減処理について示した。しかしながら、本発明は領域間における類似度算出方法を利用する画像処理であれば、上述した実施形態に何ら限定されるものではない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 撮像素子に結像して得られる画像データに対して画像処理を実行する画像処理装置であって、
   前記画像データが表す画像における特定位置にある画素を特定画素として取得する取得手段と、
   前記画像において、着目画素と参照画素との類似度を算出するために用いる、前記着目画素を含む着目領域と前記参照画素を含む参照領域とを決定する決定手段と、
   前記着目領域と前記参照領域とを比較することにより、前記着目画素と前記参照画素との類似度を算出する算出手段と、
   前記参照画素の画素値と前記参照画素に対して算出された前記類似度に応じた重みとを用いた重み付き平均により、前記着目画素のノイズ低減処理した画素値を算出する重み付き平均算出手段と
   を備え、
   前記算出手段は、前記着目領域および前記参照領域に含まれる前記特定画素は除いて前記参照画素の類似度を算出することを特徴とする画像処理装置。
2. 前記決定手段は、前記画像における複数の画素を参照画素とし、前記算出手段は、前記参照画素それぞれに対して前記類似度を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記重み付き平均算出手段は、前記参照画素自身が前記特定画素であるか否かを参照せず、前記参照画素の画素値と前記重みとを重み付き平均することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、予め設定された領域を保持し、前記領域を前記着目画素および前記参照画素に適用した場合に前記特定画素がある画素位置を含まないように、前記着目領域および前記参照領域を決定することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記算出手段は、前記着目領域と前記参照領域とにおいて、画素位置が対応する画素の差分を算出し、前記特定画素の画素値を含む差分を除いて合計することにより、前記類似度を決定することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
6. 前記重み付き平均算出手段は、前記類似度が前記着目領域と前記参照領域が類似していることを示す場合に、前記参照領域に対応する前記参照画素に対して大きい値を重みとして用いることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. さらに、前記類似度の算出に用いられた画素の数に応じて、前記類似度を補正する補正手段を有することを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. 前記撮像素子における前記特定位置は、撮像対象を結像することにより得られた画素値ではない可能性が高い位置であることを特徴とする請求項１乃至７の何れか一項に記載の画像処理装置。
9. 前記画像における前記特定画素は、白飛び画素または黒潰れ画素であることを特徴とする請求項８に記載の画像処理装置。
10. 前記画像における前記特定画素は、キズ画素であることを特徴とする請求項８に記載の画像処理装置。
11. 前記算出手段は、前記着目領域と前記参照領域とにおいて、画素位置が対応する画素の差分を算出し、前記差分を算出した２つの画素のうち少なくとも何れかが特定画素である場合は、前記差分に対して０を乗算することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
12. 前記着目領域に含まれる全ての画素が特定画素である場合は、前記重み付き平均算出手段は、前記着目画素の画素値を前記ノイズ低減処理した画素値として出力することを特徴とする請求項１乃至１１の何れか一項に記載の画像処理装置。
13. コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至１２の何れか一項に記載された画像処理装置の各手段として機能させるためのコンピュータプログラム。
14. 撮像素子に結像して得られる画像データに対して画像処理を実行する画像処理方法であって、
    前記画像データが表す画像における特定位置にある画素を特定画素として取得し、前記画像において着目画素と参照画素との類似度を算出するために用いる、前記着目画素を含む着目領域と前記参照画素を含む参照領域とを決定し、前記特定画素は除いて前記着目領域と前記参照領域とを比較することにより、前記着目画素と前記参照画素との類似度を算出し、前記参照画素の画素値と前記参照画素に対して算出された前記類似度に応じた重みとを用いた重み付き平均により、前記着目画素のノイズ低減処理した画素値を算出することを特徴とする画像処理方法。

Images