JP6342360B2 - 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 - Google Patents

Description

本発明の一側面は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関するものである。

従来、画像処理装置として、入力画像に対してノイズ除去処理を行う装置が知られている。特許文献１の画像処理装置は、ベイヤー信号の局所成分を特徴量ベクトルとして扱い、ベクトルノルムと周辺のベクトル差分に基づく重み係数を算出する。また、特許文献２の画像処理装置は、ＹＵＶ信号で示される入力画像に対してノイズ除去処理を行う。

特開２００７−１１０３３８号公報 特開２０１０−１５７１６３号公報

ところで、ＹＵＶ信号で示される入力画像は、空間的な補完処理がなされた後の画像であり、画素間の空間的な相関が高いためノイズ成分が除去し難い。そこで、本技術分野では、優れたノイズ除去効果を奏する画像処理装置、画像処理方法、画像処理プログラム及び記録媒体が望まれている。

本発明の一側面に係る画像処理装置は、入力画像に対してノイズを除去する処理を行う画像処理装置であって、処理の対象となるノイズ処理対象画素が有する第１の対象画素値及びノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値を利用して、第１のフィルタ係数及び第２のフィルタ係数を設定するフィルタ設定部と、参照画素値の輝度成分を第１のフィルタ係数で重み付け加算すると共に、参照画素値の色差成分を第２のフィルタ係数で重み付け加算して修正画素値を算出し、修正画素値を利用してノイズ処理対象画素のノイズを除去するノイズ除去部と、を有し、入力画像は、ベイヤーパターン形式で画素値が保持されている。

この画像処理装置では、ベイヤーパターン形式で画素値が保持された入力画像に対してフィルタ処理を実行する。このフィルタ処理では、入力画像の画素値を輝度成分と色差成分とに分離し、それぞれに第１及び第２のフィルタ係数で重み付け加算する。この入力画像は、ベイヤーパターン形式で画素値が保持されているため異なる画素間の空間的な相関が低く、ノイズの発生などを原因として発生しうる異常な画素値の影響が周辺の画素値に影響を及ぼしていない。従って、優れたノイズ除去効果を奏することが可能となる。

一実施形態では、フィルタ設定部は、入力画像を構成する入力画素値をベイヤーパターン形式で格納する入力バッファと、入力バッファに格納された画素値を利用して、縮小画像を生成する縮小画像生成部と、縮小画像を構成する縮小画素値を格納する縮小画像バッファと、縮小画像バッファに格納された縮小画像から参照画素を選択する参照画素選択部と、を有する。フィルタ処理を実行する場合には、フィルタ処理対象となる画素の周囲に存在する参照画素を利用して処理を行う。ここで、ノイズ除去効果の観点によれば、広い範囲から多数の参照画素を選択することが望ましい。しかし、このような参照画素の選択によれば、処理負荷が増大してしまう。一方、この構成によれば、参照画素として縮小画像を構成する画素を選択する。この縮小画像における参照画素の選択によれば、処理負荷の増加を抑制しつつ、広い範囲から多数の参照画素を選択した場合に得られる効果に近い効果を得ることができる。

一実施形態では、フィルタ設定部は、入力バッファに格納された入力画素値を利用して、第１の対象画素値を生成する対象画素値生成部と、参照画素選択部で選択された参照画素の参照画素値と対象画素値生成部で生成された第１の対象画素値とを利用して、画素値差分を算出する差分算出部と、画素値差分を利用して、第１のフィルタ係数及び第２のフィルタ係数を算出する係数算出部と、を有し、画素値差分と第１のフィルタ係数の関係、及び画素値差分と第２のフィルタ係数の関係は、第１の対象画素値に対応して動的に変化する。ここで、入力画像に重畳されたノイズの強度は、シーンの画素値に依存する。この構成によれば、ノイズ処理の対象となる画素の画素値に応じてフィルタ係数が動的に変化するので、入力画像に重畳されたノイズを好適に除去することができる。

一実施形態では、参照画素選択部は、縮小画像バッファに格納された縮小画像における一部の縮小画素を参照画素として選択する。この構成によれば、ノイズ処理に要する処理負荷の増加を一層抑制することが可能になる。

一実施形態では、修正画素値をベイヤーパターン形式で格納する後段バッファと、画像の異常画素を処理する異常画素処理部と、を更に備え、異常画素処理部は、後段バッファに格納されている複数の修正画素値において、異常処理対象画素が有する第２の対象画素値と、異常処理対象画素の周辺における周辺画素が有する周辺画素値から推定される異常処理対象画素の推定画素値と、を比較することにより、第２の対象画素値が異常であるか否かを判定する異常判定部と、異常判定部で、第２の対象画素値が異常であると判定された場合には、第２の対象画素値を推定画素値に置き換える置換処理部と、有する。この構成によれば、異常な画素値を推定画素値に置き換えることにより、フィルタ対象画像の異常画素を排除することができる。従って、一層優れたノイズ除去効果を奏することが可能となる。

本発明の他の側面に係る画像処理装置は、入力画像に対してノイズを除去する処理を行う画像処理装置であって、入力画像を構成する画素値をベイヤーパターン形式で格納する後段バッファと、画像の異常画素を処理する異常画素処理部と、を備え、異常画素処理部は、後段バッファに格納されている複数の画素値において、異常処理対象画素が有する第２の対象画素値と、異常処理対象画素の周辺における周辺画素が有する周辺画素値から推定される異常処理対象画素の推定画素値と、を比較することにより、第２の対象画素値が異常であるか否かを判定する異常判定部と、異常判定部で、第２の対象画素値が異常であると判定された場合には、第２の対象画素値を推定画素値に置き換える置換処理部と、有する。この構成によれば、異常な画素値を推定画素値に置き換えることにより、フィルタ対象画像の異常画素を排除することができる。従って、優れたノイズ除去効果を奏することが可能となる。

本発明の他の側面に係る画像処理方法は、コンピュータを用いて、入力画像に対してノイズを除去する処理を行う画像処理方法であって、処理の対象となるノイズ処理対象画素が有する第１の対象画素値及びノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値を利用して、第１のフィルタ係数及び第２のフィルタ係数を設定するフィルタ設定ステップと、参照画素値を輝度成分と色差成分とに分離し、輝度成分を第１のフィルタ係数で重み付け加算すると共に色差成分を第２のフィルタ係数で重み付け加算して修正画素値を算出し、修正画素値を利用してノイズ処理対象画素のノイズを除去するノイズ除去ステップと、を有し、入力画像は、ベイヤーパターン形式で画素値が保持されている。

本発明の更に他の側面に係る画像処理プログラムは、コンピュータを用いて、入力画像に対してノイズを除去する処理を行うようにコンピュータを機能させる画像処理プログラムであって、コンピュータを、処理の対象となるノイズ処理対象画素が有する第１の対象画素値及びノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値を利用して、第１のフィルタ係数及び第２のフィルタ係数を設定するフィルタ設定部、参照画素値を輝度成分と色差成分とに分離し、輝度成分を第１のフィルタ係数で重み付け加算すると共に色差成分を第２のフィルタ係数で重み付け加算して修正画素値を算出し、修正画素値を利用してノイズ処理対象画素のノイズを除去するノイズ除去部、として機能させ、入力画像は、ベイヤーパターン形式で画素値が保持されている。

本発明の更に他の側面に係る記録媒体は、コンピュータを用いて、入力画像に対してノイズを除去する処理を行うようにコンピュータを機能させる画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、コンピュータを、処理の対象となるノイズ処理対象画素が有する第１の対象画素値及びノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値を利用して、第１のフィルタ係数及び第２のフィルタ係数を設定するフィルタ設定部、参照画素値を輝度成分と色差成分とに分離し、輝度成分を第１のフィルタ係数で重み付け加算すると共に色差成分を第２のフィルタ係数で重み付け加算して修正画素値を算出し、修正画素値を利用してノイズ処理対象画素のノイズを除去するノイズ除去部、として機能させ、入力画像は、ベイヤーパターン形式で画素値が保持されている。

上述した画像処理方法、画像処理プログラム及び記録媒体によれば、上述した本発明の一側面に係る画像処理装置と同様の効果を奏する。

本発明の種々の側面及び実施形態によれば、優れたノイズ除去効果を奏する画像処理装置、画像処理方法、画像処理プログラム及び記録媒体が提供される。

実施形態に係る画像処理装置を搭載した携帯端末の機能ブロック図である。 実施形態に係る画像処理装置を搭載される携帯端末のハードウェア構成図である。 実施形態に係る画像処理装置が備えるノイズ処理部の機能ブロック図である。 実施形態に係る画像処理装置が備える異常画素処理部の機能ブロック図である。 実施形態に係る画像処理装置の動作を説明するフローチャートである。 実施形態に係る画像処理装置の動作を説明する詳細なフローチャートである。 参照画素を選択する処理の説明図である。

以下、添付図面を参照して実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。

本実施形態に係る画像処理装置は、例えばノイズが除去されたフレーム画像を出力する装置であって、例えば複数の画像の連続撮影や動画撮影の場合に好適に採用されるものである。本実施形態に係る画像処理装置は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。また、画像処理装置は、撮像装置に組み込まれるいわゆるオンチップＩＳＰ（Image Signal Processor）なども含む趣旨である。なお、以下では、説明理解の容易性を考慮し、一例として、携帯端末に搭載される画像処理装置を説明する。

図１に示される携帯端末Ｔは、例えばユーザにより携帯される移動端末であり、図２に示されるハードウェア構成を有する。図２に示されるように、携帯端末Ｔは、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＡＭ（Random Access Memory）１０１及びＲＯＭ（Read Only Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末Ｔ及び画像処理装置１の各機能は、ＣＰＵ１００、ＲＡＭ１０１、ＲＯＭ１０２、等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末Ｔのハードウェア構成として説明したが、画像処理装置１がＣＰＵ１００、ＲＡＭ１０１及びＲＯＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末Ｔは、通信モジュール等を備えてもよい。

図１に示されるように、携帯端末Ｔは、カメラ４１と、画像処理装置１と、表示部４２とを備える。カメラ４１は、静止画像や動画像を撮像する機能を有する。動画は、時系列で連続するフレーム画像を含む。なお、カメラ４１は、ユーザ操作等により指定されたタイミングから所定の間隔で繰り返し撮像する連続撮像機能を有していてもよい。カメラ４１は、フレーム画像を画像処理装置１へ出力する。

画像処理装置１は、カメラ４１により得られた入力画像を入処理することによって出力画像を生成する機能を有する。例えば、画像処理装置１は、入力画像のノイズ及び異常画素を除去する。ここでノイズとは、例えば撮像された映像上に発生するちらつきである。ノイズは、例えば、フレーム画像間で時間経過とともにランダムに変更される画素値、又は、同一フレーム内において周囲の画素の画素値とは極端に異なる画素値であってもよい。画素値とは、画素に対応付けされた情報であり、例えばＲＧＢ成分、輝度成分、色差値、彩度等が含まれる。異常画素とは、周囲の画素から推定した画素値に対して所定の閾値以上の差分を含む画素値を有する画素をいう。

画像処理装置１は、例えば、ノイズ処理部２と、異常画素処理部３と、を備える。ノイズ処理部２は、カメラ４１から入力されたフレーム画像のノイズを除去し、ノイズ処理がなされた処理画像を出力する機能を有する。より詳細には、ノイズ処理部２は、カメラ４１の出力直後のベイヤーパターン形式の画像データに対してノイズ除去処理を実施し、ノイズが除去されたベイヤーパターン形式の画像データを出力する。

図３に示されるように、ノイズ処理部２は、入力ラインバッファ（入力バッファ、入力バッファ部）４と、フィルタ設定部６と、ノイズ除去部７とを有する。ここで、ノイズ処理部２では、いわゆるバイラテラルフィルタを利用したノイズ処理が実行される。バイラテラルフィルタは、エッジを残しながらノイズを除去する機能を有するフィルタであり、重み付け平均に利用するフィルタ係数をノイズ処理対象となる画素と周辺の画素との距離、及び画素値に応じて調整するものである。

また、以下の説明におけるフィルタ係数には、輝度に適用されるフィルタ（第１のフィルタ係数）と、色差に適用されるフィルタ（第２のフィルタ係数）とがある。輝度に適用されるフィルタは、空間フィルタ係数と輝度フィルタ係数とに基づいて決定される。また、色差に適用されるフィルタは、空間フィルタ係数と色差フィルタ係数とに基づいて決定される。輝度フィルタ係数は、ノイズ処理対象となる画素の輝度成分と周辺の画素との輝度成分との差分に基づいて設定される。色差フィルタ係数は、ノイズ処理対象となる画素の色差成分と周辺の画素との色差成分との差分に基づいて設定される。空間フィルタ係数は、空間に関する値から算出された係数であり、例えば、ノイズ処理対象となる画素と周辺の画素との距離が小さいほど大きく、距離が大きいほど小さくなるように設定される。

入力ラインバッファ４は、カメラ４１から出力された入力画像の入力画素値を格納する機能を有する。ここで、カメラ４１から出力された入力画像は、いわゆるベイヤーパターン形式の画像フォーマットを有する。このカメラ４１は、入射した光をカラーフィルタ等を利用して赤(R)、緑(G)、青(B)の三原色に色分解する。そして、分解されたそれぞれの光は、格子状に配列された受光素子により検出される。

フィルタ設定部６は、入力ラインバッファ４に格納された画素値を利用して、フレーム画像のノイズを除去するための輝度に適用されるフィルタ係数及び色差に適用されるフィルタ係数を設定し、それぞれのフィルタ係数をノイズ除去部７に出力する機能を有する。

フィルタ設定部６は、縮小画像生成部８と、縮小画像ラインバッファ（縮小画像バッファ）９と、参照画素選択部１１と、対象画素値生成部１２と、差分算出部１３と、閾値決定部１４と、係数算出部２０と、を有する。

縮小画像生成部８は、入力ラインバッファ４に格納されたベイヤーパターン形式の画素値を、縮小及びフルカラー化する機能を有する。この縮小画像生成部８で生成された縮小画像の縮小画素値は、ノイズ処理における参照画素値として利用される。

縮小画像ラインバッファ９は、縮小画像生成部８から出力された縮小画素の画素値を格納する機能を有する。すなわち、縮小画像ラインバッファ９における一画素とは、入力ラインバッファ４における一ブロック（例えば、４画素×４画素の領域）に相当する。縮小画像ラインバッファ９は、所望の格納領域を設定可能であり、参照画素選択部１１から参照可能に構成されている。

参照画素選択部１１は、縮小画像ラインバッファ９に格納された縮小画像を構成する画素から、一又は複数の参照画素を選択する。そして、参照画素選択部１１は、縮小画像ラインバッファ９における参照画素の位置情報を空間フィルタ係数決定部１６ａに出力すると共に、参照画素の画素値を差分算出部１３及びノイズ除去部７に出力する機能を有する。

対象画素値生成部１２は、ノイズ処理対象画素における画素値を生成する機能を有する。ここで、ノイズ処理対象画素とは、入力ラインバッファ４に格納された画素から選択されるものである。従って、ノイズ処理対象画素は、Ｒ成分、Ｇ成分、Ｂ成分のいずれか１個の画素値を有している。その他の成分は、ノイズ処理対象画素の周囲における画素の画素値を利用して算出する。従って、対象画素値は、選択された画素が有する１個の色成分と、ノイズ処理対象画素の周囲における画素の画素値から算出された他の２個の色成分とを有している。また、ノイズ処理は、入力ラインバッファ４における全ての画素に対して実行される。従って、対象画素値生成部１２は、入力ラインバッファ４の画素をノイズ処理対象画素として順次選択する。

差分算出部１３は、ノイズ処理対象画素の画素値と参照画素の画素値との差分を算出する機能を有する。そして、算出された差分は、係数算出部２０に出力される。

閾値決定部１４は、ノイズ処理対象画素の画素値を利用して、輝度フィルタ係数と色差フィルタ係数とを決定するための閾値を決定する機能を有する。決定された閾値は、係数算出部２０に出力される。

係数算出部２０は、輝度に適用されるフィルタ係数と、色差に適用されるフィルタ係数とを算出する機能を有する。係数算出部２０は、空間フィルタ係数決定部１６ａと、輝度フィルタ係数決定部１６ｂと、色差フィルタ係数決定部１６ｃと、輝度に適用されるフィルタ係数決定部（第１のフィルタ係数決定部）１７ａと、色差に適用されるフィルタ係数決定部（第２のフィルタ係数決定部）１７ｂとを有する。

空間フィルタ係数決定部１６ａは、参照画素選択部１１から出力された縮小画像ラインバッファ９における参照画素の位置情報を利用して、空間フィルタ係数を決定する機能を有する。空間フィルタ係数決定部１６ａは、参照画素の位置情報、より詳細には中心画素から参照画素までの距離と空間フィルタ係数とが関連付けられた情報を保持している。例えば、距離と空間フィルタ係数とは、距離に対して単調に減少するような関数で関連付けられている。また、中心画素から参照画素までの距離は、距離の定義を満たすものであればよく、例えば、マンハッタン距離やユークリッド距離といった定義を利用してもよい。決定された空間フィルタ係数は、フィルタ係数決定部１７ａ，１７ｂに出力される。なお、距離と空間フィルタ係数とを関連付ける情報は、空間フィルタ係数と距離とが個々に対応付けられたデータベースであってもよい。

輝度フィルタ係数決定部１６ｂは、差分算出部１３から出力された差分と、閾値決定部１４から出力された閾値とを利用して輝度フィルタ係数を決定する。決定された輝度フィルタ係数は、フィルタ係数決定部１７ａに出力される。

色差フィルタ係数決定部１６ｃは、差分算出部１３から出力された差分と、閾値決定部１４から出力された閾値とを利用して色差フィルタ係数を決定する。決定された色差フィルタ係数は、フィルタ係数決定部１７ｂに出力される。

フィルタ係数決定部１７ａは、空間フィルタ係数決定部１６ａから出力された空間フィルタ係数と、輝度フィルタ係数決定部１６ｂから出力された輝度フィルタ係数とを利用して輝度に適用されるフィルタ係数を算出する。輝度に適用されるフィルタ係数は、ノイズ除去部７に出力される。

フィルタ係数決定部１７ｂは、空間フィルタ係数決定部１６ａから出力された空間フィルタ係数と、色差フィルタ係数決定部１６ｃから出力された色差フィルタ係数とを利用して色差に適用されるフィルタ係数を算出する。色差に適用されるフィルタ係数は、ノイズ除去部７に出力される。

ノイズ除去部７は、修正画素値算出部１８と、後段ラインバッファ１９とを有する。ノイズ除去部７は、参照画素選択部１１から出力された参照画素の画素値と、フィルタ係数決定部１７ａから出力された輝度に適用されるフィルタ係数と、フィルタ係数決定部１７ｂから出力された色差に適用されるフィルタ係数と、を利用して、修正画素値を算出する機能を有する。

修正画素値算出部１８は、画素値加算部１８ａと、フィルタ係数加算部１８ｂと、除算部１８ｃとを有している。

画素値加算部１８ａは、参照画素選択部１１から出力された輝度値と、係数算出部２０から出力された空間フィルタ係数と、輝度に適用されるフィルタ係数とを乗算した値を順次加算して輝度成分の累積加算値を算出する。また、画素値加算部１８ａは、参照画素選択部１１から出力された色差値と、係数算出部２０から出力された空間フィルタ係数と、色差に適用されるフィルタ係数とを乗算した値を順次加算して色差成分の累積加算値を算出する。

フィルタ係数加算部１８ｂは、係数算出部２０から出力された空間フィルタ係数と、輝度に適用されるフィルタ係数と、色差に適用されるフィルタ係数とを利用して、輝度フィルタ係数に関する累積加算値（重み付け加算値）と色差フィルタ係数に関する累積加算値（重み付け加算値）とを算出する。

除算部１８ｃは、修正画素値算出部１８で算出された輝度成分の累積加算値を輝度フィルタ係数に関する累積加算値で除算して、修正画素値の輝度成分を算出する。また、除算部１８ｃは、修正画素値算出部１８で算出された色差成分の累積加算値を色差フィルタ係数に関する累積加算値で除算して、修正画素値の色差成分を算出する。

すなわち、修正画素値は輝度成分と色差成分とで示される。修正画素値の輝度成分は、重み付けされた輝度値の累積加算値を、フィルタ係数の累積加算値で除して算出される。また、修正画素値の色差成分は、重み付けされた色差値の累積加算値を、フィルタ係数の累積加算値で除して算出される。算出された修正画素値は、後段ラインバッファ１９に出力される。

後段ラインバッファ１９は、修正画素値をベイヤーパターン形式で格納する機能を有する。すなわち、後段ラインバッファ１９は、入力ラインバッファ４と等価なデータ格納領域を有している。従って、後段ラインバッファ１９における所定アドレスの画素は、入力ラインバッファ４における所定アドレスの画素に対応している。そして、後段ラインバッファ１９には、入力ラインバッファ４の画素値に替えて、ノイズ除去処理がなされた画素値が格納されている。

なお、画像処理装置１は、後段ラインバッファ１９に格納された画素値を後述する異常画素処理部３を経由せずに直接に表示部４２に出力してもよい。

異常画素処理部３は、ノイズ処理部２から出力された処理画像に含まれ得る異常画素を除去する機能を有する。図４に示されるように、異常画素処理部３は、異常判定部２１と、置換処理部２２とを有する。

異常判定部２１は、後段ラインバッファ１９に格納された修正画素値が異常であるか否かを判定する機能を有する。より詳細には、異常判定部２１は、後段バッファに格納されている複数の修正画素値において、異常処理対象画素が有する対象画素値（第２の対象画素値）と、異常処理対象画素の周辺における周辺画素が有する周辺画素値から推定される異常処理対象画素の推定画素値と、を比較して、対象画素値が異常であるか否かを判定する。異常判定部２１は、統計量算出部２３と、連続性判定部２４と、第１の閾値決定部２５と、差分算出部１３と、第２の閾値決定部２６と、乖離数判定部２８と、を有する。

統計量算出部２３は、異常判定に利用する統計量を算出する機能を有する。統計量算出部２３は、後段ラインバッファ１９に格納された修正画素から異常処理対象画素を選択し、異常処理対象画素が有する対象画素値を取得する。より詳細には、統計量算出部２３は、異常処理対象画素の周囲における所定範囲（例えば、５画素×５画素）を１個のブロックとして抽出する。

連続性判定部２４は、統計量算出部２３で抽出されたブロックが構成する画像が連続であるか否かを判定する機能を有する。連続性判定部２４は、中心画素値がブロック内における画素値の平均と近い場合には、その後の処理をスキップする。より詳細には、連続性判定部２４は、まず、ブロック内の画素値の平均と中心画素値との差分の絶対値を算出する。次に、連続性判定部２４は、絶対値と予め定められた閾値とを比較する。絶対値が閾値よりも小さい場合には、連続性判定部２４は、中心画素は異常画素ではないと判断し、後段の処理をスキップする。絶対値が閾値よりも大きい場合には、連続性判定部２４は、中心画素は異常画素であると判断し、後段の処理を実施する。従って、連続性判定部２４は、異常画素処理の効率化のために設けられている。

第１の閾値決定部２５は、差分算出部１３の処理で利用される第１の閾値を決定する機能を有する。第１の閾値決定部２５は、統計量算出部２３から出力された分散を利用して、第１の閾値を決定する。この分散は、統計量算出部２３で抽出されたブロックに含まれた画素値のばらつきを示す。従って、当該分散を利用した第１の閾値の決定によれば、当該分散に応じて第１の閾値が動的に変化する。

差分算出部１３は、対象画素値と周辺画素値との差分（二乗誤差）を算出し、差分が第１の閾値を越えた回数を取得する機能を有する。そして、差分算出部１３は、差分が第１の閾値を越えた回数を乖離数として出力する。

第２の閾値決定部２６は、乖離数判定部２８の処理で利用される第２の閾値を決定する機能を有する。第２の閾値決定部２６は、統計量算出部２３で抽出されたブロック内の画像にエッジが含まれているか否かに基づいて第２の閾値を決定し、第２の閾値を乖離数判定部２８に出力する。

乖離数判定部２８は、差分算出部１３から出力された乖離数と第２の閾値決定部２６から出力された第２の閾値とを比較して、異常処理対象画素の対象画素値が異常であるか否かを判定する機能を有する。

画素値置換部２９は、異常処理対象画素の対象画素値が異常であると判定された場合に、異常処理対象画素に格納されていた対象画素値を、推定画素値を利用して得られる補正画素値に置き換える機能を有する。そして、置換処理部２２は置き換えた補正画素値を出力ラインバッファ３１に出力する。

出力ラインバッファ３１は、異常画素処理がなされた補正画素値又は後段ラインバッファ１９に格納されていた画素値をベイヤーパターン形式で格納する機能を有する。すなわち、出力ラインバッファ３１は、入力ラインバッファ４及び後段ラインバッファ１９と等価なデータ格納領域を有している。異常判定部２１で異常と判断された画素には、対象画素値に替えて置換処理部２２において算出された補正画素値が格納される。異常判定部２１で異常と判断されなかった画素には、対象画素値が格納される。

出力ラインバッファ３１に格納された補正画素値は、フルカラー化といった所定のデータ処理がなされた後に、表示部４２において表示される。

次に、本実施形態に係る画像処理装置１の動作について説明する。図５及び図６は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。図５及び図６に示す制御処理は、例えば、携帯端末Ｔの撮像機能をＯＮにしたタイミングで開始され、所定の周期で繰り返し実行される。

図５に示されるように、最初に、ノイズ処理Ｓ１０を実行する。ノイズ処理Ｓ１０において、まず、入力バッファへの格納処理Ｓ１１を実施し、カメラ４１の受光素子から画素値を順次読み出して入力ラインバッファ４へ格納する。

続いて、縮小画像の生成処理Ｓ１２を実行する。生成処理Ｓ１２は、フィルタ設定部６の縮小画像生成部８で実行される。この生成処理Ｓ１２では、縮小画像生成部８が入力ラインバッファ４における４画素×４画素のブロックを１個の縮小画素として抽出し、当該ブロックに含まれたＲ成分の画素値、Ｇ成分の画素値、Ｂ成分の画素値のそれぞれを利用して平均化処理を行う。この平均化処理によって、入力ラインバッファ４に格納された画素値が縮小化及びフルカラー化される。そして、平均化処理により得られたＲ成分(R_ref)、Ｇ成分(G_ref)、Ｂ成分(B_ref)、を縮小画素の画素値として出力する。

続いて、縮小画像ラインバッファ９への格納処理Ｓ１３を実行する。格納処理Ｓ１３は、フィルタ設定部６の縮小画像ラインバッファ９で実行される。これら生成処理Ｓ１２を実行した後に格納処理Ｓ１３を実行するステップは繰り返し実行する。

続いて、対象画素値の生成処理Ｓ１４を実行する。生成処理Ｓ１４は、フィルタ設定部６の対象画素値生成部１２で実行される。この生成処理Ｓ１４により、対象画素値(R_org,G_org,B_org)（第１の対象画素値）が得られる。生成処理Ｓ１４では、入力ラインバッファ４においてノイズ処理の対象となるノイズ処理対象画素を選択する。そして、ノイズ処理対象画素の周囲に存在する複数の画素をサンプリング用画素として選択する。例えば、ノイズ処理対象画素を中心とした５画素×５画素のブロックを抽出する。そして、このブロックを構成する画素の画素値を利用して、縮小化及びフルカラー化する。ノイズ処理対象画素が有しない他の色成分の画素値は、サンプリング用画素の画素値を平均処理して得る。

続いて、フィルタ係数の設定処理（フィルタ設定ステップ）Ｓ１５を実行する。図６に示されるように、まず、参照画素の選択処理Ｓ１５ａを実行する。この選択処理Ｓ１５ａは参照画素選択部１１で実行される。選択処理Ｓ１５ａでは、縮小画像ラインバッファ９に格納された縮小画像の画素から１又は複数の画素を選択する。選択処理Ｓ１５ａでは、縮小画像の全ての画素を順次選択するものではなく、ノイズ処理対象画素に対応する中心画素に対して、縮小画像ラインバッファ９のサイズに応じて予め設定された位置の画素を選択していく。例えば、図７に示されるように、中心画素Ｐ１に対して周辺画素Ｐ２をそれぞれ参照画素として選択する。１個の画素を選択した場合（１画素サンプリング）には、選択した画素の画素値と、中心画素から選択した画素までの距離とを出力する。この距離は、距離の定義を満たすものであればよく、例えばマンハッタン距離であってもよいし、ユークリッド距離であってもよい。また、複数の画素を選択した場合（範囲内平均サンプリング）には、複数の画素のそれぞれにおける画素値を平均化した値を参照画素値(R_ref,G_ref,B_ref)として出力すると共に、中心画素から複数の画素のそれぞれまでの距離を平均化した距離を出力する。

続いて、空間フィルタ係数の決定処理Ｓ１５ｂを実行する。決定処理Ｓ１５ｂは空間フィルタ係数決定部１６ａで実行される。決定処理Ｓ１５ｂでは、参照画素の選択処理Ｓ１５ａで取得された中心画素から参照画素までの距離を利用して空間フィルタ係数(ω_SP)を決定する。ここで、空間フィルタ係数(ω_SP)が距離を変数とする関数として規定されている場合には、当該関数に距離を入力して、空間フィルタ係数(ω_SP)を算出する。なお、中心画素の空間フィルタ係数(ω_SP)は、予め設定された値を別途利用する。

続いて、画素値差分(diff)の算出処理Ｓ１５ｃを実行する。この算出処理Ｓ１５ｃは、差分算出部１３で実行される。この算出処理Ｓ１５ｃは、式（１）に示されるように、対象画素値(R_org,G_org,B_org)と参照画素の参照画素値(R_ref,G_ref,B_ref)とを利用して実行する。より詳細には、対象画素値(R_org,G_org,B_org)と参照画素値(R_ref,G_ref,B_ref)とを、輝度成分(Y)の差分(diff_luma)と、色差成分(UV)の差分(diff_chroma)としてそれぞれ算出する。そして、輝度成分(Y)の差分(diff_luma)と色差成分(UV)の差分(diff_chroma)とを利用して、対象画素値(R_org,G_org,B_org)と参照画素の参照画素値(R_ref,G_ref,B_ref)との画素値差分(diff)を得る。

diff：差分
diff_luma：輝度成分の差分
diff_chroma：色差成分の差分
R_org：対象画素値のＲ成分
G_org：対象画素値のＧ成分
B_org：対象画素値のＢ成分
R_ref：参照画素値のＲ成分
G_ref：参照画素値のＧ成分
B_ref：参照画素値のＢ成分
f₁,f₂,f₃：関数

続いて、閾値の決定処理Ｓ１５ｄを実行する。この決定処理Ｓ１５ｄは、閾値決定部１４で実行される。この決定処理Ｓ１５ｄでは、輝度フィルタ係数(ω_Y)及び色差フィルタ係数(ω_UV)を決定するための１又は複数の閾値(diff_thre)を決定する。この閾値(diff_thre)は、ノイズ処理対象画素の画素値を利用して決定する。より詳細には、画素値としてＹＵＶ形式で表現されたノイズ処理対象画素の輝度成分(Y)を利用し、この輝度成分(Y)を式（２）に適用して閾値(diff_thre)を算出する。すなわち、閾値(diff_thre)は、輝度成分(Y)によって動的に変化する。一例として、輝度成分(Y)が大きい場合（明るい場合）には許容する差分(diff)が大きくなり、輝度成分(Y)が小さい場合（暗い場合）には許容する差分(diff)が小さくなるように設定されてもよい。閾値(diff_thre)は、式（２）で示されるように輝度成分(Y)を変数とする関数を利用して算出される。この関数の種類や係数を適宜選択することにより、輝度成分(Y)と閾値(diff_thre)との関係を所望の関係に制御することが可能になり、ノイズを除去するフィルタ処理の程度を制御することができる。

diff_thre(i,j)：閾値
Y_org：ノイズ処理対象画素の輝度成分
f₄：関数
例えば、この決定処理Ｓ１５ｄにより、輝度成分(Y)の閾値として閾値(diff_thre(i=n,j=Y))が決定される。また、色差成分(UV)の閾値として閾値(diff_thre(i=n,j=UV))が決定される。また、ｎは、１以上の整数であり、輝度成分(Y)の差分(diff)をその大きさに応じて区分する数である。なお、中心画素の輝度フィルタ係数(ω_Y)及び色差フィルタ係数(ω_UV)は、予め設定された値を別途利用する。

なお、閾値(diff_thre)の算出に輝度成分(Y)のみを利用する場合を例に説明したが、閾値(diff_thre)の算出に色差成分(UV)を利用してもよい。すなわち、上記式（２）において、変数が輝度成分(Y)だけではなく色差成分(UV)を含んでいていてもよいし、色差成分(UV)だけであってもよい。

続いて、輝度フィルタ係数(ω_Y)及び色差フィルタ係数(ω_UV)の決定処理Ｓ１５ｅを実行する。この決定処理Ｓ１５ｅは、輝度フィルタ係数決定部１６ｂ及び色差フィルタ係数決定部１６ｃで実行される。この決定処理Ｓ１５ｅでは、画素値差分の算出処理Ｓ１５ｃで得た画素値差分(diff)と、閾値の決定処理Ｓ１５ｄで得た閾値(diff_thre)とを比較して、輝度フィルタ係数(ω_Y)及び色差フィルタ係数(ω_UV)の値を決定する。

例えば、画素値の差分（diff）が閾値(diff_thre(i=0,j=Y))より大きい場合には輝度フィルタ係数(ω_Y)を第１の値に決定し、閾値(diff_thre(i=1,j=Y))以下の場合には輝度フィルタ係数(ω_Y)を第２の値に決定する。ここで、第１の値は、第２の値よりも大きい。また、画素値の差分（diff）が閾値(diff_thre(i=0,j=UV))より大きい場合には色差フィルタ係数(ω_UV)を第３の値に決定し、閾値(diff_thre(i=1,j=UV))以下の場合には色差フィルタ係数(ω_UV)を第４の値に決定する。ここで、第３の値は、第４の値よりも大きい。

続いて、輝度に適用されるフィルタ係数の決定処理Ｓ１５ｆを実行する。この決定処理Ｓ１５ｆは、フィルタ係数決定部１７ａで実行される。輝度に適用されるフィルタ係数とは、後段のノイズ除去処理において、参照画素値の輝度成分(Y)に乗算される重みである。輝度に適用されるフィルタ係数(ω_SP×ω_Y)は、空間フィルタ係数(ω_SP)に、輝度フィルタ係数(ω_Y)を乗算したものである。

続いて、色差成分に適用されるフィルタ係数の決定処理Ｓ１５ｇを実行する。この決定処理Ｓ１５ｇは、フィルタ係数決定部１７ｂで実行される。色差成分に適用されるフィルタ係数とは、後段のノイズ除去処理において、参照画素値の色度成分(UV)に乗算される重みである。色差成分に適用されるフィルタ係数(ω_SP×ω_UV)は、空間フィルタ係数(ω_SP)に、色差フィルタ係数(ω_UV)を乗算したものである。

ここで、閾値(diff_thre)は、式（２）に示されるように、第１の対象画素値をなす輝度成分(Y)によって動的に変化する。このため、画素値の差分（diff）と輝度フィルタ係数(ω_Y)との関係は第１の対象画素値をなす輝度成分(Y)によって動的に変化する。従って、画素値の差分（diff）と輝度に適用されるフィルタ係数との関係は、第１の対象画素値をなす輝度成分(Y)によって動的に変化する。同様に、画素値の差分（diff）と色差フィルタ係数(ω_UV)との関係は第１の対象画素値をなす輝度成分(Y)によって動的に変化する。従って、画素値の差分（diff）と色差成分に適用されるフィルタ係数との関係は、第１の対象画素値をなす輝度成分(Y)によって動的に変化する。

続いて、ノイズ除去処理（ノイズ除去ステップ）Ｓ１６を実行する。このノイズ除去処理Ｓ１６は、修正画素値算出部１８で実行される。このノイズ除去処理Ｓ１６では、参照画素の選択処理Ｓ１５ａで得られた画素値(YUV)と、輝度に適用されるフィルタ係数(ω_SP×ω_Y)と、色差に適用されるフィルタ係数(ω_SP×ω_UV)とを利用して、式（３）に示される加重平均処理を行う。このノイズ除去処理Ｓ１６では、参照画素値は、輝度成分(Y)と色差成分(UV)で扱われる。上述した参照画素の選択処理Ｓ１５ａからノイズ除去処理Ｓ１６は、予め選択されることが設定されている参照画素のそれぞれについて実行される。そして、ノイズ処理が実行された修正画素値が得られる。

なお、図６では、輝度に適用されるフィルタ係数の決定処理Ｓ１５ｆを色差成分に適用されるフィルタ係数の決定処理Ｓ１５ｇの前に実行しているが、決定処理Ｓ１５ｆと決定処理Ｓ１５ｇは、実行される順が逆でもよいし、平行して実行してもよい。

続いて、後段ラインバッファ１９への格納処理Ｓ１７を実行する。この格納処理Ｓ１７は、後段ラインバッファ１９により実行される。この格納処理Ｓ１７では、ノイズ除去処理Ｓ１６により得られた修正画素値(YUV)を利用して、後段ラインバッファ１９において、ノイズ処理対象画素の生成処理Ｓ１４でノイズ処理対象画素として選択された画素に対応する位置に修正画素値を格納する。この工程を例示すると、まず、修正画素値(YUV)を修正画素値(RGB)に変換する、そして、ノイズ処理対象画素の画素値がＲ成分であった場合には、修正画素値(RGB)のＲ成分を抽出し、後段ラインバッファ１９に格納する。また、ノイズ処理対象画素の画素値がＧ成分であった場合には、修正画素値(RGB)のＧ成分を抽出し、後段ラインバッファ１９に格納する。また、ノイズ処理対象画素の画素値がＢ成分であった場合には、修正画素値(RGB)のＢ成分を抽出し、後段ラインバッファ１９に格納する。

上述したノイズ処理Ｓ１０における対象画素値の生成処理Ｓ１４から後段ラインバッファ１９への格納処理Ｓ１７までの処理は、入力ラインバッファ４に格納された全ての画素に対して実行する。

全ての画素に対してノイズ処理Ｓ１０が実行された後に、異常画素処理を実施するか否かを判定する工程Ｓ１８を実行する。異常画素処理Ｓ２０を実施すると判定した場合（Ｓ１８：ＹＥＳ）は、次の異常画素処理Ｓ２０に移行する。一方、異常画素処理Ｓ２０を実施しないと判定した場合（Ｓ１８：ＮＯ）は、次の異常画素処理Ｓ２０をスキップする。

図５に示されるように、ノイズ処理Ｓ１０の終了後、異常画素処理Ｓ２０を実行する。まず、統計量の算出処理Ｓ２１を実行する。この算出処理Ｓ２１は、統計量算出部２３で実行される。算出処理Ｓ２１では、後段ラインバッファ１９から異常処理を行う対象画素として異常処理対象画素を選択すると共に、異常処理対象画素の周囲における数画素の範囲を１個のブロックとして抽出する。そして、異常処理対象画素と同じ色成分を有する画素を当該ブロックを構成する複数の画素から抽出する。そして、抽出した画素が有する画素値（例えばＧ成分）について、最大値、最小値、単純平均値、分散(σ^２)といった統計量を算出する。

続いて、連続性の判定処理Ｓ２２を実行する。この判定処理Ｓ２２は、連続性判定部２４で実行される。この判定処理Ｓ２２では、統計量算出部２３から出力された画素値の平均値と、対象画素値（第２の対象画素値）との差分を算出する。そして、この差分が、予め設定された閾値よりも小さいときには、異常処理対象画素の対象画素値は異常ではないと判断し、後段の処理（Ｓ２３〜Ｓ２７）をスキップし、出力ラインバッファへの格納処理Ｓ２８へ移行する。一方、差分が予め設定された閾値よりも大きいときには、異常処理対象画素の対象画素値は異常である可能性が高いと判断し、第１の閾値の決定処理Ｓ２３へ移行する。

続いて、第１の閾値の決定処理Ｓ２３を実行する。この決定処理Ｓ２３は、第１の閾値決定部２５で実行される。決定処理Ｓ２３では、統計量の算出処理Ｓ２１で得た画素値の分散(σ^２)を利用して、後段の差分の算出処理Ｓ２５で利用する第１の閾値(square_diff_thre)を決定する。ここで、決定処理Ｓ２３で利用する画素値は、輝度成分(Y)の分散(σ^２)及び色差成分(UV)の分散(σ^２)である。これら分散(σ^２)を式（４）に適用して、第１の閾値を決定する。この式（４）は、分散(σ^２)が大きいほど第１の閾値(square_diff_thre)が大きくなるような関数に設定されている。また、式（４）は、第１の閾値(square_diff_thre)には、輝度成分(Y)のための値と、色差成分(UV)のための値とが決定される。

続いて、第２の閾値の決定処理Ｓ２４を実行する。この決定処理Ｓ２４は、第２の閾値決定部２６で実行される。決定処理Ｓ２４では、後段の乖離数の判定処理Ｓ２６で利用する第２の閾値を決定する。第２の閾値は、後述する差分の算出処理Ｓ２５において算出される推定画素値の数に対応して決定される。また、決定処理Ｓ２４では、ブロック内の画像がエッジを含むか否かによって第２の閾値を動的に変化させてもよい。より詳細には、決定処理Ｓ２４では、統計量算出部２３で抽出されたブロック内の画像がエッジを含む場合の第２の閾値を、ブロック内の画像がエッジを含まない場合の第２の閾値よりも大きい値に設定してもよい。

なお、第２の閾値の決定処理Ｓ２４は、統計量の算出処理Ｓ２１の後であり連続性の判定処理Ｓ２２の前に実行されてもよい。また、第２の閾値の決定処理Ｓ２４は、連続性の判定処理Ｓ２２と平行して実行されてもよい。

続いて、差分の算出処理Ｓ２５を実行する。この算出処理Ｓ２５は、差分算出部１３で実行される。差分の算出処理Ｓ２５では、異常処理対象画素の周囲に存在する画素と異常処理対象画素とを結ぶ線分上に存在する画素を利用して、異常処理対象画素の位置における推定画素値を算出する。続いて、異常処理対象画素における対象画素値と推定画素値との差分を算出する。続いて、当該差分と第１の閾値決定部２５から出力される第１の閾値とを比較する。この推定画素値の算出と、対象画素値と推定画素値との差分の算出と、差分及び第１の閾値の比較とを、異常処理対象画素に向かう所定の方向において複数回実施する。すなわち、差分及び閾値の比較は、推定画素値の数だけ行われることになり、このうち差分及び第１の閾値を超えた回数を乖離数としてカウントし、乖離数判定部２８に出力する。

続いて、乖離数の判定処理Ｓ２６を実行する。この判定処理Ｓ２６は、乖離数判定部２８で実行される。判定処理Ｓ２６では、差分の算出処理Ｓ２５で得た乖離数と、第２の閾値の決定処理Ｓ２４で得た第２の閾値とを比較する。そして、乖離数が第２の閾値以上である場合には、異常処理対象画素の対象画素値が異常であると判定し、後段の画素値の置換処理Ｓ２７へ移行する。一方、乖離数が第２の閾値未満である場合には、異常処理対象画素の対象画素値は正常であると判定し、後段の画素値の置換処理Ｓ２７をスキップし、出力ラインバッファ３１への格納処理Ｓ２８へ移行する。

続いて、画素値の置換処理Ｓ２７を実行する。この置換処理Ｓ２７は、画素値置換部２９で実行される。置換処理Ｓ２７では、異常処理対象画素に格納されていた対象画素値を、推定画素値を利用して得られた補正画素値に置き換える。ここで補正画素値は、差分算出部１３で算出された複数個の推定画素値を利用して算出する。例えば、補正画素値を複数個の推定画素値の単純平均としてもよいし、複数個の推定画素値から最大値と最小値を除いた値の単純平均としてもよい。

続いて、出力ラインバッファへの格納処理Ｓ２８を実行する。この格納処理Ｓ２８は、出力ラインバッファ３１で実行される。格納処理Ｓ２８に至る状態には、連続性の判定処理Ｓ２６から移行した第１の状態と、乖離数の判定処理Ｓ２６から移行した第２の状態と、画素値の置換処理Ｓ２７から移行した第３の状態との３個の状態があり得る。第１の状態と第２の状態とは、異常処理対象画素の対象画素値が正常であると判断された結果であるので、対象画素値を出力ラインバッファ３１へそのまま格納する。すなわち、後段ラインバッファ１９の所定位置に格納されていた画素値が、後段ラインバッファ１９の所定位置に対応する出力ラインバッファ３１の位置にそのまま格納されることになる。一方、第３の状態では、異常処理対象画素の対象画素値が異常であると判断された結果であるので、補正画素値を出力ラインバッファ３１へ格納する。すなわち、後段ラインバッファ１９の所定位置に格納されていた画素値が補正画素値に置き換えられて、後段ラインバッファ１９の所定位置に対応する出力ラインバッファ３１の位置に格納されることになる。

以上で図５及び図６に示された制御処理を終了する。図５及び図６に示された制御処理を実行することにより、ベイヤーパターン形式の状態でノイズを除去する処理と、異常画素値を除去する処理とが実行されるので、フィルタ対象画像に重畳したノイズを好適に除去することが可能となる。すなわち、上記画像処理方法によれば、ノイズ処理を行う信号としてベイヤー信号を対象とするため、異なる画素間の相関が低く、効果的なノイズ除去が可能である。従って、ノイズ処理Ｓ１０にあたっては、エッジを検出する必要がないので、エッジ検出処理を省きつつ、画質を向上させることができる。

次に、携帯端末（コンピュータ）Ｔを上記画像処理装置１として機能させるための画像処理プログラムについて説明する。

画像処理プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、フレーム画像を取得するように携帯端末Ｔを動作させる。演算処理モジュールは、ノイズ処理部２及び異常画素処理部３を有する。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像処理装置１のノイズ処理部２及び異常画素処理部３の機能とそれぞれ同様である。

画像処理プログラムは、例えば、ＲＯＭ等の記録媒体または半導体メモリによって提供される。また、画像処理プログラムは、データ信号としてネットワークを介して提供されてもよい。

以上、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、ベイヤーパターン形式で配列された画素値に対してノイズを除去するためのフィルタ処理を実行する。ベイヤーパターン形式で配列された画素値は、異なる画素間の空間的な相関が低く、異常な画素値の影響が周辺の画素値に影響を及ぼすことがない。従って、優れたノイズ除去効果を奏することが可能となる。

より詳細には、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムでは、ベイヤー信号を輝度成分(Y)と色差成分(UV)に分離し、輝度成分(Y)と色差成分(UV)について差分に基づく重み係数の算出を行っている点で特許文献１に記載された技術とは手法が異なる。このような手法によれば、輝度成分(Y)と色差成分(UV)とで重み係数を互いに異なる値に設定することが可能になる。また、特許文献１に記載された技術は周辺参照領域が狭いため低周波ノイズの除去性能に限界があるが、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムでは、縮小画像を参照画素として用いることにより必要なラインバッファの本数を抑えながら実質的に広範囲の画素を参照することが可能であり、より高精度なノイズ除去が可能である。

また、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、異常な画素値を推定画素値に置き換えることにより、フィルタ対象画像の異常画素を排除することができる。従って、一層優れたノイズ除去効果を奏することが可能となる。

なお、上述した実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、実施形態に係る画像処理装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。

例えば、画像処理装置は、ノイズ処理部２のみ備え、異常画素処理部３を備えない構成であってもよい。また、画像処理装置は、異常画素処理部３が、ノイズ処理部２の前段に配置された構成であってもよい。すなわち、異常画素処理Ｓ２０は、画素値がベイヤーパターン形式で保持された画像に対して実行可能であるため、異常画素処理Ｓ２０を先に実施し、その後、ノイズ処理Ｓ１０を実施してもよい。

例えば、上記実施形態では、画素値差分と第１及び第２のフィルタ係数の関係を、第１の対象画素値に対応して動的に変化させる一例として、輝度（第１の対象画素値）に対応する閾値を利用する場合を説明した。その他の例として、例えば、空間フィルタと同様に画素値差分に対応して単調減少（例えば正規分布関数）や、単調増加するような関数を利用してもよい。具体的には、対象画素値に対応して正規分布の分散パラメータを動的に変化させてもよい。

例えば、入力ラインバッファ４、縮小画像ラインバッファ９、後段ラインバッファ１９、出力ラインバッファ３１のサイズは、所望のサイズに設定してもよい。

例えば、縮小画像の生成処理Ｓ１２及びノイズ処理画素値の生成処理Ｓ１４では、所望の画素数を有するブロックを選択してもよい。

例えば、本実施例ではベイヤーパターンを加色系(RGB)フィルタとしたが、これに限らず減色系(CMYK)フィルタ等異なるカラーフィルタについて適用しても良い。また、各センサーの形状と配列は長方形の格子型に限らず、六角形状センサーのハニカム型構造等としても良い。

１…画像処理装置、２…ノイズ処理部、３…異常画素処理部、４…入力ラインバッファ（入力バッファ、入力バッファ部）、６…フィルタ設定部、７…ノイズ除去部、８…縮小画像生成部、９…縮小画像ラインバッファ（縮小画像バッファ）、１１…参照画素選択部、１２…対象画素値生成部、１３…差分算出部、１４…閾値決定部、１６ａ…空間フィルタ係数決定部、１６ｂ…輝度フィルタ係数決定部、１６ｃ…色差フィルタ係数決定部、１７ａ…フィルタ係数決定部（第１のフィルタ係数決定部）、１７ｂ…フィルタ係数決定部（第２のフィルタ係数決定部）、１８…修正画素値算出部、１９…後段ラインバッファ、２０…係数算出部、２１…異常判定部、２２…置換処理部、２３…統計量算出部、２４…連続性判定部、２５…第１の閾値決定部、２６…第２の閾値決定部、２８…乖離数判定部、２９…画素値置換部、３１…出力ラインバッファ、Ｓ１０…ノイズ処理、Ｓ１１…入力バッファへの格納処理、Ｓ１５…フィルタ係数の設定処理（フィルタ設定ステップ）、Ｓ１６…ノイズ除去処理（ノイズ除去ステップ）、Ｓ２０…異常画素処理。

Claims (1)

1. 入力画像に対してノイズを除去する処理を行う画像処理装置であって、
   前記入力画像を構成する画素値をベイヤーパターン形式で格納する後段バッファと、
   前記画像の異常画素を処理する異常画素処理部と、を備え、
   前記異常画素処理部は、
   前記後段バッファに格納されている複数の前記画素値を用い、異常処理対象画素における対象画素値と前記異常処理対象画素の位置における複数の推定画素値との差分を算出し、第１の閾値を超えた当該差分の数が第２の閾値以上である場合に、前記異常処理対象画素の前記対象画素値が異常であると判定する異常判定部と、
   前記異常判定部で、前記対象画素値が異常であると判定された場合には、前記対象画素値を複数の前記推定画素値を利用して算出した補正画素値に置き換える置換処理部と、有し、
   前記複数の推定画素値は、前記異常処理対象画素の周辺における周辺画素が有する周辺画素値を利用して前記周辺画素から前記異常処理対象画素へ向かう複数の互いに異なる方向に沿う複数回の外挿によって算出される、画像処理装置。

Images