JP7248042B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本明細書の開示は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

画像に対してメディアンフィルタ処理を行うことによりノイズを低減する画像処理装置が知られている（例えば特許文献１参照）。

特開２０００－１７５０８１号公報

画像内の注目画素の周辺（画素ブロック内）に画質劣化の有る劣化画素が存在することがある。劣化画素の画素値は、例えばノイズの影響により、注目画素の画素値とかけ離れた、注目画素と関連性の低い値となることがある。特許文献１に例示される従来の画像処理装置で行われていたメディアンフィルタ処理では、このような劣化画素が画素ブロック内に存在すると、注目画素の画素値がこれと関連性の低い画素値に置き換わってしまい、却って、画像品質の劣化を招いてしまうことがあった。

以上のような実情を踏まえ、本発明の一側面に係る目的は、フィルタ処理を行う画像処理装置、画像処理方法及び画像処理プログラムにおいて、画素ブロック内に劣化画素が存在することに起因する画像品質の劣化を抑えることである。

本発明の一態様に係る画像処理装置は、順次取得されるフレーム画像のうち、現フレームの画像内の注目画素と複数の周辺画素を含む現画素ブロックについて、前記注目画素の画素値と前記複数の周辺画素のそれぞれの画素値との差分値を取得するとともに、前記現フレームよりｎ（ｎは自然数）フレーム前の画像内で前記現画素ブロックと同じ位置の画素ブロックであった参照画素ブロックの各画素について、前記現画素ブロックの注目画素との画素値の差分値を取得する差分値取得部と、取得された差分値に基づき、前記周辺画素及び前記参照画素ブロックの各画素の画素値を補正する画素値補正部と、前記画素値補正部による補正後の現画素ブロック及び参照画素ブロックの各画素の画素値の中から中央値を決定するフィルタ処理部と、を備える。

本発明の一態様に係る画像処理方法は、コンピュータが実行する方法であり、順次取得されるフレーム画像のうち、現フレームの画像内の注目画素と複数の周辺画素を含む現画素ブロックについて、前記注目画素の画素値と前記複数の周辺画素のそれぞれの画素値との差分値を取得するとともに、前記現フレームよりｎ（ｎは自然数）フレーム前の画像内で前記現画素ブロックと同じ位置の画素ブロックであった参照画素ブロックの各画素について、前記現画素ブロックの注目画素との画素値の差分値を取得する差分値取得ステップと、取得された差分値に基づき、前記周辺画素及び前記参照画素ブロックの画素値を補正する画素値補正ステップと、前記画素値補正ステップによる補正後の現画素ブロック及び参照画素ブロックの各画素の画素値の中から中央値を決定するフィルタ処理ステップと、を含む。

本発明の一態様に係る画像処理プログラムは、上記の画像処理方法をコンピュータに実行させるためのプログラムである。

上記の態様によれば、フィルタ処理を行う画像処理装置、画像処理方法及び画像処理プログラムにおいて、画素ブロック内に劣化画素が存在することに起因する画像品質の劣化を抑えることができる。

本発明の一実施形態に係るデジタルカメラの一例を示す外観図である。 本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。 現フレームの画像内の画素ブロックである現画素ブロックの一例を示す概念図である。 現フレームよりｎフレーム前の画像内で現画素ブロックと同じ位置の画素ブロックであった参照画素ブロックの一例を示す概念図である。 画像処理装置が備える画素値補正部による補正処理を説明するための図である。 本発明の一実施形態に係る画像処理装置のコンピュータが実行する画像処理方法及び画像処理プログラムを示すフローチャートである。 本発明の一実施形態に係る画像処理装置によるメディアンフィルタ処理が施された出力画像の一例を示す図である。 従来の画像処理装置によるメディアンフィルタ処理が施された出力画像の一例を示す図である。 メディアンフィルタ処理が施されていない出力画像の一例を示す図である。

図面を参照して、本実施形態の画像処理装置１について詳細に説明する。なお、本実施形態の画像処理方法及び画像処理プログラムは、画像処理装置１のコンピュータ（回路構成要素）に各種処理ステップを実行させることで実現される。また、画像処理装置１は、例えば、Ｃｏｌｏｒ Ｐｒｏｃｅｓｓ ＰｉｐｅＬｉｎｅと呼ばれてもよい。また、画像処理装置１は、大規模集積回路（ＬＳＩ：Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）又はその一部として実装されてもよい。

画像処理装置１は、例えば、セキュリティカメラや監視カメラ、車載カメラなどの固定式の撮影装置に搭載されてもよいし、デジタルカメラや各種端末などの可搬式の撮影装置に搭載されてもよい。また、画像処理装置１は、撮影装置やその他の装置から有線又は無線で伝送された画像若しくは各種記憶媒体に記憶された画像に対して画像処理を施すことに特化されたものでもよい。すなわち、画像処理装置１の態様には自由度があり、各種の設計変更が可能である。

図１は、デジタルカメラ（撮影装置）１Ｘの一例を示す外観図である。デジタルカメラ１Ｘでは、被写体からの光が、レンズ１０Ｘを介してカメラ本体１１Ｘ内に導かれ、ミラー１２Ｘで反射されて、ピントグラス１３Ｘ上に被写体の実像を結像する。この実像としての被写体像は、ペンタプリズム１４Ｘによりファインダ１５Ｘに導かれ、観察できるようになっている。ピントグラス１３Ｘとペンタプリズム１４Ｘとの間に、表示装置１６Ｘが配置され、ピントグラス１３Ｘに映った被写体像に各種情報を重ねて表示する。図１中の破線は、ファインダ１５Ｘに導かれる被写体からの光の光路を示している。デジタルカメラ１Ｘでは、ミラー１２Ｘをアップしてシャッタ１７Ｘを開けて撮像素子１８Ｘに被写体光を導いて撮影を行なうため、ミラーアップ状態では表示装置１６Ｘには被写体像が届かない構造になっている。

デジタルカメラ１Ｘは、撮像素子１８Ｘによる撮影画像に画像処理を施す、本発明の一態様の画像処理装置１を内蔵していてもよいし、撮像素子１８Ｘによる撮影画像を、本発明の一態様の外部の画像処理装置１に有線又は無線で送信する通信部（接続端子やアンテナ等）を有していてもよい。すなわち、本発明は、撮影機能を有するデジタルカメラ１Ｘに限らず、外部装置で撮影された画像を取得してメディアンフィルタを用いたノイズ低減処理を適用可能な任意の機器にも適用可能である。換言すれば、本発明は、複数の機器で構成されるシステムにも適用可能である。

図２は、画像処理装置１の構成を示すブロック図である。画像処理装置１は、デモザイク処理部１０、ＹＵＶ変換部２０、差分値取得部３０、差分値判定部４０、輝度データ取得部５０、明暗判定部６０、画素値補正部７０、被写体変化判定部８０、フィルタ処理部９０、加算部１００及び後処理部１１０を備える。

デモザイク処理部１０には、撮像素子１８Ｘによる撮影画像（例えばＲＡＷ画像、Ｂａｙｅｒ画像であり、以下「入力画像Ｄ１」と記す。）が入力される。デモザイク処理部１０は、入力画像Ｄ１に対してデモザイク処理を施してＲＧＢ画像Ｄ２に変換する。なお、ここでは図示を省略しているが、デモザイク処理部１０の前段には、入力画像Ｄ１に対して孤立点除去処理や色収差補正を行うブロックが設けられていてもよい。

ＹＵＶ変換部２０は、デモザイク処理部１０より入力されるＲＧＢ画像Ｄ２をＹＵＶ変換することにより、ＹＵＶ画像Ｄ３を得る。ＹＵＶ画像Ｄ３は、差分値取得部３０及び画素値補正部７０に出力される。また、輝度データ取得部５０、被写体変化判定部８０及び加算部１００に、ＹＵＶ画像Ｄ３のうちの輝度データＤ１１が出力される。

図３Ａは、現フレームの画像（ＹＵＶ画像Ｄ３）内の画素ブロックである現画素ブロックＢ_Ｃの一例を示す概念図である。図３Ｂは、現フレームよりｎ（ｎは自然数）フレーム前の画像内で現画素ブロックＢ_Ｃと同じ位置の画素ブロックであった参照画素ブロックＢ_Ｒの一例を示す概念図である。本実施形態において、参照画素ブロックＢ_Ｒは、例えば現フレームより１フレーム前の画像の画素ブロックである。本実施形態では、現フレームより１フレーム前の画像として、フィルタ後ＹＵＶ画像Ｄ１０が適用される。フィルタ後ＹＵＶ画像Ｄ１０は、フィルタ処理部９０によるメディアンフィルタ処理後の画像データであり、後に詳細に説明する。

図３Ａに示されるように、現画素ブロックＢ_Ｃは、ＹＵＶ画像Ｄ３内の注目画素ＩＰ_Ｃと、注目画素ＩＰ_Ｃの上下左右斜めの各方向に隣接して位置する８つの周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃを含む、３×３の画素ブロックである。差分値取得部３０は、ＹＵＶ画像Ｄ３内の各画素を注目画素ＩＰ_Ｃに順次設定し、設定された注目画素ＩＰ_Ｃを含む現画素ブロックＢ_Ｃに対し、注目画素ＩＰ_Ｃの画素値と複数の周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃのそれぞれの画素値との差分値ＤＶ１_Ｃ～ＤＶ８_Ｃを取得（計算）する。なお、現画素ブロックＢ_Ｃに含まれる任意の周辺画素を説明する際は、「周辺画素ＰＰ_Ｃ」と記す。

図３Ｂに示されるように、参照画素ブロックＢ_Ｒは、現フレームより１フレーム前のフィルタ後ＹＵＶ画像Ｄ１０内の注目画素ＩＰ_Ｒと、注目画素ＩＰ_Ｒの上下左右斜めの各方向に隣接して位置する８つの周辺画素ＰＰ１_Ｒ～ＰＰ８_Ｒを含む、３×３の画素ブロックである。差分値取得部３０は、フィルタ後ＹＵＶ画像Ｄ１０内で現画素ブロックＢ_Ｃと同じ位置であった参照画素ブロックＢ_Ｒの各画素に対し、現画素ブロックＢ_Ｃの注目画素ＩＰ_Ｃとの画素値の差分値を取得する。具体的には、差分値取得部３０は、現画素ブロックＢ_Ｃの注目画素ＩＰ_Ｃと参照画素ブロックＢ_Ｒの注目画素ＩＰ_Ｒとの差分値ＤＶ０_Ｒを取得するとともに、注目画素ＩＰ_Ｃの画素値と参照画素ブロックＢ_Ｒ内の各周辺画素ＰＰ１_Ｒ～ＰＰ８_Ｒの画素値との差分値ＤＶ１_Ｒ～ＤＶ８_Ｒを取得する。なお、参照画素ブロックＢ_Ｒに含まれる任意の周辺画素を説明する際は、「周辺画素ＰＰ_Ｒ」と記す。

差分値取得部３０は、差分値ＤＶ１_Ｃ～ＤＶ８_Ｃ及びＤＶ０_Ｒ～ＤＶ８_Ｒを差分値判定部４０に出力する。便宜上、差分値ＤＶ１_Ｃ～ＤＶ８_Ｃ及びＤＶ０_Ｒ～ＤＶ８_Ｒを含むデータを「差分値データＤ４」と記す。

差分値判定部４０は、差分値取得部３０より入力される差分値データＤ４に含まれる差分値ＤＶ１_Ｃ～ＤＶ８_Ｃ、ＤＶ０_Ｒ～ＤＶ８_Ｒのそれぞれが所定の閾値（ε値）を超えるか否かを判定する。差分値判定部４０は、この判定結果（判定データＤ５）を画素値補正部７０に出力する。

画素値補正部７０には、判定データＤ５に加えて、ＹＵＶ変換部２０よりＹＵＶ画像Ｄ３が入力されるとともにフィルタ処理部９０よりフィルタ後ＹＵＶ画像Ｄ１０が入力される。

画素値補正部７０は、対象画素（周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃ、注目画素ＩＰ_Ｒ及び周辺画素ＰＰ１_Ｒ～ＰＰ８_Ｒ）の中から注目画素ＩＰ_Ｃの画素値との差分値がε値を超える画素を、判定データＤ５を参照することで特定する。画素値補正部７０は、ＹＵＶ画像Ｄ３に含まれる周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃ及びフィルタ後ＹＵＶ画像Ｄ１０に含まれる注目画素ＩＰ_Ｒ及び周辺画素ＰＰ１_Ｒ～ＰＰ８_Ｒのうち、判定データＤ５を参照することで特定した画素について、注目画素ＩＰ_Ｃとの画素値の差分値がε値に対応した値（ここでは、この差分値がε値と同じ値）となるように画素値を補正する。これにより、現画素ブロックＢ_Ｃ内及び参照画素ブロックＢ_Ｒ内の全ての対象画素の画素値は、注目画素ＩＰ_Ｃとの画素値の差分値がε値以下に収まる。なお、ε値の具体的な数値については、例えば画像処理装置１の設計者が撮影装置の性能や自身の経験等をもとに決定する。

図４を用いて画素値補正部７０による補正処理を説明する。図４に示されるＹＵＶ空間に配された値Ｐ_１（Ｙ_１，Ｕ_１，Ｖ_１）は、注目画素ＩＰ_Ｃを示す。また、値Ｐ_２（Ｙ_２，Ｕ_２，Ｖ_２）は、複数の周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃのうちの１つの周辺画素ＰＰ_Ｃを示す。図４に示されるように、ＹＵＶ空間内における値Ｐ_１と値Ｐ_２との距離（言い換えると、注目画素ＩＰ_Ｃの画素値と周辺画素ＰＰ_Ｃの画素値との差分値）は、ε値よりも大きい。そのため、画素値補正部７０は、値Ｐ_２を、ＹＵＶ空間内における値Ｐ_１との距離がε値と同じになるように、値Ｐ_３（Ｙ_３，Ｕ_３，Ｖ_３）に補正する。なお、値Ｐ_３は、ＹＵＶ空間において、値Ｐ_１と値Ｐ_２とを結ぶ線分上に位置する値である。

便宜上、画素値補正部７０による補正後の現画素ブロックＢ_Ｃ（すなわち、注目画素ＩＰ_Ｃ及び補正後の周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃ）を「補正画素ブロックデータＤ８_Ｃ」と記す。また、画素値補正部７０による補正後の参照画素ブロックＢ_Ｒ（すなわち、補正後の注目画素ＩＰ_Ｒ及び補正後の周辺画素ＰＰ１_Ｒ～ＰＰ８_Ｒ）を「補正画素ブロックデータＤ８_Ｒ」と記す。

ここで、エッジ保存フィルタとして有用なメディアンフィルタには、画質劣化の有る劣化画素が画素ブロック内に存在すると、注目画素の画素値がこれと関連性の低い劣化画素の画素値に置き換わってしまい、却って、画像品質の劣化を招いてしまうことがあった。より詳細な例示として、画像内のエッジ部近傍に劣化画素が存在する場合にメディアンフィルタによるノイズ除去処理が施されると、ノイズ除去と同時にエッジ部が劣化画素方向にシフトする現象（エッジシフト）が生じてしまうことがあった。

そこで、本実施形態では、注目画素ＩＰ_Ｃとの画素値の差分値がε値以下に収まるように、現画素ブロックＢ_Ｃ内及び参照画素ブロックＢ_Ｒ内の対象画素の画素値が補正される。言い換えると、注目画素ＩＰ_Ｃと近接するにも拘わらずノイズの影響によって画素値が注目画素ＩＰ_Ｃとかけ離れてしまった劣化画素が、注目画素ＩＰ_Ｃと関連性のある値（注目画素ＩＰ_Ｃの画素値に近い値であって、注目画素ＩＰ_Ｃとの画素値の差分値がε値となる値）に拘束される。これにより、メディアンフィルタ処理において、注目画素ＩＰ_Ｃとかけ離れた画素値が注目画素ＩＰ_Ｃの画素値として決定されることがなくなる。そのため、メディアンフィルタ処理によるノイズ除去及びエッジ保存の利点を活かしつつ、画素ブロック内に劣化画素が存在することに起因する画像品質の劣化が抑えられる。

一般に、画像が暗いほどＳＮ比が低下する。そのため、画像が暗いほど注目画素と周辺画素との画素値の差分値が大きくなりやすい。そこで、ε値は、注目画素ＩＰ_Ｃの明暗に応じて設定される。

具体的には、輝度データ取得部５０は、ＹＵＶ変換部２０より入力される輝度データＤ１１の中から、注目ブロックの輝度データＤ６を取得して、明暗判定部６０に出力する。注目ブロックは、注目画素ＩＰ_Ｃを含む複数の画素群よりなる画素ブロックであり、例えば現画素ブロックＢ_Ｃと同じである。輝度データＤ６は、例えば、注目ブロック内の画素の平均輝度値や、注目ブロック内の画素の輝度値の中央値である。なお、注目ブロックは、現画素ブロックＢ_Ｃと同じブロックに限らない。注目ブロックは、例えば注目画素ＩＰ_Ｃを中心とする５×５や７×７の画素ブロック（すなわち現画素ブロックＢ_Ｃと異なる画素ブロック）であってもよい。

明暗判定部６０は、輝度データ取得部５０にて取得された輝度データＤ６に基づいて注目画素ＩＰ_Ｃの明暗を判定する。明暗判定部６０は、例えば、輝度データＤ６が所定の輝度値を超えるとき、注目画素ＩＰ_Ｃが明るいと判定し、輝度データＤ６が所定の輝度値以下のとき、注目画素ＩＰ_Ｃが暗いと判定する。明暗判定部６０は、この判定結果（判定データＤ７）を差分値判定部４０に出力する。

差分値判定部４０は、判定データＤ７に応じてε値を設定する。具体的には、注目画素ＩＰ_Ｃが明るいことを示す判定データＤ７の場合、差分値判定部４０は、ε値を第１のε値（第１の閾値）に設定する。注目画素ＩＰ_Ｃが暗いことを示す判定データＤ７の場合、差分値判定部４０は、ε値を、第１のε値よりも大きい第２のε値（第３の閾値）に設定する。これにより、差分値判定部４０において、注目画素ＩＰ_Ｃの明暗に応じたε値を用いた閾値判定、すなわち、ＳＮ比を考慮した閾値判定が行われる。

なお、画像処理装置１の処理負荷を抑えるため、ε値は、注目画素ＩＰ_Ｃの明暗に拘わらず一定値であってもよい。この場合、画像処理装置１から輝度データ取得部５０及び明暗判定部６０を省くことができる。そのため、画像処理装置１の構成を簡略化することができる。

被写体変化判定部８０には、現フレームの画像（ＹＵＶ画像Ｄ３）の輝度データＤ１１がＹＵＶ変換部２０より入力されるとともに、現フレームより１フレーム前の画像（フィルタ後ＹＵＶ画像Ｄ１０）の輝度データＤ９がフィルタ処理部９０より入力される。

被写体変化判定部８０は、輝度データＤ９及びＤ１１に基づいてフレーム間における注目画素での被写体の変化の度合いを判定する。具体的には、被写体変化判定部８０は、輝度データＤ９内及び輝度データＤ１１内の注目画素同士の差分値ＤＶ_Ｙを取得し、取得された差分値ＤＶ_Ｙに基づいて所定の評価値ＥＶを取得し、取得された評価値ＥＶに対して所定の閾値判定を行う。

輝度データＤ９は、例えば、現画素ブロックＢ_Ｃの注目画素ＩＰ_Ｃの輝度値、又は現画素ブロックＢ_Ｃ内の画素の平均輝度値、若しくは現画素ブロックＢ_Ｃ内の画素の輝度値の中央値である。輝度データＤ１１は、例えば、参照画素ブロックＢ_Ｒの注目画素ＩＰ_Ｒの輝度値、又は参照画素ブロックＢ_Ｒ内の画素の平均輝度値、若しくは参照画素ブロックＢ_Ｒ内の画素の輝度値の中央値である。

なお、差分値ＤＶ_Ｙは、現フレームと１フレーム前の注目画素同士の輝度データの差分値に代えて、現フレームと１フレーム前の注目画素同士の画素値の差分値としてもよい。この場合、被写体変化判定部８０には、現フレームの画像（ＹＵＶ画像Ｄ３）と１フレーム前の画像（フィルタ後ＹＵＶ画像Ｄ１０）が入力される。この場合の差分値ＤＶ_Ｙは、例えば、現画素ブロックＢ_Ｃの注目画素ＩＰ_Ｃの画素値と、参照画素ブロックＢ_Ｒの注目画素ＩＰ_Ｒの画素値との差分値である。また、差分値ＤＶ_Ｙは、現画素ブロックＢ_Ｃ内の平均画素値と参照画素ブロックＢ_Ｒ内の平均画素値との差分値としてもよく、また、現画素ブロックＢ_Ｃ内の画値の中央値と参照画素ブロックＢ_Ｒ内の画素値の中央値との差分値としてもよい。

評価値ＥＶは、差分値ＤＶ_Ｙそのものであってもよく、また、差分値ＤＶ_Ｙに対して所定の線形関数又は非線形関数をかけた値としてもよい。

被写体変化判定部８０は、評価値ＥＶが閾値ＴＨ（第２の閾値）以下か否かを判定し、この判定結果（判定データＤ１２）をフィルタ処理部９０に出力する。

フィルタ処理部９０には、画素値補正部７０より補正画素ブロックデータＤ８_Ｃ及び補正画素ブロックデータＤ８_Ｒが入力されるとともに、被写体変化判定部８０より判定データＤ１２が入力される。

フィルタ処理部９０は、２次元メディアンフィルタ９２、３次元メディアンフィルタ９４及び出力部９６を備える。フィルタ処理部９０は、被写体変化判定部８０より入力される判定データＤ１２（言い換えると、評価値ＥＶに対する閾値判定の結果）に応じて、現画素ブロックＢ_Ｃの画素だけを対象としたメディアンフィルタ処理（すなわち、９つの画素（注目画素ＩＰ_Ｃ及び補正後の周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃ）の画素値の中から中央値を決定する、２次元メディアンフィルタ９２によるメディアンフィルタ処理）、又は現画素ブロックＢ_Ｃと参照画素ブロックＢ_Ｒの両方の画素を対象としたメディアンフィルタ処理（すなわち、１８個の画素（注目画素ＩＰ_Ｃ及び補正後の周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃ並びに補正後の注目画素ＩＰ_Ｒ及び補正後の周辺画素ＰＰ１_Ｒ～ＰＰ８_Ｒ）の画素値の中から中央値を決定するメディアンフィルタ処理であって、時間軸方向も考慮した、３次元メディアンフィルタ９４によるメディアンフィルタ処理）を行う。

評価値ＥＶが閾値ＴＨを超える場合、フレーム間における注目画素での被写体の変化の度合いが高い（言い換えると、被写体に動きがある）。そのため、３次元メディアンフィルタ９４によるメディアンフィルタ処理を行うと、フレーム間における被写体の動きの影響を受けて被写体ブレやアーチファクトが生じる。そこで、評価値ＥＶが閾値ＴＨを超える場合、フィルタ処理部９０は、被写体に動きがある場合にも被写体ブレやアーチファクトを生じさせ難い、２次元メディアンフィルタ９２によるメディアンフィルタ処理を行う。

評価値ＥＶが閾値ＴＨ以下の場合、フレーム間における注目画素での被写体の変化の度合いが低い（言い換えると、被写体に動きがない）。そのため、３次元メディアンフィルタ９４によるメディアンフィルタ処理を行っても被写体ブレやアーチファクトが生じ難い。そこで、評価値ＥＶが閾値ＴＨ以下の場合、フィルタ処理部９０は、２次元メディアンフィルタ９２によるメディアンフィルタ処理よりもノイズ低減効果の高い、３次元メディアンフィルタ９４によるメディアンフィルタ処理を行う。

なお、メディアンフィルタ処理は、乗算や除算を用いないため演算負荷が軽い。すなわち、本実施形態では、軽い演算負荷で高いノイズ低減効果が得られる。

また、メディアンフィルタ処理が施されたフィルタ後ＹＵＶ画像Ｄ１０を１フレーム前の画像としてフィードバックさせて３次元メディアンフィルタ９４によるメディアンフィルタ処理を行う構成としたことにより、高いノイズ低減効果に加えて、フリッカ等に起因する色相や明度のちらつき低減効果も得られる。

出力部９６は、フィルタ後ＹＵＶ画像Ｄ１０を加算部１００に出力するとともに現フレームより１フレーム前の画像として差分値取得部３０及び画素値補正部７０に出力する。また、出力部９６は、現フレームより１フレーム前の画像の輝度データとして、フィルタ後ＹＵＶ画像Ｄ１０のうちの輝度データＤ９を被写体変化判定部８０に出力する。

加算部１００は、出力部９６より入力されるフィルタ後ＹＵＶ画像Ｄ１０と、ＹＵＶ変換部２０より入力される輝度データＤ１１とを加算する。オリジナル画像（すなわち、メディアンフィルタ処理前の画像であるＹＵＶ画像Ｄ３）の輝度データＤ１１をフィルタ後ＹＵＶ画像Ｄ１０に加算することにより、オリジナル画像の質感が復元された質感復元後ＹＵＶ画像Ｄ１３が得られる。

後処理部１１０は、質感復元後ＹＵＶ画像Ｄ１３に対して、例えば、ガンマ補正、エッジ強調処理、超解像処理などの後処理を行って出力画像Ｄ１４とする。なお、後処理部１１０が行う後処理には自由度があり、種々の設計変更が可能である。出力画像Ｄ１４は、例えば後段に設けられた表示装置の表示画面に表示される。

図５は、画像処理装置１のコンピュータ（回路構成要素）が実行する画像処理方法及び画像処理プログラムを示すフローチャートである。

図５に示されるように、入力画像Ｄ１に対してデモザイク処理部１０によるデモザイク処理が施されてＲＧＢ画像Ｄ２に変換される（ステップＳ１０１）。

ＲＧＢ画像Ｄ２に対してＹＵＶ変換部２０によるＹＵＶ変換が施されてＹＵＶ画像Ｄ３が得られる（ステップＳ１０２）。

差分値取得部３０により、ＹＵＶ画像Ｄ３内の現画素ブロックＢ_Ｃに対し、注目画素ＩＰ_Ｃの画素値と複数の周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃのそれぞれの画素値との差分値ＤＶ１_Ｃ～ＤＶ８_Ｃが取得されるとともに、フィルタ後ＹＵＶ画像Ｄ１０内の参照画素ブロックＢ_Ｒの各画素に対し、注目画素ＩＰ_Ｃとの画素値の差分値ＤＶ０_Ｒ～ＤＶ８_Ｒが取得される（ステップＳ１０３）。

差分値判定部４０により、差分値データＤ４（差分値ＤＶ１_Ｃ～ＤＶ８_Ｃ及びＤＶ０_Ｒ～ＤＶ８_Ｒ）に対する閾値判定が行われる（ステップＳ１０４）。

対象画素（周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃ、注目画素ＩＰ_Ｒ及び周辺画素ＰＰ１_Ｒ～ＰＰ８_Ｒ）のうち、注目画素ＩＰ_Ｃとの画素値の差分値がε値を超える画素について、この差分値がε値と同じ値となるように、画素値補正部７０によって画素値が補正される（ステップＳ１０５）。

被写体変化判定部８０により、フレーム間における注目画素での被写体の変化の度合いが判定される（ステップＳ１０６）。

被写体変化判定部８０においてフレーム間における注目画素での被写体の変化の度合いが高いと判定されると（ステップＳ１０６：ＨＩＧＨ）、フィルタ処理部９０により、現画素ブロックＢ_Ｃの画素だけを対象とした、２次元メディアンフィルタ９２によるメディアンフィルタ処理が施される（ステップＳ１０７）。

被写体変化判定部８０においてフレーム間における注目画素での被写体の変化の度合いが低いと判定されると（ステップＳ１０６：ＬＯＷ）、フィルタ処理部９０により、現画素ブロックＢ_Ｃと参照画素ブロックＢ_Ｒの両方の画素を対象とした、３次元メディアンフィルタ９４によるメディアンフィルタ処理が施される（ステップＳ１０８）。

加算部１００によってフィルタ後ＹＵＶ画像Ｄ１０と輝度データＤ１１とが加算されることにより、オリジナル画像の質感が復元された質感復元後ＹＵＶ画像Ｄ１３が得られる（ステップＳ１０９）。

質感復元後ＹＵＶ画像Ｄ１３に対して後処理部１１０による後処理が施されて出力画像Ｄ１４が得られる（ステップＳ１１０）。

図６Ａは、画像処理装置１によるメディアンフィルタ処理が施された出力画像Ｄ１４の一例を示す図である。図６Ｂは、従来の画像処理装置によるメディアンフィルタ処理が施された出力画像の一例を示す図である。図６Ｃは、メディアンフィルタ処理が施されていない出力画像の一例を示す図である。

図６Ｂの例では、図６Ｃと比較すると判るように、メディアンフィルタ処理によるノイズ除去及びエッジ保存の効果が得られる一方、劣化画素が存在する部分（例えば出力画像に写る放射状の縞模様の中央部分）ではエッジシフトが生じてしまう。具体的には、縞模様の中心に近いほど、画素ブロック内で白と黒の画素が混在し、各画素ブロックでメディアンフィルタ処理により決定される中央値が大きくばらつく。これにより、縞模様の中央部分でエッジシフトが生じる。これに対し、図６Ａの例では、メディアンフィルタ処理により決定される中央値が注目画素ＩＰ_Ｃに近い値（注目画素ＩＰ_Ｃとの画素値の差分値が最大でもε値となる値）に拘束される。そのため、画素ブロック内で白と黒の画素が混在する場合にも、各画素ブロックでメディアンフィルタ処理により決定される中央値が大きくばらつくことがない。そのため、図６Ａの例では、図６Ｂ及び図６Ｃと比較すると判るように、メディアンフィルタ処理によるノイズ除去及びエッジ保存の効果を得つつ、劣化画素が存在する部分においてもエッジシフト等の画像品質の劣化が抑えられる。

すなわち、本実施形態の画像処理装置、画像処理方法及び画像処理プログラムによれば、注目画素ＩＰ_Ｃとかけ離れてしまった対象画素の画素値を、注目画素ＩＰ_Ｃと関連性のある画素値に拘束することにより、メディアンフィルタ処理によるノイズ除去及びエッジ保存の利点を活かしつつ、画素ブロック内に劣化画素が存在することに起因する画像品質の劣化が抑えられる。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

上記の実施形態において、差分値取得部３０は、注目画素ＩＰ_Ｃの画素値と対象画素（周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃ、注目画素ＩＰ_Ｒ及び周辺画素ＰＰ１_Ｒ～ＰＰ８_Ｒ）の画素値との差分値を取得しているが、本発明の構成はこれに限らない。差分値取得部３０は、更に、注目画素ＩＰ_Ｃと注目画素ＩＰ_Ｒの平均画素値を取得し、取得された平均画素値と注目画素ＩＰ_Ｃの画素値との差分値ＤＶ_ＣＲを取得する構成としてもよい。

この場合、差分値判定部４０は、差分値ＤＶ１_Ｃ～ＤＶ８_Ｃ及びＤＶ０_Ｒ～ＤＶ８_Ｒに加えて、差分値ＤＶ_ＣＲに対しても閾値判定を行う。画素値補正部７０は、差分値ＤＶ_ＣＲがε値を超える場合、注目画素ＩＰ_Ｃと注目画素ＩＰ_Ｒの平均画素値も、注目画素ＩＰ_Ｃの画素値との差分値がε値と同じ値となるように補正する。フィルタ処理部９０は、フレーム間における注目画素での被写体の変化の度合いが低い場合、現画素ブロックＢ_Ｃ内及び参照画素ブロックＢ_Ｒ内の１８個の画素の画素値に、上記の平均画素値も加えた、計１９個の画素値の中から中央値を決定する、３次元メディアンフィルタ９４によるメディアンフィルタ処理を行う。

注目画素ＩＰ_Ｃと注目画素ＩＰ_Ｒの平均画素値も用いて３次元メディアンフィルタ９４によるメディアンフィルタ処理を行うことにより、より一層、メディアンフィルタ処理によるノイズ除去及びエッジ保存の効果が得られる。

上記の実施形態では、差分値取得部３０は、注目画素ＩＰ_Ｃの画素値と対象画素（周辺画素ＰＰ１_Ｃ～ＰＰ８_Ｃ、注目画素ＩＰ_Ｒ及び周辺画素ＰＰ１_Ｒ～ＰＰ８_Ｒ）の画素値との差分値を取得しているが、本発明の構成はこれに限らない。差分値取得部３０は、現画素ブロックＢ_Ｃに対し、注目画素ＩＰ_Ｃを挟んで対となる位置に配置された画素対（一対の周辺画素ＰＰ_Ｃ）の平均画素値と注目画素ＩＰ_Ｃの画素値との差分値を取得し、また、参照画素ブロックＢ_Ｒに対し、上記画素対と同じ位置の画素対（一対の周辺画素ＰＰ_Ｒ）の平均画素値と注目画素ＩＰ_Ｃの画素値との差分値を取得する構成としてもよい。

この場合、差分値判定部４０は、画素対のそれぞれについて、その平均画素値と注目画素ＩＰ_Ｃの画素値との差分値がε値を超えるか否かを判定する。画素値補正部７０は、平均画素値と注目画素ＩＰ_Ｃの画素値との差分値がε値を超える画素対について、この差分値がε値に対応した値（ここでは、この差分値がε値と同じ値）となるように平均画素値を補正する。フィルタ処理部９０は、画素値補正部７０による補正後の各画素対の平均画素値及び注目画素ＩＰ_Ｃの画素値の中から中央値を決定する、２次元メディアンフィルタ９２又は３次元メディアンフィルタ９４によるメディアンフィルタ処理を行う。

画像内のグラデーション部分（空や肌等）では、メディアンフィルタの特性上、トーンジャンプが生じる可能性がある。上記の如く、画素対の平均画素値を用いてメディアンフィルタ処理を行うことにより、トーンジャンプの発生を抑制し、滑らかな階調表現が可能となる。

上記の実施形態では、フィルタ処理部９０は、フレーム間における注目画素での被写体の変化の度合いに応じて、２次元メディアンフィルタ９２によるメディアンフィルタ処理又は３次元メディアンフィルタ９４によるメディアンフィルタ処理を行っているが、本発明の構成はこれに限らない。フィルタ処理部９０は、フレーム間における注目画素での被写体の変化の度合いに応じて、２次元メディアンフィルタ９２と３次元メディアンフィルタ９４の一方だけでなく、両方を用いたメディアンフィルタ処理を行う構成としてもよい。

この場合、被写体変化判定部８０は、評価値ＥＶが（１）閾値ＴＨ以下か、（２）閾値ＴＨを超えかつ閾値ＴＨ’以下か、（３）閾値ＴＨ’を超えるか、の何れであるかを判定する。フィルタ処理部９０は、評価値ＥＶが（１）閾値ＴＨ以下の場合、３次元メディアンフィルタ９４によるメディアンフィルタ処理を行う。また、フィルタ処理部９０は、評価値ＥＶが（３）閾値ＴＨ’を超える場合、２次元メディアンフィルタ９２によるメディアンフィルタ処理を行う。また、フィルタ処理部９０は、評価値ＥＶが（２）閾値ＴＨを超えかつ閾値ＴＨ’以下の場合、２次元メディアンフィルタ９２によるメディアンフィルタ処理後の画素値と、３次元メディアンフィルタ９４によるメディアンフィルタ処理の画素値とを所定の割合（例えば５０％：５０％）で合成し、合成後の画素値をメディアンフィルタ処理後の注目画素の画素値として得る。これにより、被写体ブレやアーチファクトの発生を抑えつつ（２次元メディアンフィルタ９２による効果）、より一層高いノイズ低減効果（３次元メディアンフィルタ９４による効果）を得ることができる。

なお、上記の「所定の割合」は、評価値ＥＶに拘わらず一定値であってもよく、また、評価値ＥＶに応じて変動する変動値であってもよい。後者の場合、「所定の割合」は、評価値ＥＶが閾値ＴＨに近いほど、３次元メディアンフィルタ９４によるメディアンフィルタ処理の画素値の割合が高くなり、評価値ＥＶが閾値ＴＨ’に近いほど、２次元メディアンフィルタ９２によるメディアンフィルタ処理の画素値の割合が高いものとなる。

上記の実施形態では、メディアンフィルタ処理により画像に対するノイズ除去を行っているが、本発明の構成はこれに限らない。例えば、メディアンフィルタ処理に代えて、トリム平均処理により画像に対するノイズ除去を行ってもよい。トリム平均処理では、ｎ×ｎ（ｎは正の奇数）の画素ブロックに含まれる全画素の中から、画素値が大きいｍ個の画素と画素値が小さいｍ個の画素を差し引いた（ｎ^２－２ｍ）個の画素の平均画素値が出力される。ここで、ｍがｎ^２／２とすると、残りの画素数は１となる。そのため、トリム平均処理によっても、メディアンフィルタ処理と同様に、補正後の画素ブロックの各画素の画素値の中から中央値を決定することができる。

以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
注目画素と複数の周辺画素を含む画素ブロックに対し、前記注目画素の画素値と前記複数の周辺画素のそれぞれの画素値との差分値を取得する差分値取得部と、
取得された差分値に基づき、前記周辺画素の画素値を補正する画素値補正部と、
前記画素値補正部による補正後の画素ブロックの各画素の画素値の中から中央値を決定するフィルタ処理部と、
を備える、
画像処理装置。
［付記２］
前記複数の周辺画素のそれぞれについて、前記差分値取得部にて取得された差分値が第１の閾値を超えるか否かを判定する差分値判定部を更に備え、
前記画素値補正部は、前記差分値が第１の閾値を超える周辺画素について、前記差分値が前記第１の閾値に対応した値となるように画素値を補正する、
付記１に記載の画像処理装置。
［付記３］
前記差分値取得部は、現フレームの画像内の画素ブロックである現画素ブロックに対し、前記注目画素の画素値と前記複数の周辺画素のそれぞれの画素値との差分値を取得するとともに、前記現フレームよりｎ（ｎは自然数）フレーム前の画像内で前記現画素ブロックと同じ位置の画素ブロックであった参照画素ブロックの各画素に対し、前記現画素ブロックの注目画素との画素値の差分値を取得し、
前記画素値補正部は、前記現画素ブロックの注目画素との画素値の差分値が前記第１の閾値を超える画素について、前記差分値が前記第１の閾値に対応した値となるように画素値を補正し、
前記フィルタ処理部は、前記画素値補正部による補正後の現画素ブロック及び参照画素ブロックの各画素の画素値の中から中央値を決定するフィルタ処理を行う、
付記２に記載の画像処理装置。
［付記４］
前記差分値取得部は、前記現画素ブロック及び前記参照画素ブロックの注目画素の平均画素値と前記現画素ブロックの注目画素の画素値との差分値も取得し、
前記画素値補正部は、前記平均画素値と前記現画素ブロックの注目画素の画素値との差分値が前記第１の閾値を超える場合、前記平均画素値も、前記現画素ブロックの注目画素の画素値との差分値が前記第１の閾値に対応した値となるように補正し、
前記フィルタ処理部は、前記画素値補正部による補正後の現画素ブロック及び参照画素ブロックの各画素の画素値並びに前記平均画素値の中から中央値を決定するフィルタ処理を行う、
付記３に記載の画像処理装置。
［付記５］
前記現画素ブロックと前記参照画素ブロックの輝度データに基づいてフレーム間における被写体の変化の度合いを判定する被写体変化判定部を更に備え、
前記フィルタ処理部は、前記被写体変化判定部の判定結果に応じて、前記現画素ブロックの画素だけを対象としたフィルタ処理、又は前記現画素ブロックと前記参照画素ブロックの両方の画素を対象としたフィルタ処理を行う、
付記３又は付記４に記載の画像処理装置。
［付記６］
前記被写体変化判定部は、前記現画素ブロックと前記参照画素ブロックの輝度データの差分値を取得し、取得された差分値に基づいて所定の評価値を取得し、前記評価値に対して所定の閾値判定を行い、
前記フィルタ処理部は、前記評価値に対する閾値判定の結果に応じて、前記現画素ブロックの画素だけを対象としたフィルタ処理、又は前記現画素ブロックと前記参照画素ブロックの両方の画素を対象としたフィルタ処理を行う、
付記５に記載の画像処理装置。
［付記７］
前記現画素ブロックの輝度データは、前記現画素ブロックの注目画素の輝度値、又は前記現画素ブロック内の画素の平均輝度値、若しくは前記現画素ブロック内の画素の輝度値の中央値であり、
前記参照画素ブロックの輝度データは、前記参照画素ブロックの注目画素の輝度値、又は前記参照画素ブロック内の画素の平均輝度値、若しくは前記参照画素ブロック内の画素の輝度値の中央値である、
付記６に記載の画像処理装置。
［付記８］
前記フィルタ処理部は、前記評価値が第２の閾値以下の場合、前記現画素ブロックと前記参照画素ブロックの両方の画素を対象としたフィルタ処理を行い、前記評価値が前記第２の閾値を超える場合、前記現画素ブロックの画素だけを対象としたフィルタ処理を行う、
付記６又は付記７に記載の画像処理装置。
［付記９］
前記注目画素を含む複数の画素群よりなる注目ブロックの輝度データを取得する輝度データ取得部と、
前記取得された輝度データに基づいて前記注目画素の明暗を判定する明暗判定部と、更に備え、
前記明暗判定部により前記注目画素が暗いと判定されると、前記差分値判定部は、前記第１の閾値よりも大きい第３の閾値を用いて前記差分値に対する閾値判定を行う、
付記２から付記８の何れか一つに記載の画像処理装置。
［付記１０］
前記差分値取得部は、前記画素ブロックに対し、前記注目画素の画素値と前記複数の周辺画素のそれぞれの画素値との差分値に代えて、前記注目画素を挟んで対となる位置に配置された画素対の平均画素値と前記注目画素の画素値との差分値を取得し、
前記差分値判定部は、前記画素対のそれぞれについて、前記差分値が前記第１の閾値を超えるか否かを判定し、
前記画素値補正部は、前記差分値が前記第１の閾値を超える画素対について、前記差分値が前記第１の閾値に対応した値となるように平均画素値を補正し、
前記フィルタ処理部は、前記画素値補正部による補正後の各画素対の平均画素値及び前記注目画素の画素値の中から中央値を決定するフィルタ処理を行う、
付記２から付記９の何れか一つに記載の画像処理装置。
［付記１１］
前記フィルタ処理部によるフィルタ処理は、前記画素値補正部による補正後の画素ブロックの各画素の画素値の中から中央値を決定するメディアンフィルタ処理又はトリム平均処理である、
付記１から付記１０の何れか一項に記載の画像処理装置。
［付記１２］
コンピュータが実行する画像処理方法であって、
注目画素と複数の周辺画素を含む画素ブロックに対し、前記注目画素の画素値と前記複数の周辺画素のそれぞれの画素値との差分値を取得する差分値取得ステップと、
取得された差分値に基づき、前記周辺画素の画素値を補正する画素値補正ステップと、
前記画素値補正ステップによる補正後の画素ブロックの各画素の画素値の中から中央値を決定するフィルタ処理ステップと、
を含む、
画像処理方法。
［付記１３］
付記１２に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。

１ ：画像処理装置
１０ ：デモザイク処理部
２０ ：ＹＵＶ変換部
３０ ：差分値取得部
４０ ：差分値判定部
５０ ：輝度データ取得部
６０ ：明暗判定部
７０ ：画素値補正部
８０ ：被写体変化判定部
９０ ：フィルタ処理部
９２ ：２次元メディアンフィルタ
９４ ：３次元メディアンフィルタ
９６ ：出力部
１００ ：加算部
１１０ ：後処理部

Claims (12)

1. 順次取得されるフレーム画像のうち、現フレームの画像内の注目画素と複数の周辺画素を含む現画素ブロックについて、前記注目画素の画素値と前記複数の周辺画素のそれぞれの画素値との差分値を取得するとともに、前記現フレームよりｎ（ｎは自然数）フレーム前の画像内で前記現画素ブロックと同じ位置の画素ブロックであった参照画素ブロックの各画素について、前記現画素ブロックの注目画素との画素値の差分値を取得する差分値取得部と、
   取得された差分値に基づき、前記周辺画素及び前記参照画素ブロックの各画素の画素値を補正する画素値補正部と、
   前記画素値補正部による補正後の現画素ブロック及び参照画素ブロックの各画素の画素値の中から中央値を決定するフィルタ処理部と、
   を備える、
   画像処理装置。
2. 前記画素値補正部は、前記現画素ブロックの注目画素との画素値の差分値が第１の閾値を超える画素について、前記差分値が前記第１の閾値に対応した値となるように画素値を補正する、
   請求項１に記載の画像処理装置。
3. 前記差分値取得部は、前記現画素ブロック及び前記参照画素ブロックの注目画素の平均画素値と前記現画素ブロックの注目画素の画素値との差分値を取得し、
   前記画素値補正部は、前記平均画素値と前記現画素ブロックの注目画素の画素値との差分値が前記第１の閾値を超える場合、前記平均画素値も、前記現画素ブロックの注目画素の画素値との差分値が前記第１の閾値に対応した値となるように補正し、
   前記フィルタ処理部は、前記画素値補正部による補正後の現画素ブロック及び参照画素ブロックの各画素の画素値並びに前記平均画素値の中から中央値を決定するフィルタ処理を行う、
   請求項２に記載の画像処理装置。
4. 前記複数の周辺画素のそれぞれについて、前記差分値取得部にて取得された差分値が前記第１の閾値を超えるか否かを判定する差分値判定部と、
   前記注目画素を含む複数の画素群よりなる注目ブロックの輝度データを取得する輝度データ取得部と、
   前記取得された輝度データに基づいて前記注目画素の明暗を判定する明暗判定部と、を更に備え、
   前記明暗判定部により前記注目画素が暗いと判定されると、前記差分値判定部は、前記第１の閾値よりも大きい第３の閾値を用いて前記差分値に対する閾値判定を行う、
   請求項２又は請求項３に記載の画像処理装置。
5. 前記差分値取得部は、前記画素ブロックに対し、前記注目画素の画素値と前記複数の周辺画素のそれぞれの画素値との差分値に代えて、前記注目画素を挟んで対となる位置に配置された画素対の平均画素値と前記注目画素の画素値との差分値を取得し、
   前記差分値判定部は、前記画素対のそれぞれについて、前記差分値が前記第１の閾値を超えるか否かを判定し、
   前記画素値補正部は、前記差分値が前記第１の閾値を超える画素対について、前記差分値が前記第１の閾値に対応した値となるように平均画素値を補正し、
   前記フィルタ処理部は、前記画素値補正部による補正後の各画素対の平均画素値及び前記注目画素の画素値の中から中央値を決定するフィルタ処理を行う、
   請求項４に記載の画像処理装置。
6. 前記現画素ブロックと前記参照画素ブロックの輝度データに基づいてフレーム間における被写体の変化の度合いを判定する被写体変化判定部を更に備え、
   前記フィルタ処理部は、前記被写体変化判定部の判定結果に応じて、前記現画素ブロック及び前記参照画素ブロックのうち、前記現画素ブロックの画素だけを対象としたフィルタ処理、又は前記現画素ブロックと前記参照画素ブロックの両方の画素を対象としたフィルタ処理を行う、
   請求項１から請求項５の何れか一項に記載の画像処理装置。
7. 前記被写体変化判定部は、前記現画素ブロックと前記参照画素ブロックの輝度データの差分値を取得し、取得された差分値に基づいて所定の評価値を取得し、前記評価値に対して所定の閾値判定を行い、
   前記フィルタ処理部は、前記評価値に対する閾値判定の結果に応じて、前記現画素ブロック及び前記参照画素ブロックのうち、前記現画素ブロックの画素だけを対象としたフィルタ処理、又は前記現画素ブロックと前記参照画素ブロックの両方の画素を対象としたフィルタ処理を行う、
   請求項６に記載の画像処理装置。
8. 前記現画素ブロックの輝度データは、前記現画素ブロックの注目画素の輝度値、又は前記現画素ブロック内の画素の平均輝度値、若しくは前記現画素ブロック内の画素の輝度値の中央値であり、
   前記参照画素ブロックの輝度データは、前記参照画素ブロックの注目画素の輝度値、又は前記参照画素ブロック内の画素の平均輝度値、若しくは前記参照画素ブロック内の画素の輝度値の中央値である、
   請求項７に記載の画像処理装置。
9. 前記フィルタ処理部は、前記評価値が第２の閾値以下の場合、前記現画素ブロックと前記参照画素ブロックの両方の画素を対象としたフィルタ処理を行い、前記評価値が前記第２の閾値を超える場合、前記現画素ブロックの画素だけを対象としたフィルタ処理を行う、
   請求項７又は請求項８に記載の画像処理装置。
10. 前記フィルタ処理部によるフィルタ処理は、前記画素値補正部による補正後の画素ブロックの各画素の画素値の中から中央値を決定するメディアンフィルタ処理又はトリム平均処理である、
    請求項１から請求項９の何れか一項に記載の画像処理装置。
11. コンピュータが実行する画像処理方法であって、
    順次取得されるフレーム画像のうち、現フレームの画像内の注目画素と複数の周辺画素を含む現画素ブロックについて、前記注目画素の画素値と前記複数の周辺画素のそれぞれの画素値との差分値を取得するとともに、前記現フレームよりｎ（ｎは自然数）フレーム前の画像内で前記現画素ブロックと同じ位置の画素ブロックであった参照画素ブロックの各画素について、前記現画素ブロックの注目画素との画素値の差分値を取得する差分値取得ステップと、
    取得された差分値に基づき、前記周辺画素及び前記参照画素ブロックの画素値を補正する画素値補正ステップと、
    前記画素値補正ステップによる補正後の現画素ブロック及び参照画素ブロックの各画素の画素値の中から中央値を決定するフィルタ処理ステップと、
    を含む、
    画像処理方法。
12. 請求項１１に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。

Images