JP4407749B2 - 画像処理回路、撮像装置、方法およびプログラム - Google Patents

Description

本発明は、画像に含まれるノイズを除去するのに用いて好適な画像処理回路、撮像装置、方法およびプログラムに関する。

従来、デジタルスチルカメラ（DSC：Digital Still Camera）、カメラ付き携帯電話機、カムコーダ、監視カメラなどのカメラ装置において、低輝度領域を撮像する際に暗いところでも撮像可能となるように自動利得制御（AGC：Automatic Gain Control）などの信号処理を施して信号成分を増幅して撮像することが一般的である。その際に、信号成分だけではなく、ノイズ成分も増幅してしまうので、撮像画像としては、実際の被写体に比べノイズの多い違和感のある画像になってしまう。

上記の問題点に対して、フレームメモリなどを用いて時間軸方向の信号差分を演算することにより、ノイズ成分を除去する方法が提案されている（例えば、特許文献１を参照。）。
特開平０２−１７４４６９号公報

ところで、特許文献１に記載された技術では、ノイズ除去機能のレベルを強くすればするほど、動いている被写体（以下、「動被写体」という。）に対して残像が生じるという問題があった。

また、時間軸方向ではなく、周波数軸方向のノイズ除去に用いられる代表的なフィルタに、ガウシアンフィルタがある。周波数軸方向のノイズ除去の場合、時間軸方向とは違い動被写体に対して残像は生じないが、エッジ成分がぼけてしまい、解像感が落ちてしまうという問題があった。

同様に、周波数軸方向のノイズ除去に用いられるフィルタとしてバイラテラルフィルタがある。バイラテラルフィルタを用いた場合、エッジ成分を検出しながらノイズを除去することができるが、演算に指数関数を用いるので回路規模としては大きくなるという問題があった。

さらに、周波数軸方向のノイズ除去に用いられるフィルタとしては、簡易的にエッジを検出する方向依存型フィルタがある。方向依存型フィルタを用いる方法であれば回路規模は大きくならないが、検出できるエッジが８通りしかなく、複雑な模様(エッジ成分)を持つ被写体について効果的にノイズを除去することができないという問題があった。

本発明は、このような状況に鑑みてなされたものであり、動被写体に残像を生じることなく、解像感を保持しつつ、画像のノイズを除去することができるようにするものである。

本発明の一側面の画像処理回路は、画像を構成するフレームのライン画素を記憶する複数のメモリと、前記複数のメモリから順次読み出される前記画像のフレームの任意のＮ×Ｎ（Ｎは自然数）構成の画素について、中心に位置する注目画素とそれ以外の（Ｎ×Ｎ―１）画素との輝度の差分である輝度差分値を求め、前記注目画素に隣接する複数の画素の中から、前記輝度差分値が最小の第１（１）最小画素を検出するとともに、前記第１（１）最小画素に対して前記注目画素を挟んで反対側にある３画素の中から、前記注目画素との輝度差分値が最小の第１（２）最小画素を検出し、また、前記第１（１）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（１）最小画素を検出するとともに、前記第１（２）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（２）最小画素を検出する特定画素検出部と、前記注目画素にさらに、前記特定画素検出部で検出された前記第１（１）最小画素、前記第１（２）最小画素、前記第２（１）最小画素、および、前記第２（２）最小画素を含む特定画素に対し、所定の重み付けを加えたフィルタ係数を適用するとともに、Ｎ×Ｎ画素における前記特定画素以外の画素に対し、前記輝度差分値と前記注目画素からの距離に応じた重み付けを加えたフィルタ係数を適用し、そして、各画素に各フィルタ係数を適用した結果の総和を求め、当該総和からＮ×Ｎ画素分のフィルタ係数の総和を除算することにより、前記注目画素の補間値を得る画素補間部と、を含むことを特徴とする。

本発明の一側面の撮像装置は、被写体を撮像して画像を生成する撮像部と、前記撮像部で生成された画像を構成するフレームのライン画素を記憶する複数のメモリと、前記複数のメモリから順次読み出される前記画像のフレームの任意のＮ×Ｎ（Ｎは自然数）構成の画素について、中心に位置する注目画素とそれ以外の（Ｎ×Ｎ―１）画素との輝度の差分である輝度差分値を求め、前記注目画素に隣接する複数の画素の中から、前記輝度差分値が最小の第１（１）最小画素を検出するとともに、前記第１（１）最小画素に対して前記注目画素を挟んで反対側にある３画素の中から、前記注目画素との輝度差分値が最小の第１（２）最小画素を検出し、また、前記第１（１）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（１）最小画素を検出するとともに、前記第１（２）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（２）最小画素を検出する特定画素検出部と、前記注目画素にさらに、前記特定画素検出部で検出された前記第１（１）最小画素、前記第１（２）最小画素、前記第２（１）最小画素、および、前記第２（２）最小画素を含む特定画素に対し、所定の重み付けを加えたフィルタ係数を適用するとともに、Ｎ×Ｎ画素における前記特定画素以外の画素に対し、前記輝度差分値と前記注目画素からの距離に応じた重み付けを加えたフィルタ係数を適用し、そして、各画素に各フィルタ係数を適用した結果の総和を求め、当該総和からＮ×Ｎ画素分のフィルタ係数の総和を除算することにより、前記注目画素の補間値を得る画素補間部と、を含むことを特徴とする。

本発明の一側面の画像処理方法およびプログラムは、画像を構成するフレームの任意のＮ×Ｎ（Ｎは自然数）構成の画素について、中心に位置する注目画素とそれ以外の（Ｎ×Ｎ―１）画素との輝度の差分である輝度差分値を求めるステップと、前記注目画素に隣接する複数の画素の中から、前記輝度差分値が最小の第１（１）最小画素を検出するステップと、前記第１（１）最小画素に対して前記注目画素を挟んで反対側にある３画素の中から、前記注目画素との輝度差分値が最小の第１（２）最小画素を検出するステップと、前記第１（１）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（１）最小画素を検出するステップと、前記第１（２）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（２）最小画素を検出するステップと、前記注目画素にさらに、前記第１（１）最小画素、前記第１（２）最小画素、前記第２（１）最小画素、および、前記第２（２）最小画素を含む特定画素に対し、所定の重み付けを加えたフィルタ係数を適用するとともに、Ｎ×Ｎ画素における前記特定画素以外の画素に対し、前記輝度差分値と前記注目画素からの距離に応じた重み付けを加えたフィルタ係数を適用するステップと、各画素に各フィルタ係数を適用した結果の総和を求め、当該総和からＮ×Ｎ画素分のフィルタ係数の総和を除算することにより、前記注目画素の補間値を得るステップと、含むことを特徴とする。

本発明の一側面においては、注目画素を中心に外側に向かって適応的にエッジ成分となる特定画素を検出できる。また、検出された特定画素に応じて適応的にエッジ成分を考慮したフィルタを構成できる。

以上のように、本発明の一側面によれば、動被写体に残像を生じることなく、解像感を保持しつつ、画像のノイズを除去することができる。

以下、本発明の実施の形態の例について、添付図面を参照しながら説明する。

以下に述べる実施の形態は、本発明を実施するための好適な形態の具体例であるから、技術的に好ましい種々の限定が付されている。ただし、本発明は、以下の実施の形態の説明において特に本発明を限定する旨の記載がない限り、これらの実施の形態に限られるものではない。したがって、例えば、以下の説明で挙げる使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、説明に用いた各図における寸法、形状および配置関係等も一例を示す概略的なものである。

図１は、本発明が適用されるシステムの一実施の形態を示すブロック図である。
本実施の形態のシステムとしてデジタルスチルカメラを想定して説明するが、これに限られるものではなく、カメラ付き携帯電話機、カムコーダ、監視カメラなどのカメラ装置に適用できる。

デジタルスチルカメラ１０は、レンズ１等の光学系、固体撮像素子２、ＡＦＥ（Analog Front End）３、および、画像処理部４を含むように構成される。

レンズ１等の光学系および固体撮像素子２は、図示しないアイリスやシャッタ等とともに、カメラモジュールを構成する。図１の例では、このカメラモジュールは、デジタルスチルカメラ１０と一体に構成されているが、着脱自在に構成してもよい。なお、特許請求の範囲に記載された撮像部は、少なくとも撮像手段を含むものとする。

固体撮像素子２は、撮像手段（イメージセンサ）の一例であり、これに限らずＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を利用してもよい。

デジタルスチルカメラ１０において、レンズ１等の光学系を通過した被写体１１からの入射光は、まず、固体撮像素子２の撮像面上の各受光素子に到達し、受光素子による光電変換により電気信号に変換される。固体撮像素子２ から出力された電気信号は、ＡＦＥ（Analog Front End）３に入力される。

ＡＦＥ３は、アナログ／デジタル変換を行うアナログ処理回路であり、入力されたアナログの電気信号は、ここでデジタルの電気信号（画像データ）に変換される。アナログ／デジタル変換によってデジタル化された後、画像データとしてＡＦＥ３から画像処理部４へと出力される。または、画像データが図示しない画像メモリに一時的に格納された後、画像処理部４へと出力されるようにしてもよい。

なお、ＡＦＥ３のアナログ／デジタル変換機能は、入力される電気信号を、通常のデジタルスチルカメラの階調数（例えば、１０乃至１２ビット程度のデータにより表現できる階調数）、あるいはそれよりも多い階調数（例えば、１４乃至１６ビット程度のデータにより表現できる階調数）の画像データに変換するものとする。また、ＡＦＥ３が、図示しない相関２重サンプリング回路を備え、対象信号の相関をとる所定のサンプリング処理が行われるようにしてもよい。

画像処理部４は、自動利得制御を行うＡＧＣ５と、ノイズ除去回路（以下、「ＮＲ」という。）６を含むように構成され、ＡＦＥ３から入力された画像データの信号レベルをＡＧＣ５で最適なレベルに制御し、さらに、ＮＲ６でノイズ除去を施すことにより、画像データ１３が生成される。ＡＧＣ５の処理結果は、必要に応じてＡＦＥ３に送られる。

例えば、デジタルスチルカメラ１０により低照度領域を持つ被写体を撮像した場合、ＡＧＣ５などの処理により信号成分だけでなくノイズ成分についても信号レベルが持ち上がり、撮像シーンにノイズが生じた画像データ１２が生成される。

本明細書において提案するＮＲ６のノイズ除去処理機能を画像処理部４内のＮＲブロックに搭載することにより、動被写体に残像を生じることなく、解像感を保持しつつ、このようなノイズを除去することができる。

なお、画像処理部４は、例えば信号処理用のプロセッサ（例えば、DSP： Digital Signal Processor）と画像データを保持する図示しないＲＡＭ（Random Access Memory）などのメモリなどにより構成されるブロックであり、プロセッサが所定のプログラムを実行することにより、後述する画像処理を行うようにしてもよい。

また、デジタルスチルカメラ１０は、プロセッサおよびメモリより構成される図示しない制御部を備えており、各ブロックの動作は制御部からの指令に基づいて制御される。

図２は、ＮＲブロックの内部構成の例を示すブロック図である。

画像処理部４内のＮＲ６は、４個のメモリ２１〜２４と、特定画素検出部２６および画素補間部２７を含む演算ブロック２５と、を備えて構成される。

ＮＲ６において、図２に示すようなラインメモリとしての機能を持つメモリ２１〜２４（本例では４本だが、それ以上でもそれ以下でもよい)を備え、撮像したシーンの画像データをフレームを構成する各ラインごとにメモリ２１〜２４に適宜蓄える。

演算ブロック２５内の特定画素検出部２６は、ＡＦＥ３から入力される本線の画像信号とメモリ２１〜２４に蓄えられた各画像信号(４本)を用いて、後述する中心画素との輝度の差分から注目画素(中心画素)を通るエッジ成分を検出する。検出したエッジ成分を含む情報を、画素補間部２７に送る。

画素補間部２７は、特定画素検出部２６で検出されたエッジ成分に特定のフィルタ係数（重み付け係数）を加えるとともに、エッジ成分として検出されていないそれ以外の画素に対して中心画素との輝度差と距離に応じたフィルタ係数（重み付け係数）を加え、演算することにより注目画素(中心画素)の画素補間値を求める。

＜特定画素検出方法＞
次に、図３〜図９を参照して、特定画素検出部２６による特定画素検出方法について説明する。

以下の例では、画像（フレーム）内のある領域の５×５の画素配列を用いてエッジ成分画素を検出する場合について説明する。なお、この例では５×５画素配列で説明するが、メモリの個数を変え、Ｎ×Ｎ（Ｎは自然数）の画素配列でも同様の処理を行うことができる。

図３は、５×５の画素配列の例を示す図である。
以下の実施の形態において、特に断りがない場合、画素３１は画素配列の中心画素であり、注目画素である。

図４は、特定画素検出処理の説明に使用する凡例を示す図である。

・格子模様の画素３１は、中心画素（注目画素）を示す。以下、「中心画素（もしくは注目画素）３１」とも称す。
・横線模様の画素３２は、画素３１を中心画素とする３×３画素内において中心の画素３１との輝度差が最小の画素（輝度差最小画素）を示し、以下では「画素min1_3x3」とも称す。
・縦線模様の画素３３は、中心の画素３１を挟んで画素min1_3x3と反対側３画素の中で輝度値が最小の画素を示し、以下では「画素min2_3x3」とも称す。
・右肩上がりの斜線模様の画素３４は、中心の画素３１から見て画素min1_3x3の１画素分外側に隣接する画素の中で、輝度値が最小の画素（隣接最小画素）を示し、以下では「画素min1_5x5」とも称す。
・右肩下がりの斜線模様の画素３５は、中心の画素３１から見て画素min2_3x3の１画素分外側に隣接する画素の中で、輝度値が最小の画素（隣接最小画素）を示し、以下では「画素min2_5x5」とも称す。

特定画素検出処理の第１の工程は、まず図３の５×５画素配列において、中心画素３１とその中心画素３１以外の２４画素分の輝度の差分値（以下、「輝度差分値」という）を求める（図３参照）。

第２の工程において、中心画素３１周辺の８画素(太枠で示した３×３画素内)から最も輝度差分値が小さい画素min1_3x3を検出する。図５（ａ）〜図５（ｈ）に示すように、画素３２−１〜画素３２−８の８通りの候補が考えられる。

第３の工程において、上記第２の工程で検出した画素min1_3x3と中心画素３１を挟んで反対側にある（対向する）３画素の中で、輝度差分値が小さい画素min2_3x3を検出する。図５（ａ）〜図５（ｈ）の画素min1_3x3の候補に対する画素min2_3x3は、図６（ａ）〜図６（ｈ）に示すように、大きく分けると、画素３３−１−１〜画素３３−１−３、画素３３−２−１〜画素３３−２−３、画素３３−３−１〜画素３３−３−３、画素３３−４−１〜画素３３−４−３、画素３３−５−１〜画素３３−５−３、画素３３−６−１〜画素３３−６−３、画素３３−７−１〜画素３３−７−３、画素３３−８−１〜画素３３−８−３の８通りの候補が考えられる。

本例の場合、例えば中心画素３１の左上に位置する画素３２−１（図６（ａ）参照）に対する画素配置に注目する。この画素配置から検出される画素min2_3x3は、図７（ａ）〜図７（ｃ）に示すように、画素３３−１−１〜画素３３−１−３の３通りが考えられる。

第４の工程において、上記第２，第３の工程で検出した画素min1_3x3（画素３２−１）、画素min2_3x3（画素３３−１−１〜画素３３−１−３）からそれぞれ１画素分外側にあって、隣接する画素の中で第１工程で求めた輝度差分値が最小となる画素min1_5x5、画素min2_5x5をそれぞれ検出する。なお、本明細書において隣接とは、画素を構成する辺だけでなく頂点同士が隣り合う状態も隣接しているという。

図８（ａ）〜（ｃ）は、画素min1_3x3（画素３２−１）、画素min2_3x3（画素３３−１−１〜画素３３−１−３）に対する画素min1_5x5、画素min2_5x5の例を示したものである。この例では、画素min1_3x3（画素３２−１）に対する画素min1_5x5として、画素３４−１−１〜画素３４−１−５が候補に挙げられる。また、画素min2_3x3の候補である画素３３−１−１〜画素３３−１−３の各々に対する画素min2_5x5として、それぞれ画素３５−１−１〜画素３５−１−３（図８（ａ））、画素３５−２−１〜画素３５−２−５（図８（ｂ））、画素３５−３−１〜画素３５−３−３が候補に挙げられる（図８（ｃ））。

このような中心画素（注目画素）３１から離れていくようにして特定の画素を選定する一連の処理を継続していくと、５×５画素内で中心を通るエッジ画素を検出することができる。

図９は、上述した特定画素検出処理により検出されたエッジ画素の例を示す図である。この例では、エッジ画素として、中心画素３１に加え、画素３２−１、画素３３−１、画素３４−１−４、および、画素３５−１−３が検出される。

なお、上述例においては５×５の画素について特定画素を検出するようにしたが、Ｎ×Ｎの画素についても同様に中心の注目画素から離れるようにして特定画素を検出する。例えば、Ｎ（自然数）を２で除した商をＭ（自然数）とするとき、特定画素検出部２６は、Ｎ×Ｎ構成の画素の場合に画素min1_3x3（第１（１）最小画素）および画素min2_3x3（第１（２）最小画素）からそれぞれ、画素min1_NxN（第Ｍ（１）最小画素）および画素min2_NxN（第Ｍ（２）最小画素）までを検出する。

＜画素補間方法＞
次に、画素補間部２７によるエッジ画素の画素補間方法について説明する。

この画素補間処理を実施することにより、検出されたエッジ画素（エッジ成分）を他の画素と比較してより強調することができる。以下、５×５の画素を用いて中心画素を補間する方法について述べる。なお、ここでは５×５の画素の場合について説明するが、Ｎ×Ｎの画素（Ｎは自然数）についても同様に適用できる。

まず、上記特定画素検出方法により検出した特定画素成分５画素（図９参照）については、注目画素(中心画素)３１と同じフィルタ係数を使用するなどして一様に重みをつける。

一方、特定画素成分以外の２０画素については、特定画素を検出する際に求めた注目画素３１と各画素との輝度差分値を用いて、その値に応じてフィルタ係数を変化させるようにする(差分が小さい場合はフィルタ係数を高めに、差分が大きい場合はフィルタ係数を低めに設定する)。

さらに、注目画素（中心画素）３１からの距離に応じてもフィルタ係数を変化させるようにする(注目画素から距離があればあるほどフィルタ係数を低くする)。

各画素にある画素データと上記より求められるフィルタ係数を用いて、注目画素３１の補間値を求める。

＜対象画素と注目画素との輝度の差分値と重み付けの式の例＞
次に、画素補間部２７による、注目画素と他の画素との輝度差分値と重み付けの関係について説明する。

上述した特定画素以外の２０画素のフィルタ係数の決め方の例を、図１０（ａ），（ｂ）を用いて説明する。画素補間部２７に入力される本線の信号レベルを８ビット(０〜２５５)とする。図１０（ａ），（ｂ）において注目画素と他の画素との輝度差分値を横軸に、重み付け係数(フィルタのフィルタ係数を変化させる値)を縦軸に置く。

図１０（ａ）に示されるビットシフト法においては、注目画素との輝度の差分が小さい領域（例えば輝度差分値０〜１０）は重み付け係数１をかけるので、フィルタ係数をそのまま使用する。輝度の差分が大きくなるにつれ、重み付け係数に対するビットシフトを１→２→３→４と大きくしていき、フィルタ係数が１／２→１／４→１／８→１／１６と小さくなるようにする。中心画素との輝度差分値に応じて、ビットシフトする領域を変化させることにより、フィルタの各フィルタ係数に対しシーンに応じた重み付け係数を与えることができる。

図１０（ｂ）に示される関数法は、ビットシフト法と同様に、注目画素との輝度の差分が小さいＡ領域(例えば輝度差分値０〜１０)では、重み付け係数１をかけ、フィルタ係数をそのまま使用する。注目画素との輝度の差分が中間のＢ領域(例えば輝度差分値１０〜５０)では、輝度のレベルに応じて重み付け係数を変動させる(１〜０)。さらに、注目画素との輝度の差分が大きいＣ領域(例えば輝度差分値５０〜２５５)に関しては、重み付け係数０をかけ、フィルタ係数を０にする。なお、輝度の差分の階調値が中間の値であるＢ領域に関しては、直線４１で表される式や指数関数で表される曲線４１，４２などを適宜用いることにより、そのシーンに適した重み付け係数を与えることができる。

＜中心画素から対象画素までの距離と重み付けフィルタの例＞
図１１（ａ），（ｂ）は、上述の注目画素（中心画素）と当該画素との輝度差分値を適用して変化させる前のフィルタ係数を示す図である。これは一例であるが、中心画素との距離に応じた重み付けにより係数を変化させた重み付けフィルタ（１）（ａ）や、ガウシアンフィルタ（ｂ）を使用するなどの手段が挙げられる。

＜孤立点検出除去方法＞
次に、図１２を参照して、孤立点検出除去処理について説明する。
図１２において、（ａ）は孤立点を含む画素配列の例、（ｂ）は（ａ）の孤立点に対し孤立点検出除去処理を適用しなかった場合の画素配列の例である。なお、孤立点とは、隣接する画素との関係性の小さいノイズ成分を指す。

図１２（ａ）に示すように、孤立点が注目画素（中心画素）にある場合、孤立点検出除去処理を考慮に入れないと、図１２（ｂ）のように検出された意図しないエッジ成分に対応する部分のみにフィルタ係数の値が設定され、それ以外の部分は注目画素との輝度の差分が大きいのでフィルタ係数が０になってしまう。そうなると、結果として孤立点を抑えることができない。

そこで、エッジ成分を検出する際に使用した注目画素と各画素との輝度の差分によって得たデータを活用して、各画素が孤立点かどうかを判定するようにする。

例えば５×５の画素配列において、３×３画素内でエッジ成分として検出した輝度が最小の画素min1_3x3が、予め決めていた孤立点検出除去閾値（例えば１００など）以上である場合、その画素は孤立点であると判定する。そして、２５画素分の輝度の全平均をとった値を孤立点（注目画素）に与え孤立点を除去する。これにより効果的に孤立点を除去、または孤立点の誤検出を抑えることができる。

＜境界上誤補間除去方法＞
次に、図１３および図１４を参照して、境界線の検出、並びに、境界上誤補間除去処理を説明する。

図１３は、境界上誤補間除去処理の説明に供する画素の例であり、（ａ）は境界の一例、（ｂ）は境界上誤補間除去処理を適用しなかった場合の例である。図１４は、境界上誤補間除去処理の説明に供する画像の例であり、（ａ）は境界上誤補間除去処理をしなかった場合の例、（ｂ）は境界上誤補間除去処理をした場合の例である。

図１３（ａ）に示すような境界上（白地の画素と斜線のある画素の間に境界が存在する）の画素で画像データを補間する場合、境界上誤補間除去処理を考慮に入れないと、図１３（ｂ）のように信号レベルが異なる（例えば、１２８と１６，６４）のにもかかわらずエッジ成分として検出してしまう。そうすると、本来使用したくないデータを用いて画素保管（メモリに記録）をしてしまい、結果として最終的な画が、図１４（ａ）に示すように境界が凸凹して違和感のある画になってしまう。

例えば、図１４（ａ）に示す画像においては、画像中の画５０Ａと他の部分との境界である左辺部５１ａおよび下辺部５２ａに孤立点が検出された状態となっている。この孤立点によって、画５０Ａの境界である左辺部５１ａおよび下辺部５２ａの直線がきれいに表示されていない。

そこで、エッジ成分を検出する際に使用した注目画素と各画素との輝度の差分によって得たデータを活用して、対象画素が境界上にあるかどうかを判定するようにする。

例えば５×５の画像配列において、３×３画素内でエッジ成分として検出した輝度が最小の画素min1_3x3と、その画素min1_3x3に対応して検出された画素min2_3x3との輝度の差分が予め決めていた境界上誤補間除去閾値以上であれば、境界上と判定する。そして、画素min2_3x3と画素min2_5x5のフィルタ係数を０にして、画素補間することによって境界上の誤補間を除去する。これにより効果的に境界上誤補間を除去することができる。

図１４（ｂ）の画５０Ｂを含む画像は、図１４（ａ）の画５０Ａを含む画像と同じ被写体を撮影した画像である。画像中の画５０Ｂと他の部分との境界である左辺部５１ｂおよび下辺部５２ｂに孤立点は検出されていない。このように、境界上誤補間除去処理を実施することにより、誤検出された孤立点によって画像の境界が誤補間されることがなく、画像中の境界が違和感なくきれいに表示される。

＜ノイズ除去回路（ＮＲ）の動作＞
次に、図１５および図１６を参照して、ノイズ除去回路（ＮＲ）の処理を具体的な値を用いて説明する。

図１５に示す画素配列６１は、５×５の任意の画素情報である。図１６は、図１５に記載された画素配列内の画素ごとの意味合いをテーブルにまとめたものである。このテーブルには、対象画素７１〜７６と注目画素との輝度の差分値に応じて、異なる重み付け係数が設定されている。

まず、第１の段階で、図１５に示す画素配列６１に対して、中心画素（注目画素）６１ａとその周囲の各画素との輝度の差分値を計算し、その差分値に基づいて検出された特定画素６２ａ〜６２ｅを含む画素配列６２を得る。なお、特定画素の検出方法は、図３〜図９を参照して説明したとおりである。

第２の段階において、上記第１の段階で求めた中心画素６１ａとその周囲の各画素との輝度の差分値から、図１６に示したテーブルを用いて、第１の重み付けフィルタ６３のフィルタ係数に重み付けを加える。それにより、画素配列６２の特定画素成分(エッジ成分)と、中心画素６１ａとの輝度の差分値と、中心画素６１ａからの距離の成分を考慮した第２の重み付けフィルタ６４が生成される。

重み付けフィルタの一例である第２の重み付けフィルタ６４は、特定画素成分６４ａ〜６４ｅのフィルタ係数が中心画素と同じフィルタ係数（階調値１２８）であり、その他のフィルタ係数は、中心画素６１ａとの輝度の差分値、並びに、中心画素６１ａからの距離の成分に基づいて、適切な値が設定されている。

そして、第３段階において、画素配列６１の各画素に対し第２の重み付けフィルタ６４の各フィルタ係数を適用して乗算し、その総和をフィルタ係数の総和で除算することにより、注目画素（中心画素）６１ａの補間値３７が得られる。

次に、図１７〜図１９のフローチャートを参照して、ノイズ除去回路（ＮＲ）の全体処理を説明する。

このフローチャートは、上述した「特定画素検出方法」、「画素補間方法」、「注目画素と対象画素との輝度の差分値による重み付け」、「中心画素から対象画素までの距離による重み付け」、「孤立点検出除去方法」、「境界上誤補間除去方法」における各処理を、一連の処理として記載したものである。なお、以下の例では、５×５の画素配列に適用した場合について説明するが、この画素配列の構成に限られるものではない。

図１７に示すステップＳ１において、デジタルスチルカメラ１０（図１参照）の図示しない制御部が、当該デジタルスチルカメラ１０のＮＲモードがオンになっているかどうかを判定する。ＮＲモードがオンになっていない場合は、演算ブロック２５は、ＡＧＣ５から供給された画像信号を処理せずそのまま出力し、一連の処理を終了する。

ＮＲモードがオンの場合、ステップＳ２において、演算ブロック２５のＮＲ６は、５×５画素について注目画素(中心画素)とそれ以外の２４画素との輝度の差分値を求める。

ステップＳ３において、注目画素と隣接する８画素からなる３×３画素について、ステップＳ２の処理で求めた輝度の差分値が最小となる画素min1_3x3を検出する。

ステップＳ４において、ステップＳ３の処理で検出した画素min1_3x3と中心画素に対して反対側にある３画素の中から、注目画素との輝度の差分値が最小の画素min2_3x3を検出する。

ステップＳ５において、ステップＳ３の処理で検出した画素min1_3x3に対して１画素外側にある隣接画素の中から、注目画素との輝度の差分値が最小の画素min1_5x5を検出する。同様にして、ステップＳ４の処理で検出した画素min2_3x3に対しても１画素外側にある隣接画素の中から、注目画素との輝度の差分値が最小の画素min2_5x5を検出する。注目画素と各処理ステップで検出した画素min1_3x3、min2_3x3、min1_5x5、min2_5x5の５画素が特定検出画素(エッジ成分)になる。このようにステップＳ２〜ステップＳ５の処理により、特定画素検出処理が行われる。

次に、図１８に示すステップＳ６において、注目画素が孤立点かどうかの判定を行う。
注目画素と上記検出した画素min1_3x3との輝度の差分値が、孤立点除去閾値以上かどうかを判定する。真なら孤立点と判定してステップＳ７へ、偽なら孤立点ではないと判定してステップＳ８へ進む。

ステップＳ７において、注目画素が孤立点の場合は、全２５画素分の輝度値の全平均を計算して注目画素を補間する。この画素補間が終了後、一連の処理を一旦終了し、他の画素を注目画素として再びステップＳ１から実行する。ステップＳ６およびステップＳ７の処理により、孤立点検出除去処理が行われる。

一方、ステップＳ８において、５×５画素の各画素に対するフィルタのフィルタ係数を決定する。
まず、対象となる画素が注目画素もしくは特定検出画素(min1_3x3, min2_3x3, min1_5x5, min2_5x5)（エッジ成分）であるかどうかを判定する。真ならエッジ成分としてステップＳ９へ、偽ならエッジ成分ではないとしてステップＳ１０へ進む。

ステップＳ９において、上記ステップＳ８の判定処理でエッジ成分と判定された場合、注目画素と同値のフィルタ係数を、エッジ検出した４画素に対して適用する。その後、ステップＳ１９へ進む。ステップＳ８およびステップＳ９の処理により、画素補間処理が行われる。

一方、ステップＳ１０において、上記ステップＳ８の判定処理でエッジ成分でないと判定された場合、上記ステップＳ２の処理で求めた注目画素と対象画素との輝度の差分値が予め設定された閾値Ａ未満であるかどうかを判定する。

ステップＳ１１において、上記ステップＳ１０の判定結果が真の場合、最初にフィルタ係数として保持していた値をそのまま使用する。その後、ステップＳ２１へ進む。

ステップＳ１２において、上記ステップＳ１０の判定結果が偽の場合、上記ステップＳ２の処理で求めた注目画素と対象画素との輝度の差分値が予め設定された閾値Ａ〜閾値Ｂの間かどうかを判定する。

ステップＳ１３において、上記ステップＳ１２の判定結果が真の場合、最初にフィルタ係数として保持していた値の１／２をフィルタ係数として使用する。その後、ステップＳ２１へ進む。

次に、図１９に示すステップＳ１４において、上記ステップＳ１２の判定結果が偽の場合、上記ステップＳ２の処理で求めた注目画素と対象画素との輝度の差分値が予め設定された閾値Ｂ〜閾値Ｃの間かどうかを判定する。

ステップＳ１５において、上記ステップＳ１４の判定結果が真の場合、最初にフィルタ係数として保持していた値の１／４をフィルタ係数として使用する。その後、ステップＳ２１へ進む。

ステップＳ１６において、上記ステップＳ１５の判定結果が偽の場合、上記ステップＳ２の処理で求めた注目画素と対象画素との輝度の差分値が予め設定された閾値Ｃ〜閾値Ｄの間かどうかを判定する。

ステップＳ１７において、上記ステップＳ１６の判定結果が真の場合、最初にフィルタ係数として保持していた値の１／８をフィルタ係数として使用する。その後、ステップＳ２１へ進む。

ステップＳ１８において、上記ステップＳ１６の判定結果が偽の場合、上記ステップＳ２の処理で求めた注目画素と対象画素との輝度の差分値が予め設定された閾値Ｄ以上であるので、最初にフィルタ係数として保持していた値の１／１６をフィルタ係数として使用する。

ステップＳ１０〜ステップＳ１８の処理により、特定画素以外の画素に対するフィルタ係数の重み付け処理が行われる。なお、この例では、ビットシフト法を利用してフィルタ係数に重み付けをしたが、重み付けの手段はこの例に限られるものではない。

次に、ステップＳ１９において、上記ステップＳ９の処理が終了後、補間対象である画素の場所が境界線上かどうかを判定する。
具体的には、上記ステップＳ３，Ｓ４の処理で求めた画素min1_3x3と画素min2_3x3の輝度の差分値が予め設定された境界上誤補間除去閾値以上かどうかを判定する。偽の場合は境界上ではないと見なし、フィルタ係数は上記ステップＳ９で決めたものをそのまま使用する。その後、ステップＳ２１へ進む。

ステップＳ２０において、上記ステップＳ１９の判定結果が真の場合、補間対象の画素が境界上に位置すると判断し、誤補間しないよう画素min2_3x3と画素min2_5x5のフィルタ係数を０にする。ステップＳ１９およびステップＳ２０の処理により、境界上誤補間除去処理が行われる。

最後に、ステップＳ２１において、一連の処理で求めた２５（５×５）画素分のフィルタ係数を、５×５画素の対応する画素の画素値と乗算し、それらの総和を求め、その総和からフィルタ係数の総和を除算することにより、一つの注目画素の補間値が求まる。

ステップＳ２１の処理が終了した後、一連の処理を一旦終了し、他の画素を注目画素として再びステップＳ１から実行する。演算ブロック２５は、フレームを構成する前記画素についてこの一連の処理を実行する。

以上のように、低照度などのシーンでＡＧＣによる利得制御などの処理により、信号成分と一緒にノイズ成分のレベルが持ち上がった違和感のある画像シーンにおいて、ノイズ成分を除去することができる。これにより、画像上の低輝度領域の被写体を判定することができる。

また、時間軸方向の演算を行わないので、動被写体に対して、残像感を生じることなくノイズを除去することができる。これにより動被写体について残像感を排除し、はっきりと判定することができる。

また、所定の画素配列内のエッジ成分を自動的に検出するので、ガウシアンフィルタのように解像感を損なうことなくノイズを除去することができる。

また、上述したノイズ除去方法は、バイラテラルフィルタのようなエクスポネンシャル(指数関数)などの複雑な演算を用いず、注目画素との輝度の差分値を見るなどの簡易的な演算で済み、回路規模を小さくすることができる。

検出するエッジ成分は注目画素との輝度の差分により適応的に検出されるので、従来の方向依存型フィルタ(５×５)の８通りと比べ、同じ５×５では１８８通りのエッジ成分を検出することができる。

また、検出するエッジの形または方向は縦横斜めだけではなく、Ｎ×Ｎの画素内でありとあらゆる形をとるので、複雑なエッジ(例えば、メロンの皮の模様のように様々な方向にエッジを持つ被写体など)を含むシーンにも効果的に適用することができる。

また、エッジを検出できることからノイズ除去だけではなく、エッジ強調処理として適用することができる。

また、予め、注目画素と対象画素との輝度の差分値を計算しているので、孤立点が存在する場合や補間対象画素が境界上にあるなどの通常のシーンと異なる場面などの誤検出しやすいシーンでも、容易にエッジ成分を検出し、適切に処理することができる。

また、注目画素と隣接画素との輝度差分値、さらに注目画素の隣接画素に隣接する画素との輝度差分値を算出する処理を繰り返し、エッジの連結性を活かすようにしたことにより、ノイズ成分などをエッジと誤検出して補間する恐れがない。

なお、以上にフローチャートを参照して説明した処理の順番は、一例であり、本発明の本質に関わらない範囲で、処理の順序を入れ替えたり、複数の処理を同時に並列して行うようにしたりしてもよい。

なお、本発明は、上述したデジタルスチルカメラ以外に、画像の輝度または色値（画素値）の階調に基づいて、Ｎ×Ｎ画素の範囲内で注目画素（中心画素）との信号レベルの差分を計算することにより、適応的にエッジ成分を自動検出し、検出したエッジ成分の画素および他の画素に対して適応的にフィルタのフィルタ係数を選択し、注目画素を補間する装置（例えば、画像生成装置、画像記録装置、画像表示装置など）に適用することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。また、これらの処理を実行する機能はハードウェアとソフトウェアの組み合わせによっても実現できることは言うまでもない。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。

図２０は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。このコンピュータ１０１は、例えば一連の処理を実行するために高性能化した専用コンピュータの他、一定の性能を備えるパーソナルコンピュータなど汎用のコンピュータでもよい。

コンピュータ１０１のＣＰＵ（Central Processing Unit）１１１は、ＲＯＭ（Read Only Memory）１１２、または記録部１１８に記録されているプログラムに従って、上記一連の処理の他、各種の処理を実行する。ＲＡＭ（Random Access Memory）１１３には、ＣＰＵ１１１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ１１１、ＲＯＭ１１２、およびＲＡＭ１１３は、バス１１４により相互に接続されている。

ＣＰＵ１１１にはまた、バス１１４を介して入出力インタフェース１１５が接続されている。入出力インタフェース１１５には、キーボード、マウス、マイクロホンなどよりなる入力部１１６、ディスプレイ、スピーカなどよりなる出力部１１７が接続されている。ＣＰＵ１１１は、入力部１１６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ１１１は、処理の結果を出力部１１７に出力する。

入出力インタフェース１１５に接続されている記録部１１８は、例えばハードディスクからなり、ＣＰＵ１１１が実行するプログラムや各種のデータを記録する。

通信部１１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また通信部１１９を介してプログラムを取得し、記録部１１８に記録してもよい。

入出力インタフェース１１５に接続されているドライブ１２０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア１３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部１１８に転送され、記録される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２０に示すように、リムーバブルメディア１３１によりパッケージメディアとして提供される。リムーバブルメディア１３１としては、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory），ＤＶＤ（Digital Versatile Disc），光磁気ディスクを含む）、もしくは半導体メモリなどを適用することができる。あるいは、プログラム記録媒体は、プログラムが一時的もしくは永続的に格納（記録）されるＲＯＭ１１２や、記録部１１８を構成するハードディスクなどにより構成される。

このプログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１１９を介して、ローカルエリアネットワーク(LAN：Local Area Network)、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

また、プログラムは、一つのコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明の一実施の形態に係るデジタルカメラシステムの構成の例を示すブロック図である。 図１のＮＲブロックの内部構成の例を示すブロック図である。 ５ｘ５の画素配列の例を示す図である。 特定画素検出処理の説明に使用される凡例の説明図である。 （ａ）〜（ｈ）は画素min1_3X3の例を示す図である。 （ａ）〜（ｈ）は画素min2_3X3の例を示す図である。 （ａ）〜（ｃ）はそれぞれ画素３２−１に対する画素min2_3X3の候補の例を示す図である。 （ａ）〜（ｃ）はそれぞれ画素min1_5X5および画素min2_5X5の例を示す図である。 特定画素検出処理により検出されたエッジ画素の例である。 中心画素との輝度差分値と重み付け係数の関係を示すグラフであり、（ａ）はビットシフト法、（ｂ）は関数法に関するものである。 中心画素からの距離と重み付けのフィルタの例（変化前）を示す図であり、（ａ）は重み付けフィルタ（１）、（ｂ）はガウシアンフィルタである。 孤立点検出除去処理の説明に供する画素の例を示す図であり、（ａ）は孤立点を含む画像の例であり、（ｂ）は孤立点検出除去を適用しなかった場合のエッジ画素の例である。 境界上誤補間除去処理の説明に供する画素の例を示す図であり、（ａ）は境界の例であり、（ｂ）は境界上誤補間除去処理を適用しなかった場合の例である。 境界上誤補間除去処理の説明に供する画像の例を示す図であり、（ａ）は境界上誤補間除去処理をしなかった場合の例であり、（ｂ）は境界上誤補間除去処理をした場合の例である。 中心画素０からの各配列の画素の割合を示す図である。 図１５において使用される画素の凡例を説明する図である。 ノイズ除去回路（ＮＲ）の処理例を示すフローチャート（１）である。 ノイズ除去回路（ＮＲ）の処理例を示すフローチャート（２）である。 ノイズ除去回路（ＮＲ）の処理例を示すフローチャート（３）である。 汎用パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１…レンズ、２…固体撮像素子、３…ＡＦＥ、４…ＤＳＰ、５…ＡＧＣ、６…ＮＲ、１０…デジタルカメラシステム、２１〜２４…メモリ、２５…演算ブロック、２６…特定画素検出部、２７…画素補間部、３１…注目画素（中心画素）、３２…画素（min1_3x3）、３３…画素（min2_3x3）、３４…画素（min1_5x5）、３５…画素（min2_5x5）、６１，６２…画素配列、６３…第１の重み付けフィルタ、６４…第２の重み付けフィルタ

Claims (7)

1. 画像を構成するフレームのライン画素を記憶する複数のメモリと、
   前記複数のメモリから順次読み出される前記画像のフレームの任意のＮ×Ｎ（Ｎは自然数）構成の画素について、中心に位置する注目画素とそれ以外の（Ｎ×Ｎ―１）画素との輝度の差分である輝度差分値を求め、前記注目画素に隣接する複数の画素の中から、前記輝度差分値が最小の第１（１）最小画素を検出するとともに、前記第１（１）最小画素に対して前記注目画素を挟んで反対側にある３画素の中から、前記注目画素との輝度差分値が最小の第１（２）最小画素を検出し、また、前記第１（１）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（１）最小画素を検出するとともに、前記第１（２）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（２）最小画素を検出する特定画素検出部と、
   前記注目画素にさらに、前記特定画素検出部で検出された前記第１（１）最小画素、前記第１（２）最小画素、前記第２（１）最小画素、および、前記第２（２）最小画素を含む特定画素に対し、所定の重み付けを加えたフィルタ係数を適用するとともに、Ｎ×Ｎ画素における前記特定画素以外の画素に対し、前記輝度差分値と前記注目画素からの距離に応じた重み付けを加えたフィルタ係数を適用し、そして、各画素に各フィルタ係数を適用した結果の総和を求め、当該総和からＮ×Ｎ画素分のフィルタ係数の総和を除算することにより、前記注目画素の補間値を得る画素補間部と、
   を含むことを特徴とする画像処理回路。
2. 前記特定画素検出部は、前記Ｎを２で除した商をＭ（自然数）とするとき、前記Ｎ×Ｎ構成の画素の場合、前記第１（１）最小画素および前記第１（２）最小画素から、第Ｍ（１）最小画素および第Ｍ（２）最小画素までをそれぞれ検出する
   ことを特徴とする請求項１に記載の画像処理回路。
3. 前記特定画素検出部は、前記注目画素と前記第１（１）最小画素との輝度差分値が所定の孤立点除去閾値以上であるか否かを判定し、前記孤立点除去閾値以上であると判定された場合、前記Ｎ×Ｎ画素の全画素の輝度値の平均値を算出して前記注目画素を補間する
   ことを特徴とする請求項２に記載の画像処理回路。
4. 前記画素補間部は、前記第１（１）最小画素と前記第１（２）最小画素との輝度差分値が所定の境界上誤補間除去閾値以上であるか否かを判定し、前記境界上誤補間除去閾値以上であると判定された場合、前記第１（２）最小画素と前記第２（２）最小画素に対するフィルタ係数をゼロに設定する
   ことを特徴とする請求項３に記載の画像処理回路。
5. 被写体を撮像して画像を生成する撮像部と、
   前記撮像部で生成された画像を構成するフレームのライン画素を記憶する複数のメモリと、
   前記複数のメモリから順次読み出される前記画像のフレームの任意のＮ×Ｎ（Ｎは自然数）構成の画素について、中心に位置する注目画素とそれ以外の（Ｎ×Ｎ―１）画素との輝度の差分である輝度差分値を求め、前記注目画素に隣接する複数の画素の中から、前記輝度差分値が最小の第１（１）最小画素を検出するとともに、前記第１（１）最小画素に対して前記注目画素を挟んで反対側にある３画素の中から、前記注目画素との輝度差分値が最小の第１（２）最小画素を検出し、また、前記第１（１）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（１）最小画素を検出するとともに、前記第１（２）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（２）最小画素を検出する特定画素検出部と、
   前記注目画素にさらに、前記特定画素検出部で検出された前記第１（１）最小画素、前記第１（２）最小画素、前記第２（１）最小画素、および、前記第２（２）最小画素を含む特定画素に対し、所定の重み付けを加えたフィルタ係数を適用するとともに、Ｎ×Ｎ画素における前記特定画素以外の画素に対し、前記輝度差分値と前記注目画素からの距離に応じた重み付けを加えたフィルタ係数を適用し、そして、各画素に各フィルタ係数を適用した結果の総和を求め、当該総和からＮ×Ｎ画素分のフィルタ係数の総和を除算することにより、前記注目画素の補間値を得る画素補間部と、
   を含むことを特徴とする撮像装置。
6. 画像を構成するフレームの任意のＮ×Ｎ（Ｎは自然数）構成の画素について、中心に位置する注目画素とそれ以外の（Ｎ×Ｎ―１）画素との輝度の差分である輝度差分値を求めるステップと、
   前記注目画素に隣接する複数の画素の中から、前記輝度差分値が最小の第１（１）最小画素を検出するステップと、
   前記第１（１）最小画素に対して前記注目画素を挟んで反対側にある３画素の中から、前記注目画素との輝度差分値が最小の第１（２）最小画素を検出するステップと、
   前記第１（１）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（１）最小画素を検出するステップと、
   前記第１（２）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（２）最小画素を検出するステップと、
   前記注目画素にさらに、前記第１（１）最小画素、前記第１（２）最小画素、前記第２（１）最小画素、および、前記第２（２）最小画素を含む特定画素に対し、所定の重み付けを加えたフィルタ係数を適用するとともに、Ｎ×Ｎ画素における前記特定画素以外の画素に対し、前記輝度差分値と前記注目画素からの距離に応じた重み付けを加えたフィルタ係数を適用するステップと、
   各画素に各フィルタ係数を適用した結果の総和を求め、当該総和からＮ×Ｎ画素分のフィルタ係数の総和を除算することにより、前記注目画素の補間値を得るステップと、
   を含むことを特徴とする画像処理方法。
7. 画像を構成するフレームの任意のＮ×Ｎ（Ｎは自然数）構成の画素について、中心に位置する注目画素とそれ以外の（Ｎ×Ｎ―１）画素との輝度の差分である輝度差分値を求めるステップと、
   前記注目画素に隣接する複数の画素の中から、前記輝度差分値が最小の第１（１）最小画素を検出するステップと、
   前記第１（１）最小画素に対して前記注目画素を挟んで反対側にある３画素の中から、前記注目画素との輝度差分値が最小の第１（２）最小画素を検出するステップと、
   前記第１（１）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（１）最小画素を検出するステップと、
   前記第１（２）最小画素に対して１画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第２（２）最小画素を検出するステップと、
   前記注目画素にさらに、前記第１（１）最小画素、前記第１（２）最小画素、前記第２（１）最小画素、および、前記第２（２）最小画素を含む特定画素に対し、所定の重み付けを加えたフィルタ係数を適用するとともに、Ｎ×Ｎ画素における前記特定画素以外の画素に対し、前記輝度差分値と前記注目画素からの距離に応じた重み付けを加えたフィルタ係数を適用するステップと、
   各画素に各フィルタ係数を適用した結果の総和を求め、当該総和からＮ×Ｎ画素分のフィルタ係数の総和を除算することにより、前記注目画素の補間値を得るステップと、
   を含む画像処理をコンピュータに実行させるプログラム。

Images