JP4958538B2 - 画像処理装置、画像処理方法、および撮像装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、および撮像装置に関する。

近年、携帯電話などの携帯型通信装置がデジタルカメラ（Digital Camera）の機能を備えるなど、デジタルカメラが普及している。上記のようなデジタルカメラは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサを用いて撮像を行う。

しかしながら、デジタルカメラの高解像度化が進むにしたがい、ＳＮ比（Signal to Noise ratio）の低下、すなわち、撮像画像に生じるノイズが問題となっている。ここで、ノイズが生じる要因としては、例えば、高解像度化に伴い上記撮像素子の数が増えたことにより、１撮像素子あたりの受光量が低下して信号レベルが下がることなどが挙げられる。

このような中、撮像画像に対して補正を行うことにより、ノイズを低減する技術が開発されている。例えば、撮像画像のエッジを検出し、エッジとして検出されなかった画素に対してノイズ低減処理を行い、エッジとして検出された画素に対してノイズ低減処理を行わない技術としては、例えば、特許文献１が挙げられる。また、画像データを輪郭部、ノイズ部、非輪郭部に分類し、ノイズ部にはノイズ除去処理を、輪郭部には強調処理を施す技術としては、例えば、特許文献２が挙げられる。

特開２００５−３０３７３１号公報 特開２００３−２１９１８０号公報

しかしながら、撮像画像のエッジを検出し、エッジとして検出されなかった画素に対してノイズ低減処理を行い、エッジとして検出された画素に対してノイズ低減処理を行わない技術、および画像データを輪郭部、ノイズ部、非輪郭部に分類し、ノイズ部にはノイズ除去処理を、輪郭部には強調処理を施す技術など従来の画像処理技術は、ノイズを検出し、特定の処理をする必要があるため、回路、アルゴリズムが複雑になる。また、エッジとして検出された画素に対しては、ノイズ除去処理を行わないため、当該エッジ上にあるノイズを除去することができない。したがって、従来の画像処理技術により補正された画像は、エッジ上に存在するノイズを除去することができないので、不自然な画像となってしまう。ここで、上記エッジとは、画像における輝度が高い部分と輝度が低い部分との境界（すなわち、画像の濃淡の境界）を指す。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ノイズの検出を行うことなく、画像のノイズを除去することが可能な、新規かつ改良された画像処理装置、画像処理方法、および撮像装置を提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、入力画像を画素単位で処理する画像処理装置であって、上記入力画像から所定の特徴画像を生成する特徴画像生成部と、上記特徴画像生成部が生成した特徴画像に基づいて、画素値を補間する補間値を画素ごとに複数算出する補間値算出部と、上記入力画像から画素ごとに特徴値を算出し、上記特徴値に基づいて、上記画素ごとに算出される複数の補間値それぞれを補正する補正値を算出する補正値算出部と、上記補正値算出部において算出された画素ごとの補正値に基づいて、上記補間値算出部において画素ごとに複数算出された補間値それぞれを補正する補間値補正部と、上記補間値補正部において補正された画素ごとの補間値に基づいて、上記特徴画像を補正する補正画像生成部とを備える画像処理装置が提供される。

上記画像処理装置は、例えば、特徴画像生成部と、補間値算出部と、補正値算出部と、補間値補正部と、補正画像生成部とを備える。特徴画像生成部は、画像処理装置に入力される入力画像から所定の特徴画像を生成することができる。ここで、所定の特徴画像としては、例えば、入力画像から輝度信号を取り除いた色差画像、輝度差に基づいてエッジ（edge）が抽出されたエッジ画像などが挙げられる。補間値算出部は、画素値を補間する補間値を画素ごとに複数算出することができる。補正値算出部は、入力画像から画素ごとに特徴値を算出し、特徴値に基づいて補間値算出部が算出する画素ごとの複数の補間値それぞれを補正する補正値を算出することができる。ここで、特徴値としては、例えば、補正値を算出する画素における垂直方向の変化量、および水平方向の変化量が挙げられる。補間値補正部は、補正値算出部が算出した補正値に基づいて、補間値算出部において画素ごとに複数算出された補間値それぞれを補正することができる。補正画像生成部は、補間値補正部において補正された画素ごとの補間値に基づいて、上記特徴画像を補正することができる。かかる構成により、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく、画像のノイズを除去することができる。

また、上記特徴画像生成部は、上記入力画像から色差画像を生成し、上記補間値算出部は、補間値を算出する注目画素ごとに、上記注目画素に隣接する垂直方向の画素における画素値の平均値を算出する第１補間値算出部と、上記注目画素に隣接する水平方向の画素における画素値の平均値を算出する第２補間値算出部とを備え、上記補正値算出部は、上記注目画素における垂直方向の変化量、および水平方向の変化量を特徴値として算出する特徴値算出部と、上記特徴値算出部が注目画素ごとに算出した上記垂直方向の変化量に対応する補正値と、上記水平方向の変化量に対応する補正値とを、注目画素ごとに算出し設定する補正値設定部とを備え、上記補間値補正部は、上記補正値設定部が設定した上記注目画素ごとの上記垂直方向の変化量に対応する補正値に基づいて、上記第１補間値算出部が算出した上記注目画素ごとの補間値を補正する第１補正部と、上記補正値設定部が設定した上記注目画素ごとの上記水平方向の変化量に対応する補正値に基づいて、上記第２補間値算出部が算出した上記注目画素ごとの補間値を補正する第２補正部とを備え、上記補正画像生成部は、上記第１補正部が補正した上記注目画素ごとの補間値と、上記第２補正部が補正した上記注目画素ごとの補間値との平均値を上記注目画素ごとに算出し、上記注目画素それぞれの画素値を置き換えるとしてもよい。

かかる構成により、補間処理において、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく、画像のノイズを除去することができる。

また、上記入力画像は、単板式の撮像素子を介して撮像された撮像データ画像であるとしてもよい。

かかる構成により、ベイヤー配列に基づいて、撮像素子が撮像した撮像データ画像に生じるノイズを、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく除去することができる。

また、上記入力画像は、輝度画像であり、上記特徴画像生成部は、上記入力画像から輝度差に基づいてエッジ画像を生成するとしてもよい。

かかる構成により、エッジ強調処理において、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく、画像のノイズを除去することができる。

また、上記補正値算出部は、所定のメンバシップ関数を用いたファジー推論により、上記補正値を算出するとしてもよい。

かかる構成により、入力画像によらず、上記補正値を算出することができるので、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく、画像のノイズを除去することができる。

また、上記目的を達成するために、本発明の第２の観点によれば、入力画像を画素単位で処理する画像処理方法であって、上記入力画像から所定の特徴画像を生成するステップと、上記生成するステップにおいて生成された特徴画像に基づいて、画素値を補間する補間値を画素ごとに複数算出するステップと、上記入力画像から画素ごとに特徴値を算出し、上記特徴値に基づいて、上記画素ごとに算出される複数の補間値それぞれを補正する補正値を算出するステップと、上記補正値を算出するステップにおいて算出された画素ごとの補正値に基づいて、上記補間値を画素ごとに算出するステップにおいて算出された画素ごとに算出された補間値を補正するステップと、上記補間値を補正するステップにおいて補正された画素ごとの補間値に基づいて、上記特徴画像を補正するステップとを有する画像処理方法が提供される。

かかる方法を用いることにより、入力画像から算出された特徴値に基づいて補正値を算出し、当該補正値を用いて、画素ごとに画素値を補間する補間値を補正することができる。したがって、かかる方法により、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく、画像のノイズを除去することができる。

また、上記目的を達成するために、本発明の第３の観点によれば、撮像により得られた撮像画像を画素単位で補正することが可能な撮像装置であって、撮像を行う撮像部と、上記撮像部において撮像された撮像結果から撮像データ画像を生成する画像データ生成部と、上記撮像データ画像が入力され、上記撮像データ画像を補正する画像処理部とを備え、上記画像処理部は、画像から所定の特徴画像を生成する特徴画像生成部と、上記特徴画像生成部が生成した特徴画像に基づいて、画素値を補間する補間値を画素ごとに複数算出する補間値算出部と、上記入力画像から画素ごとに特徴値を算出し、上記特徴値に基づいて、上記画素ごとに算出される複数の補間値それぞれを補正する補正値を算出する補正値算出部と、上記補正値算出部において算出された画素ごとの補正値に基づいて、上記補間値算出部において画素ごとに複数算出された補間値それぞれを補正する補間値補正部と、上記補間値補正部において補正された画素ごとの補正値に基づいて、上記特徴画像を補正する補正画像生成部とを備える撮像装置が提供される。

上記撮像装置は、例えば、撮像部と、画像データ生成部と、画像処理部とを備える。撮像部は、撮像を行うことができる。画像データ生成部は、撮像部における撮像結果に相当する撮像データ画像を生成することができる。画像処理部は、画像データ生成部が生成した上記撮像データ画像を補正することができる。また、画像処理部は、特徴画像生成部と、補間値算出部と、補正値算出部と、補間値補正部と、補正画像生成部とを備えることができる。かかる構成により、撮像して得られた撮像データ画像に対して、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく、画像のノイズを除去することができる。

また、上記特徴画像生成部には、上記撮像データ画像が入力され、上記入力画像から色差画像を生成し、上記補間値算出部は、補間値を算出する注目画素ごとに、上記注目画素に隣接する垂直方向の画素における画素値の平均値を算出する第１補間値算出部と、上記注目画素に隣接する水平方向の画素における画素値の平均値を算出する第２補間値算出部とを備え、上記補正値算出部は、上記注目画素における垂直方向の変化量、および水平方向の変化量を特徴値として算出する特徴値算出部と、上記特徴値算出部が注目画素ごとに算出した上記垂直方向の変化量に対応する補正値と、上記水平方向の変化量に対応する補正値とを、注目画素ごとに算出し設定する補正値設定部とを備え、上記補間値補正部は、上記補正値設定部が設定した上記注目画素ごとの上記垂直方向の変化量に対応する補正値に基づいて、上記第１補間値算出部が算出した上記注目画素ごとの補間値を補正する第１補正部と、上記補正値設定部が設定した上記注目画素ごとの上記水平方向の変化量に対応する補正値に基づいて、上記第２補間値算出部が算出した上記注目画素ごとの補間値を補正する第２補正部とを備え、上記補正画像生成部は、上記第１補正部が補正した上記注目画素ごとの補間値と、上記第２補正部が補正した上記注目画素ごとの補間値との平均値を上記注目画素ごとに算出し、上記注目画素それぞれの画素値を置き換えるとしてもよい。

かかる構成により、補間処理において、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく、画像のノイズを除去することができる。

また、上記特徴画像生成部には、輝度画像が入力され、上記輝度画像から輝度差に基づいてエッジ画像を生成するとしてもよい。

かかる構成により、エッジ強調処理において、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく、画像のノイズを除去することができる。

また、上記補正値算出部は、所定のメンバシップ関数を用いたファジー推論により、上記補正値を算出するとしてもよい。

かかる構成により、入力画像によらず、上記補正値を算出することができるので、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく、画像のノイズを除去することができる。

また、上記目的を達成するために、本発明の第４の観点によれば、撮像により得られた撮像画像を画素単位で補正することが可能な撮像装置であって、撮像を行う撮像部と、上記撮像部において撮像された撮像結果から撮像データ画像を生成する画像データ生成部と、上記撮像データ画像が入力され、上記撮像データ画像を補正する画像処理部とを備え、上記画像処理部は、画素値の補間を行う補間処理部を有し、上記補間処理部は、画像から所定の特徴画像を生成する特徴画像生成部と、上記特徴画像生成部が生成した特徴画像に基づいて、画素値を補間する補間値を画素ごとに複数算出する補間値算出部と、上記入力画像から画素ごとに特徴値を算出し、上記特徴値に基づいて、上記画素ごとに算出される複数の補間値それぞれを補正する補正値を算出する補正値算出部と、上記補正値算出部において算出された画素ごとの補正値に基づいて、上記補間値算出部において画素ごとに複数算出された補間値それぞれを補正する補間値補正部と、上記補間値補正部において補正された画素ごとの補正値に基づいて、上記特徴画像を補正する補正画像生成部とを備える撮像装置が提供される。

上記撮像装置は、例えば、撮像部と、画像データ生成部と、画像処理部とを備える。撮像部は、撮像を行うことができる。画像データ生成部は、撮像部における撮像結果に相当する撮像データ画像を生成することができる。画像処理部は、画像データ生成部が生成した上記撮像データ画像を補正することができる。また、画像処理部は、少なくとも画素値の補間を行う補間処理部を有することができる。ここで、補間処理部は、特徴画像生成部と、補間値算出部と、補正値算出部と、補間値補正部と、補正画像生成部とを備えることができる。かかる構成により、撮像して得られた撮像データ画像に対して、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく、画像のノイズを除去することができる。

また、上記撮像部は、単板式の撮像素子を有するとしてもよい。

かかる構成により、撮像装置の構造を簡略化することができる。

また、上記目的を達成するために、本発明の第５の観点によれば、撮像により得られた撮像画像を画素単位で補正することが可能な撮像装置であって、撮像を行う撮像部と、上記撮像部において撮像された撮像結果から撮像データ画像を生成する画像データ生成部と、上記撮像データ画像が入力され、上記撮像データ画像を補正する画像処理部とを備え、上記画像処理部は、画像の輝度差に基づいて抽出される画像のエッジを強調するエッジ強調処理部を有し、上記エッジ強調処理部は、画像から所定の特徴画像を生成する特徴画像生成部と、上記特徴画像生成部が生成した特徴画像に基づいて、画素値を補間する補間値を画素ごとに複数算出する補間値算出部と、上記入力画像から画素ごとに特徴値を算出し、上記特徴値に基づいて、上記画素ごとに算出される複数の補間値それぞれを補正する補正値を算出する補正値算出部と、上記補正値算出部において算出された画素ごとの補正値に基づいて、上記補間値算出部において画素ごとに複数算出された補間値それぞれを補正する補間値補正部と、上記補間値補正部において補正された画素ごとの補正値に基づいて、上記特徴画像を補正する補正画像生成部とを備える撮像装置が提供される。

上記撮像装置は、例えば、撮像部と、画像データ生成部と、画像処理部とを備える。また、画像処理部は、少なくとも画像の輝度差に基づいて抽出される画像のエッジを強調するエッジ強調処理部を有する。ここで、エッジ強調処理部は、特徴画像生成部と、補間値算出部と、補正値算出部と、補間値補正部と、補正画像生成部とを備えることができる。かかる構成により、ノイズがエッジ上にあるか否かを問わず、また、ノイズの検出を行うことなく、画像のノイズを除去することができる。

本発明によれば、ノイズの検出を行うことなく、画像のノイズを除去することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以下では、撮像装置が撮像素子を用いて得ることが可能な撮像データ画像について、単板式を用いることにより得られた撮像データ画像（ＲＡＷ画像データが表す画像）であるとして説明を行う。ここで、単板式とは、ＣＣＤ素子それぞれに対して、ベイヤー（Bayer）配列に規定される順序に従って平面状に並べた赤、青、緑の３原色のいずれか単色のフィルタをかけて一つの色の強さだけ検知し、周囲のＣＣＤ素子の信号と総合して色情報を得る方式である。なお、本願発明の実施形態は、上記に限られないことは、言うまでもない。

また、ベイヤー配列とは、格子状に赤、青、緑の３原色が配置され、２分の１が緑、４分の１が赤、４分の１が青で構成される配列である。ここで、ベイヤー配列において、赤および青に比べ、緑が多く配置されているのは、緑には輝度成分が多く含まれており、また人間の目は輝度に対する感度が高いためである。

（撮像装置における画像処理の流れ）
本発明の実施形態に係る画像処理装置ついての説明を行う前に、まず、デジタルカメラなどの撮像装置において、記録画像を得るために行われる画像処理の流れの概要について説明する。図１は、撮像装置における画像処理の流れの一例を示す説明図である。

撮像装置における画像処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理１０、補間処理２０、色調補正処理３０、ガンマ補正処理４０、ＹＣｂＣｒ変換処理５０、エッジ強調処理６０、およびＪｐｅｇコーディング処理７０が挙げられる。

Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理１０は、例えば、ＲＡＷ画像データ（画像処理前の撮像データ画像に相当する。）に対して、ＲＧＢ（Red Green Blue）の各色ごとに予め設定されたゲインをかけ、各画素（pixel）の画素値を増幅する。補間処理２０は、例えば、ベイヤー配列からすべての画素のＲＧＢを作り出す。色調補正処理３０は、例えば、画像の色調を補正する。ガンマ補正処理４０は、例えば、ＲＧＢの信号を非線形変換し、視覚的なリニアリティ（linearity）を確保する。ＹＣｂＣｒ変換処理５０は、例えば、所定の変換式に基づいて、ＲＧＢをＹＣｂＣｒに変換する。ここで、Ｙは輝度（luminance）、Ｃｂは色差（chrominance）、そして、Ｃｒは色差（chrominance）をそれぞれ表す。エッジ強調処理６０は、例えば、画像からエッジ部分を検出し、検出されたエッジ部分の輝度を高めることにより画像の濃淡を強調する。Ｊｐｅｇコーディング処理７０は、画像をＪｐｅｇ（Joint Photographic Experts Group）形式の画像ファイルに変換する。

上記処理を経ることにより、撮像装置は、例えば、単板式ＣＣＤなどの撮像素子を用いて撮像することにより生成されたＲＡＷ画像データを補正し、Ｊｐｅｇ形式の記録画像として撮像した画像を保持することができる。なお、図１に示す画像処理の流れは、一例であり、本願発明の実施形態に係る撮像装置が図１に示す画像処理の流れに限定されるものではない。

（画像処理装置の第１の実施形態）
次に、本発明の第１の実施形態に係る画像処理装置について説明する。図２は、本発明の第１の実施形態に係る画像処理装置１００を示す説明図である。ここで、画像処理装置１００は、図１に示す補間処理２０を行う画像処理装置である。

また、以下では、補間を行う画素を「注目画素」とし、また、注目画素としてＲＧＢを示す画素のうち「Ｒ（Red）の画素」、または「Ｂ（Blue）の画素」として説明する。これは、例えば、ベイヤー配列では、「Ｇ（Green）の画素」は、「Ｒの画素」および「Ｂの画素」それぞれの２倍の数配置されており、サンプリング数が多いことにより色差信号の算出（後述する）、特徴値の算出（後述する）などの各種処理が容易に行えるためである。したがって、注目画素に隣接する画素は、「Ｇの画素」となる。なお、本願発明の実施形態に係る注目画素が、「Ｒの画素」または「Ｂの画素」に限られず、例えば、「Ｇの画素」であってもよいことは、言うまでもない。

図２を参照すると、本発明の第１の実施形態に係る画像処理装置１００は、特徴画像生成部１０２と、補間値算出部１０４と、補正値算出部１０６と、補間値補正部１０８と、補正画像生成部１１０とを備える。

特徴画像生成部１０２は、入力画像から輝度信号を取り除いた色差画像を生成する。ここで、特徴画像生成部１０２における色差画像の生成は、画素単位に色差信号を算出することにより行うことができる。以下に、本発明の実施形態に係る色差信号の算出について説明する。

[本発明の第１の実施形態に係る色差信号の算出]
図３は、本発明の第１の実施形態に係る色差信号の算出を説明する説明図である。ここで、図３に示す説明図は、ベイヤー配列を示しており、ａ〜ｐまでの各符号は、それぞれ画素の画素値を表す。特に、画素値ｅを有する画素は補間を行う注目画素を示している。また、画素値ｅを有する画素に隣接する画素である、画素値ｂ、ｄ、ｈ、ｆを有する画素は、それぞれＧの画素である。

本発明の第１の実施形態に係る色差信号の算出は、数式１〜数式４により行うことができる。ここで、数式１により算出されるＢは、画素値ｂを有する画素における色差信号を示している。同様に、数式２により算出されるＤは、画素値ｄを有する画素における色差信号、数式３により算出されるＨは、画素値ｈを有する画素における色差信号、および数式４により算出されるＦは、画素値ｆを有する画素における色差信号をそれぞれ示している。

Ｂ＝−ｂ＋（ｅ＋ｋ）／２ ・・・（数式１）
Ｄ＝−ｄ＋（ｅ＋ｐ）／２ ・・・（数式２）
Ｈ＝−ｈ＋（ｅ＋ｎ）／２ ・・・（数式３）
Ｆ＝−ｂ＋（ｅ＋ｍ）／２ ・・・（数式４）

ここで、数式１〜数式４は、「Ｒの画素の画素値」から「Ｇの画素の画素値」を減算していること、または、「Ｂの画素の画素値」から「Ｇの画素の画素値」を減算していることにそれぞれ相当する。

特徴画像生成部１０２は、注目画素を変更することにより、色差信号を算出可能な全ての画素について、色差信号を算出する。なお、色差信号の算出は、上記色差信号を算出可能な全ての画素について行うことに限られず、例えば、Ｒの画素のみ、もしくは、Ｂの画素のみ、または、１つとばしの画素などに対して行うことができる。また、注目画素は、色差信号が算出される画素が重複しないように変更することに限られず、例えば、色差信号が算出される画素が重複して適宜色差信号を上書き更新することもできる。

また、特徴画像生成部１０２において算出された色差信号は、例えば、特徴画像生成部１０２が有する記憶手段に保持されてもよい。ここで、特徴画像生成部１０２が有する記憶手段としては、例えば、ハードディスク（Hard Disk）や磁気テープなどの磁気記録媒体や、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ(Phase change Random Access Memory)などの不揮発性メモリ（nonvolatile memory）、光磁気ディスク（Magneto Optical Disk）などが挙げられるが、上記に限られないことは、言うまでもない。なお、上記色差信号の保持は、上記に限られず、例えば、画像処理装置１００が記憶部（図示せず）を備え、当該記憶部に特徴画像生成部１０２において算出された色差信号を保持させることもできる。

補間値算出部１０４は、特徴画像生成部１０２が生成した色差画像、すなわち、注目画素を変更することによりそれぞれ算出された各画素における色差信号を用いて、画素値を補間する補間値を注目画素ごとに複数算出する。

ここで、補間値算出部１０４は、例えば、遮断周波数以下の周波数の色差信号だけを通過させ、遮断周波数より大きな周波数の色差信号を減衰させるローパス・フィルタ（Low-Pass Filter）や、特定の周波数帯域の色差信号のみを通過させ、その他の帯域の色差信号を減衰させるバンドパス・フィルタ（Band-Pass Filter）などのフィルタを備えることができる。なお、上記フィルタは、例えば、デジタルフィルタとすることができる。

例えば、本発明の第１の実施形態に係る画像処理装置１００では、補間値算出部１０４は、第１補間値算出部１１２と、第２補間値算出部１１４とを備え、２つの補間値を算出する。以下に、本発明の第１の実施形態に係る補間値の算出について説明する。

[本発明の第１の実施形態に係る補間値の算出]
図４は、本発明の第１の実施形態に係る補間値の算出を説明する説明図である。ここで、図４（ａ）は、第１補間値算出部１１２における補間値の算出を説明する説明図であり、また、図４（ｂ）は、第２補間値算出部１１４における補間値の算出を説明する説明図である。

本発明の第１の実施形態に係る補間値の算出は、特徴画像生成部１０２が算出した注目画素に隣接する画素の色差信号を用いて、数式５、数式６により行うことができる。

ＶＶ＝（Ｂ＋Ｈ）／２ ・・・（数式５）
ＶＨ＝（Ｄ＋Ｆ）／２ ・・・（数式６）

ここで、数式５は、第１補間値算出部１１２において算出される補間値ＶＶを示している。補間値ＶＶは、図４（ａ）に示すように、特徴画像生成部１０２が注目画素ごとに算出した色差信号を用いて、注目画素に対して垂直方向に隣接する画素の色差信号の平均値を計算することにより導出することができる。

また、数式６は、第２補間値算出部１１４において算出される補間値ＶＨを示している。補間値ＶＨは、図４（ｂ）に示すように、特徴画像生成部１０２が注目画素ごとに算出した色差信号を用いて、注目画素に対して水平方向に隣接する画素の色差信号の平均値を計算することにより導出することができる。

なお、数式５および数式６は、注目画素に対して垂直方向、または、水平方向に隣接する画素の色差信号の相加平均の算出を表しているが、本発明の第１の実施形態に係る補間値の算出は、上記に限られず、例えば、相乗平均や加重平均などを用いて算出することもできる。

また、本発明の実施形態に係る「垂直方向」および「水平方向」は、図４（ａ）および図４（ｂ）などに示される方向に限定されるものではなく、例えば、一の方向を「垂直方向」と定め、当該一の方向を基準として「水平方向」を決定することができることは、言うまでもない。

補間値算出部１０４は、注目画素ごとに、上述した数式５および数式６に示す演算を行い、注目画素ごとに補間値ＶＶおよび補間値ＶＨを算出する。

また、補間値算出部１０４において算出された注目画素ごとの補間値ＶＶおよび補間値ＶＨは、例えば、補間値算出部１０４が有する記憶手段に保持することができる。ここで、補間値算出部１０４が有する記憶手段としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリ、光磁気ディスクなどが挙げられるが、上記に限られないことは、言うまでもない。なお、注目画素ごとの補間値ＶＶおよび補間値ＶＨの保持は、上記に限られず、例えば、画像処理装置１００が記憶部（図示せず）を備え、当該記憶部に補間値算出部１０４において算出された注目画素ごとの補間値ＶＶおよび補間値ＶＨを保持させることもできる。

補正値算出部１０６は、特徴値算出部１１６と、補正値設定部１１８とを備える。特徴値算出部１１６は、入力画像から注目画素ごとに特徴値を算出する。また、補正値設定部１１８は、特徴値算出部１１６が算出した特徴値に基づいて、第１補間値算出部１１２において算出される注目画素ごとの補間値ＶＶ、および第２補間値算出部１１４において算出される注目画素ごとの補間値ＶＨを、それぞれ補正する補正値を算出し、設定する。以下、本発明の第１の実施形態に係る特徴値の算出、および本発明の第１の実施形態に係る補正値の算出についてそれぞれ説明する。

[本発明の第１の実施形態に係る特徴値の算出]
まず、本発明の第１の実施形態に係る特徴値の算出について説明する。図５は、本発明の第１の実施形態に係る特徴値の算出を説明する説明図である。ここで、図５（ａ）は、特徴値算出部１１６における第１の特徴値の算出を説明する説明図であり、また、図５（ｂ）は、特徴値算出部１１６における第２の特徴値の算出を説明する説明図である。

本発明の第１の実施形態に係る特徴値の算出は、各画素の画素値を用いて、数式７、数式８により行うことができる。

Ｍ１ｘ＝｜ｂ−ｈ｜ ・・・（数式７）
Ｍ２ｘ＝｜ｄ−ｆ｜ ・・・（数式８）

ここで、数式７は、特徴値算出部１１６において算出される第１の特徴値Ｍ１ｘを示している。第１の特徴値Ｍ１ｘは、図５（ａ）に示すように、注目画素に対して垂直方向に隣接する画素の画素値の変化量（Vertical Gradient）を計算することにより導出することができる。

また、数式８は、特徴値算出部１１６において算出される第２の特徴値Ｍ２ｘを示している。第２の特徴値Ｍ２ｘは、図５（ｂ）に示すように、注目画素に対して水平方向に隣接する画素の画素値の変化量（Horizontal Gradient）を計算することにより導出することができる。

なお、数式７および数式８は、注目画素に対して垂直方向、または、水平方向に隣接する画素の画素値の変化量の算出を表しているが、本発明の第１の実施形態に係る特徴値の算出が上記に限られないことは、言うまでもない。

[本発明の第１の実施形態に係る補正値の算出]
次に、本発明の第１の実施形態に係る補正値の算出について説明する。本発明の第１の実施形態に係る補正値の算出は、ファジー推論（Fuzzy Inference）を用いて行うことができる。より厳密には、本発明の第１の実施形態に係る補正値の算出は、所定のメンバシップ関数（Membership function）を用いて推論の結果を数値で置き換える、非ファジー化（Deffuzify）により算出される。ここで、メンバシップ関数とは、ファジー集合（Fuzzy Set）の要素が、当該集合に属する度合いを表す関数である。メンバシップ関数の縦軸方向の値をグレードと呼ぶこととする。また、ファジー集合とは、要素が集合に属する場合と、属さない場合の中間の状態とを許容する集合である。

以下に、本発明の第１の実施形態に係る補正値の算出の具体例を示す。なお、本発明の第１の実施形態に係る補正値の算出に係るメンバシップ関数は、任意に設定可能な関数であり、以下の説明に用いるメンバシップ関数は、本発明の第１の実施形態に係る補正値の算出を限定するものではない。

[本発明の第１の実施形態に係る補正値の第１の算出例]
図６は、本発明の第１の実施形態に係るメンバシップ関数を用いた第１の例を示す説明図である。ここで、図６に示す第１の例は、例えば、画像が縦線を表す場合など、画像の方向が垂直方向に特徴をもつ場合を示している。

図６を参照すると、補正値設定部１１８では、垂直方向の変化量に係る第１の特徴値Ｍ１、および水平方向の変化量に係る第２の特徴値Ｍ２それぞれに対して、それぞれ図６（ａ）〜図６（ｄ）の４つのルールが設定されている。

ここで、図６（ａ）〜図６（ｄ）のメンバシップ関数の関係は以下の通りである。
（１）図６（ａ）のメンバシップ関数：垂直方向の変化量（Vertical Gradient）と水平方向の変化量（Horizontal Gradient）とがともに小さい場合
（２）図６（ｂ）のメンバシップ関数：垂直方向の変化量（Vertical Gradient）が小さく、水平方向の変化量（Horizontal Gradient）が大きい場合
（３）図６（ｃ）のメンバシップ関数：水平方向の変化量（Horizontal Gradient）が小さく、垂直方向の変化量（Vertical Gradient）が大きい場合
（４）図６（ｄ）のメンバシップ関数：垂直方向の変化量（Vertical Gradient）と水平方向の変化量（Horizontal Gradient）とがともに大きい場合
以下では、図６（ａ）をパターン０、図６（ｂ）をパターン１、図６（ｃ）をパターン２、および図６（ｄ）をパターン３として説明する。

また、図６（ａ）〜図６（ｄ）それぞれのメンバシップ関数に設定されるＫＨ＿ｖ、ＫＬ＿ｖ、ＫＨ＿ｈ、およびＫＬ＿ｈは、図６（ａ）〜図６（ｄ）において同一の値である。ここで、上記ＫＨ＿ｖ、ＫＬ＿ｖ、ＫＨ＿ｈ、およびＫＬ＿ｈは、任意に設定することができる。本発明の第１の実施形態に係る補正値設定部１１８では、上記ＫＨ＿ｖ、ＫＬ＿ｖ、ＫＨ＿ｈ、およびＫＬ＿ｈを任意に設定することによりメンバシップ関数を任意に設定することができる。また、補正値設定部１１８では、パターン０〜パターン３それぞれにおいて、垂直方向に対する重み付け係数Ｖ＿Ｒｎ、および水平方向に対する重み付け係数Ｈ＿Ｒｎを設定することができる。なお、以下に示すパターン０〜パターン３それぞれにおいて設定される重み付け係数Ｖ＿Ｒｎ、および重み付け係数Ｈ＿Ｒｎは、一例であり、本発明の実施形態に係る重み付け係数Ｖ＿Ｒｎ、および重み付け係数Ｈ＿Ｒｎを限定するものではないことは、言うまでもない。

＜パターン０＞
図６（ａ）を参照すると、パターン０では、第１の特徴値Ｍ１ｘにおけるグレード値Ｍ１はＭ１＝１となり、第２の特徴値Ｍ２ｘにおけるグレード値Ｍ２はＭ２＝０となる。したがって、パターン０におけるグレード値の最小値Ｒｎ（ここで、ｎは非負整数である。以下、同様とする。）は、Ｒ０＝０となる。

また、パターン０は、垂直方向の変化量と水平方向の変化量とがともに小さい場合であるので、垂直方向に対する重み付け係数Ｖ＿Ｒ０、および水平方向に対する重み付け係数Ｈ＿Ｒ０は、それぞれ同一に設定することが望ましい。

＜パターン１＞
図６（ｂ）を参照すると、パターン１では、第１の特徴値Ｍ１ｘにおけるグレード値Ｍ１はＭ１＝１となり、第２の特徴値Ｍ２ｘにおけるグレード値Ｍ２もＭ２＝１となる。したがって、パターン１におけるグレード値の最小値Ｒｎは、Ｒ１＝１となる。

また、パターン１は、垂直方向の変化量が小さく、水平方向の変化量が大きい場合であるので、垂直方向に対する重み付け係数Ｖ＿Ｒ１、および水平方向に対する重み付け係数Ｈ＿Ｒ１は、水平方向よりも垂直方向を大きく設定することが望ましい。

＜パターン２＞
図６（ｃ）を参照すると、パターン２では、第１の特徴値Ｍ１ｘにおけるグレード値Ｍ１はＭ１＝０となり、第２の特徴値Ｍ２ｘにおけるグレード値Ｍ２はＭ２＝１となる。したがって、パターン２におけるグレード値の最小値Ｒｎは、Ｒ２＝０となる。

また、パターン２は、水平方向の変化量が小さく、垂直方向の変化量が大きい場合であるので、垂直方向に対する重み付け係数Ｖ＿Ｒ２、および水平方向に対する重み付け係数Ｈ＿Ｒ２は、垂直方向よりも水平方向を大きく設定することが望ましい。
＜パターン３＞
図６（ｄ）を参照すると、パターン３では、第１の特徴値Ｍ１ｘにおけるグレード値Ｍ１はＭ１＝０となり、第２の特徴値Ｍ２ｘにおけるグレード値Ｍ２はＭ２＝１となる。したがって、パターン３におけるグレード値の最小値Ｒｎは、Ｒ３＝０となる。

また、パターン３は、垂直方向の変化量と水平方向の変化量とがともに大きい場合であるので、垂直方向に対する重み付け係数Ｖ＿Ｒ３、および水平方向に対する重み付け係数Ｈ＿Ｒ３は、それぞれ同一に設定することが望ましい。

図７は、図６に示す第１の例において、本発明の実施形態に係る補正値を算出するために設定される値の一例を示す説明図である。ここで、図７では、垂直方向に対する重み付け係数Ｖ＿Ｒｎ、および水平方向に対する重み付け係数Ｈ＿Ｒｎとの和が１６となるように設定されている。これは、例えば、ビット（bit）で表現することにより、補正値設定部１１８における補正値の算出処理などを容易とするためである。したがって、図７は、４ビットで表現するために１６が設定されているが、本発明の実施形態に係る垂直方向に対する重み付け係数Ｖ＿Ｒｎ、および水平方向に対する重み付け係数Ｈ＿Ｒｎの設定が、上記に限られないことは、言うまでもない。

さらに、補正値設定部１１８は、例えば図６に示すメンバシップ関数を用いて設定した値（Ｒ０〜Ｒ３、Ｖ＿Ｒ０〜Ｖ＿Ｒ３、およびＨ＿Ｒ０〜Ｈ＿Ｒ３）を用いることにより、第１補間値算出部１１２において算出される補間値ＶＶを補正する補正値Ｗｇｔ＿ｖを数式９により算出することができる。

数式９より、第１の算出例における補間値ＶＶを補正する補正値Ｗｇｔ＿ｖは、数式１０に示すようにＷｇｔ＿ｖ＝１６となる。

また、補正値設定部１１８は、第２補間値算出部１１４において算出される補間値ＶＨを補正する補正値Ｗｇｔ＿ｈを数式１１により算出することができる。

数式１１より、第１の算出例における補間値ＶＨを補正する補正値Ｗｇｔ＿ｈは、数式１２に示すようにＷｇｔ＿ｈ＝０となる。

補正値設定部１１８は、図６に示す第１の例では、数式１０に示す補正値Ｗｇｔ＿ｖおよび数式１２に示す補正値Ｗｇｔ＿ｈを算出することができる。次に、本発明の第１の実施形態に係る補正値の第２の算出例を示す。

[本発明の第１の実施形態に係る補正値の第２の算出例]
図８は、本発明の第１の実施形態に係るメンバシップ関数を用いた第２の例を示す説明図である。ここで、図８に示す第２の例は、画像の方向が不明確な場合を示している。

図８を参照すると、図６に示す第１の例と同様に、補正値設定部１１８では、垂直方向の変化量に係る第１の特徴値Ｍ１ｘ、および水平方向の変化量に係る第２の特徴値Ｍ２ｘそれぞれに対して、それぞれ図８（ａ）〜図８（ｄ）の４つのルールが設定されている。

ここで、図８（ａ）〜図８（ｄ）のメンバシップ関数の関係は以下の通りである。
（１）図８（ａ）のメンバシップ関数：垂直方向の変化量（Vertical Gradient）と水平方向の変化量（Horizontal Gradient）とがともに小さい場合
（２）図８（ｂ）のメンバシップ関数：垂直方向の変化量（Vertical Gradient）が小さく、水平方向の変化量（Horizontal Gradient）が大きい場合
（３）図８（ｃ）のメンバシップ関数：水平方向の変化量（Horizontal Gradient）が小さく、垂直方向の変化量（Vertical Gradient）が大きい場合
（４）図８（ｄ）のメンバシップ関数：垂直方向の変化量（Vertical Gradient）と水平方向の変化量（Horizontal Gradient）とがともに大きい場合
以下では、図６に示す第１の例と同様に、図８（ａ）をパターン０、図８（ｂ）をパターン１、図８（ｃ）をパターン２、および図８（ｄ）をパターン３とする。

＜パターン０＞
図８（ａ）を参照すると、パターン０では、第１の特徴値Ｍ１ｘにおけるグレード値Ｍ１はＭ１＝０．７５となり、第２の特徴値Ｍ２ｘにおけるグレード値Ｍ２はＭ２＝０。２５となる。したがって、パターン０におけるグレード値の最小値Ｒｎは、Ｒ０＝０．２５となる。

また、パターン０は、図６に示す第１の例と同様に、垂直方向の変化量と水平方向の変化量とがともに小さい場合であるので、垂直方向に対する重み付け係数Ｖ＿Ｒ０、および水平方向に対する重み付け係数Ｈ＿Ｒ０は、それぞれ同一に設定することが望ましい。

＜パターン１＞
図８（ｂ）を参照すると、パターン１では、第１の特徴値Ｍ１ｘにおけるグレード値Ｍ１はＭ１＝０．７５となり、第２の特徴値Ｍ２ｘにおけるグレード値Ｍ２もＭ２＝０．７５となる。したがって、パターン１におけるグレード値の最小値Ｒｎは、Ｒ１＝０．７５となる。

また、パターン１は、図６に示す第１の例と同様に、垂直方向の変化量が小さく、水平方向の変化量が大きい場合であるので、垂直方向に対する重み付け係数Ｖ＿Ｒ１、および水平方向に対する重み付け係数Ｈ＿Ｒ１は、水平方向よりも垂直方向を大きく設定することが望ましい。

＜パターン２＞
図８（ｃ）を参照すると、パターン２では、第１の特徴値Ｍ１ｘにおけるグレード値Ｍ１はＭ１＝０．２５となり、第２の特徴値Ｍ２ｘにおけるグレード値Ｍ２はＭ２＝０．７５となる。したがって、パターン２におけるグレード値の最小値Ｒｎは、Ｒ２＝０．２５となる。

また、パターン２は、図６に示す第１の例と同様に、水平方向の変化量が小さく、垂直方向の変化量が大きい場合であるので、垂直方向に対する重み付け係数Ｖ＿Ｒ２、および水平方向に対する重み付け係数Ｈ＿Ｒ２は、垂直方向よりも水平方向を大きく設定することが望ましい。
＜パターン３＞
図８（ｄ）を参照すると、パターン３では、第１の特徴値Ｍ１ｘにおけるグレード値Ｍ１はＭ１＝０．２５となり、第２の特徴値Ｍ２ｘにおけるグレード値Ｍ２はＭ２＝０．７５となる。したがって、パターン３におけるグレード値の最小値Ｒｎは、Ｒ３＝０．２５となる。

また、パターン３は、図６に示す第１の例と同様に、垂直方向の変化量と水平方向の変化量とがともに大きい場合であるので、垂直方向に対する重み付け係数Ｖ＿Ｒ３、および水平方向に対する重み付け係数Ｈ＿Ｒ３は、それぞれ同一に設定することが望ましい。

図９は、図８に示す第２の例において、本発明の実施形態に係る補正値を算出するために設定される値の一例を示す説明図である。ここで、図９では、図６に示す第１の例と同様に、垂直方向に対する重み付け係数Ｖ＿Ｒｎ、および水平方向に対する重み付け係数Ｈ＿Ｒｎとの和が１６となるように設定されている。

さらに、補正値設定部１１８は、図６に示す第１の例と同様に、例えば図８に示すメンバシップ関数を用いて設定した値（Ｒ０〜Ｒ３、Ｖ＿Ｒ０〜Ｖ＿Ｒ３、およびＨ＿Ｒ０〜Ｈ＿Ｒ３）、数式９、および数式１１により、補間値ＶＶを補正する補正値Ｗｇｔ＿ｖ、および補間値ＶＨを補正する補正値Ｗｇｔ＿ｈ算出することができる。

数式９より、第２の算出例における補間値ＶＶを補正する補正値Ｗｇｔ＿ｖは、数式１３に示すようにＷｇｔ＿ｖ＝１１となる。

また、数式１１より、第２の算出例における補間値ＶＨを補正する補正値Ｗｇｔ＿ｈは、数式１４に示すようにＷｇｔ＿ｈ＝５となる。

ここで、数式１３、数式１４では、四捨五入により、補正値を整数化しているが、本発明の実施形態に係る補正値の算出は、上記に限られず、例えば、小数点以下を切り捨ててもよい。

補正値設定部１１８は、図８に示す第２の例では、数式１３に示す補正値Ｗｇｔ＿ｖおよび数式１４に示す補正値Ｗｇｔ＿ｈを算出することができる。

上述したように、補正値設定部１１８は、注目画素それぞれにおける垂直方向および水平方向の２つの方向に対する補正値の算出を、ファジー推論を用いて行うことができる。ファジー推論を用いることにより、補正値設定部１１８は、入力画像によらずに、注目画素それぞれにおいて垂直方向および水平方向の２つの方向に対する最適な補正値をそれぞれ算出することができる。

なお、補正値設定部１１８では、上述した第１の例、および第２の例に示すように、ファジー推論の適用に際して、４つのルールを用いて２つの補正値を導出した。しかしながら、本発明の実施形態に係る補正値設定部は上記に限られず、例えば、ファジールール（Fuzzy Rule）、メンバシップ関数、および当該メンバシップ関数により算出する補正値の数を増やすこともできる。

また、補正値設定部１１８は、注目画素それぞれにおいて算出した垂直方向および水平方向の２つの方向に対する補正値を、例えば、補正値設定部１１８が有する記憶手段に保持することができる。ここで、補正値設定部１１８が有する記憶手段としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリ、光磁気ディスクなどが挙げられるが、上記に限られないことは、言うまでもない。なお、上記補正値の保持は、上記に限られず、例えば、画像処理装置１００が記憶部（図示せず）を備え、当該記憶部に補正値設定部１１８において算出し設定された補正値を保持させることもできる。

以上のように、補正値算出部１０６は、特徴値算出部１１６と、補正値設定部１１８とを備えることにより、入力画像から画素ごとに特徴値を算出し、特徴値に基づいて、注目画素ごとに補間値ＶＶを補正する補正値Ｗｇｔ＿ｖ、および補間値ＶＨを補正する補正値Ｗｇｔ＿ｈを算出し、設定することができる。

補間値補正部１０８は、第１補正部１２０と、第２補正部１２２とを備える。第１補正部１２０は、注目画素ごとに第１補間値算出部１１２において算出される補間値ＶＶを補正値算出部１０６において設定される補正値Ｗｇｔ＿ｖに基づいて補正する。ここで、第１補正部１２０では、例えば、補間値ＶＶに補正値Ｗｇｔ＿ｖを乗算する（このとき、補正値Ｗｇｔ＿ｖは係数となる。）ことにより、補間値ＶＶの補正を行うことができる。なお、第１補正部１２０における補間値ＶＶの補正の手段は、上記に限られず、例えば、補間値ＶＶに補正値Ｗｇｔ＿ｖを加算、減算してもよい。

また、第２補正部１２２は、注目画素ごとに第２補間値算出部１１４において算出される補間値ＶＨを補正値算出部１０６において設定される補正値Ｗｇｔ＿ｈに基づいて補正する。ここで、第２補正部１２２では、第１補正部１２０と同様に、例えば、補間値ＶＨに補正値Ｗｇｔ＿ｈを乗算する（このとき、補正値Ｗｇｔ＿ｈは係数となる。）ことにより、補間値ＶＨの補正を行うことができる。なお、第２補正部１２２における補間値ＶＨの補正の手段は、上記に限られないことは、言うまでもない。

また、補間値補正部１０８における補間値ＶＶおよび補間値ＶＨの補正は、例えば、補間値補正部１０８が補間値算出部１０４が有する記憶手段から補間値ＶＶおよび補間値ＶＨを適宜読み出し、また、補間値補正部１０８が補正値算出部１０６が有する記憶手段から補正値Ｗｇｔ＿ｖおよび補正値Ｗｇｔ＿ｈを適宜読み出すことにより行うことができる。

なお、本発明の実施形態における補間値ＶＶおよび補間値ＶＨと、補正値Ｗｇｔ＿ｖおよび補正値Ｗｇｔ＿ｈとの読み出し手段は上記に限られない。例えば、補間値補正部１０８が記憶手段を有し、補間値算出部１０４および補正値算出部１０６それぞれが、注目画素ごとの補間値ＶＶおよび補間値ＶＨと、補正値Ｗｇｔ＿ｖおよび補正値Ｗｇｔ＿ｈとを補間値補正部１０８が有する記憶手段に記憶させることもできる。上記の場合、補間値補正部１０８は、補間値補正部１０８が有する記憶手段から、注目画素ごとの補間値ＶＶおよび補間値ＶＨと、補正値Ｗｇｔ＿ｖおよび補正値Ｗｇｔ＿ｈを読み出し、注目画素ごとに補間値ＶＶおよび補間値ＶＨを補正することができる。

ここで、補間値補正部１０８が有する記憶手段としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリ、光磁気ディスクなどが挙げられるが、上記に限られないことは、言うまでもない。

また、例えば、画像処理装置１００が記憶部（図示せず）を備えている場合には、補間値補正部１０８は、画像処理装置１００が備える記憶部（図示せず）から、注目画素ごとの補間値ＶＶおよび補間値ＶＨと、補正値Ｗｇｔ＿ｖおよび補正値Ｗｇｔ＿ｈを読み出し、注目画素ごとに補間値ＶＶおよび補間値ＶＨを補正することもできる。

補正画像生成部１１０は、補間値補正部１０８が補正した補間値ＶＶ’および補間値ＶＨ’に基づいて、注目画素ごとに入力画像を補正する。補正画像生成部１１０において注目画素ごとに算出される補正後の画素値Ｐｏｕｔは、例えば、数式１５で表すことができる。ここで、数式１５においてＥは注目画素の画素値を示す。また、数式１５の第２項の分母に設定されている「１６」は、ビットでの表現を容易とするために設定された値であり、任意に設定することができる。

数式１５に示すように、補正画像生成部１１０は、注目画素の画素値から、補正後の補間値ＶＶ’（すなわち、「Ｗｇｔ＿ｖ×ＶＶ」。）および補間値ＶＨ’（すなわち、「Ｗｇｔ＿ｈ×ＶＨ」。）の平均値を減算することにより、注目画素ごとに画素値を置き換える。したがって、補正画像生成部１１０から出力される画像は、入力画像が補正された補正画像となる。

なお、数式１５では、補正後の補間値ＶＶ’および補間値ＶＨ’という２つの補間値に係る加重平均値を用いて補正後の画素値Ｐｏｕｔ算出したが、本発明の実施形態に係る補正後の画素値Ｐｏｕｔの算出方法は、上記に限られず、例えば、補正後の画素値Ｐｏｕｔを加重平均値が３以上の補間値から導出することもできる。加重平均値が３以上の補間値から導出される場合には、例えば、ファジールール、メンバシップ関数、および当該メンバシップ関数により算出する補正値の数を増やせばよい。また、本発明の実施形態に係る補正後の画素値Ｐｏｕｔの算出方法は、数式１５に限られないことは、言うまでもない。

以上のように、本発明の第１の実施形態に係る画像処理装置１００は、入力画像から色差画像を生成し、注目画素ごとに複数の方向（垂直方向および水平方向）における複数の補間値を算出する。また、画像処理装置１００は、注目画素ごとに複数の方向（垂直方向および水平方向）における複数の特徴値を算出し、当該特徴値とファジー推論とに基づいて、当該注目画素ごとの複数の補間値を補正する補正値を設定する。そして、画像処理装置１００は、設定した補正値を用いて補間値を注目画素ごとに補正し、入力画像が補正された補正画像を出力する。

また、本発明の第１の実施形態に係る画像処理装置１００は、ファジー推論を用いて注目画素ごとの複数の補間値を補正する補正値を設定することが可能であるので、入力画像によらず注目画素ごとに適切な補正値を設定することができる。したがって、本発明の実施形態に係る画像処理装置１００は、たとえ、入力画像がエッジ上にノイズを有する画像であったとしても、ノイズの検出を行うことなく注目画素ごとに画素値を置き換えて、画像のノイズを除去することができる。

また、本発明の第１の実施形態では、画像処理装置１００を挙げて説明したが、本発明の実施形態は、係る形態に限られず、例えば、デジタルカメラなどの撮像装置、または、デジタルカメラ機能付携帯電話などの撮像機能を有する通信装置などに適用することができる。なお、撮像装置への適用については、後述する。

（画像処理装置の第２の実施形態）
本発明の実施形態に係る画像処理装置として、第１の実施形態に係る画像処理装置１００では、図１に示す補間処理２０を行う画像処理装置について説明した。しかしながら、本発明の実施形態に係る画像処理装置が行うことが可能な処理は、補間処理に限られない。そこで、次に、本発明の第２の実施形態に係る画像処理装置について説明する。

図１０は、本発明の第２の実施形態に係る画像処理装置における処理の概要を示すブロック図である。ここで、画像処理装置２００は、図１に示すエッジ強調処理６０を行う画像処理装置である。

図１０を参照すると、画像処理装置２００では、ノイズリダクション・エッジ抽出処理２０２と、エッジ強調ゲイン設定処理２０４と、補正処理２０６と、補正画像生成処理２０８が行われる。また、画像処理装置２００に入力される画像（入力画像）は、例えば、図１のＹＣｂＣｒ変換処理５０から出力される輝度画像である。

ノイズリダクション・エッジ抽出処理２０２は、図２に示す特徴画像生成部１０２および補間値算出部１０４において行われる処理に対応する処理であり、入力される輝度画像から注目画素ごとにエッジを抽出し、補間値を算出する。ここで、ノイズリダクション・エッジ抽出処理２０２におけるエッジ抽出は、例えば、ラプラシアンフィルタ（Laplacian Filter）により行うことができる。

エッジ強調ゲイン設定処理２０４は、図２に示す補正値算出部１０６において行われる処理に対応する処理であり、第１の実施形態に係る画像処理装置１００と同様に、入力される輝度画像から注目画素ごとに特徴値を算出し、ファジー推論を用いて注目画素ごとの補間値を補正する補正値を設定する。

補正処理２０６は、図２に示す補間値補正部１０８において行われる処理に対応する処理であり、第１の実施形態に係る画像処理装置１００と同様に、注目画素ごとの補間値を補正する。

補正画像生成処理２０８は、図２に示す補正画像生成部１１０において行われる処理に対応する処理であり、第１の実施形態に係る画像処理装置１００と同様に、注目画素ごとに画素値を置き換える。したがって、補正画像生成処理２０８からは、入力される輝度画像を補正した補正画像が出力される。

以上のように、本発明の第２の実施形態に係る画像処理装置２００は、ファジー推論を用いて注目画素ごとの複数の補間値を補正する補正値を設定することが可能であるので、入力画像によらず注目画素ごとに最適な補正値を設定することができる。したがって、本発明の第２の実施形態に係る画像処理装置２００は、たとえ、入力画像がエッジ上にノイズを有する画像であったとしても、ノイズの検出を行うことなく注目画素ごとに画素値を置き換えて、画像のノイズを除去することができる。

また、本発明の第２の実施形態では、画像処理装置２００を挙げて説明したが、本発明の実施形態は、係る形態に限られず、例えば、デジタルカメラなどの撮像装置、または、デジタルカメラ機能付携帯電話などの撮像機能を有する通信装置などに適用することができる。

（画像処理に係るプログラム）
上述した本発明の第１、および第２の実施形態に示す画像処理装置をコンピュータとして機能させるためのプログラムにより、処理する画像がエッジ上にノイズを有する画像であったとしても、ノイズの検出を行うことなく注目画素ごとに画素値を置き換えて、画像のノイズを除去することが可能となる。

（画像処理方法）
次に、本発明の実施形態に係る画像処理方法について説明する。図１１は、本発明の実施形態に係る画像処理方法を示す流れ図である。なお、以下では、処理を行う画像が、ベイヤー配列に規定される順序に従った撮像素子から得られた画像であるとして説明を行うが、本発明の実施形態に係る画像処理方法は、上記に限られない。

まず、注目画素を決定する（Ｓ１００）。ここで、ステップＳ１００における注目画素は、例えば、Ｂ、または、Ｒの画素とすることができる。

注目画素を補間する補間値を算出し、入力画像（処理する画像）の特徴に基づいて補間値を補正する（Ｓ１０２）。以下、ステップＳ１０２において行われる処理をより詳細に説明する。

[ステップＳ１０２における処理１]
特徴信号を生成する（Ｓ１０４）。ここで、特徴信号とは、例えば、色差信号やエッジ信号などが挙げられる。

ステップＳ１０４において生成された特徴信号を用いて、注目画素に対して、複数の方向における複数の補間値を算出する（Ｓ１０６）。ここで、ステップＳ１０６における複数の方向とは、例えば、垂直方向および水平方向の２方向が挙げられる。しかしながら、ステップＳ１０６において算出される補間値は、上記垂直方向および水平方向の２方向により算出されるものに限られず、例えば、垂直方向、水平方向、および、ななめ２方向の合計４方向により算出することもできる。

[ステップＳ１０２における処理２]
注目画素に対して、複数の方向における特徴値を算出する（Ｓ１０８）。ここで、複数の方向における特徴値とは、例えば、垂直方向の画素値の変化量、水平方向の変化量が挙げられる。なお、ステップ１０８において算出される特徴値が、垂直方向の画素値の変化量および水平方向の変化量に限られないことは、言うまでもない。

ステップＳ１０８において算出された特徴値を用いて、ステップＳ１０６において算出された複数の方向における複数の補間値それぞれを補正する補正値を設定する（Ｓ１１０）。ここで、補正値の設定は、例えば、ファジー推論を用いて行うことができる。より詳細には、ステップＳ１１０では、例えば、ステップＳ１０８において算出された特徴値、および予め設定した複数のメンバシップ関数、および数式９、数式１１を用いて補正値を算出することができる。

[ステップＳ１０２における処理３]
ステップＳ１０６において算出された複数の方向における複数の補間値と、ステップＳ１１０において設定された当該複数の補間値それぞれを補正する補正値に基づいて、当該複数の補間値それぞれを補正する（Ｓ１１２）。ここで、ステップＳ１１２における補間値の補正は、例えば、ステップＳ１０６において算出された補間値に、ステップＳ１１０において設定された補正値を乗算することにより行うことができるが、上記に限られない。

以上のように、ステップＳ１０２では、上述した処理１〜３を行うことにより、注目画素を補間する補間値を算出し、入力画像の特徴に基づいて補間値を補正する。

補間可能な全ての画素で補間値の補正が行われたか否かを判定する（Ｓ１１４）。ここで、ステップＳ１１４における判定は、例えば、予め補間する画素と、当該補間する画素に対応する画素数が決められ、当該画素数分補間値の補正が行われたか否かで行ってもよい。また、ステップＳ１１４における判定は、上記に限られず、例えば、入力画像が有する画素数分補間値の補正が行われたか否かで行うこともできる。

ステップＳ１１４において、補間可能な全ての画素で補間値の補正が行われていないと判定された場合は、注目画素を変更し（Ｓ１１６）、ステップＳ１０２〜ステップＳ１１４の処理を繰り返す。

また、ステップＳ１１４において、補間可能な全ての画素で補間値の補正が行われたと判定された場合には、補間値が補正された全ての画素の画素値の置き換えを行い、入力画像の補正を行う（Ｓ１１８）。

以上のように、本発明の実施形態に係る画像処理方法は、ファジー推論を用いて注目画素ごとの複数の補間値を補正する補正値を設定することが可能であるので、入力画像によらず注目画素ごとに最適な補正値を設定することができる。したがって、本発明の実施形態に係る画像処理方法は、たとえ、入力画像がエッジ上にノイズを有する画像であったとしても、ノイズの検出を行うことなく注目画素ごとに画素値を置き換えて、画像のノイズを除去することができる。

（本発明の実施形態に係る撮像装置）
次に、図２、図１０に示した本発明の実施形態に係る画像処理装置を適用した撮像装置について説明する。図１２は、本発明の実施形態に係る撮像装置３００を示すブロック図である。

図１２を参照すると、本発明の実施形態に係る撮像装置３００は、少なくとも、撮像部３０２と、画像データ生成部３０４と、画像処理部３０６とを備える。

撮像部３０２は、例えば、レンズ（Lens）とＣＣＤなどの撮像素子から構成することができ、撮像を行う。

画像データ生成部３０４は、撮像部３０２が撮像した結果から撮像データ画像を生成する。ここで、画像データ生成部３０４は、例えば、ＡＧＣ（Automatic Gain Control）回路、ＡＤＣ（Analog to Digital Converter）を備え、撮像部３０２から入力されるアナログ信号をデジタル信号に変換することができる。また、画像データ生成部３０４は、さらに、ＴＧ（Timing Generator）を備えることができ、撮像部３０２からのアナログ信号の読み出しタイミングを制御することもできる。ここで、上記ＡＧＣ回路、ＡＤＣ、およびＴＧは、総称してＡＦＥ（Analog Front End）と呼ばれる。

画像処理部３０６は、画像データ生成部３０４が生成した撮像データ画像に対して画像処理を行い、記録画像を生成することができる。ここで、画像処理部３０６において行われる画像処理としては、例えば、図１に示す処理が挙げられる。したがって、撮像装置３００は、画像処理部３０６において本発明の第１の実施形態に係る画像処理装置１００、および／またｈ、第２の実施形態に係る画像処理装置２００を備えることができる。

したがって、画像処理部３０６では、補間処理を行う部分に本発明の第１の実施形態に係る画像処理装置１００が適用されることにより、処理する画像がエッジ上にノイズを有する画像であったとしても、ノイズの検出を行うことなく画像のノイズを除去することができる。また、画像処理部３０６では、エッジ強調処理を行う部分に本発明の第２の実施形態に係る画像処理装置２００が適用されることにより、処理する画像がエッジ上にノイズを有する画像であったとしても、ノイズの検出を行うことなく画像のノイズを除去することができる。

また、撮像装置３００は、さらに、制御部３０８と、記憶部３１０と、表示部３１２と、操作部３１４とを備えることができる。

制御部３０８は、例えば、ＭＰＵ（Micro Processing Unit）で構成され、撮像装置３００全体の処理を制御することができる。

記憶部３１０は、画像処理部３０６が生成した記録画像を記憶することができる。ここで、記憶部３１０としては、例えば、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリ、光磁気ディスクなどが挙げられる。また、記憶部３１０は、例えば、メモリカードなど、撮像装置３００から着脱可能な部であってもよい。

表示部３１２は、画像処理部３０６が生成した記録画像、または、記憶部３１０に記憶されている画像を表示する。表示部３１２としては、例えば、ＴＦＴ（Thin Film Transistor）などが挙げられる。

操作部３１４は、様々な処理を行わせるための操作命令を制御部３０８に伝達するためのデバイスである。操作部３１４としては、例えば、押しボタンスイッチやレバースイッチなどが挙げられる。

以上のように、本発明の実施形態に係る撮像装置３００は、画像データ生成部３０４において生成された撮像データ画像を、画像処理部３０６において画像処理することができる。ここで、撮像装置３００は、画像処理部３０６内に本発明の第１の実施形態に係る画像処理装置１００、および／または、本発明の第２の実施形態に係る画像処理装置２００を備えることができる。

したがって、本発明の実施形態に係る撮像装置３００は、画像処理部３０６において処理する画像がエッジ上にノイズを有する画像であったとしても、ノイズの検出を行うことなく画像のノイズを除去することができるので、従来の画像処理技術により補正された画像のように不自然な画像となることはない。

また、本発明の実施形態では、撮像装置３００を挙げて説明したが、本発明の実施形態は、係る形態に限られず、デジタルカメラや、カメラ機能付携帯電話など、撮像機能を有する装置に適用することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、図２に示す本発明の第１の実施形態に係る画像処理装置１００では、補間値算出部１０４が、垂直方向の補間値を算出する第１補間値算出部１１２と水平方向の補間値を算出する第２補間値算出部１１４との２つを備える構成を示したが、かかる形態に限られず、本発明の実施形態に係る画像処理装置が、３以上の補間値を算出してもよい。かかる構成であっても、ファジールール、メンバシップ関数、および当該メンバシップ関数により算出する補正値の数を適宜設定する（例えば、ファジールール、メンバシップ関数、補正値の数を増やす。）ことにより、処理する画像がエッジ上にノイズを有する画像であったとしても、ノイズの検出を行うことなく画像のノイズを除去することができる。

また、図２に示す本発明の第１の実施形態に係る画像処理装置１００では、補正画像生成部１１０に対して、画像処理装置１００に入力される入力画像が直接入力されているが、かかる形態に限られず、本発明の実施形態に係る画像処理装置が、画像処理装置に入力される入力画像（信号）を遅延させる入力画像遅延部を補正画像生成部の前段にさらに備えてもよい。かかる構成であっても、本発明の第１の実施形態に係る画像処理装置１００と同様に、処理する画像がエッジ上にノイズを有する画像であったとしても、ノイズの検出を行うことなく画像のノイズを除去することができる。なお、上記構成における入力画像遅延部は、例えば、ＲＡＭ（Random Access Memory）などのメモリ、または、シフトレジスタ（shift register）などを用いて構成することができるが、上記に限られない。

上述した構成は、当業者が容易に変更し得る程度のことであり、本発明の等価範囲に属するものと理解すべきである。

撮像装置における画像処理の流れの一例を示す説明図である。 本発明の第１の実施形態に係る画像処理装置を示すブロック図である。 本発明の第１の実施形態に係る色差信号の算出を説明する説明図である。 本発明の第１の実施形態に係る補間値の算出を説明する説明図である。 本発明の第１の実施形態に係る特徴値の算出を説明する説明図である。 本発明の第１の実施形態に係るメンバシップ関数を用いた第１の例を示す説明図である。 図６に示す第１の例において、本発明の実施形態に係る補正値を算出するために設定される値の一例を示す説明図である。 本発明の第１の実施形態に係るメンバシップ関数を用いた第２の例を示す説明図である。 図８に示す第２の例において、本発明の実施形態に係る補正値を算出するために設定される値の一例を示す説明図である。 本発明の第２の実施形態に係る画像処理装置における処理の概要を示すブロック図である。 本発明の実施形態に係る画像処理方法を示す説明図である。 本発明の実施形態に係る撮像装置の概要を示すブロック図である。

符号の説明

１００、２００ 画像処理装置
１０２ 特徴画像生成部
１０４ 補間値算出部
１０６ 補正値算出部
１０８ 補間値補正部
１１０ 補正画像生成部
１１２ 第１補間値算出部
１１４ 第２補間値算出部
１１６ 特徴値算出部
１１８ 補正値設定部
１２０ 第１補正部
１２２ 第２補正部
３００ 撮像装置
３０２ 撮像部
３０４ 画像データ生成部
３０６ 画像処理部
３０８ 制御部
３１０ 記憶部
３１２ 表示部
３１４ 操作部

Claims (3)

1. 入力画像を画素単位で処理する画像処理装置であって：
   前記入力画像から所定の特徴画像を生成する特徴画像生成部と；
   前記特徴画像生成部が生成した特徴画像に基づいて、画素値を補間する補間値を画素ごとに複数算出する補間値算出部と；
   前記入力画像から画素ごとに特徴値を算出し、前記特徴値に基づいて、前記画素ごとに算出される複数の補間値それぞれを補正する補正値を算出する補正値算出部と；
   前記補正値算出部において算出された画素ごとの補正値に基づいて、前記補間値算出部において画素ごとに複数算出された補間値それぞれを補正する補間値補正部と；
   前記補間値補正部において補正された画素ごとの補間値に基づいて、前記特徴画像を補正する補正画像生成部と；
   を備え、
   前記補正値算出部は、所定のメンバシップ関数を用いたファジー推論により、前記補正値を算出し、
   前記入力画像は、輝度画像であり、
   前記特徴画像生成部は、前記入力画像から輝度差に基づいてエッジ画像を生成することを特徴とする、画像処理装置。
2. 入力画像を画素単位で処理する画像処理方法であって：
   前記入力画像から所定の特徴画像を生成するステップと；
   前記生成するステップにおいて生成された特徴画像に基づいて、画素値を補間する補間値を画素ごとに複数算出するステップと；
   前記入力画像から画素ごとに特徴値を算出し、前記特徴値に基づいて、前記画素ごとに算出される複数の補間値それぞれを補正する補正値を算出するステップと；
   前記補正値を算出するステップにおいて算出された画素ごとの補正値に基づいて、前記補間値を画素ごとに算出するステップにおいて算出された画素ごとに算出された補間値を補正するステップと；
   前記補間値を補正するステップにおいて補正された画素ごとの補間値に基づいて、前記特徴画像を補正するステップと；
   を有し、
   前記補正値を算出するステップでは、所定のメンバシップ関数を用いたファジー推論により、前記補正値を算出し、
   前記入力画像は、輝度画像であり、
   前記特徴画像を生成するステップでは、前記入力画像から輝度差に基づいてエッジ画像が生成されることを特徴とする、画像処理方法。
3. 撮像により得られた撮像画像を画素単位で補正することが可能な撮像装置であって：
   撮像を行う撮像部と；
   前記撮像部において撮像された撮像結果から撮像データ画像を生成する画像データ生成部と；
   前記撮像データ画像が入力され、前記撮像データ画像を補正する画像処理部と；
   を備え、
   前記画像処理部は、
   画像から所定の特徴画像を生成する特徴画像生成部と；
   前記特徴画像生成部が生成した特徴画像に基づいて、画素値を補間する補間値を画素ごとに複数算出する補間値算出部と；
   前記入力画像から画素ごとに特徴値を算出し、前記特徴値に基づいて、前記画素ごとに算出される複数の補間値それぞれを補正する補正値を算出する補正値算出部と；
   前記補正値算出部において算出された画素ごとの補正値に基づいて、前記補間値算出部において画素ごとに複数算出された補間値それぞれを補正する補間値補正部と；
   前記補間値補正部において補正された画素ごとの補正値に基づいて、前記特徴画像を補正する補正画像生成部と；
   を備え、
   前記補正値算出部は、所定のメンバシップ関数を用いたファジー推論により、前記補正値を算出し、
   前記特徴画像生成部には、輝度画像が入力され、前記輝度画像から輝度差に基づいてエッジ画像を生成することを特徴とする、撮像装置。
   

Images