JP6900395B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体 - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体に関する。

入力画像を拡散反射成分と鏡面反射成分とに分離することで、撮影後の画像処理において様々な画像生成を行うことができる。例えば、分離した拡散反射成分と光沢成分である鏡面反射成分を用いることで、光沢感を制御した画像を生成することが可能である。

また、被写体のライティングを変更した画像を生成するために必要な面法線を高精度に取得することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、光源情報等で決定される。光源から出た光が被写体によって反射された反射光の物理的な振る舞いは局所的な面法線に依存するため、形状情報としては３次元形状ではなく被写体の面法線を用いることが特に有効である。そのような被写体の面法線を取得する方法として、照度差ステレオ法が用いられる。照度差ステレオ法では、被写体がランバート拡散反射である仮定の下で面法線を取得するため、入力画像における拡散反射成分のみが必要である。したがって、画像から拡散反射成分を推定する技術が必要となる。画像から拡散反射成分が推定できれば、画像から拡散反射成分を差し引くことで、鏡面反射成分も同時に取得することができる。

特許文献１や非特許文献１では、物体が２色性反射モデルに従うことを利用し、入力画像における色相毎に抽出した画素に基づいて、入力画像から拡散反射成分を推定する手法について開示している。２色性反射モデルでは、被写体からの反射光を、物体色である拡散反射成分と光源色である鏡面反射成分の線形和で表すことができる。

この手法では、同じ拡散反射率である被写体毎に拡散反射成分を推定するために、入力画像の色相毎に画素の抽出を行う。光源が白色である場合、被写体の色相は物体色である拡散反射成分のみに依存し、光源色である鏡面反射成分の有無には無関係であるため、色相を用いることで同じ拡散反射率である被写体のみから画素を抽出することができる。

特開２０１３−６５２１５号公報

肥後 智昭, 宮崎 大輔, 池内 克史、"二色性反射モデルに基づくリアルタイム鏡面反射成分除去"、研究報告コンピュータビジョンとイメージメディア、ｐｐ．２１１−２１８、２００６

しかしながら、入力画像にノイズが存在する場合には、入力画像における色相がばらつくことに起因して画素の抽出精度が低下し、その結果、拡散反射成分の推定精度も低下してしまう。

特許文献１では、ノイズ影響による入力画像の色相のばらつきに対して、画素を抽出する際の色相範囲を調節することで抽出精度の低下を抑制する手法について開示している。つまり、ノイズが多い場合には抽出する画素の色相範囲を広げる。

しかしながら、抽出する色相の範囲を広げると、近い色相を持つ別の被写体から画素を抽出してしまう恐れがある。各色相毎に抽出した画素が、全て同じ拡散反射率の被写体であるとみなして拡散反射成分を推定するため、異なる拡散反射率の被写体の画素を混同して抽出してしまうと、拡散反射成分の推定精度が低下する。

このような課題に鑑みて、本発明は、ノイズの影響を低減して、入力画像から高精度に拡散反射成分を推定可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、入力画像または入力画像における第一の色相に対してノイズ低減処理を行い、ノイズが低減された第二の色相を取得する色相取得部と、ノイズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出する抽出部と、抽出した複数の画素における彩度と第一の強度に基づいて拡散反射成分の第二の強度を推定する推定部と、前記複数の画素における前記第一の色相と前記第二の色相の一方と、前記彩度および前記第二の強度を用いて拡散反射画像を生成する画像生成部と、を有し、前記ノイズ低減処理は、前記入力画像におけるノイズ量に基づいて行われることを特徴とする。
また、本発明の他の画像処理装置は、入力画像または入力画像における第一の色相に対 してノイズ低減処理を行い、ノイズが低減された第二の色相を取得する色相取得部と、ノ イズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出する抽出 部と、前記抽出部により抽出された複数の画素における彩度と第一の強度に基づいて拡散 反射成分の第二の強度を推定する推定部と、前記複数の画素における前記第一の色相と前 記第二の色相の一方と、前記彩度および前記第二の強度を用いて拡散反射画像を生成する 画像生成部と、を有し、前記ノイズ低減処理は、前記入力画像における鏡面反射成分であ る仮の鏡面反射画像に基づいて行われることを特徴とする。
また、本発明の他の画像処理装置は、入力画像または入力画像における第一の色相に対 してノイズ低減処理を行い、ノイズが低減された第二の色相を取得する色相取得部と、ノ イズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出する抽出 部と、前記抽出部により抽出された複数の画素における彩度と第一の強度に基づいて拡散 反射成分の第二の強度を推定する推定部と、前記複数の画素における前記第一の色相と前 記第二の色相の一方と、前記彩度および前記第二の強度を用いて拡散反射画像を生成する 画像生成部と、を有し、前記ノイズ低減処理は、前記入力画像における色の鮮やかさに基 づいて行われることを特徴とする。

また、本発明の他の側面としての撮像装置は、被写体を撮像する撮像素子と、入力画像または入力画像における第一の色相に対してノイズ低減処理を行い、ノイズが低減された第二の色相を取得し、ノイズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出し、抽出した複数の画素における彩度と第一の強度に基づいて拡散反射成分の第二の強度を推定し、前記複数の画素における前記第一の色相と前記第二の色相の一方と、前記彩度および前記第二の強度を用いて拡散反射画像を生成する画像処理部と、を有し、前記ノイズ低減処理は、前記入力画像におけるノイズ量に基づいて行われることを特徴とする。

また、本発明の他の側面としての画像処理方法は、入力画像または入力画像における第一の色相に対してノイズ低減処理を行い、ノイズが低減された第二の色相を取得するステップと、ノイズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出するステップと、抽出した複数の画素における彩度と第一の強度に基づいて拡散反射成分の第二の強度を推定するステップと、前記複数の画素における前記第一の色相と前記第二の色相の一方と、前記彩度および前記第二の強度を用いて拡散反射画像を生成するステップと、を含み、前記ノイズ低減処理は、前記入力画像におけるノイズ量に基づいて行わ れることを特徴とする。
また、本発明の他の画像処理方法は、入力画像または入力画像における第一の色相に対 してノイズ低減処理を行い、ノイズが低減された第二の色相を取得するステップと、ノイ ズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出するステッ プと、抽出した複数の画素における彩度と第一の強度に基づいて拡散反射成分の第二の強 度を推定するステップと、前記複数の画素における前記第一の色相と前記第二の色相の一 方と、前記彩度および前記第二の強度を用いて拡散反射画像を生成するステップと、を含 み、前記ノイズ低減処理は、前記入力画像における鏡面反射成分である仮の鏡面反射画像 に基づいて行われることを特徴とする。
また、本発明の他の画像処理方法は、入力画像または入力画像における第一の色相に対 してノイズ低減処理を行い、ノイズが低減された第二の色相を取得するステップと、ノイ ズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出するステッ プと、抽出した複数の画素における彩度と第一の強度に基づいて拡散反射成分の第二の強 度を推定するステップと、前記複数の画素における前記第一の色相と前記第二の色相の一 方と、前記彩度および前記第二の強度を用いて拡散反射画像を生成するステップと、を含 み、前記ノイズ低減処理は、前記入力画像における色の鮮やかさに基づいて行われること を特徴とする。

本発明によれば、ノイズの影響を低減して、入力画像から高精度に拡散反射成分を推定可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体を提供することができる。

実施例１、２の撮像装置のブロック図である。 実施例１の画像処理方法を示すフローチャートである。 入力画像から拡散反射画像を取得するフローの模式図である。 彩度−強度平面における拡散反射成分と鏡面反射成分を示す図である。 拡散反射成分の推定を示す図である。 入力画像と拡散反射画像と鏡面反射画像を示す図である。 実施例２の画像処理方法を示すフローチャートである。 実施例２の画像処理方法における仮の鏡面反射画像を取得するフローの模式図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

以下に本発明の第一の実施形態の具体例を記す。

本実施例の撮像装置は、入力画像から拡散反射成分を推定する。

図１は、撮像装置のブロック図である。撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。撮像素子１０２の光電変換によって生成されたアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部１０４に入力される。なお、撮像光学系１０１は、撮像装置１００に内蔵される構成であってもよいし、一眼レフカメラのように撮像装置１００に着脱可能に取り付けられる構成であってもよい。

画像処理部１０４は、デジタル信号に対して一般的に行われる画像処理と併せて、入力画像から拡散反射成分を推定する。画像処理部１０４は、入力画像取得部１０４ａ、ノイズが低減された色相（第二の色相）を取得する色相取得部１０４ｂ、色相毎に画素を抽出する抽出部１０４ｃ、抽出した画素から拡散反射成分を推定する推定部１０４ｄを備える。さらに、推定した拡散反射成分に基づいて拡散反射画像を取得（生成）する拡散反射画像取得部（画像生成部）１０４ｅ、拡散反射画像および鏡面反射画像に基づいて画像の光沢制御を行う光沢制御部１０４ｆを備える。

画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０８に保存される。また、出力画像を、表示部１０５に表示してもよい。

本実施例では、入力画像取得部１０４ａ、色相取得部１０４ｂ、抽出部１０４ｃ、推定部１０４ｄ、拡散反射画像取得部（画像生成部）１０４ｅおよび光沢制御部１０４ｆが、撮像装置に内蔵されている。しかしながら、これらを備える画像処理装置として、撮像装置とは別に構成されていてもよい。

情報入力部１０７は、ユーザーによって選択された撮影条件（絞り値、露出時間、および焦点距離など）をシステムコントローラ１０９に供給する。撮像制御部１０６は、システムコントローラ１０９からの情報に基づいて、ユーザーが選択した所望の撮影条件で画像を取得する。

図２は、本実施例の画像処理方法を示すフローチャートであり、図３は入力画像から拡散反射画像を取得（生成）するフローを模式的に示した図である。本実施例の画像処理方法は、システムコントローラ１０９および画像処理部１０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお、画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ１０１では、入力画像取得部１０４ａは、撮像装置１００から撮影画像を入力画像１１０として取得する。入力画像取得部１０４ａは、撮影画像に対してノイズ低減処理が施された画像を入力画像として取得しても良い。画像処理部１０４が画像処理装置として撮像装置とは別に構成されている場合、入力画像１１０の取得は、撮像装置と画像処理装置とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。

ステップＳ１０２では、色相取得部１０４ｂは、ノイズが低減された色相（第二の色相１１２）を取得する。上述したように、入力画像１１０にノイズが存在する場合には、色相がばらつくことに起因して後述する画素の抽出精度が低下し、その結果、拡散反射成分の推定精度も低下してしまう。したがって、ノイズが低減された色相を取得して用いることでノイズ影響を低減する。

例えば、入力画像１１０に対してノイズ低減処理を施した画像における第二の色相１１２を取得する。あるいは、入力画像１１０における色相（第一の色相１１１）に対してノイズ低減処理を施して第二の色相１１２を取得しても良い。

光源が白色である場合、入力画像１１０の色相１１１は拡散反射成分のみに依存し、鏡面反射成分の有無には無関係であるため、後述するステップＳ１０３において、色相１１１を用いることで同じ拡散反射率である被写体のみから画素を抽出することができる。したがって、予め撮影画像や入力画像１１０に対してホワイトバランス補正を行うことで白色光源下における画像としておくことが好ましい。

色相ｈｕｅは、以下の式（１）および式（２）に基づいて算出される。ｒ、ｇおよびｂは色相ｈｕｅを算出する画像におけるＲＧＢ値である。

つまり、色相ｈｕｅは、式（１）、（２）より以下の式（３）で算出される。

ノイズ低減処理は一般的に用いられる種々の手法を用いてよい。さらに言うと、エッジを保存したままノイズを低減可能な手法が好ましい。エッジ保存ノイズ低減手法としては、バイラテラルフィルタやＮＬＭ（Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ）フィルタ、ガイデッドフィルタ等が用いられる。あるいは、複数枚の画像を用いてノイズ低減処理を行っても良い。

ここで、色相のばらつきは入力画像１１０のノイズ量によって変化するため、入力画像１１０のノイズ量に基づいてノイズ低減処理を行うことが好ましい。入力画像１１０のノイズ量が多い領域ほど色相のばらつきも大きくなるため、ノイズ低減処理の強さを強くする。入力画像１１０のノイズ量は撮影時のＩＳＯ感度や輝度値に基づいて決定することができる。あるいは入力画像１１０からノイズ量を推定してもよい。

また、ノイズによる色相のばらつきは入力画像１１０における色の鮮やかさによっても変化するため、入力画像１１０における色の鮮やかさに基づいてノイズ低減処理を行ってもよい。画像のＲＧＢ値それぞれの差が小さい領域ほど、つまり色の鮮やかさが低い領域ほど色相のばらつきが大きくなるため、ノイズ低減処理の強さを強くする。色の鮮やかさとしては、ＨＬＳ、ＨＳＶ等の色空間における彩度を用いてもよいし、ＲＧＢ値それぞれの差などを用いればよい。また、後述する式（４）で示される彩度ｓａｔｕｒａｔｉｏｎを用いてもよい。

ステップＳ１０３では、抽出部１０４ｃは、ステップＳ１０２で取得した第二の色相１１２に基づいて入力画像１１０から画素を抽出する。

非特許文献１では本実施例における第一の色相１１１に基づいて入力画像１１０から画素を抽出するが、上記したように、第一の色相１１１はノイズの影響によりばらつきが生じたものである。そのため、入力画像１１０から画素を抽出する精度が低下する。本実施例ではノイズが低減された第二の色相１１２に基づいて画素を抽出するため、高精度に画素を抽出することができる。本ステップでは、第二の色相１１２に基づいて入力画像１１０から色相毎に画素を抽出するが、抽出する画素の色相に対して範囲を設定しても良い。

次に、ステップＳ１０４において、推定部１０４ｄは、ステップＳ１０３で色相毎に抽出した画素に基づいて入力画像１１０における拡散反射成分を推定する。

図４に示すように、色相毎に抽出した画素を式（４）、式（５）で算出される彩度ｓａｔｕｒａｔｉｏｎ、強度ｉｎｔｅｎｓｉｔｙ平面でプロットすると、拡散反射成分１２０は原点を通る直線１２１上に存在する。さらに、光源が白色である場合、拡散反射成分に鏡面反射が加わった成分１２２は彩度が変化せずに強度のみが変化する。

そこで、ステップＳ１０３で色相毎に抽出した画素における彩度１１３、強度（第一の強度１１４）を取得し、拡散反射成分１１０が存在する直線１２１の傾きを推定する。

直線１２１の傾きは、種々のフィッティング方法を用いて推定すればよい。直線１２１の傾きを推定する際には、拡散反射成分１２０のみが必要であるが、鏡面反射が加わった成分１２２は不要な外れ値であるため、外れ値を回避するようなフィッティング方法が好ましい。鏡面反射が加わった成分１２２を除外するために、各彩度において最小である第一の強度１１４の画素のみから直線１２１の傾きを推定してもよい。

推定した傾きから求められる直線１２１、つまり拡散反射成分１２０の強度（拡散反射強度）よりも大きい第一の強度１１４を有する画素は鏡面反射が加わった成分１２２であるとみなすことができる。そのような画素における第一の強度１１４を、図５に示すように、直線１２１上になるように第二の強度１１５に置き換えることで、鏡面反射成分が除かれた拡散反射成分を取得できる。あるいは、抽出した全画素における第一の強度１１４を、直線１２１で示される拡散反射強度である第二の強度１１５に置換してもよい。

推定した直線１２１の傾きは被写体の拡散反射率で決定されるパラメータであり、被写体ごとに異なる。そのため、被写体の色相毎に画素を抽出して直線１２１の傾きを求めることで、色相で分類された被写体ごとに拡散反射成分を取得する。

また、光源が白色である場合のみ、鏡面反射が加わった成分１２２は拡散反射成分１２０に比べて彩度が変化せずに強度のみ変化する。このため、予め入力画像１１０に対してホワイトバランス補正を行うことにより、白色光源下における画像としておくことが好ましい。

次に、ステップＳ１０５において、拡散反射画像取得部（画像生成部）１０４ｅは、ステップＳ１０４において取得した拡散反射成分の第二の強度１１５、彩度１１３および色相に基づいて拡散反射画像１１６を取得（生成）する。ここで言う色相は、第一の色相１１１に相当する、抽出した画素における色相である。あるいは、ステップＳ１０２で取得した第二の色相１１２を用いても良い。拡散反射画像１１６の取得（生成）には上述した式（１）〜（５）を逆変換することで算出できる。

また、取得した拡散反射画像１１６と入力画像１１０を用いて、鏡面反射画像１１７を取得（生成）してもよい。すなわち、図６に示されるように、鏡面反射画像１１７は、入力画像１１０から拡散反射画像１１６を差し引くことで取得（生成）できる。ここで、図６の入力画像１１０における領域１１８は鏡面反射領域であり、拡散反射画像１１６における領域１１９は、入力画像１１０から鏡面反射成分が除かれた領域である。

さらに、光沢制御部１０４ｆは、取得した拡散反射画像１１６と鏡面反射画像１１７あるいは入力画像１１０を用いて光沢感を制御した画像を取得（生成）しても良い。画像の光沢感は鏡面反射成分に基づいたものであるため、取得した拡散反射画像１１６に対して足し合わせる鏡面反射画像１１７の割合を変化させる重み付き加算によって光沢感を制御した画像を取得することができる。足し合わせる鏡面反射画像１１７の割合はあらかじめ設定した割合としてもよいし、光沢感としてユーザーに任意に決定させてもよい。画像の光沢感は拡散反射画像１１６と鏡面反射画像１１７を用いて制御することができるが、入力画像１１０から差し引く鏡面反射画像１１７の割合を変化させる重み付き減算によって制御してもよい。

以上説明したように、本実施例では、ノイズの影響を低減して、入力画像から高精度に拡散反射成分を推定することができる。

本実施例では、入力画像における鏡面反射成分である仮の鏡面反射画像に基づいたノイズ低減処理により第二の色相を取得し、入力画像から拡散反射成分を推定する方法について説明する。

図７は、本実施例の画像処理方法を示すフローチャートであり、図８は本実施例で用いる仮の鏡面反射画像を取得するフロー（ステップＳ２０１〜Ｓ２０３）を模式的に示した図である。本実施例の画像処理方法は、システムコントローラ１０９および画像処理部１０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお、画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。本実施例のステップＳ２０１およびＳ２０５〜Ｓ２０７はそれぞれ、実施例１におけるステップＳ１０１およびＳ１０３〜Ｓ１０５と同様であるため、詳細な説明は省略する。

ステップＳ２０２において、色相取得部１０４ｂは、入力画像２１０における色相（第一の色相２１１）を取得する。色相は、実施例１と同様に式（１）式および式（２）に基づいて算出される。

次に、ステップＳ２０３において、色相取得部１０４ｂは、入力画像２１０に含まれる鏡面反射成分である仮の鏡面反射画像２１６を取得（生成）する。仮の鏡面反射画像２１６は、第一の色相２１１に基づいて実施例１のステップＳ１０３〜Ｓ１０５と同様のフローで仮の拡散反射画像２１５を取得（生成）した後、入力画像２１０から仮の拡散反射画像２１５を差し引くことで取得（生成）することができる。

次に、ステップＳ２０４において、色相取得部１０４ｂは、ステップＳ２０３において取得した仮の鏡面反射画像２１６に基づいてノイズ低減された色相（第二の色相）を取得する。入力画像における鏡面反射領域１１８は、拡散反射領域よりも輝度値が高く、色の鮮やかさが低下しているため、ノイズにより色相のばらつきが大きくなる。したがって、鏡面反射が多い領域ほどノイズ低減処理の強さを強くする。ここで、ステップＳ２０３において取得した仮の鏡面反射画像２１６は第一の色相２１１に基づいて取得した仮の拡散反射画像２１５を用いており、ノイズの影響により推定精度が低下したものである。したがって、仮の鏡面反射画像２１６に対して平滑化処理を施した画像を用いても良い。

本実施例においても実施例１と同様に、入力画像に対してノイズ低減処理を施した画像における第二の色相を取得してもよいし、入力画像における色相（第一の色相）に対してノイズ低減処理を施した第二の色相を取得しても良い。

ステップＳ２０５〜Ｓ２０７において、実施例１と同様に、第二の色相を用いて拡散反射画像を取得（生成）する。本実施例においては仮の鏡面反射画像２１６に基づいてノイズ低減された第二の色相を用いるため、ノイズの影響を低減して、入力画像から高精度に拡散反射成分を推定することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 撮像光学系
１０２ 撮像素子
１０３ Ａ／Ｄコンバータ
１０４ 画像処理部
１０４ａ 入力画像取得部
１０４ｂ 色相取得部
１０４ｃ 抽出部
１０４ｄ 推定部
１０４ｅ 画像生成部
１０４ｆ 光沢制御部
１０５ 表示部
１０６ 撮像制御部
１０７ 情報入力部
１０８ 画像記録部
１０９ システムコントローラ

Claims (21)

1. 入力画像または入力画像における第一の色相に対してノイズ低減処理を行い、ノイズが低減された第二の色相を取得する色相取得部と、
   ノイズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出する抽出部と、
   前記抽出部により抽出された複数の画素における彩度と第一の強度に基づいて拡散反射成分の第二の強度を推定する推定部と、
   前記複数の画素における前記第一の色相と前記第二の色相の一方と、前記彩度および前記第二の強度を用いて拡散反射画像を生成する画像生成部と、
   を有し、
   前記ノイズ低減処理は、前記入力画像におけるノイズ量に基づいて行われることを特徴とする画像処理装置。
2. 前記色相取得部は、前記入力画像に対してノイズ低減処理を行い、ノイズが低減された該入力画像における前記第二の色相を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記色相取得部は、前記入力画像における前記第一の色相に対してノイズ低減処理を行い、ノイズが低減された前記第二の色相を取得することを特徴とする請求項１に記載の画像処理装置。
4. 前記拡散反射画像と前記入力画像に基づいて鏡面反射画像を取得する光沢制御部を有することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記光沢制御部は、前記拡散反射画像および前記鏡面反射画像の重み付き加算により画像の光沢制御を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記光沢制御部は、前記入力画像および前記鏡面反射画像の重み付き減算により画像の光沢制御を行うことを特徴とする請求項４に記載の画像処理装置。
7. 前記ノイズ低減処理は、前記入力画像における鏡面反射成分である仮の鏡面反射画像に基づいて行われることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記仮の鏡面反射画像は、前記第一の色相に基づいて前記入力画像から複数の画素を抽出し、抽出した該複数の画素に基づいて仮の拡散反射画像を推定し、推定した該仮の拡散反射画像に基づいて推定した仮の鏡面反射画像であることを特徴とする請求項７に記載の画像処理装置。
9. 前記ノイズ低減処理は、前記入力画像における色の鮮やかさに基づいて行われることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
10. 前記ノイズ低減処理は、前記入力画像における色の鮮やかさが低いほど強いことを特徴とする請求項９に記載の画像処理装置。
11. 前記ノイズ量は、撮影時のＩＳＯ感度および前記入力画像における輝度値に基づいて決定されることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 入力画像または入力画像における第一の色相に対してノイズ低減処理を行い、ノイズが 低減された第二の色相を取得する色相取得部と、
    ノイズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出する 抽出部と、
    前記抽出部により抽出された複数の画素における彩度と第一の強度に基づいて拡散反射 成分の第二の強度を推定する推定部と、
    前記複数の画素における前記第一の色相と前記第二の色相の一方と、前記彩度および前 記第二の強度を用いて拡散反射画像を生成する画像生成部と、
    を有し、
    前記ノイズ低減処理は、前記入力画像における鏡面反射成分である仮の鏡面反射画像に 基づいて行われることを特徴とする画像処理装置。
13. 前記仮の鏡面反射画像は、前記第一の色相に基づいて前記入力画像から複数の画素を抽 出し、抽出した該複数の画素に基づいて仮の拡散反射画像を推定し、推定した該仮の拡散 反射画像に基づいて推定した仮の鏡面反射画像であることを特徴とする請求項１２に記載 の画像処理装置。
14. 入力画像または入力画像における第一の色相に対してノイズ低減処理を行い、ノイズが 低減された第二の色相を取得する色相取得部と、
    ノイズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出する 抽出部と、
    前記抽出部により抽出された複数の画素における彩度と第一の強度に基づいて拡散反射 成分の第二の強度を推定する推定部と、
    前記複数の画素における前記第一の色相と前記第二の色相の一方と、前記彩度および前 記第二の強度を用いて拡散反射画像を生成する画像生成部と、
    を有し、
    前記ノイズ低減処理は、前記入力画像における色の鮮やかさに基づいて行われることを 特徴とする画像処理装置。
15. 前記ノイズ低減処理は、前記入力画像における色の鮮やかさが低いほど強いことを特徴 とする請求項１４に記載の画像処理装置。
16. 被写体を撮像する撮像素子と、
    入力画像または入力画像における第一の色相に対してノイズ低減処理を行い、ノイズが低減された第二の色相を取得し、ノイズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出し、抽出した複数の画素における彩度と第一の強度に基づいて拡散反射成分の第二の強度を推定し、前記複数の画素における前記第一の色相と前記第二の色相の一方と、前記彩度および前記第二の強度を用いて拡散反射画像を生成するする画像処理部と、を有し、
    前記ノイズ低減処理は、前記入力画像におけるノイズ量に基づいて行われることを特徴とする撮像装置。
17. 入力画像または入力画像における第一の色相に対してノイズ低減処理を行い、ノイズが低減された第二の色相を取得するステップと、
    ノイズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出するステップと、
    抽出した複数の画素における彩度と第一の強度に基づいて拡散反射成分の第二の強度を推定するステップと、
    前記複数の画素における前記第一の色相と前記第二の色相の一方と、前記彩度および前記第二の強度を用いて拡散反射画像を生成するステップと、
    を含み、
    前記ノイズ低減処理は、前記入力画像におけるノイズ量に基づいて行われることを特徴とする画像処理方法。
18. 入力画像または入力画像における第一の色相に対してノイズ低減処理を行い、ノイズが 低減された第二の色相を取得するステップと、
    ノイズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出する ステップと、
    抽出した複数の画素における彩度と第一の強度に基づいて拡散反射成分の第二の強度を 推定するステップと、
    前記複数の画素における前記第一の色相と前記第二の色相の一方と、前記彩度および前 記第二の強度を用いて拡散反射画像を生成するステップと、
    を含み、
    前記ノイズ低減処理は、前記入力画像における鏡面反射成分である仮の鏡面反射画像に 基づいて行われることを特徴とする画像処理方法。
19. 入力画像または入力画像における第一の色相に対してノイズ低減処理を行い、ノイズが 低減された第二の色相を取得するステップと、
    ノイズが低減された前記第二の色相に基づいて前記入力画像から複数の画素を抽出する ステップと、
    抽出した複数の画素における彩度と第一の強度に基づいて拡散反射成分の第二の強度を 推定するステップと、
    前記複数の画素における前記第一の色相と前記第二の色相の一方と、前記彩度および前 記第二の強度を用いて拡散反射画像を生成するステップと、
    を含み、
    前記ノイズ低減処理は、前記入力画像における色の鮮やかさに基づいて行われることを 特徴とする画像処理方法。
20. 請求項１７乃至１９のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
21. 請求項２０に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images