JP5267484B2 - 画像処理装置、撮影装置およびプログラム - Google Patents

Description

本発明は、画像の異物を検出する画像処理装置、撮影装置およびプログラムに関する。

デジタルカメラなどの撮像装置では、撮像光路上に配置された光学フィルタ等の光学部材に異物が付着し、付着した異物により撮像画像に画像欠陥が発生する場合がある。このような問題を解決するための従来技術としては、例えば、撮影画像の輝度データに基づいて画像に写りこんだ異物を検出し、当該異物を除去する画像処理装置が提案されている（特許文献１等参照）。

特開２００４−２２０５５３号公報

しかしながら、従来技術では、撮影画像に対して、画像に写りこんだ異物を除去する補正を行った場合、補正後の画像に補正痕が生じるという問題がある。

本発明は、このような実状に鑑みてなされ、その目的は、好ましい画像補正を行うことができる画像処理装置、撮影装置および画像処理プログラムを提供することである。

上記目的を達成するために、本発明に係る画像処理装置は、
画像が入力される画像入力部（２８）と、
前記画像の明るさに対応する明るさ情報を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第１補正と、前記画像の彩度に対応する彩度情報、及び、前記画像の色相に対応する色相情報の少なくとも一方を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第２補正とを行う補正部（５０）を含む。

また、例えば、前記画像は、光学系による像を光電変換して得られた撮影画像に対して非線形補正が施されたものであってもよい。

また、例えば、本発明に係る画像処理装置は、前記画像が非線形補正が施されたものであるか否かを判断する判断部（５２）を有してもよく、
前記補正部は、前記判断部により前記画像が非線形補正が施されたものであると判断されたとき、前記第１補正、及び、前記第２補正を行ってもよい。

また、例えば、前記補正部は、前記判断部により前記画像が非線形補正が施されたものでないと判断されたとき、前記第２補正を行わないものであってもよい。

また、例えば、前記画像が施された非線形補正の強弱を判断する判断部を有してもよく、
前記補正部は、前記判断部により前記画像が強い非線形補正が施されたものであると判断されたとき、前記第１補正、及び、前記第２補正を行い、前記判断部により前記画像が弱い非線形補正が施されたものであると判断されたとき、前記第２補正を行わないものであってもよい。

また、例えば、前記補正部は、前記画像に写りこんだ複数の異物に対応する複数の部分について、当該複数の部分のそれぞれについて独立に前記第１補正における補正量である第１補正量、及び、前記第２補正における補正量である第２補正量を算出し、前記第１補正量及び前記第２補正量に基づき、前記第１補正及び前記第２補正を行ってもよい。

また、本発明に係る撮影装置は、
上記のうちいずれかの画像処理装置と、
光学系による像を撮像し撮影画像を出力する撮影部（２６）と、
前記撮影画像に対して非線形補正を施した画像を出力する画像変換部（１１５）とを含み、
前記画像入力部には、前記画像変換部から出力された前記画像が入力されることを特徴とする。

本発明に係るプログラムは、
コンピュータに、
画像を入力する手順と、
画像の明るさに対応する明るさ情報を用いて、前記画像に写りこんだ異物に対応する部分に対して異物の影響を低減する第１補正と、前記画像の彩度に対応する彩度情報、及び、前記画像の色相に対応する色相情報の少なくとも一方を用いて、前記画像に写りこんだ異物に対応する部分に対して異物の影響を低減する第２補正とを行う手順とを実行させる。

なお上述の説明では、本発明をわかりやすく説明するために実施形態を示す図面の符号に対応づけて説明したが、本発明は、これに限定されるものではない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。さらに、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

図１は、本発明の一実施形態に係る画像処理装置を含むカメラの概略断面図である。 図２は、図１に示すカメラの全体ブロック図である。 図３Ａは、本実施形態に係る画像処理装置で実行される画像処理演算の一例における前半部分を表すフローチャートである。 図３Ｂは、本実施形態に係る画像処理装置で実行される画像処理演算の一例における後半部分を表すフローチャートである。 図４は、ゲインマップの作成過程を表した概念図である。 図５は、本実施形態に係る画像処理装置における異物検出レベルの調整過程を表した概念図である。 図６は、本実施形態に係る画像処理装置において算出される画像等を表した概念図である。 図７は、本実施形態の第２実施形態に係る画像処理装置を含むコンピュータのブロック図である。

第１実施形態
図１は、本発明の一実施形態に係る画像処理装置を備えるカメラ１０の概略図である。カメラ１０は、光学系１６等が備えられるレンズ鏡筒部１４と、撮像素子２２等が備えられるカメラ本体部１２を含む。本実施形態では、画像処理装置を備える機器として、レンズ鏡筒部１４がカメラ本体部１２に着脱自在に取り付けられるレンズ交換式カメラを例に説明するが、本実施形態に係る画像処理装置が備えられる機器はこれに限定されない。例えば、レンズ鏡筒部１４とカメラ本体部１２が一体であるカメラや、ビデオカメラ、携帯電話、画像データ等を処理できるＰＣ（パーソナルコンピュータ）等であってもよい。

図１に示すカメラ本体部１２には、シャッター１８、光学フィルタ２０および撮像素子２２等が備えられる。シャッター１８は、光学系１６から撮像素子２２へ向かう撮影光を遮蔽および通過させることによって、露光時間を調整する。また、光学フィルタ２０は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。

撮像素子２２は、光学系１６によって導かれた光を光電変換することによって、画像データを取得することができる。しかしながら、図１に示すように、撮影光の光路上にあって撮影光を透過する光学フィルタ２０等の部材にゴミ等の異物２４が付着している場合、撮像素子２２によって取得される画像データのなかに、ゴミ等の異物２４の影響を受けた画素が含まれる場合がある。異物２４の影響を受けた画素としては、例えば、異物２４によって撮影光の透過が阻害された結果、色（明度等）が、本来の撮影光の色から変化した画素等が含まれる。本実施形態にかかるカメラ１０は、後述のように、異物２４の影響を受けた画素を検出する画像処理を行うことができる。また、カメラ１０は、後述のように、異物２４の影響を受けた画素を含む撮影画像について、異物２４の影響を軽減もしくは除去する画像処理を行うことができる。

図２は、図１に示すカメラ１０に備えられる画像処理装置の構成を示す概略ブロック図である。カメラ１０は、図１に示す撮像素子２２等を含む撮影部２６と、撮影部２６等で撮影された撮影画像に対して画像処理を行う画像処理装置を含む。カメラ１０に搭載される画像処理装置は、画像変換部１１５、画像入力部２８、記憶部３０、操作信号入力部３２、撮影条件信号入力部３４、表示部３６および演算部３８等を含む。

画像入力部２８には、撮影部２６で撮影された撮影画像が、画像データの形で入力される。撮影画像は、例えばＲＧＢデータ等であるが、撮影画像のデータ形式は特に限定されない。画像入力部２８は、入力された撮影画像を、演算部３８に出力する。演算部３８は、画像入力部２８を介して入力された撮影画像について、画像処理を行う。なお、画像入力部２８には、撮影部２６で撮影された撮影画像だけでなく、その他の撮影装置で撮影された撮影画像が入力されてもよい。また、演算部３８が画像処理を行う撮影画像としては、撮影部２６で撮影された撮影画像に限られず、その他の撮影装置で撮影された撮影画像を含む。

さらに、画像入力部２８には、光学系１６による像を光電変換して得られた撮影画像だけでなく、画像変換部１１５によって、撮影画像にγ補正等を施した画像処理済みの撮影画像も入力される。画像変換部１１５は、例えば、光学系１６による像を光電変換して得られた撮影画像に対して、γ補正等の画像処理や、保存形式の変更や、データの圧縮処理等を施す。これにより、画像変換部１１５は、撮影画像が液晶等の表示装置に表示された際に、より鮮やかに表示されたり、より自然な色合いに表示されるように、撮影画像を補正することができる。また、画像変換部１１５が撮影画像を圧縮することによって、カメラ１０は、不図示のメモリカード等に、より多くの撮影画像を保存させることができる。撮影画像変換部１１５が撮影画像に対して施す画像処理には、線形補正と、非線形補正が含まれる。

演算部３８は、情報算出部４６、異物判断部４８および異物画像補正部５０を含む。情報算出部４６は、撮影画像を分析し、撮影画像の色等に関するデータを算出することができる。異物判断部４８は、情報算出部４６で算出されたデータを用いて、所定の検出領域が、撮影画像に写りこんだゴミ等の異物に対応する部分であるか否かを判断することができる。さらに、異物画像補正部５０は、異物判断部４８による判断に基づいて、撮影画像に写りこんだ異物に対応する部分を特定し、異物の影響を低減する画像処理を、撮影画像に対して施すことができる。また、異物画像補正部５０は、情報算出部４６で算出されたデータを用いて、異物の影響を低減する画像処理を行うことができる。

情報算出部４６は、明るさ情報算出部５４と、彩度情報算出部５６と、色相情報算出部５８と、明るさ勾配情報算出部６０と、領域算出部６２を有する。情報算出部４６に含まれる各算出部５４，５６，５８，６０，６２は、撮影画像に対して演算処理を行い、算出部５４，５６，５８，６０，６２ごとに異なるデータを算出する。

明るさ情報算出部５４は、撮影画像の明るさに対応する明るさ情報を算出する。明るさ情報算出部５４が算出する明るさ情報は、撮影画像の輝度情報であってもよく、撮影画像の明度情報であっても良く、輝度情報と明度情報の両方であってもよい。

明るさ情報算出部５４は、例えば以下の式（１）を用いて、撮影画像における各画素のＲＧＢ値から各画素の輝度値Ｙを算出する。

また、明るさ情報算出部５４は、画素の輝度値Ｙから、撮影画像に対応する輝度平面を生成する。したがって、明るさ情報算出部５４が算出する輝度情報は、各画素の輝度値Ｙや、各画素の位置および輝度値Ｙによって構成される輝度平面を含む。

明るさ情報算出部５４は、輝度情報の代わりに、あるいは輝度情報とあわせて、明度情報を算出してもよい。明度情報は、ＲＧＢデータをＨＳＶ変換することによって得られる。ＨＳＶ変換は、ＲＧＢデータを色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）および明度（Ｖａｌｕｅ）に変換するものである。撮影画像における各画素の明度値Ｖ、色相値Ｈ、および彩度値Ｓは、各画素のＲＧＢ値から、以下の式（２−１）〜式（２−１０）によって求めることができる。

なお、式（２−３）〜（２−５）で変換された結果、Ｈ＜０の時には、Ｈに２πを加える。また、Ｖｍａｘ＝０の時は、Ｓ＝０，Ｈ＝不定となる。

明るさ情報算出部５４は、上記の式（２−１）および（２−６）を用いて、撮影画像における各画素のＲＧＢ値から各画素の明度値Ｖを算出する。また、明るさ情報算出部５４は、画素の明度値Ｖから、撮影画像平面に対応する明度平面を生成する。したがって、明るさ情報算出部５４が算出する明度情報は、各画素の明度値Ｖや、各画素の位置および明度値Ｖによって構成される明度平面を含む。

彩度情報算出部５６は、撮影画像の彩度に対応する彩度情報を算出する。彩度情報算出部５６は、例えば上記の式（２−２）、（２−６）および（２−７）を用いて、撮影画像における各画素のＲＧＢ値から、各画素の彩度値Ｓを算出する。また、彩度情報算出部５６は、画素の彩度値Ｓから、撮影画像平面に対応する彩度平面を生成する。したがって、彩度情報算出部５６が算出する彩度情報は、各画素の彩度値Ｓや、各画素の位置および彩度値Ｓによって構成される彩度平面を含む。

色相情報算出部５８は、撮影画像の色相に対応する色相情報を算出する。色相情報算出部５８は、例えば上記の式（２−３）〜（２−５）および（２−６）〜（２−１０）を用いて、撮影画像における各画素のＲＧＢ値から、各画素の色相値Ｈを算出する。また、色相情報算出部５８は、画素の色相値Ｈから、撮影画像平面に対応する色相平面を生成する。したがって、色相情報算出部５８が算出する色相情報は、各画素の色相値Ｈや、各画素の位置および色相値Ｈによって構成される色相平面を含む。

明るさ勾配情報算出部６０は、明るさ情報算出部５４で算出された輝度平面や明度平面から、撮影画像の明るさの勾配に対応する明るさ勾配情報を算出する。明るさ勾配情報算出部６０で算出される明るさ勾配情報としては、輝度勾配情報や明度勾配情報が挙げられる。

この場合、明るさ勾配情報算出部６０は、逆γ補正部４０によって逆γ補正された輝度平面や明度平面から、明るさ勾配情報を算出することが好ましい。撮影画像は、表示装置等にあわせてγ補正された状態で保存されていることが多いため、画像入力部２８を介して演算部３８に入力される撮影画像についても、γ補正が施されている可能性が高い。したがって、逆γ補正部４０が輝度平面や明度平面を逆γ補正することによって、これらの明るさ情報を、ＲＡＷデータが有する本来の明るさ情報に近づけることが可能である。

逆γ補正前の輝度平面および明度平面をＹＰ１，ＶＰ１とし、逆γ補正後の輝度平面および明度平面をＹＰ２，ＶＰ２とすると、逆γ補正部４０で行われる逆γ補正は、以下の式（３−１），（３−２）で表される。

明るさ勾配情報算出部６０は、例えば明度平面ＶＰ２から、撮影画像内の各位置（画素）における明度勾配値Ｖｇｒａｄ（ｉ，ｊ）を算出する。明るさ勾配情報算出部６０は、明度平面ＶＰ２に対して、縦方向、横方向の微分フィルタをかけ、縦方向の差分Δｙｆ（ｉ，ｊ）および横方向の差分Δｘｆ（ｉ，ｊ）を算出し、算出された差分を用いて、各位置の明度勾配値Ｖｇｒａｄ（ｉ，ｊ）を算出する。明度平面ＶＰ２に含まれる各画素の明度値ＶをＶ（ｉ，ｊ）とすると、明度勾配値Ｖｇｒａｄ（ｉ，ｊ）は、以下の式（４−１）〜（４−３）によって算出される。

なお、式（４−１）〜（４−３）におけるｉは、画素の横方向の位置を表しており、ｊは、画素の縦方向の位置を表している。明るさ勾配情報算出部６０は、各位置の明度勾配値Ｖｇｒａｄ（ｉ，ｊ）から、撮影画像平面に対応する明度勾配平面を生成する。したがって、明るさ勾配情報算出部６０が算出する明度勾配情報には、明度勾配値Ｖｇｒａｄ（ｉ，ｊ）や明度勾配平面が含まれる。

また、明るさ勾配情報算出部６０は、明度勾配情報に代えて、あるいは明度勾配情報に加えて、輝度平面ＹＰ２から、輝度勾配情報を算出することができる。輝度勾配情報には、輝度勾配値Ｙｇｒａｄ（ｉ，ｊ）や輝度勾配平面が含まれる。輝度勾配情報の算出方法は、上述した明度勾配情報と同様である。

領域算出部６２は、異物が写りこんでいるか否かを検出するための検出領域を算出する。領域算出部６２は、例えば明るさ勾配情報算出部６０で算出された明るさ勾配情報を用いて、検出領域を算出することができる。

検出領域は、撮影画像の一部であれば特に限定されないが、異物が写りこんでいる可能性が高い領域を、検出領域とすることが好ましい。ここで、明るさ勾配情報算出部６０において算出された明度勾配平面において、被写体エッジに相当する部分や異物が写りこんでいる部分は、明度勾配値Ｖｇｒａｄ（ｉ，ｊ）が相対的に大きい傾向にある。それに対して、空や被写体の内部などに対応する部分は、明度勾配値Ｖｇｒａｄ（ｉ，ｊ）が相対的に小さい傾向にある。

そこで、本実施形態に係る領域算出部６２は、明度勾配平面を二値化した二値化画像を算出し、明度勾配値Ｖｇｒａｄ（ｉ，ｊ）が高い画素が連結している連結領域を、検出領域とすることができる。すなわち、領域算出部６２は、明度勾配平面に対して所定の閾値を設定し、その閾値より高い明度勾配値を有する画素の値を「１」に置き換え、その閾値より低い明度勾配値を有する画素の値を「０」に置き換えることによって、二値化画像を算出する。

さらに、領域算出部６２は、算出された二値化画像から、値が「１」である画素を抽出し、値が「１」である画素を検出領域とする。領域算出部６２は、値が「１」である画素同士が連結していれば、それらの画素の集まりを、一つの検出領域として特定する。反対に、領域算出部６２は、値が「１」である１つの画素集合が、値が「１」である他の画素集合に対して、値が「１」である画素によって連結されていなければ、これらの２つの領域を、別の検出領域として特定する。

領域算出部６２は、上述のように、明度勾配平面から検出領域を算出してもよいが、それ以外にも、明るさ情報算出部５４で算出された輝度勾配平面から、検出領域を算出することもできる。領域算出部６２は、明度勾配平面と同様に、輝度勾配平面から二値化画像を算出することによって、検出領域を算出することができる。

異物判断部４８は、情報算出部４６で算出された各情報を用いて、それぞれの検出領域が、撮影画像に写りこんだ異物に対応する部分であるか否かを判断する。異物判断部４８は、第１判断部６４、第２判断部６６、第３判断部６８および第４判断部７０を含む。第１〜第４判断部６４〜７０は、互いに異なる判断基準を用いて、判断の対象となっている検出領域が、撮影画像に写りこんだ異物に対応する部分であるか否かを判断する。

第１判断部６４は、判断の対象となっている検出領域の大きさに基づいて、その検出領域が、画像に写りこんだ異物に対応する部分であるか否かを判断する。本実施形態に係る画像処理装置において、異物判断部４８における判断の対象となる検出領域およびその大きさは、明るさ勾配情報算出部６０で算出された明るさ勾配情報を用いて、領域算出部６２で算出される。したがって、例えば領域算出部６２が輝度勾配平面から検出領域を算出している場合、第１判断部６４は、各画素の輝度勾配値等の情報を用いて判断を行う。また、領域算出部６２が明度勾配平面から検出領域を算出している場合、第１判断部６４は、各画素の明度勾配値等の情報を用いて判断を行う。

第１判断部６４は、領域算出部６２で算出された検出領域の大きさが所定の範囲であれば、その検出領域は画像に写りこんだ異物に対応する部分であると、判断することができる。また、第１判断部６４は、領域算出部６２で算出された検出領域の大きさが、所定の範囲を超えて大きいか、あるいは所定の範囲より小さければ、その検出領域は画像に写りこんだ異物に対応する部分ではないと、判断することができる。

第１判断部６４において異物が写りこんだ領域であると判定される大きさの範囲は、撮影画像の大きさや撮影条件等に応じて設定されるが、例えば下限値は２５画素、上限値は３００画素とすることができる。

第２判断部６６は、検出領域の彩度に対応する彩度情報を用いて、その検出領域が画像に写りこんだ異物に対応する部分であるか否かを、判断する。第２判断部６６は、彩度情報算出部５６で算出された彩度値Ｓ、および彩度平面を用いて、その検出領域が画像に写りこんだ異物に対応する部分であるか否かを、判断する。本実施形態に係る第２判断部６６は、検出領域の彩度に対応する第１彩度情報と、検出領域の周辺の領域の彩度に対応する第２彩度情報との差異を調査する。第２判断部６６は、第１彩度情報と第２彩度情報との差異が予め定められた範囲にあるとき、判断の対象となっている検出領域が異物に対応する部分であると判断する。また、第２判断部６６は、第１彩度情報と第２彩度情報との差異が予め定められた範囲でないとき、判断の対象となっている検出領域が異物に対応する部分でないと判断してもよい。

ここで、第１彩度情報は、例えば、検出領域に含まれる画素の彩度値Ｓの平均値とすることができる。また、第２彩度情報は、検出領域の周辺の領域の画素の彩度値Ｓの平均値とすることができる。なお、検出領域の周辺の領域は、例えば、検出領域の周辺を当該検出領域の外周に接触しながら取り囲む領域であって、検出領域と同程度の面積を有する領域であると規定することができる。

第２判断部６６が、判断の対象となる検出領域を、異物が写りこんだ領域であると判断する数値範囲は特に限定されない。また、異物が写りこんだ領域であると判断する数値範囲は、彩度値Ｓの差の大きさ（絶対値）で規定されていてもよく、第１彩度情報と第２彩度情報の値の比で規定されていてもよい。

例えば、第２判断部６６は、検出領域に含まれる画素の彩度値Ｓの平均値Ｓ１が、検出領域の周辺の領域の画素の彩度値Ｓの平均値Ｓ２の０．９５〜２倍である場合に、判断の対象となる検出領域を異物が写りこんだ領域であると判断する。ゴミではなく、被写体として画像に写っている像は、彩度情報に強く情報を残し、その反対に、異物が写りこんだ像は、彩度にほとんど影響を残さないからである。したがって、検出領域にゴミが写りこんでいなければ、第１彩度情報と第２彩度情報の差異は大きく、その反対に、検出領域にゴミが写りこんでいれば、第１彩度情報と第２彩度情報の差異は小さい。

第２判断部６６は、上述のように彩度情報を用いて判断を行うだけでなく、それに加えて、検出領域の明るさに対応する明るさ情報を用いて、その検出領域が画像に写りこんだ異物に対応する部分であるか否かを、判断してもよい。明るさ情報を用いて判断を行う場合、第２判断部６６は、明るさ情報算出部５４で算出された明度値Ｖ、および明度平面を用いて、その検出領域が画像に写りこんだ異物に対応する部分であるか否かを、判断することができる。また、第２判断部６６は、明るさ情報算出部５４で算出された輝度値Ｙ、および輝度平面を用いて、その検出領域が画像に写りこんだ異物に対応する部分であるか否かを、判断してもよい。

本実施形態に係る第２判断部６６は、例えば、検出領域の明度に対応する第１明度情報と、検出領域の周辺の領域の明度に対応する第２明度情報との差異を調査する。第２判断部６６は、第１明度情報と第２明度情報との差異が予め定められた範囲にないとき、判断の対象となっている検出領域が異物に対応する部分であると判断する。

ここで、第１明度情報は、例えば、検出領域に含まれる画素の明度値Ｖの平均値とすることができる。また、第２明度情報は、検出領域の周辺の領域の画素の明度値Ｖの平均値とすることができる。例えば、第２判断部６６は、検出領域に含まれる画素の明度値Ｖの平均値Ｖ１が、検出領域の周辺の領域の画素の明度値Ｖの平均値Ｖ２の０．９７５倍未満である場合に、判断の対象となる検出領域を異物が写りこんだ領域であると判断する。異物の写りこみは、彩度や色相にほとんど影響を残さないが、明るさに強く情報を残すからである。

さらに、第２判断部６６は、彩度情報を用いた判断に加えて、検出領域の色相に対応する色相情報を用いて、その検出領域が画像に写りこんだ異物に対応する部分であるか否かを、判断してもよい。色相情報を用いて判断を行う場合、第２判断部６６は、色相情報算出部５８で算出された色相値Ｈ、および色相平面を用いて、その検出領域が画像に写りこんだ異物に対応する部分であるか否かを、判断することができる。

本実施形態に係る第２判断部６６は、例えば、検出領域の色相に対応する第１色相情報と、検出領域の周辺の領域の色相に対応する第２色相情報との差異を調査する。第２判断部６６は、第１色相情報と第２色相情報との差異が予め定められた範囲であるとき、判断の対象となっている検出領域が異物に対応する部分であると判断する。

ここで、第１色相情報は、例えば、検出領域に含まれる画素の色相値Ｈの平均値とすることができる。また、第２色相情報は、検出領域の周辺の領域の画素の色相値Ｈの平均値とすることができる。例えば、第２判断部６６は、検出領域に含まれる画素の色相値Ｈの平均値Ｈ１が、検出領域の周辺の領域の画素の色相値Ｈの平均値Ｈ２の０．９４〜１．０６倍である場合に、判断の対象となる検出領域を異物が写りこんだ領域であると判断する。ゴミではなく、被写体として画像に写っている像は、色相情報に強く情報を残し、その反対に、異物が写りこんだ像は、色相にほとんど影響を残さないからである。

第３判断部６８は、検出領域の周辺の領域の明るさに対応する第２明度情報等が、予め定められた範囲でないとき、判断の対象となっている検出領域が異物に対応する部分でないと判断する。また、第３判断部６８は、検出領域の周辺の領域の明度に対応する第２明度情報が、予め定められた範囲にあるとき、判断の対象となっている検出領域が異物に対応する部分であると判断する。第３判断部６８が用いる明るさ情報としては、検出領域の周辺の領域の画素の明度値Ｖの平均値である第２明度情報や、検出領域の周辺の領域の画素の輝度値Ｙの平均値である第２輝度情報等が挙げられる。

例えば、第３判断部６８は、検出領域の周辺の領域に含まれる画素の明度値Ｖの平均値Ｖ２が、６０以下である場合には、前記検出領域が異物に対応する部分でないと判断する。検出領域の周辺の領域の明るさが所定の値より低い場合は、たとえ検出領域に異物が写りこんでいたとしても、異物の写りこみが画像に与える影響が小さいと考えられるからである。

第４判断部７０は、検出領域の周辺の領域における明るさの標準偏差が、予め定められた範囲でないとき、判断の対象となっている検出領域が異物に対応する部分でないと判断する。また、第４判断部７０は、検出領域の周辺の領域における明るさの標準偏差が、予め定められた範囲であるとき、判断の対象となっている検出領域が異物に対応する部分でないと判断する。ここで、検出領域の周辺の領域における明るさの標準偏差としては、検出領域の周辺の領域の画素の明度値Ｖの標準偏差や、検出領域の周辺の領域の画素の輝度値Ｙの標準偏差が挙げられる。

例えば、第４判断部７０は、検出領域の周辺の領域に含まれる画素の明度値Ｖ（ｉ，ｊ）と、検出領域の周辺の領域に含まれる画素の明度値Ｖ（ｉ，ｊ）の平均値Ｖ２から、検出領域の周辺の領域における明るさの標準偏差Ｖｓｔｄを、以下の式（５）を用いて算出する。

なお、式（５）におけるｎは、検出領域の周辺の領域に含まれる画素数である。第４判断部７０において、検出領域に異物が写りこんでいるか否かを判断するための閾値は、撮影画像の撮影条件によって適宜設定される。例えば、第４判断部７０は、検出領域の周辺の領域における明るさの標準偏差Ｖｓｔｄが、０．６以上である場合は、その検出領域は画像に写りこんだ異物に対応する部分ではないと、判断することができる。検出領域の周辺の領域における明るさの標準偏差が大きい場合は、検出領域における高い明度勾配値または輝度勾配値が、異物の写りこみによるものではなく、被写体光によるものである可能性が高いからである。

第４判断部７０は、検出領域の周辺の領域に含まれる画素の輝度値Ｙから、検出領域の周辺の領域における明るさの標準偏差を算出しても良い。第４判断部７０は、輝度情報から算出した標準偏差を用いた場合でも、明度情報から標準偏差を算出した場合と同様に、判断の対象となっている検出領域が異物に対応する部分であるか否かを判断することができる。

上述のように、異物判断部４８に含まれる第１〜第４判断部６４〜７０は、それぞれ独立に、判断の対象となる検出領域が画像に写りこんだ異物に対応する部分であるか否かを判断することができる。異物判断部４８は、第１〜第４判断部６４〜７０の判断結果を、すべて検出修正部４４および異物画像補正部５０に出力することができる。また、異物判断部４８は、第１〜第４判断部６４〜７０の判断結果を用いて、各検出領域に異物が写りこんでいるか否かを総合的に判断し、総合的な判断結果を、検出修正部４４および異物画像補正部５０に出力してもよい。

例えば、異物判断部４８は、１以上の第１〜第４判断部６４〜７０が、判断の対象となっている検出領域は異物に対応する部分でないと判断した場合は、判断の対象となっている検出領域は異物に対応する部分でないという総合判断を行う。あるいは、異物判断部４８は、すべての第１〜第４判断部６４〜７０が、判断の対象となっている検出領域が異物に対応する部分であると判断した場合は、判断の対象となっている検出領域が異物に対応する部分であるという総合判断を行う。

異物画像補正部５０は、異物判断部４８での判断結果や、情報算出部４６で算出されたデータを用いて、撮影画像に写りこんだ異物に対応する部分に対して、異物の影響を低減する補正を行う。また、異物画像補正部５０は、異物判断部４８での判断結果の代わりに、検出修正部４４によって修正された判断結果である修正結果に基づき、撮影画像から異物の影響を低減する補正を行っても良い。

検出修正部４４は、操作信号入力部３２を介して演算部３８に入力された操作信号に応じて、異物判断部４８の判断を修正することができる。例えば、検出修正部４４は、異物判断部４８の第１〜第４判断部６４〜７０で使用される閾値のうち、少なくとも一つを、操作信号に応じて変更する。これにより、検出修正部４４は、検出領域が異物に対応する部分であるか否かを再判断し、異物判断部４８の判断を修正できる。

図５は、検出修正部４４による判断の修正過程を表した概念図である。図５は、領域算出部６２で算出された検出領域を、検出領域の大きさと、検出領域内外の明度比（第１明度情報と第２明度情報の比）とに応じてプロットしたものである。図５における丸印９８および三角印９６は、それぞれ１つの検出領域に対応する。なお、丸印９８は、検出修正部４４によって異物に対応する部分であると再判断される検出領域に対応している。また、三角印９６は、検出修正部４４によって異物に対応する部分でないと再判断される検出領域に対応している。

図５に示す例では、図２に示す検出修正部４４が、第１判断部６４で行われた判断（検出領域の大きさによる判断）と、第２判断部６６で行われた判断（検出領域の明度と検出領域の周辺の領域の明度との差異に基づく判断）とを修正する。検出修正部４４は、操作信号に基づいて、検出領域の大きさに関する閾値Ｃ１や、検出領域内外の明度比に関する閾値Ｃ２を変更することができる。検出領域の大きさに関する閾値Ｃ１や、検出領域内外の明度比に関する閾値Ｃ２が、検出感度に大きな影響を有するからである。

ここで、図５において三角印９６および丸印９８で表される検出領域は、矢印１１１で示す左上方向にプロットされているものほど、撮影画像により顕著な影響を与えている異物に対応する部分であると考えられる。なぜなら、検出領域が大きく、かつ、周辺領域に対する明度の差異が大きい（明度比（第１明度情報／第２明度情報）が小さい）検出領域ほど、目立ち易いからである。反対に、矢印１１３で示す右下方向にプロットされている検出領域ほど、撮影画像に与える影響が少ないと考えられる。異物と判断される検出領域の大きさが小さく、周辺領域に対する明度の差異が小さいものほど、目立ちにくいからである。

図２に示す検出修正部４４は、入力部３２からの操作信号に応じて図５に示す閾値Ｃ１を増加させる方向に変化させることによって、閾値Ｃ１より大きい検出領域のみを異物に対応する部分であると再判断し、異物の誤検出を低下させることができる。その反対に、検出修正部４４は、入力部３２からの操作信号に応じて図５に示す閾値Ｃ１を減少させる方向に変化させることによって、異物の検出もれを低下させることができる。また、検出修正部４４は、操作信号に応じて閾値Ｃ２を増減させることによって、閾値Ｃ１の場合と同様に、検出感度を調整することができる。

検出修正部４４は、閾値Ｃ１と閾値Ｃ２の値を独立に変化させてもよいが、例えば閾値Ｃ１および閾値Ｃ２を変数とする所定の関数（一次関数等）を用いて、閾値Ｃ１と閾値Ｃ２とを１つのパラメータに従って変化させてもよい。検出修正部４４が変更する閾値は、検出領域の大きさに関する閾値Ｃ１や、検出領域内外の明度比に関する閾値Ｃ２に限定されない。

例えば、検出修正部４４が変更する閾値は、第２判断部６６の彩度値Ｓに関する閾値や、第２判断部６６の輝度値Ｙに関する閾値や、第２判断部６６の色相値Ｈに関する閾値や、第３判断部６８における周辺領域の明度値Ｖに関する閾値や、第４判断部７０における周辺領域の明るさの標準偏差Ｖｓｔｄに関する閾値であってもよい。また、検出修正部４４は、領域算出部６２における明度勾配値Ｖｇｒａｄ（ｉ，ｊ）に関する閾値を変更することによって、情報算出部４６および異物判断部４８における算出結果および判断結果を変更してもよい。検出修正部４４は、これらの閾値を変更して異物判断部４８での判断結果を修正する。これによって、本実施形態に係る画像処理装置は、使用者の好みに合わせた異物検出を行うことができる。

検出修正部４４は、撮影画像に重ねて、異物判断部４８での判断結果や、検出修正部４４によって異物に対応する部分であると再判断される検出領域の位置を、表示部３６に表示させてもよい。これによってカメラ１０の使用者は、画像処理装置による異物の検出感度を視覚的に認識しながら、好みに応じた判断修正を、検出修正部４４に実施させることができる。また、検出修正部４４には、検出領域が異物に対応する部分であるか否かの判断を、撮影画像における検出領域の位置を使用者が直接指定して修正する操作信号が、入力されてもよい。これにより、検出修正部４４は、より使用者の好みに応じた判断修正を行うことができる。

また、検出修正部４４は、修正した判断基準である修正判断基準や、図５に示すような検出領域のデータに検出修正部４４の判断を対応させたデータ（異物マップ）を、記憶部３０に出力しても良い。修正判断基準には、上述の閾値Ｃ１と閾値Ｃ２の値が含まれる。また、検出領域のデータに検出修正部４４の判断結果を対応させたデータは、図５に示すような検出領域の分類と、検出領域の大きさや明度比の値と、検出領域の位置が含まれる。記憶部３０は、検出修正部４４によって修正された修正判断基準や、検出領域のデータを記憶し、必要に応じて、判断基準変更部４２に出力することができる。

判断基準変更部４２は、修正判断基準に基づき、異物判断部４８における第１〜第４判断部６４〜６８が判断を行う際の判断基準である初期判断基準を、変更することができる。判断基準変更部４２は、異物判断部４８の初期判断基準を、修正判断基準に近づけるように、変更することができる。

初期判断基準は、検出修正部４４の修正前において異物判断部４８が行う判断に関する判断基準である。修正判断基準は、検出修正部４４よる修正判断の際に用いられた判断基準である。したがって、判断基準変更部４２は、異物判断部４８の初期判断基準を、カメラ１０の使用者の好みに近づけることができる。これにより、本実施形態に係る画像処理装置は、使用者の好みに応じた異物検出を効率的に行うことができる。なお、判断基準変更部４２は、記憶部３０に記憶された複数の修正判断基準の平均値を算出し、修正判断基準の平均値に基づいて、異物判断部４８の初期判断基準を、変更してもよい。

また、判断基準変更部４２は、検出領域のデータに検出修正部４４の判断結果を対応させたデータを、複数回の判断にわたって蓄積した蓄積データを用いて、異物判断部４８の初期判断基準を変更してもよい。例えば、判断基準変更部４２は、異物に対応する部分であると判断された検出領域（図５の丸印９８）の割合が、異物に対応する部分でないと判断された検出領域（図５の三角印９６）の割合より大きい範囲を、異物マップの蓄積データから算出する。そして、判断基準変更部４２は、異物マップの蓄積データから算出された範囲に基づいて、異物判断部４８の初期判断基準を変更する。これにより、判断基準変更部４２は、異物判断部４８の初期判断基準を、カメラ１０の使用者の好みに近づけることができる。

異物画像補正部５０は、異物判断部４８での判断や、検出修正部４４によって修正された判断に基づき、撮影画像に写りこんだ異物に対応する部分に対して、異物の影響を低減する画像補正を行う。本実施形態に係る異物画像補正部５０は、第１画像補正部７４と、第２画像補正部７６と、第３画像補正部７８とを有する。

第１画像補正部７４は、明るさ情報算出部５４で算出された明度情報を用いて、撮影画像に写りこんだ異物に対応する部分に対して、当該異物の影響を低減する第１補正を行うことができる。第１画像補正部７４は、明るさ情報算出部５４で算出された各画素の明度値Ｖおよび明度平面を用いて、第１画像補正を行う。

第１画像補正部７４は、局所的な明度値Ｖの規格化（正規化）処理を行って、補正対象となる検出領域について、明度透過率信号ＶＴ（ｉ，ｊ）を算出し、補正対象となる検出領域についての明度透過率マップ（明度ゲインマップ）を生成する。ここで、第１画像補正部７４において補正対象となる検出領域は、異物判断部４８または検出修正部４４において、異物に対応する部分であると判断された検出領域である。

明度透過率信号ＶＴ（ｉ，ｊ）は、検出領域における着目画素（ｉ，ｊ）の明度値Ｖ（ｉ，ｊ）と、着目画素（ｉ，ｊ）を含む局所範囲の明度値の平均値との相対比を演算することによって算出される。本実施形態における第１画像補正部７４は、以下の式（６）によって、明度透過率信号ＶＴ（ｉ，ｊ）を算出することができる。

式（６）において、αおよびβは、局所平均を取る範囲に相当する。αは、着目画素（ｉ，ｊ）を中心に左右に広がる画素数、βは着目画素（ｉ，ｊ）を中心に上下に広がる画素数を表している。明度透過率信号ＶＴ（ｉ，ｊ）の算出において、局所平均を取る範囲は、想定される異物写りこみ領域の３倍程度に設定することができるが、特に限定されない。例えば、第１画像補正部７４は、明度透過率信号ＶＴ（ｉ，ｊ）の算出において、画素数αおよびβの値を、α＝３６〜５５、β＝３６〜５５とすることができる。

図４は、第１画像補正部７４において行われる明度透過率マップの生成を説明した概念図である。図４（ａ）は、撮影画像の明度平面における左右方向の明度値Ｖの変化を表したものである。図４（ａ）に示す明度平面（曲線）８１には、明度値Ｖが周辺部分に対して低く、明度勾配値Ｖｇｒａｄ（ｉ，ｊ）が大きい落ち込み部８２，８４が存在する。図４（ａ）において、第１画像補正部７４の補正対象となる検出領域は、落ち込み部８２，８４に対応する検出領域Ａと検出領域Ｂである。

図２に示す第１画像補正部７４は、図４（ａ）に示す明度平面（曲線）の検出領域Ａに含まれる各画素と、検出領域Ｂに含まれる各画素について、明度透過率信号ＶＴ（ｉ，ｊ）を算出する。図４（ｂ）は、図４（ａ）に示す明度平面（曲線）から算出された明度透過率マップを表している。図４（ａ）に示す明度平面における落ち込み部８２，８４は、局所的な規格化処理により、異物による明度低下のみが抽出され、図４（ｂ）に示す明度透過率マップでは、明度透過率の落ち込み部８２ａ，８２ｂに置き換えられている。このようにして、第１画像補正部７４は、異物に対応する部分であると判断された検出領域について、明度透過率マップを生成する。第１画像補正部７４は、それぞれの検出領域についてゲインマップを生成することによって、第１画像補正の補正量である第１補正量（明度ゲイン）を、それぞれの検出領域ごとに独立に算出してもよい。

さらに、第１画像補正部７４は、各検出領域の位置情報と、各検出領域の明度透過率マップを用いて、撮影画像に写りこんだ異物に対応する部分について、異物の影響を低減もしくは除去する第１画像補正を実施する。第１画像補正部７４は、検出領域に含まれる各画素の明度値Ｖ（ｉ，ｊ）に、明度透過率信号ＶＴ（ｉ，ｊ）の逆数を掛け算して、ゲイン補正を行う。すなわち、第１画像補正部７４は、撮影画像に写りこんだ異物に対応する検出領域に含まれる画素の明度値Ｖをゲイン補正し、異物の写りこみによる明度の変化を低減もしくは除去する。例えば、第１画像補正部７４は、以下の式（７）を用いて、補正された明度値ＶＣ（ｉ，ｊ）を算出する。

このように、第１画像補正部７４は、検出領域の明度値Ｖ（ｉ，ｊ）を、上述のゲイン補正された明度値ＶＣ（ｉ，ｊ）に置き換えることによって、撮影画像の明度平面を補正する。これにより、第１画像補正部７４は、異物の写りこみによる明度の変化を、撮影画像から低減もしくは除去することができる。

第２画像補正部７６は、彩度情報算出部５６で算出された彩度情報を用いて、撮影画像に写りこんだ異物に対応する部分に対して、当該異物の影響を低減する第２画像補正を行うことができる。第２画像補正部７６は、彩度情報算出部５６で算出された各画素の彩度値Ｓおよび彩度平面を用いて、第２画像補正を行う。

第２画像補正部７６は、第１画像補正部７４と同様に、局所的な彩度値Ｓの規格化（正規化）処理を行って、補正対象となる検出領域について、彩度透過率信号ＳＴ（ｉ，ｊ）を算出し、補正対象となる検出領域についての彩度透過率マップ（彩度ゲインマップ）を生成する。第２画像補正部７６において補正対象となる検出領域は、第１画像補正部７４と同様に、異物判断部４８または検出修正部４４において、異物に対応する部分であると判断された検出領域である。

彩度透過率信号ＳＴ（ｉ，ｊ）の算出式は、式（６）における明度透過率信号ＶＴ（ｉ，ｊ）および明度値Ｖ（ｉ，ｊ）を、彩度透過率信号ＳＴ（ｉ，ｊ）および彩度値Ｓ（ｉ，ｊ）に置き換えたものを用いることができる。また、第２画像補正部７６は、第１画像補正部７４と同様に、異物に対応する部分であると判断された検出領域について、彩度透過率マップを生成する。第２画像補正部７６は、それぞれの検出領域についてゲインマップを生成することによって、第２画像補正の補正量である第２補正量（彩度ゲイン）を、それぞれの検出領域ごとに独立に算出してもよい。

第２画像補正部７６は、第１画像補正部７４と同様に、各検出領域の位置情報と、各検出領域の彩度透過率マップを用いて、撮影画像に写りこんだ異物に対応する部分について、異物の影響を低減もしくは除去する第２画像補正を実施する。第２画像補正部７６は、検出領域に含まれる各画素の彩度値Ｓ（ｉ，ｊ）に、彩度透過率信号ＳＴ（ｉ，ｊ）の逆数を掛け算して、ゲイン補正を行う。例えば、第２画像補正部７６は、以下の式（８）を用いて、補正された彩度値ＳＣ（ｉ，ｊ）を算出する。

このように、第２画像補正部７６は、検出領域の彩度値Ｓ（ｉ，ｊ）を、上述のゲイン補正された彩度値ＳＣ（ｉ，ｊ）に置き換えることによって、撮影画像の彩度平面を補正する。これにより、第２画像補正部７６は、異物の写りこみによる彩度の変化を、撮影画像から低減もしくは除去することができる。

第３画像補正部７８は、色相情報算出部５８で算出された色相情報を用いて、撮影画像に写りこんだ異物に対応する部分に対して、当該異物の影響を低減する第３画像補正を行うことができる。第３画像補正部７８は、色相情報算出部５８で算出された各画素の色相値Ｈおよび色相平面を用いて、第３画像補正を行う。

第３画像補正部７８は、第１画像補正部７４と同様に、局所的な色相値Ｈの規格化（正規化）処理を行って、補正対象となる検出領域について、色相透過率信号ＨＴ（ｉ，ｊ）を算出し、補正対象となる検出領域についての色相透過率マップ（色相ゲインマップ）を生成する。第３画像補正部７８において補正対象となる検出領域は、第１画像補正部７４と同様に、異物判断部４８または検出修正部４４において、異物に対応する部分であると判断された検出領域である。

色相透過率信号ＨＴ（ｉ，ｊ）の算出式は、式（６）における明度透過率信号ＶＴ（ｉ，ｊ）および明度値Ｖ（ｉ，ｊ）を、色相透過率信号ＨＴ（ｉ，ｊ）および色相値Ｈ（ｉ，ｊ）に置き換えたものを用いることができる。また、第３画像補正部７８は、第１画像補正部７４と同様に、異物に対応する部分であると判断された検出領域について、色相透過率マップを生成する。第３画像補正部７８は、それぞれの検出領域についてゲインマップを生成することによって、第３画像補正の補正量である第３補正量（色相ゲイン）を、それぞれの検出領域ごとに独立に算出してもよい。

第３画像補正部７８は、第１画像補正部７４と同様に、各検出領域の位置情報と、各検出領域の色相透過率マップを用いて、撮影画像に写りこんだ異物に対応する部分について、異物の影響を低減もしくは除去する第３画像補正を実施する。第３画像補正部７８は、検出領域に含まれる各画素の色相値Ｈ（ｉ，ｊ）に、色相透過率信号ＨＴ（ｉ，ｊ）の逆数を掛け算して、ゲイン補正を行う。例えば、第３画像補正部７８は、以下の式（９）を用いて、補正された色相値ＨＣ（ｉ，ｊ）を算出する。

このように、第３画像補正部７８は、検出領域の色相値Ｈ（ｉ，ｊ）を、上述のゲイン補正された色相値ＨＣ（ｉ，ｊ）に置き換えることによって、撮影画像の色相平面を補正する。これにより、第３画像補正部７８は、異物の写りこみによる色相の変化を、撮影画像から低減もしくは除去することができる。

異物画像補正部５０は、例えば色補正判断部５２が、現在補正しようとしている撮影画像が、例えばＪＰＥＧ画像のように、非線形補正が施されている画像であると判断した場合は、第１〜第３画像補正部７４〜７８による第１〜第３画像補正によって撮影画像を補正するＨＳＶ補正を行う。
第１〜第３画像補正部７４〜７８によるＨＳＶ補正は、撮影画像をＨＳＶ変換し、明度平面、彩度平面、色相平面のそれぞれについて別個にゲインマップを作成し、画像補正を行う。したがって、第１〜第３画像補正部７４〜７８によるＨＳＶ補正は、撮影画像の色が非線形補正を施されているような場合であっても、異物の写りこみによる色の変化を、周辺部分の色合いと高い整合性を保ちながら補正することができる。

なお、異物画像補正部５０は、例えば色補正判断部５２が、現在補正しようとしている撮影画像が、例えばＲＡＷ画像のように、非線形補正が施されていない画像であると判断した場合は、一般的な輝度のみによる補正（明度のみによる補正でも良い）を行っても良い。

一般的な輝度補正は、たとえば次のようにして行われる。局所的な輝度値Ｙの規格化（正規化）処理を行って、補正対象となる検出領域について、輝度透過率信号ＹＴ（ｉ，ｊ）を算出し、補正対象となる検出領域についての輝度透過率マップ（輝度ゲインマップ）を生成する。輝度透過率信号ＹＴ（ｉ，ｊ）の算出式は、式（６）における明度透過率信号ＶＴ（ｉ，ｊ）および明度値Ｖ（ｉ，ｊ）を、輝度透過率信号ＹＴ（ｉ，ｊ）および輝度値Ｙ（ｉ，ｊ）に置き換えたものを用いることができる。

検出領域に含まれる各画素のＲ値Ｒ（ｉ，ｊ）、Ｇ値Ｇ（ｉ，ｊ）およびＢ値Ｂ（ｉ，ｊ）のそれぞれに、輝度透過率信号ＹＴ（ｉ，ｊ）の逆数を掛け算して、ゲイン補正を行う。例えば、以下の式（１０−１）〜（１０−３）を用いて、補正されたＲ値ＲＣ（ｉ，ｊ）、Ｇ値ＧＣ（ｉ，ｊ）およびＢ値ＢＣ（ｉ，ｊ）を算出する。

このように、検出領域に含まれる各画素のＲＧＢ値を、上述のゲイン補正されたＲ値ＲＣ（ｉ，ｊ）、Ｇ値ＧＣ（ｉ，ｊ）およびＢ値ＢＣ（ｉ，ｊ）に置き換える（一般的な輝度のみによる補正）ことによって、撮影画像を補正してもよい。

なお、一般的な輝度のみによる補正では、式（１０−１）〜（１０−３）に示すように、輝度のゲインマップ（ＹＴ（ｉ，ｊ））のみを用いて補正を行っている。このため、非線形補正された画像に対して、一般的な輝度のみによる補正を行うと、補正後の画素におけるＲＧＢ値（ＲＣ（ｉ，ｊ），ＧＣ（ｉ，ｊ），ＢＣ（ｉ，ｊ））の何れかが、周辺部分の画素におけるＲＧＢ値から離れた値となり、補正痕が発生してしまう場合がある。

また、このような問題は、補正の対象となる撮影画像に強い非線形補正が施されている場合に起こりやすい。しかも撮影画像に対する非線形補正の方式は、カメラなどの撮影装置の機種毎に異なる場合もある。それに対して、本実施形態に係るＨＳＶ補正では、式（７）〜（９）に示すように、明度ゲインマップ、彩度ゲインマップおよび色相ゲインマップをそれぞれ生成して補正を行うので、ゲイン補正される画素は、周辺部分の画素に近い色に補正される。また、ＨＳＶ補正によれば、補正対象となる撮影画像が非線形補正を施されているような場合であっても、補正後の撮影画像に補正痕が発生してしまう問題を防止でき、しかも補正対象となる画像の非線形補正の形式を問わない。すなわち、たとえばＪＰＥＧ以外の非線形補正後の画像に対しても、本実施形態の効果が期待できる。

なお、異物画像補正部５０によるＨＳＶ補正は、第１〜第３画像補正部７４〜７８によって補正された明度平面、彩度平面および色相平面を組み合わせることによって補正後の撮影画像を生成しても良いが、第２画像補正部７４または第３画像補正部７８による画像補正を省略しても良い。すなわち、異物画像補正部５０によるＨＳＶ補正では、彩度平面または色相平面のいずれか一方についてはゲイン補正を行わず、ゲイン補正していない彩度平面または色相平面を、補正後の明度平面等と組み合わせることによって、補正後の撮影画像を生成してもよい。

本実施形態では、第１画像補正部７４を用いた明度による補正（輝度による補正も含む）に、第２画像補正部７６を用いた彩度による補正を組み合わせることで、一般的な輝度のみの補正に比較して、特に非線形補正されている画像に対する異物除去補正の精度が向上する。また、本実施形態では、第１画像補正部７４を用いた明度による補正（輝度による補正も含む）に、第３画像補正部７８を用いた色相による補正を組み合わせることで、一般的な輝度のみの補正に比較して、特に非線形補正されている画像に対する異物除去補正の精度が向上する。

なお、異物画像補正部５０は、ＨＳＶ補正において、第１〜第３画像補正に係る補正量である第１〜第３補正量を、検出領域ごとに独立に算出して行っても良い。検出領域ごとに補正量を算出することによって、本実施形態に係る画像処理装置は、撮影画像全体について補正量を計算する場合に比べて、演算量を抑制することができる。また、異物画像補正部５０の第１画像補正部では、明度情報に代えて、輝度情報を用いて、画像補正を行ってもよいことはもちろんである。

色補正判断部５２は、異物画像補正部５０において異物の影響を除去する補正の対象となっている撮影画像が、カメラ１０における光学系１６による像を光電変換して得られた撮影画像に対して非線形補正が施されたものであるか否かを判断する。色補正判断部５２は、異物画像補正部５０において異物の影響を除去する補正の対象となっている撮影画像が、非線形補正が施されたものであるか否かを判断し、異物画像補正部５０に判断結果を出力する。

異物画像補正部５０は、現在補正しようとしている撮影画像が、色補正判断部５２によって、非線形補正が施されたものであると判断されたとき、第１〜第３画像補正部７４〜７８による上述のＨＳＶ補正を行い、異物画像補正部５０から異物の影響を減少させる補正を行う。その反対に、異物画像補正部５０は、現在補正しようとしている撮影画像が、色補正判断部５２によって、非線形補正が施されたものでないと判断されたとき、第１〜第３画像補正部７４〜７８による画像補正を行わず、一般的な輝度のみによる補正を行い、異物画像補正部５０から異物の影響を減少させる補正を行ってもよい。

また、色補正判断部５２は、異物画像補正部５０において異物の影響を除去する補正の対象となっている撮影画像が施された非線形補正の強弱を判断するものであってもよい。色補正判断部５２は、異物画像補正部５０において異物の影響を除去する補正の対象となっている撮影画像が施された非線形補正の強弱を判断し、異物画像補正部５０に判断結果を出力する。

この場合、異物画像補正部５０は、現在補正しようとしている撮影画像が、色補正判断部５２によって、強い非線系補正が施されたものであると判断されたとき、第１〜第３画像補正部７４〜７８による上述のＨＳＶ補正を行い、異物画像補正部５０から異物の影響を減少させる補正を行う。その反対に、異物画像補正部５０は、現在補正しようとしている撮影画像が、色補正判断部５２によって、弱い非線形補正が施されたものであると判断されたとき、第１〜第３画像補正部７８による画像補正を行わず、一般的な輝度のみによる補正を行い、異物画像補正部５０から異物の影響を減少させる補正を行ってもよい。

記憶部３０は、検出修正部４４によって修正された修正判断基準や、検出領域のデータや、撮影画像の撮影条件等を記憶する。記憶部３０は、不揮発性メモリ等によって構成される。操作信号入力部３２は、撮影画像に写りこんだ異物に対応する部分を特定するために使用者が行った操作に対応する操作信号が入力される入力部である。操作信号入力部３２には、例えば、検出領域の大きさに関する閾値Ｃ１や、検出領域の内外の明度比に関する閾値Ｃ２など、異物判断部４８の第１〜第４判断部６４〜７０で使用される閾値（判断基準）を、変更する旨の操作信号が入力される。

操作信号入力部３２は、例えばカメラ本体部１２（図１参照）に備えられるボタンや、十字キーや、回転式セレクター等など、使用者が画像処理装置に操作信号を入力するためのユーザーインターフェースを含む。検出修正部４４は、操作信号入力部３２を介して演算部３８に入力された操作信号に応じて、異物判断部４８の判断を修正することができる。

撮影条件信号入力部３４には、異物判断部４８において判断される撮影画像や、異物画像補正部５０において画像補正が行われる撮影画像に関する撮影条件が入力される。撮影条件信号入力部３４に入力される撮影条件には、例えば撮影画像を撮影したときの絞り値や撮影感度、撮影画像を撮影したときに使用した光学系の種類や焦点距離等が含まれる。

検出修正部４４は、撮影条件信号入力部３４を介して入力された撮影条件に対応させて、修正した判断基準である修正判断基準や、図５に示すような異物マップに関するデータを、記憶部３０に記憶させることができる。また、判断基準変更部４２は、撮影条件に対応している修正判断基準に基づき、異物判断部４８における第１〜第４判断部６４〜７０が判断を行う際の判断基準である初期判断基準を、撮影条件ごとに変更することができる。使用者の好みに応じた異物検出感度は、撮影条件に応じて変化する場合があり、撮影条件信号入力部３４を含む画像処理装置は、異物判断部４８の初期判断基準を、よりカメラ１０の使用者の好みに近づけることができる。

また、光学フィルタ２０の特定の位置にある異物が付着し続けているような場合、撮影条件が同一であれば、撮影画像の決まった位置に、その異物が写りこみ続ける可能性が高い。したがって、撮影条件に応じて異物マップに関するデータを保存することによって、本実施形態に係る画像処理装置は、使用者が気になる異物の写りこみ位置を容易に特定することができる。

表示部３６は、例えばカメラ本体部１２（図１参照）に備えられる液晶表示装置等によって構成される。表示部３６は、検出修正部４４によって異物に対応する部分であると再判断される検出領域の位置を、撮影画像に重ねて表示することができる。

図３Ａおよび図３Ｂは、図２に示すカメラ１０において行われる画像処理演算の一例を表すフローチャートである。図３Ａは、画像処理演算の前半部分を表しており、図３Ｂは、画像処理演算の後半部分を表している。図３Ａおよび図３Ｂに示すように、画像処理演算には、ステップＳ００３〜ステップＳ００７を含む演算Ｉと、ステップＳ００８〜ステップＳ０１１を含む演算ＩＩと、ステップＳ０１２〜ステップＳ０１６を含む演算ＩＩＩと、ステップＳ０１７〜ステップＳ０２０を含む演算ＩＶとが含まれる。

演算Ｉでは、演算部３８は、明るさ情報や彩度情報など、撮影画像の色に関する情報を算出する演算を実施する。演算ＩＩでは、演算部３８は、演算Ｉで算出された情報を用いて、異物が写りこんでいる位置など、撮影画像に写りこんだ異物に関する異物情報を算出する。また、演算ＩＩでは、演算部３８は、演算Ｉで算出された情報を用いて、撮影画像内の検出領域が、撮影画像内に写りこんだ異物に対応する部分であるか否かを判断する。

演算ＩＩＩでは、演算部３８は、操作信号入力部３２を介して使用者の操作信号を入力し、入力された操作信号に応じて演算ＩＩで行われた判断を修正する演算を行う。演算ＩＶでは、演算部３８は、演算ＩＩまたは演算ＩＩＩでの判断結果に基づいて、異物が写りこんだ検出領域を特定した上で、演算Ｉで算出された情報を用いて、撮影画像に写りこんだ異物に対応する部分に対して、異物の影響を低減する画像補正を行う。演算ＩＶでは、演算部３８は、演算Ｉで算出された明るさ情報を用いて異物の影響を低減する第１画像補正（第１画像補正部７４による画像補正）を行う。さらに、演算ＩＶでは、演算Ｉで算出された彩度情報を用いて異物の影響を低減する第２画像補正（第２画像補正部７６による画像補正）や、演算Ｉで算出された色相情報を用いて異物の影響を低減する第３画像補正（第３画像補正部７８による画像補正）を行う。

図２に示すカメラ１０に搭載された画像処理装置は、図３Ａに示すように、ステップＳ００１において一連の画像処理演算を開始する。ステップＳ００２では、画像入力部２８を介して、撮影部２６で撮影された撮影画像が、演算部３８に入力される。

図６は、符号ａで示す撮影画像の一部である撮影画像ｂ（符号ｂ）を一例に挙げて、図２に示すカメラ１０において行われる画像処理演算を説明したものである。図３Ａに示すステップＳ００２では、撮影画像ｂが、演算部３８に入力される。

図３Ａに示すステップＳ００３〜ステップＳ００７では、図２に示す演算部３８における情報算出部４６が、撮影画像の色に関する情報を算出する。ステップＳ００３では、情報算出部４６の明るさ情報算出部５４が、撮影画像の明るさに対応する明るさ情報を算出する。明るさ情報算出部５４は、撮影画像の輝度平面を算出しても良いし、撮影画像の明度平面を算出してもよいが、図３Ａに示すステップＳ００３において、明るさ情報算出部５４は、先述の式（２−１）および（２−６）を用いて明度平面を算出する。

ステップＳ００３では、情報算出部４６の彩度情報算出部５６が、先述の式（２−２）、（２−６）および（２−７）を用いて、彩度平面を算出する。また、ステップＳ００５では、先述の式（２−３）〜（２−５）および（２−６）〜（２−１０）を用いて、色相平面を算出する。

図６に示すように、ステップＳ００３では、撮影画像ｂから、撮影画像ｂの明度平面ｄ（符号ｄ）が算出される。また、ステップＳ００４では、撮影画像ｂから、撮影画像ｂの彩度平面（不図示）が算出される。さらに、ステップＳ００５では、撮影画像ｂから、撮影画像ｂの色相平面ｃが算出される。

図３Ａに示すステップＳ００６では、情報算出部４６の明るさ勾配情報算出部６０が、撮影画像の明るさの勾配に対応する明るさ勾配情報を算出する。明るさ勾配情報算出部６０は、撮影画像の輝度勾配平面を算出しても良いし、撮影画像の明度勾配平面を算出してもよいが、図３Ａに示すステップＳ００６において、明るさ勾配情報算出部６０は、ステップＳ００３で算出された明度平面のデータおよび先述の式（４）を用いて、明度勾配平面を算出する。

図３Ａに示すステップＳ００７では、情報算出部４６の領域算出部６２が、検出領域を算出する。領域算出部６２は、明るさ勾配情報算出部６０において算出された明度勾配平面を用いて二値化画像を算出し、検出領域を算出する。領域算出部６２は、閾値より高い明度勾配値を有する画素が連結した領域を、一つの検出領域として特定する。

図６に示すように、ステップＳ００６では、撮影画像ｂの明度平面ｄ（符号ｄ）から、撮影画像ｂの明度勾配平面ｅ（符号ｅ）が算出される。また、ステップＳ００７では、明度勾配平面ｅから、二値化画像ｆ（符号ｆ）が算出される。

図３Ａに示すステップＳ００８〜ステップＳ０１１では、図２に示す演算部３８における異物判断部４８が、情報算出部４６で算出された情報を用いて、領域算出部６２によって特定された各検出領域について、当該検出領域が異物に対応する部分であるか否かを判断する。

図３Ａに示すステップＳ００８では、異物判断部４８の第１判断部６４が、判断の対象となっている検出領域の大きさに基づいて、その検出領域が、画像に写りこんだ異物に対応する部分であるか否かを判断する。第１判断部６４は、二値化画像ｆを用いて、検出領域に含まれる画素の数等から検出領域の大きさを算出することができる。また第１判断部６４は、二値化画像ｆに基づいて算出された検出領域の大きさが所定の範囲内になければ、判断の対象となっている検出領域は、異物に対応する部分でないと判断する。

図３Ａに示すステップＳ００９では、異物判断部４８の第２判断部６６が、検出領域の彩度に対応する彩度情報と、検出領域の色相に対応する色相情報と、検出領域の明度に対応する明度情報とを用いて、その検出領域が画像に写りこんだ異物に対応する部分であるか否かを、判断する。

ステップＳ００９において、第２判断部６６は、まず、明るさ情報算出部５４で算出された明度平面を用いて、検出領域の明度に対応する第１明度情報と、検出領域の周辺の領域の明度に対応する第２明度情報との差異を調査する。ステップＳ００９において、第２判断部６６は、検出領域に含まれる画素の明度値Ｖの平均値を第１明度情報とし、検出領域の周辺の領域に含まれる画素の明度値Ｖの平均値を第２明度情報とする。第２判断部６６は、第１明度情報と第２明度情報の比が、予め定められた範囲内でないとき、判断の対象となっている検出領域は、異物に対応する部分でないと判断する。

次に、第２判断部６６は、彩度情報算出部５６で算出された彩度平面を用いて、検出領域の彩度に対応する第１彩度情報と、検出領域の周辺の領域の彩度に対応する第２彩度情報との差異を調査する。ステップＳ００９において、第２判断部は、検出領域に含まれる画素の彩度値Ｓの平均値を第１彩度情報とし、検出領域の周辺の領域に含まれる画素の彩度値Ｓの平均値を第２彩度情報とする。第２判断部６６は、第１彩度情報と第２彩度情報の比が、予め定められた範囲内でないとき、判断の対象となっている検出領域は、異物に対応する部分でないと判断する。

さらに、第２判断部６６は、色相情報算出部５８で算出された色相平面を用いて、検出領域の色相に対応する第１色相情報と、検出領域の周辺の領域の色相に対応する第２色相情報との差異を調査する。ステップＳ００９において、第２判断部６６は、検出領域に含まれる画素の色相値Ｈの平均値を第１色相情報とし、検出領域の周辺の領域に含まれる画素の色相値Ｓの平均値を第２色相情報とする。第２判断部６６は、第１色相情報と第２色相情報の比が、予め定められた範囲内でないとき、判断の対象となっている検出領域は、異物に対応する部分でないと判断する。

図３Ａに示すステップＳ０１０では、異物判断部４８の第３判断部６８が、検出領域の周辺の領域の明るさに対応する明るさ情報を用いて、その検出領域が、画像に写りこんだ異物に対応する部分であるか否かを判断する。第３判断部６８は、明るさ情報算出部５４で算出された明度平面を用いて、検出領域の周辺の領域の明度に対応する第２明度情報を算出する。第３判断部６８は、第２判断部６６と同様に、検出領域の周辺の領域に含まれる画素の明度値Ｖの平均値を第２明度情報とする。第３判断部６８は、第２明度情報が、予め定められた範囲でないとき、判断の対象となっている検出領域が異物に対応する部分でないと判断する。

図３Ａに示すステップＳ０１１では、異物判断部４８の第４判断部７０が、検出領域の周辺の領域の明るさの標準偏差から、その検出領域が、画像に写りこんだ異物に対応する部分であるか否かを判断する。第４判断部７０は、明るさ情報算出部５４で算出された明度平面及び先述の式（５）を用いて、検出領域の周辺の領域の明度の標準偏差を算出する。第４判断部７０は、検出領域の周辺の領域の明るさの標準偏差が、予め定められた範囲でないとき、判断の対象となっている検出領域が異物に対応する部分でないと判断する。

図６に示すように、ステップＳ００８〜ステップＳ００１２では、二値化画像ｆから、符号ｇで示される二値化画像ｇのように、異物に対応しない検出領域が除外され、異物が写りこんだ検出領域のみが抽出される。

なお、図３ＡのステップＳ００８〜ステップＳ０１１に対応する判断は、撮影画像ｂに含まれる全ての検出領域について行っても良いが、ステップＳ００９〜ステップＳ０１１に対応する判断は、直前のステップＳ００９〜ステップＳ０１１において異物に対応する部分でないと判断されなかった領域のみについて行っても良い。異物判断部４８は、ステップＳ００８〜ステップＳ０１１のいずれにおいても異物に対応する部分でないと判断されなかった検出領域のみが、異物に対応する部分であると判断する。

また、異物判断部４８は、１つの検出領域について、ステップＳ００８からステップＳ０１１まで順番に判断を行った後に、他の１つの検出領域について、ステップＳ００８からステップＳ０１１まで順番に判断を行っても良い。この場合において、１つの検出領域に関する判断は、ステップＳ００８からステップＳ０１１に含まれるいずれか１つのステップにおいて、判断の対象となる検出領域が異物に対応する部分でないと判断された時点で、当該検出領域に対する残りの判断（ステップ）をスキップし、他の１つの検出領域についての判断を開始してもよい。この場合、異物判断部４８は、ステップＳ０１１において判断の対象となった検出領域であって、ステップＳ０１１において異物に対応する部分でないと判断されなかった検出領域が、異物に対応する部分であると判断する。異物判断部４８が、ステップＳ００９からステップＳ０１１に対応する判断をスキップできるようにすることによって、画像処理装置は、異物判断部４８における演算量を軽減できる。

演算部３８は、図３ＡのステップＳ００７〜ステップＳ０１１を含む演算ＩＩを終えた後に、図３ＢのステップＳ０１２〜ステップＳ０１６を含む演算ＩＩＩを実行する。なお、演算部３８は、使用者の設定等に応じて、図３ＡのステップＳ００７〜ステップＳ０１１を含む演算ＩＩを終えた後に、演算ＩＩＩを行わず、図３ＢのステップＳ０１７〜ステップＳ０２０を含む演算ＩＶを実行してもよい。

図３Ｂに示すステップＳ０１２〜ステップＳ０１６では、演算部３８の修正判断部４４等が、操作信号入力部３２を介して使用者の操作信号を入力し、入力された操作信号に応じてステップＳ００８〜ステップＳ０１１で行われた判断を修正する演算を行う。

図３Ｂに示すステップＳ０１２では、検出修正部４４が、表示部３６に、撮影画像に重ねて、異物判断部４８での判断結果を表示させる。図６において符号ｈで示す画像のように、表示部３６は、検出修正部４４からの指示を受けて、撮影画像ｂに重ねて、異物判断部４８において異物に対応する部分であると判断された検出領域を、他の検出領域と区別して表示する。符号ｈで示す画像では、領域算出部６２で抽出された検出領域のうち、異物判断部４８において異物に対応する部分であると判断された検出領域の位置のみが、３角形の図形を用いて表示されている。

図３Ｂに示すステップＳ０１３では、操作信号入力部３２を介して、異物判断部４８で行われた判断を修正するための操作信号が、演算部３８の検出修正部４４に入力される。ステップＳ０１３において、使用者は、表示部３６に表示された判断結果を確認しながら、操作信号入力部３２に含まれるユーザーインターフェースを操作して、異物判断部４８に行われた判断を修正するための操作信号を入力することができる。

使用者は、異物判断部４８の判断では異物の検出感度が低すぎると考えた場合には、異物判断部４８で行われた判断より高い検出感度で再判断が行われるように、判定に使用される閾値を変更する操作信号を入力する。例えば、使用者は、検出領域の大きさに関する閾値Ｃ１（図６参照）を減少させるように変更する操作信号や、検出領域内外の明度比に関する閾値Ｃ２（図６参照）を増加させる（１に近づける）ように変更する操作信号を入力する。

その反対に、使用者は、異物判断部４８の判断では異物の検出感度が高すぎると考えた場合には、異物判断部４８で行われた判断より低い検出感度で再判断が行われるように、判定に使用される閾値を変更する操作信号を入力する。例えば、使用者は、検出領域の大きさに関する閾値Ｃ１（図６参照）を増加させるように変更する操作信号や、検出領域内外の明度比に関する閾値Ｃ２（図６参照）を減少させる（０に近づける）ように変更する操作信号を入力する。

図３Ｂに示すステップＳ０１４では、検出修正部４４が、操作信号入力部３２を介して演算部３８に入力された操作信号に応じて、異物判断部４８における判断で用いられた閾値を変更し、検出領域が異物に対応する部分であるか否かの再判断を行う。すなわち、ステップＳ０１４において、検出修正部４４は、操作信号に応じて変更された閾値を用いて、異物判断部４８における第１〜第４判断部６４〜７０で行われた判断を修正する。

例えば、ステップＳ０１３において、検出領域の大きさに関する閾値Ｃ１（図６参照）を減少させる旨の操作信号が入力された場合、検出修正部４４は、以下のようにして異物判断部４８の判断を修正する。すなわち、検出修正部４４は、操作信号に応じて第１判断部６４における閾値Ｃ１を減少させた上で、異物判断部４８に、ステップＳ００８〜ステップＳ０１１を含む演算ＩＩを再計算させる。検出修正部４４は、再計算によって異物に対応する部分であると判定された検出領域を、異物に対応する部分であると再判断された検出領域であると認定する。

図３Ｂに示すステップＳ０１５では、検出修正部４４が、表示部３６の表示を更新させる。すなわち、表示部３６は、検出修正部４４によって修正された判断に基づいて、ステップＳ０１４において異物に対応する部分であると再判断された検出領域を、撮影画像に重ねて表示する。

使用者は、ステップＳ０１５において更新された表示部３６の表示を確認し、検出修正部４４によって再判断された検出結果が適切であると考えた場合は、検出領域の再判断を終了する旨の操作信号を、カメラ１０に入力する。この場合、検出修正部４４は、ステップＳ０１６の処理を進める。また、使用者は、検出修正部４４によって再判断された検出結果が不適切であると考えた場合は、検出修正部４４に対して、検出領域の再判断をやり直す旨の操作信号を入力する。この場合、検出修正部４４は、ステップＳ０１３〜ステップＳ１５に係る処理をやり直す。

図３Ｂに示すステップＳ０１６では、検出修正部４４は、再判断の際の閾値や、再判断において異物に対応する部分であると判断された検出領域の位置などを、記憶部３０に出力する。記憶部３０は、再判断の際の閾値や、異物に対応する部分であると判断された検出領域の位置などのデータを記憶し、必要に応じて、判断基準変更部４２に対して、記憶したデータを出力できる。

図３Ｂに示すステップＳ０１７〜ステップＳ０２０では、演算部３８の異物画像補正部５０が、明るさ情報算出部５４で算出された情報を用いて、検出修正部４４によって異物に対応する部分であると判断された検出領域について、撮影画像から異物の影響を低減する画像補正を行う。

ステップＳ０１７では、異物画像補正部５０が、検出修正部４４によって異物に対応する部分であると判断された検出領域を、撮影画像から異物の影響を低減する画像補正の対象領域であると特定する。ステップＳ０１８では、色補正判断部５２が、現在補正しようとしている撮影画像が、画像変換部１５等によって非線形補正が施されたものであるか否かを判断する。

ステップＳ０１８において、撮影画像が非線形補正を施されたものであると判断されたとき、ステップＳ０１９およびステップＳ０２０では、異物画像補正部５０の第１〜第３画像補正部７４〜７８による画像補正が行われる。この場合、ステップＳ０１９では、異物画像補正部５０の第１〜第３画像補正部７４〜７８が、明るさ情報算出部５４で算出された明度情報と、彩度情報算出部５６で算出された彩度情報と、色相情報算出部５８で算出された色相情報を用いて、画像補正の対象領域についてゲインマップを生成する。異物画像補正部５０の第１〜第３画像補正部７４〜７８は、情報算出部４６で算出された情報と上述の式（６）を用いて、明度透過率マップ、彩度透過率マップおよび色相透過率マップを生成する。

ステップＳ０２０では、異物画像補正部５０の第１〜第３画像補正部７４〜７８が、明度透過率マップ、彩度透過率マップおよび色相透過率マップと先述の式（７）〜（９）を用いて、撮影画像の明度平面、彩度平面および色相平面のゲイン補正を行う。さらに、異物画像補正部５０は、第１〜第３画像補正部７４〜７８によってゲイン補正された明度平面、彩度平面および色相平面を組み合わせることによって補正後の撮影画像を生成する。

ステップＳ０１８において、撮影画像が非線形補正を施されたものでないと判断されたとき、ステップＳ０１９およびステップＳ０２０では、一般的な輝度のみによる補正を行っても良い。

ステップＳ０２１では、ステップＳ０２０で生成された補正後の撮影画像の保存処理が行われた後、一連の画像処理演算を終了する。

上述のように、本実施形態に係る画像処理装置は、検出領域の明るさ情報と、検出領域の彩度情報を用いて、検出領域が撮影画像に写りこんだ異物に対応する部分であるか否かを判断する異物判断部４８を有する。異物判断部４８は、検出領域の明るさ情報だけでなく、彩度情報を用いて検出領域を判断するため、検出領域に異物が写りこんでいるか否かを正確に判断することができる。なぜなら、撮影画像に写りこんだ異物は、彩度や色相にはほとんど影響を残さないが、明るさに強く影響を残すという特徴を有するからである。また、異物の写りこみによる色変化を撮影画像の中から検出するためには、彩度情報と明るさ情報を組み合わせて判断を行うことが効果的であるからである。

なお、検出領域の明るさ情報および検出領域の彩度情報に加えて、検出領域の色相情報を用いて検出領域を判断することによって、本実施形態に係る画像処理装置は、検出領域に異物が写りこんでいるか否かをより正確に判断することができる。また、検出領域の周辺の領域の明るさの情報や、検出領域の周辺の領域における明るさの標準偏差を用いて判断することによって、本実施形態に係る画像処理装置は、検出領域に異物が写りこんでいるか否かをさらに正確に判断することができる。撮影画像における暗部や、明度のばらつきが大きい部分では、被写体エッジを誤って異物の移り込みによるエッジであると誤検出しやすいからである。また、これらの領域では、たとえ異物の移り込みによるエッジが存在していても、比較的目立ち難い。また、本実施形態に係る画像処理装置は、明るさ情報による判断を行った後に、彩度情報または色相情報による判断を行うことによって、彩度情報または色相情報を用いて、明るさ情報による判断を補足または検証することができる。

本実施形態に係る画像処理装置は、使用者による操作信号に基づいて、異物判断部４８の判断を修正する検出修正部４４を有する。したがって、本実施形態に係る画像処理装置は、使用者の好みに適合する検出レベルで、撮影画像に写りこんだ異物を検出することができる。また、検出修正部４４による修正前後の検出結果を表示する表示部３６を有するため、使用者が表示部３６の表示を確認しながら検出レベルを調整することにより、異物の誤検出や検出漏れを防止することができる。

また、本実施形態に係る画像処理装置は、検出修正部４４による修正判断基準に基づき、異物判断部４８における第１〜第４判断部６４〜６８が判断を行う際の判断基準である初期判断基準を変更する判断基準変更部４２を有する。判断基準変更部４２は、異物判断部４８の初期判断基準を、カメラ１０の使用者の好みに近づけることができるため、本実施形態に係る画像処理装置は、使用者の好みに応じた異物検出を効率的に行うことができる。なお、検出修正部４４は、領域算出部６２が二値化画像を生成する際の閾値を修正してもよく、判断基準変更部４２は、領域算出部６２が二値化画像を生成する際の閾値を変更してもよい。領域算出部６２が二値化画像を生成する際の閾値を修正したり、その閾値をフィードバックすることによっても、本実施形態に係る画像処理装置は、異物検出感度を適切化することができる。

本実施形態に係る画像処理装置は、明度ゲインマップによるゲイン補正に、彩度ゲインマップによるゲイン補正、および／または色相ゲインマップによるゲイン補正を加えることで、撮影画像に写りこんだ異物の影響を低減する画像補正を行う異物画像補正部５０を有する。したがって、本実施形態に係る画像処理装置は、補正対象となる撮影画像が非線形補正を施されているような場合であっても、異物の写りこみによる色の変化を、周辺部分の色合いと高い整合性を保ちながら補正することができる。また、本実施形態に係る画像処理装置は、補正対象となる撮影画像が非線形補正を施されているような場合であっても、補正後の撮影画像に補正痕が発生してしまう問題を防止できる。

なお、上述の実施形態では、画像処理装置が搭載されたカメラ１０を例に挙げて、撮像装置の説明を行ったが、画像処理装置を有する撮影装置はスチルカメラに限定されず、ビデオカメラや携帯電話等を含む。また、上述の画像処理を実行させるためのプログラムは、スチルカメラ、ビデオカメラ、携帯電話に搭載されたコンピュータを実行させるものに限定されず、その他の画像処理が可能なコンピュータを実行させるプログラムを含む。

第２実施形態
図７は、本発明の第２実施形態に係る画像処理装置を含むパソコンなどのコンピュータ１２０のブロック図である。コンピュータ１２０は、図２に示す撮像部２６、操作信号入力部３２、撮影条件信号入力部２３および画像変換部１１５を含まず、その代わりに、図７に示すように、Ｉ／Ｆ（インターフェース）１２２および操作信号入力部１２４を含む。図７に示すコンピュータ１２０は、図２に示す撮像部２６等以外の部分については、図２に示すカメラ１０と同様の構成であるため、図２に示すカメラ１０と同様の構成については、図２と同じ符号を付し、説明を省略する。

コンピュータ１２０は、メモリカード、カメラ、携帯電話等と接続するためのＩ／Ｆ１２２を有している。コンピュータ１２０の画像入力部２８には、Ｉ／Ｆ１２２や、コンピュータ１２０に内蔵される記憶部３０から、撮影画像が入力される。図７に示す演算部３８は、図２に示すカメラ１０における演算部３８と同様に、画像入力部２８を介して入力された撮影画像について、画像処理を行う。なお、演算部３８には、Ｉ／Ｆ１２２等を介して、撮影画像とともに、撮影条件等が入力されてもよい。演算部３８は、その内部に存在する情報算出部４６、異物判断部４８および異物画像補正部５０などを構成する専用回路であっても良いが、好ましくは、これらの機能を実現するためのプログラムが記憶してある記憶手段と、その記憶手段に記憶してあるプログラムを実行する中央情報処理装置（ＣＰＵ）とで構成してある。

操作信号入力部１２４は、第１実施形態に係る操作信号入力部３２と同様に、撮影画像に写りこんだ異物に対応する部分を特定するために使用者が行った操作に対応する操作信号が入力される入力部である。操作信号入力部１２４としては、例えばキーボード、マウス、タッチパッド等が挙げられるが、特に限定されない。

コンピュータ１２０の演算部３８は、画像入力部２８を介して入力された撮影画像について、第１実施形態に係る演算部２８と同様に、撮影画像に写りこんだ異物の検出や、撮影画像に写りこんだ異物の影響を低減する画像補正を行うことができる。したがって、このコンピュータ１２０に含まれる画像処理装置も、第１実施形態に係るカメラ１０に搭載された画像処理装置と同様の効果を奏する。

１０… カメラ
２６… 撮影部
２８… 画像入力部
３２… 操作信号入力部
３４，１２４… 操作条件信号入力部
３６… 表示部
３８… 演算部
４２… 判断基準変更部
４４… 検出修正部
４６… 情報算出部
４８… 異物判断部
５０… 異物画像補正部
５２… 色補正判断部
５４… 明るさ情報算出部
５６… 彩度情報算出部
５８… 色相情報算出部
６０… 明るさ勾配情報算出部
６２… 領域検出部
６４〜７０… 第１〜第４判断部
７４〜７８… 第１〜第３画像補正部
１１５… 画像変換部
１２０… コンピュータ

Claims (13)

1. 画像が入力される画像入力部と、
   前記画像の明るさに対応する明るさ情報を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第１補正と、前記画像の彩度に対応する彩度情報、及び、前記画像の色相に対応する色相情報の少なくとも一方を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第２補正とを行う補正部と、
   前記画像が非線形補正が施されたものであるか否かを判断する判断部とを有し、
   前記補正部は、前記判断部により前記画像が非線形補正が施されたものであると判断されたとき、前記第１補正、及び、前記第２補正を行うことを特徴とする画像処理装置。
2. 請求項１に記載された画像処理装置であって、
   前記補正部は、前記判断部により前記画像が非線形補正が施されたものでないと判断されたとき、前記第２補正を行わないことを特徴とする画像処理装置。
3. 画像が入力される画像入力部と、
   前記画像の明るさに対応する明るさ情報を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第１補正と、前記画像の彩度に対応する彩度情報、及び、前記画像の色相に対応する色相情報の少なくとも一方を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第２補正とを行う補正部と、
   前記画像が施された非線形補正の強弱を判断する判断部とを有し、
   前記補正部は、前記判断部により前記画像が強い非線形補正が施されたものであると判断されたとき、前記第１補正、及び、前記第２補正を行い、前記判断部により前記画像が弱い非線形補正が施されたものであると判断されたとき、前記第２補正を行わないことを特徴とする画像処理装置。
4. 画像が入力される画像入力部と、
   前記画像の明るさに対応する明るさ情報を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第１補正と、前記画像の彩度に対応する彩度情報、及び、前記画像の色相に対応する色相情報の少なくとも一方を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第２補正とを行う補正部とを有し、
   前記補正部は、前記画像に写りこんだ複数の異物に対応する複数の部分について、当該複数の部分のそれぞれについて独立に前記第１補正における補正量である第１補正量、及び、前記第２補正における補正量である第２補正量を算出し、前記第１補正量及び前記第２補正量に基づき、前記第１補正及び前記第２補正を行うことを特徴とする画像処理装置。
5. 請求項１から請求項３のいずれか１項に記載された画像処理装置であって、
   前記補正部は、前記画像に写りこんだ複数の異物に対応する複数の部分について、当該複数の部分のそれぞれについて独立に前記第１補正における補正量である第１補正量、及び、前記第２補正における補正量である第２補正量を算出し、前記第１補正量及び前記第２補正量に基づき、前記第１補正及び前記第２補正を行うことを特徴とする画像処理装置。
6. 画像が入力される画像入力部と、
   前記画像の明るさに対応する明るさ情報を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第１補正と、前記画像の彩度に対応する彩度情報、及び、前記画像の色相に対応する色相情報の少なくとも一方を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第２補正とを行う補正部とを有し、
   前記補正部は、前記画像が非線形補正が施されたものであるとき、前記第１補正、及び、前記第２補正を行い、前記画像が非線形補正が施されたものでないとき、前記第２補正を行わないことを特徴とする画像処理装置。
7. 画像が入力される画像入力部と、
   前記画像の明るさに対応する明るさ情報を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第１補正と、前記画像の彩度に対応する彩度情報、及び、前記画像の色相に対応する色相情報の少なくとも一方を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第２補正とを行う補正部とを有し、
   前記補正部は、前記画像が強い非線形補正が施されたものであるとき、前記第１補正、及び、前記第２補正を行い、前記画像が弱い非線形補正が施されたものであるとき、前記第２補正を行わないことを特徴とする画像処理装置。
8. 画像が入力される画像入力部と、
   前記画像の明るさに対応する明るさ情報を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第１補正と、前記画像の彩度に対応する彩度情報、及び、前記画像の色相に対応する色相情報の少なくとも一方を用いて、前記画像に写りこんだ異物に対応する部分に対して前記異物の影響を低減する第２補正とを行う補正部とを有し、
   前記補正部は、前記画像が非線形補正が施されたものであるとき、前記第１補正、及び、前記第２補正を行い、前記画像に写りこんだ複数の異物に対応する複数の部分について、当該複数の部分のそれぞれについて独立に前記第１補正における補正量である第１補正量、及び、前記第２補正における補正量である第２補正量を算出し、前記第１補正量及び前記第２補正量に基づき、前記第１補正及び前記第２補正を行うことを特徴とする画像処理装置。
9. 請求項６又は請求項７に記載された画像処理装置であって、
   前記補正部は、前記画像に写りこんだ複数の異物に対応する複数の部分について、当該複数の部分のそれぞれについて独立に前記第１補正における補正量である第１補正量、及び、前記第２補正における補正量である第２補正量を算出し、前記第１補正量及び前記第２補正量に基づき、前記第１補正及び前記第２補正を行うことを特徴とする画像処理装置。
10. 請求項１から請求項９のいずれか１項に記載された画像処理装置と、
    光学系による像を撮像し撮影画像を出力する撮影部と、
    前記撮影画像に対して非線形補正を施した画像を出力する画像変換部とを含み、
    前記画像入力部には、前記画像変換部から出力された前記画像が入力されることを特徴とする撮影装置。
11. コンピュータに、
    画像を入力する手順と、
    画像の明るさに対応する明るさ情報を用いて、前記画像に写りこんだ異物に対応する部分に対して異物の影響を低減する第１補正と、前記画像の彩度に対応する彩度情報、及び、前記画像の色相に対応する色相情報の少なくとも一方を用いて、前記画像に写りこんだ異物に対応する部分に対して異物の影響を低減する第２補正とを行う手順とを実行させるためのプログラムであって、
    前記画像が非線形補正が施されたものであるとき、前記第１補正、及び、第２補正を行う手順を実行させ、前記画像が非線形補正が施されたものでないとき、前記第２補正を行う手順を実行させないことを特徴とするプログラム。
12. コンピュータに、
    画像を入力する手順と、
    画像の明るさに対応する明るさ情報を用いて、前記画像に写りこんだ異物に対応する部分に対して異物の影響を低減する第１補正と、前記画像の彩度に対応する彩度情報、及び、前記画像の色相に対応する色相情報の少なくとも一方を用いて、前記画像に写りこんだ異物に対応する部分に対して異物の影響を低減する第２補正とを行う手順とを実行させるためのプログラムであって、
    前記画像が強い非線形補正が施されたものであるとき、前記第１補正、及び、前記第２補正を行い、前記画像が弱い非線形補正が施されたものであるとき、前記第２補正を行わない手順を実行させることを特徴とするプログラム。
13. コンピュータに、
    画像を入力する手順と、
    画像の明るさに対応する明るさ情報を用いて、前記画像に写りこんだ異物に対応する部分に対して異物の影響を低減する第１補正と、前記画像の彩度に対応する彩度情報、及び、前記画像の色相に対応する色相情報の少なくとも一方を用いて、前記画像に写りこんだ異物に対応する部分に対して異物の影響を低減する第２補正とを行う手順とを実行させるためのプログラムであって、
    前記画像に写りこんだ複数の異物に対応する複数の部分について、当該複数の部分のそれぞれについて独立に前記第１補正における補正量である第１補正量、及び、前記第２補正における補正量である第２補正量を算出し、前記第１補正量及び前記第２補正量に基づき、前記第１補正及び前記第２補正を行う手順を実行させることを特徴とするプログラム。

Images