JP5402131B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、画像の異物を検出する画像処理装置および撮像装置に関する。

デジタルカメラなどの撮像装置では、撮像光路上に配置された光学フィルタ等の光学部材に異物が付着し、付着した異物により撮像画像に画像欠陥が発生する場合がある。このような問題を解決するための従来技術としては、例えば、一様面の基準画像を撮影し、基準画像からゴミ情報を得て、通常撮影された撮影画像に写り込んだ異物を除去する画像処理装置が知られている（特許文献１等参照）。

しかしながら、従来技術では、ゴミ情報を得るために通常撮影とは異なる一様面の基準画像を撮影する必要があり、通常撮影によって得られた画像のみでは、適切な異物の検出および除去が実行できないという問題を有している。

特開２００４−３４３５１９号公報

本発明は、このような実状に鑑みてなされ、その目的は、画像の異物を検出する画像処理装置および当該画像処理装置を備える撮像装置を提供することである。

上記目的を達成するために、本発明に係る画像処理装置は、
異物（６６，８４）が含まれる画像（５０，５１）を用いて、明度値が前記画像にどれだけ含まれているかを示す情報である第１情報（５２，６２，９２）と、色相値及び彩度値の少なくとも一方が前記画像にどれだけ含まれているかを示す情報である第２情報（５４，５６，６４）とを生成する生成部（２６）と、
前記第１情報と前記第２情報とを用いて、前記画像の前記異物を検出する異物検出部（２６）とを含み、
前記異物検出部は、前記画像のうち前記色相値が第１色相値となる画素数と、前記画像のうち前記色相値が前記第１色相値であり前記明度値が第１明度値となる画素数との比を用いて、前記画像の前記異物を検出する。

また、上記目的を達成するために、本発明に係る画像処理装置は、
異物が含まれる画像を用いて、明度値が前記画像にどれだけ含まれているかを示す情報である第１情報と、色相値及び彩度値の少なくとも一方が前記画像にどれだけ含まれているかを示す情報である第２情報とを生成する生成部と、
前記第１情報と前記第２情報とを用いて、前記画像の前記異物を検出する異物検出部とを含み、
前記異物検出部は、前記画像のうち前記彩度値が第１彩度値となる画素数と、前記画像のうち前記彩度値が前記第１彩度値であり前記明度値が第１明度値となる画素数との比を用いて、前記画像の前記異物を検出しても良い。

また、例えば、本発明の第２の観点に係る画像処理装置は、
前記画像のうち前記色相値が前記第１色相値となる画素数をＡ０とし、
前記画像のうち前記色相値が前記第１色相値であり前記明度値が前記第１明度値となる画素数をＡ１とし、
前記画像のうち前記色相値が前記第１色相値であり前記明度値が前記第１明度値とは異なる第２明度値となる画素数をＡ２としたとき、
前記異物検出部は、Ａ１／Ａ０の大きさとＡ２／Ａ０の大きさとを比較することにより、前記画像の前記異物を検出することを特徴とする。

また、例えば、本発明の第３の観点に係る画像処理装置は、
前記画像のうち前記彩度値が第１彩度値となる画素数をＢ０とし、
前記画像のうち前記彩度値が第１彩度値であり前記明度値が前記第１明度値となる画素数をＢ１とし、
前記画像のうち前記彩度値が前記第１彩度値であり前記明度値が前記第１明度値とは異なる第２明度値となる画素数をＢ２としたとき、
前記異物検出部は、Ｂ１／Ｂ０の大きさとＢ２／Ｂ０の大きさとを比較することにより、前記画像の前記異物を検出することを特徴とする。

また、例えば、本発明に係る画像処理装置は、元画像（５１）を、複数の前記画像（５１ａ〜５１ｃ）に分割し、前記画像ごとに明度階調を変更する明度階調変更部（２６）をさらに有してもよい。

本発明に係る撮像装置は、上記いずれかに記載の画像処理装置と、
光学系（１６）および撮像素子（２２）を備え、前記画像を取得できる撮像部と、を有する。

また、例えば、本発明に係る撮像装置は、前記画像処理装置が前記異物を検出した時に警告信号を出力する警告部（４０）をさらに有してもよい。

なお上述の説明では、本発明をわかりやすく説明するために実施形態を示す図面の符号に対応づけて説明したが、本発明は、これに限定されるものではない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。さらに、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

図１は、本発明の一実施形態に係るカメラの概略断面図である。 図２は、図１に示すカメラの全体ブロック図である。 図３は、第１実施形態に係る画像処理装置で実行される画像処理を表すフローチャートである。 図４は、図３に示す画像処理において行われるＨＳＶ変換処理を説明した概念図である。 図５は、図３に示す画像処理において行われるＨＳＶ変換処理の六角錐モデルを表す概念図である。 図６は、図３に示す画像処理において行われる条件付確率の算出処理を表す概念図である。 図７は、第２実施形態に係る画像処理装置で実行される画像処理を表すフローチャートである。 図８は、第３実施形態に係る画像処理装置で実行される画像処理を表すフローチャートである。 図９は、図８に示す画像処理において行われる画像の分割処理を表す概念図である。 図１０は、図８に示す画像処理において行われる明度階調変更処理を表す概念図である。 図１１は、本発明の実施例に用いた画像の色相情報と明度情報を表示した図である。 図１２は、図１１に示す情報の色相および明度情報の中央部分を拡大した図である。 図１３は、本発明の第３実施例において行われた明度階調変更処理前後における明度情報を表示した図である。 図１４は、本発明の第３実施例において行われた明度階調変更処理で用いたトーンカーブを表すグラフである。

第１実施形態
図１は、本発明の一実施形態に係る画像処理装置を備えるカメラの概略図である。カメラ１０は、光学系１６等が備えられるレンズ鏡筒部１４と、撮像素子２２等が備えられるカメラ本体部１２から成る。本実施形態では、画像処理装置を備える機器として、レンズ鏡筒部１４がカメラ本体部１２に着脱自在に取り付けられるレンズ交換式カメラを例に説明するが、本実施形態に係る画像処理装置が備えられる機器はこれに限定されない。例えば、レンズ鏡筒とカメラ本体部１２が一体であるカメラや、ビデオカメラ、画像データ等を処理できるＰＣ（パーソナルコンピュータ）等であってもよい。

図１に示すカメラ本体部１２には、シャッター１８、光学フィルタ２０および撮像素子２２等が備えられる。シャッター１８は、光学系１６から撮像素子２２へ向かう撮影光を遮蔽および通過させることによって、露光時間を調整する。また、光学フィルタ２０は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。

撮像素子２２は、光学系１６によって導かれた光を光電変換することによって、画像データを取得することができる。しかしながら、図１に示すように、撮影光の光路上にあって撮影光を透過する光学フィルタ２０等の部材にゴミ２４が付着している場合、撮像素子２２によって取得される画像データのなかに、ゴミ２４の影響を受けた画素が含まれる場合がある。ゴミ２４の影響を受けた画素としては、例えば、ゴミ２４によって撮影光の透過が阻害された結果、色（明度等）が、本来の撮影光の色から変化した画素等が含まれる。本実施形態にかかるカメラ１０は、後述のように、画像データに対して所定の処理をおこなうことによって、画像データの中に、ゴミ２４の影響を受けた画素が含まれるか否かを検出することができる。

図２は、図１に示すカメラ１０において行われる画像処理等の制御を説明するための全体ブロック図である。カメラ１０には、カメラ１０に備えられる各部材の制御を行うＣＰＵ２６が備えられる。ＣＰＵ２６には、カメラ１０に電力を供給する電源３２が接続されている。ＣＰＵ２６は、電源３２から供給される電力を、カメラ１０内部に備えられる各部材に分配し、各部材を制御することができる。

ＣＰＵ２６には、レリーズスイッチ２８、光学系駆動部３０、シャッター駆動部３４等が接続されている。レリーズスイッチ２８は、撮影者が撮影タイミング等を決定する信号を入力するためのスイッチである。例えば、レリーズスイッチ２８から半押し信号が入力されると、ＣＰＵ２６は、光学系１６を駆動するための光学系駆動部３０等を駆動制御し、オートフォーカス等の撮影準備動作を制御する。また、レリーズスイッチ２８から全押し信号が入力されると、ボディＣＰＵ２６は、シャッター１８（図１）を駆動するシャッター駆動部３４を駆動制御し、露光動作等の撮影動作を制御する。

また、ボディＣＰＵ２６には、画像処理回路３６を介して、撮像素子２２が接続されている。撮像素子２２で取得された画像データは、画像処理回路３６で適正な画像処理が行われた後に、ボディＣＰＵ２６に入力される。ボディＣＰＵ２６は、撮像素子２２から入力された画像データを、不図示のメモリカードインターフェースを介して着脱可能に取り付けられるメモリカード３８等に記憶させ、保存することができる。また、ボディＣＰＵ２６は、メモリカード３８に記憶された画像データを呼び出し、液晶モニタ等によって構成される表示部４０に表示させることができる。

さらに、ＣＰＵ２６は、撮像素子２２やメモリカード３８から入力された画像データを用いて画像処理を行い、これらの画像データの中に、ゴミ２４の影響を受けたデータ（画素）が含まれるか否かを検出することができる。図３は、第１実施形態に係る画像処理装置で実行される画像処理を表すフローチャートである。

ＣＰＵ２６は、ステップＳ００１において、ゴミ２４の影響を受けた画素を検出するための画像処理を開始する。画像処理を開始するタイミングとしては、特に限定されないが、例えば、撮像素子２２によって取得された画像データが入力された際や、撮影者によって検出を開始する指令が入力された際に、画像処理を開始することができる。

ステップＳ００２において、ＣＰＵ２６は、画像処理に用いる画像データを取得する。ＣＰＵ２６は、画像処理に用いる画像データを、図２に示す画像処理回路３６を介して撮像素子２２から取得してもよく、メモリカード３８から取得してもよい。また、取得される画像データは、ゴミ２４の影響受けた画像を検出するための特殊な画像データである必要はなく、通常の撮影動作によって取得された画像を用いることができる。

図３のステップＳ００３において、ＣＰＵ２６は、取得した画像データから第１情報と第２情報を生成する。第１情報は、画像データによって記録されている画像の明度に対応する情報である。第１情報は、例えば、取得した画像データを構成する各画素が有する色の情報から、明度に対応する情報を抽出することによって得られる。

また、第２情報は、画像データによって記録されている画像の明度以外の情報に対応する情報である。第２情報は、例えば、取得した画像データを構成する各画素が有する色の情報から、明度以外の情報に対応する情報を抽出することによって得られる。第２情報としては、画像の色相に対応する情報や、画像の彩度に関する情報が挙げられる。本実施形態では、第２情報として、画像の色相に対応する情報を用いる。

第１情報および第２情報を得るための具体的な処理は特に限定されないが、本実施形態に係るＣＰＵ２６は、取得した画像データをＨＳＶ変換するＨＳＶ変換処理を実行することによって、第１情報および第２情報を生成する。図４は、本実施形態において実行されるＨＳＶ変換処理を説明した概念図である。

図４に示すように、ステップＳ００２において取得した画像データ５０は、画像を構成する各画素（ピクセル）の情報が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３つの情報に分割されているＲＧＢ画像データである場合が多い。これは、デジタルカメラで撮影された撮影画像が、通常８ビットのＲＧＢ画像であることによる。なお、図４に示す画像データ５０は、ｎ画素（ピクセル）のＲＧＢ画像データである。

図４に示すように、ステップＳ００３において、ＣＰＵ２６は、画像データ５０をＨＳＶ変換することによって、第１情報５２と、第２情報５４と、第３情報５６とを有する変換後の画像データ５１（ＨＳＶ画像データ）を生成する。第１情報５２は、画像データ５１を構成する画素毎の明度を表す明度データＶ｛ｆ１，ｆ２，・・・ｆｎ｝である。また、第２情報５４は、画像データ５１を構成する画素毎の色相を表す色相データＨ｛ｄ１，ｄ２，・・・ｄｎ｝である。また、第３情報５６は、画像データ５１を構成する画素毎の彩度を表す彩度データＳ｛ｅ１，ｅ２，・・・ｅｎ｝である。

図５は、ＨＳＶ変換の六角錐モデルの概念図である。明度Ｖの座標軸は六角錐の中心軸で表され、彩度Ｓの座標軸は六角錐の中心軸に直交する軸で表され、色相Ｈは六角錐の中心軸を回転する回転角で表される。明度データＶ｛ｆ１〜ｆｎ｝、色相データＨ｛ｄ１〜ｄｎ｝および彩度データＳ｛ｅ１〜ｅｎ｝の各画素の要素は、ＲＧＢ画像データＲ｛ａ１〜ａｎ｝，Ｇ｛ｂ１〜ｂｎ｝，Ｂ｛ｃ１〜ｃｎ｝の各画素の要素から、以下の数式（１）〜（１０）を用いて変換される。

Ｖ＝ Ｖｍａｘ ・・・（１）
Ｓ＝（Ｖｍａｘ−Ｖｍｉｎ）／Ｖｍａｘ ・・・（２）
Ｈ＝（π／３）（ｂ−ｇ） （Ｒ＝Ｖｍａｘのとき） ・・・（３）
Ｈ＝（π／３）（２＋ｒ−ｂ） （Ｇ＝Ｖｍａｘのとき） ・・・（４）
Ｈ＝（π／３）（４＋ｇ−ｒ） （Ｂ＝Ｖｍａｘのとき） ・・・（５）

ただし、
Ｖｍａｘ＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝ ・・・（６）
Ｖｍｉｎ＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝ ・・・（７）
ｒ＝（Ｖｍａｘ−Ｒ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（８）
ｇ＝（Ｖｍａｘ−Ｇ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（９）
ｂ＝（Ｖｍａｘ−Ｂ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（１０）
なお、式（３）〜（５）で変換された結果、Ｈ＜０の時には、Ｈに２πを加える。また、Ｖｍａｘ＝０の時は、Ｓ＝０，Ｈ＝不定となる。

ＣＰＵ２６は、画像データ５０を構成するｎ個の各画素（ピクセル）について、上述の式（１）〜（１０）で示すＨＳＶ変換処理を実行することによって、図４に示す第１〜第３情報５２，５４，５６からなる画像データ５１を生成する。これにより、ＣＰＵ２６は、第１〜第３情報５２，５４、５６から、画像データ５０を構成する各画素の明度データＶ｛ｆ１〜ｆｎ｝、色相データＨ｛ｄ１〜ｄｎ｝および彩度データＳ｛ｅ１〜ｅｎ｝を得る。なお、本実施形態に係る画像処理では、画像の異物を検出する際に、第１情報５２である明度データＶ｛ｆ１〜ｆｎ｝と、第２情報５４である色相データＨ｛ｄ１〜ｄｎ｝とを使用し、彩度データＳ｛ｅ１〜ｅｎ｝を使用しない。したがって、ステップＳ００３では、第３情報５６である彩度データＳ｛ｅ１〜ｅｎ｝の生成を省略してもよい。

次に、本実施形態における画像処理では、ステップＳ００４において、画像を構成する画素において、色相値が所定の色相値Ｈｊとなる頻度（画素数）Ｎ（Ｈｊ）と、色相値が所定の色相値（Ｈｊ）でありかつ明度値が所定の明度値（Ｖｉ）となる頻度Ｎ（Ｈｊ∩Ｖｉ）との比であるＮ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を算出する。なお、下の数式（１１）に示すように、Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）は、色相値が所定の色相値Ｈｊであるという条件において、明度値が所定の明度値Ｖｉである条件付確率を意味する。

Ｐ（Ｖｉ｜Ｈｊ）＝Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ） ・・・（１１）

なお、条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を算出する前に、ステップＳ００４では、第１情報５２である明度データＶ｛ｆ１〜ｆｎ｝と、第２情報５４である色相データＨ｛ｄ１〜ｄｎ｝の階層化を行う。条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を算出する際に、頻度（画素数）Ｎを算出する必要があるためである。

ステップＳ００３におけるＨＳＶ変換処理によって、明度データＶ｛ｆ１〜ｆｎ｝および色相データＨ｛ｄ１〜ｄｎ｝の各要素は、基本的には０以上１以下の値を有している。ここで、第１情報５２である明度データＶ｛ｆ１〜ｆｎ｝を階層化する際における階層数および階層幅（頻度計算の刻み）は、ＣＰＵ２６の演算能力、画素数ｎおよび画像データ５０，５１の明度分布等に応じて適切に設定される。例えば、明度データＶを階層化する際における階層数および階層幅は、特に限定されないが、例えば階層数を１０〜１００とし、階層幅（頻度計算の刻み）を０．０１〜０．１程度とすることができる。第２情報５４である色相データＨについても、第１情報５２である明度データＶと同様にして階層数および階層幅を決定し、階層化を行うことができる。

なお、式（１１）における色相値Ｈｊおよび明度値Ｖｉは、階層化された各階層の代表値を意味する。したがって、ある画素の色相値が所定の色相値Ｈｊであるということは、当該画素に対応する色相データＨの要素ｄが、色相値Ｈｊを代表値とする階層に属することを意味する。また、ある画素の明度値が所定の明度値Ｖｉであるということは、当該画素に対応する明度データＶの要素ｆが、明度値Ｖｉを代表値とする階層に属することを意味する。

ステップＳ００４では、第１情報５２である明度データＶおよび第２情報５４である色相データＨ｛ｄ１〜ｄｎ｝を階層化したのち、条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を算出する。図６は、ステップＳ００４における条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）の算出処理を説明した概念図である。

条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を算出する際には、例えば、図６右上に示すように、第２情報５４である色相データＨから、色相値が第１色相値Ｈ１である画素を抽出し、頻度Ｎ（Ｈ１）を算出する。図６に示す例では、太枠４４で囲まれた範囲にある画素の色相値が、第１色相値Ｈ１である。

つぎに、図６の左上に示すように、色相値が第１色相値Ｈ１である画素について、第１情報５２を参照し、各画素の明度値を調査する。図６下のヒストグラムに示すように、図６に示す例では、第１色相値Ｈ１である画素のうち、Ａ１個の画素は、明度値が第１明度値Ｖ１であり、Ａ２個の画素は、明度値が第２明度値Ｖ２である。

したがって、画像データ５０，５１によって示される画像において、色相値が第１色相値Ｈ１であるという条件において明度値が第１明度値Ｖ１である条件付確率Ｎ（Ｈ１∩Ｖ１）／Ｎ（Ｈ１）は、Ａ１／Ａ０と算出される。また、色相値が第１色相値Ｈ１であるという条件において明度値が第２明度値Ｖ２である条件付確率Ｎ（Ｈ１∩Ｖ２）／Ｎ（Ｈ１）は、Ａ２／Ａ０と算出される。

ステップＳ００４では、図６に示すような計算を、第１情報５２および第２情報５４に含まれるすべての色相値Ｈｊおよび明度値Ｖｉについて実行する。これにより、ステップＳ００４では、画像データ５０，５１を構成するすべての画素について、条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）が算出される。

次に、ステップＳ００５では、ステップＳ００４で算出した条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）から、画像データ５０，５１の中に、ゴミ２４の影響を受けた画素が含まれるか否かを検出する。ここで、ゴミ２４の影響を受けた画素は、条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）の値が、ゴミ２４の影響を受けていない画素とは異なるという性質を有する。これは、画像データ５０，５１に写り込んだゴミ２４の影は、対応する画素の色相にはあまり影響を与えないが、対応する画素の明度に大きな影響を与えるという性質に起因すると考えられる。

したがって、画像データ５１において、各画素の条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を比較し、周辺の画素とは異なる値を有する画素を検出することによって、ゴミ２４の影響を受けた画素を検出することができる。例えば、図６に示す例では、Ａ１／Ａ０の大きさとＡ２／Ａ０の大きさとを比較することによって、画像データ５０，５１の中に、ゴミ２４の影響を受けた画素が含まれるか否かを検出することができる。

また、ゴミ２４の影響を受けた画素では、条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）の値が、０でないが、０に近い小さな値となる傾向にある。これは、光学フィルタ２０に付着するゴミが小さく、ゴミ２４の影響を受ける画素が、狭い範囲に限られる傾向にあることに起因すると考えられる。したがって、例えば、ステップＳ００４で算出された複数の条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）の値の中に、０ではないが０に近い値が含まれる場合は、画像データ５０，５１の中に、ゴミ２４の影響を受けた画素が含まれると判定することができる。

例えば、条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）の値の中に、小さい値が含まれる場合は、画像データ５０，５１の中に、ゴミ２４の影響を受けた画素が含まれると判定することができる。さらに、条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）の値が、０より大きく、０．０１より小さい値である画素は、ゴミ２４の影響を受けた画素であると判定することができる。

ステップＳ００６では、ステップＳ００５での判定結果に応じて、所定の処理を行う。例えば、ゴミ２４の影響を受けた画素を検出した時、図２に示すＣＰＵ２６の制御を受ける表示部４０等は、異物を検出した旨の警告信号を出力し、カメラ１０を使用する使用者に、画像データ５０に異物が含まれることを知らせることができる。また、ＣＰＵ２６は、画像データ５０からゴミ２４の影響を除去する画像処理を行っても良く、必要に応じて、光学フィルタ２０の塵埃除去作業を、不図示の塵埃除去機構に行わせてもよい。

また、画像データ５０の中に、ゴミ２４の影響を受けた画素を発見しない場合や、画像データ５０に含まれるゴミ２４の影響が軽微である場合には、ＣＰＵ２６は、ステップＳ００６をスキップできる。

ステップＳ００２〜ステップＳ００６に示す画像処理を実行したのち、ＣＰＵ２６は、画像処理動作を終了する（ステップＳ００７）。

以上のように、本実施形態に係る画像処理装置は、通常の撮影動作によって取得された画像データ５０のみから、ゴミの影響を受けた画素（ピクセル）が画像データ５０に含まれるか否かを検出できる。したがって、本実施形態に係る画像処理装置は、異物を検出するための特殊な画像データを必要とせず、また、演算量を抑制することができる。

また、本実施形態に係る画像処理は、画像データ５０から、画像の明度に対応する第１情報５２と、画像の色相に対応する第２情報５４とを生成し、第１情報５２および第２情報５４を用いて画像処理を行う。これにより、本実施形態に係る画像処理は、ゴミ２４が画像データ５０の色相にはあまり影響を与えず、明度に大きな影響を与えるという性質を効果的に利用して、ゴミ２４の影響を受けた画素を検出することができる。

また、本実施形態に係る画像処理では、条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を算出するため、ゴミ２４が画像データ５０に与える影響を数値化し、比較することができる。なお、第１実施形態では、第２情報５４として色相データＨ｛ｄ１〜ｄｎ｝を用いたが、画像処理に用いられる明度以外の情報としては、これに限定されず、例えば彩度データＳ｛ｅ１〜ｅｎ｝を用いてもよい。ゴミ２４は、画像データ５０の彩度にはあまり影響を与えず、明度に大きな影響を与えるという性質を有するからである。また、第１情報５２としては、ＨＳＶ変換処理によって生成された明度データＶ｛ｆ１〜ｆｎ｝に限定されず、他のモデルによって生成された明度データでもよく、各画素の輝度等に対応する情報を用いても良い。

第２実施形態
図７は、本発明の第２実施形態に係る画像処理装置で実行される画像処理を表すフローチャートである。第２実施形態に係る画像処理では、ステップＳ１０４において、算出する条件付確率が異なる他は、第１実施形態に係る画像処理と同様である。第２実施形態に係る画像処理では、ステップＳ１０４において、条件付確率Ｐ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ）を算出する。

ここで、Ｐ（Ｈｊ｜Ｖｉ）は、画像を構成する画素において、明度値が所定の明度値Ｖｉであるという条件のもとで、色相値が所定の色相値Ｈｊである確率である。また、Ｐ（Ｖｉ）は、画像を構成する画素において、明度値が所定の明度値Ｖｉである確率である。さらに、Ｐ（Ｈｊ）は、画像を構成する画素において、色相値が所定の色相値Ｈｊである確率である。なお、下記の数式（１２）に示すように、Ｐ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ）は、色相値が所定の色相値Ｈｊであるという条件において、明度値が所定の明度値Ｖｉである条件付確率を意味する（ベイズの定理）。

Ｐ（Ｖｉ｜Ｈｊ）＝Ｐ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ） ・・・（１２）

したがって、第２実施形態に係る画像処理装置も、第１実施形態と同様に、各画素の条件付確率Ｐ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ）を比較することによって、ゴミ２４の影響を受けた画素を検出することができる。また、ステップＳ１０４において算出された条件付確率Ｐ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ）の値の中に、０ではないが０に近い値が含まれる場合は、画像データ５０，５１の中に、ゴミ２４の影響を受けた画素が含まれると判定することができる。

このように、第２実施形態に係る画像処理装置も、第１実施形態に係る画像処理装置と同様の効果を有する。なお、画像処理において、Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を算出するか、Ｐ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ）を算出するかは、数値演算における実装条件等を考慮して決定すれば良い。ただし、カメラ等で撮影された撮影画像の異物検出を行う場合は、Ｐ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ）を算出することが好ましい。

第３実施形態
図８は、本発明の第３実施形態に係る画像処理装置で実行される画像処理を表すフローチャートである。第３実施形態に係る画像処理では、条件付確率を算出する前に、画像データ５０を分割するステップＳ２０４と、画像データ５０の明度階調を変更するステップＳ２０５とを、さらに有する他は、第１または第２実施形態に係る画像処理と同様である。

第３実施形態に係る画像処理では、図９に示すように、ステップＳ２０４において、ＨＳＶ変換された画像データ５１を、第１画像データ５１ａ、第２画像データ５１ｂおよび第３画像データ５１ｃに分割する。第３実施形態に係る画像処理においては、第１および第２実施形態と同様に、第１情報５２である明度データＶと、第２情報５４である色相データＨとを用いて、画像データに含まれるゴミの影響を受けた画素を検出する。したがって、第１情報５２である明度データＶは、第１情報の第１部分５２ａである明度データＶｄｉｖ１と、第１情報の第２部分５２ｂである明度データＶｄｉｖ２と、第１情報の第３部分５２ｃである明度データＶｄｉｖ３とに分割される。同様に、第２情報５４である色相データＨも、第２情報の第１部分５４ａと、第２情報の第２部分５４ｂと、第２情報の第３部分５４ｃとに分割される。

さらに、ステップＳ２０５では、分割した第１〜第３画像データ５１ａ〜５１ｃの明度階調変更処理を行う。図１０は、ステップＳ２０５において行われる明度階調変更処理のうち、第１画像データ５１ａについて行われる明度階調変更処理を表す概念図である。

明度階調変更処理は、例えば分割後の第１情報５２の各部分５２ａ〜５２ｃを用いて行われる。図１０（ａ）は、第１情報の第１部分５２ａにおける明度Ｖに対する頻度Ｎを表すヒストグラムである。図１０（ａ）に示すように、第１部分５２ａを構成する画素が有する明度Ｖの最小値は、ＶｄｉＶ１＿ＭＩＮであり、明度Ｖの最大値はＶｄｉＶ１＿ＭＡＸである。

そこで、ステップＳ２０５では、図１０（ｂ）に示すように、明度階調変更後において、ＶｄｉＶ１＿ＭＩＮの明度Ｖが０となり、ＶｄｉＶ１＿ＭＡＸの明度Ｖが１となるようにトーンカーブ５５を設定することができる。トーンカーブ５５に従って、第１部分５２ａの明度階調変更を行うことによって、第１部分５２ａの明度コントラストが強調されるため、より詳細なゴミ検出が可能となる。例えば、画像データに与える影響が比較的軽微なゴミが写り込んでおり、ゴミによる画像の明度変化が比較的小さい場合であっても、当該ゴミの影響を受けている画素を検出することができる。

第１情報の第２部分５２ｂ、第１情報の第３部分５２ｃについても、第１情報の第１部分５２ａと同様にして、明度階調変更を行うことができる。なお、明度階調変更を行う際の明度Ｖの値としては、図３のステップＳ００４等で説明した階層化を実施する前の値を用いる。

以上のように、第３実施形態に係る画像処理では、ステップＳ２０５において明度階調変更を行った後に、条件付確率を算出して異物検出を行うため（ステップＳ２０６，２０７）、より詳細なゴミ検出が可能となる。また、ステップＳ２０４において画像を分割することにより、図１０（ａ）に示す明度Ｖの最小値ＶｄｉＶ１＿ＭＩＮと、明度Ｖの最大値ＶｄｉＶ１＿ＭＡＸとの差を小さくすることができる。これにより、ステップＳ２０５で行われる明度階調変更処理によるコントラスト強調効果を高めることができる。

また、ステップＳ２０３で行われる画像の分割は、分割後の画像が有する明度Ｖの最小値Ｖｄｉｖ１＿ＭＩＮと、明度Ｖの最大値はＶｄｉｖ１＿ＭＡＸがより小さくなるように行われることが好ましい。例えば、画像５１において、明度Ｖの値が高い部分を第１部分５１ａとし、明度Ｖの値が中程度の部分を第２部分５１ｂとし、明度Ｖの値が低い部分を第３部分５１ｃとすることができる。なお、第３実施形態に係る画像処理装置は、第１または第２実施形態に係る画像処理装置と同様の効果を有する。

以下、本発明を、さらに詳細な実施例に基づき説明するが、本発明は、これら実施例に限定されない。

第１実施例
第１実施例に係る画像処理装置では、図２に示すカメラ１０を用いて、図３に示す第１実施形態に係る画像処理に従って、画像データの中にゴミの影響を受けた画素が含まれているか否かを検出した。図３に示すステップＳ００２において取得する画像データとしては、色相および明度が互いに異なる４つの領域を有しており、画素数が１００００であるサンプル画像データを使用した。

ステップ１０３では、ステップＳ００２において取得したサンプル画像データを、式（１）〜（１０）を用いてＨＳＶ変換処理し、明度データＶからなる第１情報６２と、色相データＨからなる第２情報６４を生成した。図１１（ａ）は、ステップＳ００３において生成された第２情報６４（色相データＨ）を表したものであり、図１１（ｂ）は、ステップＳ００３において生成された第１情報６２（明度データＶ）を表したものである。また、図１２は、ＨＳＶ変換後のサンプル画像データの中央部分を拡大した図である。

図１１（ａ）および図１１（ｂ）に示すように、サンプル画像データは、中央部７０を通過する垂直線および水平線によって、４つに分割されている。すなわち、サンプル画像データは、色相Ｈが０．５であって明度Ｖが０．７９である左上部７２と、色相Ｈが０．１５であって明度Ｖが０．７である左下部７４と、色相Ｈが０．１であって明度Ｖが０．５である右上部７６と、色相Ｈが０．２であって、明度Ｖが０．４である右下部７８を有する。また、左下部７４の中央部付近には、５×５画素（ｐｉｘ）の黒色部６８が形成されている。黒色部は、色相Ｈが０．０５であって明度Ｖが０．０５である。

サンプル画像データの中央７０付近には、光学フィルタ２０に付着したゴミ２４の影響によって明度Ｖが低下しているゴミ画素６６が、配置されている。図１１（ａ）に示すように、ゴミ２４は、画像の色相Ｈには変化を与えないため、第２情報６４では、ゴミ画素６６は、周辺の画素と区別がつかない。しかし、ゴミ２４は、画像の明度Ｖを変化させるため、第１情報６２では、中央部分にゴミ画素６６が認識できる。

図１２は、サンプル画像データの中央７０部分を拡大した図である。ゴミ画素６６は、サンプル画像データの左上部７２と重複するゴミ左上部６６ａと、データ左下部７４と重複するゴミ左下部６６ｂと、データ右上部７８と重複するゴミ右上部６６ｃと、データ右下部７６と重複するゴミ右下部６６ｄとを有する。

ゴミ画素６６の明度は０．１であり、ゴミ画素６６の色相は、ゴミ画素６６が重複しているそれぞれのデータ部分の色相に等しい。サンプル画像データを構成する画素の色相Ｈおよび明度Ｖを、図１２および表１にまとめる。

ステップＳ００４では、明度データＶである第１情報６２と、色相データＨである第２情報６４とを階層化したのち、条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を算出した。実施例１では、明度データＶおよび色相データＨの階層数を２０、階層幅（頻度計算の刻み）を０．０５とした。

次に、階層化された第２情報６４（色相データＨ）から、色相値が所定の色相値Ｈｊとなる頻度Ｎ（Ｈｊ）を算出した。算出結果を表２に示す。

なお、表に示す色相値Ｈｊは、色相データＨを階層化した際における各階層の最小値である。

さらに、色相値が表２に示す色相値Ｈｊである画素について、第１情報６２（明度データＶ）を参照し、各画素の明度値Ｖｉを調査した。これによって、色相値が所定の色相値Ｈｊでありかつ明度値が所定の明度値Ｖｉとなる頻度Ｎ（Ｈｊ∩Ｖｉ）を算出した。算出結果を表３に示す。

表３は、色相値Ｈｊの行に対して、明度値Ｖｉの列が交差する位置に、それぞれの色相値Ｈｊおよび明度値Ｖｉについての頻度Ｎ（Ｈｊ∩Ｖｉ）を表示している。表３からは、例えば、頻度Ｎ（Ｈｊ＝０．０５∩Ｖｉ＝０．０５）は、「２５」であることがわかる。なお、表３に示す明度値Ｖｉは、明度データＶｉを階層化した際における各階層の最小値である。

また、さらに、表１および表２に示す算出結果をもとに、頻度Ｎ（Ｈｊ∩Ｖｉ）と頻度Ｎ（Ｈｊ）の比であるＮ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を算出した。算出結果を表４に示す。

表４は、色相値Ｈｊの行に対して、明度値Ｖｉの列が交差する位置に、それぞれの色相値Ｈｊおよび明度値ＶｉについてのＮ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を表示している。表３からは、例えば、Ｎ（Ｈｊ＝０．０５∩Ｖｉ＝０．０５）／Ｎ（Ｈｊ＝０．０５）は、「１」であることがわかる。

表４に示すように、サンプル画像データについて条件付確率Ｎ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）を算出した結果、算出された値の中に、０ではないが０に近い値が含まれていた。したがって、図３に示すステップＳ００５では、取得したサンプル画像データには、ゴミ２４の影響を受けた画素が含まれると判定した。また、表４の結果を、表１に示すサンプル画像データの各部分に対応させた結果を、表５に示す。

表５からは、ゴミ画素６６ａ〜６６ｄにおけるＮ（Ｈｊ∩Ｖｉ）／Ｎ（Ｈｊ）の値が、周辺部に比べて非常に小さい値（０．０００４〜０．００６４）となっている。したがって、図３に示すステップＳ００５では、取得したサンプル画像データの中央７０部分にあるこれらの画素６６ａ〜６６ｄは、ゴミ２４の影響を受けていると判定した。以上のように、実施例１では、サンプル画像データから、ゴミ２４の影響を受けた画素を検出することができた。

第２実施例
第２実施例では、図２に示すカメラ１０を用いて、図７に示す第２実施形態に係る画像処理を行い、画像データの中にゴミ２４の影響を受けた画素が含まれているか否かを検出した。図７に示すステップＳ１０２において取得する画像データとしては、第１実施例と同様のサンプル画像データを用いた。また、ステップＳ１０３で実施するＨＳＶ変換についても、実施例１と同様である（図１１および図１２参照）。

ステップＳ１０４では、明度データＶである第１情報６２と、色相データＨである第２情報６４とを階層化したのち、条件付確率Ｐ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ）を算出した。実施例２では、実施例１と同様に、明度データＶおよび色相データＨの階層数を２０、階層幅（頻度計算の刻み）を０．０５とした。

次に、階層化された第２情報６４（色相データＨ）から、サンプル画像データを構成する画素の色相値Ｈｊが、所定の色相値Ｈｊである確率Ｐ（Ｈｊ）を算出した。算出結果を表６に示す。

また、次に、階層化された第１情報６２（明度データＶ）から、サンプル画像データを構成する画素の明度値Ｖｉが、所定の明度値Ｖｉである確率Ｐ（Ｖｉ）を算出した。算出結果を表７に示す。

さらに、第１情報６２および第２情報６４から、明度値が所定の明度値Ｖｉであるという条件のもとで、色相値が所定の色相値Ｈｊである条件付確率Ｐ（Ｈｊ｜Ｖｉ）を算出した。算出結果を表８に示す。

表８は、明度値Ｖｉの行に対して、色相値Ｈｊの列が交差する位置に、それぞれの明度値Ｖｉおよび色相値Ｈｊについての条件付確率Ｐ（Ｈｊ｜Ｖｉ）を表示している。表８からは、例えば、Ｐ（Ｈｊ＝０．０５｜Ｖｉ＝０．０５）は、「１」であることがわかる。

また、さらに、表６〜表８に示す確率Ｐ（Ｈｊ），Ｐ（Ｖｉ），Ｐ（Ｈｊ｜Ｖｉ）から、条件付確率Ｐ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ）を算出した。算出結果を表９に示す。

表９は、明度値Ｖｉの行に対して、色相値Ｈｊの列が交差する位置に、それぞれの明度値Ｖｉおよび色相値Ｈｊについての条件付確率Ｐ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ）を表示している。表８からは、例えば、Ｐ（Ｈｊ＝０．０５｜Ｖｉ＝０．０５）Ｐ（Ｖｉ＝０．０５）／Ｐ（Ｈｊ＝０．０５）は、「１」であることがわかる。

表９に示すように、サンプル画像データについて条件付確率Ｐ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ）を算出した結果、算出された値の中に、０ではないが０に近い値が含まれていた。したがって、図９に示すステップＳ１０５では、取得したサンプル画像データには、ゴミ２４の影響を受けた画素が含まれると判定した。

また、ステップＳ１０５において、ＣＰＵ２６は、表９の結果と、各画素の位置（表１）を比較することによって、ゴミ画素６６ａ〜６６ｄにおけるＰ（Ｈｊ｜Ｖｉ）Ｐ（Ｖｉ）／Ｐ（Ｈｊ）の値が、周辺部に比べて非常に小さい値（０．０００４〜０．００６４）となっている。したがって、図７に示すステップＳ１０５では、取得したサンプル画像データの中央部分にあるこれらの画素６６ａ〜６６ｄは、ゴミ２４の影響を受けていると判定した。以上のように、実施例２でも、実施例１と同様に、サンプル画像データから、ゴミ２４の影響を受けた画素を検出することができた。

第３実施例
第３実施例では、図２に示すカメラ１０を用いて、図８に示す第３実施形態に係る画像処理の一部である明度階調変更（ステップＳ２０５）を実施し、効果を確認した。図１３は、本実施例に係る画像処理である明度階調変更を実施する前の第１情報８２（明度データＶ）と、明度階調変更を実施した後の第１情報９２とを表したものである。

第１情報８２の左上部８２ａの中央部には、ゴミ２４の影響を受けたゴミ画素８４が配置されている。しかし、図１３（ａ）に示すように、ゴミ画素８４の明度Ｖは０．７５であり、ゴミ画素８４周辺の画素の明度（Ｖ＝０．７９）との差が小さい。したがって、第１情報８２について、第１実施例および第２実施例で行った階層化（階層幅０．０５）を行うと、ゴミ画素８４とその周辺部が同じ階層に属するため、第１情報８２含まれるゴミ画素８４を検出することができない。

そこで、第３実施例では、階層化を行うまえに、図１４に示すトーンカーブ９４を用いて、サンプル画像データの明度階調変更を行った（ステップＳ２０５）。図１３（ｂ）に示すように、明度階調変更処理によって、第１情報９２におけるゴミ画素８４の明度Ｖは、０．６４となり、ゴミ画素８４周辺の画素の明度Ｖは０．７０となった。

明度階調変更後の第１情報９２について、第１実施例および第２実施例で行った階層化（階層幅０．０５）を行うと、ゴミ画素８４の明度値Ｖｉは０．６となり、ゴミ画素８４周辺の画素の明度値（Ｖｉ＝０．７）とは異なる値となる。したがって、第３実施例に係る明度階調変更を実施した後の画像データを用いて、ゴミ画素８４を検出することが可能となった。このように、第３実施例では、サンプル画像データの明度階調変更を行うことによって、ゴミによる明度変化が比較的小さい画像データに関しても、当該ゴミの影響を受けている画素の検出が可能となった。

２４… ゴミ
２６… ＣＰＵ
５０，５１… 画像データ
５２，６２，９２… 第１情報
５４，６４… 第２情報
６６，８４… ゴミ画素

Claims (7)

1. 異物が含まれる画像を用いて、明度値が前記画像にどれだけ含まれているかを示す情報である第１情報と、色相値及び彩度値の少なくとも一方が前記画像にどれだけ含まれているかを示す情報である第２情報とを生成する生成部と、
   前記第１情報と前記第２情報とを用いて、前記画像の前記異物を検出する異物検出部とを含み、
   前記異物検出部は、前記画像のうち前記色相値が第１色相値となる画素数と、前記画像のうち前記色相値が前記第１色相値であり前記明度値が第１明度値となる画素数との比を用いて、前記画像の前記異物を検出する
   ことを特徴とする画像処理装置。
2. 異物が含まれる画像を用いて、明度値が前記画像にどれだけ含まれているかを示す情報である第１情報と、色相値及び彩度値の少なくとも一方が前記画像にどれだけ含まれているかを示す情報である第２情報とを生成する生成部と、
   前記第１情報と前記第２情報とを用いて、前記画像の前記異物を検出する異物検出部とを含み、
   前記異物検出部は、前記画像のうち前記彩度値が第１彩度値となる画素数と、前記画像のうち前記彩度値が前記第１彩度値であり前記明度値が第１明度値となる画素数との比を用いて、前記画像の前記異物を検出する
   ことを特徴とする画像処理装置。
3. 請求項１に記載された画像処理装置であって、
   前記画像のうち前記色相値が前記第１色相値となる画素数をＡ０とし、
   前記画像のうち前記色相値が前記第１色相値であり前記明度値が前記第１明度値となる画素数をＡ１とし、
   前記画像のうち前記色相値が前記第１色相値であり前記明度値が前記第１明度値とは異なる第２明度値となる画素数をＡ２としたとき、
   前記異物検出部は、Ａ１／Ａ０の大きさとＡ２／Ａ０の大きさとを比較することにより、前記画像の前記異物を検出することを特徴とする画像処理装置。
4. 請求項２に記載された画像処理装置であって
   前記画像のうち前記彩度値が第１彩度値となる画素数をＢ０とし、
   前記画像のうち前記彩度値が第１彩度値であり前記明度値が前記第１明度値となる画素数をＢ１とし、
   前記画像のうち前記彩度値が前記第１彩度値であり前記明度値が前記第１明度値とは異なる第２明度値となる画素数をＢ２としたとき、
   前記異物検出部は、Ｂ１／Ｂ０の大きさとＢ２／Ｂ０の大きさとを比較することにより、前記画像の前記異物を検出することを特徴とする画像処理装置。
5. 請求項１から請求項４までのいずれか１項に記載された画像処理装置であって、
   元画像を、複数の前記画像に分割し、前記画像の明度階調を変更する明度階調変更部をさらに有する画像処理装置。
6. 請求項１から請求項５までのいずれか１項に記載された画像処理装置と、
   光学系および撮像素子を備え、前記画像を取得できる撮像部と、を有する撮像装置。
7. 請求項６に記載された撮像装置であって、
   前記画像処理装置が前記異物を検出した時に警告信号を出力する警告部をさらに有する撮像装置。

Images