JP5750934B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関する。

電子カメラ等により撮像を行う際、光学フィルタ等にゴミが付着していると、ゴミの影が撮像画像に写り込む場合がある。このように画像に写り込んだゴミ影等による画像欠損部位を補正するものとして、ゴミ影の写り込んだ基準画像からゴミ位置の座標等の情報を得、その情報に基づいて通常撮影された撮影画像に写り込んだゴミ影による画像欠損を補正する画像処理装置が知られている。
また、補正対象の画像におけるゴミ影による透過率の変化（各画素における輝度情報の変化）からゴミを検出し、ゴミ影を削除する補正を行う技術が知られている（特許文献１参照）。

特開２００４−２２０５５３号公報

しかしながら、ゴミ影部分の光の透過率（輝度変化）に基づくゴミ影の検出では、被写体像をゴミ影として誤検出してしまうことがある。

本発明の課題は、ゴミ影等の画像欠損部位を良好に検出することのできる画像処理装置を提供することである。

本発明は、以下のような解決手段により前記課題を解決する。

請求項１に記載の発明は、光学素子を介して撮像素子により撮像された処理対象画像に対して、明るさの変化量に基づいて連結した画素領域を判定する連結領域判定部と、前記連結した画像領域の領域内外における明るさの差異を検出する明るさ検出部と、前記明るさ検出部によって検出された明るさの差異に対応した彩度比判定基準に基づいて、前記連結領域判定部によって判定された連結した画像領域のうちから領域内外における彩度の違いが所定の範囲の画像領域だけを選択する彩度判定部とを備える画像処理装置である。
請求項２に記載の発明は、処理対象画像に対して明るさの変化量に基づいて候補領域を判定する第１判定部と、前記候補領域の領域内外における明るさの差異を検出する明るさ検出部と、前記明るさ検出部によって検出された明るさの差異に対応した彩度比判定基準に基づいて、前記第１判定部によって判定された前記候補領域のうちから前記候補領域の領域内外における彩度の差異が所定の範囲の前記候補領域を選択する第２判定部とを備える画像処理装置である。
請求項３に記載の発明は、画像内で明るさに基づいて複数の候補領域を決定する決定部と、前記候補領域の内側と前記候補領域の外側との明るさの差異が所定範囲内にあるとき、前記候補領域の内側と前記候補領域の外側との明るさの差異が小さくなるほど、前記候補領域の内側と前記候補領域の外側との彩度の差異の許容範囲を広く設定する設定部と、前記決定部で決定された前記複数の候補領域のうち、前記候補領域の内側と前記候補領域の外側との明るさの差異が前記所定範囲内にあり、前記候補領域の内側と前記候補領域の外側との彩度の差異が前記許容範囲内となる前記候補領域を選択する選択部とを含む画像処理装置である。
請求項４に記載の発明は、請求項３に記載された画像処理装置であって、前記設定部は、前記候補領域の内側と前記候補領域の外側との明るさの差異が前記所定範囲内にないとき、前記候補領域の内側と前記候補領域の外側との明るさの差異が変化しても、前記候補領域の内側と前記候補領域の外側との彩度の差異の前記許容範囲を一定の範囲とする画像処理装置である。
請求項５に記載の発明は、画像内で明るさに基づいて複数の候補領域を決定する決定部と、前記決定部で決定された前記複数の候補領域のうち、前記候補領域の内側と前記候補領域の外側との彩度の差異が第１範囲に含まれる前記候補領域を選択する選択部とを含み、前記第１範囲は、前記候補領域の内側と前記候補領域の外側との明るさの差異が第２範囲内にあるとき、前記候補領域の内側と前記候補領域の外側との明るさの差異が小さくなるほど広くなる画像処理装置である。
請求項６に記載の発明は、請求項１乃至請求項５の何れか１項に記載された画像処理装置を含むカメラである。
請求項７に記載の発明は、コンピュータに、画像内で明るさに基づいて複数の候補領域を決定する機能と、
前記候補領域の内側と前記候補領域の外側との明るさの差異が所定範囲内にあるとき、前記候補領域の内側と前記候補領域の外側との明るさの差異が小さくなるほど、前記候補領域の内側と前記候補領域の外側との彩度の差異の許容範囲を広く設定する機能と、決定された前記複数の候補領域のうち、前記候補領域の内側と前記候補領域の外側との彩度の差異が前記許容範囲内となる前記候補領域を選択する機能と、を実現させるためのプログラムである。

本発明によれば、ゴミ影等の画像欠損部位を良好に検出することのできる画像処理装置を提供できる。

レンズ交換式のカメラの構成を示す図である。 カメラと画像処理装置を構成するパーソナルコンピュータ（ＰＣ）および周辺装置を示すブロック図である。 画像欠損補正処理を行う画像処理装置の機能ブロック図である。 画像処理装置における欠損判定部の機能ブロック図である。 ＨＳＶ変換処理の六角錐モデルを表す概念図である。 明度比に基づく色相比によって規定される判定領域を示す図である。 画像処理装置における画像欠損補正処理のフローチャートである。

以下、図面等を参照して、本発明の実施形態について説明する。
図１は、レンズ交換式のカメラ１の構成を示す図である。図２は、カメラ１と画像処理装置を構成するパーソナルコンピュータ（ＰＣ）３０および周辺装置を示すブロック図である。
カメラ１は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。

カメラ１は、カメラ本体２と、カメラ本体２に対して着脱可能な撮像レンズ３とにより構成されている。撮像レンズ３は、複数の光学レンズ群（図１においては１枚のレンズで示す）から成る結像光学系３Ｌを備えている。

カメラ１は、結像光学系３Ｌ（撮像レンズ３）とカメラ本体２とを備える。
カメラ本体２は、シャッター１１、光学フィルタ１２、撮像素子１３、画像処理部１４、操作部１５、表示部１６、メモリカード用インターフェース部１７、外部インターフェース部１８、電源１９、制御部２０等を備えている。

シャッター１１は、結像光学系３Ｌから撮像素子１３へ向かう撮影光を遮蔽および通過させることによって、露光時間を調整する。
光学フィルタ１２は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。なお、符号４は、この光学フィルタ１２の表面に付着した塵や埃などのゴミを示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ１２にゴミ４が付着していると、撮像素子１３によって取得される画像データのなかに、ゴミ４の影響を受けた画素が含まれる場合がある。

撮像素子１３は、ＣＣＤやＣＭＯＳ等の光電変換素子であって、複数の画素から構成される矩形形状の撮像領域を有している。そして、撮像素子１３は、その結像面に結像された像を電気信号に変換し、被写体像に対応する画像信号（撮像信号）を出力する。撮像素子１３から出力された画像信号は、所定のアナログ信号処理の後、Ａ／Ｄ変換されて画像処理部１４に入力される。

画像処理部１４は、撮像素子１３から入力された画像データに対して、補間，階調変換や輪郭強調などの画像処理を行う。
なお、本実施形態のカメラ１では、撮像素子１３において、画像処理部１４に供給される画像データはＲＧＢ表色系で示されるものとする。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。ここで、撮像素子１３を構成する１つの光電変換素子を画素と言うが、この画素に対応した画像データの１単位も画素と言う。また、画像も複数の画素から構成される概念である。画像処理が完了した画像データは、補間処理が完了し、各画素にはＲＧＢのすべての色成分の色情報が存在するものとする。

操作部１５は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部１５は、それらの操作情報を制御部に入力する。
表示部１６は、ＬＣＤ等によって構成され、カメラ１における各種設定メニュー、撮像素子１３による撮像画像やメモリカードに格納された画像データに基づく再生画像を表示する。

メモリカード用インターフェース部１７は、メモリカード（カード状のリムーバブルメモリ）４０とのインターフェースをとる。
外部インターフェース部１８は、所定のケーブルや無線伝送路を介してＰＣ３０等の外部装置とのインターフェースをとる。
電源１９は、カメラ１の各機能部に電力を供給する。

制御部２０は、カメラ１における各機能部を統括制御する。すなわち、制御部２０は、操作部１５におけるレリーズスイッチから撮影指示信号が入力されると、シャッター１１を駆動制御して露光動作等の撮影動作を制御する。また、制御部２０は、撮像素子１３で取得されて画像処理部１４で画像処理が行われて入力された画像データを、メモリカード用インターフェース部１７に着脱可能に取り付けられたメモリカード４０等に記憶させ、保存する。さらに、制御部２０は、メモリカード４０等に記憶された画像データを呼び出し、表示部１６に表示させる。

上記のように構成されたカメラ１は、撮影時において制御部２０によって制御されて、下記のように作用する。
操作者によって操作部１５のレリーズボタンが押圧操作されると、シャッター１１を所定時間開放する。撮像素子１３は、結像光学系３Ｌにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子１３によって生成された画像信号は、画像データとして画像処理部１４に入力され、画像処理部１４によって所定の画像処理が施される。そして、画像処理部１４で画像処理された画像データに基づいて表示部１６に撮影画像を表示すると共に、その画像データに必要に応じてＪＰＥＧ等による圧縮処理を施してメモリカード用インターフェース部１７に装着されたメモリカード４０に記憶・保存する。また、外部インターフェース部１８を介して接続された後述するＰＣ３０に、画像データを送出する。

ここで、メモリカード４０に記憶・保存され、または、外部インターフェース部１８を介してＰＣ３０に送出される画像データは、たとえば、Ｅｘｉｆファイルに記録される。Ｅｘｉｆファイルには、カメラ名，カメラメーカー名，撮像画素情報，絞り値やシャッター速度および露光補正等の露出条件、撮影時刻などの付加情報が共に記録される。

パーソナルコンピュータ（ＰＣ）３０は、図示しないが、ＣＰＵ、メモリ、ハードディスク、メモリカード４０とのインターフェースをとるメモリカード用インターフェース部、ケーブルや無線伝送路を介してカメラ１等の外部装置とのインターフェースをとる外部インターフェース部等を備えている。また、ＰＣ３０には、モニタ３１やプリンタ３２等が接続されており、ＣＤ−ＲＯＭ３３に記録された画像欠損補正処理に係るアプリケーションプログラムが予めインストールされている。

つぎに、図３〜図６を参照して、撮影された対象画像データにおけるゴミ影等による画像欠損を補正する処理（画像欠損補正処理）について説明する。
図３は、画像欠損補正処理を行う画像処理装置５０の機能ブロック図である。図４は、画像処理装置５０における欠損判定部６０の機能ブロック図である。図５は、ＨＳＶ変換処理の六角錐モデルを表す概念図である。図６は、明度比に基づく色相比によって規定される判定領域を示す図である。図７は、画像処理装置５０における画像欠損補正処理のフローチャートである。

画像欠損補正処理は、メモリカード３０を介して提供された、または、カメラ１の外部インターフェース部１８から伝送された画像処理完了後の画像データに対して、ＰＣ３０によって行われる。前述したように、ＰＣ３０には、画像欠損補正処理のアプリケーションプログラムがインストールされており、ＰＣ３０はこのプログラムを実行することによって、画像欠損補正処理を行う画像処理装置として機能する。

ＰＣ３０とプログラムとによって機能する画像処理装置５０は、図３に示すように、画像欠損領域を検出する欠損判定部６０と、欠損判定部６０によって判定された画像欠損情報に基づいてその欠損部位を補正する補正部５１と、を備えている。
欠損判定部６０は、機能ブロック図である図４に示すように、連結領域判定部６１と、対象領域抽出部６２と、明るさ判定部６３と、色相判定部６４と、彩度判定部６５と、誤検出排除部６６と、を備えている。

連結領域判定部６１は、対象画像における各画素の明るさ（たとえば明度）情報から、画像欠損の可能性のある領域を抽出する。画像欠損は、たとえば光学フィルタ１２の前面に付着したゴミ４（図１参照）によるゴミ影を撮影することで生ずる。以下、このようなゴミ４（図１参照）によるゴミ影によって生じた画像欠損領域を例として説明する。
連結領域判定部６１による画像欠損領域（ゴミ影部位）の検出は、対象画像を形成するＲＧＢによる各画素の画像データをＨＳＶ変換して明度平面を求め、さらにその明度勾配を求めて行う。

ここで、ＨＳＶ変換について説明する。
図５は、ＨＳＶ変換の六角錐モデルの概念図である。明度Ｖの座標軸は六角錐の中心軸で表され、彩度Ｓの座標軸は六角錐の中心軸に直交する軸で表され、色相Ｈは六角錐の中心軸を回転する回転角で表される。
明度値Ｖ（Value）、色相値Ｈ（Hue）および彩度値Ｓ（Saturation）の各画素の要素は、ＲＧＢ画像データにおける各画素のＲＧＢ要素から、以下の数式（１）〜（１０）を用いて変換される。

Ｖｍａｘ＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝・・・（１）
Ｖｍｉｎ＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝・・・（２）
として、
Ｖ＝ Ｖｍａｘ ・・・（３）
Ｓ＝（Ｖｍａｘ−Ｖｍｉｎ）／Ｖｍａｘ ・・・（４）
Ｈ＝（π／３）（ｂ−ｇ） （Ｒ＝Ｖｍａｘのとき） ・・・（５）
Ｈ＝（π／３）（２＋ｒ−ｂ） （Ｇ＝Ｖｍａｘのとき） ・・・（６）
Ｈ＝（π／３）（４＋ｇ−ｒ） （Ｂ＝Ｖｍａｘのとき） ・・・（７）

ただし、
ｒ＝（Ｖｍａｘ−Ｒ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（８）
ｇ＝（Ｖｍａｘ−Ｇ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（９）
ｂ＝（Ｖｍａｘ−Ｂ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（１０）
なお、式（５）〜（７）で変換された結果、Ｈ＜０の時には、Ｈに２πを加える。また、Ｖｍａｘ＝０の時は、Ｓ＝０，Ｈ＝不定となる。

連結領域判定部６１では、対象画像を構成する各画素について、上述の式（１）〜（１０）で示すＨＳＶ変換処理を実行することによって、各画素の明度値Ｖを求め、対象画像平面に対応する明度平面を生成する。

ついで、連結領域判定部６１は、上記のようにして求められた明度平面に対して逆ガンマ補正をかけ、入出力の関係を線形に戻す。
すなわち、逆ガンマ補正後のＶ’は、上記明度値Ｖを使って、
Ｖ’＝（Ｖ）^γ
によって算出する。
これは、画像処理装置５０に入力された対象画像は表示装置等に対応すべくガンマ補正によって明るさ，調子，色のバランスなどの調整が行われているが、以降の画像処理を容易とするために入出力が線形となるように戻すための処理である。

そして、連結領域判定部６１は、逆ガンマ補正後の明度平面から、明度勾配平面を生成する。
すなわち、明度平面に対して、縦方向横方向に微分フィルタをかけてそれぞれの差分
Δ_ｘｆ（ｉ,ｊ）, Δ_ｙｆ（ｉ,ｊ）
を求め、下記式によって画素の勾配（grad）を計算し、これによって明度勾配平面を得る。

明度勾配平面では、ゴミ影の周縁部では高い画素値を示し、空などの一様な平面では低い画素値を示す。つまり、エッジ部分では高い画素値を示し、これによってゴミ影のエッジ部分を検出できる。

また、連結領域判定部６１は、所定の閾値を設定して、明度勾配平面を２値画像に変換する。すなわち、閾値より高い明度勾配値を有する画素を「１」、閾値より低い明度勾配値を有する画素を「０」と置換する。
そして、連結領域判定部６１は、このようにして得られた２値画像から、「１」の画素が連結した領域（連結画素領域）を抽出する。連結画素領域とは、たとえば、矩形の画素の４辺の内の少なくとも１辺で連続した（４近傍の）画素領域とする。この連結画素領域が、ゴミ影による画像欠損の可能性のある領域である。

対象領域抽出部６２は、連結領域判定部６１によって抽出された連結画素領域の中から、ゴミ影のサイズ（大小）に基づいて補正候補領域を抽出する。
ここで、対象領域抽出部６２は、連結画素領域から補正候補領域を抽出する際において、画像欠損を生じさせるゴミ影の大きさを基準とする。ここでは、一般的なゴミのサイズである最小１００μｍ×１００μｍ〜最大４００μｍ×４００μｍのゴミによって投影されるゴミ影を検出対象とするように画素数によって規定された閾値を基準とし、連結画素領域の大きさがこの閾値内に含まれるものが補正対象となり得るゴミ影であるとして補正候補領域と判定し、選択する。

明るさ判定部６３は、先の連結領域判定部６１において説明したＨＳＶ変換によって求められた明度値Ｖ（Value）と画像平面に対応する明度平面とを用い、連結画素領域における内外の明度を比較する。ここで、ゴミ影は、内部の明度が周辺の明度に比較して低い。このため、明度比が小さい所定の閾値を設定し、連結画像領域の明度比がこの閾値より小さいに場合にのみ、補正対象となり得るゴミ影であるとして補正候補領域と判定し、選択する。本実施形態では、後述する図６の判定マップに示されるように、明度比「０．９８」を閾値とする。

色相判定部６４は、先の連結領域判定部６１において説明したＨＳＶ変換によって、各画素の色相値Ｈを求めて画像平面に対応する色相平面を生成する。色相判定部６４は、色相値Ｈと色相平面とを用い、連結画像領域における内外の色相を比較する。ここで、ゴミ影は、明度には大きく影響するものの色相にはほとんど影響を与えず、連結画像領域の内外における色相比はほとんど１に近い。このため、１に近い所定の閾値を設定し、色相比がこの閾値より大きい場合にのみ、補正対象とすべきゴミ影であるとして補正候補領域と判定し、選択する。

彩度判定部６５は、先の連結領域判定部６１において説明したＨＳＶ変換によって求められた各画素の彩度値Ｓに基づいて、画像平面に対応する彩度平面を生成する。彩度判定部６５は、彩度値Ｓと彩度平面とを用い、連結画像領域における内外の彩度を比較して彩度比を求める。また、彩度判定部６５は、図６に示すように、明度比に基づく彩度比によって規定される判定領域を定めた判定マップを備えている。そして、彩度判定部６５は、連結画像領域の内外の彩度比が、判定マップにおける判定領域内に含まれる場合にのみ、ゴミ影であるとして補正候補領域と判定する。

ここで、図６に示す判定マップにおける判定領域は、彩度比上限閾値：ＳＵと、彩度比下限閾値：ＳＬとによって囲まれた領域（彩度判定領域：ＳＥ）として設定されている。
図６中に示されている個々の点は、画像欠損の要因となるゴミを撮像素子１３の前面に位置する光学フィルタ１２（図１参照）に付着させて実験した結果を示している。この結果から、ゴミ影は彩度にはほとんど影響を与えることなく彩度比「１」の周辺に分布し、明度比が「１」に近くなるに従って漸増すると共に彩度比が大きな側に分布が広がる傾向を示すことが解る。そこで、彩度判定領域：ＳＥは、これらを略包括する領域として設定されている。

すなわち、彩度比下限閾値：ＳＬは、明度比に拘わらず「１」より小さな一定の彩度比として設定されている。
彩度比上限閾値：ＳＵは、明度比が所定値（下側設定値：ＢＬ）より小さな明度比領域では彩度比は比較的小さな値で一定に設定され、明度比が所定値（上側設定値：ＢＵ）より大きな明度比領域では彩度比は比較的大きな値で一定に設定されている。そして、下側設定値：ＢＬと上限設定値：ＢＵの間では、彩度比は明度比に比例して変化するように設定されている。

図６に示す本実施形態では、明度比が「下側設定値：ＢＬ＝０．８」未満では彩度比は「１」とし、明度比が「上側設定値：ＢＵ＝０．９５」以上では彩度比は「１．１６」に設定されている。また、明度比が「下側設定値：ＢＬ＝０．８」以上「上側設定値：ＢＵ＝０．９５」未満では、彩度比は「明度比＋０．２１」で比例して変化するように設定されている。なお、図６中、明度比「０．９８」以上は、前述した明るさ判定部６３による判定範囲外のため排除されている。

つぎに、図７に示すフローチャートに従って、画像処理装置５０における画像欠損補正処理の流れを説明する。また、図７および以下の説明中、ステップを「Ｓ」とも略記する。

画像処理装置５０は、メモリカード４０を介して、または、カメラ１の外部インターフェース部１８を介して入力された補正対象画像データを読み込む（Ｓ０１）。
読み込んだ対象画像データに対して、連結領域判定部６１が、ＲＧＢ画像データのＨＳＶ変換（Ｓ０２）、逆ガンマ処理および付随するノイズ処理（Ｓ０３）、明度勾配の計算（Ｓ０４）を行う。そして、明度勾配から連結画素領域を抽出する（Ｓ０５）。

続いて、ステップ０６で、対象領域抽出部６２によって、連結画素領域の大きさに基づいて補正候補領域に該当するか否かを判定する。
ステップ０７では、明るさ判定部６３によって、連結画素領域における内外の明度比に基づいて補正候補領域に該当するか否かを判定する。
ステップ０８では、色相判定部６４によって、連結画素領域における内外の色相比に基づいて補正候補領域に該当するか否かを判定する。

ステップ０９では、彩度判定部６５によって、連結画素領域における内外の彩度比に基づいて補正候補領域に該当するか否かを判定する。ここでは、前述したように、連結画素領域における内外の彩度比が図６に示す判定マップに規定される明度比に対応した彩度判定領域：ＳＥに含まれるもののみを選択する。

さらに、ステップ１０で、誤検出排除部６６によって、連結画素領域が明るいエリアにあり、且つ、領域周辺の明度標準偏差が小さく、補正候補領域に該当するか否かを判定する。
そして、全ての判定において補正候補領域と判定された連結画素領域を補正対象領域として、ステップ１１で、この補正対象領域に対して、補正部５１によって、明度および彩度のゲインマップを作成し、ゴミ影による欠損を補正する画像補正を行う。

以上、本実施形態によると、以下の効果を有する。
（１）本構成によれば、画像処理装置５０における欠損判定部６０は、連結画素領域の内外の明度比に対応する彩度比が、彩度比下限閾値：ＳＵと彩度比上限閾値：ＳＬとによって囲まれた彩度判定領域：ＳＥに含まれる場合にのみ、ゴミ影であるとして補正候補領域であると判定する。これにより、画像欠損であるゴミ影と被写体像とを的確に分別することが可能となる、その結果、誤判定を抑制してゴミ影の検出精度を向上できる。

（２）また、連結領域判定部６１が抽出した連結画素領域からゴミ影である可能性の高いものに効率良く絞り込むことができるため、処理情報量を削減できる。これにより、処理速度を向上させて迅速な画像処理が可能となる。

（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）上記実施形態では、欠損判定部６０における連結領域判定部６１は、各画素の明るさ情報として明度を用いてゴミ影等による画像欠損部位を検出した。しかし、画像欠損部位を検出する際に用いる各画素の明るさの情報は、明度に限るものではなく輝度を用いても良い。

（２）上記実施形態における画像処理装置５０の画像欠損補正処理フローでは、連結領域判定部６１によって連結画素領域を抽出した後、対象領域抽出部６２、明るさ判定部６３、色相判定部６４、彩度判定部６５、誤検出排除部６６の順番で各判定を行っている。しかし、これら判定の順番はこの例に限定されるものではなく、適宜変更（たとえば図４中破線で示すように変更）可能である。ただし、対象領域抽出部６２による工程（連結画素領域から補正候補領域を判定する工程）は、他の工程より前に行うことが、処理対象のデータ量を削減して処理速度を向上させることができるため、より好ましい。

（３）上記実施形態では、電子スチルカメラであるカメラ１で撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナー等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。

（４）上記実施の形態では、電子スチルカメラであるカメラ１で撮影した画像データをＰＣ（パソコン）３１で処理してゴミの影響を除去する例を説明したが、この内容に限定するものではない。電子カメラ１にそのようなプログラムを備えてもよい。また、プリンタや投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。

（５）ＰＣ３１で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に限らず、インターネットなどのデータ信号を通じて提供することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。

１：カメラ、１２：光学フィルタ、１３：撮像素子、１７：メモリカード用インターフェース部、１８：外部インターフェース部、３０：パーソナルコンピュータ（ＰＣ）、３３：ＣＤ−ＲＯＭ、４０：メモリカード、５０：画像処理装置、５１：補正部、６０：欠損判定部、６１：連結領域判定部、６２：対象領域抽出部、６３：明るさ判定部、６４：色相判定部、６５：彩度判定部、６６：誤検出排除判定部、ＳＵ：彩度比下限閾値、ＳＬ：彩度比上限閾値、ＳＥ：彩度判定領域、ＢＬ：下側設定値、ＢＵ：上側設定値

Claims (7)

1. 光学素子を介して撮像素子により撮像された処理対象画像に対して、明るさの変化量に基づいて連結した画素領域を判定する連結領域判定部と、
   前記連結した画像領域の領域内外における明るさの差異を検出する明るさ検出部と、
   前記明るさ検出部によって検出された明るさの差異に対応した彩度比判定基準に基づいて、前記連結領域判定部によって判定された連結した画像領域のうちから領域内外における彩度の違いが所定の範囲の画像領域だけを選択する彩度判定部とを備える画像処理装置。
2. 処理対象画像に対して明るさの変化量に基づいて候補領域を判定する第１判定部と、
   前記候補領域の領域内外における明るさの差異を検出する明るさ検出部と、
   前記明るさ検出部によって検出された明るさの差異に対応した彩度比判定基準に基づいて、前記第１判定部によって判定された前記候補領域のうちから前記候補領域の領域内外における彩度の差異が所定の範囲の前記候補領域を選択する第２判定部とを備える画像処理装置。
3. 画像内で明るさに基づいて複数の候補領域を決定する決定部と、
   前記候補領域の内側と前記候補領域の外側との明るさの差異が所定範囲内にあるとき、前記候補領域の内側と前記候補領域の外側との明るさの差異が小さくなるほど、前記候補領域の内側と前記候補領域の外側との彩度の差異の許容範囲を広く設定する設定部と、
   前記決定部で決定された前記複数の候補領域のうち、前記候補領域の内側と前記候補領域の外側との明るさの差異が前記所定範囲内にあり、前記候補領域の内側と前記候補領域の外側との彩度の差異が前記許容範囲内となる前記候補領域を選択する選択部とを含む画像処理装置。
4. 請求項３に記載された画像処理装置であって、
   前記設定部は、前記候補領域の内側と前記候補領域の外側との明るさの差異が前記所定範囲内にないとき、前記候補領域の内側と前記候補領域の外側との明るさの差異が変化しても、前記候補領域の内側と前記候補領域の外側との彩度の差異の前記許容範囲を一定の範囲とする画像処理装置。
5. 画像内で明るさに基づいて複数の候補領域を決定する決定部と、
   前記決定部で決定された前記複数の候補領域のうち、前記候補領域の内側と前記候補領域の外側との彩度の差異が第１範囲に含まれる前記候補領域を選択する選択部とを含み、
   前記第１範囲は、前記候補領域の内側と前記候補領域の外側との明るさの差異が第２範囲内にあるとき、前記候補領域の内側と前記候補領域の外側との明るさの差異が小さくなるほど広くなる画像処理装置。
6. 請求項１乃至請求項５の何れか１項に記載された画像処理装置を含むカメラ。
7. コンピュータに、
   画像内で明るさに基づいて複数の候補領域を決定する機能と、
   前記候補領域の内側と前記候補領域の外側との明るさの差異が所定範囲内にあるとき、前記候補領域の内側と前記候補領域の外側との明るさの差異が小さくなるほど、前記候補領域の内側と前記候補領域の外側との彩度の差異の許容範囲を広く設定する機能と、
   決定された前記複数の候補領域のうち、前記候補領域の内側と前記候補領域の外側との彩度の差異が前記許容範囲内となる前記候補領域を選択する機能と、を実現させるためのプログラム。

Images