JP4464731B2 - 画像処理プログラム、画像処理方法、画像処理装置 - Google Patents

Description

本発明は、画像に含まれる埃の画像部分を除去するための画像処理プログラム、画像処理方法、画像処理装置に関する。

デジタルカメラ等の撮像装置は、一般的に、撮像光学系と、該撮像光学系により結像された被写体像を光電変換する撮像素子（イメージセンサ）と、を備えて構成されている。このような撮像装置では、撮像光学系を構成するレンズ群の内の最も被写体側に位置するレンズに、埃やゴミなど（以下ではこれらをまとめて「埃」と称する。）が付着することがある。

また、特に、レンズを交換可能ないわゆる一眼レフレックスカメラタイプの撮像装置では、最も撮像素子側に位置するレンズや、撮像素子の撮像面上にも埃が付着することがある。

このような埃は、撮像される画像の品質を損なうものであるが、レンズ上の埃は撮像面ではぼけてしまうのに対して、撮像素子の撮像面上に付着した埃は明確な黒点などとして画像に現れてしまうために目立ち易いという特徴がある。従って、撮影者は、事前にブロアー等でこうした埃をできるだけ取り除くようにしているが、手作業で完全に取り除くことは困難である。

このような埃の内の、撮像面上に付着した埃に対しては、例えば超音波振動等を用いて物理的に取り除くようにする技術が実用化されているが、カメラのコストアップは避けられない。

一方、埃を物理的に取り除くのではなく、埃が付着した状態で撮像された画像から、該埃部分の画像を画像処理によって補正する技術も提案されている。

例えば、特開２００２−２０９１４７号公報には、撮像レンズと撮像手段とを備えたデジタルカメラであって、ゴミ検出モードのときに撮像手段から出力された画像データに基づいて画像上のゴミの位置を検出するゴミ位置検出手段と、このゴミ位置検出手段により検出されたゴミ位置を記憶する記憶手段と、この記憶手段に記憶されたゴミ位置に基づいて撮像モードのときに上記撮像手段から出力される画像データを補正する補正手段と、を備えたデジタルカメラが記載されている。そして、該公報に記載された補正手段は、具体的には、ゴミと判定された位置の像がその周りの色と同じになるように、色補正を行うものとなっている。さらに、該公報には、白一色の基準被写体を撮像して得た基準被写体像データから、ゴミの位置を検出することが記載されている。

一方、埃による影響を補正するためのものではないが、類似した技術として、画像上に点状（あるいは線状など）のデータ欠落部分が生じる欠陥画素を補正するための技術が提案されている。

例えば、特開２００２−１６５０９２号公報には、デジタル画像を構成する画素を走査することにより修正の必要な欠損画素を検出する欠損画素検出手段と、上記検出した欠損画素の周囲から修正の必要のない正常画素を検出する正常画素検出手段と、上記検出した正常画素と上記欠損画素に対称な方向にある他の上記正常画素との輝度レベル差を検出する輝度レベル差検出手段と、上記検出した輝度レベル差が最も小さい２つの正常画素の内部補間で上記欠損画素を補正する補正手段と、を備えた画像処理装置が記載されている。さらに、該公報には、欠陥画素がエッジ部分に存在する場合に、補間元の正常画素として、該エッジ方向とほぼ平行な方向の正常画素を用いることが記載されている。
特開２００２−２０９１４７号公報 特開２００２−１６５０９２号公報

しかしながら、上記特開２００２−２０９１４７号公報に記載の技術は、ゴミが付着している可能性があるときに、デジタルカメラをゴミ検出モードに設定してゴミ位置を検出するものであるために、ゴミ検出モードでゴミ位置を検出することのないまま撮影モードで撮影した画像は補正をすることができない。従って、撮影された後で、例えばパーソナルコンピュータ等において該画像を観察したときに、埃による黒点等が観察されても、ゴミ検出モードで検出されたデータ（白一色の基準被写体を撮像して得た基準被写体像データ）がなければ、該技術によって補正を行うことができない。そして、ゴミ位置の画像の補間についても、単に周囲の画素データを用いて行うものであるために、例えばゴミがエッジ部分にある場合などには、画像を良好に補正することができない。

また、上記特開２００２−１６５０９２号公報に記載されたものは、欠陥画素を補正するために、該欠陥画素を挟む位置にある２つの正常画素を用いて補間を行うものとなっている。欠陥画素は、１画素単位、あるいはライン方向に沿った数画素単位、等で発生することが多く、このような欠陥画素を補正するためには、欠落画素を挟む２つの正常画素のデータを用いることは比較的有効であると考えられる。しかし、埃による画像データの欠落は、複数画素に渡る例えば面状の領域となってしまうこともあり、このような場合には、２つの正常画素のみを用いる補間では、必ずしも最適な補間結果になるとは限らない。さらに、該公報には、赤外光を照射することにより、撮影されて現像された後のネガフィルの傷やゴミを検出する技術が記載されているが、該技術では、埃が原因となってフィルム上に形成された黒点等を検出することはできず、従って、該黒点等を画像から取り除くこともできない。

本発明は上記事情に鑑みてなされたものであり、撮像装置により撮影された画像から、埃の画像部分を特定して良好に修復することができる画像処理プログラム、画像処理方法、画像処理装置を提供することを目的としている。

上記の目的を達成するために、第１の発明による画像処理プログラムは、コンピュータにより、撮像装置により撮影された画像から、該画像に含まれ得る埃の画像部分を画像処理により除去させるための画像処理プログラムであって、処理対象画像を撮影した撮像装置と同一の撮像装置により撮影された１以上の画像の中から撮影日時が該処理対象画像に近い順に１以上の画像を参照画像として選択する画像選択ステップと、上記処理対象画像と上記参照画像との両方において略同一位置に存在する埃の画像部分を特定する埃特定ステップと、上記埃特定ステップにより特定された処理対象画像における埃の画像部分を該処理対象画像における該埃の画像部分の近傍の画像情報を用いて修復する修復ステップと、をコンピュータに実行させるためのプログラムである。

なお、「日時」は、年、月、日、時、分、秒などの時間的概念を広範に含んでいる。

そして、「埃」は、埃、塵、ゴミなどを広範に含み、これらを代表して単に「埃」と記載したものである。

また、第２の発明による画像処理プログラムは、上記第１の発明による画像処理プログラムにおいて、上記撮像装置が、イメージセンサを有して構成されたものであり、上記埃は、このイメージセンサの撮像面に付着しているものであることを特徴とする。

さらに、第３の発明による画像処理プログラムは、上記第１または第２の発明による画像処理プログラムにおいて、上記撮像装置が、イメージセンサを有して構成されたものであり、上記略同一位置は、このイメージセンサの撮像面における略同一位置であることを特徴とする。

第４の発明による画像処理プログラムは、上記第１の発明による画像処理プログラムにおいて、上記画像選択ステップが、上記処理対象画像と同一の画素構成の画像の中から、上記参照画像を選択するステップであることを特徴とする。

第５の発明による画像処理プログラムは、上記第１の発明による画像処理プログラムにおいて、上記埃特定ステップが、上記処理対象画像の画素毎の明度と上記参照画像の画素毎の明度とを算出する明度算出ステップと、上記明度算出ステップにより算出された上記処理対象画像の画素毎の明度と上記参照画像の画素毎の明度とを同一画素位置毎に加算する明度加算ステップと、上記明度加算ステップにより加算された明度の加算値が所定値よりも小さい画素を抽出する画素抽出ステップと、上記画素抽出ステップにより抽出された上記処理対象画像における画素を隣接する画素同士を同一のグループに含めるようにグループ化するグループ化ステップと、を含み、コンピュータに、上記グループ化ステップによりグループ化された画素群を埃の画像部分を構成する埃画素群として特定させることを特徴とする。

第６の発明による画像処理プログラムは、上記第５の発明による画像処理プログラムにおいて、上記埃特定ステップが、上記明度算出ステップにより算出された画素毎の明度を画像に含まれる全画素について平均することにより画像平均明度を算出する処理を上記画像選択ステップにより選択された全ての参照画像について行う平均明度算出ステップと、上記平均明度算出ステップにより算出された画像平均明度が所定値以下となる参照画像を上記明度加算ステップによる加算対象から除外する画像除外ステップと、をさらに含むことを特徴とする。

第７の発明による画像処理プログラムは、上記第１の発明による画像処理プログラムにおいて、上記埃特定ステップが、上記処理対象画像の画素毎の明度と上記参照画像の画素毎の明度とを算出する明度算出ステップと、上記明度算出ステップにより算出された明度が所定値よりも小さい画素を抽出する画素抽出ステップと、上記画素抽出ステップにより抽出された画素を隣接する画素同士を同一のグループに含めるようにグループ化するグループ化ステップと、上記グループ化ステップによりグループ化された画素群の内で上記処理対象画像における画素群と上記参照画像における画素群とが該処理対象画像と全ての該参照画像とについて重なり合っている画素群の組み合わせを生成する組み合わせ生成ステップと、上記組み合わせ生成ステップにより生成された画素群の組み合わせの各々について画素群に含まれる画素の数が組み合わせに属する画素群の全てについて等しくなるように画像毎の明度を調整する明度調整ステップと、上記明度調整ステップにより画素数が等しくなった画素群について組み合わせに属する画素群の全てが重なり合っている部分の画素数の１つの画素群の画素数に対する比率を算出する比率算出ステップと、上記比率算出ステップにより算出された比率が所定値以上であるときに組み合わせに属する画素群が埃の画像部分を構成する埃画素群であると判定する判定ステップと、を含むことを特徴とする。

第８の発明による画像処理プログラムは、上記第７の発明による画像処理プログラムにおいて、上記埃特定ステップが、上記明度調整ステップにより画素数が等しくなった画素群の重心位置を組み合わせに属する画素群の全てについて算出する重心位置算出ステップをさらに含み、上記判定ステップは、上記比率算出ステップにより算出された比率が所定値以上であってかつ上記重心位置算出ステップにより算出された重心位置の内の最も離れた重心位置同士の差が所定値以下であるときに組み合わせに属する画素群が埃の画像部分を構成する埃画素群であると判定するステップであることを特徴とする。

第９の発明による画像処理プログラムは、上記第１の発明による画像処理プログラムにおいて、上記埃特定ステップと上記修復ステップとの少なくとも一方の処理情報を記憶する処理情報記憶ステップをさらに含み、上記埃特定ステップは、上記画像選択ステップにより選択された参照画像に関して上記処理情報記憶ステップにより記憶された処理情報が存在する場合には、上記処理情報を読み出す処理情報読出ステップと、上記処理対象画像の画素毎の明度を算出する明度算出ステップと、上記明度算出ステップにより算出された明度が所定値よりも小さい画素を抽出する画素抽出ステップと、上記画素抽出ステップにより抽出された画素を隣接する画素同士を同一のグループに含めるようにグループ化して埃候補画素群とするグループ化ステップと、上記処理情報読出ステップにより読み出された処理情報に含まれる埃画素群と上記埃候補画素群とが重なり合った組み合わせを生成する組み合わせ生成ステップと、上記組み合わせ生成ステップにより生成された組み合わせの各々について上記埃候補画素群に含まれる画素の数と上記埃画素群に含まれる画素の数とが等しくなるように処理対象画像の明度を調整する明度調整ステップと、上記明度調整ステップにより画素数が等しくなった埃候補画素群について埃画素群と重なり合った部分の画素数の埃画素群の画素数に対する比率を算出する比率算出ステップと、上記比率算出ステップにより算出された比率が所定値以上であるときに上記埃候補画素群が埃の画像部分を構成する埃画素群であると判定する判定ステップと、を含むことを特徴とする。

第１０の発明による画像処理プログラムは、上記第９の発明による画像処理プログラムにおいて、上記埃特定ステップが、上記明度調整ステップにより画素数が等しくなった埃画素群の重心位置と埃候補画素群の重心位置とをそれぞれ算出する重心位置算出ステップをさらに含み、上記判定ステップは、上記比率算出ステップにより算出された比率が所定値以上であってかつ上記重心位置算出ステップにより算出された埃画素群の重心位置と埃候補画素群の重心位置との差が所定値以下であるときに該埃候補画素群が埃の画像部分を構成する埃画素群であると判定するステップであることを特徴とする。

第１１の発明による画像処理プログラムは、上記第１から第１０の発明による画像処理プログラムにおいて、上記修復ステップが、上記埃特定ステップにより特定された埃の画像部分を含むように複数の領域を設定する領域設定ステップと、上記領域設定ステップにより設定された各領域について埃の画像部分を含まない部分の画素値の平均値およびばらつきを算出する平均ばらつき算出ステップと、上記平均ばらつき算出ステップにより算出されたばらつきが最も小さい領域を選択する領域選択ステップと、埃の画像部分の画素値を上記領域選択ステップにより選択された領域の埃の画像部分以外の部分の画素値により置き換える置換ステップと、を含むことを特徴とする。

第１２の発明による画像処理プログラムは、上記第１１の発明による画像処理プログラムにおいて、上記平均ばらつき算出ステップにより算出するばらつきが、明度のばらつきであることを特徴とする。

第１３の発明による画像処理プログラムは、上記第１１または第１２の発明による画像処理プログラムにおいて、上記ばらつきが、分散であることを特徴とする。

第１４の発明による画像処理プログラムは、上記第１１から第１３の発明による画像処理プログラムにおいて、上記修復ステップが、上記領域設定ステップにより設定された各領域を埃の画像部分を１つの部分領域に含むように複数の部分領域に分割する部分領域設定ステップをさらに含み、上記平均ばらつき算出ステップは上記領域設定ステップにより設定された各領域について上記部分領域設定ステップにより分割された部分領域の内の埃の画像部分を含まない各部分領域の画素値の平均値およびばらつきを算出するステップであり、上記領域設定ステップにより設定された各領域毎に上記平均ばらつき算出ステップにより算出された各部分領域の画素値のばらつきを加算することによりばらつき和を算出するばらつき和算出ステップをさらに含み、上記領域選択ステップは上記ばらつき和算出ステップにより算出されたばらつき和が最も小さい領域を選択するステップであり、上記領域選択ステップにより選択された領域の埃の画像部分を含まない部分領域の画素値の平均値とばらつきとの少なくとも一方に基づいて埃の画像部分を含む部分領域の画素値の推定値を算出する推定値算出ステップをさらに含み、上記置換ステップは埃の画像部分の画素値を上記領域選択ステップにより選択された領域の埃の画像部分を含む部分領域に隣接する部分領域の画素値により置き換えるステップであり、上記置換ステップにより置き換えた埃の画像部分の画素値に置き換えた後の埃の画像部分の画素値の平均値と上記推定値算出ステップにより算出された画素値の平均値との差を加算する画素値加算ステップをさらに含むことを特徴とする。

第１５の発明による画像処理プログラムは、上記第１から第１４の発明による画像処理プログラムにおいて、上記修復ステップによる修復を行う前の画像と該修復ステップによる修復を行った後の画像とを比較し得るように表示する確認画像表示ステップと、上記修復ステップによる修復を取り消す選択が行われたときに処理対象画像を修復を行う前の画像に戻す修復取り消しステップと、をさらに含むことを特徴とする。

第１６の発明による画像処理プログラムは、上記第１から第１５の発明による画像処理プログラムにおいて、上記処理対象画像を、同一の撮像装置により撮影された画像の中で順次変更することにより、複数の画像についての処理を順次行うことを特徴とする。

第１７の発明による画像処理方法は、撮像装置により撮影された画像から該画像に含まれ得る埃の画像部分を画像処理により除去するための画像処理方法であって、処理対象画像を撮影した撮像装置と同一の撮像装置により撮影された１以上の画像の中から撮影日時が該処理対象画像に近い順に１以上の画像を参照画像として選択する画像選択ステップと、上記処理対象画像と上記参照画像との両方において略同一位置に存在する埃の画像部分を特定する埃特定ステップと、上記埃特定ステップにより特定された処理対象画像における埃の画像部分を該処理対象画像における該埃の画像部分の近傍の画像情報を用いて修復する修復ステップと、を含むことを特徴とする。

第１８の発明による画像処理装置は、撮像装置により撮影された画像から、該画像に含まれ得る埃の画像部分を画像処理により除去するための画像処理装置であって、処理対象画像を撮影した撮像装置と同一の撮像装置により撮影された１以上の画像の中から撮影日時が該処理対象画像に近い順に１以上の画像を参照画像として選択する画像選択手段と、上記処理対象画像と上記参照画像との両方において略同一位置に存在する埃の画像部分を特定する埃特定手段と、上記埃特定手段により特定された処理対象画像における埃の画像部分を該処理対象画像における該埃の画像部分の近傍の画像情報を用いて修復する修復手段と、を具備したものである。

本発明の画像処理プログラム、画像処理方法、画像処理装置によれば、撮像装置により撮影された画像から、埃の画像部分を特定して良好に修復することができる。

以下、図面を参照して本発明の実施例を説明する。

図１から図７は本発明の実施例１を示したものであり、図１は画像処理装置の要部の構成を示すブロック図である。

この画像処理装置は、例えばパーソナルコンピュータ等の一般的な情報処理装置とほぼ同様に構成されており、該情報処理装置において画像処理プログラムを実行することにより、画像処理装置として機能し、あるいは、画像処理方法が実施されているということができる。

すなわち、この画像処理装置は、図１に示すように、処理部１と、プログラムメモリ２と、画像メモリ３と、操作部４と、表示部５と、バス７と、を有して構成されている。

上記操作部４は、この画像処理装置に係る操作入力を行うための操作手段であり、例えば、マウスやキーボード等の入力デバイスを介して、表示部５に表示された操作ボタン等を操作することにより、操作部として機能するように構成されている。この操作部４からの操作に応じて、埃による画像の欠落部分を補正したり、補正後の画像を表示したりすることができるようになっている。

上記画像メモリ３は、図示しない撮像装置により撮影された後に通信回線やメモリカード等を介して伝送された画像データを、記憶するための画像記憶手段である。また、この画像メモリ３は、後述するような埃部分の除去を行った後の画像データも記憶し得るようになっている。

上記表示部５は、上記画像メモリ３に記憶されている画像を表示したり、該画像における埃部分の処理を行うための操作ボタン等を表示したりするための表示手段であり、それ以外にも、この画像処理装置に係る各種の情報等を表示することができるようになっている。

上記プログラムメモリ２は、画像処理プログラムを記憶するとともに、該画像処理プログラムを実行しているときの各種データ等も記憶し得るプログラム記憶手段である。

上記処理部１は、上記プログラムメモリ２に記憶されている画像処理プログラムを実行することにより、上記操作部４からの操作入力等に応じて、上記画像メモリ３に記憶されている画像データから埃部分の検出や補正を行ったり、該処理前後の画像を上記表示部５に表示させたりする処理手段であり、この画像処理装置内の各回路を制御する制御手段も兼ねたものとなっている。この処理部１は、さらに、画像選択手段、埃特定手段、修復手段、を兼ねている。

上記バス７は、上記処理部１、プログラムメモリ２、画像メモリ３、操作部４、表示部５、を互いに双方向に通信可能に接続するものである。

次に、図２は、埃除去処理の概要を示すフローチャートである。

この処理を開始すると、まず、処理対象画像を撮影したカメラと、該処理対象画像を撮影したときの撮影モードおよび撮影日時と、を特定する（ステップＳ１）。ここで、撮影モードとは、例えば、画像の画素構成（つまり、縦方向の画素数および横方向の画素数）等の、撮影画像上の埃の形状が変化してしまう要因となり得るカメラの撮影パラメータの各設定のことを指している。また、「撮影日時」とは、画像が撮影された、年、月、日、時、分、秒等の時間的概念を広く含むものである。

次に、処理対象画像を撮影したカメラと同一のカメラにより、同一の撮影モードで撮影された画像の中から、撮影日時が近接している画像を参照画像として複数選択する（ステップＳ２）。具体的には、処理対象画像の撮影日時と最も撮影日時が近い画像から順に、所定の複数枚の画像を選択する処理を行う。

そして、埃を特定する処理を行い（ステップＳ３）、自動埃除去処理を行い（ステップＳ４）、処理結果の確認を行い（ステップＳ５）、処理結果の画像を保存してから（ステップＳ６）、この処理を終了する。

次に、図３は、上記図２のステップＳ３における埃特定処理の例を示すフローチャートである。

この処理を開始すると、選択した複数の画像（すなわち、処理対象画像および参照画像）について、それぞれの画像の画素毎の明るさを示す明度Ｙを、各画素の画素値であるＲＧＢ色度値に基づいて、例えば次の数式１に示すように算出する（ステップＳ１１）。●
［数１］
Ｙ＝Ｒ＋Ｇ＋Ｂ
これにより、画素毎の明度Ｙが与えられている明度画像データが、選択された画像の枚数だけ算出される。

続いて、選択された複数の画像に各対応して算出された明度画像データを、同一位置の画素毎に加算する（ステップＳ１２）。これにより、画素毎に明度Ｙが加算された加算明度画像データが１枚算出される。

そして、各画素について、明度Ｙの加算値が所定値以下となる画素を、埃が付着した画素であるとする（ステップＳ１３）。埃は、同一解像度の画像では同一位置に存在すると推定できるために、ここでは、異なるシーンを撮影した複数の画像の画素データを加算した後でも黒色であり続ける点を、埃による点であると判断するようにしている。

その後、埃画素をラベリング処理により埃画素群（グループ）に分離する（ステップＳ１４）。１つの埃により、複数画素に渡った画像データの欠落領域が生じることが考えられるために、どの欠落領域が、１つの埃により生じたのかをここでは分類している。また、ラベリング処理は、一般的に知られている方法を用いることができ、上記ステップＳ１３において埃が付着したと推定された画素の内の、互いに隣接する画素に同一のラベルを付し、一連のラベルが付された画素とは孤立した位置にある、埃が付着したと推定された他の画素について、次の番号のラベルを振る、といった処理を行うことにより、埃画素群の分離を行うことができる。

そして、各埃に対応する画素群の位置と大きさとを特定して（ステップＳ１５）、この埃特定の処理を終了する。

次に、図４は上記図２のステップＳ４における自動埃除去処理の例を示すフローチャート、図５は埃画素群を含むように設定された複数形状の小領域を示す図である。

図４に示す処理を開始すると、まず、ラベリングされた画素群でなる埃の内の、第１の埃を注目埃とする（ステップＳ２１）。

そして、この注目埃に対して、埃画素群を含む複数形状の小領域を、図５に示すように設定する（ステップＳ２２）。この図５に示す例では、埃画素群ＴＧを含むように、縦方向の長方形をなす第１の領域Ｒ１、横方向の長方形をなす第２の領域Ｒ２、右斜め方向の長方形なす第３の領域Ｒ３、左斜め方向の長方形をなす第４の領域Ｒ４がそれぞれ設定されている。

続いて、第１の領域Ｒ１を注目領域として（ステップＳ２３）、この注目領域で埃以外の画素のＲＧＢ値の平均値と分散値とを算出する（ステップＳ２４）。

そして、全ての領域についてＲＧＢ値の平均値と分散値とを算出したか否かを判断し（ステップＳ２５）、まだである場合には、次の領域を注目領域として（ステップＳ２６）、上記ステップＳ２４へ行って該次の領域について上述したような処理を行う。

また、上記ステップＳ２５において、全ての領域についての算出が終了したと判断された場合には、注目埃を含む各領域Ｒ１〜Ｒ４の中で、分散値が最小となる領域を選択する（ステップＳ２７）。

その後、選択した領域の埃画素群以外の画素のＲＧＢ値の平均値により、埃画素群のＲＧＢ値を置き換える（ステップＳ２８）。

そして、全ての埃について処理が終了したか否かを判断し（ステップＳ２９）、まだである場合には、次の埃を注目埃として（ステップＳ３０）、上記ステップＳ２２へ行って上述したような処理を繰り返して行う。

こうして、ステップＳ２９において、全ての埃について処理を行ったと判断された場合には、この処理を終了する。

次に、図６は上記図２のステップＳ５における処理結果の確認処理の例を示すフローチャート、図７は画像処理プログラムにより表示部に表示された確認画面の様子を示す図である。

処理の流れを説明する前に、まず、表示部５における確認画面１１の構成について、図７を参照して説明する。

この確認画面１１は、例えばグラフィックユーザインターフェースを備えたマルチウィンドウタイプのオペレーティングシステム上で、１つのウィンドウとして表示される画面を示したものである。

該確認画面１１は、例えば左側に処理対象となる原画像の埃部分の拡大画像１２を表示するとともに、右側に埃除去の処理を行った後の拡大画像１３を表示するようになっている。さらに、該確認画面１１の例えば左下には、処理対象画像において、埃領域と見なされた画素のグループが全部で幾つあり、その中の幾つの埃領域についての処理が現在までに終了しているかを示す確認済み埃領域数表示１４が表示されている。この確認済み埃領域数表示１４の右側となる確認画面１内には、さらに、拡大画像１３として表示された埃除去処理の結果を取り消すための取り消しボタン１５と、次の埃領域を処理対処とするための次へボタン１６と、この埃除去処理の確認を終了するための終了ボタン１７と、が操作可能に表示されている。

続いて、図６に示す処理について説明する。この処理を開始すると、まず、図７に示すような確認画面１１を表示する（ステップＳ３１）。

そして、原画像の第１の埃部分の拡大画像１２と、処理後の拡大画像１３と、を生成して表示する（ステップＳ３２）。

その後、上記操作部４を介して、操作入力が行われるのを待機する。ここで、次へボタン１６が押されたことを検出した場合には（ステップＳ３３）、全ての埃部分について確認したか否かを判断し（ステップＳ３４）、まだ全ての埃部分についての確認が行われていない場合には、原画像の次の埃部分の拡大画像１２と、処理後の拡大画像１３と、を生成して表示してから（ステップＳ３５）、操作入力が行われるのを待機する上記状態へ戻る。

また、取り消しボタン１５が押されたことを検出した場合には（ステップＳ３６）、注目埃部分を対応する原画像の部分で置き換えて、つまり処理前の状態に戻す（ステップＳ３７）。その後は、上記ステップＳ３４へ行って、上述したような処理を行う。

そして、終了ボタン１７が押されたことを検出した場合（ステップＳ３８）、または、上記ステップＳ３４において全ての埃部分について確認したと判断された場合には、この処理を終了する。

なお、上述では、画素の画素値としてＲＧＢ値を例に挙げているが、必ずしもこれに限るものではない。さらに、複数の領域の中から、画素値のばらつきが最も小さい領域を検出する際に、ばらつきを示す指標として分散値を用いているが、これに限るものではなく、その他の統計量を用いることも可能である。ただし、このときには、ばらつきを良好に表現するような統計量であって、かつ演算処理を高速に行うことができるような統計量を用いると良い。

このような実施例１によれば、撮影後の画像に基づいて、埃に起因する画像の欠落部分を検出して、良好に補正することができる。

このとき、同一のカメラにより同一の撮影モードで撮影された画像の中から、撮影日時の近い複数の画像を用いて、これらの画像に共通していると考えられる埃部分を取り除くようにしているために、カメラで白色の被写体等を撮影して埃検出を行う等の必要がなくなる。これにより、撮影時の操作が簡単になるとともに、埃検出のための基準画像を撮影する必要がなく、また、埃検出機能を備えた撮像装置において埃検出の操作を行うのを忘れた画像であっても、後で、埃部分を取り除くことが可能となる。

そして、複数の画像について、同一位置の画素毎に画素値を加算することにより埃を検出するようにしているために、より高い精度で埃を検出することが可能となる。

また、画像における埃部分を含むように複数の異なる領域を設定し、これらの領域の中から最もばらつきが小さい領域を見つけて、該領域のデータを用いて補正を行うようにしているために、該埃部分のデータを置き換えるのに最も確からしいと考えられるデータを用いることができ、補正の精度や信頼性を向上することができる。このとき、複数の異なる領域を、該埃部分を含む異なる方向にとることにより、エッジ等が存在したとしても、その影響を最も受け難い方向を選択することが可能となる。

さらに、自動埃除去の処理結果の画像を、処理前の画像と並べて表示するようにしたために、容易に比較して確認し、誤って埃として処理した部分を処理前の状態に戻すことができる。

図８から図１２は本発明の実施例２を示したものであり、図８は埃除去処理の概要を示すフローチャートである。

この実施例２において、上述の実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

上記図２に示した埃除去処理は、１つの処理対象画像を処理するために他の画像を利用するものであったが、この図８に示す埃除去処理は、同一の埃が付着している可能性のある複数の画像をまとめて自動的に処理するものとなっている。

この処理を開始すると、まず、同一のカメラにより、同一の撮影モードで撮影された画像の中から、撮影日時に近い複数の画像を処理対象画像として選択する（ステップＳ４１）。

そして、選択した各画像について、埃を特定する処理を行う（ステップＳ４２）。

その後、第１の画像を処理対象画像に設定して（ステップＳ４３）、自動埃除去処理を行い（ステップＳ４４）、処理結果を確認して（ステップＳ４５）、処理結果の画像を保存する（ステップＳ４６）。

続いて、上記ステップＳ４１で選択した全ての画像について処理を行ったか否かを判断し（ステップＳ４７）、まだ未処理の画像がある場合には、次の画像を処理対象画像として（ステップＳ４８）、上記ステップＳ４４へ戻って上述したような処理を繰り返して行う。

一方、上記ステップＳ４７において、全ての画像について処理を行ったと判断される場合には、この処理を終了する。

図９は、上記図８のステップＳ４２における埃特定の処理の一例を示すフローチャートである。

この処理を開始すると、選択した複数の画像について、それぞれの画像の画素毎の明るさを示す明度Ｙを、各画素のＲＧＢ色度値に基づいて、例えば上記数式１に示すように算出する（ステップＳ５１）。

次に、その結果を用いて画像毎の明度Ｙの平均値（画像平均明度）を算出する（ステップＳ５２）。これにより、１枚の画像毎に平均の明度Ｙが算出されることになる。

そして、算出された明度Ｙの平均値が、所定値以下となる画像を除外する（ステップＳ５３）。

このステップＳ５３の処理を行った後に残った複数の画像について、明度Ｙを、同一位置の画素毎に加算する（ステップＳ５４）。これにより、画素毎に明度Ｙが加算された加算明度画像データが１枚算出される。

その後、この加算明度画像データの各画素について、明度Ｙの加算値が所定値以下となる画素を、埃が付着した画素であるとする（ステップＳ５５）。

さらに、埃画素をラベリング処理により埃画素群（グループ）に分離し（ステップＳ５６）、各埃に対応する画素群の位置と大きさとを特定して（ステップＳ５７）、この埃特定の処理を終了する。

図１０は、上記図８のステップＳ４２における埃特定の処理の他の例を示すフローチャートである。

この処理を開始すると、まず、同一のカメラにより、同一の撮影モードで撮影された画像から、続けて撮影された２枚の画像について、各画素のＲＧＢ値から明度Ｙを上記数式１に示したように算出する（ステップＳ６１）。ここで、続けて撮影された２枚の画像とは、連写された画像という意味ではなく、第１の画像が撮影された時間と第２の画像が撮影された時間との間の時間に撮影された画像がない、という意味である。

次に、各画像について、画素の明度Ｙが所定の閾値以下の画素を抽出し（ステップＳ６２）、各画素について、抽出した画素をラベリング処理により埃候補の画素群としてグループ化する（ステップＳ６３）。

そして、各画像について、それぞれの埃候補画素群の重心位置を算出する（ステップＳ６４）。

次に、図８のステップＳ４１において選択された画像の中で、最も古い時期に撮影された画像を第１の画像とし、この第１の画像の次に撮影された画像を第２の画像とする（ステップＳ６５）。

その後、第１の画像の埃候補画素群が、第２の画像の埃候補画素群と重なり合う組み合わせを抽出する（ステップＳ６６）。すなわち、第１の画像と第２の画像とで埃候補がほぼ同じ位置にあるものを抽出したことになる。

続いて、ステップＳ６６で抽出した各組み合わせについて、第１の画像の埃候補画素群の重心位置と、第２の画像の埃候補画素群の重心位置と、の差が第１の所定の値以下で、画素数が多い埃候補画素群の面積に対する、それら画素群の重なり合う面積の割合が第２の所定の値以上であるものを埃として特定する（ステップＳ６７）。

なお、埃の種類や撮影条件の差によっては、同一の埃であってもその埃の周辺部分の明るさが変化することがある。そのために、埃候補画素群の画素数に大きな差がある場合には、埃候補画素群の画素数の多い画像の明度を上げ、または画素数の少ない画像の明度を下げる処理を加えて、これらの画素数の差がなくなるようにした後に、上記ステップＳ６７を実行するようにしても良い。

次に、第２の画像が図８のステップＳ４１において選択された画像の中で最後に撮影されたものであるか否かを判定し（ステップＳ６８）、最後に撮影されたものでない場合には、第２の画像を新たに第１の画像とするとともに、この画像の次に撮影された画像を新たに第２の画像として（ステップＳ６９）、上記ステップＳ６６に戻って上述したような処理を繰り返して行う。

一方、上記ステップＳ６８において、最後に撮影された画像であると判定された場合には、上記ステップＳ４１において選択された全ての画像の埃を特定したとして、この処理を終了する。

次に、図１１は、上記図８のステップＳ４４における自動埃除去処理の例を示すフローチャート、図１２は埃画素群を含むように設定された複数の長方形領域を示す図である。

図１１に示す処理を開始すると、まず、ステップＳ４２において特定された埃の内の、第１の埃を注目埃とする（ステップＳ７１）。

そして、この注目埃に対して、角度が異なる複数の長方形領域ＲＡを、図１２に示すように設定する（ステップＳ７２）。この長方形領域ＲＡは、複数の部分領域ＰＡに分割されており、分割した部分領域ＰＡの１つに上記注目埃の画像部分を含むように設定される。この図１２に示す例では、長方形領域ＲＡは略正方形状をなす５つの部分領域ＰＡを直線上に配列して構成されている。そして、一端側にある部分領域ＰＡに埃画素群ＴＧを含むように、下方向、右斜め下方向、右方向、の３方向を向く３つの長方形領域がそれぞれ設定されている。

続いて、複数の長方形領域ＲＡの内の第１番目の長方形領域ＲＡを注目領域として設定し（ステップＳ７３）、この注目領域における埃を含まない複数の部分領域について、ＲＧＢ値に関する平均値と分散値とを、Ｒ，Ｇ，Ｂの各々について算出する（ステップＳ７４）。

そして、このステップＳ７４における算出を、全ての長方形領域ＲＡについて行ったか否かを判断し（ステップＳ７５）、まだである場合には、次の長方形領域ＲＡを注目領域として（ステップＳ７６）、上記ステップＳ７４へ行って該次の長方形領域ＲＡについて上述したような処理を行う。

また、上記ステップＳ７５において、全ての長方形領域ＲＡについての算出が終了したと判断された場合には、各長方形領域ＲＡについて、部分領域ＰＡ内におけるＲ，Ｇ，Ｂ各々の分散値を加算し、さらに、注目埃を含まない部分領域について分散値の和をとる。これにより、分散値の和が、各長方形領域ＲＡに対応して算出される。そして、算出された分散値の和が最小となる長方形領域ＲＡを選択する（ステップＳ７７）。

次に、選択した長方形領域ＲＡに関して、部分領域ＰＡ毎の、かつＲＧＢ値毎の、平均値と分散値とに基づいて、最小２乗法を用いることにより、埃を含む部分領域ＰＡのＲＧＢ値の平均値の推定値を、Ｒ，Ｇ，Ｂの各々について算出する（ステップＳ７８）。

続いて、埃を含まない部分領域ＰＡ（例えば、埃を含む部分領域ＰＡに隣接する部分領域ＰＡ）の画像により、埃を含む部分領域ＰＡの画像を置き換える（ステップＳ７９）。

そして、ステップＳ７９で置き換えた埃を含む部分領域ＰＡのＲ，Ｇ，Ｂ値の平均値が、ステップＳ７８で算出したＲ，Ｇ，Ｂ値の平均値の推定値と等しくなるように、ステップＳ７８で算出したＲ，Ｇ，Ｂ値それぞれの平均値の推定値と、ステップＳ７９で置き換えた部分領域ＰＡのＲ，Ｇ，Ｂ値それぞれの平均値と、の差を、置き換えた部分領域の各画素のＲ，Ｇ，Ｂ値にそれぞれ加える（ステップＳ８０）。

その後、全ての埃について処理が終了したか否かを判断し（ステップＳ８１）、まだである場合には、次の埃を注目埃として（ステップＳ８２）、上記ステップＳ７２へ行って上述したような処理を繰り返して行う。

こうして、ステップＳ８２において、全ての埃について処理を行ったと判断された場合には、この処理を終了する。

なお、上述では、画素数が等しくなった組み合わせの画素群における、夫々の画素群の重心位置と、重なり合っている部分の面積の比と、の両方に基づいて、埃候補画素群が埃に係る画素群であるか否かを判断しているが、何れか一方のみを用いて判断することも可能である。このときには、処理を簡素化して高速化を図ることができる。

このような実施例２によれば、上述した実施例１とほぼ同様の効果を奏するとともに、同一のカメラにより同一の撮影モードで撮影された複数の画像を、まとめて埃除去することが可能となる。

そして、埃を検出する際に、複数の画像の中の、平均明度値が所定値以下の画像を除外するようにしているために、検出精度を向上することができる。

また、埃を検出する際に、複数の画像における埃候補画素群の画素数が等しくなるように明度を調整してから、互いの重心位置のずれや、重なる割合に基づき埃であるか否かを判定する場合には、検出精度をさらに向上することができる。

さらに、埃を除去する際に、角度の異なる複数の長方形領域を設定しているために、エッジ等が存在したとしても、その影響を最も受け難い方向を選択することが可能となる。

加えて、長方形領域を複数の部分領域に区分して、埃を含む部分領域のＲＧＢ値を、埃を含まない部分領域のＲＧＢ値の平均値と分散値とに基づいて、最小二乗法により算出するようにしたために、高い精度での算出を行うことができる。このとき、算出された推定値に、隣接する部分領域の平均値との差を加算するようにしたために、より精度を向上することができる。

図１３から図１６は本発明の実施例３を示したものであり、図１３は画像処理装置の要部の構成を示すブロック図である。

この実施例３において、上述の実施例１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この画像処理装置は、上述した実施例１の図１に示した構成に対して、処理履歴メモリ６を加えたものとなっている。

この処理履歴メモリ６は、過去に処理した画像に関する埃除去処理の履歴を記録するための処理履歴記憶手段であり、上記バス７に接続されていて、上記処理部１、プログラムメモリ２、画像メモリ３、操作部４、表示部５と双方向に接続されている。

撮影時期が近い画像には、同一の埃が付着している可能性が高いために、過去に処理した埃の情報（位置および画素情報）を埃除去処理の履歴として処理履歴メモリ６に記憶しておき、新たに埃除去処理を実施するときには、この処理履歴メモリ６に記憶されている埃情報を参照することにより、埃の検出を効率良く行うことができるようにしたものである。

次に、図１４は、埃除去処理の概要を示すフローチャートである。

この処理を開始すると、まず、処理対象画像を撮影したカメラと、撮影モードおよび撮影日時と、を特定する（ステップＳ９１）。

次に、処理対象画像を撮影したカメラと同一のカメラにより、同一の撮影モードで撮影された画像の中から、撮影日時が近接している画像に関する埃除去処理情報を処理履歴メモリ６から読み出す（ステップＳ９２）。

そして、埃を特定する処理を行い（ステップＳ９３）、自動埃除去処理を行い（ステップＳ９４）、処理結果の確認を行い（ステップＳ９５）、処理結果の画像を保存してから（ステップＳ９６）、この処理を終了する。

続いて、図１５は、上記図１４のステップＳ９３における埃特定処理の例を示すフローチャートである。

この処理を開始すると、処理対象画像について、画素毎の明るさを示す明度Ｙを、各画素のＲＧＢ色度値に基づいて、上記数式１に示したように算出する（ステップＳ１０１）。

続いて、処理対象画像の各画素について、明度Ｙの算出値が所定値以下となる画素を抽出する（ステップＳ１０２）。

そして、抽出した画素にラベリング処理を施すことにより、埃候補の画素群としてグループ化する（ステップＳ１０３）。

その後、埃候補画素群を、上記処理履歴メモリ６から読み出した過去に処理した画像の同一位置にある埃画素群と比較して、重なる部分があるか否かを判断する。そして、重なる部分があると判断された埃候補画素群を、対応する埃画素群（処理履歴メモリ６から読み出した埃画素群）とともに抽出する（ステップＳ１０４）。

次に、各組み合わせについて、埃候補画素群の明度を調整して、明度Ｙが所定の閾値以下の画素の画素数が、埃画素群の画素数と等しくなるようにする（ステップＳ１０５）。

こうして埃候補画素群の画素数と埃画素群の画素数とが等しくなったら、埃候補画素群の重心位置と、埃画素群の重心位置と、を各組み合わせ毎に算出する（ステップＳ１０６）。

そして、これらの重心位置の差が所定値以下であって、かつ画素群の面積に対する重なり合っている部分の面積の比が所定値以上である場合に、処理対象画像における埃候補画素群を、埃に係る画素群であると判定し（ステップＳ１０７）、その後に、この処理を終了する。

上記図１４の処理に戻って次に実行するステップＳ９４の自動埃除去処理は、上記ステップＳ４またはステップＳ４４と同一の処理である。

なお、上記ステップＳ９３の処理だけでは、処理情報が登録されていない埃を特定することができないために、ステップＳ９３の処理の後にステップＳ３またはステップＳ４２の処理を実行して、ステップＳ９３の処理だけでは特定し得なかった埃を特定する。

次に、図１６は、上記図１４のステップＳ９５における処理結果の確認処理の例を示すフローチャートである。

この処理を開始すると、まず、上記図７に示したような確認画面１１を表示する（ステップＳ１１１）。

そして、第１の埃部分の拡大画像１２と、処理後の拡大画像１３と、を生成して表示する（ステップＳ１１２）。

その後、上記操作部４を介して、操作入力が行われるのを待機する。ここで、次へボタン１６が押されたことを検出した場合には（ステップＳ１１３）、表示している埃画素群の位置および画素情報を、画像に関連付けて処理履歴メモリ６に登録する（ステップＳ１１４）。

次に、全ての埃部分について確認したか否かを判断し（ステップＳ１１５）、まだ全ての埃部分についての確認が行われていない場合には、次の埃部分の拡大画像と、処理後の拡大画像と、を生成して表示してから（ステップＳ１１６）、操作入力が行われるのを待機する上記状態へ戻る。

また、取り消しボタン１５が押されたことを検出した場合には（ステップＳ１１７）、注目埃部分を対応する原画像の部分で置き換えて、つまり元の状態に戻す（ステップＳ１１８）。その後は、上記ステップＳ１１５へ行って、上述したような処理を行う。

そして、終了ボタン１７が押されたことを検出した場合には（ステップＳ１１９）、全ての埃部分について確認したか否かを判断し（ステップＳ１２０）、まだ全ての埃部分についての確認が行われていない場合には、確認していない埃画素群の位置および画素情報を画像に関連付けて処理履歴メモリ６に登録してから（ステップＳ１２１）、一方、このステップＳ１２０または上記ステップＳ１１５において全ての埃部分について確認したと判断された場合には、この処理を終了する。

このような実施例３によれば、上述した実施例１，２とほぼ同様の効果を奏するとともに、埃除去処理の履歴を記憶しておくようにしたために、埃検出や埃除去の処理をより効率的に行うことが可能となる。

また、処理結果を確認する際に、埃部分の確認を全部行うことなく途中で終了した場合には、確認していない埃画素群の画素情報を画像に関連付けて処理履歴メモリに登録するようにしたために、中止したところから後で容易に処理を再開することが可能となる。そして、確認していない埃画素群の画素情報を、他の画像の処理に用いることも可能となる。さらに、次へボタン１６が押されて除去が確定した埃についても、必要に応じて原画像の状態に戻すことも可能である。

なお、上述した各実施例においては、主として、デジタルカメラやカメラ付き携帯電話等の撮像装置により撮影された画像に基づいて埃の検出や除去を行う例について説明したが、これに限らず、例えば、銀塩カメラにより撮影されたフィルムを、フィルムスキャナ等により取り込んで得られる画像や、コピー機等におけるスキャナ部分で読み取った画像、あるいはファクシミリ装置におけるスキャナ部分で読み取った画像などについても、上記技術を適用することが可能である。

また、上述では、同一の撮像装置において同一の撮影モードで撮影された画像同士を用いて埃の検出等を行うようにしているが、これに限るものでもない。例えば、異なる撮影モードで撮影された異なる画素構成の画像であっても、イメージセンサ出力のどの部分を切り出して得られたか等の情報があれば、対応する画素位置を特定することは可能であるために、共通する部分について埃の検出等を行うことが可能である。

そして、上述では、単に撮影日時が近接している画像を参照画像としたが、撮影日時の間隔等を考慮して、参照画像群を選択するようにしても良い。つまり、ある画像群は、短い時間間隔の中で集中的に撮影され、次の画像群は、それから例えば数日たってから撮影された、などの場合に、集中的に撮影された画像群をひとまとめの参照画像群とすることが考えられる。

加えて、撮像装置が一眼レフレックスタイプのデジタルカメラ等である場合には、レンズ交換を行ったときに、撮像素子の撮像面に埃が付着する可能性が高いと考えられるために、レンズ交換の履歴を記録しておいて、同一のレンズが装着され続けている間に撮影された画像群を、ひとまとめの参照画像群とすると良い。

なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、画像に含まれる埃の画像部分を除去するための方法、プログラム、装置等に好適に利用することができる。

本発明の実施例１における画像処理装置の要部の構成を示すブロック図。 上記実施例１における埃除去処理の概要を示すフローチャート。 上記図２のステップＳ３における埃特定処理の例を示すフローチャート。 上記図２のステップＳ４における自動埃除去処理の例を示すフローチャート。 上記実施例１において、埃画素群を含むように設定された複数形状の小領域を示す図。 上記図２のステップＳ５における処理結果の確認処理の例を示すフローチャート。 上記実施例１において、画像処理プログラムにより表示部に表示された確認画面の様子を示す図。 本発明の実施例２における埃除去処理の概要を示すフローチャート。 上記図８のステップＳ４２における埃特定の処理の一例を示すフローチャート。 上記図８のステップＳ４２における埃特定の処理の他の例を示すフローチャート。 上記図８のステップＳ４４における自動埃除去処理の例を示すフローチャート。 上記実施例２において、埃画素群を含むように設定された複数の長方形領域を示す図。 本発明の実施例３における画像処理装置の要部の構成を示すブロック図。 上記実施例３における埃除去処理の概要を示すフローチャート。 上記図１４のステップＳ９３における埃特定処理の例を示すフローチャート。 上記図１４のステップＳ９５における処理結果の確認処理の例を示すフローチャート。

符号の説明

１…処理部（画像選択手段、埃特定手段、修復手段）
２…プログラムメモリ
３…画像メモリ
４…操作部
５…表示部
６…処理履歴メモリ
７…バス
１１…確認画面
１２…処理対象となる埃部分の拡大画像
１３…埃除去の処理を行った後の拡大画像
１４…確認済み埃領域数表示
１５…取り消しボタン
１６…次へボタン
１７…終了ボタン
ＴＧ…埃画素群
Ｒ１，Ｒ２，Ｒ３，Ｒ４…領域
ＲＡ…長方形領域
ＰＡ…部分領域
代理人 弁理士 伊 藤 進

Claims (18)

1. コンピュータにより、撮像装置により撮影された画像から、該画像に含まれ得る埃の画像部分を画像処理により除去させるための画像処理プログラムであって、
   処理対象画像を撮影した撮像装置と同一の撮像装置により撮影された１以上の画像の中から、撮影日時が該処理対象画像に近い順に、１以上の画像を参照画像として選択する画像選択ステップと、
   上記処理対象画像と、上記参照画像と、の両方において略同一位置に存在する埃の画像部分、を特定する埃特定ステップと、
   上記埃特定ステップにより特定された処理対象画像における埃の画像部分を、該処理対象画像における該埃の画像部分の近傍の画像情報を用いて修復する修復ステップと、
   をコンピュータに実行させるための画像処理プログラム。
2. 上記撮像装置は、イメージセンサを有して構成されたものであり、
   上記埃は、このイメージセンサの撮像面に付着しているものであることを特徴とする請求項１に記載の画像処理プログラム。
3. 上記撮像装置は、イメージセンサを有して構成されたものであり、
   上記略同一位置は、このイメージセンサの撮像面における略同一位置であることを特徴とする請求項１または請求項２に記載の画像処理プログラム。
4. 上記画像選択ステップは、上記処理対象画像と同一の画素構成の画像の中から、上記参照画像を選択するステップであることを特徴とする請求項１に記載の画像処理プログラム。
5. 上記埃特定ステップは、
   上記処理対象画像の画素毎の明度と、上記参照画像の画素毎の明度と、を算出する明度算出ステップと、
   上記明度算出ステップにより算出された、上記処理対象画像の画素毎の明度と、上記参照画像の画素毎の明度と、を同一画素位置毎に加算する明度加算ステップと、
   上記明度加算ステップにより加算された明度の加算値が所定値よりも小さい画素を抽出する画素抽出ステップと、
   上記画素抽出ステップにより抽出された上記処理対象画像における画素を、隣接する画素同士を同一のグループに含めるようにグループ化するグループ化ステップと、
   を含み、
   コンピュータに、上記グループ化ステップによりグループ化された画素群を、埃の画像部分を構成する埃画素群として特定させることを特徴とする請求項１に記載の画像処理プログラム。
6. 上記埃特定ステップは、
   上記明度算出ステップにより算出された画素毎の明度を、画像に含まれる全画素について平均することにより画像平均明度を算出する処理を、上記画像選択ステップにより選択された全ての参照画像について行う平均明度算出ステップと、
   上記平均明度算出ステップにより算出された画像平均明度が所定値以下となる参照画像を、上記明度加算ステップによる加算対象から除外する画像除外ステップと、
   をさらに含むことを特徴とする請求項５に記載の画像処理プログラム。
7. 上記埃特定ステップは、
   上記処理対象画像の画素毎の明度と、上記参照画像の画素毎の明度と、を算出する明度算出ステップと、
   上記明度算出ステップにより算出された明度が所定値よりも小さい画素を抽出する画素抽出ステップと、
   上記画素抽出ステップにより抽出された画素を、隣接する画素同士を同一のグループに含めるようにグループ化するグループ化ステップと、
   上記グループ化ステップによりグループ化された画素群の内で、上記処理対象画像における画素群と、上記参照画像における画素群と、が、該処理対象画像と全ての該参照画像とについて重なり合っている画素群の組み合わせを生成する組み合わせ生成ステップと、
   上記組み合わせ生成ステップにより生成された画素群の組み合わせの各々について、画素群に含まれる画素の数が組み合わせに属する画素群の全てについて等しくなるように、画像毎の明度を調整する明度調整ステップと、
   上記明度調整ステップにより画素数が等しくなった画素群について、組み合わせに属する画素群の全てが重なり合っている部分の画素数の、１つの画素群の画素数に対する比率を算出する比率算出ステップと、
   上記比率算出ステップにより算出された比率が所定値以上であるときに、組み合わせに属する画素群が、埃の画像部分を構成する埃画素群であると判定する判定ステップと、
   を含むことを特徴とする請求項１に記載の画像処理プログラム。
8. 上記埃特定ステップは、
   上記明度調整ステップにより画素数が等しくなった画素群の重心位置を、組み合わせに属する画素群の全てについて算出する重心位置算出ステップをさらに含み、
   上記判定ステップは、上記比率算出ステップにより算出された比率が所定値以上であって、かつ、上記重心位置算出ステップにより算出された重心位置の内の、最も離れた重心位置同士の差が所定値以下であるときに、組み合わせに属する画素群が、埃の画像部分を構成する埃画素群であると判定するステップであることを特徴とする請求項７に記載の画像処理プログラム。
9. 上記埃特定ステップと上記修復ステップとの少なくとも一方の処理情報を記憶する処理情報記憶ステップをさらに含み、
   上記埃特定ステップは、上記画像選択ステップにより選択された参照画像に関して、上記処理情報記憶ステップにより記憶された処理情報が存在する場合には、
   上記処理情報を読み出す処理情報読出ステップと、
   上記処理対象画像の画素毎の明度を算出する明度算出ステップと、
   上記明度算出ステップにより算出された明度が所定値よりも小さい画素を抽出する画素抽出ステップと、
   上記画素抽出ステップにより抽出された画素を、隣接する画素同士を同一のグループに含めるようにグループ化して埃候補画素群とするグループ化ステップと、
   上記処理情報読出ステップにより読み出された処理情報に含まれる埃画素群と、上記埃候補画素群と、が重なり合った組み合わせを生成する組み合わせ生成ステップと、
   上記組み合わせ生成ステップにより生成された組み合わせの各々について、上記埃候補画素群に含まれる画素の数と、上記埃画素群に含まれる画素の数と、が等しくなるように、処理対象画像の明度を調整する明度調整ステップと、
   上記明度調整ステップにより画素数が等しくなった埃候補画素群について、埃画素群と重なり合った部分の画素数の、埃画素群の画素数に対する比率を算出する比率算出ステップと、
   上記比率算出ステップにより算出された比率が所定値以上であるときに、上記埃候補画素群が、埃の画像部分を構成する埃画素群であると判定する判定ステップと、
   を含むことを特徴とする請求項１に記載の画像処理プログラム。
10. 上記埃特定ステップは、
    上記明度調整ステップにより画素数が等しくなった埃画素群の重心位置と、埃候補画素群の重心位置と、をそれぞれ算出する重心位置算出ステップをさらに含み、
    上記判定ステップは、上記比率算出ステップにより算出された比率が所定値以上であって、かつ、上記重心位置算出ステップにより算出された埃画素群の重心位置と埃候補画素群の重心位置との差が所定値以下であるときに、該埃候補画素群が、埃の画像部分を構成する埃画素群であると判定するステップであることを特徴とする請求項９に記載の画像処理プログラム。
11. 上記修復ステップは、
    上記埃特定ステップにより特定された埃の画像部分を含むように、複数の領域を設定する領域設定ステップと、
    上記領域設定ステップにより設定された各領域について、埃の画像部分を含まない部分の画素値の平均値およびばらつきを算出する平均ばらつき算出ステップと、
    上記平均ばらつき算出ステップにより算出されたばらつきが最も小さい領域を選択する領域選択ステップと、
    埃の画像部分の画素値を、上記領域選択ステップにより選択された領域の埃の画像部分以外の部分の画素値により置き換える置換ステップと、
    を含むことを特徴とする請求項１から請求項１０の何れか一に記載の画像処理プログラム。
12. 上記平均ばらつき算出ステップにより算出するばらつきは、明度のばらつきであることを特徴とする請求項１１に記載の画像処理プログラム。
13. 上記ばらつきは、分散であることを特徴とする請求項１１または請求項１２に記載の画像処理プログラム。
14. 上記修復ステップは、
    上記領域設定ステップにより設定された各領域を、埃の画像部分を１つの部分領域に含むように、複数の部分領域に分割する部分領域設定ステップをさらに含み、
    上記平均ばらつき算出ステップは、上記領域設定ステップにより設定された各領域について、上記部分領域設定ステップにより分割された部分領域の内の埃の画像部分を含まない各部分領域の画素値の平均値およびばらつきを算出するステップであり、
    上記領域設定ステップにより設定された各領域毎に、上記平均ばらつき算出ステップにより算出された各部分領域の画素値のばらつきを加算することによりばらつき和を算出するばらつき和算出ステップをさらに含み、
    上記領域選択ステップは、上記ばらつき和算出ステップにより算出されたばらつき和が最も小さい領域を選択するステップであり、
    上記領域選択ステップにより選択された領域の埃の画像部分を含まない部分領域の画素値の平均値とばらつきとの少なくとも一方に基づいて、埃の画像部分を含む部分領域の画素値の推定値を算出する推定値算出ステップをさらに含み、
    上記置換ステップは、埃の画像部分の画素値を、上記領域選択ステップにより選択された領域の、埃の画像部分を含む部分領域に隣接する部分領域の画素値により置き換えるステップであり、
    上記置換ステップにより置き換えた埃の画像部分の画素値に、置き換えた後の埃の画像部分の画素値の平均値と、上記推定値算出ステップにより算出された画素値の平均値と、の差を加算する画素値加算ステップをさらに含むことを特徴とする請求項１１から請求項１３の何れか一に記載の画像処理プログラム。
15. 上記修復ステップによる修復を行う前の画像と、該修復ステップによる修復を行った後の画像と、を比較し得るように表示する確認画像表示ステップと、
    上記修復ステップによる修復を取り消す選択が行われたときに、処理対象画像を修復を行う前の画像に戻す修復取り消しステップと、
    をさらに含むことを特徴とする請求項１から請求項１４の何れか一に記載の画像処理プログラム。
16. 上記処理対象画像を、同一の撮像装置により撮影された画像の中で順次変更することにより、複数の画像についての処理を順次行うことを特徴とする請求項１から請求項１５の何れか一に記載の画像処理プログラム。
17. 撮像装置により撮影された画像から、該画像に含まれ得る埃の画像部分を画像処理により除去するための画像処理方法であって、
    処理対象画像を撮影した撮像装置と同一の撮像装置により撮影された１以上の画像の中から、撮影日時が該処理対象画像に近い順に、１以上の画像を参照画像として選択する画像選択ステップと、
    上記処理対象画像と、上記参照画像と、の両方において略同一位置に存在する埃の画像部分、を特定する埃特定ステップと、
    上記埃特定ステップにより特定された処理対象画像における埃の画像部分を、該処理対象画像における該埃の画像部分の近傍の画像情報を用いて修復する修復ステップと、
    を含むことを特徴とする画像処理方法。
18. 撮像装置により撮影された画像から、該画像に含まれ得る埃の画像部分を画像処理により除去するための画像処理装置であって、
    処理対象画像を撮影した撮像装置と同一の撮像装置により撮影された１以上の画像の中から、撮影日時が該処理対象画像に近い順に、１以上の画像を参照画像として選択する画像選択手段と、
    上記処理対象画像と、上記参照画像と、の両方において略同一位置に存在する埃の画像部分、を特定する埃特定手段と、
    上記埃特定手段により特定された処理対象画像における埃の画像部分を、該処理対象画像における該埃の画像部分の近傍の画像情報を用いて修復する修復手段と、
    を具備したことを特徴とする画像処理装置。

Images