JP4750630B2 - 画像処理装置及び画像処理方法及びプログラム及び記憶媒体及び撮像装置 - Google Patents

Description

本発明は、撮像素子を備えるデジタルカメラ等の撮像装置において、撮像した画像に基づいて、撮像素子の近傍に付着している塵埃等の異物を検出する技術に関する。

近年カメラのデジタル化が急速に進んでおり、特に従来の一眼レフカメラと同様の光学配置で、フィルムを光電変換を行う撮像素子に置き換えた所謂デジタル一眼レフカメラの普及も進んでいる。デジタル一眼レフカメラではフィルムの巻き取り、交換という作業が存在しないため、レンズ交換等の作業において一旦撮像素子近傍に塵埃等の異物が進入すると、継続して異物が撮影した画像に写り込む。そのため、一連の撮影画像の品質を損ねてしまうと言う問題点がある。

特許文献１は複数の画像から異物検出を行う方法を開示している。特許文献１に開示された発明によると、ユーザーは予め複数の画像を取得し、複数画像にわたるコントラスト等の不変部分を検出し、不変部分を基に異物位置を検出する。ユーザーは適切にクリーニングモードなどで異物除去を行った後に撮影を行うことで高品位の画像を得ることができる。

特許文献２は基準画像から異物による輝度変化を補正する方法を開示している。特許文献２に開示された発明によると、基準となる一様な輝度を持つ被写体を撮影し、そのときの輝度分布から透過率マップを生成する。その後ユーザーが撮影した画像に対して適切にゲイン補正を行うことで異物による透過率変化を補正し、高品位の画像を得ることができる。

特許文献３は複数の画像の位置合わせを行うための方法を開示している。特許文献３に開示された発明によると、信頼度の高い特徴点を参照して複数画像の位置合わせを行い、複数画像から１つの画像を生成する。適切に合成が行われることでダイナミックレンジを拡大した合成画像を得ることが出来る。
特開２００４−１７２８２０号公報 特開２００４−２２２２３１号公報 特開２０００−３４１５８２号公報

しかしながら、特許文献１における異物検出方法では、複数画像を位置合わせを行わずに重ねあわせ、コントラストの不変部分から異物の検出を行うため、低コントラスト領域においては異物の検出ができないという問題があった。

また、特許文献２においては、テクスチャの影響が出てしまうような参照画像が適切ではない場合は適切なゲイン補正を行うことが出来ないという問題があった。

また、特許文献３の発明では、異物が付着した場合の画像品位の劣化に対しては対処できないと言う問題があった。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像装置において、撮像素子近傍に異物が付着した場合でも異物の影響の少ない画像を得られるようにするために、適切に撮像素子近傍の異物の位置を検出できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、撮像装置により撮像され、入力された複数の画像の位置ずれを検出する位置ずれ検出手段と、前記位置ずれ検出手段による検出結果に基づいて前記複数の画像を位置合わせした場合に、画像中の互いに重ならない像を、前記撮像装置の撮像素子近傍に付着している異物の像として検出する異物検出手段と、前記異物検出手段の検出結果に基づいて、少なくとも前記異物の位置及び大きさの情報を含む異物マップを生成する異物マップ生成手段と、前記異物マップ生成手段により生成された異物マップを記憶する記憶手段と、前記複数の画像と、前記撮像装置の絞りを前記複数の画像を撮像したときとは変更して撮像した画像のそれぞれについて、その画像に写り込んだ異物の透過率が所定の閾値より高いか低いかを求めることにより、前記異物の大きさと該異物が画像に影響を与える絞り値の関係を示す異物影響度を検出する異物影響度検出手段と、を具備し、前記異物マップ生成手段は、少なくとも前記異物の位置及び大きさの情報と前記異物影響度の情報とを含む異物マップを生成することを特徴とする。

また、本発明に係わる画像処理方法は、撮像装置により撮像され、画像処理装置に入力された複数の画像の位置ずれを検出する位置ずれ検出工程と、前記位置ずれ検出工程における検出結果に基づいて前記複数の画像を位置合わせした場合に、画像中の互いに重ならない像を、前記撮像装置の撮像素子近傍に付着している異物の像として検出する異物検出工程と、前記異物検出工程における検出結果に基づいて、少なくとも前記異物の位置及び大きさの情報を含む異物マップを生成する異物マップ生成工程と、前記異物マップ生成工程において生成された異物マップを記憶する記憶工程と、前記複数の画像と、前記撮像装置の絞りを前記複数の画像を撮像したときとは変更して撮像した画像のそれぞれについて、その画像に写り込んだ異物の透過率が所定の閾値より高いか低いかを求めることにより、前記異物の大きさと該異物が画像に影響を与える絞り値の関係を示す異物影響度を検出する異物影響度検出工程と、を具備し、前記異物マップ生成工程では、少なくとも前記異物の位置及び大きさの情報と前記異物影響度の情報とを含む異物マップを生成することを特徴とする。

また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。

また、本発明に係わる撮像装置は、被写体像を光電変換して画像信号を生成する撮像手段と、上記の画像処理装置と、を具備することを特徴とする。

本発明によれば、適切に撮像素子近傍の異物の位置を検出することが可能となる。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

まず、実施形態について具体的に説明する前に、実施形態の概要について説明しておく。

本発明の実施形態では、撮像装置（具体的にはレンズ交換式デジタル一眼レフカメラ）において、構図（フレーミング）が僅かずつ異なる複数枚の画像を撮影する。このような構図の僅かずつ異なる複数枚の画像では、被写体の像の位置は複数枚の画像間で異なるが、撮像素子近傍（主として撮像素子の前方に配置されたローパスフィルタ等の光学素子の表面）に付着した異物の影は複数枚の画像間で同じ位置に写り込む。そのため、複数枚の画像をそのまま重ね合わせると、被写体の像の位置は互いにずれて、異物の影の像の位置は一致する。これとは逆に、複数枚の画像を被写体の位置が一致するように互いに位置合わせして合成すると、異物の影の像は１つの画像内の異なる位置に位置することとなる。即ち、構図が僅かに異なる２枚の画像を、被写体の位置が一致するように位置合わせして合成すると、１つの異物に対して、２つの異物像が１つの画面内に発生する。

本発明の実施形態では、上記の性質を利用して、構図の僅かに異なる複数枚の画像を被写体の位置が一致するように互いに位置合わせして合成し、そのときに互いに異なった位置に生じた像を異物の像と判定する。これにより撮像素子近傍の異物の位置を検出する。

撮像素子近傍の異物の位置が特定できれば、本撮影において撮像された画像の異物に対応する位置の画素信号を、その周囲の画素の信号で補間する等の方法により、異物の写りこんだ画像を補正して、異物の影響の少ない画像とすることができる。また、別の方法としては、本撮影時においても、構図が僅かずつ異なる複数枚の画像を撮影し、１つの画像の異物が写りこんだ部分を、他の画像の異物が写りこんでいない部分の画像で置換する、又は補間する等の方法も考えられる。

以上が、本発明の実施形態の概要である。

次に、本発明の実施形態について具体的に説明する。

（第１の実施形態）
この第１の実施形態は、撮像装置（レンズ交換式デジタル一眼レフカメラ）において異物検出用に僅かずつ構図（フレーミング）が異なる複数枚の画像を撮影し、その複数枚の画像を画像処理装置に入力し、画像処理装置側で異物検出を行う実施形態である。複数枚の画像の入力は、カメラと画像処理装置を直接接続して行ってもよいし、画像が記憶されたメモリーカードなどをカメラから取り外して画像処理装置に装着し、画像処理装置側でメモリーカードから画像を読み出すような方法をとってもよい。

なお、この場合、画像処理装置側では、複数の画像から検出された異物情報がどの機種のカメラのどの個体に関する異物情報であるのかを記憶して保存しておく必要がある。そのため、カメラ側では、そのカメラの製造時にカメラ内のメモリ等にそのカメラの機種名、個体番号などを記憶しておく。そして、カメラの機種名、個体番号等を、撮影した複数の画像と共にメモリーカードなどに記録して、その情報を画像処理装置側に入力する。

以下、本発明の第１の実施形態の画像処理装置について、図１及び図２を参照して説明する。

図１は本発明の第１の実施形態に係わる画像処理装置のブロック図である。

図１に示すように、画像処理装置１００では、カメラ側で異物検出用に構図を僅かずつ変えて撮影された複数の画像１０ａ，１０ｂ，…が位置ずれ検出部１０１および画像合成部１０２に与えられる。

位置ずれ検出部１０１では例えば特開２００４−３４１５８２号公報に開示された方法などによって複数画像間の位置ずれを検出する。

画像合成部１０２においては、位置ずれ検出部１０１によって求められた位置ずれ情報に基づいて、複数画像の位置合わせと画像の露出補正などを行って複数画像から１つの画像を合成する。

異物位置検出部１０３では画像合成部１０２で得られた合成画像と、位置ずれ検出部１０１で得られた複数画像間の位置ずれ情報に基づいて異物の位置及び大きさの情報を検出する。

ここで図２を用いて、位置ずれ検出部１０１、画像合成部１０２、及び異物位置検出部１０３の動作について詳しく説明する。

図２（ａ）、図２（ｂ）は位置ずれ検出部１０１に与えられる複数の画像を示す。図２（ｃ）は位置合わせを行わずに図２（ａ）及び図２（ｂ）に示される画像を重ねた場合の模式図である。

位置ずれ検出部１０１は、特開２０００−３４１５８２号公報に開示された方法などによって複数画像間の位置ずれを求める。図２（ｃ）はこのとき求められた２つの画像間のずれベクトル２２ｃを示している。

画像合成部１０２は、位置ずれ検出部１０１によって求められた位置ずれ情報に基づいて位置合わせを行い、画像を合成する。図２（ｄ）に合成された画像の例を示す。

ここで撮像素子近傍に異物が付着している場合を考える。

図２において異物の付着によって画像の品位が低下している（異物の影が写りこんでいる）領域を２０ａおよび２０ｂで示した。また被写体を２１ａおよび２１ｂで示した。

２つの画像が同一ではない構図（フレーミング）で撮影されているとき、位置ずれ検出部１０１で求められるずれベクトル２２ｃは０ベクトルではない値をとる。つまり、図２（ｃ）において２２ｃは０ベクトルではない値をとり、被写体２１ａおよび２１ｂの位置は一致しない。一方で撮像素子近傍に付着した異物による像は常に一定の場所にある。つまり、図２（ｃ）において、異物の付着によって画像の品位が低下している領域２０ａ，２０ｂの位置は一致する。

このため図２（ｄ）に示すように、適切に位置合わせを行い画像を合成した場合は、被写体２１ａおよび２１ｂの位置は一致する。一方で、異物の付着によって画像の品位が低下している領域２０ａ，２０ｂの位置は一致せず、画像の品位が低下した領域が２つ出来る。

異物位置検出部１０３では、この違いを利用して異物の位置及び大きさを検出する。つまり、異物位置検出部１０３は、位置ずれ検出部１０１によって位置ずれを検出し、その結果を基に画像合成部１０２によって位置合わせを行って合成したにも拘わらず、重ならない領域を異物として検出する。

特開２００４−１７２８２０号公報に開示された異物位置検出方法によれば、図２（ｃ）でコントラストの不変領域である２０ａ，２０ｂを異物として検出している。しかし、その場合、２０ａ，２０ｂの領域における背景の差で異ってしまう異物の写り方の違いを区別することができず、異物を正確に検出することができない。また、低コントラスト領域では基画像と合成画像のコントラストの不変領域を区別することは非常に困難であり、異物を検出することは難しい。

一方、本実施形態における異物位置検出手法では、位置合わせを行って合成し、重ならない領域を異物として検出するため、背景に対する制約がなく、異物を正確に検出することが可能である。また、複数の画像の位置合わせを行い合成した結果、同一の異物が合成後には複数箇所に存在することになるが、重ね合わせ時に移動させたベクトル量から複数箇所の異物は同一のものであることは簡単に判断することが可能である。即ち、例えば飛行機などが写りこんでいたとしても上記のベクトル量と全く同じ距離だけ飛行機が画面内で移動した場合を除き、誤って飛行機を異物と判断することはない。

異物マップ生成部１０５では、異物位置検出部１０３によって検出された異物の位置及び大きさの情報に基づいて撮像素子近傍に付着した異物の位置及び大きさを示す異物マップを生成し、メモリ１１０に記憶する。異物マップに含まれる情報は、異物の中心座標と半径でも良いし、異物が存在する座標でもよい。なお、メモリ１１０には、異物マップと、複数の画像１０ａ，１０ｂ，…を撮影したカメラの機種名、個体番号等の個体情報とを関連付けて記憶しておく。

以上により、画像処理装置１００には、対象となるカメラの撮像素子近傍の異物の位置と大きさのマップが用意されることとなるので、以後は、同じカメラで本撮影を行い、この本撮影画像を上記の異物位置マップを用いて補正することとなる。

この場合、本撮影された本撮影画像１５が画像補正部１０６に入力され、画像補正部１０６は、メモリ１１０に記憶されている異物マップに基づいて本撮影画像１５の補正を行う。なお、図１において、１１は補正された後の出力画像である。

画像の補正方法は、既知の処理方法で良く、例えば、異物が写り込んだ画素の周辺画素の情報を加重平均して異物領域の画像を補正するなどの方法を用いることができる。また、別の方法としては、本撮影時においても、構図が僅かずつ異なる複数枚の画像を撮影し、１つの画像の異物が写りこんだ部分を、他の画像の異物が写りこんでいない部分の画像で置換する、又は補間する等の方法も考えられる。

最終的に得られた画像は所謂異物による画像の劣化を受けていない領域の情報から生成されており、高品位な画像が得られる。

以上説明したように、本実施形態によれば、撮影した画像に異物の影が残ることを抑止し、結果として高品位な画像を得ることが出来る。

（第２の実施形態）
この第２の実施形態も、撮像装置において異物検出用に僅かずつ構図（フレーミング）が異なる複数枚の画像を撮影し、その複数枚の画像を画像処理装置に入力し、画像処理装置側で異物検出を行う実施形態である。

本発明の第２の実施形態について図３乃至図６を参照して説明する。

図３は本発明の第２の実施形態に係わる画像処理装置のブロック図である。なお、ここで第１の実施形態を示す図１と同一機能部分については同一の符号を付して説明を省略する。

本実施形態の画像処理装置は、図１に示す構成に加えて、異物の影が画像に与える影響度を検出する異物影響度検出部３０４を備えている。そして、異物影響度検出部３０４の検出結果から、異物の影が画像に与える影響が小さいと判断される場合には、その影響が小さいと判断された異物の影の部分については画像の補正を行なわない。

異物影響度検出部３０４は、異物位置検出部１０３によって検出された異物の位置及び大きさの情報と、絞りを絞り込んで撮影したときの異物の像と、絞りを開放状態としたときの異物の像とから異物の影響度を検出する。より具体的には、本実施形態における異物の影響度とは、撮像装置側の絞りの開き量に対して、どの位の大きさまでの異物であれば画像に影響を与えないかという臨界値を示す値であり、異物の大きさの単位（例えばμｍ）で表わされる。

ここで、異物の影響度について図４、図５を用いてより詳しく説明する。

図４はカメラにおける撮像機構と異物の写り方を示した関係図である。例えば、比較的小さな異物の場合、図４（ａ）では絞りが開放状態であるため、撮像面近傍にあるＬＰＦ(ローパスフィルタ)上の異物の錯乱円径は大きくなりボケてしまい、目立たなくなる。一方、図４（ｂ）のように絞りを絞った状態では、錯乱円径が小さいため異物は写りやすくなる。つまり、撮像面近傍の異物が撮影した画像に対して影響を与えるかどうかは、異物の大きさと絞りの状態によって決まる。

図５は異物の大きさと絞り値に対する異物の影響について示した関係図である。

図５にａで示す異物像は、比較的小さい異物の像であり、絞り値がＦ３２の場合に写りこむが、Ｆ３２より開放側の絞り状態では写らないことを示している。また、図５にｂで示す異物像は、同様に絞り値がＦ５.６より絞った状態では画像に写り込むが、Ｆ５.６より開放側の絞り状態では写らない。また、図５にｃで示す異物像は、同様にＦ１.４より絞った状態の時に画像に写り込むが、Ｆ１.４より開放側の絞り状態では写らないことを示している。即ち、異物の大きさが大きいほど、絞りを開放側にしても異物の影が画像に写り込み、逆に異物が小さければ、比較的絞りを絞っても異物の影が画像に写りこまない。

次に、図６を参照して、異物の影響度を検出する方法について説明する。

まず、撮像装置側では、絞りを絞った状態（本実施形態ではＦ３２）で、異物検出用に僅かずつ構図をずらして複数枚の画像１０ａ，１０ｂ，…を撮影する。

次に、同じ撮像装置で、上記の複数枚の画像の撮影の後に、絞りを開放状態（本実施形態ではＦ１．４）にして、１枚の画像１６の撮影を行う。

そして、これらの絞りを絞った場合の複数枚の画像１０ａ，１０ｂ，…と、絞りを開放状態としたときの１枚の画像１６を画像処理装置１００に入力する。

画像処理装置１００では、入力された絞りを絞った場合の複数枚の画像１０ａ，１０ｂ，…から、異物検出部１０３が第１の実施形態と同じ方法により異物の位置と大きさとを検出する。

次に、異物影響度検出部３０４は、絞りを絞った（Ｆ３２）場合の複数枚の画像１０ａ，１０ｂ，…のいずれか、又はそれらを位置合わせしないで合成した画像から、絞りがＦ３２の場合に、どのくらいの大きさの異物までが画像に写り込んでいるかを検出する。この検出の結果、例えば図６にＡで示すように、絞りがＦ３２の場合に直径６０μｍまでの異物が画像に写り込んでいたならば、Ｆ３２の場合、直径が６０μｍ以上の異物は全て写り込み、直径が６０μｍ未満の異物は写り込まないと判定する。このときの異物の大きさである６０μｍをＦ３２における異物の大きさの臨界値、即ち異物影響度として設定する。

次に、異物影響度検出部３０４は、絞りを開いた状態（Ｆ１．４）で撮影された１枚の画像１６から、絞りがＦ１．４の場合に、どのくらいの大きさの異物までが画像に写り込んでいるかを検出する。この検出の結果、例えば図６にＢで示すように、絞りがＦ１．４の場合に直径１００μｍまでの異物が画像に写り込んでいたならば、Ｆ１．４の場合、直径が１００μｍ以上の異物は全て写り込み、直径が１００μｍ未満の異物は写り込まないと判定する。このときの異物の大きさである１００μｍをＦ１．４における異物の大きさの臨界値、即ち異物影響度として設定する。

そして、異物影響度検出部３０４は、Ｆ３２とＦ１．４の間の絞りについて、図６のＡ点とＢ点を直線補間して、各絞りでの異物の大きさの臨界値（異物影響度）を求める。例えば、図６に示す例では、Ｆ５．６のとき、臨界値は９０μｍとなる。

次に、上記のＦ３２、Ｆ１．４の絞り値に対して、どの大きさまでの異物が写り込んでいるかを判定する方法について説明する。

例えば、上記のように絞り値がＦ３２の場合に、大きさ６０μｍの異物の影がうっすらと画像に写りこんでいたとする。このとき、異物の影の透過率を調べることで、その透過率の大きさにより異物が写り込んでいると判定するか写り込んでいないと判定するかを決定する。または、異物の影のコントラストを求めることで異物が写り込んでいると判定するか写り込んでいないと判定するかを決定してもよい。このようにすると、上記のＦ３２の場合に、直径６０μｍの異物の影の透過率が予め定められた閾値よりも低かった場合に、直径６０μｍの異物の影が画像に写りこんでいると判定することができる。また、同様に直径６０μｍ未満の異物の影が、その透過率が予め定められた閾値よりも高かった場合に、直径６０μｍ未満の異物の影が画像に写りこんでいないと判定することができる。そして、このように直径６０μｍの異物の影が画像に写りこんでおり、直径６０μｍ未満の異物の影が画像に写りこんでいないと判定された場合に、上記のように６０μｍをＦ３２における異物の大きさの臨界値（異物影響度）として設定することができる。

以上のようにして、異物検出部１０３において異物の位置と大きさの情報が求められ、異物影響度検出部３０４で異物影響度が求められる。

そして、異物マップ生成部３０５では、求められた異物位置情報と異物影響度情報に基づいて撮像素子近傍に付着する異物の位置及び大きさと影響度とを示す異物マップを生成し、メモリ１１０に記憶する。異物マップに含まれる情報は、異物の中心座標と所定の絞り値における異物の半径でも良いし、異物が存在する座標と影響度を示す値を持たせてもよい。

以上により、画像処理装置１００には、対象となるカメラ（撮像装置）の撮像素子近傍の異物位置及び大きさのマップと異物の影響度の情報が用意されることとなる。そのため、以後は、同じカメラで本撮影を行い、この本撮影画像を上記の異物マップと異物の影響度の情報とを用いて補正することとなる。

この場合、本撮影された本撮影画像１５が画像補正部３０６に入力され、画像補正部３０６は、メモリ１１０に記憶されている異物マップに基づいて画像の補正を行う。異物マップには異物の位置及び大きさの情報と絞り値によって変化する異物の影響度情報が含まれているため、補正対象画像の撮影された絞り値の情報を基に補正する必要のある異物領域のみに補正処理を施す。ある絞り状態の場合に、影響を与えない異物の存在する領域に対して画像補正をすることは、画像の品質劣化を起こす可能性があるだけでなく、処理時間のロスにも繋がる。そのため補正の必要の無い異物領域に対しては補正を行なわない。

画像の補正方法は、既知の処理方法で良く、例えば、異物が写り込んだ画素の周辺画素の情報を加重平均して異物領域の画像を補正するなどの方法を用いることができる。また、別の方法としては、本撮影時においても、構図が僅かずつ異なる複数枚の画像を撮影し、１つの画像の異物が写りこんだ部分を、他の画像の異物が写りこんでいない部分の画像で置換する、又は補間する等の方法も考えられる。

最終的に得られた画像は所謂異物による画像の劣化を受けていない領域の情報から生成されており、高品位な画像が得られる。

以上説明したように、本実施形態によれば、異物の影が撮影した画像に残ることを抑止し、結果として高品位な画像を得ることが出来る。

（第３の実施形態）
この第３の実施形態は、撮像装置内に第２の実施形態で説明した画像処理装置を内蔵させた実施形態である。

図７から図１１を参照して、第３の実施形態に係わるレンズ交換式デジタル一眼レフカメラについて説明する。

図７は本実施形態のデジタル一眼レフカメラのブロック図である。

図７において、７１０は被写体像を結像させるための交換可能な撮影光学系、７１１は撮影光学系７１０中に備えられ、撮像素子７２０に入射する光量を調節するための絞り、７２０は被写体像を光電変換するための撮像素子である。撮像素子７２０の前面には、ローパスフィルタやカバーフィルタといった光学部材７２０ａが近接して配置されており、この光学部材７２０ａの表面に異物が付着する。付着した異物は、影となって撮像素子７２０上の被写体像に写りこむ。７３２は撮像素子７２０から出力されるアナログ画像信号をデジタル信号に変換するＡ／Ｄコンバータ、７４０はＡ／Ｄコンバータから出力されるデジタル画像信号を処理する画像処理装置である。また、７３３は撮影光学系７１０のレンズ位置や絞りの開度を制御するレンズ系制御部、７２１はＡＦ（オートフォーカス）センサ、ＡＥ（自動露出）センサなどの各種センサである。さらに、７３０はデジタルカメラ全体の動作を制御するカメラ制御部、７５０はレリーズスイッチ、ディスプレイ、撮影モード選択スイッチなどとのＩ／Ｏ、７３４は撮影画像や種々の情報を記憶するメモリである。

ユーザーの操作はＩ／Ｏ７５０を介して取得され、ユーザの動作によって電源ＯＮ／ＯＦＦ、撮影動作などが行われる。撮影動作が指示された場合、各種センサ７２１や撮像素子７２０から得られる情報に基づいてカメラ制御部７３０は適切な撮影条件を決定し、レンズ系制御部７３３を介して適切なレンズ位置などを設定する。露光後に撮像素子７２０の出力信号をＡ／Ｄコンバータ７３２を介してデジタル化したのち、画像処理装置７４０で適切な画像処理を施してメモリ７３４に保存する。また必要な場合には、Ｉ／Ｏ７５０を介して図示しないディスプレイに画像を表示する。

画像処理装置７４０は、一般的には、ホワイトバランス調整、ＲＧＢ現像、圧縮符号化等の処理を行う。本実施形態の画像処理装置７４０は、これらに加えて撮影された画像に写りこんだ異物の影を補正する画像補正部が設けられている。

図８は、画像処理装置７４０の構成を示すブロック図である。

図８において、７４０は画像処理装置、７４１は複数の画像１０ａ，１０ｂ，…から異物マップを生成すると共に、本撮影画像１５の補正を行なう画像処理部、７４２はホワイトバランス調整部、７４３はＲＧＢ現像部、７４４は圧縮符号化部である。

以上のように構成されるデジタルカメラの動作について、図９から図１１を参照して説明する。

図９は本実施形態のデジタルカメラにおける撮影モード選択フローを示している。

ステップＳ９０１では、上記の撮影モード選択スイッチによってユーザが切り替えることが可能な撮影モードの設定状態を読み込む。

ステップＳ９０２では、ステップＳ９０１において撮影モードが「異物検出モード」の場合はステップＳ９０３へ、「通常撮影モード」の場合はステップＳ９０４へ移行し、いずれかの撮影モードを実行して終了する。

図１０は「異物検出モード」時の動作を示すフローチャートである。

ステップＳ１００１で、ユーザにより不図示のレリーズボタンが半押しされて、スイッチＳＷ１がＯＮされると、ステップＳ１００２に移行し、ＡＦ（オートフォーカス）処理およびＡＥ（自動露出）処理を行う。この時、ＡＥ処理では、異物が画像に写りやすくするために絞りを最大に絞った状態（例えばＦ３２）に設定する。

ステップＳ１００３で、ユーザにより不図示のレリーズボタンが全押しされて、スイッチＳＷ２がＯＮされると、ステップＳ１００４へ移行する。

ステップＳ１００４では、僅かずつ構図を変えて複数枚の画像を連続撮影して、撮影した複数の画像を一時メモリ７３４に保存する。

ステップＳ１００５では、絞りを開放Ｆ値に設定し直して、ステップＳ１００６で１枚の画像の撮影を行い、画像をメモリ７３４に保存する。

ステップＳ１００７では、第１又は第２の実施形態に示す方法によって、異物の位置及び大きさの情報を検出する。

ステップＳ１００８では、第２の実施形態に示す方法によって、異物の影響度を検出する。

ステップＳ１００９では、ステップＳ１００７で検出した異物の位置及び大きさの情報とステップＳ１００８で検出した異物の影響度情報とから、第２の実施形態に示す方法によって、異物マップを生成しメモリ７３４に保存する。

以上で、異物検出モードを終了する。

図１１は「通常撮影モード」時の動作を示すフローチャートである。

ステップＳ１１０１で、ユーザにより不図示のレリーズボタンが半押しされて、スイッチＳＷ１がＯＮされると、ステップＳ１１０２に移行し、ＡＦ処理およびＡＥ処理を行う。

ステップＳ１１０３で、ユーザにより不図示のレリーズボタンが全押しされて、スイッチＳＷ２がＯＮされると、ステップＳ１００４へ移行し１枚の画像の撮影を行う。

ステップＳ１００５では、メモリ７３４上に保存された異物マップを参照して、ステップＳ１１０４で撮影した画像の補正処理を行う。また、ここでホワイトバランス調整、ＲＧＢ現像、圧縮符号化等の画像処理も行い、ステップＳ１１０６へ移行する。

画像の補正方法は、既知の処理方法で良く、例えば、異物が写り込んだ画素の周辺画素の情報を加重平均して異物領域の画像を補正するなどの方法を用いることができる。また、別の方法としては、ステップＳ１１０４において、構図が僅かずつ異なる複数枚の画像を撮影し、１つの画像の異物が写りこんだ部分を、他の画像の異物が写りこんでいない部分の画像で置換する、又は補間する等の方法も考えられる。

ステップＳ１１０６では、補正した処理画像をメモリ７３４に保存する。

本実施形態によれば、異物の影が撮影した像に残ることを抑止し、結果として高品位な画像を得ることが可能なデジタルカメラを提供することが出来る。多くの場合、撮像面近傍に付着する異物は移動しにくいため、所定のタイミングで異物マップを生成することで、通常撮影モードでは高速に異物の除去補正を行うことが可能である。ここで所定のタイミングとは、例えば、カメラの起動時やレンズ交換時、またはユーザが意図したタイミングなどである。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

第１の実施形態の画像処理装置の構成を示すブロック図である。 位置ずれを利用して異物の位置を検出する原理を説明する図である。 第２の実施形態の画像処理装置の構成を示すブロック図である。 レンズの絞り状態と異物の写り方の関係を示す図である。 絞り値と異物の大きさの関係を示す図である。 絞り値から影響のある異物の大きさを推定する原理を示す図である。 第３の実施形態のデジタルカメラの構成を示すブロック図である。 第３の実施形態の画像処理装置の構成を示すブロック図である。 第３の実施形態における撮影モード選択動作を示すフローチャートである。 第３の実施形態における異物検出モードの動作を示すフローチャートである。 第３の実施形態における通常撮影モードの動作を示すフローチャートである。

符号の説明

１０ａ，１０ｂ 複数の入力画像
１１ 出力画像、
１００ 画像処理装置
１０１ 位置ずれ検出部
１０２ 画像合成部、
１０３ 異物位置検出部
３０４ 異物影響度検出部、
１０５，３０５ 異物マップ生成部
１０６，３０６ 画像補正部
１１０ メモリ、
２０ａ，２０ｂ 異物領域
２１ａ，２１ｂ 被写体
２２ｃ ずれベクトル、
７１０ 撮影光学系
７１１ 絞り
７２０ 撮像素子
７２１ 各種センサ、
７３０ カメラ制御部
７３２ Ａ／Ｄ変換器
７３３ レンズ系制御部
７３４：メモリ
７４０ 画像処理装置
７４１ 画像処理部
７４２ ＷＢ調整部
７４３ ＲＧＢ現像部
７４４ 圧縮符号化部
７５０ Ｉ／Ｏ

Claims (9)

1. 撮像装置により撮像され、入力された複数の画像の位置ずれを検出する位置ずれ検出手段と、
   前記位置ずれ検出手段による検出結果に基づいて前記複数の画像を位置合わせした場合に、画像中の互いに重ならない像を、前記撮像装置の撮像素子近傍に付着している異物の像として検出する異物検出手段と、
   前記異物検出手段の検出結果に基づいて、少なくとも前記異物の位置及び大きさの情報を含む異物マップを生成する異物マップ生成手段と、
   前記異物マップ生成手段により生成された異物マップを記憶する記憶手段と、
   前記複数の画像と、前記撮像装置の絞りを前記複数の画像を撮像したときとは変更して撮像した画像のそれぞれについて、その画像に写り込んだ異物の透過率が所定の閾値より高いか低いかを求めることにより、前記異物の大きさと該異物が画像に影響を与える絞り値の関係を示す異物影響度を検出する異物影響度検出手段と、を具備し、
   前記異物マップ生成手段は、少なくとも前記異物の位置及び大きさの情報と前記異物影響度の情報とを含む異物マップを生成することを特徴とする画像処理装置。
2. 前記記憶手段は、前記撮像装置の個体情報を前記異物マップに関連付けて記憶することを特徴とする請求項１に記載の画像処理装置。
3. 前記異物マップに基づいて、前記撮像装置により撮像された画像を補正する画像補正手段を更に具備することを特徴とする請求項１に記載の画像処理装置。
4. 撮像装置により撮像され、画像処理装置に入力された複数の画像の位置ずれを検出する位置ずれ検出工程と、
   前記位置ずれ検出工程における検出結果に基づいて前記複数の画像を位置合わせした場合に、画像中の互いに重ならない像を、前記撮像装置の撮像素子近傍に付着している異物の像として検出する異物検出工程と、
   前記異物検出工程における検出結果に基づいて、少なくとも前記異物の位置及び大きさの情報を含む異物マップを生成する異物マップ生成工程と、
   前記異物マップ生成工程において生成された異物マップを記憶する記憶工程と、
   前記複数の画像と、前記撮像装置の絞りを前記複数の画像を撮像したときとは変更して撮像した画像のそれぞれについて、その画像に写り込んだ異物の透過率が所定の閾値より高いか低いかを求めることにより、前記異物の大きさと該異物が画像に影響を与える絞り値の関係を示す異物影響度を検出する異物影響度検出工程と、を具備し、
   前記異物マップ生成工程では、少なくとも前記異物の位置及び大きさの情報と前記異物影響度の情報とを含む異物マップを生成することを特徴とする画像処理方法。
5. 前記記憶工程では、前記撮像装置の個体情報を前記異物マップに関連付けて記憶することを特徴とする請求項４に記載の画像処理方法。
6. 前記異物マップに基づいて、前記撮像装置により撮像された画像を補正する画像補正工程を更に具備することを特徴とする請求項４に記載の画像処理方法。
7. 請求項４乃至６のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
8. 請求項７に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
9. 被写体像を光電変換して画像信号を生成する撮像手段と、
   請求項１乃至３のいずれか１項に記載の画像処理装置と、
   を具備することを特徴とする撮像装置。

Images