JP6222908B2 - 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 - Google Patents

Description

本発明は、画像処理装置に係わり、特に前面にマイクロレンズアレイを有する撮像素子で得られた撮像画像を処理する画像処理装置に関するものである。

従来、固体メモリ素子を有するメモリカードである記録媒体に対して、CCD、CMOS等の固体撮像素子で撮像した静止画像や動画像の記録及び再生を行なう電子カメラ等の撮像装置が多く存在する。

これらの撮像装置に関する技術の一例が特許文献１に提案されている。当該撮像装置は、撮像素子の前面に所定数の複数画素に対し１つの割合でマイクロレンズを並べたマイクロレンズアレイ（以下、ＭＬＡと略記する）を配置することで、撮像素子に入射する光線の入射方向の情報（光線角度情報）をも得られるよう構成されている。

このような撮像装置を非特許文献１においてはＨａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａと呼んでいるが、一般にはライトフィールドカメラとも称されている。

このような撮像装置の用途としては、まず各画素からの出力信号をもとに通常の撮影画像を生成することである。これ以外としては、撮影された画像に対して光線角度情報に基づいた所定の画像処理を施すことで、任意の焦点距離に焦点を合わせた画像を再構築する（リフォーカス処理と呼ぶ）ことなどである。

ところで、近年の電子カメラでは、数百万から数千万の画素を有する撮像素子を搭載するものが多く存在しているが、その全ての画素が適正に入射光量に応じた電気信号への変換を行う撮像素子を製造するのは現実的に非常に困難である。その結果、撮像素子の「画素」には、いくつかの正常には動作しない「欠陥画素」が混ざってしまっている。

そこで、従来の撮像装置においては、このような欠陥画素の位置に相当する画像信号には、その周辺の画素の画像信号を用いた補間処理などを行い、最終的に生成される画像に対する補正を行っている。

また、補正対象となる欠陥画素の検出についてはいくつか方法がある。例えば撮像装置もしくは撮像素子の製造工程において、撮影された画像に基づいて欠陥画素のアドレスを記録して撮像装置のメモリに保存しておく方法が特許文献１や特許文献２などにおいて提案されている。

また、別の検出方法としては、撮像装置による撮影ごとに、撮像画像の周辺の画素からの画像信号とのレベル差などから欠陥画素であると判定する、リアルタイムな欠陥画素検出方法であり、特許文献３などにおいて提案されている。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

特開昭６１−２６１９７４号公報 特開２００５−２６７９４号公報 特開２００５−２８６８２５号公報

しかしながら、前述のようなＭＬＡを有する撮像装置における撮影において、リアルタイムな欠陥画素の検出を実現するためには、以下のような問題があった。

即ち、リアルタイムな欠陥画素の検出方法は、検出対象画素とその周辺画素とのレベル差に基づいてその画素が欠陥画素であるかどうかを検出する。しかし、先に述べたＭＬＡを有する撮像装置のうち、後にリフォーカス等の所定の画像処理を施す再構成を前提とした撮像装置では次のような問題がある。それは、撮像素子からの読み出し時もしくは、画像データ保管時の画素信号の配列が、必ずしも被写体像の位置関係に準じた配列とはなっておらず、直接観察するには適さないデータとなっている。そのため、そのままの配列では、特許文献３のように周囲の画素信号から該当画素が欠陥であるとの判定を行うことに困難を伴うことになる。

とはいえ、欠陥画素検出の際に、検出に用いる画像を直接観察するに適したデータとするために、何らかの再構成処理を行ってしまうと、再構成後の画像の１つの画素信号は撮像素子の複数の画素信号を加算して生成された信号になる。このため、再構成画像の画素信号からでは、撮像素子のどの画素が欠陥画素であったかを検出することは更に難しくなってしまう。

そこで、本発明の目的は、ＭＬＡを有する撮像素子で得られた撮像画像に対して適切な欠陥画素検出を行うことを可能とする画像処理装置、方法およびプログラムを提供することである。

上記の課題を解決するために、本発明によれば、撮影光学系で結像された被写体像の光線角度情報を含む撮像画像を得るためのマイクロレンズアレイを配した撮像素子から出力された撮像画像を処理する画像処理装置は、光線角度情報に基づいて、取得した撮像画像のリフォーカス処理を行い、再構成画像を生成するリフォーカス処理手段と、取得した撮像画像から欠陥画素を検出する欠陥画素検出手段とを備え、撮像画像を取得したときは取得した撮像画像の欠陥画素の検出を行ない、リフォーカス処理が指示されたときは、欠陥画素の検出が行なわれた撮像画像に対してリフォーカス処理を行なうよう制御する。

本発明によれば、ＭＬＡを有する撮像素子で得られた撮像画像から再構築されたリフォーカス画像の画質を向上させることが可能となる。

本発明の第１の実施例に係わる撮像装置のブロック図である。 図１に示す撮像装置の撮像光学系に係わる構成のブロック図である。 図１の撮像装置の撮像素子の画素配列を模式的に示す図である。 図４の画素配列を構成する単位画素の構成図である。 図２の撮像光学系における撮影レンズの開口を被写体方向から見た図である。 図２の撮像光学系における被写体からの光線軌跡を示す図である。 図２の撮像光学系による被写体距離の検出動作を説明するための図である。 本発明の第１の実施例に係わる撮像装置の撮影動作のフローチャートを示す図である。 本発明の第１の実施例に係わる欠陥画素の補正動作のフローチャートを示す図である。 本発明の第１の実施例に係わる欠陥画素の検出方法を説明するための図である。 本発明の第２の実施例に係わる撮像装置の撮影動作のフローチャートを示す図である。

以下、図面を参照して本発明の好適な実施の形態を詳細に説明する。

図１は、本発明の第１の実施例に係わる撮像装置のブロック図である。
図１において、１０１はレンズなどの光学系、１０２はメカニカルシャッタ（メカシャッタと図示する）、１０３は入射光を電気信号に変換する撮像素子である。撮像素子１０３は、入射光を電気信号に変換する光電変換部１０４と、その電気信号を増幅する信号増幅回路１０５を有する。

また、１０６は撮像素子１０３から出力される画像信号を取得して、アナログ信号処理を行うアナログ信号処理回路である。アナログ信号処理回路１０６は、アナログ信号を増幅する信号増幅器１０７、水平ＯＢクランプを行うクランプ回路１０８、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器１０９を有する。

また、１１０は撮像素子１０３およびアナログ信号処理回路１０６を動作させる信号を発生するタイミング信号発生回路、１１１は光学系１０１、メカニカルシャッタ１０２の駆動回路である。また、１１２は撮影した画像データに必要なデジタル信号処理を行うデジタル信号処理回路である。デジタル信号処理回路１１２は、画像データに対し必要な補正処理を行う画像補正回路１１３、本実施例に係わる欠陥画素検出を行う欠陥画素検出回路１１４、デジタル信号を増幅する信号増幅回路１１５、画像データに対し必要な画像処理を行う画像処理回路１１６を含む。

また、１１７は信号処理された画像データを記憶する画像メモリ、１１８は撮像装置から取り外し可能な画像記録媒体（記録媒体と図示する）、１１９は信号処理された画像データを画像記録媒体１１８に記録する記録回路である。また、１２０は信号処理された画像データを表示する画像表示装置、１２１は画像表示装置１２０に画像を表示する表示回路である。

また、１２２は撮像装置全体を制御するシステム制御部である。１２３はシステム制御部１２２で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、およびキズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。また、１２４は不揮発性メモリ１２３に記憶されたプログラム、制御データおよび補正データを転送して記憶しておき、システム制御部１２２が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）となっている。

また、１２５はＩＳＯ感度設定などの撮影条件設定や、静止画撮影とライブビュー駆動の切り替えなどを行う、撮影モード設定手段である。

以下、上述のように構成された本実施例に係わる撮像装置の撮影動作について説明する。

撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１２２の動作開始時において、不揮発性メモリ１２３から必要なプログラム、制御データおよび補正データを揮発性メモリ１２４に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部１２２が撮像装置を制御する際に使用する。しかし、システム制御部１２２は、必要に応じて追加のプログラムやデータを不揮発性メモリ１２３から揮発性メモリ１２４に転送したり、直接不揮発性メモリ１２３内のデータを読み出して使用できるようにも構成されている。

まず、光学系１０１は、システム制御部１２２からの制御信号により、レンズ等の光学系１０１を駆動して、適切な明るさに設定された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、静止画像撮影時においては、システム制御部１２２からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。またメカニカルシャッタ１０２は、動画像撮影時及びライブビュー駆動時においては、システム制御部１２２からの制御信号により、撮影中は常に撮像素子１０３が露光されているように、開放状態で維持される。

撮像素子１０３は、システム制御部１２２により制御されるタイミング信号発生回路１１０が発生する動作パルスに基づいた駆動パルスで駆動される。光電変換部１０４は、被写体像を光電変換により電気信号に変換し、信号増幅回路１０５は入射光量に応じて設定された増幅率のゲインを電気信号にかけ、アナログ画像信号として出力する。

撮像素子１０３から出力されたアナログの画像信号は、システム制御部１２２により制御されるタイミング信号発生回路１１０が発生する動作パルスにより、アナログ信号処理回路１０６で処理される。まず、PGA回路１０７が入射光量に応じて設定された増幅率のゲインをかけ、クランプ回路１０８が水平ＯＢ領域の信号出力を基準電圧としてクランプし、Ａ／Ｄ変換器１０９がデジタル画像信号に変換する。

次に、アナログ信号処理回路１０６から出力されたデジタル画像信号は、システム制御部１２２により制御されるデジタル信号処理回路１１２において、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を受ける。

まず画像補正回路１１３で欠陥画素を補正し、ダークシェーディング補正などの各種画像補正処理を施し、欠陥画素検出回路１１４で撮像画像から欠陥画素の検出を行う。ここで、画像補正回路１１３で補正される欠陥画素とは、あらかじめ撮像素子１０３の製造工程などで検出され、その位置などの情報が記録されたものである。また、欠陥画素検出回路１１４で検出される欠陥画素とは、撮像素子１０３の製造工程などでは検出されず、その後の工程で新たに欠陥となってしまった画素や、ＲＴＳノイズのように撮影毎に欠陥となったりならなかったりする画素などが該当する。

その後、信号増幅回路１１５で入射光量に応じて設定された増幅率のゲインをかけ、画像処理回路１１６で色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等の各種画像処理を行う。先に述べた光線角度情報に基づくリフォーカス処理も、この画像処理回路１１６で行う。

画像メモリ１１７は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。デジタル信号処理回路１１２で信号処理された画像データや画像メモリ１１７に記憶されている画像データは、記録回路１１９に入力されて、画像記録媒体１１８に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換される。変換された画像データ」は、画像記録媒体１１８に記録される。また、画像データはデジタル信号処理回路１１２にも入力され、解像度変換処理を実施された後、表示回路１２１において画像表示装置１２０に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１２０に表示される。

ここで、デジタル信号処理回路１１２は、システム制御部１２２からの制御信号に応じて、デジタル画像信号に信号処理を行わずにそのまま画像データとして画像メモリ１１７や記録回路１１９に出力してもよい。また、デジタル信号処理回路１１２は、システム制御部１２２から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１２２に出力する。画像データの情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報がある。さらに、記録回路１１９は、システム制御部１２２から要求があった場合に、画像記録媒体１１８の種類や空き容量等の情報をシステム制御部１２２に出力する。

ここで、画像記録媒体１１８に画像データが記録されている場合の再生動作について説明する。

システム制御部１２２からの制御信号により記録回路１１９は、画像記録媒体１１８から画像データを読み出す。同じくシステム制御部１２２からの制御信号によりデジタル信号処理回路１１２は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ１１７に記憶する。画像メモリ１１７に記憶されている画像データは、デジタル信号処理回路１１２でリフォーカス処理や解像度変換処理を実施された後、表示回路１２１において画像表示装置１２０に適した信号に変換されて画像表示装置１２０に表示される。

図２は、本実施例に係わる撮像装置の撮像光学系に係わる構成を示すブロック図である。なお、同図において、図１と同じ要素は同じ符号を付して示し、その説明は割愛する。

図２において、２０１は撮影レンズ、２０２は撮像素子１０３の構成要素であるＭＬＡ、２０３は同じく撮像素子１０３の構成要素であるセンサアレイであり、複数の画素（光電変換素子）の配列を含む。２０４は被写体である。

以下、本実施例に係わる撮像装置の撮像動作について、図２を用いて説明する。

駆動回路１１１によりメカシャッタ１０２が開いている状態において、被写体２０４の像は、撮影レンズ２０１によって撮像素子１０３に結像される。撮像素子１０３に入射された光信号は、ＭＬＡ（マイクロレンズアレイ）２０２の各マイクロレンズ（以下、ＭＬと略記する）によって更に集光され、センサアレイ２０３の各画素に入射される。なお、ＭＬＡ２０２及びセンサアレイ２０３の構成については、後に図３を用いて説明する。センサアレイ２０３に入射された光信号は、撮像素子１０３の各画素において光電変換され、電気信号として出力される。その後の処理については図１を用いて説明した通りである。

図３は本実施例に係わる撮像装置が使用する撮像素子を被写体側から見たときの画素配列を模式的に示す図である。

図３において、３０１は再構築後の画像の１画素に相当する単位画素、３０２は単位画素３０１を構成する所定数（６行６列）の光電変換素子であり、以後分割画素と記す。３０３は単位画素３０１毎に１つずつ配置されるＭＬである。

本実施例では、図２、３、６に示すように、センサアレイの画素配列を、説明を簡便にするため６ｘ６の分割画素からなる単位画素を５行５列並配列とするが、実際の撮像装置においては、この単位画素が数百万画素もしくは数千万画素並べられているものとする。

図４は単位画素３０１における分割画素の配列構成を示す図である。
図３で説明した通り、単位画素３０１は分割画素３０２を６ｘ６画素並べて構成されている。後の説明のために、本実施例では、３６個の分割画素に対し、それぞれ図４のように、ｐ_１１〜ｐ_６６と名付けることとする。

図５は撮影レンズ２０１の開口を撮影被写体方向から見たときの瞳分割を示す図である。
図５に示すように撮影レンズ２０１の瞳領域を1つのＭＬ下にある画素と同数の領域に分割した場合、1つの分割画素には撮影レンズ２０１の1つの瞳分割領域からの光が結像されることになる。ただし、ここでは撮影レンズとＭＬのFナンバーがほぼ一致しているものとする。図５に示す撮影レンズの瞳分割領域をａ₁₁〜ａ₆₆としたとき、撮影レンズの瞳分割領域ａ₁₁〜ａ₆₆と図４で示した分割画素領域ｐ_１１〜ｐ_６６との対応関係は、光軸方向から見て点対称となる。したがって、撮影レンズの瞳分割領域a₁₁から出射した光は、ＭＬ後方にある単位画素３０１の分割画素p₁₁に結像する。これと同様に、瞳分割領域a₁₁から出射し、別のＭＬを通過する光も、そのＭＬの後方にある単位画素３０１の中の分割画素p₁₁に結像する。

図６は、本実施例に係わる撮像装置の撮像光学系における、様々な距離の被写体から入射する光線の軌跡を示す図である。
図６において、撮影レンズ２０１の各瞳領域a₁〜a₆から出射され、ＭＬ２０２を通過した光は、後方の対応する単位画素の分割画素p₁〜p₆でそれぞれ受光される。

被写体６０１ａは、撮影レンズ１０１によってその像がＭＬＡ２０２を含む面Ａに結像される位置に配置された被写体である。被写体６０１aからの光線のうち、撮影レンズの最外周を通り光軸上のＭＬを介してセンサアレイ２０３に入射する光線を、実線で記す。

被写体６０１ｂは、撮影レンズ１０１から見て、被写体６０１ａよりも遠方にある被写体である。被写体６０１ｂの撮影レンズ１０１によって結像された像は、ＭＬＡ２０２を含む面Ａよりも撮影レンズに近い面Ｂに結像される。被写体６０１ｂからの光線のうち、撮影レンズの最外周を通り光軸上のＭＬを介してセンサアレイ２０３に入射する光線を、破線で記す。

被写体６０１ｃは、撮影レンズ１０１から見て、被写体６０１ａよりも近方にある被写体である。被写体６０１ｃの撮影レンズ１０１によって結像された像は、ＭＬＡ２０２を含む面Ａよりも撮影レンズから遠い面Cに結像される。被写体６０１ｃからの光線のうち、撮影レンズの最外周を通り光軸上のＭＬを介してセンサアレイ２０３に入射する光線を、一点鎖線で記す。

図６で示す各光線の軌跡が示す通り、撮影レンズ１０１から被写体６０１までの距離に応じて、センサアレイ２０３において被写体からの光線が入射する分割画素が異なり、この距離と分割画素の位置関係が光線角度情報を与える。このことを用いて、本構成の撮像装置は、撮影後の画像信号を再構築することにより、様々な距離の被写体に焦点を合わせた画像を生成（リフォーカス処理）することを可能としている。

ところで、図４に示すｐ₁₁〜ｐ₆₆の分割画素は、図６を用いて説明した通り、撮影レンズに対して互いに異なる瞳領域を通過した光を受光しているため、これらの情報を用いると、被写体までの距離を検出する動作を行うことも可能である。

図７は本実施例に係わる撮像装置における被写体距離検出動作を説明するための図である。

図７（ａ）に示すように、各マイクロレンズに対応する分割画素の出力ｐ₁₁〜ｐ₆₆を加算し、次式に示すように水平方向に瞳分割された２つの信号を生成する。

式（１）で示される各合成信号Ａが観測している撮影レンズの瞳領域は、図６に示すように撮影レンズの射出瞳の領域a₁〜a₃を通過した光束を受光している。これに基づいて、図７（ｂ）に示すように、水平方向に連続して配置されたｎ個のＭＬに対応する画素群から得られたＡ_１〜Ａ_ｎを並べて一次元像信号Ａ_ｉ（ｉ=1,2,3…n）を生成する。

同様に式（２）で計算される合成信号Ｂを並べて一次元像信号Ｂ_ｉ（ｉ=1,2,3…n）を生成すると、Ａ_ｉとＢ_ｉは、それぞれ撮影レンズの射出瞳の右側と左側を見ている信号となる。このため、Ａ_ｉとＢ_ｉの相対位置を検出し、その相対的なずれ量に対して所定の変換係数を乗じることで、位相差検出方式に基づく距離検出動作を行うことができる。

画面内の任意の位置でＡ_ｉとＢ_ｉを生成すれば、その位置での焦点位置（デフォーカス量）を算出することができるため、算出結果に合わせてフォーカシングレンズを駆動することで自動焦点調節を行うことも可能である。

図８は、本実施例に係わる撮像装置の撮影動作のフローチャートを示す図である。
図８において、まず、静止画撮影、動画撮影、焦点検出用撮影等のモード設定が撮影モード設定手段１２５による入力等に基づいてシステム制御部１２２によってなされる（ステップＳ８０１）。次いで、システム制御部１２２は、設定されたモードに従って、感度、絞り値、露光時間などの撮影条件の初期設定を行なう（ステップＳ８０２）。

次に、システム制御部１２２は、被写体にピントが合うようにフォーカシングレンズを自動的に駆動する自動焦点調節いわゆるオートフォーカス（ＡＦ）を開始する（ステップＳ８０３）。ＡＦの方式には、コントラスト検出を用いるものの他にも専用の距離計測センサーを用いる方式などが知られている。さらには、本実施例に係るライトフィールドカメラの特徴を生かして、マイクロレンズの下で異なる象限にある光電変換素子の信号を適切に読み出して、これを位相差検出方式ＡＦの信号として用いることも可能である。この方法については、図７を用いて前述したとおりである。

システム制御部１２２はこのＡＦの結果を受けて、駆動回路１１１を介して撮影光学系１０１のフォーカシンレンズを駆動する。

続けて、図示しないレリースボタンの押下に応じて、システム制御部１２２はシャッター１０２を制御し、撮像素子１０３の露光を行う（ステップＳ８０４）。

次に、システム制御部１２２は、撮像装置の生産工程において予め抽出しておいた固定欠陥画素の情報を不揮発性メモリ１１９より読み出し、該当する画素の補正を、画素補正回路１１３を制御して行う（ステップＳ８０５、第２の欠陥画素補正手段）。

次に、デジタル信号処理回路１１２の欠陥画素検出回路１１４により、撮影画像における欠陥画素検出を行なう（ステップＳ８０６）。欠陥画素検出方法については、図９、図１０を用いて後に詳細に説明する。検出された欠陥画素はデジタル信号処理回路１１２において補正される（第１の欠陥画素補正手段）。

その後、システム制御部１２２は、撮影モード設定手段１２５等によってＲＡＷ記録モードが選択されているかどうかを判定する（ステップＳ８０７）。ＲＡＷ記録モードが選択されている場合は、撮像画像をそのまま記録媒体１４に記録するいわゆるＲＡＷモードで記録する（ステップＳ８０８）。ＲＡＷ記録モードの如何に拘わらず、同一ＭＬ下の光電変換素子の信号を合算してＭＬＡ２０２分の画素数を持つ暫定の再構成画像、または当該暫定の再構成画像を表示するために縮小したサムネイル画像を生成して記録する（ステップＳ８０９）。

その後、ステップＳ８０３のＡＦで決定したフォーカシングレンズ位置が撮影者の意図と異なった場合などは、目標被写体(例えば図６の６０１ｂ)の距離や表示装置１２０に表示された前記暫定の再構成画像の被写体を指定する。この指定は、図１に不図示のリフォーカス距離設定手段によって行なう。指定があると、システム制御部１２２は、ステップＳ８０６で欠陥画素の検出、補正がなされた撮像画像（RAW記録の対象になった撮像画像）に対してリフォーカス再構成処理を画像処理回路１１６に行わせる（ステップＳ８１０）。

なお、前記ＲＡＷ記録モードで記録した場合には、リフォーカス再構成処理は撮影後に行われても良いので、ステップＳ８０９以降を図１の撮像装置の一部を模した画像処理装置もしくはその画像処理方法を記録したメモリ等によって計算機等に実行させても良い。

最後に、画像信号を画像メモリ１１３、記録回路１１５、もしくは表示回路１１７に出力し（ステップＳ８１１）、本撮影動作を終了する。

次に、図９、図１０を用いて、本実施例に係わる欠陥画素の検出構成について詳細に説明する。

本実施例に係るライトフィールドカメラにおいては、先にも述べたとおり、撮像素子からの出力順に信号を配列した画像は、必ずしも被写体像の位置関係に準じた配列とはなっておらず、不連続な部分も伴うデータとなっている。このため、リアルタイムな欠陥画素検出を行う場合、従来のリアルタイムな欠陥画素検出のように周囲の全ての画素信号から該当画素が欠陥であるとの判定を行うことは困難である。そこで、本実施例では欠陥画素検出が可能であるかどうかの判別を行いながら、欠陥画素の検出を行う構成とする。

図９は本実施例に係わる欠陥画素の検出動作のフローチャートを示す図である。
図９において、システム制御部１２２の制御の下で欠陥画素検出が開始されると、まず画素配列に含まれる１つの単位画素３０１を構成する３６個の分割画素３０２の出力信号のばらつきを算出する（ステップＳ９０１）。本実施例では、ばらつきを表す数値としては、標準偏差σを用いる。しかし、これは一例であり、分割画素３０２の出力信号のばらつきを表わすことができれば、他の値でもよい。

次にステップ９０１で算出した標準偏差σが、あらかじめ定めておいた所定値よりも小さいかどうかを判定する（ステップＳ９０２）。

ステップ９０２における判定において、あらかじめ定められた所定値よりも小さいと判定された場合には、その単位画素３０１内の分割画素３０２に対して、欠陥画素検出を行う（ステップＳ９０３）。具体的には、３６個の分割画素３０２の出力信号の平均値との差分値が所定量の範囲内に収まっていない出力信号値を持つ分割画素３０２がある場合には、その画素を欠陥画素として検出する。

ステップＳ９０２における判定において、あらかじめ定められた所定値よりも大きいと判定された場合には、その単位画素３０１内の分割画素３０２に対しては、欠陥画素を検出する精度が保証されないと判断し、欠陥画素検出は行わない。

その後、検出を行った単位画素３０１が最後の単位画素であったかを判定する（ステップＳ９０4）。まだ検出を行っていない単位画素がある場合には、ステップＳ９０１に戻って次の単位画素の判定に進み、最後の単位画素の検出が終了したと判定された場合には、本欠陥画素検出のルーチンを終了する。

図１０は本実施例に係わる欠陥画素の検出方法を説明する図である。

図１０（ａ）は、対象となる単位画素３０１が受光している被写体の領域の輝度差が小さい場合の、各分割画素の出力レベルを表す図である。図１０（ａ）においては、分割画素ｐ_２５が欠陥画素であるものとする。

図１０（ａ）の状態においては、各分割画素の受光信号量の差が小さいため、出力信号のばらつきを表す標準偏差値σは小さくなる。このため、本発明にかかる撮像装置は、この単位画素は欠陥画素検出が可能であると判断する。そして、他の分割画素との信号出力値の差が大きいｐ_２５を、欠陥画素として検出する。

図１０（ｂ）は、対象となる単位画素３０１が受光している被写体の領域の輝度差が大きい場合の、各分割画素の出力レベルを表す図である。図１０（ｂ）においても、ｐ_２５が欠陥画素であるものとする。

図１０（ｂ）の状態においては、各分割画素の受光信号量の差が大きいため、出力信号のばらつきを表す標準偏差値σは大きくなる。このため、本発明にかかる撮像装置は、この単位画素については欠陥画素の検出を行うべきではないと判断する。

なお、図９、図１０を用いて説明した、本実施例に係わる欠陥画素の検出方法としては、単位画素中の全ての分割画素の出力値の平均値との比較により欠陥画素を検出する方法とした。しかし、本発明はこれに限定されず、検出対象の画素の周辺画素のみとの出力信号量の比較としても構わない。

また、１つの単位画素内おいて分割画素を比較する方法を説明したが、本発明はこれに限定されない。例えば、周辺の単位画素において同一の位置にある分割画素同士を比較する方法や、ダークレベルよりもはるかに小さな値を出力するなどの、明らかに適切ではない絶対値を出力する画素を検出するような方法も組み合わせて用いても構わない。

ところで、上記実施例では標準偏差の値が所定値より小さいときに単位画素内の欠陥分割画素を検出することを決定している。そして、単位画素内の分割画素の出力信号の平均値との差分値が所定の範囲内に収まっていない出力信号値を持つ分割画素を欠陥画素として検出している。この場合、標準偏差が小さくなるほど、上記差分値のばらつき範囲も小さくなると考えられる。そこで、欠陥画素の検出を行なうときは、標準偏差の値が小さくなること応じて所定の範囲の大きさを小さくなるように変更して、欠陥画素の検出の精度を上げるようにしてもよい。

あるいは、画像内でピントがあっていない領域は均一輝度領域に近い領域となるため、欠陥画素の検出対象単位画素の周辺領域のデフォーカス量を算出し、それが所定値より大きいときに差分値の判定範囲を小さくするようにしてもよい。

第２の実施例
本実施例は、リフォーカス画像を再構築した後にもデジタル処理回路１１２により欠陥画素の検出、補正を行なう構成（第３の欠陥画素補正手段）を第１の実施例の撮像装置の動作に追加した構成である。従って、本実施例における撮像装置自体の構成は図１の構成と同様であるので、ここでの説明は省略する。

図１１は、本実施例に係わる撮影動作のフローチャートを示す図である。なお、同図において図８と同じステップは同じ符号を付して示す。図８と異なるのは、リフォーカス画像の再構築を行なうステップＳ８１０の画像処理の後に欠陥補正（ステップＳ１１０１）があることだけである。従って、本実施例の説明においては、ステップＳ１１０１の欠陥補正についてのみ説明する。なお、リフォーカス距離設定手段による設定が行なわれなかったときは、ステップＳ８１０の信号処理（リフォーカス処理）とともにステップＳ１１０１の欠陥画素補正も行なわれない。また、実施例の欠陥画素の検出、補正処理は、ステップＳ９０１で算出する画素出力のばらつきが大きい単位画素の数や分布領域に応じてその実行の要否を決定するようにしてもよい。これらは、システム制御部１２２による制御によって行うことが可能である。

ステップＳ１１０１での欠陥画素の検出は、再構築された画像の画素（分割画素が加算された画素）に対して行ない、その方法は検出対象の画素の周辺画素の平均値や中央値とのレベル差を判定することによって行なう。しかし、検出方法はこれに限定されるものではない。例えば、特許文献３に記載されているように、エッジ部での差分値から欠陥画素と判定してしまうことを避けるため、複数段階の判定処理を設けてもよい。

上述した本実施例の構成によれば、ステップＳ８０６で補正されなかった欠陥画素を補正して再構築画像の画質をより向上させることが可能となる。また、ステップＳ８０６で検出されて補正された分割画素は、リフォーカス画像の再構築において単に一つの分割画素として加算されるので、再構築画像ではその補正が目立ちにくくなり、ステップＳ１１００１での補正の効果を低下させることもない。

以上、図１〜図１１を用いて本発明の実施の形態について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。

例えば、本発明の実施形態の画素構成においては、画素の構造をわかりやすく説明するため、同一ＭＬ下の分割画素を６ｘ６分割の構成としたが、本発明はこれに限定されず、様々な数及び形状の分割画素を有する構成としても構わない。

また、本発明の実施形態においては、検出した欠陥画素及び、予め生産工程などで抽出しておいた固定欠陥画素の補正を、リフォーカスなどの再構成前に行うものとして説明した。しかし、本発明はこれに限定されず、欠陥画素の検出は再構成前に行い、その検出結果をシステム制御部１２２が保持し、保持された検出結果に基づいて再構成後の画像の画素に対して補正するような構成としても構わない。

また、図１を用いて説明した、本発明の実施形態においては、画像の再構築などの画像処理を、撮像装置の構成要素の一つであるデジタル信号処理回路１１２によりシステム制御部１２２による制御の下で行うものとして説明した。しかし、必ずしもこの画像処理の実施が撮像装置の内部で行われる必要はない。具体的には、画像処理手段を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。この場合、PCのＣＰＵがシステム制御部の役割を果たす。

前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、ＣＰＵのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図８、図９、図１１に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

Claims (24)

1. マイクロレンズアレイを配し、前記マイクロレンズアレイを構成する各マイクロレンズがそれぞれ所定数の光電変換素子に対応する撮像素子から出力された撮像画像を処理する画像処理装置において、
   前記撮像画像のリフォーカス処理を行い、再構成画像を生成するリフォーカス処理手段と、
   前記撮像画像から欠陥画素を検出する欠陥画素検出手段と、
   前記撮像画像に対して、前記欠陥画素検出手段が検出した前記欠陥画素を補正する第１の欠陥画素補正手段と、
   予め検出された固定欠陥画素の位置を記録したメモリと、
   前記位置に基づき前記固定欠陥画素に対応する欠陥画素を補正する第２の欠陥画素補正手段と、
   前記リフォーカス処理手段および前記欠陥画素検出手段を制御し、前記リフォーカス処理が指示されたときは、前記欠陥画素検出手段による欠陥画素の検出が行なわれた前記撮像画像に対して前記リフォーカス処理を行なう制御手段とを備えたことを特徴とする画像処理装置。
2. 前記制御手段は、前記所定数の光電変換素子からの出力値の統計値に基づいて、前記欠陥画素検出手段を制御して欠陥画素の検出を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記所定数の光電変換素子からの出力値の標準偏差が閾値より小さい場合に前記欠陥画素検出手段により欠陥画素を検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記欠陥画素検出手段は、各マイクロレンズに対応する前記所定数の光電変換素子の各光電変換素子の出力とその周囲の複数の光電変換素子の各出力との差が所定の範囲内の値でないとき、前記各光電変換素子を欠陥画素として検出することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記リフォーカス処理手段を制御し、前記第１の欠陥画素補正手段により欠陥画素の補正がなされた前記撮像画像に対して前記リフォーカス処理を行うことを特徴とする請求項１に記載の画像処理装置。
6. 前記欠陥画素検出手段は、前記標準偏差の値に基づいて欠陥画素の検出を行なうことを決定したときは、前記標準偏差の値に従って前記所定の範囲の大きさを変更することを特徴とする請求項４に記載の画像処理装置。
7. 前記欠陥画素検出手段は、前記標準偏差の値が小さいときには、前記所定の範囲の大きさを小さくすることを特徴とする請求項６に記載の画像処理装置。
8. 前記欠陥画素検出手段は、前記標準偏差の値に基づいて欠陥画素の検出を行なうことを決定したときは、前記所定数の光電変換素子の周辺の前記撮像画像のデフォーカス量に従って前記所定の範囲の大きさを変更することを特徴とする請求項４に記載の画像処理装置。
9. 前記リフォーカス処理手段による生成される前記再構成画像の被写体距離を設定するリフォーカス距離設定手段をさらに備えたことを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記第２の欠陥画素補正手段は、前記撮像画像に対して、前記固定欠陥画素に対応する欠陥画素を補正し、
    前記制御手段は、前記リフォーカス処理手段を制御し、前記第２の欠陥画素補正手段により欠陥画素の補正がなされた前記撮像画像に対して前記リフォーカス処理を行うことを特徴とする請求項１に記載の画像処理装置。
11. 前記リフォーカス処理手段により生成された再構成画像の欠陥画素を検出して補正する第３の欠陥画素補正手段をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
12. 前記制御手段は、前記欠陥画素検出手段の欠陥画素検出の結果に従って、前記第３の欠陥画素補正手段による前記再構成画像の欠陥画素補正を行なうかどうかを決定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記制御手段は、前記欠陥画素検出手段の欠陥画素の検出結果を保持し、前記第１の欠陥画素補正手段を制御して、前記保持された検出結果に基づいて前記再構成画像の欠陥画素補正を行なうことを特徴とする請求項１に記載の画像処理装置。
14. マイクロレンズアレイを配し、前記マイクロレンズアレイを構成する各マイクロレンズがそれぞれ所定数の光電変換素子に対応する撮像素子から出力された撮像画像を処理する画像処理装置において、
    前記撮像画像のリフォーカス処理を行い、再構成画像を生成するリフォーカス処理手段と、
    前記撮像画像から欠陥画素を検出する欠陥画素検出手段と、
    前記撮像画像に対して、前記欠陥画素検出手段が検出した前記欠陥画素を補正する第１の欠陥画素補正手段と、
    予め検出された固定欠陥画素の位置を記録したメモリと、
    前記位置に基づき前記固定欠陥画素に対応する欠陥画素を補正する第２の欠陥画素補正手段と、
    前記リフォーカス処理手段を制御し、前記第１の欠陥画素補正手段および前記第２の欠陥画素補正手段により欠陥画素の補正がなされた前記撮像画像に対して前記リフォーカス処理を行う制御手段とを備えたことを特徴とする画像処理装置。
15. 前記欠陥画素検出手段は、各マイクロレンズに対応する前記所定数の光電変換素子の各光電変換素子の出力とその周囲の複数の光電変換素子の各出力との差が所定の範囲内の値でないとき、前記各光電変換素子を欠陥画素として検出することを特徴とする請求項１４に記載の画像処理装置。
16. マイクロレンズアレイを配し、前記マイクロレンズアレイを構成する各マイクロレンズがそれぞれ所定数の光電変換素子に対応する撮像素子から出力された撮像画像を処理する画像処理方法において、
    リフォーカス処理手段により、前記撮像画像のリフォーカス処理を行い、再構成画像を生成するリフォーカス処理ステップと、
    欠陥画素検出手段により、前記撮像画像から欠陥画素を検出する欠陥画素検出ステップと、
    前記撮像画像に対して、前記欠陥画素検出手段が検出した前記欠陥画素を補正する第１の欠陥画素補正ステップと、
    予め検出された固定欠陥画素の位置に基づき前記固定欠陥画素に対応する欠陥画素を補正する第２の欠陥画素補正ステップと、
    前記リフォーカス処理手段および前記欠陥画素検出手段を制御し、前記リフォーカス処理が指示されたときは、前記欠陥画素検出手段による欠陥画素の検出が行なわれた前記撮像画像に対して前記リフォーカス処理を行なう制御ステップとを備えたことを特徴とする画像処理方法。
17. マイクロレンズアレイを配し、前記マイクロレンズアレイを構成する各マイクロレンズがそれぞれ所定数の光電変換素子に対応する撮像素子から出力された撮像画像を処理する画像処理装置を制御するためのプログラムであり、
    コンピュータを、
    前記撮像画像のリフォーカス処理を行い、再構成画像を生成するリフォーカス処理手段、
    前記撮像画像から欠陥画素を検出する欠陥画素検出手段、
    前記撮像画像に対して、前記欠陥画素検出手段が検出した前記欠陥画素を補正する第１の欠陥画素補正手段、
    予め検出された固定欠陥画素の位置に基づき前記固定欠陥画素に対応する前記欠陥画素を補正する第２の欠陥画素補正手段、および
    前記リフォーカス処理手段および前記欠陥画素検出手段を制御し、前記リフォーカス処理が指示されたときは、前記欠陥画素検出手段による欠陥画素の検出が行なわれた前記撮像画像に対して前記リフォーカス処理を行なう制御手段として機能させるプログラム。
18. 請求項１７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
19. コンピュータを、請求項１乃至１５のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
20. コンピュータを、請求項１乃至１５のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納したコンピュータが読み取り可能な記憶媒体。
21. 撮影光学系と、
    前記撮影光学系で結像された被写体像の前記撮像画像を得るための前記マイクロレンズアレイを配した前記撮像素子と、
    請求項１乃至１５のいずれか一項に記載の画像処理装置と、
    前記撮像画像および前記再構成画像のうち少なくとも一つを出力する出力手段と
    を備えたことを特徴とする撮像装置。
22. マイクロレンズアレイを配し、前記マイクロレンズアレイを構成する各マイクロレンズがそれぞれ所定数の光電変換素子に対応する撮像素子から出力された撮像画像を処理する画像処理方法において、
    リフォーカス処理手段により、前記撮像画像のリフォーカス処理を行い、再構成画像を生成するリフォーカス処理ステップと、
    欠陥画素検出手段により、前記撮像画像から欠陥画素を検出する欠陥画素検出ステップと、
    第１の欠陥画素補正手段により、前記撮像画像に対して、前記欠陥画素検出手段が検出した前記欠陥画素を補正する第１の欠陥画素補正ステップと、
    第２の欠陥画素補正手段により、予め検出された固定欠陥画素の位置に基づき前記固定欠陥画素に対応する欠陥画素を補正する第２の欠陥画素補正ステップと、
    前記リフォーカス処理手段を制御し、前記第１の欠陥画素補正手段および前記第２の欠陥画素補正手段により欠陥画素の補正がなされた前記撮像画像に対して前記リフォーカス処理を行う制御ステップとを備えたことを特徴とする画像処理方法。
23. マイクロレンズアレイを配し、前記マイクロレンズアレイを構成する各マイクロレンズがそれぞれ所定数の光電変換素子に対応する撮像素子から出力された撮像画像を処理する画像処理装置を制御するためのプログラムであり、
    コンピュータを、
    前記撮像画像のリフォーカス処理を行い、再構成画像を生成するリフォーカス処理手段、
    前記撮像画像から欠陥画素を検出する欠陥画素検出手段、
    前記撮像画像に対して、前記欠陥画素検出手段が検出した前記欠陥画素を補正する第１の欠陥画素補正手段、
    予め検出された固定欠陥画素の位置に基づき前記固定欠陥画素に対応する欠陥画素を補正する第２の欠陥画素補正手段、および
    前記リフォーカス処理手段を制御し、前記第１の欠陥画素補正手段および前記第２の欠陥画素補正手段により欠陥画素の補正がなされた前記撮像画像に対して前記リフォーカス処理を行う制御手段として機能させるプログラム。
24. 請求項２３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images