JP5701942B2 - 撮像装置、カメラシステム及び画像処理方法 - Google Patents

Description

本発明は、一部の画素を位相差方式の焦点検出素子として利用して焦点状態を検出する撮像素子の画素出力を処理する撮像装置、カメラシステム及び画像処理方法に関する。

撮像素子の一部の画素を焦点検出素子として利用して焦点状態を検出する撮像装置に関する提案が例えば特許文献１においてなされている。特許文献１は、撮像素子の一部の画素を焦点検出画素に設定し、撮影レンズの光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の焦点検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。

ここで、焦点検出画素の一部の領域は遮光されている。したがって、焦点検出画素の画素出力は、通常の画素よりも減光された画素出力になる。この焦点検出画素における減光量は、焦点検出画素に関する光学特性によって変化することが知られている。そこで、特許文献２は、光学特性に応じて焦点検出画素の画素出力を補正することを提案している。

特許第３５９２１４７号公報 特許第４７７０５６０号公報

特許文献２における補正は、焦点検出画素の出力値と絞り値とに応じて補正後の画素の出力値を推定することにより行われる。ここで、動画記録中やライブビュー表示等においては、絞り値をリアルタイムで取得できない可能性がある。絞り値を取得できない場合、特許文献２の手法では正確な補正が行われなくなるおそれがある。また、動画記録中やライブビュー表示等において、焦点距離やフォーカスレンズ位置等の光学情報もリアルタイムに取得できない可能性があり、同様に正確に補正できない場合がある。

本発明は、前記の事情に鑑みてなされたもので、焦点検出画素を有する撮像素子からの画素出力を処理する撮像装置において、絞り値やフォーカスレンズ位置、焦点距離等の光学情報をリアルタイムで取得できないような状況であっても焦点検出画素による画質の低下を抑えることが可能な撮像装置、カメラシステム及び画像処理方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像装置において、撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子により撮像して画像データを出力する撮像部と、
前記画像データのうち前記焦点検出画素から出力される画素出力を補正関数により補正する画像処理部と、前記撮像部により繰り返し撮像動作を実行させ、複数のフレームに対応する画像データを取得する制御部とを具備し、前記画像処理部は、前記撮像素子に像を形成するための撮影光学系の光学情報を取得する光学情報取得部と、前記光学情報に基づいて前記補正関数を決定するための光学関数を算出する光学関数算出部と、前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出する画素関数算出部と、前記光学関数と前記画素関数と前記光学情報とに基づいて、前記複数のフレームのそれぞれ対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択する補正関数選択部とを有する。

前記の目的を達成するために、本発明の第２の態様のカメラシステムは、撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子を有するカメラ本体と該カメラ本体に着脱可能であり撮影光学系を有する交換レンズとを具備するカメラシステムにおいて、前記交換レンズは、前記撮影光学系に関する光学情報を生成する光学情報生成部と、前記カメラ本体と通信を行い、前記光学情報を送信するレンズ制御部とを具備し、前記カメラ本体は、前記撮像素子により撮像して画像データを出力する撮像部と、前記画像データのうち前記焦点検出画素から出力される画素出力を補正関数により補正する画像処理部と、前記レンズ制御部と通信を行って前記光学情報を取得し、前記撮像部により繰り返し撮像動作を実行させ複数のフレームに対応する画像データを取得する制御部とを具備し、前記画像処理部は、前記光学情報に基づいて前記補正関数を決定するための光学関数を算出する光学関数算出部と、前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出する画素関数算出部と、前記光学関数と前記画素関数と前記光学情報とに基づいて、前記複数のフレームのそれぞれ対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択する補正関数選択部とを有する。

前記の目的を達成するために、本発明の第３の態様の画像処理方法は、撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子により撮像された画像データにおける前記焦点検出画素から出力される画素出力を補正する画像処理方法において、前記撮像素子により繰り返し撮像動作を実行させて複数のフレームに対応する画像データを取得することと、前記撮像素子に像を形成するための撮影光学系の光学情報を取得することと、前記光学情報に基づいて補正関数を決定するための光学関数を算出することと、前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出することと、前記光学関数と前記画素関数と前記光学情報とに基づいて複数のフレームのそれぞれに対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択することとを具備する。

本発明によれば、焦点検出画素を有する撮像素子からの画素出力を処理する撮像装置において、絞り値やフォーカスレンズ位置、焦点距離等の光学情報をリアルタイムで取得できないような状況であっても焦点検出画素による画質の低下を抑えることが可能な撮像装置、カメラシステム及び画像処理方法を提供することができる。

本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 撮像素子の画素配列の例を示した図である。 画像処理部の詳細な構成を示す図である。 補正関数決定部の構成を示す図である。 撮像装置によるライブビュー動作の処理を示すフローチャートである。 光学関数の例を示す図である。 画素関数の算出手法の例を説明するための図である。 光学情報の変化率と光学関数信頼度との関係の一例である。 補正関数決定処理について示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ（以下、単にカメラと言う）の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。また、図１のカメラは、レンズ交換式のカメラを例示している。ただし、本実施形態のカメラは、必ずしもレンズ交換式のカメラでなくてよい。

図１に示すカメラ１は、交換式レンズ１００と、カメラ本体２００とを有している。交換式レンズ１００は、カメラ本体２００に着脱自在に構成されている。交換式レンズ１００はカメラ本体２００に装着されることにより、カメラ本体２００の制御に従って動作する。

交換式レンズ１００は、撮影レンズ１０１と、絞り１０３と、駆動部１０５と、ＣＰＵ（Central Processing Unit）１０７と、ＲＯＭ１０９と、インターフェース（Ｉ/Ｆ）１１１とを有している。

撮影レンズ１０１は、被写体３００からの像を撮像素子２０７に形成するための撮影光学系である。撮影レンズ１０１は、合焦位置を調節するためのフォーカスレンズを有していてもよく、またズームレンズとして構成されていてもよい。絞り１０３は、撮影レンズ１０１の光軸上に配置され、その口径が可変に構成されている。絞り１０３は、撮影レンズ１０１を通過した被写体３００からの光束の量を制限する。駆動部１０５は、ＣＰＵ１０７からの制御信号に基づいて撮影レンズ１０１の駆動や絞り１０３の駆動を行う。

ＣＰＵ１０７は、カメラ本体２００のＣＰＵ２１５の制御に従って駆動部１０５の制御等を行う。ＲＯＭ１０９は、撮影レンズ１０１の光学情報を記憶している。ＣＰＵ１０７は、必要に応じてＲＯＭ１０９から撮影レンズ１０１の光学情報を読み出し、読み出した光学情報をＩ/Ｆ１１１を介してカメラ本体２００のＣＰＵ２１５に伝送する。ここで、ＲＯＭ１０９に記憶される撮影レンズ１０１の光学情報は、例えば撮影レンズ１０１の歪曲収差情報である。光学情報は、歪曲収差情報の他、撮影レンズ１０１の焦点距離、フォーカスレンズの位置（ピント位置）及び絞り１０３の開口量（絞り値）等も含む。これらの撮影レンズ１０１の焦点距離の情報、フォーカスレンズの位置及び絞り値は、撮影時等のタイミングで逐次に得られる。

カメラ本体２００は、メカシャッタ２０１と、駆動部２０３と、操作部２０５と、撮像素子２０７と、撮像制御回路２０９と、アナログ処理部２１１と、アナログデジタル（ＡＤ）変換部２１３と、ＣＰＵ２１５と、画像処理部２１７と、焦点検出回路２１９と、画像圧縮展開部２２１と、表示部２２３と、バス２２５と、ＤＲＡＭ（Dynamic Random Access Memory）２２７と、ＲＯＭ（Read Only Memory）２２９と、記録媒体２３１とを有する。

メカシャッタ２０１は、開閉自在に構成されている。メカシャッタ２０１は、撮像素子２０７への被写体３００からの被写体光束の入射時間（撮像素子２０７の露光時間）を調節する。メカシャッタ２０１としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部２０３は、ＣＰＵ２１５からの制御信号に基づいて及びメカシャッタ２０１の開閉制御を行う。

操作部２０５は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。この操作部２０５は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２１５に出力する。ここで、本実施形態の操作部２０５により、カメラ１の撮影モードを選択することが可能である。すなわち、ユーザは、操作部２０５を操作することにより、カメラ１の撮影モードを静止画撮影モードと動画撮影モードの何れかから選択することができる。静止画撮影モードは、静止画像を撮影するための撮影モードであり、動画撮影モードは、動画像を撮影するための撮影モードである。

撮像素子２０７は、撮影レンズ１０１の光軸上であって、メカシャッタ２０１の後方で、かつ撮影レンズ１０１によって被写体光束が結像される位置に配置されている。撮像素子２０７は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。ここで、本実施形態における撮像素子２０７は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための焦点検出画素とを有する。

撮像素子２０７を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。本実施形態における撮像素子２０７は、複数の異なる電荷の読み出し方式を有している。撮像素子２０７に蓄積された電荷は、撮像制御回路２０９からの制御信号に従って読み出される。

また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。

撮像制御回路２０９は、ＣＰＵ２１５からの制御信号に従って撮像素子２０７の読み出し方式を設定し、設定した読み出し方式に従って撮像素子２０７からの画像信号の読み出しを制御する。撮像素子２０７からの画素出力（画素データ）の読み出し方式は、カメラ１の動作状態に応じて設定されるものである。例えば、撮像素子２０７からの画素データの読み出しにリアルタイム性が求められる場合（例えばライブビュー表示時や動画記録時）には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出すか、特定の画素の画素データを間引いて読み出す。一方、リアルタイム性よりも画質が求められる場合（例えば静止画像の記録時）には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。

アナログ処理部２１１は、撮像制御回路２０９の制御に従って撮像素子２０７から読み出された画像信号に対してアナログ処理を施す。このアナログ処理は、相関二重サンプリング処理やゲイン調整処理等が含まれる。

撮像素子２０７、撮像制御回路２０９、アナログ処理部２１１とともに撮像部として機能するＡＤ変換部２１３は、アナログデジタル変換器であり、アナログ処理部２１１でアナログ処理された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。

ＣＰＵ２１５は、ＲＯＭ２２９に記憶されているプログラムに従ってカメラ１の全体制御を行う。また、ＣＰＵ２１５は、Ｉ/Ｆ１１１を介して交換式レンズ１００のＣＰＵ１０７と通信自在に接続され、ＣＰＵ１０７に制御信号を入力して交換式レンズ１００の制御をする。

画像処理部２１７は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部２１７は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部２１７は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部２１７は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このような画像処理部２１７の構成については後で詳しく説明する。

焦点検出回路２１９は、焦点検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いて撮影レンズ１０１の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。

画像圧縮展開部２２１は、画像データの記録時には、画像処理部２１７で画像処理された画像データ（静止画像データ又は動画像データ）を圧縮する。また、画像圧縮展開部２２１は、画像データの再生時には、圧縮された画像データを展開する。

表示部２２３は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ１の背面に配置される。この表示部２２３は、表示用画像データに従って画像を表示する。表示部２２３は、ライブビュー表示や記録済み画像の表示等に使用される。

バス２２５は、ＡＤ変換部２１３、ＣＰＵ２１５、画像処理部２１７、焦点検出回路２１９、ＤＲＡＭ２２７、ＲＯＭ２２９、記録媒体２３１に接続され、これらのブロックで発生した各種のデータを転送するための転送路として機能する。

ＤＲＡＭ２２７は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、ＣＰＵ２１５における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられてもよい。ＲＯＭ２２９は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ２２９は、ＣＰＵ２１５で使用されるプログラム、カメラ１の調整値等の各種データを記憶している。ここで、本実施形態におけるＲＯＭ２２９は、所定の光学情報における光学関数（詳細は後で説明する）も記憶している。記録媒体２３１は、カメラ１に内蔵されるか又は装填されるように構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。

図２を用いて撮像素子２０７の構成について説明する。図２は、撮像素子２０７の画素配列の例を示した図である。また、図２の右側には、一部の画素を拡大して示している。図２は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。

前述したように、ベイヤ配列の撮像素子２０７は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置された画素行と、Ｇ（Ｇｂ）画素とＢ画素が交互に配置された画素行とを有している。言い換えれば、右側の拡大図で示すＧｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。

本実施形態においては、一部の撮像画素２０７ａの位置に焦点検出画素２０７ｂを配置する。焦点検出画素は、例えば左右の何れかの領域を遮光膜によって遮光した画素である。図２の例では、左半面を遮光した焦点検出画素（以下、右開口焦点検出画素と言う）の行と、右半面を遮光した焦点検出画素（以下、左開口焦点検出画素と言う）の行とを垂直方向に沿って近接するように配置している。

高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えることができる。したがって、図２に示すようにして焦点検出画素を配置することにより、図２のＡ行の焦点検出画素とＢ行の焦点検出画素の対で位相差を検出することができる。また、Ｃ行の焦点検出画素とＤ行の焦点検出画素の対でも位相差を検出することができる。

ここで、図２の例では、焦点検出画素中の遮光する領域を、左右何れかの領域としている。この場合、水平位相差を検出することが可能である。これに対し、遮光する領域を上下何れかの領域としたり、斜め方向の領域としたりすることで、垂直位相差や斜め方向の位相差を検出することも可能である。また、ある程度の面積を有していれば遮光面積も画素領域の１/２でなくともよい。さらに、図２では焦点検出画素をＧ画素に配置しているが、Ｇ画素以外の、Ｒ画素、Ｂ画素の何れかに配置するようにしてもよい。また、図２の例は、焦点検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、焦点検出画素は、撮影レンズ１０１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できればよい。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割をするようにしてもよい。さらに、図２は、水平方向に沿って４画素周期で焦点検出画素を配置した例を示している。焦点検出画素を配置する周期は特定の周期に限定されるものではない。

ここで、焦点検出画素の一部の領域は遮光されているので、光量の低下が発生する。この光量の低下は、焦点検出画素に形成された遮光膜の面積の他、遮光膜の位置、焦点検出画素に入射する光の角度、像高によっても異なるものである。このような光量の低下が画像処理部２１７において補正される。

図３は、画像処理部２１７の詳細な構成を示す図である。図３では、画像処理部２１７以外のブロックについては図示を省略している。画像処理部２１７は、ホワイトバランス（ＷＢ）補正処理部２１７１と、補正関数決定部２１７２と、画素補正部２１７３と、同時化処理部２１７４と、色再現処理部２１７５と、輝度特性変換部２１７６と、エッジ強調処理部２１７７と、ノイズ低減（ＮＲ）処理部２１７８と、歪補正部２１７９とを有している。

ＷＢ補正処理部２１７１は、撮像データの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正するホワイトバランス補正処理を行う。

補正関数決定部２１７２は、画素補正部２１７３において焦点検出画素の画素出力を補正するための補正値を算出するのに用いられる補正関数を決定する。画素補正部２１７３は、補正関数決定部２１７２で決定された補正関数に従って補正値を算出し、算出された補正値に従って焦点検出画素の画素出力を補正する。補正関数決定部２１７２及び画素補正部２１７３の詳細については後で説明する。

同時化処理部２１７４は、例えばベイヤ配列に対応して撮像素子２０７を介して出力される撮像データ等の、１つの画素が１つの色成分に対応している撮像データを、１つの画素が複数の色成分に対応している画像データに変換する。色再現処理部２１７５は、画像データの色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。カラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部２１７５は、彩度・色相の補正を行う。輝度特性変換部２１７６は、画像データの輝度特性（ガンマ特性）を、表示や記録に適するように変換する。エッジ強調処理部２１７７は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する。ＮＲ処理部２１７８は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。歪補正部２１７９は、画像データにおける歪曲収差を補正する。例えば、歪補正部２１７９は、歪曲収差を補正するための所定の関数に従って歪補正前の画像データの座標変換を行うことにより、画像データにおける歪曲収差を補正する。

図４は、補正関数決定部２１７２の構成を示す図である。補正関数決定部２１７２は、光学情報取得部２１７２ａと、光学関数算出部２１７２ｂと、画素関数算出部２１７２ｃと、補正関数選択部２１７２ｄとを有している。

光学情報取得部２１７２ａは、撮影レンズ１０１の光学情報を取得する。光学関数算出部２１７２ｂは、光学情報取得部２１７２ａによって取得された光学情報に基づいて光学関数を算出する。光学関数は、例えば均一輝度面を撮像したときの焦点検出画素の座標（例えば水平座標）と撮像画素の画素出力を基準とした焦点検出画素の画素出力とを対応付けた関数であって例えばＲＯＭ２２９に予め記憶されている。このような光学関数は、焦点検出画素の光量低下量を表す。ここで、光学関数は、焦点検出画素に入射する入射光の入射角度を変化させるような光学情報の変化（例えば、焦点距離の変化、ピント位置の変化、絞りの変化）に応じて変動する。したがって、ＲＯＭ２２９には、光学情報の種類毎に光学情報の変化に応じた複数の光学関数を記憶させておく。光学関数算出部２１７２ｂは、光学情報取得部２１７２ａで取得された光学情報に応じた光学関数を取得する。なお、ＲＯＭ２２９に記憶されている光学関数をもとに補間によって所望の光学情報に対応した光学関数が算出されてもよい。

画素関数算出部２１７２ｃは、画素関数を算出する。画素関数は、焦点検出画素の座標と撮像画素の画素出力を基準とした焦点検出画素の画素出力とを対応付けた関数であってライブビュー表示時や動画撮影時の撮像データから算出される。ここで、ライブビュー表示時や動画撮影時の撮像データは必ずしも均一輝度面を撮像して得られるものではないので、撮像画素の画素出力と焦点検出画素の画素出力とはともに被写体像（絵柄）の変化の影響を受けて変動する可能性がある。この絵柄の変化の影響をなくすため、各焦点検出画素の周辺の撮像画素の画素出力から焦点検出画素の周辺の絵柄の変化の影響度合いを算出し、この算出した絵柄の変化の影響を考慮して画素関数は算出される。詳細については後で説明する。

補正関数選択部２１７２ｄは、画素補正部２１７３において焦点検出画素の画素出力を補正するための補正値を算出するのに用いられる補正関数を光学関数と画素関数のうちから選択する。補正関数として光学関数と画素関数の何れが選択されるかは、光学関数算出部２１７２ｂで算出された光学関数の信頼度（光学関数信頼度）と画素関数算出部２１７２ｃで算出された画素関数の信頼度（画素関数信頼度）とに応じて決定される。詳細については後で説明する。

以下、本実施形態の撮像装置の動作を説明する。図５は、撮像装置によるライブビュー動作の処理を示すフローチャートである。図５に示すフローチャートの処理は、ＲＯＭ２２９に記憶されているプログラムに従ってＣＰＵ２１５が実行する。また、図５に示す処理は、動画撮影動作に対しても適用可能である。

図５のフローチャートの処理が開始されると、ＣＰＵ２１５は、ライブビューを終了させるか又はカメラ１の電源をオフさせるか否かを判定する（ステップＳ１０１）。例えば、レリーズ釦の操作によって静止画撮影の実行が指示された場合、動画釦の操作によって動画撮影の実行が指示された場合、再生釦の操作によって画像の再生が指示された場合、メニュー釦の操作によってメニューの表示が指示された場合にはライブビューを終了させると判定する。また、例えば、電源釦の操作によってカメラ１の電源のオフ指示がされた場合には電源をオフさせると判定する。ステップＳ１０１においてライブビューを終了させると判定した場合又は電源をオフさせると判定した場合に、ＣＰＵ２１５は、図５の処理を終了させる。

ステップＳ１０２においてライブビューを終了させないと判定した場合であってカメラ１の電源をオフさせないと判定した場合、ＣＰＵ２１５は、ライブビューのための撮像素子２０７による撮像（露光）を実行させる（ステップ１０２）。撮像により得られた画像信号は、予め設定された読み出し方式に従って撮像素子２０７から読み出される。この読み出された画像信号は、アナログ処理部２１１でアナログ処理され、ＡＤ変換部２１３においてデジタル化された後、撮像データとしてＤＲＡＭ２２７に一時記憶される。

ライブビューのための撮像の後、ＣＰＵ２１５は、画像処理部２１７による画像処理を実行させる。このとき、画像処理部２１７のＷＢ補正処理部２１７１は、ＤＲＡＭ２２７から撮像データを読み出してホワイトバランス補正処理を施す（ステップＳ１０３）。続いて、補正関数決定部２１７２の光学情報取得部２１７２ａは、現在の光学情報を取得する（ステップＳ１０４）。前述したように、光学情報は、撮影レンズ１０１の焦点距離、フォーカスレンズの位置、絞り値、歪曲収差情報等である。光学情報が取得された後、光学関数算出部２１７２ｂは、光学関数を算出する（ステップＳ１０５）。以下、光学関数の算出手法の例を説明する。

図６は、光学関数の例を示す図である。光学関数は、右開口焦点検出画素のものと左開口焦点検出画素のものとが存在する。図６は、右開口焦点検出画素の光学関数の例である。また、図６の光学関数は、水平座標ｘと焦点検出画素の画素出力との関係を２次関数で近似した例である。光学関数は、１次関数で近似されてもよいし、３次関数以上の高次関数で近似されてもよい。さらに、図６は、ある光学情報（例えば焦点距離）につき、光学情報１、光学情報２、光学情報３の３つの値に対応した光学関数をＲＯＭ２２９に記憶させた例を示している。光学関数算出部２１７２ｂは、図６の３つの光学関数の中から、光学情報取得部２１７２ａで取得された光学情報に対応した光学関数を選択する。ここで、ＲＯＭ２２９に記憶させる光学関数の数は、ＲＯＭ２２９の容量の許す範囲で適宜決定される。また、光学関数を記憶させるメモリは、必ずしもカメラ側におけるＲＯＭに限らず、交換式レンズ１００の内部のＲＯＭ１０９に記憶させてもよい。そして、交換式レンズ１００との通信により光学関数を取得するとしてもよい。

光学関数の算出後又は光学関数の算出と並列して画素関数算出部２１７２ｃは、画素関数を算出する（ステップＳ１０６）。以下、図７を参照して画素関数の算出手法の例を説明する。

通常、焦点検出画素は、焦点検出の必要のある領域である、図７（ａ）においてハッチングを施した領域（以下、アイランド領域と言う）に配置される。ここで、画素関数の算出手法を説明するに当たり、右開口焦点検出画素と左開口焦点検出画素とは、アイランド領域におけるＧｒ画素の位置にｎ個ずつ配置されているものとする。また、図７（ａ）に示すように、撮像素子２０７の水平方向をｘ軸と定義し、さらに焦点検出画素（アイランド領域）の水平方向の開始ｘ座標をstart_xと定義する。

画素関数を算出するに際し、画素関数算出部２１７２ｃは、焦点検出画素に隣接している２つの撮像画素Ｂの画素出力の比Dif_Bを算出する。例えば、図７（ｂ）に示す右開口焦点検出画素Ｇｒ２の場合、矢印１で示す、撮像画素Ｂ２の画素出力Ｂ２と撮像画素Ｂ３との画素出力Ｂ３との比が算出される。したがって、Dif_Bは、以下の（式１）で与えられる。
Dif_B＝B2/B3 （式１）
続いて、画素関数算出部２１７２ｃは、焦点検出画素と同色かつ近傍の２つの撮像画素Ｇｂの画素出力の比Dif_Gを算出する。例えば、右開口焦点検出画素Ｇｒ２の場合、矢印２で示す、撮像画素Ｇｂ２の画素出力Ｇｂ２と撮像画素Ｇｂ３の画素出力Ｇｂ３との比が算出される。したがって、Dif_Gは、以下の（式２）で与えられる。
Dif_G＝Gb2/Gb3 （式２）
続いて、画素関数算出部２１７２ｃは、焦点検出画素の画素出力と焦点検出画素と同色でかつ位相差の検出方向と直交する方向の近傍の撮像画素Ｇｒの画素出力との比を算出する。例えば、右開口焦点検出画素Ｇｒ２の場合、矢印３で示す、右開口焦点検出画素Ｇｒ２の画素出力Ｇｒ２と撮像画素Ｇｒ１の画素出力Ｇｒ１との比が算出される。また、左開口焦点検出画素Ｇｒ３の場合、矢印４で示す、左開口焦点検出画素Ｇｒ３の画素出力Ｇｒ３と撮像画素Ｇｒ１の画素出力Ｇｒ１との比が算出される。ここで、図７（ｂ）の例における撮像画素Ｇｒ１は、アイランド外の画素である。アイランド内の全てのＧｒ画素が焦点検出画素でなければ、アイランド内の撮像画素Ｇｒの画素出力との比が算出されてもよい。続いて、画素関数算出部２１７２ｃは、焦点検出画素と同色でかつ位相差の検出方向と直交する方向の近傍の撮像画素Ｇｒの画素出力とこの撮像画素Ｇｒの近傍の２つの撮像画素Ｇｂの画素出力の差との比を算出する。例えば、右開口焦点検出画素Ｇｒ２の場合、矢印５で示す、撮像画素Ｇｒ１の画素出力と撮像画素Ｇｂ１及び撮像画素Ｇｂ２の画素出力の差との比が算出される。続いて、画素関数算出部２１７２ｃは、絵柄変化を考慮した焦点検出画素とその近傍の撮像画素との画素出力の比Dif_pRiを算出する。Dif_pRiは、以下の（式３）で与えられる。
Dif_pRi=(Gr2/Gr1)-(Gb1-Gb2)/Gr1 （式３）
（式３）の第一項が位相検出画素とその近傍の撮像画素との画素出力の比を示し、第２項が絵柄変化の影響度合いを示している。

画素関数算出部２１７２ｃは、Dif_B及びDif_Gを用いて重み係数Wを算出する。重み係数Wは、Dif_B及びDif_Gのそれぞれが１に近いほど１に近づく係数であって例えば以下の（式４）にようにガウス関数を用いて算出される。重み係数Wは、必ずしもガウス関数を用いて算出される必要はない。

ここで、（式４）のσは、標準偏差であって例えば設計時に任意に設定される。例えば、σ＝0.1とした場合、0.1を標準偏差としたガウス関数となる。

各焦点検出画素についてのDif_pRiと重み係数Wとを算出した後、画素関数算出部２１７２ｃは、重み係数Wと各焦点検出画素のDif_pRiとを用いて画素関数を算出する。ここでは、例として画素関数を１次関数y＝ax＋bの形で表すものとする。ここで、ｘは、水平座標であり、yは撮像画素の画素出力を基準とした焦点検出画素の画素出力（すなわち光量低下量）である。また、画素関数を表す１次関数の傾きａ及び切片ｂは、例えば最小二乗法により、以下の（式５）で示すようにして与えられる。

ここで、（式５）のａ、ｂの括弧内の値である０は、これらによって示される傾き及び切片が右開口焦点検出画素に関するものであることを示す。左開口焦点検出画素については、（式５）のａ、ｂの括弧内の値を１とし、さらに、（式５）で示した各値を左開口焦点検出画素に関する値に置き換える。すなわち、（式３）の第一項を左開口焦点検出画素に対応した比であるＧｒ３/Ｇｒ１に置き換える。

ここで、図５の説明に戻る。光学関数と画素関数とが算出された後、補正関数選択部２１７２ｄは、算出された光学関数信頼度と画素関数信頼度とをそれぞれ算出する（ステップＳ１０７）。以下、光学関数信頼度と画素関数信頼度の算出手法の例を説明する。

光学関数信頼度は、光学情報の変化率に応じて算出されるものである。光学情報の変化率とは、単位時間（例えば１フレーム）当たりの光学情報の変化量である。図８は、光学情報の変化率と光学関数信頼度との関係の一例である。図８に示す光学関数信頼度は、０から１までの範囲で変化するものであって、光学情報の変化率が大きくなるほどに低くなるものである。例えば短時間で大きく焦点距離が変わった場合（高速のズームが行われた場合）及び絞り値が大きく変化した場合には、撮像が行われた時点で取得された光学情報が光学情報の変化の途中のものである等の可能性があって光学情報を正しく取得できているかどうかが疑わしい。このような場合の光学関数信頼度は低くなる。また、光学関数信頼度は、次のような方法で決定してもよい。例えば、本フレーム以前のフレーム（過去フレーム）に対応する記憶されている光学情報を参照し、過去の複数のフレームにわたり同一の光学情報が連続して変化している場合は、本フレームにおいても光学系の状態が変化している最中であると判断する。例えば、直近の過去の連続３フレームにおいて焦点距離が連続して変化している場合には、本フレームにおいてもズーム駆動中であり光学系の状態が変化していると判断し、光学関数信頼度を下げる。上記過去の３フレームは、５フレームや１０フレーム等の所定数のフレームであってもよい。また、過去の光学情報は、必ずしも過去のフレームに対応するものでなくてもよく、以下に示すものでもよい。例えば、交換式レンズ１００（ＣＰＵ１０７）とカメラ本体２００（ＣＰＵ２１５）の撮像周期（フレーム周期）と独立した周期的な通信により光学情報を取得し記憶させて使用してもよい。

画素関数の信頼度は、例えば各焦点検出画素について算出された重み係数Wの積算値である。前述したように、重み係数Wは、Dif_B及びDif_Gのそれぞれが１に近いほど１に近づく係数である。そして、Dif_BとDif_Gは、それぞれ焦点検出画素の周辺の撮像画素の画素出力の変化である。焦点検出画素の周辺の焦点検出画素と異なる色も含めて画素出力の変化をみることにより、（式３）における絵柄変化の影響度合いの信頼度を見ることができる。すなわち、重み係数Wの積算値が小さい場合には画素関数信頼度が低くなる。

光学関数信頼度と画素関数信頼度とを算出した後、補正関数選択部２１７２ｄは、現在のフレームがライブビュー開始からの２フレーム目以降であるか否かを判定する（ステップＳ１０８）。ステップＳ１０８において現在のフレームがライブビュー開始からの２フレーム以降でない、すなわち１フレーム目であると判定した場合に、補正関数選択部２１７２ｄは、ステップＳ１０９の処理をスキップする。ステップＳ１０８において現在のフレームがライブビュー開始からの２フレーム目以降であると判定した場合に、補正関数選択部２１７２ｄは、過去フレームにおいて算出された各種情報を取得する（ステップＳ１０９）。ここでの各種情報は、過去フレームにおける光学関数、画素関数、光学関数信頼度、画素関数信頼度であって例えばＤＲＡＭ２２７に記憶される情報である。また、過去フレームとは、例えば１フレーム前のフレームのことである。しかしながら、過去フレームが１フレーム前に限定されるものではない。また、過去の複数のフレームの情報が取得されてもよい。

続いて、補正関数選択部２１７２ｄは、補正関数決定処理を行う（ステップＳ１１０）。補正関数決定処理は、ステップＳ１１１の画素補正の際に光学関数と画素関数の何れを用いるのかを決定する処理である。以下、図９を参照して補正関数決定処理について説明する。

図９において、補正関数選択部２１７２ｄは、適用フレーム判定処理を行う（ステップＳ２０１）。適用フレーム判定処理は、ステップＳ１０９において取得した過去フレームの情報のうち、本フレームの適用フレーム判定処理に用いる情報を判定する処理である。例えば、光学関数信頼度又は画素関数信頼度が予め定められた閾値を超えているフレームの情報が、本フレームの適用フレーム判定処理に用いられる。

適用フレーム判定処理の後、補正関数選択部２１７２ｄは、過去フレーム又は本フレームにおいて光学情報が取得できているか否かを判定する（ステップＳ２０２）。ここで、光学情報が取得できない場合とは、次のようなケースである。例えば、通信用の電気接点（Ｉ/Ｆ１１１）を有さないタイプの交換式レンズが装着された場合や、通信のＩ/Ｆがカメラ側と異なり、通信ができないレンズ、また交換式レンズの先端部にフロントコンバータ等の光学系がさらに装着されており、それを検出して現在の光学情報が不適正とする場合である。ステップＳ２０２において光学情報が取得できていると判定した場合に、補正関数選択部２１７２ｄは、過去フレーム又は本フレームにおいて得られた光学関数信頼度が低い、すなわち閾値よりも小さいか否かを判定する（ステップＳ２０３）。ステップＳ２０３の光学関数信頼度に対する閾値は、ステップＳ２０１における光学関数信頼度に対する閾値と同じであってもよいし、異なっていてもよい。ステップＳ２０３において過去フレーム又は本フレームにおいて得られた光学関数信頼度のうちで低いものがないと判定した場合に、補正関数選択部２１７２ｄは、過去フレーム又は本フレームにおいて画素関数信頼度が得られているか否かを判定する（ステップＳ２０４）。ステップＳ２０４において画素関数信頼度が得られていると判定した場合に、補正関数選択部２１７２ｄは、過去フレーム又は本フレームにおいて得られた画素関数信頼度の中に高いものがあるか、すなわち閾値を超えている画素関数信頼度があるか否かを判定する（ステップＳ２０５）。ステップＳ２０５の画素関数信頼度に対する閾値は、ステップＳ２０１における画素関数信頼度に対する閾値と同じであってもよいし、異なっていてもよい。また、ステップＳ２０５の画素関数信頼度に対する閾値をステップＳ２０１における画素関数信頼度の閾値と異ならせる場合には、例えば光学関数信頼度に応じて異ならせてもよい。

ステップＳ２０２において過去フレーム又は本フレームにおいて光学情報を取得できていないと判定した場合、ステップＳ２０３において過去フレーム又は本フレームにおいて得られた光学信頼度のうちで低いものがあると判定した場合又はステップＳ２０５において画素関数信頼度の中で信頼度が高いものがあると判定した場合に、補正関数選択部２１７２ｄは、補正関数として画素関数を選択する（ステップＳ２０６）。その後、補正関数選択部２１７２ｄは、図９の処理を終了させる。ここで、信頼度の高い画素関数が複数存在する場合には、最も本フレームに近いものや最も信頼度が高いものを補正関数とする。

ステップＳ２０４において画素関数信頼度が得られていないと判定した場合又はステップＳ２０５において画素関数信頼度の中で信頼度が高いものがないと判定した場合に、補正関数選択部２１７２ｄは、補正関数として光学関数を選択する（ステップＳ２０７）。その後、補正関数選択部２１７２ｄは、図９の処理を終了させる。ここで、信頼度の高い光学関数が複数存在する場合には、最も本フレームに近いものや最も信頼度が高いものを補正関数とする。

以上説明したように本実施形態の補正関数決定処理においては、光学関数が得られなかった場合や光学関数が得られた場合であっても光学系の状態が変化している最中である等の場合での光学関数信頼度が低い場合には、画素関数が補正関数になる。また、信頼度が高い光学関数が得られたとしても、信頼度の高い画素関数が得られている場合には、画素関数が補正関数になる。そして、信頼度の高い光学関数が得られており、信頼度の高い画素関数が得られていない場合には光学関数が補正関数になる。

ここで、図９の例では光学関数と画素関数の両方の信頼度が高い場合には画素関数が補正関数になる。これに対し、光学関数と画素関数の両方の信頼度が高い場合には、光学関数と画素関数とを信頼度で重み付け平均した関数を補正関数してもよい。この場合、光学関数と画素関数は同じ次数の関数である必要がある。

ここで、図５の説明に戻る。補正関数決定処理の後、画素補正部２１７３は、焦点検出画素の画素出力を補正する（ステップＳ１１１）。光学関数と画素関数は何れも焦点検出画素の水平座標と撮像画素の画素出力を基準とした焦点検出画素の画素出力とを対応付けた関数である。すなわち、光学関数と画素関数は、焦点検出画素の水平座標毎の光量低下量を示す関数であるとも言える。したがって、各焦点検出画素の画素出力に、各焦点検出画素の水平座標に応じた補正関数の値を乗じるゲイン補正をすることにより、各焦点検出画素の画素出力における光量低下が補正される。

画素補正の後、画像処理部２１７は、画素補正処理以後の画像処理を実行する（ステップＳ１１２）。画像処理の終了後、表示部２２３は、画像処理部２１７の画像処理の結果として得られた画像データに基づいて画像を表示する。このような表示によりライブビューの一連の動作が終了する。ライブビューの後、ＣＰＵ２１５は、本フレームにおいて算出された各種情報を例えばＤＲＡＭ２２７に記憶させる（ステップＳ１１３）。この後、ＣＰＵ２１５は、処理をステップＳ１０１に戻す。ステップＳ１１３の各種情報は、光学関数、画素関数、光学関数信頼度、画素関数信頼度であって次フレームのステップＳ１０９において取得される情報である。ここで、ステップＳ１１３の時点で所望のフレーム数の情報がＤＲＡＭ２２７に既に記憶されている場合には、古い情報が削除される。また、信頼度が低い光学関数や画素関数はＤＲＡＭ２２７に記憶させないようにしてもよい。

以上説明したように本実施形態においては、焦点検出画素の画素出力を補正するために、光学情報から算出される光学関数と撮像データから算出される画素関数を選択的に用いるようにしている。これにより、光学情報がリアルタイムに取得できないような状況であっても画素出力の補正を行うことが可能である。また、光学関数と画素関数の何れを補正関数とするのかは、それぞれの関数に対応した信頼度に応じて決定される。これにより、光学関数と画素関数の選択誤りの可能性が低減され、画素補正の信頼性を向上させることができる。

また、過去の複数フレームの情報を用いて光学関数や画素関数の選択を行うことにより、画素補正の信頼性をより向上させることができる。ここで、本実施形態の例では、過去フレームの画素関数信頼度や光学関数信頼度を個別に判定している。これに対し、過去フレームの平均の画素関数信頼度や光学関数信頼度を用いて判定をしてもよい。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、ＣＰＵ２１５に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２１５は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…交換式レンズ、１０１…撮影レンズ、１０３…絞り、１０５…駆動部、１０７…ＣＰＵ、１０９…ＲＯＭ、１１１…インターフェース（Ｉ/Ｆ）、２００…カメラ本体、２０１…メカシャッタ、２０３…駆動部、２０５…操作部、２０７…撮像素子、２０９…撮像制御回路、２１１…アナログ処理部、２１３…アナログデジタル（ＡＤ）変換部、２１５…ＣＰＵ、２１７…画像処理部、２１９…焦点検出回路、２２１…画像圧縮展開部、２２３…表示部、２２５…バス、２２７…ＤＲＡＭ、２２９…ＲＯＭ、２３１…記録媒体、２１７１…ホワイトバランス（ＷＢ）補正処理部、２１７２…補正関数決定部、２１７２ａ…光学情報取得部、２１７２ｂ…光学関数算出部、２１７２ｃ…画素関数算出部、２１７２ｄ…補正関数選択部、２１７３…画素補正部、２１７４…同時化処理部、２１７５…色再現処理部、２１７６…輝度特性変換部、２１７７…エッジ強調処理部、２１７８…ノイズ低減（ＮＲ）処理部、２１７９…歪補正部

Claims (25)

1. 撮像装置において、
   撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子により撮像して画像データを出力する撮像部と、
   前記画像データのうち前記焦点検出画素から出力される画素出力を補正関数により補正する画像処理部と、
   前記撮像部により繰り返し撮像動作を実行させ、複数のフレームに対応する画像データを取得する制御部と、
   を具備し、
   前記画像処理部は、
   前記撮像素子に像を形成するための撮影光学系の光学情報を取得する光学情報取得部と、
   前記光学情報に基づいて前記補正関数を決定するための光学関数を算出する光学関数算出部と、
   前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出する画素関数算出部と、
   前記光学関数と前記画素関数と前記光学情報とに基づいて、前記複数のフレームのそれぞれ対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択する補正関数選択部と、
   を有する撮像装置。
2. 前記補正関数選択部は、前記撮影光学系が光学的に変化している途中であると判定した場合に前記画素関数を前記補正関数として選択する請求項１に記載の撮像装置。
3. 前記撮影光学系は、焦点距離が可変であり、前記光学情報は前記撮影光学系の焦点距離を含む請求項１に記載の撮像装置。
4. 前記撮影光学系は、フォーカスレンズを有し、前記光学情報は前記フォーカスレンズの位置を含む請求項１の撮像装置。
5. 前記撮影光学系は、絞りを有し、前記光学情報は前記絞りの開口量を含む請求項１に記載の撮像装置。
6. 前記補正関数選択部は、前記画素関数の信頼性を表す画素関数信頼度と前記光学関数の信頼性を表す光学関数信頼度とのうちの少なくとも一方を算出し、該算出した画素関数信頼度と光学関数信頼度のうちの少なくとも一方に基づいて前記フレームにおける前記補正関数を選択することを特徴とする請求項１に記載の撮像装置。
7. 補正関数選択部は、前記複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出し、算出した画素関数信頼度及び光学関数信頼度のうちで第１の閾値よりも高いものを選択し、選択した画素関数信頼度及び光学関数信頼度のうちで最も新しいフレームの画素関数信頼度に対応した画素関数又は最も新しいフレームの光学関数信頼度に対応した光学関数に基づいて前記フレームにおける前記補正関数を選択する請求項６に記載の撮像装置。
8. 補正関数選択部は、複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出し、算出した画素関数信頼度及び光学関数信頼度のうちで最も信頼度が高いものに対応した画素関数又は光学関数に基づいて前記フレームにおける前記補正関数を選択する請求項６に記載の撮像装置。
9. 前記補正関数選択部は、複数のフレームに時間的に対応する前記画素関数信頼度の全てが第２の閾値よりも低い場合に前記光学関数を前記補正関数として選択する請求項６に記載の撮像装置。
10. 撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子を有するカメラ本体と該カメラ本体に着脱可能であり撮影光学系を有する交換レンズとを具備するカメラシステムにおいて、
    前記交換レンズは、
    前記撮影光学系に関する光学情報を生成する光学情報生成部と、
    前記カメラ本体と通信を行い、前記光学情報を送信するレンズ制御部と、
    を具備し、
    前記カメラ本体は、
    前記撮像素子により撮像して画像データを出力する撮像部と、
    前記画像データのうち前記焦点検出画素から出力される画素出力を補正関数により補正する画像処理部と、
    前記レンズ制御部と通信を行って前記光学情報を取得し、前記撮像部により繰り返し撮像動作を実行させ複数のフレームに対応する画像データを取得する制御部と、
    を具備し、
    前記画像処理部は、
    前記光学情報に基づいて前記補正関数を決定するための光学関数を算出する光学関数算出部と、
    前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出する画素関数算出部と、
    前記光学関数と前記画素関数と前記光学情報とに基づいて、前記複数のフレームのそれぞれ対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択する補正関数選択部と、
    を有するカメラシステム。
11. 前記補正関数選択部は、前記撮影光学系が光学的に変化している途中であると判定した場合に前記画素関数を前記補正関数として選択する請求項１０に記載のカメラシステム。
12. 前記撮影光学系は、焦点距離が可変であり、前記光学情報は前記撮影光学系の焦点距離を含む請求項１０に記載のカメラシステム。
13. 前記撮影光学系は、フォーカスレンズを有し、前記光学情報は前記フォーカスレンズの位置を含む請求項１０に記載のカメラシステム。
14. 前記撮影光学系は、絞りを有し、前記光学情報は前記絞りの開口量を含む請求項１０に記載のカメラシステム。
15. 前記光学情報生成部は、前記撮影光学系の歪曲収差情報を生成する請求項１０に記載のカメラシステム。
16. 前記補正関数選択部は、前記画素関数の信頼性を表す画素関数信頼度と前記光学関数の信頼性を表す光学関数信頼度とのうちの少なくとも一方を算出し、該算出した画素関数信頼度と光学関数信頼度のうちの少なくとも一方に基づいて前記フレームにおける前記補正関数を選択する請求項１０に記載のカメラシステム。
17. 補正関数選択部は、前記複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出し、算出した画素関数信頼度及び光学関数信頼度のうちで第１の閾値よりも高いものを選択し、選択した画素関数信頼度及び光学関数信頼度のうちで最も新しいフレームの画素関数信頼度に対応した画素関数又は最も新しいフレームの光学関数信頼度に対応した光学関数に基づいて前記フレームにおける前記補正関数を選択する請求項１６に記載のカメラシステム。
18. 補正関数選択部は、複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出し、算出した画素関数信頼度及び光学関数信頼度のうちで最も信頼度が高いものに対応した画素関数又は光学関数に基づいて前記フレームにおける前記補正関数を選択する請求項１６に記載のカメラシステム。
19. 前記補正関数選択部は、複数のフレームに時間的に対応する前記画素関数信頼度の全てが第２の閾値よりも低い場合に前記光学関数を前記補正関数として選択する請求項１６に記載のカメラシステム。
20. 撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子により撮像された画像データにおける前記焦点検出画素から出力される画素出力を補正する画像処理方法において、
    前記撮像素子により繰り返し撮像動作を実行させて複数のフレームに対応する画像データを取得することと、
    前記撮像素子に像を形成するための撮影光学系の光学情報を取得することと、
    前記光学情報に基づいて補正関数を決定するための光学関数を算出することと、
    前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出することと、
    前記光学関数と前記画素関数と前記光学情報とに基づいて複数のフレームのそれぞれに対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択することと、
    を具備する画像処理方法。
21. 前記撮影光学系が光学的に変化している途中であると判定した場合に前記画素関数を前記補正関数として選択することをさらに具備する請求項２０に記載の画像処理方法。
22. 前記画素関数の信頼性を表す画素関数信頼度と前記光学関数の信頼性を表す光学関数信頼度とのうちの少なくとも一方を算出することと、
    該算出した画素関数信頼度と光学関数信頼度のうちの少なくとも一方に基づいて前記フレームにおける前記補正関数を選択することとを含む請求項２０に記載の画像処理方法。
23. 前記複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出することと、
    算出した画素関数信頼度及び光学関数信頼度のうちで第１の閾値よりも高いものを選択することと、
    選択した画素関数信頼度及び光学関数信頼度のうちで最も新しいフレームの画素関数信頼度に対応した画素関数又は最も新しいフレームの光学関数信頼度に対応した光学関数に基づいて前記フレームにおける前記補正関数を選択することと、
    を含む請求項２２に記載の画像処理方法。
24. 前記複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出することと、
    算出した画素関数信頼度及び光学関数信頼度のうちで最も信頼度が高いものに対応した画素関数又は光学関数に基づいて前記フレームにおける前記補正関数を選択することと、
    を含む請求項２２に記載の画像処理方法。
25. 前記複数のフレームに時間的に対応する前記画素関数信頼度の全てが第２の閾値よりも低い場合に前記光学関数を前記補正関数として選択することを含む請求項２２に記載の画像処理方法。

Images