JP5938842B2 - 撮像装置及びａｆ評価値算出方法、並びにプログラム - Google Patents

Description

本発明は、撮像装置及びＡＦ評価値算出方法、並びにプログラムに関し、特に、ＡＦ検波領域をより適切に設定する技術に関する。

従来より、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子を有する撮像装置が存在する。このようなＣＭＯＳ型の撮像素子を有するイメージセンサを、以下、「ＣＭＯＳセンサ」と呼ぶ。

ＣＭＯＳセンサの画像の読み出し方式としては、例えば水平方向（ライン方向）については左から右方向に、垂直方向については上から下方向に走査することで、画素毎に蓄積された電荷をライン毎に順次電圧に変換して画像信号として出力する、といった方式が採用されている。このような画像の読み出し方式を、本明細書では「フォーカルプレーン方式」と呼ぶ。なお、フォーカルプレーン方式は、「ローリングシャッタ方式」と呼ばれる場合もある。また、フォーカルプレーン方式における走査の方向、即ち、上述した例では、水平方向については左から右方向に、垂直方向については上から下方向を、以下、「走査方向」と呼ぶ。

このように、フォーカルプレーン方式が採用されたＣＭＯＳセンサでは、読み出される画像信号の出力タイミングは、ライン毎の時間差、より正確には画素毎の時間差が生じている。このため、走査の途中で手ぶれが発生した場合、走査方向（ライン方向）に画像がずれるような歪みが生ずる。なお、このような歪みを、以下、「フォーカルプレーン歪み」又は「ＦＰＤ」と呼ぶ。

このようなＦＰＤを補正する従来の手法としては、ジャイロセンサを用いて手ぶれを検出して、この検出結果に基づいて補正する手法（特許文献１参照）や、ソフトウェア処理によって補正する手法（特許文献２参照）が知られている。

ところで、従来より、このようなＣＭＯＳセンサを有する撮像装置の中には、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）処理（オートフォーカス処理）を実行可能なものも存在する。ＡＦ処理の代表的な手法としては、例えば特許文献３に開示されているように、画像信号に含まれる周波数成分（直流成分を除く）が合焦位置（フォーカス位置）で最大になることを利用して、画像信号に含まれる周波数成分の量を評価値として合焦状態を検出する、といった手法が存在する。

このようなＡＦ処理の手法を、以下、「ＡＦ検波」と呼ぶ。ＡＦ検波により検出される評価値は、撮像画像の一領域から検出される。このような評価値を、以下、「ＡＦ評価値」と呼び、ＡＦ評価値が検出される当該一領域を、以下、「ＡＦ検波領域」と呼ぶ。即ち、ＡＦ検波領域内の各画素の各々に対応する画像信号に含まれる周波数成分の量が積分され、その結果得られる積分値がＡＦ評価値として検出される。また、このＡＦ検波領域を設定するための枠が、ライブビュー画像上に設定される。このような枠を、以下、「ＡＦ枠」と呼ぶ。即ち、このようなライブビュー画像と共に表示されているＡＦ枠に基づいて、ＡＦ検波領域が設定されることになる。

特開２００７−２３５８１９号公報 特開２００７−２０８５８０号公報 特開平３−１６６８号公報

しかしながら、ＡＦ枠が設定されるライブビュー画像は、ＦＰＤの補正後の画像である。従って、ＡＦ検波領域は、このようなＡＦ枠が設定されたライブビュー画像の座標系、即ち、ＦＰＤの補正後の撮像画像の座標系（以下、「ＦＰＤ補正後座標系」と呼ぶ）で設定される。一方、ＡＦ検波は、ＦＰＤの補正前の撮像画像の座標系（以下、「ＦＰＤ補正前座標系」と呼ぶ）で行われる。よって、ＦＰＤ補正後座標系のＡＦ枠に対応して設定される実際のＡＦ検波領域と、本来ＦＰＤ補正前座標系で設定されるべき理想的なＡＦ検波領域との間には、ズレが生じてしまうことになる。

さらに以下、ＡＦ枠に対応して設定される実際のＡＦ検波領域と、理想的なＡＦ検波領域との間に生ずるズレについて詳細に説明する。

図９は、従来の撮像装置が有する各種機能のうち、ＡＦ検波の機能を実現するための機能的構成を示す機能ブロック図である。

従来の撮像装置は、ＣＭＯＳセンサ１１と、前処理部１２と、ＡＦ検波部１３と、メモリ１４と、ＹＵＶ生成部１５と、ＦＰＤ補正部１６と、ジャイロセンサ１７と、定時計測部１８と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９と、表示制御部２０と、を備えている。

ＣＭＯＳセンサ１１は、撮像画像の画像信号を、画素単位で走査方向の順番で順次出力する。前処理部１２は、ＣＭＯＳセンサ１１から順次出力される画素単位の画像信号を、黒レベルの補正等の前処理を実行した上で、ＡＦ検波部１３とメモリ１４とにそれぞれ出力する。

ＡＦ検波部１３は、Ｙ生成部３１と、ＡＦ検波フィルタ部３２と、ブロック積分部３３と、センサ座標供給部３４と、を備えている。

Ｙ生成部３１は、ＣＭＯＳセンサ１１から出力されて前処理部１２を介して供給される画素単位の画像信号から、ＡＦ検波の対象となる輝度成分を生成する。ＡＦ検波フィルタ部３２は、Ｙ生成部３１により生成された画素単位の輝度成分から、上述した周波数成分（直流成分を除く）を抽出して、ＡＦ検波値としてブロック積分部３３に供給する。ブロック積分部３３は、ＡＦ検波フィルタ部３２から画素単位で供給されるＡＦ検波値のうち、上述したＡＦ検波領域内の各画素のＡＦ検波値を積算することで、ＡＦ評価値を算出する。センサ座標供給部３４は、ブロック積分部３３に供給されたＡＦ検波値に対応する画素位置を、ＣＭＯＳセンサ１１の座標、即ちＦＰＤ補正前座標系の座標としてブロック積分部３３に供給する。そこで、ブロック積分部３３は、ＡＦ検波フィルタ部３２から供給されたＡＦ検波値が、ＡＦ検波領域内の画素に対応するものであるか否かを、センサ座標供給部３４から供給される、ＦＰＤ補正前座標系の座標に基づいて判断する。

このように、ＡＦ検波部１３は、ＣＭＯＳセンサ１１から出力されて前処理部１２を介して供給される撮像画像の画像信号、即ち、後述するＦＰＤ補正部１６によりＦＰＤの補正がなされる前の画像信号に対して、ＡＦ検波を実行する。

ＣＭＯＳセンサ１１から出力された撮像画像の画像信号はまた、前処理部１２を介してメモリ１４に供給される。ここで、ＣＭＯＳセンサ１１から出力された画素単位の画像信号の、ＣＭＯＳセンサ１１の入力画角内の全画素分の集合体からなる画像データを、以下、フレーム画像データと呼ぶ。メモリ１４の記憶の単位は、このようなフレーム画像データとされている。即ち、メモリ１４は、ＣＭＯＳセンサ１１から出力されて前処理部１２を介して供給されるフレーム画像データ５１を記憶する。このフレーム画像データ５１は、上述したようにＦＰＤが生じているＲＡＷ画像の画像データである。そこで、このようなフレーム画像データ５１を、以下、「ＦＰＤ ＲＡＷ５１」と呼ぶ。

ＹＵＶ生成部１５は、ＦＰＤ ＲＡＷ５１をメモリ１４から読み出して、輝度信号（Ｙ）と、青色成分の差分信号（Ｕ）と、赤色成分の差分信号（Ｖ）との３要素からなるフレーム画像データ５２を生成し、メモリ１４に記憶させる。ここで、フレーム画像データ５２には依然としてＦＰＤが生じている。そこで、このようなフレーム画像データ５２を、以下、「ＦＰＤ ＹＵＶ５２」と呼ぶ。

ＦＰＤ補正部１６は、ＦＰＤ ＹＵＶ５２をメモリ１４から読み出して、ＦＰＤの補正を行い、その結果得られるフレーム画像データ５３をメモリ１４に記憶させる。このようなフレーム画像データ５３を、以下、「補正ＹＵＶ５３」と呼ぶ。

図１０は、このようなＦＰＤ補正部１６によるＦＰＤの補正の概略を説明する図である。

図１０に示すように、ＦＰＤ補正部１６は、ＣＭＯＳセンサ１１の入力画角と同サイズのＦＰＤ ＹＵＶ５２の中から、ＦＰＤのために各ライン位置が走査方向（水平方向）にずれている領域のデータを切り出す。なお、このようにしてＦＰＤ ＹＵＶ５２から切り出される領域を、以下、「ＹＵＶ切出領域」と呼ぶ。次に、ＦＰＤ補正部１６は、ＹＵＶ切出領域のデータを変形補正することで、ＣＭＯＳセンサ１１の入力画角と同サイズの補正ＹＵＶ５３を生成する。

図９に戻り、ジャイロセンサ１７は、いわゆるジャイロスコープ（ｇｙｒｏｓｏｐｅ）であり、撮像装置の角度や角速度を検出し、検出信号（以下、「ジャイロ信号」と呼ぶ）を出力する。定時計測部１８は、ジャイロ信号を、ＣＭＯＳセンサ１１からの画像信号の出力に同期して定時計測する。具体的には、ＣＭＯＳセンサ１１からフレーム画像データが出力される時間間隔（以下、「フレーム期間」と呼ぶ）の間に１６回程、ジャイロ信号が定時計測部１８により検出され、ジャイロデータ５４としてメモリ１４に記憶される。

ＣＰＵ１９は、撮像装置全体を制御するが、このような制御の１つとして、ＦＰＤ補正部１６を制御する。即ち、ＣＰＵ１９は、このジャイロデータ５４に基づいてＦＰＤの補正量を求め、ＦＰＤ補正部１６に供給する。ＦＰＤ補正部１６は、この補正量に基づいて、上述したＦＰＤの補正を行う。即ち、図９の例のＦＰＤの補正手法としては、上述した特許文献１に記載の手法と同様に、ジャイロセンサを用いて手ぶれを検出して、この検出結果に基づいて補正する手法が採用されている。

表示制御部２０は、このようにしてＦＰＤ補正部１６により生成された補正ＹＵＶ５３をメモリ１４から読み出し、ライブビュー画像として図示せぬ表示部に表示させる。

図１１は、このようにして表示部に表示されるライブビュー画像の一例を示している。

図１１に示すように、ライブビュー画像６１は、補正ＹＵＶ５３により表現される画像である。このライブビュー画像６１の所定位置にはＡＦ枠５５が設定される。

従って、ＡＦ検波部１３により用いられるＡＦ検波領域は、このようなＡＦ枠５５が設定されたライブビュー画像６１の座標系、即ち、ＦＰＤ補正後座標系で設定される。一方、ＡＦ検波部１３によるＡＦ検波は、ＦＰＤ補正前座標系、即ち、ＦＰＤ ＲＡＷ５１の座標系で行われる。

図１２（Ａ）、（Ｂ）は、ＡＦ検波部１３がＡＦ検波を行う場合の、ＡＦ枠５５と、ＦＰＤ ＹＵＶ５２との関係を示している。

なお、上述したように、ＡＦ検波の対象はＦＰＤ ＲＡＷ５１であるが、図１０等で示す補正ＹＵＶ５３との比較を明確にすべく、図１２（Ａ）、（Ｂ）においては、ＦＰＤ ＹＵＶ５２が図示されている。即ち、図１２（Ａ）、（Ｂ）に示すＦＰＤ ＹＵＶ５２の意味は、図１０等で示す補正ＹＵＶ５３の座標系であるＦＰＤ補正後座標系に対する、ＡＦ検波が行われるＦＰＤ補正前座標系を示すことにある。

即ち、上述したように、ＡＦ枠５５が設定されるライブビュー画像（図１２には図示せず）は、ＦＰＤ補正後座標系で表わされている。換言すると、ＡＦ枠５５は、ＦＰＤ補正後座標系で設定される。一方、ＡＦ検波は、図１２（Ａ）、（Ｂ）に示すＦＰＤ ＹＵＶ５２の座標系、即ち、ＦＰＤ補正前座標系で行われる。しかしながら、図１２（Ａ）に示すように、従来においては、ＦＰＤ補正後座標系のＡＦ枠５５に対応して実際のＡＦ検波領域が設定される。即ち、図１２（Ａ）のＡＦ枠５５の配置位置が、実際のＡＦ検波領域の配置位置となる。これに対して、本来ＦＰＤ補正前座標系で設定されるべき理想的なＡＦ検波領域の配置位置は、図１２（Ｂ）のＡＦ枠５５の配置位置となる。このように、従来においては、実際のＡＦ検波領域と、理想的なＡＦ検波領域との間にズレが生じてしまうことになる。

本発明は、このような状況に鑑みてなされたものであり、ＡＦ検波領域をより適切に設定することを目的とする。

本発明の第１の観点によると、
フォーカルプレーン方式により画像信号を出力する撮像手段と、
前記撮像手段によって出力された画像信号の出力タイミングの違いにより生じる各ライン位置毎の座標補正量を算出し、この座標補正量に基づいて当該画像信号の歪みを補正する補正手段と、
前記撮像手段によって出力された画像信号に対してＡＦ検波フィルタをかけることによって、ＡＦ検波信号を出力するＡＦ検波手段と、
前記補正手段によって補正された画像信号に基づく画像にＡＦ枠を配置する配置手段と、
前記ＡＦ検波手段から出力されたＡＦ検波信号のうちのＡＦ評価値を算出すべき画像信号を含む領域であって、前記配置手段により配置されたＡＦ枠に対応するＡＦ評価領域を設定する設定手段と、
前記設定手段により設定されたＡＦ評価領域内の画像信号からＡＦ評価値を算出する算出手段と、
を備え、
前記設定手段はさらに、前記補正手段により算出された前記座標補正量に応じて、前記配置手段により配置されたＡＦ枠に対応するＡＦ評価領域を変形させる、
撮像装置を提供する。

本発明の第２の観点によると、
前記ＡＦ検波手段から出力されたＡＦ検波信号を１フレーム分蓄積する蓄積手段を備え、
前記配置手段は、前記ＡＦ枠の位置を変化させて配置し、
前記設定手段は、前記蓄積手段に蓄積された１フレーム分のＡＦ検波信号のうちのＡＦ評価値を算出すべき画像信号を含む領域であって、前記配置手段により配置されたＡＦ枠に対応するＡＦ評価領域を設定する、
撮像装置を提供する。

本発明の第３の観点によると、
前記ＡＦ検波手段から出力されたＡＦ検波信号のうちの前記ＡＦ評価領域に対応するＡＦ検波信号のみを蓄積する蓄積手段を備え、
前記配置手段は、予め決められた固定位置にＡＦ枠を配置し、
前記設定手段は、前記蓄積手段に蓄積されたＡＦ検波信号を含む領域をＡＦ評価領域として設定する、
撮像装置を提供する。

本発明の第４の観点によると、
前記撮像手段は、ＣＭＯＳセンサで構成され、順次画像信号を出力し、
前記配置手段によってＡＦ枠が配置された状態の画像信号を逐次表示する表示手段をさらに備える、
撮像装置を提供する。

本発明の第５の観点によると、
フォーカルプレーン方式により駆動する撮像部より出力される画像信号からＡＦ評価値を算出するＡＦ評価値算出方法であって、
出力された画像信号の出力タイミングの違いにより生じる各ライン位置毎の座標補正量を算出し、この座標補正量に基づいて当該画像信号の歪みを補正する補正ステップと、
前記撮像部によって出力された画像信号に対してＡＦ検波フィルタをかけることによって、ＡＦ検波信号を出力するＡＦ検波ステップと、
前記補正ステップにて補正された画像信号に基づく画像にＡＦ枠を配置する配置ステップと、
前記ＡＦ検波ステップにて出力された１フレーム分のＡＦ検波信号のうちのＡＦ評価値を算出すべき画像信号を含む領域であって、前記配置ステップにより配置されたＡＦ枠に対応するＡＦ評価領域を設定する設定ステップと、
前記設定ステップにて設定されたＡＦ評価領域内の画像信号からＡＦ評価値を算出する算出ステップと、
を含み、
前記設定ステップはさらに、前記補正ステップにより算出された前記座標補正量に応じて、前記配置ステップにより配置されたＡＦ枠に対応するＡＦ評価領域を変形させる、
ＡＦ評価値算出方法を提供する。

本発明の第６の観点によると、
フォーカルプレーン方式により駆動する撮像部を備える撮像装置を制御するコンピュータを、
出力された画像信号の出力タイミングの違いにより生じる各ライン位置毎の座標補正量を算出し、この座標補正量に基づいて当該画像信号の歪みを補正する補正手段、
前記撮像部によって出力された画像信号に対してＡＦ検波フィルタをかけることによって、ＡＦ検波信号を出力するＡＦ検波手段、
前記補正手段によって補正された画像信号に基づく画像にＡＦ枠を配置する配置手段、
前記ＡＦ検波手段から出力されたＡＦ検波信号のうちのＡＦ評価値を算出すべき画像信号を含む領域であって、前記配置手段により配置されたＡＦ枠に対応するＡＦ評価領域を設定する設定手段、
前記設定手段により設定されたＡＦ評価領域内の画像信号からＡＦ評価値を算出する算出手段、
として機能させ、
前記設定手段はさらに、前記補正手段により算出された前記座標補正量に応じて、前記配置手段により配置されたＡＦ枠に対応するＡＦ評価領域を変形させる、
プログラムを提供する。

本発明によれば、ＡＦ検波領域をより適切に設定することができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置が有する各種機能のうち、ＡＦ検波の機能を実現するための機能的構成を示す機能ブロック図である。 図２の撮像装置の座標変形補正部による座標補正の処理と、ＡＦ枠との関係を模式的に示す図である。 図２の撮像装置が実行するＡＦ処理の流れの一例を示すフローチャートである。 図２の撮像装置が実行するＡＦ処理の流れの一例を示すタイミングチャートである。 図２の撮像装置が実行するＡＦ評価値検出処理の流れの一例を示すフローチャートである。 図１の撮像装置が有する各種機能のうち、ＡＦ検波の機能を実現するための機能的構成を示す機能ブロック図であって、図２の実施形態とは異なる実施形態の機能ブロック図である。 手ぶれ補正のみを実行する場合における、ＡＦ枠と手ぶれ補正後ＹＵＶとの関係の従来と本発明の対比を示す図である。 従来の撮像装置が有する各種機能のうち、ＡＦ検波の機能を実現するための機能的構成を示す機能ブロック図である。 ＦＰＤの補正の概略を示す図である。 表示部に表示されるライブビュー画像の一例を示す図である。 図９の従来の撮像装置がＡＦ検波を行う場合の、ＡＦ枠と、ＦＰＤ ＹＵＶとの関係を示す図である。

以下、本発明の一実施形態として、第１実施形態及び第２実施形態をその順番で図面に基づいて説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置１００のハードウェアの構成を示すブロック図である。撮像装置１００は、例えばデジタルカメラにより構成することができる。

撮像装置１００は、光学レンズ装置１１１と、ＡＦ機構１１２と、シャッタ装置１１３と、アクチュエータ１１４と、ＣＭＯＳセンサ１１５と、前処理部１１６と、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１１７と、信号処理部１１８と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１９と、ＣＰＵ１２０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２２と、表示制御部１２３と、表示部１２４と、操作部１２５と、メモリカード１２６と、ジャイロセンサ１２７と、を備える。

光学レンズ装置１１１は、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、ＣＭＯＳセンサ１１５の受光面に被写体像を結像させるためレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。

ＡＦ機構１１２は、ＡＦ評価値に基づくＣＰＵ１２０の制御に従って、フォーカスレンズを移動させることで、ＡＦ枠内の被写体にフォーカス（焦点）を合わせる。なお、以下、このようなＣＰＵ１２０の制御を、「レンズ制御」と呼ぶ。

シャッタ装置１１３は、例えばシャッタ羽根等から構成される。シャッタ装置１１３は、ＣＭＯＳセンサ１１５へ入射する光束を遮断する機械式のシャッタとして機能する。シャッタ装置１１３はまた、ＣＭＯＳセンサ１１５へ入射する光束の光量を調節する絞りとしても機能する。

アクチュエータ１１４は、ＣＰＵ１２０の制御に従って、シャッタ装置１１３のシャッタ羽根を開閉させる。

ＣＭＯＳセンサ１１５には、光学レンズ装置１１１からシャッタ装置１１３を介して被写体像が入射される。そこで、ＣＭＯＳセンサ１１５は、ＴＧ１１７から供給されるクロックパルスに従って、一定時間毎に被写体像を光電変換（撮影）して画像信号を画素毎に蓄積し、蓄積した画像信号を出力する。即ち、ＣＭＯＳセンサ１１５は、フォーカルプレーン方式に従って、撮像画像の画像信号を、画素単位で走査方向の順番で順次出力する。

前処理部１１６は、ＴＧ１１７から供給されるクロックパルスに従って、ＣＭＯＳセンサ１１５から順次出力される画素単位の画像信号を、黒レベルの補正等の前処理を実行した上で、信号処理部１１８とＤＲＡＭ１１９とにそれぞれ出力する。

ＴＧ１１７は、ＣＰＵ１２０の制御に従って、一定時間毎にクロックパルスをＣＭＯＳセンサ１１５と前処理部１１６とにそれぞれ供給する。

信号処理部１１８は、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等で構成され、ＣＰＵ１２０の制御に従って、前処理部１１６から供給された画像信号又はＤＲＡＭ１１９に記憶された画像信号に対して各種信号処理を実行する。例えば、信号処理部１１８は、ＡＦ検波を実行する。ＡＦ検波の詳細については、図２以降の図面を参照して後述する。

ＤＲＡＭ１１９は、前処理部１１６から供給された画像信号、又は信号処理部１１８により信号処理が実行された画像信号を、フレーム画像データ単位で一時的に記憶（保持）する。ＤＲＡＭ１１９はまた、ジャイロセンサ１２７の検出結果を示すジャイロデータ等の各種データも一時的に記憶する。

ＣＰＵ１２０は、撮像装置１００全体の動作を制御する。ＲＡＭ１２１は、ＣＰＵ１２０が各処理を実行する際にワーキングエリアとして機能する。ＲＯＭ１２２は、撮像装置１００が各処理を実行するのに必要なプログラムやデータを記憶する。ＣＰＵ１２０は、ＲＡＭ１２１をワーキングエリアとして、ＲＯＭ１２２に記憶されているプログラムとの協働により各種処理を実行する。

表示制御部１２３は、ＣＰＵ１２０の制御に従って、ＤＲＡＭ１１９やメモリカード１２６に記憶されているフレーム画像データ（後述する図２の補正ＹＵＶ２０３等）を読み出して、当該フレーム画像データにより表現されるフレーム画像、例えばＡＦ枠が設定されたライブビュー画像を、表示部１２４に表示させる。

操作部１２５は、ユーザによる各種ボタンの操作を受け付ける。操作部１２５は、例えば電源釦、十字釦、決定釦、メニュー釦、レリーズ釦等を備える。操作部１２５は、受け付けた各種ボタンの操作に対応する信号を、ＣＰＵ１２０に供給する。ＣＰＵ１２０は、操作部１２５からの信号に基づいてユーザの操作内容を解析し、その操作内容に応じた処理を実行する。例えば、画像データの記録の指示操作が対応付けられている釦が押下された場合、ＣＰＵ１２０は、記録の指示があったと解釈し、後述する補正ＹＵＶ２０３をメモリカード１２６等に記録させる。

メモリカード１２６は、このようにしてＣＰＵ１２０の記録制御によって、補正ＹＵＶ２０３を記録する。メモリカード１２６はまた、必要に応じて各種データを記録する。

ジャイロセンサ１２７は、いわゆるジャイロスコープ（ｇｙｒｏｓｏｐｅ）であり、撮像装置１００の角度や角速度を検出し、その検出結果を示すジャイロ信号を出力する。

図２は、このような構成の撮像装置１００の信号処理部１１８が有する各種機能のうち、ＡＦ検波の機能を実現するための、第１実施形態に係る機能的構成を示す機能ブロック図である。

撮像装置１００の信号処理部１１８は、ＡＦ検波部１５１と、定時計測部１５２と、ＹＵＶ生成部１５３と、ＦＰＤ補正部１５４と、を備えている。

ここで、ＡＦ検波部１５１を除く機能ブロック、即ち、定時計測部１５２、ＹＵＶ生成部１５３、及びＦＰＤ補正部１５４の各々は、図９の定時計測部１８、ＹＵＶ生成部１５、ＦＰＤ補正部１６の各々と基本的に同様の構成と機能を有している。このため、ＦＰＤ ＲＡＷ２０１、ＦＰＤ ＹＵＶ２０２、補正ＹＵＶ２０３、及びジャイロデータ２０５の各々は、図９のＦＰＤ ＲＡＷ５１、ＦＰＤ ＹＵＶ５２、補正ＹＵＶ５３、及びジャイロデータ５４の各々と基本的に同様の構造を有している。従って、以下、これらの説明は適宜省略し、主に、図９とは異なるＡＦ検波部１５１について説明する。

ＡＦ検波部１５１は、Ｙ生成部１７１と、ＡＦ検波フィルタ部１７２と、ブロック積分部１７３と、センサ座標供給部１７４と、座標変形補正部１７５と、を備えている。

Ｙ生成部１７１は、ＣＭＯＳセンサ１１５から出力されて前処理部１１６を介して供給される画素単位の画像信号から、ＡＦ検波の対象となる輝度成分を生成する。ここで、Ｙ生成部１７１の出力は、従来のようにＡＦ検波フィルタ部１７２に直接供給されずに、ＤＲＡＭ１１９に供給されて一旦記憶される。即ち、ＤＲＡＭ１１９は、Ｙ生成部１７１から画素単位で供給される輝度成分を、１フレーム分蓄積する。なお、このような輝度成分の１フレーム分からなるフレーム画像データ２０４を、以下、「ＡＦ用Ｙ画像データ２０４」と呼ぶ。

このようにしてＤＲＡＭ１１９にＡＦ用Ｙ画像データ２０４が生成されると、このＡＦ用Ｙ画像データ２０４を構成する各輝度成分は、画素単位で走査方向の順番でＡＦ検波フィルタ部１７２に順次供給される。ＡＦ検波フィルタ部１７２は、このようにしてＤＲＡＭ１１９から画素単位で供給される輝度成分から、周波数成分（直流成分を除く）を抽出して、ＡＦ検波値としてブロック積分部１７３に供給する。ブロック積分部１７３は、ＡＦ検波フィルタ部１７２から画素単位で供給されるＡＦ検波値のうち、ＡＦ検波領域内の各画素のＡＦ検波値を積算することで、ＡＦ評価値を算出する。

センサ座標供給部１７４は、ブロック積分部１７３に供給されたＡＦ検波値に対応する画素の画素位置（以下、「注目画素位置」と呼ぶ）を、ＣＰＵ１２０から取得し、ＣＭＯＳセンサ１１５の座標として座標変形補正部１７５に供給する。即ち、センサ座標供給部１７４は、ＡＦ用Ｙ画像データ２０４から画素単位で走査方向の順番でＡＦ検波フィルタ部１７２に順次供給される輝度成分のＣＭＯＳセンサ１１５上の座標を、ＣＰＵ１２０から取得し、その座標を注目画素位置として、ブロック積分部１７３に供給されたＡＦ検波値の座標と同期させてセンサ座標供給部１７４に供給する。従って、図示はしないが、ＣＰＵ１２０からセンサ座標供給部１７４に対して注目画素位置を示す信号が送られる。ここで、ＣＭＯＳセンサ１１５の座標系は、ＦＰＤ補正前座標系であり、ＡＦ枠が設定される座標系はＦＰＤ補正後座標系である。そこで、座標変形補正部１７５は、ＦＰＤ補正前座標系で示される注目画素位置の座標を、ＦＰＤ補正後座標系の座標、即ち、補正ＹＵＶ２０３の座標（以下、「変形補正後座標」と呼ぶ）に変換する。注目画素位置の変形補正後座標は、ブロック積分部１７３に供給される。ブロック積分部１７３は、ＡＦ検波フィルタ部１７２から供給されたＡＦ検波値が、ＡＦ検波領域内の画素に対応するものであるか否かを、座標変形補正部１７５から供給された注目画素位置の変形補正後座標に基づいて判断する。

以下、注目画素位置の変形補正後座標についてさらに詳しく説明する。

座標変形補正部１７５には、ＦＰＤ補正前座標系で表現されるＣＭＯＳセンサ１１５の各画素の座標が、走査方向の順番にセンサ座標供給部１７４から順次供給されてくる。このようなＦＰＤ補正前座標系の座標が座標変形補正部１７５に供給されるタイミングは、画素単位のＡＦ検波値がブロック積分部１７３に供給されるタイミングと同期している。従って、所定のタイミングでセンサ座標供給部１７４から座標変形補正部１７５に供給された座標は、当該所定のタイミングでブロック積分部１７３に供給されたＡＦ検波値に対応する画素の画素位置、即ち、注目画素位置についてのＦＰＤ補正前座標系の座標を示している。

座標変形補正部１７５は、このようなＦＰＤ補正前座標系の注目画素位置の座標を、ジャイロデータ２０５を用いた所定のアルゴリズムに従って、変形補正後座標に変換する。

ジャイロデータ２０５は、座標変形補正部１７５の処理が実行されるフレーム期間の１つ前の１フレーム期間の間に、等間隔で１６回程定時計測部１５２により検出されたジャイロ信号に基づいて生成されている。即ち、ジャイロデータ２０５とは、当該１フレーム期間内の各時刻のジャイロ計測値に基づいて生成されたデータである。換言すると、当該フレーム期間において、Ｙ生成部１７１から出力される画素単位の輝度成分が、ＡＦ用Ｙ画像データ２０４を構成する画素データ（画素値）としてＤＲＡＭ１１９に順次記憶されていくのと並行して、ジャイロデータ２０５も生成される。このため、ＡＦ用Ｙ画像データ２０４を構成する各ラインの各々に対して、各々の時刻のジャイロ計測値が対応することになる。

そこで、ＣＰＵ１２０は、ジャイロデータ２０５における各時刻（各ライン位置）のジャイロ計測値に基づいて、各ライン位置での移動量を、画角中央の移動量がゼロとなるように補正する。ＣＰＵ１２０は、所定のライン位置での補正後の移動量を、当該所定のライン位置での座標補正量として、各ライン位置の各々と、その座標補正量の各々とを対応付けたテーブルを生成する。

ここで、ＣＭＯＳセンサ１１５における注目画素位置の座標、即ちＦＰＤ補正前座標系における注目画素位置の座標を（ｘｓ，ｙｓ）と記述するものとする。そして、ＣＰＵ１２０により生成された当該テーブルによる、注目画素位置が存在するライン位置から、座標補正量に変換する関数を、Ｆｆｐｄｘ（ｙｓ），Ｆｆｐｄｙ（ｙｓ）と定義するものとする。ここで、注目画素位置が存在するライン位置のＣＭＯＳセンサ１１５上のＹ座標は、注目画素位置のＹ座標ｙｓに他ならないから、関数Ｆｆｐｄｘ（ｙｓ）とは、当該Ｙ座標ｙｓを入力パラメータとして、ｘ軸方向の座標補正量を出力する関数である。同様に、関数Ｆｆｐｄｙ（ｙｓ）とは、ライン位置のＹ座標ｙｓを入力パラメータとして、ｙ軸方向の座標補正量を出力する関数である。この場合、このＦＰＤ補正前座標系における注目画素位置の座標（ｘｓ，ｙｓ）に対して、その変形補正後座標を（ｘｉ，ｙｉ）と記述すると、変形補正後座標のＸ座標ｘｉは式（１）のように表わされ、変形補正後座標のＹ座標ｙｉは式（２）のように表わされる。
ｘｉ ＝ ｘｓ ＋ Ｆｆｄｐｄｘ（ｙｓ） ・・・（１）
ｙｉ ＝ ｙｓ ＋ Ｆｆｄｐｄｙ（ｙｓ） ・・・（２）

従って、座標変形補正部１７５は、ＣＰＵ１２０により生成されたテーブルを用いて、式（１），（２）の演算を実行することで、ＦＰＤ補正前座標系における注目画素位置の座標（ｘｓ，ｙｓ）を、変形補正後座標（ｘｉ，ｙｉ）に変換することができる。

図３は、座標変形補正部１７５による座標補正の処理と、ＡＦ枠との関係を模式的に示す図である。

図３において、矢印２６１と矢印２６２とは、ＣＭＯＳセンサ１１５の走査順、即ち、ブロック積分部１７３に対する画素単位の輝度成分の入力順を示している。

矢印２６１は、座標変形補正部１７５による座標補正前のＣＭＯＳセンサ１１５上の座標系、即ちＦＰＤ補正前座標系における走査順を示している。従って、１つの矢印２６１が、ＦＰＤ補正前座標系における１つのライン位置を示している。ここで、図１０や図１２との比較を容易なものとするために、便宜上、矢印２６１は、ＦＰＤ補正前座標系で表わされるＦＰＤ ＹＵＶ２０２の上に図示されている。

一方、矢印２６２は、座標変形補正部１７５による座標補正後の座標系、即ちＦＰＤ補正後座標系における走査順を示している。従って、１つの矢印２６２が、ＦＰＤ補正後座標系における１つのライン位置を示している。即ち、座標変形補正部１７５により、ＦＰＤ補正前座標系における各矢印２６１の各々で示されるライン位置が、ＦＰＤ補正後座標系における各矢印２６２の各々で示されるライン位置に変換されることになる。このような変換は、図１０と図３とを比較すると容易にわかるように、ＦＰＤ補正部１５４によるＦＰＤの補正と等価の処理である。このため、矢印２６２は、便宜上、ＦＰＤ補正後座標系で表わされる補正ＹＵＶ２０３の上に図示されている。

このようにして、座標変形補正部１７５からは、ＦＰＤ補正後座標系で表わされる矢印２６２に沿って、注目画素位置の変形補正後座標（ｘｉ，ｙｉ）がブロック積分部１７３に順次供給されることになる。なお、ブロック積分部１７３は注目画素位置がＡＦ検波領域に存在するか否かを判定することになるが、この場合の注目画素位置の座標は、ＦＰＤ補正後座標系で表わされた変形補正後座標（ｘｉ，ｙｉ）であり、かつ、ＡＦ検波領域も、同様のＦＰＤ補正後座標系で表わされたＡＦ枠２７１から設定される。換言すると、ＣＭＯＳセンサ１１５上のＦＰＤ補正前座標系の視点からすると、図３と図１２（Ｂ）とを比較すれば容易にわかるように、実際のＡＦ検波領域を設定するためのＡＦ枠２７１の配置位置は、理想的なＡＦ検波領域の配置位置と一致する。即ち、この処理は、ＦＰＤ補正後の座標系で表現されるＡＦ枠に対応する、ＦＰＤ補正前の座標系で表現される領域を、ＡＦ検波領域として設定するのと同様の効果を奏する。これにより、ＡＦ検波領域をより理想的な位置に近付けて設定することが可能になる。

以上まとめると、ＡＦ検波部１５１は、２フレーム期間を単位として動作する。即ち、最初の１フレーム期間では、Ｙ生成部１７１が動作して、ＡＦ用Ｙ画像データ２０４をＤＲＡＭ１１９上に生成する。この間、定時計測部１５２により計測されたジャイロ信号に基づいてジャイロデータ２０５がＤＲＡＭ１１９上に生成される。次の１フレーム期間では、ＡＦ検波フィルタ部１７２乃至座標変形補正部１７５が動作して、前の１フレーム期間に生成されたＡＦ用Ｙ画像データ２０４及びジャイロデータ２０５を用いて、ＡＦ検波領域内の各画素のＡＦ検波値を積算することで、ＡＦ評価値を算出する。従って、以下、最初の１フレーム期間に動作するパス、即ち、Ｙ生成部１７１を含むパスを、「第１パス１６１」と呼ぶ。一方、次の１フレーム期間に動作するパス、即ち、ＡＦ検波フィルタ部１７２乃至座標変形補正部１７５を含むパスを、「第２パス１６２」と呼ぶ。

次に、このような第１パス１６１及び第２パス１６２からなるＡＦ検波部１５１を備える撮像装置１００が実行する処理のうち、ＡＦ処理について説明する。

図４は、ＡＦ処理の流れの一例を示すフローチャートである。図５は、ＡＦ処理の流れの一例を示すタイミングチャートである。

図４のステップＳ１において、ＣＰＵ１２０は、ＡＦ処理を継続するか否かを判定する。ＡＦ処理が継続されない場合、ステップＳ１においてＮＯであると判定されて、ＡＦ処理は終了となる。これに対して、ＡＦ処理が継続される場合、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、ＡＦ検波部１５１は、第１パス１６１を動作させる。ここで、図５において、同図中に図示されている３つのフレーム期間の各々を、左から順に「第１フレーム期間」、「第２フレーム期間」、及び「第３フレーム期間」の各々と呼ぶ。この場合、ステップＳ２の処理は、最初の第１フレーム期間の間に実行されるものとして、以下の説明を行う。具体的には、第１フレーム期間の間に、ＣＭＯＳセンサ１１５では１フレーム分の画像の読み込みが行われる。即ち、ＣＭＯＳセンサ１１５からは、撮像画像の画像信号が、画素単位で走査方向の順番で順次出力され、前処理部１１６を介して、ＤＲＡＭ１１９と、ＡＦ検波部１５１の第１パス１６１との各々に順次供給される。ＤＲＡＭ１１９に画素単位の画像信号が順次蓄積されることで、ＦＰＤ ＲＡＷ２０１が生成されていく。一方、第１パス１６１に画素単位で供給された画像信号はＹ生成部１７１により輝度成分となって、ＤＲＡＭ１１９に順次供給される。このようにして、ＤＲＡＭ１１９に画素単位の輝度成分が順次蓄積されることで、ＡＦ用Ｙ画像データ２０４が生成されていく。

ＣＭＯＳセンサ１１５からフレームの最後の画素の画像信号が出力されると、処理はステップＳ２からステップＳ３に進む。ステップＳ３において、第１パス１６１のＹ生成部１７１は、ＡＦ用Ｙ画像データ２０４の生成を完了させる。

また、ステップＳ２の処理が実行されている最中の第１フレーム期間においては、定時計測部１５２によって、ジャイロセンサ１２７のジャイロ信号が等時間間隔で１６回程計測され、ＤＲＡＭ１１９に順次供給されている。このようにして、ＤＲＡＭ１１９にジャイロ信号が順次蓄積されることで、ジャイロデータ２０５が生成されていく。従って、第１フレーム期間が終了したタイミングのステップＳ４において、定時計測部１５２は、１フレーム分のジャイロデータ２０５の生成を完了させる。

ステップＳ５において、ＣＰＵ１２０は、ステップＳ４の処理で生成が完了したジャイロデータ２０５を用いて、各ライン位置毎の座標補正量を算出する。ステップＳ６において、ＣＰＵ１２０は、ステップＳ５の処理で算出した各ライン位置毎の座標補正量を、ＡＦ検波部１５１の第２パス１６２の座標変形補正部１７５に設定する。即ち、ＣＰＵ１２０は、上述したように、式（１）の関数Ｆｆｐｄｘ（ｙｓ）及び式（２）の関数Ｆｆｐｄｙ（ｙｓ）を、座標補正量として座標変形補正部１７５に設定する。すると、ステップＳ７において、ＡＦ検波部１５１は、第２パス１６２を起動させる。

次に、ステップＳ８おいて、ＡＦ検波部１５１は、第２パス１６２を動作させる。即ち、第２パス１６２は、ステップＳ３の処理で生成が完了したＡＦ用Ｙ画像データ２０４、及び、ステップＳ６の処理で設定された座標補正量を用いて、ＡＦ検波領域内の各画素のＡＦ検波値を積算する処理を繰り返す。なお、以下、このような処理を、「ＡＦ評価値検出処理」と呼ぶ。ＡＦ評価値検出処理の詳細については、図６を参照して後述する。

ＡＦ評価値検出処理が終了すると、ＡＦ検波部１５１においてＡＦ評価値が算出されることになるので、ステップＳ９において、ＣＰＵ１２０は、ＡＦ評価値をＡＦ検波部１５１から取得（検出）する。そして、ステップＳ１０において、ＣＰＵ１２０は、このＡＦ評価値を、ＡＦ機構１１２に対するレンズ制御に反映させる。これにより、処理はステップＳ１に戻され、それ以降の処理が繰り返される。即ち、ＡＦ処理が継続されている限り、上述したステップＳ１乃至Ｓ１０の処理が繰り返される。

以上説明したように、第１フレーム期間に第１パス１６１が動作し、次の第２フレーム期間に第２パス１６２が動作する。ただし、図５のタイミングチャートから明らかなように、第１パス１６１は、第１フレーム期間にのみ動作するのではなく、第２フレーム期間も、第３フレーム期間も、さらにはそれ以降のフレーム期間も動作する。同様に、第２パス１６２は、第２フレーム期間にのみ動作するのではなく、第３フレーム期間も、さらにはそれ以降のフレーム期間も動作する。即ち、図４のフローチャートは、ＣＭＯＳセンサ１１５により読み取られた１フレーム分の画像信号の流れという視点でＡＦ処理の流れを記載したものであるの。これに対して、図５のタイミングチャートは、ＡＦ検波部１５１の視点からＡＦ処理の流れを記載したものであり、実線の矢印が第１パス１６１の動作を示しており、点線の矢印が第２パス１６２の動作を示したものである。このように、第１パス１６１と第２パス１６２との各々は、相互に独立して処理を実行している。換言すると、第２パス１６２は、第ｋ（ｋは１以上の整数値）フレーム期間における第１パス１６１の処理結果としてのＡＦ用Ｙ画像データ２０４と、第ｋフレーム期間に得られたジャイロデータ２０５を用いて、次の第ｋ＋１フレーム期間に動作して、ＡＦ評価値を検出していることになる。

次に、図６を参照して、ステップＳ８において第２パス１６２が動作している時に実行されるＡＦ評価値検出処理について説明する。

図６は、ＡＦ評価値検出処理の流れの一例を示すフローチャートである。

ステップＳ２１において、ＣＰＵ１２０は、ＡＦ枠を設定し、第２パス１６２のブロック積分部１７３に通知する。即ち、第１フレーム期間において生成されたＦＰＤ ＲＡＶ２０１は、ＹＵＶ生成部１５３によりＦＰＤ ＹＵＶ２０２となり、さらに、ＦＰＤ補正部１５４によりＦＰＤの補正がなされて、補正ＹＵＶ２０３となる。図３を用いて上述したように、この補正ＹＵＶ２０３の座標系、即ちＦＰＤ補正後座標系でＡＦ枠は設定される。このようにして設定されたＡＦ枠は、補正ＹＵＶ２０３と共に、表示制御部１２３の制御により表示部１２４に表示される。また、当該ＡＦ枠は、ブロック積分部１７３に通知される。なお、本実施形態では、ＡＦ枠は矩形の枠であり、左上端の座標が（ｘ０，ｙ０）となり、右下端の座標が（ｘ１，ｙ１）となるように設定されるものとする。

ステップＳ２２において、ブロック積分部１７３は、ＡＦ検波値の積分値を初期化する。ここで、積分値をＳｕｍと記述すると、Ｓｕｍ＝０となるように初期設定される。

ステップＳ２３において、ブロック積分部１７３は、ＡＦ検波値及び変形補正座標が入力されてくるまで待機する。

ＡＦ評価値検出処理が開始すると、ＡＦ用Ｙ画像データ２０４を構成する各輝度成分のうち、注目画素位置として設定された画素位置の輝度成分がＡＦ検波フィルタ部１７２に順次供給される。注目画素位置は、後述するステップＳ２８の処理で更新されるが、ステップＳ２２の処理後にステップＳ２３の処理が実行された時点では、補正ＹＵＶ２０３の左上端の画素の画素位置が設定されている。ＡＦ検波フィルタ部１７２は、注目画素位置の輝度成分から周波数成分（直流成分を除く）を抽出して、注目画素位置のＡＦ検波値（以下、「Ｆｌｔ」と記述する）としてブロック積分部１７３に供給する。このとき、座標変形補正部１７５は、図４のステップＳ６の処理で設定された座標補正量を用いて、式（１）及び式（２）の演算を行うことで、注目画素位置の変形補正後座標（ｘｉ，ｙｉ）を算出し、ブロック積分部１７３に供給する。

そこで、ステップＳ２４において、ブロック積分部１７３は、注目画素位置のＡＦ検波値Ｆｌｔ及び変形補正後座標（ｘｉ，ｙｉ）を取得する。

ステップＳ２５において、ブロック積分部１７３は、ステップＳ２４の処理で取得した注目画素位置の変形補正後座標（ｘｉ，ｙｉ）を用いて、枠内判定をする。即ち、ブロック積分部１７３は、ステップＳ２１の処理で設定されたＡＦ枠をＡＦ検波領域として、注目画素位置の変形補正後座標（ｘｉ，ｙｉ）が当該ＡＦ検波領域内に含まれているか否かを判定する。具体的には本実施形態では、次の式（３）と式（４）で示される不等式を両方とも満たすか否かが判定される。

ｘ０ ≦ ｘｉ ≦ ｘ１ ・・・（３）
ｙ０ ≦ ｙｉ ≦ ｙ１ ・・・（４）

式（３）と式（４）とのうち少なくとも一方の不等式が満たされない場合とは、注目画素位置の変形補正後座標（ｘｉ，ｙｉ）が当該ＡＦ検波領域内に含まれない場合を意味する。このような場合、ステップＳ２５においてＮＯであると判定されて、ステップＳ２６の処理は実行されずに、即ち、ステップＳ２４の処理で取得されたＡＦ検波値Ｆｌｔは積算されずに、処理はステップＳ２７に進む。

これに対して、式（３）と式（４）と何れの不等式も満たされる場合とは、注目画素位置の変形補正後座標（ｘｉ，ｙｉ）が当該ＡＦ検波領域内に含まれる場合を意味する。このような場合、ステップＳ２５においてＹＥＳであると判定されて、処理はステップＳ２６に進む。ステップＳ２６において、ブロック積分部１７３は、これまでの積分値Ｓｕｍに対して、ステップＳ２４の処理で取得したＡＦ検波値Ｆｌｔを積算し、その積算値を新たな積分値Ｓｕｍとする（Ｓｕｍ＝Ｓｕｍ＋Ｆｌｔ）。

換言すると、ステップＳ２５及びＳ２６の処理とは、ＦＰＤ補正後座標系（補正ＹＵＶ２０３の座標系）で表現されるＡＦ枠に対応する、ＦＰＤ補正前座標系（ＣＭＯＳセンサ１１５の座標系）で表現される領域をＡＦ検波領域として設定し、注目画素位置が当該ＡＦ検波領域内である場合にはＡＦ検波値Ｆｌｔを積算する、といった処理と等価な処理であるといえる。

このようにして、ステップＳ２６の処理が終了するか、又はステップＳ２５の処理でＮＯであると判定されると、処理はステップＳ２７に進む。ステップＳ２７において、ブロック積分部１７３は、１フレーム分の処理が終了したか否かを判定する。

注目画素位置が、フレーム内の最後に走査される画素の位置でない場合、ステップＳ２７においてＮＯであると判定されて、処理はステップＳ２８に進む。ステップＳ２８において、ブロック積分部１７３は、注目画素位置を走査方向に１画素分ずらす。これにより、処理はステップＳ２３に戻され、それ以降の処理が繰り返される。

即ち、ＡＦ用Ｙ画像データ２０４を構成する各輝度成分の各々が、注目画素位置の輝度成分として順次出力される毎に、ステップＳ２３乃至Ｓ２７のループ処理が繰り返される。これにより、ＡＦ検波領域内の各輝度成分の各々に対応するＡＦ検波値ＦＬｔが順次積分されて、積分値Ｓｕｍが更新されていく。そして、フレーム内の最後に走査される画素の位置が注目画素位置になって、ステップＳ２５の処理でＮＯであると判定されるか、或いは、ステップＳ２６の処理が実行されると、次のステップＳ２７においてＹＥＳであると判定されて、処理はステップＳ２９に進む。

ステップＳ２９において、ブロック積分部１７３は、積分値Ｓｕｍを、ＡＦ評価値として検出する。

これにより、ＡＦ評価値検出処理が終了する。すると、このようにして算出された当該ＡＦ評価値は、上述した図４のステップＳ９の処理でＣＰＵ１２０に取得され、ステップＳ１０の処理でレンズ制御に反映される。即ち、図２には図示されていないが、ブロック積分部１７３からＣＰＵ１２０へ、算出されたＡＦ評価値が送られる。

以上説明した内容をまとめると、本実施形態に係る撮像装置１００において、ＣＭＯＳセンサ１１５は、フォーカルプレーン方式に従って撮像することにより、ＦＰＤが生じたＦＰＤ ＲＡＷ２０１を前処理部１１６を介して出力する。ＦＰＤ ＲＡＷ２０１は、ＤＲＡＭ１１９に一旦記憶され、ＹＵＶ生成部１５３によりＦＰＤ ＹＵＶ２０２に変換されて、再度ＤＲＡＭ１１９に記憶される。ＦＰＤ補正部１５４は、このようなＦＰＤ ＹＵＶ２０２から、ＦＰＤが補正された補正ＹＵＶ２０３を生成してＤＲＡＭ１１９に記憶する。表示制御部１２３は、補正ＹＵＶ２０３により表現されるライブビュー画像と共に、当該ライブビュー画像の上にＡＦ枠を配置させて表示部１２４に表示させる制御を行う。ＡＦ検波部１５１の第２パス１６２は、補正ＹＵＶ２０３の座標系（補正後ＦＰＤ座標系）で表現されるＡＦ枠に対応する、歪みが補正される前のＦＰＤ ＹＵＶ２０２の座標系（補正前ＦＰＤ座標系であって、ＣＭＯＳセンサ１１５やＦＰＤ ＲＡＷ２０１と同一の座標系）で表現される領域（以下、「補正前ＡＦ枠」と呼ぶ）を、ＡＦ検波領域として設定するのと等価な処理を実行する。このようにして、ＡＦ検波領域がより適切に設定される。

さらに、撮像装置１００のＡＦ検波部１５１には、第２パス１６２とは独立して動作する第１パス１６１が設けられている。この第１パス１６１に設けられているＹ生成部１７１は、ＦＰＤ ＲＡＷ２０１から、同一の座標系で表現される、ＡＦ評価値の算出用のＡＦ用Ｙ画像データ２０４を生成する。このようにして、第１パス１６１によりＡＦ用Ｙ画像データ２０４が生成されると、第２パス１６２は、次のフレーム期間において、当該ＡＦ用Ｙ画像データ２０４のうち補正前ＡＦ枠に属するデータから、ＡＦ評価値を算出することができる。このようにして、ＡＦ検波領域がさらに適切に設定される。

以上、本発明の第１実施形態に係る撮像装置１００について説明した。次に、本発明の第２実施形態に係る撮像装置１００について説明する。

［第２実施形態］
本発明の第２実施形態に係る撮像装置１００は、第１実施形態に係る撮像装置１００と基本的に同様のハードウェアの構成を取ることができる。従って、図１は、第２実施形態に係る撮像装置１００のハードウェアの構成を示すブロック図でもある。第２実施形態に係る撮像装置１００は、第１実施形態と同様に、例えばデジタルカメラにより構成することができる。

図７は、図１の撮像装置１００の信号処理部１１８が有する各種機能のうち、ＡＦ検波の機能を実現するための、第２実施形態に係る機能的構成を示す機能ブロック図である。

撮像装置１００についての、図２に示す第１実施形態の機能的構成と、図７に示す第２実施形態の機能的構成とを比較するに、ＡＦ検波部１５１内の機能的構成が異なる点が差異であり、その他の点は一致する。そこで、以下、このような差異点について主に説明し、一致点の説明は適宜省略する。

第２実施形態のＡＦ検波部１５１は、第１パス３０１と、第２パス３０２と、を備えている。

第２実施形態の第１パス３０１は、第１実施形態の第１パス１６１（図２）と同様にＹ生成部１７１を備えているのに加えて、さらに、第１実施形態では第２パス１６２に備えられていたＡＦ検波フィルタ部１７２も備えている。
このＡＦ検波フィルタ部１７２は、コントラストの強い部分、高周波成分の多い部分で大きな検波値をとるようなフィルタ、演算回路によって構成される。

第１パス３０１において、Ｙ生成部１７１は、ＣＭＯＳセンサ１１５から出力されて前処理部１１６を介して供給される画像信号から、ＡＦ検波の対象となる輝度成分を生成する。ＡＦ検波フィルタ部１７２は、Ｙ生成部１７１により生成された輝度成分から、上述した周波数成分（直流成分を除く）を抽出して、ＡＦ検波値としてＤＲＡＭ１１９に供給して一旦記憶させる。即ち、第２実施形態では、ＤＲＡＭ１１９は、ＡＦ検波フィルタ部１７２から画素単位で供給されるＡＦ検波値を、１フレーム分蓄積する。なお、このようなＡＦ検波値の１フレーム分からなるフレーム画像データ３１１を、以下、「ＡＦ検波値画像データ３１１」と呼ぶ。

このように、第１実施形態では、第１パス１６１からＡＦ用Ｙ画像データ２０４が出力されてＤＲＡＭ１１９に記憶されていたのに対して、第２実施形態では、第１パス３０１からＡＦ検波値画像データ３１１が出力されてＤＲＡＭ１１９に記憶される点で相違する。

このような相違点のため第１実施形態の第２パス１６２とは異なり、第２実施形態の第２パス３０２は、変形補正部３２１と、変座標供給部３２２と、を備えている。一方、第２実施形態の第２パス３０２は、第１実施形態の第１パス１６２と同様に、ブロック積分部１７３を備えている。

即ち、第２実施形態でＤＲＡＭ１１９に記憶されるＡＦ検波値画像データ３１１は、ＦＰＤ補正前座標系のフレーム画像データである。そこで、変形補正部３２１は、ＡＦ検波値画像データ３１１の座標系を、ＦＰＤ補正前座標系から、ＡＦ枠が設定されるＦＰＤ補正後座標系の座標、即ち変形補正後座標に変換する。変形補正後座標に変換されたＡＦ検波値画像データ３１１を構成する各ＡＦ検波値は、画素単位で走査方向の順番（以下、適宜「ラスタ順」と呼ぶ）でブロック積分部１７３に順次供給される。

変形座標供給部１７４は、変形補正部３２１からブロック積分部１７３に供給されるＡＦ検波値に対応する画素の画素位置、即ち注目画素位置を、変形後補正座標としてブロック積分部１７３に供給する。換言すると、変形座標供給部１７４は、変形補正後座標系におけるフレーム画像の各画素をラスタ順に順次注目画素に設定して、変形補正後座標系における注目画素の画素位置を、注目画素位置としてブロック積分部１７３に供給する。

この場合、変形補正部３２１は、詳細には、変形座標供給部１７４からブロック積分部１７３に対して変形補正後座標系（ＦＰＤ補正後座標系）で供給された注目画素位置について、そのＦＰＤ補正前座標系での位置（以下、「変形前座標」と呼ぶ）を算出する。ここで、変形補正部３２１は、算出した注目画素位置の変形前座標が小数部を含む場合には、最近傍の整数座標を、変形前座標として採用する。そして、変形補正部３２１は、ＡＦ検波値画像データ３１１を構成する各ＡＦ検波値のうち、変形前座標に対応するＡＦ検波値を、注目画素位置のＡＦ検波値としてＤＲＡＭ１１９から読み出して、ブロック積分部１７３に供給する。

ブロック積分部１７３は、変形補正部３２１から供給されたＡＦ検波値が、ＡＦ検波領域内の画素に対応するものであるか否かを、変形座標供給部３２２から供給された注目画素位置の変形補正後座標に基づいて判断する。

なお、このような第１パス３０１及び第２パス３０２からなるＡＦ検波部１５１を備える撮像装置１００が実行する処理のうち、ＡＦ処理の流れは、原則として、図４のフローチャート及び図５のタイミングチャートに従ったものになる。

ただし、第２実施形態のステップＳ３の処理では、ＡＦ用Ｙ画像データ２０４ではなく、ＡＦ検波値画像データ３１１の生成が完了する。また、第２実施形態のステップＳ６の処理では、座標補正量は変形補正部３２１や変形後座標供給部３２２に供給される。これにより、ステップＳ７の処理で第２パス３０２が起動し、ステップＳ８の処理で第２パス３０３が上述したように動作する。ステップＳ９以降の処理は、第１形態における処理と同様であるため、ここではその説明は省略する。

なお、本発明は上述の第１又は第２の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述した実施形態では、ＦＰＤの補正のみを処理対象としたが、図８（Ａ），（Ｂ）に示すように、いわゆる通常の手ぶれ補正も対象にすることができる。

図８（Ａ）、（Ｂ）は、手ぶれ補正のみを実行する場合における、ＡＦ枠（またはＡＦ検波領域）と、手ぶれ補正前ＹＵＶとの関係の従来と本発明の対比を示している。即ち、図８（Ａ）は、従来の撮像装置（図９参照）が手ぶれ補正のみを実行する場合における、ＡＦ枠５５と手ぶれ補正前ＹＵＶ５２との関係を示している。これに対して、図８（Ｂ）は、本発明が適用された撮像装置が手ぶれ補正のみを実行する場合における、ＡＦ枠２７１と手ぶれ補正前ＹＵＶ２０２との関係を示している。

なお、ここでは、補正対象は手ぶれ補正のみなので、図７までの説明において「ＦＰＤ」の語句を用いていた箇所は「手ぶれ補正」という語句に替えて説明する。上述したように、従来のＡＦ検波の対象は手ぶれ補正前ＲＡＷ５１であるが、図１２と同様の理由で、図８においては、手ぶれ補正前ＹＵＶ５２が図示されている。即ち、図８に示す手ぶれ補正前ＹＵＶ５２の意味は、手ぶれ補正後座標系に対して、ＡＦ検波が行われる手ぶれ補正前座標系を示すことにある。全く同様の理由で、本実施形態におけるＡＦ検波の対象は手ぶれ補正前ＲＡＷ２０１、より正確にはＡＦ用Ｙ画像データ２０４であるが、図８においては、手ぶれ補正前ＹＵＶ２０２が図示されている。即ち、図８に示す手ぶれ補正前ＹＵＶ２０２の意味は、手ぶれ補正後座標系に対して、ＡＦ検波が行われる手ぶれ補正前座標系を示すことにある。

即ち、従来においては、上述したように、ＡＦ枠５５が設定されるライブビュー画像（図８には図示せず）は、手ぶれ補正後座標系で表わされている。換言すると、ＡＦ枠５５は、手ぶれ補正後座標系で設定される。一方、ＡＦ検波は、図８（Ａ）に示す手ぶれ補正前ＹＵＶ５２の座標系、即ち、手ぶれ補正前座標系で行われる。しかしながら、図８（Ａ）に示すように、従来においては、手ぶれ補正後座標系のＡＦ枠５５に対応して実際のＡＦ検波領域が設定される。即ち、図８（Ａ）のＡＦ枠５５の配置位置が、実際のＡＦ検波領域の配置位置となる。これに対して、本来手ぶれ補正前座標系で設定されるべき理想的なＡＦ検波領域の配置位置は、後述する本発明が適用された図８（Ｂ）のＡＦ枠２７１の配置位置となる。このように、手ぶれ補正のみを行う場合にもＦＰＤ補正を行う場合と同様に、従来においては、実際のＡＦ検波領域と、理想的なＡＦ検波領域との間にズレが生じてしまうことになる。

これに対して、本発明に係る撮像装置として、図２や図７の構成の撮像装置１００に対して、ＦＰＤ補正部１５４の代わりに手ぶれ補正のみを実行する補正部を採用した構成の撮像装置であって、図４のステップＳ５の処理として、手ぶれ補正と同様に座標補正量を算出する撮像装置を採用することができる。この場合、図８（Ｂ）に示すように、手ぶれ補正後座標系で表現されるＡＦ枠に対応する、手ぶれ補正前座標系で表現される補正前ＡＦ枠２７１に対応して、ＡＦ検波領域として設定される。即ち、実際のＡＦ検波領域の配置位置も、理想的なＡＦ検波領域の配置位置である補正前ＡＦ枠２７１と一致することになる。このように、手ぶれ補正のみを行う場合にも本発明を適用することで、実際のＡＦ検波領域をより理想的な位置に設定することが可能になる。

また例えば、上述した実施形態では、撮像素子として、ＣＭＯＳ型の素子が採用されていた。しかしながら、本発明が適用可能な撮像素子は、これに限定されず、フォーカルプレーン方式が採用されている撮像素子であれば、任意の撮像素子を採用することができる。

また例えば、上述した実施形態では、Ｙ生成部１７１から画素単位で供給される輝度成分を、１フレーム分蓄積し、このような輝度成分の１フレーム分からなるフレーム画像データ２０４を、ＡＦ用Ｙ画像データ２０４としたが、Ｙ生成部１７１は、ＣＭＯＳ１２０の所定範囲分の輝度成分を画素単位で供給するようにしてもよい。即ち、予めＡＦ枠の配置位置が決まっているような場合、Ｙ生成部１７１は、その配置位置に対応する領域を含む所定領域分の輝度成分のみＡＦ用Ｙ画像データ２０４とするようにしてもよい。これにより、ＡＦ用Ｙ画像データ２０４の容量を小さくすることができ、処理を軽くすることができる。

また例えば、上述した実施形態では、本発明が適用される撮像装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、撮像機能を有する電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２２や、図示せぬハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１００・・・画像処理装置、１１１・・・光学レンズ装置、１１２・・・ＡＦ機構、１１３・・・シャッタ装置、１１４・・・アクチュエータ、１１５・・・ＣＭＯＳセンサ、１１６・・・前処理部、１１７・・・ＴＧ、１１８・・・信号処理部、１１９・・・ＤＲＡＭ、１２０・・・ＣＰＵ、１２１・・・ＲＡＭ、１２２・・・ＲＯＭ、１２３・・・表示制御部、１２４・・・表示部、１２５・・・操作部、１２６・・・メモリカード、１５１・・・ＡＦ検波部、１５２・・・定時計測部、１５３・・・ＹＵＶ生成部、１５４・・・ＦＰＤ補正部、１６１・・・第１パス、１６２・・・第２パス

Claims (6)

1. フォーカルプレーン方式により画像信号を出力する撮像手段と、
   前記撮像手段によって出力された画像信号の出力タイミングの違いにより生じる各ライン位置毎の座標補正量を算出し、この座標補正量に基づいて当該画像信号の歪みを補正する補正手段と、
   前記撮像手段によって出力された画像信号に対してＡＦ検波フィルタをかけることによって、ＡＦ検波信号を出力するＡＦ検波手段と、
   前記補正手段によって補正された画像信号に基づく画像にＡＦ枠を配置する配置手段と、
   前記ＡＦ検波手段から出力されたＡＦ検波信号のうちのＡＦ評価値を算出すべき画像信号を含む領域であって、前記配置手段により配置されたＡＦ枠に対応するＡＦ評価領域を設定する設定手段と、
   前記設定手段により設定されたＡＦ評価領域内の画像信号からＡＦ評価値を算出する算出手段と、
   を備え、
   前記設定手段はさらに、前記補正手段により算出された前記座標補正量に応じて、前記配置手段により配置されたＡＦ枠に対応するＡＦ評価領域を変形させる、
   ことを特徴とする撮像装置。
2. 前記ＡＦ検波手段から出力されたＡＦ検波信号を１フレーム分蓄積する蓄積手段を備え、
   前記配置手段は、前記ＡＦ枠の位置を変化させて配置し、
   前記設定手段は、前記蓄積手段に蓄積された１フレーム分のＡＦ検波信号のうちのＡＦ評価値を算出すべき画像信号を含む領域であって、前記配置手段により配置されたＡＦ枠に対応するＡＦ評価領域を設定する、
   ことを特徴する請求項１に記載の撮像装置。
3. 前記ＡＦ検波手段から出力されたＡＦ検波信号のうちの前記ＡＦ評価領域に対応するＡＦ検波信号のみを蓄積する蓄積手段を備え、
   前記配置手段は、予め決められた固定位置にＡＦ枠を配置し、
   前記設定手段は、前記蓄積手段に蓄積されたＡＦ検波信号を含む領域をＡＦ評価領域として設定する、
   ことを特徴する請求項１に記載の撮像装置。
4. 前記撮像手段は、ＣＭＯＳセンサで構成され、順次画像信号を出力し、
   前記配置手段によってＡＦ枠が配置された状態の画像信号を逐次表示する表示手段をさらに備える、
   ことを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. フォーカルプレーン方式により駆動する撮像部より出力される画像信号からＡＦ評価値を算出するＡＦ評価値算出方法であって、
   出力された画像信号の出力タイミングの違いにより生じる各ライン位置毎の座標補正量を算出し、この座標補正量に基づいて当該画像信号の歪みを補正する補正ステップと、
   前記撮像部によって出力された画像信号に対してＡＦ検波フィルタをかけることによって、ＡＦ検波信号を出力するＡＦ検波ステップと、
   前記補正ステップにて補正された画像信号に基づく画像にＡＦ枠を配置する配置ステップと、
   前記ＡＦ検波ステップにて出力された１フレーム分のＡＦ検波信号のうちのＡＦ評価値を算出すべき画像信号を含む領域であって、前記配置ステップにより配置されたＡＦ枠に対応するＡＦ評価領域を設定する設定ステップと、
   前記設定ステップにて設定されたＡＦ評価領域内の画像信号からＡＦ評価値を算出する算出ステップと、
   を含み、
   前記設定ステップはさらに、前記補正ステップにより算出された前記座標補正量に応じて、前記配置ステップにより配置されたＡＦ枠に対応するＡＦ評価領域を変形させる、
   ことを特徴とするＡＦ評価値算出方法。
6. フォーカルプレーン方式により駆動する撮像部を備える撮像装置を制御するコンピュータを、
   出力された画像信号の出力タイミングの違いにより生じる各ライン位置毎の座標補正量を算出し、この座標補正量に基づいて当該画像信号の歪みを補正する補正手段、
   前記撮像部によって出力された画像信号に対してＡＦ検波フィルタをかけることによって、ＡＦ検波信号を出力するＡＦ検波手段、
   前記補正手段によって補正された画像信号に基づく画像にＡＦ枠を配置する配置手段、
   前記ＡＦ検波手段から出力されたＡＦ検波信号のうちのＡＦ評価値を算出すべき画像信号を含む領域であって、前記配置手段により配置されたＡＦ枠に対応するＡＦ評価領域を設定する設定手段、
   前記設定手段により設定されたＡＦ評価領域内の画像信号からＡＦ評価値を算出する算出手段、
   として機能させ、
   前記設定手段はさらに、前記補正手段により算出された前記座標補正量に応じて、前記配置手段により配置されたＡＦ枠に対応するＡＦ評価領域を変形させる、
   ことを特徴とするプログラム。

Images