JP5256888B2

JP5256888B2 - オートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラム

Info

Publication number: JP5256888B2
Application number: JP2008171758A
Authority: JP
Inventors: 崇寺澤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-06-30
Filing date: 2008-06-30
Publication date: 2013-08-07
Anticipated expiration: 2028-06-30
Also published as: JP2010014741A

Description

本発明は、ＣＣＤ，ＣＭＯＳセンサなどの固体撮像素子を有する撮像装置のオートフォーカスの評価値を得るオートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラムに関するものである。

一般的に、カメラ等の撮像装置にはオートフォーカス装置（自動焦点装置）が搭載される。
オートフォーカス装置は、オートフォーカス（以下、単にＡＦという場合もある）を行うために必要となる焦点評価値を算出するオートフォーカス評価装置を含んで構成される。
このオートフォーカス評価方式として種々の技術が提案されている。

通常のＡＦアルゴリズムでは、合焦レンズが合焦位置に近いほど像のコントラストが高くなることに対応して、焦点評価値が極大(ピーク)となるレンズ位置を見つけて合焦レンズを駆動し、被写体に合焦させる。
ピーク位置の検出には、いわゆる山登り制御と呼ばれる手法が用いられる(たとえば特許文献１参照)。

上記ＡＦ評価値(焦点評価値)を算出する際に、水平方向の焦点評価値のみ、あるいは水平方向および垂直方向の焦点評価値を別々に算出する。このため、横縞のような模様の着衣の被写体やブラインドなど焦点を合わせるのが非常に困難であった。

そこで、垂直方向の焦点評価値と水平方向の焦点評価値を加算することにより、上述したような焦点を合わせることが困難な被写体に対しても効果的な焦点評価値が算出できるような技術が提案されている(特許文献２，３参照)。
特開２００４-２８００４８号公報特開昭６３-１７８６７４号公報特開平７-２８８７３３号公報

ところで、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ（ＣＩＳ）などの固体撮像素子は、高画素化が進んでいる。
このセンサ(CIS/CMOS)の高画素化に伴って、ビデオカメラおよびデジタルカメラではセンサ画素の間引き読み出し、具体的には、垂直方向間引き、および、または水平方向間引きを行うことが多々ある。

また、ハイフレームレートのビデオカメラやデジタルカメラでは、センサ画素を大幅に間引いて読み出している。
そのため、水平方向の画素同士の相関性、垂直方向の画素同士の相関性が大幅に崩れることにより、上記手法によって得られた水平方向および垂直方向の焦点評価値を単純に加算するだけでは常に効果的なオートフォーカスができないのが現状である。

本発明は、間引き読み出し等、状況に応じて効果的なオートフォーカスを行うことが可能なオートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラムを提供することにある。

本発明の第１の観点のオートフォーカス評価装置は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に関連する間引き読み出しの間引き率に連動してブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部と、を有し、上記ブレンド比設定部は、上記間引き率が高いほどブレンド比を低く設定し、画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する。

本発明の第２の観点の撮像装置は、被写体像を撮像する撮像素子と、上記撮像素子からの画像データを受けて、オートフォーカス評価値を得るオートフォーカス評価装置と、を有し、上記オートフォーカス評価装置は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に関連する間引き読み出しの間引き率に連動してブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部と、を含み、上記ブレンド比設定部は、上記間引き率が高いほどブレンド比を低く設定し、画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する。

好適には、上記方向エッジ成分検出部は、上記輝度算出部で算出された輝度データを基に、画素配列において、垂直方向についてエッジ検出を行い、垂直方向エッジ検出値を得る垂直方向エッジ成分検出部と、上記輝度算出部で算出された輝度データを基に、画素配列において、水平方向についてエッジ検出を行い、水平方向エッジ検出値を得る水平方向エッジ成分検出部と、を含む。

好適には、上記ブレンド比設定部は、上記垂直方向エッジ検出値を受けて、垂直方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、垂直方向エッジ検出値に設定したブレンド比を乗算する第１のブレンド比設定部と、上記水平方向エッジ検出値を受けて、水平方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、水平方向エッジ検出値に設定したブレンド比を乗算する第２のブレンド比設定部と、を含み、上記評価値取得部は、上記第１のブレンド比設定部による垂直方向エッジ検出値と上記第２のフレンド比設定部による水平方向エッジ検出値とを加算して焦点評価値を得る。

好適には、上記第１のブレンド比設定部は、垂直方向間引き読み出しに対して垂直方向のエッジ検出値のブレンド比を変更し、上記第２のブレンド比設定部は、水平方向間引き読み出しに対して水平方向のエッジ検出値のブレンド比を変更する。

本発明の第３の観点のオートフォーカス評価方法は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出ステップと、上記輝度算出ステップで算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出ステップと、上記方向エッジ成分検出ステップで検出されたエッジ検出値に基づく相関値に関連する間引き読み出しの間引き率に連動してブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定ステップと、上記ブレンド比設定ステップで得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得ステップと、を有し、上記ブレンド比設定ステップでは、上記間引き率が高いほどブレンド比を低く設定し、画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する。

本発明の第４の観点は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出処理と、上記輝度算出処理で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出処理と、上記方向エッジ成分検出処理で検出されたエッジ検出値に基づく相関値に関連する間引き読み出しの間引き率に連動してブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定処理と、上記ブレンド比設定処理で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得処理と、を含み、上記ブレンド比設定処理では、上記間引き率が高いほどブレンド比を低く設定し、画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更するオートフォーカス評価処理をコンピュータに実行させるプログラムである。

本発明によれば、輝度算出部において、所定サイズに配列された画像データを基に、所定サイズの輝度データが算出され、その結果が方向エッジ成分検出部に供給される。
方向エッジ成分検出部においては、輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出が行われ、方向に応じた複数のエッジ検出値が得られる。その複数のエッジ検出値はブレンド比設定部に供給される。
ブレンド比設定部においては、方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比が設定され、設定したブレンド比が対応するエッジ検出値に乗算される。
そして、評価値取得部において、ブレンド比設定部で得られた複数のエッジ検出値が合成されて焦点評価値が得られる。

本発明によれば、間引き読み出し等、状況に応じて効果的なオートフォーカスを行うことができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明の実施形態に係るオートフォーカス評価装置を適用した撮像装置の構成例を示すブロック図である。

本撮像装置１０は、図１に示すように、レンズ系１１、撮像素子１２、プリ処理部１３、オートフォーカス装置１４、オートフォーカス評価装置１５、およびカメラ信号処理部１６を有する。

レンズ系１１は、被写体像を撮像素子１２の撮像面に結像する。
レンズ系１１は、オートフォーカス装置１４により、フォーカスレンズの位置が自動調整される（オートフォーカス調整される）。

撮像素子１２は、ＣＣＤやＣＭＯＳイメージセンサにより形成され、複数の単位画素がマトリクス状に配列されている。
撮像素子１２は、その画素配列として、たとえば図２に示すようなベイヤ配列が採用される。
撮像素子１２は、通常の読み出しと画素の間引き読み出しが可能である

図３は、本実施形態に係る撮像素子１２の単位画素の構成例を示す回路図である。
図３は、本実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例を示している。

各画素１２０は、図３に示すように、たとえばフォトダイオードからなる光電変換素子１２１を有する。
そして、画素１２０は、この１個の光電変換素子１２１に対して、転送トランジスタ１２２、リセットトランジスタ１２３、増幅トランジスタ１２４、および選択トランジスタ１２５の４つのトランジスタを能動素子として有する。

光電変換素子１２１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。
転送トランジスタ１２２は、光電変換素子１２１とフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴｘを通じてそのゲート（転送ゲート）に制御信号である送信信号ＴＧが与えられる。
これにより、転送トランジスタ１２２は、光電変換素子１２１で光電変換された電子をフローティングディフュージョンＦＤに転送する。

リセットトランジスタ１２３は、電源ラインＬＶＤＤとフローティングディフュージョンＦＤとの間に接続され、リセット制御線ＬＲＳＴを通してそのゲートに制御信号であるリセット信号ＲＳＴが与えられる。
これにより、リセットトランジスタ１２３は、フローティングディフュージョンＦＤの電位を電源ラインＬＶＤＤの電位にリセットする。

フローティングディフュージョンＦＤには、増幅トランジスタ１２４のゲートが接続されている。増幅トランジスタ１２４は、選択トランジスタ１２５を介して信号線ＬＳＧＮに接続され、画素部外の定電流源１２６とソースフォロアを構成している。
そして、選択制御線ＬＳＥＬを通してアドレス信号に応じた制御信号である選択信号ＳＥＬが選択トランジスタ１２５のゲートに与えられ、選択トランジスタ１２５がオンする。
選択トランジスタ１２５がオンすると、増幅トランジスタ１２４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を信号線ＬＳＧＮに出力する。信号線ＬＳＧＮを通じて、各画素から出力された電圧は、カラム読み出し回路に出力される。
これらの動作は、たとえば転送トランジスタ１２２、リセットトランジスタ１２３、および選択トランジスタ１２５の各ゲートが行単位で接続されていることから、１行分の各画素について同時に行われる。

撮像素子１２は、画素アレイ部に配線されているリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬが一組として画素配列の各行単位で配線されている。
これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬは、図示しない垂直走査回路により駆動される。
また、信号線ＬＳＧＮは、ＣＤＳ回路（相関二重サンプリング回路）等を含むカラム読み出し回路に接続される。

プリ処理部１３は、撮像素子１２から読み出されたアナログ画素情報に対して標本化処理、量子化処理等を行い、アナログ信号からデジタル信号に変換（Ａ／Ｄ変換）して、生（ＲＡＷ）データをオートフォーカス評価装置１５およびカメラ信号処理部１６に出力する。

オートフォーカス装置１４は、オートフォーカス評価装置１５により得られる焦点評価値に応じてレンズ系１１のフォーカスレンズの位置を調整する（オートフォーカス調整する）。

オートフォーカス評価装置１５は、撮像素子１２から画像のＲＡＷデータを、プリ処理部１３を介して受け取り、オートフォーカスを行うために必要となるＡＦ評価値を算出する際、垂直方向および水平方向のエッジ検出結果に基づく相関値に応じてブレンド比（加算比率）を変えることにより、効果的なＡＦ評価値を算出する。
オートフォーカス評価装置１５は、たとえばセンサ画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに対し、水平方向および垂直方向のエッジ検出値のブレンド比（加算比率）を変えることにより、効果的なＡＦ評価値を算出する。

カメラ信号処理部１６は、プリ処理部１３の出力画像信号に対してカラー補間、ホワイトバランス、圧縮等の処理を行う。

以下、本実施形態に係るオートフォーカス評価装置１５の構成および機能についてさらに詳細に説明する。

図４は、本実施形態に係るオートフォーカス評価装置の構成例を示すブロック図である。

図４のオートフォーカス評価装置１５は、ディレイライン１５１、輝度算出回路１５２、垂直方向エッジ成分検出回路１５３、水平方向エッジ成分検出回路１５４、第１のブレンド比設定回路１５５、第２のブレンド比設定回路１５６、および加算器１５７を有する。
加算器１５７は、焦点評価値取得部を構成する。

ディレイライン１５１は、撮像素子１２によるプリ処理部１３を介した画像のＲＡＷデータを受け取り、４×４サイズに展開する。

輝度算出回路１５２は、ディレイライン１５１による４×４のデータを基に、輝度を算出し、３×３の輝度データを得る。
輝度算出回路１５２は、算出した輝度データを信号Ｓ１５２として垂直方向エッジ成分検出回路１５３および水平方向エッジ成分検出回路１５４に出力する。

垂直方向エッジ成分検出回路１５３は、輝度算出回路１５２で算出された３×３の輝度データを受けて、画素配列において、垂直（縦）方向ＶＤについてエッジ検出を行い、垂直方向エッジ検出値ＶＥを第１のブレンド比設定回路１５５に出力する。

水平方向エッジ成分検出回路１５４は、輝度算出回路１５２で算出された３×３の輝度データを受けて、画素配列において、水平（横）方向ＨＤについてエッジ検出を行い、水平方向エッジ検出値ＨＥを第２のブレンド比設定回路１５６に出力する。

第１のブレンド比設定回路１５５は、垂直方向エッジ検出値ＶＥを受けて、垂直方向エッジ加算値ＶＥＢのブレンド比（加算比率）Ｖαを設定する。
この加算比率Ｖαは０より大きく１までの値、すなわち０＜Ｖα≦１に設定可能である。
第１のブレンド比設定回路１５５は、垂直方向エッジ検出値ＶＥに設定した加算比率Ｖαを乗算し、その結果を垂直方向エッジ検出値ＶＥＢとして加算器１５７に出力する。

第２のブレンド比設定回路１５６は、水平方向エッジ検出値ＨＥを受けて、水平方向エッジ加算値ＨＥＢのブレンド比（加算比率）Ｈαを設定する。
この加算比率Ｈαは０より大きく１までの値、すなわち０＜Ｖα≦１に設定可能である。
第２のブレンド比設定回路１５６は、水平方向エッジ検出値ＨＥに設定した加算比率Ｈαを乗算し、その結果を水平方向エッジ検出値ＨＥＢとして加算器１５７に出力する。

一般的に、エッジ検出値としては、値が小さい方が画像の相関性が高く、値が大きい方が画像の相関性が低い。換言すれば、エッジ検出値が大きい場合にはそのエッジを境界として相関性の低い画像が隣接していることとなる。
そこで、第１および、または第２のブレンド比設定回路１５５，１５６は、たとえば撮像素子１２の間引き読み出し時に相関性が低くなる可能性が高いことから、この間引き読み出し方法の間引き率に連動して加算比率Ｖα、Ｈαを設定するように構成される。
たとえば、２／４間引き読み出しの場合の加算比率は０．５、２／８間引き読み出しの場合の加算比率は０．２５となる。
あるいは、第１および、または第２のブレンド比設定回路１５５，１５６は、たとえば方向エッジ検出値ＶＥ、ＨＥと相関閾値ＶＴとを比較して任意の加算比率Ｖα，Ｈαを設定するように構成することも可能である。
たとえば、方向エッジ検出値ＶＥ，ＨＥと相関閾値ＶＴとに差分に応じてリニアに設定することも可能であり、大小比較により選択的に加算比率Ｖα，Ｈαを設定することも可能である。

加算器１５７は、第１のブレンド比設定回路１５５による垂直方向エッジ検出値ＶＥＢと第２のブレンド比設定回路１５６による水平方向エッジ検出値ＨＥＢとを合成（加算）して、焦点評価値を算出する。
この焦点評価値に応じてオートフォーカス装置１４によりレンズ系１１のフォーカスレンズの位置調整が行われる。

次に、本実施形態のオートフォーカス評価装置１５を構成する輝度算出回路１５２、垂直方向エッジ成分検出回路１５３、水平方向エッジ成分検出回路１５４、並びに第１および第２のブレンド比設定回路１５５，１５６の具体的な処理について説明する。

図５は、４×４のベイヤ配列に対応する図であって、輝度算出回路１５２の処理を説明するための図である。

輝度算出回路１５２は、図５に示すように、４×４のＲＡＷデータを基に、画素配列の上下左右に隣接した４画素（Ｒ，Ｇｒ，Ｇｂ，Ｂ）をそれぞれ加算することによって３×３の輝度データを得る。

例１［Ｒ:Ｇ:Ｂ=１:２:１］
Ｙ0＝（Ｒ＋（Ｇｒ＋Ｇｂ）＋Ｂ）／４

例２［Ｒ:Ｇ:Ｂ=３:６:１］
Ｙ0＝（３Ｒ＋（３Ｇｒ＋３Ｇｂ）＋Ｂ）／１０

他の輝度も同様に算出するため、ここではその説明を省略する。
なお、輝度算出方法は必ずしもこれに限定されるものではない。

図６は、本実施形態に係る垂直方向エッジ成分検出回路１５３のエッジ成分検出処理を説明するための図である。

垂直方向エッジ成分検出回路１５３は、図６に示すように、輝度検出回路１５２によって出力される３ライン（３×３）の輝度データを用いて垂直方向のエッジ成分を検出する。
垂直方向エッジ成分検出回路１５３は、たとえば図６に示すように、垂直方向の３つ輝度データを用いて下記式を実現するＦＩＲフィルタでエッジ成分を検出する。

例：（−１，２，−１）ＦＩＲフィルタ
Ｖ0＝（−Ｙ00＋２Ｙ01−Ｙ02）／４
Ｖ1＝（−Ｙ10＋２Ｙ11−Ｙ12）／４
Ｖ2＝（−Ｙ20＋２Ｙ21−Ｙ22）／４

なお、エッジ検出方法は必ずしもこれに限定されるものではない。

図７は、本実施形態に係る水平方向エッジ成分検出回路１５４のエッジ成分検出処理を説明するための図である。

水平方向エッジ成分検出回路１５４は、図７に示すように、輝度検出回路１５２によって出力される３ライン（３×３）の輝度データを用いて水平方向のエッジ成分を検出する。
水平方向エッジ成分検出回路１５４は、たとえば図７に示すように、水平方向の３つ輝度データを用いて下記式を実現するＦＩＲフィルタでエッジ成分を検出する。

例：（−１，２，−１）ＦＩＲフィルタ
Ｈ0＝（−Ｙ00＋２Ｙ10−Ｙ20）／４
Ｈ1＝（−Ｙ01＋２Ｙ11−Ｙ21）／４
Ｈ2＝（−Ｙ02＋２Ｙ12−Ｙ22）／４

第１および第２のブレンド比設定回路１５５，１５６は、たとえば撮像素子１２の間引き読み出し方法に連動して、垂直方向および水平方向のエッジ検出値の加算比率Ｖα、Ｈαを設定する。

図８は、本実施形態において垂直方向の間引き読み出しの場合について説明するための図である。

この場合、図８（Ａ）は水平方向の読み出し時の画素配列を示し、図８（Ｂ）は垂直方向の非間引き読み出し時の相関性についての説明図を示し、図８（Ｃ）は垂直方向の間引き読み出し時の相関性についての説明図を示している。
図８（Ｄ）は図８（Ａ）の場合のレンズ移動距離とエッジ検出値との関係を示し、図８（Ｅ）は図８（Ｂ）の場合のレンズ移動距離とエッジ検出値との関係を示し、図８（Ｆ）は図８（Ｃ）の場合のレンズ移動距離とエッジ検出値との関係を示している。
図８（Ｇ）は図８（Ｄ）と図８（Ｅ）に関する信号を加算器で加算した場合のエッジ特徴の反映状態を示し、図８（Ｈ）は図８（Ｄ）と図８（Ｆ）に関する信号を加算器で加算した場合のエッジ特徴の反映状態を示している。

図８（Ｂ）の例においては、垂直方向の非間引き読み出しであることから、図８（Ｅ）に示すように、相関性が高く、この場合エッジ検出値が小さい。
これに対して、図８（Ｃ）では垂直方向の間引き読み出しであることから、読み出さない行がある。したがって、この場合、図８（Ｆ）に示すように、相関性が低く、エッジ検出値が大きい。
すなわち、本例のように垂直方向の間引き呼び出しについて考えると、間引くことにより画素間の相関が大きく崩れてしまう。
したがって、図８（Ｄ）、（Ｅ）に示すような相関性の高い水平方向のエッジ検出値と非間引き時のエッジ検出値を加算器１５７で加算した場合、図８（Ｇ）に示すように、水平方向および垂直方向にエッジ特徴を反映できる。
一方、相関性の高い水平方向のエッジ検出値と、図８（Ｆ）に示す相関性の低い、間引き読み出し時のエッジ検出値を加算器１５７で加算した場合、図８（Ｈ）に示すように、被写体の垂直方向および水平方向のエッジ成分を完全に反映した検波結果が得られない。

図９は、本実施形態において垂直方向の間引き読み出しの場合のブレンド比（加算率）の設定について説明するための図である。

この場合、図９（Ａ）は水平方向の読み出し時の画素配列を示し、図９（Ｂ）は垂直方向の間引き読み出し時の相関性について示している。
図９（Ｃ）は図９（Ａ）の場合のレンズ移動距離とエッジ検出値との関係を示し、図９（Ｄ）は図９（Ｂ）の場合のレンズ移動距離とエッジ検出値との関係を示している。
図９（Ｅ）は図９（Ｃ）の信号と図９（Ｄ）の信号のブレンド比を乗算した信号とを加算器で加算した場合のエッジ特徴の反映状態を示している。

図９（Ｂ）に示すように、間引くことにより画素間の相関が大きく崩れている場合であってもブレンド比Ｖαを設定することにより被写体の水平方向および垂直方向のエッジ特徴を効果的に抽出した検波結果が得られる。
相関性の高い水平方向のエッジ検出値と、間引き読み出し時のエッジ検出値にブレンド比Ｖαを乗算した信号を加算器１５７で加算した場合、図９（Ｅ）に示すように、被写体の水平方向および垂直方向のエッジ特徴を効果的に抽出した検波結果が得られるようになる。

次に、上記構成によるオートフォーカス評価動作を図１０のフローチャートに関連付けて説明する。

撮像素子１２の撮像画像は、プリ処理部１３で所定の処理を受けてデジタル画像信号としてオートフォーカス評価装置１５に入力される。
オートフォーカス評価装置１５においては、ＲＡＷデータを受け取り、ディレイライン１４１によって４×４サイズに展開する（ＳＴ１）。
次に、４×４のデータを基に、輝度算出回路１５２において３×３の輝度データを得る（ＳＴ２）。
この３×３の輝度データを用いて垂直方向エッジ成分検出回路１５３よって画素配列において、垂直（縦）方向ＶＤについてエッジ検出を行い、垂直方向エッジ検出値ＶＥを得て第１のブレンド比設定回路１５５に出力する(ＳＴ３)。
同様に、３×３の輝度データを用いて水平方向エッジ成分検出回路１５４によって画素配列において、水平（横）方向ＨＤについてエッジ検出を行い、水平方向エッジ検出値ＨＥを得て第２のブレンド比設定回路１５６に出力する(ＳＴ４)。
次に、垂直方向エッジ検出値ＶＥを受けて、第１のブレンド比設定回路１５５が、垂直方向エッジ加算値ＶＥＢの加算比率Ｖαを設定し、加算比率を乗算した垂直方向エッジ検出値を加算器１５７に出力する（ＳＴ５）。
同様に、水平方向エッジ検出値ＨＥを受けて、第２のブレンド比設定回路１５６が、水平方向エッジ加算値ＨＥＢの加算比率Ｈαを設定し、加算比率を乗算した水平方向エッジ検出値を加算器１５７に出力する（ＳＴ６）。
る。
そして、加算器１５７が、第１のブレンド比設定回路１５５による垂直方向エッジ検出値ＶＥＢと第２のブレンド比設定回路１５６による水平方向エッジ検出値ＨＥＢとを加算して、焦点評価値を算出する（ＳＴ７）。

以上説明したように、本実施形態によれば、オートフォーカス評価装置１５においては、ディレイライン１５１は、撮像素子１２によるプリ処理部１３を介した画像のＲＡＷデータを受け取り、４×４サイズに展開する。
輝度算出回路１５２が、ディレイライン１５１による４×４のデータを基に、３×３の輝度データを得る。
垂直方向エッジ成分検出回路１５３が、輝度算出回路１５２で算出された３×３の輝度データを受けて、画素配列において、垂直（縦）方向ＶＤについてエッジ検出を行い、垂直方向エッジ検出値ＶＥを得る。
水平方向エッジ成分検出回路１５４が、輝度算出回路１５２で算出された３×３の輝度データを受けて、画素配列において、水平（横）方向ＨＤについてエッジ検出を行い、水平方向エッジ検出値ＨＥを得る。
第１のブレンド比設定回路１５５が、垂直方向エッジ検出値ＶＥを受けて、垂直方向エッジ加算値ＶＥＢの加算比率Ｖαを設定し、垂直方向エッジ検出値ＶＥに設定した加算比率Ｖαを乗算する。
第２のブレンド比設定回路１５６が、水平方向エッジ検出値ＨＥを受けて、水平方向エッジ加算値ＨＥＢの加算比率Ｈαを設定し、水平方向エッジ検出値ＨＥに設定した加算比率Ｈαを乗算する。
そして、加算器１５７で垂直方向エッジ検出値ＶＥＢと水平方向エッジ検出値ＨＥＢとを加算して、焦点評価値を算出する。
したがって、本実施形態によれば、以下の効果を得ることができる。

すなわち、輝度を算出して、水平方向および垂直方向のエッジ成分を算出するため、横縞模様やブラインドを含めた様々な被写体に対して効果的なオートフォーカス性能が得られる。
撮像素子の間引き読み出し方法によって、水平方向の検波値と垂直方向の検波値のブレンド加算比を変えることにより、間引き読み出し時にも水平・垂直双方のエッジ特徴を抽出した検波値を算出できる。
ハイフレームレートを実現するために、画素読み出しを大幅に間引いた場合にも効果的なオートフォーカス性能が得られる。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

本発明の実施形態に係るオートフォーカス評価装置を適用した撮像装置の構成例を示すブロック図である。画素配列例としてベイヤ配列を示す図である。本実施形態に係る撮像素子の単位画素の構成例を示す回路図である。本実施形態に係るートフォーカス評価装置の構成例を示すブロック図である。４×４のベイヤ配列に対応する図であって、輝度算出回路の処理を説明するための図である。本実施形態に係る垂直方向エッジ成分検出回路のエッジ成分検出処理を説明するための図である。本実施形態に係る水平方向エッジ成分検出回路のエッジ成分検出処理を説明するための図である。本実施形態において垂直方向の間引き読み出しの場合について説明するための図である。本実施形態において垂直方向の間引き読み出しの場合のブレンド比（加算率）の設定について説明するための図である。本実施形態の動作を説明するためのフローチャートである。

符号の説明

１０・・・撮像装置、１１・・・レンズ系、１２・・・撮像素子、１３・・・プリ処理部、１４・・・オートフォーカス装置、１５・・・オートフォーカス評価装置、１５１・・・ディレイライン、１５２・・・輝度算出回路、１５３・・・垂直方向エッジ成分検出回路、１５４・・・水平方向エッジ成分検出回路、１５５・・・第１のブレンド比設定回路、１５６・・・第２のブレンド比設定回路、１５７・・・加算器、１６・・・カメラ信号処理部。

Claims

所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、
上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、
上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に関連する間引き読み出しの間引き率に連動してブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、
上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部と、を有し、
上記ブレンド比設定部は、
上記間引き率が高いほどブレンド比を低く設定し、
画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する
オートフォーカス評価装置。
上記方向エッジ成分検出部は、
上記輝度算出部で算出された輝度データを基に、画素配列において、垂直方向についてエッジ検出を行い、垂直方向エッジ検出値を得る垂直方向エッジ成分検出部と、
上記輝度算出部で算出された輝度データを基に、画素配列において、水平方向についてエッジ検出を行い、水平方向エッジ検出値を得る水平方向エッジ成分検出部と、を含む
請求項１記載のオートフォーカス評価装置。
上記ブレンド比設定部は、
上記垂直方向エッジ検出値を受けて、垂直方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、垂直方向エッジ検出値に設定したブレンド比を乗算する第１のブレンド比設定部と、
上記水平方向エッジ検出値を受けて、水平方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、水平方向エッジ検出値に設定したブレンド比を乗算する第２のブレンド比設定部と、を含み、
上記評価値取得部は、
上記第１のブレンド比設定部による垂直方向エッジ検出値と上記第２のフレンド比設定部による水平方向エッジ検出値とを加算して焦点評価値を得る
請求項２記載のオートフォーカス評価装置。
上記第１のブレンド比設定部は、垂直方向間引き読み出しに対して垂直方向のエッジ検出値のブレンド比を変更し、
上記第２のブレンド比設定部は、水平方向間引き読み出しに対して水平方向のエッジ検出値のブレンド比を変更する
請求項３記載のオートフォーカス評価装置。
被写体像を撮像する撮像素子と、
上記撮像素子からの画像データを受けて、オートフォーカス評価値を得るオートフォーカス評価装置と、を有し、
上記オートフォーカス評価装置は、
所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、
上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、
上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に関連する間引き読み出しの間引き率に連動してブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、
上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部と、を含み、
上記ブレンド比設定部は、
上記間引き率が高いほどブレンド比を低く設定し、
画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する
撮像装置。
上記方向エッジ成分検出部は、
上記輝度算出部で算出された輝度データを基に、画素配列において、垂直方向についてエッジ検出を行い、垂直方向エッジ検出値を得る垂直方向エッジ成分検出部と、
上記輝度算出部で算出された輝度データを基に、画素配列において、水平方向についてエッジ検出を行い、水平方向エッジ検出値を得る水平方向エッジ成分検出部と、を含む
請求項５記載の撮像装置。
上記ブレンド比設定部は、
上記垂直方向エッジ検出値を受けて、垂直方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、垂直方向エッジ検出値に設定したブレンド比を乗算する第１のブレンド比設定部と、
上記水平方向エッジ検出値を受けて、水平方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、水平方向エッジ検出値に設定したブレンド比を乗算する第２のブレンド比設定部と、を含み、
上記評価値取得部は、
上記第１のブレンド比設定部による垂直方向エッジ検出値と上記第２のフレンド比設定部による水平方向エッジ検出値とを加算して焦点評価値を得る
請求項６記載の撮像装置。
上記第１のブレンド比設定部は、垂直方向間引き読み出しに対して垂直方向のエッジ検出値のブレンド比を変更し、
上記第２のブレンド比設定部は、水平方向間引き読み出しに対して水平方向のエッジ検出値のブレンド比を変更する
請求項７記載の撮像装置。
所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出ステップと、
上記輝度算出ステップで算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出ステップと、
上記方向エッジ成分検出ステップで検出されたエッジ検出値に基づく相関値に関連する間引き読み出しの間引き率に連動してブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定ステップと、
上記ブレンド比設定ステップで得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得ステップと、を有し、
上記ブレンド比設定ステップでは、
上記間引き率が高いほどブレンド比を低く設定し、
画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する
オートフォーカス評価方法。
所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出処理と、
上記輝度算出処理で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出処理と、
上記方向エッジ成分検出処理で検出されたエッジ検出値に基づく相関値に関連する間引き読み出しの間引き率に連動してブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定処理と、
上記ブレンド比設定処理で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得処理と、を含み、
上記ブレンド比設定処理では、
上記間引き率が高いほどブレンド比を低く設定し、
画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する
オートフォーカス評価処理をコンピュータに実行させるプログラム。