JP6202843B2 - 撮像装置 - Google Patents

Description

本発明は、撮像光学系により結像された被写体像を光電変換する撮像素子により取得された画像信号を使用して、焦点調整を行うデジタルスチルカメラ、デジタルビデオカメラ、携帯電話に搭載される撮像装置に関するものである。

従来からユーザーが手動でフォーカスレンズ位置を指定して撮影ができるマニュアルフォーカス（ＭＦ）モードを備えた撮像装置がある。このＭＦモードには、ユーザが指定したフォーカスレンズ位置を含む微小範囲においてオートフォーカス（ＡＦ）を行うことでピント合わせを補助する機能（以下、セーフティＭＦと呼ぶ）を備えたものがある。

一方、撮像素子から得られる輝度信号の高域周波数成分（以下、焦点評価値と呼ぶ）が最大になるレンズ位置を合焦位置とする方式を用いたＡＦにおける苦手シーンの一つとして、高輝度被写体がある。通常の被写体では、図１２（ａ）に示すようにピント位置からデフォーカスすると被写体像がぼけていきコントラストが低下するため、被写体ピント位置で焦点評価値が最大になる。

しかし、高輝度被写体では、図１２（ｂ）に示すように、被写体のピント位置から所定量デフォーカスした位置までは輝度値が飽和したまま被写体像が広がるため、ピント位置で焦点評価値が最大とならない。また焦点評価値の算出の仕方によっては、被写体ピント位置で谷になるような焦点評価値形状となってしまうため正確なピント位置を検出することができない。これにより高輝度被写体においては、ユーザーによる手動でのピント合わせのあとに前述したセーフティＭＦを行ってもを合焦性能を補助することができない。

これまでに、高輝度被写体に対して正確な合焦動作が行うことができる自動合焦装置が提案されている（特許文献１）。これは、撮像画面の映像信号の低輝度部あるいは中輝度部の面積を比較することにより高輝度被写体の判定を行い、一般的な被写体の場合の合焦動作はコントラスト信号を用いて行い、高輝度被写体の場合には高輝度信号の面積が小さくなるように合焦動作を行うというものである。

また、高輝度被写体において適正露出でＡＦサーチ動作後に合焦位置を検出できなかった場合には、適正露出よりも露光量を減らして再びＡＦサーチ動作を行うことで輝度値の飽和を回避し、正確な合焦制御を可能にする方法が提案されている（特許文献２）。

特登録３１０５３３４号公報 特開２００２−１９６２２０号公報

特許文献１の方法は、高輝度被写体のみで主被写体が構成される場合は良いが、高輝度被写体と、照明された通常被写体が混在すると、正確な焦点調節ができなくなる場合がある。また、特許文献２の方法においては、高輝度被写体の影響によって合焦位置ではない位置を合焦位置と誤判定してしまうことが根本の問題であるため、合焦位置が検出できない場合に対策を行っても意味がない。さらに、適正露出と適正より低い露出の複数回のＡＦサーチを行うとＡＦに要する時間が長くなってしまったり、適正より低い露出にするため見栄えが悪くなるなどの問題点もある。

本発明の目的は、高輝度被写体を含んでいても高輝度被写体に適したセーフティＭＦを行うことによって、ユーザーのピント合わせの補助を可能とし、合焦性能を向上させることができる撮像装置を提供することである。

そこで、本発明では、フォーカスレンズを含む撮影光学系で結像された被写体像を撮像する撮像素子と、手動操作に基づいて前記フォーカスレンズを移動させることが可能なマニュアルフォーカス手段と、前記マニュアルフォーカス手段によるマニュアルフォーカスが実行された後に前記マニュアルフォーカスにて移動された前記フォーカスレンズの位置を基準とし、前記撮像素子から出力された画像データに基づいて焦点検出領域のコントラストを示す焦点評価値を算出し、前記焦点評価値に応じて前記フォーカスレンズの位置を調節する自動焦点調節手段と、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在しているか否かを判定する判定手段と、を有し、前記自動焦点調節手段は、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合に、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合よりも、前記焦点評価値のサンプリング間隔及び前記焦点評価値をサンプリングする際の前記フォーカスレンズの移動範囲の少なくとも一つを広げる構成とした。

高輝度被写体を含んだ撮影シーンにおいてもセーフティＭＦでユーザのピントを合わせの補助をすることで合焦性能を向上することができるようになる。

本発明の実施例を適用した撮像装置の構成を示すブロック図である。 本発明の実施例を適用した撮像装置の動作を説明するフローチャート図である。 本発明の実施例を適用した図２における高輝度被写体判定を説明するフローチャート図である。 本発明の実施例を適用した図３におけるヒストグラムＹｐ及びＭＭ算出を説明するフローチャート図である。 本発明の実施例を適用した図２におけるセーフティＭＦ動作を説明するフローチャート図である。 本発明の実施例を適用した図５におけるＡＦスキャンを説明するフローチャート図である。 本発明の実施例を適用した図５における通常合焦判定を説明するフローチャート図である。 本発明の実施例を適用した図５における高輝度被写体合焦判定を説明するフローチャート図である。 図７及び図８における合焦判定のしかたを説明する図である。 高輝度被写体における低域の焦点評価値ピーク形状を説明する図である。 高輝度被写体における高域の焦点評価値ピーク形状を説明する図である。 高輝度被写体が焦点評価値に与える影響を説明する図である。

以下、図１〜図１１を参照しながら本発明の実施例を説明する。図１は本発明の実施例を適用した電子カメラの構成を示すブロック図である。

１０１はズーム機構を含む撮影光学系としての撮影レンズ、１０２は光量を制御する絞り及びシャッター、１０３はＡＥ処理部、１０４は後述する撮像素子上に焦点をあわせるためのフォーカスレンズ、１０５はフォーカスレンズを駆動するモータ、１０６はＡＦ処理部、１０７は被写体からの反射光を電気信号に変換する受光手段又は光電変換手段としての撮像素子、１０８は撮像素子１０７の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部、１０９は画像処理部、１１０はフォーマット変換部である。

撮像素子１０７は、フォーカスレンズを含む撮影光学系で結像された被写体像を撮像する。

１１１は高速な内蔵メモリ（例えばランダムアクセスメモリなど、以下ＤＲＡＭと記す）、１１２はメモリーカードなどの記録媒体とそのインターフェースからなる画像記録部、１１３は撮影シーケンスなどシステムを制御するシステム制御部（以下、ＣＰＵと記す）、１１４は画像表示用メモリ（以下ＶＲＡＭと記す）、１１５は画像表示の他、操作補助のための表示やカメラ状態の表示の他、撮影時には撮影画面と、測距領域を表示する画像表示部、１１６はカメラを外部から操作するための操作部である。

ＣＰＵ１１３は、撮像素子から出力された画像データに基づいて予め設定された焦点検出領域のコントラストを示す焦点評価値を算出する焦点評価値算出手段としての機能を有する。

ＣＰＵ１１３は、焦点評価値がピーク位置となるように前記フォーカスレンズの位置を調整する自動焦点調節手段としての機能を有する。

焦点評価値算出手段は、抽出する帯域の異なる複数のフィルタで複数の焦点評価値を算出している。

ＣＰＵ１１３は、マニュアルフォーカス手段によるマニュアルフォーカスが実行された後に指示手段による指示に応じて前記マニュアルフォーカスにて移動したフォーカスレンズの位置を基準として自動焦点調節を実行する実行手段としての機能を有する。

ＣＰＵ１１３は、焦点検出領域内に所定値よりも高い輝度の被写体が存在しているか否かを判定する判定手段としての機能を有する。

１１７は、マクロモード、遠景モード、ＭＦモードなどの撮影モードを選択するための撮影モードスイッチ、１１８はシステムに電源を投入するためのメインスイッチ、１１９はＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ（以下ＳＷ１と記す）、１２０はＳＷ１の操作後、撮影を行う撮影スイッチ（以下ＳＷ２と記す）である。

１１１のＤＲＡＭは、一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリなどに使用される。前記１１６の操作部は、例えば次のようなものが含まれる。撮像装置の撮影機能や画像再生時の設定、各撮影モードの詳細設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、ＭＦモード時にユーザーが手動でフォーカスレンズの動作を行えるフォーカスレンズ動作ボタン、撮影モードと再生モードの動作モード切換えスイッチなどである。前記１１７の撮影モードスイッチは、ユーザーが選択した撮影モードに応じて測距距離範囲やＡＦ動作などを変更するようになっている。

以下、本発明の実施例の動作について図２〜図１１を用いて詳細に説明する。まず、Ｓ２０１では、ＡＥ処理部１０３で画像処理部１０９の出力からＡＥ処理を行ってＳ２０２へと進む。Ｓ２０２では、ＳＷ１の状態を調べ、ＯＮであればＳ２０３へ進み、そうでなければＳ２０１へ進む。Ｓ２０３では、後述する高輝度被写体判定を行ったあとＳ２０４へ進む。Ｓ２０４では現在設定されている撮影モードがＭＦモードかどうかを判定して、ＭＦモードであればＳ２０５へ進み、そうでなければＳ２０７へ進む。Ｓ２０５では現在設定されている撮影モードがセーフティＭＦモードかどうかを調べ、セーフティＭＦモードであればＳ２０６へ進み、そうでなければＳ２０８へ進む。Ｓ２０６では後述するセーフティＭＦ動作を行いＳ２０８へ進む。

ここで、セーフティＭＦ動作中の露出条件（シャッター速度、絞り、感度）は、直前のＳ２０１のＡＥ処理で決定する。Ｓ２０７では通常のＡＦ動作を行ったあとＳ２０８へ進む。ここで通常のＡＦ動作においては、Ｓ２０３での高輝度御被写体判定の結果に基づいて制御を変えてもよいが、本発明の主眼点とは異なるため詳細な動作は省略する。Ｓ２０８では、ＳＷ１の状態を調べ、ＯＮであればＳ２０９へ進み、そうでなければＳ２０１へ進む。Ｓ２０９では、ＳＷ２の状態を調べ、ＯＮであればＳ２１０へ進み、そうでなければＳ２０８へ進む。Ｓ２１０では、撮影動作を行ったあと、Ｓ２０１へ進む。

図３は、図２におけるＳ２０３の高輝度被写体判定を説明するフローチャートである。

まず、Ｓ３０１では、被写体輝度（Ｂｖ値）に応じた高輝度被写体判定パラメータを設定してＳ３０２へ進む。ここで、高輝度被写体判定パラメータ（定数）の設定においては、高輝度被写体を領域内に含んでいるという判定を、暗いほどしやすいように設定する。領域内に高輝度被写体を含むと判定する条件は、低輝度部が多く、高輝度部がある程度存在し、高輝度部が非常に明るく、コントラストが高いという条件である。

具体的に、高輝度被写体を含むと判定するのは、以下の（１）〜（４）を全て満たした場合である。
（１）低輝度画素数（NumBlightLow）と、高輝度画素数（NumBlightHigh）の和が所定画素数（NumHighLowPixs）より多い。
（２）高輝度画素数（NumBlightHigh）が所定画素数（NumHighPixs）より多い。
（３）領域内の高輝度部の値を表すヒストグラムYpが所定値（Yp0）より大きい。
（４）領域内のコントラストを表すヒストグラムMMが所定値（MM0）より大きい。

そこでBv値が小さくなるほど、これらの条件が緩くなるようにする。すなわち、NumHighLowPixs、NumHighPixsはBv値が小さくなるほど小さい値にする。Yp0は輝度によらず同じ値とするが、MM0は誤判定を避けるためBv値が小さくなるほど大きな値となるように設定する。また、高輝度とみなす値（BlightHigh）、低輝度とみなす値（BlightLow）の値は、Bv値が小さくなるほど、高輝度被写体を含むと判定されやすくなるように設定する。

各判定パラメータは、Ｂｖ値に応じて例えば以下のように設定する。
[１] Bv値 ≧ ０ の場合
高輝度被写体を含むと判定しないため、判定パラメータは設定しない。
[２] ０ ＞ Bv値 ≧ −２ の場合
NumHighLowPixs = 領域内の総画素数の７０％（１画素未満は四捨五入）
NumHightPixs = 領域内の総画素数の１％（１画素未満は四捨五入）
Yp0 = 240
MM0 = 160
BlightHigh = 235
BlightLow = 100
[３] −２ ＞ Bv値 ≧ −３ の場合
NumHighLowPixs = 領域内の総画素数の６０％（１画素未満は四捨五入）
NumHightPixs = 領域内の総画素数の０．９％（１画素未満は四捨五入）
Yp0 = 240
MM0 = 170
BlightHigh = 230
BlightLow = 80
[４] −３ ＞ Bv値 の場合
NumHighLowPixs = 領域内の総画素数の５０％（１画素未満は四捨五入）
NumHightPixs = 領域内の総画素数の０．８％（１画素未満は四捨五入）
Yp0 = 240
MM0 = 180
BlightHigh = 225
BlightLow = 60

ただし、これらは輝度値の範囲を０〜２５５とした場合の数値である。これらと異なる組み合わせであっても、暗いほど高輝度被写体を領域内に含むと判定しやすいような設定であれば構わない。

Ｓ３０２では、該当枠内のヒストグラムを取得してＳ３０３へ進む。ここで言うヒストグラムとは、枠内の画素について、一画素ごとに輝度値を測定し、各輝度値の画素がいくつ存在するかを算出する処理である。例えばＡ／Ｄ変換された後の輝度値が０〜２５５になる場合、輝度値０〜２５５のそれぞれにおいて画素が何画素あるかを求める処理である。また、該当枠の領域は、例えば、後述する図５のＳ５０１の測距領域と同じ領域に設定する。

Ｓ３０３では、Ｓ３０１で取得したヒストグラムから、所定輝度値（ＢｌｉｇｈｔＬｏｗ）より低い輝度値の画素数（ＮｕｍＢｌｉｇｈｔＬｏｗ）を算出してＳ３０４へ進む。Ｓ３０４では、Ｓ３０１で取得したヒストグラムから、所定輝度値（ＢｌｉｇｈｔＨｉｇｈ）より高い輝度値の画素数（ＮｕｍＢｌｉｇｈｔＨｉｇｈ）を算出してＳ３０５へ進む。Ｓ３０５では、後述するヒストグラムＹｐ及びヒストグラムＭＭの算出を行ってＳ３０６へ進む。Ｓ３０６では、ＮｕｍＢｌｉｇｈｔＬｏｗとＮｕｍＢｌｉｇｈｔＨｉｇｈの和がＮｕｍＨｉｇｈｔＬｏｗＰｉｘｓよりも大きいかどうかを調べ、大きければＳ３０７へ進む、そうでなければＳ３１１へ進む。Ｓ３０７では、ＮｕｍＢｌｉｇｈｔＨｉｇｈがＮｕｍＨｉｇｈＰｉｘｓよりも大きいかどうかを調べ、大きければＳ３０８へ進み、そうでなければＳ３１１へ進む。

Ｓ３０８では、Ｓ３０５で算出したヒストグラムＹｐが、所定値Ｙｐ０よりも大きいかどうかを調べ、大きければＳ３０９へ進み、そうでなければＳ３１１へ進む。Ｓ３０９では、Ｓ３０５で算出したヒストグラムＭＭが所定値ＭＭ０よりも大きいかどうかを調べ、大きければＳ３１０へ進み、そうでなければＳ３１１へ進む。Ｓ３１０では、該当枠内に高輝度被写体を含んでいると判定して本フローを終了し、Ｓ２０４へ進む。Ｓ３１１では、該当枠内に高輝度被写体を含んでないと判定して本フローを終了し、Ｓ２０４へ進む。

図４は、図３におけるＳ３０５のヒストグラムＹｐ及びヒストグラムＭＭの算出を説明するフローチャート図である。まず、Ｓ４０１では、Ｓ３０２においてヒストグラムを取得した該当枠内の総画素数（ＮｕｍＨｉｓｔＰｉｘｌｓ）を算出してＳ４０２へ進む。Ｓ４０２では、有効とみなす画素数の閾値であるＴｈｒＮｕｍＨｉｓｔを、Ｓ４０１で算出したＮｕｍＨｉｓｔＰｉｘｌｓと、有効とみなす画素数の割合（比率）ＴｈｒＲａｔｉｏの積を取ることで算出してＳ４０３へ進む。ここで、有効とみなす画素数の閾値とは、ノイズなどの本来は存在しない輝度値が存在する場合にそれを除外するための閾値であり、この閾値に満たない画素数の輝度値は、後述するヒストグラムＹｐ及びヒストグラムＭＭの算出には用いないようにする。

Ｓ４０３では、輝度値を０に初期化し、輝度値０から有効な輝度値であるか否かの判定を開始してＳ４０４へ進む。Ｓ４０４では、判定する輝度値の画素数がｈｒＮｕｍＨｉｓｔよりも大きいかとどうかを調べ、大きければＳ４０５へ進み、そうでなければＳ４０７へ進む。Ｓ４０５では、Ｓ４０４で判定した輝度値を有効輝度値とみなしてＳ４０７へ進む。Ｓ４０７では、輝度値が２５５となったかどうかを調べ、そうであればＳ４０８へ進み、そうでなければＳ４０６へ進む。Ｓ４０６では、判定する輝度値をインクリメントしてＳ４０４へ進む。このＳ４０４〜Ｓ４０７の処理を、輝度値を更新しながら繰り返すことで、輝度値０〜２５５全てにおいて、有効輝度値かどうかを判定することができる。

Ｓ４０８では、有効輝度値の最大値と最小値を算出してＳ４０９へ進む。Ｓ４０９では、有効輝度値の最大値をヒストグラムＹｐとしてＳ４１０に進む。Ｓ４１０では、有効輝度値の最大値と最小値の差をヒストグラムＭＭとして本フローを終了し、Ｓ３０６へ進む。

図５は、図２におけるＳ２０６のセーフティＭＦ動作を説明するフローチャートである。まず、Ｓ５０１では、画面内の所定の領域に測距領域を設定してＳ５０２へ進む。所定の領域は、例えば中央に画面の１８％のサイズの１枠で設定する。Ｓ５０２では、Ｂｖ値がＢｖＴｈｒ１以上かどうかを調べ、そうであればＳ５０４へ進み、そうでなければ、Ｓ５０３へ進む。ここで、ＢｖＴｈｒ１は、前述したＳ３０１での高輝度被写体の判定パラメータと対応するように、例えばＢｖＴｈｒ１＝０と設定する。また、Ｂｖ値がＢｖＴｈｒ１以上であれば、測距領域内に高輝度被写体が存在しないと判断して通常のセーフティＭＦを行うフローへと進む。

Ｓ５０３では、Ｓ２０３で高輝度被写体判定を行った該当枠（Ｓ５０１で設定した測距領域と同じ領域）内に高輝度被写体が存在するかどうか（つまりＳ２０３の判定結果）を調べ、高輝度被写体が存在すると判定されていればＳ５０７へ進み、そうでなければＳ５０４へ進む。Ｓ５０４では、通常のセーフティＭＦの設定１を行ってＳ５０５へ進む。

ここで、セーフティＭＦの設定項目として、スキャン間隔、スキャン点数、焦点評価値を算出する際のバンドパスフィルタ（ＢＰＦ）の帯域がある。通常セーフティＭＦ設定１の設定の仕方は、例えば、スキャン間隔＝２．３深度、スキャン点数＝５点、ＢＰＦ帯域＝高域または低域（所定輝度よりも明るい場合は高域、暗い場合は低域）とする。

これは、被写体が暗い場合はＳ／Ｎが悪化してノイズ成分が増えるため、ノイズによる高周波数帯域成分を除去するために低周波数帯域のＢＰＦ設定を行う。ＭＦモードであるため、できるだけライブ画像でピント合わせの補助によるピント変動が目立たないようにスキャン間隔とスキャン点数を決定する。

Ｓ５０５では後述するＡＦスキャンを行ったあとＳ５０６へ進む。Ｓ５０６では後述する通常合焦判定を行ったあとＳ５１２へ進む。Ｓ５０７では、Ｂｖ値がＢｖＴｈｒ２未満かどうかを調べ、そうであればＳ５０９へ進み、そうでなければ、Ｓ５０８へ進む。ここで、ＢｖＴｈｒ２は、前述したＳ３０１での高輝度被写体の判定パラメータと対応するように、例えば、ＢｖＴｈｒ２＝−３と設定する。Ｂｖ値がＢｖＴｈｒ２以上であれば、高輝度被写体と照明された通常被写体が混在していると判断して、その状況に適したセーフティＭＦを行うフローへと進み、Ｂｖ値がＢｖＴｈｒ２未満であれば、暗中に高輝度被写体があると判断して、高輝度被写体に最も適したセーフティＭＦを行うフローへと進む。

Ｓ５０８では、高輝度被写体と照明された通常被写体が混在していると判断して、その状況に適したセーフティＭＦ設定２を行ったあと、Ｓ５１０へ進む。ここで、高輝度セーフティＭＦ設定２の設定の仕方は、例えば、スキャン間隔＝２．３深度、スキャン点数＝５点、ＢＰＦ帯域＝低域とする。Ｓ５０９では、暗中に高輝度被写体があると判断して、高輝度被写体に最も適したセーフティＭＦ設定３を行ったあと、Ｓ５１０へ進む。ここで、高輝度セーフティＭＦ設定３の設定の仕方は、例えば、スキャン間隔＝４．６深度、スキャン点数＝５点、ＢＰＦ帯域＝高域とする。

次に、この設定を行う理由について説明する。前述の背景技術で説明したように、高輝度被写体の場合、低域の焦点評価値は図１０に示すようにピント位置で最大とならずに谷のような形状となる。また、輝度信号（Ｙｉ）も図１０に示すように同様の形状となるため、低域の焦点評価値をＹｉで正規化すると谷のような形状は若干改善される。Ｙｉの正規化の仕方は、例えば焦点評価値を取得したフォーカスレンズ位置と同じ位置で取得したＹｉでそれぞれを除算する方法を用いる。しかし、低域の焦点評価値をＹｉで正規化してもピント位置が検出できるほどには改善されない。

これに対して、高域の焦点評価値では、低域の焦点評価値と比較して、図１１（ａ）に示すようにピント位置で谷の形状になりづらい傾向にある。これは、輝度値の飽和により被写体像の輝度値が不連続となることで高周波成分が生じ、この高周波成分がピント位置付近で増大することによると推測される。この高域の焦点評価値をさらにＹｉで正規化すると、図１１（ｂ）に示すようにピーク位置で最大となる。また、高輝度被写体の場合、通常の被写体よりも焦点評価値のピーク形状がブロードになるため、通常のスキャン範囲よりも広げることでピークの形状を判断しやすくなる。そのため、通常のスキャン間隔よりも広い設定としている。

Ｓ５１０では、後述するＡＦスキャンを行ったあと、Ｓ５１１へ進む。Ｓ５１１では、後述する高輝度被写体合焦判定を行ったあと、Ｓ５１２へ進む。Ｓ５１２では、後述するＳ５０６またはＳ５１１で決定される撮影位置へフォーカスレンズを移動して本フローを終了し、Ｓ２０８へ進む。

図６は、図５におけるＳ５０５とＳ５１０のＡＦスキャンを説明するフローチャート図である。Ｓ６０１では、現在のフォーカス位置を記憶してＳ６０２へ進む。ここで記憶したフォーカス位置は、後述する撮影位置に使用される場合に必要となる。Ｓ６０２では、現在のフォーカス位置と、前述したＳ５０４、Ｓ５０８、Ｓ５０９のいずれかで設定したスキャン間隔及びスキャン点数からＡＦスキャン範囲を算出して設定し、Ｓ６０３へ進む。Ｓ６０３では、Ｓ６０２で設定したＡＦスキャン範囲のうちの端であるＡＦスキャン開始位置へフォーカスレンズを移動してＳ６０４へ進む。

ここで、端は遠側の端または近側の端のどちらでもよい。Ｓ６０４では、所定の速度で所定方向にフォーカスレンズの移動を開始してＳ６０５へ進む。ここで、所定の速度は、現在のフレームレートとスキャン間隔より算出する。また、所定方向はＳ６０２で設定したＡＦスキャン範囲を走査する方向とする。Ｓ６０５では、Ｓ５０１で設定した測距領域内の焦点評価値を取得してＳ６０６へ進む。ここで、焦点評価値の算出においては、高域のＢＰＦを用いた出力（ＴＥＳ）、低域のＢＰＦを用いた出力（ＦＥＳ）の２つを出力し、Ｓ５０４、Ｓ５０８、Ｓ５０９での設定に応じてどちらの焦点評価値を使用するかを決定する。

ＢＰＦ設定においては、例えばＴＥＳはナイキスト周波数の５０％、ＦＥＳはナイキスト周波数の２０％となるようなＢＰＦ係数を設定する。Ｓ６０６では現在のフォーカスレンズの位置を取得してＳ６０７へ進む。Ｓ６０７では、Ｓ６０６で取得した現在のフォーカスレンズの位置がＳ６０２で設定したスキャン範囲内にあるかどうかを調べ、スキャン範囲内にあればＳ６０５へ進み、そうでなければＳ６０８へ進む。ここで、Ｓ６０５〜Ｓ６０７の一連の動作は、現在のフレームレートの１フレーム分の時間で行われる。

また、Ｓ６０５で取得した焦点評価値とＳ６０６で取得したレンズ位置を対応付け、後述するＳ７０９、Ｓ８０８の焦点評価値のピーク位置算出で用いる。その際、焦点評価値を取得中にフォーカスレンズは駆動しているため、露光時間の中心のタイミングでのフォーカスレンズの位置を算出して焦点評価値と対応付ける。Ｓ６０８ではフォーカスレンズを停止して本フローを終了し、Ｓ５０６またはＳ５１１へ進む。

図７は、図５におけるＳ５０６の通常合焦判定を説明するフローチャート図である。まずＳ７０１では、焦点評価値を輝度信号（Ｙｉ）で正規化してＳ７０２へ進む。Ｓ７０２では、焦点評価値の最大値（Ｍａｘ）と最小値（Ｍｉｎ）を算出してＳ７０３へ進む。Ｓ７０３では、焦点評価値が最大となるスキャンポイント（ＭａｘＰｏｉｎｔ）を算出してＳ７０４へ進む。Ｓ７０４では、スキャンポイント、焦点評価値から、山の形状を判断する為の傾斜している部分の長さＬ、傾斜ＳＬを求め、ＳＬ／Ｌを算出してＳ７０５へ進む。

Ｓ７０５では、山の形状が至近側登り止まりかを判断する。至近側登り止まりだと判断するのは、焦点評価値が最大値となるスキャンポイントがスキャンを行った所定範囲における近端であり、かつ近端のスキャンポイントにおける焦点評価値の値と、近端のスキャンポイントより１ポイント分無限遠よりのスキャンポイントにおける焦点評価値の値の差が、所定値以上である場合である。至近側への登り止まりだと判断した場合は、Ｓ７１３へ進み、そうでなければＳ７０６へ進む。Ｓ７０６では山の形状が無限遠側への登り止まりかを判断する。

無限遠側への登り止まりだと判断するのは、焦点評価値の最大値となるスキャンポイントがスキャンを行った所定範囲における無限遠端であり、かつ無限遠端スキャンポイントにおける焦点評価値の値と、無限遠端スキャンポイントより１ポイント分至近端よりのスキャンポイントにおける焦点評価値の値の差が、所定値以上である場合である。無限遠側への登り止まりだと判断した場合は、Ｓ７１１へ進み、そうでなければＳ７０７へ進む。

Ｓ７０７では一定値以上の傾きで傾斜している部分の長さＬが所定値以上であり、かつ傾斜している部分の傾斜の平均値ＳＬ／Ｌが所定値以上であり、かつ焦点評価値の最大値（Ｍａｘ）と最小値（Ｍｉｎ）の差が所定値以上であれば、Ｓ７０８へ進み、そうでなければＳ７１１へ進む。Ｓ７０８では得られた焦点評価値が山状となっていて、被写体にコントラストがあり、焦点調節が可能である為、判定結果を○判定としてＳ７０９へ進む。

Ｓ７１１では、得られた焦点評価値が山状となっておらず、被写体にコントラストがなく、焦点調節が不可能であるため判定結果を×判定としてＳ７１２へ進む。Ｓ７１３では得られた焦点評価値が山状となってはいないが、近端方向に登り続けている状態となっており、さらに至近側に被写体ピークが存在している可能性があるため判定結果を△判定としてＳ７１４へ進む。

以下、図９を用いてピーク形状の判定の仕方の詳細を説明する。焦点評価値は遠近競合などの場合を除けば、横軸にフォーカスレンズ位置、縦軸に焦点評価値をとると、その形は図９に示すような山状になる。そこで焦点評価値の、最大値と最小値の差、一定値（ＳｌｏｐｅＴｈｒ）以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から、山の形状を判断することにより、合焦判定を行うことができる。

合焦判定における判定結果は、以下に示すように○判定、×判定、△判定で出力される。
○判定：被写体のコントラストが十分、かつスキャンした距離範囲内の距離に被写体が存在する。
×判定：被写体のコントラストが不十分、もしくはスキャンした距離範囲外の距離に被写体が位置する。

また、×判定のうち、至近側方向のスキャンした距離範囲外に被写体が位置する場合を△判定とする。

山の形状を判断する為の、一定値以上の傾きで傾斜している部分の長さＬ、傾斜している部分の勾配ＳＬ／Ｌを、図９を用いて説明する。

山の頂上（Ａ点）から傾斜が続いていると認められる点をＤ点、Ｅ点とし、Ｄ点とＥ点の幅を山の幅Ｌとする。傾斜が続いていると認める範囲は、Ａ点から、所定量（ＳｌｏｐｅＴｈｒ）以上、焦点評価値が下がったスキャンポイントが続く範囲とする。スキャンポイントとは、連続的にフォーカスレンズを動かして、スキャン開始点から、スキャン終了点まで移動する間に、焦点評価値を取得するポイントの事である。

Ａ点とＤ点の焦点評価値の差ＳＬ１とＡ点とＥ点の焦点評価値の差ＳＬ２の和ＳＬ１＋ＳＬ２をＳＬとする。以上のようにピークの形状判定を行う。

Ｓ７０９では、ピーク位置を算出してＳ７１０へ進む。Ｓ７１０では、Ｓ７０９で算出したピーク位置を撮影位置として設定し、本フローを終了してＳ５１２へ進む。Ｓ７１２では、Ｓ６０１で記憶しているフォーカスレンズ位置（つまり元のフォーカスレンズ位置）を撮影位置として設定し、本フローを終了してＳ５１２へ進む。Ｓ７１４では近側に登り止まった位置を撮影位置として設定し、本フローを終了してＳ５１２へ進む。

図８は、図５におけるＳ５１１の高輝度被写体合焦判定を説明するフローチャート図である。Ｓ８０１では、焦点評価値を輝度信号（Ｙｉ）で正規化してＳ８０２へ進む。Ｓ８０２では、焦点評価値の最大値（Ｍａｘ）と最小値（Ｍｉｎ）を算出してＳ７０３へ進む。Ｓ８０３では、焦点評価値が最大となるスキャンポイント（ＭａｘＰｏｉｎｔ）を算出してＳ８０４へ進む。Ｓ８０４では、スキャンポイント、焦点評価値から、山の形状を判断する為の傾斜している部分の長さＬ、傾斜ＳＬを求め、ＳＬ／Ｌを算出してＳ８０５へ進む。

Ｓ８０５では、山の形状が至近側登り止まりかを判断する。至近側登り止まりだと判断するのは、焦点評価値が最大値となるスキャンポイントがスキャンを行った所定範囲における近端であり、かつ近端のスキャンポイントにおける焦点評価値の値と、近端のスキャンポイントより１ポイント分無限遠よりのスキャンポイントにおける焦点評価値の値の差が、所定値以上である場合である。至近側への登り止まりだと判断した場合は、Ｓ８１２へ進み、そうでなければＳ８０６へ進む。

Ｓ８０６では山の形状が無限遠側への登り止まりかを判断する。無限遠側への登り止まりだと判断するのは、焦点評価値の最大値となるスキャンポイントがスキャンを行った所定範囲における無限遠端であり、かつ無限遠端スキャンポイントにおける焦点評価値の値と、無限遠端スキャンポイントより１ポイント分至近端よりのスキャンポイントにおける焦点評価値の値の差が、所定値以上である場合である。無限遠側への登り止まりだと判断した場合は、Ｓ８１２へ進み、そうでなければＳ８０７へ進む。

Ｓ８０７では一定値以上の傾きで傾斜している部分の長さＬが所定値以上であり、かつ傾斜している部分の傾斜の平均値ＳＬ／Ｌが所定値以上であり、かつ焦点評価値の最大値（Ｍａｘ）と最小値（Ｍｉｎ）の差が所定値以上であれば、Ｓ８０８へ進み、そうでなければＳ８１２へ進む。Ｓ８０８では、ピーク位置を検出してＳ８０９へ進む。Ｓ８０９では、ピーク位置が通常のセーフティＭＦのスキャン範囲内にあるかどうかを判定し、範囲内にあればＳ８１０へ進み、そうでなければＳ８１２へ進む。

Ｓ８１０では得られた焦点評価値が山状となっていて、被写体にコントラストがあり、焦点調節が可能である為、判定結果を○判定としてＳ８１１へ進む。Ｓ８１２では、得られた焦点評価値が山状となっておらず、被写体にコントラストがなく、焦点調節が不可能であるため判定結果を×判定としてＳ８１３へ進む。ここで、Ｓ８０５において、近端方向に登り続けている状態となっている場合についての合焦判定について説明する。通常被写体における合焦判定では、さらに至近側に被写体ピークが存在している可能性があるため判定結果を△判定としていたが、高輝度被写体においては誤測距の可能性があるため×判定としている。

また、Ｓ８０７において合焦可能なピーク形状であると判定されたとしても、高輝度被写体では通常セーフティＭＦのスキャン範囲よりも広いため、通常セーフティＭＦのスキャン範囲外で誤測距してしまうと、通常のセーフティＭＦよりも、ピントがずれてしまうため、×判定としている。

本発明では、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合の焦点評価値と焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合の焦点評価値を異ならている。

本発明では、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合と焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合で、焦点評価値のサンプリング間隔及び実行手段による自動焦点調節で移動するフォーカスレンズの移動範囲及び焦点評価値を用いた合焦判定方法の少なくとも１つを異ならせている。

本発明では、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合に、焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合よりも高い周波数帯域の焦点評価値を使用して自動焦点調節を行っている。

本発明では、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合に、焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合よりも焦点評価値のサンプリング間隔及び実行手段による自動焦点調節で移動するフォーカスレンズの移動範囲を広げている。

本発明では、実行手段は、焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定されたとき、フォーカスレンズの移動範囲内の端で焦点評価値が登り止まった端の位置を合焦位置とする合焦判定方法を用い、焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定されたとき、フォーカスレンズの移動範囲内の端で焦点評価値が登り止まった場合には前記マニュアルフォーカスにて移動したフォーカスレンズの位置を合焦位置とする合焦判定方法を用いている。

本発明では、実行手段は、焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合において、焦点評価値のピーク位置が検出できたとしても、焦点評価値のピーク位置が焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合に設定されるフォーカスレンズの移動範囲の範囲外にあったとき、マニュアルフォーカスにて移動したフォーカスレンズの位置を合焦位置とする合焦判定方法を用いている。

本発明では、自動焦点調節は、焦点評価値を輝度信号で正規化した焦点評価値を用いている。

本発明では、実行手段は、所定の輝度値よりも暗いとき、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合の焦点評価値と前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合の焦点評価値を異ならせている。

本発明では、実行手段は、第１の輝度値よりも暗いとき、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合と焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合で、焦点評価値のサンプリング間隔及び実行手段による自動焦点調節で移動するフォーカスレンズの移動範囲及び焦点評価値を用いた合焦判定方法の全てを異ならせている。

本発明では、実行手段は、指示手段による指示時の輝度値が第１の輝度値と前記第１の輝度値よりも明るい第２の輝度値の間にあるとき、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合と焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合で焦点評価値を用いた合焦判定方法のみを異ならせている。

（コンピュータの説明）
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

本発明の実施形態としての携帯電話機も適用できる。

本実施形態の携帯電話機は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。

画像の撮影に本発明の図５の形態が適用できる。

携帯電話機の通信部は、ユーザが契約した通信キャリアに従う通信方式により他の電話機との間で音声データや画像データを通信する。音声処理部は、音声通話時において、マイクロフォンからの音声データを発信に適した形式に変換して通信部に送る。

１０１ 撮影レンズ
１０２ 絞り及びシャッター
１０３ ＡＥ処理部
１０４ フォーカスレンズ
１０５ モータ
１０６ ＡＦ処理部
１０７ 撮像素子
１０８ Ａ／Ｄ変換部
１０９ 画像処理部
１１０ フォーマット変換部
１１１ ＤＲＡＭ
１１２ 画像記録部
１１３ システム制御部
１１４ ＶＲＡＭ
１１５ 画像表示部
１１６ 操作部
１１７ 撮影モードスイッチ
１１８ メインスイッチ
１１９ 撮影スタンバイスイッチ
１２０ 撮影スイッチ

Claims (7)

1. フォーカスレンズを含む撮影光学系で結像された被写体像を撮像する撮像素子と、
   手動操作に基づいて前記フォーカスレンズを移動させることが可能なマニュアルフォーカス手段と、
   前記マニュアルフォーカス手段によるマニュアルフォーカスが実行された後に前記マニュアルフォーカスにて移動された前記フォーカスレンズの位置を基準として、前記撮像素子から出力された画像データに基づいて焦点検出領域のコントラストを示す焦点評価値を算出し、前記焦点評価値に応じて前記フォーカスレンズの位置を調節する自動焦点調節手段と、
   前記焦点検出領域内に所定値よりも高い輝度の被写体が存在しているか否かを判定する判定手段と、を有し、
   前記自動焦点調節手段は、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合に、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合よりも、前記焦点評価値のサンプリング間隔及び前記焦点評価値をサンプリングする際の前記フォーカスレンズの移動範囲の少なくとも一つを広げることを特徴とする撮像装置。
2. 前記自動焦点調節手段は、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合に、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合よりも、高い周波数帯域の焦点評価値を使用して前記フォーカスレンズの位置を調節することを特徴とする請求項１に記載の撮像装置。
3. 前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合であって、前記フォーカスレンズの移動範囲内の端で前記焦点評価値が登り止まった場合には、前記フォーカスレンズの移動範囲内の端の位置を合焦位置とする合焦判定方法を用い、
   前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合であって、前記フォーカスレンズの移動範囲内の端で前記焦点評価値が登り止まった場合には、前記マニュアルフォーカスにて移動された前記フォーカスレンズの位置を合焦位置とする合焦判定方法を用いることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合に、前記焦点評価値がピークとなるフォーカスレンズ位置が検出できたとしても、前記焦点評価値がピークとなるフォーカスレンズ位置が前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合に設定される前記フォーカスレンズの移動範囲の範囲外にあったとき、前記マニュアルフォーカスにて移動された前記フォーカスレンズの位置を合焦位置とする合焦判定方法を用いることを特徴とする請求項１又は２に記載の撮像装置。
5. 前記自動焦点調節は、前記焦点評価値を輝度信号で正規化した焦点評価値に応じて、前記フォーカスレンズの位置を調節することを特徴とする請求項１乃至４の何れか一項に記載の撮像装置。
6. 前記判定手段は、前記撮影光学系で結像された被写体像の輝度が第１の輝度値と前記第１の輝度値よりも明るい第２の輝度値の間にあるか、前記撮影光学系で結像された被写体像の輝度が前記第１の輝度値以下であるかを更に判定し、
   前記自動焦点調節手段は、前記撮影光学系で結像された被写体像の輝度が前記第１の輝度値以下であると判定された場合に、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合よりも、前記焦点評価値のサンプリング間隔及び前記焦点評価値をサンプリングする際の前記フォーカスレンズの移動範囲の少なくとも一つを広げることを特徴とする請求項１に記載の撮像装置。
7. フォーカスレンズを含む撮影光学系で結像された被写体像を撮像する撮像素子を備えた撮像装置の制御方法であって、
   手動操作に基づいて前記フォーカスレンズを移動させることが可能なマニュアルフォーカスステップと、
   前記マニュアルフォーカスステップによるマニュアルフォーカスが実行された後に前記マニュアルフォーカスにて移動された前記フォーカスレンズの位置を基準とし、前記撮像素子から出力された画像データに基づいて焦点検出領域のコントラストを示す焦点評価値を算出し、前記焦点評価値に応じて前記フォーカスレンズの位置を調節する自動焦点調節ステップと、
   前記焦点検出領域内に所定値よりも高い輝度の被写体が存在しているか否かを判定する判定ステップと、を有し、
   前記自動焦点調節ステップでは、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合に、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合よりも、前記焦点評価値のサンプリング間隔及び前記焦点評価値をサンプリングする際の前記フォーカスレンズの移動範囲の少なくとも一つを広げるように制御することを特徴とする撮像装置の制御方法。

Images