以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。
本発明においては、撮像装置(例えば、図3の撮像装置50)の光学素子(例えば、図3のフォーカスレンズ61やウォブリングレンズ62)を駆動させて被写体を撮像する際のフォーカス位置を調整する駆動部(例えば、図3のAF駆動部51)の制御に関する処理を実行する制御装置(例えば、図3のAF制御部53)が提供される。この制御装置では、撮像装置により撮像される撮像画像を構成する画素の輝度値の積分値を算出する積分値算出手段(例えば、図4のフィールド内輝度積分値算出部131)と、第1の時間範囲に撮像された撮像画像について算出された積分値と、第1の時間範囲とは異なる第2の時間範囲に撮像された撮像画像について算出された積分値との変化の割合を表す積分変化量を算出する積分変化量算出手段(例えば、図4の区間別輝度積分平均値算出部133乃至正規化部136)と、安定モードまたは不安定モードに設定されるモードが安定モードに設定されている場合、積分変化量が安定モード用に設定された閾値よりも大きいときには、モードを安定モードから不安定モードに変更し、モードが不安定モードに設定されている場合、積分変化量が不安定モード用に設定された閾値よりも小さいときには、モードを不安定モードから安定モードに変更するモード変更手段(例えば、モード更新部145)と、モードが不安定モードから安定モードに変更されたことに対応して、駆動部を制御してフォーカス位置を制御するフォーカス位置制御処理を実行する実行手段(例えば、図3のAF制御処理部83)と、モードが安定モードに設定されている場合にフォーカス位置制御処理を実行するか否かを判定するための算出値に基づいて、フォーカス位置制御処理を実行するか否かを判定する判定手段(例えば、図12の評価値変化検出部231や、図16の輝度積分値変化検出部301)とを備え、実行手段は、モードが安定モードに設定されている場合にフォーカス位置制御処理を実行すると判定されたことに対応して、モードが安定モードである場合にもフォーカス位置制御処理を実行する。
前記積分変化量算出手段は、前記第1の時間範囲に撮像された複数の撮像画像それぞれについて算出された積分値の平均値、および前記第2の時間範囲に撮像された複数の撮像画像それぞれについて算出された積分値の平均値を算出する平均値算出手段(例えば、図4の区間別輝度積分平均値算出部133)と、前記第1の時間範囲における積分値の平均値と、前記第1の時間範囲よりも1つだけ過去の時間範囲である前記第2の時間範囲における積分値の平均値との差分値を算出する差分値算出手段(例えば、図4の差分値算出部135)と、前記差分値を、前記第1の時間範囲に撮像された複数の撮像画像のうち、最後に撮像された撮像画像について算出された積分値と前記時間範囲の長さで正規化し、前記積分変化量とする正規化手段(例えば、図4の正規化部136)とを有するようにすることができる。
算出値として、撮像画像上の被写体に生じているぼけの度合いを評価するための評価値を算出する評価値算出手段(例えば、図12の評価値算出部211)をさらに備え、判定手段は、評価値に基づいてフォーカス位置制御処理を実行するか否かを判定するようにすることができる。
前記判定手段は、時間範囲毎に、時間範囲に撮像される複数の撮像画像それぞれの評価値を加算して得られる合計値を算出する評価値加算演算手段(例えば、図12の評価値加算演算部241)と、不安定モードから安定モードに変更されたことに対応して、不安定モードから安定モードに変更される際に算出されている最新の合計値を基準合計値として保持する基準合計値保持手段(例えば、図12の基準加算結果保持部242)と、モードが安定モードに設定されている場合に、評価値加算演算手段により算出される合計値と、基準合計値保持手段に保持されている基準合計値に基づいて、基準合計値に対する合計値の変動率を算出する評価値変動率算出手段(例えば、図12の評価値変動率算出部243)と、変動率に基づいて、フォーカス位置制御処理を実行するか否かを判定する評価値変動率判定手段(例えば、図12の評価値変動率判定部244)とを有するようにすることができる。
前記判定手段は、積分値算出手段により算出される積分値を取得する積分値取得手段(例えば、図16の最新フィールド内輝度積分値取得部311)と、不安定モードから安定モードに変更されたことに対応して、不安定モードから安定モードに変更される際に取得されている最新の積分値を基準積分値として保持する基準積分値保持手段(例えば、図16の基準フィールド内輝度積分値保持部312)と、モードが安定モードに設定されている場合に、積分値取得手段により取得される積分値と、基準積分値保持手段により保持されている基準積分値に基づいて、基準積分値に対する積分値の変動率を算出する積分値変動率算出手段(例えば、図16の輝度積分値変動率算出部313)と、変動率に基づいて、フォーカス位置制御処理を実行するか否かを判定する輝度積分値変動率判定手段(例えば、図16の輝度積分値変動率判定部314)とを有するようにすることができる。
本発明においては、撮像装置(例えば、図3の撮像装置50)の光学素子(例えば、図3のフォーカスレンズ61やウォブリングレンズ62)を駆動させて被写体を撮像する際のフォーカス位置を調整する駆動部(例えば、図3のAF駆動部51)の制御に関する処理を実行する制御装置(例えば、図3のAF制御部53)の制御方法が提供される。この制御方法においては、撮像装置により撮像される撮像画像を構成する画素の輝度値の積分値を算出する積分値算出ステップ(例えば、図9のステップS21)と、第1の時間範囲に撮像された撮像画像について算出された積分値と、第1の時間範囲とは異なる第2の時間範囲に撮像された撮像画像について算出された積分値との変化の割合を表す積分変化量を算出する積分変化量算出ステップ(例えば、図9のステップS22乃至ステップS24)と、安定モードまたは不安定モードに設定されるモードが安定モードに設定されている場合、積分変化量が安定モード用に設定された閾値よりも大きいときには、モードを安定モードから不安定モードに変更し、モードが不安定モードに設定されている場合、積分変化量が不安定モード用に設定された閾値よりも小さいときには、モードを不安定モードから安定モードに変更するモード変更ステップ(例えば、図10のステップS44)と、モードが不安定モードから安定モードに変更されたことに対応して、駆動部を制御してフォーカス位置を制御するフォーカス位置制御処理を実行する実行ステップ(例えば、図8のステップS4)と、モードが安定モードに設定されている場合にフォーカス位置制御処理を実行するか否かを判定するための算出値に基づいて、フォーカス位置制御処理を実行するか否かを判定する判定ステップ(例えば、図15のステップS90や、図19のステップS138)とを含み、実行ステップは、モードが安定モードに設定されている場合にフォーカス位置制御処理を実行すると判定されたことに対応して、モードが安定モードである場合にもフォーカス位置制御処理を実行する。
本発明のプログラムにおいても、各ステップが対応する実施の形態(但し一例)は、本発明の制御方法と同様である。
本発明においては、被写体を撮像する撮像部(例えば、図3のCCD71)と、光学素子(例えば、図3のフォーカスレンズ61やウォブリングレンズ62)を駆動させて、前記撮像部により前記被写体を撮像する際のフォーカス位置を調整する駆動部(例えば、図3のAF駆動部51)を有するカメラ(例えば、図3の撮像装置50)が提供される。このカメラにおいては、撮像部により撮像される撮像画像を構成する画素の輝度値の積分値を算出する積分値算出手段(例えば、図4のフィールド内輝度積分値算出部131)と、第1の時間範囲に撮像された撮像画像について算出された積分値と、第1の時間範囲とは異なる第2の時間範囲に撮像された撮像画像について算出された積分値との変化の割合を表す積分変化量を算出する積分変化量算出手段(例えば、図4の区間別輝度積分平均値算出部133乃至正規化部136)と、安定モードまたは不安定モードに設定されるモードが安定モードに設定されている場合、積分変化量が安定モード用に設定された閾値よりも大きいときには、モードを安定モードから不安定モードに変更し、モードが不安定モードに設定されている場合、積分変化量が不安定モード用に設定された閾値よりも小さいときには、モードを不安定モードから安定モードに変更するモード変更手段(例えば、モード更新部145)と、モードが不安定モードから安定モードに変更されたことに対応して、駆動部を制御してフォーカス位置を制御するフォーカス位置制御処理を実行する実行手段(例えば、図3のAF制御処理部83)と、モードが安定モードに設定されている場合にフォーカス位置制御処理を実行するか否かを判定するための算出値に基づいて、フォーカス位置制御処理を実行するか否かを判定する判定手段(例えば、図12の評価値変化検出部231や、図16の輝度積分値変化検出部301)とを備え、実行手段は、モードが安定モードに設定されている場合にフォーカス位置制御処理を実行すると判定されたことに対応して、モードが安定モードである場合にもフォーカス位置制御処理を実行する。
以下、本発明の実施の形態について図を参照して説明する。
図3は、本発明を適用した撮像装置の一実施形態に係る構成例を示す図である。
図3において、撮像装置50は、AF(Auto Focus)駆動部51、画像処理部52、およびAF制御部53を有しており、被写体を撮像し、動画または静止画の画像データを得る装置である。撮像装置50は、得られた画像データを記録媒体に記録したり、外部に出力したりする。なお、図3においては、撮像装置50の構成の内、本発明に関わる部分のみを示している。
AF駆動部51は、フォーカスレンズ61、ウォブリングレンズ62、レンズ駆動部63、駆動制御部64、センサ65、およびスイッチ(SW)66を有しており、AF制御部53の制御に基づいて、光学系を駆動させ、画像処理部52に取り込まれる光のフォーカス位置調整処理を行う。
フォーカスレンズ61は、画像処理部52に入射する光の光軸方向に駆動し、その光のフォーカス位置(得られる撮影画像のフォーカス位置)を制御する。ウォブリングレンズ62は、画像処理部52に入射する光の光軸方向に微小に振動(ウォブリング)し、撮影画像のフォーカス位置を微小にずらす。このウォブリングレンズ62は、焦点調整処理(フォーカス処理)中におけるフォーカスレンズ61の動かす向きを決定するのに利用される。なお、このフォーカスレンズ61とウォブリングレンズ62は、1組のレンズにより実現する(フォーカスレンズ61をウォブリングレンズ62としてウォブリング動作させる)ようにしてもよい。
レンズ駆動部63は、駆動制御部64より供給される制御情報に基づいて、フォーカスレンズ61およびウォブリングレンズ62の位置や動作を制御することによりフォーカス位置を制御する(フォーカス位置を制御するための動作を行わせる)。駆動制御部64は、後述するようにAF制御部53のAF制御処理部83とシリアルバスで接続されており、AF制御処理部83より供給されるフォーカス制御指令やウォブリング制御指令等の制御情報に基づいて、レンズ駆動部63にフォーカスレンズ61およびウォブリングレンズ62の駆動に関する制御情報を供給する。例えば、駆動制御部64は、レンズ駆動部63に対して、制御情報を供給し、フォーカスレンズ61の位置を移動するように指示したり、ウォブリングレンズ62のウォブリング動作を開始させたりする。
また、駆動制御部64は、センサ65より供給されるアイリス値やフォーカス位置に関する情報を、シリアルバスを介して、AF制御処理部83に供給する。さらに、駆動制御部64は、スイッチ(SW)66の状態に応じて動作が制御される。例えば、スイッチ66がオン状態の場合のみ駆動制御部64は、上述した制御処理や通信処理を行い、スイッチ66がオフ状態の場合、駆動制御部64は、休止状態となり各処理を実行しない。
センサ65は、フォーカス位置、ズーム位置(焦点距離)、およびアイリス値等を測定するセンサであり、測定したそれらの情報を、駆動制御部64を介してAF制御処理部83に供給する。スイッチ(SW)66は、AF処理を行うか否かをユーザが制御するためのスイッチであり、その状態を駆動制御部64に通知する。
画像処理部52は、撮像装置50に入射される光から電気信号の画像信号を生成する処理部であり、CCD(Charge Coupled Devices)71、増幅部72、および信号処理部73を有している。
CCD71は、フォーカスレンズ61およびウォブリングレンズ62を介して入射される入射光を光電変換し、入射光量に対応する電荷を蓄積すると、それを吐き出すことにより電気信号の画像信号を得る。CCD71は、その画像信号を増幅部72に供給する。増幅部72は、CDS回路(Correlated Double Sampling circuit)、AGC回路(Automatic Gain Control circuit)、およびA/D(Analog / Digital)変換回路等を含み、CCD71より供給される画像信号のリセットノイズを除去したり、画像信号を増幅したり、アナログ信号の画像信号をデジタル信号に変換したりした後、そのデジタルの画像信号を信号処理部73に供給する。
信号処理部73は、供給された画像信号に対してAE(Auto Exposure)処理やAWB(Auto White Balance)処理や、γ補正等の画像処理等を施した後、その画像信号を後段に出力するとともに、AF制御部53の評価値算出部81およびAF起動制御部82に供給する。また、信号処理部73は、画像信号の水平同期信号や垂直同期信号、並びにシステムクロック信号等の制御用同期信号を評価値算出部81およびAF起動制御部82に供給する。
AF制御部53は、画像処理部52より供給される画像信号等に基づいて、AF駆動部51を制御し、AF処理の制御に関する処理を行う。AF制御部53は、評価値算出部81、AF起動制御部82、およびAF制御処理部83を有している。
評価値算出部81は、画像処理部52の信号処理部73より供給される画像信号や同期信号、並びにAF制御処理部83より供給される設定データ等に基づいて、取り込み画像(画像信号)の「ぼけ」具合を評価する評価値を算出する。評価値算出部81は、算出した評価値をAF制御処理部83に供給する。
AF起動制御部82は、信号処理部73より供給される画像信号に基づいて、AF処理の起動に関する制御処理を行い、その制御結果をAF制御処理部83に供給する。AF制御処理部83は、AF起動制御部82の制御に基づいて、AF処理を開始し、評価値算出部81より供給される評価値に基づいて、AF処理を実行し、シリアルバスを介して制御情報を駆動制御部64に供給する。また、AF制御処理部83は、評価値の算出に関する設定データを生成し、その設定データを評価値算出部81に供給する。さらに、AF制御処理部83は、シリアルバスを介して、駆動制御部64よりフォーカス位置やアイリス値等のセンサ情報を取得する。
また、AF制御部53は、バス90、ROM(Read Only Memory)91、入力部92、出力部93、記憶部94、通信部95、およびドライブ96をさらに有している。AF起動制御部82には、バス90が接続され、そのバス90を介して、ROM91乃至ドライブ96が接続される。
ROM91は、読み出し専用の記憶媒体を有しており、AF起動制御部82において実行されるプログラムやデータが予め記憶されている。ROM91に記憶されているプログラムやデータは、AF起動制御部82により、バス90を介して必要に応じて読み出される。入力部92は、スイッチやボタン等の入力デバイスを有しており、例えばユーザにより入力された指示情報等を受け付け、それらを、バス90を介してAF起動制御部82に供給する。出力部93は、LED(Light Emitting Diode)ディスプレイ、LCD(Liquid Crystal Display)、または有機EL(Electro Luminescence)ディスプレイ等よりなる表示部や、スピーカ等よりなる音声出力部を有しており、AF起動制御部82よりバス90を介して供給された情報を表示したり出力したりする。
記憶部94は、ハードディスクや半導体メモリ等を有し、AF起動制御部82により実行されるプログラムやデータが記憶されたり、AF起動制御部82より供給されるデータ等を記憶したりする。通信部95は、例えば、モデム、LAN(Local Area Network)アダプタ、USB(Universal Serial Bus)インタフェース、IEEE(Institute of Electrical and Electronic Engineers)1394インタフェース、SCSI(Small Computer System Interface)、またはIEEE802.11xアダプタ等を有し、所定の通信規格に基づいたインタフェース処理を行い、ネットワークを介して他の装置と通信を行う。
ドライブ96は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア97が適宜装着される読み出し書き込み処理部である。ドライブ96は、例えば、装着されたリムーバブルメディア97からプログラムやデータを読み出し、それを、必要に応じて記憶部94にインストールさせたり、AF起動制御部82に供給したりする。また、ドライブ96は、例えば、バス90を介してAF起動制御部82より取得したプログラムやデータを、装着されているリムーバブルメディア97に記録する。
AF起動制御部82が実行する処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア97により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM91や、記憶部94に含まれるハードディスクや半導体メモリ等で構成される。
次に、動作について説明する。
撮影が開始されると、画像処理部52のCCD71は、点線矢印101に示されるような光軸でAF駆動部51のフォーカスレンズ61およびウォブリングレンズ62を介して入射された光を光電変換し、電気信号の画像情報(画像信号)を得る。そしてCCD71は、矢印102のように、その画像信号を増幅部72に供給する。増幅部72は、その画像信号を所定の方法で増幅させると、その増幅済みの画像信号を矢印103のように信号処理部73に供給する。信号処理部73は、供給された画像信号に対して画像処理を施すなどした後、それを、矢印104Aに示されるように図示せぬ後段に出力するとともに、矢印104Bおよび矢印104Cに示されるようにAF制御部53の評価値算出部81およびAF起動制御部82に供給する。また、信号処理部73は、矢印105Aおよび矢印105Bに示されるように、同期信号を評価値算出部81およびAF起動制御部82に供給する。
AF起動制御部82は、ROM91や記憶部94に記憶されているプログラムを実行し、信号処理部73より供給される画像信号(取り込み画像の内容)に基づいてAF処理(ワンショットAF処理)の起動に関する制御処理を行う。詳細については後述するが、AF起動制御部82は画像信号の輝度値に基づいて、AF処理を行うか否かを判定し、所定の条件が満たされる場合、矢印107のようにAF制御処理部83に対してAF処理の起動を指示する。
AF制御処理部83は、そのようなAF起動制御部82よりAF処理の開始を指示されると、両矢印106のように評価値算出部81と連携してAF処理の制御に関する処理を行う。
つまり、評価値算出部81は、両矢印106のようにAF制御処理部83より供給される設定データ等に基づいて、矢印104Bのように信号処理部73より供給される画像信号に対応する取り込み画像の「ぼけ」度合いを評価する評価値を所定の算出方法で算出する。例えば、評価値は、フレーム画像の一部の画像領域内(評価枠内)におけるコントラストの大きさを示す値であり、その評価枠内の輝度値の高周波成分の合計値等に基づいて算出される。評価値算出部81は、このような評価値を算出すると、両矢印106のようにそれをAF制御処理部83に供給する。
AF制御処理部83は、例えばウォブリング動作や山登りピーク値判定等のAF処理の具体的な動作を、シリアルバスを介して駆動制御部64に指示する。その際、AF制御処理部83は、両矢印106のように評価値算出部81より供給される評価値や、シリアルバスを介して矢印108Bのように駆動制御部64より供給されるフォーカス位置やアイリス値等のセンサ情報を受け付け、それらの情報に基づいてAF制御処理を行う。
駆動制御部64は、センサ65より矢印109のようにフォーカス位置やアイリス値等のセンサ情報を取得し、シリアルバスを介して、そのセンサ情報を、矢印108BのようにAF制御処理部83に供給する。また、駆動制御部64は、SW66より矢印110のようにAF処理の設定に関するユーザ指示を受け付け、その指示に基づいて、矢印108Aのようにシリアルバスを介してAF制御処理83より供給される制御情報を受け付け、その制御情報に基づいた処理を行い、矢印111のように、レンズ位置等を指示するレンズ駆動制御情報をレンズ駆動部63に供給する。レンズ駆動部63は、そのレンズ駆動制御情報に基づいて、矢印112のようにフォーカスレンズ61を駆動させたり、矢印113のようにウォブリングレンズ62を駆動させたりする。
撮像装置50においては、このようにAF処理が制御される。
図4は、AF制御部53のAF起動制御部82の詳細な構成例を示すブロック図である。
図4において、AF起動制御部82は、相対角度変化量算出部121、モード変化検出部122、およびAF起動指示出力部123を有している。
相対角度変化量算出部121は、被写体と撮像装置50の相対角度(被写体と撮影方向の相対関係)が1区間当たりにどれくらい変化したかという変化量(相対角度変化量p0)を求める処理部であり、フィールド内輝度積分値算出部131、領域設定部132、区間別輝度積分平均値算出部133、区間別輝度積分平均値保持部134、差分値算出部135、および正規化部136を有している。
フィールド内輝度積分値算出部131は、フィールド画像(プログレッシブ画像であればフレーム画像)毎に、各画素の輝度値(y)を積分(合計)し、輝度積分値(フィールド内輝度積分値ynow_w5_f0)を算出する。そのとき、フィールド内輝度積分値算出部131は、フィールド画像の、領域設定部132において設定される領域内の画素の輝度積分値をフィールド内輝度積分値として算出する。フィールド内輝度積分値算出部131は、算出したフィールド内輝度積分値ynow_w5_f0を区間別輝度積分平均値算出部133に供給する。
領域設定部132は、フィールド内輝度積分値算出部131がフィールド内輝度積分値ynow_w5_f0を算出する領域を設定する。つまり、フィールド内輝度積分値ynow_w5_f0は、撮影画枠の全体または一部よりなる予め定められた範囲の画素の輝度値の合計値(積分値)である。
区間別輝度積分平均値算出部133は、フィールド内輝度積分値算出部131より供給されるフィールド単位の輝度積分値であるフィールド内輝度積分値ynow_w5_f0について、所定の時間(区間)単位(例えば、Nフィールド毎(Nは自然数))でその平均値(区間別輝度積分平均値yadd_w5_f0)を算出し、その区間別輝度積分平均値(算出途中の値を含む)を区間別輝度積分平均値保持部134に供給し、保持させる。1区間の平均値yadd_w5_f0を算出すると、区間別輝度積分平均値算出部133は、その値yadd_w5_f0を区間別輝度積分平均値保持部134に供給し、保持させるとともに差分値算出部135にも供給する。
なお、区間別輝度積分平均値yadd_w5_f0は、最新の区間(Nフィールド分)のフィールド内輝度積分値ynow_w5_f0の平均値である。つまり、区間別輝度積分平均値yadd_w5_f0は、現在のフィールドからNフィールド前のフィールドまでの各フィールドに対応するフィールド内輝度積分値ynow_w5_f0の平均値である。なお、1区間前の区間別輝度積分平均値yadd_w5_f1は、N+1フィールド前のフィールドから2Nフィールド前のフィールド前の各フィールドに対応するフィールド内輝度積分値ynow_w5_f0の平均値である。
従って、区間別輝度積分平均値保持部134は、最新の区間別輝度積分平均値yadd_w5_f0が算出されると(1区間分の平均値の算出が終了すると)、それまで保持していた1区間前の区間別輝度積分平均値yadd_w5_f1を削除し、それまで保持していた区間別輝度積分平均値yadd_w5_f0を、1区間前の区間別輝度積分平均値yadd_w5_f1に変更し、最新の区間別輝度積分平均値yadd_w5_f0を保持する。なお、区間別輝度積分平均値保持部134に保持されているフィールド内輝度積分値ynow_w5_f0と、算出途中の区間別輝度積分平均値yadd_w5_f0は、フィールド単位で更新される。
差分値算出部135は、このように算出された最新の区間別輝度積分平均値yadd_w5_f0と、区間別輝度積分平均値保持部134より取得した以前(1つ前の区間)の区間別輝度積分平均値yadd_w5_f1との差分値(yadd_w5_f0−yadd_w5_f1)を算出し、その算出結果と、最新のフィールド内輝度積分値ynow_w5_f0を正規化部136に供給する。
正規化部136は、差分値算出部135より供給された差分値を、最新のフィールド内輝度積分値ynow_w5_f0と1区間のフィールド数Nで正規化し、その正規化された値、すなわち、輝度積分値の変化の割合を、相対角度変化量(p0)として、モード変化検出部122のモード判別部141に供給する。
つまり、相対角度変化量p0は、以下の式(1)により求めることができる。
モード変化検出部122は、相対角度変化量算出部121において算出された相対角度変化量(p0)に基づいて、撮影画像の内容の変化の様子、つまり変化のモードが変化したか否か(モード変化)を検出する処理部であり、モード判別部141、モードフラグ142、閾値保持部143、更新確認部144、モード更新部145、およびモード変化パターン判定部146を有している。
モード判別部141は、相対角度変化量算出部121の正規化部136より供給される相対角度変化量に基づいて、現在のモードを判定する。ここでモードとは、撮影画像の内容の変化の様子をその程度によって状態として分けたものである。ここでは安定モードと不安定モードの2つのモードが存在する。要するに、モード判別部141は、相対角度変化量(p0)が大きいか小さいかによって、被写体が撮影装置50の撮影角度に対して大きく動いている(不安定モードである)か否(安定モードである)かを判別する。モード判別部141は、モードフラグ142を参照し、1つ前の区間のモードを特定すると、閾値保持部143よりそのモードに対応する閾値を取得する。そしてモード判別部141は、その閾値を用いて、撮影角度変化量から現在の区間のモードを判別する。モード判別部141は、そのモードの判別結果と、モードフラグ142より読み出した1つ前の区間のモードとを更新確認部144に供給する。
モードフラグ142は、モード判別部141により判別されたモードが設定される。すなわち、モードフラグ142には、安定モードであるか不安定モードであるかを示す情報(フラグ)がセットされる。閾値保持部143は、モード判別部141がモードを判別する際に用いる閾値(モード毎に設定される閾値αとβ)を保持する。
更新確認部144は、モード判別部141より供給される情報に基づいてモードが更新されたか否かを判定し、その判定結果と、モード判別部141において判別された現在の区間のモードの情報を、モード更新部145およびモード変化パターン判別部146に供給する。
モード更新部145は、更新確認部144よりモードが更新されたと通知されると、モードフラグ142の値を更新し、新たなモードを示す値をセットする。例えば、モードフラグ142に安定モードを示す値がセットされている場合、モード更新部145は、その値を「不安定モードを示す値」に更新する。また、例えば、モードフラグ142に不安定モードを示す値がセットされている場合、モード更新部145は、その値を「安定モードを示す値」に更新する。
モード変化パターン判定部146は、更新確認部144において確認された更新がどのような更新であったか、すなわちモード変化のパターンを判定する。つまり、モード変化パターン判定部146は、モードが安定モードから不安定モードに移行したのか、不安定モードから安定モードに移行したのかを判定し、その判定結果をAF起動指示出力部123に供給する。
AF起動指示出力部123は、モード変化検出部122のモード変化パターン判定部146の判定結果に基づいて、AF起動指示をAF制御処理部83に対して出力する。つまり、AF起動指示出力部123は、モード変化パターン判定部146が、モードが不安定モードから安定モードに移行したと判定した場合のみ、AF処理を開始させる制御情報であるAF起動指示をAF制御処理部83に供給する。
以上のように、AF起動制御部82においては、相対角度変化量算出部121がAF処理の起動を制御するパラメータとして、カメラと被写体の相対角度の変化量を算出し、モード変化検出部122が、その変化量のモード変化パターンを特定し、AF起動指示出力部123がそのモード変化パターンに基づいて、AF制御処理部83にAF処理の起動指示を出力する。
図5は、モード遷移判定とAF起動の関係を説明する模式図である。
図5に示されるように、被写体の撮影装置50の撮影角度に対する動き(相対角度変化量)のモードには、安定モード151と不安定モード152の2つのモードが存在する。
例えば、1つ前の区間におけるモードが安定モード151であったとする。その場合、モードフラグ142には安定モード151を示す値がセットされる。モード判別部141は、そのモードフラグ142を参照し、安定モード151であると判定すると、閾値保持部143より、安定モード用の閾値αを取得する。そして、モード判別部141は、相対角度変化量算出部121の正規化部136より供給された相対角度変化量(正規化された差分値)の絶対値(ABS(Absolute)(p0))を閾値αと比較する。仮に、相対角度変化量の絶対値が閾値α以下であるとすると、モード判別部141は、新たな区間のモードも安定モード151であると判別する。つまり、この区間と1つ前の区間は両方とも安定モード151であるので、矢印161に示されるようにモード変化は発生しない。
仮に、相対角度変化量の絶対値(ABS(p0))が閾値αより大きい場合、モード判別部141は、新たな区間のモードを不安定モード152であると判別する。つまり、1つ前の区間において安定モード151であったのが、矢印162に示されるように、モード変化が発生し、現在の新たなモードは不安定モード152に遷移する。その際、更新確認部144はモード遷移のパターンが矢印162により示される、安定モード151から不安定モード152への遷移であることを確認し、モード更新部145は、モードフラグ142の値を更新する。
つまりモードフラグ142には、不安定モード152を示す値がセットされるので、モード判別部141は、そのモードフラグ142を参照し、不安定モード152であると判定すると、閾値保持部143より、不安定モード用の閾値βを取得する。そして、モード判別部141は、相対角度変化量算出部121の正規化部136より供給された相対角度変化量(正規化された差分値)の絶対値(ABS(p0))を閾値βと比較する。仮に、相対角度変化量の絶対値(ABS(p0))が閾値β以上であるとすると、モード判別部141は、新たな区間のモードも不安定モード152であると判別する。つまり、この区間と1つ前の区間は両方とも不安定モード152であるので、矢印163に示されるようにモード変化は発生しない。
仮に、相対角度変化量の絶対値(ABS(p0))が閾値βより小さい場合、モード判別部141は、新たな区間のモードを安定モード151であると判別する。つまり、1つ前の区間において不安定モード152であったのが、矢印164に示されるように、モード変化が発生し、現在の新たなモードは安定モード151に遷移する。その際、更新確認部144はモード遷移のパターンが矢印164により示される、不安定モード152から安定モード151への遷移であることを確認し、モード更新部145は、モードフラグ142の値を更新する。
モード変化パターン判定部146は、矢印162または矢印164のようにモードが遷移する場合、その遷移方向(モード変化パターン)を判定する。AF起動指示出力部123は、その判定結果に基づいて、矢印164のように、不安定モード152から安定モード151に遷移した場合のみ、AF起動指示をAF制御処理部83に出力する。
つまり、相対角度変化量の絶対値ABS(p0)≦αの場合(矢印161)、ABS(p0)>αの場合(矢印162)、および、ABS(p0)≧βの場合(矢印163)は、AF処理は起動せず、ABS(p0)<βの場合(矢印164)のみAF処理が開始される。換言すると、相対角度変化量のモードが不安定モード152から安定モード151に移行した場合(大きく変化していた相対角度の変化量が徐々に落ち着き、あまり変化しなくなった場合)に、AF処理が開始されることになる。
AF起動制御の具体例として、図6を参照し、撮影装置50をパンニングする場合について説明する。
例えば、図6Aに示されるように、ユーザが撮像装置50を右から左にパン(撮影方向を変化)させ、撮影画枠171の左側にあって撮影画像に写っていなかった被写体(被写体173A)が、撮影画枠171内に入り(被写体173B)、さらに撮影画枠171の右側に出て行く(被写体173C)ように撮影を行うとする。
このとき、撮影画枠171より中央付近に、撮影画枠171より小さい評価枠172を設け、撮影画像の評価値は、その評価枠172内で算出し、フィールド内輝度積分値は、撮影画枠171全体について算出するものとする。
この場合、評価枠172内に被写体が出入りすると(被写体173B)、評価値が大きく変化する。従って、この評価値の変化に応じてAF処理を起動させると、最終的に撮影画枠171の外に出てしまう被写体に焦点を合わせようとするので、フォーカス位置が移動したときにはその被写体が撮影画枠171内に存在せず、撮影画像は「ぼけ」てしまう。さらに、パンが終了すると評価値が安定してしまうので、AF処理が起動されず、撮影画像は「ぼけ」たままとなってしまう。
これに対して、フィールド内輝度積分値は、図6Aのように撮像装置50がパンニングされると、例えば、図6Bに示されるグラフの曲線174のように変化する。図6Bにおいて、横軸は時間を示し、縦軸はフィールド内輝度積分値を示している。例えば、時刻t1からt2までの間に図6Aに示されるようなパンが行われたとすると、時刻t1まで安定していたフィールド内輝度積分値は、時刻t1から時刻t2の間に大きく変化し、パンが終了した時刻t2以降はまた安定する。つまり、時刻t1まで安定モードであったモードが時刻t1において不安定モードに移行し、時刻t2において再度安定モードに移行する。
従って、AF起動制御部82によって、上述したようにフィールド内輝度積分値(フィールド内輝度積分値より算出される相対角度変化量の絶対値ABS(p0))を用いてAF起動制御が行われると、時刻t2のタイミング(不安定モードから安定モードへの移行タイミング)でのみAF処理が起動されることになる。つまり、フォーカス位置を制御するためのパラメータである評価値を用いずに、専用のパラメータである相対角度変化量を用いてAF処理の起動制御を行うことにより、撮像装置50(AF起動制御部82)は、不必要なAF処理を容易に低減させることができ、安定したAF処理を実現することができる。例えば、撮像装置50は、このようなAF起動制御を行うことにより、パンニング中の不必要な被写体(被写体173B)への合焦を抑制することができ、上述したように撮影画像のピント(焦点)が「ぼけ」てしまうことを抑制することができる。なお、チルト(チルティング)の場合も同様である。
以上のように、AF起動制御部82においては、相対角度変化量算出部121がAF処理の起動を制御するパラメータとして、カメラと被写体の相対角度の変化量を算出し、モード変化検出部122が、その変化量のモード変化パターンを特定し、AF起動指示出力部123がそのモード変化パターンに基づいて、AF制御処理部83にAF処理の起動指示を出力する。
また、他の具体例として、撮影画枠171内において被写体が揺れている場合のAF起動制御について説明する。
例えば、図7Aに示されるように、撮影画枠171内において、被写体173Dが揺れ動き、評価枠172に出入りするような場合、その評価値は大きく変動する。従って、この評価値の変化に応じてAF処理を起動させると、被写体173Dが揺れている間、常にAF処理が行われることになる。AF処理が行われると、例えばウォブリング等により、撮影画像のフォーカス位置が変化する。つまり、被写体173Dが揺れ動いている場合、頻繁に撮影画像のフォーカス位置が変化し続けることになり、撮影画像が、視聴者にとって不快な(違和感のある)画像となってしまう。特に、撮影画像が高品質なHD(High Definition)の場合、画質が高いだけに、視聴者はフォーカス位置の細かな変化まで確認することができ、その不必要なフォーカス位置の変化に対する不快感は、さらに大きなものとなってしまう。
これに対して、フィールド内輝度積分値は、撮影画枠171全体について算出されるので、図7Aのように被写体173Dが揺れ動いても、例えば、図7Bに示されるグラフの曲線175のように大きく変化しない。図7Bにおいて、横軸は時間を示し、縦軸はフィールド内輝度積分値を示している。撮影画枠171内において被写体173Dが動いても、輝度値の撮影画枠171全体の合計(積分値)は、大きく変化しない。つまり、この場合、相対角度変化量のモードは、常に安定モードとなる。
従って、AF起動制御部82によって、上述したようにフィールド内輝度積分値(フィールド内輝度積分値より算出される相対角度変化量の絶対値ABS(p0))を用いてAF起動制御が行われると、AF処理は起動されないことになる。つまり、撮像装置50は、被写体173Dの小さな動きに対しては、細かく合焦させずに、フォーカス位置を安定させる。このようにAF処理の起動を制御することにより、撮像装置50は、不必要な被写体(被写体173D)への合焦を抑制することができ、撮影画像のフォーカス位置を安定させ、フォーカス位置の不要な変化による不快な画像の発生を抑制することができる。
なお、図6および図7の場合、AF処理の起動を制御するために用いられるフィールド内輝度積分値は、撮影画枠171全体に対して算出され、フォーカス位置を制御するために用いられる評価値は、その撮影画枠171の一部である評価枠172について算出される。一般的に、評価枠172は小さいほど、ユーザは、その評価枠172内に位置させる被写体を特定し易くなるので、合焦させる被写体を特定し易くなり、フォーカス位置の制御が容易になる。従って、このように各値を算出する枠を設定することにより、撮像装置50は、ユーザが容易にフォーカス位置を制御することが出来るようにするとともに、不要なAF処理を抑制し、フォーカス位置を安定させるように、適切なAF起動制御を行うことができる。
もちろん、フィールド内輝度積分値を算出する範囲は、撮影画枠171の一部の範囲であってもよいし、その場合、撮影画枠171のどの部分であってもよい。また、撮影画枠171内に複数の範囲(フィールド内輝度積分値を算出する範囲)が設定されるようにしてもよいし、その場合、一部が他の範囲の一部に重なるような範囲が設定されるようにしてもよいし、他の範囲を抱含する範囲が設定されるようにしてもよい。
評価枠172についても同様であり、撮影画枠171のどの部分が評価枠172として設定されるようにしてもよい。また、撮影画枠171全体を評価枠172としてももちろんよい。さらに、撮影画枠171内に複数の評価枠172を設定するようにしてもよいし、その場合、他の評価枠と範囲の一部が重なるように評価枠を設定するようにしてもよいし、他の評価枠を抱合するような評価枠を設定するようにしてもよい。
フィールド内輝度積分値を算出する範囲の設定と、評価枠172の設定は、基本的に互いに独立しており、例えば両方の範囲を共通としてもよいが、一般的に、上述したように評価枠172は小さい方が望ましく、フィールド内輝度積分値を算出する範囲は、フォーカス位置を安定させる目的のために(被写体の揺れ動きに反応しないように)大きい方が望ましい。
また、フィールド内輝度積分値を算出する範囲が評価枠172の範囲と重なっていない場合、フィールド内輝度積分値と評価値は、互いに異なる被写体に対して影響を受けることになる。一般的には、ユーザが焦点を合わせている被写体の動きに基づいてAF処理の起動を制御するのが自然であるので、そのような目的のためには、フィールド内輝度積分値を算出する範囲が評価枠172の範囲を抱合するのが望ましい。もちろん、敢えてフィールド内輝度積分値を算出する範囲が評価枠172の範囲と重ならないようにし、撮像装置が、焦点を合焦させる被写体と異なる被写体の動きによって生じる輝度値の変化によってAF起動制御を行うようにしてもよい。
例えば、照明を被写体として撮影する場合、その照明が点灯したり消灯したりされると輝度値が変化するので、被写体(照明)の位置が動いていないにも関わらずAF処理が起動される恐れがあるが、所謂、ワイド端の撮影時のように、被写体(照明)が例えば撮影画枠171の半分程度しか占めないように撮影が行われる場合であれば、フィールド内輝度積分値を算出する範囲が、その被写体(照明)が写されていない部分に設定されている(評価枠172と重ならないように範囲が設定されている)ことにより、撮像装置50は、照明の点灯や消灯(被写体の輝度変化)の影響を受けずにAF起動制御を行うことができ、不要なAF処理を低減させることができ、撮影画像のフォーカス位置を適切に安定させることができる。
さらに、フィールド内輝度積分値を算出する範囲は、予め定められた範囲であってもよいし、ユーザが、撮影前や撮影中等に、撮影画枠171の任意の位置に設定することができるようにしてもよい。また、その際、そのフィールド内輝度積分値を算出する範囲の大きさおよび形状もユーザにより設定することができるようにしてもよい。さらに、フィールド内輝度積分値を算出する範囲としての候補が予め複数用意され、ユーザが撮影前や撮影中等にそれらの候補の中から任意の領域を選択し、フィールド内輝度積分値を算出する範囲として設定するようにしてもよい。なお、評価枠172についても同様であり、予め定められた領域であってもよいし、ユーザが撮影前や撮影中等に自由に設定することができるようにしてもよいし、予め用意された選択肢の中からユーザが選択的に設定することができうようにしてもよい。
フィールド内輝度積分値を算出する範囲や評価枠172が予め設定されていれば、ユーザは撮影時にそれらを設定する必要が無く、撮影を容易に行うことができる。また、フィールド内輝度積分値を算出する範囲や評価枠172をユーザが自由に設定することができるようになされていれば、環境や被写体等の撮影条件により適した範囲設定が可能になり、ユーザの意図に沿った、より好ましいAF処理を実現することができる。さらに、その範囲の設定をユーザが選択的に行うことができるようにすることにより、ユーザは容易に範囲設定を行うことができる。
なお、フィールド内輝度積分値を算出する範囲の設定方法として、ユーザがフィールド内輝度積分値を算出しない範囲を設定することができるようにしてももちろんよい。つまり、この場合撮像装置は、ユーザに指定された範囲以外の部分の輝度値を積分し、フィールド内輝度積分値を算出し、その値を用いてAF起動制御を行う。
次に、上述した各処理の流れについて説明する。最初に、図8のフローチャートを参照して、AF起動制御部82によるAF起動制御処理の流れの例を説明する。
信号処理部73より画像信号(フィールド画像またはフレーム画像)が供給されると、AF起動制御部82の相対角度変化量算出部121は、ステップS1において相対角度変化量算出処理を実行する。相対角度変化量算出処理の詳細については、図9のフローチャートを参照して後述する。
相対角度変化量算出処理を終了すると、モード変化検出部122は、ステップS2においてモード変化検出処理を実行する。モード変化検出処理の詳細は、図10のフローチャートを参照して後述する。
モード変化検出処理を終了すると、ステップS3において、AF起動指示出力部123は、モード変化検出処理結果に基づいて、AF処理を開始するか否かを判定する。上述したように、相対角度変化量のモードが不安定モード152から安定モード151に移行したと判定され、AF処理を開始すると判定した場合、AF起動指示出力部123は、ステップS4においてAF起動指示をAF制御処理部83に出力し、AF処理を起動させた後、AF起動制御処理を終了する。また、ステップS3において、相対角度変化量のモードが不安定モード152から安定モード151に移行していないと判定され、AF処理を開始しないと判定した場合、AF起動指示出力部123は、ステップS4の処理を省略し、AF起動制御処理を終了する。
次に、図8のステップS1において実行される相対角度変化量算出処理の詳細な流れの例について図9のフローチャートを参照して説明する。
画像信号が信号処理部73より供給され、相対角度変化量算出処理が開始されると、フィールド内輝度積分値算出部131は、最初に、ステップS21において、供給された画像信号に基づいて、フィールドの所定の領域(撮影画枠内の、領域設定部132により設定されている領域)内の輝度値の積分値(フィールド内輝度積分値)を算出する。
ステップS22において、区間別輝度積分平均値算出部133は、区間別輝度積分平均値保持部134と連携しながら、区間毎に輝度積分値の平均値(区間別輝度積分平均値)を求める。差分値算出部135は、ステップS23において、隣り合う区間(最新の区間と1つ前の区間)の区間別輝度積分平均値の差分値を算出する。ステップS24において、正規化部136は、ステップS23において算出された差分値を最新のフィールド内輝度積分値とフィールド数で正規化し、相対角度変化量を求める。ステップS24の処理が終了すると、正規化部136は、相対角度変化量算出処理を終了し、処理を図8のステップS1に戻し、ステップS2以降の処理を行う。
次に、図8のステップS2において実行されるモード変化検出処理の詳細の流れの例について図10のフローチャートを参照して説明する。
モード変化検出処理が開始されると、モード判別部141は、ステップS41において、正規化された差分値である相対角度変化量を、モードフラグ142および閾値保持部143を参照して得られる、1区間前のモードに応じた閾値と比較し、ステップS42において、最新のモードを判別する。ステップS43において、更新確認部144は、モードが変化したか否かを確認し、変化したと判定した場合、処理をステップS44に進める。ステップS44において、モード更新部145は、モードフラグ142の値を更新する。モード変化パターン判定部146は、ステップS45において、モード変化パターンを判定し、ステップS46において、モード判定結果をAF起動指示出力部123に出力し、モード変化検出処理を終了し、処理を図8のステップS2に戻す。AF起動制御部82は、ステップS3以降の処理を実行する。
また、ステップS43において、モードが変化していないと判定した場合、更新確認部144は、ステップS44乃至ステップS46の処理を省略し、モード変化検出処理を終了し、処理を図8のステップS2に戻す。AF起動制御部82は、ステップS3以降の処理を実行する。
以上のように各処理を行うことにより、AF起動制御部82は、不必要なAF処理を容易に低減させ、より的確なAF処理を実現し、高品質な撮影画像が得られるようにすることができる。
なお、以上において、AF処理の起動を制御するパラメータであるカメラと被写体の相対角度の変化量は、撮影画像の輝度値を用いた値であるように説明したが、これに限らず、例えば、コントラストに関する値を用いる等、輝度積分値以外の値を用いて算出される値であってもよい。また、演算方法も上述した以外の方法であってもよい。例えば、区間毎にフィールド内輝度積分値の平均値を算出し、その平均値を用いて相対角度変化量を算出するように説明したが、これに限らず、例えば、輝度値の積分値でなく平均値を用いるようにしてもよいし、フィールド内輝度積分値の区間毎の平均値の代わりに、フィールド内輝度積分値の合計値を用いて相対角度変化量を算出するようにしてもよい。フィールド単位で求められた輝度値の平均値の、区間毎の平均値を用いて相対角度変化量を算出するようにしてももちろんよい。また、正規化も、最新のフィールド内輝度値とフィールド数を用いる代わりに、区間別輝度積分平均値等の他の値を用いるようにしてもよい。また、正規化を行わないようにしてもよい。
また、AF起動制御用のパラメータとして、カメラと被写体の相対角度の変化量以外の値を用いるようにしてもよい。さらに、AF起動制御用のパラメータとして、カメラと被写体の相対角度の変化量と、それ以外の値を併用するようにしてもよい。
図11は、本発明を適用した撮像装置の一実施形態に係る他の構成例を示す図である。図11は、図3に対応する図であり、撮像装置200は、図3の撮像装置50に対応し、基本的に撮像装置50と同様の構成を有している。ただし、撮像装置200のAF起動制御部212は、図3の撮像装置50と異なり、信号処理部73より供給される画像信号だけでなく、評価値算出部211により算出される評価値も取得し、その評価値に基づいたAF起動制御も、画像信号の輝度値に基づいたAF起動制御と併せて実行する。
つまり、撮像装置200は、図3の撮像装置50のAF制御部53の代わりに、AF制御部203を有している。AF制御部203は、AF制御部53の評価値算出部81およびAF起動制御部82の代わりに、評価値算出部211およびAF起動制御部212を有する。
評価値算出部211は、図3の評価値算出部81と異なり、算出した評価値をAF制御処理部83に供給するだけでなく、AF起動制御部212にも供給する(矢印221)。AF起動制御部212は、信号処理部73より供給される画像信号(矢印104C)の輝度値に基づいたAF起動制御だけでなく、評価値に基づいたAF起動制御も行い、相対角度変化量が安定モードである場合であっても、評価値が大きく変化するときはAF処理を起動させる。
図12は、図11のAF起動制御部212の詳細な構成例を示すブロック図である。図12において、AF起動制御部212は、相対角度変化量算出部121、モード変化検出部122、およびAF起動指示出力部123の他に、さらに、評価値変化検出部231を有する。
評価値変化検出部231は、AF起動制御のために、評価値の変化を検出する処理部であり、評価値加算演算部241、基準加算結果保持部242、評価値変動率算出部243、および評価値変動率判定部244を有している。
評価値加算演算部241は、最新のMフィールド(Mは自然数)の評価値を保持し、また、それらの評価値の加算値(合計値)hadd_w1_f1を算出し、保持する。従って、例えば、まだ保持している評価値の個数(フィールド数)がM個(Mフィールド)に達していない場合、評価値加算演算部241は、評価値算出部211より供給された評価値を新たに保持し、その値を、保持している加算値(算出途中の加算値)に追加的に加算する。また、例えば、M個(Mフィールド)の評価値とその加算値hadd_w1_f1を既に保持している場合、評価値加算演算部241は、保持しているM個(Mフィールド)の評価値の中で最も古い評価値を削除するとともに、その値を、保持している加算値hadd_w1_f1より減算し、評価値算出部211より新たに供給された評価値を保持するとともに、その値を、保持している加算値(M−1個の評価値の加算値)に追加的に加算し、最新のM個(Mフィールド)の評価値の加算値hadd_w1_f1を算出する。
基準加算結果保持部242は、基準加算結果hadd_w1_f0として、安定した直後(不安定モードから安定モードに移行した直後)に評価値加算演算部241に保持されているM個(Mフレーム)の評価値の加算値hadd_w1_f1を保持する。すなわち、基準加算結果保持部242は、AF起動指示出力部123においてAF起動指示が出力されたと判定した場合(不安定モードから安定モードに移行したと判定した場合)、評価値加算演算部241が保持する加算値hadd_w1_f1を基準加算結果hadd_w1_f0として保持する。なお、保持している基準加算結果hadd_w1_f0が存在するときは、基準加算結果保持部242は、先にそれを削除してから、評価値加算演算部241が保持する加算値hadd_w1_f1を新たな基準加算結果hadd_w1_f0として保持する。
評価値変動率算出部243は、モード変化検出部122のモードフラグ142の値が安定モードである場合、評価値加算演算部241が保持する加算結果hadd_w1_f1と、基準加算結果保持部242が保持する基準加算結果hadd_w1_f0を用いて、評価値の変動の大きさを示す評価値変動率q0を、以下の式(2)のように算出し、それを評価値変動率判定部244に供給する。
評価値変動率判定部244は、供給された評価値変動率q0に基づいてAF処理を実行するか否かを判定し、その判定結果をAF起動指示出力部123に出力する。つまり、例えば、評価値変動率判定部244は、供給された評価値変動率q0を所定の閾値γ(γは自然数)、または1/γと比較し、以下の式(3)に示される条件を満たす場合、AF処理を起動すると判定し、これらの条件を満たさない場合、AF処理を起動しないと判定する。
評価値変動率判定部244は、この判定結果をAF起動指示出力部123に供給する。AF起動指示出力部123は、モード変化検出部122によるモード変化パターンの判定結果並びに、評価値変動率判定部244の判定結果に基づいて、AF処理の起動指示をAF制御処理部83に供給する。
このように評価値を用いたAF起動制御を併用することにより、撮像装置200は、フィールド内輝度積分値に大きく影響を与えないような被写体の動きに対してもAF起動制御を正しく行うことができる。
AF起動制御の具体例として、図13を参照し、撮影装置200に近づく被写体を撮影する場合について説明する。
例えば、図13Aに示されるように、撮像装置200に対して被写体が近づくように移動する場合(被写体251A→被写体251B)、撮影画像は、図13Bのように変化する。すなわち、撮影画像の中央付近に写されていた被写体251A(実線)は、被写体251Bの位置まで移動することにより、被写体251Aの場合よりやや大きく写される(点線)ようになる。しかしながら、例えば、撮影画枠261全体について、輝度値の積分値を求めるものとすると、図13Bのような変化の場合、撮影画枠261の大きさに対する被写体251Aの占める割合と、撮影画枠261の大きさに対する被写体251Bの占める割合とはさほど変化していないので、そのフィールド内輝度積分値も大きく変化しない。従って、この場合、撮像装置200から被写体までの距離が変化し、被写体の位置がフォーカス位置よりずれているにも関わらず、相対角度の変化量は小さいままであり、モードは安定モードのままとなってしまうので、AF処理が起動されない。すなわち、撮影画像はピントがずれた画像となってしまう。
このようなフィールド内輝度積分値に対して、評価値は、被写体の移動に応じてフォーカス位置がずれてコントラストが低下するので、被写体の動きに合わせて大きく変化する。撮像装置200は、フィールド内輝度積分値を用いたAF制御処理を行うとともに、評価値の変動も監視することにより、相対角度変化量が安定モードであっても、評価値の変動率が高くなる場合、図13Aに示されるように、被写体が撮像装置200に向かって近づいていると判断し、AF処理を起動させる。
このようにAF起動制御することにより、撮像装置200は、評価値を用いたAF制御処理を併用することによってAF処理が起動されずに撮影画像のフォーカス位置がずれてしまうことを抑制することができる。すなわち、撮像装置200は、ユーザが容易にフォーカス位置を制御することが出来るようにするとともに、より適切なAF起動制御を行うことができる。
この場合のAF起動制御処理の流れについて説明する。図14のフローチャートを参照して、AF起動制御処理の流れの例を説明する。このフローチャートは、図8のフローチャートに対応する。
AF起動制御処理が開始されると、AF起動制御部212の相対角度変化量算出部121は、ステップS61において、相対角度変化量算出処理を実行する。相対角度変化量算出処理の詳細は、図9のフローチャートを参照して上述した処理と同様であるので、その説明を省略する。
ステップS62において、モード変化検出部122は、モード変化検出処理を実行する。モード変化検出処理の詳細は、図10のフローチャートを参照して説明した処理と同様であるので、その説明を省略する。
ステップS63において、評価値変化検出部231は、評価値変化検出処理を実行する。評価値変化検出処理の詳細は後述する。
ステップS64において、AF起動指示出力部123は、モード変化検出部122より供給されるモード判定結果と、評価値変化検出部231より供給される判定結果に基づいて、AF処理を開始するか否かを判定する。AF処理を開始すると判定した場合、AF起動指示出力部123は、ステップS65に処理を進め、AF起動指示をAF制御処理部83に出力し、AF起動制御処理を終了する。また、ステップS64において、AF処理を開始しないと判定した場合、AF起動指示出力部123は、ステップS65の処理を省略し、AF起動制御処理を終了する。
次に、図14のステップS63において実行される評価値変化検出処理の詳細な流れの例について図15のフローチャートを参照して説明する。
評価値変化検出処理が開始されると、評価値加算演算部241は、ステップS81において、評価値が1区間分(M個)保持されているか否かを判定し、保持されていると判定した場合、ステップS82に処理を進め、最新の加算結果hadd_w1_f1から最も古い評価値を削除し、ステップS83に処理を進め、最新の加算結果に最新の評価値を追加する。また、ステップS81において、評価値が1区間分保持されていないと判定した場合、評価値加算演算部241は、ステップS82の処理を省略し、ステップS83に処理を進め、最新の加算結果に最新の評価値を追加する。
ステップS84において、基準加算結果保持部242は、AF起動指示出力部123から起動指示が出力されたか否かの情報を取得し、相対角度変化量のモードが不安定モードから安定モードに移行したか否かを判定し、移行したと判定した場合、処理をステップS85に進める。ステップS85において、基準加算結果保持部242は、基準加算結果hadd_w1_f0が保持されているか否かを判定し、保持されていると判定した場合、その基準加算結果hadd_w1_f0を更新するために、ステップS86において、保持している基準加算結果hadd_w1_f0を削除し、ステップS87に処理を進め、最新の加算結果(評価値加算演算部241において演算され保持されている、現在のフィールドからMフィールド前のフィールドまでの評価値の加算結果hadd_w1_f1)を基準加算結果hadd_w1_f0として保持する。基準加算結果hadd_w1_f0の更新が終了すると、基準加算結果保持部242は、処理をステップS88に進める。
また、ステップS85において、基準加算結果hadd_w1_f0が保持されていないと判定した場合、基準加算結果保持部242は、ステップS86の処理を省略し、ステップS87に処理を進め、最新の加算結果(評価値加算演算部241において演算され保持されている、現在のフィールドからMフィールド前のフィールドまでの評価値の加算結果hadd_w1_f1)を基準加算結果hadd_w1_f0として保持する。基準加算結果hadd_w1_f0の保存が終了すると、基準加算結果保持部242は、処理をステップS88に進める。
また、ステップS84において、不安定モードから安定モードに移行していないと判定した場合、基準加算結果保持部242は、基準加算結果の更新は行わずに、ステップS88に処理を進める。
ステップS88において、評価値変動率算出部243は、モード変化検出部122のモードフラグ142を参照し、安定モードであるか否かを判定する。安定モードであると判定した場合、評価値変動率算出部243は、ステップS89に処理を進め、評価値加算演算部241が保持する最新の評価値加算結果hadd_w1_f1と、基準加算結果保持部242が保持する基準加算結果hadd_w1_f0を取得し、それらに基づいて、評価値変動率q0を算出する。そして、ステップS90において、評価値変動率判定部244は、ステップS89において算出された評価値変動率q0を所定の閾値と比較し、その比較結果に基づいてAF処理を実行するか否かを判定する。ステップS91において、評価値変動率判定部244は、その判定結果をAF起動指示出力部123に出力し、評価値変化検出処理を終了し、処理を図14のステップS63に戻し、ステップS64以降の処理を実行させる。
また、図15のステップS88において、安定モードでないと判定した場合、評価値変動率算出部243は、評価値変動率の算出に関する処理を行わずに、評価値変化検出処理を終了し、処理を図14のステップS63に戻し、ステップS64以降の処理を実行させる。
以上のように各処理を行うことにより、AF起動制御部212は、不必要なAF処理を容易に低減させながら、AF処理の起動漏れも抑制し、より的確なAF処理を実現し、高品質な撮影画像が得られるようにすることができる。
なお、以上においては、評価値を所定の区間(Mフィールド分)毎に合計するように説明したが、これに限らず、例えば、平均値を用いるようにしてもよいし、1フィールドの評価値を用いるようにしてもよい。例えば、評価値変動率が、現在のフィールドの評価値と、不安定モードから安定モードに移行した時のフィールドの評価値とに基づいて算出されるようにしてもよい。ただし、上述した例のように、ある程度長い時間積分した(複数フィールド分を合計した)評価値を用いて評価値変動率を算出することにより、図7に示されるような被写体の揺れ動きによる評価値変動率の上昇(すなわち、不要なAF処理の起動)を抑制することができる。
また、撮像装置が、上述した、AF処理の起動を制御するパラメータであるカメラと被写体の相対角度の変化量の合計(累積値)についても考慮してAF起動制御を行うようにしてもよい。
図16は、図3に示される撮像装置50のAF起動制御部82の詳細な他の構成例を示すブロック図である。すなわち、図16は、図4に対応する。
図16に示される場合、AF起動制御部82は、相対角度変化量算出部121、モード変化検出部122、およびAF起動指示出力部123の他に、さらに輝度積分値変化検出部301を有している。
輝度積分値変化検出部301は、フィールド内輝度積分値の変化量を監視し、その変化量に基づいてAF起動制御を行う処理部であり、最新フィールド内輝度積分値取得部311、基準フィールド内輝度積分値保持部312、輝度積分値変動率算出部313、および輝度積分値変動率判定部314を有している。
最新フィールド内輝度積分値取得部311は、相対角度変化量算出部121のフィールド内輝度積分値算出部131より、最新のフィールド(現在のフィールド)のフィールド内輝度積分値y_nowを取得し、それを保持する。
基準フィールド内輝度積分値保持部312は、基準フィールド内輝度積分値y_jpとして、安定した直後(不安定モードから安定モードに移行した直後)に最新フィールド内輝度積分値取得部311に保持されている最新のフィールド内輝度積分値y_nowを取得し、保持する。すなわち、基準フィールド内輝度積分値保持部312は、AF起動指示出力部123においてAF起動指示が出力されたと判定した場合(不安定モードから安定モードに移行したと判定した場合)、最新フィールド内輝度積分値取得部311が保持する最新のフィールド内輝度積分値y_nowを基準フィールド内輝度積分値y_jpとして保持する。なお、保持している基準フィールド内輝度積分値y_jpが存在するときは、基準フィールド内輝度積分値保持部312は、先にそれを削除してから、最新フィールド内輝度積分値取得部311が保持する最新のフィールド内輝度積分値y_nowを新たな基準フィールド内輝度積分値y_jpとして保持する。
輝度積分値変動率算出部313は、モード変化検出部122のモードフラグ142の値が安定モードである場合、最新フィールド内輝度積分値取得部311が保持する最新のフィールド内輝度積分値y_nowと、基準フィールド内輝度積分値保持部312が保持する基準フィールド内輝度積分値y_jpを用いて、フィールド内輝度積分値の変動の大きさを示す輝度積分値変動率r0を、以下の式(4)のように算出し、それを輝度積分値変動率判定部314に供給する。
輝度積分値変動率判定部314は、供給された輝度積分値変動率r0に基づいてAF処理を実行するか否かを判定し、その判定結果をAF起動指示出力部123に出力する。つまり、例えば、輝度積分値変動率判定部314は、供給された輝度積分値変動率r0を所定の閾値δ(δは自然数)、または1/δと比較し、以下の式(5)に示される条件を満たす場合、AF処理を起動すると判定し、これらの条件を満たさない場合、AF処理を起動しないと判定する。
輝度積分値変動率判定部314は、この判定結果をAF起動指示出力部123に供給する。AF起動指示出力部123は、モード変化検出部122によるモード変化パターンの判定結果並びに、輝度積分値変動率判定部314の判定結果に基づいて、AF処理の起動指示をAF制御処理部83に供給する。
このようにフィールド内輝度積分値を用いたAF起動制御を併用することにより、撮像装置200は、フィールド内輝度積分値が瞬時に大きく変化しないような被写体の動きに対してもAF起動制御を正しく行うことができる。
AF起動制御の具体例として、図17を参照し、撮影装置50を低速度でゆっくりパンニングさせた場合について説明する。
例えば、図17Aに示されるように、ユーザが撮像装置50を右から左へゆっくり定速にパンニングさせた(撮影方向を変更した)とする。この場合も、時間はかかるものの、図6Aの場合と同様に、最初に撮影画枠321の左外にあった被写体(被写体323A)は、パンニングに従って、徐々に撮影画枠321内に進入する。そして、その被写体はさらに撮像装置50のパンニングに従って、撮影画枠321内の評価枠322内に進入した(被写体323B)後、さらにパンニングが続けられることにより、撮影画枠321の右外に出てしまう(被写体323C)。
このようにユーザが撮像装置50をゆっくり定速にパンニングさせると、フィールド内輝度積分値は図17Bのグラフに示される曲線324のように緩やかに、かつ、ほぼ一定の割合で変化する。つまり、単位時間当たり(単位フィールド当たり)のフィールド内輝度積分値の変化量に対応する相対角度変化量の値は大きく変動しないので、モードは常に安定モードとなってしまい、AF処理は起動されないまま(フォーカス位置が固定されたまま)パンが終了してしまう。
しかしながら、このように敢えて撮像装置50をゆっくり定速にパンニングさせるということは、ユーザは、通常、パンニングの途中に写される被写体(被写体323B)にも焦点を合わせたいということである場合が多い。そこで、図16のAF起動制御部82は、パンニング中であっても、パンニングの速度が緩やかで正確なフォーカス位置制御が可能な場合、AF処理を起動させて被写体323Bにも焦点を合焦させるようにするために、相対角度の変化量(図17Bの曲線324の傾きに対応)の大きさだけでなく、フィールド内輝度積分値の変化量(図17Bの曲線324の2点間の差分値に対応)の大きさにも基づいて、AF起動制御処理を行う。
つまり、図16のAF起動制御部82は、上述したように、安定モードに移行したときのフィールドのフィールド内輝度積分値を基準とし、その値から所定の割合(δ)以上変化した場合、相対角度変化量が安定モードであっても、撮影画像の内容が変化している(新たな被写体が写されたり、写されていた被写体が撮影画枠321の外に出たりした)と判定し、AF処理を起動させる。
このようにAF起動制御することにより、図16のAF起動制御部82を有する撮像装置50は、フィールド内輝度積分値の変動率を用いたAF制御処理を併用することによってAF処理が起動されずに撮影画像のフォーカス位置がずれてしまうことを抑制することができる。すなわち、撮像装置200は、ユーザが容易にフォーカス位置を制御することが出来るようにするとともに、より適切なAF起動制御を行うことができる。
この場合のAF起動制御処理の流れについて説明する。図18のフローチャートを参照して、AF起動制御処理の流れの例を説明する。このフローチャートは、図8(および図13)のフローチャートに対応する。
AF起動制御処理が開始されると、AF起動制御部212の相対角度変化量算出部121は、ステップS111において、相対角度変化量算出処理を実行する。相対角度変化量算出処理の詳細は、図9のフローチャートを参照して上述した処理と同様であるので、その説明を省略する。
ステップS112において、モード変化検出部122は、モード変化検出処理を実行する。モード変化検出処理の詳細は、図10のフローチャートを参照して説明した処理と同様であるので、その説明を省略する。
ステップS113において、輝度積分値変化検出部301は、フィールド内輝度積分値変化検出処理を実行する。フィールド内輝度積分値変化検出処理の詳細は後述する。
ステップS114において、AF起動指示出力部123は、モード変化検出部122より供給されるモード判定結果と、輝度積分値変化検出部301より供給される判定結果に基づいて、AF処理を開始するか否かを判定する。AF処理を開始すると判定した場合、AF起動指示出力部123は、ステップS115に処理を進め、AF起動指示をAF制御処理部83に出力し、AF起動制御処理を終了する。また、ステップS114において、AF処理を開始しないと判定した場合、AF起動指示出力部123は、ステップS115の処理を省略し、AF起動制御処理を終了する。
次に、図18のステップS113において実行されるフィールド内輝度積分値変化検出処理の詳細な流れの例について図19のフローチャートを参照して説明する。
フィールド内輝度積分値変化検出処理が開始されると、最新フィールド内輝度積分値取得部311は、ステップS131において、相対角度変化量算出部121より最新のフィールド内輝度積分値y_nowを取得する。ステップS132において、基準フィールド内輝度積分値保持部312は、AF起動指示出力部123から起動指示が出力されたか否かの情報を取得し、相対角度変化量のモードが不安定モードから安定モードに移行したか否かを判定し、移行したと判定した場合、処理をステップS133に進める。ステップS133において、基準フィールド内輝度積分値保持部312は、基準フィールド内輝度積分値y_jpが保持されているか否かを判定し、保持されていると判定した場合、その基準フィールド内輝度積分値y_jpを更新するために、ステップS134において、保持している基準フィールド内輝度積分値y_jpを削除し、ステップS135に処理を進め、最新のフィールド内輝度積分値y_nowを基準フィールド内輝度積分値y_jpとして保持する。基準フィールド内輝度積分値y_jpの更新が終了すると、基準フィールド内輝度積分値保持部312は、処理をステップS136に進める。
また、ステップS133において、基準フィールド内輝度積分値y_jpが保持されていないと判定した場合、基準フィールド内輝度積分値保持部312は、ステップS134の処理を省略し、ステップS135に処理を進め、最新のフィールド内輝度積分値y_nowを基準フィールド内輝度積分値y_jpとして保持する。基準フィールド内輝度積分値y_jpの保存が終了すると、基準フィールド内輝度積分値保持部312は、処理をステップS136に進める。
また、ステップS132において、不安定モードから安定モードに移行していないと判定した場合、基準フィールド内輝度積分値保持部312は、基準フィールド内輝度積分値y_jpの更新は行わずに、ステップS136に処理を進める。
ステップS136において、輝度積分値変動率算出部313は、モード変化検出部122のモードフラグ142を参照し、安定モードであるか否かを判定する。安定モードであると判定した場合、輝度積分値変動率算出部313は、ステップS137に処理を進め、最新フィールド内輝度積分値取得部311が保持する最新のフィールド内輝度積分値y_nowと、基準フィールド内輝度積分値保持部312が保持する基準フィールド内輝度積分値y_jpを取得し、それらに基づいて、輝度積分値変動率r0を算出する。そして、ステップS138において、輝度積分値変動率判定部314は、ステップS137において算出された輝度積分値変動率r0を所定の閾値と比較し、その比較結果に基づいてAF処理を実行するか否かを判定する。ステップS139において、輝度積分値変動率判定部314は、その判定結果をAF起動指示出力部123に出力し、フィールド内輝度積分値変化検出処理を終了し、処理を図18のステップS113に戻し、ステップS114以降の処理を実行させる。
また、図19のステップS136において、安定モードでないと判定した場合、輝度積分値変動率算出部313は、輝度積分値変動率r0の算出に関する処理を行わずに、フィールド内輝度積分値変化検出処理を終了し、処理を図18のステップS113に戻し、ステップS114以降の処理を実行させる。
以上のように各処理を行うことにより、図16に示されるAF起動制御部82は、不必要なAF処理を容易に低減させながら、例えばユーザが撮像装置を非常にゆっくりと定速でパンニングさせる場合等、ユーザが意図すると思われる被写体に対しては、AF処理を起動させて合焦させ、より的確なAF処理を実現し、高品質な撮影画像が得られるようにすることができる。なお、チルト(チルティング)の場合についても同様である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、上述したように、装置本体とは別に、ユーザにプログラムを配信するために配布されるリムーバブルメディア97により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM91や、記憶部94に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、1つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて1つの装置として構成されるようにしてもよい。また、上述した以外の構成を付加するようにしてももちろんよい。さらに、装置全体としての構成や動作が実質的に同じであれば、ある部分の構成の一部を他の部分の構成に含めるようにしてもよい。
50 撮像装置, 51 AF駆動部, 52 画像処理部, 53 AF制御部, 61 フォーカスレンズ, 62 ウォブリングレンズ, 63 レンズ駆動部, 64 駆動制御部, 73 信号処理部, 81 評価値算出部, 82 AF起動制御部, 83 AF制御処理部, 121 相対角度変化量算出部, 122 モード変化検出部, 123 AF起動指示出力部, 131 フィールド内輝度積分値算出部, 132 領域設定部, 133 区間別輝度積分平均値算出部, 134 区間別輝度積分平均値保持部, 135 差分値算出部, 136 正規化部, 141 モード判別部, 142 モードフラグ, 143 閾値保持部, 144 更新確認部, 145 モード更新部, 146 モード変化パターン判定部, 151 安定モード, 152 不安定モード, 171 撮影画枠, 172 評価枠, 173A乃至173D 被写体, 200 撮像装置, 203 AF制御部, 211 評価値算出部, 212 AF起動制御部, 231 評価値変化検出部, 241 評価値加算演算部, 242 基準加算結果保持部, 243 評価値変動率算出部, 244 評価値変動率特定部, 301 輝度積分値変化検出部, 311 最新フィールド内輝度積分値取得部, 312 基準フィールド内輝度積分値保持部, 313 輝度積分値変動率算出部, 314 輝度積分値変動率判定部