JP5769518B2 - 撮像装置 - Google Patents

Description

本発明は、被写体を撮像する撮像装置に関する。

従来、動体を撮影する際や動画像を撮影する際に、特定の被写体に追従するように自動合焦制御（ＡＦ）や自動露光制御（ＡＥ）を行う技術が知られている。このような特定の被写体を追従するために追尾処理が用いられている。追尾処理には、輝度情報を利用するものや、色情報を利用するもの、形状情報を利用するもの、顏検出を利用するもの等、種々のものがある。特許文献１には、撮像手段より出力された撮像信号に基づいて、被写体像に対する追尾動作を行う自動追尾装置が開示されている。

特許文献１に開示されている自動追尾装置では、被写体の特徴を表わすパラメータ（例えば被写体及び背景の色等）を、予め設定された追尾視野について抽出し、この抽出した特徴と、新たに抽出した被写体の特徴とに基づいて、被写体の移動の有無、及び被写体が移動した場合にはその移動方向又は移動位置を検出する。そして、追尾視野を、被写体の移動に追尾して移動させる。

特許第２６０５００４号公報

ところで、暗所において被写体追尾を行う際には、ＡＦイルミネータが発光するオートフォーカスの為の補助光によって、追尾対象の輝度情報や色情報が大きく変化してしまうことがある。当然ながら、このような場合には正確な被写体追尾を行うことができない。また、静止画撮影、動画撮影時に照明装置（補助光）を点灯させて撮影を行う時に輝度情報や色情報が変化する場合も同様である。現在、このような状況においても正確な被写体追尾を行うことが可能な撮像装置が望まれている。

本発明は、上述の事情に鑑みてなされたものであり、ＡＦイルミネータや撮影用照明を使用する場合であっても、ＡＦイルミネータや撮影用照明の補助光の影響を受けずに被写体追尾を行うことが可能な撮像装置を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、
被写体を追尾する処理を行う撮像装置であって、
前記被写体に対して補助光を発光する補助光部と、
前記被写体を繰り返し撮像して画像データを生成する撮像部と、
前記撮像部によって生成された複数の連続する画像データに基づいて、追尾領域を設定し、該追尾領域を追尾する被写体追尾部と、
を具備し、
前記被写体追尾部は、前記補助光部が補助光を発光する前の前記追尾領域の位置、及び／または、前記補助光部が補助光を発光する前の追尾処理に係る画像データを記憶すると共に、前記補助光部が補助光を発光している期間においては前記追尾処理を停止させ、且つ、前記補助光部が補助光を消灯した後には前記記憶した追尾領域の位置及び／または前記記憶した画像データに基づいて追尾処理を再開する
ことを特徴とする。

本発明によれば、ＡＦイルミネータや撮影用照明を使用する場合であっても、ＡＦイルミネータや撮影用照明の補助光の影響を受けずに被写体追尾を行うことが可能な撮像装置を提供することができる。

図１は、本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。 図２は、輝度情報を用いた追尾処理について説明するための図である。 図３は、色情報を用いた追尾処理について説明するための図である。 図４は、顏検出処理について説明するための図である。 図５は、形状情報を用いた追尾処理について説明するための図である。 図６Ａは、本発明の一実施形態に係る撮像装置の撮影動作を示すフローチャートである。 図６Ｂは、本発明の一実施形態に係る撮像装置の撮影動作を示すフローチャートである。 図７は、本発明の一実施形態に係る撮像装置の追尾処理について示すフローチャートである。 図８は、補助光発光装置がＯＮに設定された状態での追尾処理に特有の処理を示すタイミングチャートである。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。図１に示す撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４と、補助光発光装置１４１と、を有している。

撮影光学系１０２は、図示しない被写体からの光束Ｆを、撮像素子１１４の受光面上に集光するための光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有している。焦点調整機構１０４は、モータ及びその駆動回路等を有している。この焦点調整機構１０４は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。

絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有している。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、絞り１０６を駆動させる。

シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ１１０により、撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、シャッタ１１０を駆動させる。

撮像素子１１４は、撮影光学系１０２を介して集光された被写体からの光束Ｆが結像される受光面を有している。撮像素子１１４の受光面は、複数の画素が２次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。

撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４を駆動させる。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号に変換し、画像データ（ＲＡＷデータ）を生成する。

ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、評価画像エリア、参照画像エリア、追尾位置ログエリア、追尾色領域ログエリア、を記憶エリアとして有している。
ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ（ＲＡＷデータ）等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。

評価画像エリアは、評価画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。評価画像データは、後述する追尾処理における追尾対象の被写体を含むフレームの画像データである。追尾処理においては、この追尾対象を追尾するように処理が行われる。

参照画像エリアは、参照画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。参照画像データは、後述する追尾処理において、追尾対象の検索の対象となるフレームの画像データである。追尾処理においては、参照画像データ中で検索が行われる。

追尾位置ログエリアは、追尾位置ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。本実施形態では、複数の追尾処理を併用して追尾対象を追尾する。したがって、追尾位置ログには、それぞれの追尾処理によって得られた追尾位置（候補追尾位置）を過去１０フレーム分個別に記録する。また、追尾位置ログには、後述の優先追尾位置判定処理によって採用された最終的な追尾位置も記録する。

追尾色領域ログエリアは、追尾色領域ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾色領域ログは、追尾処理によって得られた追尾色領域を記録したログである。本実施形態では、追尾色領域を過去１０フレーム分記録する。追尾色領域の詳細については後述する。

表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。

タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。

記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。

補助光発光装置１４１は、例えばＬＥＤ光源等を備える所謂ＡＦイルミネータであり、補助光を被写体に照射することにより暗い場所においてもピント合わせを容易に行なうためのものである。
システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、追尾処理回路１３０５、１３０６、１３１３と、顏検出回路１３０７と、色情報取得回路１３０８と、メモリ制御回路１３０９と、補助光制御回路１３１０と、を有している。

ＣＰＵ１３０１は、焦点調整機構１０４、絞り駆動機構１０８、シャッタ駆動機構１１２、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する。このＣＰＵ１３０１は、制御部としての機能も有し、後述の優先追尾判定処理において最終的な追尾位置を決定することも行う。

ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的には、ＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データ（ＲＡＷデータ）の高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。

ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的には、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データ（ＲＡＷデータ）を用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。

画像処理回路１３０４は、画像データに対する各種の画像処理を行う。この画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。
第１の追尾位置検出部としての追尾処理回路１３０５は、第１の特徴情報としての画像データの輝度情報を用いた追尾処理を行う。この輝度情報を用いた追尾処理について簡単に説明する。輝度情報を用いた追尾処理では、例えば、図２（ａ）に示す（Ｎ−１）フレームにおいて追尾対象が設定された場合、この（Ｎ−１）フレームの画像データを、評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データを、基準画像データに設定する。この後の追尾処理では、参照画像データの基準画像データ２０２と対応する部分を検索する。
Ｎフレームの追尾処理を例に示すと、まず、Ｎフレームの画像データを、参照画像データとしてＲＡＭ１１８の参照画像エリアに記憶する。この参照画像データのうちの所定の検索範囲２０４の画像データと基準画像データ２０２との相関量を求めることにより、参照画像データの基準画像データ２０２と対応する部分を検索する。相関量は、例えば基準画像データと参照画像データとの差分絶対値和（画素毎に輝度差の絶対値を求めてそれを積算したもの）から判定する。例えば、図２（ｂ）に示す参照画像データの領域２０６の参照画像データと基準画像データ２０２との差分絶対値和を求めたとすると、参照画像データの領域２０６と基準画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データの領域２０８と基準画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、基準画像データ２０２との相関量が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、相関量が最大の、即ち差分絶対値和が最小の領域を参照画像データから検索する。図２（ｂ）の例では、領域２０８となる。なお、追尾位置ログエリアには、領域２０８の中で最も一致度の高い位置を追尾位置として記録する。なお、このような位置が複数ある場合には、例えば、領域２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。

第２の追尾位置検出部としての追尾処理回路１３０６は、第２の特徴情報としての画像データの色情報を用いた追尾処理を行う。この色情報を用いた追尾処理について簡単に説明する。色情報を用いた追尾処理では、評価画像データ内で設定された色と同色であると判定できる領域である追尾色領域を検索する。図３（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得する。そして、位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を検索する。具体的には、位置３０２を開始位置から周辺に向かうように順次色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合には領域に含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合には領域に含めない。このようにして追尾色領域を検索すると、例えば、図３（ａ）に示すような単色の被写体の場合、被写体に内接する矩形領域３０４が追尾色領域となる。また、追尾位置ログエリアに記録する追尾位置は、例えば追尾色領域３０４の重心位置（図３（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。

Ｎフレームの追尾処理を例に示すと、図３（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の検索範囲の中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、追尾色領域３０４の色と同色であると判定できる領域を追尾色領域として検索する。図３（ｂ）の例では、領域３０６が追尾色領域となる。また、図３（ｂ）の例では、重心位置３０８を追尾位置とし、この追尾位置３０８を、追尾位置ログエリアに記録する。また、追尾色領域ログエリアには、追尾色領域３０６の範囲を示す情報（例えば、四隅の位置）を記録する。

顏検出回路１３０７は、画像データにおける被写体（人物）の顏を検出する。ここで、顏検出処理について簡単に説明する。顏検出処理においては、各フレームで得られる画像データと、図４（ａ）に示すような顔パーツ４０２、４０４、４０６との相関量を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顏パーツ４０２、４０４、４０６との相関量は、図４（ｂ）に示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顏パーツ４０２、４０４、４０６を含む領域４０８に顏が存在しているとする。なお、顔パーツ４０２、４０４、４０６は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図４（ｂ）では、顏領域を矩形領域としているが、円形領域としても良い。

特徴情報取得部の一例としての色情報取得回路１３０８は、追尾処理回路１３０５で得られた追尾位置の色情報を取得する。
メモリ制御回路１３０９は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うインターフェイスである。

第３の追尾位置検出部としての追尾処理回路１３１３は、第３の特徴情報としての画像データの形状（シルエット）情報を用いた追尾処理（所謂シルエット追尾処理）を行う。図５は、形状情報を用いた追尾処理について説明するための図である。
図５の左列は上から順に、“第nフレームの画像データを示す図”、“追尾対象候補の検出の為のシルエット検出を示す図”、“画面タッチ等の操作による追尾対象の決定(タッチ位置からの距離等で決定)を示す図”、“追尾枠表示を示す図”である。

詳細には、追尾処理回路（形状情報）１３１３は、まず第ｎフレームの画像データについてシルエット検出（形状情報の検出）を行って、追尾対象候補（図５左列に示す例では追尾対象候補Ａ１，Ｂ１）を検出する。ここで、ユーザによるタッチパネル１２４の操作（例えば所望の追尾対象候補をタッチする操作）で、追尾対象を指定する為のカーソルＤ１が所望の追尾対象候補（図５左列に示す例では追尾対象候補Ａ１）に合わせられ、所定の決定操作が為される。これに応じて追尾処理回路（形状情報）１３１３は、当該決定操作された追尾対象候補（図５左列に示す例では追尾対象候補Ａ１）を追尾対象に決定し、当該追尾対象に表示枠Ｃ１を設定する。

図５の右列は上から順に“第ｎ＋１フレームの画像データを示す図”、“シルエット検出を行って各追尾対象候補と、第ｎフレームの追尾対象とを比較(位置、シルエット内部の色分布等)することによる、第ｎ＋１フレームの追尾対象の決定を示す図”、“追尾枠表示を示す図”である。

詳細には、追尾処理回路（形状情報）１３１３は、第ｎ＋１フレームの画像データについてシルエット検出（形状情報の検出）を行って追尾対象候補（図５右列に示す例では追尾対象候補Ａ２，Ｂ２）を検出し、これら追尾対象候補と、前フレーム（上述の第ｎフレーム）の画像データについて決定した追尾対象（本例では追尾対象Ａ１）とを比較する。この比較は、例えば位置の比較やシルエット内部の色分布の比較等である。追尾処理回路（形状情報）１３１３は、この比較結果に基づいて、第ｎ＋１フレームの追尾対象を決定する（図５右列に示す例では追尾対象Ａ２）。そして、追尾処理回路（形状情報）１３１３は、当該決定した追尾対象に表示枠Ｃ２を設定する。

補助光制御回路１３１０は、ＣＰＵ１３０１の指示に基づいて、所謂ＡＦイルミネータとして機能する補助光発光装置１４１の発光制御を行う。
操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等が含まれる。
レリーズボタン釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチと、を有している。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、撮像装置１００が省電力待機状態となる。

ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらには、ＲＯＭ１３４は、顏検出回路１３０７における顏検出に用いられる顏パーツのデータや追尾枠を表示するためのデータ等も記憶している。

次に、本一実施形態に係る撮像装置の動作について説明する。図６Ａ，６Ｂは、撮像装置１００の撮影動作を示すフローチャートである。図７は、本発明の一実施形態に係る撮像装置の追尾処理について示すフローチャートである。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図６Ａ，６Ｂ，７の動作を制御する。

Ｓ１００において、ＣＰＵ１３０１は、現在の撮像装置１００の撮影設定が静止画撮影モードであるかを判定する。前述したように、撮影設定は、モードダイヤルによって設定される。
Ｓ１００において、撮影設定が静止画撮影モードであると判定した場合に、Ｓ１０２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。

Ｓ１０４において、ＣＰＵ１３０１は、１ｓｔレリーズスイッチがオンされたかを判定する。Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
また、Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定した場合に、Ｓ１０６において、ＣＰＵ１３０１は、レリーズＡＦ処理を行う。レリーズＡＦにおいては、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、ＣＰＵ１３０１は、焦点調整機構１０４を制御して、フォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。そして、ＣＰＵ１３０１は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。

Ｓ１０８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようにしても良いし、顏検出回路１３０７によって顏が検出された場合には、その顔に追尾枠を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。このように、本実施形態においては、ＣＰＵ１３０１、ＡＦ制御回路１３０２、顏検出回路１３０７、タッチパネル１２４等が追尾対象設定部の一例として機能する。

以下説明するＳ１０９乃至Ｓ１１３の処理は、補助光発光装置１４１（ＡＦイルミネータ）を使用する場合であっても、その補助光の影響を受けずに被写体追尾を行うことを可能とする目的で実行する処理である。
すなわち、補助光発光装置１４１が補助光を発光する前の追尾領域の位置、及び／または、補助光発光装置１４１が補助光を発光する前に追尾処理を実行した画像データを記憶すると共に、補助光発光装置１４１が補助光を発光している期間においては追尾処理を停止させ、且つ、補助光発光装置１４１が補助光を消灯した後には前記記憶した追尾領域の位置または前記記憶した画像データに基づいて追尾処理を再開する。

換言すれば、補助光発光装置１４１がＯＮに設定されて補助光を発光している場合には、当該補助光を一端消灯させてから追尾処理を行い、当該追尾処理の結果（当該追尾処理に係る“追尾領域の位置”及び／または“画像データ”）を記録する。そして、補助光を再び発光させてＡＦ処理を実行した後に、再び追尾処理を実行する際に、前回記録した追尾処理の結果を利用して追尾処理を実行する（この際には追尾領域の検索範囲を拡大してもよい）。以下、図６Ａ、図６Ｂ、図７に示すフローチャートを参照して詳細に説明する。

Ｓ１０９において、ＣＰＵ１３０１は、補助光発光装置１４１の設定がＯＮであるか否かを判定する。補助光発光装置１４１の設定がＯＮであると判定した場合には、ＣＰＵ１３０１は、Ｓ１１０において、補助光制御回路１３１０によって補助光発光装置１４１の補助光を消灯させる。

Ｓ１１１において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については後述する。
Ｓ１１３において、ＣＰＵ１３０１は、補助光制御回路１３１０によって補助光発光装置１４１の補助光を発光させる。
Ｓ１１４において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うとともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。

追尾処理後のＡＦ処理においては、スキャン駆動、またはウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、ＣＰＵ１３０１は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。

また、ＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。

Ｓ１１５において、ＣＰＵ１３０１は、２ｎｄレリーズスイッチがオンされたかを判定する。Ｓ１１５において、２ｎｄレリーズスイッチがオンされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１０９以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。

また、Ｓ１１５において、２ｎｄレリーズスイッチがオンされたと判定した場合に、Ｓ１１６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。
Ｓ１１７において、ＣＰＵ１３０１は、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。

Ｓ１１８において、ＣＰＵ１３０１は、Ｓ１１１の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図６Ａ，６Ｂに示す動作を終了させる。
ところで、Ｓ１０９において、補助光発光装置１４１の設定がＯＮではないと判定した場合には、ＣＰＵ１３０１は、上述のＳ１１１と同様の追尾処理を実行するステップであるＳ１１９における追尾処理を実行して上述のＳ１１４のＡＦ処理へ移行する。このルーチンは、補助光発光装置１４１の設定がＯＦＦになっている場合のルーチンであるので、ＡＦ処理中に通常どおりの追尾処理を実行するルーチンである。

Ｓ１００において、撮影設定が動画撮影モードであると判定した場合には、ＣＰＵ１３０１は、Ｓ１２２においてライブビュー動作を開始させる。
Ｓ１２４において、ＣＰＵ１３０１は、動画釦がオンされたかを判定する。Ｓ１２４において、動画釦がオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。

また、Ｓ１２４において、動画釦がオンされたと判定した場合に、Ｓ１２６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。続いてＳ１２８において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については、後述する。

Ｓ１３０において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。Ｓ１３０におけるＡＦ処理おいては、ウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。

Ｓ１３２において、ＣＰＵ１３０１は、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。

Ｓ１３４において、ＣＰＵ１３０１は、Ｓ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルと同時記録する。
Ｓ１３６において、ＣＰＵ１３０１は、動画釦がオフされたかを判定する。Ｓ１３６において、動画釦がオフされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。

また、Ｓ１３６において、動画釦がオフされたと判定した場合に、Ｓ１３８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。その後、ＣＰＵ１３０１は、Ｓ１１８において、Ｓ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図６Ａ，６Ｂに示す動作を終了させる。

以下、Ｓ１１１における追尾処理について図７に示すフローチャートを参照して詳細に説明する。前述したように、本一実施形態においては、複数の追尾処理を併用して追尾対象の追尾を行う。
Ｓ２００において、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ２０２において、ＣＰＵ１３０１は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。ここで、初回の追尾処理で得られた画像データは、評価画像データとする。このため、ＣＰＵ１３０１は、初回の追尾処理で得られた画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、２回目以後の追尾処理で得られた画像データは、参照画像データとする。このため、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データをＲＡＭ１１８の参照画像エリアに取り込む。

Ｓ２０４において、ＣＰＵ１３０１は、追尾処理回路１３０５による第１の追尾処理としての輝度情報を用いた追尾処理、追尾処理回路１３０６による第２の追尾処理としての色情報を用いた追尾処理、追尾処理回路１３１３による第３の追尾処理としての形状情報を用いた追尾処理、及び顔検出回路１３０７により被写体の顔部位を検出して追尾する追尾処理のうち少なくとも何れか一つの追尾処理を実行する。追尾処理の具体的な内容については、前述したので説明を省略する。

なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、Ｓ２０４以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。Ｓ２０６において、ＣＰＵ１３０１は、各情報を用いた追尾処理の結果として得られた追尾位置を、それぞれ候補追尾位置としてＲＡＭ１１８の追尾ログエリアに記憶させる。

Ｓ２０６において、ＣＰＵ１３０１は、輝度情報を用いた追尾処理の結果、色情報を用いた追尾処理の結果、形状情報を用いた追尾処理の結果と被写体の顔部位を用いた追尾処理の結果について、各々の追尾結果の信頼性を判断する。判断方法としては任意の判断方法を利用すればよいが、一例としては、輝度情報を用いた追尾結果においては、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以下である場合には、信頼性があると判断する。また、色情報を用いた追尾結果においては、例えば参照画像データの彩度から信頼性を判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。これらの信頼性を判定するための閾値は適宜設定可能である。

Ｓ２０７において、ＣＰＵ１３０１は、追尾位置の判定処理を行う。この追尾位置の判定処理は、何れの追尾処理の結果を採用するかを判定する処理である。この追尾位置の判定処理は、任意の基準に基づく判定処理とすればよいが、一例としては、各特徴情報に基づいて演算した追尾位置の信頼性に基づく判定処理としたり、条件に応じて顔部位を用いた追尾処理を優先したりすればよい。

Ｓ２０８において、ＣＰＵ１３０１は、Ｓ２０７の判定結果に基づいて採用した最終的な追尾位置のみを、ＲＡＭ１１８の追尾ログエリアに記録する。次回の追尾処理においては、この最終的な追尾位置を追尾処理の開始位置とする。Ｓ２０９において、ＣＰＵ１３０１は、当該追尾処理に係る画像データをＲＡＭ１１８の参照画像エリアに記録する。

これらＳ２０８及びＳ２０９における処理で記録した“追尾領域の位置”及び“追尾処理に係る画像データ”を、次回の追尾処理において利用することで、次回の追尾処理に要する時間を軽減することができる。
Ｓ２１０において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ２０８で記憶させた追尾位置に対応した位置に更新する。その後、ＣＰＵ１３０１は、図７の追尾処理を終了させる。

ところで、図８は補助光発光装置１４１がＯＮに設定された状態での追尾処理に特有の処理を示すタイミングチャートである。同図に示すように、補助光発光装置１４１が補助光を発光している期間においては追尾処理（Ｓ１１１）を実行せず（停止させ）、且つ、補助光発光装置１４１が補助光を消灯後に追尾処理を再開させる際に（Ｓ２０４において）対象画像データ中における追尾領域Ｔを検索する範囲（検索範囲Ｓ）を拡大させてもよい。これは、追尾処理の停止期間中における被写体の移動を鑑みての措置である。

以上説明したように、本一実施形態によれば、ＡＦイルミネータを使用する場合であっても、ＡＦイルミネータの補助光の影響を受けずに被写体追尾を行うことが可能な撮像装置を提供することができる。
なお、補助光発光装置１４１に、複数の補助光（例えば複数種類のＬＥＤ）を備えさせ、実際に発光させる補助光の種類に応じて、補助光発光期間中に追尾処理を行うか否かを決定してもよい。具体的には、例えばＣＰＵ１３０１が、補助光発光装置１４１に発光させる補助光の種類に基づいて、補助光発光期間中においても追尾処理を行うか否かを判定し、該判定結果に基づいた制御を行う。例えば実際に発光させる補助光が白色ＬＥＤである場合には、補助光発光期間中において追尾処理を実行しても何ら不都合は生じない為、補助光発光期間中においても追尾処理を停止させる必要はない。
また、ＡＦイルミネ−タの代わりに撮影用の照明装置を備え、静止画撮影または動画撮影の時に照明装置を点灯させて被写体を照明する場合も、同様に適用してもよい。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の動作の説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…撮像装置、１０２…撮影光学系、１０４…焦点調整機構、１０６…絞り、１０８…絞り駆動機構、１１０…シャッタ、１１２…シャッタ駆動機構、１１４…撮像素子、１１６…撮像素子インターフェイス（ＩＦ）回路、１１８…ＲＡＭ、１２０…表示素子、１２２…表示素子駆動回路、１２４…タッチパネル、１２６…タッチパネル駆動回路、１２８…記録メディア、１３０…システムコントローラ、１３２…操作部、１３４…ＲＯＭ、補助光発光装置…１４１、１３０１…ＣＰＵ、１３０２…ＡＦ制御回路、１３０３…ＡＥ制御回路、１３０４…画像処理回路、１３０５，１３０６，１３１３…追尾処理回路、１３０７…顏検出回路、１３０８…色情報取得回路、１３０９…メモリ制御回路、１３１０…補助光制御回路

Claims (5)

1. 被写体を追尾する処理を行う撮像装置であって、
   前記被写体に対して補助光を発光する補助光部と、
   前記被写体を繰り返し撮像して画像データを生成する撮像部と、
   前記撮像部によって生成された複数の連続する画像データに基づいて、追尾領域を設定し、該追尾領域を追尾する被写体追尾部と、
   を具備し、
   前記被写体追尾部は、前記補助光部が補助光を発光する前の前記追尾領域の位置、及び／または、前記補助光部が補助光を発光する前の追尾処理に係る画像データを記憶すると共に、前記補助光部が補助光を発光している期間においては前記追尾処理を停止させ、且つ、前記補助光部が補助光を消灯した後には前記記憶した追尾領域の位置及び／または前記記憶した画像データに基づいて追尾処理を再開する
   ことを特徴とする撮像装置。
2. 前記被写体追尾部は、前記追尾領域を検索する領域である第１の範囲を画像データ中に設定し、前記再開時の追尾処理においては前記第１の範囲の面積を拡大させる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記被写体追尾部は、
   前記画像データについて顔検出を行う顔検出部と、
   前記画像データについて色検出を行う色検出部と、
   前記画像データについて輝度検出を行う輝度検出部と、
   前記画像データについて形状検出を行う形状検出部と、
   を有し、
   前記顔検出部、前記色検出部、前記輝度検出部、及び前記形状検出部のうち少なくとも何れか一つの出力を利用して追尾処理を行う
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記補助光部は、複数種類の補助光を備えており、
   前記被写体追尾部は、前記補助光部が発光する補助光の種類に基づいて、前記補助光の発光期間中においても追尾処理を行うか否かを判定し、該判定結果に基づいた処理を行う
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記被写体追尾部は、前記補助光部が発光する補助光が白色ＬＥＤである場合には、前記補助光の発光期間中においても追尾処理を行うと判定する
   ことを特徴とする請求項４に記載の撮像装置。

Images