JP7450371B2 - 被写体追尾装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、特定の被写体を追尾する制御技術に関する。

デジタルカメラ等の撮像装置において、連続して撮影される画像から主被写体領域を抽出および追尾し、主被写体に対して焦点状態および露出状態を継続的に最適化し続ける、追尾ＡＦ機能を備えたものがある。この追尾ＡＦ機能において撮影画像から主被写体を抽出する方法として、ユーザが主被写体を選択する方法と、撮像装置が撮影画像から自動で主被写体を決定する方法がある。

特許文献１では、複数の焦点検出エリアを有し、ユーザが選択した焦点検出エリアと、顔の検出位置とが所定の位置関係にある場合には、顔の位置に対応する焦点検出エリアで焦点調節を行う方法が提案されている。

特開２０１９－１１７３９５号公報

しかしながら、特許文献１では、ユーザが人にピントを合わせたい場合の意図しかくみ取れず、その他ユーザが設定する可能性がある様々な被写体について、ユーザが選択する意図を適切にくみ取れるものではなかった。

本発明は、上記課題に鑑みてなされ、その目的は、連続して撮影される画像に対して主被写体を継続的に追尾する場合において、ユーザの意図と整合性のある主被写体の選択および変更を行うことができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の被写体追尾装置は、連続して撮影される画像中の所定の被写体を追尾対象として追尾処理を行う追尾手段と、ユーザ操作に応じて追尾対象となる被写体を設定する設定手段と、少なくとも１つの画像に基づいて追尾対象となる被写体を決定する決定手段と、現在の追尾対象を前記決定手段により決定された被写体に変更する制御において、前記現在の追尾対象が前記設定手段によって設定されていた場合は、前記現在の追尾対象が前記設定手段によって設定されていない場合よりも前記追尾対象が変更されにくくなるように制御する制御手段と、を有する。

本発明によれば、連続して撮影される画像に対して主被写体を継続的に追尾する場合において、ユーザの意図と整合性のある主被写体の選択および変更を行うことができるようになる。

実施形態１～５の撮像装置の光学系を示す概略断面図。 実施形態１～５の撮像装置の制御系の構成を示すブロック図。 実施形態１～５の撮像装置のファインダー画面を例示する図。 実施形態１～５の撮像装置による連続撮影動作を示すフローチャート。 実施形態１～５の撮像装置による被写体追尾処理を説明する図。 実施形態１～５の撮像装置による焦点検出点選択処理を説明する図。 実施形態１の撮像装置による主被写体決定処理を示すフローチャート。 実施形態１～５の主被写体決定処理に用いるパラメータを示す図。 実施形態１～５の主被写体候補に対する主被写体適性の算出方法を説明する図。 実施形態１～５におけるユーザ操作に応じた主被写体選択処理を説明する図。 実施形態１～５における自動主被写体決定処理を説明する図。 実施形態１における主被写体適性を補正する例を説明する図。 実施形態１における主被写体適性を補正する例を説明する図。 実施形態２の撮像装置による主被写体決定処理を示すフローチャート。 実施形態２における主被写体候補を対応付ける例を説明する図。 実施形態２における主被写体の変更判定を行う例を説明する図。 実施形態３の撮像装置による主被写体決定処理を示すフローチャート。 実施形態３における主被写体の変更判定を行う例を説明する図。 実施形態４の撮像装置による主被写体決定処理を示すフローチャート。 実施形態５の撮像装置による主被写体決定処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］以下に、実施形態１について説明する。

以下では、本実施形態の撮像装置をデジタル一眼レフカメラ（以下、カメラ）に適用した例を説明する。なお、本実施形態の撮像装置は、これらに限らず、携帯電話やその一種であるスマートフォンなどの通信機器、タブレット端末などの携帯型情報機器などにも適用可能である。

撮像装置が自動で主被写体を決定する方法としては、例えば撮影画像から人物の顔などの特定の被写体を検出し、検出した各被写体について主被写体としての適性（以下、主被写体適性）を判定し、最も適性の高い被写体を主被写体とする方法が知られている。

しかしながら、例えばユーザが主被写体を選択すると同時に、撮像装置がユーザの選択した被写体よりも高い主被写体適性を持つ別の被写体を検出した場合、撮像装置はどちらの被写体を主被写体に設定すべきかの判定が困難な場合がある。そして、状況に応じて適切な主被写体を選択しなければ、ユーザの意図と異なる被写体を主被写体としてしまう課題がある。

そこで、本実施形態では、追尾対象の主被写体がユーザ選択による場合には、ユーザによって選択されていない場合（撮像装置により自動判定され、決定された被写体である場合）に比べて現在の追尾対象から他の被写体に追尾対象が変更されにくいように制御する。

＜装置構成＞
まず、図１から図３を参照して、本実施形態のカメラ１００の構成および機能について説明する。

図１、図２および図３は、本実施形態のカメラ１００における光学系の構成、制御系の構成、ファインダー画面をそれぞれ例示している。

本実施形態のカメラ１００は、カメラ本体１０１の正面側（被写体側）に交換式のレンズユニット１２０が着脱可能に装着される。レンズユニット１２０は、フォーカスレンズ１２１および絞り１２２などを有し、カメラ本体１０１に対して接点部１２３を介して電気的に接続される。カメラ本体１０１は接点部１２３を介してレンズユニット１２０と通信することで、カメラ本体１０１に取り込む被写体像光の光量や焦点位置などを調節可能である。なお、レンズユニット１２０のフォーカスレンズ１２１は、ユーザが手動で調節することもできる。

システム制御部１０２は、複数のタスクを並列処理できるマルチコアＣＰＵ、ＲＡＭおよびＲＯＭなどを備え、カメラ本体１０１およびレンズユニット１２０の各部を制御する。また、システム制御部１０２は、撮像センサ１１１から出力される信号から画像データを生成したり、画像中から人物の顔などの特定の被写体を検出する処理を高速に実行するための演算回路を有する。

メインミラー１０３は、ファインダー観察時には、撮影光路に進入しレンズユニット１２０を通過した被写体光束をピント板１０６に導き、撮影時には、撮影光路から退避して被写体光束を撮像センサ１１１に導く。メインミラー１０３はハーフミラーで構成され、サブミラー１０４は、メインミラー１０３を透過した被写体光束を反射して焦点検出センサ１０５へ導く。

ペンタダハプリズム１０７は、ピント板１０６に結像した被写体光束を正立正像の被写体像に変換し、変換された被写体像は、測光センサ１０８に導かれるとともに、光学ファインダーおよびアイピース１０９を通してユーザに視認される。図３は、ユーザが光学ファインダーを覗いた際に視認されるファインダー画面を例示している。ピント板１０６近傍に配置されたファインダー視野枠１１３によって被写体光束の周辺部は遮光され、撮像センサ１１１で撮像される領域のみがユーザの視認するファインダー画面１３１となる。

測光センサ１０８は、図３に示すファインダー画面１３１より内側の測光領域１３２の光束を受光し、ＡＥ（自動露出）像信号を生成する。測光センサ１０８で生成されたＡＥ像信号はシステム制御部１０２へ送信される。システム制御部１０２は、測光センサ１０８から受信したＡＥ像信号を用いて自動露出処理を行い、さらに後述する被写体検出処理および追尾ＡＦ処理を行う。

焦点検出センサ１０５は、被写体光束の二次結像面を焦点検出センサ上に形成することで、図３に示すファインダー画面１３１に矩形のＡＦ枠として表示される１９１点の焦点検出点３０１に対応するＡＦ像信号を生成する。焦点検出センサ１０５により生成されたＡＦ像信号はシステム制御部１０２へ送信される。システム制御部１０２は、焦点検出センサ１０５から受信したＡＦ像信号に基づいてフォーカスレンズ１２１の焦点状態を検出し、焦点検出結果に基づいてフォーカスレンズ１２１の駆動を制御することでＡＦ（オートフォーカス）処理を行う。

撮像センサ１１１は、ＣＣＤやＣＭＯＳなどの光電変換素子、赤外カットフィルターやローパスフィルターなどを含む。撮像センサ１１１は、システム制御部１０２により制御されて、レンズユニット１２０の撮影光学系を通過して結像した被写体像を光電変換した画像信号をシステム制御部１０２に送信する。システム制御部１０２は、撮像センサ１１１から受信した画像信号から画像データを生成して記憶部２０２に記憶するとともに、表示部１１２に表示する。

表示部１１２は、有機ＥＬや液晶などの表示パネルを備え、カメラ１００で撮影された映像、各種設定、操作メニューなどを表示可能である。記憶部２０２は、メモリカードやハードディスクなどのカメラ１００に内蔵された記録媒体またはカメラ１００に対して着脱可能な記録媒体である。シャッター１１０は、システム制御部１０２により駆動が制御されて、後述する撮影モードではない場合は撮像センサ１１１を遮光し、撮影モードの場合は撮像センサ１１１を露光する。

操作部２０１はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネルなどの操作部材である。操作部２０１は、例えば電源ボタン、モード切替ボタン、シャッターボタンなどを含み、ユーザ操作を検知し、検知結果に応じた操作信号をシステム制御部１０２へ送信する。電源ボタンは、カメラ１００の電源をオンまたはオフに切り替える操作部材である。モード切替ボタンは、カメラ１００の動作モードを切り替える操作部材である。カメラ１００の動作モードは、撮像センサ１１１から出力される画像信号を逐次表示するライブビューモード、静止画や動画を撮影する撮影モード、撮影された映像を再生する再生モードなどを含み、ユーザはモード切替ボタンによりいずれかの動作モードが選択可能である。また、撮影モードにおいては後述する被写体追尾処理を行う追尾ＡＦモードの設定が可能である。

シャッターボタンが半押しされると、第１スイッチＳＷ１がオンとなり、システム制御部１０２は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理などの撮影準備処理を開始する。また、シャッターボタンが全押しされると、第２スイッチＳＷ２がオンとなり、システム制御部１０２は、撮像センサ１１１からの画像信号の読み出しから記憶部２０２に画像データを書き込むまでの一連の撮影処理を開始する。また、シャッターボタンが押されていない状態では、ユーザはダイヤル操作などにより図３に示すファインダー画面１３１における１９１点の焦点検出点３０１の中から任意の１点を、任意選択焦点検出点３０２として設定できる。任意選択焦点検出点３０２が設定された状態で第１スイッチＳＷ１がオンした場合、システム制御部１０２は、任意選択焦点検出点３０２で検出された焦点状態に応じてＡＦ処理を行う。なお、カメラの設定などにより、ユーザは任意選択焦点検出点３０２を設定しないことも可能である。

次に、図４、図５および図６を参照して、本実施形態のカメラ１００の被写体追尾処理を行う追尾ＡＦモードにおける連続撮影動作について説明する。

図４は、本実施形態のカメラ１００による、第１スイッチＳＷ１がオンされた後の追尾ＡＦモードによる連続撮影動作の流れを示している。

図４におけるステップＳ４０１からステップＳ４１１までの処理は、連続撮影の１フレーム分に相当する一連の処理であり、これら一連の処理を繰り返すことで連続撮影が実行される。なお、図４の処理はシステム制御部１０２のＣＰＵがＲＯＭに格納されたプログラムがＲＡＭに展開して実行しカメラ１００の各部を制御することにより実現される。

ステップＳ４０１では、システム制御部１０２は、測光センサ１０８の電荷蓄積を行い、生成された像信号をＡＥ像信号として読み出す。また、システム制御部１０２は、焦点検出センサ１０５の電荷蓄積を行い、生成された像信号をＡＦ像信号として読み出す。システム制御部１０２は、ＡＥ像信号およびＡＦ像信号の読み出しが完了すると、ステップＳ４０２に進む。

ステップＳ４０２では、システム制御部１０２は、過去のフレームにおいて、後述するステップＳ４１０で主被写体領域が抽出され、追尾ＡＦ処理を行うための追尾基準データが生成されている場合はステップＳ４０３へ進む。また、システム制御部１０２は、第１スイッチＳＷ１オン直後などで、追尾基準データが未生成である場合はステップＳ４０４へ進む。

ステップＳ４０３では、システム制御部１０２は、ステップＳ４０１で読み出したＡＥ像信号と、追尾基準データを用いて、公知の色ヒストグラムマッチング方式によって特定の被写体を追尾する追尾ＡＦ処理を行い、主被写体の位置を推定する。そして、推定した主被写体領域の位置を被写体追尾領域としてＲＡＭに記憶し、ステップＳ４０４へ進む。

ここで、図５を参照して、色ヒストグラムマッチングによって被写体追尾領域を推定する手順について説明する。

ＡＥ像信号５０１、５０２は、異なるフレームで撮像されたＡＥ像信号である。ＡＥ像信号５０１は、過去のフレームのＡＥ像信号であり、後述のステップＳ４１０によって主被写体の抽出と、追尾基準データの生成が行われたＡＥ像信号である。ＡＥ像信号５０２は、現在フレームのＡＥ像信号であり、追尾ＡＦ処理によって主被写体位置の推定が行われるＡＥ像信号である。

追尾ＡＦ処理は、まず、過去のフレームにおいて、ＡＥ像信号５０１から主被写体領域５０３が抽出され、主被写体領域５０３に含まれる画素値に基づいて基準色ヒストグラム５０６が生成される。基準色ヒストグラム５０６の横軸は、色相、彩度、輝度の数値に基づいて分類される色の種類である。基準色ヒストグラム５０６の縦軸は、画素値に基づいて各色に分類された画素の数である。生成された基準色ヒストグラム５０６は、新たな基準色ヒストグラムによって上書きされるまでは、システム制御部１０２のＲＡＭに記憶され続ける。

続いて、現在のフレームにおいて、ＡＥ像信号５０２をラスタスキャンしながら複数の探索領域５０４を抽出し、各探索領域５０４に含まれる画素値に基づいて色ヒストグラム５０７を生成していく。色ヒストグラム５０７の横軸、縦軸は基準色ヒストグラム５０６と同一である。

そして、生成された全ての色ヒストグラム５０７について、基準色ヒストグラム５０６との一致性を評価し、最も一致性の高かった色ヒストグラム５０７に対応する探索領域を、現在のフレームにおける被写体追尾領域５０５とする。

なお、２つのヒストグラムの一致性を評価する方法としては、公知のＢｈａｔｔａｃｈａｒｙｙａ（バタチャリア）係数を用いる。

ステップＳ４０４では、システム制御部１０２は、ステップＳ４０１で読み出したＡＦ像信号と、ステップＳ４０３で検出した被写体追尾領域５０５の位置に基づいて、主焦点検出点の決定と、フォーカスレンズ１２１の焦点調節を行い、ステップＳ４０５に進む。

ここで、図６を参照して、被写体追尾領域５０５の位置に基づいて主焦点検出点を決定する処理について説明する。

図６（ａ）は、ファインダー画面１３１に表示される１９１点の焦点検出点３０１と、ステップＳ４０３で検出した被写体追尾領域５０５とを重ね合わせた状態を例示している。システム制御部１０２は、まず、１９１点の焦点検出点３０１の中から、ファインダー画面１３１において被写体追尾領域５０５と一部でも重なり合う全ての焦点検出点を抽出する。

図６（ｂ）は、１９１点の焦点検出点３０１の中から、被写体追尾領域５０５と重なる焦点検出点を抽出した状態を例示している。システム制御部１０２は、抽出した焦点検出点を、主焦点検出点候補６０１としてＲＡＭに記憶する。

図６（ｃ）は、主焦点検出点候補６０１の中から、１つの主焦点検出点を選択する方法を例示している。システム制御部１０２は、主焦点検出点候補６０１に含まれる各焦点検出点について、対応するＡＦ枠の面積を基準として、被写体追尾領域５０５と重複する面積の比率が高い順にソートする。さらに、重複する面積比率が同等な焦点検出点が複数存在する場合には、それら同等の比率を持つ焦点検出点の中で、さらに被写体追尾領域５０５の中心から近い順にソートする。このようにしてソートされた主焦点検出点候補６０１に対して、システム制御部１０２は、上から順に順位付けする。

そして、システム制御部１０２は、順位付けされた主焦点検出点候補６０１のうち、最も順位の高い焦点検出点６０２について、ステップＳ４０１で取得したＡＦ像信号を用いて焦点検出演算を行う。そして、演算の結果、焦点が検出できた場合には、焦点検出点６０２を主焦点検出点とする。

また、コントラストが所定より低いことなどが原因で焦点検出点６０２の焦点が検出できなかった場合には、順位付けされた主焦点検出点候補６０１のうち、２番目に順位の高い焦点検出点６０３の焦点検出演算を行う。焦点検出演算の結果、焦点が検出できた場合には、焦点検出点６０３を主焦点検出点とする。

焦点検出点６０３でも焦点を検出できなかった場合は、３番目、４番目、・・・というように、同様の焦点検出演算を焦点が検出できるまで繰り返し、主焦点検出点を決定する。主焦点検出点候補６０１に含まれる全ての焦点検出点で焦点が検出できなかった場合には、１９１点の焦点検出点３０１のうち、主焦点検出点候補６０１に含まれない残りの焦点検出点に対して焦点検出演算を行う。そして、それら残りの焦点検出点のうち、主被写体の予測焦点位置に最も近い焦点位置を持つ焦点検出点を主焦点検出点とする。

最後に、システム制御部１０２は、主焦点検出点の焦点状態に基づいて、フォーカスレンズ１２１の焦点位置を調節する。

なお、第１スイッチＳＷ１がオンされた直後など、ステップＳ４０３が実行されなかったフレームにおいては、システム制御部１０２は、任意選択焦点検出点３０２が予め設定されていた場合には、任意選択焦点検出点３０２を主焦点検出点とする。また、任意選択焦点検出点３０２が設定されていなかった場合には、１９１点の焦点検出点３０１全てで焦点検出を行い、最もカメラに近い位置に焦点がある焦点検出点を主焦点検出点とする。

ステップＳ４０５では、システム制御部１０２は、ステップＳ４０１で読み出したＡＥ像信号を用いて公知の方法により自動露出演算を行い、絞り値（ＡＶ値）、シャッタスピード（ＴＶ値）、ＩＳＯ感度（ＩＳＯ値）を決定する。ここでのＡＶ値、ＴＶ値、ＩＳＯ値は、予めＲＯＭに記憶されたプログラム線図を用いて決定する。システム制御部１０２は、ＡＶ値、ＴＶ値、ＩＳＯ値の計算が完了すると、ステップＳ４０６に進む。

ステップＳ４０６では、システム制御部１０２は、第２スイッチＳＷ２の状態を検出し、第２スイッチＳＷ２がオンである場合はステップＳ４０７へ進み、第２スイッチＳＷ２がオフである場合はステップＳ４０８へ進む。

ステップＳ４０７では、システム制御部１０２は、被写体像の撮影を行う。システム制御部１０２は、ステップＳ４０５で算出した絞り値に基づいて絞り１２２を調節し、メインミラー１０３およびサブミラー１０４をアップすることで光路上から退避させる。続いて、ステップＳ４０５で算出したシャッター速度に基づく速度でシャッター１１０を駆動させ、撮像センサ１１１を露光する。露光された撮像センサ１１１は画像信号を生成し、システム制御部１０２へ送信する。そして、システム制御部１０２は、撮像センサ１１１から受信した画像信号から画像データを生成し、記憶部２０２に記憶するとともに、表示部１１２に画像を表示した後、ステップＳ４０８に進む。

ステップＳ４０８では、システム制御部１０２は、ステップＳ４０１で読み出されたＡＥ像信号から所定の被写体を検出し、ステップＳ４０９に進む。所定の被写体としては、例えば、人物の顔などが代表的であるが、これに限らない。この場合、システム制御部１０２は、公知の方法で人物の顔領域を検出し、検出した顔領域の位置や大きさ等のパラメータをＲＡＭに記憶する。

ステップＳ４０９では、システム制御部１０２は、ステップＳ４０１で読み出されたＡＥ像信号の中から、ステップＳ４０３で検出された被写体追尾領域５０５および、ステップＳ４０８で検出された顔検出領域に基づいて主被写体を決定する。システム制御部１０２は、第１スイッチＳＷ１がオンした直後など、過去のフレームにおいて主被写体が設定されていない場合には、ＡＥ像信号中の新たな主被写体領域を決定する。また、システム制御部１０２は、過去のフレームにおいて既に主被写体が設定されている場合には、既存の主被写体を維持するか、既存の主被写体とは別の被写体に主被写体を変更するかを判定して、ＡＥ像信号中の主被写体領域を決定する。主被写体を決定した後、ステップＳ４１０に進む。主被写体を決定するアルゴリズムは図７を用いて後述する。

ステップＳ４１０では、システム制御部１０２は、ステップＳ４０１で読み出したＡＥ像信号から、ステップＳ４０９で決定された主被写体領域を抽出し、抽出した主被写体領域の色ヒストグラムを生成した後、ステップＳ４１１に進む。生成された色ヒストグラムは新たな追尾対象として、後続するフレームの追尾ＡＦ処理における基準色ヒストグラムとして使用される。

ステップＳ４１１では、システム制御部１０２は、第１スイッチＳＷ１と第２スイッチＳＷ２の状態を検出し、いずれかがオンであれば、フレームを１つ進めるとともに、ステップＳ４０１へ進み、いずれもオフであれば、連続撮像動作を停止する。

次に、図７～図１３を参照して、本実施形態のカメラ１００により主被写体を決定する手順について詳細に説明する。

図７は、ステップＳ４０９の主被写体決定処理を示すフローチャートである。ステップＳ７０１からステップＳ７１７によりＡＥ像信号における主被写体領域の決定と、主被写体領域のパラメータ設定が行われる。ステップＳ４０９で決定された主被写体領域は、ステップＳ４１０にて主被写体領域に基づく追尾基準データの生成が行われ、後続するフレームにおけるステップＳ４０３の追尾ＡＦ処理に用いられる。

図８は、主被写体領域のパラメータを例示している。パラメータ８０１は、ＡＥ像信号上における主被写体領域の位置を表すパラメータであり、Ｘ座標、Ｙ座標の数値で構成される。パラメータ８０２は、ＡＥ像信号上における主被写体領域の大きさを表すパラメータであり、高さ、幅の数値で構成される。

顔フラグ８０３は、主被写体領域が、ステップＳ４０８の顔検出領域に基づいて決定されていればＴＲＵＥ、そうでなければＦＡＬＳＥとなる。任意選択被写体フラグ８０４は、主被写体領域が、ユーザが設定した任意選択焦点検出点３０２を基準に決定されたものであればＴＲＵＥ、それ以外の、例えばカメラが自動で決定した等の場合にはＦＡＬＳＥがセットされる。任意選択被写体フラグ８０４を設定する理由は、後述のステップＳ７１５からステップＳ７１７において主被写体の変更を判定する処理に用いるためである。

ステップＳ７０１では、システム制御部１０２は、ステップＳ４０１で読み出したＡＥ像信号の中から、主被写体の候補領域（以下、主被写体候補領域）を抽出し、ステップＳ７０２に進む。主被写体候補領域となるのは、ステップＳ４０３で検出された被写体追尾領域と、ステップＳ４０８で検出された顔検出領域である。以下、被写体追尾領域に応じた主被写体候補領域を「被写体追尾領域に基づく主被写体候補領域」と呼び、顔検出領域に応じた主被写体候補領域を「顔検出領域に基づく主被写体候補領域」と呼ぶ。

図９は、主被写体候補領域となる被写体領域を例示している。９０１は、ステップＳ４０３の追尾ＡＦ処理で検出された被写体追尾領域であり、被写体追尾領域に基づく主被写体候補領域として抽出される。９０２、９０３は、ステップＳ４０８の被写体検出で検出された人物の顔検出領域であり、顔検出領域に基づく主被写体候補領域として抽出される。これら被写体追尾領域に基づく主被写体候補領域９０１と、顔検出領域に基づく主被写体候補領域９０２、９０３の合計３つの領域が主被写体候補領域となる。なお、第１スイッチＳＷ１オンの直後など、被写体追尾領域が存在しない場合は、被写体追尾領域に基づく主被写体候補領域９０１は抽出されない。

ステップＳ７０２では、システム制御部１０２は、ステップＳ７０１で抽出された主被写体候補領域に対して主被写体適性を計算し、ステップＳ７０３に進む。主被写体適性の計算式を式１に示す。
（式１）
主被写体適性＝（α×重み係数１）＋（β×重み係数２）＋（γ×重み係数３）
式１の変数αは、それぞれの主被写体候補領域が、人物の顔に相当する領域である場合には１、顔に相当しない領域である場合には０となる。例えば、図９の例では、顔検出領域に基づく主被写体候補領域９０２、９０３の計算時には１となる。また、被写体追尾領域に基づく主被写体候補領域９０１の計算時には、現在追尾対象とされている主被写体領域のパラメータを参照し、顔フラグ８０３がＴＲＵＥであれば１となり、ＦＡＬＳＥであれば０となる。図９の例では、被写体追尾領域に基づく主被写体候補領域９０１は人物の顔でないため０となる。変数αに対して、所定の重み係数１がかけられる。変数αにより、主被写体適性は、物体や動物のような人物の顔でない被写体よりも、人物の顔である被写体の方が高まりやすくなる。これは、撮影シーンの中に人物が写っている場合には、ユーザが意図する主被写体は人物である可能性が高いためである。

式１の変数βは、それぞれの主被写体候補領域が、ファインダー画面１３１の中心に近いほど高く、遠いほど小さい値をとる変数である。したがって、図９に示す撮影シーンでは、被写体追尾領域に基づく主被写体候補領域９０１、顔検出領域に基づく主被写体候補領域９０３、顔検出領域に基づく主被写体候補領域９０２の順に変数βは高くなる。変数βに対して、所定の重み係数２がかけられる。変数βにより、主被写体適性は、ファインダー画面１３１の中心に近い被写体ほど高まりやすくなる。これは、ユーザが撮影の構図を決める際、主被写体を撮影画面の中央付近に捉える傾向が比較的高いためである。

式１の変数γは、それぞれの主被写体候補領域が、カメラから見て近くに位置するほど高く、遠くに位置するほど小さい値をとる変数である。カメラから主被写体までの距離を知る方法としては、例えばファインダー画面１３１において各主被写体候補領域に含まれる焦点検出点の焦点位置を検出し、焦点位置に基づいてカメラからの距離を推測する方法がある。

図９に示す撮影シーンでは、顔検出領域に基づく主被写体候補領域９０２、被写体追尾領域に基づく主被写体候補領域９０１、顔検出領域に基づく主被写体候補領域９０３の順に変数γは高くなる。変数γに対して、所定の重み係数３がかけられる。変数γにより、主被写体適性は、撮影距離がカメラから見て近い位置に存在する被写体ほど高まりやすくなる。これは、撮影画面において大きく写っている被写体と小さく写っている被写体とでは、大きく写っている被写体の方が、ユーザの意図する主被写体である可能性が比較的高いためである。

重み係数１、２、３は、カメラの使用目的や、カメラ設定等により調整して設定される。本実施形態においては、最も大きい重みを重み係数１とし、次いで重み係数３、最も小さい重みを重み係数２とする。

グラフ９０４は、被写体追尾領域に基づく主被写体候補領域９０１、顔検出領域に基づく主被写体候補領域９０２、顔検出領域に基づく主被写体候補領域９０３に対する主被写体適性の計算結果である。グラフ９０４では、最も大きい重み係数１の影響で顔検出領域に基づく主被写体候補領域９０２、顔検出領域に基づく主被写体候補領域９０３の主被写体適性は、被写体追尾領域に基づく主被写体候補領域９０１よりも高くなっている。そして、２番目に大きい重み係数３の影響で顔検出領域に基づく主被写体候補領域９０２の主被写体適性が、顔検出領域に基づく主被写体候補領域９０３よりも高くなっている。

ステップＳ７０３では、システム制御部１０２は、現在のフレームは第１スイッチＳＷ１がオンしてから最初のフレームであるかを判定し、最初のフレームである場合はステップＳ７０４に進み、最初のフレームでない場合はステップＳ７１５に進む。

ステップＳ７０４では、システム制御部１０２は、第１スイッチＳＷ１がオンされる前に任意選択焦点検出点３０２が設定されていた場合にはステップＳ７０５へ進み、設定されていなかった場合にはステップＳ７１０へ進む。

次に説明するステップＳ７０５からステップＳ７０９は、第１スイッチＳＷ１がオンして最初のフレームにおいて、ユーザが予め任意選択焦点検出点３０２を設定していた場合の主被写体領域の決定処理である。第１スイッチＳＷ１がオンして最初のフレームでは、追尾対象が設定されていないため、被写体追尾領域に基づく主被写体候補領域は存在しない。

ステップＳ７０５では、システム制御部１０２は、ステップＳ７０１で抽出された全ての主被写体候補領域の位置と、任意選択焦点検出点３０２の位置とを比較する。そして、いずれかの主被写体候補領域の内側に任意選択焦点検出点３０２が含まれる場合には、ステップＳ７０６に進む。また、ステップＳ４０８において顔領域が１つも検出されず主被写体候補領域が存在しない場合、あるいは、いずれの主被写体候補領域の内側にも任意選択焦点検出点３０２が含まれない場合には、ステップＳ７０８に進む。

図１０（ａ）は、任意選択焦点検出点３０２が主被写体候補領域の内側に含まれる例を示している。１００１、１００２は、ステップＳ４０８で検出された人物の顔検出領域に基づく主被写体候補領域である。

ステップＳ７０６では、システム制御部１０２は、主被写体候補領域１００１、１００２のうち、任意選択焦点検出点３０２を含む主被写体候補領域１００２を主被写体領域に決定する。そして、決定した主被写体領域の位置をパラメータ８０１、大きさをパラメータ８０２に設定し、ステップＳ７０７に進む。

ステップＳ７０７では、システム制御部１０２は、ステップＳ７０６で決定された主被写体領域が、顔検出領域に基づく主被写体候補領域であるため、顔フラグ８０３にＴＲＵＥをセットする。また、主被写体領域は、その内側に任意選択焦点検出点３０２を含むため、任意選択被写体フラグ８０４にもＴＲＵＥをセットする。そして、システム制御部１０２は、主被写体決定処理を完了する。

図１０（ｂ）は、任意選択焦点検出点３０２が主被写体候補領域の内側に含まれない例を示している。

ステップＳ７０８では、システム制御部１０２は、任意選択焦点検出点３０２の位置を中心とする所定の大きさの領域を主被写体領域１００３に決定する。そして、決定した主被写体領域の位置をパラメータ８０１、大きさをパラメータ８０２に設定し、ステップＳ７０９に進む。

なお、公知の物体検出、動物検出等の特定の被写体を検出する方法を用いて、任意選択焦点検出点３０２を含んだ検出被写体領域を主被写体領域としてもよい。

ステップＳ７０９では、システム制御部１０２は、ステップＳ７０８で決定された主被写体領域が、顔検出領域に基づく主被写体候補領域ではないため、顔フラグ８０３にＦＡＬＳＥをセットする。また、システム制御部１０２は、任意選択焦点検出点３０２に基づいて決定された被写体ではあるため、任意選択被写体フラグ８０４にＴＲＵＥをセットする。そして、システム制御部１０２は、主被写体決定処理を完了する。

以上のステップＳ７０４からステップＳ７０９の処理によって、ユーザが任意選択焦点検出点３０２を設定している場合には、第１スイッチＳＷ１がオンした直後のフレームでは、常に任意選択焦点検出点３０２に基づいて主被写体が決定される。これは、ユーザが意図して任意選択焦点検出点３０２を設定している状況では、ユーザが目標とする主被写体は、任意選択焦点検出点３０２に存在する可能性が高いためである。

次に説明するステップＳ７１０からステップＳ７１４は、第１スイッチＳＷ１がオンして最初のフレームにおいて、ユーザが任意選択焦点検出点３０２を設定していなかった場合の主被写体領域決定処理である。第１スイッチＳＷ１がオンして最初のフレームでは、追尾対象が設定されていないため、被写体追尾領域に基づく主被写体候補領域は存在しない。

ステップＳ７１０では、システム制御部１０２は、ステップＳ７０１で抽出された主被写体候補領域の数が１以上であればステップＳ７１１へ進み、０であればステップＳ７１３へ進む。

ステップＳ７１１では、システム制御部１０２は、全ての主被写体候補領域のうち、ステップＳ７０２で算出された主被写体適性が最も高い主被写体候補領域を主被写体領域に決定する。そして、決定した主被写体領域の位置をパラメータ８０１、大きさをパラメータ８０２に設定し、ステップＳ７１２に進む。

図１１（ａ）は、ステップＳ７１１において設定される主被写体領域を例示している。１１０１、１１０２は、ステップＳ７０１で顔検出領域に基づく主被写体候補領域として抽出された領域である。１１０３は、ステップＳ７０２で計算された、顔検出領域に基づく主被写体候補領域１１０１、１１０２の主被写体適性を表すグラフである。この撮影シーンにおいては、顔検出領域に基づく主被写体候補領域１１０１が主被写体領域として決定される。なお、ステップＳ７１１は、第１スイッチＳＷ１がオンして最初のフレームでのみ実行される処理であるため、被写体追尾領域に基づく主被写体候補領域は存在しない。

ステップＳ７１２では、システム制御部１０２は、ステップＳ７１１で決定された主被写体領域が、顔検出領域に基づく主被写体候補領域であることから、顔フラグ８０３にＴＲＵＥをセットする。また、システム制御部１０２は、任意選択焦点検出点３０２が設定されていないため、任意選択被写体フラグ８０４にはＦＡＬＳＥをセットする。そして、システム制御部１０２は、主被写体決定処理を完了する。

ステップＳ７１３では、システム制御部１０２は、ステップＳ４０４で決定された主焦点検出点の位置を中心とする所定の大きさの領域を主被写体領域に決定する。そして、決定した主被写体領域の位置をパラメータ８０１、大きさをパラメータ８０２に設定し、ステップＳ７１４に進む。

なお、公知の物体検出、動物検出等の特定の被写体を検出する方法を用いて、ステップＳ４０４で決定された主焦点検出点を主被写体領域としてもよい。

図１１（ｂ）は、ステップＳ７１３において設定される主被写体領域を例示している。主焦点検出点１１０３は、ステップＳ４０４の焦点調節処理で選択された主焦点検出点である。前述した通り、ステップＳ４０４では、第１スイッチＳＷ１がオンして最初のフレームで、かつ任意選択焦点検出点３０２が設定されていない場合には、１９１点の焦点検出点のうち、カメラから最も近い位置に焦点を持つ点が主焦点検出点として選択される。

そして、主被写体領域１１０４は、主焦点検出点１１０３の位置を中心とする所定の大きさの領域として設定される。

ステップＳ７１４では、システム制御部１０２は、ステップＳ７１３で決定される主被写体領域が顔検出領域に基づく主被写体候補領域ではないことから、顔フラグ８０３にＦＡＬＳＥをセットする。また、任意選択焦点検出点３０２も設定されていないため、任意選択被写体フラグ８０４にもＦＡＬＳＥをセットする。そして、システム制御部１０２は、主被写体決定処理を完了する。

ステップＳ７１５では、システム制御部１０２は、現在設定されている主被写体領域の任意選択被写体フラグ８０４を参照し、ＴＲＵＥであればステップＳ７１６に進み、ＦＡＬＳＥであればステップＳ７１７に進む。

ステップＳ７１６では、システム制御部１０２は、ステップＳ７０１で抽出した主被写体候補領域のうち、被写体追尾領域に基づく主被写体候補領域の主被写体適性に所定の補正をかけた後、ステップＳ７１７に進む。

図１２は、図９の撮影シーンおよび各主被写体候補領域の主被写体適性のグラフに加え、被写体追尾領域に基づく主被写体候補領域の主被写体適性に対して所定の補正をかけた結果を例示している。グラフ１２０１は、図９に示す撮影シーンにおける主被写体適性のグラフ９０４に対して、被写体追尾領域に基づく主被写体候補領域９０１の主被写体適性に所定の補正１２０２をかけた結果である。補正１２０２によって、被写体追尾領域に基づく主被写体候補領域９０１の主被写体適性は、他の主被写体候補領域９０２、９０３よりも高くなる。その結果、後述のステップＳ７１７において、主被写体領域は被写体追尾領域に基づく主被写体候補領域９０１に決定される。

なお、補正１２０２の大きさは、例えばカメラ設定としてユーザが被写体変更の積極性の高低を設定できるようにし、被写体変更の積極性が高く設定されていれば補正を小さく、低く設定されていれば補正を大きくするようにして設定される。あるいは、補正１２０２の大きさを所定の固定値としてもよい。また、補正１２０２はオフセットとして加算する形式でもよいし、ゲインとして乗算する形式でもよい。さらに、第１スイッチＳＷ１オンからの経過時間に応じて、補正１２０２の大きさを減少させてもよい。これは、第１スイッチＳＷ１オンから十分な時間が経過していれば、補正１２０２の影響を小さくした主被写体適性に基づいて主被写体を決定しても、ユーザにとっての整合性の低下は小さく、一方で利便性は高めることができるためである。

このような補正をかける理由は、ユーザが任意選択した主被写体は、他の被写体よりも主被写体としての高い優先度を持つためである。例えば、図９に示す撮影シーンにおいて、被写体追尾領域に基づく主被写体候補領域９０１がユーザによって任意選択された被写体である場合には、ユーザにとっての主被写体は、後続するフレームにおいても９０１である可能性が高い。そこで、追尾対象となる主被写体がユーザによって任意選択された被写体である場合には、被写体追尾領域に基づく主被写体候補領域の主被写体適性に所定の補正をかけることにより、ユーザの意図に反して別の被写体に主被写体が変更されることを抑制する。

しかしながら、例えば主被写体がカメラから遠ざかるなどして主被写体としての適性が低下する一方、著しく高い主被写体適性を持つ別の被写体が出現した場合には、別被写体に主被写体を変更することがユーザにとっても整合性のある動作と言える。そのため、補正１２０２を計算に入れた上でも、現在追尾対象とされている主被写体より主被写体適性の高い別の被写体が存在する場合には、現在の主被写体から別の被写体に主被写体を変更する。これにより、連続撮影中の撮影シーンの変化などによって、現在の主被写体よりも著しく主被写体に適した別被写体が出現した場合には、かかる別被写体に主被写体を変更することができ、ユーザにとって整合性のある主被写体変更を実現できる。

図１３は、主被写体が変更される場合を例示している。１３０１は、被写体追尾領域に基づく主被写体候補領域であり、過去のフレームにおいて、ユーザが設定した任意選択焦点検出点３０２に基づいて設定されたものである。１３０２は、顔検出領域に基づく主被写体候補領域である。

グラフ１３０３は、ステップＳ７０２において、被写体追尾領域に基づく主被写体候補領域１３０１および、顔検出領域に基づく主被写体候補領域１３０２の主被写体適性が計算された結果を示すグラフである。グラフ１３０４は、被写体追尾領域に基づく主被写体候補領域１３０１の主被写体適性に補正１３０５をかけた結果である。

グラフ１３０３では、被写体追尾領域に基づく主被写体候補領域１３０１の被写体が、カメラから遠く、かつファインダー画面１３１の中心からの離れた位置にあるため、主被写体適性は低くなっている。一方、顔検出領域に基づく主被写体候補領域１３０２の被写体は、カメラから近く、かつファインダー画面１３１の中心からの付近にあるため、主被写体適性が高くなっている。

そのため、グラフ１３０４に示すように、補正１３０５をかけたとしても、顔検出領域に基づく主被写体候補領域１３０２の方が、被写体追尾領域に基づく主被写体候補領域１３０１よりも、主被写体適性が高くなっている。

この結果、図１３の例では、後述のステップＳ７１７において、主被写体領域は、顔検出領域に基づく主被写体候補領域１３０２に決定される。

以上の補正によって、追尾ＡＦモードで連続撮影を行う際、ユーザが任意選択した主被写体を追尾する場合には、所定の条件に基づいて主被写体の変更を抑制することにより、ユーザにとって整合性のある主被写体変更の判定が可能となる。

ステップＳ７１７では、システム制御部１０２は、全ての主被写体候補領域の中で最も主被写体適性の高い領域を主被写体領域に決定し、主被写体領域のパラメータを新たに設定した後、主被写体決定処理を完了する。

顔フラグ８０３および任意選択被写体フラグ８０４の設定については、主被写体の変更が発生したか否かによって異なるパラメータがセットされる。すなわち、決定された主被写体領域が、被写体追尾領域に基づく主被写体候補領域である場合には、現在のフレームまでに追尾していた主被写体を、後続のフレームでも引き続き追尾することになるため、主被写体は変更されていないことになる。この場合、顔フラグ８０３および任意選択被写体フラグ８０４は、直前のフレームの主被写体領域のパラメータから引き継ぐ。

一方、ここで決定された主被写体領域が、顔検出領域に基づく主被写体候補領域である場合には、現在のフレームまでに追尾していた主被写体とは異なる被写体を、後続のフレームで追尾することになるため、主被写体が変更されたことになる。この場合、顔フラグ８０３にＴＲＵＥ、任意選択被写体フラグ８０４にＦＡＬＳＥがセットされる。

なお、主被写体の変更が発生した場合、後続するフレームにおいて、ＡＥ像信号に変更前の元の主被写体が存在し続けている場合、元の主被写体の主被写体適性に対して補正をかけ続けてもよいし、補正をかけないようにしてもよい。

元の主被写体はユーザが任意選択した被写体であることから、元の主被写体を主被写体として重要視する場合には、後続のフレームで元の主被写体に補正をかけ続けることが望ましい。補正をかけ続けることで、さらに後続のフレームで、ユーザが任意選択した元の主被写体が、再度主被写体に選ばれやすくなる。

一方、変更後の主被写体は、補正を加味してもユーザが任意選択した被写体より主被写体適性の高い被写体であることから、変更後の主被写体を主被写体として重要視する場合には、後続のフレームで元の主被写体に補正をかけないことが望ましい。これにより、元の主被写体への再度の主被写体変更を抑制できる。

実施形態１の主被写体決定処理によれば、追尾対象となる主被写体がユーザによって任意選択されていた場合には、候補被写体のうち、現在の追尾対象と同一の被写体である候補被写体の適性について追尾対象の変更が抑制されるように補正する。これにより、追尾ＡＦモードにおいて連続撮影を継続している間であっても、ユーザにとって整合性のある主被写体選択および主被写体変更を実現できる。

［実施形態２］次に、実施形態２について説明する。

実施形態２では、実施形態１とは異なる方法によって、ユーザが任意選択した主被写体を追尾している間の主被写体の変更を抑制することにより、ユーザにとって整合性のある主被写体変更を行う方法について説明する。実施形態２の概要としては、主被写体変更の判定を行う際、主被写体適性が所定の閾値以上となる主被写体候補のみを主被写体変更の対象とする例である。

実施形態２が実施形態１と異なるところは、ステップＳ４０９の主被写体決定のアルゴリズムのみであり、それ以外の構成は同一である。そこで、以下、図１４、図１５を用いて、本実施形態におけるステップＳ４０９の主被写体決定のアルゴリズムについて説明する。

図１４は、実施形態２におけるステップＳ４０９の主被写体決定処理を示すフローチャートである。図１４の処理は、実施形態１における図７の主被写体決定処理をベースとし、変更点は、ステップＳ１４０１が追加されている点と、ステップＳ７１５、Ｓ７１６がステップＳ１４０２からＳ１４０４に置き換わっている点である。なお、それ以外のステップは同一であるため、ステップＳ７０４からステップＳ７１４の処理は、ステップＳ１４００の初回の主被写体決定処理として説明を省略する。

以下に、ステップＳ１４０１からＳ１４０４の処理について説明する。

ステップＳ１４０１では、システム制御部１０２は、ステップＳ１４００で初回の主被写体が決定した後の処理として、当該のフレームにおける全ての主被写体候補領域の情報を記憶し、主被写体の決定処理を完了する。具体的には、ステップＳ７０１で抽出した全ての主被写体候補領域について、領域毎に位置と大きさ、および、ステップＳ７０２で算出した主被写体適性をＲＡＭに記憶する。ここで記憶された情報は、初期フレームの主被写体候補領域として、後続するフレームのステップＳ１４０３、Ｓ１４０４において使用される。なお、初期フレームとは、第１スイッチＳＷ１がオンしてから最初のフレームのことであり、ステップＳ１４０１は、ステップＳ７０３の分岐によって、この初期フレームにおいてのみ実行される。

ステップＳ１４０２では、システム制御部１０２は、現在設定されている主被写体領域の任意選択被写体フラグ８０４を参照し、ＴＲＵＥであればステップＳ１４０３に進み、ＦＡＬＳＥであればステップＳ７１７に進む。この判定により、後述のステップＳ１４０３からＳ１４０４で主被写体候補領域の再抽出が行われるのは、現在の追尾対象がユーザによって任意選択された被写体である場合に限られる。

次に、図１５を参照して、ステップＳ１４０３の主被写体候補領域の対応付けの処理について説明する。

ＡＥ像信号１５０１＿ｔ０は初期フレームのＡＥ像信号であり、ＡＥ像信号１５０１＿ｔ１は現在フレームのＡＥ像信号である。主被写体候補領域１５０２＿ｔ０、１５０３＿ｔ０は、いずれも初期フレームで抽出された、顔検出領域に基づく主被写体候補領域である。そのうち１５０２＿ｔ０は、ユーザが設定した任意選択焦点検出点３０２に基づいて主被写体領域に決定された領域であり、後続するフレームで追尾対象とされる領域である。主被写体候補領域１５０２＿ｔ１は、現在フレームで抽出された、被写体追尾に基づく主被写体候補領域である。主被写体候補領域１５０３＿ｔ１は、現在フレームで抽出された、顔検出領域に基づく主被写体候補領域である。

ステップＳ１４０３では、システム制御部１０２は、まず、初期フレームにおけるステップＳ１４０１で記憶された主被写体候補領域１５０２＿ｔ０、１５０３＿ｔ０の位置、大きさ、主被写体適性の情報をＲＡＭから読み出す。

続いて、読み出した初期フレームの主被写体候補領域１５０２＿ｔ０、１５０３＿ｔ０と、現在フレームにおいて抽出された主被写体候補領域１５０２＿ｔ１、１５０３＿ｔ１とで、同一の被写体となる領域同士を対応付ける。対応付けの方法としては、初期フレームの全ての主被写体候補領域と、現在フレームの全ての主被写体候補領域とで、総当たりで領域の位置および大きさを比較し、位置および大きさ差分が所定値以下である領域同士を対応付ける方法が挙げられる。あるいは、目や鼻などの顔を構成する器官に関する、位置、大きさ、形状といった個人を特徴付ける情報を別途記憶し、公知の顔器官情報を用いた個人識別技術によって対応付けを行ってもよい。

図１５の状況では、対応付けの結果として、各主被写体候補領域のうち、１５０２＿ｔ０と１５０２＿ｔ１とが対応付けられ、１５０３＿ｔ０と１５０３＿ｔ１が対応付けられる。

最後に、システム制御部１０２は、初期フレームの主被写体候補領域１５０２＿ｔ０、１５０３＿ｔ０のパラメータのうち位置と大きさを、対応付けられた現在フレームの主被写体候補領域１５０２＿ｔ１、１５０３＿ｔ１の位置と大きさに更新する。ただし、主被写体候補領域のパラメータのうち、主被写体適性のみは更新されない。全ての更新処理が完了すると、ステップＳ１４０４に進む。

次に、図１６を参照して、ステップＳ１４０４の主被写体領域の再抽出処理について説明する。

ＡＥ像信号１６０１＿ｔ０は初期フレームのＡＥ像信号である。主被写体候補領域１６０２＿ｔ０、１６０３＿ｔ０は、いずれも初期フレームで抽出された、顔検出領域に基づく主被写体候補領域である。１６０２＿ｔ０は、ユーザが設定した任意選択焦点検出点３０２に基づいて主被写体領域に決定された領域であり、後続するフレームで追尾対象とされる領域である。グラフ１６０４＿ｔ０は、２つの主被写体候補領域１６０２＿ｔ０、１６０３＿ｔ０に対して主被写体適性を計算した結果である。

ＡＥ像信号１６０１＿ｔ１は、初期フレームから所定の時間が経過したフレームのＡＥ像信号である。主被写体候補領域１６０２＿ｔ１は、ＡＥ像信号１６０１＿ｔ１のフレームで抽出された、被写体追尾に基づく主被写体候補領域である。被写体追尾に基づく主被写体候補領域１６０２＿ｔ１は、ステップＳ１４０３の処理により、初期フレームの主被写体候補領域１６０２＿ｔ０と対応付けられる。主被写体候補領域１６０３＿ｔ１は、ＡＥ像信号１６０１＿ｔ１のフレームで抽出された、顔検出領域に基づく主被写体候補領域である。顔検出領域に基づく主被写体候補領域１６０３＿ｔ１は、ステップＳ１４０３の処理により、初期フレームの主被写体候補領域１６０３＿ｔ０と対応付けられる。グラフ１６０４＿ｔ１は、これら２つの主被写体候補領域１６０２＿ｔ１、１６０３＿ｔ１対して主被写体適性を計算した結果である。

ＡＥ像信号１６０１＿ｔ２は、ＡＥ像信号１６０１＿ｔ１のフレームからさらに所定の時間が経過したフレームのＡＥ像信号である。主被写体候補領域１６０２＿ｔ２は、ＡＥ像信号１６０１＿ｔ２のフレームで抽出された、被写体追尾に基づく主被写体候補領域である。被写体追尾に基づく主被写体候補領域１６０２＿ｔ２は、ステップＳ１４０３の処理により、過去フレームの主被写体候補領域１６０２＿ｔ１と対応付けられる。主被写体候補領域１６０３＿ｔ２は、ＡＥ像信号１６０１＿ｔ２のフレームで抽出された、顔検出領域に基づく主被写体候補領域である。顔検出領域に基づく主被写体候補領域１６０３＿ｔ２は、ステップＳ１４０３の処理により、過去フレームの主被写体候補領域１６０３＿ｔ１と対応付けられる。グラフ１６０４＿ｔ２は、これら２つの主被写体候補領域１６０２＿ｔ２、１６０３＿ｔ２対して主被写体適性を計算した結果である。

ステップＳ１４０４では、システム制御部１０２は、まず、初期フレームにおける主被写体候補領域１６０２＿ｔ０と、主被写体候補領域１６０３＿ｔ０のうち、最も高い主被写体適性をもつ１６０３＿ｔ０の主被写体適性値１６０５を取得する。そして、主被写体適性値１６０５に所定の主被写体適性オフセット１６０６を足し合わせた値を、主被写体再抽出閾値１６０７として設定する。主被写体適性オフセット１６０６は、例えばカメラ設定としてユーザが被写体変更の積極性の高低を設定できるようにし、被写体変更の積極性が高く設定されていればオフセットを小さく、低く設定されていればオフセットを大きくするようにして設定される。あるいは、主被写体適性オフセット１６０６は所定の固定値としてもよい。

続いて、システム制御部１０２は、現在のフレームのステップＳ７０１で抽出された主被写体候補領域の中から、所定の条件を満たす主被写体候補領域のみをさらに抽出する。所定の条件とは、追尾被写体に基づく主被写体候補領域であるか、主被写体再抽出閾値１６０７以上となる主被写体適性を持つ主被写体候補領域であるか、のいずれかの条件を満たすことである。

例えば、ＡＥ像信号１６０１＿ｔ１のフレームにおいては、被写体追尾に基づく主被写体候補領域１６０２＿ｔ１は抽出される。しかしながら、顔検出領域に基づく主被写体候補領域１６０３＿ｔ１は、グラフ１６０４＿ｔ１に示す通り主被写体再抽出閾値１６０７を下回るため抽出されない。

一方、ＡＥ像信号１６０１＿ｔ２のフレームにおいては、被写体追尾に基づく主被写体候補領域１６０２＿ｔ２は抽出される。また、顔検出領域に基づく主被写体候補領域１６０３＿ｔ２も、グラフ１６０４＿ｔ２に示す通り主被写体再抽出閾値１６０７を上回るため抽出される。

主被写体候補領域の再抽出が完了すると、ステップＳ７１７に進む。

ステップＳ７１７では、ステップＳ１４０４を経由した場合、再抽出された主被写体候補領域のみが主被写体領域の選定対象となる。

例えば、ＡＥ像信号１６０１＿ｔ１のフレームでは、主被写体候補領域１６０２＿ｔ１のみが主被写体領域の選定対象となるため、主被写体の変更は発生しない。

一方、ＡＥ像信号１６０１＿ｔ２のフレームでは、主被写体候補領域１６０２＿ｔ２、１６０３＿ｔ２が主被写体領域の選定対象となり、主被写体候補領域１６０３＿ｔ２の方が高い主被写体適性を持つため、主被写体領域は主被写体候補領域１６０３＿ｔ２に決定される。その結果、主被写体候補領域１６０３＿ｔ２から主被写体候補領域１６０３＿ｔ２に主被写体の変更が発生し、後続するフレームにおいては新たな主被写体候補領域１６０３＿ｔ２が追尾対象となる。

実施形態２においては、追尾対象となる主被写体がユーザによって任意選択された被写体である場合には、後続するフレームでいずれかの主被写体候補の主被写体適性が、所定の閾値以上となるまでは主被写体の変更を行わない。そして所定の閾値は、初期フレームにおける全ての主被写体候補の主被写体適性より高く設定されるため、初期フレームよりも適性の高い主被写体が出現するまでは、主被写体は変更されないこととなる。

これにより、ユーザが任意選択した主被写体からの不要な主被写体変更を抑制でき、ユーザにとって整合性のある主被写体選択および主被写体変更を実現できる。なぜならば、少なくとも初期フレームにおいてはユーザが任意選択した被写体こそが最も整合性のある主被写体であり、後続のフレームで撮影シーンや構図にあまり変化がないのであれば、主被写体を変えない方がユーザの意思に整合するためである。一方で、後続するフレームで、初期フレームから撮影シーンや構図がある程度大きく変化していた場合には、撮影シーンに合わせて最適な被写体に主被写体を変更する方が、ユーザにとっては利便であるためである。

なお、ステップＳ１４０４の再抽出の追加条件として、被写体追尾に基づく主被写体候補領域と、それ以外の主被写体候補領域との主被写体適性の差が、初期フレームの時点での差よりも大きくなっている場合にのみ再抽出の対象となるとしてもよい。これにより、主被写体領域以外の主被写体候補領域の主被写体適性が主被写体再抽出閾値１６０７を上回る場合であっても、主被写体領域の主被写体適性も同様に高まっていれば、主被写体の変更を抑制できる。

実施形態２の主被写体決定処理によれば、追尾対象となる主被写体がユーザによって任意選択されていた場合には、候補被写体のうち、現在の追尾対象を除く被写体の適性が所定の閾値を上回るまでは追尾対象の変更が抑制される。これにより、追尾ＡＦモードにおいて連続撮影を継続している間であっても、ユーザにとって整合性のある主被写体選択および主被写体変更を実現できる。

［実施形態３］次に、実施形態３について説明する。

実施形態３では、実施形態１、２とは異なる方法によって、ユーザが任意選択した主被写体を追尾している間の主被写体の変更を抑制することにより、ユーザにとって整合性のある主被写体変更を行う方法について説明する。実施形態３の概要としては、主被写体変更の判定を行う際、現在の追尾対象の主被写体適性が所定の閾値を下回る場合にのみ、主被写体の再選択を行う例である。

実施形態３が実施形態１と異なるところは、ステップＳ４０９の主被写体決定のアルゴリズムのみであり、それ以外の構成は同一である。そこで、以下、図１７、図１８を用いて、本実施形態におけるステップＳ４０９の主被写体決定のアルゴリズムについて説明する。

図１７は、実施形態３におけるステップＳ４０９の主被写体決定処理を示すフローチャートである。図１７の処理は、実施形態１における図７の主被写体決定処理をベースとし、変更点は、ステップＳ１７０１が追加されている点と、ステップＳ７１５、Ｓ７１６がステップＳ１７０２からＳ１７０４に置き換わっている点である。なお、それ以外のステップは同一であるため、ステップＳ７０４からステップＳ７１４の処理は、ステップＳ１７００の初回の主被写体決定処理として説明を省略する。

図１８は、実施形態３において主被写体の変更を行う判定基準を例示している。ＡＥ像信号１８０１＿ｔ０は初期フレームのＡＥ像信号である。主被写体候補領域１８０２＿ｔ０、１８０３＿ｔ０は、いずれも初期フレームで抽出された、顔検出領域に基づく主被写体候補領域である。そのうち１８０２＿ｔ０は、ユーザが設定した任意選択焦点検出点３０２に基づいて主被写体領域に決定された領域であり、後続するフレームで追尾対象とされる領域である。グラフ１８０４＿ｔ０は、これら２つの主被写体候補領域１８０２＿ｔ０、１８０３＿ｔ０に対して主被写体適性を計算した結果である。

ＡＥ像信号１８０１＿ｔ１は、初期フレームから所定の時間が経過したフレームのＡＥ像信号である。主被写体候補領域１８０２＿ｔ１は、ＡＥ像信号１８０１＿ｔ１のフレームで抽出された、被写体追尾に基づく主被写体候補領域である。主被写体候補領域１８０３＿ｔ１は、ＡＥ像信号１８０１＿ｔ１のフレームで抽出された、顔検出領域に基づく主被写体候補領域である。グラフ１８０４＿ｔ１は、これら２つの主被写体候補領域１８０２＿ｔ１、１８０３＿ｔ１対して主被写体適性を計算した結果である。

ＡＥ像信号１８０１＿ｔ２は、ＡＥ像信号１８０１＿ｔ１のフレームからさらに所定の時間が経過したフレームのＡＥ像信号である。主被写体候補領域１８０２＿ｔ２は、ＡＥ像信号１８０１＿ｔ２のフレームで抽出された、被写体追尾に基づく主被写体候補領域である。主被写体候補領域１８０３＿ｔ２は、ＡＥ像信号１８０１＿ｔ２のフレームで抽出された、顔検出領域に基づく主被写体候補領域である。グラフ１８０４＿ｔ２は、これら２つの主被写体候補領域１８０２＿ｔ２、１８０３＿ｔ２対して主被写体適性を計算した結果である。

以下に、ステップＳ１７０１からＳ１７０４の処理について説明する。

ステップＳ１７０１では、システム制御部１０２は、ステップＳ１７００で初回の主被写体領域が決定した後に、初期フレームにおける主被写体領域１８０２＿ｔ０の主被写体適性を基準主被写体適性値１８０５としてシステム制御部１０２のＲＡＭに記憶する。ここで記憶された情報は、後続するフレームのステップＳ１７０３において使用される。基準主被写体適性値１８０５の記憶が完了すると、システム制御部１０２は、主被写体決定処理を終了する。

ステップＳ１７０２では、システム制御部１０２は、現在設定されている主被写体領域の任意選択被写体フラグ８０４を参照し、ＴＲＵＥであればステップＳ１７０３に進み、ＦＡＬＳＥであればステップＳ７１７に進む。この判定により、後述のステップＳ１７０３、Ｓ１７０４の処理が実行されるのは、現在の追尾対象がユーザによって任意選択された被写体である場合に限られる。

ステップ１７０３では、システム制御部１０２は、まず、基準主被写体適性値１８０５をＲＡＭから読み出す。続いて、基準主被写体適性値１８０５から所定の主被写体適性オフセット１８０６を引いた値を、主被写体再選択閾値１８０７として設定する。主被写体適性オフセット１８０６は、例えばカメラ設定としてユーザが被写体変更の積極性の高低を設定できるようにし、被写体変更の積極性が高く設定されていればオフセットを小さく、低く設定されていればオフセットを大きくするようにして設定される。あるいは、主被写体適性オフセット１８０６は所定の固定値としてもよい。

続いて、システム制御部１０２は、現在フレームにおける追尾被写体に基づく主被写体候補領域の主被写体適性が、主被写体再選択閾値１８０７以上である場合はステップＳ１７０４に進み、主被写体再選択閾値１８０７未満である場合はステップＳ７１７に進む。

例えば、ＡＥ像信号１８０１＿ｔ１のフレームにおいては、グラフ１８０４＿ｔ１に示すとおり、被写体追尾に基づく主被写体候補領域１８０２＿ｔ１の主被写体適性が主被写体再選択閾値１８０７以上であるため、ステップＳ１７０４に進む。

一方、ＡＥ像信号１８０１＿ｔ２のフレームにおいては、グラフ１８０４＿ｔ２に示す通り、被写体追尾に基づく主被写体候補領域１８０２＿ｔ２の主被写体適性が主被写体再選択閾値１８０７未満であるため、ステップＳ７１７に進む。

ステップＳ１７０４では、システム制御部１０２は、現在のフレームのステップＳ７０１で抽出された主被写体候補領域のうち、被写体追尾に基づく主被写体候補領域以外の主被写体候補領域を、主被写体候補から除外し、ステップＳ７１７に進む。

例えば、ＡＥ像信号１８０１＿ｔ１のフレームにおいては、顔検出領域に基づく主被写体候補領域１８０３＿ｔ１が主被写体候補から除外される。その結果、ステップＳ７１７で主被写体領域の選定対象となる主被写体候補領域は、被写体追尾に基づく主被写体候補領域１８０２＿ｔ１のみとなるため、主被写体の変更は発生しないこととなる。

一方、ＡＥ像信号１８０１＿ｔ２のフレームのようにステップＳ１７０４を経由しない場合は、主被写体候補領域の除外は行われない。その結果、ステップＳ７０１で抽出された全ての主被写体候補領域が、ステップＳ７１７における主被写体領域の選定対象となるため、それぞれの主被写体候補領域の主被写体適性次第で主被写体の変更が起こり得る。

実施形態３においては、追尾対象となる主被写体がユーザによって任意選択された被写体である場合には、後続するフレームにおいて、追尾対象となっている主被写体の主被写体適性が所定の閾値を下回るまでは主被写体の変更を行わない。所定の閾値は、初期フレームにおける主被写体の主被写体適性より低く設定されるため、主被写体の主被写体適性が初期フレームより一定程度低下しない限りは、主被写体は変更されないこととなる。これにより、ユーザが任意選択した主被写体からの不要な主被写体変更を抑制でき、ユーザにとって整合性のある主被写体選択および主被写体変更を実現できる。なぜならば、まず、少なくとも初期フレームにおいてはユーザが任意選択した被写体こそが最も整合性のある主被写体であるため、任意選択された被写体は主被写体適性の高低に関わらず主被写体としての要件を満たす。そのため、他に主被写体適性の高い被写体が存在したとしても、軽率に主被写体の変更を行うべきではないからである。

一方で、ＡＥ像信号１８０１＿ｔ２のように、ユーザが任意選択した被写体の主被写体適性が著しく低下し、主被写体としての要件を満たさなくなった場合には、状況に応じて主被写体を変更する方がユーザにとっては利便であるためである。

実施形態３の主被写体決定処理によれば、追尾対象となる主被写体がユーザによって任意選択されていた場合には、現在の追尾対象の適性が所定の閾値未満となるまでは追尾対象の変更を抑制する。これにより、追尾ＡＦモードにおいて連続撮影を継続している間であっても、ユーザにとって整合性のある主被写体選択および主被写体変更を実現できる。

［実施形態４］以下に、実施形態４について説明する。

実施形態４では、実施形態１～３とは異なる方法によって、ユーザが任意選択した主被写体を追尾している間の主被写体の変更を抑制することにより、ユーザにとって整合性のある主被写体変更を行う方法について説明する。実施形態４の概要としては、第１スイッチＳＷ１オンの時点でユーザが主被写体を任意選択した場合には、その時点から所定の期間は主被写体の変更を禁止する例である。

実施形態４が実施形態１と異なるところは、ステップＳ４０９の主被写体決定のアルゴリズムのみであり、それ以外の構成は同一である。そこで、以下、図１９を用いて、本実施形態におけるステップＳ４０９の主被写体決定のアルゴリズムについて説明する。

図１９は、実施形態４におけるステップＳ４０９の主被写体決定の処理を示すフローチャートである。図１９の処理は、実施形態１における図７の主被写体決定処理をベースとし、変更点は、ステップＳ１９０１が追加されている点と、ステップＳ７１５、Ｓ７１６がステップＳ１９０２からＳ１９０４に置き換わっている点である。なお、それ以外のステップは同一であるため、ステップＳ７０４からステップＳ７１４の処理は、ステップＳ１９００の初回の主被写体決定処理として説明を省略する。

以下に、ステップＳ１９０１からＳ１９０４の処理について説明する。

ステップＳ１９０１では、システム制御部１０２は、ステップＳ１９００で初回の主被写体領域が決定した後の処理として、主被写体変更禁止タイマーを所定の時間［ｍｓ］に設定し、タイマーのカウントダウンをスタートさせる。その後、システム制御部１０２は初期フレームの主被写体決定処理を終了する。この所定の時間は、例えば３０００［ｍｓ］のような固定の時間として設定される。あるいは、カメラ設定としてユーザが被写体変更の積極性の高低を設定できるようにし、被写体変更の積極性が高く設定されていればタイマーを短く、低く設定されていればタイマーを長くするようにして設定される。さらに、ユーザが任意選択した主被写体からの変更を許可しないモードでは、タイマーは無限に相当する時間として設定される。

ステップＳ１９０２では、システム制御部１０２は、現在設定されている主被写体領域の任意選択被写体フラグ８０４を参照し、ＴＲＵＥであればステップＳ１９０３に進み、ＦＡＬＳＥであればステップＳ７１７に進む。この分岐により、後述のステップＳ１９０３、Ｓ１９０４の処理が実行されるのは、現在の追尾対象がユーザによって任意選択された被写体である場合に限られる。

ステップＳ１９０３では、システム制御部１０２は、初期フレームにおいてステップＳ１９０１でカウントダウンを開始した主被写体変更禁止タイマーの残時間を取得し、まだ０［ｍｓ］に達していない場合はステップＳ１９０４に進む。また、システム制御部１０２は、主被写体変更禁止タイマーの残時間が０［ｍｓ］となっている場合はステップＳ７１７に進む。

ステップＳ１９０４では、システム制御部１０２は、現在のフレームのステップＳ７０１で抽出された主被写体候補領域のうち、被写体追尾に基づく主被写体候補領域以外の主被写体候補領域を、主被写体候補から除外し、ステップＳ７１７に進む。

このため、ステップＳ１９０４を経由してステップＳ７１７に進んだ場合は、主被写体の変更は行われないこととなる。

実施形態４においては、追尾対象となる主被写体がユーザによって任意選択された被写体である場合には、第１スイッチＳＷ１オンから所定の時間が経過するまでは主被写体の変更を行わない。

これにより、ユーザが任意選択した主被写体からの不要な主被写体変更を抑制でき、ユーザにとって整合性のある主被写体選択および主被写体変更を実現できる。例えば、ユーザが主被写体を任意選択して追尾ＡＦを始めたにも関わらず、任意選択された主被写体とは別に主被写体適性の高い被写体が存在するからといって、即座に主被写体を変更するのはユーザにとって不整合な動作である。そのため、追尾ＡＦ開始から所定の時間は主被写体変更を禁止し、所定時間経過後から主被写体適性に基づく主被写体選択を行うことにより、ユーザの意図を反映した主被写体選択が可能となる。

実施形態４の主被写体決定処理によれば、追尾対象となる主被写体がユーザによって任意選択されていた場合には、追尾を開始した時点から所定の時間が経過するまでは追尾対象の変更を抑制する。これにより、追尾ＡＦモードにおいて連続撮影を継続している間であっても、ユーザにとって整合性のある主被写体選択および主被写体変更を実現できる。

［実施形態５］以下に、実施形態５について説明する。

実施形態５では、実施形態１～４とは異なる方法によって、ユーザが任意選択した主被写体を追尾している間の主被写体の変更を抑制することにより、ユーザにとって整合性のある主被写体変更を行う方法について説明する。実施形態５の概要としては、主被写体適性の計算において、ユーザが任意選択した主被写体の主被写体適性が最も高くなるように、計算式に含まれる重み係数を動的に設定する例である。

実施形態５が実施形態１と異なるところは、ステップＳ４０９の主被写体決定のアルゴリズムのみであり、それ以外の構成は同一である。そこで、以下、図２０を用いて、実施形態５におけるステップＳ４０９の主被写体決定のアルゴリズムについて説明する。

図２０は、実施形態５におけるステップＳ４０９の主被写体決定処理を示すフローチャートである。図２０の処理は、実施形態１における図７の主被写体決定処理をベースとし、変更点は、ステップＳ２００１が追加されている点と、ステップＳ７１５、Ｓ７１６がステップＳ２００２、Ｓ２００３に置き換わっている点である。なお、それ以外のステップは同一であるため、ステップＳ７０４からステップＳ７１４の処理は、ステップＳ２０００の初回の主被写体決定処理として説明を省略する。

以下に、ステップＳ２００１からＳ２００３の処理について説明する。

ステップＳ２００１では、システム制御部１０２は、ステップＳ２０００で初回の主被写体領域が決定した後の処理として、後続のフレームにおいて後述のステップＳ２００３で行われる、主被写体適性の再計算用の重み係数の設定を行う。再計算用の重み係数の設定の詳細については後述する。なお、以下では、ステップＳ７０２で用いる重み係数と区別するため、ステップＳ２００３の主被写体適性の再計算に用いる重み係数を、再計算用の重み係数と呼ぶ。

ステップＳ２００２では、システム制御部１０２は、現在設定されている主被写体領域の任意選択被写体フラグ８０４を参照し、ＴＲＵＥであればステップＳ２００３に進み、ＦＡＬＳＥであればステップＳ７１７に進む。この判定により、後述のステップＳ２００３の処理が実行されるのは、現在の追尾対象がユーザによって任意選択された被写体である場合に限られる。

ステップＳ２００３では、システム制御部１０２は、ステップＳ７０２で算出した各主被写体領域の主被写体適性を無効とし、主被写体適性を再計算した後、ステップＳ７１７に進む。

主被写体適性の再計算に用いる計算式を式２に示す。式２は、基本的にはステップＳ７０２で用いる式１と同一であるが、重み係数１、２、３が、ステップＳ２００１で設定された再計算用重み係数１、２、３に置き換えられている。
（式２）
主被写体適性＝（α×再計算用の重み係数１）＋（β×再計算用の重み係数２）＋（γ×再計算用の重み係数３）
そして、ステップＳ７１７では、ステップＳ２００３を経由した場合は、再計算された主被写体適性に基づいて主被写体領域を決定する。

続いて、ステップＳ２００１の、主被写体適性の再計算用重み係数の設定について説明する。

まず、システム制御部１０２は、ステップＳ２０００で決定した主被写体領域が人物の顔に相当する領域であるか否かを判定する。そして、人物の顔に相当する領域であれば、再計算用の重み係数１を、ステップＳ７０２の重み係数１と同等の数値として設定する。一方、人物の顔に相当する領域でない場合には、再計算用の重み係数１を、ステップＳ７０２で用いた重み係数１よりも小さい所定の数値として設定する。これにより、ユーザが任意選択した主被写体が人物の顔でない場合でも、ステップＳ２００３の主被写体適性の再計算において主被写体適性が低下しにくくなるため、任意選択した主被写体から別の被写体への主被写体変更を抑制できる。ユーザが人物以外の被写体を主被写体に選択したということは、ユーザにとっての主被写体は人物に限らないという蓋然性が高いため、こうした重み係数の設定はユーザにとって整合性のある主被写体選択を実現する上で有効である。

続いて、システム制御部１０２は、ステップＳ２０００で決定した主被写体領域の焦点状態に基づいて、主被写体のカメラからの距離を算出する。そして、再計算用の重み係数２について、ステップＳ７０２で用いた重み係数２を基準として、主被写体がカメラから近くにいるほど大きく、遠くにいるほど小さくなるように設定する。これにより、ユーザが任意選択した主被写体がカメラから遠くにいる場合でも、ステップＳ２００３の主被写体適性の再計算において主被写体適性が低下しにくくなるため、任意選択した主被写体から別の被写体への主被写体変更を抑制できる。ユーザがカメラから遠くにいる被写体を主被写体に選択したということは、ユーザにとってカメラからの距離という要素の重要性が比較的低いといえるため、こうした重み係数の設定はユーザにとって整合性のある主被写体選択を実現するために有効である。

最後に、システム制御部１０２は、ステップＳ２０００で決定した主被写体領域のファインダー画面１３１における位置を取得する。そして、再計算用の重み係数３について、ステップＳ７０２で用いた重み係数３を基準として、主被写体領域がファインダー画面１３１の中央に近いほど大きく、中央から離れるほど小さくなるように設定する。これにより、ユーザが任意選択した主被写体がファインダー画面１３１の端に位置する場合でも、ステップＳ２００３の主被写体適性の再計算において主被写体適性が低下しにくくなるため、任意選択した主被写体から別の被写体への主被写体変更を抑制できる。ユーザが撮影画面の端に位置する主被写体を選択したということは、ユーザには撮影画面上の位置という要素の重要性が比較的低いといえるため、こうした重み係数の設定はユーザにとって整合性のある主被写体選択を実現する上で有効である。

本実施形態においては、追尾対象となる主被写体がユーザによって任意選択された被写体である場合には、主被写体適性の計算式に用いる重み係数を調整することで、ユーザが任意選択した主被写体からの不要な主被写体変更を抑制する。

実施形態５の主被写体決定処理によれば、追尾対象となる主被写体がユーザによって任意選択されていた場合には、追尾を開始した時点における追尾対象の状態に基づいて適性の算出方法を切り替えることで追尾対象の変更を抑制する。これにより、追尾ＡＦモードにおいて連続撮影を継続している間であっても、ユーザにとって整合性のある主被写体選択および主被写体変更を実現できる。

なお、上述した実施形態１～５において、被写体の適性以外の所定の条件が満たされた場合には、主被写体変更を許容するように制御してもよい。この場合、所定の条件は、例えば、ユーザにより任意選択された被写体が何かに隠れて見えなくなった場合やカメラの急速なパンが検知され、かつユーザにより任意選択された被写体を見失った場合が挙げられる。

［他の実施形態］
本発明は、上述した実施形態１～５に例示したものに限定されず、また、実施形態１～５の一部を適宜組み合わせて実現することも可能である。また、本発明は、例えば、ライブビューモードにおいて、追尾ＡＦ処理および被写体検出処理を行う画像信号に、ＡＥ像信号ではなく撮像センサ１１１から出力される画像信号を用いることによっても実現可能である。また、本発明は、ミラーレスカメラなどの光学ファインダーを有しない撮像装置でも、同様に撮像センサ１１１から出力される画像信号を用いることによっても実現可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…カメラ（撮像装置）、１０２…システム制御部、１０５…焦点検出センサ、１０８…測光センサ、１１１…撮像センサ、２０１…操作部

Claims (14)

1. 連続して撮影される画像中の所定の被写体を追尾対象として追尾処理を行う追尾手段と、
   ユーザ操作に応じて追尾対象となる被写体を設定する設定手段と、
   少なくとも１つの画像に基づいて追尾対象となる被写体を決定する決定手段と、
   現在の追尾対象を前記決定手段により決定された被写体に変更する制御において、前記現在の追尾対象が前記設定手段によって設定されていた場合は、前記現在の追尾対象が前記設定手段によって設定されていない場合よりも前記追尾対象が変更されにくくなるように制御する制御手段と、を有することを特徴とする被写体追尾装置。
2. 前記決定手段は、前記画像中に存在する被写体の中から、前記現在の追尾対象の被写体を含む、少なくとも１つの追尾対象の候補被写体を抽出する抽出手段と、
   前記抽出手段で抽出された候補被写体に対して追尾対象としての適性を表す情報を算出する算出手段と、を有し、
   前記候補被写体の中から、前記適性が最も高くなる候補被写体を追尾対象として決定することを特徴とする請求項１に記載の被写体追尾装置。
3. 前記制御手段は、前記現在の追尾対象が前記設定手段によって設定されていた場合には、前記候補被写体のうち、現在の追尾対象と同一の被写体である候補被写体の前記適性を前記追尾対象の変更が抑制されるように補正することを特徴とする請求項２に記載の被写体追尾装置。
4. 前記制御手段は、前記現在の追尾対象が前記設定手段によって設定されていた場合には、前記候補被写体のうち、前記適性が所定の閾値以上となる候補被写体に追尾対象が変更されるように制御することを特徴とする請求項２に記載の被写体追尾装置。
5. 前記制御手段は、前記現在の追尾対象が前記設定手段によって設定されていた場合には、前記候補被写体のうち、現在の追尾対象と同一の被写体である候補被写体の前記適性が所定の閾値未満となるまでは前記追尾対象の変更を抑制するように制御することを特徴とする請求項２に記載の被写体追尾装置。
6. 前記制御手段は、前記現在の追尾対象が前記設定手段によって設定されていた場合には、前記追尾手段により追尾を開始した時点から所定の時間が経過するまでは前記追尾対象の変更を抑制するように制御することを特徴とする請求項２に記載の被写体追尾装置。
7. 前記適性は、人物の顔である被写体はその他の被写体よりも高く、画面の中心に近い被写体ほど高く、撮影距離が近い被写体ほど高くなるように設定されることを特徴とする請求項２から６のいずれか１項に記載の被写体追尾装置。
8. 前記追尾処理は、前記追尾対象の被写体に対して焦点を合わせ続ける処理であり、
   前記追尾対象は、前記被写体の一部の領域を含むことを特徴とする請求項１から７のいずれか１項に記載の被写体追尾装置。
9. 前記画像を撮像する撮像手段と、
   前記決定手段により決定された追尾対象に基づいて前記制御手段より焦点検出処理を行う焦点検出手段と、を有することを特徴とする請求項１から８のいずれか１項に記載の被写体追尾装置。
10. 連続して撮影される画像中の所定の被写体を追尾対象として追尾処理を行う追尾手段と、
    ユーザによる前記画像内の領域を指定する操作に応じて追尾対象となる被写体を設定する設定手段と、
    少なくとも１つの画像に基づいて追尾対象となる被写体を決定する決定手段と、
    現在の追尾対象を前記決定手段により決定された被写体に変更する制御において、前記現在の追尾対象が前記設定手段の設定に基づいて決定されている場合は、追尾対象を変更すると判定するための評価値をより追尾対象が変更されにくい値に設定する、あるいは追尾対象を変更すると判定するために要する時間をより長く設定するように制御する制御手段と、を有することを特徴とする被写体追尾装置。
11. 連続して撮影される画像中の所定の被写体を追尾対象として追尾処理を行う被写体追尾装置の制御方法であって、
    ユーザ操作に応じて追尾対象となる被写体を設定する設定ステップと、
    少なくとも１つの画像に基づいて追尾対象となる被写体を決定する決定ステップと、
    現在の追尾対象を前記決定ステップにおいて決定された被写体に変更する制御において、前記現在の追尾対象が前記設定ステップにおいて設定されていた場合は、前記現在の追尾対象が前記設定ステップにおいて設定されていない場合よりも前記追尾対象が変更されにくくなるように制御する制御ステップと、を有することを特徴とする制御方法。
12. 連続して撮影される画像中の所定の被写体を追尾対象として追尾処理を行う被写体追尾装置の制御方法であって、
    ユーザによる前記画像内の領域を指定する操作に応じて追尾対象となる被写体を設定する設定ステップと、
    少なくとも１つの画像に基づいて追尾対象となる被写体を決定する決定ステップと、
    現在の追尾対象を前記決定ステップにおいて決定された被写体に変更する制御において、前記現在の追尾対象が前記設定ステップの設定に基づいて決定されている場合は、追尾対象を変更すると判定するための評価値をより追尾対象が変更されにくい値に設定する、あるいは追尾対象を変更すると判定するために要する時間をより長く設定するように制御する制御ステップと、を有することを特徴とする制御方法。
13. 請求項１１または１２に記載された制御方法を、コンピュータに実行させるためのプログラム。
14. 請求項１１または１２に記載された制御方法を、コンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。

Images