JP2024031627A - 画像処理装置、撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 検出した複数種別の被写体を、ユーザが方向指示をする操作部材によって主被写体を切り替えながら選択する場合、ユーザが選択する可能性の低い被写体を選択してしまうことがある。
【解決手段】 画像を逐次取得する取得手段と、前記取得手段で取得される画像から複数の被写体を検出する検出手段と、前記複数の被写体の中から主被写体を選択する主被写体選択手段と、を有し、前記主被写体選択手段は、前記複数の被写体のいずれかの被写体の領域が別の被写体の領域と重なっているか否かと、前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別との組み合わせに応じて、前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可するか否かを判断することを特徴とする画像処理装置。
【選択図】 図５

Description

本発明は、画像に含まれる複数の被写体から主被写体の再選択が可能な画像処理装置、撮像装置およびその制御方法に関するものである。

撮影中の画像に含まれる複数の被写体の中で主被写体とする被写体を変更する技術がある。特許文献１では、複数の種類の被写体を検出可能な場合において、選択対象とする被写体の種別を切り替えることにより主被写体を切り替えることが開示されている。

特開２０２１－１２５７３５号公報

特許文献１に記載の方法では、同一種別の被写体が複数検出された場合において、ユーザが意図した被写体を切り替えることができない。また、ユーザが操作部材によって主被写体を再選択しながらＡＦ対象とする主被写体を決定する場合、ユーザが選択する可能性の低い被写体を主被写体として再選択をしてしまう場合がある。

上述の課題を解決するために本発明に係る画像処理装置は、画像を逐次取得する取得手段と、前記取得手段で取得される画像から複数の被写体を検出する検出手段と、前記複数の被写体の中から主被写体を選択する主被写体選択手段と、を有し、前記主被写体選択手段は、前記複数の被写体のいずれかの被写体の領域が別の被写体の領域と重なっているか否かと、前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別との組み合わせに応じて、前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可するか否かを判断することを特徴とする。

本発明によれば、再選択する被写体が別被写体と重なっているか否かと、再選択する被写体と主被写体との被写体種別の組み合わせに応じて主被写体として再選択をするかどうかを判断することで、ユーザが選択する可能性の低い被写体を主被写体として再選択をしてしまうことを抑制できる。

実施例のデジタルカメラの構成を説明する図である 実施例の撮像素子の構成を説明する図である 本実施例のデジタルカメラで静止画撮影をするフローの例を示すフローチャートである 本実施例の主被写体の決定方法を示すフローチャートである 本実施例の主被写体手動選択処理を示すフローチャートである 本実施例の被写体の重なりによる遷移判定処理を示すフローチャートである 本実施例の主被写体と遷移被写体の組み合わせの例を示す表である 本実施例の被写体サイズによる遷移可否判定を示すフローチャートである 本実施例の主被写体位置を示す表示の例を説明する図である

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明をデジタルカメラで実施する場合に関して説明する。しかし、本発明に撮像機能は必須でなく、本発明は任意の電子機器で実施可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

＜カメラの構成＞
図１は本発明の第１実施形態に係るデジタルカメラの機能構成例を示すブロック図である。

図１において、１００は撮像装置（被写体追尾装置）であり、１０は撮影レンズ、１２は絞り機能を備える機械式シャッタである。１４は光学像を電気信号に変換するＣＭＯＳセンサ等の撮像素子であり、被写体の画像を逐次取得する画像取得手段として機能している。また、１６は撮像素子１４から出力されたアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４やＡ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御回路２２及びシステム制御回路５０により制御される。タイミング発生部１８により撮像素子１４のリセットタイミングを制御することによって、電荷蓄積時間を制御することが可能であり、機械式シャッタ１２とは別に、動画撮影などにおいて電子シャッタとして使用することが可能である。

なお、システム制御回路５０にはコンピュータとしてのＣＰＵが内蔵されており、不揮発性メモリ３１に記憶されたコンピュータプログラムに基づき装置全体の各種動作を実行する制御手段として機能する。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して画像拡大／縮小のための画素補間処理、色変換処理、ノイズ除去処理、エッジ強調処理などを行う。また画像処理回路２０は画像から特定の被写体を検出する検出手段として機能する。

また、画像処理回路２０は、画像認識により、人や動物や顔領域を検出する顔検出機能や、顔の中の瞳や鼻や口などの器官（部位）を検出する機能や、被写体の体全体（物体全体）を検出する体全体検出機能等を備えている。そして、顔検出や器官検出や体全体検出の結果から顔や器官や体全体の位置の算出処理などを行う。

画像処理回路２０での顏検出や体全体検出は、顏や体全体の輪郭部分の形状を特徴データとして画像処理回路２０内部に保存しておき、検出する画像内に特徴データ（テンプレート）に合致する画像領域の特定をパターンマッチング処理により行う。顔検出は、体全体検出により求められた領域に対して、領域内にあらかじめ画像処理回路２０内部に保存しておいた顔の形状を表す特徴データに合致する画像領域の特定をパターンマッチング処理により行う。

また、画像処理回路２０内部に保存してある特徴データとの一致度を算出し、一致度が所定以上の領域を顔や体全体の領域とする。

また、顔や体全体の検出機会を増やし、検出精度を高めるために、画像処理回路２０内部に保存しておいた複数の特徴データを使用してパターンマッチング処理を行っている。なお、顔や体全体の形状の一部だけの特徴データを使用してパターンマッチング処理を行っても良い。また、顔や体全体の大きさによらず検出するために特徴データの大きさを変化させてパターンマッチング処理を行っても良い。

器官検出は、顔検出により求められた領域に対して領域内にあらかじめ画像処理回路２０内部に保存しておいた器官の形状を表す特徴データ（テンプレート）に合致する画像領域の特定をパターンマッチング処理により行う。特徴データとの合致度を算出することにより器官の信頼度を算出する。

他の検出方法として深層学習による検出を行うこともできる。画像処理回路２０は複数の積和演算器を有し、深層学習を行う処理を行うプロセッサとしても用いられる。

画像処理回路２０は、後述する不揮発性メモリ３１が記憶する複数の学習モデルのうち、システム制御回路５０が選択した１つの学習モデルを用いて、画像データに対して被写体検出処理を適用する。

また、画像処理回路２０は、１つの画像データに対して不揮発性メモリ３１が記憶する学習モデルを切り替えて複数の検出処理をしても良い。

例えば、不揮発性メモリ３１は、例えば犬と猫の瞳、顔、体全体等の部位を検出できる学習モデルと、鳥の瞳、顔、体全体等の部位を検出できる学習モデルと、電車や車などの乗り物を検出できる学習モデルの３つを記憶する。

システム制御回路５０は３つのうちの１つの学習モデルを用いて画像処理回路２０で学習モデルに基づいて画像の検出処理を行う。

システム制御回路５０が１つの画像に対して３つの学習モデルを用いて３回検出を行うことで、犬と猫の瞳、顔、体全体等の部位、鳥の瞳、顔、体全体等の部位、電車と車の乗り物の検出を行うことが可能となる。

なお、本実施例では犬と猫の瞳、顔、体全体等の部位、鳥の瞳、顔、体全体等の部位、電車や車など乗り物の検出をしているが、検出する被写体はこれらに限られない。

また、被写体を検出できれば本実施例で示した方法とは別の他の方法を用いても構わない。

画像処理回路２０では、ライブビュー中の画像等の画像間の追尾処理も行う。画像処理回路２０は被写体を検出すると、検出した被写体のテンプレートとしてメモリ３０に一時記憶する。

また、画像処理回路２０はメモリ３０に一時記憶したテンプレート情報を基に、次のタイミングで生成された画像の中からテンプレートと一致する領域を探索し、一致した領域を被写体領域として追尾処理を行う。

追尾処理としては画像処理回路２０がテンプレートと一致する領域を探索する方法として、画像を領域ごとに切り出してテンプレートとの差の接待値を取って差が少ない領域を被写体領域とする方法がある。他にもテンプレートとヒストグラム、色データなどの一致度などから求める方法もあるが、画像の中からメモリ３０に一時記憶したテンプレートと一致する領域の特定ができれば他の方法をとってもよい。

このように、本実施例では、画像処理回路２０は、画像から検出される特定の被写体（の少なくとも１つの部位）を、画像取得手段により逐次取得される複数の画像にわたって画像間の比較によって追尾する追尾手段として機能する。なお、システム制御回路５０を含めて上記追尾手段を構成するようにしても良い。なお、追尾手段は検出手段によって検出された特定の被写体（の部位）に対応する被写体領域に基づいて追尾を行う。

システム制御回路５０は、検出した被写体が複数の場合、ユーザが選んだ被写体、もしくは被写体の大きさや画面内の位置から主被写体を決定し、主被写体の領域を後述する焦点検出領域として設定する。

なお、検出手段によって特定の被写体（部位）が検出されなくなった場合には、前記特定の被写体（部位）が検出されていた画像における被写体領域を参照して、前記特定の被写体（部位）の追尾を継続する。

システム制御回路５０は、検出した被写体が複数の場合、ユーザが選んだ被写体、もしくは被写体の大きさや画面内の位置から主被写体を決定し、主被写体の領域を後述する焦点検出領域として設定する。

システム制御回路５０は、ライブビュー中に検出した被写体が検出できなくなったときに画像処理回路２０を用いて被写体追尾処理に切り替え、被写体追尾処理により求められた被写体領域を焦点検出領域として設定する。被写体追尾処理を行うことで、同一被写体の部位に対してより長く焦点検出をして被写体に焦点を合わせ続けることができる。

システム制御回路５０は、後述する追尾継続時間の内に同一被写体の部位が検出できれば焦点検出処理を実行し、追尾ができなくなれば同一被写体の別の部位や別の種別の被写体を主被写体（焦点検出領域）として設定する。

即ち、システム制御回路５０は、同一被写体の部位を追尾し続けている時間が図３で示される追尾継続期間を経過した場合、図４に示すように同一被写体の別の部位や異なる種別の被写体を主被写体として焦点検出領域を設定する。

その他にも、画像処理回路２０では、オートホワイトバランス（以下ＡＷＢという）処理をするために撮像した画像データを用いて所定の演算処理を行う。また、得られた演算結果をホワイトバランス（以下ＷＢという）評価値として算出する。また、算出されたＷＢ評価値を基に画像データの色の変換なども行う。

さらに、画像処理回路２０では、自動露出制御（以下ＡＥという）処理、ストロボ露出制御（以下ＥＦという）処理を行うための、ＡＥ評価値、ＥＦ評価値を算出するために、撮像した画像データを用いて所定の演算処理を行う。

得られたＡＥ評価値、ＥＦ評価値を基にシステム制御回路５０は、所定のアルゴリズムに従って露光制御部４０やフラッシュ４８に対して制御を行う。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２等を制御する。

Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

２８はＴＦＴ、ＬＣＤ等から成る画像表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２による制御に基づき画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示することによって、電子ファインダ機能を実現することができる。

また、画像表示部２８は、システム制御回路５０の指示により表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を一時的に格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は認証用の特徴データを一時記憶する領域やシステム制御回路５０の作業領域としても使用することが可能である。

３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれており、システム制御回路５０はプログラムコードを逐次読み出しながら各種処理を実行する。また、不揮発性メモリ内には認証用の顔の特徴データを辞書データとして記憶する領域や、システム情報を記憶する領域、ユーザ設定情報を記憶する領域等が設けられており、さまざまな情報や設定を次回起動時に読み出して、復元できるようにしている。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長部であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に再び書き込む。

４０は絞り機能を備える機械式シャッタ１２を制御する露光制御部であり、フラッシュ４８によるフラッシュ調光機能もすることもできる。

４２は撮影レンズ１０のフォーカシングを制御するフォーカス制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部である。４８はフラッシュであり、フラッシュ調光機能を有する。

なお、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、フォーカス制御部４２に対して制御を行う。

システム制御回路５０では撮像素子１４から得られる位相差検出用の画素データをもとにオートフォーカス（以下ＡＦという）処理も行う。ここで、ＡＦとは、ユーザが選択した主被写体領域やカメラが自動的に設定した主被写体領域を焦点検出領域として設定し、焦点位置を自動的に検出する自動焦点検出のことである。

撮像素子１４は、Ｃ－ＭＯＳセンサとその周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上にそれぞれ１つの光電変換素子が配置される。撮像素子１４は、全画素の独立な出力が可能なように構成されている。また、全画素のうちの一部の画素は焦点検出用画素となっており、撮像面位相差検出方式のＡＦ（撮像面位相差ＡＦ）をすることが可能となっている。

また、複数の焦点検出用画素２５１の各々は撮影光学系の一対の異なる射出瞳の領域の一方を通る光束を受光するように構成されている。

撮像用画素２５０は、被写体の像を形成する撮影光学系の射出瞳の全域を通る光束を各々が受光して被写体の像を生成する。

また、撮像用画素２５０の前面には例えばベイヤー配列のカラーフィルタが配置されている。

また、図２の例では、撮像素子１４は、第１、第２行に属する２行×２列の画素のうち、対角に配置される一対のＧ画素（Ｇｒ画素とＧｂ画素）は撮像用画素として構成し、Ｂ画素を焦点検出用画素に置き換えている。第５行と第６行に属する２行×２列の画素についても同様に構成されている。

被写体の像を形成する撮影光学系の射出瞳の全域を通る光束を各々が受光して被写体の像を生成する複数の撮像用画素２５０を有する。また、撮像素子１４は、各々が撮影光学系の異なる射出瞳の領域を通る光束を受光する複数の焦点検出用画素２５１を更に有する。複数の焦点検出用画素は全体として撮影光学系の射出瞳の全域を通る光束を受光することができる。例えば、撮像素子１４は、２行×２列の画素のうち、対角に配置される一対のＧ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換えている。

システム制御回路５０は、撮像素子１４に離散的に配置された焦点検出用画素の撮像信号により位相差ＡＦ方式での焦点検出処理を行う。即ち、撮像光学系の一対の瞳領域を通過する光束により複数の焦点検出用画素から一対の像信号が形成される。図２の２行目の焦点検出用画素群は例えば右目画像信号を形成し、図２の６行目の焦点検出用画素群は例えば左目画像信号を形成する。そしてこの一対の像信号の相関演算を行うことによって、この１対の像のずれ量を取得する。このずれ量は被写体までの距離に応じて変化するので、このずれ量に基づいて焦点検出を行う。

本実施形態では、撮像面に配置された撮像用画素配列の一部を焦点検出用画素２５１に置き換えることによって撮像面位相差ＡＦを実現しているが、本発明はこの方式に限定されるものではなく焦点検出ができる構成であれば良い。例えば公知の焦点検出専用センサを用いた位相差式焦点検出や、公知のコントラスト式焦点検出であっても良い。

６０、６２、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段を構成しており、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせから成る。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２は２ストローク（ＳＷ１、ＳＷ２）のシャッタスイッチで、シャッタスイッチ６２を押し込む途中でＳＷ１がＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作が開始される。すなわちシャッタスイッチ６２を介してユーザはオートフォーカス指示等を行うことができる。

シャッタスイッチ６２を最後まで押し込むとシャッタスイッチＳＷ２がＯＮとなり静止画撮影が開始される。そしてフラッシュ撮影の場合には、ＥＦのためのフラッシュプリ発光処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させるように機械式シャッタ１２を動作させる。

この露光期間中にフラッシュを発光させて、露光期間終了に伴って露光制御部４０により機械式シャッタ１２を遮光させることで、撮像素子１４への露光を終了させる。

撮像素子１４から読み出した信号はＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データとして書き込まれ、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。また、メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行う。

その後に記録媒体２００に画像データを書き込む記録処理が行われ、これら一連の静止画撮影および記録処理の動作がシャッタスイッチＳＷ２のＯＮにより行われる。

６６は表示切替スイッチで、画像表示部２８の表示切替（ＯＮ、ＯＦＦ切り替え）をすることが出来る。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＬＣＤ等から成る画像表示部２８をＯＦＦすることにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等を含む。

また操作部７０は、メニュー移動＋（プラス）ボタン、メニュー移動－（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像－（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含む。

７２はユーザが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチである。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチを含む。ズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

８６はアルカリ電池の一次電池やＬｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体２００との電気的な接続を行うコネクタである。

１０４は光学ファインダであり、画像表示部２８とは別に設けられ、光学ファインダのみを用いて撮影を行うことが可能となっている。

１１０は通信部でＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有するほか、ＧＰＳを内蔵していてもよい。通信部１１０はコネクタ（アンテナ）１１２を介して各種電波を受信することが可能となっている。

１１５は角速度検出装置であるジャイロセンサで、単位時間あたりの角度変化を検出することでシステム制御回路５０が角速度に基づいてヨーイング方向の移動量やピッチング方向の移動量を算出することができる。

２００は記録媒体であり、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と電気的な接続を行うコネクタ２０６を備えている。

上記のような構成において、ユーザが操作部７０等で主被写体を再選択しながらＡＦ対象とする主被写体を決定する場合、実被写体以外の被写体や誤検出した被写体など、ユーザが選択する可能性の低い被写体を主被写体として再選択をしてしまうことがある。

本実施例では、このような再選択を抑制するために、再選択する被写体が別被写体と重なっているか否かと、再選択する被写体と主被写体との被写体種別の組み合わせに応じて主被写体として再選択をするかどうかを判定している。

＜静止画撮影フロー＞
続いて図３を用いて撮像装置１００にて静止画撮影をするフローの例を説明する。本フローチャートの各ステップは、システム制御回路５０あるいはシステム制御部回路５０の指示によりデジタルカメラ１００の各部が実行する。

図３においては、静止画撮影モード中におけるライブビュー中に被写体の検出と主被写体およびＡＦ対象の決定までを行っている。

ステップＳ３０１ではシステム制御回路５０が静止画撮影モードに設定されているかどうかを判定する。Ｓ３０１で静止画撮影モードに設定されていると判定したらステップＳ３０２に遷移する。なお、ステップＳ３０１で静止画撮影モードに設定されていると判定しなかったらフローを終了して静止画撮影フローを終了する。静止画撮影フロー後は、再生モードや電源ＯＦＦなどカメラ設定に従ってシステム制御回路は撮像装置１００を制御する。

ステップＳ３０２ではシステム制御回路５０が撮像装置１００にてライブビュー開始の処理が完了したかどうかを判定する。ここで、ライブビュー開始の処理とは、タイミング発生回路１８が撮像素子１４やＡ／Ｄ変換器１６にライブビュー用のクロック信号や制御信号を供給する処理である。ステップＳ３０２でライブビュー開始の処理が完了したと判定したらステップＳ３０３に遷移し、完了していないと判定したらステップＳ３０２で待機する。

ステップＳ３０３ではライブビュー処理を開始してステップＳ３０４に遷移する。ライブビュー処理とは、撮像素子１４で撮像したデータに対し、画像処理回路２０を用いて画像データとして生成したものをメモリ３０に一時記憶し、画像表示部２８に表示させる処理である。この処理をタイミング発生回路１８のタイミングに従って連続的に実行することで、ユーザがリアルタイムに撮像した画像を確認することができる。

ステップＳ３０４では静止画撮影モードを継続するかどうかをシステム制御回路５０が判定する。ステップＳ３０４で静止画撮影モードを継続すると判定しなかった場合はフローを終了する。静止画撮影モードを継続するかどうかは撮像装置１００の設定に従い、カメラ設定が撮影モードに設定されている場合は静止画撮影モードを継続すると判定する。一方、ステップＳ３０４で静止画撮影モードを継続すると判定した場合はステップＳ３０５に遷移する。

ステップＳ３０５では、画像データに対して画像処理回路２０が被写体検出処理を行い、被写体を検出したかどうかを判定する。

ステップＳ３０５で被写体の検出なしと判定した場合はステップＳ３０６に遷移し、ステッＳ３０６にて主被写体が無いと設定してステップＳ３１０に遷移する。

ステップＳ３０５で被写体を検出したと判定した場合はステップＳ３０７に遷移する。

ステップＳ３０７では、システム制御回路５０は検出した被写体の中から主被写体を決める主被写体自動選択処理を行って、ステップＳ３０８に遷移する。主被写体自動選択処理の例については後述する。

ステップＳ３０８では、システム制御回路５０が操作部７０の右ボタンもしくは左ボタンが押されたかどうかを判定する。ステップＳ３０８で操作部７０の右ボタンもしくは左ボタンが押されたと判定した場合はステップＳ３０９に遷移する。

ステップＳ３０９では、ステップＳ３０８にて指定されたボタンの方向に従って主被写体を選択しなおす主被写体手動選択処理を行い、ステップＳ３１０に遷移する。主被写体手動選択処理の例については後述する。

ステップＳ３１０では、システム制御回路５０がシャッタスイッチ６２のＳＷ１がＯＮ状態か否かを判定する。ステップＳ３１０でシャッタスイッチ６２のＳＷ１がＯＮ状態ではないと判定した場合はＳ３１１に遷移する。

ステップＳ３１１では、システム制御回路５０は画像処理回路２０が被写体を追尾中かどうか判定する。ステップＳ３１１で被写体を追尾中と判定した場合はステップＳ３０８に遷移する。ステップＳ３１１で被写体を追尾中と判定しなかった場合はＳ３０４に遷移する。

ステップＳ３１０で、システム制御回路５０がシャッタスイッチ６２のＳＷ１がＯＮ状態だと判定した場合はステップＳ３１２に遷移する。

ステップＳ３１２では、システム制御回路５０は主被写体があるかどうかを判定する。主被写体があると判定しなかった場合は、ステップＳ３１３に遷移する。

ステップＳ３１３では、システム制御回路５０は画面の中心位置（ライブビュー表示されている画像の中心位置）に対してＡＦ処理を行うように撮像装置１００の各部を制御する。なお、ＡＦ処理を行う領域は画面の中心のみに限られるわけでない。例えば、画面内で撮像素子１４から奥行き方向に最も近いと判断した領域についてＡＦ処理を行なってもよい。また、画像処理回路２０が画面内の中から色情報や輝度情報を用いて顕著な領域を決定し、その結果をもとにＡＦ処理を行う位置を設定してもよい。ステップＳ３１３でＡＦ処理が完了したらステップＳ３１７に遷移する。

ステップＳ３１２で主被写体があると判定した場合は、ステップＳ３１４に遷移する。

ステップＳ３１４では、主被写体に対応する領域にＡＦ処理を実行し、ステップＳ３１５に遷移する。

ステップＳ３１５では、システム制御回路５０が操作部７０の右ボタンもしくは左ボタンが押されたかどうかを判定する。操作部７０の右ボタンもしくは左ボタンが押されたと判定した場合は、ステップＳ３１６に遷移する。

ステップＳ３１６では、右ボタンもしくは左ボタンによって指定された方向に従って主被写体を選択しなおす主被写体手動選択処理を行ってステップＳ３１４に遷移する。

ステップＳ３１５で操作部７０の右ボタンもしくは左ボタンが押されたと判定しなかった場合は、ステップＳ３１７に遷移する。

ステップＳ３１７では、システム制御回路５０がシャッタスイッチ６２のＳＷ２がＯＮ状態か否かを判定する。シャッタスイッチ６２のＳＷ２がＯＮ状態だと判定しなかった場合はステップＳ３１０に遷移する。

ステップＳ３１７でシャッタスイッチ６２のＳＷ２がＯＮ状態だと判定した場合はステップＳ３１８に遷移する。

ステップＳ３１８では、システム制御回路５０の制御の下、撮像装置１００の各部が静止画の撮影処理を行い、ステップＳ３１９に遷移する。

ステップＳ３１９では、システム制御回路５０は静止画撮影モードを終了するかどうかを判断する。静止画撮影モードを終了するかどうかはカメラ設定に従い、電源ＯＦＦや再生モードなど撮影モード以外の設定にした場合は静止画撮影モードを終了する。

ステップＳ３１９で静止画撮影モードの終了を判定しなかった場合はステップＳ３１０に遷移する。また、ステップＳ３１９で静止画撮影モードの終了を判定した場合は、フローを終了する。

＜主被写体自動選択処理＞
続いて図４を用いて図３のステップＳ３０７の主被写体自動選択処理について詳細を説明する。主被写体自動選択処理とは、画面内で被写体検出を行なった結果検出された被写体からＡＦ対象とするための主被写体を決める処理である。

ステップＳ４０１では、画像処理回路２０が被写体検出処理の結果、画面内から人物を検出したかを判定し、ステップＳ４０１で画面内から人物を検出したと判定した場合はステップＳ４０２に遷移する。

ステップＳ４０２では、画像処理回路２０は画面内から人物を複数検出したかどうかを判定し、ステップＳ４０２で画面内から人物を複数検出したしたと判定した場合はステップＳ４０３に遷移する。

ステップＳ４０３では、システム制御回路５０が人物の顔の位置とサイズ重みから主被写体とする人物被写体を決定する。主被写体をとする人物被写体を決定するための位置とサイズ重みとは、各々の人物に対してシステム制御回路５０が設定した位置重みとサイズ重みの評価値を掛け合わせたものである。システム制御回路５０は各々の人物に対する位置重みとサイズ重みの評価値から最も評価値が大きい被写体を主被写体をとする。位置重みであれば、例えば人物顔の中心位置がＡＦ枠の中心に近いほど重みが大きくなるように係数を設ける。サイズ重みであれば、顔のサイズが大きい被写体ほど重みが大きくなるように係数を設ける。

なお、ステップＳ４０３では位置重みとサイズ重みを使って主被写体をとする人物被写体を決定したが、人物の顔の向きを用いて正面を向いているほど重みが高くなるようにするなど、別の基準を用いて主被写体を決めてもよい。

ステップＳ４０３で人物の顔の位置とサイズ重みから主被写体とする人物被写体が決定したら本フローを終了する。

ステップＳ４０２で画面内に検出された人物が複数であると判定しなかった場合（すなわち、一人しか検出されなかったことを意味する。）は、ステップＳ４０４に遷移する。

ステップＳ４０４では検出した人物を主被写体として本フローを終了する。

ステップＳ４０１で画面中に人物を検出したと判定しなかった場合はステップＳ４０５に遷移する。

ステップＳ４０５では、画像処理回路２０は画面内から犬や猫などの動物を検出したかどうかを判定する。ステップＳ４０５で画面内から動物を検出したと判定した場合はステップＳ４０６に遷移する。

ステップＳ４０６では、画像処理回路２０は画面内から自動車などの乗り物を検出したかどうかを判定し、ステップＳ４０６で画面内から乗り物を検出したと判断した場合はステップＳ４０７に遷移する。

ステップＳ４０７では、システム制御回路５０が被写体種別ごとに正規化したサイズを用いて、位置と被写体サイズからＡＦ枠内の主被写体を求める。サイズの正規化は、例えば、犬と猫、自動車、各々の被写体が撮像素子１４から等距離にあった時に被写体領域が同じ面積になるようにサイズを正規化する。位置重みと正規化したサイズ重みを使って主被写体をとする被写体を決定する。

ステップＳ４０６で画面内から自動車などの乗り物を検出したと判定しなかった場合はステップＳ４０８に遷移する。

ステップＳ４０８では、画像処理回路２０は画面内で複数の動物を検出したかどうかを判定し、Ｓ４０８で複数の動物を検出したと判定した場合はステップＳ４０９に遷移する。

ステップＳ４０９では、システム制御回路５０が画面内の動物被写体の中から位置とサイズ重みから主被写体とする動物被写体を決定してフローを終了する。

ステップＳ４０８で複数の動物を検出したと判定しなかった場合は、ステップＳ４１０に遷移する。

ステップＳ４１０では画面から検出した動物被写体を主被写体としてフローを終了する。

ステップＳ４０５で画面内から動物を検出したと判定しなかった場合は、ステップＳ４１１に遷移する。

ステップＳ４１１では、画像処理回路２０は画面内から自動車などの乗り物被写体を検出したかどうかを判定し、ステップＳ４１１で乗り物被写体を検出したと判定した場合はステップＳ４１２に遷移する。

ステップＳ４１２では、画像処理回路２０は画面内から乗り物を複数検出したかどうかを判断し、ステップＳ４１２で乗り物を複数検出したと判断した場合はステップＳ４１３に遷移する。

ステップＳ４１３では、システム制御回路５０が画面内の乗り物被写体の中から位置とサイズ重みから主被写体とする乗り物被写体を決定してフローを終了する。

ステップＳ４１２で画面内から乗り物を複数検出したと判定しなかった場合は、ステップＳ４１４に遷移する。

ステップＳ４１４では、画面内から検出した乗り物被写体を主被写体としてフローを終了する。

Ｓ４１１において、画面内から自動車などの乗り物被写体を検出したと判定しなかった場合は、主被写体が無いと決定してフローを終了する。

＜主被写体手動選択処理＞
図５は主被写体手動選択処理である。主被写体手動選択処理とは、画面内でユーザの指示した方向に存在する被写体を主被写体として選択（主被写体選択）しなおす処理である。

ステップＳ５０１では、主被写体に対して画面内のユーザが指定した方向に被写体があるかどうかを判定する。ユーザが指定した方向に被写体があるかどうか判断する例について撮影の例である図９を用いて説明する。

図９は、主被写体手動選択処理を説明するための画像の表示例である。９０１が主被写体としている飛行機、９０２が検出した４輪車、９０３が検出した飛行機、９０４が検出した鳥である。

９１１は９０１の飛行機が主被写体であることを示す枠表示である。９１２、９１３は操作部７０の右ボタンもしくは左ボタンで主被写体を切り替えることが可能であることを示す表示である。

左右のどちらに被写体があるかどうかは、被写体領域の中心座標で決定する。図９においては９０１の左隣の被写体は９０４であり、９０１の右隣の被写体は９０２である。

まずステップＳ５０１でユーザが指定した方向に被写体があると判定しなかった場合は本フローを終了する。

ステップＳ５０１でユーザが指定した方向に被写体があると判定した場合は、ステップＳ５０２に遷移する。

ステップＳ５０２では主被写体に対してユーザが指定した方向の隣の被写体を遷移被写体として設定し、ステップＳ５０３に遷移する。

ステップＳ５０３ではシャッタスイッチ６２のＳＷ１がＯＮ状態（オートフォーカス指示中）かどうかを判定する。シャッタスイッチ６２のＳＷ１がＯＮ状態と判定しなかった場合はステップＳ５０４に遷移する。

ステップＳ５０４では、遷移被写体の被写体種別が主被写体と同一種別かどうかを判断する。被写体種別とは、例えば、人物、動物、乗り物などの分類を被写体種別としても構わないし、人物、犬、猫、馬、２輪車、４輪車、飛行機、鉄道などの分類を被写体種別としても構わない。

ステップＳ５０４で、遷移被写体が主被写体と同一種別（人物同士、動物同士、乗物同士等）と判定した場合はステップＳ５１０に遷移する。

ステップＳ５０４で、遷移被写体が主被写体と同一種別と判定しなかった場合はステップＳ５０１に遷移する。

ステップＳ５０３ではシャッタスイッチ６２のＳＷ１がＯＮ状態と判定した場合は、ステップＳ５０５に遷移する。

ステップＳ５０５では、被写体の重なりによる遷移判定処理を行ってステップＳ５０６に遷移する。被写体の重なりによる遷移判定処理とは、遷移被写体を主被写体とするために被写体種別の判断が不要かどうかを判定する処理である。具体的な例は後述する。

ステップＳ５０６では、遷移被写体を主被写体とするために被写体種別の判断が不要と判定した場合はステップＳ５１０に遷移する。

ステップＳ５０６で、遷移被写体を主被写体とするために被写体種別の判断が不要と判定しなかった場合はステップＳ５０７に遷移する。

ステップＳ５０７では、主被写体と遷移被写体との被写体種別の組み合わせから、遷移被写体へ遷移許可するかどうかを判定する。

主被写体と遷移被写体との被写体種別の組み合わせに応じた、遷移被写体へ遷移許可するかどうかを判定する例について図７を用いて説明する。図７は縦軸が主被写体の被写体種別で、横軸が遷移被写体の被写体種別のインデックスである。各々の被写体の組み合わせで重なった部分が〇であれば遷移を許可（遷移許可と判定）し、×であれば遷移を禁止（遷移禁止と判定）する。

例えば、図９の９１０と９０２の関係のように、主被写体が飛行機で遷移被写体が４輪車の場合は遷移を許可し、主被写体が人物で遷移被写体が４輪車の場合は遷移を禁止とする。

ステップＳ５０７で主被写体と遷移被写体との被写体種別の組み合わせから、遷移許可と判定されなかった場合はステップＳ５０１に遷移する。

ステップＳ５０７で主被写体と遷移被写体との被写体種別の組み合わせから、遷移許可と判定した場合はステップＳ５０８に遷移する。

ステップＳ５０８では、被写体サイズによる遷移許可判定を行ってステップＳ５０９に遷移する。被写体サイズによる遷移可否判断は遷移被写体のサイズに応じて遷移を許可するかどうかを判定する処理である。具体的な例は後述する。

ステップＳ５０９では被写体サイズにより遷移が許可されているどうかを判定し、被写体サイズにより遷移が許可されていると判定しなかった場合はステップＳ５０１に遷移する。

ステップＳ５１０で、被写体サイズにより遷移が許可されていると判定した場合はステップＳ５１０に遷移する。

ステップＳ５１０では遷移被写体を主被写体に切り替えてフローを終了する。

このフローにより、例えばシャッタスイッチ６２のＳＷ１がＯＦＦの場合に図９の９０１が主被写体であった時に右ボタンを押した場合は主被写体が９０３に切り替わる。

図５を例にするとステップＳ５０２で９０２を遷移被写体とするものの、ステップＳ５０５で被写体種別の判断を不要（判断不要）と判定せず、ステップＳ５０７で遷移許可と判断しないことで、ステップＳ５０１に遷移する。その後にステップＳ５０２で９０３を遷移被写体とし、ステップＳ５０５で被写体種別の判断不要と判定し、ステップＳ５１０で主被写体を９０３に切り替わる。

シャッタスイッチ６２のＳＷ１がＯＦＦの場合に図９の９０１が主被写体であった時に左ボタンを押した場合は主被写体が９０４に切り替わる。

図５を例にするとステップＳ５０２で９０４を遷移被写体とし、ステップＳ５０５で被写体種別の判断不要と判定してステップＳ５１０で主被写体を９０４に切り替える。

シャッタスイッチ６２のＳＷ１がＯＮの場合に図９の９０１が主被写体であった時は、右ボタンを押しても、左ボタンを押しても主被写体が９０３にのみ切り替えることが可能である。

図５を例にすると右ボタンを押すとステップＳ５０２で９０２を遷移被写体とするものの、ステップＳ５０４での遷移被写体が主被写体と同一種別かどうかの判定によりステップＳ５０１に遷移してステップＳ５０２で９０３に遷移被写体に設定する。その後、ステップＳ５０４で同一種別と判断してステップＳ５１０で主被写体を９０３に切り替える。左ボタンを押すとステップＳ５０２で９０４を遷移被写体とするものの、ステップＳ５０４での遷移被写体が主被写体と同一種別かどうかの判定によりステップＳ５０１に遷移してステップＳ５０２で９０３に遷移被写体に設定する。その後、ステップＳ５０４で同一種別と判断してステップＳ５１０で主被写体を９０３に切り替える。

＜被写体の重なりによる遷移判定処理＞
図６は被写体の重なりによる遷移判定処理の例を示したフローである。

ステップＳ６０１では主被写体の領域と遷移被写体の領域に重複している領域があるかどうかを判定する。判定するための被写体領域は、人物の瞳部分や飛行機のコックピット部分など被写体のＡＦ対象とする領域を被写体領域としてもよい。また、ＡＦ対象が人物の瞳領域である場合は人物の顔や全身の領域、ＡＦ対象が飛行機のコックピット部分である場合は飛行機の全体の領域を主被写体の領域としてもよい。他にも、人物の瞳領域から人物の顔や全身の領域、飛行機のコックピット部分から飛行機の全体の領域を推定して判定するための被写体領域としてもよい。また、２輪車のボディ部分と乗っている人物の頭部を各々検出している場合、２輪車のボディ部分と乗っている人物領域を網羅する領域を推定して被写体領域としてもよい。

ステップＳ６０１で主被写体と遷移被写体の領域に重複している領域があると判定しなかった場合はＳ６０２に遷移する。

ステップＳ６０２では、遷移被写体の被写体種別の判断不要としてフローを終了する。

ステップＳ６０１で主被写体の領域と遷移被写体の領域に重複している領域があると判定した場合は、ステップＳ６０３に遷移する。

ステップＳ６０３では重複領域は遷移被写体に対して所定以上かどうかを判定する。例えば、遷移被写体の面積に対して所定の比率よりも重なり領域が広ければ所定以上と判断する。他にも、重なっている領域の水平サイズもしくは垂直サイズが、遷移被写体の垂直サイズもしくは垂直サイズに対して所定の比率をかけたサイズを超えていたら所定以上と判断しても構わない。

ステップＳ６０３で、重複領域は遷移被写体に対して所定以上であると判定した場合は、ステップＳ６０４に遷移する。

ステップＳ６０４では、遷移被写体の被写体種別の判断必要としてフローを終了する。

ステップＳ６０３で、重複領域は遷移被写体に対して所定以上であると判定しなかった場合は、ステップＳ６０５に遷移する。

ステップＳ６０５では重複領域は主被写体に対して所定以上かどうかを判定する。例えば、主被写体の面積に対して所定の比率よりも重なり領域が広ければ所定以上と判断する。他にも、重なっている領域の水平サイズもしくは垂直サイズが、主被写体の垂直サイズもしくは垂直サイズに対して所定の比率をかけたサイズを超えていたら所定以上と判断しても構わない。

ステップＳ６０５で重複領域は主被写体に対して所定以上だと判定した場合はステップＳ６０２に遷移する。ステップＳ６０５で重複領域は主被写体に対して所定以上だと判定する例として、例えば遷移被写体領域が主被写体領域の全てを包んでいる場合とする。

ステップＳ６０５で重複領域は主被写体に対して所定以上だと判定しなかった場合は、ステップＳ６０４に遷移する。

＜被写体サイズによる遷移可否判定＞
図８は被写体サイズによる遷移可否判定の例を示したフローである。被写体サイズによる遷移可否判定は、例えば実被写体上にプリントされた絵などの被写体にＡＦ枠が遷移してしまうことを避けるために実施する。

ステップＳ８０１では遷移被写体が人物かどうかを判定する。

ステップＳ８０１で遷移被写体が人物と判定した場合は、ステップＳ８０２に遷移する。

ステップＳ８０２では、遷移被写体領域が画面全体に対して所定の範囲内であるかどうかを判定する。例えば、画面全体の面積に対する遷移被写体の面積の比率が所定の範囲内であれば、所定の範囲内と判定する。遷移被写体領域は、人物であれば顔の領域、胴体部分や全身の領域としてもよい。

ステップＳ８０２で、遷移被写体領域が画面全体に対して所定の範囲内と判定した場合はステップＳ８０３に遷移する。

ステップＳ８０３では、被写体サイズによる遷移を許可して本フローを終了する。

ステップＳ８０２で、遷移被写体領域が画面全体に対して所定の範囲内と判定しなかった場合はステップＳ８０４に遷移する。

ステップＳ８０４では、被写体サイズによる遷移は禁止として本フローを終了する。

ステップＳ８０１で遷移被写体が人物と判定しなかった場合は、ステップＳ８０５に遷移する。

ステップＳ８０５では、遷移被写体にかかわらず画面内で人物を検出したかどうかを判定する。

ステップＳ８０５で、画面内で人物を検出したと判定しなかった場合はステップＳ８０２に遷移する。

ステップＳ８０５で、画面内で人物を検出したと判定したら場合はステップＳ８０６に遷移する。

ステップＳ８０６では、検出した人物と遷移被写体の比率が所定以内かどうかを判断する。画面内で人物が複数検出された場合は、人物の中で最も主被写体らしい人物をと比較しても構わないし、遷移被写体から最も近い人物をと比較しても構わないし、検出したすべての人物と比較した結果を用いても構わない。例えば、人物領域の面積に対する遷移被写体領域の面積の比率が所定の範囲内であれば、所定の範囲内と判定する。

ステップＳ８０６では、検出した人物と遷移被写体の比率が所定以内と判定しなかった場合はステップＳ８０４に遷移する。

ステップＳ８０６では、検出した人物と遷移被写体の比率が所定以内と判定した場合はステップＳ８０７に遷移する。

ステップＳ８０７では、被写体サイズによる遷移を許可してフローを終了する。

＜本実施例による効果＞
以上のように、遷移被写体と別被写体の重なりや被写体種別の組み合わせから、主被写体として遷移するかどうか判断することで、ユーザの意図しない被写体に遷移することを回避することができる。

＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、本実施例はユーザによる右ボタンもしくは左ボタンによる被写体の遷移について説明したが、他の操作部材に応じた主被写体の遷移に対して適用してもよい。またカメラが自動で主被写体を遷移するかどうかを判定するときに、被写体領域の重なりや被写体種別の組み合わせを用いて遷移するかどうかを判断しても構わない。

本実施例はユーザが意図しない被写体へのＡＦ枠の遷移（主被写体対象の遷移）を避けるために、サイズによる遷移可否判定をしているが、代わりにカメラや被写体の移動量から遷移可否判定をしても構わない。カメラや被写体の移動量から遷移可否判定をする例として、被写体が画面外に出る可能性が高い被写体には遷移させない判断や、ユーザがパンニングしている被写体には遷移させる。

また、撮影シーンを判定するシーン判定部を新たに設けることで、主被写体を遷移するかどうかの判定に活用することもできる。例えば、ユーザが空を飛ぶ飛行機の撮影を意図している場合、撮影する画像には空が多く含まれることが予想される。シーン判定部は撮影画像中に占める空の領域から、撮影対象が空を飛んでいる飛行機であると判定する。ここで、例えば空を飛んでいる飛行機の外装に４輪車の絵がプリントされている場合を考える。この時、シーン判定部は撮影対象が空を飛んでいる飛行機であると判定する。そして、飛行機に加えてプリントされた４輪車が検出されていたとしても、判定シーンから４輪車は撮影対象としてふさわしくないと判定し、飛行機から４輪車への主被写体への遷移を許可しないように制御することが可能である。

一方で、通常は遷移を許可していない被写体種別の組み合わせであっても撮影シーンによっては遷移を許可するように制御を行うことも可能である。

なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置等に供給するようにしてもよい。そしてその撮像装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１０ 撮影レンズ
１２ シャッタ
１４ 撮像素子
１６ Ａ／Ｄ変換器
１８ タイミング発生回路
２０ 画像処理回路
２２ メモリ制御回路
２８ 画像表示部
３０ メモリ
３２ 画像圧縮・伸長回路
４０ 露光制御部
４２ 焦点検出焦点検出制御部
４４ ズーム制御部
４８ フラッシュ
５０ システム制御回路
６０ モードダイアルスイッチ
６２ シャッタスイッチ
６６ 表示切替スイッチ
７０ 操作部
７２ ズームスイッチ
９０ インタフェース
９２ コネクタ
１００ 画像処理装置
１０４ 光学ファインダ
１１０ 通信部
２００ 記録媒体
２０２ 記録部
２０４ インタフェース
２０６ コネクタ

Claims (20)

1. 画像を逐次取得する取得手段と、
   前記取得手段で取得される画像から複数の被写体を検出する検出手段と、
   前記複数の被写体の中から主被写体を選択する主被写体選択手段と、を有し、
   前記主被写体選択手段は、
   前記複数の被写体のいずれかの被写体の領域が別の被写体の領域と重なっているか否かと、前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別との組み合わせに応じて、
   前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可するか否かを判断することを特徴とする画像処理装置。
2. 前記検出手段は、人物、動物、乗り物、のうち少なくとも１つを含む被写体を検出することを特徴とする請求項１に記載の主被写体の画像処理装置。
3. 前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別の組み合わせが、人物と動物の組み合わせの場合は、前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可することを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別の組み合わせ、人物と乗り物の組み合わせの場合は、前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可することを特徴とする請求項２に記載の画像処理装置。
5. 前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別の組み合わせが、動物同士の組み合わせの場合は、被写体種別の組み合わせに応じて前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可するか否かを判断することを特徴とする請求項２に記載の画像処理装置。
6. 前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別の組み合わせが、動物と乗り物の組み合わせの場合は、被写体種別の組み合わせに応じて前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可するか否かを判断することを特徴とする請求項２に記載の画像処理装置。
7. 前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別の組み合わせが、飛行機と車の組み合わせの場合は、前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可しないことを特徴とする請求項２に記載の画像処理装置。
8. 前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別の組み合わせが、鉄道と車の組み合わせの場合は、前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可しないことを特徴とする請求項２に記載の画像処理装置。
9. ユーザの操作に応じて、前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別の組み合わせを変えることを特徴とする請求項１に記載の画像処理装置。
10. 前記ユーザの操作はオートフォーカスの指示であり、
    前記オートフォーカスの指示中に、前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別の組み合わせが同一種別である場合に、前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可することを特徴とする請求項９に記載の画像処理装置。
11. 撮影シーンを判定するシーン判定部をさらに有し、
    前記シーン判定部の判定した撮影シーンに応じて、前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別の組み合わせを変えることを特徴とする請求項１に記載の画像処理装置。
12. 前記複数の被写体のいずれかの被写体の大きさに応じて、前記複数の被写体のいずれかの被写体を新たな主被写体として再選択をするか否かを判断することを特徴とする請求項１に記載の画像処理装置。
13. 前記複数の被写体のいずれかの被写体が前記主被写体の領域を含んでいた場合、被写体種別に依らず前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可することを特徴とする請求項１に記載の画像処理装置。
14. ユーザの操作手段に応じて、被写体種別に依らず前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可することを特徴とする請求項１に記載の画像処理装置。
15. 該画像処理装置の移動量を検出する移動量検出手段をさらに有し、
    前記主被写体選択手段は該画像処理装置の移動量もしくは前記複数の被写体のいずれかの被写体の移動量の少なくとも１つに応じて、前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可することを特徴とする請求項１に記載の画像処理装置。
16. 該画像処理装置の移動量を検出する移動量検出手段をさらに有し、
    前記主被写体選択手段は該画像処理装置の移動量もしくは前記複数の被写体のいずれかの被写体の移動量の少なくとも１つに応じて、前記複数の被写体のいずれかの被写体をパンニングしていると判断したら、前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可することを特徴とする請求項１に記載の画像処理装置。
17. 撮像素子と
    請求項１乃至１６のいずれか１項に記載の画像処理装置と、
    を有する撮像装置。
18. 画像を逐次取得する取得ステップと、
    前記取得ステップで取得される画像から複数の被写体を検出する検出ステップと、
    前記複数の被写体の中から主被写体を選択する主被写体選択ステップと、を有し、
    前記主被写体選択ステップは、
    前記複数の被写体のいずれかの被写体の領域が別の被写体の領域と重なっているか否かと、前記複数の被写体のいずれかの被写体の種別と前記主被写体の種別との組み合わせに応じて、
    前記複数の被写体のいずれかの被写体を新たな主被写体として再選択を許可するか否かを判断することを特徴とする画像処理装置の制御方法。
19. 請求項１８に記載した画像処理装置の制御方法の各工程をコンピュータに機能させるためのプログラム。
20. 請求項１９に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images