WO2022071271A1

WO2022071271A1 - 撮像装置、画像処理方法及び画像処理プログラム

Info

Publication number: WO2022071271A1
Application number: PCT/JP2021/035523
Authority: WO
Inventors: 智大島田; 武弘河口; 慎也藤原; 太郎斎藤; 幸徳西山
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2020-09-30
Filing date: 2021-09-28
Publication date: 2022-04-07
Anticipated expiration: 2023-03-30
Also published as: CN116249933A; JPWO2022071271A1; CN116249933B; US20230247279A1; JP7305060B2; US12219241B2; JP7516622B2; US20250126351A1; JP2023118792A; JP2024127944A

Abstract

手動で焦点調節する際の操作性を向上できる撮像装置、画像処理方法及び画像処理プログラムを提供する。撮像により得られた動画像データから複数の被写体を抽出し、複数の被写体の中の特定被写体を含む領域を拡大した第１動画像データを表示先に出力し、動画像データにおいて複数の被写体のいずれかに変化が生じた場合、複数の被写体の領域をそれぞれ拡大した第２動画像データを第１動画像データに代えて表示先に出力した後、被写体の選択が指示された場合、選択された被写体を含む領域を拡大した第３動画像データを第２動画像データに代えて表示先に出力する。

Description

撮像装置、画像処理方法及び画像処理プログラム

　本発明は、撮像装置、画像処理方法及び画像処理プログラムに係り、特に撮像により得られた動画像データを表示先に出力する撮像装置、画像処理方法及び画像処理プログラムに関する。

　特許文献１には、焦点調節する際に、撮像装置のフォーカス情報に基づいて、ライブビューの表示を自動で切り替える技術が記載されている。

特開2020-92315公報

　本開示の技術に係る１つの実施形態は、手動で焦点調節する際の操作性を向上できる撮像装置、画像処理方法及び画像処理プログラムを提供する。

　（１）プロセッサを備えた撮像装置であって、プロセッサは、焦点調節を行うモードにおいて、撮像により得られた動画像データから複数の被写体を抽出する処理を行い、複数の被写体の中の特定被写体を含む領域を拡大した第１動画像データを表示先に出力し、動画像データにおいて複数の被写体のいずれかに変化が生じた場合、複数の被写体の領域をそれぞれ拡大した第２動画像データを第１動画像データに代えて表示先に出力した後、被写体の選択が指示された場合、選択された被写体を含む領域を拡大した第３動画像データを第２動画像データに代えて表示先に出力する、撮像装置。

　（２）プロセッサは、第２動画像データを第１動画像データに代えて表示先に出力した後、第１時間内に被写体の選択が指示されなかった場合、第２動画像データに代えて第１動画像データを表示先に出力する、（１）の撮像装置。

　（３）第２動画像データにおいて拡大される複数の被写体には、少なくとも変化が生じた被写体が含まれる、（１）又は（２）に記載の撮像装置。

　（４）プロセッサは、被写体に変化が生じたか否かを判定する条件の設定を受け付ける処理を更に行う、（１）から（３）のいずれか一の撮像装置。

　（５）プロセッサは、被写体の選択の指示の履歴に基づいて、被写体に変化が生じたか否かを判定する条件を修正する処理を更に行う、（１）から（３）のいずれか一の撮像装置。

　（６）条件は、判定に使用する項目及び判定に使用する閾値の少なくとも一方を含む、（４）又は（５）の撮像装置。

　（７）プロセッサは、位置、大きさ及び被写体距離の少なくとも一つの項目の変化に基づいて、被写体に変化が生じたか否かを判定する、（１）から（６）のいずれか一の撮像装置。

　（８）プロセッサは、第２動画像データとして、複数の被写体の拡大画像が順次切り替わる画像を表示先に出力する、（１）から（７）のいずれか一の撮像装置。

　（９）プロセッサは、第２動画像データとして、複数の被写体の拡大画像に加えて、動画像データの全体画像も含めた画像を表示先に出力する、（１）から（８）のいずれか一の撮像装置。

　（１０）プロセッサは、第２動画像データにおいて、拡大画像をそれぞれ異なる色の枠で囲い、かつ、全体画像の中の対応被写体をそれぞれ同じ色の枠で囲う処理を行う、（９）の撮像装置。

　（１１）プロセッサは、動画像データから抽出された複数の被写体の中から第２動画像データにおいて拡大する対象を選出する処理を更に行う、（１）から（１０）のいずれか一の撮像装置。

　（１２）プロセッサは、第２動画像データにおいて拡大する対象を選出する条件の設定を受け付ける処理を更に行う、（１１）の撮像装置。

　（１３）プロセッサは、被写体の選択の指示の履歴に基づいて、第２動画像データにおいて拡大する対象を選出する条件を修正する処理を更に行う、（１１）の撮像装置。

　（１４）プロセッサは、位置、大きさ及び被写体距離の少なくとも一つの項目の変化に基づいて、第２動画像データにおいて拡大する対象を選出する、（１１）から（１３）のいずれか一の撮像装置。

　（１５）プロセッサは、第２動画像データを表示先に出力した後、第１時間内に被写体の選択が指示されなかった場合、第１動画像データから第２動画像データに代える際に変化が生じたと判定された被写体について、第１時間の経過後、第２時間の間、変化を検出する対象から除外する、（１）から（１３）のいずれか一の撮像装置。

　（１６）複数の項目について被写体に変化が生じたか否かを判定する場合において、プロセッサは、第２動画像データを表示先に出力した後、第１時間内に被写体の選択が指示されなかった場合、第１動画像データから第２動画像データに代える際に変化が生じたと判定された項目について、第１時間の経過後、第２時間の間、変化を検出する条件から除外する、（１）から（１５）のいずれか一の撮像装置。

　（１７）プロセッサは、撮像における被写界深度が、特定の値より狭くなる設定が行われた場合、拡大して表示する際の被写体の拡大率を上げる、（１）から（１６）のいずれか一の撮像装置。

　（１８）プロセッサは、拡大する領域内の高周波成分の値が、特定の値より低い場合、拡大して表示する際の被写体の拡大率を下げる、（１）から（１７）のいずれか一の撮像装置。

　（１９）装置本体に備えられた表示部、及び／又は、装置本体に備えられた接続部を介して接続された外部表示装置を表示先とする、（１）から（１８）のいずれか一の撮像装置。

　（２０）撮像により得られた動画像データから複数の被写体を抽出し、複数の被写体の中の特定被写体を含む領域を拡大した第１動画像データを表示先に出力し、動画像データにおいて複数の被写体のいずれかに変化が生じた場合、複数の被写体の領域をそれぞれ拡大した第２動画像データを第１動画像データに代えて表示先に出力した後、被写体の選択が指示された場合、選択された被写体を含む領域を拡大した第３動画像データを第２動画像データに代えて表示先に出力する、画像処理方法。

　（２１）撮像により得られた動画像データから複数の被写体を抽出し、複数の被写体の中の特定被写体を含む領域を拡大した第１動画像データを表示先に出力し、動画像データにおいて複数の被写体のいずれかに変化が生じた場合、複数の被写体の領域をそれぞれ拡大した第２動画像データを第１動画像データに代えて表示先に出力した後、被写体の選択が指示された場合、選択された被写体を含む領域を拡大した第３動画像データを第２動画像データに代えて表示先に出力する、処理をコンピュータに実行させる画像処理プログラム。

撮像装置のハードウェア構成の一例を示すブロック図特定の被写体を追尾して拡大する機能の概念図被写体の変化の一例を示す図画面表示の遷移の一例を示す図ライビューの表示制御に関してＣＰＵが実現する機能のブロック図被写体の抽出結果の一例を示す図変化量計測部が有する機能のブロック図位置の変化量の計測の一例を示す概念図大きさの変化量の計測の一例を示す概念図位相差の変化量の計測の一例を示す概念図被写体の優先度合と被写体の選択画面での表示位置との関係を示す図被写体の変化の有無の判定の手順の一例を示すフローチャートライブビューの表示の切り替えの手順を示すフローチャートライブビューの表示の切り替えの手順を示すフローチャートライブビューの表示の遷移の一例を示す図ライブビューの表示の遷移の一例を示す図表示の切り替えのトリガーの設定画面の一例を示す図被写体に変化が生じたか否かを判定するための条件を自動で最適化する場合にＣＰＵが実現する機能の一例を示すブロック図被写体に変化が生じたか否かを判定するための条件の修正手順を示すフローチャート変化の判定の各項目についての切替回数及び切替率の一例を示す表閾値の設定を調節する画面の一例を示す図本実施の形態の撮像装置で表示される被写体の選択画面の一例を示す図被写体の選択画面の表示の変形例を示す図被写体の選択画面の表示の更なる変形例を示す図優先度合を算出する演算式の係数を調整する画面の一例を示す図特定の項目の変化に基づく表示の切り替えを禁止する場合にＣＰＵが実現する機能の一例を示すブロック図被写体の選択画面における画面分割の他の一例を示す図被写体の選択画面における画面分割の他の一例を示す図被写体の選択画面における画面分割の他の一例を示す図拡大候補の被写体を切り替えて表示する場合の画面の遷移の一例を示す図

　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

　［第１の実施の形態］
　撮像装置に備えられるライブビューの機能の一つとして、拡大表示機能が知られている。ライブビューの拡大表示機能とは、通常のライブビューの画像として表示される全体画像の一部を切り出し、ライブビューの表示領域の全体に拡大して表示する機能である。一般に、ライブビューの拡大表示機能は、手動で焦点調節する場合に使用される。また、一般に、拡大表示機能を使用する場合は、ユーザが手動で拡大する位置を選択して行われる。しかしながら、手動で焦点調節する場合に、ユーザが手動で拡大する位置を選択する方式は、操作を煩雑にするという欠点がある。以下においては、ライブビューの拡大表示機能を使用して、手動で焦点調節する際の操作性を向上できる撮像装置について説明する。

　［撮像装置のハードウェア構成］
　図１は、撮像装置のハードウェア構成の一例を示すブロック図である。

　本実施の形態の撮像装置１０は、動画像の撮像が可能な撮像装置であり、図示しない装置本体に撮像光学系１２、撮像部１４、表示部１６、記憶部１８、接続部２０、操作部２２、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２４、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２６、及び、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２８等を備える。

　撮像光学系１２は、被写体像を撮像素子に結像させる複数のレンズ群、及び、光量を調節する絞り等を備える。光量を調節する手段として、絞りに加えて又は絞りに代えて、減光フィルタ又は減光フィルタの一種であるＮＤフィルタ（Ｎｅｕｔｒａｌ　Ｄｅｎｓｉｔｙ　Ｆｉｌｔｅｒ）を備えることもできる。

　撮像光学系１２は、一部のレンズ群又は全体を光軸に沿って前後移動させることにより、焦点調節される。焦点調節用のレンズ群は、フォーカスレンズの一例である。焦点調節用のレンズ群の駆動には、直流モータ、リニアモータ、ステッピングモータ、超音波モータ等のアクチュエータが用いられる。

　撮像光学系１２は、手動による焦点調節が可能であり、鏡胴に備えられた操作リング（フォーカスリング）の操作に応じて、焦点調節用のアクチュエータが駆動される。手動による焦点調節は、操作リングの他、操作レバー等で行う構成とすることもできる。

　手動で焦点調節する場合は、焦点調節のモード（フォーカスモード）をマニュアルフォーカスモード（Ｍａｍｕａｌ　Ｆｏｃｕｓ　Ｍｏｄｅ）に設定する。焦点調節のモードは、マニュアルフォーカスモード以外にオートフォーカスモード（Ａｕｔｏ　Ｆｏｃｕｓ　Ｍｏｄｅ）が備えられる。焦点調節モードの切り替えは、たとえば、スイッチ（フォーカスモード切替スイッチ）で行われる。また、半自動のセミオートフォーカスモードがあってもよい。セミオートフォーカスモードには、手動で焦点調節を行うが、焦点調節状況をオートフォーカス調節装置でも監視しており、手動での焦点調節の対象物が認識できた場合にオートフォーカスで焦点調節を引き継ぐもの、及び、最初にオートフォーカスで焦点調節を行い、微調節を手動調節で行うものなどがある。

　撮像部１４は、光学像を電気信号に変換する撮像素子を備える。撮像素子には、たとえば、所定のカラーフィルタ配列（たとえば、ベイヤ配列等）を有するＣＭＯＳイメージセンサ（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤイメージセンサ（ＣＣＤ：Ｃｈａｒｇｅｄ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等が用いられる。

　本実施の形態の撮像装置１０では、撮像素子として、駆動部、ＡＤＣ（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）及び信号処理部等を備えたＣＭＯＳイメージセンサが用いられる。この場合、撮像素子は、内蔵する駆動部に駆動されて動作する。また、各画素の信号は、内蔵するＡＤＣによってデジタル信号に変換される。更に、各画素の信号は、内蔵する信号処理部によって、相関二重サンプリング処理、ゲイン処理、補正処理等の信号処理が行われる。なお、信号処理は、各画素のアナログ信号に対して行う構成としてもよいし、また、各画素のデジタル信号に対して行う構成としてもよい。

　また、本実施の形態の撮像装置１０では、撮像素子として、位相差画素が組み込まれた撮像素子が用いられる。位相差画素が組み込まれた撮像素子を用いることで、画面内の被写体の位相差の情報を取得できる。また、取得した位相差の情報から画面内の被写体の焦点のズレの方向及び焦点のズレ量（デフォーカス量）を検出できる。位相差画素が組み込まれた撮像素子、及び、その撮像素子を用いた位相差の検出方法は公知である。したがって、その詳細についての説明は省略する。

　動画像の撮像は、あらかじめ定められたフレームレートで実施される。フレームレートは、固定であってもよいし、ユーザが任意の値に設定できる構成であってもよい。

　表示部１６は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ　ｄｉｓｐｌａｙ，ＯＬＥＤ　ｄｉｓｐｌａｙ）などのディスプレイで構成される。本実施の形態の撮像装置１０には、表示部１６を構成するディスプレイの表示面にタッチパネルが備えられる。すなわち、表示部１６を構成するディスプレイが、タッチパネルディスプレイで構成される。なお、タッチパネルは表示部１６に内蔵される、いわゆるインセルタイプの構成でもよい。表示部１６には、ＥＶＦ（ＥｌｅｃｔｒｏｎｉｃＶｉｅｗＦｉｎｄｅｒ）の形態のものも含まれる。たたし、表示部１６が、ＥＶＦで構成される場合、表示部１６にタッチパネルは備えられないが、たとえば、視線検出機能を備えることが可能である。

　表示部１６は、撮像の際、ライブビューが表示される。また、表示部１６は、各種設定を行う際、ユーザインターフェースとしても使用される。

　記憶部１８は、撮像された動画像データ（記録用の動画像データ）の記憶に使用される他、各種データの記憶に使用される。記憶部１８は、たとえば、フラッシュメモリ（Ｆｌａｓｈ　Ｍｅｍｏｒｙ）を含むＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性を有する半導体メモリ、又は、これらの半導体メモリを内蔵したＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等で構成される。記憶部１８は、装置本体に一体的に備えられた構成（いわゆる内蔵メモリの形態）であってもよいし、着脱可能な構成（いわゆるメモリカードの形態）であってもよい。

　接続部２０は、外部機器（たとえば、外部表示装置、外部記録装置等）を接続する端子を備える。接続規格としては、たとえば、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）等を採用できる（ＨＤＭＩは登録商標）。

　操作部２２は、撮像装置１０を操作するための各種操作部材を備える。操作部材には、電源ボタン、録画ボタン、モードダイヤル、コマンドダイヤル等の各種操作ボタン類の他、タッチパネルが含まれる。特に、本実施の形態の撮像装置１０では、操作部２２に操作部材として、フォーカスモードを切り替えるフォーカスモード切替スイッチ、ライブビューの表示をオン、オフするライブビューボタン、ライブビューの際に追尾拡大表示機能をオン、オフする追尾拡大表示ボタン等が備えられる。フォーカスモード切替スイッチは、たとえば、スライド式のスイッチで構成され、スイッチの位置を切り替えることにより、フォーカスモード（焦点調節のモード）が、オートフォーカスモード、マニュアルフォーカスモード等に選択的に切り替えられる。ライブビューボタンは、たとえば、押下式のボタンで構成され、ボタンを押すたびに、ライブビューの表示のオン、オフが切り替えられる。追尾拡大表示機能については、後述する。

　ＣＰＵ２４は、プロセッサの一例である。ＣＰＵ２４は、所定のプログラムを実行することにより、撮像装置１０の制御部及び画像処理部等として機能する。ＣＰＵ２４が行う制御には、自動露出（Ａｕｔｏｍａｔｉｃ　Ｅｘｐｏｓｕｒｅ）、オートフォーカス等の撮像制御の他、表示部１６への表示制御、記憶部１８への記録制御等が含まれる。また、ＣＰＵ２４が行う画像処理には、記録用及び表示用（ライブビュー用）の動画像データの生成処理、及び、記録用の動画像データに対する圧縮処理等が含まれる。記録用及び表示用の動画像データは、ＲＡＷデータ（撮像部１４から出力された未加工の動画像データ）に対し、所定の画像処理（いわゆる現像処理）を施して生成する。ここでの画像処理には、オフセット処理、ガンマ補正処理、デモザイク処理、ＲＧＢ／ＹＣｒＣｂ変換処理、ホワイトバランス処理等が含まれる。これらは公知の処理であるので、その詳細についての説明は省略する。圧縮処理は、所定の圧縮形式の動画像ファイルを生成する処理である。圧縮の際のコーデックには、公知のものを採用できる。たとえば、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）により標準化されたコーデック（ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４等）等を採用できる。

　なお、ＣＰＵ２４が行う上記の各処理については、その一部又は全部をＣＰＵ２４の内部に設けたハードウェアで行う構成とすることもできる。

　ＲＯＭ２６には、ＣＰＵ２４が実行するプログラム、及び、制御等に必要な各種データが格納される。なお、ＲＯＭ２６を構成するメモリには、フラッシュメモリを含むＥＥＰＲＯＭが含まれる。

　ＲＡＭ２８は、ＣＰＵ２４が各種処理を行う際の作業領域として使用される。

　［ライブビューの表示制御］
　以下に、ライブビューの表示制御について説明する。

　［ライブビューの表示制御の概要］
　本実施の形態の撮像装置１０には、ライブビューの一機能として、特定の被写体を追尾して拡大する機能（追尾拡大表示機能）が備えられる。操作部２２には、この追尾拡大表示機能をオン、オフする追尾拡大表示ボタンが備えられる。追尾拡大表示ボタンは、たとえば、押下式のボタンで構成される。ライブビューがオンの状態で、この追尾拡大表示ボタンを押下すると、追尾拡大表示機能がオンされる。また、追尾拡大表示機能がオンの状態で、追尾拡大表示ボタンを押下すると、追尾拡大表示機能がオフされる。本実施の形態の撮像装置１０では、マニュアルフォーカスモードに設定されている場合にのみ追尾拡大表示機能をオンすることができる。すなわち、他のフォーカスモードでは、追尾拡大表示機能は常にオフされる。

　図２は、特定の被写体を追尾して拡大する機能の概念図である。

　図２（Ａ）は、通常のライブビューの表示を示している。通常のライブビューの表示では、ライブビューの表示領域の全体に全体画像が表示される。全体画像とは、撮像部１４で撮像される画像の全体を表示した画像をいう。なお、全体画像を所定の視野率で表示する場合の画像も、ここでの全体画像に含まれる。以下、必要に応じて、ライブビューの表示領域の全体に全体画像を表示する形態を全体表示と称する。ライブビューの表示領域とは、表示部１６の全表示領域内でライブビューを表示する領域として設定された領域をいう。したがって、表示部１６の表示領域の全体をライブビューの表示領域とした場合は、表示部１６の表示領域の全体にライブビューの画像が表示される。

　ここで、ユーザが、追尾拡大表示機能をオンし、拡大する対象として、被写体Ａを選択したとする。選択の完了後、画面の表示が切り替わり、図２（Ｂ）に示すように、被写体Ａを単体で所定の拡大率で拡大した画像が、ライブビューの画像として表示される。以下、必要に応じて、本表示形態を単拡大表示と称する。すなわち、被写体を単体で拡大して表示する形態を単拡大表示と称する。以後、被写体Ａの移動に追従して、単拡大表示が行われる。すなわち、常に被写体Ａが、ライブビューの表示領域の中心（ほぼ中心）に位置して拡大された画像が表示される。

　本機能は、手動による焦点調節をサポートする機能として提供される。したがって、拡大する対象には、焦点を合わせる被写体が選択される。焦点を合わせたい被写体を追尾して拡大することにより、ユーザは、焦点合わせの操作に専念でき、操作性を向上できる。

　拡大する対象を変更する場合は、一旦、拡大を解除し、通常の表示に戻して、選択の操作をやり直すのが一般的と考えられる。

　しかしながら、このような手順で拡大する対象を変更すると、操作が煩雑となり、また、その間、焦点調節の操作も疎かになってしまうという問題がある。

　そこで、本実施の形態の撮像装置１０では、撮像中の被写体に所定量以上の変化が認められると、自動的に拡大を解除し、被写体を選択する画面に切り替える。

　図３は、被写体の変化の一例を示す図である。

　本実施の形態の撮像装置１０では、位置、大きさ及び被写体距離の少なくとも１つが変化した場合に、拡大が解除される。

　図３（Ａ）は、ある時点における撮像画像を示している。図３（Ｂ）は、図３（Ａ）の時点から所定時間経過した後の撮像画像を示している。この例では、被写体Ａ及び被写体Ｂの位置が変化している。また、被写体Ｂについては、被写体距離も変化している。このように撮像される画像において、撮像中の被写体の位置、大きさ及び被写体距離の少なくとも１つが所定量以上変化すると、拡大が解除される。

　図４は、画面表示の遷移の一例を示す図である。

　図４（Ａ）は、単拡大表示している場合の画面の表示の一例を示している。同図は、拡大する対象として被写体Ａが選択されている場合の例を示している。

　図４（Ｂ）は、被写体の選択画面の一例を示している。この例では、１画面を４等分割し、各領域に拡大候補となる被写体を表示する場合の例を示している。候補となる被写体は、各領域に拡大して表示される。各領域の表示は、被写体の移動に追従して行われる。すなわち、各領域において、各被写体が、各領域の中心（ほぼ中心）に位置して拡大された画像が表示される。各領域に拡大して表示された被写体の画像は、拡大画像の一例である。ユーザは、各領域に表示された被写体（拡大画像）の中から１つを選択して、拡大する対象を選択する。

　図４（Ｃ）は、図４（Ｂ）に示す被写体の選択画面において、被写体Ｂが選択された場合の単拡大表示の一例を示している。同図に示すように、拡大する被写体（この例では被写体Ｂ）を選択すると、単拡大表示に切り替わり、選択された被写体（この例では被写体Ｂ）が、単体で拡大表示される。以後、選択された被写体（この例では被写体Ｂ）の移動に追従して、単拡大表示が行われる。

　選択は規定時間内に行うものとされる。規定時間内に選択が行われなかった場合、元の表示に復帰する。図４に示す例では、同図（Ａ）に示すように、被写体Ａを単体で拡大表示した画面に切り替わる。

　このように、ライブビューの表示を制御することで、手動で焦点調節する際に、良好な操作性を実現できる。

　［ライブビューの表示制御に関わる機能］
　図５は、ライビューの表示制御に関してＣＰＵが実現する機能のブロック図である。

　同図に示すように、ＣＰＵ２４は、ライブビューの表示に関して、被写体抽出部１１０、変化量計測部１１２、拡大候補選出部１１４、表示切替判定部１１６、表示用動画像データ生成部１１８として機能する。各機能は、ＣＰＵ２４が所定のプログラム（画像処理プログラム）を実行することにより実現される。

　被写体抽出部１１０は、撮像により得られる動画像データを処理し、各フレームの画像から被写体を抽出する。本実施の形態の撮像装置１０では、被写体として人物の顔を抽出する。画像から人物の顔を抽出する技術については、公知の技術を採用できる。たとえば、機械学習、深層学習等により生成した画像認識モデルを用いて、人物の顔の領域を抽出する技術を採用できる。

　図６は、被写体の抽出結果の一例を示す図である。

　同図に示すように、抽出された被写体は、バウンディングボックスＢＢで囲われて、その位置及び大きさが特定される。被写体の位置については、たとえば、バウンディングボックスＢＢの中心又は重心の座標位置（ｘ，ｙ）で特定される。また、被写体の大きさについては、たとえば、バウンディングボックスＢＢの面積で特定される。

　被写体の抽出は、あらかじめ定められた抽出周期で周期的に行われる。また、被写体は、抽出された順にナンバリングされる（ｋ＝１、２、…）。

　変化量計測部１１２は、被写体抽出部１１０で抽出された各被写体について、位置、大きさ及び位相差の変化量を計測する。計測は、所定の計測周期で周期的に行われる。したがって、周期ごとの変化量が計測される。計測周期は、被写体の抽出周期に合わせて設定される。

　図７は、変化量計測部が有する機能のブロック図である。

　同図に示すように、変化量計測部１１２は、位置変化量計測部１１２Ａ、大きさ変化量計測部１１２Ｂ、及び、位相差変化量計測部１１２Ｃの機能を有する。

　位置変化量計測部１１２Ａは、被写体抽出部１１０での被写体の抽出結果に基づいて、各被写体の位置の変化量を計測する。

　図８は、位置の変化量の計測の一例を示す概念図である。同図（Ｂ）は、ある計測時点での撮像画像を示しており、同図（Ａ）は、その一周期前の計測時点での撮像画像を示している。

　被写体の位置の変化量は、座標位置の変位量として計測される。たとえば、ある計測時点での被写体の座標位置を（ｘ２，ｙ２）とする。当該被写体の一周期前の計測時点での座標位置を（ｘ１，ｙ１）とすると、位置の変化量ｄは、（（ｘ２－ｘ１）^２＋（ｙ２－ｙ１）^２）^１／２で算出される。

　大きさ変化量計測部１１２Ｂは、被写体抽出部１１０での被写体の抽出結果に基づいて、各被写体の大きさの変化量を計測する。

　図９は、大きさの変化量の計測の一例を示す概念図である。同図（Ｂ）は、ある計測時点での撮像画像を示しており、同図（Ａ）は、その一周期前の計測時点での撮像画像を示している。

　被写体の大きさの変化量は、たとえば、計測対象とする被写体を囲うバウンディングボックスＢＢの面積の変化量として計測される。たとえば、ある計測時点において計測対象とする被写体を囲うバウンディングボックスＢＢの面積をＳ２とする。当該被写体の一周期前の計測時点でのバウンディングボックスＢＢの面積をＳ１とすると、大きさの変化量は、Ｓ２／Ｓ１で算出される。

　位相差変化量計測部１１２Ｃは、被写体抽出部１１０で抽出された各被写体について、所定の計測周期で位相差の変化量を計測する。上記のように、本実施の形態の撮像装置１０では、位相差画素が組み込まれた撮像素子が使用される。したがって、撮像により得られる動画像データを処理することにより、各被写体についての位相差の情報を取得できる。

　図１０は、位相差の変化量の計測の一例を示す概念図である。同図（Ｂ）は、ある計測時点での撮像画像を示しており、同図（Ａ）は、その一周期前の計測時点での撮像画像を示している。

　図１０に示す例では、計測対象とする被写体が撮像装置１０に近づく方向に移動した場合の例を示している。この場合、被写体距離が変化する。そして、被写体距離が変化することにより、位相差も変化する。位相差の変化量は、一周期前の計測時点での位相差との差で算出される。

　なお、上記のように、位相差は被写体距離に応じて変化するので、位相差を検出することは、被写体距離を検出することと同義である。

　拡大候補選出部１１４は、被写体抽出部１１０で抽出された複数の被写体の中から被写体の選択画面に表示させる被写体を選出する。拡大候補選出部１１４は、変化量計測部１１２で計測された各被写体の位置、大きさ及び位相差の変化量の情報に基づいて、被写体の選択画面に表示させる被写体（拡大候補の被写体）を選出する。本実施の形態の撮像装置では、被写体の選択画面に拡大候補とする被写体を４つ表示するものとし（図４（Ｂ）参照）、４つの被写体を選出する。

　被写体の選出は、画像から抽出した各被写体について優先度合を算出し、優先度合の高い上位４つを抽出することにより行われる。優先度合は、たとえば、次式により算出される。

　優先度合＝ｗ１×（位置の変化量）＋ｗ２×（大きさの変化量）＋ｗ３×（位相差の変化量）×ｗ３
　ここで、ｗ１、ｗ２及びｗ３は、あらかじめ設定された係数である。すなわち、位置の変化量、大きさの変化量及び位相差の変化量のそれぞれに対し、所定の係数ｗ１、ｗ２及びｗ３を掛け、その和を求めることで、各被写体の優先度合を算出する。

　このよう優先度合を算出し、優先度合の高い被写体を拡大候補として選出することにより、少なくとも変化が生じた被写体を含めて、拡大候補とする被写体を選出できる。

　図１１は、被写体の優先度合と被写体の選択画面での表示位置との関係を示す図である。

　上記のように、本実施の形態では、被写体の選択画面において、１画面を４等分割し、各領域に拡大候補とする被写体を拡大して表示する。４等分割された画面において、画面左上の領域を第１表示領域Ａ１、画面右上の領域を第２表示領域Ａ２、画面左下の領域を第３表示領域Ａ３、及び、画面右下の領域を第４表示領域Ａ４とする。優先度合第１位の被写体が第１表示領域Ａ１に表示され、優先度合第２位の被写体が第２表示領域Ａ２に表示され、優先度合第３位の被写体が第３表示領域Ａ３に表示され、優先度合第４位の被写体が第４表示領域Ａ４に表示される。

　なお、優先度合が等しい場合は、たとえば、次の判定規則に従って優劣が判定される。すなわち、位置の変化量が比較され、より位置の変化量が大きい被写体が優位とされる。位置の変化量も等しい場合は、次に、大きさの変化量が比較され、より大きさの変化量が大きい被写体が優位とされる。大きさの変化量も等しい場合は、次に位相差の変化量が比較され、より位相差の変化量が大きい被写体が優位とされる。このように、各項目について順番に比較し、優劣を判定する。なお、本例では、位置、大きさ、位相差の順で優劣を判定する場合の例で説明したが、この順番をユーザが任意に設定できる構成としてもよい。

　表示切替判定部１１６は、変化量計測部１１２で計測された各被写体の位置、大きさ及び位相差の変化量の情報、並びに、操作部２２の操作入力情報に基づいて、ライブビューの表示の切り替えの要否を判定する。

　ここで、変化量計測部１１２で計測された各被写体の位置、大きさ及び位相差の変化量の情報は、被写体の選択画面への切り替えの要否の判定に使用される。

　一方、操作部２２の操作入力情報は、被写体の選択画面に切り替わった場合に、被写体の選択の有無、及び、選択された被写体の特定に使用される。操作部２２の操作入力情報は、追尾拡大表示機能のオン、オフの判定に使用される。

　被写体の選択画面への切り替えの要否は、被写体の変化の有無に基づいて判定される。被写体の変化の有無は、次のように判定される。

　図１２は、被写体の変化の有無の判定の手順の一例を示すフローチャートである。

　まず、被写体抽出部１１０において、画像から抽出された被写体の総数ｎの情報を取得する（ステップＳ１１）。

　次に、ｋの値を１に設定する（ステップＳ１２）。

　次に、被写体ｋの位置、大きさ及び位相差の変化量の情報を取得する（ステップＳ１３）。ここで、被写体ｋとは、被写体抽出部１１０において、ナンバリングされた被写体の番号である。ｋ＝１の場合、番号１の被写体の位置、大きさ及び位相差の変化量の情報が取得される。同様に、ｋ＝２の場合、番号２の被写体の位置、大きさ及び位相差の変化量の情報が取得される。

　次に、被写体ｋの位置の変化量が、閾値（位置の閾値）と比較され、閾値以上か否か判定される（ステップＳ１４）。閾値の情報（位置の閾値の情報）は、たとえば、ＲＯＭ２６に格納される。

　被写体ｋの位置の変化量が、閾値以上の場合（ステップＳ１４が「Ｙｅｓ」の場合）、被写体の変化あり、と判定される（ステップＳ１８）。

　一方、被写体ｋの位置の変化量が、閾値未満の場合（ステップＳ１４が「Ｎｏ」の場合）、次に、被写体ｋの大きさの変化量が閾値（大きさの閾値）と比較され、閾値以上か否か判定される（ステップＳ１５）。閾値の情報（大きさの閾値の情報）は、たとえば、ＲＯＭ２６に格納される。

　被写体ｋの大きさの変化量が、閾値以上の場合（ステップＳ１５が「Ｙｅｓ」の場合）、被写体の変化あり、と判定される（ステップＳ１８）。

　一方、被写体ｋの大きさの変化量が、閾値未満の場合（ステップＳ１５が「Ｎｏ」の場合）、次に、被写体ｋの位相差の変化量が閾値（位相差の閾値）と比較され、閾値以上か否か判定される（ステップＳ１６）。閾値の情報（大きさの閾値の情報）は、たとえば、ＲＯＭ２６に格納される。

　被写体ｋの位相差の変化量が、閾値以上の場合（ステップＳ１６が「Ｙｅｓ」の場合）、被写体の変化あり、と判定される（ステップＳ１８）。

　一方、被写体ｋの位相差の変化量が、閾値未満の場合（ステップＳ１６が「Ｎｏ」の場合）、被写体の変化なし、と判定される（ステップＳ１７）。この場合、位置、大きさ及び位相差のすべての項目において、閾値未満の場合である。

　被写体の変化あり又はなしの判定がなされると、次に、すべての被写体についての判定が完了したか否かが判定される。すなわち、ｋ＝ｎか否かが判定される（ステップＳ１９）。ｎは、撮像画像から抽出された被写体の総数である。よって、ｋ＝ｎの場合、すべての被写体についての判定が完了したと判断できる。この場合（ステップＳ１９が「Ｙｅｓ」の場合）、被写体の変化の有無の判定の処理を終了する。

　ｋ＝ｎの場合、すべての被写体についての判定が完了していないので、ｋの値に１を加算し（ステップＳ２０）、次の番号の被写体についての判定を行う（ステップＳ１３に戻る）。

　以上の判定処理を行い、少なくとも１つの被写体について、変化あり、と判定すると、表示切替判定部１１６は、被写体の選択画面への切り替えが必要と判定する。一方、抽出されたすべての被写体について、変化なし、と判定すると、表示切替判定部１１６は、被写体の選択画面への切り替えが不要と判定する。

　被写体の選択画面に切り替わった場合に、拡大する被写体が選択されたか否かは、操作部２２の操作入力に基づいて判定される。本実施の形態では、被写体の選択がタッチパネルで行われる。すなわち、拡大させる被写体が表示された領域（第１表示領域Ａ１～第４表示領域Ａ４）をタッチすることで、拡大させる被写体が選択される。

　被写体の選択画面に切り替わってから規定時間内に選択が行われなかった場合、すなわち、タッチパネルへのタッチが検出されなかった場合、表示切替判定部１１６は、被写体の選択が行われなかったと判定する。この選択を行うための規定時間は、第１時間の一例である。

　なお、上記のように、拡大表示機能のオン、オフは、操作部２２に備えられた追尾拡大表示ボタンで行われる。追尾拡大表示ボタンは、たとえば、押下式のボタンで構成され、追尾拡大表示機能がオフの状態で押下されると、追尾拡大表示機能がオンされる。また、追尾拡大表示機能がオンの状態で押下されると、追尾拡大表示機能がオフされる。

　追尾拡大表示機能がオンされると、ライブビューの画像上で拡大する対象の選択を受け付け、選択された被写体を単体で拡大して表示（単拡大表示）する。この場合、たとえば、選択可能な被写体がバウンディングボックスで囲われて表示される（図６参照）。したがって、バウンディングボックスを選択（バウンディングボックス内の被写体をタッチ）することで、拡大する対象が選択される。

　図１３及び図１４は、ライブビューの表示の切り替えの手順を示すフローチャートである。

　まず、ライブビューのオン、オフが判定される（ステップＳ３１）。ライブビューのオン、オフは、ライブビューボタンの操作で切り替えられる。

　ライブビューの表示がオンの場合（ステップＳ３１が「Ｙｅｓ」の場合）、まず、ライブビューとして全体表示が行われる（ステップＳ３２）。すなわち、撮像部１４で撮像された画像が、そのまま表示される（図２（Ａ）参照）。

　全体表示の状態で追尾拡大表示機能のオン、オフが判定される（ステップＳ３３）。追尾拡大表示機能のオン、オフは、追尾拡大表示ボタンの操作で切り替えられる。

　追尾拡大表示機能がオフの場合（ステップＳ３３が「Ｎｏ」の場合）、ライブビューのオン、オフが判定される（ステップＳ３７）。ライブビューの表示がオフされた場合（ステップＳ３７が「Ｙｅｓ」の場合）、ライブビューの表示が終了する。一方、ライブビューの表示がオンの場合（ステップＳ３７が「Ｎｏ」の場合）、全体表示が継続される（ステップＳ３２）。

　ステップＳ３３において、追尾拡大表示機能がオンの場合（「Ｙｅｓ」の場合）、拡大対象の選択画面に遷移する（ステップＳ３４）。上記のように、ここでの選択画面は、全体表示のライブビューの画像内で選択可能な被写体がバウンディングボックスで囲われて表示される（図６参照）。

　拡大対象の選択画面の表示中、拡大させる対象の選択の有無が判定される（ステップＳ３５）。対象の選択は、タッチパネルを介して行われる。ユーザは、全体表示の画面に表示されたバウンディングボックス内の被写体をタッチして、拡大させる対象を選択する。

　対象の選択がない場合（ステップＳ３５が「Ｎｏ」の場合）、追尾拡大表示機能のオン、オフが判定される（ステップＳ３６）。追尾拡大表示機能がオフの場合（ステップＳ３６が「Ｙｅｓ」の場合）、ライブビューの表示のオン、オフが判定される（ステップＳ３７）。ライブビューの表示がオフされた場合（ステップＳ３７が「Ｙｅｓ」の場合）、ライブビューの表示が終了する。一方、ライブビューの表示がオンの場合（ステップＳ３７が「Ｎｏ」の場合）、通常の全体表示に切り替えられる（ステップＳ３２）。すなわち、バウンディングボックスが表示されていない状態の全体表示に切り替えられる。

　ステップＳ３５において、対象の選択があった場合（「Ｙｅｓ」の場合）、選択された被写体を単体で拡大させた表示（単拡大表示）に切り替わる（図２（Ｂ）参照）（ステップＳ４１）。

　図１４に示すように、単拡大表示に切り替わると、被写体の変化の有無が判定される（ステップＳ４２）。

　被写体の変化がない場合（ステップＳ４２が「Ｎｏ」の場合）、追尾拡大表示機能のオン、オフが判定される（ステップＳ４６）。

　追尾拡大表示機能がオフの場合（ステップＳ４６が「Ｙｅｓ」の場合）、図１３に示すように、ライブビューの表示のオン、オフが判定される（ステップＳ３７）。ライブビューの表示がオフされた場合（ステップＳ３７が「Ｙｅｓ」の場合）、ライブビューの表示が終了する。一方、ライブビューの表示がオンの場合（ステップＳ３７が「Ｎｏ」の場合）、通常の全体表示に切り替えられる（ステップＳ３２）。

　追尾拡大表示機能がオンの場合（ステップＳ４６が「Ｎｏ」の場合）、図１４に示すように、同じ被写体に対し、単拡大表示が継続される（ステップＳ４１）。

　ステップＳ４２において、被写体の変化がある場合（「Ｙｅｓ」の場合）、単拡大表示から被写体の選択画面に切り替わる（ステップＳ４３）。上記のように、被写体の選択画面では、４等分割された画面の各表示領域に拡大する候補となる被写体が拡大して表示される（図４（Ｂ）参照）。

　被写体の選択画面に切り替えられると、拡大させる対象の選択の有無が判定される（ステップＳ４４）。ユーザは、拡大を希望する被写体が表示された表示領域をタッチして、拡大させる被写体を選択する。この選択操作により、拡大させる対象の変更が指示される。なお、単拡大表示していた被写体が候補画像に含まれる場合において、単拡大表示していた被写体が選択された場合、実質的に被写体の変更は行われないが、ここでは変更の指示に含まれるものとする。

　被写体の選択画面で被写体の選択が行われると（ステップＳ４４が「Ｙｅｓ」の場合）、選択された被写体を単体で拡大させた表示（単拡大表示）に切り替えられる（図４（Ｃ）参照）（ステップＳ４１）。

　一方、被写体の選択がない場合（ステップＳ４４が「Ｎｏ」の場合）、被写体の選択画面に切り替わってから規定時間が経過したか否かが判定される（ステップＳ４５）。規定時間が経過していない場合は、被写体の選択画面を継続する（ステップＳ４３）。

　一方、規定時間が経過した場合（ステップＳ４４が「Ｙｅｓ」の場合）、追尾拡大表示機能のオン、オフが判定される（ステップＳ４６）。追尾拡大表示機能がオンの場合（ステップＳ４６が「Ｎｏ」の場合）、被写体の選択画面から元の単拡大表示に切り替えられる（ステップＳ４１）。すなわち、被写体の選択画面に切り替わる前に拡大して表示していた被写体を単体で拡大させた表示に切り替えられる。

　このように、単拡大表示に切り替えられた後は、撮像中の被写体に所定量以上の変化が認められると、自動的に被写体の選択画面に遷移する。そして、その被写体の選択画面で規定時間内に被写体が選択されると、選択された被写体が単拡大表示される。一方、規定時間内に被写体が選択されなかった場合は、元の単拡大表示に復帰する。

　このように表示が自動で切り替わるので、手動で焦点調節する場合であっても、ユーザは、焦点調節の操作に集中できる。これにより、手動で焦点調節する際の操作性を向上できる。

　表示用動画像データ生成部１１８は、表示切替判定部１１６による表示切替の判定結果に基づいて、表示部１６に出力する表示用の動画像データを生成する。表示用の動画像データには、全体表示用の動画像データと、単拡大表示用の動画像データと、単拡大表示する場合の被写体の選択画面用の動画像データと、が含まれる。また、被写体の選択画面用の動画像データには、初期選択用の動画像データと、被写体切り替え用の動画像データと、が含まれる。初期選択用の動画像データとは、追尾拡大表示機能がオンされた場合に表示する動画像データである。すなわち、最初に単拡大表示させる被写体を選択させるための動画像データである。上記のように、この動画像データは、全体表示の画像内で選択可能な被写体をバウンディングボックスで囲った画像が生成される（図６参照）。被写体切り替え用の動画像データとは、単拡大表示中に、撮像中の被写体が所定量以上変化した場合に表示する動画像データである。上記のように、この動画像データは、１画面を４等分割し、各表示領域に拡大候補として選出された被写体を拡大して表示した画像が生成される（図４（Ｂ）、図１１参照）。

　被写体切り替え用の動画像データは、第２動画像データの一例であり、複数の被写体の領域をそれぞれ拡大した動画像データを構成する。

　また、被写体切り替え用の動画像データに切り替える前の単拡大表示用の動画像データは、第１動画像データの一例であり、複数の被写体の中の特定被写体を含む領域を拡大した動画像データを構成する。

　また、被写体の切り替えが行われた後の単拡大表示用の動画像データは、第３動画像データの一例であり、拡大対象として選択された被写体を含む領域を拡大した動画像データを構成する。

　［ライブビューの表示の遷移］
　図１５及び図１６は、ライブビューの表示の遷移の一例を示す図である。

　ライブビューの表示がオンされると、まず、図１５（Ａ）に示すように、全体表示が行われる。この全体表示中に追尾拡大表示機能がオンされると、図１５（Ｂ）に示すように、単拡大表示させる被写体の選択画面に遷移する。ユーザは、この被写体の選択画面において、単拡大表示させる被写体を選択する。ここで選択される被写体は、特定被写体の一例である。選択は、画面上で対象をタッチして行う。単拡大表示させる被写体が選択されると、図１５（Ｃ）（及び図１６（Ａ））に示すように、選択された被写体（特定被写体）が、単体で拡大されて表示される。すなわち、単拡大表示される。なお、同図は、被写体Ａが選択された場合の例を示している。以後、選択された被写体の単拡大表示が行われる。単拡大表示された動画像データは、第１動画像データの一例である。

　単拡大表示中は、所定の計測周期で撮像中の被写体の変化が計測され、所定量以上の変化があると、図１６（Ｂ）に示すように、被写体の選択画面に切り替わる。この被写体の選択画面では、拡大候補とされる４つの被写体が、４等分割された各表示領域に拡大して表示される。各表示領域での表示は、被写体の移動に追従して行われる。すなわち、各表示領域において、各被写体が各表示領域の中心（ほぼ中心）に位置して拡大された画像が表示される。この被写体の選択画面用の動画像データは、第２動画像データの一例である。

　ユーザは、この被写体の選択画面において、単拡大表示させる被写体を選択する。選択は、画面上で対象をタッチして行う。単拡大表示させる被写体の選択により、対象の変更が指示される。

　対象の選択が行われると、図１６（Ｃ）に示すように、選択された被写体が、単拡大表示される。なお、同図は、被写体Ｂ（被写体の選択画面の右上の表示領域の被写体）が選択された場合の例を示している。以後、選択された被写体の単拡大表示が行われる。変更後の単拡大表示された動画像データは、第３動画像データの一例である。

　対象が変更された後も単拡大表示中は、所定の計測周期で撮像中の被写体の変化が計測され、所定量以上の変化があると、図１６（Ｂ）に示すように、被写体の選択画面に切り替わる。

　また、この単拡大表示中、追尾拡大表示機能がオフされると、図１６（Ｄ）に示すように、全体表示に切り替わる。

　このように、本実施の形態の撮像装置１０では、特定の被写体を追尾して拡大表示させる場合において、撮像中の被写体に所定量以上の変化があると、自動的に被写体の選択画面に遷移する。そして、その被写体の選択画面で被写体が選択された場合は、選択された被写体が単拡大表示される。一方、被写体の選択画面で被写体が選択されずに規定時間が経過した場合は、元の単拡大表示に復帰する。これにより、手動で焦点調節する場合であっても、ユーザは、焦点調節の操作に集中できる。

　［第２の実施の形態］
　上記実施の形態の撮像装置では、単拡大表示から被写体の選択画面に表示を切り替える際、撮像中の被写体の位置、大きさ及び位相差の変化をトリガーとしている。本実施の形態の撮像装置では、表示の切り替えのトリガーとする被写体の変化をユーザが任意に設定できる構成とする。すなわち、被写体に変化が生じたか否かを判定する条件をユーザが任意に設定できる構成とする。たとえば、位置の変化のみをトリガーとして、単拡大表示から被写体の選択画面に表示を切り替える構成にしたり、位置及び大きさの変化のみをトリガーとして、単拡大表示から被写体の選択画面に表示を切り替える構成にしたり、をユーザが任意に設定できる構成にする。本実施の形態の撮像装置では、所定の設定画面で表示の切り替えのトリガーの設定を行う。

　図１７は、表示の切り替えのトリガーの設定画面の一例を示す図である。

　この設定画面は、たとえば、メニュー画面から呼び出される。同図に示すように、「位置」、「大きさ」及び「位相差」の各項目について、「ＯＮ」及び「ＯＦＦ」のボタンが表示される。「ＯＮ」及び「ＯＦＦ」のボタンは、択一的に選択される。同図に示す例では、白背景のボタンが選択中のボタンである。したがって、同図に示す例では、「位置」の項目が「ＯＮ」、「大きさ」の項目が「ＯＦＦ」、「位相差」の項目が「ＯＦＦ」に設定されている。この場合、位置の変化のみをトリガーとして、単拡大表示から被写体の選択画面への表示切り替えが行われる。

　ＣＰＵ２４は、操作部２２（タッチパネル）からの操作入力に基づいて、設定の変更を受け付ける。設定された情報は、記憶部１８に記憶される。

　表示切替判定部１１６は、設定された情報に従って、被写体の変化の有無を判定し、被写体の選択画面への切り替えの要否を判定する。たとえば、位置の項目のみがオンにされた場合、図１２に示すフローチャートにおいて、ステップＳ１５の処理（大きさの変化量が閾値以上か否かを判定する処理）、及び、ステップＳ１６の処理（位相差の変化量が閾値以上か否か判定する処理）がスキップされる。

　このように、トリガーとする被写体の変化をユーザが任意に設定できる構成にすることにより、ユーザに応じて、不要な表示の切り替わりを防止できる。これにより、より操作性を向上できる。

　なお、上記実施の形態では、被写体の変化として、位置の変化、大きさの変化及び位相差（被写体距離）の変化を計測する構成としているが、これらに代えて、又は、これらに加えて他の変化を計測する構成としてもよい。

　また、上記実施の形態では、被写体の位置、大きさ及び位相差（被写体距離）の少なくとも１つが所定量以上変化した場合に、被写体の変化あり、と判定する構成としているが、複数の変化を組み合わせて、被写体の変化の有無を判定する構成とすることもできる。たとえば、位置の変化量が閾値以上であり、かつ、大きさの変化量が閾値以上の場合に、被写体の変化あり、と判定する構成にできる。

　［第３の実施の形態］
　上記第２の実施の形態の撮像装置では、被写体に変化が生じたか否かを判定するための条件をユーザが任意に設定できる構成としている。本実施の形態の撮像装置では、過去におけるユーザの選択傾向に基づいて、判定の条件を自動で最適化する。たとえば、位置の変化に基づく表示の切り替えが複数回あった場合において、一度も被写体の選択（被写体の切り替え）が行われなかった場合、ユーザは、位置の変化に基づく表示の切り替えを望んでいないと考えらえる。したがって、この場合は、位置の変化に基づく、被写体の変化を検出しない設定にする。これにより、不要な表示の切り替わりを防止でき、より操作性を向上できる。以下、過去におけるユーザの選択傾向に基づいて、判定の条件を自動で最適化する構成について説明する。

　図１８は、被写体に変化が生じたか否かを判定するための条件を自動で最適化する場合にＣＰＵが実現する機能の一例を示すブロック図である。

　同図に示すように、被写体に変化が生じたか否かを判定するための条件を自動で最適化するために、ＣＰＵ２４は、更に、選択結果記録部１２０及び判定条件修正部１２２として機能する。

　選択結果記録部１２０は、単拡大表示から被写体の選択画面に切り替わった場合の被写体の選択結果を記憶部１８に記録する。選択結果は、表示の切り替わりのトリガーとなった被写体の変化の項目の情報と、選択の有無の情報とが関連付けられて記録される。選択結果は、選択履歴データとして、記憶部１８に記録される。選択履歴データは、被写体の選択画面が表示されるたびに更新される。

　判定条件修正部１２２は、選択履歴データに基づいて、被写体に変化が生じたか否かを判定するための条件を修正する。修正は、たとえば、次のように行われる。すなわち、被写体の切替率Ｒを算出し、被写体の切替率Ｒが閾値以下の項目について、被写体の変化の有無を判定する条件から除外する。ここで、被写体の切替率Ｒとは、算出対象とする項目の変化に基づいて、単拡大表示から被写体の選択画面に切り替わった回数をＮ、被写体を切り替えた回数（被写体の選択画面で被写体を選択した回数）をｎ、とすると、Ｒ＝ｎ／Ｎで算出される。すなわち、実際に被写体の切り替えが行われた割合が、所定値以下の項目については、被写体の変化の有無を判定する条件から除外する。

　図１９は、被写体に変化が生じたか否かを判定するための条件の修正手順を示すフローチャートである。

　ここで、被写体に変化が生じたと判定する条件として、位置、大きさ及び位相差の少なくとも１つの変化量が閾値以上であること、が定められているとする。位置の項目を変化の判定の第１項目、大きさの項目を変化の判定の第２の項目、位相差の項目を変化の判定の第３の項目とする。

　図１９に示すように、まず、変数ｉを０に設定する（ステップＳ５１）。次に、ｉの値に１を加算する（ステップＳ５２）。次に、変化の判定の第ｉ項目の選択履歴データを取得する（ステップＳ５３）。たとえば、ｉ＝１の場合、位置の項目の選択履歴データを取得する。

　次に、変化の判定の第ｉ項目に関して、切替回数が閾値以上か否かを判定する（ステップＳ５４）。ここで、切替回数とは、変化の判定の第ｉ項目に基づいて、単拡大表示から被写体の選択画面に切り替えられた回数（総数）である。切替回数が閾値（切替回数の閾値）未満の場合、今回の修正対象から除外される。すなわち、この場合、選択傾向を把握するのに十分なデータが得られていないものと判断し、修正の対象から除外する。切替回数が閾値未満の場合（ステップＳ５４が「Ｎｏ」の場合）、ステップＳ５７に進む。たとえば、切替回数の閾値が１５回に設定されている場合において、変化の判定の第ｉ項目の切替回数が１５回未満の場合、今回の修正対象から除外される。

　変化の判定の第ｉ項目に関して、切替回数が閾値以上の場合（ステップＳ５４が「Ｙｅｓ」の場合）、次に、切替率Ｒが閾値以下か否かが判定される。切替率Ｒが、閾値（切替率Ｒの閾値）以下の場合（ステップＳ５５が「Ｙｅｓ」の場合）、被写体の変化の有無を判定する条件から第ｉ項目を除外する（ステップＳ５６）。すなわち、この場合、表示が切り替わったにもかかわらず、被写体の選択（切り替え）が行われていないので、被写体に変化が生じたか否かを判定する条件から除外する。たとえば、切替率Ｒの閾値が５％に設定されている場合において、変化の判定の第ｉ項目に基づいて表示が切り替えられた場合の切替率Ｒが５％以下の場合、変化の判定の第ｉ項目については、被写体の変化の有無を判定する条件から除外される。

　一方、切替率Ｒが、閾値（切替率の閾値）を超える場合（ステップＳ５５が「Ｎｏ」の場合）、変数ｉがｊと同値（ｉ＝ｊ）か否かを判定する（ステップＳ５７）。ｊは、判定の項目の総数である。判定の項目が、位置、大きさ及び位相差の場合、ｊ＝３となる。すなわち、すべての項目について、修正の処理が終わったか否かを判定する。すべての項目について、処理が終了すると、被写体の変化の有無を判定する条件の修正の処理を終了する。

　図２０は、変化の判定の各項目についての切替回数及び切替率の一例を示す表である。

　同図は、被写体の位置、大きさ及び位相差の変化に基づいて、単拡大表示から被写体の選択画面に切り替える場合の例を示している。

　同図に示す例では、位置の変化に基づいて表示が切り替わった回数（切替回数）が３０回、位置の変化に基づいて表示が切り替わった場合において、被写体の選択（切り替え）が行われた割合（切替率）が０％である。また、大きさの変化に基づいて表示が切り替わった回数（切替回数）が２０回、大きさの変化に基づいて表示が切り替わった場合において、被写体の選択（切り替え）が行われた割合（切替率）が６０％である。また、位相差の変化に基づいて表示が切り替わった回数（切替回数）が１０回、位相差の変化に基づいて表示が切り替わった場合において、被写体の選択（切り替え）が行われた割合（切替率）が３％である。

　ここで、切替回数の閾値を１５回、切替率の閾値を５％とすると、位相差については、切替回数が、切替回数の閾値未満であることから、修正の対象から除外される。すなわち、そのまま判定の条件として使用される。

　一方、位置及び大きさについては、切替回数が、切替回数の閾値を超えていることから、修正の対象とされる。大きさについては、切替率が、切替率の閾値を超えているので、そのまま判定の条件として使用される。一方、位置については、切替率が、切替率の閾値以下であるので、被写体の変化の有無を判定する条件から除外される。

　このように、判定条件修正部１２２は、過去の選択の履歴から算出される切替率Ｒに基づいて、被写体の変化の有無を判定する条件を修正する。修正された条件の情報は、記憶部１８に記憶される。表示切替判定部１１６は、記憶部１８に記録された条件の情報に従って、被写体の変化の有無を判定し、被写体の選択画面への切り替えの要否を判定する。

　以上説明したように、本実施の形態の撮像装置によれば、被写体の変化の有無を判定する条件が自動で最適化される。これにより、不要な表示の切り替わりを防止できる。また、設定が自動で行われるため、利便性を向上できる。

　［第４の実施の形態］
　本実施の形態の撮像装置では、被写体に変化が生じたか否かを判定する際に使用する閾値をユーザが調節できる構成とされる。すなわち、ユーザが、自由に閾値の設定を上げたり、下げたりできる構成とされる。本実施の形態の撮像装置では、この調節を所定の設定画面で行う構成とされる。

　図２１は、閾値の設定を調節する画面の一例を示す図である。

　同図は、変化特性の設定として、被写体の位置、大きさ及び位相差の各項目の閾値の設定を調節する場合の例を示している。この設定画面は、たとえば、メニュー画面から呼び出される。

　同図に示すように、本例の設定画面では、「位置」、「大きさ」及び「位相差」の各項目について、個別に変化の特性の調節用のレバーが表示される。調節用のレバーは、「０」を中心として、プラス側及びマイナス側に５段階のレベルで調節可能に構成される。レバーを「０」の位置に設定すると、閾値がデフォルトの値に設定される。レバーを「０」の位置からプラス側に移動させると、閾値が所定の変化量で段階的に上げられる。一方、レバーを「０」の位置からマイナス側に移動させると、閾値が所定の変化量で段階的に下げられる。したがって、たとえば、反応（敏感度）を上げる場合（より小さな変化量で変化したと判定する場合）は、レバーを「０」の位置からマイナス側に移動させる。反対に、反応を下げる場合（より大きな変化量で変化したと判定する場合）は、レバーを「０」の位置からプラス側に移動させる。

　たとえば、位置の変化については反応を上げ、大きさ及び位相差については反応を下げる場合は、「位置」についてのレバーをマイナス側に移動させ、「大きさ」及び「位相差」についてのレバーをプラス側に移動させる。これにより、位置についての閾値が、デフォルトの値に対して下げられ、大きさ及び位相差の閾値が、デフォルトの値に対して上げられる。

　設定された情報は、記憶部１８に記憶される。表示切替判定部１１６は、設定された情報に従って、被写体の変化の有無を判定し、被写体の選択画面への切り替えの要否を判定する。

　このように、閾値の設定をユーザが自由に調節できる構成とすることにより、撮像シーン等に応じて、適切に表示を切り替えることができる。これにより、より操作性を向上できる。

　なお、本実施の形態では、閾値の設定をユーザが手動で調節する場合を例に説明したが、上記第３の実施の形態の撮像装置と同様に、自動で閾値を調節する構成としてもよい。たとえば、各項目について個別に切替率を算出し、算出した切替率が閾値（切替率の閾値）以下の項目については、閾値を所定量上げる構成とすることができる。あるいは、切替率に応じて、閾値を変える構成とすることができる。たとえば、切替率が下がるに従って閾値を上げる構成とすることができる。

　［第５の実施の形態］
　上記第１の実施の形態の撮像装置では、被写体の選択画面として、１画面を４等分割し、各領域に拡大候補とする被写体を拡大して表示する構成としている。

　本実施の形態の撮像装置では、４等分割された表示領域の一つに全体画像を表示する。全体画像とは、撮像部１４で撮像された画像の全体を表示した画像であり、通常のライブビューの際に表示される画像である。

　図２２は、本実施の形態の撮像装置で表示される被写体の選択画面の一例を示す図である。同図は、１画面を４等分割した場合の一例を示している。

　同図に示すように、４等分割された画面において、右下の第４表示領域Ａ４に全体画像が表示される。

　この場合、拡大候補選出部１１４では、優先度合の高い順に３つが拡大候補の被写体として選出される。選出された３つの被写体は、優先度合第１位の被写体が第１表示領域Ａ１され、優先度合第２位の被写体が第２表示領域Ａ２に表示され、優先度合第３位の被写体が第３表示領域Ａ３に表示される。

　表示用動画像データ生成部１１８は、被写体切り替え用の動画像データ（被写体の選択画面用の動画像データ）として、図２１に示す構成の動画像データを生成する。

　このように、被写体の選択画面において、一部に全体画像を表示することにより、全体を俯瞰でき、被写体の選択をしやすくできる。

　［変形例］
　図２３は、被写体の選択画面の表示の変形例を示す図である。

　同図に示す例では、各表示領域Ａ１～Ａ３に表示された被写体を全体画像の中で区別できるように、枠ｆ１～ｆ３で囲って表示している。

　図２３に示す例では、全体画像の中の被写体Ａ、被写体Ｂ及び被写体Ｃが、拡大候補として選出され、それぞれ表示領域Ａ１～Ａ３に拡大されて表示されている。この場合、同図に示すように、表示領域Ａ４に表示される全体画像において、被写体Ａ、被写体Ｂ及び被写体Ｃが、それぞれ枠ｆ１～ｆ３で囲われて表示される。各枠ｆ１～ｆ３は、各表示領域Ａ１～Ａ３に拡大して表示される範囲と同じ範囲で表示される。

　図２３に示す例では、更に、各表示領域Ａ１～Ａ３において、外周を枠Ｆ１～Ｆ３で囲う構成としている。各枠Ｆ１～Ｆ３は、それぞれ異なる色で表示される。全体画像において表示される枠ｆ１～ｆ３もそれぞれ異なる色で表示される。各枠ｆ１～ｆ３の色は、対応する表示領域Ａ１～Ａ３の枠Ｆ１～Ｆ３の色と同じ色とされる。たとえば、第１表示領域Ａ１を囲う枠Ｆ１の色を赤、第２表示領域Ａ２を囲う枠Ｆ２の色を青、第３表示領域Ａ３を囲う枠Ｆ３の色を黄とする。この場合、第１表示領域Ａ１に表示する被写体（図２３の例の場合、被写体Ａ）を囲う枠ｆ１の色は赤とされる。また、第２表示領域Ａ２に表示する被写体（図２３の例の場合、被写体Ｂ）を囲う枠ｆ２の色は青とされる。また、第３表示領域Ａ３に表示する被写体（図２３の例の場合、被写体Ｃ）を囲う枠ｆ３の色は黄とされる。全体画像において、枠ｆ１～ｆ３で囲われる被写体（図２３の例の場合、被写体Ａ～Ｃ）は、対応被写体の一例である。

　このように、全体画像において、各表示領域に対応する被写体（対応被写体）を各表示領域の枠の色と同じ色の枠で囲うことにより、各表示領域に表示される被写体と、全体画像中の被写体との関係を一目で把握できる。これにより、更に利便性を向上できる。

　図２４は、被写体の選択画面の表示の更なる変形例を示す図である。

　本例では、表示領域Ａ１～Ａ３に表示されていない被写体についても、全体画像において枠ｆｘで囲って表示する構成としている。この枠ｆｘの色は、表示領域Ａ１～Ａ３に表示された被写体を囲う枠ｆ１～ｆ３の色とは異なる色とされる。たとえば、黒とされる。

　図２４に示す例では、被写体Ａ、被写体Ｂ及び被写体Ｃが、表示領域Ａ１～Ａ３に表示された被写体であり、被写体Ｄ、被写体Ｅ及び被写体Ｆが、表示領域Ａ１～Ａ３に表示されていない被写体である。この場合、被写体Ａ、被写体Ｂ及び被写体Ｃについては、それぞれ対応する表示領域Ａ１～Ａ３を囲う枠Ｆ１～Ｆ３の色と同じ色の枠ｆ１～ｆ３で囲われて表示される。一方、被写体Ｄ、被写体Ｅ及び被写体Ｆが、枠ｆ１～ｆ３とは異なる色（たとえば、黒）の枠ｆｘで囲われて表示される。

　本例では、全体画像においても、被写体を選択できる構成とされる。この場合、たとえば、全体画像において、枠ｆ１～ｆ３及びｆｘで囲われた位置をタッチして、単拡大表示する被写体を選択する。

　このように、全体画像からも被写体を選択できる構成にすることにより、より利便性及び操作性を向上できる。

　なお、図２３及び図２４に示す例では、全体画像内で各被写体を囲う枠ｆ１～ｆ３が、各表示領域Ａ１～Ａ３に拡大して表示される範囲と同じ範囲で表示される構成としている。枠ｆ～ｆ３の表示範囲（サイズ）は、必ずしも表示領域Ａ１～Ａ３に拡大して表示される範囲と同じである必要なない。拡大候補として選出された被写体であることが視認できる形態であればよい。

　［第６の実施の形態］
　本実施の形態の撮像装置では、単拡大表示から被写体の選択画面への表示の切り替えをユーザが手動できる構成とされる。すなわち、上記実施の形態では、自動で単拡大表示から被写体の選択画面に表示が切り替わる構成とされているが、本実施の形態の撮像装置では、手動でも切り替えられる構成とされる。これにより、より利便性及び操作性を向上できる。

　ＣＰＵ２４は、操作部２２からの切り替えの指示に応じて、単拡大表示から被写体の選択画面に表示を切り替える。切り替えの指示は、たとえば、操作部２２に専用のボタンを設け、そのボタンの操作で行う構成とする。

　同様に、被写体の選択画面から単拡大表示への表示の切り替えもユーザが手動できる構成としてもよい。この場合も、ＣＰＵ２４は、操作部２２からの切り替えの指示に応じて、被写体の選択画面から単拡大表示に表示を切り替える。なお、ここでの単拡大表示は、被写体の選択画面に切り替わる前に単拡大表示していた被写体を対象にして行われる。すなわち、元の単拡大表示に復帰する。

　［第７の実施の形態］
　上記第１の実施の形態の撮像装置では、画像から抽出した各被写体について、被写体の位置、大きさ及び位相差の変化量に基づいて所定の優先度合を算出し、算出した優先度合が高い順に拡大候補とする被写体を選出する構成としている。

　本実施の形態の撮像装置では、優先度合を算出する際の条件、すなわち、拡大候補とする被写体の選出条件をユーザが設定できる構成とされる。具体的には、優先度合を算出する式において、係数ｗ１、ｗ２及びｗ３をユーザが所定の範囲で調節できる構成とされる。本実施の形態の撮像装置では、この調節を所定の設定画面で行う構成とされる。

　図２５は、優先度合を算出する演算式の係数を調整する画面の一例を示す図である。

　同図は、拡大候補とする被写体の選出特性の設定として、被写体の位置、大きさ及び位相差の各項目の係数を調節する場合の例を示している。この設定画面は、たとえば、メニュー画面から呼び出される。

　同図に示すように、本例の設定画面では、「位置」、「大きさ」及び「位相差」の各項目について、個別に選出特性の調節用のレバーが表示される。調節用のレバーは、「０」から「１０」の範囲で段階的に調節可能に構成される。

　各項目について、レバーを「０」の位置に設定すると、係数の値が０に設定される。レバーの位置を１段ずつ上げることにより、係数が所定の変化率で段階的に上げられる。レバーが「１０」の位置で最大値に設定される。

　レバーを「０」の位置に設定した場合、当該項目については、選出の際の判断の対象から除外される。すなわち、この場合、係数の値が０に設定されるので、選出の際の判断の対象から除外される。

　図２５に示す例では、「位置」の項目については、レバーが「１０」の位置に設定され、「大きさ」の項目については、レバーが「５」の位置に設定され、「位相差」の項目については、レバーが「０」の位置に設定されている。この場合、被写体の位置及び大きさに基づいて、拡大候補の選出が行われ、位相差については、判断の対象から除外される。また、選出の際は、大きさよりも位置に重きが置かれて選出が行われる。

　設定された情報（係数ｗ１～ｗ３の情報）は、記憶部１８に記憶される。拡大候補選出部１１４は、設定された情報に従って、優先度合を算出し、拡大候補とする被写体を選出する。

　このように、優先度合を算出する際の条件（拡大候補とする被写体の選出条件）をユーザが設定できることにより、ユーザの意図に沿った被写体を拡大候補として選出できる。これにより、利便性及び操作性をより向上できる。

　［第８の実施の形態］
　上記第７の実施の形態の撮像装置では、優先度合を算出する際の条件をユーザが手動で設定する構成としている。

　本実施の形態の撮像装置では、優先度合を算出する際の条件を、ユーザの過去の被写体の選択傾向に基づいて、自動で設定する。すなわち、係数ｗ１～ｗ３の値を自動で最適化する。

　本実施の形態の撮像装置では、切替率に応じて、係数ｗ１～ｗ３の値を設定する。具体的には、各項目についての切替率が高くなるに従って、各項目の係数の値が大きくなる設定とされる。切替率が高いということは、その項目の変化によって、被写体が選択されていることが多いことを意味する。よって、この場合は、係数を大きな値に設定する。一方、切替率が低いということは、その項目の変化によって、被写体が選択されていることが少ないことを意味する。よって、この場合は、係数を小さな値に設定する。

　このように、優先度合を算出する際の条件を自動修正することにより、ユーザの意図に沿った被写体を拡大候補として自動で選出できる。これにより、利便性及び操作性をより向上できる。

　［第９の実施の形態］
　上記実施の形態の撮像装置では、単拡大表示から被写体の選択画面に表示が切り替わった場合において、規定時間内に被写体の選択が行われなかった場合、元の単拡大表示に復帰する。

　被写体の選択が行われないということは、ユーザの意図した表示の切り替わりでなかったと考えられる。

　本実施の形態の撮像装置では、被写体の選択が行われずに元の単拡大表示に戻った場合、その後、所定時間、同じ条件での表示の切り替えを禁止する。たとえば、位置の変化に基づいて、単拡大表示から被写体の選択画面に切り替わった場合において、規定時間内に被写体の選択が行われなかった場合、単拡大表示に復帰した後、所定時間、位置の変化に基づく表示の切り替えが禁止される。以下、本処理を実施するための構成について説明する。

　図２６は、特定の項目の変化に基づく表示の切り替えを禁止する場合にＣＰＵが実現する機能の一例を示すブロック図である。

　同図に示すように、被写体の選択が行われなかった場合に、特定の項目の変化に基づく表示の切り替えを禁止するために、ＣＰＵ２４は、更に、判定項目設定部１３０として機能する。

　判定項目設定部１３０は、表示切替判定部１１６の判定結果に基づいて、表示切替判定部１１６で被写体の変化の有無の判定に使用する項目のオン、オフを個別に設定する。たとえば、各項目について、判定に使用する場合は、判定使用フラグを「１」に設定し、判定に使用しない場合は、判定使用フラグを「０」に設定する。判定使用フラグは、通常、「１」に設定され、特定の場合に「０」に設定される。特定の場合とは、被写体の選択が行われなかった場合である。この場合、表示の切り替わりのトリガーとなった項目、すなわち、閾値以上の変化が計測された項目について、判定使用フラグが「０」にされる。たとえば、位置の変化に基づいて、単拡大表示から被写体の選択画面に切り替わった場合において、規定時間内に被写体の選択が行われなかった場合、単拡大表示に復帰した後、位置についての判定使用フラグが「０」にされる。判定使用フラグが「０」に設定された項目については、あらかじめ定められた停止時間の経過後、判定使用フラグが１に戻される。停止時間は、第２時間の一例である。

　表示切替判定部１１６は、判定項目設定部１３０で設定された判定使用フラグに基づいて、被写体の変化の有無を判定し、ライブビューの表示の切り替えの要否を判定する。具体的には、判定使用フラグが「１」に設定されている項目の変化に基づいて、被写体の変化の有無を判定し、ライブビューの表示の切り替えの要否を判定する。たとえば、ある判定のタイミングにおいて、位置についての判定使用フラグが「０」、大きさについての判定使用フラグが「１」、位相差についての判定使用フラグが「１」に設定されていたとする。この場合、位置の変化に基づく被写体の変化の有無の判定が除外され、大きさ及び位相差の変化の有無にのみ基づいて、被写体の変化の有無が判定される。

　上記のように、判定使用フラグは、被写体の選択画面で被写体の選択が行われなかった場合に、表示の切り替わりのトリガーとなった項目について、単拡大表示への復帰後、所定の停止時間の間「０」に設定される。判定使用フラグが「０」の間、当該項目については、被写体の変化の有無の判定から除外される。すなわち、当該変化に基づく表示の切り替えが禁止される。

　このように、被写体の選択が行われなかった場合に、同じ条件での表示の切り替えを所定時間禁止することにより、ユーザが意図しない表示の切り替えを防止できる。これにより、操作性をより向上できる。

　［変形例］
　上記実施の形態では、被写体の選択が行われなかった場合に、表示の切り替わりのトリガーとなった項目について、所定の停止時間、被写体の変化の有無の判定の対象から除外する構成としている。これに加えて、又は、これに代えて、表示の切り替わりのトリガーとなった被写体、すなわち、変化が生じたと判定された被写体について、所定の停止時間、変化の有無の判定の対象から除外する構成とすることもできる。この場合、ユーザは、当該被写体を拡大対象としていないと考えられるので、当該被写体を起因とした表示の切り替えを禁止することにより、よりユーザの意図に沿った表示の切り替えを行うことができる。

　本例の場合、ＣＰＵ２４は、たとえば、各被写体に判定使用フラグを設定する。判定使用フラグは、被写体の選択が行われなかった場合に、表示の切り替わりのトリガーとなった被写体、すなわち、変化が生じたと判定された被写体について、単拡大表示への復帰後、所定の停止時間の間「０」に設定される。

　［その他の実施の形態］
　［単拡大表示する際の画像の拡大率］
　単拡大表示する際の画像の拡大率については、固定値としてもよいし、ユーザが任意に変更できる構成としてもよい。また、撮像条件等に応じて、自動で変更する構成としてもよい。

　拡大率を自動で変更する構成の一例として、たとえば、撮像の際の被写界深度に応じて、拡大率を変更する構成を採用できる。この場合、被写界深度が浅い場合に、拡大率を上げる構成とする。被写界深度が浅い場合は、細かい焦点調節が必要な場合である。よって、この場合は、拡大率を上げ、ユーザがより詳細に合焦状態を確認できる構成とする。一方、被写界深度が深い場合は、細かな焦点調節は不要と考えられるので、拡大率を下げ、俯瞰して画像を確認できる構成とする。

　ＣＰＵ２４は、たとえば、被写界深度の算出に必要な情報を取得し、被写界深度が特定の値より狭くなる設定が行われた場合、拡大率を上げる処理を行う。拡大率を上げる処理は、たとえば、標準で定められた拡大率に対し、所定の倍率で拡大率を上げる処理を行う。被写界深度に応じて段階的に拡大率を変える構成とすることもできる。

　拡大率を自動で変更する構成の他の一例として、たとえば、拡大する領域内の高周波成分の値に応じて、拡大率を変更する構成を採用できる。この場合、拡大する領域内の高周波成分の値が低い場合、拡大率を下げる構成とする。拡大する領域内の高周波成分の値が低い場合とは、当該領域内のエッジ成分が少ない場合である。エッジ成分が少ない場合は、焦点が合っているか否かの判断がしづらい。したがって、拡大する領域内の高周波成分の値が低い場合、すなわち、エッジ成分が少ない場合は、拡大率を下げ、俯瞰して画像を確認できる構成とする。すなわち、より多くの情報を取り込み、焦点調節をしやすくする。

　ＣＰＵ２４は、たとえば、拡大する領域内の高周波成分を算出し、高周波成分が特定の値より低い場合、拡大率を下げる処理を行う。拡大率を上げる処理は、たとえば、標準で定められた拡大率に対し、所定の倍率で拡大率を下げる処理を行う。高周波成分の値に応じて段階的に拡大率を変える構成とすることもできる。

　被写体の選択画面において、各表示領域に表示する画像についても、同様に被写体深度、高周波成分の値等に応じて、拡大率を変える構成とすることができる。

　また、各表示領域の拡大率を個別に手動で調整できる構成としてもよい。たとえば、表示部１６にタッチパネルが備えられている場合には、各各表示領域におけるピンチイン及びピンチアウトの操作で拡大率を変えられる構成としてもよい。

　［ライブビューの表示先］
　上記実施の形態では、ライブビューを装置本体に備えられた表示部１６に表示する構成としているが、接続部２９を介して装置本体に接続された外部表示装置に表示させる構成とすることもできる。また、その双方に表示させる構成とすることもできる。

　［拡大する対象］
　上記実施の形態では、被写体として人物の顔を抽出し、顔の領域を拡大して表示する場合を例に説明したが、拡大の対象とする被写体は、これに限定されるものではない。人物の全体を拡大対象の被写体とすることもできる。また、人物以外にも広く動体を被写体とすることもできる。

　対象とする被写体の種類をユーザが設定できる構成としてもよい。たとえば、対象とする被写体を人物の顔に限定したり、人物の全体に限定したりできる構成としてもよい。

　［追尾拡大表示機能をオンした場合の拡大対象の選定］
　上記実施の形態では、追尾拡大表示機能をオンした場合に拡大する被写体（特定被写体の一例）をユーザが手動で設定する構成としている。この処理については、自動で行う構成とすることもできる。この場合、画像から抽出された複数の被写体の中から、ＣＰＵ２４が所定の選定基準に従って、拡大対象とする被写体を自動で選定する。選定基準の一例として、最も画面の中心に近い被写体を拡大対象として選定する手法を採用できる。また、他の一例として、最も被写体距離の短い被写体を拡大対象として選定する手法を採用できる。また、他の一例として、最もデフォーカス量の小さい被写体を拡大対象として選定する方法を採用できる。また、他の一例として、合焦状態にある被写体を拡大対象として選定する方法を採用できる。合焦状態にある被写体を拡大対象として選定する場合において、合焦状態にある被写体が複数存在する場合は、他の条件（たとえば、最も画面の中心に近い被写体、最も被写体距離の短い被写体等）を組み合わせて、拡大対象とする被写体を選定する方法を採用できる。更に、選定基準を複数定め、使用する選定基準をユーザが任意に選択できる構成としてもよい。

　また、上記実施の形態では、拡大対象とする被写体をユーザが手動で選択する方法として、全体画像から抽出された各被写体の顔をバウンディングボックスで囲い、表示されたバウンディングボックスを選択して、拡大対象とする被写体を選択する構成としている。拡大対象とする被写体を選択する方法は、これに限定されるものではない。たとえば、拡大候補とする被写体を抽出し、一覧表示して、ユーザに選択させる形態等を採用できる。

　［拡大候補とする被写体の選出］
　拡大候補とする被写体は、被写体の選択画面に表示させる被写体の数（表示領域の数）と同じ数の被写体が選出される。被写体の選択画面に表示させる被写体の数は２以上である。

　画像から抽出された被写体の数が、被写体の選択画面に表示させる被写体の数よりも少ない場合、拡大候補とする被写体の選出処理は行われない。この場合、被写体の選択画面において、表示領域の一部がブランク表示（たとえば、黒画面）とされる。若しくは、後で説明する当初の被写体の選択画面の表示等としてもよい。

　また、拡大候補とする被写体は、必ずしも画像内のすべての被写体を対象とする必要はない。たとえば、画像内における被写体の位置、大きさ及び被写体距離（位相差）の少なくとも１つの観点から除外することができる。たとえば、画像内における被写体の位置に関して、画面の中心から所定距離以上離れて位置にいる被写体を除外することができる。また、画像内における被写体の大きさに関して、所定サイズ以下の被写体を除外することができる。更に、被写体距離に関して、所定距離以上離れた位置にいる被写体を除外することができる。

　また、あらかじめ登録した被写体のみを対象にすることもできる。たとえば、人物の場合は、画像から個人認証を行い、あらかじめ登録された被写体の中から拡大候補として選出する構成とすることもできる。

　また、上記実施の形態では、所定の演算式に基づいて算出した優先度合に基づいて、拡大候補とする被写体を選出する構成としているが、拡大候補とする被写体を選出する方法は、これに限定されるものではない。たとえば、画像内における被写体の位置、大きさ及び被写体距離の少なくとも１つに基づいて、選出する構成とすることができる。たとえば、位置に基づいて選出する場合は、画面の中心に近い被写体を順に選出する構成とすることができる。また、たとえば、大きさに基づいて選出する場合は、画像内に占める面積が大きい被写体を順に選出する構成とすることができる。また、たとえば、被写体距離に基づいて選出する場合は、撮像装置に近い被写体を順に選出する構成とすることができる。また、これらの条件を組み合わせて選出することもできる。

　［被写体の選択画面の表示］
　上記実施の形態では、被写体の選択画面として、１画面を４等分割し、各表示領域に拡大候補とする被写体を表示する構成としているが、拡大候補とする被写体の表示数及び表示形態は、これに限定されるものではない。たとえば、拡大候補として抽出された被写体の数に応じて表示数及び表示形態を切り替える構成なども採用できる。また、ユーザが表示数を任意に選択できる構成なども採用できる。

　また、表示先に応じて、表示数を自動で切り替える構成とすることもできる。たとえば、外部表示装置に表示させる場合は、装置本体に備えられた表示部よりも表示数を増やすことができる。たとえば、装置本体に備えられた表示部については、表示数を４（２×２）とするのに対し、外部表示装置は、表示数を９（３×３）とすることができる。

　また、上記実施の形態では、１画面を等分割して、被写体の表示領域を複数設ける構成としているが、画面分割の形態は、これに限定されるものではない。図２７～図２９は、被写体の選択画面における画面分割の他の一例を示す図である。図２７～図２９に示す例は、全体画像を拡大候補の被写体よりも大きく表示する場合の例である。図２７は、１画面に４つの表示領域Ａ１～Ａ４を設定した例である。全体画像を画面中央の左側の位置に設定された大きな表示領域Ａ１に表示し、拡大候補の被写体を画面右側の辺に沿って縦に並べて設定した小さな表示領域Ａ２～Ａ４に表示している。図２８は、１画面に４つの表示領域Ａ１～Ａ４を設定した例である。全体画像を画面中央の上側の位置に設定した大きな表示領域Ａ１に表示し、拡大候補の被写体を画面の下側の辺に沿って横に並べて設定した小さな表示領域Ａ２～Ａ４に表示している。図２９は、１画面に６つの表示領域Ａ１～Ａ６を設定した例である。全体画像を画面左上隅に設定した大きな表示領域Ａ１に表示し、拡大候補の被写体を画面の右側の辺及び下側の辺に沿って並べて設定した小さな表示領域Ａ２～Ａ６に表示している。

　また、被写体の選択画面では、拡大候補とする被写体を順次切り替えて表示する構成としてもよい。図３０は、拡大候補の被写体を切り替えて表示する場合の画面の遷移の一例を示す図である。同図（Ａ）は、被写体の選択画面に切り替わった当初の被写体の選択画面の表示の一例を示している。同図（Ｂ）は、所定時間経過後の被写体の選択画面の表示の一例を示している。同図（Ａ）及び（Ｂ）に示すように、表示領域Ａ１～Ａ３に表示される拡大候補の被写体が切り替わる。切り替えは周期的に行われる。子の切り替えの周期をユーザが任意に設定できるようにしてもよい。

　このように、表示領域Ａ１～Ａ３に表示させる拡大候補の被写体を切り替えることにより、拡大候補として表示できる被写体の数を増やすことができる。

　なお、本例では、被写体の切り替えが周期的に行われる構成としているが、ユーザからの指示に応じて、表示させる被写体を切り替える構成にもできる。たとえば、表示部にタッチパネルが備えられている場合には、画面のスワイプ操作、フリック操作等で表示を切り替える構成にできる。

　また、本例では、画面を複数の領域に分割し、領域ごとに表示する被写体の画像（拡大画像）を順次切り替える構成としているが、1画面で順次切り替える構成としてもよい。

　［被写体距離］
　上記実施の形態の撮像装置では、各被写体の位相差を求めて被写体距離の情報を取得する構成としているが、被写体距離の情報を取得する方法は、これに限定されるものではない。被写体距離の情報については、他の公知の測距手段の測定結果を利用する構成とすることもできる。

　［操作部の他の例］
　上記実施の形態では、表示部１６に備えられたタッチパネルで拡大対象とする被写体の選択等の操作を行う構成としているが、キー操作、レバー操作及びダイヤル操作等で行う構成とすることもできる。たとえば、被写体の選択画面において、キー操作、レバー操作又はダイヤル操作で拡大対象とする被写体を選択する場合は、画面内に選択枠を表示し、その枠をキー操作、レバー操作又はダイヤル操作によって移動させ、拡大対象とする被写体を選択する構成とすることができる。

　［追尾拡大表示機能のオン、オフ］
　上記実施の形態のでは、マニュアルフォーカスモードに設定されている場合にのみ追尾拡大表示機能を使用できる構成としているが、他のフォーカスモードでも使用できる構成にしてもよい。たとえば、オートフォーカスモードの場合は、焦点調節の対象となる被写体の選択に使用できる。また、セミオートフォーカスモードでも同様の効果を発揮する。

　［撮像装置の例］
　本発明が適用される撮像装置には、いわゆるビデオカメラ、シネカメラ等の動画撮像専用の撮像装置の他、スマートフォン、パーソナルコンピュータ等に組み込まれた撮像装置も含まれる。

　［処理部のハードウェア構成］
　本発明において、各処理を行う処理部（ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）のハードウェア的な構造は、各種のプロセッサ（ｐｒｏｃｅｓｓｏｒ）で実現される。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ及び／又はＧＰＵ（Ｇｒａｐｈｉｃ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ，ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどに用いられるコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ　ｏｎ　Ｃｈｉｐ，ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

１０　撮像装置
１２　撮像光学系
１４　撮像部
１６　表示部
１８　記憶部
２０　接続部
２２　操作部
２４　ＣＰＵ
２６　ＲＯＭ
２８　ＲＡＭ
２９　接続部
１１０　被写体抽出部
１１２　変化量計測部
１１２Ａ　位置変化量計測部
１１２Ｂ　大きさ変化量計測部
１１２Ｃ　位相差変化量計測部
１１４　拡大候補選出部
１１６　表示切替判定部
１１８　表示用動画像データ生成部
１２０　選択結果記録部
１２２　判定条件修正部
１３０　判定項目設定部
Ａ～Ｆ　被写体
Ａ１～Ａ６　表示領域
ＢＢ　バウンディングボックス
Ｆ１～Ｆ３　枠
ｆ１～ｆ３　枠
ｆｘ　枠
Ｓ１１～Ｓ２０　被写体の変化の有無の判定の手順
Ｓ３１～Ｓ４６　ライブビューの表示の切り替えの手順
Ｓ５１～Ｓ５７　被写体に変化が生じたか否かを判定するための条件の修正手順

Claims

　プロセッサを備えた撮像装置であって、
　前記プロセッサは、焦点調節を行うモードにおいて、
　撮像により得られた動画像データから複数の被写体を抽出する処理を行い、
　前記複数の被写体の中の特定被写体を含む領域を拡大した第１動画像データを表示先に出力し、
　前記動画像データにおいて前記複数の被写体のいずれかに変化が生じた場合、複数の前記被写体の領域をそれぞれ拡大した第２動画像データを前記第１動画像データに代えて前記表示先に出力した後、前記被写体の選択が指示された場合、選択された前記被写体を含む領域を拡大した第３動画像データを前記第２動画像データに代えて前記表示先に出力する、
　撮像装置。
　前記プロセッサは、前記第２動画像データを前記第１動画像データに代えて前記表示先に出力した後、第１時間内に前記被写体の選択が指示されなかった場合、前記第２動画像データに代えて前記第１動画像データを前記表示先に出力する、
　請求項１に記載の撮像装置。
　前記第２動画像データにおいて拡大される複数の前記被写体には、少なくとも変化が生じた前記被写体が含まれる、
　請求項１又は２に記載の撮像装置。
　前記プロセッサは、前記被写体に変化が生じたか否かを判定する条件の設定を受け付ける処理を更に行う、
　請求項１から３のいずれか１項に記載の撮像装置。
　前記プロセッサは、前記被写体の選択の指示の履歴に基づいて、前記被写体に変化が生じたか否かを判定する条件を修正する処理を更に行う、
　請求項１から３のいずれか１項に記載の撮像装置。
　前記条件は、判定に使用する項目及び判定に使用する閾値の少なくとも一方を含む、
　請求項４又は５に記載の撮像装置。
　前記プロセッサは、位置、大きさ及び被写体距離の少なくとも一つの項目の変化に基づいて、前記被写体に変化が生じたか否かを判定する、
　請求項１から６のいずれか１項に記載の撮像装置。
　前記プロセッサは、前記第２動画像データとして、複数の前記被写体の拡大画像が順次切り替わる画像を前記表示先に出力する、
　請求項１から７のいずれか１項に記載の撮像装置。
　前記プロセッサは、前記第２動画像データとして、複数の前記被写体の拡大画像に加えて、前記動画像データの全体画像も含めた画像を前記表示先に出力する、
　請求項１から８のいずれか１項に記載の撮像装置。
　前記プロセッサは、前記第２動画像データにおいて、前記拡大画像をそれぞれ異なる色の枠で囲い、かつ、前記全体画像の中の対応被写体をそれぞれ同じ色の枠で囲う処理を行う、
　請求項９に記載の撮像装置。
　前記プロセッサは、前記動画像データから抽出された複数の前記被写体の中から前記第２動画像データにおいて拡大する対象を選出する処理を更に行う、
　請求項１から１０のいずれか１項に記載の撮像装置。
　前記プロセッサは、前記第２動画像データにおいて拡大する対象を選出する条件の設定を受け付ける処理を更に行う、
　請求項１１に記載の撮像装置。
　前記プロセッサは、前記被写体の選択の指示の履歴に基づいて、前記第２動画像データにおいて拡大する対象を選出する条件を修正する処理を更に行う、
　請求項１１に記載の撮像装置。
　前記プロセッサは、位置、大きさ及び被写体距離の少なくとも一つの項目の変化に基づいて、前記第２動画像データにおいて拡大する対象を選出する、
　請求項１１から１３のいずれか１項に記載の撮像装置。
　前記プロセッサは、前記第２動画像データを前記表示先に出力した後、第１時間内に前記被写体の選択が指示されなかった場合、前記第１動画像データから前記第２動画像データに代える際に変化が生じたと判定された前記被写体について、前記第１時間の経過後、第２時間の間、変化を検出する対象から除外する、
　請求項１から１３のいずれか１項に記載の撮像装置。
　複数の項目について前記被写体に変化が生じたか否かを判定する場合において、前記プロセッサは、前記第２動画像データを前記表示先に出力した後、第１時間内に前記被写体の選択が指示されなかった場合、前記第１動画像データから前記第２動画像データに代える際に変化が生じたと判定された項目について、前記第１時間の経過後、第２時間の間、変化を検出する条件から除外する、
　請求項１から１５のいずれか１項に記載の撮像装置。
　前記プロセッサは、撮像における被写界深度が、特定の値より狭くなる設定が行われた場合、拡大して表示する際の前記被写体の拡大率を上げる、
　請求項１から１６のいずれか１項に記載の撮像装置。
　前記プロセッサは、拡大する領域内の高周波成分の値が、特定の値より低い場合、拡大して表示する際の前記被写体の拡大率を下げる、
　請求項１から１７のいずれか１項に記載の撮像装置。
　装置本体に備えられた表示部、及び／又は、前記装置本体に備えられた接続部を介して接続された外部表示装置を前記表示先とする、
　請求項１から１８のいずれか１項に記載の撮像装置。
　撮像により得られた動画像データから複数の被写体を抽出し、
　前記複数の被写体の中の特定被写体を含む領域を拡大した第１動画像データを表示先に出力し、
　前記動画像データにおいて前記複数の被写体のいずれかに変化が生じた場合、複数の前記被写体の領域をそれぞれ拡大した第２動画像データを前記第１動画像データに代えて前記表示先に出力した後、前記被写体の選択が指示された場合、選択された前記被写体を含む領域を拡大した第３動画像データを前記第２動画像データに代えて前記表示先に出力する、
　画像処理方法。
　撮像により得られた動画像データから複数の被写体を抽出し、
　前記複数の被写体の中の特定被写体を含む領域を拡大した第１動画像データを表示先に出力し、
　前記動画像データにおいて前記複数の被写体のいずれかに変化が生じた場合、複数の前記被写体の領域をそれぞれ拡大した第２動画像データを前記第１動画像データに代えて前記表示先に出力した後、前記被写体の選択が指示された場合、選択された前記被写体を含む領域を拡大した第３動画像データを前記第２動画像データに代えて前記表示先に出力する、
　処理をコンピュータに実行させる画像処理プログラム。
　非一時的かつコンピュータ読取可能な記録媒体であって、請求項２１に記載のプログラムが記録された記録媒体。