WO2022004305A1

WO2022004305A1 - 撮像支援装置、撮像装置、撮像支援方法、及びプログラム

Info

Publication number: WO2022004305A1
Application number: PCT/JP2021/021756
Authority: WO
Inventors: 秀昭國分; 健吉林; 亮宏内田; 仁史桜武
Original assignee: 富士フイルム株式会社
Priority date: 2020-06-30
Filing date: 2021-06-08
Publication date: 2022-01-06
Also published as: JPWO2022004305A1; US20230131047A1; CN115885516A

Abstract

撮像支援装置は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサは、撮像装置によって撮像されることで得られた撮像画像に含まれる被写体の特徴に基づいてカテゴリに分類された特徴の頻度を示す頻度情報を取得し、頻度情報に基づいて、撮像装置による撮像を支援する支援処理を行う。

Description

撮像支援装置、撮像装置、撮像支援方法、及びプログラム

　本開示の技術は、撮像支援装置、撮像装置、撮像支援方法、及びプログラムに関する。

　特開２００７－００６０３３号公報には、画像中に含まれる複数の顔から処理の対象とする顔を選択する対象決定装置が開示されている。特開２００７－００６０３３号公報に記載の対象決定装置は、画像から顔を検出する顔検出手段と、顔検出手段によって過去に検出された顔と、その検出にかかる検出履歴とを関連付けて記録する顔情報記録手段と、検出履歴に基づいて、画像中に含まれる顔の中から処理の対象とする顔を選択する顔選択手段と、を有する。

　特開２００９－２５２０６９号公報には、顔認識辞書、画像取得手段、顔領域検出手段、特徴抽出手段、判別手段、顔認識辞書修正手段、及び分類手段を備えたことを特徴とする画像処理装置が開示されている。顔認識辞書には、同一人物か否かを判別するための顔の特徴が人物ごとに登録される。画像取得手段は、人物を含む画像を取得する。顔領域検出手段は、画像取得手段により取得された画像から顔領域を検出する。特徴抽出手段は、顔領域検出手段により検出された顔領域に基づいて、顔領域の顔の特徴を抽出する。判別手段は、特徴抽出手段により抽出された顔の特徴と、顔認識辞書に登録された顔の特徴とに基づいて、同一人物の顔の特徴が顔認識辞書に登録されているか否かを判別する。顔認識辞書修正手段は、判別手段によって同一人物の顔の特徴が顔認識辞書に登録されていると判別されると、抽出された顔の特徴に基づいて、登録されている顔の特徴を修正し、判別手段によって同一人物の顔の特徴が顔認識辞書に登録されていないと判別されると、抽出された顔の特徴を新規の人物の顔の特徴として登録する。分類手段は、判別手段によって同一人物の顔の特徴が顔認識辞書に登録されていると判別されると、画像取得手段により取得された画像中の人物の顔を既知顔として分類し、判別手段によって同一人物の顔の特徴が顔認識辞書に登録されていないと判別されると、画像取得手段により取得された画像中の人物の顔を未知顔として分類する。

　特開２０１２－０９９９４３号公報には、顔画像データを記憶する記憶手段と、映像信号から顔を検出する顔検出手段と、顔検出手段により検出された顔が記憶手段に記憶されている顔画像データに含まれているか否かを判定する顔認識手段と、画像処理手段とを備えることを特徴とする画像処理装置が開示されている。画像処理手段は、顔認識手段により記憶手段に記憶されている顔画像データに含まれていると判定された顔と含まれていないと判定された顔とが映像信号から検出された場合に、顔画像データに含まれていると判定された顔、及び顔画像データに含まれていないと判定された顔の領域を、他の領域よりも高画質化した画像処理を行う。

　特開２００９－００３０１２号公報には、光軸方向に沿って配列された複数のレンズ中の少なくとも一部を光軸方向に沿って駆動し、レンズ焦点位置を変更可能な撮像レンズと、画像取得手段と、被写体検出手段と、合焦評価値演算手段と、選択手段と、記録手段とを具備したことを特徴とする撮像装置が開示されている。画像取得手段は、撮像レンズのレンズ焦点位置を変更しながら連続して撮影を実行し、複数の画像データを取得する。被写体検出手段は、画像取得手段で得た複数の画像データ間での被写体の移動状態に伴って主要被写体領域を検出する。合焦評価値演算手段は、被写体検出手段で得た主要被写体領域の合焦評価値を複数の画像データごとに算出する。選択手段は、合焦評価値演算手段で得た合焦評価値に基づき、複数の画像データ中から少なくとも１つを選択する。記録手段は、選択手段で選択した画像データを記録媒体に記録させる。

　本開示の技術に係る一つの実施形態は、被写体の特徴がカテゴリに分類される頻度に応じて撮像装置による撮像を支援することができる撮像支援装置、撮像装置、撮像支援方法、及びプログラムを提供する。

　本開示の技術に係る第１の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサが、撮像装置によって撮像されることで得られた撮像画像から特定される被写体の特徴に基づいてカテゴリに分類された特徴の頻度を示す頻度情報を取得し、頻度情報に基づいて、撮像装置による撮像を支援する支援処理を行う撮像支援装置である。

　本開示の技術に係る第２の態様は、カテゴリが、少なくとも１つの対象カテゴリを含む複数のカテゴリに類別され、対象カテゴリが、頻度情報に基づいて定められたカテゴリであり、支援処理が、対象カテゴリに属する特徴を有する対象カテゴリ被写体に対する撮像を支援する処理を含む処理である、第１の態様に係る撮像支援装置である。

　本開示の技術に係る第３の態様は、支援処理が、対象カテゴリ被写体の撮像を推奨する表示を行う表示処理を含む処理である、第２の態様に係る撮像支援装置である。

　本開示の技術に係る第４の態様は、表示処理が、撮像装置によって撮像されることで得られた表示用画像をディスプレイに表示させ、かつ、表示用画像内で対象カテゴリ被写体を示す対象カテゴリ被写体画像を他の画像領域と区別可能な態様で表示する処理である、第３の態様に係る撮像支援装置である。

　本開示の技術に係る第５の態様は、プロセッサが、撮像装置による撮像結果に基づいて対象カテゴリ被写体を検出し、対象カテゴリ被写体を検出したことを条件に、対象カテゴリ被写体に対応する画像を含む画像を取得する第２の態様から第４の態様の何れか１つの態様に係る撮像支援装置である。

　本開示の技術に係る第６の態様は、プロセッサが、外部から与えられた指示に従って定められた指定撮像範囲を示すオブジェクトと、対象カテゴリ被写体を示すオブジェクトとを別の表示態様で表示する第２の態様から第５の態様の何れか１つの態様に係る撮像支援装置である。

　本開示の技術に係る第７の態様は、プロセッサが、外部から与えられた第１撮像条件と対象カテゴリ被写体に対して与えられている第２撮像条件との相違度が既定相違度以上の場合に、既定処理を行う第２の態様から第６の態様の何れか１つの態様に係る撮像支援装置である。

　本開示の技術に係る第８の態様は、対象カテゴリが、複数のカテゴリ間で頻度が相対的に低い低頻度カテゴリである、第２の態様から第７の態様の何れか１つの態様に係る撮像支援装置である。

　本開示の技術に係る第９の態様は、対象カテゴリ被写体が撮像装置によって撮像される場合、対象カテゴリが、対象カテゴリ被写体の状態に応じて定められたカテゴリであって、対象カテゴリ被写体についての特徴が分類されるカテゴリである、第２の態様から第８の態様の何れか１つの態様に係る撮像支援装置である。

　本開示の技術に係る第１０の態様は、複数の物体が撮像装置によって撮像される場合、対象カテゴリが、複数の物体のそれぞれ自体を特定可能な物体対象カテゴリである、第２の態様から第９の態様の何れか１つの態様に係る撮像支援装置である。

　本開示の技術に係る第１１の態様は、カテゴリが、少なくとも１つの単位毎に作られている第１の態様から第１０の態様の何れか１つの態様に係る支援装置である。

　本開示の技術に係る第１２の態様は、単位の１つが、期間である、第１１の態様に係る撮像支援装置である。

　本開示の技術に係る第１３の態様は、単位の１つが、位置である、第１１の態様又は第１２の態様に係る撮像支援装置である。

　本開示の技術に係る第１４の態様は、プロセッサが、特徴を分類器に対して分類させ、分類器が、撮像装置による撮像対象シーンが特定シーンと一致した場合に特徴を分類する第１の態様から第１３の態様の何れか１つの態様に係る撮像支援装置である。

　本開示の技術に係る第１５の態様は、特定シーンが、過去に撮像されたシーンである、第１４の態様に係る撮像支援装置である。

　本開示の技術に係る第１６の態様は、支援処理が、頻度情報を表示する処理を含む処理である、第１の態様から第１５の態様の何れか１つの態様に係る撮像支援装置である。

　本開示の技術に係る第１７の態様は、支援処理が、頻度情報が表示された状態で、受付デバイスによって頻度情報が指定された場合に、指定された頻度情報に対応するカテゴリに関する撮像を支援する処理を含む処理である、第１６の態様に係る撮像支援装置である。

　本開示の技術に係る第１８の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサが、撮像装置によって撮像されることで得られた撮像画像に含まれる被写体の特徴に基づいてカテゴリに分類された撮像画像の頻度を示す頻度情報を取得し、頻度情報に基づいて、撮像装置による撮像を支援する支援処理を行う撮像支援装置である。

　本開示の技術に係る第１９の態様は、第１の態様から第１８の態様の何れか１つの態様に係る撮像支援装置と、イメージセンサと、を備え、プロセッサが、支援処理を行うことでイメージセンサを用いた撮像を支援する撮像装置である。

　本開示の技術に係る第２０の態様は、撮像装置によって撮像されることで得られた撮像画像から特定される被写体の特徴に基づいてカテゴリに分類された特徴の頻度を示す頻度情報を取得すること、及び、頻度情報に基づいて、撮像装置による撮像を支援する支援処理を行うことを含む撮像支援方法である。

　本開示の技術に係る第２１の態様は、撮像装置によって撮像されることで得られた撮像画像から特定される被写体の特徴に基づいてカテゴリに分類された撮像画像の頻度を示す頻度情報を取得すること、及び、頻度情報に基づいて、撮像装置による撮像を支援する支援処理を行うことを含む撮像支援方法である。

　本開示の技術に係る第２２の態様は、コンピュータに、撮像装置によって撮像されることで得られた撮像画像から特定される被写体の特徴に基づいてカテゴリに分類された特徴の頻度を示す頻度情報を取得すること、及び、頻度情報に基づいて、撮像装置による撮像を支援する支援処理を行うことを含む処理を実行させるためのプログラムである。

　本開示の技術に係る第２３の態様は、コンピュータに、撮像装置によって撮像されることで得られた撮像画像から特定される被写体の特徴に基づいてカテゴリに分類された撮像画像の頻度を示す頻度情報を取得すること、及び、頻度情報に基づいて、撮像装置による撮像を支援する支援処理を行うことを含む処理を実行させるためのプログラムである。

撮像装置の外観の一例を示す斜視図である。図１に示す撮像装置の背面側の外観の一例を示す背面図である。撮像装置の光電変換素子に含まれる各画素の配置の一例を示す概略図である。図３に示す光電変換素子に含まれる第１位相差画素及び第２位相差画素に対する被写体光の入射特性の一例を示す概念図である。図３に示す光電変換素子に含まれる非位相差画素の構成の一例を示す概略構成図である。撮像装置のハードウェア構成の一例を示す概略構成図である。撮像装置に含まれるコントローラの構成の一例を示すブロック図である。撮像装置に含まれるＣＰＵの要部機能の一例を示すブロック図である。ＣＰＵが取得部及び制御部として動作した場合の処理内容の一例を示す概念図である。ＣＰＵが制御部として動作した場合の処理内容の一例を示す概念図である。ＣＰＵが被写体認識部及び制御部として動作した場合の処理内容の一例を示す概念図である。ＣＰＵが特徴抽出部として動作した場合の処理内容の一例を示す概念図である。ＣＰＵが特徴抽出部及び分類部として動作した場合の処理内容の一例を示す概念図である。分類部によって被写体特徴が複数のカテゴリに分類される態様の一例を示す概念図である。被写体認識部がライブビュー画像データに基づいて被写体を認識する処理内容の一例を示す概念図である。ライブビュー画像内に撮像支援画面が表示される場合の処理内容の一例を示す概念図である。撮像支援画面内にバブルチャート等が表示された態様の一例を示す画面図である。撮像支援画面内にヒストグラム等が表示された態様の一例を示す画面図である。撮像支援処理が実行された場合のライブビュー画像内の表示態様の一例を示す画面図である。撮像支援処理の流れの一例を示すフローチャートである。図２０Ａに示すフローチャートの続きである。指定撮像領域を示すオブジェクトと対象カテゴリ被写体画像とが異なる表示態様で表示されているライブビュー画像内の表示内容の一例を示す画面図である。撮像支援処理の流れの第１変形例を示すフローチャートである。撮像支援処理の流れの第２変形例を示すフローチャートである。撮像支援処理の流れの第３変形例を示すフローチャートである。撮像支援処理の流れの第４変形例を示すフローチャートである。撮像支援処理の流れの第５変形例を示すフローチャートである。第１撮像条件と第２撮像条件との相違度の算出例を示す概念図である。被写界深度を深める場合に行われる処理内容の一例を示す概念図である。指定撮像範囲内被写体に対する合焦位置及び対象カテゴリ被写体に対する合焦位置の算出例を示す概念図である。フォーカスブラケット方式の本露光撮像が行われる場合の処理内容の一例を示すブロック図である。撮像支援処理の流れの第６変形例を示すフローチャートである。被写体別カテゴリ群の構成の一例を示すブロック図である。撮像支援画面内に期間カテゴリバブルチャート等が表示された態様の一例を示す画面図である。撮像支援画面内に期間カテゴリヒストグラム等が表示された態様の一例を示す画面図である。既定時間間隔で撮像支援処理が実行される態様の一例、及び位置チェックポイント毎に撮像支援処理が実行される態様の一例を示すタイムチャートである。撮像支援処理の流れの第７変形例を示すフローチャートである。分類部によって本露光画像が複数のカテゴリに分類される態様の一例を示す概念図である。４象限顔カテゴリバブルチャートの一例を示す概念図である。支援処理が行われた本露光撮像によって得られた本露光画像データを含むトレーニングデータが学習済みモデルの機械学習に用いられる態様の一例を示すブロック図である。撮像装置が外部装置に撮像支援処理を実行させる態様の一例を示すブロック図である。撮像支援処理プログラムが記憶されている記憶媒体から、撮像支援処理プログラムが撮像装置内のコントローラにインストールされる態様の一例を示すブロック図である。

　以下、添付図面に従って本開示の技術に係る撮像支援装置、撮像装置、撮像支援方法、及びプログラムの実施形態の一例について説明する。

　先ず、以下の説明で使用される文言について説明する。

　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ＴＯＦとは、“Time of Flight”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＭＦとは、“Manual Focus”の略称を指す。ＡＦとは、“Auto Focus”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＲＴＣとは、“Real Time Clock”の略称を指す。ＧＰＳとは、“Global Positioning System”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。ＧＮＳＳとは、“Global Navigation Satellite System”の略称を指す。以下では、説明の便宜上、本開示の技術に係る「プロセッサ」の一例として、ＣＰＵを例示しているが、本開示の技術に係る「プロセッサ」は、ＣＰＵ及びＧＰＵ等のように複数の処理装置の組み合わせであってもよい。本開示の技術に係る「プロセッサ」の一例として、ＣＰＵ及びＧＰＵの組み合わせが適用される場合、ＧＰＵは、ＣＰＵの制御下で動作し、画像処理の実行を担う。

　本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。

　一例として図１に示すように、撮像装置１０は、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を備えている。なお、ここでは、撮像装置１０の一例として、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラが挙げられているが、本開示の技術はこれに限定されず、レンズ固定式のデジタルカメラであってもよいし、レフレックスミラーが省略されていないデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。

　撮像装置本体１２には、イメージセンサ１６が設けられている。イメージセンサ１６は、ＣＭＯＳイメージセンサである。イメージセンサ１６は、被写体群を含む撮像領域を撮像する。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、交換レンズ１４を透過してイメージセンサ１６に結像され、被写体の画像を示す画像データがイメージセンサ１６によって生成される。

　なお、本実施形態では、イメージセンサ１６としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ１６がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

　撮像装置本体１２の上面には、レリーズボタン１８及びダイヤル２０が設けられている。ダイヤル２０は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル２０が操作されることによって、撮像装置１０では、動作モードとして撮像モードと再生モードとが選択的に設定される。

　レリーズボタン１８は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置１０の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン１８に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン１８に接触した状態から離れた状態に移行した状態であってもよい。

　一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ２２及び指示キー２４が設けられている。

　タッチパネル・ディスプレイ２２は、ディスプレイ２６及びタッチパネル２８（図３も参照）を備えている。ディスプレイ２６の一例としては、有機ＥＬディスプレイが挙げられる。ディスプレイ２６は、有機ＥＬディスプレイではなく、液晶ディスプレイ又は無機ＥＬディスプレイなどの他種類のディスプレイであってもよい。

　ディスプレイ２６は、画像及び／又は文字情報等を表示する。ディスプレイ２６は、撮像装置１０が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ライブビュー画像用の撮像（以下、「ライブビュー画像用撮像」とも称する）は、例えば、６０ｆｐｓのフレームレートに従って行われる。６０ｆｐｓは、あくまでも一例に過ぎず、６０ｆｐｓ未満のフレームレートであってもよいし、６０ｆｐｓを超えるフレームレートであってもよい。

　ここで、「ライブビュー画像」とは、イメージセンサ１６によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。なお、ライブビュー画像は、本開示の技術に係る「表示用画像」の一例である。

　ディスプレイ２６は、撮像装置１０に対してレリーズボタン１８を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。更に、ディスプレイ２６は、撮像装置１０が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。

　タッチパネル２８は、透過型のタッチパネルであり、ディスプレイ２６の表示領域の表面に重ねられている。タッチパネル２８は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル２８を介してオンした状態も含まれる。

　また、本実施形態では、タッチパネル・ディスプレイ２２の一例として、タッチパネル２８がディスプレイ２６の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ２２として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

　指示キー２４は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル２８によってされてもよい。

　一例として図３に示すように、イメージセンサ１６は、光電変換素子３０を備えている。光電変換素子３０は、受光面３０Ａを有する。光電変換素子３０は、受光面３０Ａの中心と光軸ＯＡ（図１参照）とが一致するように撮像装置本体１２（図１参照）内に配置されている。光電変換素子３０は、マトリクス状に配置された複数の感光画素を有しており、受光面３０Ａは、複数の感光画素によって形成されている。感光画素は、フォトダイオードＰＤを有する画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。光電変換素子３０に含まれている感光画素の種類は、いわゆる像面位相差画素と呼ばれる位相差画素Ｐと、位相差画素Ｐとは異なる画素である非位相差画素Ｎとの２種類である。

　フォトダイオードＰＤには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑色）波長域に対応するＧフィルタ、Ｒ（赤色）波長域に対応するＲフィルタ、及びＢ（青色）波長域に対応するＢフィルタを含む。

　一般的に、非位相差画素Ｎは、通常画素とも称される。光電変換素子３０は、非位相差画素Ｎとして、Ｒ画素、Ｇ画素、及びＢ画素の３種類の感光画素を有する。Ｒ画素、Ｇ画素、Ｂ画素、及び位相差画素Ｐは、行方向（例えば、撮像装置本体１２の底面を水平面に接触させた状態での水平方向）及び列方向（例えば、水平方向に対して垂直な方向である垂直方向）の各々に既定の周期性で規則的に配置されている。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードＰＤに対応する画素であり、Ｇ画素及び位相差画素Ｐは、Ｇフィルタが配置されたフォトダイオードＰＤに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードＰＤに対応する画素である。

　受光面３０Ａには、複数の位相差画素ライン３２Ａと複数の非位相差画素ライン３２Ｂとが配列されている。位相差画素ライン３２Ａは、位相差画素Ｐを含む水平ラインである。具体的には、位相差画素ライン３２Ａは、位相差画素Ｐと非位相差画素Ｎとが混在している水平ラインである。非位相差画素ライン３２Ｂは、複数の非位相差画素Ｎのみを含む水平ラインである。

　受光面３０Ａには、位相差画素ライン３２Ａと、既定ライン数分の非位相差画素ライン３２Ｂとが列方向に沿って交互に配置されている。ここで言う「既定ライン数」とは、例えば、２ラインを指す。なお、ここでは、既定ライン数として、２ラインを例示しているが、本開示の技術はこれに限らず、既定ライン数は、３ライン以上の数ラインであってもよいし、十数ライン、数十ライン、又は数百ライン等であってもよい。

　位相差画素ライン３２Ａは、１行目から最終行にかけて列方向に２行飛ばしで配列されている。位相差画素ライン３２Ａの一部の画素が位相差画素Ｐである。具体的には、位相差画素ライン３２Ａは、位相差画素Ｐと非位相差画素Ｎとが周期的に配列された水平ラインである。位相差画素Ｐは、第１位相差画素Ｌと第２位相差画素Ｒとに大別される。位相差画素ライン３２Ａには、Ｇ画素として第１位相差画素Ｌと第２位相差画素Ｒとがライン方向に数画素間隔で交互に配置されている。

　第１位相差画素Ｌ及び第２位相差画素Ｒは、列方向で交互に現れるように配置されている。図３に示す例では、４列目において、１行目から列方向に沿って第１位相差画素Ｌ、第２位相差画素Ｒ、第１位相差画素Ｌ、及び第２位相差画素Ｒの順に配置されている。すなわち、第１位相差画素Ｌと第２位相差画素Ｒとが１行目から列方向に沿って交互に配置されている。また、図３に示す例では、１０列目において、１行目から列方向に沿って第２位相差画素Ｒ、第１位相差画素Ｌ、第２位相差画素Ｒ、及び第１位相差画素Ｌの順に配置されている。すなわち、第２位相差画素Ｒと第１位相差画素Ｌとが１行目から列方向に沿って交互に配置されている。

　光電変換素子３０は、２つの領域に区分される。すなわち、光電変換素子３０は、非位相差画素区分領域３０Ｎ及び位相差画素区分領域３０Ｐを有する。位相差画素区分領域３０Ｐは、複数の位相差画素Ｐによる位相差画素群であり、被写体光を受光して受光量に応じた電気信号として位相差画像データを生成する。位相差画像データは、例えば、測距に用いられる。非位相差画素区分領域３０Ｎは、複数の非位相差画素Ｎによる非位相差画素群であり、被写体光を受光して受光量に応じた電気信号として非位相差画像データを生成する。非位相差画像データは、例えば、可視光画像としてディスプレイ２６（図２参照）に表示される。

　一例として図４に示すように、第１位相差画素Ｌは、遮光部材３４Ａ、マイクロレンズ３６、及びフォトダイオードＰＤを備えている。第１位相差画素Ｌでは、マイクロレンズ３６とフォトダイオードＰＤの受光面との間に遮光部材３４Ａが配置されている。フォトダイオードＰＤの受光面における行方向の左半分（受光面から被写体を臨む場合の左側（換言すると、被写体から受光面を臨む場合の右側））は、遮光部材３４Ａによって遮光されている。

　第２位相差画素Ｒは、遮光部材３４Ｂ、マイクロレンズ３６、及びフォトダイオードＰＤを備えている。第２位相差画素Ｒでは、マイクロレンズ３６とフォトダイオードＰＤの受光面との間に遮光部材３４Ｂが配置されている。フォトダイオードＰＤの受光面における行方向の右半分（受光面から被写体を臨む場合の右側（換言すると、被写体から受光面を臨む場合の左側））は、遮光部材３４Ｂによって遮光されている。なお、以下では、説明の便宜上、遮光部材３４Ａ及び３４Ｂを区別して説明する必要がない場合、符号を付さずに「遮光部材」と称する。

　交換レンズ１４は、撮像レンズ４０を備えている。撮像レンズ４０の射出瞳を通過する光束は、左領域通過光３８Ｌ及び右領域通過光３８Ｒに大別される。左領域通過光３８Ｌとは、撮像レンズ４０の射出瞳を通過する光束のうち、位相差画素Ｐ側から被写体側を臨む場合の左半分の光束を指し、右領域通過光３８Ｒとは、撮像レンズ４０の射出瞳を通過する光束のうち、位相差画素Ｐ側から被写体側を臨む場合の右半分の光束を指す。撮像レンズ４０の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ３６、遮光部材３４Ａ、及び遮光部材３４Ｂにより左右に分割され、第１位相差画素Ｌが被写体光として左領域通過光３８Ｌを受光し、第２位相差画素Ｒが被写体光として右領域通過光３８Ｒを受光する。この結果、左領域通過光３８Ｌに対応する被写体像に相当する第１位相差画像データと、右領域通過光３８Ｒに対応する被写体像に相当する第２位相差画像データとが光電変換素子３０によって生成される。

　撮像装置１０では、例えば、同一の位相差画素ライン３２Ａにおいて、１ライン分の第１位相差画像データと１ライン分の第２位相差画像データとのずれ量α（以下、単に「ずれ量α」とも称する）に基づいて被写体までの距離、すなわち、被写体距離が測定される。なお、ずれ量αから被写体距離が導出される方法は公知技術であるので、ここでの詳細な説明は省略する。

　一例として図５に示すように、非位相差画素Ｎは、位相差画素Ｐに比べ、遮光部材を有しない点が異なる。非位相差画素ＮのフォトダイオードＰＤは、被写体光として左領域通過光３８Ｌ及び右領域通過光３８Ｒを受光する。

　一例として図６に示すように、撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃを備えている。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃは、被写体側（物体側）から撮像装置本体１２側（像側）にかけて、光軸ＯＡに沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃの順に配置されている。

　また、交換レンズ１４は、スライド機構４２、モータ４４、及びモータ４６を備えている。スライド機構４２には、光軸ＯＡに沿ってスライド可能にフォーカスレンズ４０Ｂが取り付けられている。また、スライド機構４２にはモータ４４が接続されており、スライド機構４２は、モータ４４の動力を受けて作動することでフォーカスレンズ４０Ｂを光軸ＯＡに沿って移動させる。絞り４０Ｃは、開口の大きさが可変な絞りである。絞り４０Ｃにはモータ４６が接続されており、絞り４０Ｃは、モータ４６の動力を受けて作動することで露出を調節する。なお、交換レンズ１４の構成物及び／又は動作方法は、必要に応じて変更可能である。

　モータ４４及び４６は、マウント（図示省略）を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本実施形態では、モータ４４及び４６の一例として、ステッピングモータが採用されている。従って、モータ４４及び４６は、撮像装置本体１２からの命令によりパルス信号に同期して動作する。また、図６に示す例では、モータ４４及び４６が交換レンズ１４に設けられている例が示されているが、これに限らず、モータ４４及び４６のうちの一方が撮像装置本体１２に設けられていてもよいし、モータ４４及び４６の双方が撮像装置本体１２に設けられていてもよい。

　撮像装置１０では、撮像モードの場合に、撮像装置本体１２に対して与えられた指示に従ってＭＦモードとＡＦモードとが選択的に設定される。ＭＦモードは、手動でピントを合わせる動作モードである。ＭＦモードでは、例えば、ユーザによって交換レンズ１４のフォーカスリングが操作されることで、フォーカスリングの操作量に応じた移動量でフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによってピントが調節される。

　ＡＦモードでは、撮像装置本体１２が被写体距離に応じた合焦位置の演算を行い、演算して得た合焦位置に向けてフォーカスレンズ４０Ｂを移動させることで、ピントを調節する。ここで、合焦位置とは、ピントが合っている状態でのフォーカスレンズ４０Ｂの光軸ＯＡ上での位置を指す。

　なお、以下では、説明の便宜上、フォーカスレンズ４０Ｂを合焦位置に合わせる制御を「ＡＦ制御」とも称する。また、以下では、説明の便宜上、合焦位置の演算を「ＡＦ演算」とも称する。撮像装置１０では、後述のＣＰＵ４８Ａによって、ＡＦ演算が行われることで複数の被写体に対する焦点の検出が行われる。そして、後述のＣＰＵ４８Ａによって、ＡＦ演算の結果、すなわち、焦点の検出結果に基づいて、被写体に対するピント合わせが行われる。

　撮像装置本体１２は、イメージセンサ１６、コントローラ４８、画像メモリ５０、ＵＩ系デバイス５２、外部Ｉ／Ｆ５４、光電変換素子ドライバ５６、モータドライバ５８、モータドライバ６０、メカニカルシャッタドライバ６２、及びメカニカルシャッタアクチュエータ６４を備えている。また、撮像装置本体１２は、メカニカルシャッタ７２を備えている。また、イメージセンサ１６は、信号処理回路７４を備えている。

　入出力インタフェース７０には、コントローラ４８、画像メモリ５０、ＵＩ系デバイス５２、外部Ｉ／Ｆ５４、光電変換素子ドライバ５６、モータドライバ５８、モータドライバ６０、メカニカルシャッタドライバ６２、及び信号処理回路７４が接続されている。

　コントローラ４８は、ＣＰＵ４８Ａ、ストレージ４８Ｂ、及びメモリ４８Ｃを備えている。ＣＰＵ４８Ａは、本開示の技術に係る「プロセッサ」の一例であり、メモリ４８Ｃは、本開示の技術に係る「メモリ」の一例であり、コントローラ４８は、本開示の技術に係る「画像支援装置」及び「コンピュータ」の一例である。

　ＣＰＵ４８Ａ、ストレージ４８Ｂ、及びメモリ４８Ｃは、バス７６を介して接続されており、バス７６は入出力インタフェース７０に接続されている。

　なお、図６に示す例では、図示の都合上、バス７６として１本のバスが図示されているが、複数本のバスであってもよい。バス７６は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

　ストレージ４８Ｂは、各種パラメータ及び各種プログラムを記憶している。ストレージ４８Ｂは、不揮発性の記憶装置である。ここでは、ストレージ４８Ｂの一例として、ＥＥＰＲＯＭが採用されている。ＥＥＰＲＯＭはあくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をストレージ４８Ｂとして適用してもよい。また、メモリ４８Ｃは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ４８Ｃの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。

　ストレージ４８Ｂには、各種プログラムが記憶されている。ＣＰＵ４８Ａは、ストレージ４８Ｂから必要なプログラムを読み出し、読み出したプログラムをメモリ４８Ｃ上で実行する。ＣＰＵ４８Ａは、メモリ４８Ｃ上で実行するプログラムに従って撮像装置本体１２の全体を制御する。図６に示す例では、画像メモリ５０、ＵＩ系デバイス５２、外部Ｉ／Ｆ５４、光電変換素子ドライバ５６、モータドライバ５８、モータドライバ６０、及びメカニカルシャッタドライバ６２がＣＰＵ４８Ａによって制御される。

　光電変換素子３０には、光電変換素子ドライバ５６が接続されている。光電変換素子ドライバ５６は、光電変換素子３０によって行われる撮像のタイミングを規定する撮像タイミング信号を、ＣＰＵ４８Ａからの指示に従って光電変換素子３０に供給する。光電変換素子３０は、光電変換素子ドライバ５６から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。

　交換レンズ１４が撮像装置本体１２に装着された場合、撮像レンズ４０に入射された被写体光は、撮像レンズ４０によって受光面３０Ａに結像される。光電変換素子３０は、光電変換素子ドライバ５６の制御下で、受光面３０Ａによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示すアナログ画像データとして信号処理回路７４に出力する。具体的には、信号処理回路７４が、露光順次読み出し方式で、光電変換素子３０から１フレーム単位で且つ水平ライン毎にアナログ画像データを読み出す。アナログ画像データは、位相差画素Ｐによって生成されたアナログの位相差画像データと、非位相差画素Ｎによって生成されたアナログの非位相差画像データとに大別される。

　信号処理回路７４は、光電変換素子３０から入力されたアナログ画像データをデジタル化することでデジタル画像データを生成する。信号処理回路７４は、非位相差画像データ処理回路７４Ａ及び位相差画像データ処理回路７４Ｂを備えている。非位相差画像データ処理回路７４Ａは、アナログの非位相差画像データをデジタル化することでデジタルの非位相差画像データを生成する。位相差画像データ処理回路７４Ｂは、アナログの位相差画像データをデジタル化することでデジタルの位相差画像データを生成する。

　なお、以下では、説明の便宜上、デジタルの非位相差画像データとデジタルの位相差画像データとを区別して説明する必要がない場合、「デジタル画像データ」と称する。また、以下では、説明の便宜上、アナログ画像データとデジタル画像データとを区別して説明する必要がない場合、「画像データ」と称する。

　メカニカルシャッタ７２は、フォーカルプレーンシャッタであり、絞り４０Ｃと受光面３０Ａとの間に配置されている。メカニカルシャッタ７２は、先幕（図示省略）及び後幕（図示省略）を備えている。先幕及び後幕の各々は、複数枚の羽根を備えている。先幕は、後幕よりも被写体側に配置されている。

　メカニカルシャッタアクチュエータ６４は、先幕用ソレノイド（図示省略）及び後幕用ソレノイド（図示省略）を有するアクチュエータである。先幕用ソレノイドは、先幕の駆動源であり、先幕に機械的に連結されている。後幕用ソレノイドは、後幕の駆動源であり、後幕に機械的に連結されている。メカニカルシャッタドライバ６２は、ＣＰＵ４８Ａからの指示に従って、メカニカルシャッタアクチュエータ６４を制御する。

　先幕用ソレノイドは、メカニカルシャッタドライバ６２の制御下で動力を生成し、生成した動力を先幕に付与することで先幕の巻き上げ及び引き下ろしを選択的に行う。後幕用ソレノイドは、メカニカルシャッタドライバ６２の制御下で動力を生成し、生成した動力を後幕に付与することで後幕の巻き上げ及び引き下ろしを選択的に行う。撮像装置１０では、先幕の開閉と後幕の開閉とがＣＰＵ４８Ａによって制御されることで、光電変換素子３０に対する露光量が制御される。

　撮像装置１０では、ライブビュー画像用撮像と、静止画像及び／又は動画像を記録するための記録画像用の撮像とが露光順次読み出し方式（ローリングシャッタ方式）で行われる。イメージセンサ１６は、電子シャッタ機能を有しており、ライブビュー画像用撮像は、メカニカルシャッタ７２を全開状態にしたまま作動させずに、電子シャッタ機能を働かせることで実現される。

　これに対し、本露光を伴う撮像、すなわち、静止画像用の撮像（以下、「本露光撮像」とも称する）は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ７２を先幕閉状態から後幕閉状態に遷移させるようにメカニカルシャッタ７２を作動させることで実現される。なお、撮像装置１０によって本露光撮像が行われることで得られる画像（以下、「本露光画像」とも称する）は、本開示の技術に係る「撮像画像」の一例である。

　画像メモリ５０には、デジタル画像データが記憶される。すなわち、非位相差画像データ処理回路７４Ａが画像メモリ５０に対して非位相差画像データを記憶させ、位相差画像データ処理回路７４Ｂが画像メモリ５０に対して位相差画像データを記憶させる。ＣＰＵ４８Ａは、画像メモリ５０からデジタル画像データを取得し、取得したデジタル画像データを用いて各種処理を実行する。

　ＵＩ系デバイス５２は、ディスプレイ２６を備えており、ＣＰＵ４８Ａは、ディスプレイ２６に対して各種情報を表示させる。また、ＵＩ系デバイス５２は、受付デバイス８０を備えている。受付デバイス８０は、タッチパネル２８及びハードキー部８２を備えている。ハードキー部８２は、指示キー２４（図２参照）を含む複数のハードキーである。ＣＰＵ４８Ａは、タッチパネル２８によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部８２がＵＩ系デバイス５２に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部８２は、外部Ｉ／Ｆ５４に接続されていてもよい。

　外部Ｉ／Ｆ５４は、撮像装置１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５４の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接的又は間接的に接続される。

　モータドライバ５８は、モータ４４に接続されており、ＣＰＵ４８Ａからの指示に従ってモータ４４を制御する。モータ４４が制御されることによって、スライド機構４２を介してフォーカスレンズ４０Ｂの光軸ＯＡ上での位置が制御される。フォーカスレンズ４０Ｂは、ＣＰＵ４８Ａからの指示に従って、イメージセンサ１６による本露光の期間を回避して移動する。

　モータドライバ６０は、モータ４６に接続されており、ＣＰＵ４８Ａからの指示に従ってモータ４６を制御する。モータ４６が制御されることによって絞り４０Ｃの開口の大きさが制御される。

　一例として図７に示すように、ストレージ４８Ｂには、撮像支援処理プログラム８４が記憶されている。ＣＰＵ４８Ａは、ストレージ４８Ｂから撮像支援処理プログラム８４を読み出し、読み出した撮像支援処理プログラム８４をメモリ４８Ｃ上で実行する。ＣＰＵ４８Ａは、メモリ４８Ｃ上で実行する撮像支援処理プログラム８４に従って撮像支援処理を行う（図２０Ａ及び図２０Ｂも参照）。

　ＣＰＵ４８Ａは、撮像支援処理を実行することで、先ず、撮像装置１０によって撮像されることで得られた本露光画像から特定される被写体の特徴（以下、「被写体特徴」とも称する）に基づいてカテゴリに分類された被写体特徴の頻度を示す頻度情報を取得する。そして、次に、ＣＰＵ４８Ａは、取得した頻度情報に基づいて、撮像装置１０による撮像を支援する支援処理（以下、単に「支援処理」とも称する）を行う。以下、撮像支援処理の内容について、より詳しく説明する。

　一例として図８に示すように、ＣＰＵ４８Ａは、撮像支援処理プログラム８４を実行することで、取得部４８Ａ１、被写体認識部４８Ａ２、特徴抽出部４８Ａ３、分類部３８Ａ４、及び制御部４８Ａ５として動作する。なお、分類部３８Ａ４は、本開示の技術に係る「分類器」の一例である。

　一例として図９に示すように、取得部４８Ａ１は、画像メモリ５０から非位相差画像データをライブビュー画像データとして取得する。ライブビュー画像データは、取得部４８Ａ１によって既定のフレームレート（例えば、６０ｆｐｓ）で画像メモリ５０から取得される。ライブビュー画像データは、ライブビュー画像を示す画像データである。ライブビュー画像データは、イメージセンサ１６によって、撮像領域が撮像されることで得られる。図９に示す例では、ライブビュー画像データとして、複数の人物が含まれている撮像領域が撮像されることによって得られたライブビュー画像データが示されている。ここで、複数の人物は、本開示の技術に係る「複数の物体」の一例である。

　なお、本実施形態では、説明の便宜上、撮像装置１０の被写体として人物を例示しているが、本開示の技術はこれに限定されず、被写体は人物以外であってもよい。人物以外の被写体としては、例えば、小動物、虫、植物、建造物、風景、生物の器官、及び／又は生物の細胞等が挙げられる。すなわち、撮像領域には、人物が含まれていなくてもよく、イメージセンサ１６によって撮像可能な被写体が含まれていればよい。

　制御部４８Ａ５は、取得部４８Ａ１によって１フレーム分のライブビュー画像データが取得される毎に、取得部４８Ａ１によって取得されたライブビュー画像データにより示されるライブビュー画像をディスプレイ２６に表示させる。ライブビュー画像には、複数の人物を示す複数の人物画像が複数の被写体を示す複数の被写体画像として含まれている。

　一例として図１０に示すように、ディスプレイ２６にライブビュー画像が表示されている状態で、外部から与えられた指示（例えば、受付デバイス８０によって受け付けられた指示）に従って指定撮像範囲が定められる。例えば、指定撮像範囲は、ユーザの指でタッチパネル２８が操作されることによって定められている。指定撮像範囲を定める目的の１つは、例えば、ピント合わせ対象となる撮像範囲を定めることである。

　図１０に示す例では、ユーザがタッチパネル２８に指を接触させながらタッチパネル２８上でスライドさせることにより形成された長方形枠（図１０に示す例では、二点鎖線の枠）内が指定撮像範囲である。制御部４８Ａ５は、外部から与えられた指示に従って定められた指定撮像範囲を示す指定撮像範囲情報８６をストレージ４８Ｂに記憶する。ストレージ４８Ｂに記憶された指定撮像範囲情報８６は、指定撮像範囲が新たに定められる毎に更新される。

　一例として図１１に示すように、取得部４８Ａ１は、画像メモリ５０から非位相差画像データを本露光画像データとして取得する。被写体認識部４８Ａ２は、取得部４８Ａ１によって取得された本露光画像データに基づいて、撮像領域内の被写体を認識する。図１１に示す例では、ストレージ４８Ｂに学習済みモデル９２が記憶されており、被写体認識部４８Ａ２は、学習済みモデル９２を用いて撮像領域内の被写体を認識する。

　学習済みモデル９２の一例としては、カスケード分類器を用いた学習済みモデルが挙げられる。カスケード分類器を用いた学習済みモデルは、例えば、ニューラルネットワークに対して教師有り機械学習が行われることによって画像認識用の学習済みモデルとして構築される。なお、学習済みモデル９２は、カスケード分類器を用いた学習済みモデルに限定される必要はなく、パターンマッチング用の辞書であってもよい。すなわち、学習済みモデル９２は、被写体が認識される場合に行われる画像解析で用いられる学習済みモデルであれば如何なる学習済みモデルであってもよい。

　被写体認識部４８Ａ２は、本露光画像データに対して画像解析を行うことで、撮像領域に含まれる人物を被写体として認識する。また、被写体認識部４８Ａ２は、本露光画像データに対して画像解析を行うことで、人物の顔（表情）、人物の姿勢、人物の眼の開閉、及び指定撮像範囲内での人物の有無等の人物の特徴を被写体特徴として認識する。

　被写体認識部４８Ａ２は、人物の顔を被写体特徴の１つとして認識する。人物の顔は、例えば、笑顔、泣き顔、怒り顔、及び真顔の何れかである。被写体認識部４８Ａ２は、例えば、笑顔、泣き顔、怒り顔、及び真顔を「人物の顔」というカテゴリに属する被写体特徴として認識する。なお、ここで、笑顔とは、人物が笑っている表情を指し、泣き顔とは、人物が泣いている表情を指し、怒り顔とは、人物が怒っている表情を指し、真顔とは、笑顔、泣き顔、及び怒り顔の何れにも該当しない表情を指す。

　また、被写体認識部４８Ａ２は、人物の姿勢を被写体特徴の１つとして認識する。人物の姿勢は、例えば、正面及び非正面の何れかである。被写体認識部４８Ａ２は、例えば、正面及び非正面を「人物の姿勢」というカテゴリに属する被写体特徴として認識する。なお、ここで、正面とは、受光面３０Ａ（図６参照）に対して人物が正面を向いている状態であることを意味する。また、非正面とは、人物の向きが正面以外の向きであることを意味する。

　また、被写体認識部４８Ａ２は、人物の眼を被写体特徴の１つとして認識する。人物の眼は、例えば、開眼及び閉眼の何れかである。被写体認識部４８Ａ２は、例えば、開眼及び閉眼を「人物の眼」というカテゴリに属する被写体特徴として認識する。なお、ここで、開眼とは、人物が眼を開いている状態を指し、閉眼とは、人物が眼を閉じている状態を指す。

　また、被写体認識部４８Ａ２は、指定撮像範囲内での人物の有無を被写体特徴の１つとして認識する。被写体認識部４８Ａ２は、指定撮像範囲内及び指定撮像範囲外を「指定撮像範囲」というカテゴリに属する被写体特徴として認識する。なお、ここで、指定撮像範囲内とは、指定撮像範囲内に人物が存在している状態を指し、指定撮像範囲外とは、指定撮像範囲外に人物が存在している状態を指す。

　また、被写体認識部４８Ａ２は、撮像領域に含まれる被写体（ここでは、一例として人物）を認識した結果を示す認識結果情報９４をメモリ４８Ｃに記憶する。認識結果情報９４は、１フレーム単位でメモリ４８Ｃに上書き保存される。認識結果情報９４は、被写体名、被写体特徴、及び認識領域特定座標を含む情報であり、撮像領域に含まれる被写体単位で、被写体名、被写体特徴、及び認識領域特定座標が対応付けられた状態でメモリ４８Ｃに記憶される。

　ここで、認識領域特定座標とは、被写体認識部４８Ａ２によって認識された被写体を示す被写体画像の特徴的な領域（例えば、人物の顔を示す顔領域）を取り囲む四角形枠（以下、「被写体枠」とも称する）のライブビュー画像内での位置を示す座標を指す。認識領域特定座標の一例としては、ライブビュー画像内での被写体枠の対角線上の２頂点の座標（例えば、左上隅の座標と右下隅の座標）が挙げられる。なお、被写体枠の形状が四角形であれば、認識領域特定座標は、３頂点の座標であってもよいし、４頂点の座標であってもよい。また、被写体枠の形状は、四角形に限らず、他形状であってもよい。この場合も、ライブビュー画像内での被写体画像の位置を特定可能な座標が認識領域特定座標として用いられるようにすればよい。

　一例として図１２に示すように、特徴抽出部４８Ａ３は、メモリ４８Ｃに記憶されている認識結果情報９４から被写体別特徴情報を抽出する。被写体別特徴情報は、被写体単位で被写体名と被写体特徴とが１対１で対応付けられた情報である。

　一例として図１３に示すように、ストレージ４８Ｂには、カテゴリデータベース９６が構築されている。カテゴリデータベース９６には、複数の被写体別カテゴリ群９８が含まれている。被写体別カテゴリ群９８は、被写体毎に１つずつ割り当てられている。図１３に示す例では、複数の被写体別カテゴリ群９８として、人物Ａ用カテゴリ群、人物Ｂ用カテゴリ群、人物Ｃ用カテゴリ群、人物Ｄ用カテゴリ群、及び人物Ｅ用カテゴリ群を含む複数のカテゴリ群（各人物に対して各々割り当てられたカテゴリ群）が示されている。複数の被写体別カテゴリ群９８の各々は、複数の人物のそれぞれ自体を特定可能なカテゴリである。なお、被写体別カテゴリ群９８は、本開示の技術に係る「物体対象カテゴリ」の一例である。

　分類部４８Ａ４は、被写体別特徴情報に含まれる被写体名から、被写体名に対応する被写体別カテゴリ群９８を特定し、特定した被写体別カテゴリ群９８に、被写体名に対応する被写体特徴を分類する。

　被写体別カテゴリ群９８には、複数のカテゴリが含まれている。被写体別カテゴリ群９８に含まれる複数のカテゴリの各々は、互いに独立した単位毎に作られたカテゴリである。単位とは、被写体特徴の単位を指す。図１３に示す例では、被写体別カテゴリ群９８に含まれる複数のカテゴリの一例として、顔カテゴリ、姿勢カテゴリ、眼カテゴリ、及び指定撮像範囲カテゴリ等が示されている。顔カテゴリは、「人物の顔」という単位の被写体特徴で定められたカテゴリである。姿勢カテゴリは、「人物の姿勢」という単位の被写体特徴で定められたカテゴリである。眼カテゴリは、「人物の眼」という単位の被写体特徴で定められたカテゴリである。指定撮像範囲カテゴリは、人物に対して適用される「指定撮像範囲」という単位の被写体特徴で定められたカテゴリである。

　一例として図１４に示すように、顔カテゴリ、姿勢カテゴリ、眼カテゴリ、及び指定撮像範囲カテゴリを大カテゴリとした場合、大カテゴリに対して複数の小カテゴリが従属している。小カテゴリは、大カテゴリが示す被写体特徴に従属する被写体特徴が分類されるカテゴリである。複数の小カテゴリには、分類回数が対応付けられている。小カテゴリには、被写体特徴が分類部４８Ａ４によって分類される。小カテゴリに被写体特徴が１回分類されて加わる毎に、被写体特徴が分類された回数として「１」が分類回数に加算される。

　図１４に示す例では、人物Ａに対して用いられる被写体別カテゴリ群９８内の顔カテゴリに含まれる複数のカテゴリとして、笑顔カテゴリ、泣き顔カテゴリ、怒り顔カテゴリ、及び真顔カテゴリが示されている。分類部４８Ａ４は、人物Ａの「笑顔」という被写体特徴を笑顔カテゴリに分類する。そして、分類部４８Ａ４は、笑顔カテゴリに「笑顔」という被写体特徴を１回分類する毎に、笑顔カテゴリについての分類回数に「１」を加算する。人物Ａの「泣き顔」、「怒り顔」、及び「真顔」という各被写体特徴についても、「笑顔」という被写体特徴と同様に、分類部４８Ａ４によって対応するカテゴリに分類され、対応する分類回数に「１」が加算される。

　顔カテゴリに対しても分類回数が対応付けられている。顔カテゴリについての分類回数は、笑顔カテゴリについての分類回数、泣き顔カテゴリについての分類回数、怒り顔カテゴリについての分類回数、及び真顔カテゴリについての分類回数の総和である。

　また、図１４に示す例では、人物Ａに対して用いられる被写体別カテゴリ群９８内の姿勢カテゴリに含まれる複数のカテゴリとして、正面カテゴリ及び非正面カテゴリが示されている。分類部４８Ａ４は、人物Ａの「正面」という被写体特徴を正面カテゴリに分類する。そして、分類部４８Ａ４は、正面カテゴリに「正面」という被写体特徴を１回分類する毎に、正面カテゴリについての分類回数に「１」を加算する。人物Ａの「非正面」という被写体特徴についても、「正面」という被写体特徴と同様に、分類部４８Ａ４によって非正面カテゴリに分類され、対応する分類回数に「１」が加算される。

　姿勢カテゴリに対しても分類回数が対応付けられている。姿勢カテゴリについての分類回数は、正面カテゴリについての分類回数及び非正面カテゴリについての分類回数の総和である。

　また、図１４に示す例では、人物Ａに対して用いられる被写体別カテゴリ群９８内の眼カテゴリに含まれる複数のカテゴリとして、開眼カテゴリ及び閉眼カテゴリが示されている。分類部４８Ａ４は、人物Ａの「開眼」という被写体特徴を開眼カテゴリに分類する。そして、分類部４８Ａ４は、開眼カテゴリに「開眼」という被写体特徴を１回分類する毎に、開眼カテゴリについての分類回数に「１」を加算する。人物Ａの「閉眼」という被写体特徴についても、「閉眼」という被写体特徴と同様に、分類部４８Ａ４によって閉眼カテゴリに分類され、対応する分類回数に「１」が加算される。

　眼カテゴリに対しても分類回数が対応付けられている。眼カテゴリについての分類回数は、開眼カテゴリについての分類回数及び閉眼カテゴリについての分類回数の総和である。

　更に、図１４に示す例では、人物Ａに対して用いられる被写体別カテゴリ群９８内の指定撮像範囲カテゴリに含まれる複数のカテゴリとして、指定撮像範囲内カテゴリ及び指定撮像範囲外カテゴリが示されている。分類部４８Ａ４は、「指定撮像範囲内」という被写体特徴を指定撮像範囲内カテゴリに分類する。そして、分類部４８Ａ４は、指定撮像範囲内カテゴリに「指定撮像範囲内」という被写体特徴を１回分類する毎に、指定撮像範囲内カテゴリについての分類回数に「１」を加算する。「指定撮像範囲外」という被写体特徴についても、「指定撮像範囲内」という被写体特徴と同様に、分類部４８Ａ４によって指定撮像範囲外カテゴリに分類され、対応する分類回数に「１」が加算される。

　指定撮像範囲カテゴリに対しても分類回数が対応付けられている。指定撮像範囲カテゴリについての分類回数は、指定撮像範囲内カテゴリについての分類回数及び指定撮像範囲外カテゴリについての分類回数の総和である。

　被写体別カテゴリ群９８は、「被写体名」という単位の被写体特徴で定められたカテゴリであり、被写体別カテゴリ群９８には、被写体名という被写体特徴が分類される。被写体別カテゴリ群９８に対しても分類回数が対応付けられている。被写体別カテゴリ群９８に対応付けられている分類回数は、被写体別カテゴリ群９８に属する複数の大カテゴリの分類回数の総和である。

　一例として図１５に示すように、取得部４８Ａ１は、画像メモリ５０から非位相差画像データをライブビュー画像データとして取得する。被写体認識部４８Ａ２は、取得部４８Ａ１によって取得されたライブビュー画像データに基づいて、学習済みモデル９２を用いて撮像領域内の被写体を認識する。

　被写体認識部４８Ａ２は、ライブビュー画像データに対して画像解析を行うことで、撮像領域に含まれる人物を被写体として認識する。また、被写体認識部４８Ａ２は、ライブビュー画像データに対して画像解析を行うことで、人物の顔、人物の姿勢、人物の眼の開閉、及び指定撮像範囲内での人物の有無等の人物の特徴を被写体特徴として認識する。

　すなわち、被写体認識部４８Ａ２は、ライブビュー画像データに対して画像解析を行うことで、顔カテゴリに属する被写体特徴として、笑顔、泣き顔、怒り顔、及び真顔を認識する。また、被写体認識部４８Ａ２は、ライブビュー画像データに対して画像解析を行うことで、姿勢カテゴリに属する被写体特徴として、正面及び非正面を認識する。また、被写体認識部４８Ａ２は、ライブビュー画像データに対して画像解析を行うことで、眼カテゴリに属する被写体特徴として、開眼及び閉眼を認識する。更に、被写体認識部４８Ａ２は、ライブビュー画像データに対して画像解析を行うことで、指定撮像範囲カテゴリに属する被写体特徴として、指定撮像範囲内及び指定撮像範囲外を認識する。被写体認識部４８Ａ２は、撮像領域に含まれる人物を認識した結果を示す認識結果情報９４をメモリ４８Ｃに記憶する。認識結果情報９４は、１フレーム単位でメモリ４８Ｃに上書き保存される。

　一例として図１６に示すように、制御部４８Ａ５は、取得部４８Ａ１によって取得されたライブビュー画像データにより示されるライブビュー画像をディスプレイ２６に表示させる。また、制御部４８Ａ５は、メモリ４８Ｃに記憶されている認識結果情報９４を参照して、ライブビュー画像データに基づいて被写体認識部４８Ａ２によって被写体として認識された人物（以下、「認識人物」とも称する）についてのカテゴリ毎の分類回数を、カテゴリデータベース９６に含まれる各カテゴリから取得する。すなわち、制御部４８Ａ５は、認識人物に対応する被写体別カテゴリ群９８の各カテゴリから、認識人物毎に分類回数を取得する。

　制御部４８Ａ５は、カテゴリデータベース９６に含まれる各カテゴリから取得した分類回数に基づいて撮像支援画面１００を生成し、生成した撮像支援画面１００をライブビュー画像に重畳表示する。図１６に示す例では、ライブビュー画像の左上に撮像支援画面１００が表示されている。

　一例として図１７に示すように、撮像支援画面１００内には、バブルチャート１００Ａ及びカテゴリ選択画面１００Ｂが表示されている。バブルチャート１００Ａは、複数の認識人物を示す軸と、カテゴリを示す軸との２軸上に分類回数を示すバブルがプロットされたチャートである。

　図１７に示す例では、バブルチャート１００Ａの一例として、顔カテゴリに関するバブルチャート（以下、「顔カテゴリバブルチャート」とも称する）が示されている。顔カテゴリバブルチャートは、人物Ａ～Ｅを含む複数の人物の各々について、顔カテゴリに属する笑顔カテゴリ、泣き顔カテゴリ、怒り顔カテゴリ、及び真顔カテゴリの各分類回数のバブルがプロットされたチャートである。

　撮像支援画面１００には、顔カテゴリバブルチャートの他にも、姿勢カテゴリに関するバブルチャート（以下、「姿勢カテゴリバブルチャート」とも称する）、眼カテゴリに関するバブルチャート（以下、「眼カテゴリバブルチャート」とも称する）、及び指定撮像範囲カテゴリに関するバブルチャート（以下、「指定撮像範囲カテゴリバブルチャート」とも称する）が、外部から与えられた指示に従って選択的に表示される。ここで、外部から与えられた指示とは、例えば、受付デバイス８０によって受け付けられた指示が挙げられる。図１７に示す例では、カテゴリ選択画面１００Ｂ内に、各カテゴリの名称が示された複数のソフトキーがスクロール方式で表示されている。ユーザの指による操作でタッチパネルを介して何れかのソフトキーがオンされると、オンされたソフトキーに対応するカテゴリに関するバブルチャートが新たなバブルチャート１００Ａとして撮像支援画面１００内に表示される。

　また、ユーザの指による操作でタッチパネルを介してバブルチャート１００Ａ内の何れかの人物が選択されると、選択された人物について、現時点で表示されているバブルチャート１００Ａの各カテゴリの分類回数がヒストグラム１００Ｃ（図１８参照）として撮像支援画面１００内に表示される。図１７に示す例では、ユーザの指による操作でタッチパネルを介してバブルチャート１００Ａ内の人物Ａが選択されている。この場合、一例として図１８に示すように、ヒストグラム１００Ｃとして、人物Ａについて、顔カテゴリの撮像傾向を示すヒストグラム（以下、「顔カテゴリヒストグラム」とも称する）が表示される。顔カテゴリヒストグラムは、横軸は、笑顔カテゴリ、泣き顔カテゴリ、怒り顔カテゴリ、及び真顔カテゴリの各カテゴリを示しており、縦軸は分類回数を示している。

　図１８に示す例では、ヒストグラム１００Ｃとして顔カテゴリヒストグラムが示されているが、バブルチャート１００Ａの種類、及びユーザによって選択された人物に応じて、異なる種類のヒストグラムがヒストグラム１００Ｃとして表示される。ヒストグラム１００Ｃの種類としては、顔カテゴリヒストグラムの他に、例えば、選択された人物毎に、姿勢カテゴリの撮像傾向を示すヒストグラム（以下、「姿勢カテゴリヒストグラム」とも称する）、眼カテゴリの撮像傾向を示すヒストグラム（以下、「眼カテゴリヒストグラム」とも称する）、及び指定撮像範囲カテゴリの撮像傾向を示すヒストグラム（以下、「指定撮像範囲カテゴリヒストグラム」とも称する）等が挙げられる。また、人物毎のヒストグラムに限らず、横軸を人物Ａ～Ｅとし、縦軸を被写体別カテゴリ群９８に分類された回数としたヒストグラムであってもよい。このように、ヒストグラムの横軸及び縦軸は、ヒストグラムを構成し得る要素であれば如何なる要素の軸であってもよい。

　図１８に示す例では、撮像支援画面１００内に表示切替指示画面１００Ｄが表示されている。表示切替指示画面１００Ｄは、ヒストグラム１００Ｃの表示からバブルチャート１００Ａの表示への切り替えの指示を受け付ける画面である。表示切替指示画面１００Ｄには、バブルチャート１００Ａへの切り替えを案内するメッセージ（図１８に示す例では、「バブルチャート画面に戻しますか？」というメッセージ）と、切替ソフトキー（図１８に示す例では、「はい」と表示されたソフトキー）とが表示されている。ユーザの指による操作でタッチパネルを介して切替ソフトキーがオンされると、ヒストグラム１００Ｃの表示からバブルチャート１００Ａの表示へ切り替えられる。

　ここで、受付デバイス８０（図１８に示す例では、タッチパネル２８）によって、ヒストグラム１００Ｃ内の何れかのカテゴリの分類回数が指定される。図１８に示す例では、笑顔カテゴリがユーザの指でタッチパネル２８を介して選択されることで笑顔カテゴリの分類回数が指定されている。このように、何れかのカテゴリの分類回数が指定された場合、指定された分類回数に対応するカテゴリ（以下、「対象カテゴリ」とも称する）についての支援処理が制御部４８Ａ５によって行われる。

　また、図１８に示す例では、人物Ａについてのヒストグラム１００Ｃ内の複数のカテゴリ（笑顔カテゴリ、泣き顔カテゴリ、怒り顔カテゴリ、及び真顔カテゴリ）から笑顔カテゴリが対象カテゴリとして指定されている。対象カテゴリは、分類回数に基づいて定められたカテゴリ（図１８に示す例では、タッチパネル２８によって受け付けられた指示に従って、分類回数に基づいて指定されたカテゴリ）である。この場合、支援処理として、笑顔カテゴリに属する被写体特徴である「笑顔」を有する人物Ａ（以下、「対象カテゴリ被写体Ｓ」とも称する（図１９参照））に対するイメージセンサ１６を用いた撮像を支援する処理が行われる。

　対象カテゴリ被写体が撮像装置１０によって撮像される場合、対象カテゴリは、対象カテゴリ被写体Ｓの状態（例えば、顔の表情、姿勢、眼の開閉状態、及び／又は、人物と指定撮像範囲との位置関係等）に応じて定められたカテゴリであって、対象カテゴリ被写体Ｓについての被写体特徴が分類されるカテゴリである。図１８に示す例では、対象カテゴリ被写体Ｓとして人物Ａが撮像装置１０によって撮像される場合、人物Ａの笑顔、泣き顔、怒り顔、及び真顔のうち、最も撮像されていない表情である笑顔という被写体特徴が分類される笑顔カテゴリがユーザによって対象カテゴリとして指定されている。

　ヒストグラム１００Ｃからユーザによって対象カテゴリとして指定された笑顔カテゴリは、泣き顔カテゴリ、怒り顔カテゴリ、及び真顔カテゴリに比べ、分類回数が最も低いカテゴリである。これは、人物Ａが笑顔で写っている本露光画像の枚数が、他の表情で写っている本露光画像の枚数よりも少ないことを意味する。なお、ヒストグラム１００Ｃにおいて笑顔カテゴリは、本開示の技術に係る「低頻度カテゴリ」の一例である。

　このようにヒストグラム１００Ｃから対象カテゴリが指定されると、一例として図１９に示すように、制御部４８Ａ５は、対象カテゴリ被写体Ｓを含む撮像領域が撮像装置１０によって撮像されることで得られたライブビュー画像をディスプレイ２６に表示させ、かつ、支援処理として、認識結果情報９４に基づいて笑顔の対象カテゴリ被写体Ｓを特定し、特定した対象カテゴリ被写体Ｓの撮像を推奨する表示を行う表示処理を行う。表示処理は、ライブビュー画像上において、笑顔の対象カテゴリ被写体Ｓを示す対象カテゴリ被写体画像Ｓ１を指し示す矢印を表示し、かつ、矢印が指し示す対象カテゴリ被写体画像Ｓ１により示される対象カテゴリ被写体Ｓの撮像を推奨する情報（以下、「撮像推奨情報」とも称する）を表示する処理を含む。図１９に示す例では、撮像推奨情報の一例として、「この被写体を撮ることをお勧めします」というメッセージが示されている。

　また、表示処理は、ライブビュー画像内で対象カテゴリ被写体画像Ｓ１を他の画像領域と区別可能な態様で表示する処理を含む。この場合、例えば、制御部４８Ａ５は、メモリ４８Ｃに記憶されている認識結果情報９４に基づいて対象カテゴリ被写体画像の顔領域（対象カテゴリ被写体Ｓの顔を示す画像領域）を検出し、検出した顔領域を取り囲む検出枠１０２をライブビュー画像内に表示することで、ライブビュー画像内で対象カテゴリ被写体画像Ｓ１を他の画像領域と区別可能な態様で表示する。

　なお、ライブビュー画像内で対象カテゴリ被写体画像Ｓ１を他の画像領域と区別可能な態様で表示する方法はこれに限らず、例えば、ライブビュー画像内において対象カテゴリ被写体画像Ｓ１のみがピーキング方式で表示されるようにしてもよい。

　次に、撮像装置１０の作用について図２０Ａ及び図２０Ｂを参照しつつ説明する。

　図２０Ａ及び図２０Ｂには、撮像装置１０に対して撮像モードが設定された場合にＣＰＵ４８Ａによって実行される撮像支援処理の流れの一例が示されている。撮像支援処理の流れは、本開示の技術に係る「撮像支援方法」の一例である。なお、以下では、説明の便宜上、撮像装置１０によってライブビュー画像用の撮像が既定のフレームレートで行われていることを前提として説明する。また、以下では、説明の便宜上、ストレージ４８Ｂに指定撮像範囲情報８６が記憶されており、カテゴリデータベース９６が構築済みであることを前提として説明する。

　図２０Ａに示す撮像支援処理では、先ず、ステップＳＴ１００で、取得部４８Ａ１は、画像メモリ５０からライブビュー画像データを取得する。

　次のステップＳＴ１０２で、制御部４８Ａ５は、ステップＳＴ１００で取得されたライブビュー画像データにより示されるライブビュー画像をディスプレイ２６に表示させる。

　次のステップＳＴ１０４で、被写体認識部４８Ａ２は、ステップＳＴ１００で取得されたライブビュー画像データに基づいて、学習済みモデル９２を用いて撮像領域内の被写体を認識する。

　次のステップＳＴ１０６で、制御部４８Ａ５は、ステップＳＴ１０４で認識された被写体についてのカテゴリ毎の分類回数をカテゴリデータベース９６から取得する。

　次のステップＳＴ１０８で、制御部４８Ａ５は、ステップＳＴ１０６で取得した分類回数に基づいて撮像支援画面１００を作成し、作成した撮像支援画面１００をライブビュー画像内の一部領域に表示する。

　次のステップＳＴ１１０で、制御部４８Ａ５は、撮像支援画面１００内のヒストグラム１００Ｃから何れかの分類回数が指定済みであるか否かを判定する。ステップＳＴ１１０において、撮像支援画面１００内のヒストグラム１００Ｃから何れかの分類回数が未だに指定されていない場合は、判定が否定されて、撮像支援処理は、図２０Ｂに示すステップＳＴ１１６へ移行する。ステップＳＴ１１０において、撮像支援画面１００内のヒストグラム１００Ｃから何れかの分類回数が指定済みの場合は、判定が肯定されて、撮像支援処理はステップＳＴ１１２へ移行する。

　ステップＳＴ１１２で、制御部４８Ａ５は、指定された分類回数に基づいて指定された対象カテゴリに属する被写体特徴を有する対象カテゴリ被写体Ｓを示す対象カテゴリ被写体画像Ｓ１の顔領域を取り囲むように検出枠１０２をライブビュー画像内に表示する。

　次のステップＳＴ１１４で、制御部４８Ａ５は、ライブビュー画像内に撮像推奨情報を表示する。ステップＳＴ１１４の処理が実行された後、撮像支援処理は、図２０Ｂに示すステップＳＴ１１６へ移行する。

　ステップＳＴ１１６で、制御部４８Ａ５は、本露光を開始する条件（以下、「本露光開始条件」と称する）を満足したか否かを判定する。本露光開始条件の一例としては、受付デバイス８０によって受け付けられた指示によって、上述した全押し状態になった、との条件が挙げられる。ステップＳＴ１１６において、本露光開始条件を満足していない場合は、判定が否定されて、撮像支援処理はステップＳＴ１３０へ移行する。ステップＳＴ１１６において、本露光開始条件を満足した場合は、判定が肯定されて、撮像支援処理はステップＳＴ１１８へ移行する。

　ステップＳＴ１１８で、制御部４８Ａ５は、対象カテゴリ被写体Ｓを含む撮像領域について、イメージセンサ１６に対して本露光撮像を行わせる。本露光撮像が行われることにより画像メモリ５０には、対象カテゴリ被写体Ｓを含む撮像領域の本露光画像を示す本露光画像データが記憶される。

　次のステップＳＴ１２０で、取得部４８Ａ１は、画像メモリ５０から本露光画像データを取得する。

　次のステップＳＴ１２２で、被写体認識部４８Ａ２は、ステップＳＴ１２０で取得された本露光画像データに基づいて、学習済みモデル９２を用いて撮像領域内の被写体を認識し、認識結果情報９４をメモリ４８Ｃに記憶する。

　次のステップＳＴ１２４で、特徴抽出部４８Ａ３は、メモリ４８Ｃに記憶されている認識結果情報９４から被写体毎に被写体別特徴情報を抽出する。

　次のステップＳＴ１２６で、分類部４８Ａ４は、ステップＳＴ１２４で抽出された被写体別特徴情報に含まれる被写体名から、被写体名に対応する被写体別カテゴリ群９８を特定し、特定した被写体別カテゴリ群９８内の対応するカテゴリに被写体特徴を分類する。

　次のステップＳＴ１２８で、分類部４８Ａ４は、被写体特徴を分類したカテゴリの分類回数に「１」を加算することで分類回数を更新する。

　次のステップＳＴ１３０で、制御部４８Ａ５は、ディスプレイ２６からライブビュー画像等（例えば、ライブビュー画像、撮像支援画面１００、検出枠１０２、及び撮像推奨情報）を消去する。

　次のステップＳＴ１３２で、制御部４８Ａ５は、撮像支援処理を終了する条件（以下、「撮像支援処理終了条件」とも称する）を満足したか否かを判定する。撮像支援処理終了条件の一例としては、撮像装置１０に対して設定されている撮像モードが解除された、との条件、又は、撮像支援処理を終了させる指示が受付デバイス８０によって受け付けられた、との条件等が挙げられる。ステップＳＴ１２０において、撮像支援処理終了条件を満足していない場合は、判定が否定されて、撮像援処理は、ステップＳＴ１００へ移行する。ステップＳＴ１３２において、撮像支援処理終了条件を満足した場合は、判定が肯定されて、撮像支援処理が終了する。

　以上説明したように、撮像装置１０では、本露光画像から特定される被写体の被写体特徴に基づいてカテゴリに分類された被写体特徴の分類回数が制御部４８Ａ５によって取得される。そして、制御部４８Ａ５によって、分類回数に基づいて撮像装置１０による撮像を支援する支援処理が行われる。従って、本構成によれば、被写体特徴がカテゴリに分類される分類回数に応じて撮像装置１０による撮像を支援することができる。

　また、撮像装置１０では、カテゴリが対象カテゴリを含む複数のカテゴリに類別されている。また、対象カテゴリは、分類回数に基づいて定められたカテゴリである。図１８に示す例では、分類回数がユーザによって選択されることによって対象カテゴリが指定されている。そして、制御部４８Ａ５によって、対象カテゴリに属する被写体特徴を有する対象カテゴリ被写体Ｓに対して撮像を支援する処理が行われる。図１９に示す例では、笑顔の対象カテゴリ被写体Ｓに対して撮像を支援する処理が行われている。

　なお、図１９に示す例では、笑顔カテゴリの分類回数がユーザによって選択されることよって笑顔カテゴリが指定されているので、笑顔の対象カテゴリ被写体Ｓに対しての撮像が支援されているが、他の被写体特徴（例えば、泣き顔、怒り顔、及び／又は真顔）の分類回数がユーザによって選択されることで、顔カテゴリ内の複数の小カテゴリのうち、笑顔カテゴリ以外の小カテゴリが指定された場合には、指定された対象カテゴリに属する被写体特徴を有する対象カテゴリ被写体Ｓに対して撮像を支援する処理が行われる。

　顔カテゴリに属する小カテゴリに限らず、他の大カテゴリに属する小カテゴリに分類されている被写体特徴の分類回数がユーザによって選択されることによって小カテゴリが指定された場合には、対象カテゴリとして指定された小カテゴリに属する被写体特徴を有する対象カテゴリ被写体Ｓに対して撮像を支援する処理が行われる。

　また、被写体別カテゴリ群９８に被写体特徴として分類されている被写体名の分類回数がユーザによって選択されることで被写体別カテゴリ群９８が指定された場合には、対象カテゴリとして指定された被写体別カテゴリ群９８に属する被写体特徴を有する対象カテゴリ被写体Ｓ、すなわち、対象カテゴリとして指定された被写体別カテゴリ群９８に対応する被写体名の対象カテゴリ被写体Ｓに対して撮像を支援する処理が行われる。

　従って、本構成によれば、ユーザが求める対象カテゴリ被写体Ｓか否かが撮像者の勘のみから判断されて撮像が行われる場合に比べ、ユーザが求める対象カテゴリ被写体を効率的に撮像することができる。

　また、本実施形態では、対象カテゴリ被写体Ｓの撮像を推奨する表示として、撮像推奨情報（図１９に示す例では、「この被写体を撮ることをお勧めします」というメッセージ）の表示が行われる。従って、本構成によれば、ユーザが求める被写体特徴を有する対象カテゴリ被写体Ｓか否かが撮像者の勘のみから判断されて撮像が行われる場合に比べ、ユーザが求める表情の対象カテゴリ被写体を効率的に撮像することができる。

　また、本実施形態では、制御部４８Ａ５によって、ライブビュー画像がディスプレイ２６に表示され、かつ、ライブビュー画像内で対象カテゴリ被写体画像Ｓ１が他の画像領域区別可能な態様で表示される。従って、本構成によれば、ユーザに対して、対象カテゴリ被写体を視覚的に認識させることができる。

　また、本実施形態では、制御部４８Ａ５によって、ライブビュー画像がディスプレイ２６に表示され、かつ、ライブビュー画像内で対象カテゴリ被写体画像Ｓ１の顔領域に対して検出枠１０２が表示される。従って、本構成によれば、ユーザに対して、検出枠１０２が表示されている表示領域に対応する被写体が対象カテゴリ被写体であると認識させることができる。

　また、本実施形態では、対象カテゴリとして、複数のカテゴリ間で分類回数が相対的に低いカテゴリ（図１８に示す例では、笑顔カテゴリ）がユーザによって指定されている。従って、本構成によれば、複数のカテゴリ間で分類回数が相対的に低いカテゴリの被写体か否かが撮像者の勘のみから判断されて撮像が行われる場合に比べ、複数のカテゴリ間で分類回数が相対的に低いカテゴリの被写体を効率的に撮像することができる。

　また、本実施形態では、対象カテゴリが、対象カテゴリ被写体Ｓの状態（例えば、人物の表情）に応じて定められたカテゴリである。図１９に示す例では、対象カテゴリとして、「笑顔」という被写体Ｓの状態に応じて定められた笑顔カテゴリが指定されている。そして、指定されたカテゴリに分類された被写体特徴を有する被写体である対象カテゴリ被写体Ｓに対する撮像を支援する処理が制御部４８Ａ５によって行われる。従って、本構成によれば、同じ状態の被写体に対する撮像の回数を増やしたり、逆に、同じ状態の被写体に対する撮像の回数を減らしたりすることができる。

　また、本実施形態では、複数の人物のそれぞれ自体を特定可能なカテゴリとして複数の被写体別カテゴリ群９８がカテゴリデータベース９６内に含まれている。そのため、ユーザによって指定された被写体別カテゴリ群９８に対応する被写体である対象カテゴリ被写体Ｓに対する撮像を支援する処理が制御部４８Ａ５によって行われる。従って、本構成によれば、同じ被写体に対する撮像の回数を増やしたり、逆に、同じ被写体に対する撮像の回数を減らしたりすることができる。

　また、本実施形態では、被写体特徴が分類されるカテゴリが複数の単位毎に作られている。複数の単位としては、例えば、「被写体名（例えば、人物の名前、又は、人物を特定可能な識別子）」という単位、「人物の顔（表情）」という単位、「人物の姿勢」という単位、「人物の眼」という単位、及び「指定撮像範囲」という単位が挙げられる。従って、本構成によれば、指定された単位のカテゴリに被写体特徴が分類される分類回数に応じて撮像装置１０による撮像を支援することができる。

　また、本実施形態では、撮像装置１０による撮像を支援する支援処理として、分類回数をディスプレイ２６に表示させる処理を含む処理が制御部４８Ａ５によって行われる。図１７に示す例では、バブルチャート１００Ａを用いて分類回数が表現されており、図１８に示す例では、ヒストグラム１００Ｃを用いて分類回数が表現されている。従って、本構成によれば、種々の被写体特徴の各々に関して撮像が行われた回数をユーザに把握させることができる。

　また、本実施形態では、ヒストグラム１００Ｃがディスプレイ２６に表示されている状態で、受付デバイス８０によってヒストグラム１００Ｃ内の分類回数が指定された場合に、指定された分類回数に対応するカテゴリに関する撮像を支援する処理が制御部４８Ａ５によって行われる。従って、本構成によれば、ユーザが意図する被写体特徴を有する被写体に対する撮像を支援することができる。

　なお、上記実施形態では、指定撮像範囲内に対象カテゴリ被写体Ｓが位置している形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、指定撮像範囲外に対象カテゴリ被写体Ｓが位置している場合、一例として図２１に示すように、ライブビュー画像内において、指定撮像範囲を示すオブジェクトＯｂから外れた位置に対象カテゴリ被写体画像Ｓ１が表示される。この場合、制御部４８Ａ５は、ライブビュー画像内において、指定撮像範囲を示すオブジェクトＯｂと、対象カテゴリ被写体画像Ｓ１（本開示の技術に係る「対象カテゴリ被写体を示すオブジェクト」の一例）とを別の表示態様で表示する。図２１に示す例では、対象カテゴリ被写体画像Ｓ１がピーキング方式で表示されており、オブジェクトＯｂは半透明色（例えば、半透明なグレー）で色付けされている。これにより、ユーザが撮像対象として意図している指定撮像範囲と対象カテゴリ被写体Ｓとを視覚的に識別することができる。

　また、上記実施形態では、ヒストグラム１００Ｃに示されている分類回数がユーザによってタッチパネル２８を介して指定されることによって、指定された分類回数に対応するカテゴリ（図１８に示す例では、笑顔カテゴリ）に関する撮像が支援されるようにしたが、本開示の技術はこれに限定されない。例えば、制御部４８Ａ５は、複数のカテゴリのうち、分類回数が相対的に低い低頻度カテゴリを対象カテゴリとして特定し、特定した低頻度カテゴリに関する撮像を支援する処理を行うようにしてもよい。例えば、低頻度カテゴリとは、ユーザによって受付デバイス８０を介して指定された大カテゴリ（例えば、顔カテゴリ）に属する複数の小カテゴリ（笑顔カテゴリ、泣き顔カテゴリ、怒り顔カテゴリ、及び真顔カテゴリ）のうち、分類回数が最も少ないカテゴリ（例えば、笑顔カテゴリ）を指す。制御部４８Ａ５は、ライブビュー画像において、ユーザによって受付デバイス８０を介して指定された注目被写体（例えば、人物Ａ）のうち、低頻度カテゴリに分類される被写体特徴を有する注目被写体を特定し、特定した注目被写体に対する撮像を支援する処理を行う。この場合、ヒストグラム１００Ｃに対する選択（ユーザによる操作）は不要であり、撮像支援画面１００も表示されなくてもよい。

　このように、低頻度カテゴリに分類される被写体特徴を有する注目被写体に対する撮像を支援する処理が制御部４８Ａ５によって行われる場合、一例として図２２に示すように、撮像支援処理がＣＰＵ４８Ａによって実行される。図２２に示すフローチャートは、図２０Ａに示すフローチャートに比べ、ステップＳＴ１０６～ステップＳＴ１１２に代えて、ステップＳＴ２００及びステップＳＴ２０２を有する点が異なる。

　図２２に示す撮像支援処理のステップＳＴ２００で、制御部４８Ａ５は、ユーザによって指定された注目被写体について、ユーザによって指定された大カテゴリ内の複数の小カテゴリから低頻度カテゴリを特定する。例えば、図２２に示すバブルチャート１００Ａによれば、ユーザによって大カテゴリとして顔カテゴリが指定され、かつ、ユーザによって注目被写体として人物Ａが指定された場合、制御部４８Ａ５によって、笑顔カテゴリが低頻度カテゴリとして特定される。

　次のステップＳＴ２０２で、制御部４８Ａ５は、ライブビュー画像において、ユーザによって指定された注目被写体のうち、低頻度カテゴリに分類される被写体特徴を有する注目被写体を示す被写体画像（以下、「注目被写体画像」とも称する）を特定し、注目被写体画像の顔領域に対して検出枠１０２（図１９及び図２１参照）を表示する。例えば、ユーザによって注目被写体として人物Ａが指定され、ステップＳＴ２００において低頻度カテゴリとして笑顔カテゴリが自動的に特定された場合、先ず、制御部４８Ａ５によって、認識結果情報９４に基づいて、ライブビュー画像内において、人物Ａのうちの笑顔の人物Ａを示す人物画像が注目被写体画像として特定される。そして、制御部４８Ａ５によって、ライブビュー画像内において、笑顔の人物Ａを示す人物画像の顔領域を取り囲む検出枠１０２が表示される。なお、本実施形態において、「自動」とは、人為的な操作（例えば、ユーザによる操作）をトリガーにして動くことではなく、コントローラ４８主体で動くことを意味する。

　従って、図２２に示す例によれば、分類回数が最も少ないカテゴリに分類されている被写体特徴を有する被写体に対する撮像が支援されるので、低頻度カテゴリの被写体か否かが撮像者の勘のみから判断されて撮像される場合に比べ、低頻度カテゴリの被写体を効率的に撮像することができる。

　上記実施形態では、撮像支援処理において本露光開始条件としてユーザからの指示が受付デバイス８０によって受け付けられたという条件を満足した場合に本露光撮像が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御部４８Ａ５は、撮像装置１０による撮像結果に基づいて対象カテゴリ被写体を検出し、対象カテゴリ被写体を検出したことを条件に、対象カテゴリ被写体に対応する画像を含む画像を自動的取得するようにしてもよい。

　この場合、例えば、制御部４８Ａ５によって、先ず、図２２に示す例と同様に、低頻度カテゴリが対象カテゴリとして特定される。そして、制御部４８Ａ５によって、認識結果情報９４に基づいて、ライブビュー画像内に低頻度カテゴリに対応する注目被写体画像である低頻度注目被写体画像が存在することが検出された場合に、自動的に本露光撮像が開始されるようにする。ここで、低頻度カテゴリに対応する低頻度注目被写体画像とは、例えば、人物Ａが注目被写体として指定されているという前提で、制御部４８Ａ５によって低頻度カテゴリとして笑顔カテゴリが特定された場合の人物Ａのうちの「笑顔」という被写体特徴を有する人物Ａを示す注目被写体画像を指す。なお、本露光撮像が行われることにより、１フレーム分の本露光画像データが既定の記憶領域（例えば、画像メモリ５０）に記憶されるようにしてもよいし、１フレーム分の本露光画像データのうち、低頻度注目被写体画像に関するデータのみが既定の記憶領域に記憶されるようにしてもよい。

　このように、対象カテゴリ被写体を検出したことを条件に対象カテゴリ被写体に対応する画像を含む画像が制御部４８Ａ５によって自動的に取得される場合、一例として図２３に示すように、撮像支援処理がＣＰＵ４８Ａによって実行される。図２３に示すフローチャートは、図２０Ａ及び図２０Ｂに示すフローチャートに比べ、ステップＳＴ１０６～ステップＳＴ１１６に代えて、ステップＳＴ３００及びステップＳＴ３０２を有する点が異なる。

　図２３に示す撮像支援処理のステップＳＴ３００で、制御部４８Ａ５は、図２２に示すステップＳＴ２００の処理と同様の処理を実行する。

　次のステップＳＴ３０２で、制御部４８Ａ５は、認識結果情報９４に基づいてライブビュー画像内に低頻度注目被写体画像が存在しているか否かを判定する。ステップＳＴ３０２において、ライブビュー画像内に低頻度注目被写体画像が存在していない場合は、判定が否定されて、撮像支援処理はステップＳＴ１３０へ移行する。ステップＳＴ３０２において、ライブビュー画像内に低頻度注目被写体画像が存在している場合は、判定が肯定されて、撮像支援処理はステップＳＴ１１８へ移行する。

　このように、制御部４８Ａ５によって、ライブビュー画像内に低頻度注目被写体画像が存在することが検出された場合に本露光撮像が開始されるので、対象カテゴリ被写体を目視で見つけてユーザからの指示が受付デバイス８０によって受け付けられたことを条件に撮像を開始する場合に比べ、対象カテゴリ被写体の撮像に要する手間を軽減することができる。

　図２３に示す例では、撮像支援処理のステップＳＴ３０２において、ライブビュー画像内に低頻度注目被写体画像が存在しているか否かが判定され、ライブビュー画像内に低頻度注目被写体画像が存在していると判定された場合に本露光撮像が開始される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２３に示すステップＳＴ３０２の処理に代えて、図２４に示すステップＳＴ３５２の処理が制御部４８Ａ５によって実行されるようにしてもよい。

　図２４に示す撮像支援処理のステップＳＴ３５２で、制御部４８Ａ５は、撮像範囲条件を満足したか否かを判定する。ここで、撮像範囲条件とは、対象カテゴリ被写体が指定撮像範囲情報８６（図１０及び図１１参照）により示される指定撮像範囲内に含まれている、との条件を指す。対象カテゴリ被写体が指定撮像範囲に含まれているか否かの判定は、例えば、指定撮像範囲情報８６及び認識結果情報９４に基づいて、低頻度注目被写体画像により示される注目被写体が指定撮像範囲に含まれているか否かが判定されることよって行われる。ステップＳＴ３５２において、撮像範囲条件を満足していない場合は、判定が否定されて、撮像支援処理はステップＳＴ１３０へ移行する。ステップＳＴ３５２において、撮像範囲条件を満足した場合は、判定が肯定されて、撮像支援処理はステップＳＴ１１８へ移行する。

　このように、対象カテゴリ被写体が指定撮像範囲内に含まれていることを条件に本露光撮像が行われるので、対象カテゴリ被写体が指定撮像範囲内に含まれていることを目視で見つけてユーザからの指示が受付デバイス８０によって受け付けられたことを条件に撮像を開始する場合に比べ、対象カテゴリ被写体の撮像に要する手間を軽減することができる。

　図２４に示す例では、撮像支援処理のステップＳＴ１１８において本露光撮像が行われているが、指定撮像範囲内の対象カテゴリ被写体にピントを合わせた状態で撮像が行われるようにしてもよい。ここでの「撮像」は、ライブビュー画像用の撮像であってもよいし、記録画像（例えば、静止画像又は動画像）用の撮像であってもよい。

　この場合、図２５に示す撮像支援処理がＣＰＵ４８Ａによって実行される。図２５に示すフローチャートは、図２４に示すフローチャートに比べ、ステップＳＴ１１８に代えてステップＳＴ４００を有する点が異なる。

　図２５に示す撮像支援処理のステップＳＴ４００で、制御部４８Ａ５は、対象カテゴリ被写体Ｓを含む撮像領域について、ＡＦ演算の結果に基づいて対象カテゴリ被写体（例えば、ライブビュー画像内の低頻度注目被写体画像により示される注目被写体）にピントを合わせてからイメージセンサ１６に対して本露光撮像を行わせる。ステップＳＴ４００の処理が実行された後、撮像支援処理はステップＳＴ１２０へ移行する。

　このように、指定撮像範囲内に対象カテゴリ被写体にピントを合わせてから本露光撮像が行われるので、指定撮像範囲内に対象カテゴリ被写体を位置させてから対象カテゴリ被写体にピントを合わせて撮像するのに要する手間を軽減することができる。

　図２５に示す例では、撮像範囲条件を満足した場合に本露光撮像が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御部４８Ａ５は、外部から与えられた第１撮像条件（例えば、受付デバイス８０によって受け付けられた指示に従って定められた撮像条件）と、対象カテゴリ被写体に対して与えられている第２撮像条件との相違度が既定相違度以上の場合に、既定処理を行うようにしてもよい。

　この場合、例えば、図２６に示す撮像支援処理がＣＰＵ４８Ａによって実行される。図２６に示すフローチャートは、図２５に示すフローチャートに比べ、ステップＳＴ３５２、ステップＳＴ４００、及びステップＳＴ１２０に代えて、ステップＳＴ４５０～ステップＳＴ４５６を有する点が異なる。

　図２６に示す撮像支援処理のステップＳＴ４５０で、制御部４８Ａ５は、第１撮像条件及び第２撮像条件を取得する。第１撮像条件及び第２撮像条件の例については後述する。

　次のステップＳＴ４５２で、制御部４８Ａ５は、ステップＳＴ４５０で取得した第１撮像条件と第２撮像条件との相違度（例えば、第１撮像条件と第２撮像条件とがどの程度ずれているかを示す値）を算出する。

　次のステップＳＴ４５４で、制御部４８Ａ５は、ステップＳＴ４５２で算出した相違度が既定相違度以上であるか否かを判定する。ステップＳＴ４５４において、ステップＳＴ４５２で算出した相違度が既定相違度未満の場合は、判定が否定されて、制御部４８Ａ５は、ステップＳＴ４００の処理及びステップＳＴ１２０～ステップＳＴ１３２の処理（図２５参照）に相当する処理を実行してからステップＳＴ１００へ移行する。ステップＳＴ４５４において、ステップＳＴ４５２で算出した相違度が既定相違度以上の場合は、判定が肯定されて、撮像支援処理はステップＳＴ４５６へ移行する。

　ステップＳＴ４５６で、制御部４８Ａ５は、既定処理を実行する。詳しくは後述するが、既定処理は、被写界深度を調整した後に本露光撮像を行う被写界深度調整後撮像処理、及び／又は、フォーカスブラケット方式で本露光撮像を行うフォーカスブラケット撮像処理を含む処理である。ステップＳＴ４５６の処理が実行された後、撮像支援処理はステップＳＴ１２２へ移行する。

　このように、図２６に示す例によれば、外部から与えられた第１撮像条件と対象カテゴリ被写体に対して与えられている第２撮像条件との相違度が既定相違度以上の場合に既定処理が行われるので、ユーザが意図する撮像条件下での撮像に寄与することができる。

　図２７及び図２８に示す例では、被写界深度調整後撮像処理の内容が示されている。一例として図２７に示すように、第１撮像条件が指定撮像範囲の位置であり、第２撮像条件が対象カテゴリ被写体の位置であり、対象カテゴリ被写体の位置が指定撮像範囲内にない場合、制御部４８Ａ５は、相違度が既定相違度以上であると判定する。相違度が既定相違度以上の場合、制御部４８Ａ５は、撮像装置１０を制御することで、指定撮像範囲内及び対象カテゴリ被写体を被写界深度に収め、指定撮像範囲内及び対象カテゴリ被写体を被写界深度に収めた状態でイメージセンサ１６に対して本露光撮像を行わせる。

　相違度が既定相違度以上の場合、一例として図２８に示すように、先ず、取得部４８Ａ１は、複数の被写体、すなわち、指定撮像範囲内の少なくとも１つの被写体（以下、「指定撮像範囲内被写体」とも称する）及び対象カテゴリ被写体の各々に対するＡＦ演算の結果に基づいて、指定撮像範囲内被写体及び対象カテゴリ被写体の各々に対する合焦位置を算出する。例えば、取得部４８Ａ１は、ライブビュー画像内での指定撮像範囲内被写体画像（指定撮像範囲内被写体を示す画像）及び対象カテゴリ被写体画像Ｓ１の各位置に対応する位相差画像データに基づいて、指定撮像範囲内被写体及び対象カテゴリ被写体の各々に対する合焦位置を算出する。なお、合焦位置の算出方法は、あくまでも一例に過ぎず、ＴＯＦ方式又はコントラストＡＦ方式の算出方法によって合焦位置が算出されてもよい。

　取得部４８Ａ１は、指定撮像範囲内被写体及び対象カテゴリ被写体の各々に対して算出した複数の合焦位置に基づいて、指定撮像範囲内被写体及び対象カテゴリ被写体を収める被写界深度を算出する。被写界深度は、第１演算式を用いて算出される。第１演算式は、例えば、複数の合焦位置を独立変数とし、被写界深度を従属変数とした演算式である。なお、第１演算式に代えて、複数の合焦位置と被写界深度とが対応付けられた第１テーブルを用いてもよい。

　取得部４８Ａ１は、算出した被写界深度を実現するＦ値を算出する。取得部４８Ａ１は、第２演算式を用いてＦ値を算出する。ここで用いる第２演算式は、例えば、被写界深度を独立変数とし、Ｆ値を従属変数とした演算式である。なお、第２演算式に代えて、被写界深度を示す値とＦ値とが対応付けられた第２テーブルを用いてもよい。

　制御部４８Ａ５は、取得部４８Ａ１によって算出されたＦ値に従って、モータドライバ６０を介してモータ４６を制御することで、絞り４０Ｃを作動させる。

　このように、図２７及び図２８に示す例によれば、対象カテゴリ被写体Ｓの位置が指定撮像範囲内にない場合に、指定撮像範囲内被写体及び対象カテゴリ被写体Ｓが被写界深度に収められるように絞り４０Ｃを作動させ、指定撮像範囲内被写体及び対象カテゴリ被写体が被写界深度に収められた状態で本露光撮像が行われる。これにより、指定撮像範囲内被写体及び対象カテゴリ被写体Ｓを被写界深度に収めない場合に比べ、指定撮像範囲内被写体画像及び対象カテゴリ被写体画像として、複数回の撮像を行うことなくコントラストの高い画像を得ることができる。

　ところで、撮像装置１０の構造に起因して指定撮像範囲内被写体及び対象カテゴリ被写体Ｓの両方が被写界深度に収まらない状況も考えられる。このような状況に至った場合、制御部４８Ａ５は、撮像装置１０に対して、フォーカスブラケット方式で指定撮像範囲内被写体と対象カテゴリ被写体とを撮像させる。

　この場合、一例として図２９に示すように、先ず、取得部４８Ａ１は、ライブビュー画像内での指定撮像範囲内被写体画像及び対象カテゴリ被写体画像Ｓ１の各位置に対応する位相差画像データに基づいて、第１合焦位置及び第２合焦位置を算出する。第１合焦位置は、指定撮像範囲内被写体の中心に対する合焦位置であり、第２合焦位置は、対象カテゴリ被写体Ｓに対する合焦位置である。第１及び第２合焦位置は、フォーカスブラケット方式での本露光撮像が行われる場合に用いられる合焦位置である。

　取得部４８Ａ１によって第１及び第２合焦位置が算出されると、一例として図３０に示すように、制御部４８Ａ５は、第１合焦位置にフォーカスレンズ４０Ｂを移動させ、フォーカスレンズ４０Ｂが第１合焦位置に到達するタイミングに合わせて、イメージセンサに対して本露光撮像の開始を指示する。これに応じて、イメージセンサ１６によって本露光撮像が行われる。このようにフォーカスレンズ４０Ｂを第１合焦位置に合わせた状態で本露光撮像が行われた後、制御部４８Ａ５は、第２合焦位置にフォーカスレンズ４０Ｂを移動させ、フォーカスレンズ４０Ｂが第２合焦位置に到達するタイミングに合わせて、イメージセンサに対して本露光撮像の開始を指示する。これに応じて、イメージセンサ１６によって本露光撮像が行われる。なお、ここでは、フォーカスブラケット方式での本露光撮像で用いる合焦位置として第１及び第２合焦位置を例示したが、これはあくまでも一例に過ぎず、フォーカスブラケット方式での本露光撮像で用いる合焦位置として３つ以上の合焦位置を用いてもよい。

　このように、図２９及び図３０に示す例によれば、撮像装置１０の構造に起因して指定撮像範囲内被写体及び対象カテゴリ被写体Ｓの両方が被写界深度に収まらない場合に、フォーカスブラケット方式で指定撮像範囲内被写体及び対象カテゴリ被写体Ｓに対して本露光撮像が行われる。これにより、指定撮像範囲内被写体及び対象カテゴリ被写体Ｓが被写界深度に収まらない状況下で１フレーム分の撮像のみが行われる場合に比べ、撮像装置１０の構造に起因して指定撮像範囲内被写体及び対象カテゴリ被写体Ｓの両方が被写界深度に収まらない場合であったとしても、指定撮像範囲内被写体画像及び対象カテゴリ被写体画像として、コントラストの高い画像を得ることができる。

　図２７に示す例では、第１撮像条件として指定撮像範囲の位置を例示し、第２撮像条件として対象カテゴリ被写体Ｓの位置を例示したが、本開示の技術はこれに限定されない。例えば、第１撮像条件を基準被写体（例えば、指定撮像範囲内被写体）の明るさとし、第２撮像条件を対象カテゴリ被写体Ｓの明るさとしてもよい。この場合、制御部４８Ａ５は、基準被写体の明るさと対象カテゴリ被写体Ｓの明るさとの相違度（以下、「明るさ相違度」とも称する）が既定明るさ相違度以上の場合に、上述した既定処理として、露出ブラケット方式撮像処理を実行する。露出ブラケット方式撮像処理は、撮像装置１０に対して、露出ブラケット方式で基準被写体と対象カテゴリ被写体Ｓとを撮像させる処理である。

　また、明るさ相違度が既定明るさ相違度未満の場合に、制御部４８Ａ５は、撮像装置１０に対して、基準被写体を基準にして定められた露出で基準被写体及び対象カテゴリ被写体Ｓを撮像させる。

　露出ブラケット方式撮像処理は、一例として図３１に示す撮像支援処理がＣＰＵ４８Ａによって実行されることで実現される。図３１に示すフローチャートは、図２６に示すフローチャートに比べ、ステップＳＴ４５０～ステップＳＴ４５６に代えて、ステップＳＴ５００～ステップＳＴ５０８を有する点が異なる。

　図３１に示す撮像支援処理のステップＳＴ５００で、取得部４８Ａ１は、指定撮像範囲内被写体及び対象カテゴリ被写体Ｓの各々に対する測光値を取得する。測光値は、ライブビュー画像データに基づいて算出されてもよいし、測光センサ（図示省略）によって検出されてもよい。

　次のステップＳＴ５０２で、制御部４８Ａ５は、ステップＳＴ５００で指定撮像範囲内被写体及び対象カテゴリ被写体Ｓの各々について取得された２つの測光値を用いて明るさ相違度を算出する。明るさ相違度は、例えば、２つの測光値の差分の絶対値である。

　次のステップＳＴ５０４で、制御部４８Ａ５は、ステップＳＴ５０２で算出された明るさ相違度が既定明るさ相違度以上であるか否かを判定する。既定明るさ相違度は、固定値であってもよいし、与えられた指示、及び／又は、与えられた条件に応じて変更される可変値であってもよい。ステップＳＴ５０４において、明るさ相違度が既定明るさ相違度未満の場合は、判定が否定されて、撮像支援処理はステップＳＴ５０８へ移行する。ステップＳＴ５０４において、明るさ相違度が既定明るさ相違度以上の場合は、判定が肯定されて、撮像支援処理はステップＳＴ５０６へ移行する。

　ステップＳＴ５０６で、制御部４８Ａ５は、撮像装置１０を制御することで、指定撮像範囲内被写体及び対象カテゴリ被写体Ｓの各々に対して露出ブラケット方式での本露光撮像を実行する。ステップＳＴ５０６の処理が実行された後、撮像支援処理はステップＳＴ１２２へ移行する。なお、露出ブラケット方式の本露光撮像が行われることによって得られた各フレームの本露光画像データは、既定の記憶領域に個別に記憶されるようにしてもよいし、合成されて得られた１フレームの合成画像データとして既定の記憶領域に記憶されるようにしてもよい。

　ステップＳＴ５０８で、制御部４８Ａ５は、撮像装置１０を制御することで、指定撮像範囲内被写体を基準にして定められた露出で、指定撮像範囲内被写体及び対象カテゴリ被写体Ｓに対して本露光撮像を実行する。ステップＳＴ５０８の処理が実行された後、制御部４８Ａ５は、ステップＳＴ１２０～ステップＳＴ１３２（図２５参照）に相当する処理を実行してからステップＳＴ１００へ移行する。

　このように、図３１に示す例によれば、明るさ相違度が既定明るさ相違度以上の場合に、露出ブラケット方式で指定撮像範囲内被写体及び対象カテゴリ被写体Ｓに対して本露光撮像が行われる。これにより、指定撮像範囲内被写体と対象カテゴリ被写体Ｓとの間で明るさのむらがある状況下で１フレーム分の撮像のみが行われる場合に比べ、指定撮像範囲内被写体画像と対象カテゴリ被写体画像Ｓ１として、明るさのむらが少ない画像を得ることができる。

　また、図３１に示す例によれば、明るさ相違度が既定明るさ相違度未満の場合に、基準被写体を基準にして定められた露出で指定撮像範囲内被写体及び対象カテゴリ被写体Ｓに対して本露光撮像が行われる。これにより、指定撮像範囲内被写体と対象カテゴリ被写体Ｓとの間で明るさのむらを無くしてから指定撮像範囲内被写体及び対象カテゴリ被写体Ｓに対して本露光撮像を行う場合に要する手間を軽減することができる。

　上記実施形態では、被写体別カテゴリ群９８に含まれる大カテゴリの一例として、顔カテゴリ、姿勢カテゴリ、眼カテゴリ、及び指定撮像範囲カテゴリを挙げたが、本開示の技術はこれに限定されない。例えば、図３２に示すように、被写体別カテゴリ群９８には、大カテゴリとして、「期間」という単位の被写体特徴で定められたカテゴリである期間カテゴリ、及び／又は「位置」という単位の被写体特徴で定められたカテゴリである位置カテゴリが含まれていてもよい。ここで、期間とは、被写体が撮像された期間を指す。また、位置とは、被写体が撮像された位置を指す。

　期間カテゴリには、小カテゴリとして、互いに年月日が異なる複数の年月日カテゴリが含まれている。複数の年月日カテゴリの各々に対しては、分類回数が対応付けられている。また、期間カテゴリにも分類回数が対応付けられている。期間カテゴリの分類回数は、複数の年月日カテゴリの分類回数の総和である。

　位置カテゴリには、小カテゴリとして、互いに位置が異なる複数の小位置カテゴリが含まれている。複数の小位置カテゴリの各々に対しては、分類回数が対応付けられている。また、位置カテゴリにも分類回数が対応付けられている。位置カテゴリの分類回数は、複数の小位置カテゴリの分類回数の総和である。

　図３２に示す例では、ストレージ４８Ｂに地図データ１０４が記憶されている。地図データ１０４は、緯度、経度、及び高さという位置座標と、地図上の住所とが対応付けられたデータである。地図データ１０４は、分類部４８Ａ４によって参照される。なお、小位置カテゴリは地図上の住所に限らず、位置座標であってもよい。

　図３２に示す例では、分類部４８Ａ４にＲＴＣ１０６、及びＧＮＳＳ受信機の一例であるＧＰＳ受信機１０８が接続されている。ＲＴＣ１０６は、現在時刻を取得する。ＲＴＣ１０６は、コントローラ４８用の電源系から切り離された電源系から駆動用電力の供給を受け、コントローラ４８がシャットダウンした状態であっても、現在時刻（年月日時分秒）を刻み続ける。

　ＧＰＳ受信機１０８は、複数のＧＮＳＳ衛星の一例である複数のＧＰＳ衛星（図示省略）から電波を受信し、受信結果に基づいて、撮像装置１０の現在位置を特定可能な位置座標を算出する。

　分類部４８Ａ４は、１フレーム分の本露光撮像が行われる毎に、ＲＴＣ１０６から現在時刻を取得し、取得した現在時刻を撮像時刻として、期間カテゴリ内に含まれる複数の年月日カテゴリのうちの対応する年月日カテゴリに分類する。分類部４８Ａ４は、撮像時刻を年月日カテゴリに分類する毎に、撮像時刻を分類した先の年月日カテゴリの分類回数に「１」を加算する。なお、ここでは、分類部４８Ａ４は、ＲＴＣ１０６から現在時刻を取得しているが、インターネット等の通信網を介して現在時刻を取得するようにしてもよい。

　分類部４８Ａ４は、１フレーム分の本露光撮像が行われる毎に、ＧＰＳ受信機１０８から位置座標を、撮像が行われた位置（以下、「撮像位置」とも称する）として取得する。分類部４８Ａ４は、取得した撮像位置に対応する住所を地図データ１０４から特定する。そして、分類部４８Ａ４は、特定した住所に対応する小位置カテゴリに撮像位置を分類する。分類部４８Ａ４は、撮像位置を小位置カテゴリに分類する毎に、撮像位置を分類した先の小位置カテゴリの分類回数に「１」を加算する。

　図３３に示す例では、撮像支援画面１００内に、バブルチャート１００Ａとして、期間カテゴリに関するバブルチャート（以下、「期間カテゴリバブルチャート」とも称する）が表示されている。期間カテゴリバブルチャートも、顔カテゴリバブルチャート（図１７参照）と同様に、複数の認識人物を示す軸と、年月日カテゴリを示す軸との２軸上に分類回数を示すバブルがプロットされている。

　また、受付デバイス８０（例えば、タッチパネル２８）カテゴリ選択画面１００Ｂから位置カテゴリが選択されると、撮像支援画面１００には、バブルチャート１００Ａとして、位置カテゴリに関するバブルチャート（以下、位置カテゴリバブルチャート）が表示される。位置カテゴリバブルチャートも、顔カテゴリに関するバブルチャート（図１７参照）と同様に、複数の認識人物を示す軸と、小位置カテゴリを示す軸との２軸上に分類回数を示すバブルがプロットされる。

　図３４に示す例では、撮像支援画面１００内に、ヒストグラム１００Ｃとして、期間カテゴリに関するヒストグラム（以下、「期間カテゴリヒストグラム」とも称する）が表示されている。期間カテゴリヒストグラムの横軸は、年月日カテゴリを示しており、期間カテゴリヒストグラムの縦軸は、分類回数を示している。また、撮像支援画面１００内には、ヒストグラム１００Ｃとして、位置カテゴリに関するヒストグラム（以下、「位置カテゴリヒストグラム」とも称する）も、他カテゴリのヒストグラムと切替可能に表示される（図示省略）。位置カテゴリヒストグラムの横軸は、小位置カテゴリを示しており、位置カテゴリヒストグラムの縦軸は、分類回数を示している。

　このように、被写体別カテゴリ群９８には、大カテゴリとして、「期間」という単位の被写体特徴で定められた期間カテゴリが含まれている。また、期間カテゴリには、互いに年月日が異なる複数の年月日カテゴリが含まれている。そして、１フレーム分の本露光撮像が行われる毎に、撮像時刻が年月日カテゴリに分類され、分類回数に応じた期間カテゴリバブルチャート及び期間カテゴリヒストグラムがライブビュー画像と共にディスプレイ２６に表示される。期間カテゴリバブルチャート及び期間カテゴリヒストグラムは、上記実施形態で説明した顔カテゴリバブルチャート及び顔カテゴリヒストグラムと同様の方法で使用される。従って、本構成によれば、年月日カテゴリに撮像時刻が分類されることで計数される分類回数に応じて撮像装置１０による撮像を支援することができる。なお、ここでは、年月日で区切られた年月日カテゴリを例示したが、これはあくまでも一例に過ぎず、年、月、日、時、分、又は秒で期間が区切られたカテゴリであってもよい。

　また、被写体別カテゴリ群９８には、大カテゴリとして、「位置」という単位の被写体特徴で定められた位置カテゴリが含まれている。また、位置カテゴリには、互いに位置が異なる複数の小位置カテゴリが含まれている。そして、１フレーム分の本露光撮像が行われる毎に、撮像位置が小位置カテゴリに分類され、分類回数に応じた位置カテゴリバブルチャート及び位置カテゴリヒストグラムがライブビュー画像と共にディスプレイ２６に表示される。位置カテゴリバブルチャート及び位置カテゴリヒストグラムは、上記実施形態で説明した顔カテゴリバブルチャート及び顔カテゴリヒストグラムと同様の方法で使用される。従って、本構成によれば、小位置カテゴリに撮像位置が分類されることで計数される分類回数に応じて撮像装置１０による撮像を支援することができる。

　上記実施形態では、撮像モードが設定されている間、撮像支援処理が継続的に実行されることを想定した形態例を挙げたが、本開示の技術はこれに限定されず、撮像支援処理が時刻及び／又は位置に応じて断続的に実行されるようにしてもよい。例えば、図３５に示すように、既定時間（例えば、１時間）間隔で区切られた時刻チェックポイントで、指定された時間（例えば、１０分）に限って撮像支援処理が実行されるようにしてもよい。時刻チェックポイントを定める既定時間間隔は、固定されていてもよいし、与えられた指示、及び／又は、与えられた条件（例えば、撮像条件）に応じて変更されてもよい。また、一例として図３５に示すように、位置毎に区切られた複数の位置チェックポイントで、指定された時間に限って撮像支援処理が実行されるようにしてもよい。位置チェックポイントは、例えば、地図データ１０４及びＧＰＳ受信機１０８を利用すれば特定することができる。

　また、上記実施形態では、撮像装置１０によって撮像される撮像シーンに関わらず被写体特徴が分類部４８Ａ４によってカテゴリに分類される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、分類部４８Ａ４は、撮像装置１０による撮像対象シーンが特定シーン（例えば、運動会のシーン、海水浴場のシーン、及び演奏会のシーン等）と一致した場合に被写体特徴をカテゴリに分類するようにしてもよい。特定シーンは、過去に撮像されたシーンであってもよい。

　この場合、一例として図３６に示す撮像支援処理がＣＰＵ４８Ａによって実行される。図３６に示すフローチャートは、図２３に示すフローチャートに比べ、ステップＳＴ１１８とステップＳＴ１２０との間にステップＳＴ５５０を有する点が異なる。

　図３６に示す撮像支援処理のステップＳＴ５５０で、被写体認識部４８Ａ２は、ステップＳＴ１１８で本露光撮像が行われることで得られた最新の本露光画像データに基づいて撮像領域内の被写体を認識することで現在の撮像シーンを特定する。また、被写体認識部４８Ａ２は、過去の本露光撮像画像データ（例えば、ユーザによって指定された期間内に得られた本露光画像データ）に基づいて過去の撮像シーンを特定する。そして、被写体認識部４８Ａ２は、現在の撮像シーンと過去の撮像シーンとが一致しているか否かを判定する。ステップＳＴ５５０において、現在の撮像シーンと過去の撮像シーンとが一致していない場合は、判定が否定されて、撮像支援処理はステップＳＴ１３０へ移行する。ステップＳＴ５５０において、現在の撮像シーンと過去の撮像シーンとが一致している場合は、判定が肯定されて、撮像支援処理はステップＳＴ１２０へ移行する。これにより、ステップＳＴ１２６にて、分類部４８Ａ４によって被写体毎に被写体特徴がカテゴリに分類される。

　このように、現在の撮像シーンと特定シーンとが一致した場合にのみ、分類部４８Ａ４によって被写体毎に被写体特徴がカテゴリに分類されるので、ユーザが意図しないシーンに対して本露光撮像が行われることで得られる本露光画像データから特定される被写体特徴がカテゴリに分類されないようにすることができる。

　また、現在の撮像シーンと過去の撮像シーンとが一致した場合にのみ、分類部４８Ａ４によって被写体毎に被写体特徴がカテゴリに分類されるので、過去の撮像シーンと一致する現在の撮像シーンに対して本露光撮像が行われることで得られる本露光画像データから特定される被写体特徴をカテゴリに分類することができる。

　また、上記実施形態では、複数のカテゴリの各々に被写体特徴が分類される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３７に示すように、複数のカテゴリの各々に、本露光撮像が行われることによって得られた本露光画像が分類部４８Ａ４によって分類されるようにしてもよい。この場合、本露光画像がカテゴリに分類される毎に、本露光画像が分類されたカテゴリの分類回数に「１」が加算される。このようにして構築された被写体別カテゴリ群９８も、上記実施形態で説明した被写体別カテゴリ群９８と同様の使用方法で使用される。従って、本構成によれば、本露光画像がカテゴリに分類された分類回数に応じて撮像装置１０による撮像を支援することができる。

　また、上記実施形態では、人物Ａに関する顔カテゴリヒストグラム（図１８参照）を例示したが、本開示の技術はこれに限定されない。例えば、図３８に示すように、顔カテゴリヒストグラムに代えて、４象限顔カテゴリバブルチャートを用いてもよい。４象限顔カテゴリバブルチャートは、第１象限に笑顔カテゴリが割り当てられ、第２象限に泣き顔カテゴリが割り当てられ、第３象限に怒り顔カテゴリが割り当てられ、第４象限に真顔カテゴリが割り当てられている。そして、各カテゴリに対応する分類回数がバブルの大きさで表現されている。なお、図３８に示すように４象限のカテゴリで表示する場合において、顔の表情をより細かく分類し、バブルチャートに代えて散布図を表示してもよい。この場合、分類した顔の表情に基づき点のプロット位置を調整することにより微妙な顔の表情を表すことができる。例えば、同じ笑顔カテゴリであっても、泣き顔に近い笑顔が写った画像ほど第一象限の図中左側にプロットされる。また、真顔に近い笑顔が写った画像ほど第一象限の図中下側にプロットされる。このような散布図により、ユーザは、人物のどのような顔が撮像されたかをより詳細に把握することができる。

　また、上記実施形態では、バブルチャート１００Ａ及びヒストグラム１００Ｃを例示したが、本開示の技術はこれに限定されず、他のグラフであってもよいし、分類回数を示す数値が被写体毎に且つカテゴリ毎に区分された形態で表示されるようにしてもよい。

　また、上記実施形態では、ヒストグラム１００Ｃからユーザによって選択された分類回数に対応するカテゴリに関する撮像が支援される形態例を挙げて説明したが、本開示の技術はこれに限定されず、撮像が支援されるカテゴリがヒストグラム１００Ｃ等から受付デバイス８０（例えば、タッチパネル２８）を介してユーザによって直接選択されるようにしてもよい。

　また、上記実施形態では、本露光画像データが画像メモリ５０に記憶される形態例を挙げて説明したが、上述した支援処理が行われることによって支援された本露光撮像が行われることで得られた本露光画像データを含むデータをトレーニングデータとして学習済みモデル９２の機械学習に用いられるようにしてもよい。これにより、支援処理が行われることによって支援された本露光撮像が行われることで得られた本露光画像データに基づく学習済みモデル９２を作ることができる。

　また、上記実施形態では、撮像装置１０内のコントローラ４８によって撮像支援処理が実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図４０に示すように、ＬＡＮ又はＷＡＮ等のネットワーク１１０を介して撮像装置１０と通信可能に接続された外部装置１１２内のコンピュータ１１４によって撮像支援処理が実行されるようにしてもよい。図４０に示す例では、コンピュータ１１４は、ＣＰＵ１１６、ストレージ１１８、及びメモリ１２０を備えている。ストレージ１１８には、カテゴリデータベース９６が構築されており、撮像支援処理プログラム８４が記憶されている。

　撮像装置１０は、ネットワーク１１０を介して外部装置１１２に対して撮像支援処理の実行を要求する。これに応じて、外部装置１１２のＣＰＵ１１６は、ストレージ１１８から撮像支援処理プログラム８４を読み出し、撮像支援処理プログラム８４をメモリ１２０上で実行する。ＣＰＵ１１６は、メモリ上で実行する撮像支援処理プログラム８４に従って撮像支援処理を行う。そして、ＣＰＵ１１６は、撮像支援処理が実行されることで得られた処理結果を、ネットワーク１１０を介して撮像装置１０に提供する。

　また、撮像装置１０と外部装置１１２とが撮像支援処理を分散して実行するようにしてもよいし、撮像装置１０と外部装置１１２を含む複数の装置とが撮像支援処理を分散して実行するようにしてもよい。分散処理を実施する場合、例えば、撮像装置１０のＣＰＵ４８Ａを取得部４８Ａ１及び制御部４８Ａ５として動作させ、撮像装置１０以外の装置（例えば、外部装置１１２）のＣＰＵを被写体認識部４８Ａ２、特徴抽出部４８Ａ３、及び分類部４８Ａ４として動作させるようにしてもよい。つまり、比較的に処理負荷が大きな処理を、撮像装置１０よりも演算能力が高い外部装置に担わせるようにすることで、撮像装置１０にかかる処理負荷を軽減するようにしてもよい。

　また、上記実施形態では、本露光画像として静止画像を例示したが、本開示の技術はこれに限定されず、本露光画像として動画像を用いてもよい。動画像は、記録用動画像であってもよいし、表示用動画像、すなわち、ライブビュー画像又はポストビュー画像であってもよい。

　また、上記実施形態では、ライブビュー画像内に撮像推奨情報を表示したが、必ずしもライブビュー画像内に表示しなくてもよい。例えば、動画像を本露光撮像している際に、撮像推奨情報と同様に対象カテゴリ被写体を示す表示（矢印、顔枠、及びメッセ―ジのうちの少なくとも１つ）を行っても良い。このように動画像を本露光撮像している際に対象カテゴリ被写体を示す表示を行うことにより、ユーザは、撮像装置１０を用いて、動画像に対象カテゴリ被写体が含まれたことを認識することができる。また、ユーザは、撮像装置１０を用いて、動画像の本露光撮像後に、対象カテゴリ被写体が含まれるフレームを切り出すことにより、対象カテゴリ被写体が含まれる静止画像を取得することができる。この場合、撮像装置１０は、動画像の本露光撮像により対象カテゴリ被写体を特定する毎に上記と同様のカテゴリへの分類を行い、ヒストグラム及び／又はバブルチャート等を更新して表示しても良い。このようにすれば、ユーザは、撮像装置１０を用いて、動画像用の撮像を行って動画像を取得するだけでどのような被写体が含まれたかを把握することができる。また、この場合、ヒストグラム及び／又はバブルチャート等において、静止画像に基づく値と動画像に基づく値とを異なる態様で表示してもよい。例えば、ヒストグラムにおいて、積み上げ棒グラフによって静止画像に基づくヒストグラムと動画像に基づくヒストグラムを異なる色で表示する。このようにすれば、ユーザは、各分類回数が静止画像と動画像のどちらに基づくものかを把握することができる。また、１つの動画像の中に含まれる被写体領域により示される被写体の分類のみに基づいて上記ヒストグラム及び／又はバブルチャート等を作成しても良い。このようにすれば、ユーザは、その１つの動画像にどのようなカテゴリに分類される被写体領域が含まれているかを把握することができる。なお、このようなヒストグラム及び／又はバブルチャートは、静止画像要又は動画像用の撮像後や、ライブビュー画像が表示されていない再生モード時等に、ユーザの操作等に基づきディスプレイ２６に表示されてもよい。

　また、上記実施形態では、分類回数が増え続ける形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、被写体別カテゴリ群９８に含まれる少なくとも１つのカテゴリに対応する分類回数は、定期的に、又は、指定されたタイミングで、リセットされるようにしてもよい。例えば、時間及び／又は位置に応じてリセットされてもよい。具体的には、１日１回リセットされてもよいし、１時間に１回リセットされてもよく、また、位置が１００メートル変わるごとにリセットされてもよい。

　また、上記実施形態では、対象カテゴリとして笑顔カテゴリを例示したが、本開示の技術はこれに限定されず、他のカテゴリを対象カテゴリとしてもよいし、複数のカテゴリを対象カテゴリとしてもよい。この場合、例えば、図１８に示す顔カテゴリヒストグラムにおいて、複数のカテゴリ（例えば、笑顔カテゴリ及び泣き顔カテゴリ）に関する分類回数、又は、複数のカテゴリがユーザによって選択されるようにすればよい。

　また、上記実施形態では、人物Ａを対象カテゴリ被写体として例示したが、本開示の技術はこれに限定されず、対象カテゴリ被写体は、複数であってもよい。この場合、例えば、図１７に示す顔カテゴリバブルチャートにおいて、複数の人物（例えば、人物Ａ、人物Ｂ、及び人物Ｃ）がユーザによって選択されるようにすればよい。これにより、例えば、対象カテゴリが笑顔カテゴリであれば、ユーザによって選択された複数の人物のうちの少なくとも何れかが笑顔の場面で、上述した各種の支援処理が行われる。

　また、上記実施形態では、被写体特徴がカテゴリに分類された単純な回数である分類回数を例示したが、本開示の技術はこれに限定されない。例えば、単位時間当たりの分類回数であってもよい。

　また、上記実施形態では、検出枠１０２（図１９及び図２１参照）を例示したが、本開示の技術はこれに限定されず、検出枠１０２と共に、検出枠１０２によって取り囲まれている被写体に関する情報（例えば、名前及び／又はカテゴリ名等）も表示されるようにしてもよい。

　また、上記実施形態では、撮像装置１０として物理的なカメラ（以下、「物理カメラ」とも称する）を例示しているが、本開示の技術はこれに限定されず、物理カメラに代えて、異なる位置に設定された複数の物理カメラによって撮像されることで得られた撮像画像データに基づいて仮想的な視点から被写体を仮想的に撮像することで仮想視点画像データを生成する仮想カメラを適用してもよい。この場合、仮想視点画像データにより示される画像、すなわち、仮想視点画像が本開示の技術に係る「撮像画像」の一例である。

　上記実施形態では、非位相差画素区分領域３０Ｎと位相差画素区分領域３０Ｐとを併用する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、非位相差画素区分領域３０Ｎ及び位相差画素区分領域３０Ｐに代えて、位相差画像データと非位相差画像データとが選択的に生成されて読み出されるエリアセンサとしてもよい。この場合、エリアセンサには、複数の感光画素が２次元状に配列されている。エリアセンサに含まれる感光画素には、例えば、遮光部材を有しない独立した一対のフォトダイオードが用いられる。非位相差画像データが生成されて読み出される場合、感光画素の全領域（一対のフォトダイオード）によって光電変換が行われ、位相差画像データが生成されて読み出される場合（例えば、パッシブ方式の測距を行う場合）、一対のフォトダイオードのうちの一方のフォトダイオードによって光電変換が行われる。ここで、一対のフォトダイオードのうちの一方のフォトダイオードは、上記実施形態で説明した第１位相差画素Ｌに対応するフォトダイオードであり、一対のフォトダイオードのうちの一方のフォトダイオードは、上記実施形態で説明した第２位相差画素Ｒに対応するフォトダイオードである。なお、エリアセンサに含まれる全ての感光画素によって位相差画像データと非位相差画像データとが選択的に生成されて読み出されるようにしてもよいが、これに限らず、エリアセンサに含まれる一部の感光画素によって位相差画像データと非位相差画像データとが選択的に生成されて読み出されるようにしてもよい。

　上記実施形態では、位相差画素Ｐとして像面位相差画素が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子３０に含まれている位相差画素Ｐに代えて非位相差画素Ｎが配置されるようにし、複数の位相差画素Ｐが含まれる位相差ＡＦ板が光電変換素子３０とは別体で撮像装置本体１２に設けられるようにしてもよい。

　上記実施形態では、位相差画像データに基づく測距結果を利用したＡＦ方式、すなわち、位相差ＡＦ方式を例示したが、本開示の技術はこれに限定されない。例えば、位相差ＡＦ方式に代えて、コントラストＡＦ方式を採用してもよい。また、ステレオカメラから得られた一対の画像の視差を用いた測距結果に基づくＡＦ方式、又は、レーザ光等によるＴＯＦ方式の測距結果を利用したＡＦ方式を採用してもよい。

　上記実施形態では、メカニカルシャッタ７２の一例としてフォーカルプレーンシャッタを挙げて説明したが、本開示の技術はこれに限定されず、フォーカルプレーンシャッタに代えて、レンズシャッタ等の他種類のメカニカルシャッタを適用しても本開示の技術は成立する。

　上記実施形態では、ストレージ４８Ｂに撮像支援処理プログラム８４が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図４１に示すように、撮像支援処理プログラム８４が記憶媒体２００に記憶されていてもよい。記憶媒体２００は、非一時的記憶媒体である。記憶媒体２００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

　記憶媒体２００に記憶されている撮像支援処理プログラム８４は、コントローラ４８にインストールされる。ＣＰＵ４８Ａは、撮像支援処理プログラム８４に従って撮像支援処理を実行する。

　また、通信網（図示省略）を介してコントローラ４８に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像支援処理プログラム８４を記憶させておき、撮像装置１０の要求に応じて撮像支援処理プログラム８４がダウンロードされ、コントローラ４８にインストールされるようにしてもよい。

　なお、コントローラ４８に接続される他のコンピュータ又はサーバ装置等の記憶部、又はストレージ４８Ｂに撮像支援処理プログラム８４の全てを記憶させておく必要はなく、撮像支援処理プログラム８４の一部を記憶させておいてもよい。

　図４１に示す例では、撮像装置１０にコントローラ４８が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コントローラ４８が撮像装置１０の外部に設けられるようにしてもよい。

　図４１に示す例では、ＣＰＵ４８Ａは、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ４８Ａに代えてＧＰＵを適用してもよい。

　図４１に示す例では、コントローラ４８が例示されているが、本開示の技術はこれに限定されず、コントローラ４８に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コントローラ４８に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

　上記実施形態で説明した撮像支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、撮像支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで撮像支援処理を実行する。

　撮像支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、撮像支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。

　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、撮像支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の撮像支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

　以上の実施形態に関し、更に以下の付記を開示する。

　（付記１）
　プロセッサと、
　上記プロセッサに接続又は内蔵されたメモリと、を備え、
　上記プロセッサは、撮像装置によって撮像されることで得られた撮像画像から特定される被写体の特徴に基づいてカテゴリに分類された上記特徴の頻度を示す頻度情報を取得し、
　上記頻度情報に基づいて、上記撮像装置による撮像を支援する支援処理を行う
　撮像支援装置。

　（付記２）
　上記カテゴリは、少なくとも１つの対象カテゴリを含む複数のカテゴリに類別され、
　上記対象カテゴリは、上記頻度情報に基づいて定められたカテゴリであり、
　上記支援処理は、上記対象カテゴリに属する上記特徴を有する対象カテゴリ被写体に対する上記撮像を支援する処理を含む処理である付記１に記載の撮像支援装置。

　（付記３）
　上記支援処理は、上記対象カテゴリ被写体の撮像を推奨する表示を行う表示処理を含む処理である付記２に記載の撮像支援装置。

　（付記４）
　上記表示処理は、上記表示用画像を上記ディスプレイに表示させ、かつ、上記表示用画像内で上記対象カテゴリ被写体画像の少なくとも一部を取り囲む枠を表示する処理である付記３に記載の撮像支援装置。

　（付記５）
　上記プロセッサは、
　上記撮像装置による撮像結果に基づいて上記対象カテゴリ被写体を検出し、
　上記対象カテゴリ被写体を検出したことを条件に、上記対象カテゴリ被写体に対応する画像を含む画像を取得する付記２から付記４の何れか１つに記載の撮像支援装置。

　（付記６）
　上記プロセッサは、上記対象カテゴリ被写体を検出し、かつ、上記対象カテゴリ被写体が既定撮像範囲に含まれていることを条件に、上記撮像装置に対して本露光を伴う上記撮像を行わせる付記５に記載の撮像支援装置。

　（付記７）
　上記プロセッサは、外部から与えられた指示に従って定められた指定撮像範囲外に上記対象カテゴリ被写体が位置している場合に、上記撮像装置を制御することで、上記指定撮像範囲及び上記対象カテゴリ被写体を被写界深度に収める付記２から付記６の何れか１つに記載の撮像支援装置。

　（付記８）
　上記プロセッサは、上記撮像装置の構造に起因して上記指定撮像範囲及び上記対象カテゴリ被写体の両方が上記被写界深度に収まらない場合に、上記撮像装置に対して、フォーカスブラケット方式で上記指定撮像範囲と上記対象カテゴリ被写体とを撮像させる付記７に記載の撮像支援装置。

　（付記９）
　上記プロセッサは、上記指定撮像範囲内に上記対象カテゴリ被写体が位置している場合に、上記撮像装置に対して、上記対象カテゴリ被写体にピントを合わせた状態で上記対象カテゴリ被写体を撮像させる付記７又は付記８に記載の撮像支援装置。

　（付記１０）
　上記プロセッサは、基準被写体の明るさと上記対象カテゴリ被写体の明るさとの相違度が既定相違度以上の場合に、上記撮像装置に対して、露出ブラケット方式で上記基準被写体と上記対象カテゴリ被写体とを撮像させる付記２から付記９の何れか１つに記載の撮像支援装置。

　（付記１１）
　上記プロセッサは、上記相違度が上記既定相違度未満の場合に、上記撮像装置に対して、上記対象カテゴリ被写体を基準にして定められた露出で上記基準被写体及び上記対象カテゴリ被写体を撮像させる付記１０に記載の撮像支援装置。

　（付記１２）
　上記支援処理が行われることによって支援された上記撮像が行われることで得られた画像は、学習に用いられる付記１から付記１１の何れか１つに記載の撮像支援装置。

Claims

　プロセッサと、
　前記プロセッサに接続又は内蔵されたメモリと、を備え、
　前記プロセッサは、撮像装置によって撮像されることで得られた撮像画像から特定される被写体の特徴に基づいてカテゴリに分類された前記特徴の頻度を示す頻度情報を取得し、
　前記頻度情報に基づいて、前記撮像装置による撮像を支援する支援処理を行う
　撮像支援装置。
　前記カテゴリは、少なくとも１つの対象カテゴリを含む複数のカテゴリに類別され、
　前記対象カテゴリは、前記頻度情報に基づいて定められたカテゴリであり、
　前記支援処理は、前記対象カテゴリに属する前記特徴を有する対象カテゴリ被写体に対する前記撮像を支援する処理を含む処理である請求項１に記載の撮像支援装置。
　前記支援処理は、前記対象カテゴリ被写体の撮像を推奨する表示を行う表示処理を含む処理である請求項２に記載の撮像支援装置。
　前記表示処理は、前記撮像装置によって撮像されることで得られた表示用画像をディスプレイに表示させ、かつ、前記表示用画像内で前記対象カテゴリ被写体を示す対象カテゴリ被写体画像を他の画像領域と区別可能な態様で表示する処理である請求項３に記載の撮像支援装置。
　前記プロセッサは、
　前記撮像装置による撮像結果に基づいて前記対象カテゴリ被写体を検出し、
　前記対象カテゴリ被写体を検出したことを条件に、前記対象カテゴリ被写体に対応する画像を含む画像を取得する請求項２から請求項４の何れか一項に記載の撮像支援装置。
　前記プロセッサは、外部から与えられた指示に従って定められた指定撮像範囲を示すオブジェクトと、前記対象カテゴリ被写体を示すオブジェクトとを別の表示態様で表示する請求項２から請求項５の何れか一項に記載の撮像支援装置。
　前記プロセッサは、外部から与えられた第１撮像条件と前記対象カテゴリ被写体に対して与えられている第２撮像条件との相違度が既定相違度以上の場合に、既定処理を行う請求項２から請求項６の何れか一項に記載の撮像支援装置。
　前記対象カテゴリは、前記複数のカテゴリ間で前記頻度が相対的に低い低頻度カテゴリである請求項２から請求項７の何れか一項に記載の撮像支援装置。
　前記対象カテゴリ被写体が前記撮像装置によって撮像される場合、前記対象カテゴリは、前記対象カテゴリ被写体の状態に応じて定められたカテゴリであって、前記対象カテゴリ被写体についての前記特徴が分類されるカテゴリである請求項２から請求項８の何れか一項に記載の撮像支援装置。
　複数の物体が前記撮像装置によって撮像される場合、前記対象カテゴリは、前記複数の物体のそれぞれ自体を特定可能な物体対象カテゴリである請求項２から請求項９の何れか一項に記載の撮像支援装置。
　前記カテゴリは、少なくとも１つの単位毎に作られている請求項１から請求項１０の何れか一項に記載の撮像支援装置。
　前記単位の１つは、期間である請求項１１に記載の撮像支援装置。
　前記単位の１つは、位置である請求項１１又は請求項１２に記載の撮像支援装置。
　前記プロセッサは、前記特徴を分類器に対して分類させ、
　前記分類器は、前記撮像装置による撮像対象シーンが特定シーンと一致した場合に前記特徴を分類する請求項１から請求項１３の何れか一項に記載の撮像支援装置。
　前記特定シーンは、過去に撮像されたシーンである請求項１４に記載の撮像支援装置。
　前記支援処理は、前記頻度情報を表示する処理を含む処理である請求項１から請求項１５の何れか一項に記載の撮像支援装置。
　前記支援処理は、前記頻度情報が表示された状態で、受付デバイスによって前記頻度情報が指定された場合に、指定された前記頻度情報に対応する前記カテゴリに関する前記撮像を支援する処理を含む処理である請求項１６に記載の撮像支援装置。
　プロセッサと、
　前記プロセッサに接続又は内蔵されたメモリと、を備え、
　前記プロセッサは、撮像装置によって撮像されることで得られた撮像画像に含まれる被写体の特徴に基づいてカテゴリに分類された前記撮像画像の頻度を示す頻度情報を取得し、
　前記頻度情報に基づいて、前記撮像装置による撮像を支援する支援処理を行う
　撮像支援装置。
　請求項１から請求項１８の何れか一項に記載の撮像支援装置と、
　イメージセンサと、を備え、
　前記プロセッサは、前記支援処理を行うことで前記イメージセンサを用いた前記撮像を支援する
　撮像装置。
　撮像装置によって撮像されることで得られた撮像画像から特定される被写体の特徴に基づいてカテゴリに分類された前記特徴の頻度を示す頻度情報を取得すること、及び、
　前記頻度情報に基づいて、前記撮像装置による撮像を支援する支援処理を行うことを含む
　撮像支援方法。
　撮像装置によって撮像されることで得られた撮像画像から特定される被写体の特徴に基づいてカテゴリに分類された前記撮像画像の頻度を示す頻度情報を取得すること、及び、
　前記頻度情報に基づいて、前記撮像装置による撮像を支援する支援処理を行うことを含む
　撮像支援方法。
　コンピュータに、
　撮像装置によって撮像されることで得られた撮像画像から特定される被写体の特徴に基づいてカテゴリに分類された前記特徴の頻度を示す頻度情報を取得すること、及び、
　前記頻度情報に基づいて、前記撮像装置による撮像を支援する支援処理を行うことを含む処理を実行させるためのプログラム。
　撮像支援方法。
　コンピュータに、
　撮像装置によって撮像されることで得られた撮像画像から特定される被写体の特徴に基づいてカテゴリに分類された前記撮像画像の頻度を示す頻度情報を取得すること、及び、
　前記頻度情報に基づいて、前記撮像装置による撮像を支援する支援処理を行うことを含む処理を実行させるためのプログラム。