WO2022145294A1

WO2022145294A1 - 画像処理装置、撮像装置、画像処理方法、及びプログラム

Info

Publication number: WO2022145294A1
Application number: PCT/JP2021/047376
Authority: WO
Inventors: 優馬小宮; 亮宏内田
Original assignee: 富士フイルム株式会社
Priority date: 2020-12-28
Filing date: 2021-12-21
Publication date: 2022-07-07
Also published as: US20230336864A1; CN116745673A; JPWO2022145294A1; EP4270926A1

Abstract

画像処理装置は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備える。プロセッサは、撮像装置により撮像されることで得られた撮像画像に基づいて複数の被写体を検出し、複数の被写体から、第１被写体と、撮像画像の面内方向において第１被写体から第１距離の範囲内に存在する第２被写体とを選定し、ディスプレイに対して、撮像画像と、第１被写体を示す第１被写体画像を特定する第１インディケータと、第２被写体を示す第２被写体画像を前記第１インディケータとは異なる態様で特定する第２インディケータと、を表示させるための表示用データを出力する。

Description

画像処理装置、撮像装置、画像処理方法、及びプログラム

　本開示の技術は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

　特開２０１３－１３５４４６号公報には、撮像手段を有する撮像装置であって、撮像手段で撮像して得た画像中に含まれる所定の被写体像を検出する検出手段と、検出手段で検出された被写体を、主要被写体、主要被写体以外の非主要被写体に分類する分類手段と、被写体を特定するための特徴情報、及び、被写体を表わす名称情報を記憶する記憶手段と、撮像手段で得られた画像中の被写体の中で、記憶手段に記憶された特徴情報を有する被写体について、対応する名称情報を該当する被写体の近傍位置に表示する表示制御手段とを有し、表示制御手段は、分類手段で分類された主要被写体を、記憶手段に記憶された特徴情報に従って特定できた場合に、対応する名称情報を表示し、分類手段で分類された非主要被写体については、非主要被写体及び主要被写体の両方が記憶手段に記憶された特徴情報で特定できたことを条件に、該当する名称情報を表示することを特徴とする撮像装置が開示されている。

　特開２０１９－２０１３８７号公報には、撮像装置の撮像部から特定に被写体を含んだ連続する複数のフレーム画像を取得する取得部と、撮像部に対し被写体を含む追尾対象を追尾させるように追尾制御を行う追尾制御部とを備える追尾制御装置であって、追尾制御部は、フレーム画像において、被写体の一部を構成しかつ被写体を特徴付ける特徴部と特徴部の周辺に位置する周辺部との少なくとも一方を有するものを、追尾対象として設定することを特徴とする追尾制御装置が開示されている。

　特開２００９－７７２６６号公報には、半押し操作と、半押し操作よりも深く押し込まれる全押し操作とが可能なレリーズボタンと、撮像手段から出力された画像を表示手段に表示させるスルー画表示中に、画像から人物の顔を検出する顔検出手段と、顔の検出数が複数であるときに、所定の基準に基づいて複数の顔の顔選択順位を決定し、顔選択順位が最も高い顔を初期顔とした設定する顔選択順位決定手段と、顔の検出数が、１つであるときにはその顔を、複数であるときには初期顔をフォーカスエリアとなる主顔として選択し、レリーズボタンが２回以上連続して半押し操作されたときには、半押し操作の回数と同じ顔選択順位の顔を主顔として選択する主顔選択手段とを備えたことを特徴とするデジタルカメラが開示されている。

　特開２０１９－０９７３８０号公報には、主被写体の選択が可能な撮像装置が開示されている。特開２０１９－０９７３８０号公報に記載の撮像装置は、画像から被写体を検出し、検出した被写体から主被写体を選択する。また、特開２０１９－０９７３８０号公報に記載の撮像装置は、主被写体が合焦した場合、主被写体がユーザの指示に基づいて選択されていれば、主被写体に対応する焦点検出領域についての焦点検出の結果と、予め定められた被写界深度内の、主被写体以外の被写体に対応する焦点検出領域についての焦点検出の結果の違いに関わらず、予め定められた被写界深度内の死者他意についての合焦表示を、主被写体についての合焦表示の表示形態が主被写体以外の被写体についての合焦表示の表示態様とは異なるように表示する。

　本開示の技術に係る一つの実施形態は、複数の被写体が密集していたとしても、複数の被写体のうち対象被写体とその他の被写体とを区別することができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供する。

　本開示の技術に係る第１の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサが、撮像装置により撮像されることで得られた撮像画像に基づいて複数の被写体を検出し、複数の被写体から、第１被写体と、撮像画像の面内方向において第１被写体から第１距離の範囲内に存在する第２被写体とを選出し、ディスプレイに対して、撮像画像と、第１被写体を示す第１被写体画像を特定する第１インディケータと、第２被写体を示す第２被写体画像を第１インディケータとは異なる態様で特定する第２インディケータと、を表示させるための表示用データを出力する画像処理装置である。

　本開示の技術に係る第２の態様は、表示用データが、面内方向において第２距離内に存在する第１被写体及び第２被写体を特定する第３インディケータをディスプレイに対して表示させるための第１データを含む、第１の態様に係る画像処理装置である。

　本開示の技術に係る第３の態様は、第１データが、第３インディケータをディスプレイに対して表示させる場合にディスプレイから第１インディケータ及び第２インディケータを消去するためのデータを含む、第２の態様に係る画像処理装置である。

　本開示の技術に係る第４の態様は、表示用データが、面内方向において第２距離内に存在する第１被写体及び第２被写体を特定する第３インディケータを第１インディケータ及び第２インディケータに代えてディスプレイに対して表示させるためのデータを含む、第１の態様に係る画像処理装置である。

　本開示の技術に係る第５の態様は、プロセッサが、撮像画像に基づいて複数の被写体の各々の種類を取得し、第３インディケータが、第１被写体の種類と第２被写体の種類との組み合わせが第１組み合わせであり、かつ、第２距離内に存在する第１被写体及び第２被写体を特定するインディケータである、第２の態様から第４の態様の何れか１つの態様に係る画像処理装置である。

　本開示の技術に係る第６の態様は、表示用データが、第１被写体の種類と第２被写体の種類との組み合わせが第１組み合わせとは異なる第２組み合わせであり、かつ、第２距離よりも短い第３距離内に存在する第１被写体及び第２被写体を特定する第４インディケータをディスプレイに対して表示させるための第２データを含む、第２の態様から第５の態様の何れか１つの態様に係る画像処理装置である。

　本開示の技術に係る第７の態様は、第２データが、第４インディケータをディスプレイに対して表示させる場合、ディスプレイから第１インディケータ及び第２インディケータを消去するためのデータを含む、第６の態様に係る画像処理装置である。

　本開示の技術に係る第８の態様は、プロセッサが、既定距離内に存在する第１被写体及び第２被写体を１つのオブジェクトとして特定するオブジェクトインディケータをディスプレイに対して表示させる場合、オブジェクトインディケータから特定されるオブジェクトの少なくとも一部に対応する領域を用いて、撮像装置によって行われる撮像に関連する制御のための制御用データを出力する、第１の態様から第７の態様の何れか１つの態様に係る画像処理装置である。

　本開示の技術に係る第９の態様は、オブジェクトの少なくとも一部に対応する領域が、第１被写体に対応する第１領域、第２被写体に対応する第２領域、並びに、第１被写体及び第２被写体に対応する第３領域のうちの少なくとも１つである、第８の態様に係る画像処理装置である。

　本開示の技術に係る第１０の態様は、撮像に関連する制御が、露出制御、フォーカス制御、及びホワイトバランス制御のうちの少なくとも１つを含む、第８の態様又は第９の態様に係る画像処理装置である。

　本開示の技術に係る第１１の態様は、オブジェクトの少なくとも一部に対応する領域が、第１被写体に対応する第１領域、及び第２被写体に対応する第２領域であり、プロセッサが、第１被写体に対応する第１領域の明るさ、及び第２被写体に対応する第２領域の明るさに基づいて、露出制御を行う、第１０の態様に係る画像処理装置である。

　本開示の技術に係る第１２の態様は、オブジェクトの少なくとも一部に対応する領域が、第１被写体に対応する第１領域、及び第２被写体に対応する第２領域であり、プロセッサが、第１被写体に対応する第１領域の色、及び第２被写体に対応する第２領域の色に基づいて、ホワイトバランス制御を行う、第１０の態様又は第１１の態様に係る画像処理装置である。

　本開示の技術に係る第１３の態様は、プロセッサが、複数の被写体を第１基準に従って検出する、第１の態様から第１２の態様の何れか１つの態様に係る画像処理装置である。

　本開示の技術に係る第１４の態様は、プロセッサが、第２被写体を検出する基準とは異なる第２基準に基づいて第１被写体を検出する、第１の態様から第１３の態様の何れか１つの態様に係る画像処理装置である。

　本開示の技術に係る第１５の態様は、第２基準が、撮像装置からの距離、被写界深度、及び被写体の態様のうちの少なくとも１つに基づいて定められた基準である、第１４の態様に係る画像処理装置である。

　本開示の技術に係る第１６の態様は、第２基準が、受付デバイスによって受け付けられた指示に基づいて定められた基準である、第１４の態様又は第１５の態様に係る画像処理装置である。

　本開示の技術に係る第１７の態様は、プロセッサが、撮像画像から特定されるパラメータ、複数の被写体のうちの受付デバイスによって受け付けられた指示に従って選択された選択被写体と残りの被写体との位置関係、及び選択被写体の態様のうちの少なくとも１つを含む情報を教師データとした機械学習が行われることで得られた学習済みモデルを用いて第１被写体を特定する、第１の態様から第１６の態様の何れか１つの態様に係る画像処理装置である。

　本開示の技術に係る第１８の態様は、撮像画像には、複数の被写体のうちの指定された被写体を示す第１指定被写体画像が含まれており、パラメータが、撮像画像内での第１指定被写体画像の相対的な位置を含む、第１７の態様に係る画像処理装置である。

　本開示の技術に係る第１９の態様は、撮像画像には、複数の被写体のうちの指定された被写体を示す第２指定被写体画像が含まれており、パラメータが、撮像画像内での第２指定被写体画像が占める割合に基づく値を含む、第１７の態様又は第１８の態様に係る画像処理装置である。

　本開示の技術に係る第２０の態様は、第２インディケータが、第２被写体画像を特定する数字及び記号のうちの少なくとも一方を含む、第１の態様から第１９の態様の何れか１つの態様に係る画像処理装置である。

　本開示の技術に係る第２１の態様は、第１距離が、撮像画像内での距離である、第１の態様から第２０の態様の何れか１つの態様に係る画像処理装置である。

　本開示の技術に係る第２２の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、イメージセンサと、を備え、プロセッサが、イメージセンサにより撮像されることで得られた撮像画像に基づいて複数の被写体を検出し、複数の被写体から、第１被写体と、撮像画像の面内方向において第１被写体から第１距離の範囲内に存在する第２被写体とを選出し、ディスプレイに対して、撮像画像と、第１被写体を示す第１被写体画像を特定する第１インディケータと、第２被写体を示す第２被写体画像を第１インディケータとは異なる態様で特定する第２インディケータと、を表示させる撮像装置である。

　本開示の技術に係る第２３の態様は、撮像装置により撮像されることで得られた撮像画像に基づいて複数の被写体を検出すること、複数の被写体から、第１被写体と、撮像画像の面内方向において第１被写体から第１距離の範囲内に存在する第２被写体とを選出すること、及び、ディスプレイに対して、撮像画像と、第１被写体を示す第１被写体画像を特定する第１インディケータと、第２被写体を示す第２被写体画像を第１インディケータとは異なる態様で特定する第２インディケータと、を表示させるための表示用データを出力すること、を含む画像処理方法である。

　本開示の技術に係る第２４の態様は、コンピュータに、撮像装置により撮像されることで得られた撮像画像に基づいて複数の被写体を検出すること、複数の被写体から、第１被写体と、撮像画像の面内方向において第１被写体から第１距離の範囲内に存在する第２被写体とを選出すること、及び、ディスプレイに対して、撮像画像と、第１被写体を示す第１被写体画像を特定する第１インディケータと、第２被写体を示す第２被写体画像を第１インディケータとは異なる態様で特定する第２インディケータと、を表示させるための表示用データを出力すること、を含む処理を実行させるためのプログラムである。

撮像装置の全体の構成の一例を示す概略構成図である。撮像装置の光学系及び電気系のハードウェア構成の一例を示す概略構成図である。撮像装置に含まれるＮＶＭの記憶内容及び撮像装置に含まれるＣＰＵの要部機能の一例を示すブロック図である。一般被写体用学習済みモデルの入出力の一例を示す概念図である。教師データを生成する構成の一例を示す概念図である。モデル生成装置の処理内容の一例を示す概念図である。取得部及び制御部の処理内容の一例を示す概念図である。被写体認識部の一般被写体認識処理の内容の一例を示すブロック図である。被写体認識部の特定被写体認識処理の内容の一例を示すブロック図である。被写体認識部の処理内容の一例を示すブロック図である。分類部の処理内容の一例を示す概念図である。分類部の処理内容の一例を示す概念図である。分類部の処理内容の一例を示す概念図である。制御部の処理内容の一例を示す概念図である。分類部の処理内容の一例を示す概念図である。分類部の処理内容の一例を示す概念図である。分類部の処理内容の一例を示す概念図である。分類部の処理内容の一例を示す概念図である。分類部の処理内容の一例を示す概念図である。制御部の処理内容の一例を示す概念図である。被写体認識部の処理内容の一例を示す概念図である。取得部及び制御部の処理内容の一例を示す概念図である。取得部及び被写体認識部の処理内容の一例を示す概念図である。撮像支援処理の流れの一例を示すフローチャートである。図２４Ａに示すフローチャートの続きである。第４インディケータを生成して表示する処理の内容を示す概念図である。撮像に関連する制御を行う処理の内容を示す概念図である。撮像に関連する制御を行う処理の内容を示す概念図である。撮像に関連する制御を行う処理の内容を示す概念図である。撮像に関連する制御を行う処理の内容を示す概念図である。教師データの変形例を示す概念図である。周辺被写体に付するインディケータの変形例を示す概念図である。撮像システムの構成の一例を示す概念図である。

　以下、添付図面に従って本開示の技術に係る画像処理装置、撮像装置、画像処理方法、及びプログラムの実施形態の一例について説明する。

　先ず、以下の説明で使用される文言について説明する。

　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＭＦとは、“Manual Focus”の略称を指す。ＡＦとは、“Auto Focus”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。ＣＮＮとは、“Convolutional Neural Network”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。

　一例として図１に示すように、撮像装置１０は、被写体を撮像する装置であり、コントローラ１２、撮像装置本体１６、及び交換レンズ１８を備えている。コントローラ１２は、本開示の技術に係る「画像処理装置」及び「コンピュータ」の一例である。コントローラ１２は、撮像装置本体１６に内蔵されており、撮像装置１０の全体を制御する。交換レンズ１８は、撮像装置本体１６に交換可能に装着される。交換レンズ１８には、フォーカスリング１８Ａが設けられている。フォーカスリング１８Ａは、撮像装置１０のユーザ（以下、単に「ユーザ」と称する）等が撮像装置１０による被写体に対するピントの調整を手動で行う場合にユーザ等によって操作される。

　図１に示す例では、撮像装置１０の一例として、レンズ交換式のデジタルカメラが示されている。但し、これは、あくまでも一例に過ぎず、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。

　撮像装置本体１６には、イメージセンサ２０が設けられている。イメージセンサ２０は、ＣＭＯＳイメージセンサである。イメージセンサ２０は、少なくとも１つの被写体を含む撮像範囲を撮像する。交換レンズ１８が撮像装置本体１６に装着された場合に、被写体を示す被写体光は、交換レンズ１８を透過してイメージセンサ２０に結像され、被写体の画像を示す画像データがイメージセンサ２０によって生成される。

　本実施形態では、イメージセンサ２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２０がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

　撮像装置本体１６の上面には、レリーズボタン２２及びダイヤル２４が設けられている。ダイヤル２４は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル２４が操作されることによって、撮像装置１０では、動作モードとして、撮像モード、再生モード、及び設定モードが選択的に設定される。撮像モードは、撮像装置１０に対して撮像を行わせる動作モードである。再生モードは、撮像モードで記録用の撮像が行われることによって得られた画像（例えば、静止画像及び／又は動画像）を再生する動作モードである。設定モードは、後述する教師データ８８（図５参照）を生成したり、モデル生成装置９２（図６参照）に教師データ８８を供給したり、撮像に関連する制御で用いられる各種の設定値を設定する場合などに撮像装置１０に対して設定する動作モードである。

　レリーズボタン２２は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置１０の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン２２に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン２２に接触した状態から離れた状態に移行した状態であってもよい。

　撮像装置本体１６の背面には、タッチパネル・ディスプレイ３２及び指示キー２６が設けられている。

　タッチパネル・ディスプレイ３２は、ディスプレイ２８及びタッチパネル３０（図２も参照）を備えている。ディスプレイ２８の一例としては、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）が挙げられる。ディスプレイ２８は、ＥＬディスプレイではなく、液晶ディスプレイ等の他種類のディスプレイであってもよい。

　ディスプレイ２８は、画像及び／又は文字情報等を表示する。ディスプレイ２８は、撮像装置１０が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ライブビュー画像を得るために行われる撮像（以下、「ライブビュー画像用撮像」とも称する）は、例えば、６０ｆｐｓのフレームレートに従って行われる。６０ｆｐｓは、あくまでも一例に過ぎず、６０ｆｐｓ未満のフレームレートであってもよいし、６０ｆｐｓを超えるフレームレートであってもよい。

　ここで、「ライブビュー画像」とは、イメージセンサ２０によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。

　ディスプレイ２８は、撮像装置１０に対してレリーズボタン２２を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。また、ディスプレイ２８は、撮像装置１０が再生モードの場合の再生画像等の表示にも用いられる。更に、ディスプレイ２８は、撮像装置１０が設定モードの場合に、各種メニューを選択可能なメニュー画面の表示、及び、撮像に関連する制御で用いられる各種の設定値等を設定するための設定画面の表示にも用いられる。

　タッチパネル３０は、透過型のタッチパネルであり、ディスプレイ２８の表示領域の表面に重ねられている。タッチパネル３０は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル３０を介してオンした状態も含まれる。

　本実施形態では、タッチパネル・ディスプレイ３２の一例として、タッチパネル３０がディスプレイ２８の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ３２として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

　指示キー２６は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、メニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル３０によってされてもよい。

　一例として図２に示すように、イメージセンサ２０は、光電変換素子７２を備えている。光電変換素子７２は、受光面７２Ａを有する。光電変換素子７２は、受光面７２Ａの中心と光軸ＯＡとが一致するように撮像装置本体１６内に配置されている（図１も参照）。光電変換素子７２は、マトリクス状に配置された複数の感光画素を有しており、受光面７２Ａは、複数の感光画素によって形成されている。感光画素は、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。

　交換レンズ１８は、撮像レンズ４０を備えている。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを有する。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側（物体側）から撮像装置本体１６側（像側）にかけて、光軸ＯＡに沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。

　また、交換レンズ１８は、制御装置３６、第１アクチュエータ３７、第２アクチュエータ３８、及び第３アクチュエータ３９を備えている。制御装置３６は、撮像装置本体１６からの指示に従って交換レンズ１８の全体を制御する。制御装置３６は、例えば、ＣＰＵ、ＮＶＭ、及びＲＡＭ等を含むコンピュータを有する装置である。なお、ここでは、コンピュータを例示しているが、これは、あくまでも一例に過ぎず、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、制御装置３６として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。

　第１アクチュエータ３７は、フォーカス用スライド機構（図示省略）及びフォーカス用モータ（図示省略）を備えている。フォーカス用スライド機構には、光軸ＯＡに沿ってスライド可能にフォーカスレンズ４０Ｂが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ４０Ｂを光軸ＯＡに沿って移動させる。

　第２アクチュエータ３８は、ズーム用スライド機構（図示省略）及びズーム用モータ（図示省略）を備えている。ズーム用スライド機構には、光軸ＯＡに沿ってスライド可能にズームレンズ４０Ｃが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ４０Ｃを光軸ＯＡに沿って移動させる。

　第３アクチュエータ３９は、動力伝達機構（図示省略）及び絞り用モータ（図示省略）を備えている。絞り４０Ｄは、開口４０Ｄ１を有しており、開口４０Ｄ１の大きさが可変な絞りである。開口４０Ｄ１は、複数枚の絞り羽根４０Ｄ２によって形成されている。複数枚の絞り羽根４０Ｄ２は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の絞り羽根４０Ｄ２に伝達する。複数枚の絞り羽根４０Ｄ２は、動力伝達機構から伝達される動力を受けて作動することで開口４０Ｄ１の大きさを変化させる。絞り４０Ｄは、開口４０Ｄ１の大きさを変化させることで露出を調節する。

　フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６に接続されており、制御装置３６によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、本実施形態では、フォーカス用モータ、ズーム用モータ、及び絞り用モータの一例として、ステッピングモータが採用されている。従って、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６からの命令によりパルス信号に同期して動作する。なお、ここでは、フォーカス用モータ、ズーム用モータ、及び絞り用モータが交換レンズ１８に設けられている例が示されているが、これは、あくまでも一例に過ぎず、フォーカス用モータ、ズーム用モータ、及び絞り用モータのうちの少なくとも１つが撮像装置本体１６に設けられていてもよい。なお、交換レンズ１８の構成物及び／又は動作方法は、必要に応じて変更可能である。

　撮像装置１０では、撮像モードの場合に、撮像装置本体１６に対して与えられた指示に従ってＭＦモードとＡＦモードとが選択的に設定される。ＭＦモードは、手動でピントを合わせる動作モードである。ＭＦモードでは、例えば、ユーザによってフォーカスリング１８Ａ等が操作されることで、フォーカスリング１８Ａ等の操作量に応じた移動量でフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点が調節される。

　ＡＦモードでは、撮像装置本体１６が被写体距離に応じた合焦位置の演算を行い、演算して得た合焦位置に向けてフォーカスレンズ４０Ｂを移動させることで、焦点を調節する。ここで、合焦位置とは、ピントが合っている状態でのフォーカスレンズ４０Ｂの光軸ＯＡ上での位置を指す。なお、以下では、説明の便宜上、フォーカスレンズ４０Ｂを合焦位置に合わせる制御を「ＡＦ制御」とも称する。

　撮像装置本体１６は、イメージセンサ２０、コントローラ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、メカニカルシャッタドライバ５６、メカニカルシャッタアクチュエータ５８、メカニカルシャッタ６０、及び入出力インタフェース７０を備えている。また、イメージセンサ２０は、光電変換素子７２及び信号処理回路７４を備えている。

　入出力インタフェース７０には、コントローラ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、光電変換素子ドライバ５４、メカニカルシャッタドライバ５６、及び信号処理回路７４が接続されている。また、入出力インタフェース７０には、交換レンズ１８の制御装置３６も接続されている。

　コントローラ１２は、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を備えている。ここで、ＣＰＵ６２は、本開示の技術に係る「プロセッサ」の一例であり、ＮＶＭ６４は、本開示の技術に係る「メモリ」の一例である。

　ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６は、バス６８を介して接続されており、バス６８は入出力インタフェース７０に接続されている。なお、図２に示す例では、図示の都合上、バス６８として１本のバスが図示されているが、複数本のバスであってもよい。バス６８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

　ＮＶＭ６４は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。例えば、ＮＶＭ６４は、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をＮＶＭ６４として適用してもよい。また、ＲＡＭ６６は、各種情報を一時的に記憶し、ワークメモリとして用いられる。

　ＣＰＵ６２は、ＮＶＭ６４から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ６６で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラムに従って撮像装置１０の全体を制御する。図２に示す例では、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、メカニカルシャッタドライバ５６、及び制御装置３６がＣＰＵ６２によって制御される。

　光電変換素子７２には、光電変換素子ドライバ５４が接続されている。光電変換素子ドライバ５４は、光電変換素子７２によって行われる撮像のタイミングを規定する撮像タイミング信号を、ＣＰＵ６２からの指示に従って光電変換素子７２に供給する。光電変換素子７２は、光電変換素子ドライバ５４から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。

　交換レンズ１８が撮像装置本体１６に装着された場合、撮像レンズ４０に入射された被写体光は、撮像レンズ４０によって受光面７２Ａに結像される。光電変換素子７２は、光電変換素子ドライバ５４の制御下で、受光面７２Ａによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示すアナログ画像データとして信号処理回路７４に出力する。具体的には、信号処理回路７４が、露光順次読み出し方式で、光電変換素子７２から１フレーム単位で且つ水平ライン毎にアナログ画像データを読み出す。

　信号処理回路７４は、アナログ画像データをデジタル化することでデジタル画像データを生成する。なお、以下では、説明の便宜上、撮像装置本体１６での内部処理の対象とされるデジタル画像データと、デジタル画像データにより示される画像（すなわち、デジタル画像データに基づいて可視化されてディスプレイ２８等に表示される画像）とを区別して説明する必要がない場合、「撮像画像７５」と称する。

　本実施形態において、コントローラ１２のＣＰＵ６２は、撮像装置１０によって撮像されることで得られた撮像画像７５に基づいて複数の被写体を検出する。本実施形態において、被写体の検出とは、例えば、被写体を示す被写体画像の検出を指す。すなわち、ＣＰＵ６２は、撮像画像７５から、被写体を示す被写体画像を検出することで、被写体画像に写り込んでいる被写体を検出する。また、本実施形態に係る撮像装置１０では、ＣＰＵ６２によって被写体認識処理が行われる。被写体認識処理とは、撮像画像７５に基づいて被写体を認識する処理を指す。本実施形態において、被写体の認識とは、少なくとも被写体の検出及び被写体の種類の特定を含む処理を指す。被写体認識処理は、ＡＩ方式又はテンプレートマッチング方式等によって実現される。

　メカニカルシャッタ６０は、フォーカルプレーンシャッタであり、絞り４０Ｄと受光面７２Ａとの間に配置されている。メカニカルシャッタ６０は、先幕（図示省略）及び後幕（図示省略）を備えている。先幕及び後幕の各々は、複数枚の羽根を備えている。先幕は、後幕よりも被写体側に配置されている。

　メカニカルシャッタアクチュエータ５８は、リンク機構（図示省略）、先幕用ソレノイド（図示省略）、及び後幕用ソレノイド（図示省略）を有するアクチュエータである。先幕用ソレノイドは、先幕の駆動源であり、リンク機構を介して先幕に機械的に連結されている。後幕用ソレノイドは、後幕の駆動源であり、リンク機構を介して後幕に機械的に連結されている。メカニカルシャッタドライバ５６は、ＣＰＵ６２からの指示に従って、メカニカルシャッタアクチュエータ５８を制御する。

　先幕用ソレノイドは、メカニカルシャッタドライバ５６の制御下で動力を生成し、生成した動力を先幕に付与することで先幕の巻き上げ及び引き下ろしを選択的に行う。後幕用ソレノイドは、メカニカルシャッタドライバ５６の制御下で動力を生成し、生成した動力を後幕に付与することで後幕の巻き上げ及び引き下ろしを選択的に行う。撮像装置１０では、先幕の開閉と後幕の開閉とがＣＰＵ６２によって制御されることで、光電変換素子７２に対する露光量が制御される。

　撮像装置１０では、ライブビュー画像用撮像と、静止画像及び／又は動画像を記録するための記録画像用の撮像とが露光順次読み出し方式（ローリングシャッタ方式）で行われる。イメージセンサ２０は、電子シャッタ機能を有しており、ライブビュー画像用撮像は、メカニカルシャッタ６０を全開状態にしたまま作動させずに、電子シャッタ機能を働かせることで実現される。

　これに対し、本露光を伴う撮像、すなわち、静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ６０を先幕閉状態から後幕閉状態に遷移させるようにメカニカルシャッタ６０を作動させることで実現される。

　画像メモリ４６には、信号処理回路７４によって生成された撮像画像７５が記憶される。すなわち、信号処理回路７４が画像メモリ４６に対して撮像画像７５を記憶させる。ＣＰＵ６２は、画像メモリ４６から撮像画像７５を取得し、取得した撮像画像７５を用いて各種処理を実行する。

　ＵＩ系デバイス４８は、ディスプレイ２８を備えており、ＣＰＵ６２は、ディスプレイ２８に対して各種情報を表示させる。また、ＵＩ系デバイス４８は、受付デバイス７６を備えている。受付デバイス７６は、タッチパネル３０及びハードキー部７８を備えている。ハードキー部７８は、指示キー２６（図１参照）を含む複数のハードキーである。ＣＰＵ６２は、タッチパネル３０によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部７８がＵＩ系デバイス４８に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部７８は、外部Ｉ／Ｆ５０に接続されていてもよい。

　外部Ｉ／Ｆ５０は、撮像装置１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５０の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接的又は間接的に接続される。通信Ｉ／Ｆ５２は、ネットワーク２０４（図３２参照）を介してＣＰＵ６２と外部コンピュータ（例えば、撮像支援装置２０２（図３２参照））との間の情報の授受を司る。例えば、通信Ｉ／Ｆ５２は、ＣＰＵ６２からの要求に応じた情報を、ネットワーク３４を介して外部コンピュータに送信する。また、通信Ｉ／Ｆ５２は、外部装置から送信された情報を受信し、受信した情報を、入出力インタフェース７０を介してＣＰＵ６２に出力する。

　ところで、従来既知の撮像装置の１つとして、被写体を検出する機能が搭載された撮像装置が知られている。この種の撮像装置では、検出された被写体の位置を特定可能に取り囲む検出枠がライブビュー画像等に重畳させた状態でディスプレイに表示される。近年では、ＡＩ方式で被写体を検出する性能が向上しており、人物のみならず、小動物及び乗り物等も検出対象とされている。このように検出対象が増えると、検出結果としてディスプレイに表示される検出枠も増えることが考えられる。この場合、ディスプレイに表示される検出枠が増えると、検出枠が重畳されるライブビュー画像等の視認性が悪化したり、ユーザ等が、撮像に関連する制御（例えば、ＡＦ制御及び／又は露出制御等）の対象とされる特定の被写体（以下、「特定被写体」とも称する）を選び難くなったりすることが予想される。ディスプレイに表示される検出枠の個数を制限するにしても、どの被写体に対して検出枠を表示させるかを適切に選ばないと、ユーザ等が意図する被写体に対して検出枠が表示されなくなることが予想される。そこで、本実施形態では、一例として、撮像装置１０が、検出対象とされる被写体が増えることでディスプレイに表示される検出枠が密集したとしても、特定被写体とそれ以外の被写体とを区別することができるようにしている。以下、具体的な一例について説明する。

　一例として図３に示すように、撮像装置１０のＮＶＭ６４には、撮像支援処理プログラム８０、被写体認識用モデル８２、及び第１組み合わせ特定テーブル８７を記憶している。被写体認識用モデル８２は、一般被写体用学習済みモデル８４及び特定被写体用学習済みモデル８６を有する。ここで、撮像支援処理プログラム８０は、本開示の技術に係る「プログラム」の一例である。

　ＣＰＵ６２は、ＮＶＭ６４から撮像支援処理プログラム８０を読み出し、読み出した撮像支援処理プログラム８０をＲＡＭ６６上で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行する撮像支援処理プログラム８０に従って撮像支援処理（図２４Ａ及び図２４Ｂ参照）を行う。撮像支援処理は、ＣＰＵ６２が撮像支援処理プログラム８０に従って取得部６２Ａ、被写体認識部６２Ｂ、分類部６２Ｃ、及び制御部６２Ｄとして動作することで実現される。

　一般被写体用学習済みモデル８４は、例えば、学習モデル（例えば、ＣＮＮ）が機械学習によって最適化されることで生成された学習済みモデルである。ここで、学習モデルに対する機械学習で用いられる教師データは、ラベル付きデータである。ラベル付きデータは、例えば、撮像画像７５と正解データとが対応付けられたデータである。正解データとしては、例えば、撮像画像７５に写り込んでいる一般被写体の種類を特定可能なデータ、及び、撮像画像７５内での一般被写体の位置を特定可能なデータを含むデータである。一般被写体とは、検出対象として定められた全ての被写体（例えば、人物の顔、人物全体、人物以外の動物、乗り物、昆虫、建築物、及び自然物等）を指す。

　一般被写体用学習済みモデル８４は、撮像画像７５が入力されると、一般被写体認識データ８４Ａを出力する。一般被写体認識データ８４Ａは、一般被写体位置特定データ８４Ａ１及び一般被写体種類特定データ８４Ａ２を有する。図４に示す例では、撮像画像７５には、犬と人物の顔が写り込んでおり、一般被写体位置特定データ８４Ａ１として、撮像画像７５内での人物の顔の相対的な位置を特定可能な情報、及び撮像画像７５内での犬の相対的な位置を特定可能な情報が例示されている。また、図４に示す例では、一般被写体種類特定データ８４Ａ２として、撮像画像７５内において、一般被写体位置特定データ８４Ａ１から特定される位置に存在する被写体が人物の顔であることを特定可能な情報、及び一般被写体位置特定データ８４Ａ１から特定される位置に存在する犬であることを特定可能な情報が例示されている。なお、一般被写体用学習済みモデル８４は、本開示の技術に係る「第１基準」の一例である。

　図５には、特定被写体用学習済みモデル８６（図３及び図６参照）の生成に用いられる教師データ８８の作り方の一例が示されている。

　一例として図５に示すように、撮像装置１０では、ディスプレイ２８に撮像画像７５が表示されている状態で、受付デバイス７６（図５に示す例では、タッチパネル３０）によって受け付けられた指示に従って選択された選択被写体が、特定被写体として指定される。すなわち、ディスプレイ２８に表示されている撮像画像７５内から１つの被写体画像がユーザ等によって受付デバイス７６を介して指定されることで、撮像画像７５内に写り込んでいる被写体のうちの１つが指定される。なお、選択被写体は、本開示の技術に係る「選択被写体」、「第１指定被写体画像」及び「第２指定被写体画像」の一例である。

　ＣＰＵ６２は、画像メモリ４６から撮像画像７５を取得する。ここで、ＣＰＵ６２によって画像メモリ４６から取得される撮像画像７５は、受付デバイス７６によって指示が受け付けられたタイミングでディスプレイ２８に表示される撮像画像７５である。ＣＰＵ６２は、撮像画像７５に基づいて、選択被写体に関する選択被写体データ９０を生成する。選択被写体データ９０は、選択被写体位置特定データ９０Ａ及び選択被写体種類特定データ９０Ｂを有する。選択被写体位置特定データ９０Ａは、撮像画像７５から特定されるパラメータを有するデータである。選択被写体位置特定データ９０Ａは、撮像画像７５から特定されるパラメータとして、撮像画像７５内での選択被写体の相対的な位置を特定可能なパラメータ（例えば、撮像画像７５内での位置を特定可能な２次元座標）を有する。

　選択被写体種類特定データ９０Ｂは、選択被写体の種類（例えば、犬、及び、人物の顔等）を特定可能なデータである。選択被写体種類特定データ９０Ｂは、例えば、受付デバイス７６によって指示が受け付けられた指示に従って生成されるデータである。但し、これは、あくまでも一例に過ぎず、選択被写体種類特定データ９０Ｂは、被写体認識処理によって特定された種類を特定可能なデータであってもよい。

　ＣＰＵ６２は、画像メモリ４６から取得した撮像画像７５と、撮像画像７５に基づいて生成された選択被写体データ９０とを対応付けることで教師データ８８を生成し、ＮＶＭ６４に記憶させる。ＮＶＭ６４には、複数フレーム分の教師データ８８が記憶されている。ここで、複数フレームとは、例えば、数万フレーム（例えば、“５００００”）を指す。但し、これは、あくまでも一例に過ぎず、数万フレームよりも少ないフレーム数（例えば、数千フレーム）であってもよいし、数万フレームよりも多いフレーム数（例えば、数十万フレーム）であってもよい。なお、ここで、フレームとは、撮像画像７５の数を指す。

　一例として図６に示すように、特定被写体用学習済みモデル８６は、モデル生成装置９２によって生成される。モデル生成装置９２は、ＣＮＮ９４を有する。また、モデル生成装置９２は、ＮＶＭ６４に接続されている。

　モデル生成装置９２は、ＮＶＭ６４から１フレームずつ教師データ８８を読み出す。モデル生成装置９２は、教師データ８８から撮像画像７５を取得し、取得した撮像画像７５をＣＮＮ９４に入力する。ＣＮＮ９４は、撮像画像７５が入力されると、推論を行い、推論結果を示す被写体認識データ９４Ａを出力する。被写体認識データ９４Ａは、教師データ８８に含まれる選択被写体データ９０に含まれるデータと同項目のデータである。同項目のデータとは、例えば、ＣＮＮ９４に入力された撮像画像７５内での特定被写体として予想された被写体の相対的な位置を特定可能な情報、及びＣＮＮ９４に入力された撮像画像７５内に写り込んでいる特定被写体として予想された被写体の種類を特定可能な情報等を指す。

　モデル生成装置９２は、ＣＮＮ９４に入力した撮像画像７５に対応付けられている選択被写体データ９０と被写体認識データ９４Ａとの誤差９６を算出する。誤差９６とは、例えば、ＣＮＮ９４に入力された撮像画像７５内での特定被写体として予想された被写体の相対的な位置を特定可能な情報と、選択被写体データ９０に含まれる選択被写体位置特定データ９０Ａ（図５参照）との誤差、及び、ＣＮＮ９４に入力された撮像画像７５内に写り込んでいる特定被写体として予想された被写体の種類を特定可能な情報と選択被写体データ９０に含まれる選択被写体種類特定データ９０Ｂとの誤差等を指す。

　モデル生成装置９２は、誤差９６を参照する複数の調整値９８を算出する。そして、モデル生成装置９２は、算出した複数の調整値９８を用いてＣＮＮ９４内の複数の最適化変数を調整する。ここで、ＣＮＮ９４の最適化変数とは、例えば、ＣＮＮ９４に含まれる複数の結合荷重及び複数のオフセット値等を指す。

　モデル生成装置９２は、撮像画像７５のＣＮＮ９４への入力、誤差９６の算出、複数の調整値９８の算出、及びＣＮＮ９４内の複数の最適化変数の調整、という学習処理を、ＮＶＭ６４に記憶されている撮像画像７５のフレーム数分だけ繰り返し行う。すなわち、モデル生成装置９２は、ＮＶＭ６４内の複数フレーム分の撮像画像７５の各々について、誤差９６が最小になるように算出した複数の調整値９８を用いてＣＮＮ９４内の複数の最適化変数を調整することで、ＣＮＮ９４を最適化する。

　モデル生成装置９２は、ＣＮＮ９４を最適化することで特定被写体用学習済みモデル８６を生成する。すなわち、ＣＮＮ９４に含まれる複数の最適化変数が調整されることによってＣＮＮ９４が最適化され、これによって特定被写体用学習済みモデル８６が生成される。モデル生成装置９２は、生成した特定被写体用学習済みモデル８６をＮＶＭ６４に記憶させる。なお、特定被写体用学習済みモデル８６は、本開示の技術に係る「第２基準」の一例である。

　一例として図７に示すように、取得部６２Ａは、画像メモリ４６から撮像画像７５を取得する。制御部６２Ｄは、画像メモリ４６から取得した撮像画像７５をディスプレイ２８に対して表示させる。この場合、例えば、制御部６２Ｄは、ディスプレイ２８に表示させるための表示用データ９９を生成し、生成した表示用データ９９をディスプレイ２８に出力する。これにより、ディスプレイ２８には、撮像画像７５が表示される。ディスプレイ２８に表示される撮像画像７５の種類としては、例えば、ライブビュー画像が挙げられる。但し、ライブビュー画像は、あくまでも一例に過ぎず、ポストビュー画像等の他種類の画像であってもよい。なお、表示用データ９９は、本開示の技術に係る「表示用データ」の一例である。

　一例として図８に示すように、被写体認識部６２Ｂは、取得部６２Ａによって取得された撮像画像７５に基づいて、一般被写体について被写体認識処理である一般被写体認識処理を実行する。例えば、この場合、被写体認識部６２Ｂは、取得部６２Ａによって取得された撮像画像７５を一般被写体用学習済みモデル８４に入力する。一般被写体用学習済みモデル８４は、撮像画像７５が入力されると、一般被写体認識データ８４Ａを出力する。一般被写体認識データ８４Ａには、一般被写体位置特定データ８４Ａ１及び一般被写体種類特定データ８４Ａ２が含まれている。

　一例として図９に示すように、被写体認識部６２Ｂは、一般被写体用学習済みモデル８４から出力された一般被写体認識データ８４Ａを取得する。そして、被写体認識部６２Ｂは、取得した一般被写体認識データ８４Ａを参照して、取得部６２Ａによって取得された撮像画像７５、すなわち、一般被写体用学習済みモデル８４に入力された撮像画像７５内に複数の一般被写体が存在しているか否か、すなわち、一般被写体用学習済みモデル８４に入力された撮像画像７５内に複数の一般被写体が写り込んでいるか否かを判定する。ここで、撮像画像７５内に複数の一般被写体が存在していると判定されたということは、撮像画像７５に基づいて複数の一般被写体が検出されたことを意味している。

　被写体認識部６２Ｂは、一般被写体用学習済みモデル８４に入力された撮像画像７５内に複数の一般被写体が存在していると判定した場合、取得部６２Ａによって取得された撮像画像７５に基づいて、特定被写体認識処理を実行する。例えば、この場合、被写体認識部６２Ｂは、取得部６２Ａによって取得された撮像画像７５、すなわち、一般被写体用学習済みモデル８４に入力された撮像画像７５を特定被写体用学習済みモデル８６に入力する。特定被写体用学習済みモデル８６は、撮像画像７５が入力されると、特定被写体認識データ８６Ａを出力する。特定被写体認識データ８６Ａには、特定被写体位置特定データ８６Ａ１及び特定被写体種類特定データ８６Ａ２が含まれている。

　一例として図１０に示すように、被写体認識部６２Ｂは、特定被写体用学習済みモデル８６から出力された特定被写体認識データ８６Ａを取得する。そして、被写体認識部６２Ｂは、取得した特定被写体認識データ８６Ａを参照して、取得部６２Ａによって取得された撮像画像７５、すなわち、特定被写体用学習済みモデル８６に入力された撮像画像７５内に特定被写体が存在しているか否か、すなわち、特定被写体用学習済みモデル８６に入力された撮像画像７５内に特定被写体が写り込んでいるか否かを判定する。ここで、撮像画像７５内に特定被写体が存在していると判定されたということは、撮像画像７５に基づいて特定被写体が検出されたことを意味している。

　分類部６２Ｃは、特定被写体用学習済みモデル８６に入力された撮像画像７５内に特定被写体が存在していると被写体認識部６２Ｂによって判定された場合、例えば、図１１～図１３に示す処理を行う。

　一例として図１１に示すように、分類部６２Ｃは、撮像画像７５に基づいて検出された複数の一般被写体から、特定被写体と、撮像画像７５の面内方向において特定被写体から第１距離の範囲内に存在する周辺被写体とを選出する。ここで、第１距離の一例としては、撮像画像７５内での距離が挙げられる。撮像画像７５内での距離は、例えば、ピクセル単位で表現される。第１距離は、固定値であってもよいし、受付デバイス７６等によって受け付けられた指示、及び／又は、各種条件に応じて変更される可変値であってもよい。また、特定被写体は、本開示の技術に係る「第１被写体」の一例であり、周辺被写体は、本開示の技術に係る「第２被写体」の一例である。また、第１距離は、本開示の技術に係る「第１距離」及び「既定距離」の一例である。

　分類部６２Ｃは、被写体認識部６２Ｂから一般被写体認識データ８４Ａ及び特定被写体認識データ８６Ａを取得する。そして、分類部６２Ｃは、特定被写体認識データ８６Ａを参照して、取得部６２Ａによって取得された撮像画像７５、すなわち、一般被写体用学習済みモデル８４及び特定被写体用学習済みモデル８６に入力された撮像画像７５の面内方向の画像領域７５Ａに第１距離内エリア１００を設定する。第１距離内エリア１００は、撮像画像７５の面内方向において一般被写体認識データ８４Ａから特定される特定被写体の特定箇所（例えば、顔の中心）から第１距離内のエリアを指す。撮像画像７５の面内方向とは、奥行方向に対して垂直な面内の方向、すなわち、撮像画像７５内の位置を特定する２次元座標で規定される２次元平面内の方向を指す。第１距離内エリア１００は、本開示の技術に係る「撮像画像の面内方向において第１被写体から第１距離の範囲」の一例である。

　分類部６２Ｃは、一般被写体認識データ８４Ａを参照して、画像領域７５Ａに設定した第１距離内エリア１００内に一般被写体が存在しているか否か、すなわち、第１距離内エリア１００内に一般被写体が写り込んでいるか否かを判定する。第１距離内エリア１００内に一般被写体が存在していると判定されたということは、第１距離内エリア１００内の一般被写体が選出されたことを意味している。

　一例として図１２に示すように、分類部６２Ｃは、第１距離内エリア１００内に一般被写体が存在していると判定した場合、第１距離内エリア１００内の一般被写体を特定被写体と周辺被写体とに分類する。

　撮像画像７５において、特定被写体は、第１仮想枠１０２によって囲まれている。第１仮想枠１０２は、いわゆるバウンディングボックスと呼ばれる不可視の矩形枠である。第１仮想枠１０２は、特定被写体認識データ８６Ａに含まれる特定被写体位置特定データ８６Ａ１に従って分類部６２Ｃによって生成される。分類部６２Ｃは、第１仮想枠１０２に対して、第１仮想枠１０２内に特定被写体が存在していることを示す特定被写体識別子１０６を付加する。

　撮像画像７５において、一般被写体は、第２仮想枠１０４によって囲まれている。第２仮想枠１０４は、いわゆるバウンディングボックスと呼ばれる不可視の矩形枠である。第２仮想枠１０４は、一般被写体認識データ８４Ａに含まれる一般被写体位置特定データ８４Ａ１に従って分類部６２Ｃによって生成される。分類部６２Ｃは、第１距離内エリア１００内の第２仮想枠１０４に対して、第２仮想枠１０４内に周辺被写体が存在していることを示す周辺被写体識別子１０８を付加する。すなわち、撮像画像７５内に存在している全ての一般被写体に対応する全ての第２仮想枠１０４のうち、第１距離内エリア１００内の第２仮想枠１０４のみに周辺被写体識別子１０８が付加される。

　このように、分類部６２Ｃは、第１仮想枠１０２に対して特定被写体識別子１０６を付加し、かつ、第１距離内エリア１００内の第２仮想枠１０４に対して周辺被写体識別子１０８を付加することで、第１距離内エリア１００内の一般被写体を特定被写体と周辺被写体とに分類する。

　一例として図１３に示すように、分類部６２Ｃは、特定被写体識別子１０６及び第１仮想枠１０２を参照して第１インディケータ１１０を生成し、周辺被写体識別子１０８及び第２仮想枠１０４を参照して第２インディケータ１１２を生成する。

　第１インディケータ１１０は、特定被写体を示す特定被写体画像を特定する。第１インディケータ１１０は、第１仮想枠１０２の位置、大きさ、及び形状と同一の表示用の枠であり、ディスプレイ２８に対して表示されることで可視化される。第１インディケータ１１０は、第１仮想枠１０２が可視化されるように加工されることによって生成される。

　第２インディケータ１１２は、周辺被写体を示す周辺被写体画像を第１インディケータ１１０と異なる態様で特定する。第２インディケータ１１２は、第２仮想枠１０４の位置、大きさ、及び形状と同一の表示用の枠であり、ディスプレイ２８に対して表示されることで可視化される。第２インディケータ１１２は、第２仮想枠１０４が可視化されるように加工されることによって生成される。

　図１３に示す例では、第１インディケータ１１０は、実線の枠であり、第２インディケータ１１２は、破線の枠である。なお、これは、あくまでも一例にし過ぎず、分類部６２Ｃは、第１インディケータ１１０の色と第２インディケータ１１２の色を変えること等により第１インディケータ１１０と第２インディケータ１１２とを区別可能な態様で生成するようにしてもよい。また、分類部６２Ｃは、第１インディケータ１１０のコントラストと第２インディケータ１１２のコントラストとを変えることにより第１インディケータ１１０と第２インディケータ１１２とを区別可能な態様で生成するようにしてもよい。

　制御部６２Ｄは、分類部６２Ｃによって生成された第１インディケータ１１０及び第２インディケータ１１２を含むデータを個別型インディケータデータ１１４として分類部６２Ｃから取得する。

　一例として図１４に示すように、制御部６２Ｄは、個別型インディケータデータ１１４に従って、ディスプレイ２８に対して、第１インディケータ１１０及び第２インディケータ１１２を撮像画像７５に重畳させて表示させる。この場合、例えば、制御部６２Ｄは、個別型インディケータデータ１１４に基づいて表示用データ１１５を生成し、生成した表示用データ１１５をディスプレイ２８に出力する。表示用データ１１５は、ディスプレイ２８に対して、第１インディケータ１１０及び第２インディケータ１１２を表示させるためのデータである。なお、表示用データ１１５は、本開示の技術に係る「表示用データ」の一例である。また、ここでは、表示用データ９９（図７参照）と表示用データ１１５とが別々に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されず、表示用データ１１５に表示用データ９９が統合されていてもよい。すなわち、表示用データ１１５は、撮像画像７５に対して第１インディケータ１１０及び第２インディケータ１１２が重畳された表示用データであってもよい。

　一例として図１５に示すように、分類部６２Ｃは、撮像画像７５に基づいて検出された複数の一般被写体から、特定被写体と、撮像画像７５の面内方向において特定被写体から第２距離の範囲内に存在する周辺被写体とを選出する。ここで、第２距離の一例としては、撮像画像７５内での距離が挙げられる。撮像画像７５内での距離は、例えば、ピクセル単位で表現される。第２距離は、固定値であってもよいし、受付デバイス７６等によって受け付けられた指示、及び／又は、各種条件に応じて変更される可変値であってもよい。また、第２距離は、第１距離よりも短い距離である。但し、これは、あくまでも一例に過ぎず、第２距離は、第１距離以上の距離であってよい。また、第２距離は、本開示の技術に係る「第２距離」及び「既定距離」の一例である。

　分類部６２Ｃは、特定被写体認識データ８６Ａを参照して、取得部６２Ａによって取得された撮像画像７５、すなわち、一般被写体用学習済みモデル８４及び特定被写体用学習済みモデル８６に入力された撮像画像７５の面内方向の画像領域７５Ａに第２距離内エリア１１６を設定する。第２距離内エリア１１６は、撮像画像７５の面内方向において一般被写体認識データ８４Ａから特定される特定被写体の特定箇所（例えば、顔の中心）から第２距離内のエリアを指す。撮像画像７５の面内方向とは、奥行方向に対して垂直な面内の方向、すなわち、撮像画像７５内の位置を特定する２次元座標で規定される２次元平面内の方向を指す。第２距離内エリア１１６は、本開示の技術に係る「撮像画像の面内方向において第２被写体から第２距離の範囲」の一例である。

　分類部６２Ｃは、一般被写体認識データ８４Ａを参照して、画像領域７５Ａに設定した第２距離内エリア１１６内に一般被写体が存在しているか否か、すなわち、第２距離内エリア１１６内に一般被写体が写り込んでいるか否かを判定する。第２距離内エリア１１６内に一般被写体が存在していると判定されたということは、第２距離内エリア１１６内の一般被写体が選出されたことを意味している。

　一例として図１６に示すように、分類部６２Ｃは、画像領域７５Ａに設定した第２距離内エリア１１６内に一般被写体が存在していると判定された場合、第２距離内エリア１１６内の一般被写体を対象にして、一般被写体認識データ８４Ａから一般被写体種類特定データ８４Ａ２を抽出することで、第２距離内エリア１１６内の一般被写体の種類を取得する。また、分類部６２Ｃは、特定被写体認識データ８６Ａから特定被写体種類特定データ８６Ａ２を抽出することで、特定被写体の種類を取得する。

　一例として図１７に示すように、分類部６２Ｃは、ＮＶＭ６４内の第１組み合わせ特定テーブル８７を参照して、第２距離内エリア１１６内の特定被写体と一般被写体との組み合わせが第１組み合わせであるか否かを判定する。第１組み合わせ特定テーブル８７には、特定被写体の種類と一般被写体の種類との組み合わせが規定されている。第１組み合わせ特定テーブル８７に規定されている組み合わせは、本開示の技術に係る「第１組み合わせ」の一例である。図１７に示す例では、特定被写体の種類と一般被写体の種類とが同一である場合の組み合わせが示されている。但し、これは、あくまでも一例に過ぎず、他の組み合わせであってもよい。また、第１組み合わせ特定テーブル８７によって規定されている組み合わせは、固定されていてもよいし、受付デバイス７６等によって受け付けられた指示、及び／又は、各種条件に応じて変更されてもよい。

　分類部６２Ｃは、一般被写体認識データ８４Ａから抽出した一般被写体種類特定データ８４Ａ２によって特定される種類と、特定被写体認識データ８６Ａから抽出した特定被写体種類特定データ８６Ａ２によって特定される種類とが第１組み合わせ特定テーブル８７で規定されている組み合わせの何れかと一致しているか否かを判定する。すなわち、分類部６２Ｃは、第２距離内エリア１１６内において一般被写体の種類と特定被写体の種類との組み合わせが第１組み合わせ特定テーブル６４で規定されている組み合わせの何れかと一致しているか否かを判定する。

　分類部６２Ｃは、第２距離内エリア１１６内において一般被写体の種類と特定被写体の種類との組み合わせが第１組み合わせ特定テーブル６４で規定されている組み合わせの何れかと一致していると判定した場合、撮像画像７５内の一般被写体を第２距離内被写体と第２距離外被写体とに分類する。第２距離内被写体とは、第２距離内エリア１１６内に存在する特定被写体及び周辺被写体を指し、第２距離外被写体は、撮像画像７５内の全ての一般被写体のうち、第２距離内エリア１１６内に存在する特定被写体及び周辺被写体以外の一般被写体を指す。

　一例として図１８に示すように、分類部６２Ｃは、第２距離内エリア１１６内の第１仮想枠１０２及び第２仮想枠１０４に対して、第１仮想枠１０２及び第２仮想枠１０４の各々が第２距離内エリア１１６内に存在していることを示す第２距離内識別子１１８を付加する。

　このように、分類部６２Ｃは、第２距離内エリア１１６内の第１仮想枠１０２及び第２仮想枠１０４の各々に対して第２距離内識別子１１８を付加することで、撮像画像７５内の全ての被写体を、第２距離内被写体と第２距離外被写体とに分類する。

　撮像画像７５内の全ての被写体が、第２距離内被写体と第２距離外被写体とに分類されると、一例として図１９に示すように、分類部６２Ｃは、第１インディケータ１１０及び第２インディケータ１１２が存在している場合、第１インディケータ１１０及び第２インディケータ１１２を消去する。そして、分類部６２Ｃは、第２距離内識別子１１８が付加されている第１仮想枠１０２、第２距離内識別子１１８が付加されている第２仮想枠１０４を参照して、第３インディケータ１２０を生成する。

　第３インディケータ１２０は、特定被写体の種類と周辺被写体の種類との組み合わせが第１組み合わせ特定テーブル６４で規定されており、かつ、第２距離内エリア１１６内に存在する特定被写体及び周辺被写体を特定するインディケータである。第３インディケータ１２０は、特定被写体の種類と周辺被写体の種類との組み合わせが第１組み合わせ特定テーブル６４で規定されており、かつ、第２距離内エリア１１６内に存在する特定被写体及び周辺被写体に対応する第１仮想枠１０２及び第２仮想枠１０４を取り囲む表示用の枠（図１９に示す例では、長方形状の枠）であり、ディスプレイ２８に対して表示されることで可視化される。

　制御部６２Ｄは、分類部６２Ｃによって生成された第３インディケータ１２０を含むデータを一体型インディケータデータ１２２として分類部６２Ｃから取得する。

　一例として図２０に示すように、制御部６２Ｄは、一体型インディケータデータ１２２に従って、第１インディケータ１１０及び第２インディケータ１１２を消去し、かつ、ディスプレイ２８に対して、第３インディケータ１２０を撮像画像７５に重畳させて表示させる。この場合、例えば、制御部６２Ｄは、一体型インディケータデータ１２２に基づいて表示用データ１２３を生成し、生成した表示用データ１２３をディスプレイ２８に出力する。表示用データ１２３は、第１インディケータ１１０及び第２インディケータ１１２を消去し、ディスプレイ２８に対して、第３インディケータ１２０を表示させるためのデータである。換言すると、表示用データ１２３は、第１インディケータ１１０及び第２インディケータ１１２に代えて第３インディケータ１２０をディスプレイ２８に対して表示させるためのデータである。ここで、表示用データ１２３は、本開示の技術に係る「表示用データ」及び「第１データ」の一例である。

　一例として図２１に示すように、ディスプレイ２８に撮像画像７５が表示されており、かつ、撮像画像７５に第３インディケータ１２０が重畳されて表示されている状態で、ユーザ等が特定被写体の変更を望む場合、ユーザ等によってタッチパネル３０を介して特定被写体候補１２４が選択される。すなわち、第３インディケータ１２０内に存在する何れかの周辺被写体が特定被写体候補１２４としてタッチパネル３０を介してユーザ等によって選択される。このように、特定被写体候補１２４が選択されると、被写体認識部６２Ｂは、特定被写体候補１２４が選択された時点でディスプレイ２８に表示されている撮像画像７５から特定被写体候補１２４を抽出し、抽出した特定被写体候補１２４がＲＡＭ６６に記憶（上書き保存）される。なお、必ずしも第３インディケータ１２０が重畳されて表示されている状態で特定被写体候補１２４が選択される必要はなく、図１４に示すように第１インディケータ１１０及び第２インディケータ１１２を撮像画像７５に重畳されて表示されている状態で、いずれかの第２インディケータ１１２がユーザ等によって選択されることに基づき特定被写体候補１２４が選択されてもよい。また、特定被写体候補１２４は、特定被写体から第２距離の範囲外に存在する被写体から選択されてもよい。

　一例として図２２に示すように、特定被写体候補１２４が選択されてＲＡＭ６６に記憶された後、画像メモリ４６に新たな撮像画像７５が記憶されると、取得部６２Ａによって画像メモリ４６から最新の撮像画像７５が取得される。制御部６２Ｄは、取得部６２Ａによって取得された最新の撮像画像７５を表示するための表示用データ９９を生成し、生成した表示用データ９９をディスプレイ２８に出力する。これにより、ディスプレイ２８に表示される撮像画像７５が、最新の撮像画像７５に更新される。

　一例として図２３に示すように、被写体認識部６２Ｂは、取得部６２Ａによって取得された撮像画像７５、すなわち、ディスプレイ２８に表示される撮像画像７５を一般被写体用学習済みモデル８４に入力することで、一般被写体用学習済みモデル８４から出力された一般被写体認識データ８４Ａを取得する。被写体認識部６２Ｂは、取得した一般被写体認識データ８４Ａから、一般被写体用学習済みモデル８４に入力された撮像画像７５に複数の一般被写体が存在するか否かを判定する。

　被写体認識部６２Ｂは、一般被写体用学習済みモデル８４に入力された撮像画像７５に複数の一般被写体が存在する場合、一般被写体用学習済みモデル８４に入力された撮像画像７５に対して、特定被写体候補１２４をテンプレートとして用いたテンプレートマッチング方式の被写体認識処理を実行する。

　被写体認識部６２Ｂは、テンプレートマッチング方式の被写体認識処理を実行することで、撮像画像７５内に特定被写体候補１２４が存在しているか否かを判定する。ここで、被写体認識部６２Ｂは、撮像画像７５内に特定被写体候補１２４が存在していると判定した場合、特定被写体候補１２４を新たな特定被写体に設定し、その後、分類部６２Ｃが上述した処理（図１１～図１３等を参照）を行う。

　次に、撮像装置１０の作用について図２４Ａ及び図２４Ｂを参照しながら説明する。

　図２４Ａ及び図２４Ｂには、撮像装置１０のＣＰＵ６２によって行われる撮像支援処理の流れの一例が示されている。なお、図２４Ａ及び図２４Ｂに示す撮像支援処理の流れは、本開示の技術に係る「撮像支援方法」の一例である。

　図２４Ａに示す撮像支援処理では、先ず、ステップＳＴ１００で、取得部６２Ａは、画像メモリ４６に撮像画像７５が記憶されたか否かを判定する。ステップＳＴ１００において、画像メモリ４６に撮像画像７５が記憶されていない場合は、判定が否定されて、撮像支援処理は、図２４Ｂに示すステップＳＴ１４４へ移行する。ステップＳＴ１００において、画像メモリ４６に撮像画像７５が記憶された場合は、判定が肯定されて、撮像支援処理はステップＳＴ１０２へ移行する。

　ステップＳＴ１０２で、取得部６２Ａは、画像メモリ４６から撮像画像７５を取得する。ステップＳＴ１０２の処理が実行された後、撮像支援処理はステップＳＴ１０４へ移行する。

　ステップＳＴ１０４で、制御部６２Ｄは、ステップＳＴ１０２で取得された撮像画像７５をディスプレイ２８に対して表示させる。ステップＳＴ１０４の処理が実行された後、撮像支援処理はステップＳＴ１０６へ移行する。

　ステップＳＴ１０６で、被写体認識部６２Ｂは、ステップＳＴ１０２で取得された撮像画像７５に基づいて、一般被写体用学習済みモデル８４及び特定被写体用学習済みモデル８６を用いた被写体認識処理を実行する。ステップＳＴ１０６の処理が実行された後、撮像支援処理はステップＳＴ１０８へ移行する。

　ステップＳＴ１０８で、被写体認識部６２Ｂは、ステップＳＴ１０６の処理を実行することで一般被写体用学習済みモデル８４から出力された一般被写体認識データ８４Ａ、及びステップＳＴ１０６の処理を実行することで特定被写体用学習済みモデル８６から出力された特定被写体認識データ８６Ａを取得する。ステップＳＴ１０８の処理が実行された後、撮像支援処理はステップＳＴ１１０へ移行する。

　ステップＳＴ１１０で、被写体認識部６２Ｂは、ステップＳＴ１０８で取得した一般被写体認識データ８４Ａを参照して、撮像画像７５内に複数の一般被写体が写り込んでいるか否かを判定する。ステップＳＴ１１０において、撮像画像７５内に複数の一般被写体が写り込んでいない場合は、判定が否定されて、撮像支援処理は、図２４Ｂに示すステップＳＴ１４４へ移行する。ステップＳＴ１１０において、撮像画像７５内に複数の一般被写体が写り込んでいる場合は、判定が肯定されて、撮像支援処理はステップＳＴ１１２へ移行する。

　ステップＳＴ１１２で、被写体認識部６２Ｂは、１フレーム前に特定被写体候補１２４が選択されたか否かを判定する（図２４Ｂに示すステップＳＴ１３６参照）。ステップＳＴ１１２において、１フレーム前に特定被写体候補１２４が選択されていない場合は、判定が否定されて、撮像支援処理はステップＳＴ１１４へ移行する。ステップＳＴ１１２において、１フレーム前に特定被写体候補１２４が選択された場合は、判定が肯定されて、撮像支援処理はステップＳＴ１１６へ移行する。

　ステップＳＴ１１４で、被写体認識部６２Ｂは、ステップＳＴ１０８で取得した特定被写体認識データ８６Ａを参照して、撮像画像７５内に写り込んでいると判定された複数の一般被写体に特定被写体が存在しているか否かを判定する。ステップＳＴ１１４において、撮像画像７５内に写り込んでいると判定された複数の一般被写体に特定被写体が存在していない場合は、判定が否定されて、撮像支援処理は、図２４Ｂに示すステップＳＴ１４４へ移行する。ステップＳＴ１１４において、撮像画像７５内に写り込んでいると判定された複数の一般被写体に特定被写体が存在している場合は、判定が肯定されて、ステップＳＴ１２２へ移行する。

　ステップＳＴ１１６で、被写体認識部６２Ｂは、撮像画像７５に対して、１フレーム前に選択された特定被写体候補１２４を用いたテンプレートマッチング方式での被写体認識処理を実行する。ステップＳＴ１１６の処理が実行された後、撮像支援処理はステップＳＴ１１８へ移行する。

　ステップＳＴ１１８で、被写体認識部６２Ｂは、ステップＳＴ１１６で実行した被写体認識処理の結果を参照して、撮像画像７５内に特定被写体候補１２４が写り込んでいるか否かを判定する。ステップＳＴ１１８において、撮像画像７５内に特定被写体候補１２４が写り込んでいない場合は、判定が否定されて、撮像支援処理はステップＳＴ１２２へ移行する。ステップＳＴ１１８において、撮像画像７５内に特定被写体候補１２４が写り込んでいる場合は、判定が肯定されて、撮像支援処理はステップＳＴ１２０へ移行する。

　ステップＳＴ１２０で、被写体認識部６２Ｂは、特定被写体候補１２４を新たな特定被写体に設定する。ステップＳＴ１２０の処理が実行された後、撮像支援処理はステップＳＴ１２２へ移行する。

　ステップＳＴ１２２で、分類部６２Ｃは、特定被写体から第１距離内に一般被写体が存在しているか否かを判定する。ステップＳＴ１２２において、特定被写体から第１距離内に一般被写体が存在していない場合は、判定が否定されて、撮像支援処理は、図２４Ｂに示すステップＳＴ１４４へ移行する。ステップＳＴ１２２において、特定被写体から第１距離内に一般被写体が存在している場合は、判定が肯定されて、撮像支援処理はステップＳＴ１２４へ移行する。

　ステップＳＴ１２４で、分類部６２Ｃは、第１距離内の一般被写体を特定被写体と周辺被写体とに分類する。ステップＳＴ１２４の処理が実行された後、撮像支援処理はステップＳＴ１２６へ移行する。

　ステップＳＴ１２６で、制御部６２Ｄは、特定被写体を特定する第１インディケータ１１０、及び周辺被写体を特定する第２インディケータ１１２をディスプレイ２８に対して表示させる。ステップＳＴ１２６の処理が実行された後、撮像支援処理は、図２４Ｂに示すステップＳＴ１２８へ移行する。

　図２４Ｂに示すステップＳＴ１２８で、分類部６２Ｃは、特定被写体から第２距離内に一般被写体が存在しているか否かを判定する。ステップＳＴ１２８において、特定被写体から第２距離内に一般被写体が存在していない場合は、判定が否定されて、撮像支援処理は、ステップＳＴ１４４へ移行する。ステップＳＴ１２８において、特定被写体から第２距離内に一般被写体が存在している場合は、判定が肯定されて、撮像支援処理はステップＳＴ１３０へ移行する。

　ステップＳＴ１３０で、分類部６２Ｃは、特定被写体の種類と周辺被写体の種類との組み合わせが第１組み合わせテーブル８７で規定されている第１組み合わせであるか否かを判定する。ステップＳＴ１３０において、特定被写体の種類と周辺被写体の種類との組み合わせが第１組み合わせテーブル８７で規定されている第１組み合わせでない場合は、判定が否定されて、撮像支援処理はステップＳＴ１４４へ移行する。ステップＳＴ１３０において、特定被写体の種類と周辺被写体の種類との組み合わせが第１組み合わせテーブル８７で規定されている第１組み合わせの場合は、判定が肯定されて、撮像支援処理はステップＳＴ１３２へ移行する。

　ステップＳＴ１３２で、制御部６２Ｄは、第１インディケータ１１０及び第２インディケータ１１２を消去する。ステップＳＴ１３２の処理が実行された後、撮像支援処理はステップＳＴ１３４へ移行する。

　ステップＳＴ１３４で、制御部６２Ｄは、ディスプレイ２８に対して、第３インディケータ１２０を表示させる。ステップＳＴ１３４の処理が実行された後、撮像支援処理はステップＳＴ１３６へ移行する。

　ステップＳＴ１３６で、被写体認識部６２Ｂは、タッチパネル３０を介して特定被写体候補１２４が選択されたか否かを判定する。ステップＳＴ１３６において、タッチパネル３０を介して特定被写体候補１２４が選択されていない場合は、判定が否定されて、撮像支援処理はステップＳＴ１４４へ移行する。ステップＳＴ１３６において、タッチパネル３０を介して特定被写体候補１２４が選択された場合は、判定が肯定されて、撮像支援処理はステップＳＴ１３８へ移行する。

　ステップＳＴ１３８で、被写体認識部６２Ｂは、ステップＳＴ１０４で取得された撮像画像７５から特定被写体候補１２４を抽出する。ステップＳＴ１３８の処理が実行された後、撮像支援処理はステップＳＴ１４４へ移行する。

　ステップＳＴ１４４で、被写体認識部６２Ｂは、撮像支援処理を終了する条件（以下、「撮像支援処理終了条件」とも称する）を満足したか否かを判定する。撮像支援処理終了条件の一例としては、撮像装置１０に対して設定されている撮像モードが解除された、との条件、又は、撮像支援処理を終了させる指示が受付デバイス７６によって受け付けられた、との条件等が挙げられる。ステップＳＴ１４４において、撮像支援処理終了条件を満足していない場合は、判定が否定されて、撮像支援処理はステップＳＴ１４０へ移行する。

　ステップＳＴ１４０で、制御部６２Ｄは、ディスプレイ２８にインディケータが表示されているか否かを判定する。ステップＳＴ１４０において、ディスプレイ２８にインディケータ（例えば、第１インディケータ１１０及び第２インディケータ１１２、又は、第３インディケータ１２０）が表示されていない場合は、判定が否定されて、撮像支援処理は、図２４Ａに示すステップＳＴ１００へ移行する。ステップＳＴ１４０において、ディスプレイ２８にインディケータが表示されている場合は、判定が肯定されて、撮像支援処理はステップＳＴ１４２へ移行する。

　ステップＳＴ１４２で、制御部６２Ｄは、ディスプレイ２８に表示されているインディケータを消去する。ステップＳＴ１４２の処理が実行された後、撮像支援処理は、図２４Ａに示すステップＳＴ１００へ移行する。

　ステップＳＴ１４４において、撮像支援処理終了条件を満足した場合は、判定が肯定されて、撮像支援処理が終了する。

　以上説明したように、撮像装置１０では、撮像画像７５に基づいて複数の一般被写体が検出され、検出された複数の一般被写体から、特定被写体と、撮像画像７５の面内方向において特定被写体から第１距離の範囲内に存在する周辺被写体とが選出される。そして、撮像装置１０では、ディスプレイ２８に対して、表示用データ９９及び１１５が出力される。表示用データ９９は、ディスプレイ２８に対して撮像画像７５を表示させるためのデータであり、表示用データ１１５は、ディスプレイ２８に対して、第１インディケータ１１０及び第２インディケータ１１２を表示させるためのデータである。第１インディケータ１１０は、特定被写体を特定するインディケータであり、第２インディケータ１１２は、周辺被写体を特定するインディケータである。従って、本構成によれば、複数の一般被写体が密集していたとしても、撮像画像７５の面内方向において特定被写体から第１距離の範囲内に存在する特定被写体と周辺被写体とを区別することができる。

　また、撮像装置１０では、ディスプレイ２８に対して、表示用データ１２３が出力される。表示用データ１２３は、ディスプレイ２８から第１インディケータ１１０及び第２インディケータ１１２に代えて第３インディケータ１２０を表示させるためのデータである。これにより、ディスプレイ２８には、第１インディケータ１１０及び第２インディケータ１１２に代えて第３インディケータ１２０が表示される。第３インディケータ１２０は、第２距離内の特定被写体及び周辺被写体を１つのオブジェクトとして特定するインディケータである。従って、本構成によれば、複数の一般被写体のうち、特定被写体の候補とされている周辺被写体とそれ以外の一般被写体とを区別することができる。

　また、撮像装置１０では、一般被写体用学習済みモデル８４に従って複数の一般被写体が検出される。従って、本構成によれば、テンプレートマッチング方式の被写体認識処理によって複数の一般被写体が検出される場合に比べ、複数の一般被写体を精度良く検出することができる。

　また、第３インディケータ１２０は、特定被写体の種類と周辺被写体の種類との組み合わせが第１組み合わせ特定テーブル８７で規定されている第１組み合わせであり、かつ、特定被写体から第２距離内に存在する特定被写体及び周辺被写体を特定するインディケータである。従って、本構成によれば、特定被写体の種類と周辺被写体の種類との組み合わせとは無関係に第２距離内の特定被写体及び周辺被写体をインディケータで特定する場合に比べ、複数の一般被写体のうち、ユーザ等が意図しない種類の組み合わせの特定被写体及び周辺被写体と、その他の被写体とが区別されることを抑制することができる。

　また、撮像装置１０では、周辺被写体を選出する基準とは異なる基準に従って特定被写体が選出される。すなわち、特定被写体は、特定被写体用学習済みモデル８６に従って選出される。従って、本構成によれば、周辺被写体も特定被写体と同じ基準に従って、すなわち、特定被写体用学習済みモデル８６に従って選出される場合に比べ、ユーザ等が意図する被写体を特定被写体として特定し易くすることができる。

　また、撮像装置１０では、受付デバイス７６によって受け付けられ指示に従って得られた選択被写体に基づいて教師データ８８が生成され、教師データ８８を利用した機械学習が行われることによって得られた特定被写体用学習済みモデル８６に従って特定被写体が選出される。従って、本構成によれば、受付デバイス７６によって受け付けられた指示とは無関係に定められた基準に基づいて選出された被写体が特定被写体として特定される場合に比べ、ユーザ等が意図する被写体を特定被写体として特定し易くすることができる。

　また、撮像装置１０では、第１距離内エリア１００を規定している第１距離として撮像画像７５内の距離が用いられている。従って、本構成によれば、実空間の被写体間の距離を測定する場合に比べ、撮像画像７５の面内方向に存在する周辺被写体を容易に選出することができる。

　また、撮像装置１０では、選択被写体位置特定データ９０Ａが教師データ８８の一部として用いられている。従って、本構成によれば、ユーザ等の勘のみで特定被写体が特定される場合に比べ、複数の一般被写体のうち、撮像画像７５内で頻繁に画像が指定される位置の傾向に則した一般被写体を精度良く特定被写体として特定することができる。

　なお、上記実施形態では、特定被写体の種類と周辺被写体の種類との組み合わせが第１組み合わせテーブル８７で規定されている第１組み合わせであり、かつ、第２距離内に存在する特定被写体と周辺被写体とを特定するインディケータとして第３インディケータ１２０を例示したが、本開示の技術はこれに限定されない。例えば、特定被写体の種類と周辺被写体の種類との組み合わせが第１組み合わせとは異なる第２組み合わせであり、かつ、第２距離よりも短い第３距離内に存在する特定被写体及び周辺被写体を特定する第４インディケータ１２８（図２５参照）がディスプレイ２８に表示されるようにしてもよい。また、第３距離は、本開示の技術に係る「第３距離」及び「既定距離」の一例である。

　この場合、一例として図２５に示すように、ＣＰＵ６２は、第２組み合わせ特定テーブル１２６を参照して、特定被写体の種類と周辺被写体の種類との組み合わせを特定する。第２組み合わせ特定テーブル１２６は、第１組み合わせ特定テーブル８７とは異なる組み合わせが規定されているテーブルである。上記実施形態では、第１組み合わせ特定テーブル８７の一例として、同種類の被写体の組み合わせを示したが、第２組み合わせ特定テーブル１２６では、特定被写体の種類と周辺被写体の種類とが異なっている。

　図２５に示す例では、撮像画像７５内において、第１インディケータ１１０で囲まれている特定被写体として人物が示されており、第２インディケータ１１２で囲まれている周辺被写体として犬が示されている。特定被写体としての人物と周辺被写体としての犬は、第２組み合わせ特定テーブル１２６で規定されている組み合わせである。

　ＣＰＵ６２は、撮像画像７５内において、周辺被写体としての犬が特定被写体としての人物から第３距離外に存在している状態から、周辺被写体としての犬が特定被写体としての人物から第３距離内に存在している状態に遷移すると、第１インディケータ１１０及び第２インディケータ１１２を消去し、第４インディケータ１２８を生成する。そして、ＣＰＵ６２は、ディスプレイ２８に対して、撮像画像７５を表示させ、かつ、撮像画像７５に対して第４インディケータ１２８を重畳表示させる。すなわち、ＣＰＵ６２は、第１インディケータ１１０及び第２インディケータ１１２に代えて、第４インディケータ１２８をディスプレイ２８に対して表示させるための表示用データ１３０を生成する。表示用データ１３０は、本開示の技術に係る「表示用データ」及び「第２データ」の一例である。ＣＰＵ６２は、生成した表示用データ１３０をディスプレイ２８に出力する。第４インディケータ１２８は、第２距離よりも短い第３距離内に存在する特定被写体としての人物と周辺被写体としての犬とを１つのオブジェクトとして特定するインディケータ（図２５に示す例では、長方形状の枠）である。なお、第２組み合わせ特定テーブル１２６は、第１組み合わせテーブル８７で規定されている組み合わせと異なる組み合わせが規定されているテーブルであればよく、固定の組み合わせであってもよいし、受付デバイス７６によって受け付けられた指示に従って変更される組み合わせであってもよい。

　本構成によれば、特定被写体の種類と周辺被写体の種類との組み合わせとは無関係に第２距離よりも短い第３距離内の特定被写体及び周辺被写体をインディケータで特定する場合に比べ、複数の一般被写体のうち、ユーザ等が意図しない種類の組み合わせの特定被写体及び周辺被写体と、その他の被写体とが区別されることを抑制することができる。また、ＣＰＵ６２は、第４インディケータ１２８をディスプレイ２８に対して表示させる場合、ディスプレイ２８から第１インディケータ１１０及び第２インディケータ１１２を消去するので、インディケータの増加に起因して撮像画像７５の視認性が悪化することを回避することができる。

　また、上記実施形態では、第１インディケータ１１０、第２インディケータ１１２、第３インディケータ１２０、及び第４インディケータ１２８を選択的にディスプレイ２８に表示させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ＣＰＵ６２は、第１インディケータ１１０、第２インディケータ１１２、及び第３インディケータ１２０を表示させながら、又は、第１インディケータ１１０、第２インディケータ１１２、及び第３インディケータ１２０を表示させずに、第１インディケータ１１０、第２インディケータ１１２、及び第３インディケータ１２０の少なくとも一部に対応する領域を用いて、撮像装置１０によって行われる撮像に関連する制御のための制御用データを出力するようにしてもよい。

　この場合、例えば、図２６に示すように、制御部６２Ｄは、第２距離内被写体としての特定被写体（第１仮想枠１０２によって囲まれている領域）に対応する領域に対して、撮像に関連する制御を行う。撮像に関連する制御としては、例えば、ＡＦ制御、露出制御、及びホワイトバランス制御が挙げられる。

　図２６に示す例では、第２距離内被写体としての特定被写体に対応する領域に対して、撮像に関連する制御が行われるが、これに限らず、例えば、図２７に示すように、第２距離内被写体としての周辺被写体（第２仮想枠１０４によって囲まれる領域）に対応する領域に対して、撮像に関連する制御を行うようにしてもよい。

　また、例えば、図２８に示すように、第３インディケータ１２０の全体に対応する領域に対して、撮像に関連する制御が行われるようにしてもよい。また、第３インディケータ１２０に代えて、第４インディケータ１２８（図２５参照）の少なくとも一部に対応する領域に対して、撮像に関連する制御が行われるようにしてもよい。

　これらの構成によれば、インディケータが位置する箇所とは異なる箇所に対して撮像に関連する制御が行われる場合に比べ、ユーザ等が意図しない領域に対して撮像に関連する制御が行われることを抑制することができる。

　なお、第１インディケータ１１０に対応する領域は、本開示の技術に係る「第１被写体に対応する第１領域」の一例である。また、第２インディケータ１１２に対応する領域は、本開示の技術に係る「第２被写体に対応する第２領域」の一例である。また、第３インディケータ１２０及び第４インディケータ１２８は、本開示の技術に係る「オブジェクトインディケータ」である。また、第３インディケータ１２０に対応する領域及び第４インディケータ１２８に対応する領域は、本開示の技術に係る「第１被写体及び第２被写体に対応する第３領域」の一例である。

　また、一例として図２９に示すように、第２距離内被写体としての特定被写体（第１仮想枠１０２によって囲まれている領域）に対応する領域、及び第２距離内被写体としての周辺被写体（第２仮想枠１０４によって囲まれる領域）に対応する領域に対して露出制御を行う場合、制御部６２Ｄは、画像領域７５Ａ内の特定被写体を示す特定被写体画像領域内の輝度、及び、画像領域７５Ａ内の周辺被写体を示す周辺被写体画像領域内の輝度に基づいて露出制御を行うようにするとよい。この場合、特定被写体画像領域内の輝度、又は周辺被写体画像領域内の輝度のみを用いて露出制御が行われる場合に比べ、特定被写体及び周辺被写体が撮像される場合において特定被写体と周辺被写体との間に明るさの差に起因して特定被写体又は周辺被写体の露出過多又は露出過少が生じることを抑制することができる。なお、ここで、輝度は、本開示の技術に係る「明るさ」の一例である。

　また、一例として図２９に示すように、第２距離内被写体としての特定被写体（第１仮想枠１０２によって囲まれている領域）に対応する領域、及び第２距離内被写体としての周辺被写体（第２仮想枠１０４によって囲まれる領域）に対応する領域に対してホワイトバランス制御を行う場合、制御部６２Ｄは、画像領域７５Ａ内の特定被写体を示す特定被写体画像領域内の色（例えば、色信号）、及び、画像領域７５Ａ内の周辺被写体を示す周辺被写体画像領域内の色（例えば、色信号）に基づいてホワイトバランス制御を行うようにするとよい。この場合、特定被写体画像領域内の色、又は周辺被写体画像領域内の色のみを用いてホワイトバランス制御が行われる場合に比べ、特定被写体及び周辺被写体が撮像される場合において特定被写体と周辺被写体との間に明るさの差に起因して特定被写体又は周辺被写体のホワイトバランスに偏りが生じることを抑制することができる。

　上記実施形態では、教師データ８８に含まれる選択被写体データ９０として、選択被写体位置特定データ９０Ａ及び選択被写体種類特定データ９０Ｂを含むデータを例示したが、本開示の技術はこれに限定されず、選択被写体位置特定データ９０Ａ及び選択被写体種類特定データ９０Ｂのうちの一方又は両方が無くても本開示の技術は成立する。この場合、例えば、図３０に示すように、撮像画像７５に対応付けるデータとして、選択被写体位置特定データ９０Ａ及び選択被写体種類特定データ９０Ｂのうちの少なくとも一方と共に、又は、選択被写体位置特定データ９０Ａ及び選択被写体種類特定データ９０Ｂに代えて、被写体態様データ９０Ｃ、被写界深度データ９０Ｄ、距離データ９０Ｅ、位置関係データ９０Ｆ、及び占有率パラメータ９０Ｇのうちの少なくとも１つを用いてもよい。すなわち、被写体の態様、被写界深度、距離、位置関係、及び／又は、占有率等についてのユーザによる選択の傾向を教師データ８８として学習用のモデルに機械学習させるようにしてもよい。

　被写体態様データ９０Ｃは、被写体の態様を特定可能なデータである。被写体の態様とは、例えば、人物の表情、帽子を被っているか否か、着衣の色、肌の色、目の色、及び／又は毛髪の色等を指す。本構成によれば、被写体の態様を考慮することなく定められた基準に基づいて特定被写体が特定される場合に比べ、ユーザ等が意図する被写体を特定被写体として特定し易くすることができる。

　被写界深度データ９０Ｄは、撮像画像７５に関する撮像で用いられた被写界深度を特定可能なデータである。本構成によれば、被写界深度を考慮することなく定められた基準に基づいて特定被写体が特定される場合に比べ、ユーザ等が意図する被写体を特定被写体として特定し易くすることができる。

　距離データ９０Ｅは、撮像装置１０から被写体までの距離（例えば、撮影距離、ワーキングディスタンス、及び／又は被写体距離）である。本構成によれば、撮像装置１０から被写体までの距離を考慮することなく定められた基準に基づいて特定被写体が特定される場合に比べ、ユーザ等が意図する被写体を特定被写体として特定し易くすることができる。

　位置関係データ９０Ｆは、選択被写体と残りの被写体との位置関係を特定可能なデータである。選択被写体と残りの被写体との位置関係を特定可能なデータとは、例えば、選択被写体を含めた集合写真を撮る場合において、選択被写体が最前列の中央に位置していることを特定可能なデータを指す。本構成によれば、ユーザ等の勘のみで特定被写体が特定される場合に比べ、特定被写体を高精度に特定することができる。

　占有率パラメータ９０Ｇは、本開示の技術に係る「撮像画像から特定されるパラメータ」の一例である。占有率パラメータ９０Ｇは、撮像画像７５内での選択被写体が占める割合（例えば、選択被写体を示す画像が占める割合）である。図３０に示す例では、占有率パラメータ９０Ｇとして、２５％が例示されている。本構成によれば、ユーザ等の勘のみで特定被写体が特定される場合に比べ、複数の一般被写体のうち、撮像画像７５内で頻繁に指定される画像が撮像画像７５内で占める割合の傾向に則した一般被写体を精度良く特定被写体として特定することができる。

　また、上記実施形態では、周辺被写体を特定するインディケータとして第２インディケータ１１２を例示したが、本開示の技術はこれに限定されない。例えば、図３１に示すように、第２インディケータ１１２に代えて、又は、第２インディケータ１１２と共に、周辺被写体を特定する数字が周辺特定被写体と関連付けられた状態でディスプレイ２８に表示されるようにしてもよい。また、数字に代えて、又は、数字と共に、記号が周辺特定被写体と関連付けられた状態でディスプレイ２８に表示されるようにしてもよい。この場合、数字及び／又は記号は、音声認識機能によって認識された音声によって指定されるようにしてもよいし、ソフトキー又はハードキー等が操作されることによって指定されるようにしてもよい。本構成によれば、ユーザ等が数字及び／又は記号を用いて、ユーザ等が意図する周辺被写体を指定することができる。

　また、上記実施形態では、本開示の技術に係る「画像処理装置」の一例として、撮像装置１０に内蔵されているコントローラ１２を挙げて説明したが、これは、あくまでも一例に過ぎない。例えば、図３２に示すように、撮像システム２００によっても本開示の技術は成立する。図３２に示す例において、撮像システム２００は、撮像装置１０と、本開示の技術に係る「画像処理装置」の一例である撮像支援装置２０２と、を備えている。撮像装置本体１６は、ネットワーク２０４を介して撮像支援装置２０２に接続されている。撮像支援装置２０２は、上記実施形態で説明した撮像支援処理の少なくとも一部の機能を有している。

　ネットワーク２０４は、例えば、インターネットである。ネットワーク２０４は、インターネットに限らず、ＷＡＮ、及び／又は、イントラネット等のＬＡＮ等であってもよい。撮像支援装置２０２は、撮像装置１０からの要求に応じたサービスを撮像装置１０に対して提供するサーバである。なお、サーバは、オンプレミスで撮像装置１０と共に用いられるメインフレームであってもよいし、クラウドコンピューティングによって実現される外部サーバであってもよい。また、サーバは、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現される外部サーバであってもよい。ここでは、撮像支援装置２０２の一例として、サーバを挙げているが、これは、あくまでも一例に過ぎず、サーバに代えて、少なくとも１台のパーソナル・コンピュータ等を撮像支援装置２０２として用いてもよい。

　また、上記実施形態では、ＣＰＵ６２を例示したが、ＣＰＵ６２に代えて、又は、ＣＰＵ６２と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。

　上記実施形態では、ＮＶＭ６４に撮像支援処理プログラム８０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像支援処理プログラム８０がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている撮像支援処理プログラム８０は、撮像装置１０のコントローラ１２にインストールされる。ＣＰＵ６２は、撮像支援処理プログラム８０に従って撮像支援処理を実行する。

　また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置に撮像支援処理プログラム８０を記憶させておき、撮像装置１０の要求に応じて撮像支援処理プログラム８０がダウンロードされ、コントローラ１２にインストールされるようにしてもよい。

　なお、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ６４に撮像支援処理プログラム８０の全てを記憶させておく必要はなく、撮像支援処理プログラム８０の一部を記憶させておいてもよい。

　また、図１及び図２に示す撮像装置１０にはコントローラ１２が内蔵されているが、本開示の技術はこれに限定されず、例えば、コントローラ１２が撮像装置１０の外部に設けられるようにしてもよい（例えば、図３２参照）。

　上記実施形態では、コントローラ１２が例示されているが、本開示の技術はこれに限定されず、コントローラ１２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コントローラ１２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

　上記実施形態で説明した撮像支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、撮像支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで撮像支援処理を実行する。

　撮像支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、撮像支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。

　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、撮像支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の撮像支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims

　プロセッサと、
　前記プロセッサに接続又は内蔵されたメモリと、を備え、
　前記プロセッサは、
　撮像装置により撮像されることで得られた撮像画像に基づいて複数の被写体を検出し、
　前記複数の被写体から、第１被写体と、前記撮像画像の面内方向において前記第１被写体から第１距離の範囲内に存在する第２被写体とを選出し、
　ディスプレイに対して、前記撮像画像と、前記第１被写体を示す第１被写体画像を特定する第１インディケータと、前記第２被写体を示す第２被写体画像を前記第１インディケータとは異なる態様で特定する第２インディケータと、を表示させるための表示用データを出力する
　画像処理装置。
　前記表示用データは、前記面内方向において第２距離内に存在する前記第１被写体及び前記第２被写体を特定する第３インディケータを前記ディスプレイに対して表示させるための第１データを含む
　請求項１に記載の画像処理装置。
　前記第１データは、前記第３インディケータを前記ディスプレイに対して表示させる場合に前記ディスプレイから前記第１インディケータ及び前記第２インディケータを消去するためのデータを含む
　請求項２に記載の画像処理装置。
　前記表示用データは、前記面内方向において第２距離内に存在する前記第１被写体及び前記第２被写体を特定する第３インディケータを前記第１インディケータ及び前記第２インディケータに代えて前記ディスプレイに対して表示させるためのデータを含む
　請求項１に記載の画像処理装置。
　前記プロセッサは、前記撮像画像に基づいて前記複数の被写体の各々の種類を取得し、
　前記第３インディケータは、前記第１被写体の種類と前記第２被写体の種類との組み合わせが第１組み合わせであり、かつ、前記第２距離内に存在する前記第１被写体及び前記第２被写体を特定するインディケータである
　請求項２から請求項４の何れか一項に記載の画像処理装置。
　前記表示用データは、前記第１被写体の種類と前記第２被写体の種類との組み合わせが前記第１組み合わせとは異なる第２組み合わせであり、かつ、前記第２距離よりも短い第３距離内に存在する前記第１被写体及び前記第２被写体を特定する第４インディケータを前記ディスプレイに対して表示させるための第２データを含む
　請求項２から請求項５の何れか一項に記載の画像処理装置。
　前記第２データは、前記第４インディケータを前記ディスプレイに対して表示させる場合、前記ディスプレイから前記第１インディケータ及び前記第２インディケータを消去するためのデータを含む
　請求項６に記載の画像処理装置。
　前記プロセッサは、既定距離内に存在する前記第１被写体及び前記第２被写体を１つのオブジェクトとして特定するオブジェクトインディケータを前記ディスプレイに対して表示させる場合、前記オブジェクトインディケータから特定される前記オブジェクトの少なくとも一部に対応する領域を用いて、前記撮像装置によって行われる撮像に関連する制御のための制御用データを出力する
　請求項１から請求項７の何れか一項に記載の画像処理装置。
　前記オブジェクトの少なくとも一部に対応する領域は、前記第１被写体に対応する第１領域、前記第２被写体に対応する第２領域、並びに、前記第１被写体及び前記第２被写体に対応する第３領域のうちの少なくとも１つである
　請求項８に記載の画像処理装置。
　前記撮像に関連する制御は、露出制御、フォーカス制御、及びホワイトバランス制御のうちの少なくとも１つを含む請求項８又は請求項９に記載の画像処理装置。
　前記オブジェクトの少なくとも一部に対応する領域は、前記第１被写体に対応する第１領域、及び前記第２被写体に対応する第２領域であり、
　前記プロセッサは、前記第１被写体に対応する第１領域の明るさ、及び前記第２被写体に対応する第２領域の明るさに基づいて、前記露出制御を行う
　請求項１０に記載の画像処理装置。
　前記オブジェクトの少なくとも一部に対応する領域は、前記第１被写体に対応する第１領域、及び前記第２被写体に対応する第２領域であり、
　前記プロセッサは、前記第１被写体に対応する第１領域の色、及び前記第２被写体に対応する第２領域の色に基づいて、前記ホワイトバランス制御を行う
　請求項１０又は請求項１１に記載の画像処理装置。
　前記プロセッサは、前記複数の被写体を第１基準に従って検出する
　請求項１から請求項１２の何れか一項に記載の画像処理装置。
　前記プロセッサは、前記第２被写体を検出する基準とは異なる第２基準に基づいて前記第１被写体を検出する
　請求項１から請求項１３の何れか一項に記載の画像処理装置。
　前記第２基準は、前記撮像装置からの距離、被写界深度、及び被写体の態様のうちの少なくとも１つに基づいて定められた基準である
　請求項１４に記載の画像処理装置。
　前記第２基準は、受付デバイスによって受け付けられた指示に基づいて定められた基準である
　請求項１４又は請求項１５に記載の画像処理装置。
　前記プロセッサは、前記撮像画像から特定されるパラメータ、前記複数の被写体のうちの受付デバイスによって受け付けられた指示に従って選択された選択被写体と残りの被写体との位置関係、及び前記選択被写体の態様のうちの少なくとも１つを含む情報を教師データとした機械学習が行われることで得られた学習済みモデルを用いて前記第１被写体を特定する
　請求項１から請求項１６の何れか一項に記載の画像処理装置。
　前記撮像画像には、前記複数の被写体のうちの指定された被写体を示す第１指定被写体画像が含まれており、
　前記パラメータは、前記撮像画像内での前記第１指定被写体画像の相対的な位置を含む
　請求項１７に記載の画像処理装置。
　前記撮像画像には、前記複数の被写体のうちの指定された被写体を示す第２指定被写体画像が含まれており、
　前記パラメータは、前記撮像画像内での前記第２指定被写体画像が占める割合に基づく値を含む
　請求項１７又は請求項１８に記載の画像処理装置。
　前記第２インディケータは、前記第２被写体画像を特定する数字及び記号のうちの少なくとも一方を含む
　請求項１から請求項１９の何れか一項に記載の画像処理装置。
　前記第１距離は、前記撮像画像内での距離である
　請求項１から請求項２０の何れか一項に記載の画像処理装置。
　プロセッサと、
　前記プロセッサに接続又は内蔵されたメモリと、
　イメージセンサと、を備え、
　前記プロセッサは、
　前記イメージセンサにより撮像されることで得られた撮像画像に基づいて複数の被写体を検出し、
　前記複数の被写体から、第１被写体と、前記撮像画像の面内方向において前記第１被写体から第１距離の範囲内に存在する第２被写体とを選定し、
　ディスプレイに対して、前記撮像画像と、前記第１被写体を示す第１被写体画像を特定する第１インディケータと、前記第２被写体を示す第２被写体画像を前記第１インディケータとは異なる態様で特定する第２インディケータと、を表示させる
　撮像装置。
　撮像装置により撮像されることで得られた撮像画像に基づいて複数の被写体を検出すること、
　前記複数の被写体から、第１被写体と、前記撮像画像の面内方向において前記第１被写体から第１距離の範囲内に存在する第２被写体とを選定すること、及び、
　ディスプレイに対して、前記撮像画像と、前記第１被写体を示す第１被写体画像を特定する第１インディケータと、前記第２被写体を示す第２被写体画像を前記第１インディケータとは異なる態様で特定する第２インディケータと、を表示させるための表示用データを出力すること、を含む
　画像処理方法。
　コンピュータに、
　撮像装置により撮像されることで得られた撮像画像に基づいて複数の被写体を検出すること、
　前記複数の被写体から、第１被写体と、前記撮像画像の面内方向において前記第１被写体から第１距離の範囲内に存在する第２被写体とを選定すること、及び、
　ディスプレイに対して、前記撮像画像と、前記第１被写体を示す第１被写体画像を特定する第１インディケータと、前記第２被写体を示す第２被写体画像を前記第１インディケータとは異なる態様で特定する第２インディケータと、を表示させるための表示用データを出力すること、を含む処理を実行させるためのプログラム。