WO2021029152A1

WO2021029152A1 - 撮像装置、撮像装置の作動方法、及びプログラム

Info

Publication number: WO2021029152A1
Application number: PCT/JP2020/025833
Authority: WO
Inventors: 仁史桜武; 長谷川　亮; 智行河合; 小林　誠; 一文菅原
Original assignee: 富士フイルム株式会社
Priority date: 2019-08-14
Filing date: 2020-07-01
Publication date: 2021-02-18
Also published as: US11689816B2; CN114258672A; JP7279169B2; JPWO2021029152A1; CN114258672B; US20220166923A1

Abstract

撮像装置は、撮像されることで得られた画像データを記憶する記憶部と、画像データに対して処理を行う処理部と、を含み、処理部は、画像データを縮小する処理を行い、画像データが縮小されることで得られた縮小画像データにより示される縮小画像から特定の被写体を示す特定被写体画像を検出する第１検出処理を行い、第１検出処理により特定被写体画像が検出されなかった場合に、記憶部に記憶されている縮小前の画像データである縮小前画像データに対して第２検出処理を行う。

Description

撮像装置、撮像装置の作動方法、及びプログラム

　本開示の技術は、撮像装置、撮像装置の作動方法、及びプログラムに関する。

　特開２０１８－０５６９４４号公報には、撮像素子、生成部、及び検出部を備える撮像装置が開示されている。特開２０１８－０５６９４４号公報に記載の撮像装置おいて、撮像素子は、光電変換された電荷により信号を生成する複数の画素が配置された複数の撮像領域と、撮像領域ごとに配置され、画素で生成された信号を出力する信号線と、を有する。生成部は、第１撮像領域に配置された画素から、第１撮像領域の信号線に出力された第１画素の信号を用いて、撮像された被写体の画像を生成する。検出部は、撮像領域のうち、第１撮像領域とは異なる第２撮像領域に配置された画素から、第２撮像領域の信号線に出力された、第１画素の数よりも多い第２画素の信号を用いて、被写体を検出する。

　特開２０１８－０５６９４４号公報に記載の撮像装置において、生成部は、第１撮像領域に配置された画素から間引いて第１撮像領域の信号線に出力された第１画素の信号を用いて、撮像された被写体の画像を生成する。また、検出部は、第２撮像領域に配置された画素から間引いて第２撮像領域の信号線に出力された、第１画素の数よりも多い第２画素の信号を用いて、被写体を検出する。

　特開２０１６－２１９９４９号公報には、被写体を撮像して被写体に応じた画像を出力する撮像素子を備える撮像手段を有する撮像装置が開示されている。特開２０１６－２１９９４９号公報に記載の撮像装置は、読み出し手段、判別手段、及び制御手段を有する。読み出し手段は、撮像素子において特定の画素群の読み出しを第１の読み出し動作として行って第１の画像を得るとともに、特定の画素群と異なる画素群の読み出しを第２の読み出し動作として行って第２の画像を得る。判別手段は、第１の読み出し動作で得られた第１の画像において所定の被写体領域を注目被写体領域として判別する。制御手段は、判別手段で得られた注目被写体領域に応じて読み出し手段を制御して、第２の読み出し動作で得られる第２の画像を、注目被写体領域を備える画像とする制御手段と、を有することを特徴とする。また、特開２０１６－２１９９４９号公報に記載の撮像装置は、第２の画像における画素数は、第１の画像における注目被写体領域の画素数よりも多いことを特徴とする。

　本開示の技術に係る一つの実施形態は、縮小前画像データのみを常に用いて検出処理を行う場合に比べ、処理負荷の軽減及び高精度な検出を実現することができる撮像装置、撮像装置の作動方法、及びプログラムを提供する。

　本開示の技術に係る第１の態様は、撮像されることで得られた画像データを記憶する記憶部と、画像データに対して処理を行う処理部と、を含み、処理部は、画像データを縮小する処理を行い、画像データが縮小されることで得られた縮小画像データにより示される縮小画像から特定の被写体を示す特定被写体画像を検出する第１検出処理を行い、第１検出処理により特定被写体画像が検出されなかった場合に、記憶部に記憶されている縮小前の画像データである縮小前画像データに対して第２検出処理を行う撮像装置である。

　本開示の技術に係る第２の態様は、処理部は、縮小前画像データにより示される画像内の部分領域であって、第２検出処理を行うフレームの前フレームにおいて第１検出処理により検出された特定被写体画像の位置に対応している部分領域を示す部分領域画像データに対して第２検出処理を行う第１の態様に係る撮像装置である。

　本開示の技術に係る第３の態様は、部分領域は、縮小前画像データにより示される画像内のうち、指示された特定の被写体の領域である第２の態様に係る撮像装置である。

　本開示の技術に係る第４の態様は、処理部は、第１検出処理により特定被写体画像が検出された場合、縮小前画像データのうち、特定被写体画像の位置に対応する領域を示す特定被写体画像領域データを記憶部に対して記憶させる第１の態様から第３の態様の何れか１つの態様に係る撮像装置である。

　本開示の技術に係る第５の態様は、処理部は、第１検出処理により特定被写体画像が検出された場合、記憶部に記憶されている特定被写体画像領域データに対して第２検出処理を行う第４の態様に係る撮像装置である。

　本開示の技術に係る第６の態様は、処理部は、画像データから複数種類の縮小前画像データを生成し、生成した複数種類の縮小前画像データを既定期間毎に記憶部に対して記憶させる第１の態様から第５の態様の何れか１つの態様に係る撮像装置である。

　本開示の技術に係る第７の態様は、処理部は、第２検出処理を行う前に画像データを既定期間毎に解析し、記憶部に記憶されている複数種類の縮小前画像データのうち、既定期間毎に、解析結果に応じて決定される縮小前画像データに対して第２検出処理を行う第６の態様に係る撮像装置である。

　本開示の技術に係る第８の態様は、処理部は、第２検出処理を行う前に画像データから指示領域画像のコントラストを既定期間毎に解析し、記憶部に記憶されている複数種類の縮小前画像データのうち、既定期間毎に、解析結果に応じて決定される縮小前画像データに対して第２検出処理を行う第７の態様に係る撮像装置である。

　本開示の技術に係る第９の態様は、第２検出処理は、縮小前画像データにより示される画像内から特定被写体画像、及び特定の被写体よりも小型な被写体を示す小型被写体画像の少なくとも１つを検出する処理である第１の態様から第８の態様の何れか１つの態様に係る撮像装置である。

　本開示の技術に係る第１０の態様は、特定被写体画像は、顔を示す顔画像であり、小型被写体画像は、瞳を示す瞳画像である第９の態様に係る撮像装置である。

　本開示の技術に係る第１１の態様は、特定被写体画像は、画像データにより示される画像内のうち、指示された移動体を示す移動体画像である第１の態様から第１０の態様の何れか１つの態様に係る撮像装置である。

　本開示の技術に係る第１２の態様は、縮小前画像データは、表示用画像データである第１の態様から第１１の態様の何れか１つの態様に係る撮像装置である。

　本開示の技術に係る第１３の態様は、撮像素子を更に含み、撮像素子は、記憶部を内蔵している第１の態様から第１１の態様の何れか１つの態様に係る撮像装置である。

　本開示の技術に係る第１４の態様は、撮像素子は、処理部を内蔵している第１３の態様に係る撮像装置である。

　本開示の技術に係る第１５の態様は、撮像素子は、少なくとも光電変換素子と記憶部とが１チップ化された撮像素子である第１３の態様又は第１４の態様に係る撮像装置である。

　本開示の技術に係る第１６の態様は、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である第１５の態様に係る撮像装置である。

　本開示の技術に係る第１７の態様は、第１検出処理での検出結果、及び第２検出処理での検出結果のうちの少なくとも一方を表示装置に対して表示させる制御を行う制御部を更に含む第１の態様から第１６の態様の何れか１つの態様に係る撮像装置である。

　本開示の技術に係る第１８の態様は、処理部は、解像度の異なる複数の縮小前画像データに対して、低解像度の縮小前画像データから高解像度の縮小前画像データにかけて段階的に第２検出処理を行う第１の態様から第１７の態様の何れか１つの態様に係る撮像装置である。

　本開示の技術に係る第１９の態様は、撮像されることで得られた画像データを記憶部に記憶すること、画像データを縮小する処理を行うこと、画像データが縮小されることで得られた縮小画像データにより示される縮小画像から特定の被写体を示す特定被写体画像を検出する第１検出処理を行うこと、及び、第１検出処理により特定被写体画像が検出されなかった場合に、記憶部に記憶されている縮小前の画像データである縮小前画像データに対して第２検出処理を行うことを含む撮像装置の作動方法である。

　本開示の技術に係る第２０の態様は、コンピュータに、撮像されることで得られた画像データを記憶部に記憶すること、画像データを縮小する処理を行うこと、画像データが縮小されることで得られた縮小画像データにより示される縮小画像から特定の被写体を示す特定被写体画像を検出する第１検出処理を行うこと、及び、第１検出処理により特定被写体画像が検出されなかった場合に、記憶部に記憶されている縮小前の画像データである縮小前画像データに対して第２検出処理を行うことを含む処理を実行させるためのプログラムである。

第１～第４実施形態に係る撮像装置の外観の一例を示す斜視図である。図１に示す撮像装置の背面側の外観の一例を示す背面図である。第１～第４実施形態に係る撮像装置の構成の一例を示すブロック図である。第１～第４実施形態に係る撮像装置に含まれる撮像装置本体の電気系のハードウェア構成の一例を示すブロック図である。第１～第４実施形態に係る撮像装置に含まれる撮像素子のフレームレートの説明に供する概念図である。第１～第４実施形態に係る撮像装置に含まれる撮像素子の積層構造の一例を示す概念図である。第１、第２、及び第４実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の一例を示すブロック図である。第１～第４実施形態に係る撮像素子によって行われる撮像処理及び出力処理の内容の一例を示す概念図である。第１～第４実施形態に係る撮像装置に含まれる撮像素子、信号処理回路、コントローラ、及びタッチパネル・ディスプレイの相互間の関係性の一例を示す概念図である。第１～第４実施形態に係る撮像装置に含まれるタッチパネル・ディスプレイの使用例を示す概念図である。第１及び第２実施形態に係る撮像装置に含まれる信号処理回路及びその周辺の構成の一例を示す概念図である。第１～第４実施形態に係る撮像装置によって撮像されることで得られたデジタル画像データ、及びデジタル画像データが縮小されることで得られる複数種類の画像データの構成例を示す概念図である。第１検出処理が成功した場合（特定被写体画像が検出された場合）のライブビュー画像がディスプレイに表示された態様の一例を示す画面図である。第１検出処理が失敗し、第２検出処理が成功した場合（第１検出処理によって特定被写体画像が検出されずに、第２検出処理によって特定被写体画像が検出された場合）のライブビュー画像がディスプレイに表示された態様の一例を示す画面図である。第１検出処理及び第２検出処理が失敗した場合（第１検出処理によっても第２検出処理によっても特定被写体画像が検出されなかった場合）のライブビュー画像がディスプレイに表示された態様の一例を示す画面図である。第１実施形態に係る撮像装置での処理内容の一例を示すタイムチャートである。第１実施形態に係る後段回路処理の流れの一例を示すフローチャートである。図１５Ａに示すフローチャートの続きである。第２実施形態に係る撮像装置に含まれる第１検出回路の処理内容の一例の説明に供する概念図である。第２実施形態に係る撮像装置に含まれる第２検出回路の処理内容の一例の説明に供する概念図である。第２実施形態に係る撮像装置に含まれる第１検出回路によって縮小画像データにより示される縮小画像から顔画像が検出され、かつ、縮小画像から瞳画像が検出された場合のディスプレイの表示態様の一例を示す画面図である。第２実施形態に係る撮像装置に含まれる第１検出回路による第１検出処理、及び第２検出回路による第２検出処理が何れも失敗した場合のディスプレイの表示態様の一例を示す画面図である。第２実施形態に係る撮像装置に含まれる第１検出回路又は第２検出回路によって顔画像の検出は成功したが、瞳画像の検出は失敗した場合のディスプレイの表示態様の一例を示す画面図である。第２実施形態に係る撮像装置での処理内容の一例を示すタイムチャートである。第２実施形態に係る後段回路処理の流れの一例を示すフローチャートである。図２０Ａに示すフローチャートの続きである。図２０Ｂに示すフローチャートの続きである。図２０Ａ～図２０Ｃに示すフローチャートの続きである。第２実施形態に係る撮像装置に含まれる第１検出回路の処理内容の変形例説明に供する概念図である。第２実施形態に係る撮像装置に含まれる生成回路の処理内容の変形例の説明に供する概念図である。第２実施形態に係る撮像装置に含まれる第２検出回路の処理内容の変形例の説明に供する概念図である。第３実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の一例を示すブロック図である。第３実施形態に係る撮像装置に含まれる信号処理回路及びその周辺の構成の一例を示す概念図である。第３実施形態に係る撮像装置での処理内容の一例を示すタイムチャートである。第３実施形態に係る撮像装置での処理内容の一例を示すタイムチャートである。第３実施形態に係る撮像装置での処理内容の一例を示すタイムチャートである。第３実施形態に係る撮像装置での処理内容の第１変形例を示すタイムチャートである。第３実施形態に係る撮像装置での処理内容の第２変形例を示すタイムチャートである。第４実施形態に係る撮像装置に含まれる信号処理回路及びその周辺の構成の一例を示す概念図である。第４実施形態に係る撮像装置に含まれるフレームメモリに記憶されている第１縮小前画像データが第２検出処理対象画像データとして第２検出回路によって取得される場合の処理内容の一例を示す概念図である。第４実施形態に係る撮像装置に含まれるフレームメモリに記憶されている第２縮小前画像データが第２検出処理対象画像データとして第２検出回路によって取得される場合の処理内容の一例を示す概念図である。撮像素子の電気系のハードウェア構成の変形例を示すブロック図である。スマートデバイスの背面側の外観の一例を示す背面視斜視図である。後段回路処理プログラムが記憶された記憶媒体から、後段回路処理プログラムが信号処理回路内のコンピュータにインストールされる態様の一例を示す概念図である。後段回路処理プログラムが記憶された記憶媒体から、後段回路処理プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。

　以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

　先ず、以下の説明で使用される文言について説明する。

　ＣＰＵとは、“Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ”の略称を指す。ＧＰＵとは、“Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称を指す。ＬＳＩとは、“Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。ＣＣＤとは、“Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＶＤＳとは、“Ｌｏｗ　Ｖｏｌｔａｇｅ　Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｓｉｇｎａｌｉｎｇ”の略称を指す。ＰＣＩｅとは、“Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｅｘｐｒｅｓｓ”の略称を指す。ＳＡＴＡとは、“Ｓｅｒｉａｌ　Ａｄｖａｎｃｅｄ　Ｔｅｃｈｎｏｌｏｇｙ　Ａｔｔａｃｈｍｅｎｔ”の略称を指す。ＳＬＶＳ－ＥＣとは、“Ｓｃａｌａｂｌｅ　Ｌｏｗ　Ｓｉｇｎａｌｉｎｇ　ｗｉｔｈ　Ｅｍｂｅｄｄｅｄ　Ｃｌｏｃｋ”の略称を指す。ＭＩＰＩ（登録商標）とは、“Ｍｏｂｉｌｅ　Ｉｎｄｕｓｔｒｙ　Ｐｒｏｓｓｏｒ　Ｉｎｔｅｒｆａｃｅ”の略称を指す。ｆｐｓとは、“ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ”の略称を指す。ＦＩＦＯとは、“Ｆｉｒｓｔ　Ｉｎ，　Ｆｉｒｓｔ　Ｏｕｔ”の略称を指す。ＦＨＤとは、“Ｆｕｌｌ　Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ”の略称を指す。ＶＧＡとは、“Ｖｉｄｅｏ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ”の略称を指す。

　［第１実施形態］
　一例として図１に示すように、撮像装置１０は、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を備えている。なお、ここでは、撮像装置１０の一例として、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラが挙げられているが、本開示の技術はこれに限定されず、撮像装置１０は、レンズ固定式等の他種類のデジタルカメラであってもよい。

　撮像装置本体１２には、撮像素子３８が設けられている。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、交換レンズ１４を透過して撮像素子３８に結像され、撮像素子３８によって被写体の画像を示す画像データ（例えば、図４及び図５参照）が生成される。

　撮像装置本体１２には、ハイブリッドファインダー（登録商標）１６が設けられている。ここで、ハイブリッドファインダー１６とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ　ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ　ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。

　撮像装置本体１２の前面には、ファインダー切替レバー１８が設けられている。ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像であるライブビュー画像とは、ファインダー切替レバー１８を矢印ＳＷ方向に回動させることで切り換わる。ここで、「ライブビュー画像」とは、撮像素子３８によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２３が設けられている。ダイヤル２３は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、これによって、撮像装置１０では、動作モードとして撮像モードと再生モードとが選択的に設定される。

　レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

　一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ２４、指示キー２７、及びファインダー接眼部３０が設けられている。

　タッチパネル・ディスプレイ２４は、ディスプレイ２６及びタッチパネル２８（図４も参照）を備えている。ディスプレイ２６の一例としては、有機ＥＬディスプレイが挙げられる。ディスプレイ２６は、有機ＥＬディスプレイではなく、液晶ディスプレイ又は無機ＥＬディスプレイなどの他種類のディスプレイであってもよい。

　なお、ディスプレイ２６及びＥＶＦは、本開示の技術に係る「表示装置」の一例である。ＥＶＦの表示についてはディスプレイ２６の表示と同等であるため、以下では説明を省略するが、本明細書においてディスプレイ２６への表示は、ＥＶＦへの表示と読み替えることができる。

　ディスプレイ２６は、画像及び文字情報等を表示する。ディスプレイ２６は、撮像装置１０が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、ディスプレイ２６は、静止画像用の撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、ディスプレイ２６は、撮像装置１０が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。

　タッチパネル２８は、透過型のタッチパネルであり、ディスプレイ２６の表示領域の表面に重ねられている。タッチパネル２８は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。

　なお、ここでは、タッチパネル・ディスプレイ２４の一例として、タッチパネル２８がディスプレイ２６の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ２４として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

　指示キー２７は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。

　一例として図３に示すように、交換レンズ１４は、撮像レンズ４０を有する。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃを備えている。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃは、被写体側（物体側）から撮像装置本体１２側（像側）にかけて、光軸Ｌ１に沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃの順に配置されている。フォーカスレンズ４０Ｂ及び絞り４０Ｃは、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ４０Ｂは、付与された動力に応じて光軸Ｌ１に沿って移動する。また、絞り４０Ｃは、付与された動力に応じて作動することで露出を調節する。

　撮像装置本体１２は、後段回路１３、ＵＩ系デバイス１７、メカニカルシャッタ４１、及び撮像素子３８を備えている。後段回路１３は、撮像素子３８の後段に位置する回路である。後段回路１３は、コントローラ１５及び信号処理回路３４を有する。コントローラ１５は、ＵＩ系デバイス１７、信号処理回路３４、及び撮像素子３８に接続されており、撮像装置１０の電気系の全体を制御する。

　撮像素子３８は、受光面４２Ａを有する光電変換素子４２を備えている。本実施形態において、撮像素子３８は、ＣＭＯＳイメージセンサである。また、ここでは、撮像素子３８としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子３８がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

　メカニカルシャッタ４１は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、撮像レンズ４０を透過し、メカニカルシャッタ４１を介して受光面４２Ａに結像される。

　ＵＩ系デバイス１７は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ１５は、ＵＩ系デバイス１７からの各種情報の取得、及びＵＩ系デバイス１７の制御を行う。

　撮像素子３８は、コントローラ１５に接続されており、コントローラ１５の制御下で、被写体を撮像することで、被写体の画像を示す画像データを生成する。

　撮像素子３８は、信号処理回路３４に接続されている。信号処理回路３４は、ＬＳＩであり、具体的には、ＡＳＩＣ及びＦＰＧＡを含むデバイスである。コントローラ１５は、信号処理回路３４からの各種情報の取得、及び撮像素子３８の制御を行う。撮像素子３８は、コントローラ１５の制御下で、光電変換素子４２によって生成された画像データを信号処理回路３４に出力する。

　信号処理回路３４は、本開示の技術に係る「処理部（信号処理回路）」の一例である。信号処理回路３４は、画像データに対して処理を行う回路である。具体的には、信号処理回路３４は、撮像素子３８から入力された画像データに対して各種の信号処理を行う。信号処理回路３４によって行われる各種の信号処理には、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理が含まれる。

　なお、信号処理回路３４によって行われる各種の信号処理は、信号処理回路３４と撮像素子３８とで分散して行われるようにしてもよい。すなわち、信号処理回路３４によって行われる各種の信号処理のうちの少なくとも一部を撮像素子３８の処理回路１１０に担わせるようにしてもよい。

　なお、本実施形態では、信号処理回路３４としてＡＳＩＣ及びＦＰＧＡを含むデバイスを例示しているが、本開示の技術はこれに限定されない。例えば、信号処理回路３４は、ＡＳＩＣ、ＦＰＧＡ、又はＰＬＤを含むデバイスであってもよいし、ＦＰＧＡ及びＰＬＤを含むデバイスであってもよいし、ＡＳＩＣ及びＰＬＤを含むデバイスであってもよい。

　また、信号処理回路３４は、ＣＰＵ、ストレージ、及びメモリを含むコンピュータであってもよい。ここで、ストレージとは、不揮発性の記憶装置を指す。不揮発性の記憶装置の一例としては、フラッシュメモリが挙げられるが、これに限らず、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。また、メモリは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。また、ＣＰＵに代えてＧＰＵを用いてもよい。また、信号処理回路３４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

　一例として図４に示すように、コントローラ１５は、ＣＰＵ１５Ａ、ストレージ１５Ｂ、メモリ１５Ｃ、出力Ｉ／Ｆ１５Ｄ、及び受付Ｉ／Ｆ１５Ｅを備えている。ＣＰＵ１５Ａは、本開示の技術に係る「制御部（プロセッサ）」の一例である。ＣＰＵ１５Ａ、ストレージ１５Ｂ、メモリ１５Ｃ、出力Ｉ／Ｆ１５Ｄ、及び受付Ｉ／Ｆ１５Ｅは、バス１００を介して接続されている。

　なお、図４に示す例では、図示の都合上、バス１００として１本のバスが図示されているが、複数本のバスであってもよい。バス１００は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

　ストレージ１５Ｂは、各種パラメータ及び各種プログラムを記憶している。ストレージ１５Ｂは、不揮発性の記憶装置である。ここでは、ストレージ１５Ｂの一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、フラッシュメモリに代えて、又は、フラッシュメモリと共に、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等をストレージ１５Ｂとして適用してもよい。また、メモリ１５Ｃは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ１５Ｃの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。

　ストレージ１５Ｂには、各種プログラムが記憶されている。ＣＰＵ１５Ａは、ストレージ１５Ｂから必要なプログラムを読み出し、読み出したプログラムをメモリ１５Ｃ上で実行する。ＣＰＵ１５Ａは、メモリ１５Ｃ上で実行するプログラムに従って撮像装置１０の全体を制御する。

　出力Ｉ／Ｆ１５Ｄは、撮像素子３８に接続されている。ＣＰＵ１５Ａは、出力Ｉ／Ｆ１５Ｄを介して撮像素子３８を制御する。例えば、ＣＰＵ１５Ａは、出力Ｉ／Ｆ１５Ｄを介して撮像素子３８に対して、撮像を行うタイミングを規定する撮像タイミング信号を供給することで撮像素子３８によって行われる撮像のタイミングを制御する。

　受付Ｉ／Ｆ１５Ｅは、信号処理回路３４に接続されている。信号処理回路３４によって各種の信号処理が行われた画像データは、信号処理回路３４によって受付Ｉ／Ｆ１５Ｅに出力される。受付Ｉ／Ｆ１５Ｅは、信号処理回路３４から出力された画像データを受け付け、受け付けた画像データをＣＰＵ１５Ａに転送する。

　バス１００には、外部Ｉ／Ｆ１０４が接続されている。外部Ｉ／Ｆ１０４は、回路で構成された通信デバイスである。ここでは、外部Ｉ／Ｆ１０４として、回路で構成されたデバイスを例示しているが、これはあくまでも一例に過ぎない。外部Ｉ／Ｆ１０４は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、外部Ｉ／Ｆ１０４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

　外部Ｉ／Ｆ１０４の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接または間接的に接続可能である。外部Ｉ／Ｆ１０４は、ＣＰＵ１５Ａと外部装置との間の各種情報の授受を司る。

　ＵＩ系デバイス１７は、タッチパネル・ディスプレイ２４及び受付デバイス８４を備えている。ディスプレイ２６及びタッチパネル２８は、バス１００に接続されている。従って、ＣＰＵ１５Ａは、ディスプレイ２６に対して各種情報を表示させ、タッチパネル２８によって受け付けられた各種指示に従って動作する。

　受付デバイス８４は、ハードキー部２５を備えている。ハードキー部２５は、複数のハードキーであり、レリーズボタン２０（図１参照）、ダイヤル２３（図１及び図２参照）、及び指示キー２２（図２参照）を有する。ハードキー部２５は、バス１００に接続されており、ＣＰＵ１５Ａは、ハードキー部２５によって受け付けられた指示を取得し、取得した指示に従って動作する。

　一例として図５に示すように、撮像素子３８にはコントローラ１５から撮像タイミング信号が入力される。撮像タイミング信号には、垂直同期信号及び水平同期信号が含まれている。垂直同期信号は、光電変換素子４２からの１フレーム毎の画像データの読み出しの開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子４２からの水平ライン毎の画像データの読み出しの開始タイミングを規定する同期信号である。撮像素子３８では、コントローラ１５から入力された垂直同期信号に応じて定まるフレームレートに従って、光電変換素子４２から画像データが読み出される。

　図５に示す例では、撮像素子３８のフレームレートとして、期間Ｔ内に光電変換素子４２から８フレーム分の読み出しが行われるフレームレートが示されている。具体的なフレームレートの一例としては、１２０ｆｐｓが挙げられるが、これに限らず、１２０ｆｐｓを超えるフレームレート（例えば、２４０ｆｐｓ）であってもよいし、１２０ｆｐｓ未満のフレームレート（例えば、６０ｆｐｓ）であってもよい。

　一例として図６に示すように、撮像素子３８には、光電変換素子４２、処理回路１１０、及びメモリ１１２が内蔵されている。撮像素子３８は、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子である。すなわち、光電変換素子４２、処理回路１１０、及びメモリ１１２は１パッケージ化されている。撮像素子３８では、光電変換素子４２に対して処理回路１１０及びメモリ１１２が積層されている。具体的には、光電変換素子４２及び処理回路１１０は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路１１０及びメモリ１１２、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。ここでは、光電変換素子４２、処理回路１１０、及びメモリ１１２の３層構造が例示されているが、本開示の技術はこれに限らず、処理回路１１０とメモリ１１２とを１層としたメモリ層と、光電変換素子４２との２層構造であってもよい。なお、撮像素子３８は、本開示の技術に係る「積層型撮像素子」の一例である。

　処理回路１１０は、例えば、ＬＳＩである。メモリ１１２は、書き込みタイミングと読み出しタイミングとが異なるメモリである。ここでは、メモリ１１２の一例として、ＤＲＡＭが採用されている。なお、メモリ１１２がＳＲＡＭ等の他の種類の記憶装置であっても本開示の技術は成立する。

　処理回路１１０は、ＡＳＩＣ及びＦＰＧＡを含むデバイスであり、上述のコントローラ１５の指示に従って、撮像素子３８の全体を制御する。なお、ここでは、信号処理回路３４としてＡＳＩＣ及びＦＰＧＡを含むデバイスを例示しているが、本開示の技術はこれに限定されない。例えば、処理回路１１０は、ＡＳＩＣ、ＦＰＧＡ、又はＰＬＤを含むデバイスであってもよいし、ＦＰＧＡ及びＰＬＤを含むデバイスであってもよいし、ＡＳＩＣ及びＰＬＤを含むデバイスであってもよい。

　また、処理回路１１０は、ＣＰＵ、ストレージ、及びメモリを含むコンピュータであってもよい。ストレージとは、フラッシュメモリ等の不揮発性の記憶装置を指す。メモリは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリの一例としてはＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。また、ＣＰＵに代えてＧＰＵを用いてもよい。また、処理回路１１０は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

　光電変換素子４２は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

　光電変換素子４２に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。

　光電変換素子４２は、Ｒ画素、Ｇ画素、及びＢ画素を有する。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。Ｒ画素、Ｇ画素、及びＢ画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本実施形態では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、ここでは、Ｘ－Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。

　撮像素子３８は、いわゆる電子シャッタ機能を有しており、コントローラ１５の制御下で電子シャッタ機能を働かせることで、光電変換素子４２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

　撮像素子３８では、静止画像用の撮像と、ライブビュー画像用の撮像とが選択的に行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４１を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタ４１を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、メカニカルシャッタ４１を用いた撮像を例示しているが、撮像を実現する上でメカニカルシャッタ４１は必須ではなく、メカニカルシャッタ４１が無くとも電子シャッタ機能を働かせることでライブビュー画像用の撮像及び静止画像用の撮像は実現される。また、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

　一例として図７に示すように、処理回路１１０は、受付Ｉ／Ｆ１１０Ｄ１及び出力Ｉ／Ｆ１１０Ｄ２を備えている。コントローラ１５の出力Ｉ／Ｆ１５Ｄは、処理回路１１０の受付Ｉ／Ｆ１１０Ｄ１に接続されており、撮像タイミング信号を受付Ｉ／Ｆ１１０Ｄ１に出力する。受付Ｉ／Ｆ１１０Ｄ１は、出力Ｉ／Ｆ１５Ｄから出力された撮像タイミング信号を受け付ける。

　信号処理回路３４は、受付Ｉ／Ｆ３４Ａ及び出力Ｉ／Ｆ３４Ｂを備えている。受付Ｉ／Ｆ３４Ａは、撮像素子３８の出力Ｉ／Ｆ１１０Ｄ２に接続されている。処理回路１１０の出力Ｉ／Ｆ１１０Ｄ２は、画像データ等の各種情報（以下、単に「各種情報」とも称する）を信号処理回路３４の受付Ｉ／Ｆ３４Ａに出力し、受付Ｉ／Ｆ３４Ａは、出力Ｉ／Ｆ１１０Ｄ２から出力された各種情報を受け付ける。信号処理回路３４は、受付Ｉ／Ｆ３４Ａによって受け付けられた各種情報に対して、必要に応じて信号処理を施す。出力Ｉ／Ｆ３４Ｂは、コントローラ１５の受付Ｉ／Ｆ１５Ｅに接続されており、各種情報をコントローラ１５の受付Ｉ／Ｆ１５Ｅに出力する。受付Ｉ／Ｆ１５Ｅは、出力Ｉ／Ｆ３４Ｂから出力された各種情報を受け付ける。

　撮像素子３８において、処理回路１１０は、受付Ｉ／Ｆ１１０Ｄ１及び出力Ｉ／Ｆ１１０Ｄ２の他に、読出回路１１０Ａ、デジタル処理回路１１０Ｂ、及び制御回路１１０Ｃを備えている。

　読出回路１１０Ａは、光電変換素子４２、デジタル処理回路１１０Ｂ、及び制御回路１１０Ｃの各々に接続されている。デジタル処理回路１１０Ｂは、制御回路１１０Ｃに接続されている。制御回路１１０Ｃは、メモリ１１２、受付Ｉ／Ｆ１１０Ｄ１、及び出力Ｉ／Ｆ１１０Ｄ２の各々に接続されている。

　上述の画像データは、一例として図７に示すように、アナログ画像データ７０Ａとデジタル画像データ７０Ｂとに大別される。なお、以下では、説明の便宜上、アナログ画像データ７０Ａ、デジタル画像データ７０Ｂ、後述する出力用画像データ７０Ｂ１（図１２参照）、後述するライブビュー画像データ７０Ｂ２（図１２参照）、及び後述する縮小画像データ７０Ｂ３（図１２参照）等の各種の画像データを区別して説明する必要がない場合、符号を付さずに「画像データ」と称する。

　処理回路１１０の受付Ｉ／Ｆ１１０Ｄ１及び出力Ｉ／Ｆ１１０Ｄ２の各々は、回路で構成された通信デバイスである。また、コントローラ１５の出力Ｉ／Ｆ１５Ｄ及び受付Ｉ／Ｆ１５Ｅの各々も、回路で構成された通信デバイスである。更に、信号処理回路３４の受付Ｉ／Ｆ３４Ａ及び出力Ｉ／Ｆ３４Ｂの各々も、回路で構成された通信デバイスである。

　処理回路１１０の受付Ｉ／Ｆ１１０Ｄ１とコントローラ１５の出力Ｉ／Ｆ１５Ｄとの間は、ＰＣＩｅの接続規格に従って接続されている。また、処理回路１１０の出力Ｉ／Ｆ１１０Ｄ２と信号処理回路３４の受付Ｉ／Ｆ３４Ａとの間も、ＰＣＩｅの接続規格に従って接続されている。更に、信号処理回路３４の出力Ｉ／Ｆ３４Ｂとコントローラ１５の受付Ｉ／Ｆ１５Ｅとの間も、ＰＣＩｅの接続規格に従って接続されている。なお、以下では、受付Ｉ／Ｆ１１０Ｄ１、出力Ｉ／Ｆ１１０Ｄ２、受付Ｉ／Ｆ３４Ａ、出力Ｉ／Ｆ３４Ｂ、受付Ｉ／Ｆ１５Ｅ、及び出力Ｉ／Ｆ１５Ｄを区別して説明する必要がない場合、符号を付さずに「通信Ｉ／Ｆ」と称する。

　ここでは、通信Ｉ／Ｆとして回路で構成された通信デバイスが採用されているが、これはあくまでも一例に過ぎず、通信Ｉ／Ｆは、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、通信Ｉ／Ｆは、ＣＰＵ、フラッシュメモリ等のストレージ、及びＲＡＭ等のメモリを含むコンピュータであってもよい。この場合、コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。ＣＰＵに代えてＧＰＵを用いてもよい。また、通信Ｉ／Ｆは、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

　受付Ｉ／Ｆ１１０Ｄ１は、コントローラ１５の出力Ｉ／Ｆ１５Ｄから出力された撮像タイミング信号を受け付け、受け付けた撮像タイミング信号を制御回路１１０Ｃに転送する。

　読出回路１１０Ａは、制御回路１１０Ｃの制御下で、光電変換素子４２を制御し、光電変換素子４２からアナログ画像データ７０Ａを読み出す。光電変換素子４２からのアナログ画像データ７０Ａの読み出しは、コントローラ１５から処理回路１１０に入力された撮像タイミング信号に従って行われる。

　具体的には、先ず、受付Ｉ／Ｆ１１０Ｄ１がコントローラ１５から撮像タイミング信号を受け付け、受け付けた撮像タイミング信号を制御回路１１０Ｃに転送する。次に、制御回路１１０Ｃは、受付Ｉ／Ｆ１１０Ｄ１から転送された撮像タイミング信号を読出回路１１０Ａに転送する。すなわち、読出回路１１０Ａには、垂直同期信号及び水平同期信号が転送される。そして、読出回路１１０Ａは、制御回路１１０Ｃから転送された垂直同期信号に従って光電変換素子４２からフレーム単位でのアナログ画像データ７０Ａの読み出しを開始する。また、読出回路１１０Ａは、制御回路１１０Ｃから転送された水平同期信号に従って水平ライン単位でのアナログ画像データ７０Ａの読み出しを開始する。

　読出回路１１０Ａは、光電変換素子４２から読み出されたアナログ画像データ７０Ａに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子４２に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、アナログ画像データ７０Ａに対してゲインをかける処理である。このようにしてアナログ信号処理が行われたアナログ画像データ７０Ａは、読出回路１１０Ａによってデジタル処理回路１１０Ｂに出力される。

　デジタル処理回路１１０Ｂは、Ａ／Ｄ変換器１１０Ｂ１を備えている。Ａ／Ｄ変換器１１０Ｂ１は、アナログ画像データ７０ＡをＡ／Ｄ変換する。

　デジタル処理回路１１０Ｂは、読出回路１１０Ａから入力されたアナログ画像データ７０Ａに対してデジタル信号処理を行う。デジタル信号処理には、例えば、Ａ／Ｄ変換器１１０Ｂ１によるＡ／Ｄ変換、及びデジタルゲイン処理が含まれる。

　アナログ画像データ７０Ａに対しては、Ａ／Ｄ変換器１１０Ｂ１によってＡ／Ｄ変換が行われ、これによって、アナログ画像データ７０Ａがデジタル化され、ＲＡＷデータとしてデジタル画像データ７０Ｂが得られる。そして、デジタル画像データ７０Ｂに対しては、デジタル処理回路１１０Ｂによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、デジタル画像データ７０Ｂに対してゲインをかける処理を指す。このようにデジタル信号処理が行われることによって得られたデジタル画像データ７０Ｂは、デジタル処理回路１１０Ｂによって制御回路１１０Ｃに出力される。

　メモリ１１２は、複数フレームのデジタル画像データを記憶可能なメモリである。制御回路１１０Ｃは、デジタル処理回路１１０Ｂから入力されたデジタル画像データ７０Ｂをメモリ１１２に対して記憶させる。メモリ１１２は、画素単位の記憶領域を有しており、デジタル画像データ７０Ｂは、制御回路１１０Ｃによって、画素単位で、メモリ１１２のうちの対応する記憶領域に記憶される。

　制御回路１１０Ｃは、メモリ１１２に対してランダムアクセス可能であり、フレームレートに従ってメモリ１１２からデジタル画像データ７０Ｂを取得する。そして、制御回路１１０Ｃは、メモリ１１２から取得したデジタル画像データ７０Ｂを縮小し、縮小することで得た出力用画像データ７０Ｂ１を出力Ｉ／Ｆ１１０Ｄ２に対して信号処理回路３４に出力させる。なお、ここで、「縮小」とは、画像データを低解像度化する処理を指す。低解像度化する処理の一例としては、画素を間引く処理が挙げられる。

　信号処理回路３４では、出力Ｉ／Ｆ１１０Ｄ２から入力されたデジタル画像データ７０Ｂが受付Ｉ／Ｆ３４Ａによって受け付けられ、受け付けられたデジタル画像データ７０Ｂに対して各種の信号処理が行われる。

　一例として図８に示すように、撮像素子３８では、撮像処理と出力処理とを含む処理が行われる。

　撮像処理では、露光、アナログ画像データ７０Ａの読み出し、光電変換素子４２に対するリセット、アナログ信号処理、デジタル信号処理、及びデジタル画像データ７０Ｂの記憶が順に行われる。

　撮像処理では、先ず、光電変換素子４２によって露光が行われる。そして、アナログ画像データ７０Ａの読み出し、光電変換素子４２に対するリセット、及びアナログ信号処理が、読出回路１１０Ａによって行われる。なお、光電変換素子４２によって露光が行われる期間は、アナログ画像データ７０Ａの読み出し及び光電変換素子４２に対するリセットが行われていない期間である。デジタル信号処理は、デジタル処理回路１１０Ｂによって行われる。デジタル信号処理が行われることによって得られたデジタル画像データ７０Ｂは、制御回路１１０Ｃによってメモリ１１２に記憶される。

　出力処理では、デジタル画像データ７０Ｂの取得、及び出力用画像データ７０Ｂ１の出力が行われる。すなわち、出力処理では、先ず、制御回路１１０Ｃが、メモリ１１２からのデジタル画像データ７０Ｂを取得する。そして、制御回路１１０Ｃは、デジタル画像データ７０Ｂを縮小することで出力用画像データ７０Ｂ１を生成し、生成した出力用画像データ７０Ｂ１を、出力Ｉ／Ｆ１１０Ｄ２を介して信号処理回路３４に出力する。

　一例として図９に示すように、信号処理回路３４は、生成回路３４Ｃを備えている。生成回路３４Ｃには、受付Ｉ／Ｆ３４Ａ及び出力Ｉ／Ｆ３４Ｂが接続されている。撮像素子３８の出力Ｉ／Ｆ１１０Ｄ２から出力された出力用画像データ７０Ｂ１は、受付Ｉ／Ｆ３４Ａによって受け付けられる。受付Ｉ／Ｆ３４Ａによって受け付けられた出力用画像データ７０Ｂ１は生成回路３４Ｃによって取得される。生成回路３４Ｃは、受付Ｉ／Ｆ３４Ａから取得した出力用画像データ７０Ｂ１を縮小することでライブビュー画像データ７０Ｂ２を生成する。ライブビュー画像データ７０Ｂ２は、出力用画像データ７０Ｂ１よりも低解像度の画像データである。なお、ライブビュー画像データ７０Ｂ２は、本開示の技術に係る「表示用画像データ」の一例である。

　生成回路３４Ｃは、生成した得たライブビュー画像データ７０Ｂ２を、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５に出力する。コントローラ１５は、出力Ｉ／Ｆ３４Ｂから出力されたライブビュー画像データを受け付け、受け付けたライブビュー画像データ７０Ｂ２により示されるライブビュー画像をディスプレイ２６に表示する。図９に示す例では、ライブビュー画像として、本開示の技術に係る「特定の被写体」及び「移動体」の一例である鳥を示す特定被写体画像２００と、鳥の背景を示す背景画像とを含む画像が示されている。背景画像には、林（図９に示す例では、２本の樹木）を示す画像が含まれている。なお、特定被写体画像２００は、本開示の技術に係る「移動体画像」の一例である。

　一例として図１０に示すように、タッチパネル２８は、指示領域情報を受け付ける。指示領域情報とは、ライブビュー画像内のうちの一部の閉領域である領域２００Ａを指示する情報を指す。領域２００Ａは、後述する第１検出回路３４Ｄ及び第２検出回路３４Ｅ（図１１参照）が特定被写体画像２００の検出を行う検出対象領域としてユーザによって指示された領域である。

　指示領域情報は、例えば、タッチパネル２８に対してユーザの指１１によってタッチ操作が行われることで、タッチパネル２８によって受け付けられる。この場合、ライブビュー画像内のうちのタッチパネル２８に対して指１１が接触した位置に対応する位置を中心とした既定半径（例えば、数ミリメートル）の円形状領域が領域２００Ａとして規定される。ここでは、タッチパネル２８に対するタッチ操作によって既定の大きさ及び形状の領域２００Ａが定められているが、領域２００Ａを規定する方法はこれに限定されない。例えば、指示領域情報は、タッチパネル２８に対して閉領域の輪郭を描くようにスワイプ操作が行われることで、タッチパネル２８によって受け付けられるようにしてもよい。この場合、ライブビュー画像内のうちのタッチパネル２８に対してスワイプ操作が行われることで描かれた閉領域が領域２００Ａとして規定される。

　図１０に示す例では、タッチパネル２８によって受け付けられた指示領域情報によって指示された領域２００Ａが示されているが、指示領域情報によって領域２００Ａが指示されなくても本開示の技術は成立する。この場合、例えば、ライブビュー画像内の既定領域が、第１検出回路３４Ｄ及び第２検出回路３４Ｅ（図１１参照）による検出対象領域として用いられるようにすればよい。既定領域とは、例えば、ライブビュー画像の全体領域、又は、ライブビュー画像内のうちの予め設定された一部領域を指す。

　指示領域情報は、ユーザの指１１によってタッチパネル２８が操作されることで、タッチパネル２８によって受け付けられる。図１０に示す例では、領域２００Ａとして、円状領域が例示されているが、これはあくまでも一例に過ぎず、領域２００Ａの形状は、多角形等の他の形状であってもよいし、タッチパネル２８内のうちの指１１が接触した領域の形状であってもよい。また、ここでは、指１１を例示しているが、タッチパネル２８が検知可能なスタイラスペン等の指示体であればよい。

　領域２００Ａの輪郭（図１０に示す例では、円形枠）は、例えば、ユーザの指１１によってタッチパネル２８がタッチされることで、タッチされた位置に表示される。領域２００Ａの大きさは固定されていてもよいが、調節可能であってもよい。領域２００Ａの大きさが調節可能な場合、例えば、タッチパネル２８に対するピンチイン操作及びピンチアウト操作等によって領域２００Ａの大きさが調節される。

　図１０に示す例では、領域２００Ａに特定被写体画像２００が含まれている態様（領域２００Ａの円形枠が特定被写体画像２００を取り囲んでいる態様）が示されているが、本開示の技術はこれに限定されない。例えば、ライブビュー画像内のうちの特定被写体画像２００が未だに含まれていない一部の閉領域（例えば、特定被写体画像２００の移動先としてユーザによって予想された領域）が領域２００Ａとしてユーザによってタッチパネル２８等を介して指示されるようにしてもよい。なお、図１０に示す例において、領域２００Ａ内に含まれている特定被写体画像２００は、本開示の技術に係る「指示された移動体を示す移動体画像」の一例である。

　一例として図１１に示すように、信号処理回路３４は、上述した受付Ｉ／Ｆ３４Ａ、出力Ｉ／Ｆ３４Ｂ、及び生成回路３４Ｃの他に、第１検出回路３４Ｄ、第２検出回路３４Ｅ、記憶回路３４Ｆ、フレームメモリ３４Ｇ、受付Ｉ／Ｆ３４Ｈ、及び記憶制御回路３４Ｊを備えている。なお、フレームメモリ３４Ｇは、本開示の技術に係る「記憶部」の一例である。

　受付Ｉ／Ｆ３４Ｈは、受付Ｉ／Ｆ３４Ａと同様の構成を有しており、コントローラ１５に接続されている。コントローラ１５は、タッチパネル２８によって受け付けられた指示領域情報を取得し、取得した指示領域情報を信号処理回路３４の受付Ｉ／Ｆ３４Ｈに出力する。受付Ｉ／Ｆ３４Ｈは、コントローラ１５から出力された指示領域情報を受け付ける。受付Ｉ／Ｆ３４Ｈによって受け付けられた指示領域情報は、第１検出回路３４Ｄ及び第２検出回路３４Ｅによって取得される。

　記憶回路３４Ｆには、検出用参照情報が記憶されている。第１検出回路３４Ｄ及び第２検出回路３４Ｅは、画像データにより示される画像から、検出用参照情報を参照して特定被写体画像２００を検出する。検出用参照情報としては、例えば、画像データから特定被写体画像２００を検出するのに要する複数のサンプル画像（例えば、鳥を示すサンプル画像）、及び／又は、複数のサンプル画像の各々が解析されることで得られた特徴量を示す情報（以下、「特徴量情報」と称する）等が挙げられる。特徴量情報としては、例えば、複数のサンプル画像の各々に対してフーリエ変換が行われることによって得られた周波数特性を示す情報等が挙げられる。なお、特徴量情報は、畳み込みニューラルネットワークを用いた機械学習によっても得ることができる。

　検出用参照情報は、記憶回路３４Ｆに予め記憶されていてもよいし、コントローラ１５の制御下で、記憶制御回路３４Ｊによって記憶回路３４Ｆに記憶されるようにしてもよい。

　ここで、検出用参照情報としてサンプル画像が用いられる場合、コントローラ１５は、ディスプレイ２６にライブビュー画像が表示されている状態でタッチパネル２８を介してユーザによって指定された画像（例えば、ライブビュー画像内のうちの鳥を示す画像）をサンプル画像として取得する。なお、これに限らず、コントローラ１５は、外部Ｉ／Ｆ１０４（図４参照）を介して外部装置からサンプル画像を取得するようにしてもよい。このようにして得られたサンプル画像は、コントローラ１５によって信号処理回路３４に出力される。

　コントローラ１５から出力されたサンプル画像は、受付Ｉ／Ｆ３４Ｈによって受け付けられる。記憶制御回路３４Ｊは、受付Ｉ／Ｆ３４Ｈによって受け付けられたサンプル画像を記憶回路３４Ｆに対して記憶させる。

　なお、検出用参照情報として特徴量情報が用いられる場合であっても、サンプル画像と同様に、コントローラ１５によって特徴量情報が取得される。そして、コントローラ１５によって取得された特徴量情報は、コントローラ１５の制御下で、記憶制御回路３４Ｊによって記憶回路３４Ｆに記憶される。

　生成回路３４Ｃは、ライブビュー画像データ７０Ｂ２を縮小する処理を行い、これによって得た縮小画像データ７０Ｂ３を第１検出回路３４Ｄに出力する。縮小画像データ７０Ｂ３は、ライブビュー画像データ７０Ｂ２よりも低解像度な画像データである。なお、ここで、ライブビュー画像データ７０Ｂ２は、本開示の技術に係る「縮小前の画像データである縮小前画像データ」の一例である。

　生成回路３４Ｃは、ライブビュー画像データ７０Ｂ２をフレームメモリ３４Ｇ及び出力Ｉ／Ｆ３４Ｂに出力する。出力Ｉ／Ｆ３４Ｂは、生成回路３４Ｃから入力されたライブビュー画像データ７０Ｂ２をコントローラ１５に出力する。

　フレームメモリ３４Ｇには、撮像されることで得られた画像データが記憶される。具体的には、フレームメモリ３４Ｇは、ＦＩＦＯ方式のメモリであり、ライブビュー画像データ７０Ｂ２をフレーム単位で記憶する。

　第１検出回路３４Ｄは、第１検出処理を行う。第１検出処理とは、生成回路３４Ｃによって出力用画像データ７０Ｂ１が縮小されることで得られた縮小画像データ７０Ｂ３により示される画像（以下、「縮小画像」とも称する）から特定被写体画像２００を検出する処理を指す。第１検出処理では、記憶回路３４Ｆの検出用参照情報が用いられる。すなわち、第１検出回路３４Ｄは、縮小画像から、検出用参照情報を参照して特定被写体画像２００を検出する。

　第１検出回路３４Ｄは、第１検出処理の検出結果を示す第１検出結果情報を第２検出回路３４Ｅ及び出力Ｉ／Ｆ３４Ｂに出力する。第１検出結果情報には、第１検出処理が成功したか否かを示す第１検出処理成否情報が含まれている。また、第１検出処理が成功した場合、第１検出結果情報には追尾枠情報が含まれる。追尾枠情報とは、追尾枠２００Ｂを示す情報を指す。第１検出結果情報に含まれる追尾枠情報には、縮小画像内での追尾枠２００Ｂの位置を特定する位置特定情報（例えば、座標）も含まれている。追尾枠２００Ｂは、特定被写体画像２００を追尾する枠であり、図１１に示す例では、特定被写体画像２００を取り囲み、かつ、領域２００Ａを取り囲む矩形状の枠が追尾枠２００Ｂとして示されている。なお、ここでは、追尾枠２００Ｂとして、矩形状の枠が示されているが、他の形状の枠であってもよい。また、ここでは、追尾枠２００Ｂとして、特定被写体画像２００及び領域２００Ａを取り囲む枠が例示されているが、本開示の技術はこれに限らず、追尾枠２００Ｂは、特定被写体画像２００及び領域２００Ａのうちの特定被写体画像２００のみを取り囲む枠であってもよい。

　第２検出回路３４Ｅは、フレームメモリ３４Ｇに記憶されているライブビュー画像データ７０Ｂ２に対して第２検出処理を行う。具体的には、第２検出回路３４Ｅは、第１検出回路３４Ｄによって第１検出処理が実行されることで特定被写体画像２００が検出されなかった場合に、フレームメモリ３４Ｇから１フレーム分のライブビュー画像データ７０Ｂ２を取得し、取得したライブビュー画像データ７０Ｂ２により示されるライブビュー画像から特定被写体画像２００を検出する。

　なお、第２検出回路３４Ｅは、第１検出回路３４Ｄによって第１検出処理が実行されることで特定被写体画像２００が検出されなかったか否かの判定を、第１検出回路３４Ｄから入力された第１検出結果情報に含まれる第１検出処理成否情報を参照して行う。第１検出処理が実行されることで特定被写体画像２００が検出されなかった場合、すなわち、第１検出処理成否情報が、第１検出処理が成功しなかったことを示す情報の場合、第２検出回路３４Ｅは、フレームメモリ３４Ｇに記憶されているライブビュー画像データ７０Ｂ２に対して第２検出処理を行う。

　第２検出回路３４Ｅは、第２検出処理の検出結果を示す第２検出結果情報を出力Ｉ／Ｆ３４Ｂに出力する。第２検出結果情報には、第２検出処理が成功したか否かを示す第２検出処理成否情報が含まれている。また、第２検出処理が成功した場合、第２検出結果情報には追尾枠情報が含まれる。第２検出結果情報に含まれる追尾枠情報には、ライブビュー画像内での追尾枠２００Ｂの位置を特定する位置特定情報（例えば、座標）も含まれている。

　なお、以下では、説明の便宜上、第１検出結果情報と第２検出結果情報とを区別して説明する必要がない場合、「検出結果情報」と称する。また、以下では、説明の便宜上、第１検出処理と第２検出処理とを区別して説明する必要がない場合、「検出処理」と称する。

　出力Ｉ／Ｆ３４Ｂは、第１検出回路３４Ｄから第１検出結果情報が入力された場合、第１検出結果情報をコントローラ１５に出力し、第２検出回路３４Ｅから第２検出結果情報が入力された場合、第２検出結果情報をコントローラ１５に出力する。コントローラ１５は、出力Ｉ／Ｆ３４Ｂから入力された検出結果情報により示される検出結果、すなわち、検出処理での検出結果をディスプレイ２６に表示する。図１１に示す例では、特定被写体画像２００を取り囲むように追尾枠２００Ｂが検出処理での検出結果としてライブビュー画像に重畳して表示されている。

　図１２には、デジタル画像データ７０Ｂ、出力用画像データ７０Ｂ１、ライブビュー画像データ７０Ｂ２、及び縮小画像データ７０Ｂ３の関係性の一例を示す概念図が示されている。一例として図１２に示すように、デジタル画像データ７０Ｂは、出力用画像データ７０Ｂ１、ライブビュー画像データ７０Ｂ２、及び縮小画像データ７０Ｂ３という３つの画像データに縮小される。ｎを１以上の整数とした場合、出力用画像データ７０Ｂ１は、デジタル画像データ７０Ｂの「２ｎ－１」行目の画素群によって形成された画像データである。また、ライブビュー画像データ７０Ｂ２は、「２ｎ－１」行目の画素群から「６ｎ＋１」行目の画素群を除いた画素群によって形成された画像データである。更に、縮小画像データ７０Ｂ３は、「２ｎ－１」行目の画素群から「６ｎ＋１」行目の画素群及び「６ｎ－３」行目の画素群を除いた画素群によって形成された画像データである。

　このように、出力用画像データ７０Ｂ１は、デジタル画像データ７０Ｂよりも低解像度な画像データであり、ライブビュー画像データ７０Ｂ２は、出力用画像データ７０Ｂ１よりも低解像度な画像データであり、縮小画像データ７０Ｂ３は、ライブビュー画像データ７０Ｂ２よりも低解像度な画像データである。

　なお、図１２では、画像データが水平ライン単位で間引かれることで画像データが縮小される例を挙げているが、本開示の技術はこれに限定されない。例えば、画像データが垂直ライン単位で間引かれることで画像データが縮小されるようにしてもよいし、画像データが水平ライン単位及び垂直ライン単位で間引かれることで画像データが縮小されるようにしてもよく、画像データを縮小させる方法は如何なる方法であってもよい。

　図１３Ａには、第１検出処理が成功した場合のディスプレイ２６の表示内容の一例を示す画面図が示されている。図１３Ｂには、第１検出処理が失敗し、第２検出処理が成功した場合のディスプレイ２６の表示内容の一例を示す画面図が示されている。図１３Ｃには、第１検出処理及び第２検出処理が共に失敗した場合のディスプレイ２６の表示内容の一例を示す画面図が示されている。

　一例として図１３Ａに示すように、第１検出処理が成功した場合、ディスプレイ２６には、コントローラ１５の制御下で、特定被写体画像２００を取り囲むように、第１検出結果情報に含まれる追尾枠情報により示される追尾枠２００Ｂが第１検出処理での検出結果としてライブビュー画像に重畳して表示される。

　一例として図１３Ｂに示すように、特定被写体画像２００は、特定被写体画像２００の色合いと背景画像（図１３Ｂに示す例では、林を示す画像）の色合いとが同化している。そのため、特定被写体画像２００と背景画像との境界が第１検出回路３４Ｄによって検出されず、縮小画像データ７０Ｂ３を用いた第１検出処理が失敗している。しかし、縮小画像データ７０Ｂ３よりも高解像度なライブビュー画像データ７０Ｂ２を用いた第２検出処理は成功している。これは、ライブビュー画像データ７０Ｂ２は、縮小画像データ７０Ｂ３よりも高解像度であり、特定被写体画像２００と背景画像との境界が第２検出回路３４Ｅによって検出されたからである。この場合、ディスプレイ２６には、コントローラ１５の制御下で、特定被写体画像２００を取り囲むように、第２検出結果情報に含まれる追尾枠情報により示される追尾枠２００Ｂが第２検出処理での検出結果としてライブビュー画像に重畳して表示される。

　一例として図１３Ｃに示すように、第１検出処理が失敗し、かつ、第２検出処理も失敗した場合、ディスプレイ２６には、第２検出処理が失敗したことを示すメッセージ２０２が第２検出処理での検出結果としてライブビュー画像に重畳して表示される。図１３Ｃに示す例では、メッセージ２０２として、「注目被写体が検出されていません。」というメッセージが示されているが、本開示の技術はこれに限定されず、特定被写体画像２００が検出されなかったことをユーザに報知可能なメッセージ及び／又は画像であれば如何なる情報であってもよい。また、メッセージ及び／画像による可視報知に代えて、又は、併用して、音声再生装置（図示省略）による可聴報知、光源（図示省略）を点灯又は点滅させる可視報知、及び／又は、バイブレータ（図示省略）を特殊な振動パターンで振動を発生させる触覚報知がコントローラ１５の制御下で行われるようにしてもよい。

　図１４には、１フレーム目（１Ｆ）～４フレーム目（４Ｆ）の画像データに対する処理のタイミングの一例が示されている。図１４に示す１Ｆ～４Ｆの“Ｆ”とは、“Ｆｒａｍｅ”の略称を指す。なお、以下では、説明の便宜上、追尾枠２００Ｂ及びメッセージ２０２を区別して説明する必要がない場合、「撮像支援情報」と称する。

　一例として図１４に示すように、垂直同期信号が受付Ｉ／Ｆ１１０Ｄ１によって受け付けられる毎に、光電変換素子４２からの１フレーム分のアナログ画像データ７０Ａの読み出しが開始される。図１４に示す例では、１回目～４回目の垂直同期信号が受付Ｉ／Ｆ１１０Ｄ１によって順次に受け付けられ、１フレーム目～４フレーム目のアナログ画像データ７０Ａの読み出しが開始される。

　アナログ画像データ７０Ａの読み出しは、光電変換素子４２の１行目の水平ラインから最終行の水平ラインにかけて水平同期信号に従って１ライン毎に行われ、１ライン毎に読み出しが終了すると、読み出しが終了した水平ラインの各画素はリセットされる。アナログ画像データ７０Ａは、デジタル画像データ７０Ｂに変換され、読み出されたアナログ画像データ７０Ａのフレームの順（撮像順）に、デジタル画像データ７０Ｂがメモリ１１２に１フレーム単位で区別可能に、かつ、ＦＩＦＯ方式で記憶される。

　制御回路１１０Ｃは、メモリ１１２からフレーム単位でデジタル画像データ７０Ｂを取得し、取得したデジタル画像データ７０Ｂを縮小することで出力用画像データ７０Ｂ１を生成する。そして、制御回路１１０Ｃは、出力用画像データ７０Ｂ１を、出力Ｉ／Ｆ１１０Ｄ２を介して信号処理回路３４に出力する。

　信号処理回路３４において、生成回路３４Ｃは、出力用画像データ７０Ｂ１を縮小することでライブビュー画像データ７０Ｂ２を生成する。各フレームにおいて、生成回路３４Ｃによってライブビュー画像データ７０Ｂ２が生成されると、生成されたライブビュー画像データ７０Ｂ２により示されるライブビュー画像がディスプレイ２６に表示される。

　また、生成回路３４Ｃは、ライブビュー画像データ７０Ｂ２を縮小することで縮小画像データ７０Ｂ３を生成する。各フレームにおいて、生成回路３４Ｃによって縮小画像データ７０Ｂ３が生成されると、生成された縮小画像データ７０Ｂ３は、第１検出処理で用いられる。

　図１４に示す例では、１フレーム目及び４フレーム目の縮小画像データ７０Ｂ３を用いた第１検出処理は成功し、上述したように追尾枠２００Ｂがライブビュー画像に重畳して表示される（図１３Ａ参照）。

　一方、２フレーム目及び３フレーム目の縮小画像データ７０Ｂ３を用いた第１検出処理は失敗している。この場合、ライブビュー画像データ７０Ｂ２が第２検出処理で用いられる。ライブビュー画像データ７０Ｂ２は、縮小画像データ７０Ｂ３よりも高解像度な画像データであるため、第２検出回路３４Ｅでは、第１検出処理よりも高精度な第２検出処理が実行される。

　図１４に示す例では、２フレーム目のライブビュー画像データ７０Ｂ２を用いた第２検出処理は成功し、上述したように追尾枠２００Ｂがライブビュー画像に重畳して表示される（図１３Ｂ参照）。一方、３フレーム目のライブビュー画像データ７０Ｂ２を用いた第２検出処理は失敗し、上述したようにメッセージ２０２がライブビュー画像に重畳して表示される（図１３Ｃ参照）。

　次に、本第１実施形態に係る撮像装置１０の作用について図１５Ａ及び図１５Ｂを参照しながら説明する。なお、図１５Ａ及び図１５Ｂには、後段回路１３によって実行される後段回路処理の流れの一例が示されている。

　図１５Ａに示す後段回路処理では、先ず、ステップＳＴ１０で、生成回路３４Ｃは、受付Ｉ／Ｆ３４Ａによって出力用画像データ７０Ｂ１が受け付けられたか否かを判定する。ステップＳＴ１０において、受付Ｉ／Ｆ３４Ａによって出力用画像データ７０Ｂ１が受け付けられていない場合は、判定が否定されて、後段回路処理は、図１５Ｂに示すステップＳＴ４０へ移行する。ステップＳＴ１０において、受付Ｉ／Ｆ３４Ａによって出力用画像データ７０Ｂ１が受け付けられた場合は、判定が肯定されて、後段回路処理はステップＳＴ１１へ移行する。

　ステップＳＴ１１で、生成回路３４Ｃは、受付Ｉ／Ｆ３４Ａによって受け付けられた出力用画像データ７０Ｂ１を縮小することでライブビュー画像データ７０Ｂ２を生成し、その後、後段回路処理はステップＳＴ１２へ移行する。

　ステップＳＴ１２で、生成回路３４Ｃは、ライブビュー画像データ７０Ｂ２をフレームメモリ３４Ｇに対して記憶させ、かつ、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５にライブビュー画像データ７０Ｂ２を出力し、その後、後段回路処理はステップＳＴ１４へ移行する。

　ステップＳＴ１４で、コントローラ１５は、ライブビュー画像データ７０Ｂ２により示されるライブビュー画像をディスプレイ２６に表示し、その後、後段回路処理はステップＳＴ１６へ移行する。

　ステップＳＴ１６で、生成回路３４Ｃは、ライブビュー画像データ７０Ｂ２を縮小することで縮小画像データ７０Ｂ３を生成し、その後、後段回路処理はステップＳＴ１８へ移行する。

　ステップＳＴ１８で、第１検出回路３４Ｄは、縮小画像データ７０Ｂ３及び検出用参照情報を用いて第１検出処理を実行し、その後、後段回路処理はステップＳＴ２０へ移行する。

　ステップＳＴ２０で、第１検出回路３４Ｄは、第１検出処理が失敗したか否かを判定する。ステップＳＴ２０において、第１検出処理が成功した場合は、判定が否定されて、後段回路処理はステップＳＴ２２へ移行する。ステップＳＴ２０において、第１検出処理が失敗した場合は、判定が肯定されて、後段回路処理はステップＳＴ２６へ移行する。

　ステップＳＴ２２で、第１検出回路３４Ｄは、第１検出処理が成功したことを示す第１検出処理成否情報を含む第１検出結果情報を、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５に出力し、その後、後段回路処理はステップＳＴ２４へ移行する。

　ステップＳＴ２４で、コントローラ１５は、第１検出結果情報に含まれる追尾枠情報により示される追尾枠２００Ｂ入りのライブビュー画像をディスプレイ２６に表示する。すなわち、コントローラ１５は、一例として図１３Ａに示すように、ライブビュー画像に対して追尾枠２００Ｂを重畳させて表示し、その後、後段回路処理は、図１５Ｂに示すステップＳＴ４０へ移行する。

　ステップＳＴ２６で、第１検出回路３４Ｄは、第１検出処理が失敗したことを示す第１検出処理成否情報を含む第１検出結果情報を第２検出回路３４Ｅに出力し、その後、後段回路処理は、図１５Ｂに示すステップＳＴ２８へ移行する。

　図１５Ｂに示すステップＳＴ２８で、第２検出回路３４Ｅは、ライブビュー画像データ７０Ｂ２及び検出用参照情報を用いて第２検出処理を実行し、その後、後段回路処理はステップＳＴ３０へ移行する。

　ステップＳＴ３０で、第２検出回路３４Ｅは、第２検出処理が成功したか否かを判定する。ステップＳＴ３０において、第２検出処理が失敗した場合は、判定が否定されて、後段回路処理はステップＳＴ３２へ移行する。ステップＳＴ３０において、第２検出処理が成功した場合は、判定が肯定されて、後段回路処理はステップＳＴ３６へ移行する。

　ステップＳＴ３２で、第２検出回路３４Ｅは、第２検出処理が失敗したことを示す第２検出処理成否情報を含む第２検出結果情報を、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５に出力し、その後、後段回路処理はステップＳＴ３４へ移行する。

　ステップＳＴ３４で、コントローラ１５は、メッセージ２０２入りのライブビュー画像をディスプレイ２６に表示する。すなわち、コントローラ１５は、一例として図１３Ｃに示すように、ライブビュー画像に対してメッセージ２０２を重畳させて表示し、その後、後段回路処理はステップＳＴ４０へ移行する。

　ステップＳＴ３６で、第２検出回路３４Ｅは、第２検出処理が成功したことを示す第２検出処理成否情報を含む第２検出結果情報を、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５に出力し、その後、後段回路処理はステップＳＴ３８へ移行する。

　ステップＳＴ３８で、コントローラ１５は、第２検出結果情報に含まれる追尾枠情報により示される追尾枠２００Ｂ入りのライブビュー画像をディスプレイ２６に表示する。すなわち、コントローラ１５は、一例として図１３Ｂに示すように、ライブビュー画像に対して追尾枠２００Ｂを重畳させて表示し、その後、後段回路処理はステップＳＴ４０へ移行する。

　ステップＳＴ４０で、コントローラ１５は、後段回路処理を終了する条件（以下、「後段回路処理終了条件」と称する）を満足したか否かを判定する。後段回路処理終了条件の一例としては、後段回路処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ４０において、後段回路処理終了条件を満足していない場合は、判定が否定されて、後段回路処理はステップＳＴ１０へ移行する。ステップＳＴ４０において、後段回路処理終了条件を満足した場合は、判定が肯定されて、後段回路処理が終了する。

　以上説明したように、本第１実施形態に係る撮像装置１０では、生成回路３４Ｃによってデジタル画像データ７０Ｂが縮小される処理が行われ、縮小画像データ７０Ｂ３を用いた第１検出処理が第１検出回路３４Ｄによって行われる。そして、第１検出処理により特定被写体画像２００が検出されなかった場合に、フレームメモリ３４Ｇに記憶されているライブビュー画像データ７０Ｂ２を用いた第２検出処理が第２検出回路３４Ｅによって実行される。

　ここで、第２検出処理で用いられるライブビュー画像データ７０Ｂ２は、第１検出処理で用いられる縮小画像データ７０Ｂ３よりも高解像度な画像データである。そのため、第２検出処理は、第１検出処理よりも高精度である。また、縮小画像データ７０Ｃ３が用いられる第１検出回路３４Ｄにかかる処理負荷は、ライブビュー画像データ７０Ｂ２が用いられる第２検出回路３４Ｅよりも軽く、第２検出回路３４Ｅでの第２検出処理は、第１検出処理が失敗しなければ行われない。従って、本構成によれば、縮小画像データ７０Ｂ３のみを常に用いて検出処理を行う場合に比べ、処理負荷の軽減及び高精度な検出を実現することができる。

　また、本第１実施形態に係る撮像装置１０では、ライブビュー画像データ７０Ｂ２により示されるライブビュー画像内のうち、指示された特定被写体画像２００は、鳥（移動体）を示す画像である。従って、本構成によれば、特定被写体画像２００が鳥（移動体）を示す画像であったとしても、検出処理での検出結果から鳥（移動体）を特定することができる。

　また、本実施形態に係る撮像装置１０では、ライブビュー画像データ７０Ｂ２を用いた第２検出処理が第２検出回路３４Ｅによって実行される。従って、本構成によれば、ライブビュー画像データ７０Ｂ２とは異なり、かつ、第２検出処理のみに用いられる画像データがライブビュー画像データ７０Ｂ２と共に生成される場合に比べ、処理負荷を軽減することができる。

　更に、本第１実施形態に係る撮像装置１０では、第１検出結果情報に含まれる追尾枠情報により示される追尾枠２００Ｂ入りのライブビュー画像がディスプレイ２６に表示される。また、第２検出結果情報に含まれる追尾枠情報により示される追尾枠２００Ｂ入りのライブビュー画像がディスプレイ２６に表示される。更に、メッセージ２０２入りのライブビュー画像がディスプレイ２６に表示される。従って、本構成によれば、検出処理での検出結果をユーザに対して知覚させることができる。

　なお、上記第１実施形態では、第１検出回路３４Ｄによって特定被写体画像２００が検出されなかった場合（第１検出処理が失敗した場合）に、第２検出回路３４Ｅによって特定被写体画像２００の検出が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第２検出回路３４Ｅは、特定被写体画像２００とは異なる被写体を示す画像を検出してもよい。特定被写体画像２００とは異なる被写体を示す画像としては、特定被写体画像２００よりも小型の被写体を示す画像（例えば、特定被写体画像２００に含まれる特定部位を示す画像）、人物の顔を示す画像、及び／又は人物の瞳を示す画像等が挙げられる。

　また、上記第１実施形態では、撮像素子３８として積層型撮像素子を例示したが、本開示の技術はこれに限定されず、積層型撮像素子に代えて非積層型の撮像素子を用いても本開示の技術は成立する。

　［第２実施形態］
　上記第１実施形態では、鳥を示す画像が特定被写体画像２００として検出される形態例を挙げて説明したが、本第２実施形態では、人物の顔及び瞳が検出対象の場合について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。

　一例として図１６に示すように、本第２実施形態に係る第１検出処理は、上記第１実施形態で説明した特定被写体画像２００に相当する画像として、人物の顔を示す顔画像３００Ａと、人物の瞳を示す瞳画像３００Ｂとを検出する処理である。なお、顔画像３００Ａ及び瞳画像３００Ｂを検出する技術は、公知技術であるので、ここでの詳細な説明は省略する。

　第１検出回路３４Ｄは、縮小画像データ７０Ｂ３により示される縮小画像から、顔画像３００Ａを検出し、検出した顔画像３００Ａから、瞳画像３００Ｂを検出する。図１６に示す例では、人物の顔よりも小型な被写体として、人物の左瞳及び右瞳が示されている。また、図１６に示す例では、瞳画像３００Ｂとして、人物の左瞳を示す左瞳画像３００Ｂ１と、人物の右瞳を示す右瞳画像３００Ｂ２とが示されている。

　なお、本第２実施形態において、人物の顔は、本開示の技術に係る「特定の被写体」の一例であり、顔画像３００Ａは、本開示の技術に係る「特定被写体画像」の一例であり、左瞳画像３００Ｂ１及び右瞳画像３００Ｂ２は、本開示の技術に係る「小型被写体画像」の一例である。

　第１検出回路３４Ｄは、上記第１実施形態と同様に、第１検出結果情報をコントローラ１５及び第２検出回路３４Ｅに出力する。第１検出結果情報は、第１検出回路３４Ｄによる顔画像３００Ａの検出結果を示す第１顔検出結果情報と、第１検出回路３４Ｄによる瞳画像３００Ｂの検出結果を示す第１瞳検出結果情報とに大別される。なお、以下では、第１顔検出結果情報と第１瞳検出結果情報とを区別して説明する必要がない場合、「第１検出結果情報」と称する。

　第１検出結果情報には、第１検出処理成否情報及び追尾枠情報が含まれている。本第２実施形態に係る第１検出結果情報に含まれる第１検出処理成否情報は、第１検出回路３４Ｄでの顔画像３００Ａの検出の成否を示す情報、及び第１検出回路３４Ｄでの瞳画像３００Ｂの検出の成否を示す情報である。

　本第２実施形態に係る第１検出結果情報に含まれる追尾枠情報は、顔画像３００Ａ及び瞳画像３００Ｂを追尾する枠を示す情報である。図１６に示す例では、顔画像３００Ａを追尾する枠として、顔画像３００Ａの領域を画定する矩形状枠３００Ａ１が示されている。また、図１６に示す例では、瞳画像３００Ｂを追尾する枠として、左瞳画像３００Ｂ１の領域を画定する矩形状枠３００Ｂ１ａと、右瞳画像３００Ｂ２の領域を画定する矩形状枠３００Ｂ２ａとが示されている。また、本第２実施形態に係る第１検出結果情報に含まれる追尾枠情報には、縮小画像内での矩形状枠３００Ａ１，３００Ｂ１ａ及び３００Ｂ２ａの位置を特定する位置特定情報（例えば、座標）も含まれている。

　一例として図１７に示すように、第２検出回路３４Ｅは、顔画像検出回路３４Ｅ２及び瞳画像検出回路３４Ｅ３を備えている。第１検出回路３４Ｄから、第１検出処理が失敗したことを示す第１検出処理成否情報が含まれる第１検出結果情報が第２検出回路３４Ｅに出力され、第２検出回路３４Ｅによって受け付けられると、顔画像検出回路３４Ｅ２は、フレームメモリ３４Ｇからライブビュー画像データ７０Ｂ２を取得する。顔画像検出回路３４Ｅ２は、フレームメモリ３４Ｇから取得したライブビュー画像データ７０Ｂ２により示されるライブビュー画像から顔画像３００Ａを検出する。また、瞳画像検出回路３４Ｅ３は、顔画像検出回路３４Ｅ２によって検出された顔画像３００Ａから瞳画像３００Ｂを検出する。

　第２検出回路３４Ｅは、上記第１実施形態と同様に、第２検出結果情報をコントローラ１５に出力する。第２検出結果情報は、顔画像検出回路３４Ｅ２による顔画像３００Ａの検出結果を示す第２顔検出結果情報と、瞳画像検出回路３４Ｅ３による瞳画像３００Ｂの検出結果を示す第２瞳検出結果情報とに大別される。なお、以下では、第２顔検出結果情報と第２瞳検出結果情報とを区別して説明する必要がない場合、「第２検出結果情報」と称する。

　第２検出結果情報には、第２検出処理成否情報及び追尾枠情報が含まれている。本第２実施形態に係る第２検出結果情報に含まれる第２検出処理成否情報は、顔画像検出回路３４Ｅ２での顔画像３００Ａの検出の成否を示す情報、及び瞳画像検出回路３４Ｅ３での瞳画像３００Ｂの検出の成否を示す情報である。本第２実施形態に係る第２検出結果情報に含まれる追尾枠情報は、本第２実施形態に係る第１検出結果情報に含まれる追尾枠情報と同様に、顔画像３００Ａ及び瞳画像３００Ｂを追尾する枠を示す情報である。また、本第２実施形態に係る第１検出結果情報に含まれる追尾枠情報には、ライブビュー画像内での矩形状枠３００Ａ１，３００Ｂ１ａ及び３００Ｂ２ａの位置を特定する位置特定情報（例えば、座標）も含まれている。

　図１８Ａには、第１検出回路３４Ｄによって縮小画像データ７０Ｂ３により示される縮小画像から顔画像３００Ａが検出され、かつ、縮小画像から瞳画像３００Ｂが検出された場合のディスプレイ２６の表示態様の一例が示されている。一例として図１８Ａに示すように、ディスプレイ２６には、ライブビュー画像が表示され、かつ、矩形状枠３００Ａ１が、顔画像３００Ａを取り囲むようにライブビュー画像に対して重畳して表示される。また、ディスプレイ２６には、矩形状枠３００Ｂ１ａが、左瞳画像３００Ｂ１を取り囲むようにライブビュー画像に対して重畳して表示され、かつ、矩形状枠３００Ｂ２ａは、右瞳画像３００Ｂ２を取り囲むようにライブビュー画像に対して重畳して表示される。

　図１８Ｂには、第１検出回路３４Ｄによる第１検出処理、及び第２検出回路３４Ｅによる第２検出処理が何れも失敗した場合のディスプレイ２６の表示態様の一例が示されている。本第２実施形態において、第２検出処理とは、顔画像検出回路３４Ｅ２が顔画像３００Ａを検出する処理、及び瞳画像検出回路３４Ｅ３が瞳画像３００Ｂを検出する処理を指す。一例として図１８Ｂに示すように、ディスプレイ２６には、ライブビュー画像が表示され、かつ、顔画像３００Ａの検出と瞳画像３００Ｂの検出とが共に失敗したことを示すメッセージＭ１が表示される。

　図１８Ｂに示す例では、メッセージＭ１として、「顔・瞳検出失敗」というメッセージが示されているが、これはあくまでも一例に過ぎず、顔画像３００Ａの検出と瞳画像３００Ｂの検出とが共に失敗したことをユーザに対して報知可能なメッセージ及び／又は画像であれば如何なる情報であってもよい。また、メッセージ及び／画像による可視報知に代えて、又は、併用して、音声再生装置（図示省略）による可聴報知、光源（図示省略）を点灯又は点滅させる可視報知、及び／又は、バイブレータ（図示省略）を特殊な振動パターンで振動を発生させる触覚報知がコントローラ１５の制御下で行われるようにしてもよい。

　図１８Ｃには、第１検出回路３４Ｄ又は第２検出回路３４Ｅによって顔画像３００Ａの検出は成功したが、瞳画像３００Ｂの検出は失敗した場合のディスプレイ２６の表示態様の一例が示されている。一例として図１８Ｃに示すように、ディスプレイ２６には、ライブビュー画像が表示され、かつ、矩形状枠３００Ａ１が、顔画像３００Ａを取り囲むようにライブビュー画像に対して重畳して表示される。また、ディスプレイ２６には、瞳画像３００Ｂの検出が失敗したことを示すメッセージＭ２が表示される。

　図１８Ｃに示す例では、メッセージＭ２として、「瞳検出失敗」というメッセージが示されているが、これはあくまでも一例に過ぎず、瞳画像３００Ｂの検出が失敗したことをユーザに対して報知可能なメッセージ及び／又は画像であれば如何なる情報であってもよい。また、メッセージ及び／画像による可視報知に代えて、又は、併用して、音声再生装置（図示省略）による可聴報知、光源（図示省略）を点灯又は点滅させる可視報知、及び／又は、バイブレータ（図示省略）を特殊な振動パターンで振動を発生させる触覚報知がコントローラ１５の制御下で行われるようにしてもよい。

　図１９には、１フレーム目（１Ｆ）～５フレーム目（５Ｆ）の画像データに対する処理のタイミングの一例が示されている。図１９に示す１Ｆ～５Ｆの“Ｆ”とは、“Ｆｒａｍｅ”の略称を指す。なお、図１９に示す例において、図１４に示す例と重複する処理については説明を省略する。また、以下では、説明の便宜上、第１検出回路３４Ｄが縮小画像から顔画像３００Ａを検出する処理を「第１顔検出処理」とも称し、第１検出回路３４Ｄが縮小画像から瞳画像３００Ｂを検出する処理を「第１瞳検出処理」とも称する。また、以下では、説明の便宜上、顔画像検出回路３４Ｅ２がライブビュー画像から顔画像３００Ａを検出する処理を「第２顔検出処理」とも称し、瞳画像検出回路３４Ｅ３がライブビュー画像から瞳画像３００Ｂを検出する処理を「第２瞳検出処理」とも称する。

　図１９に示す例では、１フレーム目の縮小画像データ７０Ｂ３を用いた第１顔検出処理は成功している。この場合、第１検出回路３４Ｄでは、縮小画像データ７０Ｂ３のうち、第１顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部の縮小画像データ７０Ｂ３を用いた第１瞳検出処理が実行される。図１９に示す例では、１フレーム目の縮小画像データ７０Ｂ３を用いた第１瞳検出処理は成功している。この場合、一例として図１８Ａに示すように、矩形状枠３００Ａ１，３００Ｂ１ａ及び３００Ｂ２ａがライブビュー画像に重畳して表示される。

　２フレーム目の縮小画像データ７０Ｂ３を用いた第１顔検出処理は失敗している。この場合、ライブビュー画像データ７０Ｂ２が顔画像検出回路３４Ｅ２によって第２顔検出処理に用いられる。ライブビュー画像データ７０Ｂ２は、縮小画像データ７０Ｂ３よりも高解像度な画像データであるため、顔画像検出回路３４Ｅ２では、第１顔検出処理よりも高精度な第２顔検出処理が実行される。

　図１９に示す例では、２フレーム目のライブビュー画像データ７０Ｂ２を用いた第２顔検出処理は成功している。この場合、瞳画像検出回路３４Ｅ３では、２フレーム目のライブビュー画像データ７０Ｂ２のうち、第２顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部のライブビュー画像データ７０Ｂ２を用いた第２瞳検出処理が実行される。ライブビュー画像データ７０Ｂ２は、縮小画像データ７０Ｂ３よりも高解像度な画像データであるため、瞳画像検出回路３４Ｅ３では、第１瞳検出処理よりも高精度な第２瞳検出処理が実行される。図１９に示す例では、２フレーム目のライブビュー画像データ７０Ｂ２を用いた第２瞳検出処理は成功している。このように、第２顔検出処理及び第２瞳検出処理が成功すると、一例として図１８Ａに示すように、矩形状枠３００Ａ１，３００Ｂ１ａ及び３００Ｂ２ａがライブビュー画像に重畳して表示される。

　図１９に示す例では、３フレーム目の縮小画像データ７０Ｂ３を用いた第１顔検出処理は失敗している。この場合、ライブビュー画像データ７０Ｂ２が顔画像検出回路３４Ｅ２によって第２顔検出処理に用いられる。図１９に示す例では、３フレーム目のライブビュー画像データ７０Ｂ２を用いた第２顔検出処理も失敗している。このように、第１顔検出処理及び第２顔検出処理が失敗すると、一例として図１８Ｂに示すように、ディスプレイ２６には、ライブビュー画像と共に、メッセージＭ１が表示される。

　図１９に示す例では、４フレーム目の縮小画像データ７０Ｂ３を用いた第１顔検出処理は失敗している。この場合、ライブビュー画像データ７０Ｂ２が顔画像検出回路３４Ｅ２によって第２顔検出処理に用いられる。図１９に示す例では、４フレーム目のライブビュー画像データ７０Ｂ２を用いた第２顔検出処理は成功している。この場合、瞳画像検出回路３４Ｅ３では、４フレーム目のライブビュー画像データ７０Ｂ２のうち、第２顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部のライブビュー画像データ７０Ｂ２を用いた第２瞳検出処理が実行される。図１９に示す例では、４フレーム目のライブビュー画像データ７０Ｂ２を用いた第２瞳検出処理は失敗している。この場合、一例として図１８Ｃに示すように、ディスプレイ２６には、ライブビュー画像と共に、メッセージＭ２が表示される。

　図１９に示す例では、５フレーム目の縮小画像データ７０Ｂ３を用いた第１顔検出処理は成功しているが、５フレーム目の縮小画像データ７０Ｂ３を用いた第１瞳検出処理は失敗している。この場合、ライブビュー画像データ７０Ｂ２が顔画像検出回路３４Ｅ２によって第２顔検出処理に用いられる。図１９に示す例では、５フレーム目のライブビュー画像データ７０Ｂ２を用いた第２顔検出処理は成功している。この場合、５フレーム目のライブビュー画像データ７０Ｂ２のうち、第２顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部のライブビュー画像データ７０Ｂ２が第２瞳検出処理に用いられる。図１９に示す例では、５フレーム目のライブビュー画像データ７０Ｂ２を用いた第２瞳検出処理は失敗している。この場合、一例として図１８Ｃに示すように、ディスプレイ２６には、ライブビュー画像と共に、メッセージＭ２が表示される。

　次に、本第２実施形態に係る撮像装置１０の作用について図２０Ａ～図２０Ｄを参照しながら説明する。なお、図２０Ａ～図２０Ｄには、後段回路１３によって実行される後段回路処理の流れの一例が示されている。

　図２０Ａに示す後段回路処理では、先ず、ステップＳＴ１００で、生成回路３４Ｃは、受付Ｉ／Ｆ３４Ａによって出力用画像データ７０Ｂ１が受け付けられたか否かを判定する。ステップＳＴ１００において、受付Ｉ／Ｆ３４Ａによって出力用画像データ７０Ｂ１が受け付けられていない場合は、判定が否定されて、後段回路処理は、図２０Ｄに示すステップＳＴ１６４へ移行する。ステップＳＴ１００において、受付Ｉ／Ｆ３４Ａによって出力用画像データ７０Ｂ１が受け付けられた場合は、判定が肯定されて、後段回路処理はステップＳＴ１０１へ移行する。

　ステップＳＴ１０１で、生成回路３４Ｃは、受付Ｉ／Ｆ３４Ａによって出力用画像データ７０Ｂ１が受け付けられた出力用画像データ７０Ｂ１を縮小することでライブビュー画像データ７０Ｂ２を生成し、その後、後段回路処理はステップＳＴ１０２へ移行する。

　ステップＳＴ１０２で、生成回路３４Ｃは、ライブビュー画像データ７０Ｂ２をフレームメモリ３４Ｇに対して記憶させ、かつ、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５にライブビュー画像データ７０Ｂ２を出力し、その後、後段回路処理はステップＳＴ１０４へ移行する。

　ステップＳＴ１０４で、コントローラ１５は、ライブビュー画像データ７０Ｂ２により示されるライブビュー画像をディスプレイ２６に表示し、その後、後段回路処理はステップＳＴ１０６へ移行する。

　ステップＳＴ１０６で、生成回路３４Ｃは、ライブビュー画像データ７０Ｂ２を縮小することで縮小画像データ７０Ｂ３を生成し、その後、後段回路処理はステップＳＴ１０８へ移行する。

　ステップＳＴ１０８で、第１検出回路３４Ｄは、縮小画像データ７０Ｂ３を用いて第１顔検出処理を実行し、その後、後段回路処理はステップＳ１１０へ移行する。

　ステップＳＴ１１０で、第１検出回路３４Ｄは、第１顔検出処理が成功したか否かを判定する。ステップＳＴ１１０において、第１顔検出処理が成功した場合は、判定が肯定されて、後段回路処理はステップＳＴ１１２へ移行する。ステップＳＴ１１０において、第１顔検出処理が失敗した場合は、判定が否定されて、後段回路処理はステップＳＴ１１６へ移行する。

　ステップＳＴ１１２で、第１検出回路３４Ｄは、第１顔検出処理が成功したことを示す第１検出処理成否情報を含む第１顔検出結果情報を、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５に出力し、その後、後段回路処理は、図２０Ｄに示すステップＳＴ１５１へ移行する。

　ステップＳＴ１１６で、第１検出回路３４Ｄは、第１顔検出処理が失敗したことを示す第１検出処理成否情報を含む第１顔検出結果情報を、第２検出回路３４Ｅ及びコントローラ１５に出力し、その後、後段回路処理は、図２０Ｂに示すステップＳＴ１１８へ移行する。

　図２０Ｂに示すステップＳＴ１１８で、顔画像検出回路３４Ｅ２は、ステップＳＴ１０１で生成されたライブビュー画像データ７０Ｂ２を用いて第２顔検出処理を実行し、その後、後段回路処理はステップＳＴ１２０へ移行する。

　ステップＳＴ１２０で、顔画像検出回路３４Ｅ２は、第２顔検出処理が成功したか否かを判定する。ステップＳＴ１２０において、第２顔検出処理が成功した場合は、判定が肯定されて、後段回路処理はステップＳＴ１２６へ移行する。ステップＳＴ１２０において、第２顔検出処理が失敗した場合は、判定が否定されて、後段回路処理はステップＳＴ１２２へ移行する。

　ステップＳＴ１２２で、顔画像検出回路３４Ｅ２は、第２顔検出処理が失敗したことを示す第２検出処理成否情報を含む第２顔検出結果情報を、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５に出力し、その後、後段回路処理はステップＳＴ１２４へ移行する。

　ステップＳＴ１２４で、コントローラ１５は、顔画像３００Ａの検出及び瞳画像３００Ｂの検出が失敗したことを示すメッセージとして、一例として図１８Ｂに示すように、メッセージＭ１をディスプレイ２６に表示し、その後、後段回路処理は、図２０Ｄに示すステップＳＴ１６４へ移行する。

　ステップＳＴ１２６で、顔画像検出回路３４Ｅ２は、第２顔検出処理が成功したことを示す第２検出処理成否情報を含む第２顔検出結果情報を、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５に出力し、その後、後段回路処理はステップＳＴ１２８へ移行する。

　ステップＳＴ１２８で、コントローラ１５は、顔追尾枠入りライブビュー画像をディスプレイ２６に表示する。ここで、顔追尾枠とは、例えば、第１検出結果情報に含まれる追尾枠情報により示される矩形状枠３００Ａ１を指す。すなわち、ステップＳＴ１２８において、コントローラ１５は、ライブビュー画像に対して顔画像３００Ａを取り囲むように矩形状枠３００Ａ１重畳させて表示し、その後、後段回路処理は、図２０Ｃに示すステップＳＴ１３０へ移行する。

　図２０Ｃに示すステップＳＴ１３０で、瞳画像検出回路３４Ｅ３は、ステップＳＴ１０１で生成されたライブビュー画像データ７０Ｂ２のうち、第２顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部のライブビュー画像データ７０Ｂ２を用いて第２瞳検出処理を実行し、その後、後段回路処理はステップＳＴ１３２へ移行する。

　ステップＳＴ１３２で、瞳画像検出回路３４Ｅ３は、第２瞳検出処理が成功したか否かを判定する。ステップＳＴ１３２において、第２瞳検出処理が成功した場合は、判定が肯定されて、後段回路処理はステップＳＴ１３４へ移行する。ステップＳＴ１３２において、第２瞳検出処理が失敗した場合は、判定が否定されて、後段回路処理はステップＳＴ１３８へ移行する。

　ステップＳＴ１３４で、瞳画像検出回路３４Ｅ３は、第２瞳検出処理が成功したことを示す第２検出処理成否情報を含む第２顔検出結果情報を、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５に出力し、その後、後段回路処理はステップＳＴ１３６へ移行する。

　ステップＳＴ１３６で、コントローラ１５は、瞳追尾枠入りライブビュー画像をディスプレイ２６に表示する。ここで、瞳追尾枠とは、例えば、第２検出結果情報に含まれる追尾枠情報により示される矩形状枠３００Ｂ１ａ及び３００Ｂ２ａを指す。すなわち、ステップＳＴ１３６において、コントローラ１５は、ライブビュー画像に対して左瞳画像３００Ｂ１を取り囲むように矩形状枠３００Ｂ１ａ重畳させて表示し、かつ、ライブビュー画像に対して右瞳画像３００Ｂ２を取り囲むように矩形状枠３００Ｂ２ａ重畳させて表示し、その後、後段回路処理は、図２０Ｄに示すステップＳＴ１６４へ移行する。

　ステップＳＴ１３８で、瞳画像検出回路３４Ｅ３は、第２瞳検出処理が失敗したことを示す第２検出処理成否情報を含む第２顔検出結果情報を、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５に出力し、その後、後段回路処理はステップＳＴ１４０へ移行する。

　ステップＳＴ１４０で、コントローラ１５は、瞳画像３００Ｂの検出が失敗したことを示すメッセージとして、一例として図１８Ｃに示すように、メッセージＭ２をディスプレイ２６に表示し、その後、後段回路処理は、図２０Ｄに示すステップＳＴ１６４へ移行する。

　図２０Ｄに示すステップＳＴ１５１で、コントローラ１５は、顔追尾枠入りライブビュー画像をディスプレイ２６に表示する。すなわち、ステップＳＴ１２８において、コントローラ１５は、ライブビュー画像に対して顔画像３００Ａを取り囲むように矩形状枠３００Ａ１重畳させて表示し、その後、後段回路処理はステップＳＴ１５２へ移行する。

　ステップＳＴ１５２で、第１検出回路３４Ｄは、ステップＳＴ１０１で生成された縮小画像データ７０Ｂ３のうち、第１顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部の縮小画像データ７０Ｂ３を用いて第１瞳検出処理を実行し、その後、後段回路処理はステップＳＴ１５４へ移行する。

　ステップＳＴ１５４で、第１検出回路３４Ｄは、第１瞳検出処理が成功したか否かを判定する。ステップＳＴ１５４において、第１瞳検出処理が成功した場合は、判定が肯定されて、後段回路処理はステップＳＴ１６０へ移行する。ステップＳＴ１５４において、第１瞳検出処理が失敗した場合は、判定が否定されて、後段回路処理はステップＳＴ１６６へ移行する。

　ステップＳＴ１６０で、第１検出回路３４Ｄは、第１瞳検出処理が成功したことを示す第１検出処理成否情報を含む第１顔検出結果情報を、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５に出力し、その後、後段回路処理はステップＳＴ１６２へ移行する。

　ステップＳＴ１６２で、コントローラ１５は、瞳追尾枠入りライブビュー画像をディスプレイ２６に表示する。すなわち、ステップＳＴ１６２において、コントローラ１５は、ライブビュー画像に対して左瞳画像３００Ｂ１を取り囲むように矩形状枠３００Ｂ１ａ重畳させて表示し、かつ、ライブビュー画像に対して右瞳画像３００Ｂ２を取り囲むように矩形状枠３００Ｂ２ａ重畳させて表示し、その後、後段回路処理は、ステップＳＴ１６４へ移行する。

　ステップＳＴ１６６で、第１検出回路３４Ｄは、第１瞳検出処理が失敗したことを示す第１検出処理成否情報を含む第１顔検出結果情報を、出力Ｉ／Ｆ３４Ｂを介してコントローラ１５に出力し、その後、後段回路処理はステップＳＴ１６８へ移行する。

　ステップＳＴ１６８で、コントローラ１５は、瞳画像３００Ｂの検出が失敗したことを示すメッセージとして、一例として図１８Ｃに示すように、メッセージＭ２をディスプレイ２６に表示し、その後、後段回路処理は、ステップＳＴ１６４へ移行する。

　ステップＳＴ１６４で、コントローラ１５は、上記第１実施形態で説明した後段回路処理終了条件を満足したか否かを判定する。ステップＳＴ１６４において、後段回路処理終了条件を満足していない場合は、判定が否定されて、後段回路処理はステップＳＴ１００へ移行する。ステップＳＴ１６４において、後段回路処理終了条件を満足した場合は、判定が肯定されて、後段回路処理が終了する。

　以上説明したように、本第２実施形態に係る撮像装置１０では、顔画像検出回路３４Ｅ２によって、ライブビュー画像データ７０Ｂ２により示されるライブビュー画像から顔画像３００Ａが検出される。また、瞳画像検出回路３４Ｅ３によって、ライブビュー画像データ７０Ｂ２により示されるライブビュー画像から、顔画像よりも小さな画像である瞳画像３００Ｂが検出される。

　ここで、第２顔検出処理及び第２瞳検出処理で用いられるライブビュー画像データ７０Ｂ２は、第１顔検出処理及び第１瞳検出処理で用いられる縮小画像データ７０Ｂ３よりも高解像度な画像データである。そのため、第２顔検出処理及び第２瞳検出処理は、第１顔検出処理及び第１瞳検出処理よりも高精度である。また、縮小画像データ７０Ｃ３が用いられる第１検出回路３４Ｄにかかる処理負荷は、ライブビュー画像データ７０Ｂ２が用いられる顔画像検出回路３４Ｅ２及び瞳画像検出回路３４Ｅ３よりも軽く、第２顔検出処理及び第２瞳検出処理は、第１顔検出処理及び／又は第１瞳検出処理が失敗しなければ行われない。従って、本構成によれば、第１検出処理のみによって顔画像３００Ａ及び瞳画像３００Ｂが検出される場合に比べ、顔画像３００Ａ及び瞳画像３００Ｂが検出される可能性を高めることができる。

　なお、本第２実施形態では、本開示の技術に係る「特定の被写体」として人物の顔を例示し、本開示の技術に係る「小型な被写体」として人物の瞳を例示しているが、本開示の技術はこれに限定されない。例えば、本開示の技術に係る「小型な被写体」として、人物の瞳に代えて、又は、人物の瞳と共に、人物の鼻及び／又は口等の部位を適用してもよい。

　また、本開示の技術に係る「特定の被写体」及び「小型な被写体」は、人物の部位である必要はない。例えば、第２検出回路３４Ｅは、ライブビュー画像データ７０Ｂ２を用いて、人物の顔以外の被写体を示す第１画像と、第１画像により示される被写体よりも小型な被写体を示す第２画像とが検出されるようにしてもよい。第１画像としては、例えば、鳥を示す画像が挙げられ、この場合の第２画像としては、例えば、虫又は植物等の鳥よりも小型な被写体を示す画像が挙げられる。また、これ以外にも、第１画像としては、例えば、樹木を示す画像が挙げられ、この場合の第２画像としては、例えば、鳥及び／又は虫等の樹木よりも小型な被写体を示す画像が挙げられる。従って、本構成によれば、第１検出処理のみによって特定の被写体を示す画像及び特定の被写体よりも小型な被写体を示す画像が検出される場合に比べ、特定の被写体を示す画像及び特定の被写体よりも小型な被写体を示す画像が検出される可能性を高めることができる。

　また、本第２実施形態に係る撮像装置１０では、顔追尾枠入りのライブビュー画像がディスプレイ２６に表示される（図１８Ａ及び図１８Ｃ参照）。また、瞳追尾枠入りのライブビュー画像がディスプレイ２６に表示される（図１８Ａ参照）。また、メッセージＭ１入りのライブビュー画像がディスプレイ２６に表示される（図１８Ｂ参照）。更に、メッセージＭ２入りのライブビュー画像がディスプレイ２６に表示される（図１８Ｃ参照）。従って、本構成によれば、第１顔検出処理、第１瞳検出処理、第２顔検出処理、及び第２瞳検出処理の各々での検出結果をユーザに対して知覚させることができる。

　なお、上記第２実施形態では、顔画像検出回路３４Ｅ２が１フレーム分のライブビュー画像データ７０Ｂ２を用いて顔画像３００Ａを検出する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第２検出回路３４Ｅは、部分領域画像データに対して第２顔検出処理及び第２瞳検出処理を行うようにしてもよい。部分領域画像データは、１フレーム分のライブビュー画像データ７０Ｂ２のうちの一部のライブビュー画像データ７０Ｂ２である。具体的には、部分領域画像データとは、ライブビュー画像データ７０Ｂ２により示されるライブビュー画像内の部分領域であって、第２顔検出処理及び第２瞳検出処理を行うフレームの前フレームにおいて第１顔検出処理によって検出された顔画像３００Ａの位置に対応している部分領域を示す画像データを指す。また、ここで、第２顔画像検出処理を行うフレームの前フレームとは、例えば、１フレーム以上前のフレームを指す。

　この場合、一例として図２１に示すように、第１検出回路３４Ｄは、第２顔検出処理及び第２瞳検出処理を行うフレームの前フレームの縮小画像データ７０Ｂ３により示される縮小画像のうちの顔画像３００Ａの位置に対応している部分領域の位置を特定可能な領域特定データ（例えば、座標）を取得し、取得した領域特定データを記憶回路３４Ｆに対して記憶させる。ここでは、領域特定データの一例として、縮小画像内の矩形状枠３００Ａ１の位置を特定可能なデータ（例えば、座標）が採用されている。なお、領域特定データは、縮小画像内の矩形状枠３００Ａ１の位置を特定可能なデータに限らず、例えば、顔画像３００Ａの位置を特定可能なデータ（例えば、座標）であってもよい。

　一例として図２２に示すように、生成回路３４Ｃは、ライブビュー画像データ生成回路３４Ｃ１及び抽出回路３４Ｃ２を備えている。ライブビュー画像データ生成回路３４Ｃ１は、撮像素子３８から出力用画像データ７０Ｂ１を取得し、取得した出力用画像データ７０Ｂ１を縮小することでライブビュー画像データ７０Ｂ２を生成する。ライブビュー画像データ生成回路３４Ｃ１は、生成したライブビュー画像データ７０Ｂ２をコントローラ１５及び抽出回路３４Ｃ２に出力する。

　抽出回路３４Ｃ２は、ライブビュー画像データ生成回路３４Ｃ１から入力されたライブビュー画像データ７０Ｂ２から、記憶回路３４Ｆに記憶されている領域特定データを参照して、部分領域画像データを抽出する。すなわち、抽出回路３４Ｃ２は、ライブビュー画像データ７０Ｂ２から、第１検出回路３４Ｄによって検出された顔画像３００Ａの位置に対応する領域を示す一部のライブビュー画像データ７０Ｂ２を部分領域画像データとして抽出する。抽出回路３４Ｃ２は、ライブビュー画像データ７０Ｂ２から抽出した部分領域画像データを記憶回路３４Ｆに対して記憶させる。なお、本第２実施形態において、部分領域画像データは、本開示の技術に係る「特定被写体画像領域データ」の一例である。また、本第２実施形態において、記憶回路３４Ｆは、本開示の技術に係る「記憶部」の一例である。

　図２２に示す例では、記憶回路３４Ｆに部分領域画像データが記憶される形態例が示されているが、これはあくまでも一例に過ぎず、記憶回路３４Ｆとは別に、部分領域画像データ用メモリ（図示省略）を設け、部分領域画像データ用メモリに部分領域画像データが記憶されるようにしてもよい。また、フレームメモリ３４Ｇ（図１１参照）に部分領域画像データがフレーム単位で記憶され、フレームメモリ３４Ｇから第２検出回路３４Ｅによって部分領域画像データがフレーム単位で取得されるようにしてもよい。

　一例として図２３に示すように、顔画像検出回路３４Ｅ２は、記憶回路３４Ｆから部分領域画像データを取得し、取得した部分領域画像データに対して第２顔検出処理を実行する。また、瞳画像検出回路３４Ｅ３は、記憶回路３４Ｆから部分領域画像データを取得し、取得した部分領域画像データに対して第２瞳検出処理を実行する。

　このように図２１～図２３に示す例では、第２検出回路３４Ｅによって、部分領域画像データに対して第２顔検出処理及び第２瞳検出処理が行われる。部分領域画像データは、ライブビュー画像データ７０Ｂ２により示されるライブビュー画像内の部分領域であって、第２顔画像検出処理を行うフレームの前フレームにおいて第１顔検出処理によって検出された顔画像３００Ａの位置に対応している部分領域を示す画像データである。従って、本構成によれば、１フレーム分以上のライブビュー画像データ７０Ｂ２に対して第２顔検出処理及び第２瞳検出処理が行われる場合に比べ、第２顔検出処理及び第２瞳検出処理にかかる処理負荷を軽減することができる。

　なお、ここでは、部分領域画像データに対して第２顔検出処理及び第２瞳検出処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、部分領域画像データに対して第２顔検出処理又は第２瞳検出処理が行われるようにしてもよい。

　また、ここでは、抽出回路３４Ｃ２によって、第１検出処理の検出結果に基づく領域特定データに従って部分領域画像データが抽出される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、ライブビュー画像データ７０Ｂ２のうち、ユーザによってタッチパネル２８を介して指示された領域２００Ａに対応するライブビュー画像データ７０Ｂ２が部分領域画像データとして抽出回路３４Ｃ２によって抽出されるようにしてもよい。この場合、ユーザ意図する部分領域画像データに対して第２検出処理を行うことに寄与することができる。

　また、図２１～図２３に示す例では、第１顔検出処理によって顔画像３００Ａが検出された場合、抽出回路３４Ｃ２によって、ライブビュー画像データ７０Ｂ２のうち、顔画像３００Ａの位置に対応する領域を示す部分領域画像データが記憶回路３４Ｆに記憶される。従って、本構成によれば、１フレーム分以上のライブビュー画像データ７０Ｂ２が記憶回路３４Ｆに記憶される場合に比べ、記憶回路３４Ｆに記憶されるデータ量を少なくすることができる。

　また、図２１～図２３に示す例では、第１顔検出処理によって顔画像３００Ａが検出された場合、記憶回路３４Ｆに記憶されている部分領域画像データに対して顔画像検出回路３４Ｅ２によって第２顔検出処理が行われる。従って、本構成によれば、１フレーム分のライブビュー画像データ７０Ｂ２のうちの部分領域画像データ以外のライブビュー画像データ７０Ｂ２に対して第２顔検出処理が行われる場合に比べ、第２顔検出処理によって顔画像３００Ａが検出される確率を高めることができる。

　更に、図２１～図２３に示す例では、第１顔検出処理によって顔画像３００Ａが検出された場合、記憶回路３４Ｆに記憶されている部分領域画像データに対して瞳画像検出回路３４Ｅ３によって第２瞳検出処理が行われる。従って、本構成によれば、１フレーム分のライブビュー画像データ７０Ｂ２のうち、部分領域画像データ以外のライブビュー画像データ７０Ｂ２に対して第２瞳検出処理が行われる場合に比べ、第２瞳検出処理によって瞳画像３００Ｂが検出される確率を高めることができる。

　［第３実施形態］
　上記第２実施形態では、ライブビュー画像データ７０Ｂ２に対して第２顔検出処理及び第２瞳検出処理が実行される形態例を挙げて説明したが、本第２実施形態では、ライブビュー画像データ７０Ｂ２のみならず、デジタル画像データ７０Ｂに対しても第２顔検出処理及び第２瞳検出処理が実行される形態例について説明する。なお、本第３実施形態では、上記第２実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。

　一例として図２４に示すように、本第３実施形態に係る撮像装置１０では、制御回路１１０Ｃは、コントローラ１５から入力される垂直同期信号に従って、メモリ１１２からデジタル画像データ７０Ｂを取得する。制御回路１１０Ｃは、出力Ｉ／Ｆ１１０Ｄ２を介して信号処理回路３４の受付Ｉ／Ｆ３４Ａとパラレル通信可能に接続されており、デジタル画像データ７０Ｂと出力用画像データ７０Ｂ１とをフレームレートに従って同期させて信号処理回路３４に出力する。信号処理回路３４では、撮像素子３８から出力されたデジタル画像データ７０Ｂと出力用画像データ７０Ｂ１とが同期したタイミングで受付Ｉ／Ｆ３４Ａによって受け付けられる。

　一例として図２５に示すように、生成回路３４Ｃは、受付Ｉ／Ｆ３４Ａによって同期したタイミングで受け付けられたデジタル画像データ７０Ｂ及びライブビュー画像データ７０Ｂ２をフレームメモリ３４Ｇに対して記憶させる。これにより、フレームメモリ３４Ｇには、フレームレートで規定される１フレーム分の期間毎に、解像度の異なる２種類の画像データが記憶される。第２検出回路３４Ｅは、解像度の異なる２種類の画像データに対して、低解像度の画像データから高解像度の画像データにかけて段階的に第２検出処理を行う。すなわち、第２検出回路３４Ｅは、先ず、ライブビュー画像データ７０Ｂ２に対して第２検出処理を行い、次に、デジタル画像データ７０Ｂに対して第２検出処理を行う。

　図２６Ａ～図２６Ｃには、本第３実施形態に係る撮像装置１０に含まれる第１検出回路３４Ｄ及び第２検出回路３４Ｅによる画像データに対する処理のタイミングの一例が示されている。なお、図２６Ａ～図２６Ｃに示す例において、図１４及び図１９に示す例と重複する処理については説明を省略する。また、以下では、説明の便宜上、顔画像検出回路３４Ｅ２がデジタル画像データ７０Ｂにより示される画像から顔画像３００Ａを検出する処理を「第３顔検出処理」とも称し、瞳画像検出回路３４Ｅ３がデジタル画像データ７０Ｂにより示される画像から瞳画像３００Ｂを検出する処理を「第３瞳検出処理」とも称する。本第３実施形態において、第２顔検出処理、第２瞳検出処理、第３顔検出処理、及び第３瞳検出処理は、本開示の技術に係る「第２検出処理」の一例である。

　一例として図２６Ａに示すように、第１顔検出処理が失敗し、かつ、第２顔検出処理が失敗した場合、顔画像検出回路３４Ｅ２によって、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂを用いた第３顔検出処理が実行される。ここで、第３顔検出処理が成功すると、一例として図１８Ａに示すように、矩形状枠３００Ａ１がライブビュー画像に重畳して表示される。また、第３顔検出処理が成功すると、瞳画像検出回路３４Ｅ３では、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂのうち、第３顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部のデジタル画像データ７０Ｂを用いた第３瞳検出処理が実行される。第３瞳検出処理が成功すると、一例として図１８Ａに示すように、矩形状枠３００Ｂ１ａ及び３００Ｂ２ａがライブビュー画像に重畳して表示される。

　一例として図２６Ａに示すように、第１顔検出処理が失敗し、かつ、第２顔検出処理が成功した場合、顔画像検出回路３４Ｅ２によって、フレームメモリ３４Ｇに記憶されているライブビュー画像データ７０Ｂ２を用いた第２瞳検出処理が実行される。ここで、第２瞳検出処理が失敗すると、顔画像検出回路３４Ｅ２によって、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂを用いた第３顔検出処理が実行される。ここで、第３顔検出処理が成功すると、一例として図１８Ａに示すように、矩形状枠３００Ａ１がライブビュー画像に重畳して表示される。また、第３顔検出処理が成功すると、瞳画像検出回路３４Ｅ３では、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂのうち、第３顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部のデジタル画像データ７０Ｂを用いた第３瞳検出処理が実行される。第３瞳検出処理が成功すると、一例として図１８Ａに示すように、矩形状枠３００Ｂ１ａ及び３００Ｂ２ａがライブビュー画像に重畳して表示される。

　一例として図２６Ｂに示すように、第１顔検出処理が失敗し、かつ、第２顔検出処理が失敗した場合、顔画像検出回路３４Ｅ２によって、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂを用いた第３顔検出処理が実行される。ここで、第３顔検出処理が成功すると、一例として図１８Ｃに示すように、矩形状枠３００Ａ１がライブビュー画像に重畳して表示される。また、第３顔検出処理が成功すると、瞳画像検出回路３４Ｅ３では、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂのうち、第３顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部のデジタル画像データ７０Ｂを用いた第３瞳検出処理が実行される。第３瞳検出処理が失敗すると、一例として図１８Ｃに示すように、ディスプレイ２６には、ライブビュー画像と共に、メッセージＭ２が表示される。

　一例として図２６Ｂに示すように、第１顔検出処理が失敗し、かつ、第２顔検出処理が成功した場合、顔画像検出回路３４Ｅ２によって、フレームメモリ３４Ｇに記憶されているライブビュー画像データ７０Ｂ２を用いた第２瞳検出処理が実行される。ここで、第２瞳検出処理が失敗すると、顔画像検出回路３４Ｅ２によって、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂを用いた第３顔検出処理が実行される。ここで、第３顔検出処理が成功すると、一例として図１８Ｃに示すように、矩形状枠３００Ａ１がライブビュー画像に重畳して表示される。また、第３顔検出処理が成功すると、瞳画像検出回路３４Ｅ３では、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂのうち、第３顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部のデジタル画像データ７０Ｂを用いた第３瞳検出処理が実行される。第３瞳検出処理が失敗すると、一例として図１８Ｃに示すように、ディスプレイ２６には、ライブビュー画像と共に、メッセージＭ２が表示される。

　一例として図２６Ｃに示すように、第１顔検出処理が失敗し、かつ、第２顔検出処理が失敗した場合、顔画像検出回路３４Ｅ２によって、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂを用いた第３顔検出処理が実行される。ここで、第３顔検出処理が失敗すると、一例として図１８Ｃに示すように、矩形状枠３００Ａ１がライブビュー画像に重畳して表示される。また、第３顔検出処理が成功すると、瞳画像検出回路３４Ｅ３では、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂのうち、第３顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部のデジタル画像データ７０Ｂを用いた第３瞳検出処理が実行される。第３瞳検出処理が失敗すると、一例として図１８Ｂに示すように、ディスプレイ２６には、ライブビュー画像と共に、メッセージＭ１が表示される。

　一例として図２６Ｃに示すように、第１顔検出処理が成功し、かつ、第１瞳検出処理が失敗すると、一例として図１８Ａに示すように、矩形状枠３００Ａ１がライブビュー画像に重畳して表示される。顔画像検出回路３４Ｅ２によって、フレームメモリ３４Ｇに記憶されているライブビュー画像データ７０Ｂ２を用いた第２顔検出処理が実行される。第１顔検出処理が成功すると、瞳画像検出回路３４Ｅ３では、フレームメモリ３４Ｇに記憶されているライブビュー画像データ７０Ｂ２のうち、第２顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部のライブビュー画像データ７０Ｂ２を用いた第２瞳検出処理が実行される。第２瞳検出処理が失敗すると、顔画像検出回路３４Ｅ２によって、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂを用いた第３顔検出処理が実行される。第３顔検出処理が成功すると、瞳画像検出回路３４Ｅ３では、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂのうち、第２顔検出処理によって検出された顔画像３００Ａに相当する領域を示す一部のライブビュー画像データ７０Ｂ２を用いた第３瞳検出処理が実行される。第３瞳検出処理が成功すると、一例として図１８Ａに示すように、矩形状枠３００Ｂ１ａ及び３００Ｂ２ａがライブビュー画像に重畳して表示される。

　以上説明したように、本第３実施形態に係る撮像装置１０では、生成回路３４Ｃによってデジタル画像データ７０Ｂが縮小される処理が行われ、縮小画像データ７０Ｂ３を用いた第１検出処理が第１検出回路３４Ｄによって行われる。そして、第１検出処理により特定被写体画像２００が検出されなかった場合に、フレームメモリ３４Ｇに記憶されているライブビュー画像データ７０Ｂ２及びデジタル画像データ７０Ｂを段階的に用いた第２検出処理が第２検出回路３４Ｅによって実行される。すなわち、ライブビュー画像データ７０Ｂ２を用いた第２顔検出処理及び第２瞳検出処理が実行され、第２顔検出処理及び／又は第２瞳検出処理の検出処理が失敗した場合に、ライブビュー画像データ７０Ｂ２よりも高解像度なデジタル画像データ７０Ｂを用いた第３顔検出処理及び第２瞳検出処理が実行される。従って、本構成によれば、ライブビュー画像データ７０Ｂ２のみを常に用いて第２検出処理を行う場合に比べ、高精度な検出を実現することができる。

　なお、上記第３実施形態では、第２瞳検出処理が失敗すると、顔画像検出回路３４Ｅ２によって第３顔検出処理が実行されてから、瞳画像検出回路３４Ｅ３によって第３瞳検出処理が実行されるが、本開示の技術はこれに限定されない。例えば、図２７に示すように、第２瞳検出処理が失敗した場合に、第３顔検出処理が実行されることなく、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂを用いた第３瞳検出処理が瞳画像検出回路３４Ｅ３によって実行されるようにしてもよい。この場合、図２１～図２３に示す例のように、領域特定データを参照して、デジタル画像データ７０Ｂのうちの顔画像３００Ａの位置に対応する領域を示す一部のデジタル画像データ７０Ｂを用いた第３瞳検出処理が瞳画像検出回路３４Ｅ３によって実行されるようにしてもよい。

　また、図２６Ａ～図２６Ｃに示す例では、顔画像検出回路３４Ｅ２によってデジタル画像データ７０Ｂを用いた第３顔検出処理が実行され、瞳画像検出回路３４Ｅ３によってデジタル画像データ７０Ｂを用いた第３瞳検出処理が実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２８に示すように、顔画像検出回路３４Ｅ２によって第３顔検出処理及び第４顔検出処理が実行され、瞳画像検出回路３４Ｅ３によって第３瞳検出処理及び第４瞳検出処理が実行されるようにしてもよい。

　図２８に示す例では、第３顔検出処理として、顔画像検出回路３４Ｅ２によって出力用画像データ７０Ｂ１を用いた第３顔検出処理が実行され、第３瞳検出処理として、瞳画像検出回路３４Ｅ３によって出力用画像データ７０Ｂ１を用いた第３瞳検出処理が実行される。また、第３瞳検出処理が失敗した場合に、顔画像検出回路３４Ｅ２が第４顔検出処理を実行する。第４顔検出処理とは、デジタル画像データ７０Ｂから顔画像３００Ａを検出する処理を指す。また、第４顔検出処理が成功した場合に、瞳画像検出回路３４Ｅ３が第４瞳検出処理を実行する。第４瞳検出処理とは、デジタル画像データ７０Ｂのうち、第４顔検出処理によって検出された顔画像３００Ａの位置に対応する領域を示す一部のデジタル画像データ７０Ｂを用いて瞳画像３００Ｂを検出する処理を指す。

　なお、図２８に示す例では、第３瞳検出処理が失敗すると、顔画像検出回路３４Ｅ２によって第４顔検出処理が実行されてから、第４瞳検出処理が実行されるが、本開示の技術はこれに限定されない。例えば、第３瞳検出処理が失敗した場合に、第４顔検出処理が実行されることなく、フレームメモリ３４Ｇに記憶されているデジタル画像データ７０Ｂを用いた第４瞳検出処理が瞳画像検出回路３４Ｅ３によって実行されるようにしてもよい。この場合、図２１～図２３に示す例のように、領域特定データを参照して、デジタル画像データ７０Ｂのうちの顔画像３００Ａの位置に対応する領域を示す一部のデジタル画像データ７０Ｂを用いた第４瞳検出処理が瞳画像検出回路３４Ｅ３によって実行されるようにしてもよい。

　［第４実施形態］
　上記第１実施形態では、１種類の画像データのみがフレームメモリ３４Ｇに記憶される形態例を挙げて説明したが、本第４実施形態では、フレームメモリ３４Ｇに複数種類の画像データが記憶される形態例について説明する。なお、本第４実施形態では、上記第１～第３実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。

　一例として図２９に示すように、本第４実施形態に係る撮像装置１０に含まれる信号処理回路３４は、上記第１～第３実施形態で説明した信号処理回路３４に比べ、解析回路３４Ｋを有する点、及び指示領域情報が解析回路３４Ｋに入力される点が異なる。

　解析回路３４Ｋには、生成回路３４Ｃから出力用画像データ７０Ｂ１が入力される。また、生成回路３４Ｃは、出力用画像データから第１縮小前画像データ及び第２縮小前画像データを生成し、生成した第１縮小前画像データ及び第２縮小前画像データを、既定期間毎に、フレームメモリ３４Ｇに対して記憶させる。既定期間としては、フレームレートで規定される１フレーム分の転送期間に相当する期間が採用されている。なお、既定期間は、これに限らず、例えば、Ｎを１以上の整数とした場合、フレームレートで規定される２Ｎフレーム分以上の転送期間に相当する期間が既定期間として採用されてもよい。

　第１縮小前画像データ及び第２縮小前画像データは、第２検出回路３４Ｅで用いられる画像データである。具体的には、第１縮小前画像データ及び第２縮小前画像データは、第２検出回路３４Ｅでの第２検出処理で用いられる第２検出処理対象画像データである。第１縮小前画像データ及び第２縮小前画像データは、互いに異なる解像度の画像データであり、何れも出力用画像データ７０Ｂ１よりも解像度が高く、かつ、ライブビュー画像データ７０Ｂ２よりも解像度が低い。また、第１縮小前画像データの解像度は、第２縮小前画像データよりも低い。なお、以下では、説明の便宜上、第１縮小前画像データ及び第２縮小前画像データを区別して説明する必要がない場合、「第２検出処理対象画像データ」と称する。

　解析回路３４Ｋは、第２検出回路３４Ｅによって第２検出処理が行われる前に出力用画像データ７０Ｂ１を既定期間毎に解析する。そして、第２検出回路３４Ｅは、第１縮小前画像データ及び第２縮小前画像データのうち、既定期間毎に、解析回路３４Ｋでの解析結果に応じて決定される第２検出処理対象画像データに対して第２検出処理を行う。解析回路３４Ｋは、出力用画像データ７０Ｂ１のうち、指示領域情報により指示された領域２００Ａの位置に対応する領域を示す一部の出力用画像データ７０Ｂ１である注目領域画像データを解析する。

　一例として図３０Ａに示すように、解析回路３４Ｋは、タッチパネル２８から指示領域情報を既定期間毎に取得する。ユーザの指１１がタッチパネル２８に対してスワイプ操作を行うことで指示領域情報は更新される。つまり、ユーザの指１１がタッチパネル２８に対してスワイプ操作を行うことで領域２００Ａの位置が変更される。なお、ここでは、スワイプ操作を例示しているが、これに限らず、フリック操作等の他の操作であってもよい。

　解析回路３４Ｋは、出力用画像データ７０Ｂ１から、指示領域情報に従って注目領域画像データを取得し、取得した注目領域画像データにより示される画像（以下、「指示領域画像」と称する）のコントラストを解析する。解析回路３４Ｋは、指示領域画像のコントラストが閾値以上であるか否かを判定し、判定結果を解析結果として第２検出回路３４Ｅに出力する。第２検出回路３４Ｅは、指示領域画像のコントラストが閾値以上の場合に、第１縮小前画像データを第２検出処理対象画像データとして取得し、取得した第２検出処理対象画像データに対して第２検出処理を行う。また、一例として図３０Ｂに示すように、第２検出回路３４Ｅは、指示領域画像のコントラストが閾値未満の場合に、第２縮小前画像データを第２検出処理対象画像データとして取得し、取得した第２検出処理対象画像データに対して第２検出処理を行う。

　なお、ここでは、解析回路３４Ｋによってコントラストが解析される形態例を挙げて説明しているが、本開示の技術はこれに限定されず、輪郭、ぼけの度合い、輝度の分布、及び／又は色合いの分布等が解析回路３４Ｋによって解析されるようにしてもよい。

　以上説明したように、本第４実施形態に係る撮像装置１０では、生成回路３４Ｃによって、出力用画像データから第１縮小前画像データ及び第２縮小前画像データが生成され、生成された第１縮小前画像データ及び第２縮小前画像データが、既定期間毎に、フレームメモリ３４Ｇに記憶される。従って、本構成によれば、１種類の第２検出処理対象画像データが既定期間毎にフレームメモリ３４Ｇに記憶される場合に比べ、既定期間毎に第２検出処理で用いられる第２検出処理対象画像データの選択肢を増やすことができる。

　また、本第４実施形態に係る撮像装置１０では、第２検出回路３４Ｅによって第２検出処理が行われる前に、解析回路３４Ｋによって出力用画像データ７０Ｂ１が既定期間毎に解析される。そして、第２検出回路３４Ｅによって、フレームメモリ３４Ｇに記憶されている第１縮小前画像データ及び第２縮小前画像データのうち、既定期間毎に、解析回路３４Ｋでの解析結果に応じて決定される第２検出処理対象画像データに対して第２検出処理が行われる。従って、本構成によれば、現状に応じた種類の第２検出処理対象画像データに対して第２検出処理を行うことができる。

　また、図３０Ｂに示す領域２００Ａ内では、特定被写体画像２００と背景画像との色合いが同化しているのに対し、図３０Ａに示す領域２００Ａ内では、特定被写体画像２００と背景画像との色合いが同化していない。つまり、図３０Ｂに示す領域２００Ａ内のコントラストは、図３０Ａに示す領域２００Ａ内のコントラストよりも低いので、図３０Ｂに示す例の場合、第２検出回路３４Ｅは、第１縮小前画像データよりも解像度の高い第２縮小前画像データを第２検出処理対象画像データとして取得し、取得した第２検出処理対象画像データに対して第２検出処理を行う。これにより、第１縮小前画像データに対して第２検出処理を行う場合に比べ、特定被写体画像２００を検出する可能性を高めることができる。

　なお、上記第４実施形態では、第１縮小前画像データ及び第２縮小前画像データという２種類の画像データを例示したが、本開示の技術はこれに限定されず、３種類以上の画像データであってもよい。３種類以上の画像データとしては、例えば、４Ｋの画像データ、ＦＨＤの画像データ、及びＶＧＡの画像データ等が挙げられる。

　また、上記第１～第４実施形態では、撮像素子３８の後段に位置する信号処理回路３４によって、出力用画像データを縮小する処理、第１検出処理、及び第２検出処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、本開示の技術に係る「処理部」の一例として撮像素子３８の処理回路１１０が用いられるようしてもよい。この場合、例えば、図３１に示すように、撮像素子３８が、上述した信号処理回路３４に相当する信号処理回路１１０Ｅを内蔵していてもよい。これにより、信号処理回路３４は不要となるので、出力Ｉ／Ｆ１１００Ｄ２は、コントローラ１５の受付Ｉ／Ｆ１５Ｅに接続される。図３１に示す例では、信号処理回路１１０Ｅが制御回路１１０Ｃに接続されており、制御回路１１０Ｃと信号処理回路１１０Ｅとの間で各種情報の授受が行われる。本構成によれば、撮像素子３８の外部の処理部（例えば、コントローラ１５）に対して画像データを処理させる場合に比べ、画像データを高速に処理することができる。

　また、本開示の技術に係る「記憶部」の一例としてメモリ１１２が用いられるようにしてもよい。例えば、図３１に示す信号処理回路１１０Ｅに含まれる複数の構成要素のうち、上述した信号処理回路３４に含まれる記憶回路３４Ｆに相当する記憶回路、及びフレームメモリ３４Ｇに相当するフレームメモリのうちの少なくとも一方を、撮像素子３８に内蔵されているメモリ１１２で代替するようにしてもよい。本構成によれば、撮像素子３８の外部の記憶装置に対して画像データを記憶させる場合に比べ、画像データに対しての高速なアクセスを実現することができる。

　また、上述した撮像装置１０では、撮像素子３８として、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子が採用されている。これにより、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、撮像素子３８の可搬性が高くなる。また、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、撮像装置１０の小型化にも寄与することができる。

　また、上述した撮像装置１０では、撮像素子３８として、光電変換素子４２にメモリ１１２が積層された積層型撮像素子が採用されている。これにより、光電変換素子４２とメモリ１１２とを接続する配線を短くすることができるため、配線遅延を減らすことができ、この結果、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、光電変換素子４２からメモリ１１２への画像データの転送速度を高めることができる。転送速度の向上は、処理回路１１０全体での処理の高速化にも寄与する。また、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、撮像装置１０の小型化にも寄与することができる。

　また、上述した撮像装置１０では、撮像素子３８として、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子４２、処理回路１１０、及びメモリ１１２のうち、少なくとも光電変換素子４２及びメモリ１１２が１チップ化されていればよい。

　また、上述した撮像装置１０では、第２検出処理によって、顔画像３００Ａが検出され、かつ、瞳画像３００Ｂが検出される場合の形態例を挙げて説明したが、本開示の技術はこれに限定されず、例えば、第２検出処理によって、顔画像３００Ａ又は瞳画像３００Ｂが検出されるようにしてもよい。

　上記各実施形態では、レンズ交換式の撮像装置１０を例示したが、本開示の技術はこれに限定されない。例えば、図３２に示すように、スマートデバイス４００に、上記各実施形態で説明した撮像装置本体１２に相当する構成及び機能を有する撮像装置本体４１４が搭載されていてもよい。

　一例として図３２に示すように、スマートデバイス４００は、筐体４１２を備えており、筐体４１２に撮像装置本体４１４が収容されている。スマートデバイス４００の一例としては、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。

　筐体４１２には、撮像レンズ４１６が取り付けられている。図３２に示す例では、撮像レンズ４１６が、スマートデバイス４００を縦置きの状態にした場合の筐体４１２の背面４１２Aの左上部において、背面４１２Aから露出している。撮像レンズ４１６の中心は光軸Ｌ１上に位置している。撮像装置本体４１４には、撮像素子３８が内蔵されている。撮像装置本体４１４は、被写体光を撮像レンズ４１６から取り込む。撮像装置本体４１４内に取り込まれた被写体光は撮像素子３８に結像される。

　なお、図３２に示す例では、撮像装置本体４１４のみがスマートデバイス４００に内蔵されている形態例が示されているが、本開示の技術はこれに限定されず、スマートデバイス４００に複数台のデジタルカメラが内蔵されていてもよく、この場合、少なくとも１台のデジタルカメラに撮像装置本体４１４が搭載されていればよい。

　また、上記各実施形態では、通信Ｉ／Ｆ間がＰＣＩｅの接続規格に従って接続されているが、本開示の技術はこれに限定されない。ＰＣＩｅの接続規格に代えて、高速通信規格としてＬＶＤＳ、ＳＡＴＡ、ＳＬＶＳ－ＥＣ、又はＭＩＰＩ等の他の接続規格が採用されてもよい。

　また、上記各実施形態では、撮像素子３８と信号処理回路３４との間の通信、コントローラ１５と撮像素子３８との通信、及び信号処理回路３４とコントローラ１５との通信は何れも有線形式の通信である。しかし、本開示の技術はこれに限定されない。撮像素子３８と信号処理回路３４との間の通信、コントローラ１５と撮像素子３８との通信、及び／又は信号処理回路３４とコントローラ１５との通信を無線形式の通信としてもよい。

　また、上記各実施形態では、ＵＩ系デバイス１７が撮像装置本体１２に組み込まれている形態例を挙げて説明したが、ＵＩ系デバイス１７に含まれる複数の構成要素の少なくとも一部が撮像装置本体１２に対して外付けされていてもよい。また、ＵＩ系デバイス１７に含まれる複数の構成要素のうちの少なくとも一部が別体として外部Ｉ／Ｆ１０４に接続されることによって使用されるようにしてもよい。

　また、上記実施形態では、フレームレートとして１２０ｆｐｓを例示したが、本開示の技術はこれに限定されず、撮像用のフレームレート（例えば、図８に示す撮像処理で適用されるフレームレート）と出力用のフレームレート（例えば、図８に示す出力処理で適用されるフレームレート）とを異なるフレームレートとしてもよい。撮像用のフレームレート及び／又は出力用のフレームレートは固定のフレームレートであってもよいし、可変のフレームレートであってもよい。可変のフレームレートの場合、例えば、既定条件（例えば、フレームレートを変更する指示が受付デバイス８４によって受け付けられたとの条件、及び／又は、フレームレートを変更するタイミングとして事前に定められたタイミングが到来したとの条件）を満足した場合にフレームレートが変更されるようにしてもよい。可変のフレームレートの場合、フレームレートの具体的な数値は、例えば、受付デバイス８４によって受け付けられた指示に従って変更されるようにしてもよいし、後段回路１３及び／又は撮像素子３８の稼働率に従って変更されるようにしてもよい。

　また、上記各実施形態では、信号処理回路３４を例示したが、本開示の技術はこれに限定されず、信号処理回路３４の他に１つ以上の信号処理回路を用いてもよい。この場合、撮像素子３８を複数の信号処理回路の各々に対して直接接続するようにすればよい。

　また、上記各実施形態では、信号処理回路３４がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、信号処理回路３４はコンピュータによるソフトウェア構成により実現されるようにしてもよい。

　この場合、例えば、図３３に示すように、信号処理回路３４にはコンピュータ８５２が内蔵されており、コンピュータ８５２に上記各実施形態に係る後段回路処理を実行させるための後段回路処理プログラム９０２を記憶媒体９００に記憶させておく。記憶媒体９００の一例としては、非一時的記憶媒体であるＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。コンピュータ８５２は、ＣＰＵ８５２Ａ、ストレージ８５２Ｂ、及びメモリ８５２Ｃを備えている。ストレージ８５２Ｂは、ＥＥＰＲＯＭ等の不揮発性の記憶装置であり、メモリ８５２Ｃは、ＲＡＭ等の記憶装置である。記憶媒体９００に記憶されている後段回路処理プログラム９０２は、コンピュータ８５２にインストールされる。ＣＰＵ８５２Ａは、後段回路処理プログラム９０２に従って後段回路処理を実行する。なお、後段回路処理プログラム９０２は、記憶媒体９００ではなく、ストレージ８５２Ｂに記憶されていてもよい。

　また、通信網（図示省略）を介してコンピュータ８５２に接続される他のコンピュータ又はサーバ装置等のストレージ（例えば、不揮発性の記憶装置）に後段回路処理プログラム９０２を記憶させておき、上述の撮像装置１０又はスマートデバイス４００の要求に応じて後段回路処理プログラム９０２がダウンロードされ、コンピュータ８５２にインストールされるようにしてもよい。

　なお、コンピュータ８５２に接続される他のコンピュータ又はサーバ装置等のストレージに後段回路処理プログラム９０２の全てを記憶させておく必要はなく、後段回路処理プログラム９０２の一部を記憶させておいてもよい。

　図３３に示す例では、信号処理回路３４にコンピュータ８５２が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コンピュータ８５２が信号処理回路３４の外部に設けられるようにしてもよい。

　図３３に示す例では、ＣＰＵ８５２Ａは、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ８５２Ａに代えてＧＰＵを適用してもよい。

　図３３に示す例では、コンピュータ８５２が例示されているが、本開示の技術はこれに限定されず、コンピュータ８５２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ８５２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

　また、上記各実施形態では、処理回路１１０がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、処理回路１１０に含まれる複数のデバイスのうちの少なくとも制御回路１１０Ｃはコンピュータによるソフトウェア構成により実現されるようにしてもよい。また、図３１に示す例では、処理回路１１０に含まれる複数のデバイスのうちの少なくとも信号処理回路１１０Ｅはコンピュータによるソフトウェア構成により実現されるようにしてもよい。

　この場合、例えば、図３４に示すように、撮像素子３８にはコンピュータ８５２が内蔵されており、コンピュータ８５２に上記各実施形態に係る後段回路処理を実行させるための後段回路処理プログラム９０２を記憶媒体９００に記憶させておく。記憶媒体９００に記憶されている後段回路処理プログラム９０２は、コンピュータ８５２にインストールされる。また、通信網（図示省略）を介してコンピュータ８５２に接続される他のコンピュータ又はサーバ装置等のストレージ（例えば、不揮発性の記憶装置）に後段回路処理プログラム９０２を記憶させておき、撮像素子３８の要求に応じて後段回路処理プログラム９０２がダウンロードされ、コンピュータ８５２にインストールされるようにしてもよい。

　図３４に示す例では、撮像素子３８にコンピュータ８５２が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コンピュータ８５２が撮像素子３８の外部に設けられるようにしてもよい。また、図３４に示す例では、ＣＰＵ８５２Ａは、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ８５２Ａに代えてＧＰＵを適用してもよい。また、図３４に示す例では、コンピュータ８５２が例示されているが、本開示の技術はこれに限定されず、コンピュータ８５２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ８５２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

　上記各実施形態で説明した後段回路処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、後段回路処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで後段回路処理を実行する。

　後段回路処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、後段回路処理を実行するハードウェア資源は１つのプロセッサであってもよい。

　１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、後段回路処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、後段回路処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、後段回路処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

　また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　また、図１に示す例では、撮像装置１０を例示し、図３２に示す例ではスマートデバイス４００を例示したが、本開示の技術はこれに限定されない。すなわち、上記各実施形態で説明した撮像装置本体１２に相当する構成及び機能を有する撮像装置が内蔵された各種の電子機器（例えば、レンズ固定式カメラ、パーソナル・コンピュータ、又はウェアラブル端末装置等）に対しても本開示の技術は適用可能であり、これらの電子機器であっても、撮像装置１０及びスマートデバイス４００と同様の作用及び効果が得られる。

　また、上記各実施形態では、ディスプレイ２６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示装置」として用いるようにしてもよい。

　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

　以上の実施形態に関し、更に以下の付記を開示する。

　（付記１）
　撮像されることで得られた画像データを記憶するメモリと、
　上記画像データに対して処理を行う信号処理回路と、を含み、
　上記信号処理回路は、上記画像データを縮小する処理を行い、上記画像データが縮小されることで得られた縮小画像データにより示される縮小画像から特定の被写体を示す特定被写体画像を検出する第１検出処理を行い、上記第１検出処理により上記特定被写体画像が検出されなかった場合に、上記メモリに記憶されている縮小前の上記画像データである縮小前画像データに対して第２検出処理を行う
　撮像装置。

　（付記２）
　撮像素子であって、
　撮像されることで得られた画像データを記憶し、前記撮像素子に内蔵されたメモリと、
　上記画像データに対して処理を行い、前記撮像素子に内蔵された信号処理回路と、を含み、
　上記信号処理回路は、上記画像データを縮小する処理を行い、上記画像データが縮小されることで得られた縮小画像データにより示される縮小画像から特定の被写体を示す特定被写体画像を検出する第１検出処理を行い、上記第１検出処理により上記特定被写体画像が検出されなかった場合に、上記メモリに記憶されている縮小前の上記画像データである縮小前画像データに対して第２検出処理を行う
　撮像素子。

　（付記３）
　撮像素子であって、
　撮像されることで得られた画像データを記憶し、上記撮像素子に内蔵された記憶部（メモリ）と、
　上記画像データに対して処理を行い、上記撮像素子に内蔵された処理部（信号処理回路）と、を含み、
　上記処理部は、上記画像データを縮小する処理を行い、上記画像データが縮小されることで得られた縮小画像データにより示される縮小画像から特定の被写体を示す特定被写体画像を検出する第１検出処理を行い、上記第１検出処理により上記特定被写体画像が検出されなかった場合に、上記記憶部に記憶されている縮小前の上記画像データである縮小前画像データに対して第２検出処理を行う
　撮像素子。

　（付記４）
　上記処理部は、上記縮小前画像データにより示される画像内の部分領域であって、上記第２検出処理を行うフレームの前フレームにおいて上記第１検出処理により検出された上記特定被写体画像の位置に対応している部分領域を示す部分領域画像データに対して上記第２検出処理を行う付記３に記載の撮像素子。

　（付記５）
　上記部分領域は、上記縮小前画像データにより示される画像内のうち、指示された上記特定の被写体の領域である付記４に記載の撮像素子。

　（付記６）
　上記処理部は、上記第１検出処理により上記特定被写体画像が検出された場合、上記縮小前画像データのうち、上記特定被写体画像の位置に対応する領域を示す特定被写体画像領域データを上記記憶部に対して記憶させる付記３から付記５の何れか１つに記載の撮像素子。

　（付記７）
　上記処理部は、上記第１検出処理により上記特定被写体画像が検出された場合、上記記憶部に記憶されている上記特定被写体画像領域データに対して上記第２検出処理を行う付記６に記載の撮像素子。

　（付記８）
　上記処理部は、上記画像データから複数種類の上記縮小前画像データを生成し、生成した上記複数種類の縮小前画像データを既定期間毎に上記記憶部に対して記憶させる付記３から付記７の何れか１つに記載の撮像素子。

　（付記９）
　上記処理部は、上記第２検出処理を行う前に上記画像データを上記既定期間毎に解析し、上記記憶部に記憶されている上記複数種類の縮小前画像データのうち、上記既定期間毎に、解析結果に応じて決定される上記縮小前画像データに対して上記第２検出処理を行う付記８に記載の撮像素子。

　（付記１０）
　上記処理部は、上記第２検出処理を行う前に上記画像データから指示領域画像のコントラストを上記既定期間毎に解析し、上記記憶部に記憶されている上記複数種類の縮小前画像データのうち、上記既定期間毎に、上記解析結果に応じて決定される上記縮小前画像データに対して上記第２検出処理を行う付記９に記載の撮像素子。

　（付記１１）
　上記第２検出処理は、上記縮小前画像データにより示される画像内から上記特定被写体画像、及び上記特定の被写体よりも小型な被写体を示す小型被写体画像の少なくとも１つを検出する処理である付記３から付記１０の何れか１つに記載の撮像素子。

　（付記１２）
　上記特定被写体画像は、顔を示す顔画像であり、
　上記小型被写体画像は、瞳を示す瞳画像である付記１１に記載の撮像素子。

　（付記１３）
　上記特定被写体画像は、上記画像データにより示される画像内のうち、指示された移動体を示す移動体画像である付記３から付記１２の何れか１つに記載の撮像素子。

　（付記１４）
　上記縮小前画像データは、表示用画像データである付記３から付記１３の何れか１つに記載の撮像素子。

　（付記１５）
　上記処理部は、解像度の異なる複数の上記縮小前画像データに対して、低解像度の上記縮小前画像データから高解像度の上記縮小前画像データにかけて段階的に上記第２検出処理を行う付記３から付記１４の何れか１つに記載の撮像素子。

Claims

　撮像されることで得られた画像データを記憶するメモリと、
　前記画像データに対して処理を行う信号処理回路と、を備え、
　前記信号処理回路は、
　前記画像データを縮小する処理を行い、前記画像データが縮小されることで得られた縮小画像データにより示される縮小画像から特定の被写体を示す特定被写体画像を検出する第１検出処理を行い、
　前記第１検出処理により前記特定被写体画像が検出されなかった場合に、前記メモリに記憶されている縮小前の前記画像データである縮小前画像データに対して第２検出処理を行う
　撮像装置。
　前記信号処理回路は、前記縮小前画像データにより示される画像内の部分領域であって、前記第２検出処理を行うフレームの前フレームにおいて前記第１検出処理により検出された前記特定被写体画像の位置に対応している部分領域を示す部分領域画像データに対して前記第２検出処理を行う請求項１に記載の撮像装置。
　前記部分領域は、前記縮小前画像データにより示される画像内のうち、指示された前記特定の被写体の領域である請求項２に記載の撮像装置。
　前記信号処理回路は、前記第１検出処理により前記特定被写体画像が検出された場合、前記縮小前画像データのうち、前記特定被写体画像の位置に対応する領域を示す特定被写体画像領域データを前記メモリに対して記憶させる請求項１から請求項３の何れか一項に記載の撮像装置。
　前記信号処理回路は、前記第１検出処理により前記特定被写体画像が検出された場合、前記メモリに記憶されている前記特定被写体画像領域データに対して前記第２検出処理を行う請求項４に記載の撮像装置。
　前記信号処理回路は、
　前記画像データから複数種類の前記縮小前画像データを生成し、
　生成した前記複数種類の縮小前画像データを既定期間毎に前記メモリに対して記憶させる請求項１から請求項５の何れか一項に記載の撮像装置。
　前記信号処理回路は、
　前記第２検出処理を行う前に前記画像データを前記既定期間毎に解析し、
　前記メモリに記憶されている前記複数種類の縮小前画像データのうち、前記既定期間毎に、解析結果に応じて決定される前記縮小前画像データに対して前記第２検出処理を行う請求項６に記載の撮像装置。
　前記信号処理回路は、
　前記第２検出処理を行う前に前記画像データから指示領域画像のコントラストを前記既定期間毎に解析し、
　前記メモリに記憶されている前記複数種類の縮小前画像データのうち、前記既定期間毎に、前記解析結果に応じて決定される前記縮小前画像データに対して前記第２検出処理を行う請求項７に記載の撮像装置。
　前記第２検出処理は、前記縮小前画像データにより示される画像内から前記特定被写体画像、及び前記特定の被写体よりも小型な被写体を示す小型被写体画像の少なくとも１つを検出する処理である請求項１から請求項８の何れか一項に記載の撮像装置。
　前記特定被写体画像は、顔を示す顔画像であり、
　前記小型被写体画像は、瞳を示す瞳画像である請求項９に記載の撮像装置。
　前記特定被写体画像は、前記画像データにより示される画像内のうち、指示された移動体を示す移動体画像である請求項１から請求項１０の何れか一項に記載の撮像装置。
　前記縮小前画像データは、表示用画像データである請求項１から請求項１１の何れか一項に記載の撮像装置。
　撮像素子を更に含み、
　前記撮像素子は、前記メモリを内蔵している請求項１から請求項１２の何れか一項に記載の撮像装置。
　前記撮像素子は、前記信号処理回路を内蔵している請求項１３に記載の撮像装置。
　前記撮像素子は、少なくとも光電変換素子と前記メモリとが１チップ化された撮像素子である請求項１３又は請求項１４に記載の撮像装置。
　前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１５に記載の撮像装置。
　前記第１検出処理での検出結果、及び前記第２検出処理での検出結果のうちの少なくとも一方を表示装置に対して表示させる制御を行うプロセッサを更に含む請求項１から請求項１６の何れか一項に記載の撮像装置。
　前記信号処理回路は、解像度の異なる複数の前記縮小前画像データに対して、低解像度の前記縮小前画像データから高解像度の前記縮小前画像データにかけて段階的に前記第２検出処理を行う請求項１から請求項１７の何れか一項に記載の撮像装置。
　撮像されることで得られた画像データをメモリに記憶すること、
　前記画像データを縮小する処理を行うこと、
　前記画像データが縮小されることで得られた縮小画像データにより示される縮小画像から特定の被写体を示す特定被写体画像を検出する第１検出処理を行うこと、及び、
　前記第１検出処理により前記特定被写体画像が検出されなかった場合に、前記メモリに記憶されている縮小前の前記画像データである縮小前画像データに対して第２検出処理を行うことを含む
　撮像装置の作動方法。
　コンピュータに、
　撮像されることで得られた画像データをメモリに記憶すること、
　前記画像データを縮小する処理を行うこと、
　前記画像データが縮小されることで得られた縮小画像データにより示される縮小画像から特定の被写体を示す特定被写体画像を検出する第１検出処理を行うこと、及び、
　前記第１検出処理により前記特定被写体画像が検出されなかった場合に、前記メモリに記憶されている縮小前の前記画像データである縮小前画像データに対して第２検出処理を行うことを含む処理を実行させるためのプログラム。