JP6896181B2 - 撮像素子、撮像装置、画像データ処理方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像素子、撮像装置、画像データ処理方法、及びプログラムに関する。

特開２０１６−２２５９７０号公報には、撮像素子と、撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、画像を表示する表示部と、撮像素子、信号処理部、及び表示部の各々を制御する制御部と、を有することを特徴とする撮像装置が開示されている。

特開２０１６−２２５９７０号公報に記載の撮像素子は、互いに積層されるとともに電気的に直接接続された第１の半導体基板、及び第２の半導体基板を備えている。第１の半導体基板には、入射光を受光して光電変換する撮像手段と、撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、が設けられている。第２の半導体基板には、ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、記憶手段に記憶されたデジタル画像データをリサイズ処理する処理手段と、が設けられている。また、特開２０１６−２２５９７０号公報に記載の撮像素子では、処理手段が、記憶手段に記憶する前の１フレームのデジタル画像データから所定領域の画像データを切り出し、切り出した画像データを記憶手段に記憶する。

特開２０１８−７２１０号公報には、撮像手段と制御手段とを有することを特徴とする撮像装置が開示されている。特開２０１８−７２１０号公報に記載の撮像装置に含まれる撮像手段は、複数の画素を備え、複数の画素のうちの第１の画素群によって取得される第１の画像信号と、複数の画素のうちの第２の画素群によって取得される第２の画像信号とを出力する。また、特開２０１８−７２１０号公報に記載の撮像装置に含まれる制御手段は、第１の制御と第２の制御とを行う。第１の制御は、第２の画像信号に基づく処理を行うとともに第１の画像信号に応じた第１の画像を表示画面に表示する。第２の制御は、第１の画像信号と第２の画像信号とを合成することにより得られる第２の画像を表示画面に表示する。

しかしながら、特開２０１６−２２５９７０号公報に記載の撮像素子では、記憶手段に記憶する前の１フレームのデジタル画像データから所定領域の画像データが切り出され、切り出された画像データが記憶手段に記憶される。従って、特開２０１６−２２５９７０号公報に記載の撮像素子では、記憶手段に記憶する前の１フレームのデジタル画像データから所定領域の画像データを切り出す処理と、切り出した画像データを記憶手段に記憶する処理との実行に電力を要する。

また、特開２０１８−７２１０号公報に記載の技術は、第１の画像信号に応じた画像又は第２の画像信号に応じた画像から、被写体の一部を示す部分画像を切り出す場合、第１の画像信号及び第２の画像信号を撮像素子の外部に出力してから部分画像の切り出しを行う必要がある。そのため、第１の画像信号及び第２の画像信号を撮像素子の外部に出力するのに多大な電力を要する。

本発明の一つの実施形態は、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる撮像素子、撮像装置、画像データ処理方法及びプログラムを提供する。

本開示の技術に係る第１の態様は、撮像素子であって、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像画像データに対して処理を施し、かつ、撮像素子に内蔵された処理部と、撮像画像データに対して処理が施されることで得られた出力用画像データを第２フレームレートで撮像素子の外部に出力し、かつ、撮像素子に内蔵された出力部と、を含み、処理部は、記憶部のうちの指定されたアドレスから撮像画像データのうちの被写体の一部の画像を示す部分画像データを切り出す切出処理を行い、出力用画像データは、処理部により切出処理が行われることで撮像画像データから切り出された部分画像データに基づく画像データを含み、第１フレームレートは、第２フレームレートよりも高いフレームレートである、撮像素子である。

従って、本開示の技術に係る第１の態様の撮像素子は、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる。

本開示の技術に係る第２の態様は、切出処理は、記憶部に記憶された撮像画像データから記憶部に対するランダムアクセスにより部分画像データを切り出す処理である、第１の態様に係る撮像素子である。

従って、本開示の技術に係る第２の態様の撮像素子は、記憶部に対するランダムアクセスが不可能な場合に比べ、指定されたアドレスから部分画像データを迅速に切り出すことができる。

本開示の技術に係る第３の態様は、記憶部は、撮像画像データを複数フレームで記憶可能であり、切出処理は、記憶部に記憶された撮像画像データから、複数フレーム分の部分画像データを切り出す処理を含み、出力部は、処理部により切出処理が行われることで切り出された複数フレーム分の部分画像データが合成されて得られた画像データを出力用画像データとして出力する処理を含む、第１の態様又は第２の態様に係る撮像素子である。

従って、本開示の技術に係る第３の態様の撮像素子は、撮像画像データが撮像素子の外部に出力され、撮像素子の外部で撮像画像データから複数フレーム分の部分画像データが切り出され、複数フレーム分の部分画像データが合成される場合に比べ、消費電力を低減することができる。

本開示の技術に係る第４の態様は、部分画像データは、一部が分割されて得られた複数の分割領域に対応する複数の分割領域画像データのうちの少なくとも１つである、第３の態様に係る撮像素子である。

従って、本開示の技術に係る第４の態様の撮像素子は、複数フレームの撮像画像データの各々から部分画像データが切り出され、切り出された複数フレーム分の部分画像データが合成される場合に比べ、消費電力を低減することができる。

本開示の技術に係る第５の態様は、複数の分割領域画像データは、互いに異なる画素がライン単位で間引かれた関係性を有する、第４の態様に係る撮像素子である。

従って、本開示の技術に係る第５の態様の撮像素子は、同じ位置の画素がライン単位で間引かれる場合に比べ、再現性の高い被写体画像を得ることができる。

本開示の技術に係る第６の態様は、出力用画像データは、複数の分割領域画像データが合成されて得られた合成データを含む、第４の態様又は第５の態様に係る撮像素子である。

従って、本開示の技術に係る第６の態様の撮像素子は、単一フレーム分の部分画像データが出力される場合に比べ、高画質な画像を提供することができる。

本開示の技術に係る第７の態様は、出力部は、複数の分割領域画像データのうちの一部の分割領域画像データと合成データとを、与えられた条件に応じて選択的に部分画像データとして出力する、第６の態様に係る撮像素子である。

従って、本開示の技術に係る第７の態様の撮像素子は、常に合成データが撮像素子から撮像素子の外部に出力される場合に比べ、消費電力を低減することができる。

本開示の技術に係る第８の態様は、被写体は光電変換素子により撮像され、処理部は、一部が指定されることで光電変換素子のうちの一部に対応する箇所が指定された場合に、光電変換素子のうちの箇所に対して撮像させ、処理部は、箇所により撮像されることで部分画像データに相当する部分画像相当データを第１フレームレートで取得し、取得した部分画像相当データに基づく画像データを第２フレームレートで撮像素子の外部に出力する、第１の態様から第７の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第８の態様の撮像素子は、常に光電変換素子の全領域を使用して被写体が撮像される場合に比べ、消費電力を低減することができる。

本開示の技術に係る第９の態様は、一部は、被写体に対して複数の領域に跨っており、部分画像データは、撮像画像データのうちの複数の領域を示す複数の領域画像データである、第１の態様から第８の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第９の態様の撮像素子は、切り出し対象が被写体の複数の領域に跨っていた場合であっても、消費電力を低減することができる。

本開示の技術に係る第１０の態様は、出力用画像データは、被写体のうちの一部よりも広い範囲の画像を示す広範囲画像データを更に含み、広範囲画像データの解像度は、部分画像データの解像度よりも低い、第１の態様から第９の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１０の態様の撮像素子は、広範囲画像データの解像度が部分画像データの解像度と同じ場合に比べ、消費電力を低減することができる。

本開示の技術に係る第１１の態様は、広範囲画像データは、被写体の全体の画像を示す画像データである、第１０の態様に係る撮像素子である。

従って、本開示の技術に係る第１１の態様の撮像素子は、被写体の全体の画像を示す画像データの解像度が部分画像データの解像度と同じ場合に比べ、消費電力を低減することができる。

本開示の技術に係る第１２の態様は、出力用画像データは、被写体のうちの一部よりも広い範囲であって、撮像素子を有する撮像装置の合焦制御に要する範囲として予め定められた範囲の画像を示す合焦制御用画像データを更に含む、第１の態様から第１１の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１２の態様の撮像素子は、合焦制御用画像データが撮像素子の外部で生成される場合に比べ、合焦制御用画像データを用いて合焦制御が行われる場合であっても、消費電力を低減することができる。

本開示の技術に係る第１３の態様は、撮像素子は、光電変換素子を有し、光電変換素子に記憶部が積層された積層型撮像素子である、第１の態様から第１２の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１３の態様の撮像素子は、撮像素子内で画像処理が施された画像データを撮像素子の外部に出力することができる。

本開示の技術に係る第１４の態様は、本開示の技術の第１の態様から第１３の態様の何れか１つの態様に係る撮像素子と、処理部により出力された出力用画像データに基づく画像を表示部に対して拡大表示させる制御を行う制御部と、を含む、撮像装置である。

従って、本開示の技術に係る第１４の態様の撮像装置は、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる。

本開示の技術に係る第１５の態様は、記憶部、処理部、及び出力部が内蔵された撮像素子の画像データ処理方法であって、記憶部に対して、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶させ、処理部に対して、撮像画像データに対して処理を施させ、出力部に対して、撮像画像データに対して処理が施されることで得られた出力用画像データを第２フレームレートで撮像素子の外部に出力させ、処理部に対して、記憶部のうちの指定されたアドレスから撮像画像データのうちの被写体の一部の画像を示す部分画像データを切り出す切出処理を行わせることを含み、出力用画像データは、処理部により切出処理が行われることで撮像画像データから切り出された部分画像データに基づく画像データを含み、第１フレームレートは、第２フレームレートよりも高いフレームレートである、画像データの処理方法である。

従って、本開示の技術に係る第１５の態様の画像データ処理方法は、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる。

本開示の技術に係る第１６の態様は、コンピュータを、記憶部と、処理部と、出力部とが内蔵された撮像素子に含まれる処理部及び出力部として機能させるためのプログラムであって、記憶部は、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、処理部は、撮像画像データに対して処理を施し、出力部は、撮像画像データに対して処理が施されることで得られた出力用画像データを第２フレームレートで撮像素子の外部に出力し、処理部は、記憶部のうちの指定されたアドレスから撮像画像データのうちの被写体の一部の画像を示す部分画像データを切り出す切出処理を行い、出力用画像データは、処理部により切出処理が行われることで撮像画像データから切り出された部分画像データに基づく画像データを含み、第１フレームレートは、第２フレームレートよりも高いフレームレートである、プログラムである。

従って、本開示の技術に係る第１６の態様のプログラムは、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる。

本開示の技術に係る第１７の態様は、撮像素子であって、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵されたメモリと、撮像画像データに対して処理を施し、かつ、撮像画像データに対して処理が施されることで得られた出力用画像データを第２フレームレートで撮像素子の外部に出力し、かつ、撮像素子に内蔵されたプロセッサと、を含み、プロセッサは、メモリのうちの指定されたアドレスから撮像画像データのうちの被写体の一部の画像を示す部分画像データを切り出す切出処理を行い、出力用画像データは、プロセッサにより切出処理が行われることで撮像画像データから切り出された部分画像データに基づく画像データを含み、第１フレームレートは、第２フレームレートよりも高いフレームレートである、撮像素子である。

本発明の一つの実施形態によれば、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる、という効果が得られる。

第１〜第４実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 第１〜第４実施形態に係る撮像装置の背面側を示す背面図である。 第１〜第４実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 第１〜第４実施形態に係る撮像装置にハイブリッドファインダーの構成の一例を示す概略構成図である。 第１〜第４実施形態に係る撮像装置に含まれる撮像素子の概略構成の一例を示す概略構成図である。 第１〜第４実施形態に係る撮像装置に含まれる撮像素子の要部構成の一例を示すブロック図である。 第１実施形態に係る画像データ生成処理の流れの一例を示すフローチャートである。 第１〜第４実施形態に係る画像データ出力処理の流れの一例を示すフローチャートである。 第１〜第３実施形態に係る表示制御処理の流れの一例を示すフローチャートである。 １フレーム目から３フレーム目までの撮像画像データ及び合成データの概略構成の一例を示す概念図である。 撮像装置のデータの流れの一例を示す状態遷移図である。図１１Ａは、従来技術に係る撮像装置のデータの流れの一例を示す状態遷移図である。図１１Ｂは、本開示の技術に係る撮像装置のデータの流れの一例を示す状態遷移図である。 本開示の技術に係る撮像装置のデータの流れの一例を示す状態遷移図である。 撮像装置の処理の流れの一例を示す状態遷移図である。図１３Ａは、従来技術に係る撮像装置の処理の流れの一例を示す状態遷移図である。図１３Ｂは、本開示の技術に係る撮像装置の処理の流れの一例を示す状態遷移図である。 被写体である人物の顔領域が検出されてから顔領域を示す画像が拡大表示される態様例を示す概念図である。 １フレーム目から３フレーム目までの撮像画像データ及び合成データの概略構成の第１変形例を示す概念図である。 １フレーム目から３フレーム目までの撮像画像データ及び合成データの概略構成の第２変形例を示す概念図である。 間引き有りの出力用画像データと間引き無しの出力用画像データとの違いの説明に供する説明図である。 第１〜第４実施形態に係る撮像装置の露光方式の説明に供する説明図である。図１８Ａは、第１〜第４実施形態に係る撮像装置の第１露光方式の説明に供する説明図である。図１８Ｂは、第１〜第４実施形態に係る撮像装置の第２露光方式の説明に供する説明図である。 本開示の技術に係る撮像装置のデータの流れの一例を示す状態遷移図である。 本開示の技術に係る撮像装置のデータの流れの一例を示す状態遷移図である。 第２実施形態に係る画像データ生成処理の流れの一例を示すフローチャートである。 第２実施形態に係る単一領域切出処理の流れの一例を示すフローチャートである。 第２実施形態に係る複数領域切出処理の流れの一例を示すフローチャートである。 本開示の技術に係る撮像装置のデータの流れの一例を示す状態遷移図である。 本開示の技術に係る撮像装置のデータの流れの一例を示す状態遷移図である。 第３実施形態に係る画像データ生成処理の流れの一例を示すフローチャートである。 本開示の技術に係る撮像装置のデータの流れの一例を示す状態遷移図である。 第３実施形態に係る出力用画像データ処理の流れの一例を示すフローチャートである。 第４実施形態に係る撮像制御処理の流れの一例を示すフローチャートである。 第４実施形態に係る画像データ生成処理の流れの一例を示すフローチャートである。 実施形態に係るプログラムが記憶された記憶媒体から、実施形態に係るプログラムが撮像素子にインストールされる態様の一例を示す概念図である。 第１〜第４実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

［第１実施形態］
一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ１４は、手動操作により光軸方向に移動可能なフォーカスレンズ１６を有する撮像レンズ１８を含む。

また、撮像装置本体１２には、ハイブリッドファインダー（登録商標）２１が設けられている。ここで言うハイブリッドファインダー２１とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗｆｉｎｄｅｒ” の略称を指す。

交換レンズ１４は、撮像装置本体１２に対して交換可能に装着される。また、交換レンズ１４の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング２２が設けられている。フォーカスリング２２の手動による回転操作に伴ってフォーカスレンズ１６は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。

撮像装置本体１２の前面には、ハイブリッドファインダー２１に含まれるＯＶＦのファインダー窓２４が設けられている。また、撮像装置本体１２の前面には、ファインダー切替レバー（ファインダー切替え部）２３が設けられている。ファインダー切替レバー２３を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている。

なお、ＯＶＦの光軸Ｌ２は、交換レンズ１４の光軸Ｌ１とは異なる光軸である。また、撮像装置本体１２の上面には、レリーズボタン２５、撮像系のモード、及び再生系のモード等の設定用のダイヤル２８が設けられている。

レリーズボタン２５は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

本第１実施形態に係る撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２５が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン２５が半押し状態にされることによりＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）機能が働いて露出状態が設定された後、ＡＦ（Ａｕｔｏ−Ｆｏｃｕｓ）機能が働いて合焦制御され、レリーズボタン２５を全押し状態にすると撮像が行われる。

一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ３０、十字キー３２、メニューキー３４、指示ボタン３６、及びファインダー接眼部３８が設けられている。

タッチパネル・ディスプレイ３０は、液晶ディスプレイ（以下、「第１ディスプレイ」という）４０及びタッチパネル４２（図３参照）を備えている。

第１ディスプレイ４０は、画像及び文字情報等を表示する。第１ディスプレイ４０は、撮像モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ４０は、静止画撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ４０は、再生モード時の再生画像の表示及び／又はメニュー画面等の表示にも用いられる。

タッチパネル４２は、透過型のタッチパネルであり、第１ディスプレイ４０の表示領域の表面に重ねられている。タッチパネル４２は、例えば、指又はスタイラスペン等の指示体による接触を検知する。タッチパネル４２は、検知結果（タッチパネル４２に対する指示体による接触の有無）を示す検知結果情報を所定周期（例えば１００ミリ秒）で既定の出力先（例えば、後述のＣＰＵ５２（図３参照））に出力する。検知結果情報は、タッチパネル４２が指示体による接触を検知した場合、タッチパネル４２上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル４２が指示体による接触を検知していない場合、座標を含まない。

十字キー３２は、１つ又は複数のメニューの選択、ズーム及び／又はコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。メニューキー３４は、第１ディスプレイ４０の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令する指令ボタンとしての機能とを兼備した操作キーである。指示ボタン３６は、選択項目など所望の対象の消去、指定内容の取消し、及び１つ前の操作状態に戻す場合に等に操作される。

撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置１０により被写体が撮像されて得られ静止画像を記録する動作モードであり、動画撮像モードは、撮像装置１０により被写体が撮像されて得られた動画像を記録する動作モードである。

一例として図３に示すように、撮像装置１０は、撮像装置本体１２に備えられたマウント４６（図１も参照）と、マウント４６に対応する交換レンズ１４側のマウント４４と、を含む。交換レンズ１４は、マウント４６にマウント４４が結合されることにより撮像装置本体１２に交換可能に装着される。

撮像レンズ１８は、スライド機構４８及びモータ５０を含む。スライド機構４８は、フォーカスリング２２の操作が行われることでフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。スライド機構４８には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ１６が取り付けられている。また、スライド機構４８にはモータ５０が接続されており、スライド機構４８は、モータ５０の動力を受けてフォーカスレンズ１６を光軸Ｌ１に沿ってスライドさせる。

モータ５０は、マウント４４，４６を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本第１実施形態では、モータ５０の一例として、ステッピングモータを適用している。従って、モータ５０は、撮像装置本体１２からの命令によりパルス電力に同期して動作する。また、図３に示す例では、モータ５０が撮像レンズ１８に設けられている例が示されているが、これに限らず、モータ５０は撮像装置本体１２に設けられていてもよい。

撮像装置１０は、被写体を撮像することで得た静止画像及び動画像を記録するデジタルカメラである。撮像装置本体１２は、操作部５４、外部インタフェース（Ｉ／Ｆ）６３、及び後段回路９０を備えている。後段回路９０は、撮像素子２０から送り出されるデータを受け取る側の回路である。本第１実施形態では、後段回路９０としてＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）が採用されている。ＩＣの一例としては、ＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）が挙げられる。

後段回路９０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４を含む。本第１実施形態では、ＣＰＵ５２として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ５２に代えて複数のＣＰＵを採用してもよい。つまり、ＣＰＵ５２によって実行される各種処理は、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって実行されるようにしてもよい。

なお、本第１実施形態では、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４の各々がＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４のうちの少なくとも１つが、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

ＣＰＵ５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、操作部５４、外部Ｉ／Ｆ６３、及びタッチパネル４２は、バス６８を介して相互に接続されている。

ＣＰＵ５２は、撮像装置１０の全体を制御する。本第１実施形態に係る撮像装置１０では、オートフォーカスモード時に、ＣＰＵ５２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ５０を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、ＣＰＵ５２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ５２は、レリーズボタン２５が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタスピード及びＦ値を導出する。そして、導出したシャッタスピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。

一次記憶部５８とは、揮発性のメモリを意味し、例えばＲＡＭを指す。二次記憶部６０とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を指す。

操作部５４は、後段回路９０に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部５４は、レリーズボタン２５、ダイヤル２８、ファインダー切替レバー２３、十字キー３２、メニューキー３４、及び指示ボタン３６を含む。操作部５４によって受け付けられた各種指示は操作信号としてＣＰＵ５２に出力され、ＣＰＵ５２は、操作部５４から入力された操作信号に応じた処理を実行する。

位置検出部７０は、ＣＰＵ５２に接続されている。位置検出部７０は、マウント４４，４６を介してフォーカスリング２２に接続されており、フォーカスリング２２の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ５２に出力する。ＣＰＵ５２は、位置検出部７０から入力された回転角度情報に応じた処理を実行する。

撮像モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ１６を含む撮像レンズ１８及びメカニカルシャッタ７２を介してカラーの撮像素子２０の受光面に結像される。

デバイス制御部７４は、ＣＰＵ５２に接続されている。また、デバイス制御部７４は、撮像素子２０及びメカニカルシャッタ７２に接続されている。更に、デバイス制御部７４は、マウント４４，４６を介して撮像レンズ１８のモータ５０に接続されている。

デバイス制御部７４は、ＣＰＵ５２の制御下で、撮像素子２０、メカニカルシャッタ７２、及びモータ５０を制御する。

一例として図４に示すように、ハイブリッドファインダー２１は、ＯＶＦ７６及びＥＶＦ７８を含む。ＯＶＦ７６は、対物レンズ８１と接眼レンズ８６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ７８は、第２ディスプレイ８０、プリズム８４、及び接眼レンズ８６を有する。

また、対物レンズ８１の前方には、液晶シャッタ８８が配設されており、液晶シャッタ８８は、ＥＶＦ７８を使用する際に、対物レンズ８１に光学像が入射しないように遮光する。

プリズム８４は、第２ディスプレイ８０に表示される電子像又は各種の情報を反射させて接眼レンズ８６に導き、且つ、光学像と第２ディスプレイ８０に表示される（電子像及び／又は各種情報とを合成する。

ここで、ファインダー切替レバー２３を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ７６により光学像を視認することができるＯＶＦモードと、ＥＶＦ７８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。

第２表示制御部６６は、ＯＶＦモードの場合、液晶シャッタ８８が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第２表示制御部６６は、ＥＶＦモードの場合、液晶シャッタ８８が遮光状態になるように制御し、接眼部から第２ディスプレイ８０に表示される電子像のみが視認できるようにする。

撮像素子２０は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子２０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。一例として図５に示すように、撮像素子２０には、光電変換素子９２、処理回路９４、及びメモリ９６が内蔵されている。撮像素子２０では、光電変換素子９２に対して処理回路９４及びメモリ９６が積層されている。メモリ９６は、本開示の技術に係る記憶部の一例である。

処理回路９４は、例えば、ＬＳＩであり、メモリ９６は、例えば、ＲＡＭである。本第１実施形態では、メモリ９６の一例として、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が採用されているが、本開示の技術はこれに限らず、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。

本第１実施形態では、処理回路９４は、ＡＳＩＣによって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。また、処理回路９４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子９２は、マトリクス状に配置された複数のフォトセンサを有している。本第１実施形態では、フォトセンサの一例として、フォトダイオードが採用されている。また、複数のフォトセンサの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子９２は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本第１実施形態では、光電変換素子９２の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ，Ｇ，Ｂ信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。

なお、ここでは、撮像素子２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、光電変換素子９２がＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであっても本開示の技術は成立する。

撮像素子２０は、いわゆる電子シャッタ機能を有しており、デバイス制御部７４の制御下で電子シャッタ機能を働かせることで、光電変換素子９２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

処理回路９４は、デバイス制御部７４によって制御される。処理回路９４は、被写体が光電変換素子９２により撮像されることで得られた撮像画像データを読み出す。ここで言う「撮像画像データ」とは、被写体を示す画像データを指す。撮像画像データは、光電変換素子９２に蓄積された信号電荷である。処理回路９４は、光電変換素子９２から読み出した撮像画像データに対してＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換を行う。処理回路９４は、撮像画像データに対してＡ／Ｄ変換を行うことで得た撮像画像データをメモリ９６に記憶する。処理回路９４は、メモリ９６から撮像画像データを取得し、取得した撮像画像データに基づく画像データである出力用画像データを後段回路９０のＩ／Ｆ５６に出力する。なお、以下では、説明の便宜上、「撮像画像データに基づく画像データである出力用画像データ」を単に「出力用画像データ」と称する。

処理回路９４は、撮像画像データに対して第１処理と第２処理とを行う。第１処理とは、光電変換素子９２から撮像画像データを読み出し、読み出した撮像画像データをメモリ９６に記憶する処理を指す。第２処理とは、出力用画像データを撮像素子２０の外部に出力する処理を指す。ここで言う「撮像素子２０の外部」とは、例えば、後段回路９０のＩ／Ｆ５６を指す。

また、第１処理は、切出処理も含む。切出処理とは、メモリ９６に撮像画像データが記憶された状態で、メモリ９６のうちの指定されたアドレスから撮像画像データのうちの被写体の一部の画像を示す部分画像データを切り出す処理を指す。部分画像データは、被写体の一部が分割されて得られた複数の分割領域に対応する複数の分割領域画像データのうちの少なくとも１つである。

また、ここで言う「複数の分割領域画像データ」は、互いに異なる画素がライン単位で間引かれた関係性を有する。本第１実施形態では、垂直方向に水平ラインが２ライン飛ばしで間引かれているが、本開示の技術はこれに限定されず、例えば、垂直方向に水平ラインが１ライン飛ばしで間引かれていてもよいし、垂直方向に水平ラインが３ライン以上で間引かれていてもよい。また、水平方向に垂直ラインが１ライン以上の既定ライン数で間引かれていてもよい。また、１画素又は数画素の画素群単位で予め定められた規則に応じて間引かれていてもよい。

なお、詳しくは後述するが、ここで言う「複数の分割領域画像データ」としては、例えば、図１０、図１５、又は図１６に示す１フレーム目〜３フレーム目までの撮像画像データの各々から得られる部分画像データ２００（図１１及び図１２参照）が挙げられる。

処理回路９４から出力される出力用画像データは、部分画像データ、広範囲画像データ、及び合焦制御用画像データに大別される。広範囲画像データとは、被写体のうちの部分画像データに係る被写体の一部よりも広い範囲の画像を示す画像データを指す。広範囲画像データの一例としては、光電変換素子９２の一部領域９２Ａ（図１１参照）内の全てのフォトダイオードにより撮像可能な画角に収まる範囲内の被写体の全体の画像を示す全体画像データを指す。合焦制御用画像データとは、被写体のうちの部分画像データに係る被写体の一部よりも広い範囲であって、撮像装置１０の合焦制御に要する範囲として予め定められた範囲の画像を示す画像データを指す。ここで言う「予め定められた範囲」とは、例えば、ＣＰＵ５２が、いわゆるコントラストＡＦ又は位相差ＡＦにより合焦状態を特定可能な範囲として、実機による試験及び／又はコンピュータ・シミュレーション等によって予め得られた範囲を指す。なお、本第１実施形態において、「全てのフォトダイオード」とは、不具合が生じていない使用可能なフォトダイオードを指す。

撮像素子２０では、第１フレームレートで被写体が撮像される。処理回路９４は、第１フレームレートで第１処理を行い、第２フレームレートで第２処理を行う。第１フレームレートは、第２フレームレートよりも高いフレームレートである。また、本第１実施形態では、第２フレームレートが６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）であり、第１フレームレートが２４０ｆｐｓであるが、本開示の技術はこれに限定されず、“第２フレームレート＜第１フレームレート”の関係性を満たしていればよい。また、第１フレームレートは、第２フレームレート以下にならない範囲内で可変なフレームレートとされている。

一例として図６に示すように、処理回路９４は、光電変換素子駆動回路９４Ａ、ＡＤ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換回路９４Ｂ、画像処理回路９４Ｃ、及び出力回路９４Ｄを含み、ＣＰＵ５２の制御下で動作する。光電変換素子駆動回路９４Ａは、光電変換素子９２及びＡＤ変換回路９４Ｂに接続されている。メモリ９６は、ＡＤ変換回路９４Ｂ及び画像処理回路９４Ｃに接続されている。画像処理回路９４Ｃは出力回路９４Ｄに接続されている。出力回路９４Ｄは、後段回路９０のＩ／Ｆ５６に接続されている。

光電変換素子駆動回路９４Ａは、デバイス制御部７４の制御下で、光電変換素子９２を制御し、光電変換素子９２からアナログの撮像画像データを読み出す。ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａにより読み出された撮像画像データをデジタル化し、デジタル化した撮像画像データをメモリ９６に記憶する。

メモリ９６は、複数フレームの撮像画像データを記憶可能なメモリである。画像処理回路９４Ｃは、本開示の技術に係る処理部の一例であり、撮像画像データに対して処理を施す。すなわち、画像処理回路９４Ｃは、メモリ９６に記憶された撮像画像データからメモリ９６に対するランダムアクセスにより出力用画像データを切り出す。画像処理回路９４Ｃは、切り出した出力用画像データに対して必要に応じた信号処理を施す。なお、ここで言う「ランダムアクセス」とは、メモリ９６内のうちの目的のデータが格納されている箇所に対して直接アクセスすることが可能なアクセス方式を指す。

上述した第１処理は、光電変換素子駆動回路９４Ａ、ＡＤ変換回路９４Ｂ、メモリ９６、及び画像処理回路９４Ｃによって行われる。すなわち、光電変換素子駆動回路９４Ａ、ＡＤ変換回路９４Ｂ、メモリ９６、及び画像処理回路９４Ｃでの処理は、第１フレームレートで行われる。

ここでは、一例として、光電変換素子駆動回路９４Ａ、ＡＤ変換回路９４Ｂ、メモリ９６、及び画像処理回路９４Ｃでの処理が、第１フレームレートで行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、光電変換素子駆動回路９４Ａによる読み出し、ＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶、及び画像処理回路９４Ｃによる処理のうち、少なくともＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶が第１フレームレートで行われるようにしてもよい。

出力回路９４Ｄは、上述した第２処理を行う。すなわち、出力回路９４Ｄは、画像処理回路９４Ｃにより信号処理が施された出力用画像データを第２フレームレートで後段回路９０のＩ／Ｆ５６に出力する。なお、出力回路９４Ｄは、本開示の技術に係る「出力部」の一例である。

次に、撮像装置１０の本開示の技術に係る部分の作用について説明する。

なお、以下では、説明の便宜上、第１ディスプレイ４０及び第２ディスプレイ８０を区別して説明する必要がない場合は、符号を付さずに「表示装置」と称する。表示装置は、本開示の技術に係る「表示部」の一例である。また、以下では、説明の便宜上、第１表示制御部６４及び第２表示制御部６６を区別して説明する必要がない場合は、符号を付さずに「表示制御部」と称する。表示制御部は、本開示の技術に係る「制御部」の一例である。また、以下では、説明の便宜上、表示装置に対してライブビュー画像を表示させる場合について説明する。

先ず、処理回路９４によって実行される画像データ生成処理について図７を参照して説明する。なお、図７に示す画像データ生成処理は、処理回路９４によって第１フレームレートで行われる。また、以下では、説明の便宜上、メモリ９６が３フレーム分の撮像画像データをＦＩＦＯ方式で記憶可能なメモリであることを前提として説明する。

図７に示す画像データ生成処理では、先ず、ステップ１００で、光電変換素子駆動回路９４Ａは、一例として図１１に示す光電変換素子９２の一部領域９２Ａから撮像画像データを読み出し、その後、画像データ生成処理はステップ１０２へ移行する。

本ステップ１００の処理が実行されることで光電変換素子９２の一部領域９２Ａから得られる撮像画像データは、一例として図１１に示すように、光電変換素子９２のうちの一部領域９２Ａにより被写体が撮像されることで得られる撮像画像データである。なお、ここでは、説明の便宜上、一部領域９２Ａにより撮像されて得られた撮像画像データを例示しているが、本開示の技術はこれに限定されない。例えば、光電変換素子９２の全体のフォトダイオードにより被写体が撮像されることで得られる撮像画像データであってもよいし、光電変換素子９２内の複数の箇所の各々により被写体が撮像されることで得られる撮像画像であってもよい。

本ステップ１００の処理が実行されることで光電変換素子９２の一部領域９２Ａから読み出される１フレーム分の撮像画像データは、一例として図１０に示すように、垂直方向に水平ラインを２ライン飛ばしで間引きした画像データである。また、一例として図１０に示すように、光電変換素子９２の一部領域９２Ａから読み出される撮像画像データは、３フレームの撮像画像データを読み出す周期を１周期とした場合、１周期内で１フレーム毎に垂直方向に水平ラインを１ラインずつずらして間引きされる。

なお、図１０に示す例では、１フレーム目〜３フレーム目までの撮像画像データの態様例が模式的に示されているが、４フレーム目以降も１フレーム目〜３フレーム目と同様の方法で画素が間引きされる。また、図１０に示す例では、説明の便宜上、１周期が３フレームの場合の間引き例を挙げているが、本開示の技術はこれに限定されず、１周期が４フレーム以上の場合であっても同様の方法で間引きすれば良い。

また、撮像画像データに対する間引き方法は、垂直方向に水平ラインを１ラインずつずらして間引する方法に限定する必要はない。例えば、水平方向に垂直ラインを１ラインずつずらして間引する方法であってもよいし、１画素以上の既定数画素単位で予め定められた規則に従って間引きする方法等であってもよい。

ステップ１０２で、ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａによって読み出された撮像画像データをデジタル化してメモリ９６に記憶し、その後、画像データ生成処理はステップ１０４へ移行する。

ステップ１０４で、画像処理回路９４Ｃは、タッチパネル４２及び／又は操作部５４によって切出指示が受け付けられたか否かを判定する。切出指示とは、撮像画像データから部分画像データを切り出す指示を指す。切出指示には、撮像画像データが記憶されたメモリ９６内のアドレスであって、撮像画像データのうちの切り出す対象を指定可能な指定アドレスが含まれる。

撮像画像データに基づくライブビュー形式の全体画像が表示装置に表示されている場合、全体画像内の何れかの箇所がユーザによってタッチパネル４２及び／又は操作部５４を介して指示され、指示された箇所の座標がメモリ９６のアドレスに変換される。そして、変換されて得られたアドレスが指定アドレスとなる。図１１に示す例では、メモリ９６に記憶されている撮像画像データから部分画像データ２００が特定された状態が示されている。部分画像データ２００は、切出指示に含まれる指定アドレスによって特定される。

また、切出指示の一例として、顔検出指示が挙げられる。顔検出指示とは、顔検出機能を働かせる指示を指す。顔検出機能は、撮像画像データから、被写体である人物の顔を検出する機能であり、画像処理回路９４Ｃによって実現される。例えば、図１２に示すように、撮像画像データのうちの被写体である人物２０２の顔２０２Ｆを含む矩形領域のアドレスが、切り出す対象となるアドレスとして特定され、特定されたアドレスに従って、部分画像データ２００が特定される。

なお、ここでは、顔検出を例示しているが、被写体である人物の瞳を検出する瞳検出機能を働かせるようにしてもよい。このように、顔検出機能及び／又は瞳検出機能を働かせることで、顔検出結果及び／又は瞳検出結果に基づいて被写体である人物の顔の中心から切り出す対象として指定された大きさの領域が定まる。よって、ＣＰＵ５２は、被写体である人物が動いたとしても、人物の動きに対して追従してＡＦを行うことが可能となる。また、メモリ９６上で顔検出と人物の顔の中心座標の算出とが行われることで、後述の表示制御処理において、表示装置は、顔検出及び／又は瞳検出を行わない場合に比べ、画角調整のタイムラグの少ない表示を行うことが可能となる。更に、顔検出結果及び／又は瞳検出結果に基づいて、部分画像データ２００の拡大倍率が変更されるようにしてもよい。

ステップ１０４において、タッチパネル４２及び／又は操作部５４によって切出指示が受け付けられた場合は、判定が肯定されて、画像データ生成処理はステップ１１０へ移行する。ステップ１０４において、タッチパネル４２及び／又は操作部５４によって切出指示が受け付けられていない場合は、判定が否定されて、画像データ生成処理はステップ１０６へ移行する。

ステップ１０６で、画像処理回路９４Ｃは、メモリ９６から撮像画像データを取得し、その後、画像データ生成処理はステップ１０８へ移行する。

ステップ１０８で、画像処理回路９４Ｃは、ステップ１０６で取得した撮像画像データに基づいて全体画像データを生成し、生成した全体画像データを出力回路９４Ｄに出力し、その後、画像データ生成処理はステップ１３０へ移行する。なお、本ステップ１０８の処理が実行されることによって生成される全体画像データは、上述した出力用画像データに含まれる画像データの一種である。

ところで、ステップ１０４でタッチパネル４２及び／又は操作部５４によって受け付けられた切出指示は、低画質切出指示と高画質切出指示とに大別される。低画質切出指示とは、低画質切出画像を切り出す指示を指し、高画質切出指示とは、高画質切出画像を切り出す指示を指す。高画質切出画像は、低画質切出画像よりも画質が高い。ここで、低画質切出画像とは、例えば、図１０に示すように、垂直方向に水平ラインを２ライン飛ばしで間引かれた画像データを指す。これに対し、高画質切出画像とは、例えば、図１０に示すように、３フレーム分の撮像画像データが合成されて得られた合成データ、すなわち、間引き無しの画像データを指す。

ステップ１１０で、画像処理回路９４Ｃは、ステップ１０４でタッチパネル４２及び／又は操作部５４によって受け付けられた切出指示が高画質切出指示か否かを判定する。ステップ１１０において、ステップ１０４でタッチパネル４２及び／又は操作部５４によって受け付けられた切出指示が高画質切出指示でない場合、すなわち、切出指示が低画質切出指示の場合は、判定が否定されて、ステップ１１２へ移行する。ステップ１１０において、ステップ１０４でタッチパネル４２及び／又は操作部５４によって受け付けられた切出指示が高画質切出指示の場合は、判定が肯定されて、ステップ１１８へ移行する。

ステップ１１２で、画像処理回路９４Ｃは、ステップ１０４で受け付けられた切出指示から指定アドレスを取得し、その後、画像データ生成処理はステップ１１４へ移行する。

ステップ１１４で、画像処理回路９４Ｃは、メモリ９６内の撮像画像データのうちの単一フレームの撮像画像データから、ステップ１１２で取得した指定アドレスに従って部分画像データを切り出し、その後、画像データ生成処理はステップ１１６へ移行する。部分画像データの切り出し対象となる単一フレームの撮像画像データは、例えば、メモリ９６内に最も過去に記憶された撮像画像データであるが、本開示の技術はこれに限定されない。例えば、メモリ９６に複数フレームの撮像画像データが記憶されている場合、部分画像データの切り出し対象となる単一フレームの撮像画像データは、メモリ９６に記憶されている複数フレームの撮像画像データのうちのどの撮像画像データであってもよい。

なお、ここでは、単一フレームの撮像画像データを切り出し対象の撮像画像データとしたが、例えば、図１０に示す１〜３フレーム目の撮像画像データのうちの２フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。つまり、３フレーム分の撮像画像データを合成して得た合成データが高画質切出画像データであると規定するのであれば、１フレーム分の撮像画像データを切り出し対象の撮像画像データとしてもよいし、２フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。

ステップ１１６で、画像処理回路９４Ｃは、低画質切出画像データを生成して出力回路９４Ｄに出力し、その後、画像データ生成処理はステップ１３０へ移行する。ここでは、低画質切出画像データとして、ステップ１１４で切り出した部分画像データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、低画質切出画像データは、ステップ１１４で切り出した部分画像データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ１１６の処理が実行されることによって生成される低画質切出画像データは、上述した出力用画像データに含まれる画像データの一種である。

ステップ１１８で、画像処理回路９４Ｃは、メモリ９６に複数フレームの撮像画像データが記憶されているか否かを判定する。なお、本ステップ１１８では、複数フレームの一例として、３フレームが採用されている。ステップ１１８において、メモリ９６に複数フレームの撮像画像データが記憶されていない場合は、判定が否定されて、ステップ１２０へ移行する。ステップ１１８において、メモリ９６に複数フレームの撮像画像データが記憶されている場合は、判定が肯定されて、ステップ１２４へ移行する。

ステップ１２０で、画像処理回路９４Ｃは、メモリ９６から撮像画像データを取得し、その後、画像データ生成処理はステップ１２２へ移行する。

ステップ１２２で、画像処理回路９４Ｃは、ステップ１２０で取得した撮像画像データに基づいて全体画像データを生成し、生成した全体画像データを出力回路９４Ｄに出力し、その後、画像データ生成処理はステップ１１８へ移行する。なお、本ステップ１２２の処理が実行されることによって生成される全体画像データは、上述した出力用画像データに含まれる画像データの一種である。

ステップ１２４で、画像処理回路９４Ｃは、ステップ１０４で受け付けられた切出指示から指定アドレスを取得し、その後、画像データ生成処理はステップ１２６へ移行する。

ステップ１２６で、画像処理回路９４Ｃは、メモリ９６内の撮像画像データのうちの複数フレームの撮像画像データの各々から、ステップ１２４で取得した指定アドレスに従って部分画像データを切り出し、その後、画像データ生成処理はステップ１２８へ移行する。

部分画像データの切り出し対象となる複数フレームの撮像画像データは、例えば、メモリ９６に現時点で記憶されている全フレームの撮像画像データ、すなわち、３フレーム分の撮像画像データであるが、本開示の技術はこれに限定されない。１フレーム分の撮像画像データが低画質切出画像データであると規定するのであれば、２フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。

ステップ１２８で、画像処理回路９４Ｃは、高画質切出画像データを生成して出力回路９４Ｄに出力し、その後、画像データ生成処理はステップ１３０へ移行する。ここでは、高画質切出画像データとして、ステップ１２６で切り出した３フレーム分の部分画像データを、一例として図１０に示すように合成して得た合成データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、高画質切出画像データは、ステップ１２６で切り出した３フレーム分の部分画像データを合成して得た合成データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ１２８の処理が実行されることによって生成される高画質切出画像データは、上述した出力用画像データに含まれる画像データの一種である。

ステップ１３０で、画像処理回路９４Ｃは、画像データ生成処理を終了する条件である画像データ生成処理終了条件を満足したか否かを判定する。画像データ生成処理終了条件としては、例えば、画像データ生成処理を終了させる指示がタッチパネル４２及び／又は操作部５４によって受け付けられたとの条件が挙げられる。また、画像データ生成処理終了条件としては、例えば、画像データ生成処理が開始されてからステップ１０４において判定が肯定されない時間が予め定められた時間を超えたとの条件が挙げられる。ここで言う「予め定められた時間」とは、例えば、５分を指す。予め定められた時間は、固定値であってもよいし、ユーザから与えられた指示に応じて変更可能な可変値であってもよい。

ステップ１３０において、画像データ生成処理終了条件を満足していない場合は、判定が否定されて、画像データ生成処理はステップ１００へ移行する。ステップ１３０において、画像データ生成処理終了条件を満足した場合は、判定が肯定されて、処理回路９４は画像データ生成処理を終了する。

次に、処理回路９４の出力回路９４Ｄによって実行される画像データ出力処理について図８を参照して説明する。なお、図８に示す画像データ出力処理は、出力回路９４Ｄによって第２フレームレートで行われる。

図８に示す画像データ出力処理では、先ず、ステップ１５０で、出力回路９４Ｄは、画像処理回路９４Ｃから出力用画像データが入力されたか否かを判定する。画像処理回路９４Ｃから出力回路９４Ｄに入力される出力用画像データの一例としては、図７に示す画像データ生成処理により出力された全体画像データ、高画質切出画像データ、及び低画質切出画像データのうちの少なくとも１つを含む画像データが挙げられる。

ステップ１５０において、画像処理回路９４Ｃから出力用画像データが入力されていない場合は、判定が否定されて、ステップ１５４へ移行する。ステップ１５０において、画像処理回路９４Ｃから出力用画像データが入力された場合は、判定が肯定されて、ステップ１５２へ移行する。

ステップ１５２で、出力回路９４Ｄは、出力用画像データを後段回路９０のＩ／Ｆ５６に出力し、その後、ステップ１５４へ移行する。Ｉ／Ｆ５６は、出力回路９４Ｄから入力された出力用画像データを、例えば、バス６８を介してＣＰＵ５２及び画像処理部６２に出力する。

ステップ１５４で、出力回路９４Ｄは、画像データ出力処理を終了する条件である画像データ出力処理終了条件を満足したか否かを判定する。画像データ出力処理終了条件は、例えば、上述した画像データ生成処理終了条件と同じ条件である。

ステップ１５４において、画像データ出力処理終了条件を満足していない場合は、判定が否定されて、画像データ出力処理はステップ１５０へ移行する。ステップ１５４において、画像データ出力処理終了条件を満足した場合は、判定が肯定されて、出力回路９４Ｄは画像データ出力処理を終了する。

次に、後段回路９０の表示制御部によって実行される表示制御処理について図９を参照して説明する。なお、ここでは、説明の便宜上、図８に示す画像データ出力処理が実行されることで出力回路９４Ｄから出力用画像データが後段回路９０に出力され、出力用画像データがＣＰＵ５２及び画像処理部６２に入力されたことを前提として説明する。また、以下では、説明の便宜上、高画質切出画像データ及び低画質切出画像データを区別して説明する必要がない場合、「切出画像データ」と称する。また、高画質切出画像データにより示される高画質切出画像と低画質切出画像データにより示される低画質切出画像とを区別して説明する必要がない場合、「切出画像」と称する。

図９に示す表示制御処理では、ステップ１６０で、表示制御部は、画像処理部６２から出力用画像データが入力されたか否かを判定する。ステップ１６０において、画像処理部６２から出力用画像データが入力されていない場合は、判定が否定されて、表示制御処理はステップ１６４へ移行する。ステップ１６０において、画像処理部６２から出力用画像データが入力された場合は、判定が肯定されて、表示制御処理はステップ１６２へ移行する。

ステップ１６２で、表示制御部は、出力用画像データをグラフィックデータとして表示装置に出力し、その後、表示制御処理はステップ１６４へ移行する。本ステップ１６２の処理が実行されることで出力用画像データが表示装置に出力されると、表示装置は、出力用画像データにより示される画像を表示する。例えば、出力用画像データに全体画像データが含まれている場合、表示装置は、全体画像データにより示される全体画像を表示する。ここで言う「全体画像」とは、光電変換素子９２の一部領域９２Ａ内の全てのフォトダイオードにより撮像可能な画角に収まる範囲内の被写体の全体を示す画像を指す。

また、例えば、出力用画像データに切出画像データが含まれている場合、表示装置は、一例として図１１及び図１２に示すように、切出画像データにより示される切出画像を表示する。

また、タッチパネル４２及び／操作部５４によって拡大表示の指示が受け付けられた場合、表示装置は、一例として図１４に示すように、切出画像を拡大して表示する。

切出画像は、高画質切出画像及び低画質切出画像の何れかである。高画質切出画像は、一例として図１０に示すように、３フレーム分の撮像画像データを合成して得た合成データに基づく画像である。これに対し、低画質切出画像は、１フレーム分の撮像画像データに基づく間引き画像である。また、全体画像も、１フレーム分の撮像画像データに基づく間引き画像である。よって、表示装置に表示される画像の画質は、低画質切出画像及び全体画像よりも高画質切出画像の方が高い。

また、第１ディスプレイ４０及び第２ディスプレイ８０の双方に同じ画像を表示させる必要はない。例えば、第１ディスプレイ４０及び第２ディスプレイ８０の一方に対して全体画像を表示させ、他方に対して全体画像と共に、切出画像を表示させるようにしてもよいし、全体画像を表示させずに、切出画像を表示させるようにしてもよい。なお、表示装置に対して全体画像と共に切出画像を表示させる場合、第１〜第３表示方式が考えられる。第１表示方式とは、全体画像と切出画像とを並べて表示させる表示方式を指す。第２表示方式とは、全体画像と切出画像との一方に対して他方を重畳表示させる表示方式を指す。第３表示方式とは、全体画像と切出画像との一方の表示領域内に他方を埋め込んで表示させる表示方式を指す。

ステップ１６４で、表示制御部は、表示制御処理を終了する条件である表示制御処理終了条件を満足したか否かを判定する。表示制御処理終了条件は、例えば、上述した画像データ生成処理終了条件と同じ条件である。

ステップ１６４において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップ１６０へ移行する。ステップ１６４において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御部は表示制御処理を終了する。

このように、一例として、図７に示す画像データ生成処理、図８に示す画像データ出力処理、及び図９に示す表示制御処理が実行されることで、表示制御部の制御下で、表示装置によりライブビュー画像が表示される。ここで言う「ライブビュー画像」とは、切出画像データ及び全体画像データの少なくとも１つを含む出力用画像データに基づくライブビュー形式の画像、すなわち、スルー画像を指す。なお、本第１実施形態に係る撮像装置１０では、ライブビュー画像が第２フレームレートで表示される。

本第１実施形態に係る撮像装置１０は、従来技術に係る撮像装置に比べ、撮像素子２０として積層型ＣＭＯＳイメージセンサを採用している点が異なる。つまり、従来技術に係る撮像素子では、積層型ＣＭＯＳイメージセンサが採用されていない。そのため、従来技術に係る撮像装置では、一例として図１１Ａに示すように、撮像素子により被写体が撮像されることで得られた撮像画像データが後段回路９０に出力され、後段回路９０により撮像画像データから部分画像データ２００が切り出される。そして、切り出された部分画像データ２００に基づく画像が表示装置に表示される。

これに対し、本第１実施形態に係る撮像装置１０では、撮像素子２０として、積層型ＣＭＯＳイメージセンサが採用されている。そのため、一例として図１１Ｂに示すように、撮像素子２０に内蔵されているメモリ９６に撮像画像データが一旦格納され、メモリ９６に対してランダムアクセスをすることにより部分画像データ２００が切り出される。そして、切り出された部分画像データ２００に基づく画像データが後段回路９０に出力される。つまり、本第１実施形態に係る撮像素子２０から後段回路９０に出力されるデータ量は、従来技術に係る撮像装置の撮像素子から後段回路９０に出力されるデータ量に比べ、少ない。よって、本第１実施形態に係る撮像装置１０は、従来技術に係る撮像装置に比べ、画像データの出力に伴う消費電力を低減することができる。

また、後段回路９０で部分画像データ２００の切り出しが行われるため、一例として図１３Ａに示すように、１フレーム目の撮像画像データを得るための１回目の露光が終了してから、１フレーム目の撮像画像データを後段回路９０に移動させる必要がある。撮像素子から後段回路９０への撮像画像データの移動は、第２フレームレートで行われる。

これに対して、一例として図１３Ｂに示すように、撮像装置１０では、撮像素子２０内で、第１フレームレートで、撮像画像データの読み出し、撮像画像データのメモリ９６への記憶、及び部分画像データ２００の切り出し等の画像処理が行われる。そして、撮像装置１０でも、撮像素子２０から後段回路９０への撮像画像データの移動は、第２フレームレートで行われる。

しかし、撮像装置１０では、少なくとも撮像画像データの読み出しから切り出し等の画像処理までは第１フレームレートで行われる。よって、撮像装置１０は、一例として図１３Ｂに示すように、従来技術に係る撮像装置に比べ、出力用画像データが後段回路９０に移動している間にも撮像素子２０内で多くの処理を行うことができる。図１３Ｂに示す例では、撮像素子２０から後段回路９０へ１フレーム目の出力用画像データが移動している間に２回目の露光と、２回目の露光により得られた２フレーム目の撮像画像データの読み出しから切り出し等の画像処理までが行われている。

また、撮像装置１０では、一例として図１０に示すように、撮像素子２０内において、メモリ９６に複数フレームの撮像画像データが記憶されるので、処理回路９４は、複数フレームの撮像画像データを合成して得た合成データを後段回路９０に出力することができる。

図１０に示す例では、連続する３フレームの撮像画像データの各々は、水平ラインを垂直方向に１ラインずつずらして間引きして得た画像データであるが、本開示の技術はこれに限定されない。例えば、図１５に示すように、連続する３フレームの撮像画像データの各々が間引き無しで得た画像データであってもよい。この場合、光電変換素子９２において露光に使用される水平ラインの１ライン当たりの電荷量を、例えば図１０に示す各フレームの撮像画像データを得るための露光に使用される水平ラインの１ライン当たりの電荷量の１／３にする。これにより、図１５に示す例の場合であっても、１フレーム目〜３フレーム目の撮像画像データが合成されることで、図１０に示す例の場合と同様の画質を実現可能な出力用画像データが得られる。

ここで、「各フレームの撮像画像データを得るための露光に使用される水平ラインの１ライン当たりの電荷量の１／３」とは、後述の第１露光方式による露光で得られる電荷量に対する後述の第２露光方式による露光によって得られる電荷量の割合に相当する。

本第１実施形態に係る撮像装置１０では、例えば、図１８Ａ及び図１８Ｂに示すように、タッチパネル４２及び／又は操作部５４によって受け付けられた指示に応じて、第１露光方式と第２露光方式とが選択的に用いられる。以下では、説明の便宜上、第１露光方式で行われる露光に要する時間を第１露光時間と称し、第２露光方式で行われる露光に要する時間を第２露光時間と称する。

一例として図１８Ａに示す第１露光方式では、一例として図１１Ｂに示す光電変換素子９２の一部領域９２Ａ内の全てのフォトダイオードにより第１露光時間で被写体が撮像される。これにより、一例として図１５に示す１フレーム目〜３フレーム目が合成されて得られた出力用画像データが有する輝度に相当する輝度を有する画像データが得られる。

一方、一例として図１８Ｂに示す第２露光方式では、光電変換素子９２の一部領域９２Ａ内の全てのフォトダイオードにより第２露光時間で被写体が撮像されるが、第２露光時間は第１露光時間の１／３である。そのため、一例として図１５に示すように、１フレーム分の撮像画像データの電荷量は、第１露光方式による１フレーム分の撮像画像データの電荷量の１／３になる。

また、第１露光方式では、光電変換素子９２からの撮像画像データの読み出し、撮像画像データのメモリ９６への記憶、及び部分画像データの切り出し等の画像処理の一連の処理の回数は、３回である。つまり、第２露光方式は、上述した第１処理の回数が第１露光方式よりも２回多い。第２露光方式での第１処理の回数は第１フレームレートで実現可能な回数である。そのため、第１フレームレートを低くして露光時間を延ばして第２露光時間から第１露光時間に変更しなくても、第１露光時間で得られる１フレーム分の出力用画像データの輝度に相当する輝度を有する出力先画像データを生成することができる。つまり、第２露光方式であっても、連続する３フレーム分の撮像画像データの各々から切出画像を得て合成することで、第１露光方式で得られる１フレーム分の出力用画像データの輝度に相当する輝度を有する出力先画像データを生成することができる。

また、一例として図１６に示す１フレーム目〜３フレーム目の撮像画像データの各々において水平ラインを垂直方向に２ラインずつ飛ばして間引きされた撮像画像データが採用されるようにしてもよい。図１６に示す例では、１フレーム目〜３フレーム目の撮像画像データの各々において水平ラインを垂直方向に２ラインずつ飛ばして間引きされた撮像画像データが示されている。図１６に示す例では、１フレーム目〜３フレーム目の撮像画像データが合成されることで、水平ラインを垂直方向に２ラインずつ飛ばして間引きされた出力用画像データが得られる。

また、本第１実施形態に係る撮像装置１０では、撮像素子２０として積層型ＣＭＯＳセンサが採用されているので、メモリ９６の撮像画像データから出力用画像データを読み出す方式を変えることで、総データ量が同じでも画質を変えることが可能となる。

一例として図１７に示すように、画像処理回路９４Ｃによってメモリ９６から取得される出力用画像データのデータ量は、間引き有りの場合と間引き無しの場合とで同じにすることができる。一例として図１７に示すように、間引き無しの撮像画像データは、間引き有りの撮像画像データに比べ、読み出し対象が狭い分だけ間引きをしないで済むので、間引き有りの撮像画像データよりも高画質を実現することができる。撮像装置１０では、一例として図１７に示すように、間引きがあるか無いかに拘わらず、全画素についての撮像画像データを後段回路９０に出力する場合に比べ、処理回路９４から出力されるデータ量が少ない。よって、撮像装置１０では、従来技術に係る撮像装置のように後段回路９０で間引き処理をしたり、切り出し処理を行ったりする場合に比べ、出力回路９４Ｄから後段回路９０の出力に要する消費電力を低減することができる。

以上説明したように、撮像装置１０では、撮像素子２０にメモリ９６及び処理回路９４が内蔵されている。また、処理回路９４により、上述した第１処理が第１フレームレートで実行され、上述した第２処理が第２フレームレートで実行される。第１処理には、上述した切出処理が含まれる。また、処理回路９４により、一例として図７に示すステップ１１４，１１６のように切出処理が行われることで撮像画像データから部分画像データが切り出される。そして、出力用画像データには、切り出された部分画像データに基づく画像データが含まれる。

従って、撮像装置１０は、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる。

また、撮像装置１０では、画像処理回路９４Ｃにより、メモリ９６に記憶された撮像画像データからメモリ９６に対するランダムアクセスにより部分画像データが切り出される。

従って、撮像装置１０は、メモリ９６に対するランダムアクセスが不可能な場合に比べ、指定されたアドレスから部分画像データを迅速に切り出すことができる。

また、撮像装置１０では、メモリ９６が撮像画像データを複数フレームで記憶可能であり、上述した切出処理は、メモリ９６に記憶された撮像画像データから、複数フレームの部分画像データを切り出す処理を含む。また、上述した第２処理は、一例として図７に示すステップ１２６，１２８の処理のように、画像処理回路９４Ｃにより切出処理が行われることで切り出された複数フレーム分の部分画像データが合成される処理を含む。そして、複数フレーム分の部分画像データが合成されて得られた合成データが出力用画像データとして出力回路９４Ｄにより後段回路９０に出力される。

従って、撮像装置１０は、撮像画像データが後段回路９０に出力され、後段回路９０で撮像画像データから複数フレーム分の部分画像データが切り出され、複数フレーム分の部分画像データが合成される場合に比べ、消費電力を低減することができる。

また、撮像装置１０では、単一フレームの撮像画像データから部分画像データが切り出され、切り出された部分画像データが一例として図７のステップ１１６に示す低画質切出画像データとして採用されている。

従って、撮像装置１０では、複数フレームの撮像画像データの各々から部分画像データが切り出され、切り出された複数フレーム分の部分画像データが合成される場合に比べ、消費電力を低減することができる。

また、撮像装置１０では、複数フレーム分の部分画像データが、互いに異なる画素がライン単位で間引かれた関係性を有する。

従って、撮像装置１０は、同じ位置の画素がライン単位で間引かれる場合に比べ、再現性の高い被写体画像を得ることができる。

なお、間引きの度合いは、切出画像の拡大の度合いに応じて定められるようにしてもよい。例えば、拡大の度合いが大きくなるほど、間引きの度合いを小さくようにする。また、出力用画像データに対して特殊な加工を施す場合には、加工の種類に応じて間引きの度合いが定められるようにしてもよい。

また、撮像装置１０では、出力回路９４Ｄから出力される出力用画像データが、間引き箇所が異なる複数フレーム分の部分画像データが合成されて得られた合成データである。

従って、撮像装置１０は、単一フレーム分の部分画像データが出力される場合に比べ、高画質な画像を表示することができる。

また、撮像装置１０では、出力回路９４Ｄにより出力された出力用画像データに基づく画像を、一例として図１１、図１２、及び図１４に示すように、表示装置に対して拡大表示させる制御が表示制御部により行われる。

従って、撮像装置１０は、出力回路９４Ｄにより出力された出力用画像データに基づく画像をユーザに対して視覚的に認識させることができる。

また、撮像装置１０では、撮像素子２０として積層型ＣＭＯＳイメージセンサを採用している。従って、撮像装置１０は、撮像素子２０内で画像処理が施された画像データを後段回路９０に出力することができる。

なお、上記第１実施形態では、光電変換素子９２の一部領域９２Ａにより被写体が撮像されて得られた撮像画像データがメモリ９６に記憶される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１９に示すように、光電変換素子９２内の全てのフォトダイオードにより被写体が撮像されて得られた撮像画像データである全体画像データがメモリ９６に記憶されるようにしてもよい。この場合も、上記第１実施形態と同様に、画像処理回路９４Ｃがメモリ９６に対してランダムアクセスすることで全体画像データから部分画像データ２００を切り出し、切出画像データを生成する。切出画像データに基づく画像は、表示装置によって表示される。

また、例えば、図２０に示すように、本開示の技術に係る「広範囲画像データ」の一例である全体画像データと、部分画像データ２００に基づく切出画像データとが撮像素子２０の出力回路９４Ｄから後段回路９０に出力されるようにしてもよい。この場合、全体画像データの解像度を部分画像データの解像度よりも低くするのが好ましい。これにより、消費電力が低減される。

また、一例として図２０に示すように、表示装置は、表示制御部の制御下で、上述した第１表示方式に準ずる表示方式で、切出画像データにより示される切出画像を拡大して表示し、全体画像データにより示される全体画像を表示するようにしてもよい。

また、表示装置は、表示制御部の制御下で、上述した第２又は第３表示方式に準ずる表示方式で、切出画像と全体画像とを表示してもよい。また、表示装置は、表示制御部の制御下で、切出画像又は全体画像を表示してもよい。切出画像及び全体画像のうちの何れかの画像が表示装置によって表示されるかは、例えば、タッチパネル４２及び／操作部５４によって受け付けられた指示に従って定められるようにすればよい。

また、処理回路９４は、３フレーム分の部分画像データのうちの一部の部分画像と、３フレーム分の部分画像データが合成されて得られた合成データとを、与えられた条件に応じて選択的に部分画像データとして後段回路９０に出力するようにしてもよい。これにより、常に合成データが後段回路９０に出力される場合に比べ、消費電力が低減される。なお、ここで、「３フレーム分の部分画像データのうちの一部の部分画像」とは、例えば、３フレーム未満の個数の部分画像を指す。また、「与えられた条件」としては、例えば、タッチパネル４２及び／操作部５４によって特定の指示が受け付けられたとの条件、又は、撮像装置１０の残電力が閾値を下回ったとの条件が挙げられる。ここで言う「特定の指示が受け付けられたとの条件」としては、例えば、省電力モードの指示が受け付けられたとの条件、又は、タッチパネル４２及び／操作部５４によって特殊な加工を要する画像処理の指示が受け付けられたとの条件が挙げられる。

［第２実施形態］
上記第１実施形態では、被写体の一部の画像を示す部分画像データを切り出す場合について説明したが、本第２実施形態では、被写体の一部が被写体の複数の領域に跨っている場合について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。

本第２実施形態に係る撮像装置１０は、上記第１実施形態に係る撮像装置１０に比べ、一例として図２４に示すように、光電変換素子９２の一部領域９２Ａに代えて一部領域９２Ｂを有する点が異なる。一部領域９２Ｂは、一部領域９２Ａに比べ、光電変換素子９２の垂直方向に幅広の領域である。

次に、処理回路９４によって実行される本第２実施形態に係る画像データ生成処理について図２１を参照して説明する。

図２１に示す画像データ生成処理では、先ず、ステップ２５０で、光電変換素子駆動回路９４Ａは、光電変換素子９２の一部領域９２Ｂから撮像画像データを読み出し、その後、画像データ生成処理はステップ２５２へ移行する。

本ステップ２５０の処理が実行されることで光電変換素子９２の一部領域９２Ｂから読み出される１フレーム分の撮像画像データは、一例として図１０に示すように、垂直方向に水平ラインを２ライン飛ばしで間引きした画像データである。

本ステップ２５０の処理が実行されることで光電変換素子９２の一部領域９２Ｂから得られる撮像画像データは、図１１に示す例と同様に、光電変換素子９２のうちの一部領域９２Ｂにより被写体が撮像されることで得られる撮像画像データである。

ステップ２５２で、ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａの一部領域９２Ｂによって読み出された撮像画像データをデジタル化してメモリ９６に記憶し、その後、画像データ生成処理はステップ２５４へ移行する。

ステップ２５４で、画像処理回路９４Ｃは、タッチパネル４２及び／又は操作部５４によって切出指示が受け付けられたか否かを判定する。本ステップ２５４において、「切出指示」は、単一領域切出指示と複数領域切出指示とに大別される。単一領域切出指示とは、画像処理回路９４Ｃに対して、撮像画像データにより示される画像から単一の領域を切り出させる指示を指す。複数領域切出指示とは、画像処理回路９４Ｃに対して、撮像画像データにより示される画像から複数の領域を切り出させる指示を指す。

単一領域切出指示は、単一低画質画像切出指示と単一高画質画像切出指示とに大別される。単一低画質画像切出指示とは、撮像画像データにより示される画像から切り出される領域の画像として単一低画質画像を切り出させる指示を指す。単一高画質画像切出指示とは、撮像画像データにより示される画像から切り出される領域の画像として単一高画質画像を切り出させる指示を指す。単一高画質画像は、単一低画質画像よりも画質が高い。ここで、単一低画質画像とは、図１０に示す例と同様に、垂直方向に水平ラインを２ライン飛ばしで間引かれた画像データを指す。これに対し、単一高画質画像とは、図１０に示す例と同様に、３フレーム分の撮像画像データが合成されて得られた合成データ、すなわち、間引き無しの画像データを指す。

複数領域切出指示は、複数低画質切出指示と複数高画質画像切出指示とに大別される。複数低画質切出指示とは、撮像画像データにより示される画像から切り出される複数の領域の各々から低画質画像を切り出す指示を指す。なお、以下では、説明の便宜上、複数の領域の各々から切り出された低画質画像を、「低画質切出画像」とも称する。

複数高画質画像切出指示とは、撮像画像データにより示される画像から切り出される複数の領域の各々から高画質画像を切り出す指示を指す。なお、以下では、説明の便宜上、複数の領域の各々から切り出された高画質画像を、「高画質切出画像」とも称する。

高画質切出画像は、低画質切出画像よりも画質が高い。ここで、低画質切出画像とは、図１０に示す例と同様に、各々垂直方向に水平ラインを２ライン飛ばしで間引かれた複数の画像データを指す。これに対し、複数の高画質切出画像とは、図１０に示す例と同様に、各々３フレーム分の撮像画像データが合成されて得られた複数の合成データ、すなわち、各々間引き無しの複数の画像データを指す。

ステップ２５４において、タッチパネル４２及び／又は操作部５４によって切出指示が受け付けられた場合は、判定が肯定されて、画像データ生成処理はステップ２６０へ移行する。ステップ２５４において、タッチパネル４２及び／又は操作部５４によって切出指示が受け付けられていない場合は、判定が否定されて、画像データ生成処理はステップ２５６へ移行する。

ステップ２５６で、画像処理回路９４Ｃは、メモリ９６から撮像画像データを取得し、その後、画像データ生成処理はステップ２５８へ移行する。

ステップ２５８で、画像処理回路９４Ｃは、ステップ２５６で取得した撮像画像データに基づいて主要被写体画像データを生成し、生成した主要被写体画像データを出力回路９４Ｄに出力し、その後、画像データ生成処理はステップ２６６へ移行する。なお、本ステップ２５８の処理が実行されることによって生成される主要被写体画像データとは、例えば、複数の人物の顔が含まれる矩形領域内に含まれる被写体を指す。人物の顔は、撮像装置１０に搭載されている顔検出機能を働かせることで特定される。また、主要被写体画像データは、撮像画像データの一部であり、上述した出力用画像データに含まれる画像データの一種である。

ステップ２６０で、画像処理回路９４Ｃは、ステップ２５４で受け付けられた切出指示が複数領域切出指示か否かを判定する。ステップ２６０において、ステップ２５４で受け付けられた切出指示が複数領域切出指示でない場合、すなわち、ステップ２５４で受け付けられた切出指示が単一領域切出指示の場合は、判定が否定されて、画像データ生成処理はステップ２６２へ移行する。ステップ２６０において、ステップ２５４で受け付けられた切出指示が複数領域切出指示の場合は、判定が肯定されて、画像データ生成処理はステップ２６４へ移行する。

ステップ２６２で、画像処理回路９４Ｃは、一例として図２２に示す単一領域切出処理を実行し、その後、画像データ生成処理はステップ２６６へ移行する。

ステップ２６４で、画像処理回路９４Ｃは、一例として図２３に示す複数領域切出処理を実行し、その後、画像データ生成処理はステップ２６６へ移行する。

図２２に示す単一領域切出処理では、ステップ２６２Ａで、ステップ２５４で受け付けられた単一領域切出指示が単一高画質画像切出指示か否かを判定する。ステップ２６２Ａにおいて、ステップ２５４で受け付けられた単一領域切出指示が単一低画質画像切出指示の場合は、判定が否定されて、単一領域切出処理はステップ２６２Ｂへ移行する。ステップ２６２Ａにおいて、ステップ２５４で受け付けられた単一領域切出指示が単一高画質画像切出指示の場合は、判定が肯定されて、単一領域切出処理はステップ２６２Ｅへ移行する。

ステップ２６２Ｂで、画像処理回路９４Ｃは、ステップ２５４で受け付けられた切出指示から指定アドレスを取得し、その後、単一領域切出処理はステップ２６２Ｃへ移行する。

ステップ２６２Ｃで、画像処理回路９４Ｃは、メモリ９６内の撮像画像データのうちの１フレーム分の撮像画像データから、ステップ２６２Ｂで取得した指定アドレスに従って、領域画像データを切り出し、その後、単一領域切出処理はステップ２６２Ｄへ移行する。領域画像データとは、撮像画像データのうち、撮像画像データにより示される画像内のうちの、指定アドレスに従って特定された領域を示す画像データを指す。領域画像データの切り出し対象となる単一フレームの撮像画像データは、例えば、メモリ９６内に最も過去に記憶された撮像画像データであるが、本開示の技術はこれに限定されない。例えば、領域画像データの切り出し対象となる単一フレームの撮像画像データは、メモリ９６内に複数フレームの撮像画像データが記憶されている場合、どの撮像画像データであってもよい。

ステップ２６２Ｄで、画像処理回路９４Ｃは、単一低画質切出画像データを生成して出力回路９４Ｄに出力し、その後、画像処理回路９４Ｃは単一領域切出処理を終了する。ここでは、単一低画質切出画像データとして、ステップ２６２Ｃで切り出した部分画像データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、単一低画質切出画像データは、ステップ２６２Ｃで切り出した領域画像データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ２６２Ｄの処理が実行されることによって生成される単一低画質切出画像データは、上述した出力用画像データに含まれる画像データの一種であり、本開示の技術に係る「部分画像データに基づく画像データ」の一例である。

ステップ２６２Ｅで、画像処理回路９４Ｃは、メモリ９６に複数フレームの撮像画像データが記憶されているか否かを判定する。なお、本ステップ２６２Ｅでは、複数フレームの一例として、３フレームが採用されている。ステップ２６２Ｅにおいて、メモリ９６に複数フレームの撮像画像データが記憶されていない場合は、判定が否定されて、ステップ２６２Ｆへ移行する。ステップ２６２Ｅにおいて、メモリ９６に複数フレームの撮像画像データが記憶されている場合は、判定が肯定されて、ステップ２６２Ｈへ移行する。

ステップ２６２Ｆ，２６２Ｇで、画像処理回路９４Ｃは、図２１に示すステップ２５６，２５８の処理に相当する処理を実行し、単一領域切出処理はステップ２６２Ｅへ移行する。

ステップ２６２Ｈで、画像処理回路９４Ｃは、ステップ２５４で受け付けられた切出指示から指定アドレスを取得し、その後、単一領域切出処理はステップ２６２Ｉへ移行する。

ステップ２６２Ｉで、画像処理回路９４Ｃは、メモリ９６内の撮像画像データのうちの複数フレームの撮像画像データの各々から、ステップ２６２Ｈで取得した指定アドレスに従って領域画像データを切り出し、その後、単一領域切出処理はステップ２６２Ｊへ移行する。

領域画像データの切り出し対象となる複数フレームの撮像画像データは、例えば、メモリ９６に現時点で記憶されている全フレームの撮像画像データ、すなわち、３フレーム分の撮像画像データであるが、本開示の技術はこれに限定されない。１フレーム分の撮像画像データが単一低画質切出画像データであると規定するのであれば、２フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。

なお、ステップ２６２Ｃ，２６２Ｉの各々で切り出された領域画像データは、本開示の技術に係る「部分画像データ」の一例である。

ステップ２６２Ｊで、画像処理回路９４Ｃは、単一高画質切出画像データを生成して出力回路９４Ｄに出力し、その後、画像処理回路９４Ｃは単一領域切出処理を終了する。ここでは、単一高画質切出画像データとして、図１０に示す例と同様に、ステップ２６２Ｉで切り出した３フレーム分の領域画像データを合成して得た合成データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、単一高画質切出画像データは、ステップ２６２Ｉで切り出した３フレーム分の領域画像データを合成して得た合成データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ２６２Ｊの処理が実行されることによって生成される単一高画質切出画像データは、上述した出力用画像データに含まれる画像データの一種であり、本開示の技術に係る「部分画像データに基づく画像データ」の一例である。

図２３に示す複数領域切出処理では、ステップ２６４Ａで、画像処理回路９４Ｃは、ステップ２５４で受け付けられた複数領域切出指示が複数高画質画像切出指示か否かを判定する。ステップ２６４Ａにおいて、ステップ２５４で受け付けられた複数領域切出指示が複数低画質画像切出指示の場合は、判定が否定されて、複数領域切出処理はステップ２６４Ｂへ移行する。ステップ２６４Ａにおいて、ステップ２５４で受け付けられた複数領域切出指示が複数高画質画像切出指示の場合は、判定が肯定されて、複数領域切出処理はステップ２６４Ｆへ移行する。

ステップ２６４Ｂで、画像処理回路９４Ｃは、ステップ２５４で受け付けられた切出指示から未処理の指定アドレスを取得し、その後、複数領域切出処理はステップ２６４Ｃへ移行する。本ステップ２６４Ｂにおいて、「未処理の指定アドレス」とは、後述のステップ２６４Ｃの処理で未だに使用されていない指定アドレスを指す。

ステップ２６４Ｃで、画像処理回路９４Ｃは、メモリ９６内の撮像画像データのうちの１フレーム分の撮像画像データから、ステップ２６４Ｂで取得した指定アドレスに従って領域画像データを切り出し、その後、複数領域切出処理はステップ２６４Ｄへ移行する。領域画像データの切り出し対象となる単一フレームの撮像画像データは、例えば、メモリ９６内に最も過去に記憶された撮像画像データであるが、本開示の技術はこれに限定されない。例えば、領域画像データの切り出し対象となる単一フレームの撮像画像データは、メモリ９６内に複数フレームの撮像画像データが記憶されている場合、どの撮像画像データであってもよい。

ステップ２６４Ｄで、画像処理回路９４Ｃは、未処理の指定アドレスがないか否かを判定する。ステップ２６４Ｄにおいて、未処理の指定アドレスがある場合は、判定が否定されて、複数領域切出処理はステップ２６４Ｂへ移行する。ステップ２６４Ｄにおいて、未処理の指定アドレスがない場合は、判定が肯定されて、複数領域切出処理はステップ２６４Ｅへ移行する。

なお、上記ステップ２６４Ｂ〜ステップ２６４Ｄの処理が実行されることで切り出された複数の領域画像データは、本開示の技術に係る「撮像画像データのうちの複数の領域を示す複数の領域画像データ」の一例である。

ステップ２６４Ｅで、画像処理回路９４Ｃは、複数低画質切出画像データを生成して出力回路９４Ｄに出力し、その後、画像処理回路９４Ｃは複数領域切出処理を終了する。ここでは、複数低画質切出画像データとして、ステップ２６４Ｃで切り出した複数の領域画像データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、複数低画質切出画像データは、ステップ２６４Ｃで切り出した複数の領域画像データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ２６４Ｅの処理が実行されることによって生成される複数低画質切出画像データは、上述した出力用画像データに含まれる画像データの一種であり、本開示の技術に係る「部分画像データに基づく画像データ」の一例である。

ステップ２６４Ｆで、画像処理回路９４Ｃは、メモリ９６に複数フレームの撮像画像データが記憶されているか否かを判定する。なお、本ステップ２６４Ｆでは、複数フレームの一例として、３フレームが採用されている。ステップ２６４Ｆにおいて、メモリ９６に複数フレームの撮像画像データが記憶されていない場合は、判定が否定されて、ステップ２６４Ｇへ移行する。ステップ２６４Ｆにおいて、メモリ９６に複数フレームの撮像画像データが記憶されている場合は、判定が肯定されて、ステップ２６２Ｉへ移行する。

ステップ２６４Ｇ，２６４Ｈで、画像処理回路９４Ｃは、図２１に示すステップ２５６，２５８の処理に相当する処理を実行し、複数領域切出処理はステップ２６４Ｆへ移行する。

ステップ２６４Ｉで、画像処理回路９４Ｃは、ステップ２５４で受け付けられた切出指示から未処理の指定アドレスを取得し、その後、複数領域切出処理はステップ２６４Ｊへ移行する。本ステップ２６４Ｉにおいて、「未処理の指定アドレス」とは、後述のステップ２６４Ｊの処理で未だに使用されていない指定アドレスを指す。

ステップ２６４Ｊで、画像処理回路９４Ｃは、メモリ９６内の撮像画像データのうちの複数フレームの撮像画像データの各々から、ステップ２６４Ｉで取得した指定アドレスに従って領域画像データを切り出し、その後、複数領域切出処理はステップ２６４Ｋへ移行する。

領域画像データの切り出し対象となる複数フレームの撮像画像データは、例えば、メモリ９６に現時点で記憶されている全フレームの撮像画像データ、すなわち、３フレーム分の撮像画像データであるが、本開示の技術はこれに限定されない。１フレーム分の撮像画像データが複数低画質切出画像データであると規定するのであれば、２フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。

ステップ２６４Ｋで、画像処理回路９４Ｃは、未処理の指定アドレスがないか否かを判定する。ステップ２６４Ｋにおいて、未処理の指定アドレスがある場合は、判定が否定されて、複数領域切出処理はステップ２６４Ｉへ移行する。ステップ２６４Ｋにおいて、未処理の指定アドレスがない場合は、判定が肯定されて、複数領域切出処理はステップ２６４Ｌへ移行する。

なお、ステップ２６４Ｉ〜ステップ２６４Ｋの処理が実行されることで切り出された複数の領域画像データは、本開示の技術に係る「撮像画像データのうちの複数の領域を示す複数の箇所画像データ」の一例である。

また、上記ステップ２６４Ｊの処理が実行されることで切り出された複数の領域画像データは、本開示の技術に係る「撮像画像データのうちの複数の領域を示す複数の領域画像データ」の一例である。

ステップ２６４Ｌで、画像処理回路９４Ｃは、複数高画質切出画像データを生成して出力回路９４Ｄに出力し、その後、画像処理回路９４Ｃは複数領域切出処理を終了する。ここでは、複数高画質切出画像データとして、切り出し対象とされた複数の箇所の各々について、図１０に示す例と同様に、ステップ２６４Ｊで切り出した３フレーム分の領域画像データを合成して得た合成データをそのまま採用しているが、本開示の技術はこれに限定されない。

例えば、複数高画質切出画像データは、切り出し対象とされた複数の領域の各々について、ステップ２６４Ｊで切り出した３フレーム分の領域画像データを合成して得た合成データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ２６４Ｌの処理が実行されることによって生成される複数高画質切出画像データは、上述した出力用画像データに含まれる画像データの一種であり、本開示の技術に係る「部分画像データに基づく画像データ」の一例である。

図２１に示す画像データ生成処理では、ステップ２６６で、上記第１実施形態で説明した画像データ生成処理終了条件を満足したか否かを判定する。ステップ２６６において、画像データ生成処理終了条件を満足していない場合は、判定が否定されて、画像データ生成処理はステップ２５０へ移行する。ステップ２６６において、画像データ生成処理終了条件を満足した場合は、判定が肯定されて、画像処理回路９４Ｃは画像データ生成処理を終了する。

次に、処理回路９４の出力回路９４Ｄによって実行される本第２実施形態に係る画像データ出力処理について図８を参照して説明する。なお、図８に示す画像データ出力処理は、出力回路９４Ｄによって第２フレームレートで行われる。

図８に示す画像データ出力処理では、先ず、ステップ２８０で、出力回路９４Ｄは、画像処理回路９４Ｃから出力用画像データが入力されたか否かを判定する。画像処理回路９４Ｃから出力回路９４Ｄに入力される出力用画像データの一例としては、図２１に示す画像データ生成処理により出力された主要被写体画像データ、単一低画質切出画像データ、単一高画質切出画像データ、複数低画質切出画像データ、及び複数高画質切出画像データのうちの少なくとも１つを含む画像データが挙げられる。

ステップ２８０において、画像処理回路９４Ｃから出力用画像データが入力されていない場合は、判定が否定されて、ステップ２８４へ移行する。ステップ２８０において、画像処理回路９４Ｃから出力用画像データが入力された場合は、判定が肯定されて、ステップ２８２へ移行する。

ステップ２８２で、出力回路９４Ｄは、出力用画像データを後段回路９０のＩ／Ｆ５６に出力し、その後、ステップ２８４へ移行する。Ｉ／Ｆ５６は、出力回路９４Ｄから入力された出力用画像データを、例えば、バス６８を介してＣＰＵ５２及び画像処理部６２に出力する。

ステップ２８４で、出力回路９４Ｄは、上記第１実施形態で説明した画像データ出力処理終了条件を満足したか否かを判定する。ステップ２８４において、画像データ出力処理終了条件を満足していない場合は、判定が否定されて、画像データ出力処理はステップ２８０へ移行する。ステップ２８４において、画像データ出力処理終了条件を満足した場合は、判定が肯定されて、出力回路９４Ｄは画像データ出力処理を終了する。

次に、後段回路９０の表示制御部によって実行される表示制御処理について図９を参照して説明する。なお、ここでは、説明の便宜上、図８に示す画像データ出力処理が実行されることで出力回路９４Ｄから出力用画像データが後段回路９０に出力され、出力用画像データがＣＰＵ５２及び画像処理部６２に入力されたことを前提として説明する。

図９に示す表示制御処理では、ステップ２９０で、表示制御部は、画像処理部６２から出力用画像データが入力されたか否かを判定する。ステップ２９０において、画像処理部６２から出力用画像データが入力されていない場合は、判定が否定されて、表示制御処理はステップ２９４へ移行する。ステップ２９０において、画像処理部６２から出力用画像データが入力された場合は、判定が肯定されて、表示制御処理はステップ２９２へ移行する。

ステップ２９２で、表示制御部は、出力用画像データをグラフィックデータとして表示装置に出力し、その後、表示制御処理はステップ２９４へ移行する。本ステップ２９２の処理が実行されることで出力用画像データが表示装置に出力されると、表示装置は、出力用画像データにより示される画像を表示する。例えば、出力用画像データに主要被写体画像データが含まれている場合、表示装置は、主要被写体画像データにより示される主要被写体画像を表示する。

なお、ここでは、主要被写体画像を例示しているが、上記第１実施形態と同様に、全体画像が表示されるようにしてもよいし、主要被写体画像と全体画像との双方を並べて表示されるようにしてもよい。本第２実施形態に係る「全体画像」とは、例えば、図２４に示す光電変換素子９２の一部領域９２Ｂ内の全てのフォトダイオードにより撮像可能な画角に収まる範囲内の被写体の全体を示す画像を指す。

また、例えば、出力用画像データに単一高画質切出画像データが含まれている場合、表示装置は、一例として図２４に示すように、単一高画質切出画像データにより示される単一高画質切出画像と、主要被写体画像とを並べて表示する。

また、タッチパネル４２及び／操作部５４によって拡大表示の指示が受け付けられた場合、表示装置は、一例として図２４に示すように、単一高画質切出画像を拡大して表示する。

なお、図２４に示す例では、単一高画質切出画像の表示例が示されているが、出力用画像データに単一低画質切出画像データが含まれている場合、表示装置は、単一高画質切出画像に代えて単一低画質切出画像を表示する。

また、表示装置に表示される画像の画質は、単一低画質切出画像及び主要被写体画像よりも単一高画質切出画像の方が高い。

また、第１ディスプレイ４０及び第２ディスプレイ８０の双方に同じ画像を表示させる必要はない。例えば、第１ディスプレイ４０及び第２ディスプレイ８０の一方に対して主要被写体画像を表示させ、他方に対して、主要被写体画像と共に、単一高画質切出画像又は単一低画質切出画像を表示させるようにしてもよいし、主要被写体画像を表示させずに、単一高画質切出画像又は単一低画質切出画像を表示させるようにしてもよい。

一方、例えば、出力用画像データに複数高画質切出画像データが含まれている場合、表示装置は、一例として図２５に示すように、複数高画質切出画像データにより示される複数の高画質切出画像と、主要被写体画像とを並べて表示する。図２５に示す例では、表示装置に対して、２つの高画質切出画像と主要被写体画像とを並べて表示させた状態が示されている。

また、タッチパネル４２及び／操作部５４によって拡大表示の指示が受け付けられた場合、表示装置は、複数の高画質切出画像のうちの少なくとも１つを拡大して表示する。

また、表示装置に表示される画像の画質は、複数の低画質切出画像及び主要被写体画像よりも複数の高画質切出画像の方が高い。

また、第１ディスプレイ４０及び第２ディスプレイ８０の双方に同じ画像を表示させる必要はない。例えば、第１ディスプレイ４０及び第２ディスプレイ８０の一方に対して主要被写体画像を表示させ、他方に対して、主要被写体画像と共に、複数の高画質切出画像又は複数の低画質切出画像を表示させるようにしてもよいし、主要被写体画像を表示させずに、複数の高画質切出画像又は複数の低画質切出画像を表示させるようにしてもよい。

ステップ２９４で、表示制御部は、上記第１実施形態で説明した表示制御処理終了条件を満足したか否かを判定する。ステップ２９４において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップ２９０へ移行する。ステップ２９４において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御部は表示制御処理を終了する。

以上説明したように、本第２実施形態に係る撮像装置１０では、切り出し対象に相当する被写体の一部が被写体の複数の領域に跨っており、撮像画像データから複数の領域画像データが切り出される。そして、切り出された複数の領域画像データに基づいて複数低画質画像データ及び複数高画質切出画像データが生成される。

従って、本第２実施形態に係る撮像装置１０は、切り出し対象が被写体の複数の領域に跨っていた場合であっても、消費電力を低減することができる。

ところで、図２５に示す例では、主要被写体画像データに係る指定アドレスにより特定される範囲と複数高画質切出画像データに係る指定アドレスにより特定される範囲とがオーバーラップしている。

しかし、指定アドレスにより特定される範囲がオーバーラップしている状態であっても、メモリ９６に撮像画像データが保持されているので、画像処理回路９４Ｃは、主要被写体画像データと複数高画質切出画像データとを個別に取得することができる。

なお、画像処理回路９４Ｃは、複数高画質切出画像データに限らず、主要被写体画像データと複数低画質切出画像データとを個別に取得することも可能である。また、複数高画質切出画像データ及び複数低画質切出画像データに限らず、主要被写体画像データと単一高画質切出画像データ又は単一低画質切出画像データとが個別に取得されるようにしてもよい。また、主要被写体画像データに代えて全体画像データを適用することも可能である。

なお、上記第２実施形態では、撮像画像データから２つの部分画像データが切り出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像データから３つ以上の部分画像データが切り出されるようにしてもよい。この場合、表示制御部は、全体画像と、３つ以上の部分画像データに基づく３つ以上の画像とを並べて表示させるようにしてもよい。３つ以上の部分画像データに基づく３つ以上の画像のうち、指定された画像のみを拡大表示又は縮小表示させるようにしてもよい。

［第３実施形態］
上記第１実施形態では、部分画像データ及び合焦制御用画像データのうち、部分画像データの活用方法を例示したが、本第２実施形態では、部分画像データ及び合焦制御用画像データの併用方法について説明する。なお、本第３実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

本第２実施形態に係る撮像装置１０は、上記第１実施形態に係る撮像装置１０に比べ、処理回路９４により、図８に示す画像データ生成処理に代えて図２６に示す画像データ生成処理が実行される点が異なる。

図２６に示す画像データ生成処理では、先ず、ステップ３００で、光電変換素子駆動回路９４Ａは、光電変換素子９２の一部領域９２Ａから撮像画像データを読み出し、その後、画像データ生成処理はステップ３０２へ移行する。

本ステップ３００の処理が実行されることで光電変換素子９２の一部領域９２Ａから読み出される１フレーム分の撮像画像データは、一例として図１０に示すように、垂直方向に水平ラインを２ライン飛ばしで間引きした画像データである。

ステップ３０２で、ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａの一部領域９２Ａによって読み出された撮像画像データをデジタル化してメモリ９６に記憶し、その後、画像データ生成処理はステップ３０４へ移行する。

ステップ３０４で、画像処理回路９４Ｃは、タッチパネル４２及び／又は操作部５４によって拡大表示指示が受け付けられたか否かを判定する。拡大表示指示には、上記第１実施形態で説明した指定アドレスが含まれている。

ステップ３０４において、タッチパネル４２及び／又は操作部５４によって拡大表示指示が受け付けられていない場合は、判定が否定されて、画像データ生成処理はステップ３０６へ移行する。ステップ３０４において、タッチパネル４２及び／又は操作部５４によって拡大表示指示が受け付けられた場合は、判定が肯定されて、画像データ生成処理はステップ３１０へ移行する。

ステップ３０６，３０８で、画像処理回路９４Ｃは、図７に示すステップ１０６，１０８に相当する処理を実行し、その後、ステップ３３４へ移行する。

ステップ３１０で、画像処理回路９４Ｃは、ステップ３０４で受け付けられた拡大表示指示が合焦制御拡大表示指示か否かを判定する。合焦制御拡大表示指示とは、表示装置に対して、指定アドレスに従って指定された箇所の画像を拡大して表示させることに加え、処理回路９４に対して、合焦制御用画像データを生成させて出力させる指示を指す。

ステップ３１０において、ステップ３０４で受け付けられた拡大表示指示が合焦制御拡大表示指示でない場合は、判定が否定されて、画像データ生成処理はステップ３１２へ移行する。ステップ３１０において、ステップ３０４で受け付けられた拡大表示指示が合焦制御拡大表示指示の場合は、判定が肯定されて、画像データ生成処理はステップ３１８へ移行する。

ステップ３１２，３１４で、画像処理回路９４Ｃは、図７に示すステップ１１２，１１４の処理に相当する処理を実行し、その後、画像データ生成処理はステップ３１６へ移行する。

ステップ３１６で、画像処理回路９４Ｃは、拡大表示用画像データを生成して出力回路９４Ｄに出力し、その後、画像処理回路９４Ｃはステップ３３４へ移行する。ここでは、拡大表示用画像データとして、ステップ３１４で切り出した部分画像データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、拡大表示用画像データは、ステップ３１４で切り出した部分画像データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ３１６の処理が実行されることによって生成される拡大表示用画像データは、上述した出力用画像データに含まれる画像データの一種である。

ステップ３１８，３２０，３２２，３２４，３２６で、画像処理回路９４Ｃは、図７に示すステップ１１８，１２０，１２２，１２４，１２６の処理に相当する処理を実行する。ステップ３２６の処理が実行された後、画像データ生成処理はステップ３２８へ移行する。

ステップ３２８で、画像処理回路９４Ｃは、ステップ３２４で取得した指定アドレスに基づいて合焦制御用アドレスを導出し、その後、画像データ生成処理はステップ３３０へ移行する。合焦制御用アドレスは、撮像画像データが記憶されたメモリ９６からＣＰＵ５２による合焦制御に要する撮像画像データの一部を特定可能なアドレスである。本ステップ３２８では、既定の導出テーブルに従って指定アドレスから合焦制御用アドレスが導出されるが、本開示の技術はこれに限定されない。例えば、上記の導出テーブルと同様の結果を導出可能な演算式により合焦制御用アドレスが導出されるようにしてもよい。

ステップ３３０は、画像処理回路９４Ｃは、メモリ９６内の撮像画像データのうちの複数フレームの撮像画像データの各々から、ステップ３２８で取得した合焦制御用アドレスに従って部分画像データを切り出し、その後、画像データ生成処理はステップ３３２へ移行する。なお、以下では、ステップ３２６で切り出された部分画像データを「拡大表示用部分画像データ」と称し、ステップ３３０で切り出された部分画像データを「合焦制御用部分画像データ」と称する。

合焦制御用部分画像データの切り出し対象となる複数フレームの撮像画像データは、例えば、メモリ９６に現時点で記憶されている全フレームの撮像画像データ、すなわち、３フレーム分の撮像画像データであるが、本開示の技術はこれに限定されない。１フレーム又は２フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。

ステップ３３２で、画像処理回路９４Ｃは、図７に示すステップ１２８の高画質切出画像データに相当する画像データを拡大表示用画像データとして生成し、合焦制御用部分画像データに基づいて合焦制御用部分画像データを生成する。そして、画像処理回路９４Ｃは、生成した拡大表示用画像データ及び合焦制御用部分画像データを出力回路９４Ｄに出力し、その後、画像データ生成処理はステップ３３４へ移行する。

ここでは、合焦制御用画像データとして、図１０に示す例と同様に、ステップ３３０で切り出した３フレーム分の合焦制御用部分画像データを合成して得た合成データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、合焦制御用画像データは、ステップ３３０で切り出した３フレーム分の合焦制御用部分画像データを合成して得た合成データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ３３２の処理が実行されることによって生成される合焦制御用画像データは、上述した出力用画像データに含まれる画像データの一種である。

図２７に示す例では、拡大表示用画像データ２００Ａと合焦制御用画像データ３５２との画像間の広さの関係性が示されている。一例として図２７に示すように、合焦制御用画像データ３５２により示される画像は、拡大表示用画像データ２００Ａにより示される画像よりも広い範囲の画像である。ここで言う「広い範囲」とは、上記第１実施形態で説明した「予め定められた範囲」を意味する。

なお、撮像装置１０において表示装置によりライブビュー画像が表示されている状態で、例えば、ＣＰＵ５２によって、いわゆるコントラストＡＦ又は位相差ＡＦが行われる場合、ボケ量に応じて合焦制御用画像データ３５２により示される画像の領域を拡縮してもよい。例えば、画像処理回路９４Ｃは、ＣＰＵ５２の制御下で、ボケ量が少なくなるほど合焦制御用画像データ３５２により示される画像の領域を狭くするように合焦制御用画像データ３５２を調節する。これにより、撮像装置１０は、合焦制御用画像データ３５２がボケ量に拘らず一定である場合に比べ、電力消費を低減することができる。

ステップ３３４で、画像処理回路９４Ｃは、上記第１実施形態で説明した画像データ生成処理終了条件を満足したか否かを判定する。ステップ３３４において、上記第１実施形態で説明した画像データ生成処理終了条件を満足していない場合は、判定が否定されて、画像データ生成処理はステップ３００へ移行する。ステップ３３４において、上記第１実施形態で説明した画像データ生成処理終了条件を満足した場合は、判定が肯定されて、画像処理回路９４Ｃは画像データ生成処理を終了する。

次に、処理回路９４の出力回路９４Ｄによって実行される本第３実施形態に係る画像データ出力処理について図８を参照して説明する。なお、図８に示す画像データ出力処理は、出力回路９４Ｄによって第２フレームレートで行われる。

図８に示す画像データ出力処理では、先ず、ステップ３５０で、出力回路９４Ｄは、画像処理回路９４Ｃから出力用画像データが入力されたか否かを判定する。画像処理回路９４Ｃから出力回路９４Ｄに入力される出力用画像データの一例としては、全体画像データ、拡大表示用画像データ、及び合焦制御用画像データのうちの少なくとも１つを含む画像データが挙げられる。

ステップ３５０において、画像処理回路９４Ｃから出力用画像データが入力されていない場合は、判定が否定されて、ステップ３５４へ移行する。ステップ３５０において、画像処理回路９４Ｃから出力用画像データが入力された場合は、判定が肯定されて、ステップ３５１へ移行する。

ステップ３５１で、出力回路９４Ｄは、出力用画像データを後段回路９０のＩ／Ｆ５６に出力し、その後、ステップ３５４へ移行する。Ｉ／Ｆ５６は、出力回路９４Ｄから入力された出力用画像データを、例えば、バス６８を介してＣＰＵ５２及び画像処理部６２に出力する。

ステップ３５４で、出力回路９４Ｄは、上記第１実施形態で説明した画像データ出力処理終了条件を満足したか否かを判定する。ステップ３５４において、画像データ出力処理終了条件を満足していない場合は、判定が否定されて、画像データ出力処理はステップ２３５０へ移行する。ステップ３５４において、画像データ出力処理終了条件を満足した場合は、判定が肯定されて、出力回路９４Ｄは画像データ出力処理を終了する。

次に、ＣＰＵ５２によって実行される出力用画像データ処理について図２８を参照して説明する。

なお、本第３実施形態に係る撮像装置１０では、出力用画像データ処理プログラムが二次記憶部６０に記憶されており、ＣＰＵ５２は、出力用画像データ処理プログラムを二次記憶部６０から読み出し、一次記憶部５８に展開する。ＣＰＵ５２は、一次記憶部５８に展開した出力用画像データ処理プログラムに従って出力用画像データ処理を実行する。

図２８に示す出力用画像データ処理では、ステップ３６０で、ＣＰＵ５２は、処理回路９４から出力用画像データがＩ／Ｆ５６に入力されたか否かを判定する。ステップ３６０において、処理回路９４から出力用画像データがＩ／Ｆ５６に入力されていない場合は、判定が否定されて、出力用画像データ処理はステップ３７０へ移行する。ステップ３６０において、処理回路９４から出力用画像データがＩ／Ｆ５６に入力された場合は、判定が肯定されて、出力用画像データ処理はステップ３６２へ移行する。

ステップ３６２で、出力用画像データに拡大表示用画像データのみが含まれているか否かを判定する。ステップ３６２において、出力用画像データに拡大表示用画像データのみが含まれている場合は、判定が肯定されて、出力用画像データ処理はステップ３６４へ移行する。ステップ３６２において、出力用画像データに拡大表示用画像データ及び合焦制御用画像データが含まれている場合は、判定が否定されて、出力用画像データ処理はステップ３６６へ移行する。

ステップ３６４で、ＣＰＵ５２は、拡大表示用データを表示制御部に出力し、その後、出力用画像データ処理はステップ３７０へ移行する。拡大表示用データが表示制御部に出力されると、一例として図２７に示すように、表示制御部は、表示装置に対して、拡大表示用画像データに基づく画像を表示させる。表示装置には、拡大表示用画像データに基づく画像が第２フレームレートで表示される。

ステップ３６６で、ＣＰＵ５２は、ステップ３６４の処理に相当する処理を実行し、その後、出力用画像データ処理はステップ３６８へ移行する。

ステップ３６８で、ＣＰＵ５２は、合焦制御用画像データに基づいて合焦制御を行い、その後、出力用画像データ処理はステップ３７０へ移行する。

ステップ３７０で、ＣＰＵ５２は、出力用画像データ処理を終了する条件である出力用画像データ処理終了条件を満足したか否かを判定する。出力用画像データ処理終了条件の一例としては、上記第１実施形態で説明した表示制御処理終了条件と同じ条件が挙げられる。

ステップ３７０において、出力用画像データ処理終了条件を満足していない場合は、判定が否定されて、出力用画像データ処理はステップ３６０へ移行する。ステップ３７０において、出力用画像データ処理終了条件を満足した場合は、判定が肯定されて、ＣＰＵ５２は出力用画像データ処理を終了する。

以上説明したように、本第３実施形態に係る撮像装置１０では、合焦制御用画像データが生成され、出力用画像データには、生成された合焦用画像データが含まれている。従って、本第３実施形態に係る撮像装置１０は、合焦制御用画像データが後段回路９０で生成される場合に比べ、合焦制御用画像データを用いて合焦制御が行われる場合であっても、消費電力を低減することができる。

［第４実施形態］
上記第１実施形態では、画像データ生成処理及び画像データ出力処理を例示したが、本第４実施形態では、処理回路９４が撮像制御処理を更に実行する形態例について説明する。なお、本第４実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

本第４実施形態に係る撮像装置１０は、上記第１実施形態に係る撮像装置１０に比べ、処理回路９４が図２９に示す撮像制御処理を更に実行可能である点が異なる。また、本第４実施形態に係る撮像装置１０は、上記第１実施形態に係る撮像装置１０に比べ、図３０に示す画像データ生成処理を更に実行可能である点が異なる。なお、図２９に示す撮像制御処理及び図３０に示す画像データ生成処理は、処理回路９４によって第１フレームレートで実行される。

図２９に示す撮像制御処理では、先ず、ステップ４００で、処理回路９４は、タッチパネル４２及び／又は操作部５４によって撮像箇所指定情報が受け付けられたか否かを判定する。撮像箇所指定情報とは、光電変換素子９２内の全てのフォトダイオードのうち、部分画像データを得るために使用するフォトダイオードを指定する情報を指す。撮像箇所指定情報は、光電変換素子９２内の指定された位置を特定可能な撮像箇所指定アドレスが含まれている。

ステップ４００において、タッチパネル４２及び／又は操作部５４によって撮像箇所指定情報が受け付けられていない場合は、判定が否定されて、撮像制御処理はステップ４０２へ移行する。ステップ４００において、タッチパネル４２及び／又は操作部５４によって撮像箇所指定情報が受け付けられた場合は、判定が肯定されて、撮像制御処理はステップ４０４へ移行する。なお、本ステップ４００において判定が肯定された場合は、本開示の技術に係る「被写体の一部が指定されることで光電変換素子のうちの被写体の一部に対応する箇所が指定された場合」の一例である。

ステップ４０２で、光電変換素子駆動回路９４Ａは、光電変換素子９２内の全てのフォトダイオードを使用して被写体を撮像することで撮像画像データを取得し、その後、撮像制御処理はステップ４１４へ移行する。

ステップ４０４で、光電変換素子駆動回路９４Ａは、撮像箇所指定情報から撮像箇所指定アドレスを取得し、その後、撮像制御処理はステップ４０６へ移行する。

ステップ４０６で、光電変換素子駆動回路９４Ａは、光電変換素子９２に対して、撮像箇所指定アドレスに従って指定された撮像箇所で撮像を開始させ、その後、撮像制御処理はステップ４０８へ移行する。本ステップ４０６の処理が実行されることで撮像されて得られた撮像画像データは、部分画像相当データである。部分画像相当データとは、上記第１実施形態で説明した部分画像データに相当する画像データを指す。部分画像相当データは、部分画像データと同様に、メモリ９６に記憶される。

ステップ４０８で、処理回路９４は、メモリ９６から部分画像相当データを取得し、その後、撮像制御処理はステップ４１０へ移行する。

ステップ４１０で、処理回路９４は、光電変換素子９２に対する撮像箇所の指定状態を解除する解除条件を満足したか否かを判定する。ステップ４１０において、解除条件を満足していない場合は、判定が否定されて、撮像制御処理はステップ４００へ移行する。ステップ４１０において、解除条件を満足した場合は、判定が肯定されて、撮像制御処理はステップ４１２へ移行する。

ステップ４１２で、光電変換素子駆動回路９４Ａは、光電変換素子９２に対する撮像箇所の指定状態を解除し、その後、撮像制御処理はステップ４１４へ移行する。

ステップ４１４で、処理回路９４は、撮像制御処理を終了する条件である撮像制御処理終了条件を満足したか否かを判定する。撮像制御処理終了条件としては、例えば、撮像制御処理を終了させる指示がタッチパネル４２及び／又は操作部５４によって受け付けられたとの条件が挙げられる。

ステップ４１４において、撮像制御処理終了条件を満足していない場合は、判定が否定されて、撮像制御処理はステップ４００へ移行する。ステップ４１４において、撮像制御処理終了条件を満足した場合は、判定が肯定されて、処理回路９４は撮像制御処理を終了する。

次に、本第４実施形態に係る画像データ生成処理が処理回路９４によって実行される場合について図３０を参照して説明する。

図３０に示す画像データ生成処理では、ステップ４５０で、処理回路９４は、光電変換素子駆動回路９４Ａにより光電変換素子９２から画像データが取得されたか否かを判定する。なお、ここでは、説明の便宜上、光電変換素子９２から取得される画像データは、撮像制御処理のステップ４０８で取得された部分画像相当データ、又は、撮像制御処理のステップ４０２で取得された撮像画像データである。

ステップ４５０において、光電変換素子駆動回路９４Ａにより光電変換素子９２から画像データが取得されていない場合は、判定が否定されて、画像データ生成処理はステップ４６８へ移行する。ステップ４５０において、光電変換素子駆動回路９４Ａにより光電変換素子９２から画像データが取得された場合は、判定が肯定されて、画像データ生成処理はステップ４５２へ移行する。

ステップ４５２で、処理回路９４は、光電変換素子９２から取得された画像データが部分画像相当データであるか否かを判定する。ステップ４５２において、光電変換素子９２から取得された画像データが部分画像相当データでない場合、すなわち、光電変換素子９２から取得された画像データが撮像画像データの場合は、判定が否定されて、ステップ４５４へ移行する。ステップ４５２において、光電変換素子９２から取得された画像データが部分画像相当データの場合は、判定が肯定されて、画像データ生成処理はステップ４５６へ移行する。なお、光電変換素子９２から取得された画像データが撮像画像データの場合、撮像画像データは、メモリ９６に記憶される。

ステップ４５４で、画像処理回路９４Ｃは、メモリ９６から撮像画像データを取得し、取得した撮像画像データに基づいて、上記第１実施形態で説明した全体画像データを生成して出力回路９４Ｄに出力し、その後、画像データ生成処理はステップ４６８へ移行する。

ステップ４５６で、ＡＤ変換回路９４Ｂは、部分画像相当データをメモリ９６に記憶し、その後、画像データ生成処理はステップ４５８へ移行する。

ステップ４５８で、画像処理回路９４Ｃは、上記第１実施形態で説明した高画質切出指示がタッチパネル４２及び／又は操作部５４によって受け付けられたか否かを判定する。ステップ４５８において、高画質切出指示がタッチパネル４２及び／又は操作部５４によって受け付けられていない場合は、判定が否定されて、画像データ生成処理はステップ４６０へ移行する。ステップ４５８において、高画質切出指示がタッチパネル４２及び／又は操作部５４によって受け付けられた場合は、判定が肯定されて、画像データ生成処理はステップ４６２へ移行する。

ステップ４６０で、画像処理回路９４Ｃは、メモリ９６から単一フレームの部分画像相当データを取得する。そして、画像処理回路９４Ｃは、取得した単一フレームの部分画像相当データに基づいて低画質切出画像相当データを生成して出力回路９４Ｄに出力し、その後、画像データ生成処理はステップ４６８へ移行する。

なお、単一フレームの部分画像相当データとは、例えば、メモリ９６内に最も過去に記憶された部分画像相当データを指すが、本開示の技術はこれに限定されない。例えば、単一フレームの部分画像相当データは、メモリ９６内に複数フレームの部分画像相当データが記憶されている場合、どの部分画像相当データであってもよい。

また、低画質切出画像相当データとは、上記第１実施形態で説明した低画質切出画像データに相当する画像データを指す。

ステップ４６２で、画像処理回路９４Ｃは、メモリ９６に複数フレームの撮像画像データが記憶されているか否かを判定する。なお、本ステップ４６２では、複数フレームの一例として、３フレームが採用されている。ステップ４６２において、メモリ９６に複数フレームの撮像画像データが記憶されていない場合は、判定が否定されて、画像データ生成処理はステップ４６４へ移行する。ステップ４６２において、メモリ９６に複数フレームの撮像画像データが記憶されている場合は、判定が肯定されて、画像データ生成処理はステップ４６６へ移行する。

ステップ４６４で、画像処理回路９４Ｃは、ステップ４５４の処理に相当する処理を実行し、その後、画像データ生成処理はステップ４６２へ移行する。

ステップ４６６で、画像処理回路９４Ｃは、メモリ９６から複数フレームの部分画像相当データを取得する。そして、画像処理回路９４Ｃは、取得した複数フレームの部分画像相当データに基づいて高画質切出画像相当データを生成して出力回路９４Ｄに出力し、その後、画像データ生成処理はステップ４６８へ移行する。

なお、高画質切出画像相当データとは、上記第１実施形態で説明した高画質切出画像データに相当する画像データを指す。また、ここでは、高画質切出画像相当データとして、図１０に示す例と同様に、３フレーム分の部分画像相当データを合成して得た合成データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、高画質切出画像相当データは、３フレーム分の部分画像データを合成して得た合成データに対して各種画像処理を施して得た画像データであってもよい。

また、上記ステップ４６０の処理が実行されることで生成される低画質切出画像データ、及び上記ステップ４６６の処理が実行されることで生成される高画質切出画像データは、本開示の技術に係る「部分画像相当データに基づく画像データ」の一例である。

ステップ４６８で、画像処理回路９４Ｃは、上記第１実施形態で説明した画像データ生成処理終了条件を満足したか否かを判定する。ステップ４６８において、画像データ生成処理終了条件を満足していない場合は、判定が否定されて、画像データ生成処理はステップ４５０へ移行する。ステップ４６８において、画像データ生成処理終了条件を満足した場合は、判定が肯定されて、画像処理回路９４Ｃは画像データ生成処理を終了する。

なお、以下では、説明の便宜上、低画質切出画像相当データと高画質切出画像相当データとを区別して説明する必要がない場合は、「切出画像相当データ」と称する。

次に、処理回路９４の出力回路９４Ｄによって実行される本第４実施形態に係る画像データ出力処理について図８を参照して説明する。なお、図８に示す本第４実施形態に係る画像データ出力処理は、出力回路９４Ｄによって第２フレームレートで行われる。

図８に示す本第４実施形態に係る画像データ出力処理では、先ず、ステップ４９０で、出力回路９４Ｄは、画像処理回路９４Ｃから切出画像相当データが入力されたか否かを判定する。ステップ４９０において、画像処理回路９４Ｃから切出画像相当データが入力されていない場合は、判定が否定されて、ステップ４９４へ移行する。ステップ４９０において、画像処理回路９４Ｃから切出画像相当データが入力された場合は、判定が肯定されて、ステップ４９２へ移行する。

ステップ４９２で、出力回路９４Ｄは、切出画像相当データを後段回路９０のＩ／Ｆ５６に出力し、その後、ステップ４９４へ移行する。Ｉ／Ｆ５６は、出力回路９４Ｄから入力された切出画像相当データを、例えば、バス６８を介してＣＰＵ５２及び画像処理部６２に出力する。

ステップ４９４で、出力回路９４Ｄは、画像データ出力処理終了条件を満足したか否かを判定する。ステップ４９４において、画像データ出力処理終了条件を満足していない場合は、判定が否定されて、画像データ出力処理はステップ４９０へ移行する。ステップ４９４において、画像データ出力処理終了条件を満足した場合は、判定が肯定されて、出力回路９４Ｄは画像データ出力処理を終了する。

次に、後段回路９０の表示制御部によって実行される本第４実施形態に係る表示制御処理について図９を参照して説明する。なお、ここでは、説明の便宜上、図８に示す画像データ出力処理が実行されることで出力回路９４Ｄから切出画像相当データが後段回路９０に出力され、切出画像相当データがＣＰＵ５２及び画像処理部６２に入力されたことを前提として説明する。また、高画質切出画像相当データにより示される画像と低画質切出画像相当データにより示される画像とを区別して説明する必要がない場合、「切出相当画像」と称する。

図９に示す表示制御処理では、ステップ５００で、表示制御部は、画像処理部６２から切出画像相当データが入力されたか否かを判定する。ステップ５００において、画像処理部６２から切出画像相当データが入力されていない場合は、判定が否定されて、表示制御処理はステップ５０４へ移行する。ステップ５００において、画像処理部６２から切出画像相当データが入力された場合は、判定が肯定されて、表示制御処理はステップ５０２へ移行する。

ステップ５０２で、表示制御部は、切出画像相当データをグラフィックデータとして表示装置に出力し、その後、表示制御処理はステップ５０４へ移行する。本ステップ５０２の処理が実行されることで切出画像相当データが表示装置に出力されると、表示装置は、切出画像相当データにより示される切出相当画像を表示する。

切出画像は、高画質切出相当画像及び低画質切出相当画像の何れかである。高画質切出相当画像は、図１０に示す例と同様に、３フレーム分の撮像画像データを合成して得た合成データに基づく画像に相当する画像である。これに対し、低画質切出相当画像は、１フレーム分の撮像画像データに基づく間引き画像である。よって、表示装置に表示される画像の画質は、低画質切出相当画像よりも高画質切出相当画像の方が高い。

ステップ５０４で、表示制御部は、表示制御処理終了条件を満足したか否かを判定する。ステップ５０４において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップ５００へ移行する。ステップ５０４において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御部は表示制御処理を終了する。

このように、一例として、図２９に示す撮像制御処理、図３０に示す画像データ生成処理、図８に示す画像データ出力処理、及び図９に示す表示制御処理が実行されることで、表示制御部の制御下で、表示装置によりライブビュー画像が表示される。この場合の「ライブビュー画像」とは、切出画像相当データに基づくライブビュー形式の画像を指す。なお、本第４実施形態に係る撮像装置１０では、ライブビュー画像が第２フレームレートで表示される。

以上説明したように本第４実施形態に係る撮像装置１０では、処理回路９４は、光電変換素子９２に対して、撮像箇所指定アドレスに従って指定された撮像箇所で撮像を行わせることで部分画像相当データを生成し、メモリ９６に記憶する。処理回路９４は、メモリ９６から部分画像相当データを取得する。そして、出力回路９４Ｄは、切出画像相当データが後段回路９０に出力する。

従って、本第４実施形態に係る撮像装置１０は、常に光電変換素子９２の全領域を使用して被写体が撮像される場合に比べ、消費電力を低減することができる。

なお、上記各実施形態では、圧縮画像データがライブビュー画像の表示に供される場合について説明したが、本開示の技術はこれに限定されない。例えば、圧縮画像データは、後段回路９０において、ＣＰＵ５２により、二次記憶部６０に記憶されるようにしてもよいし、外部Ｉ／Ｆ６３を介して撮像装置１０の外部に出力されるようにしてもよい。

上記各実施形態では、ＡＳＩＣが実現される処理回路９４を例示したが、上述した画像データ生成処理、画像データ出力処理、及び撮像制御処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図３１に示すように、上述した画像データ生成処理、画像データ出力処理、及び撮像制御処理を撮像素子２０に内蔵されたコンピュータ２０Ａに実行させるためのプログラム６００を記憶媒体７００に記憶させておく。コンピュータ２０Ａは、ＣＰＵ２０Ａ１、ＲＯＭ２０Ａ２、及びＲＡＭ２０Ａ３を備えている。そして、記憶媒体７００のプログラム６００がコンピュータ２０Ａにインストールされ、コンピュータ２０ＡのＣＰＵ２０Ａ１は、プログラム６００に従って、上述した画像データ生成処理、画像データ出力処理、及び撮像制御処理を実行する。ここでは、ＣＰＵ２０Ａ１として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ２０Ａ１に代えて複数のＣＰＵを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって、上述した画像データ生成処理、画像データ出力処理、及び／又は撮像制御処理が実行されるようにしてもよい。

なお、記憶媒体７００の一例としては、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの任意の可搬型の記憶媒体が挙げられる。

また、通信網（図示省略）を介してコンピュータ２０Ａに接続される他のコンピュータ又はサーバ装置等の記憶部にプログラム６００を記憶させておき、プログラム６００が撮像装置１０等の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラム６００がコンピュータ２０Ａによって実行される。

また、コンピュータ２０Ａは、撮像素子２０の外部に設けられるようにしてもよい。この場合、コンピュータ２０Ａがプログラム６００に従って処理回路９４を制御するようにすればよい。

上記各実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。ここで、上記各実施形態で説明した各種処理とは、画像データ生成処理、画像データ出力処理、表示制御処理、単一領域切出処理、複数領域切出処理、出力用画像データ処理、及び撮像制御処理が挙げられる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。

本開示の技術に係る各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、本開示の技術に係る各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）などに代表されるように、本開示の技術に係る各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記各実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図３２に示すスマートデバイス９００に対して本開示の技術を適用するようにしてもよい。一例として図３２に示すスマートデバイス９００は、本開示の技術に係る撮像装置の一例である。スマートデバイス９００には、上記実施形態で説明した撮像素子２０が搭載されている。このように構成されたスマートデバイス９００であっても、上記各実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス９００に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

また、上記各実施形態では、表示装置として第１ディスプレイ４０及び第２ディスプレイ８０を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。

また、上記実施形態で説明した画像データ生成処理、画像データ出力処理、表示制御処理、出力用画像データ処理、及び撮像制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (16)

1. 撮像素子であって、
   被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵された記憶部と、
   前記撮像画像データに対して処理を施し、かつ、前記撮像素子に内蔵された処理部と、
   前記撮像画像データに対して前記処理が施されることで得られた出力用画像データを第２フレームレートで前記撮像素子の外部に出力し、かつ、前記撮像素子に内蔵された出力部と、を含み、
   前記処理部は、１フレームの前記撮像画像データに対する切出処理であって、前記記憶部のうちの指定されたアドレスから前記撮像画像データのうちの前記被写体の一部の画像を示す部分画像データを切り出す切出処理を行い、
   前記出力用画像データは、前記処理部により前記切出処理が行われることで前記撮像画像データから切り出された前記部分画像データに基づく画像データを含み、
   前記第１フレームレートは、第２フレームレートよりも高いフレームレートである
   撮像素子。
2. 前記切出処理は、前記記憶部に記憶された前記撮像画像データから前記記憶部に対するランダムアクセスにより前記部分画像データを切り出す処理である請求項１に記載の撮像素子。
3. 前記記憶部は、前記撮像画像データを複数フレームで記憶可能であり、
   前記切出処理は、前記記憶部に記憶された前記撮像画像データから、前記複数フレーム分の前記部分画像データを切り出す処理を含み、
   前記出力部は、前記処理部により前記切出処理が行われることで切り出された前記複数フレーム分の前記部分画像データが合成されて得られた画像データを前記出力用画像データとして出力する請求項１又は請求項２に記載の撮像素子。
4. 前記部分画像データは、前記一部が分割されて得られた複数の分割領域に対応する複数の分割領域画像データのうちの少なくとも１つである請求項３に記載の撮像素子。
5. 前記複数の分割領域画像データは、互いに異なる画素がライン単位で間引かれた関係性を有する請求項４に記載の撮像素子。
6. 前記出力用画像データは、前記複数の分割領域画像データが合成されて得られた合成データを含む請求項４又は請求項５に記載の撮像素子。
7. 前記出力部は、前記複数の分割領域画像データのうちの一部の分割領域画像データと前記合成データとを、与えられた条件に応じて選択的に前記部分画像データとして出力する請求項６に記載の撮像素子。
8. 前記被写体は光電変換素子により撮像され、
   前記処理部は、前記一部が指定されることで前記光電変換素子のうちの前記一部に対応する箇所が指定された場合に、前記光電変換素子のうちの前記箇所に対して撮像させ、
   前記処理部は、前記箇所により撮像されることで前記部分画像データに相当する部分画像相当データを前記第１フレームレートで取得し、取得した前記部分画像相当データに基づく画像データを前記第２フレームレートで前記撮像素子の外部に出力する請求項１から請求項７の何れか一項に記載の撮像素子。
9. 前記一部は、前記被写体に対して複数の領域に跨っており、
   前記部分画像データは、前記撮像画像データのうちの前記複数の領域を示す複数の領域画像データである請求項１から請求項８の何れか一項に記載の撮像素子。
10. 前記出力用画像データは、前記被写体のうちの前記一部よりも広い範囲の画像を示す広範囲画像データを更に含み、
    前記広範囲画像データの解像度は、前記部分画像データの解像度よりも低い請求項１から請求項９の何れか一項に記載の撮像素子。
11. 前記広範囲画像データは、前記被写体の全体の画像を示す画像データである請求項１０に記載の撮像素子。
12. 前記出力用画像データは、前記被写体のうちの前記一部よりも広い範囲であって、前記撮像素子を有する撮像装置の合焦制御に要する範囲として予め定められた範囲の画像を示す合焦制御用画像データを更に含む請求項１から請求項１１の何れか一項に記載の撮像素子。
13. 前記撮像素子は、光電変換素子を有し、前記光電変換素子に前記記憶部が積層された積層型撮像素子である請求項１から請求項１２の何れか一項に記載の撮像素子。
14. 請求項１から請求項１３の何れか一項に記載の撮像素子と、
    前記処理部により出力された前記出力用画像データに基づく画像を表示部に対して拡大表示させる制御を行う制御部と、
    を含む撮像装置。
15. 記憶部、処理部、及び出力部が内蔵された撮像素子の画像データ処理方法であって、
    前記記憶部に対して、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶させ、
    前記処理部に対して、前記撮像画像データに対して処理を施させ、
    前記出力部に対して、前記撮像画像データに対して前記処理が施されることで得られた出力用画像データを第２フレームレートで前記撮像素子の外部に出力させ、
    前記処理部に対して、１フレームの前記撮像画像データに対する切出処理であって、前記記憶部のうちの指定されたアドレスから前記撮像画像データのうちの前記被写体の一部の画像を示す部分画像データを切り出す切出処理を行わせることを含み、
    前記出力用画像データは、前記処理部により前記切出処理が行われることで前記撮像画像データから切り出された前記部分画像データに基づく画像データを含み、
    前記第１フレームレートは、第２フレームレートよりも高いフレームレートである
    画像データ処理方法。
16. コンピュータを、
    記憶部と、処理部と、出力部とが内蔵された撮像素子に含まれる前記処理部及び前記出力部として機能させるためのプログラムであって、
    前記記憶部は、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、
    前記処理部は、前記撮像画像データに対して処理を施し、
    前記出力部は、前記撮像画像データに対して前記処理が施されることで得られた出力用画像データを第２フレームレートで前記撮像素子の外部に出力し、
    前記処理部は、１フレームの前記撮像画像データに対する切出処理であって、前記記憶部のうちの指定されたアドレスから前記撮像画像データのうちの前記被写体の一部の画像を示す部分画像データを切り出す切出処理を行い、
    前記出力用画像データは、前記処理部により前記切出処理が行われることで前記撮像画像データから切り出された前記部分画像データに基づく画像データを含み、
    前記第１フレームレートは、第２フレームレートよりも高いフレームレートである
    プログラム。

Images