JP7004853B2 - 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像素子、撮像装置、撮像素子の作動方法、及びプログラムに関する。

特開２０１４－１７８６０３号公報には、撮像チップ、信号処理チップ、及びメモリチップが積層された撮像素子が開示されている。特開２０１４－１７８６０３号公報に記載の技術では、コントラスト評価値又は位相差評価値に基づいて注目領域の焦点調節状態が検出され、注目領域については、それ以外の領域のフレームレートよりも高いフレームレートで撮像が行われる。

特開２０１４－１７８６０３号公報には、第１のフレームレートで第１の画像を取得するとともに、第１のフレームレートより高い第２のフレームレートで複数の第２の画像を取得する技術が開示されている。特開２０１４－１７８６０３号公報に記載の技術では、第１の画像及び複数の第２の画像の高周波成分に基づきフォーカスレンズの位置が制御されることで被写体像に対する焦点調節が行われる。そして、複数の第２の画像のうち合焦率の高い画像が選択され、選択された画像が第１の画像と合成されることでダイナミックレンジが拡大された画像が生成される。

本開示の技術に係る一つの実施形態は、撮像されることで得られた全ての画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる撮像素子、撮像装置、撮像素子の作動方法、及びプログラムを提供する。

本開示の技術の第１の態様は、撮像素子であって、被写体が第１フレームレートで撮像されることで得られた画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、画像データを用いた処理を行い、かつ、撮像素子に内蔵された処理部と、処理部での処理結果に基づいて、画像データに基づく出力画像データを第２フレームレートで出力し、かつ、撮像素子に内蔵された出力部と、を含み、第１フレームレートは、第２フレームレート以上であり、処理部は、記憶部に記憶された画像データに対して合焦の度合いを示す評価値を導出し、導出した評価値に基づいて第２フレームレートを変更する処理を行う撮像素子である。これにより、撮像されることで得られた全ての画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。

本開示の技術の第２の態様は、第２フレームレートは、低フレームレートと、低フレームレートよりも高いフレームレートである高フレームレートとに選択的に設定され、処理部は、評価値が第１閾値以上の場合に第２フレームレートを高フレームレートに設定し、評価値が第１閾値未満の場合に第２フレームレートを低フレームレートに設定する第１の態様に係る撮像素子である。これにより、全ての画像データが出力される場合に比べ、画像データの出力に要する消費電力を低減することができる。

本開示の技術の第３の態様は、出力部は、評価値が第２閾値未満の場合に、第２閾値未満の評価値の導出対象とされた画像データを出力しない第１の態様又は第２の態様に係る撮像素子である。これにより、合焦評価値が閾値未満の間引き画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。

本開示の技術の第４の態様は、第２フレームレートの変更タイミングは、評価値が第３閾値未満から第３閾値以上に変化するタイミングよりも、第１フレーム数分、前に設定される第１の態様から第３の態様の何れか１つの態様に係る撮像素子である。これにより、ユーザに対して、画像を通して非合焦状態から合焦状態への遷移態様を視覚的に認識させることができる。

本開示の技術の第５の態様は、第２フレームレートの変更タイミングは、評価値が第４閾値以上から第４閾値未満に変化するタイミングよりも、第２フレーム数分、後に設定される第１の態様から第４の態様の何れか１つの態様に係る撮像素子である。これにより、ユーザに対して、画像を通して合焦状態から非合焦状態への遷移態様を視覚的に認識させることができる。

本開示の技術の第６の態様は、第２フレームレートの変更タイミングは、評価値が第５閾値未満から第５閾値以上に変化するタイミングよりも、第３フレーム数分、前に設定され、かつ、第２フレームレートの変更タイミングは、評価値が第５閾値以上から第５閾値未満に変化するタイミングよりも、第４フレーム数分、後に設定される第１の態様から第３の態様の何れか１つの態様に係る撮像素子である。これにより、第４の態様に係る撮像素子から得られる効果と第５の態様に係る撮像素子から得られる効果との双方の効果を得ることができる。

本開示の技術の第７の態様は、処理部は、記憶部に記憶された画像データに対して間引き処理を行い、間引き処理後の画像データに対して評価値を導出する第１の態様から第６の態様の何れか１つの態様に係る撮像素子である。これにより、間引かない画像データを対象にして評価値が算出される場合に比べ、撮像素子での消費電力を低減することができる。

本開示の技術の第８の態様は、被写体を示す被写体光を受光する像面位相差画素を更に含み、処理部は、像面位相差画素での受光結果に基づいて評価値を導出する第１の態様から第７の態様の何れか１つの態様に係る撮像素子である。これにより、コントラスト値を評価値として算出する場合に比べ、迅速に算出結果を得ることができる。

本開示の技術の第９の態様は、少なくとも光電変換素子と記憶部とが１チップ化された第１の態様から第８の態様の何れか１つの態様に係る撮像素子である。これにより、光電変換素子と記憶部とが１チップ化されていない場合に比べ、撮像素子の可搬性を高めることができる。

本開示の技術の第１０の態様は、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である第９の態様に係る撮像素子である。これにより、光電変換素子に記憶部が積層されていない非積層型の撮像素子に比べ、光電変換素子から記憶部へのデータの転送速度を高めることができる。

本開示の技術の第１１の態様は、第１の態様から第１０の態様の何れか１つの態様に係る撮像素子と、出力部により出力された出力画像データに基づく画像を表示部に対して表示させる制御を行う表示制御部と、を含む撮像装置である。これにより、撮像されることで得られた全ての画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。

本開示の技術の第１２の態様は、第１の態様から第１０の態様の何れか１つの態様に係る撮像素子と、出力部により出力された出力画像データを記憶装置に対して記憶させる制御を行う記憶制御部と、を含む撮像装置である。これにより、撮像されることで得られた全ての画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。

本開示の技術の第１３の態様は、被写体が第１フレームレートで撮像されることで得られた画像データを記憶する記憶部と、画像データを用いた処理を行う処理部と、処理部での処理結果に基づいて、画像データに基づく出力画像データを第２フレームレートで出力する出力部と、を含み、記憶部、処理部、及び出力部が内蔵された撮像素子の作動方法であって、第１フレームレートを第２フレームレート以上とし、処理部は、記憶部に記憶された画像データに対して合焦の度合いを示す評価値を導出し、導出した評価値に基づいて第２フレームレートを変更する処理を行うことを含む、撮像素子の作動方法である。これにより、撮像されることで得られた全ての画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。

本開示の技術の第１４の態様は、被写体が第１フレームレートで撮像されることで得られた画像データを記憶する記憶部と、画像データを用いた処理を行う処理部と、処理部での処理結果に基づいて、画像データに基づく出力画像データを第２フレームレートで出力する出力部と、を含み、記憶部、処理部、及び出力部が内蔵された撮像素子に含まれる処理部及び出力部としてコンピュータを機能させるためのプログラムであって、第１フレームレートは、第２フレームレート以上であり、処理部は、記憶部に記憶された画像データに対して合焦の度合いを示す評価値を導出し、導出した評価値に基づいて第２フレームレートを変更する処理を行うプログラムである。これにより、撮像されることで得られた全ての画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。

本開示の技術の第１５の態様は、撮像素子であって、被写体が第１フレームレートで撮像されることで得られた画像データを記憶し、かつ、撮像素子に内蔵されたメモリと、画像データを用いた処理を行い、かつ、処理結果に基づいて、画像データに基づく出力画像データを第２フレームレートで出力し、かつ、撮像素子に内蔵されたプロセッサと、を含み、第１フレームレートは、第２フレームレート以上であり、プロセッサは、メモリに記憶された画像データに対して合焦の度合いを示す評価値を導出し、導出した評価値に基づいて第２フレームレートを変更する処理を行う撮像素子である。

第１～第４実施形態に係る撮像装置の一例を示す概略斜視図である。 第１～第４実施形態に係る撮像装置の一例を示す概略背面図である。 第１～第４実施形態に係る撮像装置の電気系のハードウェア構成の一例を示すブロック図である。 第１～第４実施形態に係る撮像装置に含まれるハイブリッドファインダーの構成の一例を示す概略構成図である。 第１～第４実施形態に係る撮像装置に含まれる撮像素子の積層構造の一例を示す概略構成図である。 第１～第４実施形態に係る撮像素子の構成の一例を示すブロック図である。 第１～第４実施形態に係る撮像装置の撮像フレームレートの説明に供する概念図である。 第１～第４実施形態に係る撮像装置の出力フレームレートの説明に供する概念図である。 第１実施形態に係る撮像装置の撮像素子に含まれる処理回路の構成の一例を示すブロック図である。 図８に示すメモリ、画像データ取得部、間引き画像データ生成部、及び合焦評価値算出部の説明に供する概念図である。 第１～第４実施形態に係る撮像装置に含まれる撮像素子によって撮像されることで得られた撮像画像データ及び間引き画像データの各々のデータ構造の一例を示す概念図である。 図８に示す合焦評価値算出部による処理の内容の説明に供する概念図である。 合焦評価値として算出されるコントラスト値とフォーカスレンズの位置との関係の一例を示すグラフである。 図８に示す合焦評価値算出部による処理として、間引き画像データに対してＦＲタグを付与する処理の内容の説明に供する概念図である。 図８に示す合焦評価値算出部、制御回路、及びメモリの説明に供する概念図である。 図８に示すメモリ、制御回路、出力回路、及びコントローラの説明に供する概念図である。 第１実施形態に係る撮像装置においてＭＦモードで被写体が撮像されることによりメモリに時系列で記憶された複数フレーム分の間引き画像データ、フレーム毎の評価結果、及び出力フレームレートの関係の一例を示す概念図である。 第１実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第１実施形態に係る撮像装置においてＭＦモードで被写体が撮像されることによりメモリに時系列で記憶された複数フレーム分の間引き画像データ、フレーム毎の評価結果、及び出力フレームレートの関係の変形例を示す概念図である。 第２実施形態に係る撮像装置の撮像素子に含まれる間引き画像データ生成部及び合焦評価値算出部の説明に供する概念図である。 第２実施形態に係る撮像装置の撮像素子に含まれるメモリ及び制御回路の説明に供する概念図である。 第２実施形態に係る撮像装置の撮像素子に含まれる制御回路及びメモリの説明に供する概念図である。 第２実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第３実施形態に係る撮像装置の撮像素子に含まれる間引き画像データ生成部及び合焦評価値算出部の説明に供する概念図である。 第３実施形態に係る撮像装置の撮像素子に含まれるメモリ及び制御回路の説明に供する概念図である。 第３実施形態に係る撮像装置の撮像素子に含まれる制御回路及びメモリの説明に供する概念図である。 第３実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第３実施形態の変形例に係る撮像装置の撮像素子に含まれる間引き画像データ生成部及び合焦評価値算出部の説明に供する概念図である。 第３実施形態の変形例に係る撮像処理の流れの一例を示すフローチャートである。 第４実施形態に係る撮像装置に含まれる撮像素子の構造の一例を示す概念図である。 第４実施形態に係る撮像素子に含まれる像面位相差画素の構造の一例を示す概略構成図である。 第４実施形態に係る撮像素子に含まれる第１の画素及び第２の画素の各々による各画素値の分布を示す関数の関係を示すグラフである。 図３１に示すグラフから得られる位相差評価値及び位相差の関係の一例を示すグラフである。 プログラムが記憶された記憶媒体から、プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。 実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

先ず、以下の説明で使用される用語の意味について説明する。

また、以下の説明において、ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。また、以下の説明において、ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。

また、以下の説明において、ＬＳＩとは、“Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ”の略称を指す。また、以下の説明において、ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。また、以下の説明において、ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。また、以下の説明において、ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。

また、以下の説明において、ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。また、以下の説明において、ＤＶＤ－ＲＯＭとは、“Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。また、以下の説明において、ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。また、以下の説明において、ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。

また、以下の説明において、ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。また、以下の説明において、ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。また、以下の説明において、ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。また、以下の説明において、Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。また、以下の説明において、ＦＩＦＯとは、“Ｆｉｒｓｔ ｉｎ Ｆｉｒｓｔ ｏｕｔ”の略称を指す。また、以下の説明において、Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。また、以下の説明において、ＭＦとは、“Ｍａｎｕａｌ－Ｆｏｃｕｓ”の略称を指す。また、以下の説明において、ＡＦとは、“Ａｕｔｏ－Ｆｏｃｕｓ”の略称を指す。また、以下の説明において、ＡＥとは、“Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ”の略称を指す。

［第１実施形態］
一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。

撮像装置本体１２には、ハイブリッドファインダー（登録商標）１６が設けられている。ここで言うハイブリッドファインダー１６とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。

撮像装置本体１２の正面視中央部には撮像素子４４が設けられている。撮像素子４４は、例えば、ＣＭＯＳイメージセンサである。詳しくは後述するが、撮像素子４４は、本開示の技術に係る「積層型撮像素子」の一例である。なお、ここでは、撮像素子４４としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子４４がＣＣＤイメージセンサであっても本開示の技術は成立する。

交換レンズ１４は、撮像装置本体１２に対して交換可能に装着される。交換レンズ１４の鏡筒には、撮像レンズ４０が設けられている。交換レンズ１４が撮像装置本体１２に装着されると、撮像レンズ４０の光軸Ｌ１が撮像素子４４の受光面４４Ａの中央部に位置し、被写体を示す被写体光は、撮像レンズ４０を介して受光面４４Ａに結像される。

交換レンズ１４には、撮像装置１０がマニュアルフォーカスモードの場合に使用されるフォーカスリング１３が設けられている。撮像レンズ４０は、フォーカスレンズ４０Ａを有しており、フォーカスリング１３の手動による回転操作に伴って、フォーカスレンズ４０Ａは光軸方向に移動し、被写体距離に応じた合焦位置で受光面４４Ａに被写体光が結像される。ここで「合焦位置」とは、ピントが合っている状態でのフォーカスレンズ４０Ａの光軸Ｌ１上での位置を指す。

撮像装置本体１２の前面には、ファインダー切替レバー１８が設けられている。ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像であるライブビュー画像とは、ファインダー切替レバー１８を矢印ＳＷ方向に回動させることで切り換わる。ここで言う「ライブビュー画像」とは、撮像素子４４によって被写体が撮像されることで得られた表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。

撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２２が設けられている。ダイヤル２２は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作される。

レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードは、表示動画用撮像モードと記録用撮像モードとに大別される。

表示動画用撮像モードは、連続的な撮像により得られた連続する複数フレーム分のライブビュー画像が後述の第１ディスプレイ３２及び／又は第２ディスプレイ８６（図３参照）に表示される動作モードである。

記録用撮像モードは、静止画像用撮像モードと動画像用撮像モードとに大別される。静止画像用撮像モードは、撮像装置１０により被写体が撮像されることで得られた静止画像を記録する動作モードであり、動画像用撮像モードは、撮像装置１０により被写体が撮像されることで得られた動画像を記録する動作モードである。

記録用撮像モードは、ライブビュー画像が後述の第１ディスプレイ３２及び／又は第２ディスプレイ８６に表示され、かつ、記録用画像データが後述の二次記憶装置８０（図３参照）及び／又はメモリカード等に記録される動作モードである。記録用画像データは、静止画像データと動画像データとに大別され、静止画像データは、静止画像用撮像モードで得られる画像データであり、動画像データは、動画像用撮像モードで得られる画像データである。

撮像モードが設定されると、先ず、撮像装置１０は、表示動画用撮像モードになる。表示動画用撮像モードでは、レリーズボタン２０が押圧操作された場合に、撮像装置１０は、表示動画用撮像モードから記録用撮像モードに移行する。

撮像モードでは、ＭＦモードとＡＦモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２０が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン２０が半押し状態にされることによりＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、レリーズボタン２０を全押し状態にすると撮像が行われる。

一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ２６、指示キー２８、及びファインダー接眼部３０が設けられている。

タッチパネル・ディスプレイ２６は、第１ディスプレイ３２及びタッチパネル３４（図３も参照）を備えている。第１ディスプレイ３２としては、液晶ディスプレイ又は有機ＥＬディスプレイが挙げられる。

第１ディスプレイ３２は、画像及び文字情報等を表示する。第１ディスプレイ３２は、撮像装置１０が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、第１ディスプレイ３２は、静止画像用撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、第１ディスプレイ３２は、撮像装置１０が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。

タッチパネル３４は、透過型のタッチパネルであり、第１ディスプレイ３２の表示領域の表面に重ねられている。タッチパネル３４は、例えば、指又はスタイラスペン等の指示体による接触を検知し、検知結果を後述のＣＰＵ４６Ａ（図３参照）等の既定の出力先に出力する。

指示キー２８は、１つ又は複数のメニューの選択、選択内容の確定、選択内容の消去、ズーム、及びコマ送り等の各種の指示を受け付ける。

一例として図３に示すように、撮像装置１０は、マウント３６，３８を備えている。マウント３６は、撮像装置本体１２に設けられている。マウント３８は、交換レンズ１４において、マウント３６の位置に対応する位置に設けられている。交換レンズ１４は、マウント３６にマウント３８が結合されることにより撮像装置本体１２に交換可能に装着される。

一例として図３に示すように、撮像レンズ４０は、フォーカスレンズ４０Ａの他に、対物レンズ４０Ｂ、及び絞り４０Ｃを備えている。フォーカスレンズ４０Ａ、対物レンズ４０Ｂ、及び絞り４０Ｃは、被写体側から撮像装置本体１２側にかけて、光軸Ｌ１に沿って、対物レンズ４０Ｂ、フォーカスレンズ４０Ａ、及び絞り４０Ｃの順に配置されている。

撮像レンズ４０は、スライド機構４１及びモータ４５，４７を含む。絞り４０Ｃにはモータ４７が接続されており、絞り４０Ｃは、モータ４７から付与された動力に応じて作動することで露出を調節する。

スライド機構４１は、動力を受けることでフォーカスレンズ４０Ａを光軸Ｌ１に沿って移動させる。スライド機構４１には、モータ４５及びフォーカスリング１３が接続されており、スライド機構４１に対しては、モータ４５からの動力又はフォーカスリング１３が操作されることにより得られる動力が付与される。すなわち、スライド機構４１は、モータ４５からの動力又はフォーカスリング１３が操作されることにより得られる動力に従ってフォーカスレンズ４０Ａを光軸Ｌ１に沿って移動させる。

モータ４５，４７は、マウント３６，３８を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本実施形態では、モータ４５，４７の一例として、ステッピングモータを適用している。従って、モータ４５，４７は、撮像装置本体１２からの命令によりパルス電力に同期して動作する。また、図３に示す例では、モータ４５，４７が撮像レンズ４０に設けられている例が示されているが、これに限らず、モータ４５，４７のうちの少なくとも１つは撮像装置本体１２に設けられていてもよい。

撮像装置本体１２には、ロータリエンコーダ４３が設けられている。ロータリエンコーダ４３は、マウント３６，３８を介して撮像装置本体１２に接続されている。ロータリエンコーダ４３は、フォーカスリング１３の位置を検出し、検出結果を撮像装置本体１２に出力する。

撮像装置本体１２は、メカニカルシャッタ４２を備えている。メカニカルシャッタ４２は、後述のＣＰＵ４６Ａの制御下で、モータ等の駆動源（図示省略）からの動力を受けることで作動する。交換レンズ１４がマウント３６，３８を介して撮像装置本体１２に装着された場合に、被写体光は、撮像レンズ４０を透過し、メカニカルシャッタ４２を介して受光面４４Ａに結像される。

撮像装置本体１２は、コントローラ４６及びＵＩ系デバイス４８を備えている。コントローラ４６は、撮像装置１０の全体を制御する。ＵＩ系デバイス４８は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ４６には、バスライン８８を介してＵＩ系デバイス４８が接続されており、コントローラ４６は、ＵＩ系デバイス４８からの各種情報の取得、及びＵＩ系デバイス４８の制御を行う。

コントローラ４６は、ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、制御Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅを備えている。ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、制御Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅは、バスライン８８を介して相互に接続されている。

ＲＯＭ４６Ｂには、各種プログラムが記憶されている。ＣＰＵ４６Ａは、ＲＯＭ４６Ｂから各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ４６Ｃに展開する。ＣＰＵ４６Ａは、ＲＡＭ４６Ｃに展開した各種プログラムに従って撮像装置１０の全体を制御する。

制御Ｉ／Ｆ４６Ｄは、ＦＰＧＡを有するデバイスであり、撮像素子４４に接続されている。ＣＰＵ４６Ａは、制御Ｉ／Ｆ４６Ｄを介して撮像素子４４を制御する。また、制御Ｉ／Ｆ４６Ｄは、マウント３６，３８を介してモータ４５，４７に接続されており、ＣＰＵ４６Ａは、制御Ｉ／Ｆ４６Ｄを介してモータ４５，４７を制御する。更に、制御Ｉ／Ｆ４６Ｄは、マウント３６，３８を介してロータリエンコーダ４３に接続されており、ＣＰＵ４６Ａは、ロータリエンコーダ４３から入力される検出結果に基づいてフォーカスリング１３の位置を特定する。

バスライン８８には、二次記憶装置８０及び外部Ｉ／Ｆ８２が接続されている。二次記憶装置８０は、フラッシュメモリ、ＳＳＤ、ＨＤＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリである。ＣＰＵ４６Ａは、二次記憶装置８０に対して各種情報の読み書きを行う。

外部Ｉ／Ｆ８２は、ＦＰＧＡを有するデバイスである。外部Ｉ／Ｆ８２には、ＵＳＢメモリ及びメモリカード等の外部装置（図示省略）が接続される。外部Ｉ／Ｆ８２は、ＣＰＵ４６Ａと外部装置との間の各種情報の授受を司る。

ＣＰＵ４６Ａは、後述の間引き画像データ６９Ｂ１（図６参照）を二次記憶装置８０及び／又は上述の外部装置に記憶させる。なお、ＣＰＵ４６Ａは、本開示の技術に係る「記憶制御部（記憶制御プロセッサ）」の一例である。また、二次記憶装置８０及び上記の外部装置は、本開示の技術に係る「記憶装置」の一例である。

ＵＩ系デバイス４８は、ハイブリッドファインダー１６、タッチパネル・ディスプレイ２６、及び受付部８４を備えている。第１ディスプレイ３２及びタッチパネル３４は、バスライン８８に接続されている。従って、ＣＰＵ４６Ａは、第１ディスプレイ３２に対して各種情報を表示させ、タッチパネル３４によって受け付けられた各種指示に従って動作する。

受付部８４は、タッチパネル３４及びハードキー部２５を備えている。ハードキー部２５は、複数のハードキーであり、レリーズボタン２０、ダイヤル２２、及び指示キー２８を有する。ハードキー部２５は、バスライン８８に接続されており、ＣＰＵ４６Ａは、ハードキー部２５によって受け付けられた各種指示に従って動作する。

ハイブリッドファインダー１６は、第２ディスプレイ８６を備えている。ＣＰＵ４６Ａは、第２ディスプレイ８６に対して各種情報を表示させる。

一例として図４に示すように、ハイブリッドファインダー１６は、ＯＶＦ９０及びＥＶＦ９２を含む。ＯＶＦ９０は、逆ガリレオ式ファインダーであり、接眼レンズ９４、プリズム９６、及び対物レンズ９８を有する。ＥＶＦ９２は、第２ディスプレイ８６、プリズム９６、及び接眼レンズ９４を有する。

対物レンズ９８の光軸Ｌ２に沿って対物レンズ９８よりも被写体側には、液晶シャッタ１００が配置されており、液晶シャッタ１００は、ＥＶＦ９２を使用する際に、対物レンズ９８に光学像が入射しないように遮光する。

プリズム９６は、第２ディスプレイ８６に表示される電子像又は各種の情報を反射させて接眼レンズ９４に導き、且つ、光学像と第２ディスプレイ８６に表示される電子像及び／又は各種情報とを合成する。第２ディスプレイ８６に表示される電子像の一例としては、ライブビュー画像が挙げられる。

ＣＰＵ４６Ａは、ＯＶＦモードの場合、液晶シャッタ１００が非遮光状態になるように制御し、接眼レンズ９４から光学像が視認できるようにする。また、ＣＰＵ４６Ａは、ＥＶＦモードの場合、液晶シャッタ１００が遮光状態になるように制御し、接眼レンズ９４から第２ディスプレイ８６に表示される電子像のみが視認できるようにする。

なお、以下では、説明の便宜上、第１ディスプレイ３２（図３参照）及び第２ディスプレイ８６を区別して説明する必要がない場合は、符号を付さずに「ディスプレイ」と称する。ディスプレイは、本開示の技術に係る「表示部」の一例である。また、ＣＰＵ４６Ａは、本開示の技術に係る「表示制御部（表示制御プロセッサ）」の一例である。

一例として図５に示すように、撮像素子４４には、光電変換素子６１、処理回路６２、及びメモリ６４が内蔵されている。撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。すなわち、光電変換素子６１、処理回路６２、及びメモリ６４は１パッケージ化されている。撮像素子４４では、光電変換素子６１に対して処理回路６２及びメモリ６４が積層されている。具体的には、光電変換素子６１及び処理回路６２は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路６２及びメモリ６４も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。なお、メモリ６４は、本開示の技術に係る「記憶部」の一例である。

処理回路６２は、例えば、ＬＳＩであり、メモリ６４は、例えば、ＤＲＡＭである。但し、本開示の技術はこれに限らず、メモリ６４としてＤＲＡＭに代えてＳＲＡＭを採用してもよい。

処理回路６２は、ＡＳＩＣ及びＦＰＧＡによって実現されており、コントローラ４６との間で各種情報の授受を行う。なお、ここでは、処理回路６２がＡＳＩＣ及びＦＰＧＡによって実現される例を挙げているが、本開示の技術はこれに限定されるものではない。例えば、処理回路６２がＡＳＩＣ、ＰＬＤ、又はＦＰＧＡのみで実現されてもよいし、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうち、ＡＳＩＣ及びＰＬＤの組み合わせ、又はＰＬＤ及びＦＰＧＡの組み合わせによって実現されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路６２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子６１は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子６１は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本実施形態では、光電変換素子６１の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ，Ｇ，Ｂ信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、デモザイク処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。

撮像素子４４は、いわゆる電子シャッタ機能を有しており、コントローラ４６の制御下で電子シャッタ機能を働かせることで、光電変換素子６１内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４２（図３参照）を作動させることで実現され、動画像用の撮像は、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

一例として図６に示すように、処理回路６２は、読出回路６２Ａ、デジタル処理回路６２Ｂ、画像処理回路６２Ｃ、出力回路６２Ｄ、及び制御回路６２Ｅを含む。読出回路６２Ａ、デジタル処理回路６２Ｂ、画像処理回路６２Ｃ、及び制御回路６２Ｅは、ＡＳＩＣによって実現され、出力回路６２Ｄは、ＦＰＧＡによって実現される。なお、画像処理回路６２Ｃ及び制御回路６２Ｅは、本開示の技術に係る「処理部」の一例であり、出力回路６２Ｄは、本開示の技術に係る「出力部」の一例であり、本開示の技術に係る「プロセッサ」の一例である。

制御回路６２Ｅは、コントローラ４６に接続されている。具体的には、制御回路６２Ｅは、コントローラ４６の制御Ｉ／Ｆ４６Ｄ（図３参照）に接続されており、ＣＰＵ４６Ａ（図３参照）の指示に従って、撮像素子４４の全体を制御する。

読出回路６２Ａは、光電変換素子６１、デジタル処理回路６２Ｂ、及び制御回路６２Ｅに接続されている。デジタル処理回路６２Ｂは、制御回路６２Ｅに接続されている。メモリ６４は、デジタル処理回路６２Ｂ、画像処理回路６２Ｃ、及び制御回路６２Ｅに接続されている。画像処理回路６２Ｃは、制御回路６２Ｅに接続されている。

出力回路６２Ｄは、制御回路６２Ｅ及びコントローラ４６に接続されている。具体的には、出力回路６２Ｄは、コントローラ４６の入力Ｉ／Ｆ４６Ｅ（図３参照）に接続されている。

読出回路６２Ａは、制御回路６２Ｅの制御下で、光電変換素子６１から光電変換素子６１に蓄積された信号電荷であるアナログの撮像画像データ６９Ａを読み出す。具体的には、読出回路６２Ａは、制御回路６２Ｅから入力される垂直同期信号に従って、撮像画像データ６９Ａを１フレーム毎に読み出す。また、読出回路６２Ａは、１フレームの読出期間内において制御回路６２Ｅから入力される水平同期信号に従って、撮像画像データ６９Ａを１行毎に読み出す。

デジタル処理回路６２Ｂは、読出回路６２Ａにより読み出されたアナログの撮像画像データ６９Ａに対して相関二重サンプリングの信号処理を行ってからＡ／Ｄ変換を行うことでアナログの撮像画像データ６９Ａをデジタル化する。そして、デジタル処理回路６２Ｂは、撮像画像データ６９Ａをデジタル化して得た撮像画像データ６９Ｂをメモリ６４に記憶する。なお、以下では、撮像画像データ６９Ａ，６９Ｂを区別して説明する必要がない場合、「撮像画像データ６９」と称する。

メモリ６４は、複数フレームの画像データを記憶可能なメモリである。メモリ６４は、画素単位の記憶領域（図示省略）を有しており、画像データがデジタル処理回路６２Ｂによって、画素単位で、メモリ６４のうちの対応する記憶領域に記憶される。なお、図６に示す例では、メモリ６４に撮像画像データ６９Ｂが記憶されている。

画像処理回路６２Ｃは、撮像画像データ６９Ｂを用いた処理を行う。具体的には、画像処理回路６２Ｃは、メモリ６４から撮像画像データ６９Ｂを取得し、取得した撮像画像データ６９Ｂに対して各種の信号処理を施す。ここで言う「各種の信号処理」には、色調補正、ホワイトバランス調整、シャープネス調整、ガンマ補正、及び階調補正などの公知の信号処理が含まれる他、本開示の技術に係る信号処理も含まれる。詳しくは後述するが、本開示の技術に係る信号処理とは、例えば、図８に示す画像データ取得部６２Ｃ１、間引き画像データ生成部６２Ｃ２、及び合焦評価値算出部６２Ｃ３による信号処理を指す。

画像処理回路６２Ｃは、撮像画像データ６９Ａに対して各種の信号処理を施すことで間引き画像データ６９Ｂ１を生成し、生成した間引き画像データ６９Ｂ１を制御回路６２Ｅに出力する。制御回路６２Ｅは、入力された間引き画像データ６９Ｂ１をメモリ６４に記憶する。なお、間引き画像データ６９Ｂ１は、本開示の技術に係る「出力画像データ」の一例である。

出力回路６２Ｄは、画像処理回路６２Ｃでの各種の信号処理の結果に基づいて、撮像画像データ６９Ｂに基づく間引き画像データ６９Ｂ１を出力する。具体的には、制御回路６２Ｅがメモリ６４から間引き画像データ６９Ｂ１を取得し、取得した間引き画像データ６９Ｂ１を出力回路６２Ｄに出力する。そして、出力回路６２Ｄが、制御回路６２Ｅから入力された間引き画像データ６９Ｂ１をコントローラ４６に出力する。

撮像素子４４では、撮像フレームレートで被写体が撮像され、出力フレームレートで間引き画像データ６９Ｂ１がコントローラ４６に出力される。撮像フレームレートは、本開示の技術に係る「第１フレームレート」の一例であり、出力フレームレートは、本開示の技術に係る「第２フレームレート」の一例である。

なお、ここで言う「撮像」とは、光電変換素子６１での１フレーム分の露光が開始されてからメモリ６４に１フレーム分の撮像画像データ６９Ｂが記憶されるまでの処理を指す。また、ここで言う「撮像フレームレート」は、光電変換素子６１での１フレーム分の露光が開始されてから、１フレーム分の露光により得られた撮像画像データ６９Ｂが出力回路６２Ｄに転送されるまでに行われる処理に適用されるフレームレートである。換言すると、撮像フレームレートは、光電変換素子６１、読出回路６２Ａ、デジタル処理回路６２Ｂ、制御回路６２Ｅ、及びメモリ６４が協働して行う撮像に適用されるフレームレートである。

これに対し、ここで言う「出力フレームレート」は、出力回路６２Ｄによる間引き画像データ６９Ｂ１のコントローラ４６への出力に適用されるフレームレートである。なお、撮像素子４４の後段のデバイスで用いられるフレームレートは、出力フレームレートと同一のフレームレートである。

撮像フレームレートと出力フレームレートは、“撮像フレームレート≧出力フレームレート”の関係性を有していればよい。例えば、撮像フレームレートが、図７Ａに示すように、期間Ｔ内に８フレーム分の撮像が行われるフレームレートであり、出力フレームレートが、図７Ｂに示すように、期間Ｔ内に３フレーム分の出力が行われるフレームレートであればよい。

なお、本実施形態では、撮像フレームレートとして１２０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）が採用されている。また、出力フレームレートは、変更可能なフレームレートである。高フレームレートは、低フレームレートよりも高く、かつ、撮像フレームレート（図７Ａ参照）よりも低いフレームレートである。ここでは、高フレームレートの一例として６０ｆｐｓが適用され、低フレームレートの一例として２０ｆｐｓが適用されている。

一例として図８に示すように、画像処理回路６２Ｃは、画像データ取得部６２Ｃ１、間引き画像データ生成部６２Ｃ２、及び合焦評価値算出部６２Ｃ３を有する。画像データ取得部６２Ｃ１は、メモリ６４に接続されており、メモリ６４から撮像画像データ６９Ｂを取得する。間引き画像データ生成部６２Ｃ２は、画像データ取得部６２Ｃ１に接続されており、画像データ取得部６２Ｃ１によって取得された撮像画像データ６９Ｂに対して後述の間引き処理を行い、間引き画像データ６９Ｂ１を生成する。合焦評価値算出部６２Ｃ３は、間引き画像データ生成部６２Ｃ２に接続されており、間引き画像データ生成部６２Ｃ２によって生成された間引き画像データ６９Ｂ１に対して合焦の度合いを示す合焦評価値（以下、単に「合焦評価値」と称する）を算出する。なお、ここで言う「合焦評価値」は、本開示の技術に係る「評価値」の一例である。

制御回路６２Ｅは、合焦評価値算出部６２Ｃ３に接続されており、合焦評価値算出部６２Ｃ３による合焦評価値の算出対象とされた間引き画像データ６９Ｂ１を合焦評価値算出部６２Ｃ３から取得する。制御回路６２Ｅは、合焦評価値算出部６２Ｃ３から取得した間引き画像データ６９Ｂ１をメモリ６４に記憶する。従って、メモリ６４には、デジタル処理回路６２Ｂから入力された撮像画像データ６９Ｂ、及び制御回路６２Ｅから入力された間引き画像データ６９Ｂ１が記憶される。

また、制御回路６２Ｅは、メモリ６４から間引き画像データ６９Ｂ１を読み出し、読み出した間引き画像データ６９Ｂ１を出力回路６２Ｄに出力する。

制御回路６２Ｅは、フレームレート設定部６２Ｅ１を有する。詳しくは後述するが、フレームレート設定部６２Ｅ１は、出力フレームレートとして高フレームレート又は低フレームレートを設定する。

一例として図９に示すように、メモリ６４には、複数フレーム分の撮像画像データ６９Ｂが記憶される。図９に示す例では、ＭＦモードで撮像されることで得られた複数フレーム分の撮像画像データ６９Ｂがメモリ６４に時系列で記憶されている態様が示されている。具体的には、図９に示す例では、非合焦画像データ及び合焦画像データがメモリ６４に記憶されている。非合焦画像データとは、非合焦状態で撮像されることで得られた撮像画像データ６９Ｂを指し、合焦画像データとは、合焦状態で撮像されることで得られた撮像画像データ６９Ｂを指す。

メモリ６４にはＦＩＦＯ方式で撮像画像データ６９Ｂが入出力され、画像データ取得部６２Ｃ１は、メモリ６４に撮像画像データ６９Ｂが記憶される毎にメモリ６４から出力される撮像画像データ６９Ｂを取得する。

間引き画像データ生成部６２Ｃ２は、画像データ取得部６２Ｃ１によって取得された撮像画像データ６９Ｂに対して間引き処理を行う。具体的には、間引き画像データ生成部６２Ｃ２は、画像データ取得部６２Ｃ１によって取得された撮像画像データ６９Ｂの各々に対して間引き処理を行い、間引き画像データ６９Ｂ１を合焦評価値算出部６２Ｃ３に出力する。

間引き処理は、撮像画像データ６９Ｂから画素を間引くことによって撮像画像データ６９Ｂを圧縮する処理である。一例として図１０に示すように、撮像画像データ６９Ｂは、Ｒ画素、Ｇ画素、及びＢ画素を有するカラー画像データである。撮像画像データ６９Ｂは、複数の原色画素が周期的に配列された画像データである。具体的には、撮像画像データ６９Ｂでは、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。

図１０に示す例では、１行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｂ画素、Ｒ画素、Ｇ画素、Ｒ画素、及びＢ画素の順に循環して配列されている。また、２行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、３行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、４行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｒ画素、Ｂ画素、Ｇ画素、Ｂ画素、及びＲ画素の順に循環して配列されている。また、５行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。更に、６行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。そして、１行目～６行目のＲ画素、Ｇ画素、及びＢ画素の配列パターンが６行単位で列方向に繰り返されることによって撮像画像データ６９Ｂの全体のＲ画素、Ｇ画素、及びＢ画素の配列パターンが形成されている。

間引き画像データ６９Ｂ１は、撮像画像データ６９Ｂに対して行単位での間引き処理が行われることによって得られた画像データである。具体的には、一例として図１０に示すように、間引き画像データ６９Ｂ１は、撮像画像データ６９Ｂにより示される撮像画像から列方向に偶数行のラインの画素を間引くことによって得られた垂直１／２間引き画像を示す画像データである。すなわち、垂直１／２間引き画像の各行の画素は、撮像画像の奇数行の画素に相当する画素である。

一例として図１１に示すように、合焦評価値算出部６２Ｃ３は、間引き画像データ生成部６２Ｃ２によって生成された間引き画像データ６９Ｂ１の各々を対象にして、合焦評価値を算出する。

合焦評価値算出部６２Ｃ３は、合焦評価値としては、間引き画像データ６９Ｂ１により示される画像のコントラスト値が挙げられる（図１２参照）。図１１に示す例では、間引き画像データ６９Ｂ１のフレーム毎の合焦評価値としてα１～α１１が示されている。合焦評価値算出部６２Ｃ３は、合焦評価値としてα１～α１１の各々と閾値ＴＨ１とを比較することで合焦評価値が閾値ＴＨ１以上か否かを判定する。閾値ＴＨ１は、本開示の技術に係る第１～第５閾値の一例である。閾値ＴＨ１は、受付部８４（図３参照）によって受け付けられた指示に応じて変更可能な可変値であっても良いし、固定値であってもよい。

合焦評価値算出部６２Ｃ３は、合焦評価値が閾値ＴＨ１以上の場合、合焦評価値の算出対象とされた間引き画像データが合焦画像データであると判定する。また、合焦評価値算出部６２Ｃ３は、合焦評価値が閾値ＴＨ１未満の場合、合焦評価値の算出対象とされた間引き画像データが非合焦画像データであると判定する。合焦評価値算出部６２Ｃ３は、合焦評価値が閾値ＴＨ１以上であるか否かを判定することで、間引き画像データ６９Ｂ１についての合焦の度合いを評価した評価結果を導出する。

図１１に示す例では、評価結果として、合焦画像データに対しては合焦状態であることを示す“○”が示されており、非合焦画像データに対しては非合焦状態であることを示す“×”が示されている。

本第１実施形態では、評価結果が“×”から“○”に変化するタイミングを第１変更タイミングとし、評価結果が“○”から“×”に変化するタイミングを第２変更タイミングとしている。第１変更タイミングとは、出力フレームレートを低フレームレートから高フレームレートに変更するタイミングを指す。第２変更タイミングとは、出力フレームレートを高フレームレートから低フレームレートに変更するタイミングを指す。

合焦評価値として用いられるコントラスト値は、一例として図１２に示すように、フォーカスレンズ４０Ａの位置に応じて変化し、コントラスト値が最も高いときのフォーカスレンズ４０Ａの位置が合焦位置である。フォーカスレンズ４０Ａの位置が合焦位置から遠ざかる程、コントラスト値が小さくなり、画像のボケが大きくなる。

一例として図１３に示すように、合焦評価値算出部６２Ｃ３は、評価結果が“×”（図１１参照）の間引き画像データ６９Ｂ１に対して低ＦＲタグを付与し、評価結果が“○”（図１１参照）の間引き画像データ６９Ｂ１に対して高ＦＲタグを付与する。ここで、“ＦＲ”とは、“Ｆｒａｍｅ Ｒａｔｅ”の略称を指す。低ＦＲタグは、出力フレームレートとして低フレームレートを設定することを指示するタグであり、高ＦＲタグは、出力フレームレートとして高フレームレートを設定することを指示するタグである。

このように間引き画像データ６９Ｂ１に対して低ＦＲタグ又は高ＦＲタグが付与されることで、間引き画像データ６９Ｂ１は、低ＦＲタグ付き間引き画像データ６９Ｂ１ａと高ＦＲタグ付き間引き画像データ６９Ｂ１ｂとに大別される。

なお、以下では、説明の便宜上、低ＦＲタグ及び高ＦＲタグを区別して説明する必要がない場合、「ＦＲタグ」と称する。また、以下では、説明の便宜上、低ＦＲタグ付き間引き画像データ６９Ｂ１ａと高ＦＲタグ付き間引き画像データ６９Ｂ１ｂとを区別して説明する必要がない場合、符号を付さずに「タグ付き間引き画像データ」と称する。

一例として図１４に示すように、合焦評価値算出部６２Ｃ３は、低ＦＲタグ付き間引き画像データ６９Ｂ１ａ及び高ＦＲタグ付き間引き画像データ６９Ｂ１ｂを制御回路６２Ｅに出力する。制御回路６２Ｅは、合焦評価値算出部６２Ｃ３から入力された低ＦＲタグ付き間引き画像データ６９Ｂ１ａ及び高ＦＲタグ付き間引き画像データ６９Ｂ１ｂをメモリ６４に記憶する。メモリ６４には、撮像画像データ６９Ｂの時系列に対応させて間引き画像データ６９Ｂ１が記憶される。すなわち、メモリ６４に時系列で記憶されている撮像画像データ６９Ｂの各々に対して、時系列で対応関係にある低ＦＲタグ付き間引き画像データ６９Ｂ１ａ又は高ＦＲタグ付き間引き画像データ６９Ｂ１ｂが対応付けられてメモリ６４に記憶される。

一例として図１５に示すように、制御回路６２Ｅは、メモリ６４から時系列で間引き画像データ６９Ｂ１を取得し、取得した間引き画像データ６９Ｂ１を出力回路６２Ｄに転送する。

メモリ６４から制御回路６２Ｅによって取得された間引き画像データ６９Ｂ１は、低ＦＲタグ付き間引き画像データ６９Ｂ１ａ又は高ＦＲタグ付き間引き画像データ６９Ｂ１ｂである。制御回路６２Ｅでは、メモリ６４から間引き画像データ６９Ｂ１が取得されると、フレームレート設定部６２Ｅ１が、取得された間引き画像データ６９Ｂ１に低ＦＲタグが付与されているか、或いは、高ＦＲタグが付与されているかを判定する。すなわち、フレームレート設定部６２Ｅ１は、取得された間引き画像データ６９Ｂ１が低ＦＲタグ付き間引き画像データ６９Ｂ１ａであるか、或いは、高ＦＲタグ付き間引き画像データ６９Ｂ１ｂであるかを判定する。

フレームレート設定部６２Ｅ１は、取得された間引き画像データ６９Ｂ１が低ＦＲタグ付き間引き画像データ６９Ｂ１ａの場合、出力回路６２Ｄに対して、出力フレームレートとして低フレームレートを設定する。フレームレート設定部６２Ｅ１は、取得された間引き画像データ６９Ｂ１が高ＦＲタグ付き間引き画像データ６９Ｂ１ｂの場合、出力回路６２Ｄに対して、出力フレームレートとして高フレームレートを設定する。

ここで、低フレームレートの設定には、高フレームレートを低フレームレートに変更するという意味の他に、低フレームレートの設定を維持するという意味も含まれる。すなわち、既に出力フレームレートとして低フレームレートが設定されている状態で、低ＦＲタグ付き間引き画像データ６９Ｂ１ａが制御回路６２Ｅに入力された場合、フレームレート設定部６２Ｅ１は、低フレームレートの設定を維持する。高フレームレートの設定には、低フレームレートを高フレームレートに変更するという意味の他に、高フレームレートの設定を維持するという意味も含まれる。すなわち、既に出力フレームレートとして高フレームレートが設定されている状態で、高ＦＲタグ付き間引き画像データ６９Ｂ１ｂが制御回路６２Ｅに入力された場合、フレームレート設定部６２Ｅ１は、高フレームレートの設定を維持する。

つまり、フレームレート設定部６２Ｅ１は、低ＦＲタグ付き間引き画像データ６９Ｂ１ａから高ＦＲタグ付き間引き画像データ６９Ｂ１ｂに変化したタイミングで出力フレームレートを低フレームレートから高フレームレートに変更する。また、フレームレート設定部６２Ｅ１は、高ＦＲタグ付き間引き画像データ６９Ｂ１ｂから低ＦＲタグ付き間引き画像データ６９Ｂ１ａに変化したタイミングで出力フレームレートを高フレームレートから低フレームレートに変更する。

出力回路６２Ｄは、制御回路６２Ｅから転送された間引き画像データ６９Ｂ１を、フレームレート設定部６２Ｅ１によって設定された出力フレームレートでコントローラ４６に出力する。なお、本第１実施形態では、出力回路６２Ｄは、低ＦＲタグ付き間引き画像データ６９Ｂ１ａ及び高ＦＲタグ付き間引き画像データ６９Ｂ１ｂからＦＲタグを外し、ＦＲタグを外して得た間引き画像データ６９Ｂをコントローラ４６に出力している。しかし、本開示の技術はこれに限定されない。例えば、出力回路６２Ｄは、ＦＲタグを外すことなく低ＦＲタグ付き間引き画像データ６９Ｂ１ａ及び高ＦＲタグ付き間引き画像データ６９Ｂ１ｂのＦＲタグをそのままコントローラ４６に出力するようにしてもよい。

図１６には、ＭＦモードで被写体が撮像されることによりメモリ６４に時系列で記憶された複数フレーム分の間引き画像データ６９Ｂ１、フレーム毎の評価結果、及び出力フレームレートの関係の一例を示す概念図が示されている。一例として図１６に示すように、評価結果が“×”の間引き画像データ６９Ｂ１は、低フレームレートで出力され、評価結果が“○”の間引き画像データ６９Ｂ１は、高フレームレートで出力される。そして、評価結果が“×”から“○”に変化するタイミングが第１変更タイミングであり、第１変更タイミングで出力フレームレートが低フレームレートから高フレームレートに変更される。また、評価結果が“○”から“×”に変化するタイミングが第２変更タイミングであり、第２変更タイミングで出力フレームレートが高フレームレートから低フレームレートに変更される。

次に、撮像装置１０の作用について図１７を参照しながら説明する。なお、図１７には、撮像素子４４の処理回路６２によって実行される撮像処理の流れの一例が示されている。

図１７に示す撮像処理では、先ず、ステップＳＴ１０で、制御回路６２Ｅは、撮像を開始するタイミング（以下、「撮像タイミング」と称する）が到来したか否かを判定する。撮像タイミングは、上述した撮像フレームレートによって周期的に規定されたタイミングである。ステップＳＴ１０において、撮像タイミングが到来していない場合は、判定が否定されて、撮像処理はステップＳＴ４０へ移行する。ステップＳＴ１０において、撮像タイミングが到来した場合は、判定が肯定されて、撮像処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、制御回路６２Ｅは、処理回路６２及びメモリ６４を制御することで撮像を行う。すなわち、ステップＳＴ１２の処理が実行されることで、先ず、読出回路６２Ａが、光電変換素子６１に対して１フレーム分の露光を行わせる。次に、読出回路６２Ａは、光電変換素子６１から１フレーム分の撮像画像データ６９Ａを読み出す。次に、デジタル処理回路６２Ｂは、読出回路６２Ａによって読み出された撮像画像データ６９Ａに対して相関二重サンプリングの信号処理を行ってからＡ／Ｄ変換を行うことで撮像画像データ６９Ａをデジタル化する。そして、デジタル処理回路６２Ｂは、デジタル化して得た撮像画像データ６９Ｂをメモリ６４に記憶する。

次のステップＳＴ１４で、画像データ取得部６２Ｃ１は、メモリ６４から撮像画像データ６９Ｂを取得する。そして、間引き画像データ生成部６２Ｃ２は、画像データ取得部６２Ｃ１によって取得された撮像画像データ６９Ｂに対して間引き処理を行うことで間引き画像データ６９Ｂ１を生成する。

次のステップＳＴ１６で、合焦評価値算出部６２Ｃ３は、ステップＳＴ１４で生成された間引き画像データ６９Ｂ１についての合焦評価値を算出する。

次のステップＳＴ１８で、合焦評価値算出部６２Ｃ３は、ステップＳＴ１６で算出した合焦評価値が閾値ＴＨ１以上か否かを判定する。ステップＳＴ１８において、合焦評価値が閾値ＴＨ１以上の場合は、判定が肯定されて、撮像処理はステップＳＴ２０へ移行する。ステップＳＴ１８において、合焦評価値が閾値ＴＨ１未満の場合は、判定が否定されて、撮像処理はステップＳＴ３０へ移行する。

ステップＳＴ２０で、合焦評価値算出部６２Ｃ３は、間引き画像データ６９Ｂ１に対して高ＦＲタグを付与することで高ＦＲタグ付き間引き画像データ６９Ｂ１ｂを生成し、生成した高ＦＲタグ付き間引き画像データ６９Ｂ１ｂを制御回路６２Ｅに出力する。ステップＳＴ２０の処理が実行された後、撮像処理はステップＳＴ２２へ移行する。

ステップＳＴ３０で、合焦評価値算出部６２Ｃ３は、間引き画像データ６９Ｂ１に対して低ＦＲタグを付与することで低ＦＲタグ付き間引き画像データ６９Ｂ１ａを生成し、生成した低ＦＲタグ付き間引き画像データ６９Ｂ１ａを制御回路６２Ｅに出力する。ステップＳＴ３０の処理が実行された後、撮像処理はステップＳＴ２２へ移行する。

制御回路６２Ｅは、ステップＳＴ２０及びステップＳＴ３０の処理が実行されることで入力されたタグ付き間引き画像データをメモリ６４に時系列で記憶する。

ステップＳＴ２２で、制御回路６２Ｅは、メモリ６４からタグ付き間引き画像データを時系列に従って取得し、その後、撮像処理はステップＳＴ２４へ移行する。なお、ステップＳＴ２２で取得されたタグ付き間引き画像データは、出力回路６２Ｄに転送される。

ステップＳＴ２４で、フレームレート設定部６２Ｅ１は、ステップＳＴ２２で取得されたタグ付き間引き画像データが高ＦＲタグ付き間引き画像データ６９Ｂ１ｂか否かを判定する。ステップＳＴ２４において、ステップＳＴ２２で取得されたタグ付き間引き画像データが高ＦＲタグ付き間引き画像データ６９Ｂ１ｂの場合は、判定が肯定されて、撮像処理はステップＳＴ２６へ移行する。ステップＳＴ２４において、ステップＳＴ２２で取得されたタグ付き間引き画像データが低ＦＲタグ付き間引き画像データ６９Ｂ１ａの場合は、判定が否定されて、撮像処理はステップＳＴ３２へ移行する。

ステップＳＴ２６で、フレームレート設定部６２Ｅ１は、現時点で出力フレームレートとして低フレームレートが設定されているか否かを判定する。ステップＳＴ２６において、現時点で出力フレームレートとして低フレームレートが設定されている場合は、判定が肯定されて、撮像処理はステップＳＴ２８へ移行する。ステップＳＴ２６において、現時点で出力フレームレートとして高フレームレートが設定されている場合は、判定が否定されて、撮像処理はステップＳＴ４０へ移行する。

ステップＳＴ２８で、フレームレート設定部６２Ｅ１は、出力フレームレートとして高フレームレートを設定し、その後、撮像処理はステップＳＴ４０へ移行する。

ステップＳＴ３２で、フレームレート設定部６２Ｅ１は、現時点で出力フレームレートとして高フレームレートが設定されているか否かを判定する。ステップＳＴ３２において、現時点で出力フレームレートとして高フレームレートが設定されている場合は、判定が肯定されて、撮像処理はステップＳＴ３４へ移行する。ステップＳＴ３２において、現時点で出力フレームレートとして低フレームレートが設定されている場合は、判定が否定されて、撮像処理はステップＳＴ４０へ移行する。

ステップＳＴ３４で、フレームレート設定部６２Ｅ１は、出力フレームレートとして低フレームレートを設定し、その後、撮像処理はステップＳＴ４０へ移行する。

このようにして出力フレームレートが設定されると、出力回路６２Ｄは、制御回路６２Ｅから転送されたタグ付き間引き画像データからＦＲタグを外し、ＦＲタグを外して得た間引き画像データ６９Ｂ１を、現時点で設定されている出力フレームレートでコントローラ４６に出力する。

ステップＳＴ４０で、制御回路６２Ｅは、撮像処理を終了する条件（以下、「撮像処理終了条件」と称する）を満足したか否かを判定する。撮像処理終了条件としては、例えば、撮像処理を終了させる指示が受付部８４によって受け付けられた、との条件が挙げられる。ステップＳＴ４０において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップＳＴ１０へ移行する。ステップＳＴ４０において、撮像処理終了条件を満足した場合は、撮像処理が終了する。

以上説明したように、撮像素子４４では、合焦評価値算出部６２Ｃ３により間引き画像データ６９Ｂ１についての合焦評価値が算出される。そして、合焦評価値に基づいて出力フレームレートが変更される。従って、全ての間引き画像データ６９Ｂ１が出力される場合に比べ、間引き画像データ６９Ｂ１の出力に要する消費電力を低減することができる。

また、撮像素子４４では、合焦評価値が閾値ＴＨ１未満から閾値ＴＨ１以上に変化したタイミング（上述の第１変更タイミング）で低フレームレートから高フレームレートに変更される。また、合焦評価値が閾値ＴＨ１以上から閾値ＴＨ１未満に変化したタイミング（上述の第２変更タイミング）で高フレームレートから低フレームレートに変更される。

これにより、合焦評価値が閾値ＴＨ１未満の間引き画像データ６９Ｂ１が出力されるデータ量は、合焦評価値が閾値ＴＨ１以上の間引き画像データ６９Ｂ１が出力されるデータ量よりも少なくなる。従って、全ての間引き画像データ６９Ｂ１が出力される場合に比べ、間引き画像データ６９Ｂ１の出力に要する消費電力を低減することができる。

また、撮像素子４４では、間引き画像データ６９Ｂ１を対象にして合焦評価値の算出が行われる。よって、撮像画像データ６９Ｂを対象にして合焦評価値が算出される場合に比べ、合焦評価値の算出にかかる負荷が軽減される。これにより、撮像画像データ６９Ｂを対象にして合焦評価値が算出される場合に比べ、撮像素子４４での消費電力を低減することができる。

また、撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。これにより、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像素子４４の可搬性が高くなる。また、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像装置本体１２の小型化にも寄与することができる。

また、図５に示すように、撮像素子４４として、光電変換素子６１にメモリ６４が積層された積層型撮像素子が採用されている。これにより、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、光電変換素子６１からメモリ６４への撮像画像データ６９の転送速度を高めることができる。転送速度の向上は、処理回路６２全体での処理の高速化にも寄与する。また、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、撮像装置本体１２の小型化にも寄与することができる。

また、撮像装置１０では、出力画像データ７０に基づくライブビュー画像等が第２ディスプレイ８６に表示される。これにより、出力画像データ７０により示される画像をユーザに視認させることができる。また、被写体が撮像されることで得られた全ての撮像画像データ６９Ｂがディスプレイに表示される場合に比べ、消費電力を低減することができる。また、ユーザにとって必要性が高いと予想される画像のみをユーザに視認させることができる。

更に、撮像装置１０では、出力画像データ７０が二次記憶装置８０及び／又はメモリカード等に記憶される。これにより、被写体が撮像されることで得られた全ての撮像画像データ６９Ｂが二次記憶装置８０等に記憶される場合に比べ、二次記憶装置８０及び／又はメモリカードの記憶容量を長持ちさせることができる。

なお、上記第１実施形態では、低フレームレートと高フレームレートとが設定されるようにしたが、本開示の技術はこれに限定されない。例えば、図１８に示すように、低フレームレートの代わりにフレームレートを“０”とし、間引き画像データ６９Ｂ１が出力回路６２Ｄによってコントローラ４６に出力されないようにしてもよい。すなわち、合焦評価値が閾値ＴＨ１未満の場合に、閾値ＴＨ１未満の合焦評価値の算出対象とされた間引き画像データ６９Ｂ１が出力されないようにする、ということである。これにより、合焦評価値が閾値未満の間引き画像データ６９Ｂ１を出力する場合に比べ、間引き画像データ６９Ｂ１の出力に要する消費電力を低減することができる。

図１８に示す例では、間引き画像データ６９Ｂ１を出力しない形態例を挙げたが、本開示の技術はこれに限定されない。例えば、低フレームレートの期間に画素値が“０”のダミーデータが出力されるようにしてもよい。この場合、低フレームレートの期間に間引き画像データ６９Ｂ１が出力される場合に比べ、データのトグルレートを小さくすることができる。

また、上記第１実施形態では、全ての間引き画像データ６９Ｂ１の各々に対して低ＦＲタグ又は高ＦＲタグが付与される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、評価結果が変化したタイミングでの間引き画像データ６９Ｂ１に対してのみ、ＦＲタグが付与されるようにしてもよい。具体的には、評価結果が“×”から“○”に変化した場合にのみ、評価結果が変化したタイミングでの間引き画像データ６９Ｂ１に対して高ＦＲタグが付与されるようにする。また、この場合、評価結果が“○”から“×”に変化した場合にのみ、評価結果が変化したタイミングでの間引き画像データ６９Ｂ１に対して低ＦＲタグが付与されるようにする。

また、上記第１実施形態では、フレームレート設定部６２Ｅ１に対して、ＦＲタグを用いて評価結果が変化するタイミングを特定させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合焦評価値算出部６２Ｃ３に対して、評価結果が変化したことを示す信号をフレームレート設定部６２Ｅ１に出力させるようにしてもよい。

この場合、例えば、合焦評価値算出部６２Ｃ３は、評価結果が“×”から“○”に変化したタイミングで、評価結果が“×”から“○”に変化したことを示す高評価結果信号を制御回路６２Ｅに出力する。また、高評価結果信号には、高評価値フレーム番号が含まれる。高評価値フレーム番号とは、評価結果が“×”から“○”に変化したタイミングでの間引き画像データ６９Ｂ１のフレームを特定する番号を指す。

また、合焦評価値算出部６２Ｃ３は、評価結果が“○”から“×”に変化したタイミングで、評価結果が“○”から“×”に変化したことを示す低評価結果信号を制御回路６２Ｅに出力する。また、低評価結果信号には、低評価値フレーム番号が含まれる。低評価値フレーム番号とは、評価結果が“○”から“×”に変化したタイミングでの間引き画像データ６９Ｂ１のフレームを特定する番号を指す。

フレームレート設定部６２Ｅ１は、高評価結果信号が入力された場合、高評価結果信号に含まれるフレーム番号により特定されるフレームの間引き画像データ６９Ｂ１が入力されると、出力フレームレートとして高フレームレートを設定する。また、フレームレート設定部６２Ｅ１は、低評価結果信号が入力された場合、低評価結果信号に含まれるフレーム番号により特定されるフレームの間引き画像データ６９Ｂ１が入力されると、出力フレームレートとして低フレームレートを設定する。

［第２実施形態］
上記第１実施形態では、評価結果が“×”から“○”に変化したタイミングで低フレームレートから高フレームレートに変更する形態例を挙げて説明したが、本第２実施形態では、高フレームレートに変更するタイミングを前倒しする形態例について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。

本第２実施形態に係る撮像装置１０の撮像素子４４では、一例として図１９に示すように、上記第１実施形態に比べ、第１変更タイミングが３フレーム分前倒しされたタイミングとされている。図１９に示す例では、評価結果が“×”から“○”に変化するタイミングよりも３フレーム分前に第１変更タイミングが設定される。

一例として図２０に示すように、制御回路６２Ｅは、タグ変更部６２Ｅ２を有する。タグ変更部６２Ｅ２は、タグ付き間引き画像データに付与されているＦＲタグの種類を変更する。本第２実施形態では、タグ変更部６２Ｅ２は、タグ変更対象画像データである特定の低ＦＲタグ付き間引き画像データ６９Ｂ１ａの低ＦＲタグを高ＦＲタグに変更することで高ＦＲタグ付き間引き画像データ６９Ｂ１ｂに変更する。

図２０に示す例では、上記のタグ変更対象画像データは、合焦状態の前の３フレーム分の低ＦＲタグ付き間引き画像データ６９Ｂ１ａである。すなわち、上記のタグ変更対象画像データは、評価結果が“×”から“○”に変化したタイミングでの高ＦＲタグ付き間引き画像データ６９Ｂ１ｂから過去に３フレーム分だけ遡った期間に得られた３フレーム分の低ＦＲタグ付き間引き画像データである。評価結果が“×”から“○”に変化したタイミングとは、換言すると、低ＦＲタグ付き間引き画像データ６９Ｂ１ａからに変化したタイミングをいう。

なお、ここで言う「３フレーム」とは、本開示の技術に係る「第１フレーム数」及び「第３フレーム数」の一例である。本第２実施形態では「３フレーム」を例示しているが、本開示の技術はこれに限定されず、１フレーム分以上のフレーム数であればよく、タグ変更対象画像データを定めるフレーム数は、受付部８４（図３参照）によって受け付けられた指示に応じて変更可能な可変値であっても良いし、固定値であってもよい。

タグ変更部６２Ｅ２は、タグ変更対象画像データとして合焦状態の前の３フレーム分の低ＦＲタグ付き間引き画像データ６９Ｂ１ａを取得する。タグ変更部６２Ｅ２は、取得した低ＦＲタグ付き間引き画像データ６９Ｂ１ａの低ＦＲタグを高ＦＲタグに変更することで、低ＦＲタグ付き間引き画像データ６９Ｂ１ａを高ＦＲタグ付き間引き画像データ６９Ｂ１ｂに変更する。そして、一例として図２１に示すように、タグ変更部６２Ｅ２は、ＦＲタグを変更して得た高ＦＲタグ付き間引き画像データ６９Ｂ１ｂをメモリ６４に戻す。すなわち、ＦＲタグの変更対象とされた低ＦＲタグ付き間引き画像データ６９Ｂ１ａを、ＦＲタグ変更後の高ＦＲタグ付き間引き画像データ６９Ｂ１ｂに置き換える。

これにより、図２１に示すように、図２０に示す状態に比べ、メモリ６４に記憶されている高ＦＲタグ付き間引き画像データ６９Ｂ１ｂが合焦状態の高ＦＲタグ付き間引き画像データ６９Ｂ１ｂよりも過去に遡って３フレームだけ増加する。

次に、本第２実施形態に係る撮像装置１０の作用について図２２を参照しながら説明する。図２２には、撮像素子４４の処理回路６２によって実行される本第２実施形態に係る撮像処理の流れの一例が示されている。なお、図２２に示す撮像処理は、図１７に示す撮像処理に比べ、ステップＳＴ２００～ステップＳＴ２０４を有する点が異なる。そのため、図２２に示す撮像処理のフローチャートには、図１７に示す撮像処理と同一のステップについては同一のステップ番号が付されている。以下、図２２に示す撮像処理については、図１７に示す撮像処理と異なる点のみを説明する。

図２２に示す撮像処理では、ステップＳＴ２０の処理が実行された後、撮像処理はステップＳＴ２００へ移行する。ステップＳＴ２００で、制御回路６２Ｅは、現時点が高評価値変更点か否かを判定する。高評価値変更点とは、合焦評価値算出部６２Ｃ３から入力されたタグ付き間引き画像データが低ＦＲタグ付き間引き画像データ６９Ｂ１ａから高ＦＲタグ付き間引き画像データ６９Ｂ１ｂに変更されたタイミングを指す。高評価値変更点か否かは、制御回路６２Ｅによってメモリ６４に記憶された最新のタグ付き間引き画像データと、合焦評価値算出部６２Ｃ３から入力された最新のタグ付き間引き画像データとの比較によって判定される。すなわち、メモリ６４に記憶された最新のタグ付き間引き画像データが低ＦＲタグ付き間引き画像データ６９Ｂ１ａであり、合焦評価値算出部６２Ｃ３から制御回路６２Ｅに入力された最新のタグ付き間引き画像データが高ＦＲタグ付き間引き画像データ６９Ｂ１ｂであれば、高評価値変更点であると判定される。

ステップＳＴ２００において、現時点が高評価値変更点の場合は、判定が肯定されて、撮像処理はステップＳＴ２０２へ移行する。ステップＳＴ２００において、現時点が高評価値変更点でない場合は、判定が否定されて、撮像処理はステップＳＴ２２へ移行する。

ステップＳＴ２０２で、タグ変更部６２Ｅ２は、上述したようにメモリ６４から、タグ変更対象画像データとして、合焦状態の前の３フレーム分の低ＦＲタグ付き間引き画像データ６９Ｂ１ａを取得し、その後、撮像処理はステップＳＴ２０４へ移行する。

ステップＳＴ２０４で、タグ変更部６２Ｅ２は、ステップＳＴ２０２で取得した合焦状態の前の３フレーム分の低ＦＲタグ付き間引き画像データ６９Ｂ１ａの低ＦＲタグを高ＦＲタグに変更することで高ＦＲタグ付き間引き画像データ６９Ｂ１ｂを生成する。そして、タグ変更部６２Ｅ２は、メモリ６４において、ＦＲタグの変更対象とされた低ＦＲタグ付き間引き画像データ６９Ｂ１ａを、ＦＲタグ変更後の高ＦＲタグ付き間引き画像データ６９Ｂ１ｂに置き換える。ステップＳＴ２０４の処理が実行された後、撮像処理はステップＳＴ２２へ移行する。

これにより、一例として図１９に示すように第１変更タイミングが上記第１実施形態の場合に比べ、３フレーム分だけ前倒しされる。従って、ステップＳＴ２４～ステップＳＴ２８の処理が実行されることで、合焦状態の前の３フレーム分の非合焦画像データが出力され、非合焦画像データの出力に続いて合焦画像データが出力される。よって、ユーザに対して、画像を通して非合焦状態から合焦状態への遷移態様を視覚的に認識させることができる。

［第３実施形態］
上記第１実施形態では、評価結果が“○”から“×”に変化したタイミングで高フレームレートから低フレームレートに変更する形態例を挙げて説明したが、本第３実施形態では、低フレームレートに変更するタイミングを先延ばしにする形態例について説明する。なお、本第３実施形態では、上記第１及び第２実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１及び第２実施形態と異なる部分について説明する。

本第３実施形態に係る撮像装置１０の撮像素子４４では、一例として図２３に示すように上記第１実施形態に比べ、第２変更タイミングが３フレーム分先延ばしのタイミングとされている。なお、ここで言う「３フレーム」とは、本開示の技術に係る「第２フレーム数」及び「第４フレーム数」の一例である。本第３実施形態では「３フレーム」を例示しているが、本開示の技術はこれに限定されず、１フレーム分以上のフレーム数であればよく、タグ変更対象画像データを定めるフレーム数は、受付部８４（図３参照）によって受け付けられた指示に応じて変更可能な可変値であっても良いし、固定値であってもよい。

図２３に示す例では、評価結果が“○”から“×”に変化したタイミングから３フレーム分後に第２変更タイミングが設定される。換言すると、評価結果が“○”から“×”に変化したときの“○”の時点よりも４フレーム後に第２変更タイミングが設定される。

一例として図２４に示すように、タグ変更対象画像データは、合焦状態から非合焦状態に変化した時点から３フレーム先までの低ＦＲタグ付き間引き画像データ６９Ｂ１ａである。換言すると、上記のタグ変更対象画像データは、評価結果が“○”から“×”に変化したタイミングでの低ＦＲタグ付き間引き画像データ６９Ｂ１ａを含めて４フレーム分だけ先延ばした期間に得られた４フレーム分の低ＦＲタグ付き間引き画像データ６９Ｂ１ａである。評価結果が“○”から“×”に変化したタイミングとは、換言すると、高ＦＲタグ付き間引き画像データ６９Ｂ１ｂから低ＦＲタグ付き間引き画像データ６９Ｂ１ａに変化したタイミングをいう。

タグ変更部６２Ｅ２は、タグ変更対象画像データとして、合焦状態から非合焦状態に変化した時点以降の４フレーム分の低ＦＲタグ付き間引き画像データ６９Ｂ１ａを取得する。タグ変更部６２Ｅ２は、取得した低ＦＲタグ付き間引き画像データ６９Ｂ１ａの低ＦＲタグを高ＦＲタグに変更することで、低ＦＲタグ付き間引き画像データ６９Ｂ１ａを高ＦＲタグ付き間引き画像データ６９Ｂ１ｂに変更する。そして、一例として図２５に示すように、タグ変更部６２Ｅ２は、ＦＲタグを変更して得た高ＦＲタグ付き間引き画像データ６９Ｂ１ｂをメモリ６４に戻す。すなわち、ＦＲタグの変更対象とされた低ＦＲタグ付き間引き画像データ６９Ｂ１ａを、ＦＲタグ変更後の高ＦＲタグ付き間引き画像データ６９Ｂ１ｂに置き換える。

これにより、図２５に示すように、図２０に示す状態に比べ、メモリ６４に記憶されている高ＦＲタグ付き間引き画像データ６９Ｂ１ｂは、合焦状態の高ＦＲタグ付き間引き画像データ６９Ｂ１ｂよりも先延ばした期間の４フレームだけ増加する。

次に、本第３実施形態に係る撮像装置１０の作用について図２６を参照しながら説明する。図２６には、撮像素子４４の処理回路６２によって実行される本第３実施形態に係る撮像処理の流れの一例が示されている。なお、図２６に示す撮像処理は、図１７に示す撮像処理に比べ、ステップＳＴ３００～ステップＳＴ３０４を有する点が異なる。そのため、図２６に示す撮像処理のフローチャートには、図１７に示す撮像処理と同一のステップについては同一のステップ番号が付されている。以下、図２６に示す撮像処理については、図１７に示す撮像処理と異なる点のみを説明する。

図２６に示す撮像処理では、ステップＳＴ３０の処理が実行された後、撮像処理はステップＳＴ３００へ移行する。ステップＳＴ３００で、制御回路６２Ｅは、現時点が低評価値変更点か否かを判定する。低評価値変更点とは、合焦評価値算出部６２Ｃ３から入力されたタグ付き間引き画像データが高ＦＲタグ付き間引き画像データ６９Ｂ１ｂから低ＦＲタグ付き間引き画像データ６９Ｂ１ａに変更されたタイミングを指す。低評価値変更点か否かは、制御回路６２Ｅによってメモリ６４に記憶された最新のタグ付き間引き画像データと、合焦評価値算出部６２Ｃ３から入力された最新のタグ付き間引き画像データとの比較によって判定される。すなわち、メモリ６４に記憶された最新のタグ付き間引き画像データが高ＦＲタグ付き間引き画像データ６９Ｂ１ｂであり、合焦評価値算出部６２Ｃ３から制御回路６２Ｅに入力された最新のタグ付き間引き画像データが低ＦＲタグ付き間引き画像データ６９Ｂ１ａであれば、低評価値変更点であると判定される。

ステップＳＴ３００において、現時点が低評価値変更点の場合は、判定が肯定されて、撮像処理はステップＳＴ３０２へ移行する。ステップＳＴ３００において、現時点が低評価値変更点でない場合は、判定が否定されて、撮像処理はステップＳＴ２２へ移行する。

ステップＳＴ３０２で、タグ変更部６２Ｅ２は、上述したようにメモリ６４から、タグ変更対象画像データとして、４フレーム分の低ＦＲタグ付き間引き画像データ６９Ｂ１ａを取得し、その後、撮像処理はステップＳＴ３０４へ移行する。ここで言う「４フレーム分の低ＦＲタグ付き間引き画像データ６９Ｂ１ａ」とは、評価結果が“○”から“×”に変化したタイミングでの低ＦＲタグ付き間引き画像データ６９Ｂ１ａを含めて４フレーム分だけ先延ばした期間に得られる４フレーム分の低ＦＲタグ付き間引き画像データ６９Ｂ１ａを指す。

ステップＳＴ３０４で、タグ変更部６２Ｅ２は、ステップＳＴ３０２で取得した４フレーム分の低ＦＲタグ付き間引き画像データ６９Ｂ１ａの低ＦＲタグを高ＦＲタグに変更することで高ＦＲタグ付き間引き画像データ６９Ｂ１ｂを生成する。そして、タグ変更部６２Ｅ２は、メモリ６４において、ＦＲタグの変更対象とされた低ＦＲタグ付き間引き画像データ６９Ｂ１ａを、ＦＲタグ変更後の高ＦＲタグ付き間引き画像データ６９Ｂ１ｂに置き換える。ステップＳＴ３０４の処理が実行された後、撮像処理はステップＳＴ２２へ移行する。

これにより、一例として図２３に示すように第２変更タイミングが上記第１実施形態の場合に比べ、３フレーム分だけ先延ばしされる。第２変更タイミングが３フレーム分だけ先延ばしされるということは、高ＦＲタグ付き間引き画像データ６９Ｂ１ｂが４フレーム分だけ増えることを意味する（図２３～図２５参照）。従って、ステップＳＴ２４～ステップＳＴ２８の処理が実行されることで、合焦画像データの出力に続いて４フレーム分の高ＦＲタグ付き間引き画像データ６９Ｂ１ｂが出力されてから、非合焦画像データが出力される。よって、ユーザに対して、画像を通して合焦状態から非合焦状態への遷移態様を視覚的に認識させることができる。

なお、上記第３実施形態では、低フレームレートに変更するタイミングを先延ばしにする形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２７に示すように、低フレームレートに変更するタイミングを先延ばしにするだけでなく、上記第２実施形態と同様に、高フレームレートに変更するタイミングも前倒してもよい。すなわち、第１変更タイミングを上記第１実施形態よりも前倒しのタイミングとし、第２変更タイミングを上記第１実施形態よりも先延ばしのタイミングとする、ということである。図２７に示す例では、第１変更タイミングが上記第１実施形態よりも３フレーム分だけ前倒しに設定されており、第２変更タイミングが上記第１実施形態よりも３フレーム分だけ先延ばしに設定されている。

このようにして第１変更タイミング及び第２変更タイミングを設定する場合、図２８に示すように、上記第１実施形態に係る撮像処理に対して、上述のステップＳＴ２００～ＳＴ２０４の処理及び上述のステップＳＴ３００～ＳＴ３０４の処理を追加する。すなわち、上記第１実施形態の撮像処理のステップＳＴ１８とステップＳＴ２２との間にステップＳＴ２００～ＳＴ２０４を追加し、ステップＳＴ３０とステップＳＴ２２との間にステップＳＴ３００～ＳＴ３０４を追加すればよい。この場合、上記第２実施形態で説明した効果と上記第３実施形態で説明した効果との２つの効果を得ることが可能となる。

［第４実施形態］
上記各実施形態では、合焦評価値としてコントラスト値を適用する形態例を挙げて説明したが本第４実施形態では、合焦評価値として位相差及び位相差評価値を適用する形態例について説明する。なお、本第４実施形態では、上記各実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記各実施形態と異なる部分について説明する。

本第４実施形態に係る撮像装置１０は、上記各実施形態に比べ、撮像素子４４に代えて撮像素子４４４を有する点が異なる。一例として図２９に示すように、撮像素子４４４は、撮像素子４４に比べ、光電変換素子６１に代えて光電変換素子４４４Ａを有する点が異なる。光電変換素子４４４Ａは、第１の画素Ｌ、第２の画素Ｒ、及び通常画素Ｎを有する。通常画素Ｎは、上記第１実施形態で説明した光電変換素子６１が有する画素と同様の画素であり、後述の遮光部材２１Ｌ，２１Ｒ（図３０参照）を有しない画素である。光電変換素子４４４Ａでは、複数列間隔で、第１の画素Ｌ及び第２の画素が行方向に複数の通常画素Ｎを介在させて周期的に配置されている。

一例として図３０に示すように、第１の画素Ｌ及び第２の画素Ｒの各々は、マイクロレンズ１９及びフォトダイオードＰＤを有する。第１の画素Ｌは、遮光部材２１Ｌを有し、第２の画素Ｒは、遮光部材２１Ｒを有する。

第１の画素Ｌは、遮光部材２１ＬによってフォトダイオードＰＤの受光面における行方向（図２９参照）の左半分（受光面から被写体を臨む場合の左側（換言すると、被写体から受光面を臨む場合の右側））が遮光された画素である。第２の画素Ｒは、遮光部材２１ＲによってフォトダイオードＰＤの受光面における行方向（図２９参照）の右半分（受光面から被写体を臨む場合の右側（換言すると、被写体から受光面を臨む場合の左側））が遮光された画素である。

マイクロレンズ１９及び遮光部材２１Ｌ，２１Ｒは瞳分割部として機能する。すなわち、撮像レンズ４０の射出瞳を通過する光束は、マイクロレンズ１９及び遮光部材２１Ｌ，２１Ｒにより左右に分割され、第１の画素Ｌが左領域通過光を受光し、第２の画素Ｒが右領域通過光を受光する。この結果、左領域通過光に対応する被写体像及び右領域通過光に対応する被写体像は、視差が異なる視差画像として得られる。

このように構成された第１の画素Ｌ及び第２の画素Ｒは、本開示の技術に係る「像面位相差画素」の一例である。以下では、説明の便宜上、第１の画素Ｌ及び第２の画素Ｒを区別して説明する必要がない場合は「像面位相差画素」と称する。

一例として図３１に示すように、光電変換素子４４４Ａに含まれる全画素のうちの像面位相差画素が含まれる一行について、像面位相差画素での受光結果が関数ｆ（ｘ）及び関数ｇ（ｘ）で表される。関数ｆ（ｘ）は、第１の画素Ｌによる画素値の分布を示す関数であり、関数ｇ（ｘ）は、第２の画素Ｒによる画素値の分布を示す関数である。

合焦評価値算出部６２Ｃ３（図８参照）は、関数ｆ（ｘ）及び関数ｇ（ｘ）から、合焦評価値として、位相差ｄ及び位相差評価値を算出する。位相差ｄは、関数ｆ（ｘ）と関数ｇ（ｘ）とのピーク間の距離に相当する。合焦状態に近付く程、すなわち、フォーカスレンズ４０Ａが合焦位置に近付く程、位相差ｄは小さくなる。位相差評価値は、以下の数式（１）又は数式（２）で表される。位相差評価値も、位相差ｄと同様に、合焦状態に近付く程、値が小さくなる。

合焦評価値＝∫｜ｆ（ｘ）－ｇ（ｘ）｜ｄｘ・・・・・・（１）

合焦評価値＝∫｛ｆ（ｘ）－ｇ（ｘ）｝^２ｄｘ・・・・・（２）

このように、本第４実施形態では、合焦評価値算出部６２Ｃ３により、像面位相差画素での受光結果に基づく位相差ｄ及び位相差評価値が合焦評価値として算出される。よって、本第４実施形態に係る撮像素子４４４であっても、上記各実施形態と同様の効果が得られる。また、像面位相差画素を用いているので、コントラスト値を合焦評価値として算出する場合に比べ、迅速に合焦評価値を得ることができる。

なお、上記第４実施形態では、位相差ｄ及び位相差評価値の双方が算出される形態例を挙げて説明したが、本開示の技術はこれに限定されず、位相差ｄ、位相差評価値、及びコントラスト値の少なくとも１つが合焦評価値として算出されるようにすればよい。

また、上記第４実施形態では、像面位相差画素を例示したが、本開示の技術はこれに限定されず、撮像装置１０に対して、第１の画素Ｌ及び第２の画素Ｒを含む位相差センサと撮像素子４４とを別々に設けるようにしてよい。

また、上記各実施形態では、間引き画像データ６９Ｂ１として垂直１／２間引き画像を示す画像データを例示したが、本開示の技術はこれに限定されない。例えば、ｎを３以上の自然数とした場合、垂直１／ｎ間引き画像を示す画像データを間引き画像データとして適用してもよい。また、列単位で間引いた水平間引き画像を示す画像データを間引き画像データとして適用してもよいし、行単位及び列単位で間引いた画像を示す画像データを間引き画像データとして適用してもよい。

また、上記各実施形態では、間引き画像データ６９Ｂ１が出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。間引き画像データ６９Ｂ１に代えて撮像画像データ６９Ｂ、又は撮像画像データ６９Ｂに対して信号処理を施して得た処理済み画像データが出力されるようにしてもよい。なお、撮像画像データ６９Ｂ及び処理済み画像データは、本開示の技術の「出力画像データ」の一例である。

また、上記各実施形態では、Ｘ－Ｔｒａｎｓ配列を例示したが、本開示の技術はこれに限定されず、画素の配列は、ベイヤ配列等の他の配列であってもよい。

また、上記各実施形態では、撮像画像データ６９Ｂに対して間引き処理を行う形態例を挙げて説明したが、光電変換素子６１に含まれる全画素のうちの一部の画素を間引いた状態で光電変換素子６１を駆動させることによって撮像が行われるようにしてもよい。画素を間引く方法としては、例えば、行方向及び／又は列方向に特定の間隔で画素を間引く方法が挙げられる。

また、上記第１実施形態で説明した出力方式と、上記第２実施形態で説明した出力方式と、上記第３実施形態で説明した出力方式とが、受付部８４によって受け付けられた指示に従って選択的に実施されるようにしてもよい。

また、上記各実施形態では、演算式を用いて解を導き出すことを意味する「算出」を例示したが、本開示の技術はこれに限定されない。例えば、「算出」に代えて、ルックアップテーブルを用いた「導出」を適用してもよいし、演算式及びルックアップテーブルを併用してもよい。ルックアップテーブルを用いた「導出」は、例えば、演算式の独立変数を入力値と演算式の従属変数（解）を出力値とを有するルックアップテーブルを用いて出力値としての解を導き出す処理を含む。

また、上記各実施形態では、処理回路６２がＡＳＩＣによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、上述した撮像処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図３３に示すように、撮像素子４４に内蔵されたコンピュータ８５２に、上述した撮像処理を実行させるための撮像処理プログラム９０２を記憶媒体９００に記憶させておく。

コンピュータ８５２は、ＣＰＵ８５２Ａ、ＲＯＭ８５２Ｂ、及びＲＡＭ８５２Ｃを備えている。そして、記憶媒体９００の撮像処理プログラム９０２がコンピュータ８５２にインストールされ、コンピュータ８５２のＣＰＵ８５２Ａは、撮像処理プログラム９０２に従って、上述した撮像処理を実行する。

ここでは、ＣＰＵ８５２Ａとして、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ８５２Ａに代えて複数のＣＰＵを採用してもよい。なお、記憶媒体９００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

図３３に示す例では、記憶媒体９００に撮像処理プログラム９０２が記憶されているが、本開示の技術はこれに限定されない。例えば、ＲＯＭ８５２Ｂに撮像処理プログラム９０２を予め記憶させておき、ＣＰＵ８５２ＡがＲＯＭ８５２Ｂからプログラムを読み出し、ＲＡＭ８５２Ｃに展開し、展開したプログラムを実行するようにしてもよい。

また、通信網（図示省略）を介してコンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像処理プログラム９０２を記憶させておき、撮像処理プログラム９０２が撮像装置１０の要求に応じてコンピュータ８５２にダウンロードされるようにしてもよい。この場合、ダウンロードされた撮像処理プログラム９０２がコンピュータ８５２のＣＰＵ８５２Ａによって実行される。

また、コンピュータ８５２は、撮像素子４４の外部に設けられるようにしてもよい。この場合、コンピュータ８５２が撮像処理プログラム９０２に従って処理回路を制御するようにすればよい。

上記各実施形態で説明した撮像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、撮像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。

撮像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像素子内処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）などに代表されるように、撮像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像素子内処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記各実施形態では、撮像装置としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図３４に示すスマートデバイス９５０に対して本開示の技術を適用するようにしてもよい。一例として図３４に示すスマートデバイス９５０は、本開示の技術に係る撮像装置の一例である。スマートデバイス９５０には、撮像素子４４が搭載されている。このように構成されたスマートデバイス９５０であっても、上記各実施形態で説明した撮像装置と同様の作用及び効果が得られる。なお、スマートデバイス９５０に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

また、上記各実施形態では、第１ディスプレイ３２及び第２ディスプレイ８６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。

また、上記の撮像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (14)

1. 撮像素子であって、
   被写体が第１フレームレートで撮像されることで得られた画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
   前記画像データを用いた処理を行い、処理結果に基づいて、前記画像データに基づく出力画像データを第２フレームレートで出力し、かつ、前記撮像素子に内蔵されたプロセッサと、を含み、
   前記プロセッサは、前記出力画像データを前記第２フレームレートで出力する出力回路を含み、
   前記第１フレームレートは、前記第２フレームレート以上であり、
   前記プロセッサは、前記メモリに記憶された前記画像データに対して合焦の度合いを示す評価値を導出し、導出した前記評価値に基づいて前記第２フレームレートを変更する処理を行う
   撮像素子。
2. 前記第２フレームレートは、低フレームレートと、前記低フレームレートよりも高いフレームレートである高フレームレートとに選択的に設定され、
   前記プロセッサは、前記評価値が第１閾値以上の場合に前記第２フレームレートを前記高フレームレートに設定し、前記評価値が前記第１閾値未満の場合に前記第２フレームレートを前記低フレームレートに設定する請求項１に記載の撮像素子。
3. 前記プロセッサは、前記評価値が第２閾値未満の場合に、前記第２閾値未満の前記評価値の導出対象とされた前記画像データを出力しない請求項１又は請求項２に記載の撮像素子。
4. 前記第２フレームレートの変更タイミングは、前記評価値が第３閾値未満から前記第３閾値以上に変化するタイミングよりも、第１フレーム数分、前に設定される請求項１から請求項３の何れか一項に記載の撮像素子。
5. 前記第２フレームレートの変更タイミングは、前記評価値が第４閾値以上から前記第４閾値未満に変化するタイミングよりも、第２フレーム数分、後に設定される請求項１から請求項４の何れか一項に記載の撮像素子。
6. 前記第２フレームレートの変更タイミングは、前記評価値が第５閾値未満から前記第５閾値以上に変化するタイミングよりも、第３フレーム数分、前に設定され、かつ、前記第２フレームレートの変更タイミングは、前記評価値が前記第５閾値以上から前記第５閾値未満に変化するタイミングよりも、第４フレーム数分、後に設定される請求項１から請求項３の何れか一項に記載の撮像素子。
7. 前記プロセッサは、
   前記メモリに記憶された前記画像データに対して間引き処理を行い、
   前記間引き処理後の前記画像データに対して前記評価値を導出する請求項１から請求項６の何れか一項に記載の撮像素子。
8. 前記被写体を示す被写体光を受光する像面位相差画素を更に含み、
   前記プロセッサは、前記像面位相差画素での受光結果に基づいて前記評価値を導出する請求項１から請求項７の何れか一項に記載の撮像素子。
9. 少なくとも光電変換素子と前記メモリとが１チップ化された請求項１から請求項８の何れか１項に記載の撮像素子。
10. 前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項９に記載の撮像素子。
11. 請求項１から請求項１０の何れか一項に記載の撮像素子と、
    前記プロセッサにより出力された前記出力画像データに基づく画像をディスプレイに対して表示させる制御を行う表示制御プロセッサと、
    を含む撮像装置。
12. 請求項１から請求項１０の何れか一項に記載の撮像素子と、
    前記プロセッサにより出力された前記出力画像データを記憶装置に対して記憶させる制御を行う記憶制御プロセッサと、
    を含む撮像装置。
13. 被写体が第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、前記画像データを用いた処理を行い、処理結果に基づいて、前記画像データに基づく出力画像データを第２フレームレートで出力するプロセッサと、を含み、前記メモリ及び前記プロセッサが内蔵された撮像素子の作動方法であって、
    前記プロセッサは、前記出力画像データを前記第２フレームレートで出力する出力回路を含み、
    前記第１フレームレートを前記第２フレームレート以上とし、
    前記メモリに記憶された前記画像データに対して合焦の度合いを示す評価値を導出し、導出した前記評価値に基づいて前記第２フレームレートを変更する処理を行うことを含む、撮像素子の作動方法。
14. 被写体が第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、前記画像データを用いた処理を行い、処理結果に基づいて、前記画像データに基づく出力画像データを第２フレームレートで出力するプロセッサと、を含み、前記メモリ及び前記プロセッサが内蔵された撮像素子に対して適用されるコンピュータに特定処理を実行させるためのプログラムであって、
    前記プロセッサは、前記出力画像データを前記第２フレームレートで出力する出力回路を含み、
    前記第１フレームレートは、前記第２フレームレート以上であり、
    前記特定処理は、前記メモリに記憶された前記画像データに対して合焦の度合いを示す評価値を導出し、導出した前記評価値に基づいて前記第２フレームレートを変更する処理を行うことを含む
    プログラム。

Images