JP6996025B2 - 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像素子、撮像装置、撮像素子の作動方法、及びプログラムに関する。

再公表２０１４－７００４号公報には、信号処理部、メモリ部、データ処理部、及び、制御部が形成されたチップと、画素アレイ部が形成されたチップとが積層された撮像素子が開示されている。再公表２０１４－７００４号公報に記載の撮像素子では、画素アレイ部の各画素から読み出されてデジタル化された画素データが第１速度でメモリ部に転送され、メモリ部から第１速度よりも遅い第２速度で画素データが読み出される。再公表２０１４－７００４号公報に記載の撮像素子は、チップ外から与えられる水平同期信号、垂直同期信号、及びマスタークロックなどの基準信号に基づいて動作する。

特開２００７－２９５０９６号公報には、撮像素子の外部で生成された同期信号が撮像素子に入力され、撮像素子が、外部から入力された同期信号に従って動作するデジタルカメラが開示されている。

本開示の技術に係る一つの実施形態は、撮像素子の外部の状況に応じた撮像及び出力を実現することができる撮像素子、撮像装置、撮像素子の作動方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、撮像素子であって、撮像するタイミングに関する撮像同期信号と、撮像されることで得られた画像データを出力するタイミングに関する少なくとも１つの出力同期信号とを撮像素子の外部から受け付ける受付部と、受付部によって受け付けられた撮像同期信号に従って第１フレームレートで撮像されることで得られた画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、記憶部に記憶された画像データを、受付部によって受け付けられた出力同期信号に従って第２フレームレートで出力し、かつ、撮像素子に内蔵された出力部と、を含み、第１フレームレートは、第２フレームレート以上である撮像素子である。これにより、撮像素子の外部の状況に応じた撮像及び出力を実現することができる。

本開示の技術に係る第２の態様は、撮像同期信号は、撮像用垂直同期信号及び撮像用水平同期信号のうちの少なくとも一方を含む信号である第１の態様に係る撮像素子である。これにより、撮像タイミングを撮像素子の外部から調節することができる。

本開示の技術に係る第３の態様は、出力同期信号は、出力用垂直同期信号及び出力用水平同期信号のうちの少なくとも一方を含む信号である第１の態様又は第２の態様に係る撮像素子である。これにより、出力タイミングを撮像素子の外部から調節することができる。

本開示の技術に係る第４の態様は、出力部は、複数の出力インタフェースを有し、受付部は、複数の出力インタフェースの各々に対応する複数の出力同期信号を受け付ける第１の態様から第３の態様の何れか１つの態様に係る撮像素子である。これにより、画像データの出力先が複数存在していたとしても、各出力先の状況に応じて画像データを処理することができる。

本開示の技術に係る第５の態様は、出力部は、出力同期信号が受付部によって受け付けられた時点で記憶部に記憶されている最新の画像データを出力する第１の態様から第４の態様の何れか１つの態様に係る撮像素子である。これにより、出力同期信号が受け付けられた時点よりも前に記憶された画像データが出力される場合に比べ、撮像と出力との間のリアルタイム性を高めることができる。

本開示の技術に係る第６の態様は、出力部は、複数の画像データのうちの最新の画像データである最新画像データを出力し、最新画像データは、１フレーム分の画像データの出力が完了する時間として予測された出力完了時間内に、現時点において撮像されている被写体に関する１フレーム分の画像データの記憶部への記憶が完了する場合、現時点において撮像されている被写体に関する１フレーム分の画像データであり、出力完了時間内に、現時点において撮像されている被写体に関する１フレーム分の画像データの記憶部への記憶が完了しない場合、記憶部に既に１フレーム分記憶されている画像データである第１の態様から第４の態様の何れか１つの態様に係る撮像素子である。これにより、撮像と出力とのリアルタイム性と、画像データの出力の停滞の回避とを両立させることができる。

本開示の技術に係る第７の態様は、最新画像データは、出力完了時間内に最新画像データの記憶部への記憶が完了しない場合、記憶部に記憶された最新の画像データである第６の態様に係る撮像素子である。これにより、現時点で記憶部に対して記憶中の画像データよりも複数フレーム前に記憶部に既に記憶されている画像データを出力する場合に比べ、撮像と出力とのリアルタイム性を確保することができる。

本開示の技術に係る第８の態様は、出力同期信号は、出力用水平同期信号を含む信号であり、出力完了時間は、出力用水平同期信号が受付部によって受け付けられた周期に基づいて予測された時間である第６の態様又は第７の態様に係る撮像素子である。これにより、出力用水平同期信号以外の信号を用いて出力完了時間が求められる場合に比べ、出力完了時間を正確に求めることができる。

本開示の技術に係る第９の態様は、撮像同期信号は、撮像用垂直同期信号を含む信号であり、撮像素子の撮像系の駆動方式を指示する撮像系駆動方式指示情報を保持する撮像系保持部と、撮像用垂直同期信号が受付部によって受け付けられた場合に、撮像系保持部によって保持されている撮像系駆動方式指示情報によって指示される駆動方式で撮像系を駆動させる制御を行う撮像系制御部と、を更に含む第１の態様から第８の態様に何れか１つの態様に係る撮像素子である。これにより、１フレーム毎に、撮像系駆動方式指示情報によって指示される駆動方式で撮像系を駆動させることができる。

本開示の技術に係る第１０の態様は、受付部は、撮像系駆動方式指示情報の書き換えの内容を示す撮像系書換内容情報を受け付け、撮像系書換内容情報が受付部によって受け付けられた場合に、撮像系保持部によって保持されている撮像系駆動方式指示情報が撮像系書換内容情報により示される内容に書き換えられる第９の態様に係る撮像素子である。これにより、撮像素子の外部から撮像素子内に保持されている撮像系駆動方式指示情報の内容を書き換えることができる。

本開示の技術に係る第１１の態様は、撮像系駆動方式指示情報は、撮像領域に関する情報、画素間引きに関する情報、画素加算方法に関する情報、露光時間に関する情報、変換ゲイン切り替えに関する情報、アナログゲインに関する情報、及びＡ／Ｄ変換精度に関する情報のうちの少なくとも１つを含む情報である第１０の態様に係る撮像素子である。これにより、撮像素子内に保持されている撮像領域に関する情報、画素間引きに関する情報、画素加算方法に関する情報、露光時間に関する情報、変換ゲイン切り替えに関する情報、アナログゲインに関する情報、及びＡ／Ｄ変換精度に関する情報のうちの少なくとも１つを含む情報の内容を撮像素子の外部から書き換えることができる。

本開示の技術に係る第１２の態様は、出力同期信号は、出力用垂直同期信号を含む信号であり、撮像素子の出力系の駆動方式を指示する出力系駆動方式指示情報を保持する出力系保持部と、出力用垂直同期信号が受付部によって受け付けられた場合に、出力系保持部によって保持されている出力系駆動方式指示情報によって指示される駆動方式で出力系を駆動させる制御を行う出力系制御部と、を更に含む第１の態様から第１１の態様の何れか１つの態様に係る撮像素子である。これにより、１フレーム毎に、出力系駆動方式指示情報によって指示される駆動方式で出力系を駆動させることができる。

本開示の技術に係る第１３の態様は、受付部は、出力系駆動方式指示情報の書き換えの内容を示す出力系書換内容情報を受け付け、出力系書換内容情報が受付部によって受け付けられた場合に、出力系保持部によって保持されている出力系駆動方式指示情報が出力系書換内容情報により示される内容に書き換えられる第１２の態様に係る撮像素子である。これにより、撮像素子の外部から撮像素子内に保持されている出力系駆動方式指示情報の内容を書き換えることができる。

本開示の技術に係る第１４の態様は、出力系駆動方式指示情報は、出力先に関する情報、デジタル間引きに関する情報、デジタル加算方法に関する情報、出力フレームの平均枚数に関する情報、デジタルゲインに関する情報、Ａ／Ｄ出力ビット数に関する情報、及び下位空きビットの埋め方に関する情報のうちの少なくとも１つを含む情報である第１２の態様又は第１３の態様に係る撮像素子である。これにより、撮像素子内に保持されている出力先に関する情報、デジタル間引きに関する情報、デジタル加算方法に関する情報、出力フレームの平均枚数に関する情報、デジタルゲインに関する情報、Ａ／Ｄ出力ビット数に関する情報、及び下位空きビットの埋め方に関する情報のうちの少なくとも１つを含む情報の内容を撮像素子の外部から書き換えることができる。

本開示の技術に係る第１５の態様は、少なくとも光電変換素子と記憶部とが１チップ化された第１の態様から第１４の態様の何れか１つの態様に係る撮像素子である。これにより、光電変換素子と記憶部とが１チップ化されていない撮像素子に比べ、撮像素子の可搬性が高くなる。

本開示の技術に係る第１６の態様は、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である第１５の態様に係る撮像素子である。これにより、光電変換素子と記憶部とが積層されていない場合に比べ、光電変換素子から記憶部への画像データの転送速度を高めることができる。

本開示の技術に係る第１７の態様は、第１の態様から第１６の態様の何れか１つの態様に係る撮像素子と、出力部により出力された画像データに基づく画像を表示部に対して表示させる制御を行う表示制御部と、を含む撮像装置である。これにより、撮像素子の外部の状況に応じた撮像及び出力を実現することができる。

本開示の技術に係る第１８の態様は、受付部と、記憶部と、出力部と、を含み、記憶部及び出力部が内蔵された撮像素子の作動方法であって、受付部は、撮像するタイミングに関する撮像同期信号と、撮像されることで得られた画像データを出力するタイミングに関する少なくとも１つの出力同期信号とを撮像素子の外部から受け付け、記憶部は、受付部によって受け付けられた撮像同期信号に従って第１フレームレートで撮像されることで得られた画像データを記憶し、出力部は、記憶部に記憶された画像データを、受付部によって受け付けられた出力同期信号に従って第２フレームレートで出力し、第１フレームレートを第２フレームレート以上とすることを含む、撮像素子の作動方法である。これにより、撮像素子の外部の状況に応じた撮像及び出力を実現することができる。

本開示の技術に係る第１９の態様は、受付部と、記憶部と、出力部と、を含み、記憶部及び出力部が内蔵された撮像素子に含まれる受付部及び出力部としてコンピュータを機能させるためのプログラムであって、受付部は、撮像するタイミングに関する撮像同期信号と、撮像されることで得られた画像データを出力するタイミングに関する少なくとも１つの出力同期信号とを撮像素子の外部から受け付け、記憶部は、受付部によって受け付けられた撮像同期信号に従って第１フレームレートで撮像されることで得られた画像データを記憶し、出力部は、記憶部に記憶された画像データを、受付部によって受け付けられた出力同期信号に従って第２フレームレートで出力し、第１フレームレートは、第２フレームレート以上であるプログラムである。これにより、撮像素子の外部の状況に応じた撮像及び出力を実現することができる。

本開示の技術に係る第２０の態様は、撮像素子であって、撮像素子に各々内蔵されたプロセッサ及びメモリを含み、プロセッサは、撮像するタイミングに関する撮像同期信号と、撮像されることで得られた画像データを出力するタイミングに関する少なくとも１つの出力同期信号とを撮像素子の外部から受け付け、メモリは、プロセッサによって受け付けられた撮像同期信号に従って第１フレームレートで撮像されることで得られた画像データを記憶し、プロセッサは、メモリに記憶された画像データを、受け付けた出力同期信号に従って第２フレームレートで出力し、第１フレームレートは、第２フレームレート以上である撮像素子である。

第１～第５実施形態に係る撮像装置の外観の一例を示す斜視図である。 図１に示す撮像装置の背面側の外観の一例を示す背面図である。 第１～第４実施形態に係る撮像装置の構成の一例を示すブロック図である。 第１～第５実施形態に係る撮像装置に含まれる撮像素子の撮像フレームレートの説明に供する概念図である。 第１～第５実施形態に係る撮像装置に含まれる撮像素子の出力フレームレートの説明に供する概念図である。 第１～第４実施形態に係る撮像装置本体の電気系の構成の一例を示すブロック図である。 第１～第５実施形態に係る撮像装置に含まれるハイブリッドファインダーの構成を示す概略構成図である。 第１～第４実施形態に係る撮像装置に含まれる撮像素子の積層構造の一例、並びに、撮像素子、信号処理部、及びコントローラの接続関係の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子によって行われる撮像処理及び出力処理の時系列での処理内容の一例を示す状態遷移図である。 第１実施形態に係る撮像装置に含まれる撮像素子の動作の流れの一例を示すタイムチャートである。 第１～第５実施形態に係る撮像装置に含まれる撮像素子内の記憶回路の記憶内容の一例を示す概念図である。 第１実施形態に係る読出記憶処理の流れの一例を示すフローチャートである。 第１実施形態に係る出力処理の流れの一例を示すフローチャートである。 第１実施形態に係る撮像系駆動処理の流れの一例を示すフローチャートである。 第１実施形態に係る出力系駆動処理の流れの一例を示すフローチャートである。 第１実施形態に係る書換処理の流れの一例を示すフローチャートである。 第２実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の一例を示すブロック図である。 第２実施形態に係る読出記憶処理の流れの一例を示すフローチャートである。 第２実施形態に係る出力処理の流れの一例を示すフローチャートである。 第３実施形態に係る撮像装置に含まれる撮像素子の動作の流れの一例を示すタイムチャートである。 第３実施形態に係る出力処理の流れの一例を示すフローチャートである。 第４実施形態に係る撮像装置に含まれる撮像素子内の記憶回路の記憶内容の説明に供するブロック図である。 第４実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の特徴部分の一例を示すブロック図である。 第４実施形態に係る撮像装置に含まれる撮像素子の制御回路内の決定部での処理内容の説明に供する概念図である。 第４実施形態に係る出力処理の流れの一例を示すフローチャートである。 図２５Ａに示すフローチャートの続きである。 第５実施形態に係る撮像装置に含まれる撮像素子の積層構造の一例、並びに、撮像素子、第１信号処理部、第２信号処理部、及びコントローラの接続関係の一例を示すブロック図である。 第５実施形態に係る撮像装置に含まれる撮像素子の処理回路内の電気系の構成の特徴部分の一例、並びに、処理回路、第１信号処理部、第２信号処理部、及びコントローラの接続関係の一例を示すブロック図である。 各種プログラムが記憶された記憶媒体から、各種プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。 第１～第５実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

先ず、以下の説明で使用される用語の意味について説明する。

以下の説明において、ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。また、以下の説明において、ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。

また、以下の説明において、ＬＳＩとは、“Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ”の略称を指す。また、以下の説明において、ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。また、以下の説明において、ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。また、以下の説明において、ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。

また、以下の説明において、ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。また、以下の説明において、ＤＶＤ－ＲＯＭとは、“Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。また、以下の説明において、ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。また、以下の説明において、ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。

また、以下の説明において、ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。また、以下の説明において、ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。また、以下の説明において、ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。また、以下の説明において、Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。また、以下の説明において、Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。また、以下の説明において、ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。

［第１実施形態］
一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。

撮像装置本体１２には、撮像素子４４が設けられている。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、交換レンズ１４を透過して撮像素子４４に結像され、撮像素子４４によって被写体の画像を示す画像データ６９（例えば、図４Ａ及び図４Ｂ参照）が生成される。

撮像装置本体１２には、ハイブリッドファインダー（登録商標）１６が設けられている。ここで言うハイブリッドファインダー１６とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ ｖｉｅｗ ｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗ ｆｉｎｄｅｒ”の略称を指す。

撮像装置本体１２の前面には、ファインダー切替レバー１８が設けられている。ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像であるライブビュー画像とは、ファインダー切替レバー１８を矢印ＳＷ方向に回動させることで切り換わる。ここで言う「ライブビュー画像」とは、撮像素子４４によって撮像されることにより得られた画像データ６９に基づく表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２２が設けられている。ダイヤル２２は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作される。

レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードは、表示動画用撮像モードと記録用撮像モードとに大別される。

一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ２６、指示キー２８、及びファインダー接眼部３０が設けられている。

タッチパネル・ディスプレイ２６は、第１ディスプレイ３２及びタッチパネル３４（図５も参照）を備えている。第１ディスプレイ３２の一例としては、液晶ディスプレイが挙げられる。なお、第１ディスプレイ３２は、液晶ディスプレイではなく、有機ＥＬディスプレイなどの他のディスプレイであってもよい。

第１ディスプレイ３２は、画像及び文字情報等を表示する。第１ディスプレイ３２は、撮像装置１０が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、第１ディスプレイ３２は、静止画像用撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、第１ディスプレイ３２は、撮像装置１０が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。

タッチパネル３４は、透過型のタッチパネルであり、第１ディスプレイ３２の表示領域の表面に重ねられている。タッチパネル３４は、例えば、指又はスタイラスペン等の指示体による接触を検知する。

指示キー２８は、１つ又は複数のメニューの選択、選択内容の確定、選択内容の消去、ズーム、及びコマ送り等の各種の指示を受け付ける。

一例として図３に示すように、交換レンズ１４は、撮像レンズ４０を有する。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃを備えている。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃは、被写体側から撮像装置本体１２側にかけて、光軸Ｌ１に沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃの順に配置されている。フォーカスレンズ４０Ｂ及び絞り４０Ｃは、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ４０Ｂ及び絞り４０Ｃは、付与された動力に応じて光軸Ｌ１に沿って移動する。また、絞り４０Ｃは、付与された動力に応じて作動することで露出を調節する。

撮像装置本体１２は、メカニカルシャッタ４２及び撮像素子４４を備えている。メカニカルシャッタ４２は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、撮像レンズ４０を透過し、メカニカルシャッタ４２を介して撮像素子４４の受光面４４Ａに結像される。

撮像装置本体１２は、コントローラ４６、ＵＩ系デバイス４８、及び信号処理部５０を備えている。撮像素子４４の後段回路に各々相当するコントローラ４６及び信号処理部５０は、本開示の技術に係る「撮像素子の外部」の一例である。

コントローラ４６は、撮像装置１０の全体を制御する。ＵＩ系デバイス４８は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ４６には、ＵＩ系デバイス４８が接続されており、コントローラ４６は、ＵＩ系デバイス４８からの各種情報の取得、及びＵＩ系デバイス４８の制御を行う。

撮像素子４４は、通信ライン５７を介してコントローラ４６に接続されており、コントローラ４６の制御下で、被写体を撮像することで、被写体の画像を示す画像データ６９を生成する。

撮像素子４４は、通信ライン５３及び通信ライン５５を介して信号処理部５０に接続されている。信号処理部５０は、ＬＳＩであり、具体的には、ＡＳＩＣを含むデバイスである。信号処理部５０には、通信ライン６０を介してコントローラ４６が接続されており、コントローラ４６は、信号処理部５０からの各種情報の取得、及び信号処理部５０の制御を行う。

信号処理部５０は、通信ライン５５を介して撮像素子４４に信号を出力する。詳しくは後述するが、撮像素子４４は、信号処理部５０から通信ライン５５を介して入力された信号に応じた動作を行う。信号処理部５０には、撮像素子４４から通信ライン５３を介して画像データ６９が入力される。信号処理部５０は、撮像素子４４から通信ライン５３を介して入力された画像データ６９に対して各種の信号処理を行う。各種の信号処理には、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理が含まれる。

なお、本実施形態では、信号処理部５０としてＡＳＩＣを含むデバイスを例示しているが、本開示の技術はこれに限定されず、信号処理部５０は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、信号処理部５０は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、信号処理部５０は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

撮像素子４４は、本開示の技術に係る「積層型撮像素子」の一例である。本実施形態において、撮像素子４４は、ＣＭＯＳイメージセンサである。また、ここでは、撮像素子４４としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子４４がＣＣＤイメージセンサであっても本開示の技術は成立する。

撮像素子４４では、撮像フレームレートで被写体が撮像されることで、一例として図４に示すように、被写体を各々示す複数の画像データ６９が生成される。また、撮像素子４４では、生成された複数の画像データ６９が出力フレームレートで出力される。撮像フレームレート及び出力フレームレートは何れも可変なフレームレートである。なお、撮像フレームレートは、本開示の技術に係る「第１フレームレート」の一例であり、出力フレームレートは、本開示の技術に係る「第２フレームレート」の一例である。

撮像フレームレートと出力フレームレートは、“撮像フレームレート≧出力フレームレート”の関係性を有している。例えば、撮像フレームレートは、図４Ａに示すように、期間Ｔ内に８フレーム分の撮像が行われるフレームレートであり、出力フレームレートは、図４Ｂに示すように、期間Ｔ内に２フレーム分の出力が行われるフレームレートである。具体的には、撮像フレームレートの一例として、２４０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）が挙げられ、出力フレームレートの一例として、６０ｆｐｓが挙げられる。

一例として図５に示すように、コントローラ４６は、ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、接続Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅを備えている。ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、接続Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅは、バスライン８８を介して相互に接続されている。

ＲＯＭ４６Ｂには、各種プログラムが記憶されている。ＣＰＵ４６Ａは、ＲＯＭ４６Ｂから各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ４６Ｃに展開する。ＣＰＵ４６Ａは、ＲＡＭ４６Ｃに展開した各種プログラムに従って撮像装置１０の全体を制御する。

接続Ｉ／Ｆ４６Ｄは、ＦＰＧＡを有する通信デバイスであり、通信ライン５７を介して撮像素子４４に接続されている。ＣＰＵ４６Ａは、接続Ｉ／Ｆ４６Ｄを介して撮像素子４４を制御する。

入力Ｉ／Ｆ４６Ｅは、ＦＰＧＡを有する通信デバイスであり、通信ライン６０を介して信号処理部５０に接続されている。入力Ｉ／Ｆ４６Ｅには、信号処理部５０により各種の信号処理が施された画像データ６９（図４Ａ及び図４Ｂ参照）が通信ライン６０を介して入力される。入力Ｉ／Ｆ４６Ｅは、信号処理部５０から入力された画像データ６９をＣＰＵ４６Ａに転送する。

バスライン８８には、二次記憶装置８０及び外部Ｉ／Ｆ８２が接続されている。二次記憶装置８０は、ＳＳＤ、ＨＤＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリである。ＣＰＵ４６Ａは、二次記憶装置８０に対して各種情報の読み書きを行う。

外部Ｉ／Ｆ８２は、ＦＰＧＡを有する通信デバイスである。外部Ｉ／Ｆ８２には、ＵＳＢメモリ及びメモリカード等の外部装置（図示省略）が接続される。外部Ｉ／Ｆ８２は、ＣＰＵ４６Ａと外部装置との間の各種情報の授受を司る。

ＵＩ系デバイス４８は、ハイブリッドファインダー１６、タッチパネル・ディスプレイ２６、及び受付デバイス８４を備えている。第１ディスプレイ３２及びタッチパネル３４は、バスライン８８に接続されている。従って、ＣＰＵ４６Ａは、第１ディスプレイ３２に対して各種情報を表示させ、タッチパネル３４によって受け付けられた各種指示に従って動作する。

受付デバイス８４は、タッチパネル３４及びハードキー部２５を備えている。ハードキー部２５は、複数のハードキーであり、レリーズボタン２０、ダイヤル２２、及び指示キー２８を有する。ハードキー部２５は、バスライン８８に接続されており、ＣＰＵ４６Ａは、ハードキー部２５によって受け付けられた各種指示に従って動作する。

ハイブリッドファインダー１６は、第２ディスプレイ８６を備えており、ＣＰＵ４６Ａは、第２ディスプレイ８６に対して各種情報を表示させる。第２ディスプレイ８６の一例としては、液晶ディスプレイが挙げられる。なお、第２ディスプレイ８６は、液晶ディスプレイではなく、有機ＥＬディスプレイなどの他のディスプレイであってもよい。

一例として図６に示すように、ハイブリッドファインダー１６は、ＯＶＦ９０及びＥＶＦ９２を含む。ＯＶＦ９０は、逆ガリレオ式ファインダーであり、接眼レンズ９４、プリズム９６、及び対物レンズ９８を有する。ＥＶＦ９２は、第２ディスプレイ８６、プリズム９６、及び接眼レンズ９４を有する。

対物レンズ９８の光軸Ｌ２に沿って対物レンズ９８よりも被写体側には、液晶シャッタ１００が配置されており、液晶シャッタ１００は、ＥＶＦ９２を使用する際に、対物レンズ９８に光学像が入射しないように遮光する。

プリズム９６は、第２ディスプレイ８６に表示される電子像又は各種の情報を反射させて接眼レンズ９４に導き、且つ、光学像と第２ディスプレイ８６に表示される電子像及び／又は各種情報とを合成する。第２ディスプレイ８６に表示される電子像としては、画像データ６９に基づくライブビュー画像１０２が挙げられる。

ＣＰＵ４６Ａは、ＯＶＦモードの場合、液晶シャッタ１００が非遮光状態になるように制御し、接眼レンズ９４から光学像が視認できるようにする。また、ＣＰＵ４６Ａは、ＥＶＦモードの場合、液晶シャッタ１００が遮光状態になるように制御し、接眼レンズ９４から第２ディスプレイ８６に表示される電子像のみが視認できるようにする。

なお、以下では、説明の便宜上、第１ディスプレイ３２（図２及び図５参照）及び第２ディスプレイ８６を区別して説明する必要がない場合は、符号を付さずに「ディスプレイ」と称する。ディスプレイは、本開示の技術に係る「表示部（ディスプレイ）」の一例である。また、ＣＰＵ４６Ａは、本開示の技術に係る「表示制御部（表示プロセッサ）」の一例である。

一例として図７に示すように、撮像素子４４には、光電変換素子６１、処理回路６２、及びメモリ６４が内蔵されている。撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。すなわち、光電変換素子６１、処理回路６２、及びメモリ６４は１パッケージ化されている。撮像素子４４では、光電変換素子６１に対して処理回路６２及びメモリ６４が積層されている。具体的には、光電変換素子６１及び処理回路６２は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路６２及びメモリ６４も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。ここでは、光電変換素子６１、処理回路６２、及びメモリ６４の３層構造が例示されているが、本開示の技術はこれに限らず、処理回路６２とメモリ６４とを１層としたメモリ層と、光電変換素子６１との２層構造であってもよい。なお、メモリ６４は、本開示の技術に係る「記憶部」の一例である。

処理回路６２は、例えば、ＬＳＩであり、メモリ６４は、例えば、ＤＲＡＭである。但し、本開示の技術はこれに限らず、メモリ６４としてＤＲＡＭに代えてＳＲＡＭを採用してもよい。

処理回路６２は、ＡＳＩＣ及びＦＰＧＡを含むデバイスであり、コントローラ４６の指示に従って、撮像素子４４の全体を制御する。なお、ここでは、処理回路６２がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される例を挙げているが、本開示の技術はこれに限定されるものではなく、例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、処理回路６２として、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路６２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子６１は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子６１に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。光電変換素子６１は、Ｒ画素、Ｇ画素、及びＢ画素を有する。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。Ｒ画素、Ｇ画素、及びＢ画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本実施形態では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、ここではＸ－Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。

撮像素子４４は、いわゆる電子シャッタ機能を有しており、コントローラ４６の制御下で電子シャッタ機能を働かせることで、光電変換素子６１内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４２（図３参照）を作動させることで実現され、動画像用の撮像は、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

処理回路６２は、光電変換素子６１により被写体が撮像されることで得られた画像データ６９を読み出す。画像データ６９は、光電変換素子６１に蓄積された信号電荷である。処理回路６２は、光電変換素子６１から読み出したアナログの画像データ６９に対してＡ／Ｄ変換を行う。処理回路６２は、アナログの画像データ６９に対してＡ／Ｄ変換を行うことで得たデジタルの画像データ６９をメモリ６４に記憶する。

処理回路６２は、通信ライン５３及び通信ライン５５を介して信号処理部５０に接続されている。また、処理回路６２は、通信ライン５７を介してコントローラ４６に接続されている。

一例として図８に示すように、処理回路６２は、読出回路６２Ａ、デジタル処理回路６２Ｂ、画像処理回路６２Ｃ、出力回路６２Ｄ、制御回路６２Ｅ、及び記憶回路６２Ｆを備えている。出力回路６２Ｄは、本開示の技術に係る「出力部（出力回路）」の一例である。制御回路６２Ｅは、本開示の技術に係る「撮像系制御部（撮像系制御回路）」及び「出力系制御部（出力系制御回路）」の一例である。

読出回路６２Ａは、光電変換素子６１、デジタル処理回路６２Ｂ、及び制御回路６２Ｅに接続されている。メモリ６４は、制御回路６２Ｅに接続されている。画像処理回路６２Ｃも、制御回路６２Ｅに接続されている。出力回路６２Ｄも、制御回路６２Ｅに接続されている。記憶回路６２Ｆも、制御回路６２Ｅに接続されている。

上述の画像データ６９は、一例として図８に示すように、アナログ画像データ６９Ａとデジタル画像データ６９Ｂとに大別される。なお、以下では、説明の便宜上、アナログ画像データ６９Ａとデジタル画像データ６９Ｂとを区別して説明する必要がない場合、「画像データ６９」と称する。

処理回路６２は、第１受付Ｉ／Ｆ６３Ａ及び第２受付Ｉ／Ｆ６３Ｂを備えている。第１受付Ｉ／Ｆ６３Ａ及び第２受付Ｉ／Ｆ６３Ｂは何れも、ＦＰＧＡを有する通信デバイスである。第１受付Ｉ／Ｆ６３Ａ及び第２受付Ｉ／Ｆ６３Ｂは、本開示の技術に係る「受付部」の一例である。

第１受付Ｉ／Ｆ６３Ａは、制御回路６２Ｅに接続されている。また、第１受付Ｉ／Ｆ６３Ａは、通信ライン５７を介してコントローラ４６に接続されている。

第２受付Ｉ／Ｆ６３Ｂは、出力回路６２Ｄに接続されている。また、第２受付Ｉ／Ｆ６３Ｂは、通信ライン５５を介して信号処理部５０に接続されている。

読出回路６２Ａは、制御回路６２Ｅの制御下で、光電変換素子６１を制御し、光電変換素子６１からアナログ画像データ６９Ａを読み出す。光電変換素子６１からの１フレーム分のアナログ画像データ６９Ａの読み出しは、撮像するタイミングに関する撮像同期信号に従って行われる。

第１受付Ｉ／Ｆ６３Ａは、撮像同期信号を受け付ける。具体的には、撮像同期信号がコントローラ４６によって通信ライン５７を介して第１受付Ｉ／Ｆ６３Ａに出力され、第１受付Ｉ／Ｆ６３Ａによって撮像同期信号が受け付けられる。第１受付Ｉ／Ｆ６３Ａは、受け付けた撮像同期信号を制御回路６２Ｅに出力する。撮像同期信号には、撮像用垂直同期信号が含まれている。撮像用垂直同期信号は、１フレーム分のアナログ画像データ６９Ａの読み出しの開始タイミングを規定する信号である。撮像素子４４では、第１受付Ｉ／Ｆ６３Ａによって受け付けられた撮像用垂直同期信号に従って撮像フレームレートで撮像が行われる。

制御回路６２Ｅは、コントローラ４６から第１受付Ｉ／Ｆ６３Ａを介して入力された撮像用垂直同期信号を読出回路６２Ａに転送する。読出回路６２Ａは、制御回路６２Ｅから撮像用垂直同期信号が入力されると、光電変換素子６１に対して１フレーム分のアナログ画像データ６９Ａの読み出しを開始する。読出回路６２Ａは、光電変換素子６１から読み出されたアナログ画像データ６９Ａに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子６１に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、アナログ画像データ６９Ａに対してゲインをかける処理である。このようにしてアナログ信号処理が行われたアナログ画像データ６９Ａは、読出回路６２Ａによってデジタル処理回路６２Ｂに出力される。

デジタル処理回路６２Ｂは、Ａ／Ｄ変換器６２Ｂ１を備えている。デジタル処理回路６２Ｂは、読出回路６２Ａから入力されたアナログ画像データ６９Ａに対してデジタル信号処理を行う。デジタル信号処理には、例えば、相関二重サンプリング、Ａ／Ｄ変換器６２Ｂ１によるＡ／Ｄ変換、及びデジタルゲイン処理が含まれる。

アナログ画像データ６９Ａに対しては、デジタル処理回路６２Ｂによって相関二重サンプリングが行われる。相関二重サンプリングの信号処理が行われたアナログ画像データ６９Ａに対しては、Ａ／Ｄ変換器６２Ｂ１によってＡ／Ｄ変換が行われ、これによって、アナログ画像データ６９Ａがデジタル化され、デジタル画像データ６９Ｂが得られる。そして、デジタル画像データ６９Ｂに対しては、デジタル処理回路６２Ｂによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、デジタル画像データ６９Ｂに対してゲインをかける処理を指す。

制御回路６２Ｅは、デジタル信号処理が行われるによって得られたデジタル画像データ６９Ｂをデジタル処理回路６２Ｂから取得し、取得したデジタル画像データ６９Ｂをメモリ６４に記憶する。

メモリ６４は、複数フレームのデジタル画像データ６９Ｂを記憶可能なメモリである。メモリ６４は、画素単位の記憶領域（図示省略）を有しており、デジタル画像データ６９Ｂが制御回路６２Ｅによって、画素単位で、メモリ６４のうちの対応する記憶領域に記憶される。

制御回路６２Ｅは、メモリ６４に対してランダムアクセス可能であり、メモリ６４からデジタル画像データ６９Ｂを取得する。制御回路６２Ｅは、メモリ６４から取得したデジタル画像データ６９Ｂを画像処理回路６２Ｃに出力する。画像処理回路６２Ｃは、制御回路６２Ｅから入力されたデジタル画像データ６９Ｂに対して画像処理を行う。ここで言う「画像処理」としては、デモザイク処理、デジタル間引き処理、デジタル加算処理、及びデータ埋め込み処理などが挙げられる。

デモザイク処理は、カラーフィルタの配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報が算出される。

デジタル間引き処理は、デジタル画像データ６９Ｂに含まれる画素をライン単位で間引く処理である。ライン単位とは、例えば、水平ライン単位及び／又は垂直ライン単位を指す。デジタル加算処理は、例えば、デジタル画像データ６９Ｂに含まれる複数の画素について画素値を加算平均する処理である。データ埋め込み処理は、デジタル画像データ６９Ｂの下位の空きビットに対して特定のデータを埋める処理などが挙げられる。ここで言う「特定のデータ」としては、例えば、デジタル画像データ６９Ｂに対して行ったデジタル間引き処理の方法を特定可能な情報、又は、フレームを特定可能なフレーム番号等が挙げられる。

画像処理回路６２Ｃは、画像処理済みのデジタル画像データ６９Ｂを制御回路６２Ｅに出力する。制御回路６２Ｅは、画像処理回路６２Ｃから入力されたデジタル画像データ６９Ｂをメモリ６４に記憶する。

制御回路６２Ｅは、メモリ６４から１フレーム単位でデジタル画像データ６９Ｂを取得する。制御回路６２Ｅは、メモリ６４から取得したデジタル画像データ６９Ｂを出力回路６２Ｄに出力する。

第２受付Ｉ／Ｆ６３Ｂは、撮像されることで得られたデジタル画像データ６９Ｂを出力するタイミングに関する出力同期信号を受け付ける。具体的には、出力同期信号が信号処理部５０によって通信ライン５５を介して第２受付Ｉ／Ｆ６３Ｂに出力され、第２受付Ｉ／Ｆ６３Ｂによって出力同期信号が受け付けられる。第２受付Ｉ／Ｆ６３Ｂは、受け付けた出力同期信号を出力回路６２Ｄに出力する。出力同期信号には、出力用垂直同期信号が含まれている。出力用垂直同期信号は、１フレーム分のデジタル画像データ６９Ｂの出力の開始タイミングを規定する信号である。撮像素子４４では、メモリ６４に記憶されたデジタル画像データ６９Ｂが、第２受付Ｉ／Ｆ６３Ｂによって受け付けられた出力用垂直同期信号に従って出力フレームレートで信号処理部５０に出力される。

出力回路６２Ｄは、出力Ｉ／Ｆ６２Ｄ１を備えている。出力Ｉ／Ｆ６２Ｄ１は、ＦＰＧＡを有する通信デバイスである。出力Ｉ／Ｆ６２Ｄ１は、通信ライン５３を介して信号処理部５０に接続されている。出力回路６２Ｄは、信号処理部５０から第２受付Ｉ／Ｆ６３Ｂを介して出力用垂直同期信号が入力されると、出力Ｉ／Ｆ６２Ｄ１から信号処理部５０に対して１フレーム分のデジタル画像データ６９Ｂの出力を開始する。

一例として図９に示すように、撮像素子４４では、撮像処理と出力処理とを含む処理が行われる。撮像処理は、撮像フレームレートに従って行われ、出力処理は、出力フレームレートに従って行われる。

撮像処理では、露光、アナログ画像データ６９Ａの読み出し、光電変換素子６１に対するリセット、アナログ信号処理、デジタル信号処理、１回目の記憶、１回目の取得、画像処理、及び２回目の記憶が順に行われる。

露光は、光電変換素子６１によって行われる。アナログ画像データ６９Ａの読み出し、光電変換素子６１に対するリセット、及びアナログ信号処理は、読出回路６２Ａによって行われる。なお、光電変換素子６１によって露光が行われる期間は、アナログ画像データ６９Ａの読み出し及び光電変換素子６１に対するリセットが行われていない期間である。

デジタル信号処理は、デジタル処理回路６２Ｂによって行われる。１回目の記憶とは、デジタル信号処理が行われることによって得られたデジタル画像データ６９Ｂのメモリ６４への記憶を指す。１回目の取得とは、メモリ６４からのデジタル画像データ６９Ｂの１回目の取得を指す。１回目の記憶及び１回目の取得は、制御回路６２Ｅによって行われる。画像処理は、制御回路６２Ｅによって取得されたデジタル画像データ６９Ｂに対して画像処理回路６２Ｃによって行われる。２回目の記憶とは、画像処理が行われたデジタル画像データ６９Ｂのメモリ６４への記憶を指す。２回目の記憶は、制御回路６２Ｅによって行われる。

出力処理では、２回目の取得と、デジタル画像データ６９Ｂの出力とが行われる。２回目の取得とは、画像処理済みのデジタル画像データ６９Ｂのメモリ６４からの取得を指す。２回目の取得は、制御回路６２Ｅによって行われる。デジタル画像データ６９Ｂの出力とは、制御回路６２Ｅによってメモリ６４から取得された画像処理済みのデジタル画像データ６９Ｂの出力回路６２Ｄによる出力を指す。

撮像処理において、アナログ画像データ６９Ａの読み出しは、撮像用垂直同期信号が第１受付Ｉ／Ｆ６３Ａによって受け付けられたことを条件に開始される。また、出力処理は、出力用垂直同期信号が第２受付Ｉ／Ｆ６３Ｂによって受け付けられたことを条件に開始される。

図１０には、１フレーム目（１Ｆ）～１２フレーム目（１２Ｆ）の画像データ６９の読み出しからメモリ６４への記憶までの流れと、８フレーム分の画像データ６９の出力処理の流れの一例が示されている。なお、図１０に示す１Ｆ～１２Ｆの“Ｆ”とは、フレーム（Ｆｒａｍｅ）の略称を指す。また、図１０に示す例では、説明の便宜上、メモリ６４に最大４フレーム分のデジタル画像データ６９Ｂが記憶される態様が示されている。

一例として図１０に示すように、撮像用垂直同期信号が第１受付Ｉ／Ｆ６３Ａによって受け付けられる毎に、光電変換素子６１からの１フレーム分のアナログ画像データ６９Ａの読み出しが開始される。アナログ画像データ６９Ａの読み出しは、光電変換素子６１の１行目の水平ラインから最終行の水平ラインにかけて１ライン毎に行われ、１ライン毎に読み出しが終了すると、読み出しが終了した水平ラインの各画素はリセットされる。アナログ画像データ６９Ａは、デジタル画像データ６９Ｂに変換され、読み出されたアナログ画像データ６９Ａのフレームの順に、デジタル画像データ６９Ｂがメモリ６４に１フレーム単位で区別可能に記憶される。

出力用垂直同期信号が第２受付Ｉ／Ｆ６３Ｂによって受け付けられると、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられた時点でメモリ６４に対して記憶中のデジタル画像データ６９Ｂが出力回路６２Ｄによる出力対象となり、出力が開始される。すなわち、メモリ６４に記憶される最新のデジタル画像データ６９Ｂが出力回路６２Ｄによる出力対象となって信号処理部５０に出力される。

図１０において、１回目の出力用垂直同期信号に従って出力回路６２Ｄにより出力される１フレーム目のデジタル画像データ６９Ｂは、１回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に記憶中の１フレーム目のデジタル画像データ６９Ｂである。また、２回目の出力用垂直同期信号に従って出力回路６２Ｄにより出力される２フレーム目のデジタル画像データ６９Ｂは、１回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に記憶中の３フレーム目のデジタル画像データ６９Ｂである。また、３回目の出力用垂直同期信号に従って出力回路６２Ｄにより出力される３フレーム目のデジタル画像データ６９Ｂは、３回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に記憶中の５フレーム目のデジタル画像データ６９Ｂである。また、４回目の出力用垂直同期信号に従って出力回路６２Ｄにより出力される４フレーム目のデジタル画像データ６９Ｂは、４回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に記憶中の７フレーム目のデジタル画像データ６９Ｂである。

また、５回目の出力用垂直同期信号に従って出力回路６２Ｄにより出力される５フレーム目のデジタル画像データ６９Ｂは、５回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に記憶中の８フレーム目のデジタル画像データ６９Ｂである。また、６回目の出力用垂直同期信号に従って出力回路６２Ｄにより出力される６フレーム目のデジタル画像データ６９Ｂは、６回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に記憶中の９フレーム目のデジタル画像データ６９Ｂである。また、７回目の出力用垂直同期信号に従って出力回路６２Ｄにより出力される７フレーム目のデジタル画像データ６９Ｂは、７回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に記憶中の１０フレーム目のデジタル画像データ６９Ｂである。更に、８回目の出力用垂直同期信号に従って出力回路６２Ｄにより出力される８フレーム目のデジタル画像データ６９Ｂは、８回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に記憶中の１１フレーム目のデジタル画像データ６９Ｂである。

一例として図１１に示すように、記憶回路６２Ｆは、撮像系記憶領域６２Ｆ１及び出力系記憶領域６２Ｆ２を有する。撮像系記憶領域６２Ｆ１は、本開示の技術に係る「撮像系保持部（撮像系保持回路）」の一例であり、撮像素子４４の撮像系の駆動方式を指示する撮像系駆動方式指示情報を保持する。ここで言う「撮像系」とは、読出回路６２Ａ及びデジタル処理回路６２Ｂを指す。

出力系記憶領域６２Ｆ２は、本開示の技術に係る「出力系保持部」の一例であり、撮像素子４４の出力系の駆動方式を指示する出力系駆動方式指示情報を保持する。ここで言う「出力系」とは、デジタル処理回路６２Ｂ、画像処理回路６２Ｃ、出力回路６２Ｄ、及び制御回路６２Ｅを指す。制御回路６２Ｅは、撮像系駆動方式指示情報に従って撮像素子４４の撮像系の駆動を制御し、出力系駆動方式指示情報に従って撮像素子４４の出力系の駆動を制御する。

撮像系記憶領域６２Ｆ１は、記憶内容を書き換え可能な不揮発性のメモリである。撮像系記憶領域６２Ｆ１には撮像系駆動方式指示情報が記憶されており、撮像系駆動方式指示情報は制御回路６２Ｅによって書き換え可能とされている。撮像系駆動方式指示情報は、撮像領域情報、画素間引き情報、画素加算方法情報、露光時間情報、変換ゲイン切替情報、アナログゲイン情報、及びＡ／Ｄ変換精度情報を含む情報である。なお、本実施形態では、撮像系駆動方式指示情報として、撮像領域情報、画素間引き情報、画素加算方法情報、露光時間情報、変換ゲイン切替情報、アナログゲイン情報、及びＡ／Ｄ変換精度情報を含む情報を例示しているが、本開示の技術はこれに限定されない。すなわち、撮像系駆動方式指示情報は、撮像領域情報、画素間引き情報、画素加算方法情報、露光時間情報、変換ゲイン切替情報、アナログゲイン情報、及びＡ／Ｄ変換精度情報のうちの少なくとも１つを含む情報であればよい。

撮像領域情報は、撮像領域に関する情報である。撮像領域に関する情報の一例としては、撮像素子４４の受光面４４Ａ（図５参照）のうちの撮像に使用する有効領域を指示する情報が挙げられる。

画素間引き情報は、画素間引きに関する情報である。画素間引きに関する情報の一例としては、アナログ画像データ６９Ａを垂直１／Ｙ間引き画像を示す画像データとして読み出すことを指示する情報が挙げられる。ここで“Ｙ”とは、２以上の自然数を指す。垂直１／Ｙ間引き画像とは、垂直方向に画像の水平ラインをＹ－１ライン飛ばしで間引きした画像である。

なお、ここでは、垂直方向に画像の水平ラインを間引く例を挙げているが、本開示の技術はこれに限らず、水平方向に画像の垂直ラインを間引いてもよいし、垂直方向に画像の水平ラインを間引き、かつ、水平方向に画像の垂直ラインを間引いてもよい。このように間引き方法は種々考えられる。

画素加算方法情報は、画素加算方法に関する情報である。画素加算方法に関する情報の一例としては、アナログ画像データ６９Ａを、隣接する複数の画素の画素値を加算平均して得た画像データとして読み出すことを指示する情報が挙げられる。露光時間情報は、露光時間に関する情報である。露光時間に関する情報の一例としては、光電変換素子６１によって行われる露光の時間を指示する情報が挙げられる。

変換ゲイン切替情報は、変換ゲイン切り替えに関する情報である。変換ゲイン切り替えに関する情報の一例としては、光電変換素子６１のフローティングデフュージョンのゲインの切り替えを指示する情報が挙げられる。アナログゲイン情報は、アナログゲインに関する情報である。アナログゲインに関する情報の一例としては、アナログ画像データ６９Ａに対して適用するゲインを指示する情報が挙げられる。Ａ／Ｄ変換精度情報は、Ａ／Ｄ変換精度に関する情報である。Ａ／Ｄ変換精度に関する情報の一例としては、Ａ／Ｄ変換器６２Ｂ１（図８参照）によって行われるＡ／Ｄ変換のビット精度を指示する情報が挙げられる。

出力系駆動方式指示情報は、出力先情報、デジタル間引き情報、デジタル加算方法情報、フレーム枚数情報、デジタルゲイン情報、Ａ／Ｄ出力ビット数情報、及び空きビット埋め方情報を含む情報である。なお、本実施形態では、出力系駆動方式指示情報として、出力先情報、デジタル間引き情報、デジタル加算方法情報、フレーム枚数情報、デジタルゲイン情報、Ａ／Ｄ出力ビット数情報、及び空きビット埋め方情報を含む情報を例示しているが、本開示の技術はこれに限定されない。出力系駆動方式指示情報は、出力先情報、デジタル間引き情報、デジタル加算方法情報、フレーム枚数情報、デジタルゲイン情報、Ａ／Ｄ出力ビット数情報、及び空きビット埋め方情報のうちの少なくとも１つを含む情報であればよい。

出力先情報は、出力先に関する情報である。出力先に関する情報の一例としては、出力回路６２Ｄ（図８）により出力されるデジタル画像データ６９Ｂの出力先を指示する情報が挙げられる。本実施形態では、デジタル画像データ６９Ｂの出力先は、信号処理部５０である。

デジタル間引き情報は、デジタル間引きに関する情報である。デジタル間引きに関する情報の一例としては、上述したデジタル間引き処理の処理方法を指示する情報が挙げられる。

デジタル加算方法情報とは、デジタル加算方法に関する情報である。デジタル加算方法に関する情報の一例としては、上述したデジタル間引き処理の処理方法を指示する情報が挙げられる。

フレーム枚数情報は、出力フレームの平均枚数の関する情報である。出力フレームの平均枚数の関する情報の一例としては、出力回路６２Ｄにより出力されるデジタル画像データ６９Ｂの単位時間あたりの平均フレーム数を指示する情報が挙げられる。この場合、制御回路６２Ｅは、フレーム枚数情報により指示された単位時間あたりの平均フレーム数となるように、出力回路６２Ｄを制御する。例えば、制御回路６２Ｅは、フレーム枚数情報により指示された平均フレーム数となるように、出力用垂直同期信号にかかわらず、デジタル画像データ６９Ｂの出力を制限したり、デジタル画像データ６９Ｂの出力を行ったりする制御を出力回路６２Ｄに対して行う。

デジタルゲイン情報は、デジタルゲインに関する情報である。デジタルゲインに関する情報の一例としては、上述したデジタルゲイン処理で使用されるゲインを指示する情報が挙げられる。

Ａ／Ｄ出力ビット数情報は、Ａ／Ｄ出力ビットに関する情報である。Ａ／Ｄ出力ビットに関する情報の一例としては、Ａ／Ｄ変換器６２Ｂ１により出力されるデジタル画像データ６９Ｂのビット数を指示する情報が挙げられる。

空きビット埋め方情報は、下位空きビットの埋め方に関する情報である。下位空きビットの埋め方に関する情報の一例としては、上述したデータ埋め込み処理の処理方法を指示する情報が挙げられる。

コントローラ４６は、撮像系駆動方式指示情報の書き換えの内容を示す撮像系書換内容情報を、通信ライン５７を介して第１受付Ｉ／Ｆ６３Ａに出力する。撮像系書換内容情報は、受付デバイス８４（図５参照）によって受け付けられた指示に従ってコントローラ４６によって第１受付Ｉ／Ｆ６３Ａに出力される。第１受付Ｉ／Ｆ６３Ａは、コントローラ４６によって出力された撮像系書換内容情報を受け付ける。制御回路６２Ｅは、第１受付Ｉ／Ｆ６３Ａによって受け付けられた撮像系書換内容情報に従って、撮像系記憶領域６２Ｆ１内の撮像系駆動方式指示情報の内容を書き換える。

コントローラ４６は、出力系駆動方式指示情報の書き換えの内容を示す出力系書換内容情報を、通信ライン５７を介して第１受付Ｉ／Ｆ６３Ａに出力する。出力系書換内容情報は、受付デバイス８４（図５参照）によって受け付けられた指示に従ってコントローラ４６によって第１受付Ｉ／Ｆ６３Ａに出力される。第１受付Ｉ／Ｆ６３Ａは、コントローラ４６によって出力された出力系書換内容情報を受け付ける。制御回路６２Ｅは、第１受付Ｉ／Ｆ６３Ａによって受け付けられた出力系書換内容情報に従って、出力系記憶領域６２Ｆ２内の出力系駆動方式指示情報の内容を書き換える。

なお、以下では、説明の便宜上、撮像系書換内容情報及び出力系書換内容情報を区別して説明する必要がない場合、「書換内容情報」と称する。

次に、本第１実施形態に係る撮像装置１０の作用について説明する。

先ず、撮像素子４４の処理回路６２によって実行される読出記憶処理の流れについて図１２を参照しながら説明する。

図１２に示す読出記憶処理では、先ず、ステップＳＴ１０で、制御回路６２Ｅは、第１受付Ｉ／Ｆ６３Ａによって撮像用垂直同期信号が受け付けられたか否かを判定する。ステップＳＴ１０において、第１受付Ｉ／Ｆ６３Ａによって撮像用垂直同期信号が受け付けられていない場合は、判定が否定されて、読出記憶処理はステップＳＴ１６へ移行する。ステップＳＴ１０において、第１受付Ｉ／Ｆ６３Ａによって撮像用垂直同期信号が受け付けられた場合は、判定が肯定されて、読出記憶処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、読出回路６２Ａは、光電変換素子６１から１フレーム分のアナログ画像データ６９Ａを読み出す。読出回路６２Ａによって光電変換素子６１から読み出されたアナログ画像データ６９Ａはデジタル処理回路６２Ｂによってデジタル画像データ６９Ｂに変換され、制御回路６２Ｅに出力される。

次のステップＳＴ１４で、制御回路６２Ｅは、デジタル処理回路６２Ｂから入力されたデジタル画像データ６９Ｂをメモリ６４に記憶し、その後、読出記憶処理はステップＳＴ１６へ移行する。

ステップＳＴ１６で、制御回路６２Ｅは、読出記憶処理を終了する条件（以下、「読出記憶処理終了条件」と称する）を満足したか否かを判定する。読出記憶処理終了条件の一例としては、読出記憶処理を終了させる指示が受付デバイス８４（図５参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ１６において、読出記憶処理終了条件を満足していない場合は、判定が否定されて、読出記憶処理はステップＳＴ１０へ移行する。ステップＳＴ１６において、読出記憶処理終了条件を満足した場合は、判定が肯定されて、読出記憶処理が終了する。

次に、撮像素子４４の処理回路６２によって実行される出力処理の流れについて図１３を参照しながら説明する。

図１３に示す出力処理では、ステップＳＴ２０で、制御回路６２Ｅは、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられたか否かを判定する。ステップＳＴ２０において、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられていない場合は、判定が否定されて、出力処理はステップＳＴ２６へ移行する。ステップＳＴ２０において、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられた場合は、判定が肯定されて、出力処理はステップＳＴ２２へ移行する。

ステップＳＴ２２で、制御回路６２Ｅは、メモリ６４から１フレーム分の最新のデジタル画像データ６９Ｂを取得する。ここで、最新のデジタル画像データ６９Ｂとは、現時点でメモリ６４に記憶中のデジタル画像データ６９Ｂを指す。ステップＳＴ２２の処理が実行されることで制御回路６２Ｅによって取得されたデジタル画像データ６９Ｂは出力回路６２Ｄに転送される。

次のステップＳＴ２４で、出力回路６２Ｄは、制御回路６２Ｅから入力されたデジタル画像データ６９Ｂを出力Ｉ／Ｆ６２Ｄから通信ライン５３を介して信号処理部５０に出力し、その後、出力処理はステップＳＴ２６へ移行する。

ステップＳＴ２６で、制御回路６２Ｅは、出力処理を終了する条件（以下、「出力処理終了条件」と称する）を満足したか否かを判定する。出力処理終了条件の一例としては、出力処理を終了させる指示が受付デバイス８４（図５参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ２６において、出力処理終了条件を満足していない場合は、判定が否定されて、出力処理はステップＳＴ２０へ移行する。ステップＳＴ２６において、出力処理終了条件を満足した場合は、判定が肯定されて、出力処理が終了する。

次に、撮像素子４４の処理回路６２によって実行される撮像系駆動処理の流れについて図１４を参照しながら説明する。

図１４に示す撮像系駆動処理では、先ず、ステップＳＴ３０で、制御回路６２Ｅは、第１受付Ｉ／Ｆ６３Ａによって撮像用垂直同期信号が受け付けられたか否かを判定する。ステップＳＴ３０において、第１受付Ｉ／Ｆ６３Ａによって撮像用垂直同期信号が受け付けられていない場合は、判定が否定されて、撮像系駆動処理はステップＳＴ３６へ移行する。ステップＳＴ３０において、第１受付Ｉ／Ｆ６３Ａによって撮像用垂直同期信号が受け付けられた場合は、判定が肯定されて、撮像系駆動処理はステップＳＴ３２へ移行する。

ステップＳＴ３２で、制御回路６２Ｅは、撮像系記憶領域６２Ｆ１（図１１参照）から撮像系駆動方式指示情報を取得し、その後、撮像系駆動処理はステップＳＴ３４へ移行する。

ステップＳＴ３４で、制御回路６２Ｅは、ステップＳＴ３２で取得した撮像系駆動方式指示情報によって指示される駆動方式で撮像系を駆動させ、その後、撮像系駆動処理はステップＳＴ３６へ移行する。読出回路６２Ａは、撮像領域情報、画素間引き情報、画素加算方法情報、露光時間情報、及びアナログゲイン情報に従って駆動される。デジタル処理回路６２Ｂは、変換ゲイン切替情報及びＡ／Ｄ変換精度情報に従って駆動される。

ステップＳＴ３６で、撮像系駆動処理を終了する条件（以下、「撮像系駆動処理終了条件」と称する）を満足したか否かを判定する。撮像系駆動処理終了条件の一例としては、撮像系駆動処理を終了させる指示が受付デバイス８４（図５参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ３６において、撮像系駆動処理終了条件を満足していない場合は、判定が否定されて、撮像系駆動処理はステップＳＴ３０へ移行する。ステップＳＴ３６において、撮像系駆動処理終了条件を満足した場合は、判定が肯定されて、撮像系駆動処理が終了する。

次に、撮像素子４４の処理回路６２によって実行される出力系駆動処理の流れについて図１５を参照しながら説明する。

図１５に示す出力系駆動処理では、先ず、ステップＳＴ４０で、制御回路６２Ｅは、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられたか否かを判定する。ステップＳＴ４０において、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられていない場合は、判定が否定されて、出力系駆動処理はステップＳＴ４６へ移行する。ステップＳＴ４０において、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられた場合は、判定が肯定されて、出力系駆動処理はステップＳＴ４２へ移行する。

ステップＳＴ４２で、制御回路６２Ｅは、出力系記憶領域６２Ｆ２（図１１参照）から出力系駆動方式指示情報を取得し、その後、出力系駆動処理はステップＳＴ４４へ移行する。

ステップＳＴ４４で、制御回路６２Ｅは、ステップＳＴ４２で取得した出力系駆動方式指示情報によって指示される駆動方式で出力系を駆動させ、その後、出力系駆動処理はステップＳＴ４６へ移行する。デジタル処理回路６２Ｂは、デジタルゲイン情報及びＡ／Ｄ出力ビット数情報に従って駆動される。画像処理回路６２Ｃは、デジタル間引き情報、デジタル加算方法情報、及び空きビット埋め方情報に従って駆動される。出力回路６２Ｄは、出力先情報に従って駆動される。制御回路６２Ｅは、フレーム枚数情報に従って駆動される。

ステップＳＴ４６で、出力系駆動処理を終了する条件（以下、「出力系駆動処理終了条件」と称する）を満足したか否かを判定する。出力系駆動処理終了条件の一例としては、出力系駆動処理を終了させる指示が受付デバイス８４（図５参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ４６において、出力系駆動処理終了条件を満足していない場合は、判定が否定されて、出力系駆動処理はステップＳＴ４０へ移行する。ステップＳＴ４６において、出力系駆動処理終了条件を満足した場合は、判定が肯定されて、出力系駆動処理が終了する。

次に、撮像素子４４の処理回路６２によって実行される書換処理の流れについて図１６を参照しながら説明する。

図１６に示す書換処理では、先ず、ステップＳＴ５０で、制御回路６２Ｅは、第１受付Ｉ／Ｆ６３Ａによって書換内容情報が受け付けられたか否かを判定する。ステップＳＴ５０において、第１受付Ｉ／Ｆ６３Ａによって書換内容情報が受け付けられていない場合は、判定が否定されて、書換処理はステップＳＴ５８へ移行する。ステップＳＴ５０において、第１受付Ｉ／Ｆ６３Ａによって書換内容情報が受け付けられた場合は、判定が肯定されて、書換処理はステップＳＴ５２へ移行する。

ステップＳＴ５２で、制御回路６２Ｅは、ステップＳＴ５０で第１受付Ｉ／Ｆ６３Ａによって受け付けられた書換内容情報が撮像系書換内容情報か否かを判定する。ステップＳＴ５２において、ステップＳＴ５０で第１受付Ｉ／Ｆ６３Ａによって受け付けられた書換内容情報が撮像系書換内容情報の場合は、判定が肯定されて、書換処理はステップＳＴ５４へ移行する。ステップＳＴ５２において、ステップＳＴ５０で第１受付Ｉ／Ｆ６３Ａによって受け付けられた書換内容情報が撮像系書換内容情報でない場合は、判定が否定されて、書換処理はステップＳＴ５６へ移行する。なお、第１受付Ｉ／Ｆ６３Ａによって受け付けられた書換内容情報が撮像系書換内容情報でない場合とは、第１受付Ｉ／Ｆ６３Ａによって受け付けられた書換内容情報が出力系書換内容情報の場合を指す。

ステップＳＴ５４で、制御回路６２Ｅは、ステップＳＴ５０で第１受付Ｉ／Ｆ６３Ａによって受け付けられた撮像系書換内容情報に従って、撮像系記憶領域６２Ｆ１内の撮像系駆動方式指示情報の内容を書き換え、その後、書換処理はステップＳＴ５８へ移行する。

ステップＳＴ５６で、制御回路６２Ｅは、ステップＳＴ５０で第１受付Ｉ／Ｆ６３Ａによって受け付けられた出力系書換内容情報に従って、出力系記憶領域６２Ｆ２内の出力系駆動方式指示情報の内容を書き換え、その後、書換処理はステップＳＴ５８へ移行する。

ステップＳＴ５８で、制御回路６２Ｅは、書換処理を終了する条件（以下、「書換処理終了条件」と称する）を満足したか否かを判定する。書換処理終了条件の一例としては、書換処理を終了させる指示が受付デバイス８４（図５参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ５８において、書換処理終了条件を満足していない場合は、判定が否定されて、書換処理はステップＳＴ５０へ移行する。ステップＳＴ５８において、書換処理終了条件を満足した場合は、判定が肯定されて、書換処理が終了する。

以上説明したように、撮像装置１０では、撮像同期信号が第１受付Ｉ／Ｆ６３Ａによって受け付けられ、出力同期信号が第２受付Ｉ／Ｆ６３Ｂによって受け付けられる。また、第１受付Ｉ／Ｆ６３Ａによって受け付けられた撮像同期信号に従って撮像フレームレートで撮像されることで得られたデジタル画像データ６９Ｂがメモリ６４に記憶される。そして、デジタル画像データ６９Ｂは、第２受付Ｉ／Ｆ６３Ｂによって受け付けられた出力同期信号に従って出力フレームレートで出力される。

従って、仮にデジタル画像データ６９Ｂの出力先である信号処理部５０の処理速度が何らかの原因で遅くなってしまった場合に、現時点よりも出力同期信号の出力間隔を長くすることで、現時点よりも信号処理部５０に対する処理負荷を軽減することが可能となる。逆に、信号処理部５０の処理能力に余裕がある場合、現時点よりも出力同期信号の出力間隔を短くすることで、現時点よりも信号処理部５０での処理量を増やすことが可能となる。

また、出力同期信号の出力間隔を長くした場合に撮像同期信号の出力間隔も長くすれば、無駄な撮像を行わずに済むので、撮像に要する消費電力を現時点よりも低減することができる。また、撮像素子４４内のメモリ６４の容量オーバも回避することができる。また、出力同期信号の出力間隔も短くした場合に撮像同期信号の出力間隔も短くすれば、撮像回数を増やすことができ、より多くのデジタル画像データ６９Ｂを処理することが可能となる。更に、出力同期信号の出力間隔の長短に拘わらず、撮像同期信号の出力間隔を長くしたり、短くしたりすることも可能であり、これにより、撮像回数を撮像素子４４の外部から調整することが可能となる。このように、撮像装置１０によれば、撮像素子４４の外部の状況に応じた撮像及び出力を実現することができる。

また、撮像装置１０では、撮像同期信号に撮像用垂直同期信号が含まれている。従って、撮像装置１０によれば、各フレームの読出タイミングを撮像素子４４の外部から調整することができる。また、現時点で撮像素子４４の後段回路（コントローラ４６及び／又は信号処理部５０等）での処理が何らかの原因で滞っている場合、撮像用垂直同期信号の出力間隔を現時点よりも長くすることで、後段回路で処理することができないデジタル画像データ６９Ｂが増大することを回避することができる。また、現時点よりも撮像用垂直同期信号の出力間隔を長くすることで、現時点よりも撮像回数を減らすことができる。これにより、撮像に要する消費電力を現時点よりも低減することができる。また、撮像素子４４内のメモリ６４の容量オーバも回避することができる。

また、撮像装置１０では、出力同期信号に出力用垂直同期信号が含まれている。従って、撮像装置１０によれば、各フレームの出力タイミングを撮像素子４４の外部から調整することができる。また、現時点で撮像素子４４の後段回路での処理が何らかの原因で滞っている場合、出力用垂直同期信号の出力間隔を長くすることで、出力フレーム数を減らすことができる。これにより、撮像素子４４の後段回路にかかる負荷を現時点よりも軽減することができる。また、出力フレーム数を減らした分だけ、出力に要する消費電力を低減することができる。

また、撮像装置１０では、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられた時点でメモリ６４に対して記憶中のデジタル画像データ６９Ｂが出力回路６２Ｄによる出力対象となり、出力が開始される。すなわち、メモリ６４に記憶される最新のデジタル画像データ６９Ｂが出力回路６２Ｄによる出力対象となって信号処理部５０に出力される。従って、撮像装置１０によれば、出力用垂直同期信号が受け付けられた時点よりも前のフレームのデジタル画像データ６９Ｂが出力される場合に比べ、撮像と出力との間のリアルタイム性を高めることができる。

また、撮像装置１０では、撮像用垂直同期信号が第１受付Ｉ／Ｆ６３Ａによって受け付けられた場合に、撮像系記憶領域６２Ｆ１内の撮像系駆動方式指示情報によって指示される駆動方式で撮像系を駆動させる制御が行われる（図１４参照）。従って、撮像装置１０によれば、１フレーム毎に撮像系記憶領域６２Ｆ１内の撮像系駆動方式指示情報によって指示される駆動方式で撮像系を駆動させることができる。

また、撮像装置１０で、出力用垂直同期信号が第２受付Ｉ／Ｆ６３Ｂによって受け付けられた場合に、出力系記憶領域６２Ｆ２内の出力系駆動方式指示情報によって指示される駆動方式で出力系を駆動させる制御が行われる（図１５参照）。従って、撮像装置１０によれば、１フレーム毎に出力系記憶領域６２Ｆ２内の出力系駆動方式指示情報によって指示される駆動方式で出力系を駆動させることができる。

また、撮像装置１０では、撮像系書換内容情報が第１受付Ｉ／Ｆ６３Ａによって受け付けられた場合に、撮像系記憶領域６２Ｆ１内の撮像系駆動方式指示情報が撮像系書換内容情報により示される内容に書き換えられる（図１１及び図１６参照）。従って、撮像装置１０によれば、撮像素子４４の外部から撮像素子４４内に保持されている撮像系駆動方式指示情報の内容を書き換えることができる。

また、撮像装置１０では、撮像系駆動方式指示情報に撮像領域情報、画素間引き情報、画素加算方法情報、露光時間情報、変換ゲイン切替情報、アナログゲイン情報、及びＡ／Ｄ変換精度情報が含まれている（図１１参照）。従って、撮像装置１０によれば、撮像素子４４の外部から撮像素子４４内に保持されている撮像領域情報、画素間引き情報、画素加算方法情報、露光時間情報、変換ゲイン切替情報、アナログゲイン情報、及びＡ／Ｄ変換精度情報の各内容を書き換えることができる。

また、撮像装置１０では、出力系書換内容情報が第１受付Ｉ／Ｆ６３Ａによって受け付けられた場合に、出力系記憶領域６２Ｆ２内の出力系駆動方式指示情報が出力系書換内容情報により示される内容に書き換えられる（図１１及び図１６参照）。従って、撮像装置１０によれば、撮像素子４４の外部から撮像素子４４内に保持されている出力系駆動方式指示情報の内容を書き換えることができる。

また、撮像装置１０では、出力系駆動方式指示情報に出力先情報、デジタル間引き情報、デジタル加算方法情報、フレーム枚数情報、デジタルゲイン情報、Ａ／Ｄ出力ビット数情報、及び空きビット埋め方情報が含まれている（図１１参照）。従って、撮像装置１０によれば、撮像素子４４の外部から撮像素子４４内に保持されている出力先情報、デジタル間引き情報、デジタル加算方法情報、フレーム枚数情報、デジタルゲイン情報、Ａ／Ｄ出力ビット数情報、及び空きビット埋め方情報の各内容を書き換えることができる。

また、撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。これにより、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像素子４４の可搬性が高くなる。また、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像装置本体１２の小型化にも寄与することができる。

また、図７に示すように、撮像素子４４として、光電変換素子６１にメモリ６４が積層された積層型撮像素子が採用されている。これにより、光電変換素子６１とメモリ６４とを接続する配線を短くすることができるため、配線遅延を減らすことができ、この結果、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、光電変換素子６１からメモリ６４への画像データ６９の転送速度を高めることができる。転送速度の向上は、処理回路６２全体での処理の高速化にも寄与する。また、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、撮像装置本体１２の小型化にも寄与することができる。

更に、撮像装置１０では、デジタル画像データ６９Ｂに基づくライブビュー画像等が第２ディスプレイ８６に表示される。これにより、デジタル画像データ６９Ｂにより示される画像をユーザに視認させることができる。

なお、上記第１実施形態では、撮像素子４４として、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子を例示したが、本開示の技術はこれに限定されない。例えば、光電変換素子６１、処理回路６２、及びメモリ６４のうち、少なくとも光電変換素子６１及びメモリ６４が１チップ化されていればよい。

また、上記第１実施形態では、Ａ／Ｄ変換が行われて得られたデジタル画像データ６９Ｂに対して画像処理回路６３Ｃによって画像処理が行われ、画像処理が行われたデジタル画像データ６９Ｂが出力対象とされているが、本開示の技術はこれに限定されない。デジタル画像データ６９Ｂに対して画像処理を行わずに、Ａ／Ｄ変換が行われて得られたデジタル画像データ６９Ｂそのものを出力回路６２Ｄによって出力されるようにしてもよい。この場合、画像処理回路６３Ｃに代えて、撮像素子４４の後段回路である信号処理部５０及び／又はコントローラ４６によってデジタル画像データ６９Ｂに対して画像処理が行われるようにすればよい。

また、上記第１実施形態では、通信ライン５３，５５を介して撮像素子４４と信号処理部５０との間において有線形式で通信が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像素子４４と信号処理部５０との間において無線形式で通信が行われるようにしてもよい。これと同様に、撮像素子４４とコントローラ４６との間において無線形式で通信が行われるようにしてもよいし、信号処理部５０とコントローラ４６との間において無線形式で通信が行われるようにしてもよい。

［第２実施形態］
上記第１実施形態では、撮像同期信号に撮像用垂直同期信号が含まれており、出力同期信号に出力用垂直同期信号が含まれている形態例を挙げて説明した。本第２実施形態では、撮像同期信号に撮像用水平同期信号が更に含まれており、出力同期信号に出力用水平同期信号が更に含まれている場合について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。

本第２実施形態に係る撮像装置１０は、一例として図１７に示すように、撮像同期信号に撮像用水平同期信号が更に含まれている点が上記第１実施形態と異なる。また、本第２実施形態に係る撮像装置１０は、一例として図１７に示すように、出力同期信号に出力用水平同期信号が更に含まれている点が上記第１実施形態と異なる。なお、本第２実施形態の説明においては、説明の便宜上、本第２実施形態に係る撮像装置１０を、単に「撮像装置１０」と称する。

撮像用水平同期信号は、１水平ライン分のアナログ画像データ６９Ａの読み出しの開始タイミングを規定する信号である。出力用水平同期信号は、１水平ライン分のアナログ画像データ６９Ａの出力の開始タイミングを規定する信号である。

コントローラ４６は、通信ライン５７を介して第１受付Ｉ／Ｆ６３Ａに撮像用水平同期信号を出力する。信号処理部５０は、通信ライン５５を介して第２受付Ｉ／Ｆ６３Ｂに出力用水平同期信号を出力する。

第１受付Ｉ／Ｆ６３Ａは、フレーム毎に撮像用垂直同期信号を受け付け、隣接するフレーム間において、コントローラ４６から通信ライン５７を介して出力された複数の撮像用水平同期信号を受け付ける。

第１受付Ｉ／Ｆ６３Ａは、受け付けた撮像用水平同期信号を制御回路６２Ｅに出力する。制御回路６２Ｅは、コントローラ４６から第１受付Ｉ／Ｆ６３Ａを介して入力された撮像用水平同期信号を読出回路６２Ａに転送する。読出回路６２Ａは、制御回路６２Ｅから撮像用水平同期信号が入力されると、光電変換素子６１に対して１水平ライン分のアナログ画像データ６９Ａの読み出しを開始する。

第２受付Ｉ／Ｆ６３Ｂは、フレーム毎に出力用垂直同期信号を受け付け、隣接するフレーム間において、信号処理部５０から通信ライン５５を介して出力された複数の出力用水平同期信号を受け付ける。

第２受付Ｉ／Ｆ６３Ｂは、受け付けた出力用水平同期信号を出力回路６２Ｄに出力する。出力回路６２Ｄは、信号処理部５０から第２受付Ｉ／Ｆ６３Ｂを介して出力用水平同期信号が入力されると、出力Ｉ／Ｆ６２Ｄ１から信号処理部５０に対して１水平ライン分のデジタル画像データ６９Ｂの出力を開始する。

次に、撮像装置１０の作用について説明する。

先ず、撮像素子４４の処理回路６２によって実行される読出記憶処理の流れについて図１８を参照しながら説明する。

図１８に示す読出記憶処理では、先ず、ステップＳＴ１００で、制御回路６２Ｅは、第１受付Ｉ／Ｆ６３Ａによって撮像用垂直同期信号が受け付けられたか否かを判定する。ステップＳＴ１００において、第１受付Ｉ／Ｆ６３Ａによって撮像用垂直同期信号が受け付けられていない場合は、判定が否定されて、読出記憶処理はステップＳＴ１１４へ移行する。ステップＳＴ１００において、第１受付Ｉ／Ｆ６３Ａによって撮像用垂直同期信号が受け付けられた場合は、判定が肯定されて、読出記憶処理はステップＳＴ１０２へ移行する。ステップＳＴ１００において、判定が肯定されると、撮像用垂直同期信号が読出回路６２Ａに転送される。

ステップＳＴ１０２で、読出回路６２Ａは、制御回路６２Ｅの指示に従って、光電変換素子６１からの読出対象となるアナログ画像データ６９Ａのフレームをリセットする。すなわち、読出回路６２Ａは、光電変換素子６１に含まれる全水平ラインのうちの１行目の水平ラインをアナログ画像データ６９Ａの読出対象ラインとして設定する。

次のステップＳＴ１０４で、制御回路６２Ｅは、第１受付Ｉ／Ｆ６３Ａによって撮像用水平同期信号が受け付けられたか否かを判定する。ステップＳＴ１０４において、第１受付Ｉ／Ｆ６３Ａによって撮像用水平同期信号が受け付けられていない場合は、判定が否定されて、ステップＳＴ１０４の判定が再び行われる。ステップＳＴ１０４において、第１受付Ｉ／Ｆ６３Ａによって撮像用水平同期信号が受け付けられた場合は、判定が肯定されて、読出記憶処理はステップＳＴ１０６へ移行する。ステップＳＴ１０４において、判定が肯定されると、撮像用水平同期信号が読出回路６２Ａに転送される。

ステップＳＴ１０６で、読出回路６２Ａは、１水平ライン分のアナログ画像データ６９ＡとしてＮ行目のアナログ画像データ６９Ａを光電変換素子６１から読み出す。ここで、「Ｎ行目」の“Ｎ”とは、何行目の水平ラインかを示す値、すなわち、水平ラインのアドレスを意味する。“Ｎ”の初期値は“１”である。

読出回路６２Ａによって光電変換素子６１から読み出された１水平ライン分のアナログ画像データ６９Ａはデジタル処理回路６２Ｂによってデジタル画像データ６９Ｂに変換され、制御回路６２Ｅに出力される。

次のステップＳＴ１０８で、制御回路６２Ｅは、デジタル処理回路６２Ｂから入力されたデジタル画像データ６９Ｂをメモリ６４に記憶し、その後、読出記憶処理はステップＳＴ１１０へ移行する。

ステップＳＴ１１０で、制御回路６２Ｅは、最終行の水平ラインまでステップＳＴ１０４～ステップＳＴ１０８の処理が完了したか否かを判定する。ステップＳＴ１１０において、最終行の水平ラインまでステップＳＴ１０４～ステップＳＴ１０８の処理が完了した場合は、判定が肯定されて、読出記憶処理はステップＳＴ１１４へ移行する。ステップＳＴ１１０において、最終行の水平ラインまでステップＳＴ１０４～ステップＳＴ１０８の処理が完了していない場合は、判定が否定されて、読出記憶処理はステップＳＴ１１２へ移行する。

ステップＳＴ１１２で、制御回路６２Ｅは、Ｎを１インクリメントし、その後、読出記憶処理はステップＳＴ１０４へ移行する。

ステップＳＴ１１４で、制御回路６２Ｅは、上記第１実施形態と同様に、読出記憶処理終了条件を満足したか否かを判定する。ステップＳＴ１１４において、読出記憶処理終了条件を満足していない場合は、判定が否定されて、読出記憶処理はステップＳＴ１００へ移行する。ステップＳＴ１１４において、読出記憶処理終了条件を満足した場合は、判定が肯定されて、読出記憶処理が終了する。

次に、撮像素子４４の処理回路６２によって実行される出力処理の流れについて図１９を参照しながら説明する。

図１９に示す出力処理では、ステップＳＴ１２０で、制御回路６２Ｅは、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられたか否かを判定する。ステップＳＴ１２０において、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられていない場合は、判定が否定されて、出力処理はステップＳＴ１３４へ移行する。ステップＳＴ１２０において、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられた場合は、判定が肯定されて、出力処理はステップＳＴ１２２へ移行する。

ステップＳＴ１２２で、制御回路６２Ｅは、メモリ６４からの取得対象となるデジタル画像データ６９Ｂのフレームをリセットする。すなわち、制御回路６２Ｅは、メモリ６４内の最新のデジタル画像データ６９Ｂに含まれる全水平ラインのうちの１行目の水平ラインをデジタル画像データ６９Ｂの読出対象ラインとして設定する。ここで、最新のデジタル画像データ６９Ｂとは、上記第１実施形態と同様に、現時点でメモリ６４に記憶中のデジタル画像データ６９Ｂを指す。

次のステップＳＴ１２４で、制御回路６２Ｅは、第２受付Ｉ／Ｆ６３Ｂによって出力用水平同期信号が受け付けられたか否かを判定する。ステップＳＴ１２４において、第２受付Ｉ／Ｆ６３Ｂによって出力用水平同期信号が受け付けられていない場合は、判定が否定されて、ステップＳＴ１２４の判定が再び行われる。ステップＳＴ１２４において、第２受付Ｉ／Ｆ６３Ｂによって出力用水平同期信号が受け付けられた場合は、判定が肯定されて、出力処理はステップＳＴ１２６へ移行する。ステップＳＴ１２４において、判定が肯定されると、出力用水平同期信号が第２受付Ｉ／Ｆ６３Ｂから出力回路６２Ｄを介して制御回路６２Ｅに転送される。

次のステップＳＴ１２６で、制御回路６２Ｅは、メモリ６４から最新のデジタル画像データ６９Ｂに含まれるＮ行目の水平ラインのデジタル画像データ６９Ｂを取得し、取得したＮ行目の水平ラインのデジタル画像データ６９Ｂを出力回路６２Ｄに転送する。

次のステップＳＴ１２８で、出力回路６２Ｄは、制御回路６２Ｅから入力されたＮ行目の水平ラインのデジタル画像データ６９Ｂを出力Ｉ／Ｆ６２Ｄから通信ライン５３を介して信号処理部５０に出力する。

次のステップＳＴ１３０で、制御回路６２Ｅは、最終行の水平ラインまでステップＳＴ１２４～ステップＳＴ１２８の処理が完了したか否かを判定する。ステップＳＴ１３０において、最終行の水平ラインまでステップＳＴ１２４～ステップＳＴ１２８の処理が完了した場合は、判定が肯定されて、出力処理はステップＳＴ１３４へ移行する。ステップＳＴ１３０において、最終行の水平ラインまでステップＳＴ１２４～ステップＳＴ１２８の処理が完了していない場合は、判定が否定されて、出力処理はステップＳＴ１３２へ移行する。

ステップＳＴ１３２で、制御回路６２Ｅは、Ｎを１インクリメントし、その後、出力処理はステップＳＴ１２４へ移行する。

ステップＳＴ１３４で、制御回路６２Ｅは、上記第１実施形態と同様に、出力処理終了条件を満足したか否かを判定する。ステップＳＴ１３４において、出力処理終了条件を満足していない場合は、判定が否定されて、出力処理はステップＳＴ１２０へ移行する。ステップＳＴ１３４において、出力処理終了条件を満足した場合は、判定が肯定されて、出力処理が終了する。

以上説明したように、撮像装置１０では、撮像同期信号に撮像用水平同期信号が含まれている。従って、撮像装置１０によれば、水平ラインの読出タイミングを撮像素子４４の外部から調整することができる。なお、本第２実施形態では、撮像同期信号に撮像用垂直同期信号及び撮像用水平同期信号が含まれる形態例を挙げて説明したが、撮像同期信号に撮像用垂直同期信号及び撮像用水平同期信号のうちの撮像用水平同期信号のみが含まれるようにしてもよい。この場合、撮像用垂直同期信号は、コントローラ４６から他の通信ラインを介して第１受付Ｉ／Ｆ６３Ａ又は他の受付Ｉ／Ｆによって受け付けられ、受け付けられた撮像用垂直同期信号が制御回路６２Ｅに転送されるようにすればよい。

また、撮像装置１０では、出力同期信号に出力用水平同期信号が含まれている。従って、撮像装置１０によれば、水平ライン毎の出力タイミングを撮像素子４４の外部から調整することができる。なお、本第２実施形態では、出力同期信号に出力用垂直同期信号及び出力用水平同期信号が含まれる形態例を挙げて説明したが、出力同期信号に出力用垂直同期信号及び出力用水平同期信号のうちの出力用水平同期信号のみが含まれるようにしてもよい。この場合、出力用垂直同期信号は、信号処理部５０から他の通信ラインを介して第２受付Ｉ／Ｆ６３Ｂ又は他の受付Ｉ／Ｆによって受け付けられ、受け付けられた出力用垂直同期信号が出力回路６２Ｄを介して制御回路６２Ｅに転送されるようにすればよい。

［第３実施形態］
上記第１及び第２実施形態では、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられた時点でメモリ６４に対して記憶中のデジタル画像データ６９Ｂが出力回路６２Ｄによる出力対象とされる形態例を挙げて説明した。本第３実施形態では、メモリ６４への記憶が既に完了している１フレーム分のデジタル画像データ６９Ｂが出力回路６２Ｄによる出力対象とされる場合について説明する。なお、本第３実施形態では、上記第１及び第２実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１及び第２実施形態と異なる部分について説明する。また、本第３実施形態の説明においては、説明の便宜上、本第３実施形態に係る撮像装置１０を、単に「撮像装置１０」と称する。

一例として図２０に示すように、撮像装置１０では、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられると、既にメモリ６４に記憶されている最新の１フレーム分のデジタル画像データ６９Ｂが出力回路６２Ｄにより出力される。

図２０に示す例では、第２受付Ｉ／Ｆ６３Ｂにより１回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に対して２フレーム目のデジタル画像データ６９Ｂが記憶中である。このとき、メモリ６４に対して記憶中の２フレーム目のデジタル画像データ６９Ｂよりも１フレーム前のデジタル画像データ６９Ｂである１フレーム目のデジタル画像データ６９Ｂが既にメモリ６４に記憶されている。この場合、出力回路６２Ｄにより出力される１フレーム目のデジタル画像データ６９Ｂは、第２受付Ｉ／Ｆ６３Ｂによって１回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に既に記憶されている１フレーム目のデジタル画像データ６９Ｂである。

つまり、出力回路６２Ｄは、第２受付Ｉ／Ｆ６３Ｂによって１回目の出力用垂直同期信号が受け付けられると、メモリ６４に既に記憶されている１フレーム目のデジタル画像データ６９Ｂを出力する。

第２受付Ｉ／Ｆ６３Ｂにより２回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に対して４フレーム目のデジタル画像データ６９Ｂが記憶中である。このとき、メモリ６４に対して記憶中の４フレーム目のデジタル画像データ６９Ｂよりも１フレーム前のデジタル画像データ６９Ｂである３フレーム目のデジタル画像データ６９Ｂが既にメモリ６４に記憶されている。この場合、出力回路６２Ｄにより出力される２フレーム目のデジタル画像データ６９Ｂは、第２受付Ｉ／Ｆ６３Ｂによって２回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に既に記憶されている３フレーム目のデジタル画像データ６９Ｂである。

つまり、出力回路６２Ｄは、第２受付Ｉ／Ｆ６３Ｂによって２回目の出力用垂直同期信号が受け付けられると、メモリ６４に既に記憶されている３フレーム目のデジタル画像データ６９Ｂを出力する。

第２受付Ｉ／Ｆ６３Ｂにより３回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に対して６フレーム目のデジタル画像データ６９Ｂが記憶中である。このとき、メモリ６４に対して記憶中の６フレーム目のデジタル画像データ６９Ｂよりも１フレーム前のデジタル画像データ６９Ｂである５フレーム目のデジタル画像データ６９Ｂが既にメモリ６４に記憶されている。この場合、出力回路６２Ｄにより出力される３フレーム目のデジタル画像データ６９Ｂは、第２受付Ｉ／Ｆ６３Ｂによって３回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に既に記憶されている５フレーム目のデジタル画像データ６９Ｂである。

つまり、出力回路６２Ｄは、第２受付Ｉ／Ｆ６３Ｂによって３回目の出力用垂直同期信号が受け付けられると、メモリ６４に既に記憶されている５フレーム目のデジタル画像データ６９Ｂを出力する。

第２受付Ｉ／Ｆ６３Ｂにより４回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に対して８フレーム目のデジタル画像データ６９Ｂが記憶中である。このとき、メモリ６４に対して記憶中の８フレーム目のデジタル画像データ６９Ｂよりも１フレーム前のデジタル画像データ６９Ｂである７フレーム目のデジタル画像データ６９Ｂが既にメモリ６４に記憶されている。この場合、出力回路６２Ｄにより出力される４フレーム目のデジタル画像データ６９Ｂは、第２受付Ｉ／Ｆ６３Ｂによって４回目の出力用垂直同期信号が受け付けられた時点でメモリ６４に既に記憶されている７フレーム目のデジタル画像データ６９Ｂである。

つまり、出力回路６２Ｄは、第２受付Ｉ／Ｆ６３Ｂによって４回目の出力用垂直同期信号が受け付けられると、メモリ６４に既に記憶されている７フレーム目のデジタル画像データ６９Ｂを出力する。

次に、撮像素子４４の処理回路６２によって実行される出力処理の流れについて図２１を参照しながら説明する。

図２１に示す出力処理では、ステップＳＴ２００で、制御回路６２Ｅは、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられたか否かを判定する。ステップＳＴ２００において、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられていない場合は、判定が否定されて、出力処理はステップＳＴ２１４へ移行する。ステップＳＴ２００において、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられた場合は、判定が肯定されて、出力処理はステップＳＴ２０２へ移行する。

ステップＳＴ２０２で、制御回路６２Ｅは、メモリ６４に既に記憶されている最新の１フレーム分のデジタル画像データ６９Ｂを取得対象となる１フレーム分のデジタル画像データ６９Ｂとして設定する。すなわち、制御回路６２Ｅは、メモリ６４内の最新のデジタル画像データ６９Ｂに含まれる全水平ラインのうちの１行目の水平ラインをデジタル画像データ６９Ｂの読出対象ラインとして設定する。なお、ここで、最新の１フレーム分のデジタル画像データ６９Ｂとは、現時点でメモリ６４に記憶中のデジタル画像データ６９Ｂよりも１フレーム前にメモリ６４に既に記憶されているデジタル画像データ６９Ｂを指す。

次のステップＳＴ２０４で、制御回路６２Ｅは、第２受付Ｉ／Ｆ６３Ｂによって出力用水平同期信号が受け付けられたか否かを判定する。ステップＳＴ２０４において、第２受付Ｉ／Ｆ６３Ｂによって出力用水平同期信号が受け付けられていない場合は、判定が否定されて、ステップＳＴ２０４の判定が再び行われる。ステップＳＴ２０４において、第２受付Ｉ／Ｆ６３Ｂによって出力用水平同期信号が受け付けられた場合は、判定が肯定されて、出力処理はステップＳＴ２０６へ移行する。ステップＳＴ２０４において、判定が肯定されると、出力用水平同期信号が第２受付Ｉ／Ｆ６３Ｂから出力回路６２Ｄを介して制御回路６２Ｅに転送される。

次のステップＳＴ２０６で、制御回路６２Ｅは、メモリ６４に既に記憶されている最新の１フレーム分のデジタル画像データ６９Ｂに含まれるＮ行目の水平ラインのデジタル画像データ６９Ｂを取得し、取得したＮ行目の水平ラインのデジタル画像データ６９Ｂを出力回路６２Ｄに転送する。

次のステップＳＴ２０８で、出力回路６２Ｄは、制御回路６２Ｅから入力されたＮ行目の水平ラインのデジタル画像データ６９Ｂを出力Ｉ／Ｆ６２Ｄから通信ライン５３を介して信号処理部５０に出力する。

次のステップＳＴ２１０で、制御回路６２Ｅは、最終行の水平ラインまでステップＳＴ２０４～ステップＳＴ２０８の処理が完了したか否かを判定する。ステップＳＴ２１０において、最終行の水平ラインまでステップＳＴ２０４～ステップＳＴ２０８の処理が完了した場合は、判定が肯定されて、出力処理はステップＳＴ２１４へ移行する。ステップＳＴ２１０において、最終行の水平ラインまでステップＳＴ２０４～ステップＳＴ２０８の処理が完了していない場合は、判定が否定されて、出力処理はステップＳＴ２１２へ移行する。

ステップＳＴ２１２で、制御回路６２Ｅは、Ｎを１インクリメントし、その後、出力処理はステップＳＴ２０４へ移行する。

ステップＳＴ２１４で、制御回路６２Ｅは、上記第１実施形態と同様に、出力処理終了条件を満足したか否かを判定する。ステップＳＴ２１４において、出力処理終了条件を満足していない場合は、判定が否定されて、出力処理はステップＳＴ２００へ移行する。ステップＳＴ２１４において、出力処理終了条件を満足した場合は、判定が肯定されて、出力処理が終了する。

以上説明したように、撮像装置１０では、第２受付Ｉ／Ｆ６３Ｂによって出力用垂直同期信号が受け付けられた時点でメモリ６４に対して記憶中のデジタル画像データ６９Ｂよりも１フレーム前にメモリ６４に既に記憶されている１フレーム分のデジタル画像が出力回路６２Ｄによる出力対象とされる。メモリ６４に対して記憶中のデジタル画像データ６９Ｂを出力対象とする場合、１フレーム分のデジタル画像データ６９Ｂがメモリ６４に記憶されていない状態で出力が開始されるので、１フレーム分のデジタル画像データ６９Ｂの全てがメモリ６４に記憶されるまで待機する必要がある。これに対し、メモリ６４に既に記憶されている１フレーム分のデジタル画像であれば、待機することなく１フレーム分のデジタル画像の全てを出力することができる。従って、撮像装置１０によれば、デジタル画像データ６９Ｂの出力が停滞することを回避することができる。

［第４実施形態］
上記第３実施形態では、メモリ６４に既に記憶されている１フレーム分のデジタル画像データ６９Ｂのみが出力対象とされる形態例について説明した。本第４実施形態では、メモリ６４に既に記憶されている１フレーム分のデジタル画像データ６９Ｂと、メモリ６４に対して記憶中のデジタル画像データ６９Ｂとが選択的に出力対象とされる場合について説明する。なお、本第４実施形態では、上記第１～第３実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１～３実施形態と異なる部分について説明する。また、本第４実施形態の説明においては、説明の便宜上、本第４実施形態に係る撮像装置１０を、単に「撮像装置１０」と称する。

一例として図２２に示すように、撮像装置１０に含まれる撮像素子４４の記憶回路６２Ｆは、上記第１～第３実施形態で採用されている記憶回路６２Ｆに比べ、画像データ関連情報記憶領域６２Ｆ３を有する点が異なる。

画像データ関連情報記憶領域６２Ｆ３には、デジタル画像データ６９Ｂに関する情報が記憶されている。具体的には、画像データ関連情報記憶領域６２Ｆ３には、１フレーム取込時間及び総ライン数が記憶されている。

１フレーム取込時間とは、１フレーム分の画像データ６９が撮像素子４４内に取り込まれる時間を指す。１フレーム取込時間の一例としては、１フレーム分について上記第１実施形態で説明した撮像処理が開始されてから終了するまでの時間が挙げられる。撮像処理が開始されてから終了するまでの時間とは、例えば、撮像用垂直同期信号が第１受付Ｉ／Ｆ６３Ａ（図１７参照）によって受け付けられてから、撮像で得られた１フレーム分のデジタル画像データ６９Ｂがメモリ６４に記憶されるまでに要する時間を指す。

総ライン数とは、光電変換素子６１に含まれる全ての水平ラインのうち、アナログ画像データ６９Ａの読出対象となる水平ラインの総数を指す。本第４実施形態では、説明の便宜上、アナログ画像データ６９Ａの読出対象となる水平ラインの総数として、光電変換素子６１に含まれる全ての水平ラインの本数が採用されている。各水平ラインに対しては、水平ラインを特定可能なラインアドレスが付与されている。ここでは、水平ラインを特定可能なラインアドレスとして、１行目の水平ラインから最終行の水平ラインの各々に対して何行目かを示す行数が採用されている。

一例として図２３に示すように、制御回路６２Ｅは、取得部６２Ｅ１、算出部６２Ｅ２、及び決定部６２Ｅ３を有する。取得部６２Ｅ１には、記憶回路６２Ｆ及び出力回路６２Ｄが接続されている。

信号処理部５０から通信ライン５５を介して出力された出力用垂直同期信号は、第２受付Ｉ／Ｆ６３Ｂによって受け付けられ、出力回路６２Ｄを介して取得部６２Ｅ１に転送される。取得部６２Ｅ１は、出力回路６２Ｄから出力用垂直同期信号が入力されると、画像データ関連情報記憶領域６２Ｆ３から１フレーム取込時間及び総ライン数を取得する。また、取得部６２Ｅ１は、出力回路６２Ｄから出力用垂直同期信号が入力されると、現時点で光電変換素子６１から読出中の水平ラインのラインアドレス（以下、「読出中ラインアドレス」と称する）を読出回路６２Ａから取得する。取得部６２Ｅ１は、取得した１フレーム取込時間、総ライン数、及び読出中ラインアドレスを算出部６２Ｅ２に出力する。

算出部６２Ｅ２は、取得部６２Ｅ１から入力された１フレーム取込時間、総ライン数、及び読出中ラインアドレスに基づいて第１算出処理、第２算出処理、及び第３算出処理を行う。

第１算出処理では、水平ライン取込時間が算出される。水平ライン取込時間とは、１水平ライン分の画像データ６９が撮像素子４４内に取り込まれる時間を指す。水平ライン取込時間の一例としては、１水平ライン分について上記第１実施形態で説明した撮像処理が開始されてから終了するまでの時間が挙げられる。水平ライン取込時間は、算出部６２Ｅ２によって次の式（１）から算出される。

（水平ライン取込時間）＝（１フレーム取込時間）／（総ライン数）・・・・（１）

第２算出処理では、画像データ取込完了時間が算出される。画像データ取込完了時間とは、現時点でメモリ６４に記憶中の１フレーム分のデジタル画像データ６９Ｂのメモリ６４への記憶が完了するまでに要する残り時間を指す。画像データ取込完了時間は、算出部６２Ｅ２によって次の式（２）から算出される。なお、式（２）では、独立変数として“現在時刻”が入っているが、“現在時刻”は“０”であってもよい。

（画像データ取込完了時間）＝（現在時刻）＋（水平ライン取込時間）×｛（総ライン数）－（読出中ラインアドレス）｝・・・・（２）

第３算出処理では、画像データ出力完了時間が算出される。画像データ出力完了時間とは、現時点で出力対象とされている１フレーム分のデジタル画像データ６９Ｂの出力が開始されてから完了するまでに要する時間を指す。画像データ出力完了時間は、本開示の技術に係る「１フレーム分の画像データの出力が完了する時間として予測された出力完了時間」の一例である。画像データ出力完了時間は、算出部６２Ｅ２によって次の式（３）から算出される。次の式（３）において、“出力用水平同期信号の周期”は、第２受付Ｉ／Ｆ６３Ｂによって出力用水平同期信号が受け付けられる周期である。

（画像データ出力完了時間）＝（現在時刻）＋（出力用水平同期信号の周期）×（総ライン数）・・・・（３）

第２受付Ｉ／Ｆ６３Ｂによって受け付けられた出力用水平同期信号は、算出部６２Ｅ２に転送される。従って、“出力用水平同期信号の周期”は、算出部６２Ｅ２に出力用水平同期信号が２回入力されることで求められる。すなわち、１回目の出力用水平同期信号の入力から２回目の出力用水平同期信号の入力までの時間が“出力用水平同期信号の周期”である。なお、式（３）では、独立変数として“現在時刻”が入っているが、“現在時刻”は“０”であってもよい。

一例として図２４に示すように、決定部６２Ｅ３は、算出部６２Ｅ２から画像データ取込完了時間及び画像データ出力完了時間を取得する。そして、決定部６２Ｅ３は、算出部６２Ｅ２から取得した画像データ取込完了時間及び画像データ出力完了時間に基づいて、第１画像データ又は第２画像データを出力対象のデジタル画像データ６９Ｂとして決定する。ここで、第１画像データとは、現時点でメモリ６４に対して記憶中のデジタル画像データ６９Ｂを指す。第２画像データとは、現時点でメモリ６４に対して記憶中のデジタル画像データ６９Ｂよりも１フレーム前にメモリ６４に既に記憶されているデジタル画像データ６９Ｂを指す。なお、第１画像データは、本開示の技術に係る「最新画像データ」及び「現時点において撮像されている被写体に関する１フレーム分の画像データ」の一例であり、第２画像データは、本開示の技術に係る「最新画像データ」及び「記憶部に既に１フレーム分記憶されている画像データ」の一例である。「現時点でメモリ６４に対して記憶中のデジタル画像データ６９Ｂよりも１フレーム前にメモリ６４に既に記憶されているデジタル画像データ６９Ｂ」は、本開示の技術に係る「前記記憶部に記憶された最新の画像データ」の一例である。

決定部６２Ｅ３は、画像データ取込完了時間が画像データ出力完了時間よりも短ければ、第１画像データを出力対象のデジタル画像データ６９Ｂとして決定する。決定部６２Ｅ３は、画像データ取込完了時間が画像データ出力完了時間以上であれば、第２画像データを出力対象のデジタル画像データ６９Ｂとして決定する。

次に、撮像素子４４の処理回路６２によって実行される出力処理の流れについて図２５Ａ及び図２５Ｂを参照しながら説明する。

図２５Ａに示す出力処理では、ステップＳＴ３００で、取得部６２Ｅ１は、出力用垂直同期信号が入力されたか否かを判定する。ステップＳＴ３００において、出力用垂直同期信号が入力されていない場合は、判定が否定されて、出力処理はステップＳＴ３３８（図２５Ｂ参照）へ移行する。ステップＳＴ３００において、出力用垂直同期信号が入力された場合は、判定が肯定されて、出力処理はステップＳＴ３０２へ移行する。

ステップＳＴ３０２で、取得部６２Ｅ１は、画像データ関連情報記憶領域６２Ｆ３（図２２及び図２３参照）から１フレーム取込時間を取得し、その後、出力処理はステップＳＴ３０４へ移行する。

ステップＳＴ３０４で、取得部６２Ｅ１は、画像データ関連情報記憶領域６２Ｆ３（図２２及び図２３参照）から総ライン数を取得し、その後、出力処理はステップＳＴ３０６へ移行する。

ステップＳＴ３０６で、取得部６２Ｅ１は、読出回路６２Ａから読出中ラインアドレスを取得し、その後、出力処理はステップＳＴ３０８へ移行する。

ステップＳＴ３０８で、算出部６２Ｅ２は、出力用水平同期信号が入力されたか否かを判定する。ステップＳＴ３０８において、出力用水平同期信号が入力されていない場合は、判定が否定されて、ステップＳＴ３０８の判定が再び行われる。ステップＳＴ３０８において、出力用水平同期信号が入力された場合は、判定が肯定されて、ステップＳＴ３１０へ移行する。

ステップＳＴ３１０で、算出部６２Ｅ２は、出力用水平同期信号の周期の測定を開始し、その後、出力処理はステップＳＴ３１２へ移行する。出力用水平同期信号の周期の測定の開始とは、タイマー（図示省略）による計時の開始を意味する。

次のステップＳＴ３１２で、算出部６２Ｅ２は、出力用水平同期信号が入力されたか否かを判定する。ステップＳＴ３１２において、出力用水平同期信号が入力されていない場合は、判定が否定されて、ステップＳＴ３１２の判定が再び行われる。ステップＳＴ３１２において、出力用水平同期信号が入力された場合は、判定が肯定されて、ステップＳＴ３１４へ移行する。

ステップＳＴ３１４で、算出部６２Ｅ２は、出力用水平同期信号の周期の測定を終了し、その後、出力処理はステップＳＴ３１６へ移行する。出力用水平同期信号の周期の測定の終了とは、上述のタイマーによる計時の終了を意味する。出力用水平同期信号の周期は、ステップＳＴ３１０の処理が実行されてからステップＳＴ３１４の処理が実行されるまでの時間、すなわち、上述のタイマーによって測定された時間である。

ステップＳＴ３１６で、算出部６２Ｅ２は、上述の式（１）から水平ライン取込時間を算出し、その後、出力処理はステップＳＴ３１８へ移行する。本ステップＳＴ３１６では、上述の式（１）の独立変数として、ステップＳＴ３０２で取得された１フレーム取込時間、及びステップＳＴ３０４で取得された総ライン数が適用される。

ステップＳＴ３１８で、算出部６２Ｅ２は、上述の式（２）から画像データ取込完了時間を算出し、その後、出力処理はステップＳＴ３２０へ移行する。本ステップ３１８では、上述の式（２）の独立変数として、現在時刻と、ステップＳＴ３１６で算出された水平ライン取込時間と、ステップＳＴ３０４で取得された総ライン数と、ステップＳＴ３０６で取得された読出中ラインアドレスとが適用される。

ステップＳＴ３２０で、算出部６２Ｅ２は、上述の式（３）から画像データ出力完了時間を算出し、その後、出力処理はステップＳＴ３２２へ移行する。本ステップＳＴ３２０では、上述の式（３）の独立変数として、現在時刻と、ステップＳＴ３１０及びステップＳＴ３１４の処理によって測定された周期と、ステップＳＴ３０４で取得された総ライン数とが適用される。

図２５Ｂに示すステップＳＴ３２２で、決定部６２Ｅ３は、ステップＳＴ３１８で算出された画像データ取込完了時間がステップＳＴ３２０で算出された画像データ出力完了時間よりも短いか否かを判定する。ステップＳＴ３２２において、ステップＳＴ３１８で算出された画像データ取込完了時間がステップＳＴ３２０で算出された画像データ出力完了時間よりも短い場合は、判定が肯定されて、出力処理はステップＳＴ３２４へ移行する。ステップＳＴ３２２において、ステップＳＴ３１８で算出された画像データ取込完了時間がステップＳＴ３２０で算出された画像データ出力完了時間よりも短くない場合は、判定が肯定されて、出力処理はステップＳＴ３２６へ移行する。

なお、ステップＳＴ３２２において判定が肯定される場合が、本開示の技術に係る「出力完了時間内に、現時点において撮像されている被写体に関する１フレーム分の画像データの記憶部への記憶が完了する場合」の一例である。また、ステップＳＴ３２２において判定が否定される場合が、本開示の技術に係る「出力完了時間内に、現時点において撮像されている被写体に関する１フレーム分の画像データの記憶部への記憶が完了しない場合」の一例である。

ステップＳＴ３２４で、決定部６２Ｅ３は、上述の第１画像データを出力対象のデジタル画像データ６９Ｂとして決定し、その後、出力処理はステップＳＴ３２８へ移行する。

ステップＳＴ３２６で、決定部６２Ｅ３は、上述の第２画像データを出力対象のデジタル画像データ６９Ｂとして決定し、その後、出力処理はステップＳＴ３２８へ移行する。

次のステップＳＴ３２８で、制御回路６２Ｅは、第２受付Ｉ／Ｆ６３Ｂによって出力用水平同期信号が受け付けられたか否かを判定する。ステップＳＴ３２８において、第２受付Ｉ／Ｆ６３Ｂによって出力用水平同期信号が受け付けられていない場合は、判定が否定されて、ステップＳＴ３２８の判定が再び行われる。ステップＳＴ３２８において、第２受付Ｉ／Ｆ６３Ｂによって出力用水平同期信号が受け付けられた場合は、判定が肯定されて、出力処理はステップＳＴ３３０へ移行する。ステップＳＴ３２８において、判定が肯定されると、出力用水平同期信号が第２受付Ｉ／Ｆ６３Ｂから出力回路６２Ｄを介して制御回路６２Ｅに転送される。

次のステップＳＴ３３０で、制御回路６２Ｅは、ステップＳＴ３２４で出力対象のデジタル画像データ６９Ｂとして第１画像データが決定された場合、上述の第１画像データに含まれるＮ行目の水平ラインのデジタル画像データ６９Ｂを取得する。また、制御回路６２Ｅは、ステップＳＴ３２６で出力対象のデジタル画像データ６９Ｂとして第２画像データが決定された場合、上述の第２画像データに含まれるＮ行目の水平ラインのデジタル画像データ６９Ｂを取得する。このようにして取得されたＮ行目の水平ラインのデジタル画像データ６９Ｂは、制御回路６２Ｅによって出力回路６２Ｄに転送される。

次のステップＳＴ３３２で、出力回路６２Ｄは、制御回路６２Ｅから入力されたＮ行目の水平ラインのデジタル画像データ６９Ｂを出力Ｉ／Ｆ６２Ｄから通信ライン５３を介して信号処理部５０に出力する。

次のステップＳＴ３３４で、制御回路６２Ｅは、最終行の水平ラインまでステップＳＴ３２８～ステップＳＴ３３２の処理が完了したか否かを判定する。ステップＳＴ３３４において、最終行の水平ラインまでステップＳＴ３２８～ステップＳＴ３３２の処理が完了した場合は、判定が肯定されて、出力処理はステップＳＴ３３８へ移行する。ステップＳＴ３３４において、最終行の水平ラインまでステップＳＴ３２８～ステップＳＴ３３２の処理が完了していない場合は、判定が否定されて、出力処理はステップＳＴ３３６へ移行する。

ステップＳＴ３３６で、制御回路６２Ｅは、Ｎを１インクリメントし、その後、出力処理はステップＳＴ３２８へ移行する。

ステップＳＴ３３８で、制御回路６２Ｅは、上記第１実施形態と同様に、出力処理終了条件を満足したか否かを判定する。ステップＳＴ３３８において、出力処理終了条件を満足していない場合は、判定が否定されて、出力処理はステップＳＴ３００へ移行する。ステップＳＴ３３８において、出力処理終了条件を満足した場合は、判定が肯定されて、出力処理が終了する。

以上説明したように、撮像装置１０では、画像データ取込完了時間が画像データ出力完了時間よりも短い場合に、第１画像データが出力される。また、画像データ取込完了時間が画像データ出力完了時間以上の場合に第２画像データが出力される。従って、撮像装置１０によれば、撮像と出力とのリアルタイム性と、デジタル画像データの出力の停滞の回避とを両立させることができる。

また、撮像装置１０では、第２画像データは、現時点でメモリ６４に対して記憶中のデジタル画像データ６９Ｂよりも１フレーム前にメモリ６４に既に記憶されているデジタル画像データ６９Ｂである。従って、撮像装置１０によれば、現時点でメモリ６４に対して記憶中のデジタル画像データ６９Ｂよりも複数フレーム前にメモリ６４に既に記憶されているデジタル画像データ６９Ｂを出力する場合に比べ、撮像と出力とのリアルタイム性を確保することができる。

更に、撮像装置１０では、画像データ出力完了時間が、第２受付Ｉ／Ｆ６３Ｂによって出力用水平同期信号が受け付けられた周期に基づいて予測された時間とされている。従って、撮像装置１０によれば、出力用水平同期信号以外の信号を用いて画像データ出力完了時間が求められる場合に比べ、画像データ出力完了時間を正確に求めることができる。

なお、上記第４実施形態では、第２画像データとして、現時点でメモリ６４に対して記憶中のデジタル画像データ６９Ｂよりも１フレーム前にメモリ６４に既に記憶されているデジタル画像データ６９Ｂを例示したが、本開示の技術はこれに限定されない。第２画像データは、現時点でメモリ６４に対して記憶中のデジタル画像データ６９Ｂよりも複数フレーム前にメモリ６４に既に記憶されているデジタル画像データ６９Ｂであったとしても本開示の技術は成立する。

［第５実施形態］
上記第１～第４実施形態では、信号処理部５０のみが撮像素子４４の処理回路６２に接続されている形態例を挙げて説明した。本第５実施形態では、２つの信号処理部が撮像素子４４の処理回路６２に接続されている形態例について説明する。なお、本第５実施形態では、上記第１～第４実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１～４実施形態と異なる部分について説明する。また、本第５実施形態の説明においては、説明の便宜上、本第５実施形態に係る撮像装置１０を、単に「撮像装置１０」と称する。

一例として図２６に示すように、処理回路６２には、通信ライン５３Ａ，５５Ａを介して第１信号処理部５０Ａが接続されている。また、処理回路６２には、通信ライン５３Ｂ，５５Ｂを介して第２信号処理部５０Ｂが接続されている。また、コントローラ４６には、通信ライン６０Ａを介して第１信号処理部５０Ａが接続されている。更に、コントローラ４６には、通信ライン６０Ｂを介して第２信号処理部５０Ｂが接続されている。

一例として図２７に示すように、第１信号処理部５０Ａは、通信ライン５５Ａを介して第２受付Ｉ／Ｆ６３Ｂに接続されており、通信ライン５３Ａを介して出力Ｉ／Ｆ６２Ｄ１に接続されている。また、第１信号処理部５０Ａは、通信ライン６０Ａを介してコントローラ４６に接続されている。第１信号処理部５０Ａは、上記第１～第４実施形態で採用されている信号処理部５０に相当するデバイスである。従って、信号処理部５０と出力回路６２Ｄとの間で行われる入出力と同様の入出力が出力回路６２Ｄと第１信号処理部５０Ａとの間でも行われる。また、信号処理部５０とコントローラ４６との間で行われる入出力と同様の入出力が第１信号処理部５０Ａとコントローラ４６との間でも行われる。

処理回路６２は、第３受付Ｉ／Ｆ６３Ｃを備えている。第３受付Ｉ／Ｆ６３Ｃには、通信ライン５５Ｂを介して第２信号処理部５０Ｂが接続されている。また、第３受付Ｉ／Ｆ６３Ｃには、出力回路６２Ｄが接続されている。更に、第２信号処理部５０Ｂは、信号処理部５０と同様に、出力同期信号を通信ライン５５Ｂを介して第３受付Ｉ／Ｆ６３Ｃに出力する。第３受付Ｉ／Ｆ６３Ｃに出力される出力同期信号には、出力用垂直同期信号及び出力用水平同期信号が含まれている。

出力回路６２Ｄは、出力Ｉ／Ｆ６２Ｄ２を備えている。出力Ｉ／Ｆ６２Ｄ２は、通信ライン５３Ｂを介して第２信号処理部５０Ｂに接続されている。また、第２信号処理部５０Ｂは、通信ライン６０Ｂを介してコントローラ４６に接続されている。

第２信号処理部５０Ｂは、第１信号処理部５０Ａと同様の機能を有するデバイスである。従って、出力回路６２Ｄと第１信号処理部５０Ａとの間で行われる入出力と同様の入出力が出力回路６２Ｄと第２信号処理部５０Ｂとの間でも行われる。また、第１信号処理部５０Ａとコントローラ４６との間で行われる入出力と同様の入出力が第２信号処理部５０Ｂとコントローラ４６との間でも行われる。

なお、本第５実施形態において、出力Ｉ／Ｆ６２Ｄ１，６２Ｄ２は、本開示の技術に係る「複数の出力インタフェース」の一例である。第１信号処理部５０Ａから出力される出力同期信号、及び第２信号処理部５０Ｂから出力される出力同期信号は、本開示の技術に係る「複数の出力インタフェースの各々に対応する複数の出力同期信号」の一例である。

以上説明したように、撮像装置１０では、第１信号処理部５０Ａから出力された出力同期信号が出力Ｉ／Ｆ６２Ｄ１によって受け付けられ、第２信号処理部５０Ｂから出力された出力同期信号が出力Ｉ／Ｆ６２Ｄ２によって受け付けられる。従って、撮像装置１０によれば、デジタル画像データ６９Ｂの出力先が複数存在していたとしても、各出力先（第１信号処理部５０Ａ及び第２信号処理部５０Ｂ）の状況に応じてデジタル画像データ６９Ｂを処理することができる。

なお、上記第５実施形態では、撮像素子４４の後段回路として、第１信号処理部５０Ａ及び第２信号処理部５０Ｂという２つの信号処理部を例示したが、本開示の技術はこれに限定されない。例えば、３つ以上の信号処理部が処理回路６２に接続されていてもよい。この場合、出力回路６２Ｄは、信号処理部の個数分の出力Ｉ／Ｆを有し、各出力Ｉ／Ｆが対応する信号処理部に個別に接続されるようにする。また、第３受付Ｉ／Ｆ６３Ｃが出力回路６２Ｄ及び第２信号処理部５０Ｂに接続されているのと同様に、第３受付Ｉ／Ｆ６３Ｃ（図２７参照）に相当する受付Ｉ／Ｆが３つ目以降の信号処理部に接続されるようにする。更に、３つ目以降の信号処理部もコントローラ４６に接続されるようにする。

また、上記第５実施形態では、通信ライン５３Ａ，５５Ａを介して撮像素子４４と第１信号処理部５０Ａとの間において有線形式で通信が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像素子４４と第１信号処理部５０Ａとの間において無線形式で通信が行われるようにしてもよい。これと同様に、撮像素子４４と第２信号処理部５０Ｂとの間において無線形式で通信が行われるようにしてもよい。また、撮像素子４４とコントローラ４６との間において無線形式で通信が行われるようにしてもよい。また、第１信号処理部５０Ａとコントローラ４６との間において無線形式で通信が行われるようにしてもよい。更に、第２信号処理部５０Ｂとコントローラ４６との間において無線形式で通信が行われるようにしてもよい。

また、上記各実施形態では、処理回路６２がＡＳＩＣ及びＦＰＧＡによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、上述した撮像処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図２８に示すように、撮像素子４４に内蔵されたコンピュータ８５２に、上述した読出記憶処理、出力処理、撮像系駆動処理、出力系駆動処理、及び書換処理を実行させるための各種プログラムを記憶媒体９００に記憶させておく。

各種プログラムとは、読出記憶プログラム９０２、出力プログラム９０４、撮像系駆動プログラム９０６、出力系駆動プログラム９０８、及び書換プログラム９１０を指す。読出記憶プログラム９０２は、上述した読出記憶処理をコンピュータ８５２に実行させるためのプログラムである。出力プログラム９０４は、上述した出力処理をコンピュータ８５２に実行させるためのプログラムである。撮像系駆動プログラム９０６は、上述した撮像系駆動処理をコンピュータ８５２に実行させるためのプログラムである。出力系駆動プログラム９０８は、上述した出力系駆動処理をコンピュータ８５２に実行させるためのプログラムである。書換プログラム９１０は、上述した書換処理をコンピュータ８５２に実行させるためのプログラムである。

一例として図２８に示すように、コンピュータ８５２は、ＣＰＵ８５２Ａ、ＲＯＭ８５２Ｂ、及びＲＡＭ８５２Ｃを備えている。そして、記憶媒体９００に記憶されている各種プログラムは、コンピュータ８５２にインストールされる。ＣＰＵ８５２Ａは、読出記憶プログラム９０２に従って、上述した読出記憶処理を実行する。また、ＣＰＵ８５２Ａは、出力プログラム９０４に従って、上述した出力処理を実行する。また、ＣＰＵ８５２Ａは、撮像系駆動プログラム９０６に従って、上述した撮像系駆動処理を実行する。また、ＣＰＵ８５２Ａは、出力系駆動プログラム９０８に従って、上述した出力系駆動処理を実行する。更に、ＣＰＵ８５２Ａは、書換プログラム９１０に従って、上述した書換処理を実行する。

ここでは、ＣＰＵ８５２Ａとして、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ８５２Ａに代えて複数のＣＰＵを採用してもよい。なお、記憶媒体９００は、非一時的記憶媒体である。記憶媒体９００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

図２８に示す例では、記憶媒体９００に各種プログラムが記憶されているが、本開示の技術はこれに限定されない。例えば、ＲＯＭ８５２Ｂに各種プログラムを予め記憶させておき、ＣＰＵ８５２ＡがＲＯＭ８５２Ｂから各種プログラムを読み出し、ＲＡＭ８５２Ｃに展開し、展開した各種プログラムを実行するようにしてもよい。

また、通信網（図示省略）を介してコンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部に各種プログラムを記憶させておき、撮像装置１０の要求に応じて各種プログラムがコンピュータ８５２にダウンロードされるようにしてもよい。この場合、ダウンロードされた各種プログラムがコンピュータ８５２のＣＰＵ８５２Ａによって実行される。

また、コンピュータ８５２は、撮像素子４４の外部に設けられるようにしてもよい。この場合、コンピュータ８５２が各種プログラムに従って処理回路６２を制御するようにすればよい。

上記各実施形態で説明した読出記憶処理、出力処理、撮像系駆動処理、出力系駆動処理、及び書換処理（以下、「各種処理」と称する）を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。

各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像素子内処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）などに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像素子内処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記各実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図２９に示すスマートデバイス９５０に対して本開示の技術を適用するようにしてもよい。一例として図２９に示すスマートデバイス９５０は、本開示の技術に係る撮像装置の一例である。スマートデバイス９５０には、上記実施形態で説明した撮像素子４４が搭載されている。このように構成されたスマートデバイス９５０であっても、上記各実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス９５０に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

また、上記各実施形態では、第１ディスプレイ３２及び第２ディスプレイ８６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部（ディスプレイ）」として用いるようにしてもよい。

また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (19)

1. 撮像素子であって、
   撮像するタイミングに関する撮像同期信号と、撮像されることで得られた画像データを出力するタイミングに関する少なくとも１つの出力同期信号とを前記撮像素子の外部から受け付ける受付インタフェースと、
   前記受付インタフェースによって受け付けられた前記撮像同期信号に従って第１フレームレートで撮像されることで得られた前記画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
   前記メモリに記憶された前記画像データを、前記受付インタフェースによって受け付けられた前記出力同期信号に従って第２フレームレートで出力し、かつ、前記撮像素子に内蔵された出力回路と、を含み、
   前記第１フレームレートは、前記第２フレームレート以上であり、
   前記受付インタフェースは、第１受付インタフェースと、第２受付インタフェースと、を有し、
   前記第１受付インタフェースは、前記外部から前記撮像同期信号を受け付け、
   前記第２受付インタフェースは、前記外部から前記出力同期信号を受け付ける
   撮像素子。
2. 前記撮像同期信号は、撮像用垂直同期信号及び撮像用水平同期信号のうちの少なくとも一方を含む信号である請求項１に記載の撮像素子。
3. 前記出力同期信号は、出力用垂直同期信号及び出力用水平同期信号のうちの少なくとも一方を含む信号である請求項１又は請求項２に記載の撮像素子。
4. 前記出力回路は、複数の出力インタフェースを有し、
   前記受付インタフェースは、前記複数の出力インタフェースの各々に対応する複数の前記出力同期信号を受け付ける請求項１から請求項３の何れか一項に記載の撮像素子。
5. 前記出力回路は、前記出力同期信号が前記受付インタフェースによって受け付けられた時点で前記メモリに記憶されている最新の前記画像データを出力する請求項１から請求項４の何れか一項に記載の撮像素子。
6. 撮像素子であって、
   撮像するタイミングに関する撮像同期信号と、撮像されることで得られた画像データを出力するタイミングに関する少なくとも１つの出力同期信号とを前記撮像素子の外部から受け付ける受付インタフェースと、
   前記受付インタフェースによって受け付けられた前記撮像同期信号に従って第１フレームレートで撮像されることで得られた前記画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
   前記メモリに記憶された前記画像データを、前記受付インタフェースによって受け付けられた前記出力同期信号に従って第２フレームレートで出力し、かつ、前記撮像素子に内蔵された出力回路と、を含み、
   前記第１フレームレートは、前記第２フレームレート以上であり、
   前記出力回路は、複数の前記画像データのうちの最新の前記画像データである最新画像データを出力し、
   前記最新画像データは、１フレーム分の前記画像データの出力が完了する時間として予測された出力完了時間内に、現時点において撮像されている被写体に関する１フレーム分の前記画像データの前記メモリへの記憶が完了する場合、現時点において撮像されている被写体に関する１フレーム分の前記画像データであり、前記出力完了時間内に、現時点において撮像されている被写体に関する１フレーム分の前記画像データの前記メモリへの記憶が完了しない場合、前記メモリに既に１フレーム分記憶されている前記画像データである
   撮像素子。
7. 前記最新画像データは、前記出力完了時間内に前記最新画像データの前記メモリへの記憶が完了しない場合、前記メモリに記憶された最新の前記画像データである請求項６に記載の撮像素子。
8. 前記出力同期信号は、出力用水平同期信号を含む信号であり、
   前記出力完了時間は、前記出力用水平同期信号が前記受付インタフェースによって受け付けられた周期に基づいて予測された時間である請求項６又は請求項７に記載の撮像素子。
9. 前記撮像同期信号は、撮像用垂直同期信号を含む信号であり、
   前記撮像素子の撮像系の駆動方式を指示する撮像系駆動方式指示情報を保持する撮像系保持回路と、
   前記撮像用垂直同期信号が前記受付インタフェースによって受け付けられた場合に、前記撮像系保持回路によって保持されている前記撮像系駆動方式指示情報によって指示される駆動方式で前記撮像系を駆動させる制御を行う撮像系制御回路と、を更に含む請求項１から請求項８の何れか一項に記載の撮像素子。
10. 前記受付インタフェースは、前記撮像系駆動方式指示情報の書き換えの内容を示す撮像系書換内容情報を受け付け、
    前記撮像系書換内容情報が前記受付インタフェースによって受け付けられた場合に、前記撮像系保持回路によって保持されている前記撮像系駆動方式指示情報が前記撮像系書換内容情報により示される内容に書き換えられる請求項９に記載の撮像素子。
11. 前記撮像系駆動方式指示情報は、撮像領域に関する情報、画素間引きに関する情報、画素加算方法に関する情報、露光時間に関する情報、変換ゲイン切り替えに関する情報、アナログゲインに関する情報、及びＡ／Ｄ変換精度に関する情報のうちの少なくとも１つを含む情報である請求項１０に記載の撮像素子。
12. 前記出力同期信号は、出力用垂直同期信号を含む信号であり、
    前記撮像素子の出力系の駆動方式を指示する出力系駆動方式指示情報を保持する出力系保持回路と、
    前記出力用垂直同期信号が前記受付インタフェースによって受け付けられた場合に、前記出力系保持回路によって保持されている前記出力系駆動方式指示情報によって指示される駆動方式で前記出力系を駆動させる制御を行う出力系制御回路と、を更に含む請求項１から請求項１１の何れか一項に記載の撮像素子。
13. 前記受付インタフェースは、前記出力系駆動方式指示情報の書き換えの内容を示す出力系書換内容情報を受け付け、
    前記出力系書換内容情報が前記受付インタフェースによって受け付けられた場合に、前記出力系保持回路によって保持されている前記出力系駆動方式指示情報が前記出力系書換内容情報により示される内容に書き換えられる請求項１２に記載の撮像素子。
14. 前記出力系駆動方式指示情報は、出力先に関する情報、デジタル間引きに関する情報、デジタル加算方法に関する情報、出力フレームの平均枚数に関する情報、デジタルゲインに関する情報、Ａ／Ｄ出力ビット数に関する情報、及び下位空きビットの埋め方に関する情報のうちの少なくとも１つを含む情報である請求項１２又は請求項１３に記載の撮像素子。
15. 少なくとも光電変換素子と前記メモリとが１チップ化された請求項１から請求項１４の何れか一項に記載の撮像素子。
16. 前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１５に記載の撮像素子。
17. 請求項１から請求項１６の何れか一項に記載の撮像素子と、
    前記出力回路により出力された前記画像データに基づく画像をディスプレイに対して表示させる制御を行う表示プロセッサと、
    を含む撮像装置。
18. 受付インタフェースと、メモリと、出力回路と、を含み、前記メモリ及び前記出力回路が内蔵された撮像素子の作動方法であって、
    前記受付インタフェースは、撮像するタイミングに関する撮像同期信号と、撮像されることで得られた画像データを出力するタイミングに関する少なくとも１つの出力同期信号とを前記撮像素子の外部から受け付け、
    前記メモリは、前記受付インタフェースによって受け付けられた前記撮像同期信号に従って第１フレームレートで撮像されることで得られた前記画像データを記憶し、
    前記出力回路は、前記メモリに記憶された前記画像データを、前記受付インタフェースによって受け付けられた前記出力同期信号に従って第２フレームレートで出力し、
    前記第１フレームレートを前記第２フレームレート以上とすることを含み、
    前記受付インタフェースは、第１受付インタフェースと、第２受付インタフェースと、を有し、
    前記第１受付インタフェースは、前記外部から前記撮像同期信号を受け付けることを含み、
    前記第２受付インタフェースは、前記外部から前記出力同期信号を受け付けることを含む、撮像素子の作動方法。
19. 受付インタフェースと、メモリと、出力回路と、を含み、前記メモリ及び前記出力回路が内蔵された撮像素子に含まれる前記受付インタフェース及び前記出力回路としてコンピュータを機能させるためのプログラムであって、
    前記受付インタフェースは、撮像するタイミングに関する撮像同期信号と、撮像されることで得られた画像データを出力するタイミングに関する少なくとも１つの出力同期信号とを前記撮像素子の外部から受け付け、
    前記メモリは、前記受付インタフェースによって受け付けられた前記撮像同期信号に従って第１フレームレートで撮像されることで得られた前記画像データを記憶し、
    前記出力回路は、前記メモリに記憶された前記画像データを、前記受付インタフェースによって受け付けられた前記出力同期信号に従って第２フレームレートで出力し、
    前記第１フレームレートは、前記第２フレームレート以上であり、
    前記受付インタフェースは、第１受付インタフェースと、第２受付インタフェースと、を有し、
    前記第１受付インタフェースは、前記外部から前記撮像同期信号を受け付け、
    前記第２受付インタフェースは、前記外部から前記出力同期信号を受け付ける
    プログラム。

Images