JP7477543B2 - 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像素子、撮像装置、撮像素子の作動方法、及びプログラムに関する。

特開２０１８－６８０６号公報には、センサ部、第１ロジック部、及び第１メモリ部を有する積層型イメージセンサと、第２ロジック部と、を含む撮像装置が開示されている。

センサ部は、いわゆるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサユニットである。センサ部は、受光した光を電気信号に変換する。そして、センサ部は、電気信号をデジタル化し、デジタル化して得たＲＡＷデータを第１ロジック部へ送信する。

第１ロジック部は、第１メモリ制御部、第１チップ間通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）、簡易現像部、及び第１表示制御部を備えている。第１メモリ制御部は、いわゆるメモリコントローラであり、センサ部からのＲＡＷデータを第１メモリ部に書き込む。第１チップ間通信Ｉ／Ｆは、第１メモリ制御部を介して第１メモリ部にアクセスし、第１メモリ部から読み出したＲＡＷデータを第２ロジック部に転送する。簡易現像部は、第１メモリ制御部を介して第１メモリ部へアクセスし、第１メモリ部から読み出したＲＡＷデータに対して現像処理を行うことで、表示部で表示可能な表示用データを生成する。簡易現像部は、表示用データを、第１メモリ制御部を介して第１メモリ部へ書き戻す。第１表示制御部は、第１メモリ制御部を介して、第１メモリ部から表示用データを読み出しながら第２ロジック部に出力する。

このように特開２０１８－６８０６号公報に記載の撮像装置では、積層型イメージセンサから第２ロジック部に対して２つの出力経路の各々を介して画像データが出力される。

本開示の技術に係る一つの実施形態は、単一の通信Ｉ／Ｆのみから画像データが処理部（撮像素子の外部に配置された外部プロセッサ）に出力される場合に比べ、画像データの出力の停滞を抑制することができる撮像素子、撮像装置、撮像素子の作動方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、撮像素子であって、被写体が撮像されることで得られた画像データに基づく第１画像データを撮像素子の外部の処理部に出力し、かつ、撮像素子に内蔵された第１出力部と、画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、記憶部に記憶された画像データに基づく第２画像データを外部の処理部に出力し、かつ、撮像素子に内蔵された第２出力部と、を含み、第１出力部の出力方式と第２出力部の出力方式とが異なっている撮像素子である。これにより、記憶部に画像データが記憶される場合であっても、画像データを滞りなく出力することができる。

本開示の技術に係る第２の態様は、第１出力部による第１画像データの出力及び第２出力部による第２画像データの出力は、互いに独立して行われる第１の態様に係る撮像素子である。これにより、第１画像データの処理部に対する出力タイミング及び第２画像データの処理部に対する出力タイミングを自在に変更することができる。

本開示の技術に係る第３の態様は、第１出力部は、第２出力部による第２画像データの出力期間とは異なる期間に第１画像データを出力する第１の態様に係る撮像素子である。これにより、処理部に対して画像データを滞りなく出力することができる。

本開示の技術に係る第４の態様は、第２出力部は、外部の処理部からの要求に応じて第２画像データを出力する第３の態様に係る撮像素子である。これにより、処理部が第２画像データを受け付ける状態でないにも拘らず、第２画像データが処理部に出力されることを回避することができる。

本開示の技術に係る第５の態様は、出力期間は、第１出力部から１フレーム分の第１画像データが出力された後の垂直ブランキング期間である第３の態様又は第４の態様に係る撮像素子である。これにより、画像データの記憶部への書き込み動作に起因して撮像素子から処理部への出力が停滞することを回避することができる。

本開示の技術に係る第６の態様は、出力期間は、第１出力部から１フレーム分の第１画像データが出力される前の垂直ブランキング期間である第３の態様又は第４の態様に係る撮像素子である。これにより、画像データの記憶部への書き込み動作に起因して撮像素子から処理部への出力が停滞することを回避することができる。

本開示の技術に係る第７の態様は、出力期間は、第１出力部から１ライン分の第１画像データが出力された後の水平ブランキング期間である第３の態様又は第４の態様に係る撮像素子である。これにより、画像データの記憶部への書き込み動作に起因して撮像素子から処理部への出力が停滞することを回避することができる。

本開示の技術に係る第８の態様は、出力期間は、第１出力部から１ライン分の第１画像データが出力される前の水平ブランキング期間である第３の態様又は第４の態様に係る撮像素子である。これにより、画像データの記憶部への書き込み動作に起因して撮像素子から処理部への出力が停滞することを回避することができる。

本開示の技術に係る第９の態様は、アナログ画像データをＡ／Ｄ変換する第１Ａ／Ｄ変換器を含み、出力期間は、第１出力部から１ライン分の第１画像データが出力される前の第１Ａ／Ｄ変換器によるＡ／Ｄ変換期間である第３の態様又は第４の態様に係る撮像素子である。これにより、画像データの記憶部への書き込み動作に起因して撮像素子から処理部への出力が停滞することを回避することができる。

本開示の技術に係る第１０の態様は、アナログ画像データをＡ／Ｄ変換する第２Ａ／Ｄ変換器と、第２Ａ／Ｄ変換器によりアナログ画像データがデジタル化されることで得られたデジタル画像データを記憶部に対して記憶させるメモリコントローラと、を含み、第１出力部の出力方式は、第２Ａ／Ｄ変換器から得られたデジタル画像データを記憶部に記憶させることなく第１画像データとして出力する出力方式であり、第２出力部の出力方式は、メモリコントローラによって記憶部から読み出されたデジタル画像データを第２画像データとして出力する出力方式である第１の態様から第９の態様の何れか１つの態様に係る撮像素子である。これにより、記憶部に画像データが書き込まれる期間であっても撮像素子から処理部への出力を継続することができる。

本開示の技術に係る第１１の態様は、記憶部は、書き込みタイミングと読み出しタイミングとが異なるメモリである第１の態様から第１０の態様の何れか１つの態様に係る撮像素子である。これにより、記憶部が書き込みタイミングと読み出しタイミングとが異なるメモリであったとしても、撮像素子から処理部への出力を継続することができる。

本開示の技術に係る第１２の態様は、記憶部は、ＤＲＡＭである第１０の態様に係る撮像素子である。これにより、記憶部がＤＲＡＭであったとしても、撮像素子から処理部への出力を継続することができる。

本開示の技術に係る第１３の態様は、少なくとも光電変換素子と記憶部とが１チップ化された第１の態様から第１２の態様の何れか１つの態様に係る撮像素子である。これにより、光電変換素子と記憶部とが１チップ化されていない撮像素子に比べ、撮像素子の可搬性が高くなる。

本開示の技術に係る第１４の態様は、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である第１３の態様に係る撮像素子である。これにより、光電変換素子と記憶部とが積層されていない場合に比べ、光電変換素子から記憶部への画像データの転送速度を高めることができる。

本開示の技術に係る第１５の態様は、第１の態様から第１４の態様の何れか１つの態様に係る撮像素子と、第１出力部により出力された第１画像データに基づく第１画像及び第２出力部により出力された第２画像データに基づく第２画像のうちの少なくとも一方を表示部に対して表示させる制御を行う表示制御部と、を含む撮像装置である。これにより、記憶部に画像データが記憶される場合であっても、画像データを滞りなく出力することができる。

本開示の技術に係る第１６の態様は、第１の態様から第１４の態様の何れか１つの態様に係る撮像素子と、第１出力部により出力された第１画像データ及び第２出力部により出力された第２画像データのうちの少なくとも一方を記憶装置に対して記憶させる制御を行う記憶制御部と、を含む撮像装置である。これにより、記憶部に画像データが記憶される場合であっても、画像データを滞りなく出力することができる。

本開示の技術に係る第１７の態様は、第１出力部、記憶部、及び第２出力部が内蔵された撮像素子の作動方法であって、第１出力部は、被写体が撮像されることで得られた画像データに基づく第１画像データを撮像素子の外部の処理部に出力し、記憶部は、画像データを記憶し、第２出力部は、記憶部に記憶された画像データに基づく第２画像データを外部の処理部に出力することを含み、第１出力部の出力方式と第２出力部の出力方式とが異なっている撮像素子の作動方法である。これにより、記憶部に画像データが記憶される場合であっても、画像データを滞りなく出力することができる。

本開示の技術に係る第１８の態様は、第１出力部、記憶部、及び第２出力部が内蔵された撮像素子に含まれる第１出力部及び第２出力部としてコンピュータを機能させるためのプログラムであって、第１出力部は、被写体が撮像されることで得られた画像データに基づく第１画像データを撮像素子の外部の処理部に出力し、記憶部は、画像データを記憶し、第２出力部は、記憶部に記憶された画像データに基づく第２画像データを外部の処理部に出力することを含み、第１出力部の出力方式と第２出力部の出力方式とが異なっているプログラムである。これにより、記憶部に画像データが記憶される場合であっても、画像データを滞りなく出力することができる。

本開示の技術に係る第１９の態様は、第１プロセッサ、メモリ、及び第２プロセッサが内蔵された撮像素子であって、第１プロセッサは、被写体が撮像されることで得られた画像データに基づく第１画像データを撮像素子の外部の処理部に出力し、メモリは、画像データを記憶し、第２プロセッサは、メモリに記憶された画像データに基づく第２画像データを外部の処理部に出力し、第１プロセッサの出力方式と第２プロセッサの出力方式とが異なっている撮像素子である。これにより、記憶部に画像データが記憶される場合であっても、画像データを滞りなく出力することができる。

第１～第３実施形態に係る撮像装置の外観の一例を示す斜視図である。 図１に示す撮像装置の背面側の外観の一例を示す背面図である。 第１～第３実施形態に係る撮像装置の構成の一例を示すブロック図である。 第１～第３実施形態に係る撮像装置に含まれる撮像素子のフレームレートの説明に供する概念図である。 第１～第３実施形態に係る撮像装置本体の電気系の構成の一例を示すブロック図である。 第１～第３実施形態に係る撮像装置に含まれるハイブリッドファインダーの構成を示す概略構成図である。 第１～第３実施形態に係る撮像装置に含まれる撮像素子の積層構造の一例、並びに、撮像素子、信号処理回路、及びコントローラの接続関係の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子によって行われる撮像処理及び出力処理の時系列での処理内容の一例を示す状態遷移図である。 第１出力と第２出力とが並行して行われている態様の一例を示すタイムチャートである。 第１実施形態に係る制御処理の流れの一例を示すフローチャートである。 第２及び第３実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の一例を示すブロック図である。 第２実施形態に係る撮像処理の時系列での処理内容の一例を示す状態遷移図である。 第２実施形態に係る出力処理の時系列での処理内容の一例を示す状態遷移図である。 垂直ブランキング期間に第２出力が行われ、垂直ブランキング期間の前後で第１出力が行われる態様の一例を示すタイムチャートである。 第２実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第２実施形態に係る出力処理の流れの一例を示すフローチャートである。 第３実施形態に係る撮像処理の時系列での処理内容の一例を示す状態遷移図である。 第３実施形態に係る出力処理の時系列での処理内容の一例を示す状態遷移図である。 水平ブランキング期間に第２出力が行われ、水平ブランキング期間の前後で第１出力が行われる態様の一例を示すタイムチャートである。 第３実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第３実施形態に係る出力処理の流れの一例を示すフローチャートである。 デジタル信号処理期間に第２出力が行われ、書込期間に第１出力が行われる態様の一例を示すタイムチャートである。 Ａ／Ｄ変換期間に第２出力が行われ、書込期間に第１出力が行われる態様の一例を示すタイムチャートである。 各種プログラムが記憶された記憶媒体から、各種プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。 第１～第３実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。

ＬＳＩとは、“Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。

ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＤＶＤ－ＲＯＭとは、“Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。

ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。

ＬＶＤＳとは、“Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ”の略称を指す。ＰＣＩ－ｅとは、“Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ”の略称を指す。ＳＡＴＡとは、“Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ”の略称を指す。ＳＬＶＳ－ＥＣとは、“Ｓｃａｌａｂｌｅ Ｌｏｗ Ｓｉｇｎａｌｉｎｇ ｗｉｔｈ Ｅｍｂｅｄｄｅｄ Ｃｌｏｃｋ”の略称を指す。ＭＩＰＩとは、“Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。

［第１実施形態］
一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。

撮像装置本体１２には、撮像素子４４が設けられている。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、交換レンズ１４を透過して撮像素子４４に結像され、撮像素子４４によって被写体の画像を示す画像データ６９（図３及び図４参照）が生成される。

撮像装置本体１２には、ハイブリッドファインダー（登録商標）１６が設けられている。ここで言うハイブリッドファインダー１６とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗｆｉｎｄｅｒ” の略称を指す。

撮像装置本体１２の前面には、ファインダー切替レバー１８が設けられている。ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像であるライブビュー画像とは、ファインダー切替レバー１８を矢印ＳＷ方向に回動させることで切り換わる。ここで言う「ライブビュー画像」とは、撮像素子４４によって撮像されることにより得られた画像データ６９（図３及び図４参照）に基づく表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２２が設けられている。ダイヤル２２は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作される。

レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。

撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードは、表示動画用撮像モードと記録用撮像モードとに大別される。

一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ２６、指示キー２８、及びファインダー接眼部３０が設けられている。

タッチパネル・ディスプレイ２６は、第１ディスプレイ３２及びタッチパネル３４（図５も参照）を備えている。第１ディスプレイ３２の一例としては、液晶ディスプレイが挙げられる。なお、第１ディスプレイ３２は、液晶ディスプレイではなく、有機ＥＬディスプレイなどの他のディスプレイであってもよい。

第１ディスプレイ３２は、画像及び文字情報等を表示する。第１ディスプレイ３２は、撮像装置１０が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、第１ディスプレイ３２は、静止画像用撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、第１ディスプレイ３２は、撮像装置１０が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。

タッチパネル３４は、透過型のタッチパネルであり、第１ディスプレイ３２の表示領域の表面に重ねられている。タッチパネル３４は、例えば、指又はスタイラスペン等の指示体による接触を検知する。

指示キー２８は、１つ又は複数のメニューの選択、選択内容の確定、選択内容の消去、ズーム、及びコマ送り等の各種の指示を受け付ける。

一例として図３に示すように、交換レンズ１４は、撮像レンズ４０を有する。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃを備えている。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃは、被写体側から撮像装置本体１２側にかけて、光軸Ｌ１に沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃの順に配置されている。フォーカスレンズ４０Ｂ及び絞り４０Ｃは、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ４０Ｂ及び絞り４０Ｃは、付与された動力に応じて光軸Ｌ１に沿って移動する。また、絞り４０Ｃは、付与された動力に応じて作動することで露出を調節する。

撮像装置本体１２は、メカニカルシャッタ４２、撮像素子４４、及び処理部４５を備えている。メカニカルシャッタ４２は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。撮像素子４４は、受光面６１Ａを有する光電変換素子６１を備えている。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、撮像レンズ４０を透過し、メカニカルシャッタ４２を介して撮像素子４４の受光面６１Ａに結像される。光電変換素子６１は、受光面６１Ａに結像された被写体光を光電変換することで、被写体の画像を示す画像データ６９を生成する。撮像素子４４は、光電変換素子６１によって生成された画像データ６９をデジタル化してから通信ライン５３，５５の各々を介して処理部４５に出力する。

撮像装置本体１２は、処理部４５及びＵＩ系デバイス４８を備えている。処理部４５は、撮像素子４４の外部に配置されている外部プロセッサである。処理部４５は、本開示の技術に係る「撮像素子の外部の処理部」の一例である。処理部４５は、撮像素子４４の後段に位置する電気回路であり、コントローラ４６及び信号処理回路５０を備えている。

コントローラ４６は、撮像装置１０の全体を制御する。ＵＩ系デバイス４８は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ４６には、ＵＩ系デバイス４８が接続されており、コントローラ４６は、ＵＩ系デバイス４８からの各種情報の取得、及びＵＩ系デバイス４８の制御を行う。

撮像素子４４は、通信ライン５７を介してコントローラ４６に接続されており、コントローラ４６の制御下で、被写体を撮像することで画像データ６９を生成する。

撮像素子４４は、通信ライン５３及び通信ライン５５を介して信号処理回路５０に接続されている。具体的には、撮像素子４４と信号処理回路５０との間は、通信ライン５３及び通信ライン５５によってパラレルに接続されている。撮像素子４４と信号処理回路５０との間は、通信ライン５３を介してＰＣＩ－ｅの接続規格に従って接続されており、通信ライン５５を介してＬＶＤＳの接続規格に従って接続されている。

なお、ここでは、接続規格としてＰＣＩ－ｅ及びＬＶＤＳを例示しているが、本開示の技術はこれに限定されず、他の接続規格であってもよい。他の接続規格としては、例えば、ＳＡＴＡ、ＳＬＶＳ－ＥＣ、及びＭＩＰＩ等が挙げられる。しかし、これらの接続規格はあくまでも一例に過ぎず、撮像素子４４と信号処理回路５０との間において、通信ライン５３を介した通信と通信ライン５５を介した通信とが互いに独立して行われることが可能な接続規格であればよい。

また、ここでは、撮像素子４４と信号処理回路５０との間において、通信ライン５３及び通信ライン５５を用いた有線形式で通信が行われる形態例を挙げているが、本開示の技術はこれに限定されない。例えば、撮像素子４４と信号処理回路５０との間で、通信ライン５３及び通信ライン５５の各々を介した有線形式での通信に代えて、撮像素子４４と信号処理回路５０との間で、無線形式での通信が行われるようにしてもよい。この場合、通信ライン５３を介した有線形式の通信経路に相当する無線形式の第１通信経路と、通信ライン５５を介した有線形式の通信経路に相当する無線形式の第２通信経路とが確保されるようにすればよい。第１通信経路及び第２通信経路は、互いに通信規格が異なる無線形式で、かつ、混信しない周波数帯域での無線通信を可能にする通信経路である。また、撮像素子４４と信号処理回路５０との間において、有線形式の通信経路と無線形式の通信経路との２つの通信経路で互いに独立した通信が行われるようにしてもよい。

信号処理回路５０は、ＬＳＩであり、具体的には、ＡＳＩＣを含むデバイスである。信号処理回路５０には、通信ライン６０を介してコントローラ４６が接続されており、コントローラ４６は、信号処理回路５０からの各種情報の取得、及び信号処理回路５０の制御を行う。

信号処理回路５０には、通信ライン５３，５５を介して撮像素子４４から画像データ６９が入力される。詳しくは後述するが、信号処理回路５０は、通信ライン５３，５５を介して入力された画像データ６９に対して各種の信号処理を行う。

なお、本実施形態では、信号処理回路５０としてＡＳＩＣを含むデバイスが採用されている。しかし、これは、あくまでも一例に過ぎず、信号処理回路５０は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、信号処理回路５０は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、信号処理回路５０は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

撮像素子４４は、本開示の技術に係る「積層型撮像素子」の一例である。本実施形態において、撮像素子４４は、ＣＭＯＳイメージセンサである。また、ここでは、撮像素子４４としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子４４がＣＣＤイメージセンサであっても本開示の技術は成立する。

一例として図４に示すように、撮像素子４４にはコントローラ４６から通信ライン５７を介して読出同期信号が入力される。読出同期信号には、垂直同期信号及び水平同期信号が含まれている。垂直同期信号は、光電変換素子６１からの１フレーム毎の画像データ６９の読み出しの開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子６１からの水平ライン毎の画像データ６９の読み出しの開始タイミングを規定する同期信号である。撮像素子４４では、コントローラ４６から通信ライン５７を介して入力された垂直同期信号に応じて定まるフレームレートに従って、光電変換素子６１から画像データ６９が読み出される。

図４に示す例では、撮像素子４４のフレームレートとして、期間Ｔ内に光電変換素子６１から８フレーム分の読み出しが行われるフレームレートが示されている。具体的なフレームレートの一例としては、１２０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）が挙げられる。

一例として図５に示すように、コントローラ４６は、ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、接続Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅを備えている。ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、接続Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅは、バスライン８８を介して相互に接続されている。

ＲＯＭ４６Ｂには、各種プログラムが記憶されている。ＣＰＵ４６Ａは、ＲＯＭ４６Ｂから各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ４６Ｃに展開する。ＣＰＵ４６Ａは、ＲＡＭ４６Ｃに展開した各種プログラムに従って撮像装置１０の全体を制御する。

接続Ｉ／Ｆ４６Ｄは、ＦＰＧＡを有する通信デバイスであり、通信ライン５７を介して撮像素子４４に接続されている。ＣＰＵ４６Ａは、接続Ｉ／Ｆ４６Ｄを介して撮像素子４４を制御する。

入力Ｉ／Ｆ４６Ｅは、ＦＰＧＡを有する通信デバイスであり、通信ライン６０を介して信号処理回路５０に接続されている。入力Ｉ／Ｆ４６Ｅには、信号処理回路５０により各種の信号処理が施された画像データ６９（図３及び図４参照）が通信ライン６０を介して入力される。入力Ｉ／Ｆ４６Ｅは、信号処理回路５０から入力された画像データ６９をＣＰＵ４６Ａに転送する。

バスライン８８には、二次記憶装置８０及び外部Ｉ／Ｆ８２が接続されている。二次記憶装置８０は、ＳＳＤ、ＨＤＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリである。ＣＰＵ４６Ａは、二次記憶装置８０に対して各種情報の読み書きを行う。なお、二次記憶装置８０は、本開示の技術に係る「記憶装置」の一例である。

外部Ｉ／Ｆ８２は、ＦＰＧＡを有する通信デバイスである。外部Ｉ／Ｆ８２には、ＵＳＢメモリ及びメモリカード等の外部装置（図示省略）が接続される。外部Ｉ／Ｆ８２は、ＣＰＵ４６Ａと外部装置との間の各種情報の授受を司る。なお、ＵＳＢメモリ及びメモリカード等の外部装置は、本開示の技術に係る「記憶装置」の一例である。

ＵＩ系デバイス４８は、ハイブリッドファインダー１６、タッチパネル・ディスプレイ２６、及び受付デバイス８４を備えている。第１ディスプレイ３２及びタッチパネル３４は、バスライン８８に接続されている。従って、ＣＰＵ４６Ａは、第１ディスプレイ３２に対して各種情報を表示させ、タッチパネル３４によって受け付けられた各種指示に従って動作する。

受付デバイス８４は、タッチパネル３４及びハードキー部２５を備えている。ハードキー部２５は、複数のハードキーであり、レリーズボタン２０、ダイヤル２２、及び指示キー２８を有する。ハードキー部２５は、バスライン８８に接続されており、ＣＰＵ４６Ａは、ハードキー部２５によって受け付けられた各種指示に従って動作する。

ハイブリッドファインダー１６は、第２ディスプレイ８６を備えており、ＣＰＵ４６Ａは、第２ディスプレイ８６に対して各種情報を表示させる。第２ディスプレイ８６の一例としては、液晶ディスプレイが挙げられる。なお、第２ディスプレイ８６は、液晶ディスプレイではなく、有機ＥＬディスプレイなどの他のディスプレイであってもよい。

一例として図６に示すように、ハイブリッドファインダー１６は、ＯＶＦ９０及びＥＶＦ９２を含む。ＯＶＦ９０は、逆ガリレオ式ファインダーであり、接眼レンズ９４、プリズム９６、及び対物レンズ９８を有する。ＥＶＦ９２は、第２ディスプレイ８６、プリズム９６、及び接眼レンズ９４を有する。

対物レンズ９８の光軸Ｌ２に沿って対物レンズ９８よりも被写体側には、液晶シャッタ１００が配置されており、液晶シャッタ１００は、ＥＶＦ９２を使用する際に、対物レンズ９８に光学像が入射しないように遮光する。

プリズム９６は、第２ディスプレイ８６に表示される電子像又は各種の情報を反射させて接眼レンズ９４に導き、且つ、光学像と第２ディスプレイ８６に表示される電子像及び／又は各種情報とを合成する。第２ディスプレイ８６に表示される電子像としては、画像データ６９に基づくライブビュー画像１０２が挙げられる。

ＣＰＵ４６Ａは、ＯＶＦモードの場合、液晶シャッタ１００が非遮光状態になるように制御し、接眼レンズ９４から光学像が視認できるようにする。また、ＣＰＵ４６Ａは、ＥＶＦモードの場合、液晶シャッタ１００が遮光状態になるように制御し、接眼レンズ９４から第２ディスプレイ８６に表示される電子像のみが視認できるようにする。

なお、以下では、説明の便宜上、第１ディスプレイ３２（図２及び図５参照）及び第２ディスプレイ８６を区別して説明する必要がない場合は、符号を付さずに「ディスプレイ」と称する。ディスプレイは、本開示の技術に係る「表示部（ディスプレイ）」の一例である。また、ＣＰＵ４６Ａは、本開示の技術に係る「表示制御部（表示プロセッサ）」及び「記憶制御部（記憶プロセッサ）」の一例である。

一例として図７に示すように、撮像素子４４には、光電変換素子６１、処理回路６２、及びメモリ６４が内蔵されている。撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。すなわち、光電変換素子６１、処理回路６２、及びメモリ６４は１パッケージ化されている。撮像素子４４では、光電変換素子６１に対して処理回路６２及びメモリ６４が積層されている。具体的には、光電変換素子６１及び処理回路６２は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路６２及びメモリ６４も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。ここでは、光電変換素子６１、処理回路６２、及びメモリ６４の３層構造が例示されているが、本開示の技術はこれに限らず、処理回路６２とメモリ６４とを１層としたメモリ層と、光電変換素子６１との２層構造であってもよい。なお、メモリ６４は、本開示の技術に係る「記憶部（メモリ）」の一例である。

処理回路６２は、例えば、ＬＳＩである。メモリ６４は、書き込みタイミングと読み出しタイミングとが異なるメモリである。ここでは、メモリ６４の一例として、ＤＲＡＭが採用されている。但し、本開示の技術はこれに限らず、メモリ６４としてＤＲＡＭに代えてＳＲＡＭを採用してもよい。

処理回路６２は、ＡＳＩＣ及びＦＰＧＡを含むデバイスであり、コントローラ４６の指示に従って、撮像素子４４の全体を制御する。なお、ここでは、処理回路６２がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される例を挙げているが、本開示の技術はこれに限定されるものではなく、例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、処理回路６２として、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路６２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子６１は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子６１に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。光電変換素子６１は、Ｒ画素、Ｇ画素、及びＢ画素を有する。

Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。Ｒ画素、Ｇ画素、及びＢ画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本実施形態では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、ここでは、Ｘ－Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。

撮像素子４４は、いわゆる電子シャッタ機能を有しており、コントローラ４６の制御下で電子シャッタ機能を働かせることで、光電変換素子６１内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４２（図３参照）を作動させることで実現され、動画像用の撮像は、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

処理回路６２は、光電変換素子６１により被写体が撮像されることで得られた画像データ６９（図３及び図４参照）を読み出す。画像データ６９は、光電変換素子６１に蓄積された信号電荷である。処理回路６２は、光電変換素子６１から読み出したアナログの画像データ６９に対してＡ／Ｄ変換を行う。処理回路６２は、アナログの画像データ６９に対してＡ／Ｄ変換を行うことで得たデジタルの画像データ６９をメモリ６４に記憶する。

処理回路６２は、通信ライン５３及び通信ライン５５を介して信号処理回路５０に接続されている。また、処理回路６２は、通信ライン５７を介してコントローラ４６に接続されている。

処理回路６２と信号処理回路５０との間では、通信ライン５３を介してＰＣＩ－ｅの接続規格に従って通信が行われ、通信ライン５５を介してＬＶＤＳの接続規格に従って通信が行われる。

一例として図８に示すように、処理回路６２は、本開示の技術に係る「プロセッサ」の一例である。読出回路６２Ａ、デジタル処理回路６２Ｂ、セレクタ６２Ｃ、制御回路６２Ｄ、及び通信Ｉ／Ｆ６２Ｅ１，６２Ｅ２，６２Ｅ３を備えている。通信Ｉ／Ｆ６２Ｅ２は、本開示の技術に係る「第２出力部（第２通信インタフェース）」の一例であり、通信Ｉ／Ｆ６２Ｅ３は、本開示の技術に係る「第１出力部（第１通信インタフェース）」の一例である。また、制御回路６２Ｄは、本開示の技術に係る「メモリコントローラ」の一例である。

読出回路６２Ａは、光電変換素子６１、デジタル処理回路６２Ｂ、及び制御回路６２Ｄの各々に接続されている。メモリ６４は、制御回路６２Ｄに接続されている。セレクタ６２Ｃは、デジタル処理回路６２Ｂ、制御回路６２Ｄ、通信Ｉ／Ｆ６２Ｅ３の各々に接続されている。通信Ｉ／Ｆ６２Ｅ１，６２Ｅ２，６２Ｅ３の各々は、制御回路６２Ｄに接続されている。

上述の画像データ６９は、一例として図８に示すように、アナログ画像データ６９Ａとデジタル画像データ６９Ｂとに大別される。なお、以下では、説明の便宜上、アナログ画像データ６９Ａとデジタル画像データ６９Ｂとを区別して説明する必要がない場合、「画像データ６９」と称する。

通信Ｉ／Ｆ６２Ｅ１は、ＦＰＧＡを有する通信デバイスであり、通信ライン５７を介してコントローラ４６に接続されている。コントローラ４６は、読出同期信号を、通信ライン５７を介して通信Ｉ／Ｆ６２Ｅ１に出力する。通信Ｉ／Ｆ６２Ｅ１は、通信ライン５７を介してコントローラ４６からの読出同期信号を受け付け、受け付けた読出同期信号を制御回路６２Ｄに出力する。

通信Ｉ／Ｆ６２Ｅ２は、ＦＰＧＡを有する通信デバイスであり、通信ライン５３を介してＰＣＩ－ｅの接続規格に従って信号処理回路５０に接続されている。通信Ｉ／Ｆ６２Ｅ２は、信号処理回路５０と制御回路６２Ｄとの間での通信を司る。ここでは、通信Ｉ／Ｆ６２Ｅ２としてＦＰＧＡを有する通信デバイスが採用されているが、あくまでも一例に過ぎず、通信Ｉ／Ｆ６２Ｅ２は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、通信Ｉ／Ｆ６２Ｅ２は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、通信Ｉ／Ｆ６２Ｅ２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

通信Ｉ／Ｆ６２Ｅ３は、ＦＰＧＡを有する通信デバイスであり、通信ライン５５を介してＬＶＤＳの接続規格に従って信号処理回路５０に接続されている。通信Ｉ／Ｆ６２Ｅ２は、信号処理回路５０とセレクタ６２Ｃとの間での通信、及び信号処理回路５０と制御回路６２Ｄとの間での通信を司る。ここでは、通信Ｉ／Ｆ６２Ｅ３としてＦＰＧＡを有する通信デバイスが採用されているが、あくまでも一例に過ぎず、通信Ｉ／Ｆ６２Ｅ３は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、通信Ｉ／Ｆ６２Ｅ３は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、通信Ｉ／Ｆ６２Ｅ３は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

読出回路６２Ａは、制御回路６２Ｄの制御下で、光電変換素子６１を制御し、光電変換素子６１からアナログ画像データ６９Ａを読み出す。光電変換素子６１からのアナログ画像データ６９Ａの読み出しは、コントローラ４６から処理回路６２に入力された読出同期信号に従って行われる。

具体的には、先ず、通信Ｉ／Ｆ６２Ｅ１がコントローラ４６から読出同期信号を受け付け、受け付けた読出同期信号を制御回路６２Ｄに出力する。次に、制御回路６２Ｄは、通信Ｉ／Ｆ６２Ｅ１から入力された読出同期信号を読出回路６２Ａに転送する。すなわち、読出回路６２Ａには、垂直同期信号及び水平同期信号が転送される。そして、読出回路６２Ａは、制御回路６２Ｄから転送された垂直同期信号に従って光電変換素子６１からフレーム単位でのアナログ画像データ６９Ａの読み出しを開始する。また、読出回路６２Ａは、制御回路６２Ｄから転送された水平同期信号に従って水平ライン単位でのアナログ画像データ６９Ａの読み出しを開始する。

読出回路６２Ａは、光電変換素子６１から読み出されたアナログ画像データ６９Ａに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子６１に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、アナログ画像データ６９Ａに対してゲインをかける処理である。このようにしてアナログ信号処理が行われたアナログ画像データ６９Ａは、読出回路６２Ａによってデジタル処理回路６２Ｂに出力される。

デジタル処理回路６２Ｂは、Ａ／Ｄ変換器６２Ｂ１を備えている。Ａ／Ｄ変換器６２Ｂ１は、アナログ画像データ６９ＡをＡ／Ｄ変換する。Ａ／Ｄ変換器６２Ｂ１は、本開示の技術に係る「第１Ａ／Ｄ変換器」及び「第２Ａ／Ｄ変換器」の一例である。

デジタル処理回路６２Ｂは、読出回路６２Ａから入力されたアナログ画像データ６９Ａに対してデジタル信号処理を行う。デジタル信号処理には、例えば、相関二重サンプリング、Ａ／Ｄ変換器６２Ｂ１によるＡ／Ｄ変換、及びデジタルゲイン処理が含まれる。

アナログ画像データ６９Ａに対しては、デジタル処理回路６２Ｂによって相関二重サンプリングが行われる。相関二重サンプリングの信号処理が行われたアナログ画像データ６９Ａに対しては、Ａ／Ｄ変換器６２Ｂ１によってＡ／Ｄ変換が行われ、これによって、アナログ画像データ６９Ａがデジタル化され、ＲＡＷデータとしてデジタル画像データ６９Ｂが得られる。そして、デジタル画像データ６９Ｂに対しては、デジタル処理回路６２Ｂによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、デジタル画像データ６９Ｂに対してゲインをかける処理を指す。このようにデジタル信号処理が行われることによって得られたデジタル画像データ６９Ｂは、デジタル処理回路６２Ｂによってセレクタ６２Ｃに出力される。

セレクタ６２Ｃは、デジタル処理回路６２Ｂから入力されたデジタル画像データ６９Ｂを２つの転送先に選択的に転送する。すなわち、セレクタ６２Ｃは、制御回路６２Ｄの指示に従って、デジタル処理回路６２Ｂから入力されたデジタル画像データ６９Ｂを、制御回路６２Ｄ及び通信Ｉ／Ｆ６２Ｅ３に選択的に転送する。

制御回路６２Ｄは、セレクタ６２Ｃから入力されたデジタル画像データ６９Ｂをメモリ６４に記憶する。メモリ６４は、複数フレームのデジタル画像データ６９Ｂを記憶可能なメモリである。メモリ６４は、画素単位の記憶領域（図示省略）を有しており、デジタル画像データ６９Ｂが制御回路６２Ｄによって、画素単位で、メモリ６４のうちの対応する記憶領域に記憶される。

制御回路６２Ｄは、メモリ６４に対してランダムアクセス可能であり、通信Ｉ／Ｆ６２Ｅ２を介した信号処理回路５０からの要求に応じて、メモリ６４からデジタル画像データ６９Ｂを取得する。制御回路６２Ｄは、メモリ６４から取得したデジタル画像データ６９Ｂを通信Ｉ／Ｆ６２Ｅ２に出力する。

処理回路６２では、信号処理回路５０に対するデジタル画像データ６９Ｂの出力として、通信ライン５３を介した第１出力と、通信ライン５５を介した第２出力とが、制御回路６２Ｄの制御下で、互いに独立して行われる。第１出力及び第２出力は、互いに異なる出力方式の出力である。すなわち、第１出力と第２出力とでは、デジタル画像データ６９Ｂを信号処理回路５０に出力するまでに伝送されるデジタル画像データ６９Ｂの伝送路が異なり、かつ、撮像素子４４と信号処理回路５０との間の接続規格も異なっている。

第１出力とは、第１伝送路を経由したデジタル画像データ６９Ｂの信号処理回路５０への出力を指す。第１伝送路とは、制御回路６２Ｄを介さずにセレクタ６２Ｃ、通信Ｉ／Ｆ６２Ｅ３、及び信号処理回路５０の順にデジタル画像データ６９Ｂが伝送される経路を指す。すなわち、第１出力の出力方式は、Ａ／Ｄ変換器６２Ｂ１から得られたデジタル画像データ６９Ｂをメモリ６４に記憶させることなく出力する出力方式である。なお、第１伝送路を伝送するデジタル画像データ６９Ｂは、本開示の技術に係る「被写体が撮像されることで得られた第１画像データ」の一例である。

第２出力とは、第２伝送路を経由したデジタル画像データ６９Ｂの信号処理回路５０への出力を指す。第２伝送路とは、メモリ６４、制御回路６２Ｄ、通信Ｉ／Ｆ６２Ｅ２、及び信号処理回路５０の順にデジタル画像データ６９Ｂが伝送される経路を指す。すなわち、第２出力の出力方式は、制御回路６２Ｄによってメモリ６４から読み出されたデジタル画像データ６９Ｂを出力する出力方式である。なお、第２伝送路を伝送するデジタル画像データ６９Ｂは、本開示の技術に係る「記憶部に記憶された画像データに基づく第２画像データ」の一例である。

第１出力は、通信Ｉ／Ｆ６２Ｅ３及び通信ライン５５を用いることによって実現される。すなわち、通信Ｉ／Ｆ６２Ｅ３は、セレクタ６２Ｃからデジタル画像データ６９Ｂが入力されると、入力されたデジタル画像データ６９Ｂを、通信ライン５５を介して信号処理回路５０に出力する。

第２出力は、通信Ｉ／Ｆ６２Ｅ２及び通信ライン５３を用いることによって実現される。すなわち、通信Ｉ／Ｆ６２Ｅ２は、制御回路６２Ｄからデジタル画像データ６９Ｂが入力されると、入力されたデジタル画像データ６９Ｂを、通信ライン５３を介して信号処理回路５０に出力する。

信号処理回路５０は、通信ライン５３，５５を介して処理回路６２から入力されたデジタル画像データ６９Ｂに対して、上述した各種の信号処理を行う。各種の信号処理には、例えば、デモザイク処理、デジタル間引き処理、及びデジタル加算処理などの公知の信号処理が含まれる。

デモザイク処理は、カラーフィルタの配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報が算出される。デジタル間引き処理は、デジタル画像データ６９Ｂに含まれる画素をライン単位で間引く処理である。ライン単位とは、例えば、水平ライン単位及び／又は垂直ライン単位を指す。デジタル加算処理は、例えば、デジタル画像データ６９Ｂに含まれる複数の画素について画素値を加算平均する処理である。

なお、各種の信号処理には、その他の公知の信号処理も含まれる。その他の公知の信号処理としては、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などが挙げられる。

一例として図９に示すように、撮像素子４４では、撮像処理と出力処理とを含む処理が行われる。撮像処理では、Ｎ（自然数）回目の露光、Ｎ回目の読み出し、Ｎ回目のリセット、Ｎ回目のデジタル信号処理、及びＮ回目の記憶が行われた後、Ｎ＋１回目の露光、Ｎ＋１回目の読み出し、Ｎ＋１回目のリセット、及びＮ＋１回目のデジタル信号処理が行われる。そして、出力処理が行われた後、Ｎが１インクリメントされ、撮像処理及び出力処理が繰り返される。

撮像処理が開始されるにあたって、光電変換素子６１は読出回路６２Ａによってリセットされ、光電変換素子６１内の各画素の残留電荷が消去される。Ｎ回目の露光は、光電変換素子６１に対する読出回路６２Ａによる前回のリセットが行われてからＮ回目の読み出しが行われるまでの間に光電変換素子６１によって行われる。

Ｎ回目の読み出しは、Ｎ回目の垂直同期信号が読出回路６２Ａに入力されると、読出回路６２Ａによって行われる。Ｎ回目の読み出しとは、Ｎ回目の垂直同期信号の読出回路６２Ａへの入力に応じて読出回路６２Ａによって行われるアナログ画像データ６９Ａの読み出しを指す。

Ｎ回目のリセットとは、Ｎ回目の読み出しに対応して読出回路６２Ａによって行われる光電変換素子６１のリセットを指す。Ｎ回目のデジタル信号処理とは、Ｎ回目の読み出しによって得られたアナログ画像データ６９Ａに対してデジタル処理回路６２Ｂによって行われるデジタル信号処理を指す。

Ｎ回目の記憶とは、Ｎ回目のデジタル信号処理によって得られたデジタル画像データ６９Ｂのメモリ６４への記憶を指す。Ｎ回目の記憶は、セレクタ６２Ｃ、制御回路６２Ｄ、及びメモリ６４を用いることによって実現される。すなわち、Ｎ回目のデジタル信号処理によって得られたデジタル画像データ６９Ｂがセレクタ６２Ｃを介して制御回路６２Ｄに入力され、制御回路６２Ｄによってメモリ６４に記憶される。

Ｎ＋１回目の露光は、Ｎ回目のリセットが行われてからＮ＋１回目の読み出しが行われるまでの間に光電変換素子６１によって行われる。

Ｎ＋１回目の読み出しは、Ｎ＋１回目の垂直同期信号が読出回路６２Ａに入力されると、読出回路６２Ａによって行われる。Ｎ＋１回目の読み出しとは、Ｎ＋１回目の垂直同期信号の読出回路６２Ａへの入力に応じて読出回路６２Ａによって行われるアナログ画像データ６９Ａの読み出しを指す。

Ｎ＋１回目のリセットとは、Ｎ＋１回目の読み出しに対応して読出回路６２Ａによって行われる光電変換素子６１のリセットを指す。Ｎ＋１回目のデジタル信号処理とは、Ｎ＋１回目の読み出しによって得られたアナログ画像データ６９Ａに対してデジタル処理回路６２Ｂによって行われるデジタル信号処理を指す。

出力処理では、第１出力と第２出力とが並行して行われる。すなわち、最新のデジタル画像データ６９Ｂが第１伝送路を経由して信号処理回路５０に出力され、かつ、１フレーム前のデジタル画像データ６９Ｂが第２伝送路を経由して信号処理回路５０に出力される。

ここで、最新のデジタル画像データ６９Ｂとは、Ｎ＋１回目のデジタル信号処理によって得られたデジタル画像データ６９Ｂを指す。また、１フレーム前のデジタル画像データ６９Ｂとは、現時点でメモリ６４に記憶されているデジタル画像データ６９Ｂを指す。現時点でメモリ６４に記憶されているデジタル画像データ６９Ｂとは、Ｎ回目のデジタル信号処理によって得られ、セレクタ６２Ｃを介して制御回路６２Ｄに入力され、制御回路６２Ｄによってメモリ６４に記憶されたデジタル画像データ６９Ｂを指す。

撮像素子４４では、メモリ６４がＤＲＡＭであるため、メモリ６４に対して書き込みと読み出しとを同時に遂行することができない。そのため、一例として図１０に示すように、第１出力及び第２出力は、メモリ６４への書き込みが不可の期間（図１０に示す「書き込み不可期間」）に行われる。換言すると、撮像素子４４では、書き込み不可期間を利用して、連続する２フレーム分のデジタル画像データが並行して信号処理回路５０に出力される。

図１０に示す例において、第１出力は、コントローラ４６から通信Ｉ／Ｆ６２Ｅを介して入力された水平同期信号に従って行われる。すなわち、通信Ｉ／Ｆ６２Ｅ３は、セレクタ６２Ｃ（図８参照）から入力されるデジタル画像データ６９Ｂを、コントローラ４６から通信Ｉ／Ｆ６２Ｅ１及び制御回路６２Ｄを介して入力される水平同期信号に従って、１水平ライン毎に信号処理回路５０に出力する。

一方、第２出力は、第１出力と並行して行われる。すなわち、第１出力が行われている間に、制御回路６２Ｄは、通信Ｉ／Ｆ６２Ｅ３から出力されているデジタル画像データ６９Ｂよりも１フレーム前に得られた１フレーム分のデジタル画像データ６９Ｂをメモリ６４から取得し、通信Ｉ／Ｆ６２Ｅ２に出力する。通信Ｉ／Ｆ６２Ｅ２は、制御回路６２Ｄから入力された１フレーム分のデジタル画像データ６９Ｂを信号処理回路５０に出力する。

次に、撮像装置１０の作用について説明する。

先ず、撮像素子４４の処理回路６２によって実行される制御処理の流れについて図１１を参照しながら説明する。

図１１に示す制御処理では、先ず、ステップＳＴ１０で、制御回路６２Ｄは、メモリ６４内にデジタル画像データ６９Ｂが記憶されていないか否かを判定する。ステップＳＴ１０において、メモリ６４内にデジタル画像データ６９Ｂが記憶されている場合は、判定が否定されて、制御処理はステップＳＴ２２へ移行する。ステップＳＴ１０において、メモリ６４内にデジタル画像データ６９Ｂが記憶されていない場合は、判定が肯定されて、制御処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、制御回路６２Ｄは、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられたか否かを判定する。ステップＳＴ１２において、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられていない場合は、判定が否定されて、制御処理はステップＳＴ２０へ移行する。ステップＳＴ１２において、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられた場合は、判定が肯定されて、制御処理はステップＳＴ１４へ移行する。

ステップＳＴ１４で、読出回路６２Ａは、アナログ画像データ６９Ａの読み出し及び光電変換素子６１のリセットを行い、その後、制御処理はステップＳＴ１６へ移行する。

ステップＳＴ１６で、デジタル処理回路６２Ｂは、アナログ画像データ６９Ａに対してデジタル信号処理を行い、その後、制御処理はステップＳＴ１８へ移行する。

ステップＳＴ１６においてアナログ画像データ６９Ａに対してデジタル信号処理が行われることで得られたデジタル画像データ６９Ｂは、セレクタ６２Ｃに出力され、セレクタ６２Ｃは、デジタル画像データ６９Ｂを制御回路６２Ｄに転送する。

ステップＳＴ１８で、制御回路６２Ｄは、デジタル画像データ６９Ｂをメモリ６４に記憶し、その後、制御処理はステップＳＴ２０へ移行する。

ステップＳＴ２０で、制御回路６２Ｄは、制御処理を終了する条件（以下、「制御処理終了条件」と称する）を満足したか否かを判定する。制御処理終了条件の一例としては、制御処理を終了させる指示が受付デバイス８４（図５参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ２０において、制御処理終了条件を満足していない場合は、判定が否定されて、制御処理はステップＳＴ１０へ移行する。ステップＳＴ２０において、制御処理終了条件を満足した場合は、判定が肯定されて、制御処理が終了する。

ステップＳＴ２２で、制御回路６２Ｄは、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられたか否かを判定する。ステップＳＴ２２において、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられていない場合は、判定が否定されて、制御処理はステップＳＴ３０へ移行する。ステップＳＴ２２において、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられた場合は、判定が肯定されて、制御処理はステップＳＴ２４へ移行する。

ステップＳＴ２４で、読出回路６２Ａは、アナログ画像データ６９Ａの読み出し及び光電変換素子６１のリセットを行い、その後、制御処理はステップＳＴ２６へ移行する。

ステップＳＴ２６で、デジタル処理回路６２Ｂは、アナログ画像データ６９Ａに対してデジタル信号処理を行い、その後、制御処理はステップＳＴ２８へ移行する。

ステップＳＴ２６においてアナログ画像データ６９Ａに対してデジタル信号処理が行われることで得られたデジタル画像データ６９Ｂは、セレクタ６２Ｃに出力され、セレクタ６２Ｃは、デジタル画像データ６９Ｂを通信Ｉ／Ｆ６２Ｅ３に転送する。

ステップＳＴ２８で、処理回路６２は、第１出力及び第２出力を行い、その後、ステップＳＴ３０へ移行する。第１出力及び第２出力は、互いに異なる出力方式での出力である。すなわち、第１出力は、第１伝送路（図９参照）を用い、かつ、ＬＶＤＳの接続規格に従って行われる出力であり、第２出力は、第２伝送路（図９参照）を用い、かつ、ＰＣＩ－ｅの接続規格に従って行われる出力である。

ステップＳＴ２８において、通信Ｉ／Ｆ６２Ｅ３は、セレクタ６２Ｃから転送されたデジタル画像データ６９Ｂを、通信ライン５５を介して信号処理回路５０に出力する（第１出力）。一方、制御回路６２Ｄは、コントローラ４６からの要求に応じて、１フレーム前のデジタル画像データ６９Ｂをメモリ６４から取得し、通信Ｉ／Ｆ６２Ｅ２から通信ライン５３を介して信号処理回路５０に出力する（第２出力）。

ステップＳＴ３０で、制御回路６２Ｄは、制御処理終了条件を満足したか否かを判定する。ステップＳＴ３０において、制御処理終了条件を満足していない場合は、判定が否定されて、制御処理はステップＳＴ１０へ移行する。ステップＳＴ２０において、制御処理終了条件を満足した場合は、判定が肯定されて、制御処理が終了する。

本制御処理が実行されることで通信Ｉ／Ｆ６２Ｅ３から通信ライン５５を介して信号処理回路５０に出力されたデジタル画像データ６９Ｂは、信号処理回路５０に入力されると、コントローラ４６に転送される。一方、通信Ｉ／Ｆ６２Ｅ２から通信ライン５３を介して信号処理回路５０に出力されたデジタル画像データ６９Ｂも、信号処理回路５０に入力されると、コントローラ４６に転送される。コントローラ４６では、デジタル画像データ６９Ｂが入力Ｉ／Ｆ４６Ｅに入力され、デジタル画像データ６９Ｂに基づく画像がＣＰＵ４６Ａによってディスプレイに表示される。なお、入力Ｉ／Ｆ４６Ｅに入力されたデジタル画像データ６９Ｂに基づく画像は、本開示の技術に係る「第１画像データに基づく第１画像」及び「第２画像データに基づく第２画像」の一例である。

また、入力Ｉ／Ｆ４６Ｅに入力されたデジタル画像データ６９Ｂは、ＣＰＵ４６Ａによって二次記憶装置８０に記憶されたり、外部Ｉ／Ｆ８２を介してＵＳＢメモリ（図示省略）及び／又はメモリカード（図示省略）等の外部装置に記憶されたりする。

以上説明したように、撮像装置１０では、被写体が撮像されることで得られたデジタル画像データ６９Ｂが通信Ｉ／Ｆ６２Ｅ３により信号処理回路５０に出力される。また、メモリ６４に記憶されたデジタル画像データ６９Ｂが通信Ｉ／Ｆ６２Ｅ２により信号処理回路５０に出力される。そして、通信Ｉ／Ｆ６２Ｅ３の出力方式と通信Ｉ／Ｆ６２Ｅ２の出力方式とが異なっている。つまり、第１伝送路（図９参照）により通信ライン５５を介して最新のデジタル画像データ６９Ｂが信号処理回路５０に出力され、第２伝送路（図９参照）により通信ライン５３を介して１フレーム前のデジタル画像データ６９Ｂが信号処理回路５０に出力される。また、通信Ｉ／Ｆ６２Ｅ３と信号処理回路５０とがＬＶＤＳの接続規格に従って接続され、通信Ｉ／Ｆ６２Ｅ２と信号処理回路５０とがＰＣＩ－ｅの接続規格に従って接続されている。従って、撮像装置１０によれば、単一の通信Ｉ／Ｆのみからデジタル画像データ６９Ｂが処理部４５に出力される場合に比べ、デジタル画像データ６９Ｂの出力の停滞を抑制することができる。

また、撮像装置１０では、第１出力及び第２出力（図８～図１０参照）は、制御回路６２Ｄの制御下で、互いに独立して行われる。従って、撮像装置１０によれば、第１出力が行われるタイミングと第２出力が行われるタイミングとを自在に変更することができる。

また、撮像装置１０では、第２出力がコントローラ４６からの要求に応じて行われる。従って、撮像装置１０によれば、処理部４５が第２出力を受け付ける状態でないにも拘わらず、第２出力が行われることを回避することができる。

また、撮像装置１０では、第１出力の出力方式として、Ａ／Ｄ変換器６２Ｂ１から得られたデジタル画像データ６９Ｂをメモリ６４に記憶させることなく出力する出力方式が採用されている。また、第２出力の出力方式として、制御回路６２Ｄによってメモリ６４から読み出されたデジタル画像データ６９Ｂを出力する出力方式が採用されている。つまり、第２出力が行えない場合であっても、第１出力は継続して行われる。従って、撮像装置１０によれば、メモリ６４にデジタル画像データ６９Ｂが書き込まれる期間であっても撮像素子４４から信号処理回路５０への出力を継続することができる。

また、撮像装置１０では、メモリ６４として、書き込みタイミングと読み出しタイミングとが異なるメモリが採用されている。撮像装置１０では、メモリ６４に対する書き込みタイミングを回避したタイミングで第１出力及び第２出力が行われる。従って、撮像装置１０によれば、メモリ６４が書き込みタイミングと読み出しタイミングとが異なるメモリであったとしても、撮像素子４４から処理部４５へのデジタル画像データ６９Ｂの出力を継続することができる。

また、撮像装置１０では、メモリ６４として、ＤＲＡＭが採用されている。撮像装置１０では、ＤＲＡＭに対する書き込みタイミングを回避したタイミングで第１出力及び第２出力が行われる。従って、撮像装置１０によれば、メモリ６４がＤＲＡＭであったとしても、撮像素子４４から処理部４５へのデジタル画像データ６９Ｂの出力を継続することができる。

また、撮像装置１０では、撮像素子４４として、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子が採用されている。これにより、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像素子４４の可搬性が高くなる。また、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像装置本体１２の小型化にも寄与することができる。

また、図７に示すように、撮像素子４４として、光電変換素子６１にメモリ６４が積層された積層型撮像素子が採用されている。これにより、光電変換素子６１とメモリ６４とを接続する配線を短くすることができるため、配線遅延を減らすことができ、この結果、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、光電変換素子６１からメモリ６４への画像データ６９の転送速度を高めることができる。転送速度の向上は、処理回路６２全体での処理の高速化にも寄与する。また、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、撮像装置本体１２の小型化にも寄与することができる。

また、撮像装置１０では、デジタル画像データ６９Ｂに基づくライブビュー画像等が第２ディスプレイ８６に表示される。これにより、デジタル画像データ６９Ｂにより示される画像をユーザに視認させることができる。

更に、撮像装置１０では、通信Ｉ／Ｆ６２Ｅ２から信号処理回路５０に出力された最新のデジタル画像データ６９ＢがＣＰＵ４６Ａによって二次記憶装置８０、ＵＳＢメモリ、及び／又はメモリカード等に記憶される。また、通信Ｉ／Ｆ６２Ｅ３から信号処理回路５０に出力された１フレーム前のデジタル画像データ６９Ｂも、ＣＰＵ４６Ａによって二次記憶装置８０、ＵＳＢメモリ、及び／又はメモリカード等に記憶される。これにより、被写体が撮像されることで得られた全フレーム分のデジタル画像データ６９Ｂを過不足なく管理することができる。

なお、上記第１実施形態では、第２出力がコントローラ４６からの要求に応じて行われる場合について説明したが、本開示の技術はこれに限定されない。例えば、上述した「Ｎ＋１回目のデジタル信号処理」により得られたデジタル画像データ６９Ｂのセレクタ６２Ｃによる通信Ｉ／Ｆ６２Ｅ３への転送が開始されたことを条件に第２出力が開始されるようにしてもよい。また、上述した「Ｎ＋１回目のデジタル信号処理」により得られたデジタル画像データ６９Ｂのデジタル処理回路６２Ｂによるセレクタ６２Ｃへの出力が開始されたことを条件に第２出力が開始されるようにしてもよい。何れにしても、メモリ６４への書き込みが行われない期間に第２出力が開始されるようにすればよい。

また、上記第１実施形態では、セレクタ６２Ｃから通信Ｉ／Ｆ６２Ｅ３に転送されたデジタル画像データ６９Ｂが通信ライン５５を介して信号処理回路５０に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、セレクタ６２Ｃと通信Ｉ／Ｆ６２Ｅ３との間の画像処理回路（図示省略）によってデジタル画像データ６９Ｂに対して何らかの画像処理が施されることで得た画像データが通信Ｉ／Ｆ６２Ｅ３によって信号処理回路５０に出力されるようにしてもよい。ここで、上記の画像処理としては、例えば、間引き処理及び加算処理等の公知の画像処理が挙げられる。なお、セレクタ６２Ｃと通信Ｉ／Ｆ６２Ｅ３との間の画像処理回路によってデジタル画像データ６９Ｂに対して何らかの画像処理が施されることで得た画像データは、本開示の技術に係る「第１画像データ」の一例である。

また、上記第１実施形態では、メモリ６４に記憶されたデジタル画像データ６９Ｂが通信Ｉ／Ｆ６２Ｅ２によって信号処理回路５０に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、メモリ６４に記憶されたデジタル画像データ６９Ｂに対して制御回路６２Ｄによって上記の画像処理が施されることで得られた画像データが通信Ｉ／Ｆ６２Ｅ２を介して信号処理回路５０に出力されるようにしてもよい。なお、メモリ６４に記憶されたデジタル画像データ６９Ｂに対して制御回路６２Ｄによって上記の画像処理が施されることで得られた画像データは、本開示の技術に係る「第２画像データ」の一例である。

また、上記第１実施形態では、通信Ｉ／Ｆ６２Ｅ２及び通信Ｉ／Ｆ６２Ｅ３の各々から出力されたデジタル画像データ６９Ｂに基づく各画像がＣＰＵ４６Ａによってディスプレイに表示される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、通信Ｉ／Ｆ６２Ｅ２又は通信Ｉ／Ｆ６２Ｅ３から信号処理回路５０に出力されたデジタル画像データ６９Ｂに基づく画像がＣＰＵ４６Ａによってディスプレイに表示されるようにしてもよい。

また、上記第１実施形態では、通信Ｉ／Ｆ６２Ｅ２及び通信Ｉ／Ｆ６２Ｅ３の各々から出力されたデジタル画像データ６９ＢがＣＰＵ４６Ａによって二次記憶装置８０等に記憶される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、通信Ｉ／Ｆ６２Ｅ２又は通信Ｉ／Ｆ６２Ｅ３から信号処理回路５０に出力されたデジタル画像データ６９ＢがＣＰＵ４６Ａによって二次記憶装置８０等に記憶されるようにしてもよい。

また、上記第１実施形態では、撮像素子４４として、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子を例示したが、本開示の技術はこれに限定されない。例えば、光電変換素子６１、処理回路６２、及びメモリ６４のうち、少なくとも光電変換素子６１及びメモリ６４が１チップ化されていればよい。

［第２実施形態］
上記第１実施形態では、第１出力と第２出力とが並行して行われる形態例を挙げて説明したが、本第２実施形態では、第１出力と第２出力とが交互に行われる形態例について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。

本第２実施形態に係る撮像装置１０は、一例として図１２に示すにように、通信ライン５７から分岐した通信ライン５９が信号処理回路５０に接続されている点が上記第１実施形態と異なる。なお、本第２実施形態の説明においては、説明の便宜上、本第２実施形態に係る撮像装置１０を、単に「撮像装置１０」と称する。

通信ライン５７から分岐した通信ライン５９が信号処理回路５０に接続されているため、コントローラ４６から出力された読出同期信号は通信ライン５９を介して信号処理回路５０に入力される。従って、信号処理回路５０は、コントローラ４６から通信ライン５９を介して入力された読出同期信号に応じた動作を行うことが可能となる。

信号処理回路５０には、コントローラ４６から通信ライン５９を介して垂直同期信号が入力される。信号処理回路５０は、垂直同期信号の入力タイミングに従って垂直ブランキング期間を特定する。そして、信号処理回路５０は、垂直ブランキング期間に入ると、処理回路６２に対して第２出力の開始を要求する出力要求信号を生成し、生成した出力要求信号を、通信ライン５３を介して通信Ｉ／Ｆ６２Ｅ２に出力する。出力要求信号は、通信Ｉ／Ｆ６２Ｅ２から制御回路６２Ｄに転送される。通信Ｉ／Ｆ６２Ｅ２から制御回路６２Ｄに出力要求信号が転送されると、第２出力が開始される。第２出力では、上記第１実施形態で説明したように、第２伝送路を用いてデジタル画像データ６９Ｂが伝送される。

すなわち、制御回路６２Ｄは、通信Ｉ／Ｆ６２Ｅ２から出力要求信号が転送されると、メモリ６４からデジタル画像データ６９Ｂを取得し、取得したデジタル画像データ６９Ｂを通信Ｉ／Ｆ６２Ｅ２に出力する。通信Ｉ／Ｆ６２Ｅ２は、制御回路６２Ｄから入力されたデジタル画像データ６９Ｂを、通信ライン５３を介して信号処理回路５０に出力する。

一例として図１３及び図１４に示すように、撮像素子４４では、撮像処理と出力処理とが行われる。図１３に示す撮像処理では、上記第１実施形態と同様に、光電変換素子６１による露光、アナログ画像データ６９Ａの読み出し、光電変換素子６１のリセット、デジタル信号処理、及びデジタル画像データ６９Ｂのメモリ６４への記憶が行われる。

一例として図１４に示すように、出力処理では、第１出力と第２出力とが交互に行われる。垂直同期信号がコントローラ４６から処理回路６２に入力されると、上記第１実施形態で説明した第１出力が行われる。そして、垂直ブランキング期間に、信号処理回路５０から処理回路６２に出力要求信号が入力されると、上記第１実施形態で説明した第２出力が行われる。

ところで、コントローラ４６から垂直同期信号が撮像素子４４に入力されると、光電変換素子６１からの１フレーム分のアナログ画像データ６９Ａの読み出しが開始される。そして、アナログ画像データ６９Ａに対してデジタル信号処理が行われることで得られたデジタル画像データ６９Ｂがセレクタ６２Ｃによって制御回路６２Ｄに転送され、制御回路６２Ｄによってメモリ６４に記憶される。メモリ６４はＤＲＡＭであるので、制御回路６２Ｄによるメモリ６４に対する書き込み期間は、制御回路６２Ｄによるメモリ６４からの読み出しは行えない。

そこで、一例として図１５に示すように、メモリ６４への書き込み期間では、制御回路６２Ｄに依拠しない第１出力が行われる。すなわち、１フレーム分の最新のデジタル画像データ６９Ｂが、デジタル処理回路６２Ｂからセレクタ６２Ｃに出力され、セレクタ６２Ｃによって通信Ｉ／Ｆ６２Ｅ３に転送される。そして、１フレーム分の最新のデジタル画像データ６９Ｂは、通信Ｉ／Ｆ６２Ｅ３によって通信ライン５５を介して信号処理回路５０に出力される。

第１出力が完了すると、垂直ブランキング期間に入る。垂直ブランキング期間では、メモリ６４への書き込みが行われないので、制御回路６２Ｄによるメモリ６４からの読み出しを行うことが可能となる。

そこで、一例として図１５に示すように、垂直ブランキング期間、すなわち、メモリ６４からの読み出し期間では、制御回路６２Ｄによるメモリ６４からのデジタル画像データ６９Ｂの読み出しを伴う第２出力が行われる。すなわち、１フレーム前に得られた１フレーム分のデジタル画像データ６９Ｂが、制御回路６２Ｄによってメモリ６４から読み出され、通信Ｉ／Ｆ６２Ｅ２に転送される。そして、メモリ６４から読み出された１フレーム分のデジタル画像データ６９Ｂは、通信Ｉ／Ｆ６２Ｅ２によって通信ライン５３を介して信号処理回路５０に出力される。

垂直同期信号が撮像素子４４に入力されると、次に垂直同期信号が撮像素子４４に入力されるまでの間、第１出力及び第２出力が順次に行われ、結果的に、一例として図１５に示すように、第１出力と第２出力とが交互に行われる。これは、第１出力が、第２出力が行われる期間とは異なる期間に行われるということを意味する。すなわち、第１出力が行われる前の垂直ブランキング期間、及び第１出力が行われた後の垂直ブランキング期間に第２出力が行われる。なお、第２出力が行われる期間とは異なる期間は、本開示の技術に係る「第２出力部による第２画像データの出力期間とは異なる期間」の一例である。

次に、撮像装置１０の作用について説明する。

先ず、撮像素子４４の処理回路６２によって実行される撮像処理の流れについて図１６を参照しながら説明する。

図１６に示す撮像処理では、先ず、ステップＳＴ５０で、制御回路６２Ｄは、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられたか否かを判定する。ステップＳＴ５０において、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられていない場合は、判定が否定されて、撮像処理はステップＳＴ５８へ移行する。ステップＳＴ５０において、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられた場合は、判定が肯定されて、撮像処理はステップＳＴ５２へ移行する。

ステップＳＴ５２で、読出回路６２Ａは、アナログ画像データ６９Ａの読み出し及び光電変換素子６１のリセットを行い、その後、撮像処理はステップＳＴ５４へ移行する。

ステップＳＴ５４で、デジタル処理回路６２Ｂは、アナログ画像データ６９Ａに対してデジタル信号処理を行い、その後、撮像処理はステップＳＴ５６へ移行する。

ステップＳＴ５４においてアナログ画像データ６９Ａに対してデジタル信号処理が行われることで得られたデジタル画像データ６９Ｂは、セレクタ６２Ｃに出力され、セレクタ６２Ｃは、デジタル画像データ６９Ｂを制御回路６２Ｄに転送する。

ステップＳＴ５６で、制御回路６２Ｄは、デジタル画像データ６９Ｂをメモリ６４に記憶し、その後、撮像処理はステップＳＴ５８へ移行する。

ステップＳＴ５８で、制御回路６２Ｄは、撮像処理を終了する条件（以下、「撮像処理終了条件」と称する）を満足したか否かを判定する。撮像処理終了条件の一例としては、撮像処理を終了させる指示が受付デバイス８４（図５参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ５８において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップＳＴ５０へ移行する。ステップＳＴ５８において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理が終了する。

次に、撮像素子４４の処理回路６２によって実行される出力処理の流れについて図１７を参照しながら説明する。

図１７に示す出力処理では、ステップＳＴ１００で、制御回路６２Ｄは、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられたか否かを判定する。ステップＳＴ１００において、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられていない場合は、判定が否定されて、出力処理はステップＳＴ１０６へ移行する。ステップＳＴ１００において、コントローラ４６からの垂直同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられた場合は、判定が肯定されて、出力処理はステップＳＴ１０２へ移行する。

ステップＳＴ１０２で、制御回路６２Ｄは、セレクタ６２Ｃ及び通信Ｉ／Ｆ６２Ｅ３を制御することで、第１出力を開始し、その後、出力処理はステップＳＴ１０４へ移行する。なお、第１出力が行われている間、図１６に示す撮像処理が実行されており、メモリ６４に対するデジタル画像データ６９Ｂの書き込みが行われている。

ステップＳＴ１０４で、制御回路６２Ｄは、第１出力が終了したか否かを判定する。第１出力の終了とは、１フレーム分の最新のデジタル画像データ６９Ｂの出力の終了を指す。ステップＳＴ１０４において、第１出力が終了していない場合は、判定が否定されて、ステップＳＴ１０４の判定が再び行われる。ステップＳＴ１０４において、第１出力が終了した場合は、判定が肯定されて、出力処理はステップＳＴ１０６へ移行する。

ステップＳＴ１０６で、制御回路６２Ｄは、垂直ブランキング期間に入ったか否かを判定する。ステップＳＴ１０６において、垂直ブランキング期間に入っていない場合は、判定が否定されて、出力処理はステップＳＴ１１４へ移行する。ステップＳＴ１０６において、垂直ブランキング期間に入った場合は、判定が肯定されて、出力処理はステップＳＴ１０８へ移行する。

垂直ブランキング期間に入ると、信号処理回路５０から通信ライン５３を介して通信Ｉ／Ｆ６２Ｅ２に出力要求信号が出力される。

そこで、ステップＳＴ１０８で、制御回路６２Ｄは、出力要求信号が通信Ｉ／Ｆ６２Ｅ２によって受け付けられたか否かを判定する。ステップＳＴ１０８において、出力要求信号が通信Ｉ／Ｆ６２Ｅ２によって受け付けられていない場合は、判定が否定されて、出力処理はステップＳＴ１１４へ移行する。ステップＳＴ１０８において、出力要求信号が通信Ｉ／Ｆ６２Ｅ２によって受け付けられた場合は、判定が肯定されて、出力処理はステップＳＴ１１０へ移行する。

ステップＳＴ１１０で、制御回路６２Ｄは、第２出力を開始し、その後、出力処理はステップＳＴ１１２へ移行する。第２出力が開始されると、メモリ６４に記憶されている１フレーム分のデジタル画像データ６９Ｂが読み出され、通信Ｉ／Ｆ６２Ｅ２によって通信ライン５３を介して信号処理回路５０に出力される。

ステップＳＴ１１２で、制御回路６２Ｄは、第２出力が終了したか否かを判定する。第２出力の終了とは、メモリ６４に記憶されている１フレーム分のデジタル画像データ６９Ｂ、すなわち、１フレーム前に得られた１フレーム分のデジタル画像データ６９Ｂの出力の終了を指す。ステップＳＴ１１２において、第２出力が終了していない場合は、判定が否定されて、ステップＳＴ１１２の判定が再び行われる。ステップＳＴ１１２において、第２出力が終了した場合は、判定が肯定されて、出力処理はステップＳＴ１１４へ移行する。

ステップＳＴ１１４で、制御回路６２Ｄは、出力処理を終了する条件（以下、「出力処理終了条件」と称する）を満足したか否かを判定する。出力処理終了条件の一例としては、出力処理を終了させる指示が受付デバイス８４（図５参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ１１４において、出力処理終了条件を満足していない場合は、判定が否定されて、出力処理はステップＳＴ１００へ移行する。ステップＳＴ１１４において、出力処理終了条件を満足した場合は、判定が肯定されて、出力処理が終了する。

以上説明したように、撮像装置１０では、第１出力が、第２出力が行われる期間とは異なる期間に行われる。これにより、信号処理回路５０に対してデジタル画像データ６９Ｂを滞りなく出力することができる。

また、撮像装置１０では、第１出力が行われる前の垂直ブランキング期間、及び第１出力が行われた後の垂直ブランキング期間に第２出力が行われる。これにより、デジタル画像データ６９Ｂのメモリ６４への書き込み動作に起因して撮像素子４４から信号処理回路５０への出力が停滞することを回避することができる。

なお、上記第２実施形態では、第１出力が行われる前の垂直ブランキング期間、及び第１出力が行われた後の垂直ブランキング期間の両方で第２出力が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。第１出力が行われる前の垂直ブランキング期間、又は第１出力が行われた後の垂直ブランキング期間に第２出力が行われるようにしてもよい。

［第３実施形態］
上記第２実施形態では、垂直同期信号の入力に応じて第１出力と第２出力とが交互に行われる形態例を示したが、本第３実施形態では、水平同期信号の入力に応じて第１出力と第２出力とが交互に行われる場合について説明する。なお、本第３実施形態では、上記第２実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第２実施形態と異なる部分について説明する。

本第３実施形態に係る撮像装置１０では、一例として図１８及び図１９に示すように撮像処理及び出力処理が行われる。図１８に示す撮像処理では、光電変換素子６１による露光、アナログ画像データ６９Ａの読み出し、光電変換素子６１のリセット、デジタル信号処理、及びデジタル画像データ６９Ｂのメモリ６４への記憶が行われる。

一例として図１２に示すように、信号処理回路５０には、コントローラ４６から通信ライン５９を介して水平同期信号が入力される。信号処理回路５０は、水平同期信号の入力タイミングに従って水平ブランキング期間を特定する。そして、信号処理回路５０は、水平ブランキング期間に入ると、処理回路６２に対して第２出力の開始を要求する出力要求信号を生成し、生成した出力要求信号を、通信ライン５３を介して通信Ｉ／Ｆ６２Ｅ２に出力する。出力要求信号は、通信Ｉ／Ｆ６２Ｅ２から制御回路６２Ｄに転送される。通信Ｉ／Ｆ６２Ｅ２から制御回路６２Ｄに出力要求信号が転送されると、第２出力が開始される。第２出力では、上記第１及び第２実施形態で説明したように、第２伝送路を用いてデジタル画像データ６９Ｂが伝送される。

一例として図１８及び図１９に示すように、撮像素子４４では、撮像処理と出力処理とが行われる。図１８に示す撮像処理では、上記第１実施形態と同様に、光電変換素子６１による露光、アナログ画像データ６９Ａの読み出し、光電変換素子６１のリセット、デジタル信号処理、及びデジタル画像データ６９Ｂのメモリ６４への記憶が行われる。

コントローラ４６から撮像素子４４に対して水平同期信号が入力されると、一例として図１８に示すように、１水平ライン分のアナログ画像データ６９Ａの読み出し及び光電変換素子６１のリセットが行われ、読み出された１水平ライン分のアナログ画像データ６９Ａに対してデジタル信号処理が行われる。１水平ライン分のアナログ画像データ６９Ａに対してデジタル信号処理が行われることで得られた１水平ライン分のデジタル画像データ６９Ｂは、デジタル処理回路６２Ｂからセレクタ６２Ｃに出力される。そして、１水平ライン分のデジタル画像データ６９Ｂは、セレクタ６２Ｃから制御回路６２Ｄに転送され、制御回路６２Ｄによってメモリ６４に記憶される。

一例として図１９に示すように、出力処理では、第１出力と第２出力とが交互に行われる。水平同期信号がコントローラ４６から処理回路６２に入力されると、第１出力が行われる。そして、水平ブランキング期間に、信号処理回路５０から処理回路６２に出力要求信号が入力されると、第２出力が行われる。

ところで、コントローラ４６から水平同期信号が撮像素子４４に入力されると、光電変換素子６１からの１水平ライン分のアナログ画像データ６９Ａの読み出しが開始される。そして、１水平ライン分のアナログ画像データ６９Ａに対してデジタル信号処理が行われることで得られた１水平ライン分のデジタル画像データ６９Ｂがセレクタ６２Ｃによって制御回路６２Ｄに転送され、制御回路６２Ｄによってメモリ６４に記憶される。メモリ６４はＤＲＡＭであるので、制御回路６２Ｄによるメモリ６４に対する書き込み期間は、制御回路６２Ｄによるメモリ６４からの読み出しは行えない。

そこで、一例として図２０に示すように、メモリ６４への書き込み期間（図２０に示す「書込期間」）では、制御回路６２Ｄに依拠しない第１出力が行われる。すなわち、１水平ライン分の最新のデジタル画像データ６９Ｂが、デジタル処理回路６２Ｂからセレクタ６２Ｃに出力され、セレクタ６２Ｃによって通信Ｉ／Ｆ６２Ｅ３に転送される。そして、１水平ライン分の最新のデジタル画像データ６９Ｂは、通信Ｉ／Ｆ６２Ｅ３によって通信ライン５５を介して信号処理回路５０に出力される。

第１出力が完了すると、水平ブランキング期間に入る。水平ブランキング期間は、非書込期間である。非書込期間とは、メモリ６４への書き込みが行われない期間を指す。このように、水平ブランキング期間では、メモリ６４への書き込みが行われないので、制御回路６２Ｄによるメモリ６４からの読み出しを行うことが可能となる。

そこで、一例として図２０に示すように、水平ブランキング期間、すなわち、メモリ６４からの読み出し期間では、制御回路６２Ｄによるメモリ６４からのデジタル画像データ６９Ｂの読み出しを伴う第２出力が行われる。すなわち、１ライン前に得られた１水平ライン分のデジタル画像データ６９Ｂが、制御回路６２Ｄによってメモリ６４から読み出され、通信Ｉ／Ｆ６２Ｅ２に転送される。そして、メモリ６４から読み出された１水平ライン分のデジタル画像データ６９Ｂは、通信Ｉ／Ｆ６２Ｅ２によって通信ライン５３を介して信号処理回路５０に出力される。

水平同期信号が撮像素子４４に入力されると、次に水平同期信号が撮像素子４４に入力されるまでの間、第１出力及び第２出力が順次に行われ、結果的に、一例として図２０に示すように、第１出力と第２出力とが交互に行われる。第１出力が、第２出力が行われる期間とは異なる期間に行われるということを意味する。すなわち、第１出力が行われる前の水平ブランキング期間、及び第１出力が行われた後の水平ブランキング期間に第２出力が行われる。なお、図２０に示す「ＤＴ」とは、１ライン分のデジタル画像データ６９Ｂを意味する。

次に、撮像装置１０の作用について説明する。

先ず、撮像素子４４の処理回路６２によって実行される撮像処理の流れについて図２１を参照しながら説明する。

図２１に示す撮像処理では、先ず、ステップＳＴ２００で、制御回路６２Ｄは、コントローラ４６からの水平同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられたか否かを判定する。ステップＳＴ２００において、コントローラ４６からの水平同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられていない場合は、判定が否定されて、撮像処理はステップＳＴ２０８へ移行する。ステップＳＴ２００において、コントローラ４６からの水平同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられた場合は、判定が肯定されて、撮像処理はステップＳＴ２０２へ移行する。

ステップＳＴ２０２で、読出回路６２Ａは、アナログ画像データ６９Ａの読み出し及び光電変換素子６１のリセットを行い、その後、撮像処理はステップＳＴ２０４へ移行する。

ステップＳＴ２０４で、デジタル処理回路６２Ｂは、アナログ画像データ６９Ａに対してデジタル信号処理を行い、その後、制御処理はステップＳＴ２０６へ移行する。

ステップＳＴ２０４においてアナログ画像データ６９Ａに対してデジタル信号処理が行われることで得られたデジタル画像データ６９Ｂは、セレクタ６２Ｃに出力され、セレクタ６２Ｃは、デジタル画像データ６９Ｂを制御回路６２Ｄに転送する。

ステップＳＴ２０６で、制御回路６２Ｄは、デジタル画像データ６９Ｂをメモリ６４に記憶し、その後、撮像処理はステップＳＴ２０８へ移行する。

ステップＳＴ２０８で、制御回路６２Ｄは、上述の撮像処理終了条件を満足したか否かを判定する。ステップＳＴ２０８において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップＳＴ２００へ移行する。ステップＳＴ２０８において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理が終了する。

次に、撮像素子４４の処理回路６２によって実行される出力処理の流れについて図２２を参照しながら説明する。

図２２に示す出力処理では、ステップＳＴ２５０で、制御回路６２Ｄは、コントローラ４６からの水平同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられたか否かを判定する。ステップＳＴ２５０において、コントローラ４６からの水平同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられていない場合は、判定が否定されて、出力処理はステップＳＴ２５６へ移行する。ステップＳＴ２５０において、コントローラ４６からの水平同期信号が通信Ｉ／Ｆ６２Ｅ１によって受け付けられた場合は、判定が肯定されて、出力処理はステップＳＴ２５２へ移行する。

ステップＳＴ２５２で、制御回路６２Ｄは、セレクタ６２Ｃ及び通信Ｉ／Ｆ６２Ｅ３を制御することで、第１出力を開始し、その後、出力処理はステップＳＴ２５４へ移行する。なお、第１出力が行われている間、図１８に示す撮像処理が実行されており、メモリ６４に対するデジタル画像データ６９Ｂの書き込みが行われている。

ステップＳＴ２５４で、制御回路６２Ｄは、第１出力が終了したか否かを判定する。第１出力の終了とは、１水平ライン分の最新のデジタル画像データ６９Ｂの出力の終了を指す。ステップＳＴ２５４において、第１出力が終了していない場合は、判定が否定されて、ステップＳＴ２５４の判定が再び行われる。ステップＳＴ２５４において、第１出力が終了した場合は、判定が肯定されて、出力処理はステップＳＴ２５６へ移行する。

ステップＳＴ２５６で、制御回路６２Ｄは、水平ブランキング期間に入ったか否かを判定する。ステップＳＴ２５６において、水平ブランキング期間に入っていない場合は、判定が否定されて、出力処理はステップＳＴ２６４へ移行する。ステップＳＴ２５６において、水平ブランキング期間に入った場合は、判定が肯定されて、出力処理はステップＳＴ２５８へ移行する。

水平ブランキング期間に入ると、信号処理回路５０から通信ライン５３を介して通信Ｉ／Ｆ６２Ｅ２に出力要求信号が出力される。

そこで、ステップＳＴ２５８で、制御回路６２Ｄは、出力要求信号が通信Ｉ／Ｆ６２Ｅ２によって受け付けられたか否かを判定する。ステップＳＴ２５８において、出力要求信号が通信Ｉ／Ｆ６２Ｅ２によって受け付けられていない場合は、判定が否定されて、出力処理はステップＳＴ２６４へ移行する。ステップＳＴ２５８において、出力要求信号が通信Ｉ／Ｆ６２Ｅ２によって受け付けられた場合は、判定が肯定されて、出力処理はステップＳＴ２６０へ移行する。

ステップＳＴ２６０で、制御回路６２Ｄは、第２出力を開始し、その後、出力処理はステップＳＴ２６２へ移行する。第２出力が開始されると、メモリ６４に記憶されている１フレーム分のデジタル画像データ６９Ｂが読み出され、通信Ｉ／Ｆ６２Ｅ２によって通信ライン５３を介して信号処理回路５０に出力される。

ステップＳＴ２６２で、制御回路６２Ｄは、第２出力が終了したか否かを判定する。第２出力の終了とは、メモリ６４に記憶されている１フレーム分のデジタル画像データ６９Ｂ、すなわち、１フレーム前に得られた１フレーム分のデジタル画像データ６９Ｂの出力の終了を指す。ステップＳＴ２６２において、第２出力が終了していない場合は、判定が否定されて、ステップＳＴ２６２の判定が再び行われる。ステップＳＴ２６２において、第２出力が終了した場合は、判定が肯定されて、出力処理はステップＳＴ２６４へ移行する。

ステップＳＴ２６４で、制御回路６２Ｄは、上述の出力処理終了条件を満足したか否かを判定する。ステップＳＴ２６４において、出力処理終了条件を満足していない場合は、判定が否定されて、出力処理はステップＳＴ２５０へ移行する。ステップＳＴ２６４において、出力処理終了条件を満足した場合は、判定が肯定されて、出力処理が終了する。

以上説明したように、撮像装置１０では、第１出力が行われる前の水平ブランキング期間、及び第１出力が行われた後の水平ブランキング期間に第２出力が行われる。これにより、デジタル画像データ６９Ｂのメモリ６４への書き込み動作に起因して撮像素子４４から信号処理回路５０への出力が停滞することを回避することができる。

なお、上記第３実施形態では、第１出力が行われる前の水平ブランキング期間、及び第１出力が行われた後の水平ブランキング期間の両方で第２出力が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。第１出力が行われる前の水平ブランキング期間、又は第１出力が行われた後の水平ブランキング期間に第２出力が行われるようにしてもよい。

また、上記第３実施形態では、水平ブランキング期間に第２出力が行われる場合について説明したが、本開示の技術はこれに限定されない。例えば、図２３Ａに示すように、第１出力が行われる前のデジタル信号処理期間に第２出力が行われるようにしてもよい。ここで、デジタル信号処理期間とは、デジタル処理回路６２Ｂによってデジタル信号処理が行われる期間を指す。デジタル信号処理期間は、上述した非書込期間に含まれている。非書込期間では、メモリ６４に対する書き込みが行われていないので、メモリ６４からデジタル画像データ６９Ｂを読み出すことが可能となる。すなわち、上述の第２伝送路を用いてメモリ６４から信号処理回路５０にデジタル画像データ６９Ｂを伝送することが可能となる。一例として図２３Ａに示すように、デジタル信号処理期間に第２出力が行われるようにすることで、デジタル画像データ６９Ｂのメモリ６４への書き込み動作に起因して撮像素子４４から信号処理回路５０への出力が停滞することを回避することができる。

また、デジタル信号処理期間には、Ａ／Ｄ変換期間が含まれる。Ａ／Ｄ変換期間とは、Ａ／Ｄ変換器６２Ｂ１（図１２参照）によってＡ／Ｄ変換が行われる期間を指す。このように、デジタル信号処理期間にＡ／Ｄ変換期間が含まれるので、一例として図２３Ｂに示すように、Ａ／Ｄ変換期間に第２出力が行われるようにしてもよい。これにより、デジタル画像データ６９Ｂのメモリ６４への書き込み動作に起因して撮像素子４４から信号処理回路５０への出力が停滞することを回避することができる。

また、上記各実施形態では、処理回路６２がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、上述した撮像処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図２４に示すように、撮像素子４４に内蔵されたコンピュータ８５２に、上述した制御処理、撮像処理、及び出力処理を実行させるための各種プログラムを記憶媒体９００に記憶させておく。

各種プログラムとは、制御プログラム９０２、撮像プログラム９０４、及び出力プログラム９０６を指す。制御プログラム９０２は、上述した制御処理をコンピュータ８５２に実行させるためのプログラムである。撮像プログラム９０４は、上述した撮像処理をコンピュータ８５２に実行させるためのプログラムである。出力プログラム９０６は、上述した出力処理をコンピュータ８５２に実行させるためのプログラムである。

一例として図２４に示すように、コンピュータ８５２は、ＣＰＵ８５２Ａ、ＲＯＭ８５２Ｂ、及びＲＡＭ８５２Ｃを備えている。そして、記憶媒体９００に記憶されている各種プログラムは、コンピュータ８５２にインストールされる。ＣＰＵ８５２Ａは、制御プログラム９０２に従って、上述した制御処理を実行する。また、ＣＰＵ８５２Ａは、撮像プログラム９０４に従って、上述した撮像処理を実行する。更に、ＣＰＵ８５２Ａは、出力プログラム９０６に従って、上述した出力処理を実行する。

ここでは、ＣＰＵ８５２Ａとして、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ８５２Ａに代えて複数のＣＰＵを採用してもよい。なお、記憶媒体９００は、非一時的記憶媒体である。記憶媒体９００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

図２４に示す例では、記憶媒体９００に各種プログラムが記憶されているが、本開示の技術はこれに限定されない。例えば、ＲＯＭ８５２Ｂに各種プログラムを予め記憶させておき、ＣＰＵ８５２ＡがＲＯＭ８５２Ｂから各種プログラムを読み出し、ＲＡＭ８５２Ｃに展開し、展開した各種プログラムを実行するようにしてもよい。

また、通信網（図示省略）を介してコンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部に各種プログラムを記憶させておき、撮像装置１０の要求に応じて各種プログラムがコンピュータ８５２にダウンロードされるようにしてもよい。この場合、ダウンロードされた各種プログラムがコンピュータ８５２のＣＰＵ８５２Ａによって実行される。

また、コンピュータ８５２は、撮像素子４４の外部に設けられるようにしてもよい。この場合、コンピュータ８５２が各種プログラムに従って処理回路６２を制御するようにすればよい。

上記各実施形態で説明した制御処理、撮像処理、及び出力処理（以下、「各種処理」と称する）を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。

各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像素子内処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）などに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像素子内処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記各実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図２５に示すスマートデバイス９５０に対して本開示の技術を適用するようにしてもよい。一例として図２５に示すスマートデバイス９５０は、本開示の技術に係る撮像装置の一例である。スマートデバイス９５０には、上記実施形態で説明した撮像素子４４が搭載されている。このように構成されたスマートデバイス９５０であっても、上記各実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス９５０に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

また、上記各実施形態では、第１ディスプレイ３２及び第２ディスプレイ８６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部（ディスプレイ）」として用いるようにしてもよい。

また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (18)

1. プロセッサと、
   前記プロセッサに内蔵又は接続されたメモリと、を備えた撮像素子であって、
   前記プロセッサ及び前記メモリは、前記撮像素子に内蔵されており、
   前記プロセッサは、第１通信インタフェース及び第２通信インタフェースを有し、
   前記第１通信インタフェースは、被写体が撮像されることで得られた画像データを第１画像データとして、前記撮像素子の外部に配置されている第１外部プロセッサに出力し、
   前記メモリは、前記画像データを記憶し、
   前記第２通信インタフェースは、前記メモリに記憶された前記画像データを、第２画像データとして第２外部プロセッサに出力し、
   前記第１通信インタフェースの出力方式と前記第２通信インタフェースの出力方式とが異なっており、
   前記第１通信インタフェースは、前記メモリを経由することなく転送された前記画像データを前記第１画像データとして出力する
   撮像素子。
2. 前記第１通信インタフェースによる前記第１画像データの出力及び前記第２通信インタフェースによる前記第２画像データの出力は、互いに独立して行われる請求項１に記載の撮像素子。
3. 前記第１通信インタフェースは、前記第２通信インタフェースによる前記第２画像データの出力期間とは異なる期間に前記第１画像データを出力する請求項１に記載の撮像素子。
4. 前記第２通信インタフェースは、前記外部の処理部からの要求に応じて前記第２画像データを出力する請求項３に記載の撮像素子。
5. 前記出力期間は、前記第１通信インタフェースから１フレーム分の前記第１画像データが出力された後の垂直ブランキング期間である請求項３又は請求項４に記載の撮像素子。
6. 前記出力期間は、前記第１通信インタフェースから１フレーム分の前記第１画像データが出力される前の垂直ブランキング期間である請求項３又は請求項４に記載の撮像素子。
7. 前記出力期間は、前記第１通信インタフェースから１ライン分の前記第１画像データが出力された後の水平ブランキング期間である請求項３又は請求項４に記載の撮像素子。
8. 前記出力期間は、前記第１通信インタフェースから１ライン分の前記第１画像データが出力される前の水平ブランキング期間である請求項３又は請求項４に記載の撮像素子。
9. アナログ画像データをＡ／Ｄ変換する第１Ａ／Ｄ変換器を含み、
   前記出力期間は、前記第１通信インタフェースから１ライン分の前記第１画像データが出力される前の前記第１Ａ／Ｄ変換器によるＡ／Ｄ変換期間である請求項３又は請求項４に記載の撮像素子。
10. アナログ画像データをＡ／Ｄ変換する第２Ａ／Ｄ変換器を含み、
    前記プロセッサは、前記第２Ａ／Ｄ変換器により前記アナログ画像データがデジタル化されることで得られたデジタル画像データを前記メモリに対して記憶させるメモリコントローラを有し、
    前記第１通信インタフェースの出力方式は、前記第２Ａ／Ｄ変換器から得られた前記デジタル画像データを前記メモリに記憶させることなく前記第１画像データとして出力する出力方式であり、
    前記第２通信インタフェースの出力方式は、前記メモリコントローラによって前記メモリから読み出された前記デジタル画像データを前記第２画像データとして出力する出力方式である請求項１から請求項９の何れか一項に記載の撮像素子。
11. 前記メモリは、書き込みタイミングと読み出しタイミングとが異なるメモリである請求項１から請求項１０の何れか一項に記載の撮像素子。
12. 前記メモリは、ＤＲＡＭである請求項１１に記載の撮像素子。
13. 少なくとも光電変換素子と前記メモリとが１チップ化された請求項１から請求項１２の何れか一項に記載の撮像素子。
14. 前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１３に記載の撮像素子。
15. 請求項１から請求項１４の何れか一項に記載の撮像素子と、
    前記第１通信インタフェースにより出力された前記第１画像データに基づく第１画像及び前記第２通信インタフェースにより出力された前記第２画像データに基づく第２画像のうちの少なくとも一方をディスプレイに対して表示させる制御を行う表示プロセッサと、
    を含む撮像装置。
16. 請求項１から請求項１４の何れか一項に記載の撮像素子と、
    前記第１通信インタフェースにより出力された前記第１画像データ及び前記第２通信インタフェースにより出力された前記第２画像データのうちの少なくとも一方を記憶装置に対して記憶させる制御を行う記憶プロセッサと、
    を含む撮像装置。
17. プロセッサと、前記プロセッサに内蔵又は接続されたメモリと、が内蔵され、前記プロセッサが第１通信インタフェース及び第２通信インタフェースを有する撮像素子の作動方法であって、
    前記第１通信インタフェースが、被写体が撮像されることで得られた画像データを第１画像データとして、前記撮像素子の外部に配置されている第１外部プロセッサに出力し、
    前記メモリが、前記画像データを記憶し、
    前記第２通信インタフェースが、前記メモリに記憶された前記画像データを、第２画像データとして第２外部プロセッサに出力し、
    前記第１通信インタフェースの出力方式と前記第２通信インタフェースの出力方式とが異なっており、
    前記第１通信インタフェースが、前記メモリを経由することなく転送された前記画像データを前記第１画像データとして出力する
    撮像素子の作動方法。
18. プロセッサと、前記プロセッサに内蔵又は接続されたメモリと、が内蔵され、前記プロセッサが第１通信インタフェース及び第２通信インタフェースを有する撮像素子に含まれる前記第１通信インタフェース及び前記第２通信インタフェースとしてコンピュータを機能させるためのプログラムであって、
    前記第１通信インタフェースが、被写体が撮像されることで得られた画像データを第１画像データとして、前記撮像素子の外部に配置されている第１外部プロセッサに出力し、
    前記メモリが、前記画像データを記憶し、
    前記第２通信インタフェースが、前記メモリに記憶された前記画像データを、第２画像データとして第２外部プロセッサに出力し、
    前記第１通信インタフェースの出力方式と前記第２通信インタフェースの出力方式とが異なっており、
    前記第１通信インタフェースが、前記メモリを経由することなく転送された前記画像データを前記第１画像データとして出力する
    プログラム。