JP7094454B2 - 撮像装置、撮像素子、撮像装置の作動方法、撮像素子の作動方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像装置、撮像素子、撮像装置の作動方法、撮像素子の作動方法、及びプログラムに関する。

特開２０１２－１５５９９号公報には、２次元状に配列された光電変換素子を備える画素と、光電変換素子の列毎に設けられた列アンプと、列アンプの出力側に設けられたＡＤ変換器とを有する撮像装置が開示されている。特開２０１２－１５５９９号公報に記載の撮像装置において、ＡＤ変換器は第１の変換ビット数において第１の変換速度で動作する第１の動作モードと、第１の変換ビット数よりも小さい第２の変換ビット数において第１の変換速度よりも速い第２の変換速度で動作する第２の動作モードを有し、第２の動作モードの際、ＡＤ変換器から出力された２次元配列状の複数の画素データを加算して階調ビット数を第２の変換ビット数から拡張する拡張処理手段を有する。

特開２００８－１２４８４２号公報には、画素部、露光時間制御手段、ＡＤ変換手段、ラインメモリ、及び信号処理手段を具備することを特徴とする固体撮像装置が開示されている。特開２００８－１２４８４２号公報に記載の固体撮像装置の画素部は、セルが半導体基板上に行及び列の二次元的に配置された画素部である。ここで、セルは、光電変換手段と、入射光を光電変換手段で光電変換して得た信号電荷を検出部に読み出す読み出し手段と、検出部に蓄積された信号電荷に対応する電圧を増幅して出力する増幅手段と、検出部の信号電荷をリセットするリセット手段と、を備えている。

特開２００８－１２４８４２号公報に記載の固体撮像装置において、露光時間制御手段は、光電変換手段で光電変換する露光時間を制御し、露光時間を全画素部で同一とする。ＡＤ変換手段は、画素部から出力された信号を信号レベルの分解能を異ならせてＡＤ変換する。ラインメモリは、ＡＤ変換手段で変換された信号を記憶する。信号処理手段は、ラインメモリからの出力信号に対して、ＡＤ変換後の画素出力信号の分解能に合わせて増幅率を制御し、光入力信号量に対して線形の傾きとなるように処理を行う。

また、特開２００８－１２４８４２号公報に記載の固体撮像装置のＡＤ変換手段は、画素部から出力された信号を複数回ＡＤ変換し、複数のラインメモリは、複数回ＡＤ変換された信号を記憶し、信号処理手段は、複数のラインメモリから同時に読み出された複数の信号を１つの信号に合成する。

特開２０１５－８０１３２号公報には、照度に応じたレベルの電圧を出力する画素回路と、画素回路の出力電圧をデジタル信号に変換するＡ／Ｄコンバータと、を備えた固体撮像素子が開示されている。特開２０１５－８０１３２に記載の固体撮像素子において、Ａ／Ｄコンバータの低照度側の分解能は高照度側の分解能よりも高い。また、特開２０１５－８０１３２号公報に記載の固体撮像素子は、１フレーム期間内に露光時間を変えて画素回路を複数回露光させ、画素回路の複数の出力電圧をＡ／Ｄコンバータによって複数のデジタル信号に変換させ、複数のデジタル信号を合成する制御部を備えている。

本開示の技術に係る一つの実施形態は、同一の基準レベルのＡ／Ｄ変換を伴う撮像が常に行われる場合に比べ、高フレームレート及び高画質を実現することができる撮像装置、撮像素子、撮像装置の作動方法、撮像素子の作動方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、撮像装置であって、撮像素子と、撮像素子から出力される複数の画像データを合成することで単一画像データを生成し、生成した単一画像データを出力する処理部と、を含み、複数の画像データは、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、処理部から出力される単一画像データの画素単位のビット数は、複数の画像データの各々の画素単位のビット数よりも大きい撮像装置である。

本開示の技術に係る第２の態様は、撮像素子は、撮像素子の画素領域が区分されることで得られた複数の区分領域について互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像を行うことで複数の画像データを生成し、処理部は、複数の区分領域について生成された複数の画像データを合成することで単一画像データを生成する第１の態様に係る撮像装置である。

本開示の技術に係る第３の態様は、複数の画像データは、複数の撮像素子から出力される第１の態様又は第２の態様に係る撮像装置である。

本開示の技術に係る第４の態様は、複数の撮像素子のうちの少なくとも１つの撮像素子は、異なる基準レベルのＡ／Ｄ変換を伴う複数回の撮像を行い、基準レベルの異なる複数の画像データを生成する第３の態様に係る撮像装置である。

本開示の技術に係る第５の態様は、複数の撮像素子のうちの一部の撮像素子は、互いに異なる第１基準レベルのＡ／Ｄ変換を伴う撮像を行うことで複数の第１画像データを生成し、複数の撮像素子のうちの残りの撮像素子は、互いに異なる第２基準レベルのＡ／Ｄ変換を伴う撮像を行うことで複数の第２画像データを生成し、処理部は、複数の第１画像データ及び複数の第２画像データを合成することで単一画像データを生成する第３の態様に係る撮像装置である。

本開示の技術に係る第６の態様は、処理部は、複数の撮像素子のうちの少なくとも１つによって撮像が行われることで得られた画像データの信号値を倍増させることにより得られた信号値倍増画像データを用いることで単一画像データを生成する第３の態様から第５の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第７の態様は、複数の撮像素子のうちの何れかが、残りの撮像素子の各々に関する基準レベルを、残りの撮像素子のうちの対応する撮像素子に供給する第３の態様から第６の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第８の態様は、処理部は、複数の画像データを加算することで合成する処理を行う第１の態様から第７の態様に何れか１つの態様に係る撮像装置である。

本開示の技術に係る第９の態様は、複数の画像データ間の基準レベルの差は、複数の画像データのうちの個々のデジタル値の変化に必要な最小の電圧レベル差よりも小さい第１の態様から第８の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第１０の態様は、複数の画像データ間の基準レベルの差は、電圧レベル差を複数の画像データのフレーム数で除した値に相当する値である第９の態様に係る撮像装置である。

本開示の技術に係る第１１の態様は、撮像素子は、少なくとも光電変換素子と記憶部とが１チップ化された第１の態様から第１０の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第１２の態様は、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である第１１の態様に係る撮像装置である。

本開示の技術に係る第１３の態様は、処理部により出力された単一画像データに基づく画像を表示部に対して表示させる制御、及び処理部により出力された単一画像データを記憶装置に対して記憶させる制御のうちの少なくとも一方を行う制御装置を更に含む第１の態様から第１２の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第１４の態様は、撮像素子であって、撮像素子に内蔵された光電変換素子と、光電変換素子から出力される複数の画像データを合成することで単一画像データを生成し、生成した単一画像データを出力し、かつ、撮像素子に内蔵された処理部と、を含み、複数の画像データは、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、処理部から出力される単一画像データのビット数は、複数の画像データの各々のビット数よりも大きい撮像素子である。

本開示の技術に係る第１５の態様は、撮像装置の作動方法であって、撮像素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、生成した単一画像データを出力することを含み、複数の画像データは、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、処理部から出力される単一画像データの画素単位のビット数は、複数の画像データの各々の画素単位のビット数よりも大きい撮像装置の作動方法である。

本開示の技術に係る第１６の態様は、撮像素子の作動方法であって、撮像素子に内蔵された光電変換素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、生成した単一画像データを出力することを含み、複数の画像データは、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、出力される単一画像データの画素単位のビット数は、複数の画像データの各々の画素単位のビット数よりも大きい撮像素子の作動方法である。

本開示の技術に係る第１７の態様は、コンピュータに、処理を実行させるためのプログラムであって、処理は、撮像素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、生成した単一画像データを出力することを含み、複数の画像データは、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、処理部から出力される単一画像データの画素単位のビット数は、複数の画像データの各々の画素単位のビット数よりも大きいプログラムである。

本開示の技術に係る第１８の態様は、コンピュータに、処理を実行させるためのプログラムであって、処理は、撮像素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、生成した単一画像データを出力することを含み、複数の画像データは、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、処理部から出力される単一画像データの画素単位のビット数は、複数の画像データの各々の画素単位のビット数よりも大きいプログラムである。

実施形態に係るスマートデバイスの背面側の外観の一例を示す背面視斜視図である。 図１に示すスマートデバイスの前面側の外観の一例を示す前面視斜視図である。 実施形態に係るスマートデバイスに含まれる第１撮像レンズ及び第１撮像素子の配置例を示すブロック図である。 実施形態に係るスマートデバイスに含まれる第２撮像レンズ及び第２撮像素子の配置例を示すブロック図である。 実施形態に係るスマートデバイスに含まれる第３撮像レンズ及び第３撮像素子の配置例を示すブロック図である。 実施形態に係るスマートデバイスに含まれる第４撮像レンズ及び第４撮像素子の配置例を示すブロック図である。 実施形態に係るスマートデバイスに含まれる撮像素子ユニット及び後段回路の接続例を示すブロック図である。 実施形態に係るスマートデバイスの撮像装置に含まれる撮像素子のフレームレートの説明に供する概念図である。 実施形態に係るスマートデバイスに含まれるコントローラ、ＵＩ系デバイス、及びその周辺の電気系の構成の一例を示すブロック図である。 実施形態に係る撮像素子の積層構造の一例を示す概念図である。 実施形態に係る撮像素子及びその周辺の構成の一例を示すブロック図である。 実施形態に係る撮像素子によって行われる撮像処理及び出力処理の内容の一例を示す遷移図である。 実施形態に係る撮像素子ユニットにおいて、第１撮像素子が第２撮像素子、第３撮像素子、及び第４撮像素子に基準レベルを供給する構成の一例を示すブロック図である。 実施形態に係る第１撮像素子、第２撮像素子、第３撮像素子、第４撮像素子、及び信号処理回路の構成の一例を示すブロック図である。 実施形態に係る撮像素子ユニットによって生成された第１デジタル画像データ、第２デジタル画像データ、第３デジタル画像データ、及び第４デジタル画像データが合成されることによって単一画像データが生成される過程の一例を示すブロック図である。 実施形態に係るＡ／Ｄ変換器の駆動用の信号電圧と、画素単位で１０ビットの単一画像データのデジタル値と、画素単位で８ビットの第１デジタル画像データのデジタル値と、画素単位で８ビットの第２デジタル画像データのデジタル値と、画素単位で８ビットの第３デジタル画像データと、画素単位で８ビットの第４デジタル画像データとの対応関係の一例を示す概念図である。 実施形態に係る画像合成処理の流れの一例を示すフローチャートである。 実施形態に係る撮像素子ユニットによって生成された第１デジタル画像データ、第３デジタル画像データ、及び第４デジタル画像データが合成されることによって単一画像データが生成される過程の一例を示すブロック図である。 実施形態に係る撮像素子によってＡ／Ｄ変換の基準レベルが互いに異なる４フレーム分のデジタル画像データが合成される構成の一例を示すブロック図である。 実施形態に係る撮像素子に含まれる光電変換素子の画素領域、及び光電変換素子の画素領域が区分されることで得られた第１～第４区分領域の一例を示す概念図である。 実施形態に係る撮像素子のＡ／Ｄ変換器によって数ビットのＡ／Ｄ変換が行われた場合に生じるローリングずれの一例を示す概念図である。 実施形態に係る撮像素子のＡ／Ｄ変換器によって十数ビットのＡ／Ｄ変換が行われた場合に生じるローリングずれの一例を示す概念図である。 実施形態に係る撮像素子のＡ／Ｄ変換器によって数ビットのＡ／Ｄ変換が行われることによって得られたデジタル画像データにより示される画像の一部の一例、及び撮像素子のＡ／Ｄ変換器によって十数ビットのＡ／Ｄ変換が行われることによって得られたデジタル画像データにより示される画像の一部の一例を示す概略画像図である。 実施形態に係る撮像素子の構成の変形例を示すブロック図である。 実施形態に係る第１撮像素子、第２撮像素子、及び信号処理回路の構成の一例を示すブロック図である。 実施形態に係る光電変換素子の画素領域、並びに、光電変換素子の画素領域が区分されることで得られた第１区分領域及び第２区分領域の一例を示す概念図である。 実施形態に係るＡ／Ｄ変換器の駆動用の信号電圧と、画素単位で１０ビットの単一画像データのデジタル値と、画素単位で９ビットの第１デジタル画像データのデジタル値と、画素単位で９ビットの第２デジタル画像データのデジタル値との対応関係の一例を示す概念図である。 第１撮像装置、第２撮像装置、第３撮像装置、及び第４撮像装置によって撮像が行われることで得られた４フレーム分のデジタル画像データが情報処理装置によって合成される場合の撮像システムの構成の一例を示すブロック図である。 画像合成処理プログラムが記憶された記憶媒体から、画像合成処理プログラムが信号処理回路内のコンピュータにインストールされる態様の一例を示す概念図である。 画像合成処理プログラムが記憶された記憶媒体から、画像合成処理プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。 ＬＳＩとは、“Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＶＤＳとは、“Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ”の略称を指す。ＰＣＩ－ｅとは、“Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ”の略称を指す。ＳＡＴＡとは、“Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ”の略称を指す。ＳＬＶＳ－ＥＣとは、“Ｓｃａｌａｂｌｅ Ｌｏｗ Ｓｉｇｎａｌｉｎｇ ｗｉｔｈ Ｅｍｂｅｄｄｅｄ Ｃｌｏｃｋ”の略称を指す。ＭＩＰＩとは、“Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｓｓｏｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＴＥとは、“Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ”の略称を指す。５Ｇとは、“５ｔｈ Ｇｅｎｅｒａｔｉｏｎ”の略称を指す。

本明細書の説明において、「鉛直」とは、完全な鉛直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの鉛直を指す。本明細書の説明において、「水平」とは、完全な水平の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの水平を指す。本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの垂直を指す。また、以下の説明において「～」を用いて表される数値範囲は、「～」の前後に記載される数値を下限値及び上限値として含む範囲を意味する。

一例として図１に示すように、スマートデバイス１０は、筐体１２を備えており、筐体１２に撮像素子ユニット１４が収容されている。スマートデバイス１０としては、例えば、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。

スマートデバイス１０は、第１撮像レンズ１６Ａ、第２撮像レンズ１６Ｂ、第３撮像レンズ１６Ｃ、及び第４撮像レンズ１６Ｄを備えている。スマートデバイス１０を縦置きの状態にした場合の筐体１２の背面１２Ａの左上部において、第１撮像レンズ１６Ａ、第２撮像レンズ１６Ｂ、第３撮像レンズ１６Ｃ、及び第４撮像レンズ１６Ｄは、鉛直方向に沿って既定の間隔（例えば、数ミリの間隔）で配置されており、背面１２Ａから露出している。第１撮像レンズ１６Ａの中心は光軸Ｌ１上に位置している。第２撮像レンズ１６Ｂの中心は光軸Ｌ２上に位置している。第３撮像レンズ１６Ｃの中心は光軸Ｌ３上に位置している。第４撮像レンズ１６Ｄの中心は光軸Ｌ４上に位置している。

撮像素子ユニット１４は、第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄを備えている。なお、以下では、説明の便宜上、第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄを区別して説明する必要がない場合、「撮像素子３８」と称する。

第１撮像素子３８Ａの前面側（物体側）には、第１撮像レンズ１６Ａが配置されている。第１撮像レンズ１６Ａは、被写体を示す被写体光（以下、単に「被写体光」とも称する）を取り込み、取り込んだ被写体光を第１撮像素子３８Ａに結像させる。第２撮像素子３８Ｂの前面側（物体側）には、第２撮像レンズ１６Ｂが配置されている。第２撮像レンズ１６Ｂは、被写体光を取り込み、取り込んだ被写体光を第２撮像素子３８Ｂに結像させる。第３撮像素子３８Ｃの前面側（物体側）には、第３撮像レンズ１６Ｃが配置されている。第３撮像レンズ１６Ｃは、被写体光を取り込み、取り込んだ被写体光を第３撮像素子３８Ｃに結像させる。第４撮像素子３８Ｄの前面側（物体側）には、第４撮像レンズ１６Ｄが配置されている。第４撮像レンズ１６Ｄは、被写体光を取り込み、取り込んだ被写体光を第４撮像素子３８Ｄに結像させる。

一例として図２に示すように、筐体１２の前面１２Ｂには、指示キー２２及びタッチパネル・ディスプレイ２４が設けられている。スマートデバイス１０を縦置きの状態にした場合の前面１２Ｂの下部には、指示キー２２が配置されており、指示キー２２の上方にタッチパネル・ディスプレイ２４が配置されている。なお、本実施形態では、指示キー２２がタッチパネル・ディスプレイ２４とは別に設けられているが、タッチパネル・ディスプレイ２４上の仮想的な指示キーであってもよい。

指示キー２２は、各種の指示を受け付ける。ここで言う「各種の指示」とは、例えば、ロック解除受付画面の表示の指示、各種メニューを選択可能なメニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、及び選択内容の消去の指示等を指す。なお、ロック解除受付画面とは、スマートデバイス１０のロックを解除するための暗号を受け付ける画面を指す。

タッチパネル・ディスプレイ２４は、ディスプレイ２６及びタッチパネル２８（図６も参照）を備えている。ディスプレイ２６の一例としては、液晶ディスプレイが挙げられる。ディスプレイ２６は、液晶ディスプレイではなく、有機ＥＬディスプレイ又は無機ＥＬディスプレイなどの他種類のディスプレイであってもよい。なお、ディスプレイ２６は、本開示の技術に係る「表示部（ディスプレイ）」の一例である。また、本実施形態では、タッチパネル２８が独立して設けられているが、ディスプレイ２６に内蔵された（いわゆるインセル型タッチパネル）でもよい。

ディスプレイ２６は、画像及び文字情報等を表示する。ディスプレイ２６は、撮像素子３８を用いた連続的な撮像により得られたライブビュー画像の表示に用いられる。また、ディスプレイ２６は、静止画像用の撮像の指示が与えられた場合に撮像素子３８によって撮像されることで得られた静止画像の表示にも用いられる。更に、ディスプレイ２６は、再生画像の表示及びメニュー画面等の表示にも用いられる。

タッチパネル２８は、透過型のタッチパネルであり、ディスプレイ２６の表示領域の表面に重ねられている。タッチパネル２８は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。

一例として図３Ａに示すように、第１撮像素子３８Ａは、受光面４２Ａ１を有する光電変換素子４２Ａを備えている。本実施形態において、第１撮像素子３８Ａは、ＣＭＯＳイメージセンサである。また、ここでは、第１撮像素子３８ＡとしてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、第１撮像素子３８ＡがＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

第１撮像レンズ１６Ａは、対物レンズ１６Ａ１、フォーカスレンズ１６Ａ２、及び絞り１６Ａ３を備えている。対物レンズ１６Ａ１、フォーカスレンズ１６Ａ２、及び絞り１６Ａ３は、被写体側（物体側）から受光面４２Ａ１側（像側）にかけて、光軸Ｌ１に沿って、対物レンズ１６Ａ１、フォーカスレンズ１６Ａ２、及び絞り１６Ａ３の順に配置されている。フォーカスレンズ１６Ａ２は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ１６Ａ２は、付与された動力に応じて光軸Ｌ１に沿って移動する。ここでは、絞り１６Ａ３の一例として、開口が変化しない固定絞りが採用されている。絞り１６Ａ３が固定絞りの場合、露出調節は第１撮像素子３８Ａの電子シャッタで行う。なお、絞り１６Ａ３は、固定絞りでなく、可変絞りであってもよい。

被写体光は、第１撮像レンズ１６Ａを透過し、受光面４２Ａ１に結像される。第１撮像素子３８Ａは、受光面４２Ａ１で被写体光を受光し、受光した被写体光を光電変換素子４２Ａに対して光電変換させることで、被写体を撮像する。第１撮像素子３８Ａは、被写体を撮像することで、被写体の画像を示す第１画像データを生成する。

一例として図３Ｂに示すように、第２撮像素子３８Ｂは、受光面４２Ｂ１を有する光電変換素子４２Ｂを備えている。本実施形態において、第２撮像素子３８Ｂは、ＣＭＯＳイメージセンサである。また、ここでは、第２撮像素子３８ＢとしてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、第２撮像素子３８ＢがＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

第２撮像レンズ１６Ｂは、対物レンズ１６Ｂ１、フォーカスレンズ１６Ｂ２、及び絞り１６Ｂ３を備えている。対物レンズ１６Ｂ１、フォーカスレンズ１６Ｂ２、及び絞り１６Ｂ３は、被写体側（物体側）から受光面４２Ｂ１側（像側）にかけて、光軸Ｌ２に沿って、対物レンズ１６Ｂ１、フォーカスレンズ１６Ｂ２、及び絞り１６Ｂ３の順に配置されている。フォーカスレンズ１６Ｂ２は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ１６Ｂ２は、付与された動力に応じて光軸Ｌ２に沿って移動する。ここでは、絞り１６Ｂ３の一例として、開口が変化しない固定絞りが採用されている。絞り１６Ｂ３が固定絞りの場合、露出調節は第２撮像素子３８Ｂの電子シャッタで行う。なお、絞り１６Ｂ３は、固定絞りでなく、可変絞りであってもよい。

被写体光は、第２撮像レンズ１６Ｂを透過し、受光面４２Ｂ１に結像される。第２撮像素子３８Ｂは、受光面４２Ｂ１で被写体光を受光し、受光した被写体光を光電変換素子４２Ｂに対して光電変換させることで、被写体を撮像する。第２撮像素子３８Ｂは、被写体を撮像することで、被写体の画像を示す第２画像データを生成する。

一例として図３Ｃに示すように、第３撮像素子３８Ｃは、受光面４２Ｃ１を有する光電変換素子４２Ｃを備えている。本実施形態において、第３撮像素子３８Ｃは、ＣＭＯＳイメージセンサである。また、ここでは、第３撮像素子３８ＣとしてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、第３撮像素子３８ＣがＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

第３撮像レンズ１６Ｃは、対物レンズ１６Ｃ１、フォーカスレンズ１６Ｃ２、及び絞り１６Ｃ３を備えている。対物レンズ１６Ｃ１、フォーカスレンズ１６Ｃ２、及び絞り１６Ｃ３は、被写体側（物体側）から受光面４２Ｃ１側（像側）にかけて、光軸Ｌ３に沿って、対物レンズ１６Ｃ１、フォーカスレンズ１６Ｃ２、及び絞り１６Ｃ３の順に配置されている。フォーカスレンズ１６Ｃ２は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ１６Ｃ２は、付与された動力に応じて光軸Ｌ３に沿って移動する。ここでは、絞り１６Ｃ３の一例として、開口が変化しない固定絞りが採用されている。絞り１６Ｃ３が固定絞りの場合、露出調節は第３撮像素子３８Ｃの電子シャッタで行う。なお、絞り１６Ｃ３は、固定絞りでなく、可変絞りであってもよい。

被写体光は、第３撮像レンズ１６Ｃを透過し、受光面４２Ｃ１に結像される。第３撮像素子３８Ｃは、受光面４２Ｃ１で被写体光を受光し、受光した被写体光を光電変換素子４２Ｃに対して光電変換させることで、被写体を撮像する。第３撮像素子３８Ｃは、被写体を撮像することで、被写体の画像を示す第３画像データを生成する。

一例として図３Ｄに示すように、第４撮像素子３８Ｄは、受光面４２Ｄ１を有する光電変換素子４２Ｄを備えている。本実施形態において、第４撮像素子３８Ｄは、ＣＭＯＳイメージセンサである。また、ここでは、第４撮像素子３８ＤとしてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、第４撮像素子３８ＤがＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

第４撮像レンズ１６Ｄは、対物レンズ１６Ｄ１、フォーカスレンズ１６Ｄ２、及び絞り１６Ｄ３を備えている。対物レンズ１６Ｄ１、フォーカスレンズ１６Ｄ２、及び絞り１６Ｄ３は、被写体側（物体側）から受光面４２Ｄ１側（像側）にかけて、光軸Ｌ４に沿って、対物レンズ１６Ｄ１、フォーカスレンズ１６Ｄ２、及び絞り１６Ｄ３の順に配置されている。フォーカスレンズ１６Ｄ２は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ１６Ｄ２は、付与された動力に応じて光軸Ｌ４に沿って移動する。ここでは、絞り１６Ｄ３の一例として、開口が変化しない固定絞りが採用されている。絞り１６Ｄ３が固定絞りの場合、露出調節は第４撮像素子３８Ｄの電子シャッタで行う。なお、絞り１６Ｄ３は、固定絞りでなく、可変絞りであってもよい。

被写体光は、第４撮像レンズ１６Ｄを透過し、受光面４２Ｄ１に結像される。第４撮像素子３８Ｄは、受光面４２Ｄ１で被写体光を受光し、受光した被写体光を光電変換素子４２Ｄに対して光電変換させることで、被写体を撮像する。第４撮像素子３８Ｄは、被写体を撮像することで、被写体の画像を示す第４画像データを生成する。

なお、以下では、説明の便宜上、第１画像データ、第２画像データ、第３画像データ、及び第４画像データを区別して説明する必要がない場合、単に「画像データ」と称する。また、以下では、説明の便宜上、受光面４２Ａ１、４２Ｂ１、４２Ｃ１及び４２Ｄ１を区別して説明する必要がない場合、符号を付さずに「受光面」と称する。更に、以下では、説明の便宜上、光電変換素子４２Ａ、４２Ｂ、４２Ｃ及び４２Ｄを区別して説明する必要がない場合、「光電変換素子４２」と称する。

一例として図４に示すように、スマートデバイス１０は、後段回路１３を備えている。後段回路１３は、撮像素子ユニット１４の後段に位置する回路である。より詳しくは、後段回路１３は、第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄの後段に位置している。

後段回路１３は、コントローラ１５及び信号処理回路３４を備えている。コントローラ１５は、スマートデバイス１０の電気系に接続されており、スマートデバイス１０の電気系の全体を制御する。図４に示す例では、コントローラ１５は、信号処理回路３４、第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄの各々に接続されている。第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄは、コントローラ１５の制御下で、被写体を撮像することで画像データを生成する。

第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄの各々は、信号処理回路３４に接続されている。第１撮像素子３８Ａは、コントローラ１５の制御下で、光電変換素子４２Ａによって生成された第１画像データを信号処理回路３４に出力する。第２撮像素子３８Ｂは、コントローラ１５の制御下で、光電変換素子４２Ｂによって生成された第２画像データを信号処理回路３４に出力する。第３撮像素子３８Ｃは、コントローラ１５の制御下で、光電変換素子４２Ｃによって生成された第３画像データを信号処理回路３４に出力する。第４撮像素子３８Ｄは、コントローラ１５の制御下で、光電変換素子４２Ｄによって生成された第４画像データを信号処理回路３４に出力する。

信号処理回路３４は、撮像素子３８から入力された画像データに対して各種の信号処理を行う。信号処理回路３４によって行われる各種の信号処理には、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理が含まれる。

なお、信号処理回路３４によって行われる各種の信号処理は、信号処理回路３４と撮像素子３８とで分散して行われるようにしてもよい。すなわち、信号処理回路３４によって行われる各種の信号処理のうちの少なくとも一部を撮像素子３８の処理回路１１０（図７及び図８参照）に担わせるようにしてもよい。

なお、本実施形態では、信号処理回路３４としてＡＳＩＣ及びＦＰＧＡを含むデバイスを例示しているが、本開示の技術はこれに限定されず、信号処理回路３４は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、信号処理回路３４は、ＣＰＵ、ストレージ、及びメモリを含むコンピュータであってもよい。ここで言う「ストレージ」とは、ＳＳＤ又はＨＤＤ等の不揮発性の記憶装置を指し、ここで言う「メモリ」とは、ＤＲＡＭ又はＳＲＡＭ等の揮発性の記憶装置を指す。コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。また、ＣＰＵに代えてＧＰＵを用いてもよい。また、信号処理回路３４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

一例として図５に示すように、撮像素子３８にはコントローラ１５から撮像タイミング信号が入力される。撮像タイミング信号には、垂直同期信号及び水平同期信号が含まれている。垂直同期信号は、光電変換素子４２からの１フレーム毎の画像データの読み出しの開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子４２からの水平ライン毎の画像データの読み出しの開始タイミングを規定する同期信号である。撮像素子３８は、コントローラ１５から入力された垂直同期信号に応じて定まるフレームレートに従って、光電変換素子４２から画像データを読み出す。

図５に示す例では、撮像素子３８のフレームレートとして、期間Ｔ内に光電変換素子４２から８フレーム分の読み出しが行われるフレームレートが示されている。具体的なフレームレートの一例としては、１２０ｆｐｓが挙げられるが、これに限らず、１２０ｆｐｓを超えるフレームレート（例えば、２４０ｆｐｓ）であってもよいし、１２０ｆｐｓ未満のフレームレート（例えば、６０ｆｐｓ）であってもよい。

一例として図６に示すように、コントローラ１５は、ＣＰＵ１５Ａ、ストレージ１５Ｂ、メモリ１５Ｃ、出力Ｉ／Ｆ１５Ｄ、及び受付Ｉ／Ｆ１５Ｅを備えている。ＣＰＵ１５Ａ、ストレージ１５Ｂ、メモリ１５Ｃ、出力Ｉ／Ｆ１５Ｄ、及び受付Ｉ／Ｆ１５Ｅは、バスライン１００を介して接続されている。図４に示す例では、図示の都合上、バスライン１００として１本のバスラインが図示されているが、バスライン１００は、シリアルバスで構成されているか、或いは、データバス、アドレスバス、及びコントロールバス等を含んで構成されている。

ストレージ１５Ｂは、各種パラメータ及び各種プログラムを記憶している。ストレージ１５Ｂは、不揮発性の記憶装置である。ここでは、ストレージ１５Ｂの一例として、ＥＥＰＲＯＭが採用されているが、これに限らず、マスクＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ１５Ｃは、記憶装置である。メモリ１５Ｃには、各種情報が一時的に記憶される。メモリ１５Ｃは、ＣＰＵ１５Ａによってワークメモリとして用いられる。ここでは、メモリ１５Ｃの一例として、ＤＲＡＭが採用されているが、これに限らず、ＳＲＡＭ等の他種類の記憶装置であってもよい。なお、ＣＰＵ１５Ａは、本開示の技術に係る「制御装置」の一例であり、ストレージ１５Ｂは、本開示の技術に係る「記憶装置」の一例である。

ストレージ１５Ｂには、各種プログラムが記憶されている。ＣＰＵ１５Ａは、ストレージ１５Ｂから必要なプログラムを読み出し、読み出したプログラムをメモリ１５Ｃ上で実行する。ＣＰＵ１５Ａは、メモリ１５Ｃ上で実行するプログラムに従ってスマートデバイス１０の全体を制御する。

出力Ｉ／Ｆ１５Ｄは、撮像素子ユニット１４に接続されている。ＣＰＵ１５Ａは、出力Ｉ／Ｆ１５Ｄを介して撮像素子ユニット１４を制御する。例えば、ＣＰＵ１５Ａは、出力Ｉ／Ｆ１５Ｄを介して撮像素子ユニット１４に対して、撮像を行うタイミングを規定する撮像タイミング信号を供給することで撮像素子ユニット１４によって行われる撮像のタイミングを制御する。

受付Ｉ／Ｆ１５Ｅは、信号処理回路３４に接続されている。ＣＰＵ１５Ａは、受付Ｉ／Ｆ１５Ｅを介して信号処理回路３４との間で各種情報の授受を行う。

信号処理回路３４には、撮像素子ユニット１４から画像データが入力される。信号処理回路３４は、撮像素子ユニット１４から入力された画像データに対して各種の信号処理を行う。信号処理回路３４は、各種の信号処理を行った画像データを受付Ｉ／Ｆ１５Ｅに出力する。受付Ｉ／Ｆ１５Ｅは、信号処理回路３４からの画像データを受け付け、受け付けた画像データをＣＰＵ１５Ａに転送する。

バスライン１００には、外部Ｉ／Ｆ１０４が接続されている。外部Ｉ／Ｆ１０４は、回路で構成された通信デバイスである。なお、ここでは、外部Ｉ／Ｆ１０４として回路で構成されたデバイスが採用されているが、これは、あくまでも一例に過ぎない。外部Ｉ／Ｆ１０４は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、外部Ｉ／Ｆ１０４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

外部Ｉ／Ｆ１０４の一例としては、ＵＳＢインタフェースがあり、ここにメモリカードコントローラ、他のスマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、及び／又はメモリカード等の外部装置（図示省略）が接続可能である。外部Ｉ／Ｆ１０４は、ＣＰＵ１５Ａと外部装置との間の各種情報の授受を司る。なお、外部Ｉ／Ｆ１０４に直接又は間接的に接続される外部装置、すなわち、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ及び／又はメモリカード等の外部装置は、本開示の技術に係る「記憶装置」の一例である。

ＵＩ系デバイス１７は、タッチパネル・ディスプレイ２４及び受付デバイス８４を備えている。ディスプレイ２６及びタッチパネル２８は、バスライン１００に接続されている。従って、ＣＰＵ１５Ａは、ディスプレイ２６に対して各種情報を表示させ、タッチパネル２８によって受け付けられた各種指示に従って動作する。受付デバイス８４は、ハードキー部２５を備えている。ハードキー部２５は、指示キー２２（図２参照）を含む少なくとも１つのハードキーである。ハードキー部２５は、バスライン１００に接続されており、ＣＰＵ１５Ａは、ハードキー部２５によって受け付けられた指示を取得し、取得した指示に従って動作する。但し、ハードキー部２５が外部Ｉ／Ｆ１０４に接続されている構成もあり得る。

なお、スマートデバイス１０は、ＬＴＥ、５Ｇ、無線ＬＡＮ、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）等の通信機能を有している。

一例として図７に示すように、撮像素子３８には、光電変換素子４２、処理回路１１０、及びメモリ１１２が内蔵されている。撮像素子３８は、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子である。すなわち、光電変換素子４２、処理回路１１０、及びメモリ１１２は１パッケージ化されている。撮像素子３８では、光電変換素子４２に対して処理回路１１０及びメモリ１１２が積層されている。具体的には、光電変換素子４２及び処理回路１１０は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路１１０及びメモリ１１２も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。ここでは、光電変換素子４２、処理回路１１０、及びメモリ１１２の３層構造が例示されているが、本開示の技術はこれに限らず、処理回路１１０とメモリ１１２とを１層としたメモリ層と、光電変換素子４２との２層構造であってもよい。

処理回路１１０は、例えば、ＬＳＩである。メモリ１１２は、書き込みタイミングと読み出しタイミングとが異なるメモリである。ここでは、メモリ１１２の一例として、ＤＲＡＭが採用されている。

処理回路１１０は、ＡＳＩＣ及びＦＰＧＡを含むデバイスであり、上述のコントローラ１５の指示に従って、撮像素子３８の全体を制御する。なお、ここでは、処理回路１１０がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される例を挙げているが、本開示の技術はこれに限定されるものではなく、例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、処理回路１１０として、ＣＰＵと、不揮発性の記憶装置であるＥＥＰＲＯＭ等のストレージと、揮発性の記憶装置であるＲＡＭ等のメモリとを含むコンピュータが採用されてもよい。コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。ＣＰＵに代えてＧＰＵを用いてもよい。また、処理回路１１０は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子４２は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子４２に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。

光電変換素子４２は、Ｒ画素、Ｇ画素、及びＢ画素を有する。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。Ｒ画素、Ｇ画素、及びＢ画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本実施形態では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、ここでは、Ｘ－Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。

撮像素子３８は、いわゆる電子シャッタ機能を有しており、コントローラ１５の制御下で電子シャッタ機能を働かせることで、光電変換素子４２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

撮像素子３８での撮像は、ローリングシャッタ方式の電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

なお、メモリ１１２は、本開示の技術に係る「記憶部（メモリ）」の一例である。本実施形態において、メモリ１１２としてＤＲＡＭが採用されているが、メモリ１１２が他の種類のメモリであっても本開示の技術は成立する。また、撮像素子３８は、本開示の技術に係る「積層型撮像素子」の一例である。

一例として図８に示すように、処理回路１１０は、受付Ｉ／Ｆ１１０Ｄ１及び出力Ｉ／Ｆ１１０Ｄ２を備えている。コントローラ１５の出力Ｉ／Ｆ１５Ｄは、処理回路１１０の受付Ｉ／Ｆ１１０Ｄ１に接続されており、撮像タイミング信号を受付Ｉ／Ｆ１１０Ｄ１に出力する。受付Ｉ／Ｆ１１０Ｄ１は、出力Ｉ／Ｆ１５Ｄから出力された撮像タイミング信号を受け付ける。

信号処理回路３４は、受付Ｉ／Ｆ３４Ａ及び出力Ｉ／Ｆ３４Ｂを備えている。受付Ｉ／Ｆ３４Ａは、撮像素子３８の出力Ｉ／Ｆ１１０Ｄ２に接続されている。処理回路１１０の出力Ｉ／Ｆ１１０Ｄ２は、画像データ等の各種情報（以下、単に「各種情報」とも称する）を信号処理回路３４の受付Ｉ／Ｆ３４Ａに出力し、受付Ｉ／Ｆ３４Ａは、出力Ｉ／Ｆ１１０Ｄ２から出力された各種情報を受け付ける。信号処理回路３４は、受付Ｉ／Ｆ３４Ａによって受け付けられた各種情報に対して、必要に応じて信号処理を施す。出力Ｉ／Ｆ３４Ｂは、コントローラ１５の受付Ｉ／Ｆ１５Ｅに接続されており、各種情報をコントローラ１５の受付Ｉ／Ｆ１５Ｅに出力する。受付Ｉ／Ｆ１５Ｅは、出力Ｉ／Ｆ３４Ｂから出力された各種情報を受け付ける。

なお、以下では、説明の便宜上、第１撮像素子３８Ａの出力Ｉ／Ｆ１１０Ｄ２を「出力Ｉ／Ｆ１１０Ｄ２ａ」と称し（図１１参照）、第２撮像素子３８Ｂの出力Ｉ／Ｆ１１０Ｄ２を「出力Ｉ／Ｆ１１０Ｄ２ｂ」と称し（図１１参照）、第３撮像素子３８Ｃの出力Ｉ／Ｆ１１０Ｄ２を「出力Ｉ／Ｆ１１０Ｄ２ｃ」と称し（図１１参照）、第４撮像素子３８Ｄの出力Ｉ／Ｆ１１０Ｄ２を「出力Ｉ／Ｆ１１０Ｄ２ｄ」と称し（図１１参照）、これらを区別して説明する必要がない場合、「出力Ｉ／Ｆ１１０Ｄ２」と称する（図８参照）。

また、信号処理回路３４の受付Ｉ／Ｆ３４Ａは、受付Ｉ／Ｆ３４Ａ１、３４Ａ２、３４Ａ３及び３４Ａ４に大別される（図１１参照）。受付Ｉ／Ｆ３４Ａ１は、出力Ｉ／Ｆ１１０Ｄ２ａに接続されている（図１１参照）。受付Ｉ／Ｆ３４Ａ２は、出力Ｉ／Ｆ１１０Ｄ２ｂに接続されている（図１１参照）。受付Ｉ／Ｆ３４Ａ３は、出力Ｉ／Ｆ１１０Ｄ２ｃに接続されている（図１１参照）。受付Ｉ／Ｆ３４Ａ４は、出力Ｉ／Ｆ１１０Ｄ２ｄに接続されている（図１１参照）。

一例として図８に示すように、撮像素子３８において、処理回路１１０は、受付Ｉ／Ｆ１１０Ｄ１及び出力Ｉ／Ｆ１１０Ｄ２の他に、読出回路１１０Ａ、デジタル処理回路１１０Ｂ、制御回路１１０Ｃ、画像処理回路１１０Ｅを備えている。

読出回路１１０Ａは、光電変換素子４２、デジタル処理回路１１０Ｂ、及び制御回路１１０Ｃの各々に接続されている。デジタル処理回路１１０Ｂは、制御回路１１０Ｃに接続されている。制御回路１１０Ｃは、メモリ１１２、受付Ｉ／Ｆ１１０Ｄ１、出力Ｉ／Ｆ１１０Ｄ２、及び画像処理回路１１０Ｅの各々に接続されている。

上述の画像データは、一例として図８に示すように、アナログ画像データ７０Ａとデジタル画像データ７０Ｂとに大別される。なお、以下では、説明の便宜上、アナログ画像データ７０Ａとデジタル画像データ７０Ｂとを区別して説明する必要がない場合、符号を付さずに「画像データ」と称する。

また、以下では、説明の便宜上、第１撮像素子３８Ａによって撮像が行われることで得られるデジタル画像データ７０Ｂを「第１デジタル画像データ７０Ｂ１」と称し（図１１参照）、第２撮像素子３８Ｂによって撮像が行われることで得られるデジタル画像データ７０Ｂを「第２デジタル画像データ７０Ｂ２」と称し（図１１参照）、第３撮像素子３８Ｃによって撮像が行われることで得られるデジタル画像データ７０Ｂを「第３デジタル画像データ７０Ｂ３」と称し（図１１参照）、第４撮像素子３８Ｄによって撮像が行われることで得られるデジタル画像データ７０Ｂを「第４デジタル画像データ７０Ｂ４」と称し（図１１参照）、これらを区別して説明する必要がない場合、「デジタル画像データ７０Ｂ」と称する。

処理回路１１０の受付Ｉ／Ｆ１１０Ｄ１及び出力Ｉ／Ｆ１１０Ｄ２の各々は、ＦＰＧＡを有する通信デバイスである。また、コントローラ１５の出力Ｉ／Ｆ１５Ｄ及び受付Ｉ／Ｆ１５Ｅの各々も、ＦＰＧＡを有する通信デバイスである。更に、信号処理回路３４の受付Ｉ／Ｆ３４Ａ及び出力Ｉ／Ｆ３４Ｂの各々も、ＦＰＧＡを有する通信デバイスである。

処理回路１１０の受付Ｉ／Ｆ１１０Ｄ１とコントローラ１５の出力Ｉ／Ｆ１５Ｄとの間は、ＰＣＩ－ｅの接続規格に従って接続されている。また、処理回路１１０の出力Ｉ／Ｆ１１０Ｄ２と信号処理回路３４の受付Ｉ／Ｆ３４Ａとの間も、ＰＣＩ－ｅの接続規格に従って接続されている。更に、信号処理回路３４の出力Ｉ／Ｆ３４Ｂとコントローラ１５の受付Ｉ／Ｆ１５Ｅとの間も、ＰＣＩ－ｅの接続規格に従って接続されている。なお、以下では、受付Ｉ／Ｆ１１０Ｄ１、出力Ｉ／Ｆ１１０Ｄ２、受付Ｉ／Ｆ３４Ａ、出力Ｉ／Ｆ３４Ｂ、受付Ｉ／Ｆ１５Ｅ、及び出力Ｉ／Ｆ１５Ｄを区別して説明する必要がない場合、符号を付さずに「通信Ｉ／Ｆ」と称する。

ここでは、通信Ｉ／Ｆとして回路（ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成された通信デバイスが採用されているが、これはあくまでも一例に過ぎない。通信Ｉ／Ｆは、ＣＰＵ、不揮発性の記憶装置であるＥＥＰＲＯＭ等のストレージ、及び揮発性の記憶装置であるＲＡＭ等のメモリを含むコンピュータであってもよい。この場合、コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。ＣＰＵに代えてＧＰＵを用いてもよい。また、通信Ｉ／Ｆは、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

受付Ｉ／Ｆ１１０Ｄ１は、コントローラ１５の出力Ｉ／Ｆ１５Ｄから出力された撮像タイミング信号を受け付け、受け付けた撮像タイミング信号を制御回路１１０Ｃに転送する。

読出回路１１０Ａは、制御回路１１０Ｃの制御下で、光電変換素子４２を制御し、光電変換素子４２からアナログ画像データ７０Ａを読み出す。光電変換素子４２からのアナログ画像データ７０Ａの読み出しは、コントローラ１５から処理回路１１０に入力された撮像タイミング信号に従って行われる。

具体的には、先ず、受付Ｉ／Ｆ１１０Ｄ１がコントローラ１５から撮像タイミング信号を受け付け、受け付けた撮像タイミング信号を制御回路１１０Ｃに転送する。次に、制御回路１１０Ｃは、受付Ｉ／Ｆ１１０Ｄ１から転送された撮像タイミング信号を読出回路１１０Ａに転送する。すなわち、読出回路１１０Ａには、垂直同期信号及び水平同期信号が転送される。そして、読出回路１１０Ａは、制御回路１１０Ｃから転送された垂直同期信号に従って光電変換素子４２からフレーム単位でのアナログ画像データ７０Ａの読み出しを開始する。また、読出回路１１０Ａは、制御回路１１０Ｃから転送された水平同期信号に従って水平ライン単位でのアナログ画像データ７０Ａの読み出しを開始する。

読出回路１１０Ａは、光電変換素子４２から読み出されたアナログ画像データ７０Ａに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子４２に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、アナログ画像データ７０Ａに対してゲインをかける処理である。また、読出回路１１０Ａは、アナログ画像データ７０Ａに対して相関二重サンプリングを行う。読出回路１１０Ａによって、アナログ画像データ７０Ａに対して相関二重サンプリング行われた後、アナログ画像データ７０Ａは、デジタル処理回路１１０Ｂに出力される。

デジタル処理回路１１０Ｂは、Ａ／Ｄ変換器１１０Ｂ１を備えている。Ａ／Ｄ変換器１１０Ｂ１は、アナログ画像データ７０Ａに対して画素単位で８ビットのＡ／Ｄ変換を行う。なお、以下では、説明の便宜上、第１撮像素子３８ＡのＡ／Ｄ変換器１１０Ｂ１を「Ａ／Ｄ変換器１１０Ｂ１ａ」と称し（図１０参照）、第２撮像素子３８ＢのＡ／Ｄ変換器１１０Ｂ１を「Ａ／Ｄ変換器１１０Ｂ１ｂ」と称し（図１０参照）、第３撮像素子３８ＣのＡ／Ｄ変換器１１０Ｂ１を「Ａ／Ｄ変換器１１０Ｂ１ｃ」と称し（図１０参照）、第４撮像素子３８ＤのＡ／Ｄ変換器１１０Ｂ１を「Ａ／Ｄ変換器１１０Ｂ１ｄ」と称し（図１０参照）、これらを区別して説明する必要がない場合、「Ａ／Ｄ変換器１１０Ｂ１」と称する（図８参照）。

デジタル処理回路１１０Ｂは、読出回路１１０Ａから入力されたアナログ画像データ７０Ａに対してデジタル信号処理を行う。デジタル信号処理には、例えば、相関二重サンプリング、Ａ／Ｄ変換器１１０Ｂ１によるＡ／Ｄ変換、及びデジタルゲイン処理が含まれる。

読出回路１１０Ａから入力されたアナログ画像データ７０Ａに対しては、Ａ／Ｄ変換器１１０Ｂ１によってＡ／Ｄ変換が行われ、これによって、アナログ画像データ７０Ａがデジタル化され、ＲＡＷデータとしてデジタル画像データ７０Ｂが得られる。そして、デジタル画像データ７０Ｂに対しては、デジタル処理回路１１０Ｂによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、デジタル画像データ７０Ｂに対してゲインをかける処理を指す。このようにデジタル信号処理が行われることによって得られたデジタル画像データ７０Ｂは、デジタル処理回路１１０Ｂによって制御回路１１０Ｃに出力される。

制御回路１１０Ｃは、デジタル処理回路１１０Ｂから入力されたデジタル画像データ７０Ｂを画像処理回路１１０Ｅに出力する。画像処理回路１１０Ｅは、制御回路１１０Ｃから入力されたデジタル画像データ７０Ｂに対して画像処理を行い、画像処理済みのデジタル画像データ７０Ｂを制御回路１１０Ｃに出力する。ここで言う「画像処理」としては、例えば、デモザイク処理及び／又はデジタル間引き処理等が挙げられる。

デモザイク処理は、カラーフィルタの配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、撮像素子３８がＲＧＢの３色のカラーフィルタが適用された撮像素子であれば、ＲＧＢのモザイク画像から画素毎にＲＧＢ全ての色情報が算出される。デジタル間引き処理は、画像データに含まれる画素をライン単位で間引く処理である。ライン単位とは、例えば、水平ライン単位及び／又は垂直ライン単位を指す。

メモリ１１２は、複数フレームのデジタル画像データを記憶可能なメモリである。メモリ１１２は、画素単位の記憶領域を有しており、デジタル画像データ７０Ｂは、制御回路１１０Ｃによって、画素単位で、メモリ１１２のうちの対応する記憶領域に記憶される。すなわち、制御回路１１０Ｃは、画像処理回路１１０Ｅから入力されたデジタル画像データ７０Ｂをメモリ１１２に記憶する。また、制御回路１１０Ｃは、メモリ１１２に対してランダムアクセス可能であり、フレームレートに従ってメモリ１１２からデジタル画像データ７０Ｂを取得する。そして、制御回路１１０Ｃは、メモリ１１２から取得したデジタル画像データ７０Ｂを出力Ｉ／Ｆ１１０Ｄ２に対して信号処理回路３４に出力させる。

信号処理回路３４では、出力Ｉ／Ｆ１１０Ｄ２から入力されたデジタル画像データ７０Ｂが受付Ｉ／Ｆ３４Ａによって受け付けられ、受け付けられたデジタル画像データ７０Ｂに対して各種の信号処理が行われる。

一例として図９に示すように、撮像素子３８では、撮像処理と出力処理とを含む処理が行われる。

撮像処理では、露光、アナログ画像データ７０Ａの読み出し、光電変換素子４２に対するリセット、アナログ信号処理、デジタル信号処理、１回目の記憶、１回目の取得、画像処理、及び２回目の記憶が順に行われる。

露光は、光電変換素子４２によって行われる。アナログ画像データ７０Ａの読み出し、光電変換素子４２に対するリセット、及びアナログ信号処理は、読出回路１１０Ａによって行われる。なお、光電変換素子４２によって露光が行われる期間は、アナログ画像データ７０Ａの読み出し及び光電変換素子４２に対するリセットが行われていない期間である。

デジタル信号処理は、デジタル処理回路１１０Ｂによって行われる。１回目の記憶とは、デジタル信号処理が行われることによって得られたデジタル画像データ７０Ｂのメモリ１１２への記憶を指す。１回目の取得とは、メモリ１１２からのデジタル画像データ７０Ｂの１回目の取得を指す。１回目の記憶及び１回目の取得は、制御回路１１０Ｃによって行われる。画像処理は、制御回路１１０Ｃによって取得されたデジタル画像データ７０Ｂに対して画像処理回路１１０Ｅによって行われる。２回目の記憶とは、画像処理が行われたデジタル画像データ７０Ｂのメモリ１１２への記憶を指す。２回目の記憶は、制御回路１１０Ｃによって行われる。

出力処理では、２回目の取得と、デジタル画像データ７０Ｂの出力とが行われる。２回目の取得とは、画像処理済みのデジタル画像データ７０Ｂのメモリ１１２からの取得を指す。２回目の取得は、制御回路１１０Ｃによって行われる。デジタル画像データ７０Ｂの出力とは、制御回路１１０Ｃによってメモリ１１２から取得された画像処理済みのデジタル画像データ７０Ｂの出力Ｉ／Ｆ１１０Ｄ２による信号処理回路３４への出力を指す。

一例として図１０に示すように、第１撮像素子３８Ａは、基準レベル生成回路３８Ａ１を備えている。基準レベル生成回路３８Ａ１は、Ａ／Ｄ変換器１１０Ｂ１ａ、１１０Ｂ１ｂ、１１０Ｂ１ｃ及び１１０Ｂ１ｄの各々がＡ／Ｄ変換を行うのに要する基準となる電圧、すなわち、基準レベルを生成する。図１０に示す例では、基準レベル生成回路３８Ａ１は、Ａ／Ｄ変換器１１０Ｂ１ａに対して０ｍＶ（ミリボルト）の基準レベルを生成し、Ａ／Ｄ変換器１１０Ｂ１ｂに対して－３ｍＶの基準レベルを生成し、Ａ／Ｄ変換器１１０Ｂ１ｃに対して－２ｍＶの基準レベルを生成し、Ａ／Ｄ変換器１１０Ｂ１ｄに対して－１ｍＶの基準レベルを生成している。例えば、基準レベル生成回路３８Ａ１は、分圧器（図示省略）を備えており、外部から第１撮像素子３８Ａに対して供給される駆動用の電圧を分圧器で分圧することで、０ｍＶ、－１ｍＶ、－２ｍＶ、及び－３ｍＶの基準レベルを生成する。

０ｍＶの基準レベルは、第１撮像素子３８Ａに関する基準レベルであり、－１ｍＶの基準レベルは、第２撮像素子３８Ｂに関する基準レベルであり、－２ｍＶの基準レベルは、第３撮像素子３８Ｃに関する基準レベルであり、－３ｍＶの基準レベルは、第４撮像素子３８Ｄに関する基準レベルである。このように、第１撮像素子３８Ａは、第１撮像素子３８Ａに関する基準レベルを生成する他に、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄの各々に関する基準レベルを生成する。そして、第１撮像素子３８Ａは、生成した各基準レベルを、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄのうちの対応する撮像素子３８に供給する。

基準レベル生成回路３８Ａ１は、Ａ／Ｄ変換器１１０Ｂ１ａに対して０ｍＶの基準レベルを設定する。Ａ／Ｄ変換器１１０Ｂ１ａは、基準レベル生成回路３８Ａ１によって設定された０ｍＶの基準レベルに従ってＡ／Ｄ変換を行う。

第２撮像素子３８Ｂは、基準レベル設定回路３８Ｂ１を備えている。基準レベル設定回路３８Ｂ１は、基準レベル生成回路３８Ａ１に接続されており、基準レベル生成回路３８Ａ１から－３ｍＶの基準レベルが供給され、供給された－３ｍＶの基準レベルをＡ／Ｄ変換器１１０Ｂ１ｂに対して設定する。Ａ／Ｄ変換器１１０Ｂ１ｂは、基準レベル設定回路３８Ｂ１によって設定された－３ｍＶの基準レベルに従ってＡ／Ｄ変換を行う。

第３撮像素子３８Ｃは、基準レベル設定回路３８Ｃ１を備えている。基準レベル設定回路３８Ｃ１は、基準レベル生成回路３８Ａ１に接続されており、基準レベル生成回路３８Ａ１から－２ｍＶの基準レベルが供給され、供給された－２ｍＶの基準レベルをＡ／Ｄ変換器１１０Ｂ１ｃに対して設定する。Ａ／Ｄ変換器１１０Ｂ１ｃは、基準レベル設定回路３８Ｃ１によって設定された－２ｍＶの基準レベルに従ってＡ／Ｄ変換を行う。

第４撮像素子３８Ｄは、基準レベル設定回路３８Ｄ１を備えている。基準レベル設定回路３８Ｄ１は、基準レベル生成回路３８Ａ１に接続されており、基準レベル生成回路３８Ａ１から－１ｍＶの基準レベルが供給され、供給された－１ｍＶの基準レベルをＡ／Ｄ変換器１１０Ｂ１ｄに対して設定する。Ａ／Ｄ変換器１１０Ｂ１ｄは、基準レベル設定回路３８Ｄ１によって設定された－１ｍＶの基準レベルに従ってＡ／Ｄ変換を行う。

一例として図１１に示すように、信号処理回路３４は、受付Ｉ／Ｆ３４Ａ１、３４Ａ２、３４Ａ３及び３４Ａ４を備えている。また、信号処理回路３４は、合成回路３４Ｃを備えている。

第１撮像素子３８Ａでは、Ａ／Ｄ変換器１１０Ｂ１ａによってＡ／Ｄ変換が行われることで得られた第１デジタル画像データ７０Ｂ１が出力Ｉ／Ｆ１１０Ｄ２ａから信号処理回路３４に出力される。信号処理回路３４では、受付Ｉ／Ｆ３４Ａ１が、出力Ｉ／Ｆ１１０Ｄ２ａから出力された第１デジタル画像データ７０Ｂ１を受け付ける。

第２撮像素子３８Ｂでは、Ａ／Ｄ変換器１１０Ｂ１ｂによってＡ／Ｄ変換が行われることで得られた第２デジタル画像データ７０Ｂ２が出力Ｉ／Ｆ１１０Ｄ２ｂから信号処理回路３４に出力される。信号処理回路３４では、受付Ｉ／Ｆ３４Ａ２が、出力Ｉ／Ｆ１１０Ｄ２ｂから出力された第２デジタル画像データ７０Ｂ２を受け付ける。

第３撮像素子３８Ｃでは、Ａ／Ｄ変換器１１０Ｂ１ｃによってＡ／Ｄ変換が行われることで得られた第３デジタル画像データ７０Ｂ３が出力Ｉ／Ｆ１１０Ｄ２ｃから信号処理回路３４に出力される。信号処理回路３４では、受付Ｉ／Ｆ３４Ａ３が、出力Ｉ／Ｆ１１０Ｄ２ｃから出力された第３デジタル画像データ７０Ｂ３を受け付ける。

第４撮像素子３８Ｄでは、Ａ／Ｄ変換器１１０Ｂ１ｄによってＡ／Ｄ変換が行われることで得られた第４デジタル画像データ７０Ｂ４が出力Ｉ／Ｆ１１０Ｄ２ｄから信号処理回路３４に出力される。信号処理回路３４では、受付Ｉ／Ｆ３４Ａ４が、出力Ｉ／Ｆ１１０Ｄ２ｄから出力された第４デジタル画像データ７０Ｂ４を受け付ける。

このように、第１デジタル画像データ７０Ｂ１は第１撮像素子３８Ａから得られ、第２デジタル画像データ７０Ｂ２は第２撮像素子３８Ｂから得られ、第３デジタル画像データ７０Ｂ３は第３撮像素子３８Ｃから得られ、第４デジタル画像データ７０Ｂ４は第４撮像素子３８Ｄから得られる。すなわち、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４は、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データとして信号処理回路３４に供給される。なお、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４は、本開示の技術に係る「複数の画像データ」の一例である。

合成回路３４Ｃは、受付Ｉ／Ｆ３４Ａ１によって受け付けられた第１デジタル画像データ７０Ｂ１、受付Ｉ／Ｆ３４Ａ２によって受け付けられた第２デジタル画像データ７０Ｂ２、受付Ｉ／Ｆ３４Ａ３によって受け付けられた第３デジタル画像データ７０Ｂ３、及び受付Ｉ／Ｆ３４Ａ４によって受け付けられた第４デジタル画像データ７０Ｂ４を合成することで単一画像データを生成する。出力Ｉ／Ｆ３４Ｂは、合成回路３４Ｃによって生成された単一画像データをコントローラ１５に出力する。

具体的には、合成回路３４Ｃは、画素単位で８ビットのデジタル画像データ７０Ｂを４フレーム分合成することで、画素単位で１０ビットの単一画像データを生成し、出力Ｉ／Ｆ３４Ｂは、画素単位で１０ビットの単一画像データをコントローラ１５に出力する。信号処理回路３４から出力される単一画像データの画素単位のビット数は、５フレーム分のデジタル画像データ７０Ｂの画素単位のビット数よりも大きい。

ここで言う「合成」とは、例えば、加算器（図示省略）による加算を指す。一例として図１２に示すように、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４の画素単位のビット数は“８”である。第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４が合成回路３４Ｃによって加算されることで、画素単位で１０ビットの単一画像データが生成される。なお、信号処理回路３４は、本開示の技術に係る「処理部（プロセッサ）」の一例である。

図１３には、Ａ／Ｄ変換器１１０Ｂ１の駆動用の信号電圧と、画素単位で１０ビットの単一画像データのデジタル値との相関の一例を示すグラフが示されている。図１３に示すグラフにおいて、横軸は、信号電圧を示しており、縦軸は、画素単位で１０ビットの単一画像データのデジタル値を示している。また、図１３には、画素単位で８ビットの第１デジタル画像データ７０Ｂ１のデジタル値と、画素単位で８ビットの第２デジタル画像データ７０Ｂ２のデジタル値と、画素単位で８ビットの第３デジタル画像データ７０Ｂ３と、画素単位で８ビットの第４デジタル画像データ７０Ｂ４と、画素単位で１０ビットの単一画像データのデジタル値との対応関係の一例が示されている。

なお、ここで言う「デジタル値」とは、いわゆる「階調値」を意味する。よって、画素単位で１０ビットの単一画像データは、“０”から“１０２３”までの階調値で表現される。

一例として図１３に示すように、デジタル画像データ７０Ｂの階調値は“２５６”である。Ａ／Ｄ変換器１１０Ｂ１がデジタル画像データ７０Ｂの階調値を“１”上げるのに必要な最小の電圧レベル差は４ｍＶである。例えば、デジタル画像データ７０Ｂの階調値の“０”から“１”への変化に必要な最小の電圧レベル差は４ｍＶである。つまり、Ａ／Ｄ変換器１１０Ｂ１は、階調値を“０”から“２５６”まで、１ずつ変化させる場合、“Ｍ（＝１以上の整数）×４”ｍＶの信号電圧を要する。８ビットの階調値を１ずつ変化させるのに要する信号電圧は、“Ｍ×４”のＭを１インクリメントすることで算出される。

このように、Ａ／Ｄ変換器１１０Ｂ１は、８ビットの階調値を“１”上げるのに、４ｍＶの電圧レベル差を要する。そこで、図１３に示す例では、説明の便宜上、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４間での階調値の関係性、並びに、８ビットの階調値と１０ビットの階調値との関係性の理解を容易するために、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４の各々についての１つの階調値を、同一の数値を４つ並べて表現している。

一例として図１３に示すように、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４間の基準レベルの差（１ｍＶ）は、Ａ／Ｄ変換器１１０Ｂ１がデジタル画像データ７０Ｂの階調値を“１”上げるのに必要な最小の電圧レベル差（４ｍＶ）よりも小さい。

第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４間の基準レベルの差（１ｍＶ）は、Ａ／Ｄ変換器１１０Ｂ１がデジタル画像データ７０Ｂの階調値を“１”上げるのに必要な最小の電圧レベル差（４ｍＶ）をデジタル画像データ７０Ｂのフレーム数で除した値に相当する値である。ここで言う「デジタル画像データ７０Ｂのフレーム数」とは、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４の４フレームを指す。

図１３に示す例では、第１デジタル画像データ７０Ｂ１の階調値の“０～２５５”が、第１デジタル画像データ７０Ｂ１の階調値の“０”と１０ビットの階調値の“０”との位置を合わせた状態でグラフの縦軸に沿って並べられている。また、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４の各々の階調値の“０～２５６”は、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４間の基準レベルの差だけグラフの縦軸方向にずらした状態で、グラフの縦軸に沿って並べられている。

一例として図１３に示すように、画素単位で１０ビットの単一画像データの階調値は、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４の階調値を加算した値である。例えば、第４デジタル画像データ７０Ｂ４の階調値の“２”と、第３デジタル画像データ７０Ｂ３の階調値の“３”と、第２デジタル画像データ７０Ｂ２の階調値の“３”と、第１デジタル画像データ７０Ｂ１の階調値の“２”とが、合成回路３４Ｃ（図１１及び図１２参照）によって加算されることで、画素単位で１０ビットの単一画像データの階調値として、“１０”が得られる。また、例えば、第４デジタル画像データ７０Ｂ４の階調値の“２５６”と、第３デジタル画像データ７０Ｂ３の階調値の“２５６”と、第２デジタル画像データ７０Ｂ２の階調値の“２５６”と、第１デジタル画像データ７０Ｂ１の階調値の“２５５”とが、合成回路３４Ｃ（図１１及び図１２参照）によって加算されることで、画素単位で１０ビットの単一画像データの階調値として、“１０２３”が得られる。

次に、スマートデバイス１０の作用について図１４を参照しながら説明する。

図１４には、信号処理回路３４によって実行される画像合成処理の流れの一例が示されている。図１４に示す画像合成処理では、先ず、ステップＳＴ１０で、信号処理回路３４は、撮像素子３８からのデジタル画像データ７０Ｂが受付Ｉ／Ｆ３４Ａによって受け付けられたか否かを判定する。ステップＳＴ１０において、撮像素子３８からのデジタル画像データ７０Ｂが受付Ｉ／Ｆ３４Ａによって受け付けられていない場合は、判定が否定されて、画像合成処理はステップＳＴ１８へ移行する。ステップＳＴ１０において、撮像素子３８からのデジタル画像データ７０Ｂが受付Ｉ／Ｆ３４Ａによって受け付けられた場合は、判定が肯定されて、画像合成処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、信号処理回路３４は、受付Ｉ／Ｆ３４Ａによってデジタル画像データ７０Ｂが受け付けられることで、全デジタル画像データ７０Ｂが揃ったか否かを判定する。ここで言う「全デジタル画像データ７０Ｂ」とは、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４を指す。

ステップＳＴ１２において、全デジタル画像データ７０Ｂが揃っていない場合は、判定が否定されて、画像合成処理はステップＳＴ１０へ移行する。全デジタル画像データ７０Ｂが揃った場合は、判定が肯定されて、画像合成処理はステップＳＴ１４へ移行する。

ステップＳＴ１４で、信号処理回路３４は、ステップＳＴ１０において受付Ｉ／Ｆ３４Ａによって受け付けられた全デジタル画像データ７０Ｂを合成することで、単一画像データを生成し、その後、画像合成処理はステップＳＴ１６へ移行する。すなわち、ステップＳＴ１４の処理が信号処理回路３４によって実行されると、画素単位で８ビットの第１デジタル画像データ７０Ｂ１、画素単位で８ビットの第２デジタル画像データ７０Ｂ２、画素単位で８ビットの第３デジタル画像データ７０Ｂ３、及び画素単位で８ビットの第４デジタル画像データ７０Ｂ４が加算されることによって、画素単位で１０ビットの単一画像データが生成される。

ステップＳＴ１６で、信号処理回路３４は、ステップＳＴ１４の処理が実行されることで得られた単一画像データをコントローラ１５に出力し、その後、画像合成処理はステップＳＴ１８へ移行する。

信号処理回路３４からコントローラ１５に出力された単一画像データに基づく画像（ライブビュー画像等）は、ＣＰＵ１５Ａの制御下で、ディスプレイ２６に表示される。また、信号処理回路３４からコントローラ１５に出力された単一画像データは、ＣＰＵ１５Ａの制御下で、ストレージ１５Ｂ、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、及び／又はメモリカード等に記憶される。

なお、ここでは、信号処理回路３４からコントローラ１５に出力された単一画像データに基づく画像がディスプレイ２６に表示され、かつ、単一画像データがストレージ１５Ｂ、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、及び／又はメモリカード等に記憶される形態例を挙げて説明しているが、本開示の技術はこれに限定されない。単一画像データに基づく画像のディスプレイ２６による表示、及び、ストレージ１５Ｂ、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、及び／又はメモリカード等への単一画像データの記憶の何れかがＣＰＵ１５Ａによって行われるようにしてもよい。

ステップＳＴ１８で、信号処理回路３４は、画像合成処理を終了する条件（以下、「画像合成処理終了条件」と称する）を満足したか否かを判定する。画像合成処理終了条件の一例としては、画像合成処理を終了させる指示が受付デバイス８４（図６参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ１８において、画像合成処理終了条件を満足していない場合は、判定が否定されて、画像合成処理はステップＳＴ１０へ移行する。ステップＳＴ１８において、画像合成処理終了条件を満足した場合は、判定が肯定されて、画像合成処理が終了する。

以上説明したように、スマートデバイス１０では、撮像素子ユニット１４によって、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４が生成される。第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４は、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データである。信号処理回路３４の合成回路３４Ｃによって、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４は合成され、これによって単一画像データが生成される。第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４の各々の画素単位のビット数は“８”であり、単一画像データの画素単位のビット数は“１０”である。つまり、単一画像データの画素単位のビット数はデジタル画像データ７０Ｂの単位画素のビット数よりも大きい。

このように、本構成によれば、撮像素子３８によって単位画素で８ビットのデジタル画像データ７０Ｂが生成されるので、撮像素子３８によって画素単位で１０ビットのデジタル画像データ７０Ｂが生成される場合に比べ、フレームレートを高くすることができる。また、画素単位で１０ビットの単一画像データ（信号処理回路３４から出力される単一画像データ）により示される画像は、画素単位で８ビットのデジタル画像データ７０Ｂ（撮像素子３８によって生成されたデジタル画像データ７０Ｂ）により示される画像よりも高画質である。従って、本構成によれば、同一の基準レベルのＡ／Ｄ変換を伴う撮像が常に行われる場合に比べ、高フレームレート及び高画質を実現することができる。

また、スマートデバイス１０では、複数のデジタル画像データ７０Ｂが複数の撮像素子３８から出力される。すなわち、第１撮像素子３８Ａによって第１デジタル画像データ７０Ｂ１が出力され、第２撮像素子３８Ｂによって第２デジタル画像データ７０Ｂ２が出力され、第３撮像素子３８Ｃによって第３デジタル画像データ７０Ｂ３が出力され、第４撮像素子３８Ｄによって第４デジタル画像データ７０Ｂ４が出力される。

従って、本構成によれば、単一画像データの生成に供する複数のデジタル画像データ７０Ｂが単一の撮像素子３８から出力される場合に比べ、単一画像データの生成に供する複数のデジタル画像データ７０Ｂを複雑な処理を伴わずに得ることができる。

また、スマートデバイス１０では、第１撮像素子３８Ａによって、第１撮像素子３８Ａに関する基準レベルが生成される他に、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄの各々に関する基準レベルも生成される。そして、第１撮像素子３８Ａによって、生成された各基準レベルが、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄのうちの対応する撮像素子３８に供給される。

従って、本構成によれば、第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄの各々が互いに独立して基準レベルを生成して各々のＡ／Ｄ変換に用いる場合に比べ、第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄ間での基準レベルの誤差に起因する画質低下を抑制することができる。

また、スマートデバイス１０では、合成回路３４Ｃによって、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４が加算されることで合成される。

従って、本構成によれば、加算以外の手段を用いて合成を行う場合に比べ、デジタル画像データ７０Ｂよりも高ビットの単一画像データを容易に生成することができる。

また、スマートデバイス１０では、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４間の基準レベルの差は、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４のうちの個別のデジタル値の変化に必要な最小の電圧レベル差よりも小さい。

従って、本構成によれば、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４間の基準レベルの差が、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４のうちの個別のデジタル値の変化に必要な最小の電圧レベル差以上の場合に比べ、Ａ／Ｄ変換によってビット間の情報が抜け落ちてしまうことを抑制することができる。

また、スマートデバイス１０では、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４間の基準レベルの差として、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４のうちの個別のデジタル値の変化に必要な最小の電圧レベル差をデジタル画像データ７０Ｂのフレーム数で除した値に相当する値が採用されている。

従って、本構成によれば、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４間の基準レベルの差が、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４のうちの個別のデジタル値の変化に必要な最小の電圧レベル差をデジタル画像データ７０Ｂのフレーム数で除した値よりも大きい場合に比べ、Ａ／Ｄ変換によってビット間の情報が抜け落ちてしまうことを抑制することができる。

また、スマートデバイス１０では、撮像素子３８として、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子が採用されている。これにより、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、撮像素子３８の可搬性が高くなる。また、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、スマートデバイス１０の小型化にも寄与することができる。

また、スマートデバイス１０では、一例として図７に示すように、撮像素子３８として、光電変換素子４２にメモリ１１２が積層された積層型撮像素子が採用されている。これにより、光電変換素子４２とメモリ１１２とを接続する配線を短くすることができるため、配線遅延を減らすことができ、この結果、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、光電変換素子４２からメモリ１１２への画像データの転送速度を高めることができる。転送速度の向上は、処理回路１１０全体での処理の高速化にも寄与する。また、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、スマートデバイス１０の小型化にも寄与することができる。

また、スマートデバイス１０では、信号処理回路３４によって出力された単一画像データに基づくライブビュー画像等がＣＰＵ１５Ａによってディスプレイ２６に表示される。これにより、信号処理回路３４によって出力された単一画像データに基づくライブビュー画像等をユーザに視認させることができる。

更に、スマートデバイス１０では、信号処理回路３４によって出力された単一画像データがＣＰＵ１５Ａによってストレージ１５Ｂ、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、及び／又はメモリカード等に記憶される。これにより、信号処理回路３４によって出力された単一画像データを管理することができる。

なお、上記実施形態では、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４が合成回路３４Ｃによって加算される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４のうちの３つが合成回路３４Ｃによって加算されることで単一画像データが生成されるようにしても良い。この場合、３つのデジタル画像データ７０Ｂのうちの１つの信号値を倍増させることによって得られた信号値倍増画像データと残りの２つのデジタル画像データ７０Ｂとが加算されるようにすればよい。

例えば、図１５に示すように、第１デジタル画像データ７０Ｂ１、第２デジタル画像データ７０Ｂ２、第３デジタル画像データ７０Ｂ３、及び第４デジタル画像データ７０Ｂ４のうち、第２デジタル画像データ７０Ｂ２を使用しない場合（例えば、第２撮像素子３８Ｂを使用しない場合）、第１デジタル画像データ７０Ｂ１の信号値が第１撮像素子３８Ａの制御回路１１０Ｃ又は信号処理回路３４によって倍増される。ここで言う「倍増」とは、例えば、デジタル画像データ７０Ｂの画素単位での信号値の倍増を指す。図１５に示す例では、第１デジタル画像データ７０Ｂ１の信号値が２倍され、信号値が２倍にされた第１デジタル画像データ７０Ｂ１が用いられることで単一画像データが生成される。すなわち、信号値が２倍にされた第１デジタル画像データ７０Ｂ１と、第３デジタル画像データ７０Ｂ３と、第４デジタル画像データ７０Ｂ４とが合成回路３４Ｃによって加算されることで、画素単位で１０ビットの単一画像データが生成される。なお、ここでは、１つのデジタル画像データ７０Ｂが欠落した場合を例示したが、複数のデジタル画像データ７０Ｂが欠落した場合であっても、欠落した分だけ他のデジタル画像データ７０Ｂの信号値が倍増されるようにすればよい。

本構成によれば、複数のデジタル画像データ７０Ｂのうちの何れかが欠落したとしても、単一画像データにより示される画像の明るさとして、デジタル画像データ７０Ｂが欠落していない場合に生成される単一画像データにより示される画像の明るさに相当する明るさを得ることができる。

上記実施形態では、第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄの各々からデジタル画像データ７０Ｂが信号処理回路３４に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１６に示すように、１つの撮像素子３８によって互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された４フレーム分のデジタル画像データ７０Ｂが出力Ｉ／Ｆ１１０Ｄ２によって信号処理回路３４に出力されるようにしてもよい。

この場合、基準レベルが０ｍＶのデジタル画像データ７０Ｂ、基準レベルが－３ｍＶのデジタル画像データ７０Ｂ、基準レベルが－２ｍＶのデジタル画像データ７０Ｂ、及び基準レベルが－１ｍＶのデジタル画像データ７０Ｂが撮像素子３８によって生成される。基準レベルが０ｍＶのデジタル画像データ７０Ｂ、基準レベルが－３ｍＶのデジタル画像データ７０Ｂ、基準レベルが－２ｍＶのデジタル画像データ７０Ｂ、及び基準レベルが－１ｍＶのデジタル画像データ７０Ｂは、受付Ｉ／Ｆ３４Ａによって受け付けられる。受付Ｉ／Ｆ３４Ａによって受け付けられた基準レベルが０ｍＶのデジタル画像データ７０Ｂ、基準レベルが－３ｍＶのデジタル画像データ７０Ｂ、基準レベルが－２ｍＶのデジタル画像データ７０Ｂ、及び基準レベルが－１ｍＶのデジタル画像データ７０Ｂは、合成回路３４Ｃによって、上記実施形態で説明したように合成され、これによって、画素単位で１０ビットの単一画像データが生成される。

１つの撮像素子３８が複数のデジタル画像データ７０Ｂを生成するために、一例として図１７に示すように、４つの区分領域について互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が撮像素子３８によって行われる。

具体的には、光電変換素子４２の画素領域が区分されることで得られた第１区分領域４２Ｎ１、第２区分領域４２Ｎ２、第３区分領域４２Ｎ３、及び第４区分領域４２Ｎ４について撮像素子３８が互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像を行う。ｎを１以上の整数とした場合、第１区分領域４２Ｎ１は、光電変換素子４２の画素領域のうち、「４ｎ－３」行目の画素群によって形成された領域である。また、第２区分領域４２Ｎ２は、光電変換素子４２の画素領域のうち、「４ｎ－２」行目の画素群によって形成された領域である。また、第３区分領域４２Ｎ３は、光電変換素子４２の画素領域のうち、「４ｎ－１」行目の画素群によって形成された領域である。さらに、第４区分領域４２Ｎ４は、光電変換素子４２の画素領域のうち、「４ｎ」行目の画素群によって形成された領域である。

基準レベルが０ｍＶのデジタル画像データ７０Ｂは、第１区分領域４２Ｎ１について基準レベルが０ｍＶのＡ／Ｄ変換を伴う撮像が撮像素子３８によって行われることで、生成される。また、基準レベルが－３ｍＶのデジタル画像データ７０Ｂは、第２区分領域４２Ｎ２について基準レベルが－３ｍＶのＡ／Ｄ変換を伴う撮像が撮像素子３８によって行われることで、生成される。また、基準レベルが－２ｍＶのデジタル画像データ７０Ｂは、第３区分領域４２Ｎ３について基準レベルが－２ｍＶのＡ／Ｄ変換を伴う撮像が撮像素子３８によって行われることで、生成される。更に、基準レベルが－１ｍＶのデジタル画像データ７０Ｂは、第４区分領域４２Ｎ４について基準レベルが－１ｍＶのＡ／Ｄ変換を伴う撮像が撮像素子３８によって行われることで、生成される。

図１６及び図１７に示す例によれば、撮像素子３８の画素領域が区分されることで得られた複数の区分領域について互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が撮像素子３８によって行われることで、複数のデジタル画像データ７０Ｂが生成される。そして、複数の区分領域について生成された複数のデジタル画像データ７０Ｂが、信号処理回路３４によって合成されることで、画素単位で１０ビットの単一画像データが生成される。これにより、同一の基準レベルのＡ／Ｄ変換を伴う撮像が常に行われる場合に比べ、撮像素子３８の個数に関わらず、高フレームレート及び高画質を実現することができる。

なお、図１７に示す例では、光電変換素子４２の画素領域が行単位で区分されることで得られた複数の区分領域が示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子４２の画素領域が列単位で区分されることで得られた複数の区分領域について互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われるようにしてよい。また、光電変換素子４２の画素領域が行方向及び列方向で区分されることで得られた複数の区分領域について互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われるようにしてよい。また、光電変換素子４２の画素領域が矩形状に等分されることで得られた複数の区分領域について互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われるようにしてよい。このように、光電変換素子４２の画素領域がＡ／Ｄ変換の基準レベル毎に区分されていれば、如何なる区分形態であっても本開示の技術は成立する。

ところで、スマートデバイス１０では、ローリングシャッタ方式の撮像が行われる。ローリングシャッタ方式の撮像が行われると、ローリングずれが生じる。ここで言う「ローリングずれ」とは、電子シャッタのローリングずれを指す。ここで、電子シャッタのローリングずれとは、例えば、光電変換素子４２のうちの先頭ラインに対する露光が開始されてから最終ラインに対する露光が開始されるまでの時間差を指す。

ローリングずれの大きさは、Ａ／Ｄ変換に要する時間の影響を受ける。例えば、画素単位で数ビットのＡ／Ｄ変換が行われるのに要する時間は、画素単位で十数ビットのＡ／Ｄ変換が行われる場合の時間よりも短いので、一例として図１８Ａ及び図１８Ｂに示すように、画素単位で数ビットのＡ／Ｄ変換が行われた場合のローリングずれは、画素単位で十数ビットのＡ／Ｄ変換が行われた場合のローリングずれよりも小さくなる。また、ローリングずれは、デジタル画像データ７０Ｂにより示される画像の歪みとして現れる。例えば、画素単位で数ビットのＡ／Ｄ変換が行われるのに要する時間は、画素単位で十数ビットのＡ／Ｄ変換が行われる場合の時間よりも短く、図１８Ａに示すローリングずれは、図１８Ｂに示すローリングずれよりも小さいので、一例として図１９に示すように、画素単位で数ビットのＡ／Ｄ変換を伴う撮像が撮像素子３８によって行われることで得られたデジタル画像データ７０Ｂにより示される画像の歪みは、画素単位で十数ビットのＡ／Ｄ変換を伴う撮像が撮像素子３８によって行われることで得られたデジタル画像データ７０Ｂにより示される画像の歪みに比べ、小さくなる。

従って、スマートデバイス１０では、撮像素子３８によって８ビットのＡ／Ｄ変換を伴う撮像が行われることで得られた複数のデジタル画像データ７０Ｂが信号処理回路３４によって合成されることで１０ビットの単一画像データが生成されるので、撮像素子３８によって１０ビットのデジタル画像データ７０Ｂが生成される場合に比べ、ローリングずれに起因する歪みが小さい画像を得ることができる。

また、上記実施形態では、撮像素子３８の後段に位置する信号処理回路３４によって複数のデジタル画像データ７０Ｂが合成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２０に示すように、画像処理回路１１０Ｅに合成回路１１０Ｅ１が組み込まれていてもよい。この場合、図１６に示す合成回路３４Ｃと同様に、合成回路１１０Ｅ１によって複数のデジタル画像データ７０Ｂが合成されることで単一画像データが生成されるようにすればよい。制御回路１１０Ｃは、合成回路１１０Ｅ１から単一画像データを取得し、取得した単一画像データを、出力Ｉ／Ｆ１１０Ｄ２に対して信号処理回路３４に出力させる。この場合も、上記実施形態と同様の効果が得られる。また信号処理回路３４に合成回路３４Ｃが組み込まれる場合に比べ、信号処理回路３４に合成回路３４Ｃが組み込まれない分、信号処理回路３４の回路構成を簡素にすることができる。

また、上記実施形態では、第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄの各々からデジタル画像データ７０Ｂが出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２１に示すように、第１撮像素子３８Ａによって、異なる基準レベルのＡ／Ｄ変換を伴う複数回の撮像が行われ、第２撮像素子３８Ｂによって、異なる基準レベルのＡ／Ｄ変換を伴う複数回の撮像が行われるようにしてもよい。図２１に示す例では、第１撮像素子３８Ａによって、基準レベルが０ｍＶのＡ／Ｄ変換を伴う撮像と、基準レベルが－３ｍＶのＡ／Ｄ変換を伴う撮像とが行われる。また、第２撮像素子３８Ｂによって、基準レベルが－２ｍＶのＡ／Ｄ変換を伴う撮像と、基準レベルが－１ｍＶのＡ／Ｄ変換を伴う撮像とが行われる。

第１撮像素子３８Ａは、基準レベルが０ｍＶのＡ／Ｄ変換を伴う撮像、及び基準レベルが－３ｍＶのＡ／Ｄ変換を伴う撮像のうちの一方の撮像を行ってから他方の撮像を行う。第２撮像素子３８Ｂは、基準レベルが－２ｍＶのＡ／Ｄ変換を伴う撮像、及び基準レベルが－１ｍＶのＡ／Ｄ変換を伴う撮像のうちの一方の撮像を行ってから他方の撮像を行う。

第１撮像素子３８Ａの出力Ｉ／Ｆ１１０Ｄ２ａは、Ａ／Ｄ変換の基準レベルが０ｍＶのデジタル画像データ７０Ｂ及びＡ／Ｄ変換の基準レベルが－３ｍＶのデジタル画像データ７０Ｂを信号処理回路３４に出力する。第２撮像素子３８Ｂの出力Ｉ／Ｆ１１０Ｄ２ｂは、Ａ／Ｄ変換の基準レベルが－２ｍＶのデジタル画像データ７０Ｂ及びＡ／Ｄ変換の基準レベルが－１ｍＶのデジタル画像データ７０Ｂを信号処理回路３４に出力する。

信号処理回路３４では、出力Ｉ／Ｆ１１０Ｄ２ａから出力されたデジタル画像データ７０Ｂが受付Ｉ／Ｆ３４Ａ１によって受け付けられ、出力Ｉ／Ｆ１１０Ｄ２ｂから出力されたデジタル画像データ７０Ｂが受付Ｉ／Ｆ３４Ａ２によって受け付けられる。そして、受付Ｉ／Ｆ３４Ａ１によって受け付けられた２フレーム分のデジタル画像データ７０Ｂ、及び受付Ｉ／Ｆ３４Ａ２によって受け付けられた２フレーム分のデジタル画像データ７０Ｂが合成回路３４Ｃによって合成される。受付Ｉ／Ｆ３４Ａ１によって受け付けられた２フレーム分のデジタル画像データ７０Ｂとは、Ａ／Ｄ変換の基準レベルが０ｍＶのデジタル画像データ７０Ｂ及びＡ／Ｄ変換の基準レベルが－３ｍＶのデジタル画像データ７０Ｂを指す。受付Ｉ／Ｆ３４Ａ２によって受け付けられた２フレーム分のデジタル画像データ７０Ｂとは、Ａ／Ｄ変換の基準レベルが－２ｍＶのデジタル画像データ７０Ｂ及びＡ／Ｄ変換の基準レベルが－１ｍＶのデジタル画像データ７０Ｂを指す。

このように、第１撮像素子３８Ａ及び第２撮像素子３８Ｂから出力された４フレーム分のデジタル画像データ７０Ｂが合成回路３４Ｃによって合成されることで、画素単位で１０ビットの単一画像データが生成される。そして、出力Ｉ／Ｆ３４Ｂによって単一画像データがコントローラ１５に出力される。

本構成によれば、単一画像データの生成に供する複数のデジタル画像データ７０Ｂを単一の撮像素子３８のみから得る場合に比べ、単一画像データの生成に供する複数のデジタル画像データ７０Ｂを得るのに撮像素子３８にかかる負荷を軽減することができる。

なお、図２１に示す例では、単一の撮像素子３８によって２回の撮像が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、単一の撮像素子３８によって３回以上の撮像が行われるようにしてもよい。この場合も、異なる基準レベルのＡ／Ｄ変換を伴う撮像が複数回行われるようにすればよい。

また、第１撮像素子３８Ａ及び第２撮像素子３８Ｂによって、異なる基準レベルのＡ／Ｄ変換を伴う撮像が複数回行われるようにしてもよい。例えば、第１撮像素子３８Ａによって、基準レベルが０ｍＶのＡ／Ｄ変換を伴う撮像が行われ、第２撮像素子３８Ｂによって、基準レベルが－３ｍＶのＡ／Ｄ変換を伴う撮像、基準レベルが－２ｍＶのＡ／Ｄ変換を伴う撮像、及び基準レベルが－１ｍＶのＡ／Ｄ変換を伴う撮像が行われるようにしてもよい。

また、図２１に示す例では、第１撮像素子３８Ａ及び第２撮像素子３８Ｂを示しているが、第１撮像素子３８Ａ、第２撮像素子３８Ｂ、及び第３撮像素子３８Ｃによって、異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われるようにしてもよい。例えば、第１撮像素子３８Ａによって、基準レベルが０ｍＶのＡ／Ｄ変換を伴う撮像が行われ、第２撮像素子３８Ｂによって、基準レベルが－３ｍＶのＡ／Ｄ変換を伴う撮像が行われ、第３撮像素子３８Ｃによって、基準レベルが－２ｍＶのＡ／Ｄ変換を伴う撮像と基準レベルが－１ｍＶのＡ／Ｄ変換を伴う撮像とが行われるようにしてもよい。

また、図２１に示す例では、撮像素子３８によって、異なる基準レベルのＡ／Ｄ変換を伴う撮像がシーケンシャルに行われることで、Ａ／Ｄ変換の基準レベルが異なる複数回の撮像が実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、光電変換素子４２の画素領域が区分されることで得られた複数の区分領域について互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が複数の撮像素子３８の各々によって行われるようにしてもよい。

図２２に示す例では、第１撮像素子３８Ａの光電変換素子４２Ａの画素領域が２つの画素群に区分されることで得られた第１区分領域４２Ａａ及び第２区分領域４２Ａｂが示されている。また、図２２に示す例では、第２撮像素子３８Ｂの光電変換素子４２Ｂの画素領域が２つの画素群に区分されることで得られた第１区分領域４２Ｂａ及び第２区分領域４２Ｂｂが示されている。

図２２に示す例では、第１区分領域４２Ａａについて、基準レベルが０ｍＶのＡ／Ｄ変換を伴う撮像が第１撮像素子３８Ａによって行われ、第２区分領域４２Ａｂについて、基準レベルが－３ｍＶのＡ／Ｄ変換を伴う撮像が第１撮像素子３８Ａによって行われる。これにより、基準レベルが０ｍＶのＡ／Ｄ変換を伴う撮像が第１撮像素子３８Ａによって行われることで、上述した第１デジタル画像データ７０Ｂ１に相当するデジタル画像データ７０Ｂが生成される。また、基準レベルが－３ｍＶのＡ／Ｄ変換を伴う撮像が第１撮像素子３８Ａによって行われることで、上述した第２デジタル画像データ７０Ｂ２に相当するデジタル画像データ７０Ｂが生成される。ここで言う「上述した第１デジタル画像データ７０Ｂ１に相当するデジタル画像データ７０Ｂ」及び「上述した第２デジタル画像データ７０Ｂ２に相当するデジタル画像データ７０Ｂ」は、本開示の技術に係る「複数の第１画像データ」の一例である。また、０ｍＶ及び－３ｍＶは、本開示の技術に係る「互いに異なる第１基準レベル」の一例である。

また、図２２に示す例では、第１区分領域４２Ｂａについて、基準レベルが－２ｍＶのＡ／Ｄ変換を伴う撮像が第２撮像素子３８Ｂによって行われ、第２区分領域４２Ｂｂについて、基準レベルが－１ｍＶのＡ／Ｄ変換を伴う撮像が第２撮像素子３８Ｂによって行われる。これにより、基準レベルが－２ｍＶのＡ／Ｄ変換を伴う撮像が第２撮像素子３８Ｂによって行われることで、上述した第３デジタル画像データ７０Ｂ３に相当するデジタル画像データ７０Ｂが生成される。また、基準レベルが－１ｍＶのＡ／Ｄ変換を伴う撮像が第２撮像素子３８Ｂによって行われることで、上述した第４デジタル画像データ７０Ｂ４に相当するデジタル画像データ７０Ｂが生成される。ここで言う「上述した第３デジタル画像データ７０Ｂ３に相当するデジタル画像データ７０Ｂ」及び「上述した第４デジタル画像データ７０Ｂ４に相当するデジタル画像データ７０Ｂ」は、本開示の技術に係る「複数の第２画像データ」の一例である。また、－２ｍＶ及び－１ｍＶは、本開示の技術に係る「互いに異なる第２基準レベル」の一例である。

本構成によれば、単一画像データの生成に供する複数のデジタル画像データ７０Ｂを単一の撮像素子３８のみから得る場合に比べ、単一画像データの生成に供する複数のデジタル画像データ７０Ｂを得るのに撮像素子３８にかかる負荷を軽減することができる。

また、上記実施形態では、画素単位で８ビットのデジタル画像データ７０Ｂに基づいて画素単位で１０ビットの単一画像データが生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２３に示すように、画素単位で９ビットの第１デジタル画像データ７０Ｂ１と、画素単位で９ビットの第２デジタル画像データ７０Ｂ２とが合成回路３４Ｃによって加算されることで、画素単位で１０ビットの単一画像データが生成されるようにしてもよい。

図２３には、Ａ／Ｄ変換器１１０Ｂ１の駆動用の信号電圧と、画素単位で１０ビットの単一画像データのデジタル値との相関の一例を示すグラフが示されている。図２３に示すグラフにおいて、横軸は、信号電圧を示しており、縦軸は、画素単位で１０ビットの単一画像データのデジタル値を示している。また、図２３には、画素単位で９ビットの第１デジタル画像データ７０Ｂ１のデジタル値と、画素単位で９ビットの第２デジタル画像データ７０Ｂ２のデジタル値と、画素単位で１０ビットの単一画像データのデジタル値との対応関係の一例が示されている。

一例として図２３に示すように、デジタル画像データ７０Ｂの階調値は“５１２”である。Ａ／Ｄ変換器１１０Ｂ１がデジタル画像データ７０Ｂの階調値を“１”上げるのに必要な最小の電圧レベル差は２ｍＶである。例えば、デジタル画像データ７０Ｂの階調値の“０”から“１”への変化に必要な最小の電圧レベル差は２ｍＶである。つまり、Ａ／Ｄ変換器１１０Ｂ１は、階調値を“０”から“５１２”まで、１ずつ変化させる場合、“Ｙ（＝１以上の整数）×２”ｍＶの信号電圧を要する。９ビットの階調値を１ずつ変化させるのに要する信号電圧は、“Ｙ×２”のＹを１インクリメントすることで算出される。

このように、Ａ／Ｄ変換器１１０Ｂ１は、９ビットの階調値を“１”上げるのに、２ｍＶの電圧レベル差を要する。そこで、図２３に示す例では、説明の便宜上、第１デジタル画像データ７０Ｂ１及び第２デジタル画像データ７０Ｂ２間での階調値の関係性、並びに、９ビットの階調値と１０ビットの階調値との関係性の理解を容易するために、第１デジタル画像データ７０Ｂ１及び第２デジタル画像データ７０Ｂ２の各々についての１つの階調値を、同一の数値を２つ並べて表現している。

一例として図２３に示すように、第１デジタル画像データ７０Ｂ１及び第２デジタル画像データ７０Ｂ２間の基準レベルの差（１ｍＶ）は、Ａ／Ｄ変換器１１０Ｂ１がデジタル画像データ７０Ｂの階調値を“１”上げるのに必要な最小の電圧レベル差（２ｍＶ）よりも小さい。

第１デジタル画像データ７０Ｂ１及び第２デジタル画像データ７０Ｂ２間の基準レベルの差（１ｍＶ）は、Ａ／Ｄ変換器１１０Ｂ１がデジタル画像データ７０Ｂの階調値を“１”上げるのに必要な最小の電圧レベル差（２ｍＶ）をデジタル画像データ７０Ｂのフレーム数で除した値に相当する値である。ここで言う「デジタル画像データ７０Ｂのフレーム数」とは、第１デジタル画像データ７０Ｂ１及び第２デジタル画像データ７０Ｂ２の２フレームを指す。

図２３に示す例では、第１デジタル画像データ７０Ｂ１の階調値の“０～５１１”が、第１デジタル画像データ７０Ｂ１の階調値の“０”と１０ビットの階調値の“０”との位置を合わせた状態でグラフの縦軸に沿って並べられている。また、第２デジタル画像データ７０Ｂ２の階調値の“０～５１２”は、第１デジタル画像データ７０Ｂ１及び第２デジタル画像データ７０Ｂ２間の基準レベルの差だけグラフの縦軸方向にずらした状態で、グラフの縦軸に沿って並べられている。

上記では、複数の８ビットの画像データ（デジタル画像データ７０Ｂ）が合成されることで１０ビットの画像データ（単一画像データ）が生成される形態例と、複数の９ビットの画像データが合成されることで１０ビットの画像データが生成される形態例（図２３参照）を挙げて説明したが、Ａを１以上の整数とし、ＢをＡよりも大きな整数とした場合、複数のＡビットの画像データが合成されることで単一のＢビットの画像データが生成されるようにすればよい。

一例として図２３に示すように、画素単位で１０ビットの単一画像データの階調値は、第１デジタル画像データ７０Ｂ１及び第２デジタル画像データ７０Ｂ２の階調値を加算した値である。例えば、第２デジタル画像データ７０Ｂ２の階調値の“５”と、第１デジタル画像データ７０Ｂ１の階調値の“５”とが、合成回路３４Ｃ（図１１及び図１２参照）によって加算されることで、画素単位で１０ビットの単一画像データの階調値として、“１０”が得られる。また、例えば、第２デジタル画像データ７０Ｂ２の階調値の“５１２”と、第１デジタル画像データ７０Ｂ１の階調値の“５１１”とが、合成回路３４Ｃ（図１１及び図１２参照）によって加算されることで、画素単位で１０ビットの単一画像データの階調値として、“１０２３”が得られる。

また、上記実施形態では、撮像素子３８として、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子４２、処理回路１１０、及びメモリ１１２のうち、少なくとも光電変換素子４２及びメモリ１１２が１チップ化されていればよい。

また、上記実施形態では、通信Ｉ／Ｆ間がＰＣＩ－ｅの接続規格に従って接続されているが、本開示の技術はこれに限定されない。ＰＣＩ－ｅの接続規格に代えて、ＬＶＤＳ、ＳＡＴＡ、ＳＬＶＳ－ＥＣ、又はＭＩＰＩ等の他の接続規格が採用されてもよい。

また、上記実施形態では、撮像素子３８と信号処理回路３４との間の通信、コントローラ１５と撮像素子３８との通信、及び信号処理回路３４とコントローラ１５との通信は何れも有線形式の通信である。しかし、本開示の技術はこれに限定されない。撮像素子３８と信号処理回路３４との間の通信、コントローラ１５と撮像素子３８との通信、及び／又は信号処理回路３４とコントローラ１５との通信を無線形式の通信としてもよい。

また、上記実施形態では、基準レベル生成回路３８Ａ１（図１０参照）によって、第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄの各々についての基準レベルを生成する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第１撮像素子３８Ａ、第２撮像素子３８Ｂ、第３撮像素子３８Ｃ、及び第４撮像素子３８Ｄの各々が互いに独立して基準レベルを生成するようにしてもよい。

また、上記実施形態では、ＵＩ系デバイス１７がスマートデバイス１０に組み込まれている形態例を挙げて説明したが、ＵＩ系デバイス１７に含まれる複数の構成要素の少なくとも一部がスマートデバイス１０に対して外付けされていてもよい。また、ＵＩ系デバイス１７に含まれる複数の構成要素のうちの少なくとも一部が別体として外部Ｉ／Ｆ１０４に接続されることによって使用されるようにしてもよい。

また、上記実施形態では、フレームレートとして１２０ｆｐｓを例示したが、本開示の技術はこれに限定されず、撮像用のフレームレート（例えば、図９に示す撮像処理で適用されるフレームレート）と出力用のフレームレート（例えば、図９に示す出力処理で適用されるフレームレート）とを異なるフレームレートとしてもよい。撮像用のフレームレート及び／又は出力用のフレームレートは固定のフレームレートであってもよいし、可変のフレームレートであってもよい。可変のフレームレートの場合、例えば、既定条件（例えば、フレームレートを変更する指示が受付デバイス８４によって受け付けられたとの条件、及び／又は、フレームレートを変更するタイミングとして事前に定められたタイミングが到来したとの条件）を満足した場合にフレームレートが変更されるようにしてもよい。可変のフレームレートの場合、フレームレートの具体的な数値は、例えば、受付デバイス８４によって受け付けられた指示に従って変更されるようにしてもよいし、後段回路１３及び／又は撮像素子３８の稼働率に従って変更されるようにしてもよい。

また、上記実施形態では、撮像素子ユニット１４を有するスマートデバイス１０を例示したが、本開示の技術はこれに限定されない。例えば、図２４に示すように、第１撮像装置５３８Ａ、第２撮像装置５３８Ｂ、第３撮像装置５３８Ｃ、及び第４撮像装置５３８Ｄを有する撮像システム５００であっても本開示の技術は成立する。第１撮像装置５３８Ａ、第２撮像装置５３８Ｂ、第３撮像装置５３８Ｃ、及び第４撮像装置５３８Ｄの一例としては、レンズ交換式カメラが挙げられる。なお、ここでは、第１撮像装置５３８Ａ、第２撮像装置５３８Ｂ、第３撮像装置５３８Ｃ、及び第４撮像装置５３８Ｄの一例としてレンズ交換式カメラを挙げているが、本開示の技術はこれに限らず、レンズ固定式カメラ等の多種類のカメラであってもよい。

図２４に示す例において、撮像システム５００は、第１撮像装置５３８Ａ、第２撮像装置５３８Ｂ、第３撮像装置５３８Ｃ、及び第４撮像装置５３８Ｄの他に、情報処理装置５３４を備えている。情報処理装置５３４としては、例えば、スマートデバイス、パーソナル・コンピュータ又はサーバ等が挙げられる。情報処理装置５３４は、上記実施形態で説明した受付Ｉ／Ｆ３４Ａ１に対応する受付Ｉ／Ｆ５３４Ａ１、上記実施形態で説明した受付Ｉ／Ｆ３４Ａ２に対応する受付Ｉ／Ｆ５３４Ａ２、上記実施形態で説明した受付Ｉ／Ｆ３４Ａ３に対応する受付Ｉ／Ｆ５３４Ａ３、及び上記実施形態で説明した受付Ｉ／Ｆ３４Ａ４に対応する受付Ｉ／Ｆ５３４Ａ４を備えている。また、情報処理装置５３４は、上記実施形態で説明した合成回路３４Ｃに相当する合成回路５３４Ａを備えている。更に、情報処理装置５３４は、上記実施形態で説明した出力Ｉ／Ｆ３４Ｂに対応する出力Ｉ／Ｆ５３４Ｂを備えている。

第１撮像装置５３８Ａは、第１撮像素子３８Ａを備えている。また、第１撮像装置５３８Ａは、上記実施形態で説明した後段回路１３に対応する後段回路５１３Ａを備えている。後段回路５１３Ａは、第１撮像素子３８Ａの出力Ｉ／Ｆ１１０Ｄ２ａから出力された第１デジタル画像データ７０Ｂ１を受け付け、受け付けた第１デジタル画像データ７０Ｂ１を情報処理装置５３４に出力する。

第２撮像装置５３８Ｂは、第２撮像素子３８Ｂを備えている。また、第２撮像装置５３８Ｂは、上記実施形態で説明した後段回路１３に対応する後段回路５１３Ｂを備えている。後段回路５１３Ｂは、第２撮像素子３８Ｂの出力Ｉ／Ｆ１１０Ｄ２ｂから出力された第２デジタル画像データ７０Ｂ２を受け付け、受け付けた第２デジタル画像データ７０Ｂ２を情報処理装置５３４に出力する。

第３撮像装置５３８Ｃは、第３撮像素子３８Ｃを備えている。また、第３撮像装置５３８Ｃは、上記実施形態で説明した後段回路１３に対応する後段回路５１３Ｃを備えている。後段回路５１３Ｃは、第３撮像素子３８Ｃの出力Ｉ／Ｆ１１０Ｄ２ｃから出力された第３デジタル画像データ７０Ｂ３を受け付け、受け付けた第３デジタル画像データ７０Ｂ３を情報処理装置５３４に出力する。

第４撮像装置５３８Ｄは、第４撮像素子３８Ｄを備えている。また、第４撮像装置５３８Ｄは、上記実施形態で説明した後段回路１３に対応する後段回路５１３Ｄを備えている。後段回路５１３Ｄは、第４撮像素子３８Ｄの出力Ｉ／Ｆ１１０Ｄ２ｄから出力された第４デジタル画像データ７０Ｂ４を受け付け、受け付けた第４デジタル画像データ７０Ｂ４を情報処理装置５３４に出力する。

受付Ｉ／Ｆ５３４Ａ１は、第１撮像装置５３８Ａからの第１デジタル画像データ７０Ｂ１を受け付ける。受付Ｉ／Ｆ５３４Ａ２は、第２撮像装置５３８Ｂからの第２デジタル画像データ７０Ｂ２を受け付ける。受付Ｉ／Ｆ５３４Ａ３は、第３撮像装置５３８Ｃからの第３デジタル画像データ７０Ｂ３を受け付ける。受付Ｉ／Ｆ５３４Ａ４は、第４撮像装置５３８Ｄからの第４デジタル画像データ７０Ｂ４を受け付ける。

合成回路５３４Ｃは、受付Ｉ／Ｆ５３４Ａ１によって受け付けられた第１デジタル画像データ７０Ｂ１、受付Ｉ／Ｆ５３４Ａ２によって受け付けられた第２デジタル画像データ７０Ｂ２、受付Ｉ／Ｆ５３４Ａ３によって受け付けられた第３デジタル画像データ７０Ｂ３、及び受付Ｉ／Ｆ５３４Ａ４によって受け付けられた第４デジタル画像データ７０Ｂ４を合成することで、上記実施形態で説明した単一画像データを生成する。

合成回路５３４Ｃによって生成された単一画像データは、出力Ｉ／Ｆ５３４Ｂによってディスプレイ及び／又は記憶装置等の外部装置に出力され、単一画像データに基づく画像がディスプレイに表示されたり、単一画像データが記憶装置に記憶されたりする。

このように構成された撮像システム５００であっても、上記実施形態と同様の作用及び効果が得られる。なお、撮像システム５００は、本開示の技術に係る「撮像装置」の一例であり、情報処理装置５３４は、本開示の技術に係る「処理部」の一例である。

また、上記実施形態では、信号処理回路３４としてＡＳＩＣ及びＦＰＧＡを含むデバイスを例示しているが、本開示の技術はこれに限定されず、信号処理回路３４は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図２５に示すように、信号処理回路３４にはコンピュータ８５２が内蔵されており、コンピュータ８５２に上記実施形態に係る画像合成処理を実行させるための画像合成処理プログラム９０２を記憶媒体９００に記憶させておく。記憶媒体９００の一例としては、非一時的記憶媒体であるＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

コンピュータ８５２は、ＣＰＵ８５２Ａ、ストレージ８５２Ｂ、及びメモリ８５２Ｃを備えている。ＣＰＵ８５２Ａは、本開示の技術に係る「プロセッサ」の一例であり、メモリ８５２Ｃは、本開示の技術に係る「メモリ」の一例である。ストレージ８５２Ｂは、ＥＥＰＲＯＭ等の不揮発性の記憶装置であり、メモリ８５２Ｃは、ＲＡＭ等の揮発性の記憶装置である。記憶媒体９００に記憶されている画像合成処理プログラム９０２は、コンピュータ８５２にインストールされる。ＣＰＵ８５２Ａは、画像合成処理プログラム９０２に従って画像合成処理を実行する。

画像合成処理プログラム９０２は、記憶媒体９００ではなく、ストレージ８５２Ｂに記憶されていてもよい。この場合、ＣＰＵ８５２Ａは、ストレージ８５２Ｂから画像合成処理プログラム９０２を読み出し、読み出した画像合成処理プログラム９０２をメモリ８５２Ｃに展開する。そして、ＣＰＵ８５２Ａは、メモリ８５２Ｃに展開した画像合成処理プログラム９０２に従って、画像合成処理を実行する。

また、通信網（図示省略）を介してコンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部に画像合成処理プログラム９０２を記憶させておき、上述のスマートデバイス１０の要求に応じて画像合成処理プログラム９０２がダウンロードされ、コンピュータ８５２にインストールされるようにしてもよい。

なお、コンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部に画像合成処理プログラム９０２の全てを記憶させておく必要はなく、画像合成処理プログラム９０２の一部を記憶させておいてもよい。

図２５に示す例では、信号処理回路３４にコンピュータ８５２が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コンピュータ８５２が信号処理回路３４の外部に設けられるようにしてもよい。

図２５に示す例では、ＣＰＵ８５２Ａは、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ８５２Ａに代えてＧＰＵを適用してもよい。

図２５に示す例では、コンピュータ８５２が例示されているが、本開示の技術はこれに限定されず、コンピュータ８５２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ８５２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

また、図２５に示す例と同様に、図２０に示す撮像素子３８についても、一例として図２６に示すように、処理回路１１０に代えてコンピュータ８５２を適用してもよいし、処理回路１１０内の少なくとも合成回路１１０Ｅ１に代えてコンピュータ８５２を適用してもよい。

上記実施形態で説明した画像合成処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、画像合成処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで画像合成処理を実行する。

画像合成処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、画像合成処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、画像合成処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、画像合成処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、画像合成処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、図１に示す例では、スマートデバイス１０を例示したが、本開示の技術はこれに限定されない。すなわち、複数の撮像素子３８と信号処理回路３４が内蔵された各種の電子機器（例えば、レンズ交換式カメラ、レンズ固定式カメラ、パーソナル・コンピュータ、及び／又はウェアラブル端末装置等）に対しても本開示の技術は適用可能であり、これらの電子機器であっても、上記のスマートデバイス１０と同様の作用及び効果が得られる。

また、上記実施形態では、ディスプレイ２６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部（ディスプレイ）」として用いるようにしてもよい。

また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
撮像装置であって、
撮像素子と、
プロセッサと、を含み、
上記プロセッサは、
上記撮像素子から出力される複数の画像データを合成することで単一画像データを生成し、
生成した上記単一画像データを出力し、
上記複数の画像データは、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
上記プロセッサから出力される上記単一画像データの画素単位のビット数は、上記複数の画像データの各々の画素単位のビット数よりも大きい
撮像装置。

（付記２）
撮像素子であって、
上記撮像素子に内蔵された光電変換素子と、
上記光電変換素子から出力される複数の画像データを合成することで単一画像データを生成し、生成した前記単一画像データを出力し、かつ、上記撮像素子に内蔵されたプロセッサと、を含み、
上記複数の画像データは、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
上記プロセッサから出力される上記単一画像データのビット数は、上記複数の画像データの各々のビット数よりも大きい
撮像素子。

Claims (18)

1. 撮像装置であって、
   撮像素子と、
   前記撮像素子から出力される複数の画像データを合成することで単一画像データを生成し、生成した前記単一画像データを出力するプロセッサと、を備え、
   前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
   前記プロセッサから出力される前記単一画像データの画素単位のビット数は、前記複数の画像データの各々の画素単位のビット数よりも大きい
   撮像装置。
2. 前記撮像素子は、前記撮像素子の画素領域が区分されることで得られた複数の区分領域について前記互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像を行うことで前記複数の画像データを生成し、
   前記プロセッサは、前記複数の区分領域について生成された前記複数の画像データを合成することで前記単一画像データを生成する請求項１に記載の撮像装置。
3. 前記複数の画像データは、複数の前記撮像素子から出力される請求項１又は請求項２に記載の撮像装置。
4. 前記複数の撮像素子のうちの少なくとも１つの撮像素子は、異なる基準レベルのＡ／Ｄ変換を伴う複数回の撮像を行い、基準レベルの異なる複数の画像データを生成する請求項３に記載の撮像装置。
5. 前記複数の撮像素子のうちの一部の撮像素子は、互いに異なる第１基準レベルの前記Ａ／Ｄ変換を伴う撮像を行うことで複数の第１画像データを生成し、
   前記複数の撮像素子のうちの残りの撮像素子は、互いに異なる第２基準レベルの前記Ａ／Ｄ変換を伴う撮像を行うことで複数の第２画像データを生成し、
   前記プロセッサは、前記複数の第１画像データ及び前記複数の第２画像データを合成することで前記単一画像データを生成する請求項３に記載の撮像装置。
6. 前記プロセッサは、前記複数の撮像素子のうちの少なくとも１つによって前記撮像が行われることで得られた前記画像データの信号値を倍増させることにより得られた信号値倍増画像データを用いることで前記単一画像データを生成する請求項３から請求項５の何れか一項に記載の撮像装置。
7. 前記複数の撮像素子のうちの何れかが、残りの撮像素子の各々に関する前記基準レベルを、前記残りの撮像素子のうちの対応する撮像素子に供給する請求項３から請求項６の何れか一項に記載の撮像装置。
8. 前記プロセッサは、前記複数の画像データを加算することで合成する処理を行う請求項１から請求項７の何れか一項に記載の撮像装置。
9. 前記複数の画像データ間の前記基準レベルの差は、前記複数の画像データのうちの個々のデジタル値の変化に必要な最小の電圧レベル差よりも小さい請求項１から請求項８の何れか一項に記載の撮像装置。
10. 前記複数の画像データ間の前記基準レベルの差は、前記電圧レベル差を前記複数の画像データのフレーム数で除した値に相当する値である請求項９に記載の撮像装置。
11. 前記撮像素子は、少なくとも光電変換素子とメモリとが１チップ化された請求項１から請求項１０の何れか一項に記載の撮像装置。
12. 前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１１に記載の撮像装置。
13. 前記プロセッサにより出力された前記単一画像データに基づく画像をディスプレイに対して表示させる制御、及び前記プロセッサにより出力された前記単一画像データを記憶装置に対して記憶させる制御のうちの少なくとも一方を行う制御装置を更に含む請求項１から請求項１２の何れか一項に記載の撮像装置。
14. 撮像素子であって、
    前記撮像素子に内蔵された光電変換素子と、
    前記光電変換素子から出力される複数の画像データを合成することで単一画像データを生成し、生成した前記単一画像データを出力し、かつ、前記撮像素子に内蔵されたプロセッサと、を備え、
    前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
    前記プロセッサから出力される前記単一画像データのビット数は、前記複数の画像データの各々のビット数よりも大きい
    撮像素子。
15. 撮像装置の作動方法であって、
    撮像素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、
    生成した前記単一画像データを出力することを含み、
    前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
    出力される前記単一画像データの画素単位のビット数は、前記複数の画像データの各々の画素単位のビット数よりも大きい
    撮像装置の作動方法。
16. 撮像素子の作動方法であって、
    前記撮像素子に内蔵された光電変換素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、
    生成した前記単一画像データを出力することを含み、
    前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
    出力される前記単一画像データの画素単位のビット数は、前記複数の画像データの各々の画素単位のビット数よりも大きい
    撮像素子の作動方法。
17. コンピュータに、
    処理を実行させるためのプログラムであって、
    前記処理は、
    撮像素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、
    生成した前記単一画像データを出力することを含み、
    前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
    出力される前記単一画像データの画素単位のビット数は、前記複数の画像データの各々の画素単位のビット数よりも大きい
    プログラム。
18. コンピュータに、
    処理を実行させるためのプログラムであって、
    前記処理は、
    撮像素子に内蔵された光電変換素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、
    生成した前記単一画像データを出力することを含み、
    前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
    出力される前記単一画像データの画素単位のビット数は、前記複数の画像データの各々の画素単位のビット数よりも大きい
    プログラム。

Images