JPWO2021020009A5 - - Google Patents

Description

特開２００８－１２４８４２号公報に記載の固体撮像装置において、露光時間制御手段は、光電変換手段で光電変換する露光時間を制御し、露光時間を全画素部で同一とする。ＡＤ変換手段は、画素部から出力された信号を信号レベルの分解能を異ならせてＡＤ変換する。ラインメモリは、ＡＤ変換手段で変換された信号を記憶する。信号処理手段は、ラインメモリからの出力信号に対して、ＡＤ変換後の画素出力信号の分解能に合わせて増幅率を制御し、光入力信号量に対して線形の傾きとなるように処理を行う。

また、特開２００８－１２４８４２号公報に記載の固体撮像装置のＡＤ変換手段は、画素部から出力された信号を複数回ＡＤ変換し、複数のラインメモリは、複数回ＡＤ変換された信号を記憶し、信号処理手段は、複数のラインメモリから同時に読み出された複数の信号を１つの信号に合成する。

特開２０１５－８０１３２号公報には、照度に応じたレベルの電圧を出力する画素回路と、画素回路の出力電圧をデジタル信号に変換するＡ／Ｄコンバータと、を備えた固体撮像素子が開示されている。特開２０１５－８０１３２に記載の固体撮像素子において、Ａ／Ｄコンバータの低照度側の分解能は高照度側の分解能よりも高い。また、特開２０１５－８０１３２号公報に記載の固体撮像素子は、１フレーム期間内に露光時間を変えて画素回路を複数回露光させ、画素回路の複数の出力電圧をＡ／Ｄコンバータによって複数のデジタル信号に変換させ、複数のデジタル信号を合成する制御部を備えている。

第１撮像レンズ１６Ａは、対物レンズ１６Ａ１、フォーカスレンズ１６Ａ２、及び絞り１６Ａ３を備えている。対物レンズ１６Ａ１、フォーカスレンズ１６Ａ２、及び絞り１６Ａ３は、被写体側（物体側）から受光面４２Ａ１側（像側）にかけて、光軸Ｌ１に沿って、対物レンズ１６Ａ１、フォーカスレンズ１６Ａ２、及び絞り１６Ａ３の順に配置されている。フォーカスレンズ１６Ａ２は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ１６Ａ２は、付与された動力に応じて光軸Ｌ１に沿って移動する。ここでは、絞り１６Ａ３の一例として、開口が変化しない固定絞りが採用されている。絞り１６Ａ３が固定絞りの場合、露出調節は第１撮像素子３８Ａの電子シャッタで行う。なお、絞り１６Ａ３は、固定絞りでなく、可変絞りであってもよい。

ＵＩ系デバイス１７は、タッチパネル・ディスプレイ２４及び受付デバイス８４を備えている。ディスプレイ２６及びタッチパネル２８は、バスライン１００に接続されている。従って、ＣＰＵ１５Ａは、ディスプレイ２６に対して各種情報を表示させ、タッチパネル２８によって受け付けられた各種指示に従って動作する。受付デバイス８４は、ハードキー部２５を備えている。ハードキー部２５は、指示キー２２（図２参照）を含む少なくとも１つのハードキーである。ハードキー部２５は、バスライン１００に接続されており、ＣＰＵ１５Ａは、ハードキー部２５によって受け付けられた指示を取得し、取得した指示に従って動作する。但し、ハードキー部２５が外部Ｉ／Ｆ１０４に接続されている構成もあり得る。

一例として図７に示すように、撮像素子３８には、光電変換素子４２、処理回路１１０、及びメモリ１１２が内蔵されている。撮像素子３８は、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子である。すなわち、光電変換素子４２、処理回路１１０、及びメモリ１１２は１パッケージ化されている。撮像素子３８では、光電変換素子４２に対して処理回路１１０及びメモリ１１２が積層されている。具体的には、光電変換素子４２及び処理回路１１０は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路１１０及びメモリ１１２も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。ここでは、光電変換素子４２、処理回路１１０、及びメモリ１１２の３層構造が例示されているが、本開示の技術はこれに限らず、処理回路１１０とメモリ１１２とを１層としたメモリ層と、光電変換素子４２との２層構造であってもよい。

このように、本構成によれば、撮像素子３８によって単位画素で８ビットのデジタル画像データ７０Ｂが生成されるので、撮像素子３８によって画素単位で１０ビットのデジタル画像データ７０Ｂが生成される場合に比べ、フレームレートを高くすることができる。また、画素単位で１０ビットの単一画像データ（信号処理回路３４から出力される単一画像データ）により示される画像は、画素単位で８ビットのデジタル画像データ７０Ｂ（撮像素子３８によって生成されたデジタル画像データ７０Ｂ）により示される画像よりも高画質である。従って、本構成によれば、同一の基準レベルのＡ／Ｄ変換を伴う撮像が常に行われる場合に比べ、高フレームレート及び高画質を実現することができる。

ローリングずれの大きさは、Ａ／Ｄ変換に要する時間の影響を受ける。例えば、画素単位で数ビットのＡ／Ｄ変換が行われるのに要する時間は、画素単位で十数ビットのＡ／Ｄ変換が行われる場合の時間よりも短いので、一例として図１８Ａ及び図１８Ｂに示すように、画素単位で数ビットのＡ／Ｄ変換が行われた場合のローリングずれは、画素単位で十数ビットのＡ／Ｄ変換が行われた場合のローリングずれよりも小さくなる。また、ローリングずれは、デジタル画像データ７０Ｂにより示される画像の歪みとして現れる。例えば、画素単位で数ビットのＡ／Ｄ変換が行われるのに要する時間は、画素単位で十数ビットのＡ／Ｄ変換が行われる場合の時間よりも短く、図１８Ａに示すローリングずれは、図１８Ｂに示すローリングずれよりも小さいので、一例として図１９に示すように、画素単位で数ビットのＡ／Ｄ変換を伴う撮像が撮像素子３８によって行われることで得られたデジタル画像データ７０Ｂにより示される画像の歪みは、画素単位で十数ビットのＡ／Ｄ変換を伴う撮像が撮像素子３８によって行われることで得られたデジタル画像データ７０Ｂにより示される画像の歪みに比べ、小さくなる。

また、上記実施形態では、撮像素子３８の後段に位置する信号処理回路３４によって複数のデジタル画像データ７０Ｂが合成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２０に示すように、画像処理回路１１０Ｅに合成回路１１０Ｅ１が組み込まれていてもよい。この場合、図１６に示す合成回路３４Ｃと同様に、合成回路１１０Ｅ１によって複数のデジタル画像データ７０Ｂが合成されることで単一画像データが生成されるようにすればよい。制御回路１１０Ｃは、合成回路１１０Ｅ１から単一画像データを取得し、取得した単一画像データを、出力Ｉ／Ｆ１１０Ｄ２に対して信号処理回路３４に出力させる。この場合も、上記実施形態と同様の効果が得られる。また信号処理回路３４に合成回路３４Ｃが組み込まれる場合に比べ、信号処理回路３４に合成回路３４Ｃが組み込まれない分、信号処理回路３４の回路構成を簡素にすることができる。

信号処理回路３４では、出力Ｉ／Ｆ１１０Ｄ２ａから出力されたデジタル画像データ７０Ｂが受付Ｉ／Ｆ３４Ａ１によって受け付けられ、出力Ｉ／Ｆ１１０Ｄ２ｂから出力されたデジタル画像データ７０Ｂが受付Ｉ／Ｆ３４Ａ２によって受け付けられる。そして、受付Ｉ／Ｆ３４Ａ１によって受け付けられた２フレーム分のデジタル画像データ７０Ｂ、及び受付Ｉ／Ｆ３４Ａ２によって受け付けられた２フレーム分のデジタル画像データ７０Ｂが合成回路３４Ｃによって合成される。受付Ｉ／Ｆ３４Ａ１によって受け付けられた２フレーム分のデジタル画像データ７０Ｂとは、Ａ／Ｄ変換の基準レベルが０ｍＶのデジタル画像データ７０Ｂ及びＡ／Ｄ変換の基準レベルが－３ｍＶのデジタル画像データ７０Ｂを指す。受付Ｉ／Ｆ３４Ａ２によって受け付けられた２フレーム分のデジタル画像データ７０Ｂとは、Ａ／Ｄ変換の基準レベルが－２ｍＶのデジタル画像データ７０Ｂ及びＡ／Ｄ変換の基準レベルが－１ｍＶのデジタル画像データ７０Ｂを指す。

図２２に示す例では、第１区分領域４２Ａａについて、基準レベルが０ｍＶのＡ／Ｄ変換を伴う撮像が第１撮像素子３８Ａによって行われ、第２区分領域４２Ａｂについて、基準レベルが－３ｍＶのＡ／Ｄ変換を伴う撮像が第１撮像素子３８Ａによって行われる。これにより、基準レベルが０ｍＶのＡ／Ｄ変換を伴う撮像が第１撮像素子３８Ａによって行われることで、上述した第１デジタル画像データ７０Ｂ１に相当するデジタル画像データ７０Ｂが生成される。また、基準レベルが－３ｍＶのＡ／Ｄ変換を伴う撮像が第１撮像素子３８Ａによって行われることで、上述した第２デジタル画像データ７０Ｂ２に相当するデジタル画像データ７０Ｂが生成される。ここで言う「上述した第１デジタル画像データ７０Ｂ１に相当するデジタル画像データ７０Ｂ」及び「上述した第２デジタル画像データ７０Ｂ２に相当するデジタル画像データ７０Ｂ」は、本開示の技術に係る「複数の第１画像データ」の一例である。また、０ｍＶ及び－３ｍＶは、本開示の技術に係る「互いに異なる第１基準レベル」の一例である。

また、図２２に示す例では、第１区分領域４２Ｂａについて、基準レベルが－２ｍＶのＡ／Ｄ変換を伴う撮像が第２撮像素子３８Ｂによって行われ、第２区分領域４２Ｂｂについて、基準レベルが－１ｍＶのＡ／Ｄ変換を伴う撮像が第２撮像素子３８Ｂによって行われる。これにより、基準レベルが－２ｍＶのＡ／Ｄ変換を伴う撮像が第２撮像素子３８Ｂによって行われることで、上述した第３デジタル画像データ７０Ｂ３に相当するデジタル画像データ７０Ｂが生成される。また、基準レベルが－１ｍＶのＡ／Ｄ変換を伴う撮像が第２撮像素子３８Ｂによって行われることで、上述した第４デジタル画像データ７０Ｂ４に相当するデジタル画像データ７０Ｂが生成される。ここで言う「上述した第３デジタル画像データ７０Ｂ３に相当するデジタル画像データ７０Ｂ」及び「上述した第４デジタル画像データ７０Ｂ４に相当するデジタル画像データ７０Ｂ」は、本開示の技術に係る「複数の第２画像データ」の一例である。また、－２ｍＶ及び－１ｍＶは、本開示の技術に係る「互いに異なる第２基準レベル」の一例である。

一例として図２３に示すように、デジタル画像データ７０Ｂの階調値は“５１２”である。Ａ／Ｄ変換器１１０Ｂ１がデジタル画像データ７０Ｂの階調値を“１”上げるのに必要な最小の電圧レベル差は２ｍＶである。例えば、デジタル画像データ７０Ｂの階調値の“０”から“１”への変化に必要な最小の電圧レベル差は２ｍＶである。つまり、Ａ／Ｄ変換器１１０Ｂ１は、階調値を“０”から“５１２”まで、１ずつ変化させる場合、“Ｙ（＝１以上の整数）×２”ｍＶの信号電圧を要する。９ビットの階調値を１ずつ変化させるのに要する信号電圧は、“Ｙ×２”のＹを１インクリメントすることで算出される。

第１デジタル画像データ７０Ｂ１及び第２デジタル画像データ７０Ｂ２間の基準レベルの差（１ｍＶ）は、Ａ／Ｄ変換器１１０Ｂ１がデジタル画像データ７０Ｂの階調値を“１”上げるのに必要な最小の電圧レベル差（２ｍＶ）をデジタル画像データ７０Ｂのフレーム数で除した値に相当する値である。ここで言う「デジタル画像データ７０Ｂのフレーム数」とは、第１デジタル画像データ７０Ｂ１及び第２デジタル画像データ７０Ｂ２の２フレームを指す。

（付記１）
撮像装置であって、
撮像素子と、
プロセッサと、を含み、
上記プロセッサは、
上記撮像素子から出力される複数の画像データを合成することで単一画像データを生成し、
生成した上記単一画像データを出力し、
上記複数の画像データは、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
上記プロセッサから出力される上記単一画像データの画素単位のビット数は、上記複数の画像データの各々の画素単位のビット数よりも大きい
撮像装置。

Claims (18)

1. 撮像装置であって、
   撮像素子と、
   前記撮像素子から出力される複数の画像データを合成することで単一画像データを生成し、生成した前記単一画像データを出力するプロセッサと、を備え、
   前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
   前記プロセッサから出力される前記単一画像データの画素単位のビット数は、前記複数の画像データの各々の画素単位のビット数よりも大きい
   撮像装置。
2. 前記撮像素子は、前記撮像素子の画素領域が区分されることで得られた複数の区分領域について前記互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像を行うことで前記複数の画像データを生成し、
   前記プロセッサは、前記複数の区分領域について生成された前記複数の画像データを合成することで前記単一画像データを生成する請求項１に記載の撮像装置。
3. 前記複数の画像データは、複数の前記撮像素子から出力される請求項１又は請求項２に記載の撮像装置。
4. 前記複数の撮像素子のうちの少なくとも１つの撮像素子は、異なる基準レベルのＡ／Ｄ変換を伴う複数回の撮像を行い、基準レベルの異なる複数の画像データを生成する請求項３に記載の撮像装置。
5. 前記複数の撮像素子のうちの一部の撮像素子は、互いに異なる第１基準レベルの前記Ａ／Ｄ変換を伴う撮像を行うことで複数の第１画像データを生成し、
   前記複数の撮像素子のうちの残りの撮像素子は、互いに異なる第２基準レベルの前記Ａ／Ｄ変換を伴う撮像を行うことで複数の第２画像データを生成し、
   前記プロセッサは、前記複数の第１画像データ及び前記複数の第２画像データを合成することで前記単一画像データを生成する請求項３に記載の撮像装置。
6. 前記プロセッサは、前記複数の撮像素子のうちの少なくとも１つによって前記撮像が行われることで得られた前記画像データの信号値を倍増させることにより得られた信号値倍増画像データを用いることで前記単一画像データを生成する請求項３から請求項５の何れか一項に記載の撮像装置。
7. 前記複数の撮像素子のうちの何れかが、残りの撮像素子の各々に関する前記基準レベルを、前記残りの撮像素子のうちの対応する撮像素子に供給する請求項３から請求項６の何れか一項に記載の撮像装置。
8. 前記プロセッサは、前記複数の画像データを加算することで合成する処理を行う請求項１から請求項７の何れか一項に記載の撮像装置。
9. 前記複数の画像データ間の前記基準レベルの差は、前記複数の画像データのうちの個々のデジタル値の変化に必要な最小の電圧レベル差よりも小さい請求項１から請求項８の何れか一項に記載の撮像装置。
10. 前記複数の画像データ間の前記基準レベルの差は、前記電圧レベル差を前記複数の画像データのフレーム数で除した値に相当する値である請求項９に記載の撮像装置。
11. 前記撮像素子は、少なくとも光電変換素子とメモリとが１チップ化された請求項１から請求項１０の何れか一項に記載の撮像装置。
12. 前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１１に記載の撮像装置。
13. 前記プロセッサにより出力された前記単一画像データに基づく画像をディスプレイに対して表示させる制御、及び前記プロセッサにより出力された前記単一画像データを記憶装置に対して記憶させる制御のうちの少なくとも一方を行う制御装置を更に含む請求項１から請求項１２の何れか一項に記載の撮像装置。
14. 撮像素子であって、
    前記撮像素子に内蔵された光電変換素子と、
    前記光電変換素子から出力される複数の画像データを合成することで単一画像データを生成し、生成した前記単一画像データを出力し、かつ、前記撮像素子に内蔵されたプロセッサと、を備え、
    前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
    前記プロセッサから出力される前記単一画像データのビット数は、前記複数の画像データの各々のビット数よりも大きい
    撮像素子。
15. 撮像装置の作動方法であって、
    撮像素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、
    生成した前記単一画像データを出力することを含み、
    前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
    出力される前記単一画像データの画素単位のビット数は、前記複数の画像データの各々の画素単位のビット数よりも大きい
    撮像装置の作動方法。
16. 撮像素子の作動方法であって、
    前記撮像素子に内蔵された光電変換素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、
    生成した前記単一画像データを出力することを含み、
    前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
    出力される前記単一画像データの画素単位のビット数は、前記複数の画像データの各々の画素単位のビット数よりも大きい
    撮像素子の作動方法。
17. コンピュータに、
    処理を実行させるためのプログラムであって、
    前記処理は、
    撮像素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、
    生成した前記単一画像データを出力することを含み、
    前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
    出力される前記単一画像データの画素単位のビット数は、前記複数の画像データの各々の画素単位のビット数よりも大きい
    プログラム。
18. コンピュータに、
    処理を実行させるためのプログラムであって、
    前記処理は、
    撮像素子に内蔵された光電変換素子から出力される複数の画像データを合成することで単一画像データを生成すること、及び、
    生成した前記単一画像データを出力することを含み、
    前記複数の画像データは、同一信号値の範囲を有し、かつ、互いに異なる基準レベルのＡ／Ｄ変換を伴う撮像が行われることで生成された画像データであり、
    出力される前記単一画像データの画素単位のビット数は、前記複数の画像データの各々の画素単位のビット数よりも大きい
    プログラム。

Images