JP7131604B2 - 制御装置、制御方法およびプログラム - Google Patents

Description

本発明は、制御装置、制御方法およびプログラムに関する。

従来、ＡＤ変換部を備える撮像装置が知られている（例えば、特許文献１参照）。
特許文献１ 特表２００８－２５９１０７号公報

一般的開示

撮像装置のデータ量を削減することが好ましい。

本発明の第１の態様においては、１又は複数の画素を備えるセンサの撮像条件を制御する制御装置であって、１又は複数の画素において、予め定められた閾値を超えて輝度信号が変化することを示すイベントを検出し、イベント検出信号を出力するイベント検出部と、イベント検出信号に基づいて、センサの撮像条件を制御する制御部とを備える制御装置を提供する。

本発明の第２の態様においては、１又は複数の画素を備えるセンサの撮像条件を制御する制御方法であって、１又は複数の画素において、予め定められた閾値を超えて輝度信号が変化することを示すイベントを検出することと、イベントの検出に基づいて、センサの撮像条件を制御することとを含む制御方法を提供する。

本発明の第３の態様においては、１又は複数の画素を備えるセンサの撮像条件を制御するプログラムであって、１又は複数の画素において、予め定められた閾値を超えて輝度信号が変化するイベントを検出することと、イベントの検出に基づいて、センサの撮像条件を制御することとをコンピュータに実行させる制御装置のプログラムを提供する。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

センサ３００の構成の概要を示す。 実施例に係る制御装置１００のイベントパルスのカウント方法の一例を示す。 比較例に係るセンサ５００の構成を示す。 比較例に係るセンサ５００のＡＤＣ分解能の決定方法の一例を示す。 制御装置１００の動作のフローチャートの一例を示す。 制御装置１００の動作のフローチャートの一例を示す。 センサ３００のより具体的な構成の一例を示す。 撮像制御部３０のより具体的な構成の一例を示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、センサ３００の構成の概要を示す。本例のセンサ３００は、画素部１０および制御装置１００を備える。本例のセンサ３００は、一定以上に輝度変化があった部分から画素信号を出力するセンサであり、イベント駆動型センサともいう。

画素部１０は、１又は複数の画素１１を備える。本例の画素部１０は、２次元状に配列された複数の画素１１を備える。本例の画素部１０は、Ｍ×Ｎ個（Ｍ，Ｎは、自然数）の画素１１を有する。画素１１は、少なくとも１つの光電変換素子を有する。これにより、画素部１０は、画素信号を出力する。１つの画素１１に２つ以上の光電変換素子を有する場合、少なくとも１つの光電変換素子は、光電流をイベント検出用の画素信号として出力し、残りの光電変換素子は、蓄積された電荷を画素信号として出力する。また、１つの画素１１に１つの光電変換素子を有する場合、後述する画素ブロック１２内において、少なくとも１つの画素１１に対応する光電変換素子が、光電流をイベント検出用の画素信号として出力し、残りの画素１１に対応する光電変換素子が、蓄積された電荷を画素信号として出力する。

また、画素部１０は、１又は複数の画素１１で構成された画素ブロック１２を含む。画素ブロック１２は、ｍ×ｎ個（ｍ，ｎは、自然数）の画素１１を含む領域である。

制御装置１００は、センサ３００の撮像条件を制御する。一例において、制御装置１００は、入力された画素信号に応じて、センサ３００の撮像条件を制御する制御回路である。制御装置１００は、イベント検出部２０と、撮像制御部３０と、パルスカウント部４０と、ＡＤ変換部５０と、記憶部６０とを備える。

イベント検出部２０は、画素部１０が出力した画素信号に基づいてイベントを検出する。画素部１０の画素信号には、１又は複数の画素１１が検出した光電流の輝度信号Ｓが含まれる。一例において、イベント検出部２０は、輝度信号Ｓと、予め定められたイベント検出閾値との比較に基づいてイベントを検出する。

ここで、イベント検出部２０は、イベント検出閾値として、輝度信号Ｓの絶対値を用いてもよく、輝度信号Ｓの変化量を用いてもよい。例えば、輝度信号Ｓの絶対値を用いる場合、所定の輝度値ごとに複数のイベント検出閾値が設けられており、イベント検出部２０は、輝度信号Ｓがイベント検出閾値を超えた場合にイベントが生じたと判定する。また、輝度信号Ｓの変化量を用いる場合、イベント検出部２０は、輝度信号Ｓの変化量がイベント検出閾値を超えた場合にイベントが生じたと判定する。このように、イベントとは、イベント検出閾値を超える程度の輝度信号Ｓの変化があったことを指す。イベント検出部２０は、イベント検出を撮像制御部３０およびパルスカウント部４０に伝えるためのイベント検出信号Ｓｄを生成する。

イベント検出信号Ｓｄは、イベントが発生したか否かを判断するためのイベントパルスを含む信号である。イベント検出部２０は、生成したイベント検出信号Ｓｄを撮像制御部３０およびパルスカウント部４０に出力する。なお、本例のイベント検出部２０は、制御装置１００に設けられているが、画素部１０に設けられてもよい。

撮像制御部３０は、イベント検出信号Ｓｄに基づいて、センサ３００の撮像条件を制御する。一例において、撮像制御部３０は、イベント検出信号Ｓｄのイベントパルスの発生数に基づいて撮像条件を制御する。なお、撮像制御部３０は、イベント検出信号Ｓｄに基づいて、画素１１に蓄積された電荷をリセットするためのリセット信号ＲＳＴを画素部１０に出力してもよい。画素部１０は、リセット信号ＲＳＴが入力されると、光電変換素子への電荷の蓄積をリセットして、新たに電荷の蓄積（即ち、撮像）を開始する。

撮像条件は、センサ３００のＡＤＣ分解能、露光時間および増幅器のゲインの少なくとも１つを含む。即ち、撮像制御部３０は、イベント検出信号Ｓｄに基づいて、センサ３００のＡＤＣ分解能、露光時間および増幅器のゲインの少なくとも１つを制御する。一例において、撮像制御部３０は、イベント検出信号Ｓｄのイベントパルスの発生数に基づいて、ＡＤ変換部５０のＡＤＣ分解能を制御する。なお、ＡＤＣ分解能の変更は、単一の画素１１ごとに実行されてよい。この場合、制御装置１００は、各画素１１を非同期で駆動させることができる。

パルスカウント部４０は、イベント検出信号Ｓｄに基づいてイベントパルスをカウントし、カウント値Ｎｃを生成する。パルスカウント部４０は、生成したカウント値Ｎｃを撮像制御部３０に出力する。カウント値Ｎｃには、アップカウントおよびダウンカウントが含まれてよい。カウント値Ｎｃは、アップカウントおよびダウンカウントの累積値であってもよいし、アップカウントのみの積算値であってもよい。なお、アップカウントは、イベント検出信号Ｓｄがイベント検出閾値を超えた場合に生成される。一方、ダウンカウントは、イベント検出信号Ｓｄがイベント検出閾値を下回った場合に生成される。

ＡＤ変換部５０は、画素部１０が出力した画素信号をＡＤ変換する。本例のＡＤ変換部５０は、撮像制御部３０が出力したＡＤＣ分解能で動作する。ＡＤ変換部５０は、１又は複数の画素１１ごとや、ブロック１２ごとに異なるＡＤＣ分解能を用いてＡＤ変換を実行してもよい。ＡＤ変換部５０は、変換したデジタル信号を記憶部６０に出力する。このように、本例では、画素１１に含まれる光電変換素子で発生した光電流による輝度信号Ｓは、ＡＤ変換部５０を介さずにイベント検出部２０に入力されるとともに、他の光電変換素子で蓄積された電荷による画素信号は、ＡＤ変換部５０に入力される。よって、イベントの検出を迅速に行えるだけでなく、輝度変化の大きい画素１１の画素信号だけをＡＤ変換することで低消費電力を実現できる。

記憶部６０は、ＡＤ変換部５０からのデジタル信号を記憶する。一例において、記憶部６０は、過去のフレームのメモリー値をフィードバック信号ＦＢとして、撮像制御部３０に出力する。この場合、撮像制御部３０は、パルスカウント部４０からのカウント値Ｎｃおよび記憶部６０からのフィードバック信号ＦＢに基づいて、撮像条件を制御してよい。これにより、制御装置１００は、ＡＤ変換部５０の過去の出力信号に基づいて、撮像条件を制御することができる。

ここで、撮像制御部３０による撮像条件の制御方法について説明する。撮像制御部３０は、パルスカウント部４０が出力したカウント値Ｎｃに基づいて、イベントパルスをカウントし、撮像条件を制御する。

一例において、撮像制御部３０は、現在のカウント値Ｎｃと、過去のカウント値Ｎｃを累積したパルス累積値とに基づいて、撮像条件を制御する。この場合、撮像制御部３０は、過去のカウント値Ｎｃを累積したパルス累積値を保持する。そして、撮像制御部３０は、保持したパルス累積値を読出し、現在のカウント値Ｎｃを加えた累積数を用いて、撮像条件を決定する。なお、撮像制御部３０は、カウント値Ｎｃの累積に関し、カウント値Ｎｃのプラスおよびマイナスを考慮してよい。つまり、撮像制御部３０は、プラスのカウント値Ｎｃを、マイナスのカウント値Ｎｃで相殺する。１カウントあたりの輝度値が予め定められているので、累積したカウント値を用いることで現在のカウント値Ｎｃに対応する輝度値が求められる。

また、他の例において、撮像制御部３０は、現在の輝度値と、記憶部６０に記憶された過去の輝度値とに基づいて、撮像条件を制御する。この場合、記憶部６０は、過去にＡＤ変換部５０から読み出した輝度値を保持する。一例において、撮像制御部３０は、前回のイベントの検出に対応してセンサ３００が出力した輝度値と、新たなイベントの検出によりイベント検出部２０が出力したイベントパルスとに基づいて、撮像条件を制御する。例えば、撮像制御部３０は、記憶部６０に保存した輝度値に、現在の１パルスあたりの輝度値を加減することにより、現在の輝度値を算出する。撮像制御部３０は、算出した現在の輝度値に基づいて、撮像条件を制御する。

以上の通り、制御装置１００は、過去のイベントの輝度信号Ｓおよび撮像中のパルスカウント値Ｎｃの両方に基づいて、現在のイベントの撮像条件を制御してよい。これにより、現在のイベントの環境が過去のイベントの環境から急激に変化した場合であっても、環境の変化に追従して撮像条件を更新することができる。なお、制御装置１００は、撮像中のパルスカウント値Ｎｃのみに基づいて、現在のイベントの撮像条件を制御してもよい。

本例の制御装置１００は、イベントの検出に応じて、ＡＤＣ分解能を変更することにより、輝度値に対して必要十分な分解能でＡＤ変換することができる。そのため、不要なビットの出力を制限することができ、データ量を圧縮することができる。また、制御装置１００は、データ量を圧縮することにより、消費電力を低減できる。制御装置１００は、ＡＤＣ分解能を最適に調整することにより、高ダイナミックレンジを実現できる。

図２は、実施例に係る制御装置１００のイベントパルスのカウント方法の一例を示す。縦軸は輝度信号Ｓを示し、横軸は時刻Ｔを示す。本例では、イベントの検出のために輝度信号Ｓが用いられるが、その他の信号を用いてイベントを検出してもよい。

イベント検出部２０は、輝度信号Ｓの変化に応じて、イベントパルスを生成する。一例において、イベント検出部２０は、１又は複数の閾値を設定し、輝度信号Ｓが当該閾値を超えた場合にイベントパルスを生成する。本例のイベント検出部２０は、閾値Ｓｔｈ１～閾値Ｓｔｈ５を設定し、輝度信号Ｓが閾値Ｓｔｈ１～閾値Ｓｔｈ５となった場合にイベントパルスを生成する。即ち、イベント検出部２０は、輝度信号Ｓが閾値Ｓｔｈ１～閾値Ｓｔｈ５のいずれかを超えて増減した場合にイベントパルスを生成する。閾値Ｓｔｈ１～閾値Ｓｔｈ５は、イベント検出閾値の一例である。

例えば、イベント検出部２０は、閾値Ｓｔｈ１～閾値Ｓｔｈ５のいずれかを超えた場合に、アップカウントのイベントパルスを生成する。一方、イベント検出部２０は、閾値Ｓｔｈ１～閾値Ｓｔｈ５のいずれかを下回った場合に、ダウンカウントのイベントパルスを生成する。なお、本例の閾値Ｓｔｈ１～閾値Ｓｔｈ５は、等間隔で設定されているが、等間隔でなくてもよい。

パルスカウント部４０は、イベント検出部２０が生成したイベントパルスをカウントしたカウント値Ｎｃを生成する。パルスカウント部４０は、アップカウントおよびダウンカウントの少なくとも一方をカウントする。例えば、パルスカウント部４０は、アップカウントとダウンカウントのプラスマイナスを考慮して累積する。これにより、輝度信号Ｓが予め定められた値だけ増減したか否かを検出することができる。本例では、撮像制御部３０は、パルスカウント部４０のカウント値Ｎｃが「±３」に達したときに撮像条件を変更する。なお、カウント値Ｎｃの判断基準は、±３以外の値であってもよい。

イベントＥ１～イベントＥ７は、所定の期間において生成されたイベントパルスを示す。なお、撮像制御部３０は、イベントの発生毎にリセット信号ＲＳＴを画素部１０へ出力して、撮像を開始しても良い。

イベントＥ１では、アップカウントのイベントパルスが生成されている。即ち、イベントＥ１において、閾値Ｓｔｈ１～閾値Ｓｔｈ５のいずれかを１回超えたことを示す。本例では、１回のアップカウントのイベントパルスの検出により、パルスカウント部４０のカウント値Ｎｃが＋１となった場合、撮像条件を変更しない。

イベントＥ２では、ダウンカウントのイベントパルスが生成されている。即ち、イベントＥ２において、閾値Ｓｔｈ１～閾値Ｓｔｈ５のいずれかを１回下回ったことを示す。本例では、１回のダウンカウントのイベントパルスの検出により、パルスカウント部４０のカウント値Ｎｃが－１となった場合、撮像条件を変更しない。

イベントＥ３～Ｅ５では、アップカウントのイベントパルスが３つ生成されている。即ち、イベントＥ３～Ｅ５が、閾値Ｓｔｈ１～閾値Ｓｔｈ５のいずれかを３回超えたことにより、パルスカウント部４０のカウント値Ｎｃが＋３となる。撮像制御部３０は、パルスカウント部４０のカウント値Ｎｃが＋３に達したため、撮像対象の明るさが所定以上に大きく変化したと判断し、撮像条件を変更する。例えば、撮像制御部３０は、パルスカウント部４０のカウント値Ｎｃが＋３以上となった場合に、ＡＤＣ分解能を低くする。

より詳細には、パルスカウント部４０のカウント値Ｎｃが＋ｎ（ｎは予め定められた整数）を上回ったときに、予め定められた下位ビットを用いずにＡＤ変換してもよい。撮像対象が明るい場合、下位ビットの出力はノイズに埋もれてしまうため、センサ３００が検出する輝度範囲の分解能を下げても得られる画素信号に影響はほぼない。予め定められた下位ビットは、例えば、最下位から２桁のビットである。

一方、パルスカウント部４０のカウント値Ｎｃが－ｎを下回ったときに、予め定められた上位ビットを用いずにＡＤ変換してもよい。撮像対象が暗い場合、上位のビットは０となりそもそも不要である。そのため、上位ビットを使用しなくても得られる画素信号に影響はない。予め定められた上位ビットは、例えば、最上位から２桁のビットである。

本例の制御装置１００は、輝度信号Ｓの変化に応じたイベントの検出により、撮像条件を制御する。これにより、制御装置１００は、輝度信号Ｓの高速な変化に対応して、撮像条件を更新することができる。

図３は、比較例に係るセンサ５００の構成を示す。本例のセンサ５００は、画素部５１０と、撮像制御部５３０と、ＡＤ変換部５５０と、記憶部５６０とを備える。

センサ５００は、画素部５１０が出力した画素信号に基づいて、ＡＤ変換部５５０のＡＤＣ分解能を決定する。センサ５００は、決定されたＡＤＣ分解能を記憶部５６０に記憶してよい。

記憶部５６０は、過去のフレームの撮像情報をフィードバック信号ＦＢとして撮像制御部５３０に出力する。撮像制御部５３０は、過去の撮像条件をＡＤ変換部５５０に出力する。そして、ＡＤ変換部５５０は、過去の撮像条件と、画素部５１０からの画素信号とに基づいてＡＤＣ分解能を制御する。

図４は、比較例に係るセンサ５００のＡＤＣ分解能の決定方法の一例を示す。本例のセンサ５００は、輝度信号Ｓと輝度閾値Ｓｔｈとの比較に基づいて、ＡＤＣ分解能を設定する。

センサ５００は、予め定められた長さのフレーム単位でＡＤＣ分解能を設定する。即ち、センサ５００は、フレーム毎に輝度信号Ｓと輝度閾値Ｓｔｈとを比較する。例えば、センサ５００は、輝度信号Ｓが輝度閾値Ｓｔｈよりも小さい場合に、下位ビットのみＡＤ変換し、輝度信号Ｓが輝度閾値Ｓｔｈよりも大きい場合に、上位ビットのみＡＤ変換する。言い換えると、輝度信号Ｓが輝度閾値Ｓｔｈよりも小さい場合、上位ビットのＡＤ変換は不要であり、輝度信号Ｓが輝度閾値Ｓｔｈよりも大きい場合、下位ビットのＡＤ変換は不要である。

センサ５００は、過去のフレームの輝度信号に基づいて、現在のフレームのＡＤＣ分解能を算出する。例えば、センサ５００は、過去のフレームであるフレームＦ１およびフレームＦ２の少なくとも１つのデータに基づいて、現在のフレームであるフレームＦ３のＡＤＣ分解能を設定する。そのため、過去のフレームと現在のフレームとで輝度信号Ｓが急激に増加しＡＤＣ分解能が切り替わる場合、適切なＡＤＣ分解能を設定することが困難である。本例のセンサ５００は、過去のフレームで下位ビットのＡＤ変換が設定されているので、現在のフレームで上位ビットＡＤ変換を選択すべき場合であっても、過去フレームのデータからは現在のフレームの明るさが推定できないため、下位ビットのみのＡＤ変換を行ってしまう。

このように、センサ５００は、過去のフレームに基づいて現フレームのＡＤＣ分解能を調整するので、現在のフレームの環境が、過去のフレームの環境から急激に変化した場合に、環境の変化に追従して撮像条件を最適に更新することが困難である。つまり、イベントに基づく撮像条件の制御が、撮像フレームに影響されてしまう。

一方、制御装置１００では、輝度信号Ｓの変化をイベントパルスのカウント数として取得し撮像条件を制御する。そのため、制御装置１００は、過去の撮像フレームからではなく、輝度信号Ｓの変化に追従して、迅速に撮像条件を制御することができる。

図５は、制御装置１００の動作のフローチャートの一例を示す。制御装置１００は、本例のフローチャートを用いて、センサ３００の撮像条件を制御してよい。本例のフローチャートでは、イベントパルスの生成毎に画素１１をリセットする。

制御装置１００は、画素１１が出力した輝度信号Ｓをモニターする（Ｓ１００）。制御装置１００は、輝度信号Ｓが予め定められたイベント検出閾値以上に変化したか否かを判定する（Ｓ１０２）。具体的には、イベント検出部２０が、１又は複数の画素１１において、イベント検出閾値を超えて輝度信号Ｓが変化するイベントを検出する。制御装置１００は、輝度信号Ｓがイベント検出閾値以上に変化しない場合、輝度信号Ｓのモニターを続ける（Ｓ１００）。一方、制御装置１００は、輝度信号Ｓがイベント検出閾値以上に変化する場合、イベントパルスを生成してパルスカウント部４０へ出力する（Ｓ１０４）。

そして、撮像制御部３０は、イベント検出部２０からのイベントパルスをカウントする（Ｓ１０６）。撮像制御部３０は、イベントの検出に基づいて、センサ３００の撮像条件を制御する（Ｓ１０８）。例えば、撮像制御部３０は、パルスカウント部４０が算出したカウンタ値Ｎｃが予め設定された基準に達すると、そのカウンタ値Ｎｃに基づいて撮像条件を制御する。撮像制御部３０が制御する撮像条件は、センサ３００のＡＤＣ分解能、露光時間および増幅器のゲインのいずれであってもよい。制御装置１００は、画素１１に蓄積された電荷をリセットする（Ｓ１１０）。制御装置１００は、撮像条件を制御した後にセンサ３００による露光を開始させる（Ｓ１１２）。即ち、本例の制御装置１００は、撮像制御部３０が撮像条件を更新した後に露光を開始する。ステップＳ１０８において露光時間および増幅器のゲインの少なくとも１つが更新されている場合、更新した撮像条件が用いられる。

本例の撮像制御部３０は、露光期間中にイベント検出部２０がイベントを検出した場合、撮像条件を再度制御し、１又は複数の画素１１をリセットしてセンサ３００による露光を再度開始させる。例えば、露光期間中にイベントが発生した場合（Ｓ１１４）、イベント検出部２０によるイベントパルスの生成を開始する（Ｓ１０４）。一方、露光期間中にイベントが発生しない場合（Ｓ１１４）、制御装置１００は、露光を終了する（Ｓ１１６）。

露光終了後、ＡＤ変換部５０は、画素部１０が出力した画素信号をＡＤ変換する（Ｓ１１８）。ここで、ステップＳ１０８において、撮像制御部３０が撮像条件としてＡＤＣ分解能を更新している場合、更新した撮像条件に基づいて、画素信号をＡＤ変換する。その後、記憶部６０は、変換したデジタル信号を記憶し、記憶したデジタル信号を外部に出力してもよい（Ｓ１２０）。

図６は、制御装置１００の動作のフローチャートの一例を示す。制御装置１００は、本例のフローチャートを用いて、センサ３００の撮像条件を制御してよい。本例のフローチャートは、撮像条件を算出してから露光を開始するまでの間に画素１１をリセットしていない点で、図５に係るフローチャートと相違する。即ち、本例の制御装置１００は、画素１１を一度リセットして撮像条件を更新した後は、画素１１をリセットすることなく露光を開始している。

ステップＳ２００およびステップＳ２０２は、図５のステップＳ１００およびステップＳ１０２にそれぞれ対応する。ステップＳ２０２において、輝度信号Ｓが予め定められたイベント検出閾値以上に変化する場合、イベント検出部２０は、イベントパルスの生成を開始する（Ｓ２０４）。そして、撮像制御部３０は、画素１１をリセットする（Ｓ２０６）。また、パルスカウント部４０は、生成したイベントパルスをカウントする（Ｓ２０８）。その後、撮像制御部３０は、パルスカウント部４０からのカウント値Ｎｃが予め設定された基準に達すると、そのカウント値Ｎｃに基づいて撮像条件を設定して、制御装置１００の撮像を制御する（Ｓ２１０）。

制御装置１００は、更新された撮像条件に基づいて露光を開始する（Ｓ２１２）。即ち、本例の制御装置１００は、撮像制御部３０がイベントパルスのカウント値Ｎｃに基づいて撮像条件を制御するとともに、画素部１０をリセットしたうえで露光を開始する。

ここで、露光期間中にイベントが発生した場合（Ｓ２１４）、イベント検出部２０によるイベントパルスの生成を開始する（Ｓ２１６）。更に、パルスカウント部４０は、生成したイベントパルスをカウントする（Ｓ２１８）。その後、撮像制御部３０は、センサ３００による露光を継続させたまま、パルスカウント部４０からのカウント値Ｎｃが予め設定された基準に達すると、そのカウント値Ｎｃに基づいて撮像条件を制御する（Ｓ２２０）。

このように、本例の撮像制御部３０は、センサ３００による露光期間中に、イベント検出部２０がイベントを検出した場合に、撮像条件を再度制御するとともにセンサ３００による露光を継続させる。つまり、制御装置１００は、露光開始の前に撮像条件を更新してもよいし、露光中に撮像条件を更新してもよい。一方、露光開始（Ｓ２１２）後、露光期間中にイベントが発生しない場合（Ｓ２１４）、センサ３００による露光を終了する（Ｓ２２２）。

露光終了後、ＡＤ変換部５０は、画素部１０が出力した画素信号をＡＤ変換する（Ｓ２２４）。ここで、ステップＳ２１０およびステップＳ２２０において、撮像制御部３０が撮像条件としてＡＤＣ分解能を更新している場合、最新のＡＤＣ分解能に基づいて、画素信号をＡＤ変換する。その後、記憶部６０は、変換したデジタル信号を記憶し、記憶したデジタル信号を外部に出力してもよい（Ｓ２２６）。

以上の通り、制御装置１００は、画素１１を一度リセットして撮像条件を更新した後は、画素１１をリセットすることなく露光を開始することができる。また、制御装置１００による撮像条件の更新は、露光開始の前であっても、露光期間中であってもよい。これにより、制御装置１００は、イベントの発生に応じた最適な撮像条件での撮影を実現することができる。

図７は、センサ３００のより具体的な構成の一例を示す。本例のセンサ３００は、第１の基板１１０と、第２の基板１２０と、第３の基板１３０とを備える。

第１の基板１１０は、画素ブロックアレイ１１２を有する。画素ブロックアレイ１１２は、１又は複数の画素１１を有する。本例の画素ブロックアレイ１１２は、Ｍ×Ｎ個の画素１１を有する。画素１１は、第１光電変換素子ＰＤ１および第２光電変換素子ＰＤ２を有する。例えば、第１光電変換素子ＰＤ１は、イベントを検出するイベント検出素子である。また、第２光電変換素子ＰＤ２は、画像を撮像する受光素子である。

第２の基板１２０は、処理ブロックアレイ１２２を有する。処理ブロックアレイ１２２は、Ｍ×Ｎ個のデータ処理部１３を備える。第２の基板１２０は、第１の基板１１０に積層されている。

データ処理部１３は、イベント検出部２０と、撮像制御部３０と、パルスカウント部４０と、ＡＤ変換部５０とを備える。Ｍ×Ｎ個のデータ処理部１３は、Ｍ×Ｎ個の画素１１にそれぞれ対応して設けられる。対応して設けられるとは、Ｍ×Ｎ個のデータ処理部１３がＭ×Ｎ個の画素１１にそれぞれ電気的に接続されていることを指す。また、対応して設けられるとは、Ｍ×Ｎ個のデータ処理部１３がＭ×Ｎ個の画素１１にそれぞれ対向して設けられることを指してよい。

本例のデータ処理部１３は、それぞれ対応して設けられた画素１１のデータ処理を実行する。そして、データ処理部１３は、画素１１の直下に設けられる場合、配線が短くなり処理速度を向上できる。例えば、イベント検出部２０および撮像制御部３０の少なくとも一方は、１又は複数の画素１１からなるブロックに対応して、第２の基板１２０に設けられる。これにより、第１の基板１１０に設けられる画素１１の画素開口を大きくすることができる。

第３の基板１３０は、出力ブロックアレイ１３２を有する。出力ブロックアレイ１３２は、データ保持部７０およびデータ入出力部８０を備える。第３の基板１３０は、第２の基板１２０に積層されている。即ち、第１の基板１１０、第２の基板１２０および第３の基板１３０が積層して設けられている。

データ保持部７０は、センサ３００の撮像データを保持する。例えば、データ保持部７０は、処理ブロックアレイ１２２で取得した撮像データを一時的に保持する。撮像データには、画素部１０が取得した画像のデータに加えて、撮像条件等のデータが含まれてよい。データ入出力部８０は、データ保持部７０が保持した撮像データを外部に出力する。また、データ入出力部８０は、撮像データを撮像制御部３０に出力してもよい。

このように、本例のセンサ３００は、Ｍ×Ｎ個の画素１１のそれぞれに対応して、Ｍ×Ｎ個の撮像制御部３０が設けられている。そのため、センサ３００は、Ｍ×Ｎ個の画素１１ごとに、撮像条件を制御することができる。これにより、センサ３００は、画面内の輝度分布に応じて適切な撮像条件を画素１１ごとに設定できる。例えば、Ｍ×Ｎ個の画素１１ごとにＡＤＣ分解能を設定することにより、全画素一律のＡＤＣ分解能でＡＤ変換する場合と比較して、不要なビットを低減しデータ出力帯域を抑制することができる。本例のセンサ３００は、Ｍ×Ｎ個の画素１１ごとに必要十分なビット深度をＡＤ変換部５０にフィードバックすることにより、画質を維持したままデータ量を削減することができる。

図８は、撮像制御部３０のより具体的な構成の一例を示す。撮像制御部３０は、リセット制御部３２と、ゲイン制御部３４と、露光制御部３６と、ＡＤＣ制御部３８とを備える。

リセット制御部３２は、画素１１に蓄積された電荷をリセットするためのリセット信号ＲＳＴを生成する。リセット制御部３２は、イベント検出部２０から入力されたイベント検出信号Ｓｄに基づいて、生成したリセット信号ＲＳＴを画素部１０に出力する。例えば、図６のフローチャートに基づいて動作する場合、リセット制御部３２は、イベントが生じたことを示すイベント検出信号Ｓｄが入力された場合に、リセット信号ＲＳＴを画素部１０に出力する。

ゲイン制御部３４は、パルスカウント部４０から入力されたカウント値Ｎｃに基づいて、センサ３００が備える増幅器のゲインを制御する。例えば、ゲイン制御部３４は、カウント値Ｎｃが予め定められた閾値を上回った場合にゲインをそれまでの値より小さくし、カウント値Ｎｃが予め定められた閾値を下回った場合にゲインをそれまでの値より大きくする。

露光制御部３６は、パルスカウント部４０から入力されたカウント値Ｎｃに基づいて、露光時間等の露光条件を制御する。例えば、露光制御部３６は、カウント値Ｎｃが予め定められた閾値を上回った場合に露光時間をそれまでの時間よりも短くし、カウント値Ｎｃが予め定められた閾値を下回った場合に露光時間をそれまでの時間よりも長くする。また、露光制御部３６は、画像の輝度が予め定められた閾値を下回った場合に露光時間をそれまでの時間よりも長くし、画像の輝度が予め定められた閾値を上回った場合に露光時間をそれまでの時間よりも短くしてもよい。

ＡＤＣ制御部３８は、パルスカウント部４０から入力されたカウント値Ｎｃに基づいて、ＡＤＣ分解能を制御する。例えば、ＡＤＣ制御部３８は、カウント値Ｎｃが予め定められた閾値を上回った場合にＡＤＣ分解能をそれまでの分解能よりも低くし、カウント値Ｎｃが予め定められた閾値を下回った場合にＡＤＣ分解能をそれまでの分解能よりも高くする。また、ＡＤＣ制御部３８は、画像の輝度が予め定められた閾値を下回った場合にＡＤＣ分解能を高くし、画像の輝度が予め定められた閾値を超えた場合にＡＤＣ分解能を低くしてもよい。なお、これらのゲイン制御部３４によるゲインの制御、露光制御部３６による露光時間の制御、および、ＡＤＣ制御部３８によるＡＤＣ分解能の制御は、複数を組み合わせて制御してもよい。その際、これらの制御部が参照する閾値として、同じカウント値Ｎｃを設定してもよいし、それぞれ異なるカウント値Ｎｃを設定してもよい。

図９は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、グラフィックコントローラ１２１６、およびディスプレイデバイス１２１８を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、ハードディスクドライブ１２２４、ＤＶＤ－ＲＯＭドライブ１２２６、およびＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータはまた、ＲＯＭ１２３０およびキーボード１２４２のようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

ＣＰＵ１２１２は、ＲＯＭ１２３０およびＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ１２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ１２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ１２０１から読み取り、ハードディスクドライブ１２２４にＲＡＭ１２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、および／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

プログラムが、ＤＶＤ－ＲＯＭ１２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ１２２４、ＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００および外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御下、ＲＡＭ１２１４、ハードディスクドライブ１２２４、ＤＶＤ－ＲＯＭ１２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ１２１２は、ハードディスクドライブ１２２４、ＤＶＤ－ＲＯＭドライブ１２２６（ＤＶＤ－ＲＯＭ１２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

また、請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

１０・・・画素部、１１・・・画素、１２・・・ブロック、１３・・・データ処理部、２０・・・イベント検出部、３０・・・撮像制御部、３２・・・リセット制御部、３４・・・ゲイン制御部、３６・・・露光制御部、３８・・・ＡＤＣ制御部、４０・・・パルスカウント部、５０・・・ＡＤ変換部、６０・・・記憶部、７０・・・データ保持部、８０・・・データ入出力部、１００・・・制御装置、１１０・・・第１の基板、１１２・・・画素ブロックアレイ、１２０・・・第２の基板、１２２・・・処理ブロックアレイ、１３０・・・第３の基板、１３２・・・出力ブロックアレイ、３００・・・センサ、５００・・・センサ、５１０・・・画素部、５３０・・・撮像制御部、５５０・・・ＡＤ変換部、５６０・・・記憶部、１２００・・・コンピュータ、１２０１・・・ＤＶＤ－ＲＯＭ、１２１０・・・ホストコントローラ、１２１２・・・ＣＰＵ、１２１４・・・ＲＡＭ、１２１６・・・グラフィックコントローラ、１２１８・・・ディスプレイデバイス、１２２０・・・入出力コントローラ、１２２２・・・通信インタフェース、１２２４・・・ハードディスクドライブ、１２２６・・・ＤＶＤ－ＲＯＭドライブ、１２３０・・・ＲＯＭ、１２４０・・・入出力チップ、１２４２・・・キーボード

Claims (15)

1. １又は複数の画素を備えるセンサの撮像条件を制御する制御装置であって、
   前記１又は複数の画素において、予め定められた閾値を超えて輝度信号が変化することを示すイベントを検出し、イベント検出信号を出力するイベント検出部と、
   前記イベント検出部が検出したイベントの発生数をカウントするカウンタと、
   前記イベントの発生数に基づいて、前記センサの撮像条件を制御する制御部と
   を備え、
   前記予め定められた閾値は、輝度の大きさに対して定められた異なる複数の閾値を有し、
   前記イベント検出部は、前記輝度信号が前記複数の閾値のうちのいずれかを通過した場合に、イベントパルスを発する制御装置。
2. 前記イベント検出部は、前記輝度信号が前記複数の閾値のうちのいずれかを通過して増減した場合に、前記輝度信号の増減に応じてパルスカウントを増減させるイベントパルスを発する、請求項１に記載の制御装置。
3. 前記複数の閾値の差のうち少なくとも２つは、異なる絶対値を有する、請求項１または請求項２に記載の制御装置。
4. 前記撮像条件は、前記センサのＡＤＣ分解能、露光時間、および増幅器のゲインの少なくとも１つを含む
   請求項１から請求項３のいずれか一項に記載の制御装置。
5. 前記制御部は、前回の前記イベントの検出に対応して前記センサが出力した輝度値と、新たな前記イベントの検出により前記イベント検出部が出力したイベントパルスとに基づいて、前記撮像条件を制御する
   請求項１から請求項４のいずれか一項に記載の制御装置。
6. 前記制御部は、前記センサによる露光期間中に、前記イベント検出部がイベントを検出した場合に、前記撮像条件を再度制御し、前記１又は複数の画素への電荷の蓄積をリセットして前記センサによる露光を再度開始させる
   請求項１から請求項５のいずれか一項に記載の制御装置。
7. 前記制御部は、前記センサによる露光期間中に、前記イベント検出部がイベントを検出した場合に、前記撮像条件を再度制御するとともに前記センサによる露光を継続させる
   請求項１から請求項６のいずれか一項に記載の制御装置。
8. １又は複数の画素と、
   請求項１から請求項７のいずれか一項に記載の制御装置と
   を備えるセンサ。
9. 前記１又は複数の画素は、前記イベントを検出するイベント検出素子と、画像を撮像する受光素子とを有する
   請求項８に記載のセンサ。
10. 前記１又は複数の画素が設けられる第１の基板と、
    前記第１の基板に積層される他の基板と
    を備え、
    前記イベント検出部および前記制御部の少なくとも一方は、前記１又は複数の画素からなるブロックに対応して、前記他の基板に設けられる
    請求項８または請求項９に記載のセンサ。
11. 前記１又は複数の画素が設けられる第１の基板と、
    前記第１の基板に積層され、前記イベント検出部および前記制御部が設けられる第２の基板と、
    前記第２の基板に積層され、前記センサの撮像データを保持するデータ保持部が設けられた第３の基板と
    を備える
    請求項８または請求項９に記載のセンサ。
12. １又は複数の画素を備えるセンサの撮像条件を制御する制御方法であって、
    前記１又は複数の画素において、予め定められた閾値を超えて輝度信号が変化することを示すイベントを検出することと、
    前記イベントの発生数をカウントすることと、
    前記イベントの発生数に基づいて、前記センサの撮像条件を制御することと
    を含み、
    前記予め定められた閾値は、輝度の大きさに対して定められた異なる複数の閾値を有し、
    前記輝度信号が前記複数の閾値のうちのいずれかを通過した場合に、イベントパルスを発することをさらに含む制御方法。
13. 前記撮像条件を制御した後に前記センサによる露光を開始させることと、
    前記センサによる露光期間中に前記イベントを検出した場合に前記撮像条件を再度制御することと、
    前記センサへの電荷の蓄積をリセットさせて、前記再度制御された前記撮像条件によって露光を再度開始させること
    を含む請求項１２に記載の制御方法。
14. 前記撮像条件を制御した後に前記センサによる露光を開始させることと、
    前記センサによる露光期間中に前記イベントを検出した場合に、前記センサによる露光を継続させたまま前記撮像条件を再度制御することと
    を含む請求項１２に記載の制御方法。
15. １又は複数の画素を備えるセンサの撮像条件を制御するプログラムであって、
    前記１又は複数の画素において、予め定められた閾値を超えて輝度信号が変化するイベントを検出することと、
    前記イベントの発生数をカウントすることと、
    前記イベントの発生数に基づいて、前記センサの撮像条件を制御することと
    をコンピュータに実行させ、
    前記予め定められた閾値は、輝度の大きさに対して定められた異なる複数の閾値を有し、
    前記輝度信号が前記複数の閾値のうちのいずれかを通過した場合に、イベントパルスを発することをさらに前記コンピュータに実行させる制御装置のプログラム。

Images