JP7191237B2 - センサシステム、画像処理装置、画像処理方法およびプログラム - Google Patents
センサシステム、画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP7191237B2 JP7191237B2 JP2021541867A JP2021541867A JP7191237B2 JP 7191237 B2 JP7191237 B2 JP 7191237B2 JP 2021541867 A JP2021541867 A JP 2021541867A JP 2021541867 A JP2021541867 A JP 2021541867A JP 7191237 B2 JP7191237 B2 JP 7191237B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- gradually increases
- gradation
- amount
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Input (AREA)
- Studio Devices (AREA)
Description
本発明は、センサシステム、画像処理装置、画像処理方法およびプログラムに関する。
CCDやCMOSなどのイメージセンサは、垂直同期信号などの同期信号に同期して画像データ(フレーム)を撮像する同期型の固体撮像素子である。一般的な同期型の固体撮像素子では、同期信号の周期(例えば、1/60秒)ごとにしか画像データが取得されないため、例えば移動体における画像データを利用した高速な処理には対応が困難な場合がある。そこで、例えば非特許文献1などにおいて、アドレスイベントを検出するアドレスイベント表現(AER:Address Event Representation)回路を設けた非同期型の固体撮像素子が提案されている。
上記の非同期型の固体撮像素子において、アドレスイベントは、ある画素アドレスで画素の光量が変動し、変動量が閾値を超えた場合に発生する。具体的には、アドレスイベントは、画素の光量が変動して所定の上限を超えた場合に発生するオンイベントと、光量が所定の下限を下回った場合に発生するオフイベントとを含む。このような非同期型の固体撮像素子において、画素ごとのオンイベントおよびオフイベントの有無を2ビットのデータで表現する画像データの形式はAERフォーマットと呼ばれる。非同期型の固体撮像素子を用いた技術は、例えば特許文献1にも記載されている。
Patrick Lichtsteiner, et al., A 128×128 120dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor, IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 43, NO. 2, FEBRUARY 2008.
上記のような非同期型の固体撮像素子(以下、イベント駆動型センサともいう)では、被写体の動きを高速に検出することは可能であるものの、画像データとしてオンイベントまたはオフイベントの2通りの情報しか得られないため、被写体の輝度の階調を検出することは困難である。例えば、階調を検出することが可能な同期型の固体撮像素子をイベント駆動型センサとともに配置し、イベント駆動型センサで被写体の動きが検出された場合に同期型の固体撮像素子を露光して階調を検出することも考えられるが、撮像装置の構造が複雑になってしまう。
そこで、本発明は、イベント駆動型センサを用いて簡単な構成で被写体の階調を検出することを可能にする、センサシステム、画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
本発明のある観点によれば、被写体に向けて光量が漸増または漸減する光を照射する光源と、光量が漸増または漸減する光の照射開始後に被写体の反射光の変動を検出することによってイベント信号を生成するイベント駆動型センサと、光量が漸増または漸減する光の照射開始からイベント信号の生成までの経過時間に基づいて被写体の階調を算出する階調算出部とを備えるセンサシステムが提供される。
本発明の別の観点によれば、被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する光源制御部と、光量が漸増または漸減する光の照射開始からイベント駆動型センサが被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する経過時間特定部と、経過時間および制御パターンに基づいて被写体の階調を算出する階調算出部とを備える画像処理装置
本発明のさらに別の観点によれば、光源が被写体に向けて光量が漸増または漸減する光を照射するステップと、光量が漸増または漸減する光の照射開始後に被写体の反射光の変動を検出したイベント駆動型センサがイベント信号を生成するステップと、光量が漸増または漸減する光の照射開始からイベント信号の生成までの経過時間に基づいて被写体の階調を算出するステップとを含む画像処理方法が提供される。
本発明のさらに別の観点によれば、被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する機能と、光量が漸増または漸減する光の照射開始からイベント駆動型センサが被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する機能と、経過時間および制御パターンに基づいて被写体の階調を算出する機能とをコンピュータに実現させるためのプログラムが提供される。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
図1は、本発明の一実施形態に係るシステムの概略的な構成を示す図である。図示されているように、センサシステム10は、センサモジュール100と、画像処理装置200と、光源300とを含む。センサモジュール100は、画素ごとに配置されたイベント駆動型センサ(EDS:Event Driven Sensor)110を含むセンサアレイと、信号処理回路120とを含む。画像処理装置200は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される光源制御部210、経過時間特定部220および階調算出部230の機能部分を含む。画像処理装置200は、さらに、画像生成部240の機能部分を含んでもよい。以下、各部についてさらに説明する。
センサモジュール100において、EDS110は、それぞれの画素アドレスで光量の変動量が閾値を超えたときに、アドレスイベントの発生を示すイベント信号を出力する。本実施形態では、後述するように光源300が被写体obj1,obj2に向けて光量が漸増する光を照射するが、このときEDS110は被写体obj1,obj2の反射光の変動を検出することによってイベント信号を生成する。信号処理回路120は、メモリおよびプロセッサを含み、プロセッサがメモリに格納されたプログラムに従って動作することによってEDS110が生成したイベント信号を処理する。具体的には、信号処理回路120は、イベント信号のタイムスタンプを生成する。
画像処理装置200において、光源制御部210は、光源300を光量が漸増する時系列の制御パターンに従って制御する。光源300は、例えばプロジェクタとして用いられるものであってもよく、光量を調節することが可能である。光源300の光量は連続的(無段階的)に調節されてもよいし、段階的に調節されてもよい。光源300が照射する光は、可視光であってもよいし、赤外光などの可視光以外の光であってもよい。光源制御部210は、光量が漸増する光の照射開始時刻、具体的には例えば光量が漸増する光の照射を開始するように光源300に制御信号を送信した時刻と、時系列の制御パターンによって示される光源300の時系列の光量とを示す情報をそれぞれ経過時間特定部220および階調算出部230に提供する。
経過時間特定部220は、光源300による光量が漸増する光の照射開始からEDS110がイベント信号を生成するまでの経過時間を特定する。具体的には、経過時間特定部220は、光源制御部210が光量が漸増する光の照射を開始するように光源300に制御信号を送信した時刻と、センサモジュール100の信号処理回路120が生成したイベント信号のタイムスタンプとの差分から経過時間を特定する。本実施形態では、信号処理回路120と光源制御部210との時刻情報は同期しているか、または経過時間特定部220が信号処理回路120と光源制御部210との時刻情報を対応付け可能であることによって、上記のような経過時間の特定が可能になる。
階調算出部230は、経過時間特定部220によって特定された経過時間と、光源制御部210から提供された光源300の制御パターンとに基づいて被写体obj1,obj2の階調を算出する。本実施形態において、階調算出部230は、光源300が光量が漸増する光を照射したときに、階調の異なる被写体obj1,obj2ではEDS110が反射光の変動を検出することによってイベント信号を生成するタイミングが異なることを利用して、被写体obj1,obj2の階調を算出する。この点については、図2から図4を参照して後述する。
画像生成部240は、階調算出部230が算出した被写体の階調を用いて、イベント信号から被写体の画像を生成する。他の例では、画像生成部240とともに、または画像生成部240に代えて、イベント信号から認識される被写体に対する処理を被写体の階調に応じて選択する機能部分が設けられてもよい。被写体の階調を用いた処理を実行する機能部分は、画像処理装置200の内部において実装されてもよいし、画像処理装置200から被写体の階調を示す情報を受信する外部装置において実装されてもよい。
図2は、本発明の一実施形態における被写体の階調算出の原理について説明するための図である。図示された例では、光源が照射する光量が時系列で0(OFF)から40%まで漸増する間に、階調が異なることによって反射率が異なる被写体の部分(反射率が100%、50%、33%、25%および0%)のそれぞれでイベントが発生している。例えば、光源が照射する光量が10%に到達した時点では、反射率100%の部分でイベントが発生する。これは、反射率が高い部分では少ない光量でもイベントが発生するために十分なコントラストの変化が得られるためである。一方、この時点では、反射率が50%以下の部分ではイベントが発生しない。
その後、光量が上昇して20%に達すると、反射率50%の部分でイベントが発生する。図示された例では、このとき光源の光量に対してイベントが発生する反射率の閾値を超えている部分(反射率100%の部分)ではイベントが発生していないが、光源のフリッカによってイベントが発生する場合はイベントが発生する。一方、この時点では、反射率が33%以下の部分ではイベントが発生しない。さらに光量が上昇して30%に達すると、反射率33%の部分でイベントが発生する。この場合も同様に、反射率50%および100%の部分ではイベントが発生している可能性があるが、反射率25%以下の部分ではイベントが発生しない。同様に、光量が上昇して40%に達すると、反射率25%の部分でイベントが発生する。
図3は、図2に示した原理に基づく光源の制御パターンの例を示す図である。図示された例において、画像処理装置200の光源制御部210は、動作モードとして通常モードと階調検出モードとを交互に繰り返すように光源300を制御する。通常モードは光源300が光量が一定の光を照射するモードであり、階調検出モードは光量が漸増する光を照射するモードである。この場合、光源制御部210は、各回の階調検出モードの開始時刻を示す情報を経過時間特定部220に提供し、階調検出モードにおける光量の上昇割合を示す情報を階調算出部230に提供する。階調算出部230は、階調検出モード、すなわち光量が漸増する光の照射中にEDS110が生成したイベント信号を用いて被写体の階調を算出する。他の例において、光源制御部210は、階調検出モードのみを繰り返すように光源300を制御してもよい。
図4は、光源の制御パターンに基づいて被写体の階調を算出するための関数の例を示す図である。上記で図2を参照して説明したような光量とイベントが発生する被写体の階調(反射率)との関係を予め測定することによって、図3を参照して説明したような光源の制御パターンに対応する階調を時系列で特定し、図4に示されるような経過時間tと階調gとの関数g(t)が得られる。関数g(t)は、経過時間がt1の場合には被写体の階調がg(t1)であり、経過時間がt2(t1<t2)の場合には被写体の階調がg(t2)(g(t1)>g(t2))であることを示す。
図5は、本発明の一実施形態における処理の例を示すフローチャートである。図示された例では、まず、画像処理装置200の光源制御部210の制御に従って、光源300が最小光量で光の照射を開始する(ステップS101)。ここで、最小光量は、光源300が光量を漸増させるときの最初の光量であり、図3に示された例では階調検出モードで光量が通常モードでの光量から上昇し始めた時の光量に相当する。この光の照射が開始された時刻が、後段の処理における経過時間の基準になる。
ここで、EDS110によってイベント信号が生成された場合(ステップS102)、経過時間特定部220が光量の漸増の開始(ステップS101)からのイベント信号の生成までの経過時間を特定し、経過時間、および光源300の制御パターンによって示されるその時の光量から、階調算出部230が被写体の階調を算出する(ステップS103)。光源制御部210が最大光量に到達するまで光量を上昇させる(ステップS104,S105)間に、EDS110によってイベント信号が生成された被写体があれば、経過時間およびその時の光量に基づいて被写体の光量を算出する処理(ステップS102,S103)が繰り返される。
以上で説明した本発明の第1の実施形態では、光源の制御によって被写体に向けて光量が漸増する光を照射し、照射の開始からの経過時間から、被写体の反射光によってイベントが発生したときの光量に対応する被写体の階調を算出する。これによって、イベント駆動型センサ(EDS)を用いて簡単な構成で被写体の階調を検出することができる。
なお、上記の例では光源が被写体に向けて光量が漸増する光を照射するが、他の例では光源が被写体に向けて光量が漸減する光を照射してもよい。光量が漸増する場合にはEDSがオンイベントを示すイベント信号を生成することによって被写体の階調が検出されるが、光量が漸減する場合にはEDSがオフイベントを示すイベント信号をイベント信号を生成することによって被写体の階調が検出される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
10…センサシステム、100…センサモジュール、120…信号処理回路、200…画像処理装置、210…光源制御部、220…経過時間特定部、230…階調算出部、240…画像生成部、300…光源。
Claims (5)
- 被写体に向けて光量が漸増または漸減する光を照射する光源と、
前記光量が漸増または漸減する光の照射開始後に前記被写体の反射光の変動を検出することによってイベント信号を生成するイベント駆動型センサと、
前記光量が漸増または漸減する光の照射開始から前記イベント信号の生成までの経過時間に基づいて前記被写体の階調を算出する階調算出部と
を備えるセンサシステム。 - 前記光源は、前記光量が漸増または漸減する光と、光量が一定の光とを交互に照射し、
前記階調算出部は、前記光量が漸増または漸減する光の照射中に前記イベント駆動型センサが生成した前記イベント信号を用いて前記階調を算出する、請求項1に記載のセンサシステム。 - 被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する光源制御部と、
前記光量が漸増または漸減する光の照射開始からイベント駆動型センサが前記被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する経過時間特定部と、
前記経過時間および前記制御パターンに基づいて前記被写体の階調を算出する階調算出部と
を備える画像処理装置。 - 光源が被写体に向けて光量が漸増または漸減する光を照射するステップと、
前記光量が漸増または漸減する光の照射開始後に前記被写体の反射光の変動を検出したイベント駆動型センサがイベント信号を生成するステップと、
前記光量が漸増または漸減する光の照射開始から前記イベント信号の生成までの経過時間に基づいて前記被写体の階調を算出するステップと
を含む画像処理方法。 - 被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する機能と、
前記光量が漸増または漸減する光の照射開始からイベント駆動型センサが前記被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する機能と、
前記経過時間および前記制御パターンに基づいて前記被写体の階調を算出する機能と
をコンピュータに実現させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/033707 WO2021038750A1 (ja) | 2019-08-28 | 2019-08-28 | センサシステム、画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021038750A1 JPWO2021038750A1 (ja) | 2021-03-04 |
JP7191237B2 true JP7191237B2 (ja) | 2022-12-16 |
Family
ID=74685302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021541867A Active JP7191237B2 (ja) | 2019-08-28 | 2019-08-28 | センサシステム、画像処理装置、画像処理方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11792527B2 (ja) |
JP (1) | JP7191237B2 (ja) |
WO (1) | WO2021038750A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018186478A (ja) | 2017-04-25 | 2018-11-22 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
WO2019135411A1 (ja) | 2018-01-05 | 2019-07-11 | 株式会社ニコン | 検出装置およびセンサ |
JP2019134271A (ja) | 2018-01-31 | 2019-08-08 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11019273B2 (en) * | 2017-09-28 | 2021-05-25 | Apple Inc. | Generating static images with an event camera |
-
2019
- 2019-08-28 JP JP2021541867A patent/JP7191237B2/ja active Active
- 2019-08-28 WO PCT/JP2019/033707 patent/WO2021038750A1/ja active Application Filing
- 2019-08-28 US US17/635,553 patent/US11792527B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018186478A (ja) | 2017-04-25 | 2018-11-22 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
WO2019135411A1 (ja) | 2018-01-05 | 2019-07-11 | 株式会社ニコン | 検出装置およびセンサ |
JP2019134271A (ja) | 2018-01-31 | 2019-08-08 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220337732A1 (en) | 2022-10-20 |
WO2021038750A1 (ja) | 2021-03-04 |
JPWO2021038750A1 (ja) | 2021-03-04 |
US11792527B2 (en) | 2023-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011062102A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び電子機器 | |
US10292242B2 (en) | Control device, control method, and program | |
US20090066805A1 (en) | Video camera | |
JP2014017114A (ja) | 照明システム | |
TW201209532A (en) | Interaction control system, method for detecting motion of object, host apparatus and control method thereof | |
CN110062145B (zh) | 深度相机、电子设备及图像获取方法 | |
JP2008252401A (ja) | 撮像システム、撮像方法、および撮像プログラム | |
US9508136B2 (en) | Image fusing method | |
US9962068B2 (en) | Image pickup system and control method of image pickup system | |
JP6072088B2 (ja) | 放射線撮像システム、放射線撮像方法およびプログラム | |
US10628951B2 (en) | Distance measurement system applicable to different reflecting surfaces and computer system | |
JP7191237B2 (ja) | センサシステム、画像処理装置、画像処理方法およびプログラム | |
KR20110080363A (ko) | 엑스레이 감지 장치 및 엑스선 감지 방법 | |
US20110109644A1 (en) | System and method for performing motion control with display luminance compensation | |
US9894306B2 (en) | Radiation imaging system, control apparatus, control method, and storage medium | |
US10942607B2 (en) | Manipulation detection device and video display system that are capable detecting an object on a video display surface | |
JP6618337B2 (ja) | 物体検出装置、物体検出方法、及びコンピュータプログラム | |
JP2011049788A (ja) | 撮像装置 | |
CN108668089B (zh) | 信息处理装置、信息处理方法以及记录介质 | |
JP2005079683A (ja) | 撮像システム | |
JP2006074460A (ja) | 物体検出装置および方法 | |
US20230353889A1 (en) | Determining pixel information | |
US20220078321A1 (en) | Image capturing control apparatus, method for controlling image capturing apparatus, and storage medium | |
US20240168183A1 (en) | Radiation imaging apparatus | |
WO2022153817A1 (ja) | 情報処理装置、輝度制御方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7191237 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |