JP7401630B2 - センサアレイ - Google Patents

センサアレイ Download PDF

Info

Publication number
JP7401630B2
JP7401630B2 JP2022176169A JP2022176169A JP7401630B2 JP 7401630 B2 JP7401630 B2 JP 7401630B2 JP 2022176169 A JP2022176169 A JP 2022176169A JP 2022176169 A JP2022176169 A JP 2022176169A JP 7401630 B2 JP7401630 B2 JP 7401630B2
Authority
JP
Japan
Prior art keywords
sensor
threshold
change
light
event signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022176169A
Other languages
English (en)
Other versions
JP2023014088A (ja
Inventor
徹悟 稲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2022176169A priority Critical patent/JP7401630B2/ja
Publication of JP2023014088A publication Critical patent/JP2023014088A/ja
Application granted granted Critical
Publication of JP7401630B2 publication Critical patent/JP7401630B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、センサアレイに関する。
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはCCDやCMOSなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献1および特許文献2に記載されている。
特表2014-535098号公報 特開2018-85725号公報
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、従来のビジョンセンサ、例えばフレーム型ビジョンセンサとは異なる特性を考慮した周辺技術については、まだ十分に提案されているとは言いがたい。
そこで、本発明は、イベント駆動型のビジョンセンサにおいて光の強度変化が検出されたときに生成されるイベント信号に基づいて処理を実行するにあたり、異なる光の強度で発生するイベントごとにイベント信号を生成することが可能なセンサアレイを提供することを目的とする。
本発明のある観点によれば、第1の閾値を超える光の強度変化を検出したときに第1のイベント信号を生成する第1のセンサと、第1の閾値よりも大きい第2の閾値を超える光の強度変化を検出したときに第2のイベント信号を生成する第2のセンサとが所定のパターンに従って配列されたセンサアレイが提供される。
本発明の第1の実施形態に係るシステムの概略的な構成を示す図である。 本発明の第1の実施形態における処理の例を示すフローチャートである。 本発明の第1の実施形態におけるセンサの配列パターンの別の例を示す図である。 本発明の第2の実施形態に係るシステムの概略的な構成を示す図である。 第2の実施形態の具体的な例におけるマーカーの点滅パターンの例を示す図である。 光の波長帯域を異ならせない場合のマーカーの点滅パターンを示す図である。 応用例における閾値の設定について説明するための図である。 本発明の第2の実施形態におけるフィルタおよびセンサの配列パターンの別の例を示す図である。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係るシステムの概略的な構成を示す図である。図示された例において、システム10は、イベント駆動型のビジョンセンサ100と、情報処理装置200とを含む。ビジョンセンサ100は、図示しない光学系を介して入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号を生成するセンサ110が配列されたセンサアレイ120を含む。光の強度変化を検出しなかったセンサ110はイベント信号を生成しないため、ビジョンセンサ100においてイベント信号は時間非同期的に生成される。ビジョンセンサ100から出力されるイベント信号は、センサの識別情報(例えばピクセルの位置)と、輝度変化の極性(上昇または低下)と、タイムスタンプとを含む。
本実施形態において、ビジョンセンサ100のセンサ110は、第1の閾値thを超える光の強度変化を検出したときにイベント信号を生成するように構成された第1のセンサ111と、第2の閾値thを超える光の強度変化を検出したときにイベント信号を生成するように構成された第2のセンサ112とを含む。第2の閾値thは、第1の閾値thよりも大きい(th>th)。第1のセンサ111と第2のセンサ112とは、センサアレイ120において所定のパターンに従って、具体的には平面上の2方向(互いに直交するx方向およびy方向として図示)についてそれぞれ交互に配列される。第1のセンサ111が生成した第1のイベント信号と、第2のセンサ112が生成した第2のイベント信号とは、例えばイベント信号に含まれるセンサの識別情報によって区別することができる。
情報処理装置200は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される第1の処理部210および第2の処理部220の機能部分を含む。第1の処理部210は、ビジョンセンサ100の第1のセンサ111が生成した第1のイベント信号が受信され、第2のセンサ112が生成した第2のイベント信号が受信されなかったときに第1の処理を実行する。また、第2の処理部220は、第2のセンサ112が生成した第2のイベント信号が受信されたときに第1の処理とは異なる第2の処理を実行する。情報処理装置200は、さらに、第1の処理部210の処理結果と第2の処理部220の処理結果とを統合する統合処理部230の機能部分を含んでもよい。
なお、情報処理装置200は、例えばビジョンセンサ100と同じ装置内に組み込まれていてもよいし、ビジョンセンサ100と同じ空間内に配置されてビジョンセンサ100と通信する端末装置であってもよいし、ビジョンセンサ100にネットワークを介して接続されるサーバー装置であってもよい。また、情報処理装置200の機能の一部が端末装置において実装され、他の機能がサーバー装置で実装されてもよい。
ここで、上記のように第2のセンサ112が光の強度変化を検出する第2の閾値thは第1のセンサ111が光の強度変化を検出する第1の閾値thよりも大きい。従って、ビジョンセンサ100の画角内のある位置で第1の閾値thを超え第2の閾値thを超えない光の強度変化が生じた場合、第1のセンサ111はイベント信号を生成し、第2のセンサ112はイベント信号を生成しない。この場合に第1のイベント信号を検出し第2のイベント信号を検出しなかった第1の処理部210が実行する第1の処理は、例えば相対的に弱い光の強度変化が発生したことに対応した処理であってもよい。
一方、ビジョンセンサ100の画角内の別の位置で第2の閾値thを超える光の強度変化が生じた場合、第1のセンサ111および第2のセンサ112の両方がイベント信号を生成する。この場合に第2のイベント信号を検出した第2の処理部220が実行する第2の処理は、例えば相対的に強い光の強度変化が発生したことに対応した処理であってもよい。なお、第2のイベント信号が生成されるときには第1のイベント信号も生成されるが、第2の処理部220は第1のイベント信号を検出しなくてもよい。あるいは、第2の処理部220は、第2のイベント信号を生成した第2のセンサ112の近傍の第1のセンサ111が生成した第1のイベント信号を検出することによって、第2のイベント信号を用いてイベントの信頼度を判定しつつ、イベントの解像度を高くしてもよい。
図2は、本発明の第1の実施形態における処理の例を示すフローチャートである。図示された例では、情報処理装置200においてイベント信号が受信されたときに(ステップS101)、受信されたイベント信号がビジョンセンサ100の第2のセンサ112で生成された第2のイベント信号であれば(ステップS102のYES)、第2の処理部220が第2の処理を実行する(ステップS103)。一方、受信されたイベント信号が第2のイベント信号ではない、すなわち第1のセンサ111で生成された第1のイベント信号である場合(ステップS102のNO)、第1の処理部210が第1の処理を実行する(ステップS104)。
(第1の応用例)
第1の応用例として、上記のようなシステム10は、特性の異なる複数のオブジェクトの動きをイベント信号から検出する処理に利用できる。この場合、例えば、第1の閾値は壁や床などの非発光体が動いた場合の輝度変化量に対応し、第2の閾値はLEDマーカーやディスプレイなどの発光体が動いたり点滅したりした場合の輝度変化量に対応する。情報処理装置200では、第1の処理部210が、第1のイベント信号が受信され第2のイベント信号が受信されなかった領域について、非発光体の動きを検出する処理を実行する。一方、第2の処理部220は、第2のイベント信号が受信された領域について、発光体の動きまたは点滅を検出する処理を実行する。上記のような処理によって、非発光体の動きと発光体の動きまたは点滅とを分離して検出することが可能になる。
(第2の応用例)
また、第2の応用例として、上記のようなシステム10は、例えばゲームコントローラなどにビジョンセンサ100を搭載し、ビジョンセンサ100が検出したイベントに基づいてコントローラの自己位置を推定する処理に利用できる。この場合、ビジョンセンサ100は周辺環境の動きによって発生するイベントを検出するが、イベントにおける輝度変化のコントラストが強いほど、周辺環境の動きを表す情報としての信頼度が高いと考えられる。そこで、この場合、情報処理装置200では、第1の処理部210が、第1のイベント信号が受信され第2のイベント信号が受信されなかった領域について第1のラベルをもった第1のイベントを特定する処理を実行する。第1のイベントは、後段の処理で信頼度が相対的に低いイベントとして扱われる。一方、第2の処理部220は、第2のイベント信号が受信された領域について第2のラベルをもった第2のイベントを特定する処理を実行する。このとき、第2のイベント信号が受信された領域では、第1のイベント信号も含めて第2のイベントが発生した領域が特定されてもよい。第2のイベントは、後段の処理で信頼度が相対的に高いイベントとして扱われる。
上記の例において、統合処理部230は、第1の処理部210が特定した第1のイベントと、第2の処理部220が特定した第2のイベントとに基づいてコントローラの自己位置を推定する。例えば、自己位置推定のために必要なイベントの数の閾値が1000であって、第2のイベント(信頼度が高いイベント)の数が1500、第1のイベント(信頼度が低いイベント)の数が3000である場合、統合処理部230は第2のイベントのみを用いて自己位置を推定する。一方、第2のイベント(信頼度が高いイベント)の数が100、第1のイベント(信頼度が低いイベント)の数が1500である場合、統合処理部230は第1のイベントと第2のイベントとを両方用いて自己位置を推定する。相対的に信頼度が高い第2のイベントが十分な数特定された場合には第2のイベントのみに基づいて自己位置を推定することによって、自己位置推定の精度を向上させることができる。
図3は、本発明の第1の実施形態におけるセンサの配列パターンの別の例を示す図である。図3に示された例では、ビジョンセンサ100のセンサアレイ120において、第1のセンサ111と第2のセンサ112とが不均等に配列される。具体的には、第1のセンサ111および第2のセンサ112は平面上の2方向(互いに直交するx方向およびy方向として図示)についてそれぞれ交互に配列されているが、それぞれの方向について、第1のセンサ111と第2のセンサ112との比率は2:1である。例えば、上記の第1の応用例において、LEDマーカーやディスプレイなどの発光体の動きや点滅はコントラストが強いイベントであるため、イベントが発生する領域の大きさを超えない範囲で第2のセンサ112の間隔を大きくしても精度よく検出することができる。このような場合、上記のような不均等なパターンでセンサを配列することによって、第1のセンサ111の領域を相対的に大きくし、非発光体のイベントの解像度を上げることができる。
(第2の実施形態)
図4は、本発明の第2の実施形態に係るシステムの概略的な構成を示す図である。図示された例において、システム20は、イベント駆動型のビジョンセンサ300と、情報処理装置400とを含む。本実施形態において、ビジョンセンサ300のセンサ310は、第1の閾値thを超える光の強度変化を検出したときにイベント信号を生成するように構成された第1のセンサ311と、第1の閾値thよりも大きい第2の閾値thを超える光の強度変化を検出したときにイベント信号を生成するように構成された第2のセンサ312と、第2の閾値thよりも大きい第3の閾値thを超える光の強度変化を検出したときにイベント信号を生成するように構成された第3のセンサ313と、第3の閾値thよりも大きい第4の閾値thを超える光の強度変化を検出したときにイベント信号を生成するように構成された第4のセンサ314とを含む(th<th<th<th)。第1から第4のセンサ311~314は、センサアレイ320において所定のパターンに従って、具体的には平面上の2方向(互いに直交するx方向およびy方向として図示)についてそれぞれ交互に配列される。第1から第4のセンサ311~314のそれぞれが生成した第1から第4のイベント信号は、例えばイベント信号に含まれるセンサの識別情報によって区別することができる。
情報処理装置400は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される第1から第4の処理部410~440の機能部分を含む。第1の処理部410は、第1のイベント信号が受信され第2から第4のイベント信号が受信されなかったときに第1の処理を実行する。第2の処理部420は、第2のイベント信号が受信され(第1のイベント信号も受信されてもよい)第3および第4のイベント信号が受信されなかったときに第2の処理を実行する。第3の処理部430は、第3のイベント信号が受信され(第1および第2のイベント信号も受信されてもよい)第4のイベント信号が受信されなかったときに第3の処理を実行する。第4の処理部440は、第4のイベント信号が受信されたときに(第1から第3のイベント信号も受信されてもよい)第4の処理を実行する。第1から第4の処理は、それぞれ異なる処理でありうる。情報処理装置400は、さらに、第1から第4の処理部410~440の処理結果を統合する統合処理部450の機能部分を含んでもよい。
(第3の応用例)
第3の応用例として、上記のようなシステム20は、例えば、ビジョンセンサ300の画角内で移動する複数のオブジェクトに光の強度が異なる4種類の点滅パターンで光を射出するマーカーのいずれかを取り付け、これらのマーカーを識別しながらトラッキングする処理に利用できる。図5に示すように、4種類のマーカーの点滅パターンP1~P4の光の強度I,I,I,Iを、第1から第4のセンサ311~314の閾値th,th,th,thとの関係がth<I≦th<I≦th<I≦th<Iとなるように設定すれば、第1の処理部410は点滅パターンP1のマーカーをトラッキングし、第2の処理部420は点滅パターンP2のマーカーをトラッキングし、第3の処理部430は点滅パターンP3のマーカーをトラッキングし、第4の処理部440は点滅パターンP4のマーカーをトラッキングすることができる。例えば、本実施形態のように光の強度を異ならせるのではない場合、イベント信号を用いてマーカーを識別するためには図6に示すようにマーカーの点滅パターンを異ならせる必要がある。しかしながら、この場合は識別するマーカーの種類が増えるほど点滅パターンの周期が長くなり、動作が高速なイベント駆動型のビジョンセンサを使っているにもかかわらずレイテンシーが長くなってしまう。上記の例では、図5に示すように各マーカーの点滅パターンの周期を同じにしてレイテンシーを維持しつつ、4種類のマーカーを識別することが可能である。
(第4の応用例)
また、第4の応用例として、上記のようなシステム20は、例えば、自動運転車で周辺のオブジェクトを認識する処理に利用できる。この場合、例えば図7に示されるように、(1)晴天時の非発光体(2)荒天時の非発光体(3)信号機(4)LEDマーカーのそれぞれの検出に適するように、第1から第4のセンサ311~314の閾値th,th,th,thを設定する。この場合、第1の処理部410は晴天時に非発光体の動きを認識し、第2の処理部420は荒天時に非発光体の動きを認識し、第3の処理部430は信号機の動きおよび点滅を認識し、第4の処理部440はLEDマーカーの動きおよび点滅を認識する。信号機およびLEDマーカーは発光体であるため、非発光体よりも高い閾値でもイベントを検出することができる。LEDマーカーは、例えば他の車両に取り付けられて車間距離を計測したり、道路に埋め込まれて経路をガイドしたりするのに使われる。荒天時は雨粒などが原因で大量のイベントが発生するため、雨粒以外の飛来物が認識できる範囲で晴天時よりも閾値を上げることによって、イベント検出後の処理負荷を低減することができる。この場合、晴天時のデータを併用することによって、雨粒以外のイベントを検出しやすくしてもよい。
本実施形態に係るシステム20は、上記で第1の実施形態の応用例として説明した第1および第2の応用例、すなわち特性の異なる複数のオブジェクトの動きをイベント信号から検出する処理や、イベントに基づく自己位置推定の処理に利用されてもよい。自己位置推定の処理では、イベントの信頼度が4段階で評価されることによって、自己位置推定のために必要な数のイベントを信頼度がより高いイベントから抽出することが容易になり(例えば、信頼度の4段階のうち上位2段階、または上位3段階だけ抽出するという選択肢ができる)、自己位置推定の精度を向上させることができる。また、第1の実施形態に係るシステム10も、第3の応用例(2種類のマーカーのトラッキング)および第4の応用例(例えば、晴天時および荒天時の非発光体の動きの認識)の処理に利用可能である。
図8は、本発明の第2の実施形態におけるセンサの配列パターンの別の例を示す図である。上記で図4に示された例では、ビジョンセンサ300の第1から第4のセンサ311~314が平面上の2方向(互いに直交するx方向およびy方向として図示)についてそれぞれ交互に配列されたが、図8に示された例では、第1から第4のセンサ311~314がx方向についてのみ交互に配列される。つまり、第1から第4のセンサ311~314は、y方向について帯状のパターンで配列される。この場合、x方向ではセンサアレイ320のピクセルサイズの4倍未満の大きさの領域で発生したイベントが波長帯域の合わないフィルタによって遮断される可能性があるが、y方向ではそのような遮断が生じない。一方、上記で図4に示された例では、x方向、y方向ともに、センサアレイ320のピクセルサイズの2倍以上の大きさの領域で発生したイベントであれば遮断されることなく検出される。このように、センサの配列パターンは、例えばそれぞれの方向における検出したいイベントの大きさに応じて適宜変更することが可能である。
以上で説明したような本発明の実施形態では、イベント駆動型のビジョンセンサにおいて光の強度変化を検出する閾値が異なる複数の種類のセンサを配置し、情報処理装置においてそれぞれのセンサが生成したイベント信号に対応する処理を実行することによって、異なる光の強度で発生するイベントごとに異なる処理を実行することができる。センサの種類(閾値の段階)が増えるほど同じ強度のイベントを検出するときの解像度は低下するが、例えば補間や外挿などの公知の技術によって補うことができる。また、例えば上述のように閾値が高いセンサが生成したイベント信号を信頼度が相対的に高いイベントの発生を示す情報として扱う場合、信頼度が相対的に高いイベントが発生した領域では閾値が低いセンサが生成したイベント信号も含めてイベントが発生した領域を特定することによって、解像度の低下を抑えることもできる。
なお、上記の各実施形態で説明された変形は、他の実施形態にも適用可能である。例えば、第1の実施形態について図3を参照して説明したようなフィルタおよびセンサの不均等な配列パターンは、第2の実施形態にも適用可能である。また、第2の実施形態について図8を参照して説明したようなフィルタおよびセンサの帯状の配列パターンは、第1の実施形態にも適用可能である。
本発明の実施形態は、例えばゲームコントローラ、スマートフォン、各種の移動体(自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットなど)で周辺環境の情報を取得したり、周辺のオブジェクトの位置から自己位置を推定したり、飛来するオブジェクトを検出して回避行動をとったりするために利用することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
10,20…システム、100,300…イベント駆動型のビジョンセンサ、110,310…センサ、111,311…第1のセンサ、112,312…第2のセンサ、313…第3のセンサ、314…第4のセンサ、120,320…センサアレイ、200,400…情報処理装置、210,410…第1の処理部、220,420…第2の処理部、430…第3の処理部、440…第4の処理部。

Claims (11)

  1. 第1の閾値を超える光の強度変化を検出したときに第1のイベント信号を生成する第1のセンサと、前記第1の閾値よりも大きい第2の閾値を超える光の強度変化を検出したときに第2のイベント信号を生成する第2のセンサとが所定のパターンに従って配列されたセンサアレイであって、
    前記センサアレイは車両に搭載され、
    前記第1の閾値または前記第2の閾値のいずれか一方は、前記車両の周辺で信号機が点滅するかまたは前記車両に対して相対的に動いた場合の輝度変化量に対応する、センサアレイ
  2. 前記第2の閾値よりも大きい第3の閾値を超える光の強度変化を検出したときに第3のイベント信号を生成する第3のセンサが、前記第1のセンサおよび前記第2のセンサとともに前記所定のパターンに従って配列される、請求項1に記載のセンサアレイ。
  3. 前記第3の閾値よりも大きい第4の閾値を超える光の強度変化を検出したときに第4のイベント信号を生成する第4のセンサが、前記第1のセンサ、前記第2のセンサ、および前記第3のセンサとともに前記所定のパターンに従って配列される、請求項2に記載のセンサアレイ。
  4. 第1の閾値を超える光の強度変化を検出したときに第1のイベント信号を生成する第1のセンサと、前記第1の閾値よりも大きい第2の閾値を超える光の強度変化を検出したときに第2のイベント信号を生成する第2のセンサとが所定のパターンに従って配列されたセンサアレイであって、
    前記第2の閾値よりも大きい第3の閾値を超える光の強度変化を検出したときに第3のイベント信号を生成する第3のセンサが、前記第1のセンサおよび前記第2のセンサとともに前記所定のパターンに従って配列されるとともに、前記第3の閾値よりも大きい第4の閾値を超える光の強度変化を検出したときに第4のイベント信号を生成する第4のセンサが、前記第1のセンサ、前記第2のセンサ、および前記第3のセンサとともに前記所定のパターンに従って配列され、
    前記センサアレイは車両に搭載され、
    前記第1の閾値は前記車両の周辺で晴天時に非発光体が動いた場合の輝度変化量に対応し、前記第2の閾値は前記車両の周辺で荒天時に非発光体が動いた場合の輝度変化量に対応し、前記第3の閾値は前記車両の周辺で信号機が点滅するかまたは前記車両に対して相対的に動いた場合の輝度変化量に対応し、前記第4の閾値は前記車両の周辺でLEDマーカーが点滅するかまたは動いた場合の輝度変化量に対応する、センサアレイ。
  5. 第1の閾値を超える光の強度変化を検出したときに第1のイベント信号を生成する第1のセンサと、前記第1の閾値よりも大きい第2の閾値を超える光の強度変化を検出したときに第2のイベント信号を生成する第2のセンサとが所定のパターンに従って配列されたセンサアレイであって、
    前記第1の閾値は非発光体が動いた場合の輝度変化量に対応し、前記第2の閾値は発光体が動いた場合の輝度変化量に対応する、センサアレイ。
  6. 前記第1のセンサおよび前記第2のセンサは第1の方向および前記第1の方向に直交する第2の方向にそれぞれ配列され、
    前記所定のパターンでは、前記第1のセンサおよび前記第2のセンサが前記第1の方向および前記第2の方向についてそれぞれ交互に配列される、請求項1または請求項2に記載のセンサアレイ。
  7. 前記第1のセンサおよび前記第2のセンサは第1の方向および前記第1の方向に直交する第2の方向にそれぞれ配列され、
    前記所定のパターンでは、前記第1のセンサおよび前記第2のセンサが前記第1の方向についてのみ交互に配列される、請求項1または請求項2に記載のセンサアレイ。
  8. 第1の閾値を超える光の強度変化を検出したときに第1のイベント信号を生成する第1のセンサと、前記第1の閾値よりも大きい第2の閾値を超える光の強度変化を検出したときに第2のイベント信号を生成する第2のセンサとが所定のパターンに従って配列されたセンサアレイであって、
    前記第1のセンサおよび前記第2のセンサは第1の方向および前記第1の方向に直交する第2の方向にそれぞれ配列され、
    前記所定のパターンでは、前記第1の方向および前記第2の方向のそれぞれの方向について、前記第1のセンサと前記第2のセンサとの比率は2:1である、センサアレイ。
  9. 前記第1のセンサ、前記第2のセンサ、前記第3のセンサ、および前記第4のセンサは第1の方向および前記第1の方向に直交する第2の方向にそれぞれ配列され、
    前記所定のパターンでは、前記第1のセンサ、前記第2のセンサ、前記第3のセンサ、および前記第4のセンサが前記第1の方向および前記第2の方向についてそれぞれ交互に配列される、請求項3または請求項4に記載のセンサアレイ。
  10. 前記第1のセンサ、前記第2のセンサ、前記第3のセンサ、および前記第4のセンサは第1の方向および前記第1の方向に直交する第2の方向にそれぞれ配列され、
    前記所定のパターンでは、前記第1のセンサ、前記第2のセンサ、前記第3のセンサ、および前記第4のセンサが前記第1の方向についてのみ交互に配列される、請求項3または請求項4に記載のセンサアレイ。
  11. 前記第1のセンサ、前記第2のセンサ、前記第3のセンサ、および前記第4のセンサは第1の方向および前記第1の方向に直交する第2の方向にそれぞれ配列され、
    前記所定のパターンでは、前記第1のセンサ、前記第2のセンサ、前記第3のセンサ、および前記第4のセンサのうち2種類のセンサが前記第1の方向について交互に配列される第1のセンサ群と、前記第1のセンサ、前記第2のセンサ、前記第3のセンサ、および前記第4のセンサのうち前記2種類のセンサ以外の2種類のセンサが前記第1の方向について交互に配列される第2のセンサ群とが、前記第2の方向について交互に配列される、請求項3または請求項4に記載のセンサアレイ。
JP2022176169A 2019-06-25 2022-11-02 センサアレイ Active JP7401630B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022176169A JP7401630B2 (ja) 2019-06-25 2022-11-02 センサアレイ

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021528689A JP7171919B2 (ja) 2019-06-25 2019-06-25 システム、情報処理装置、情報処理方法およびプログラム
PCT/JP2019/025111 WO2020261369A1 (ja) 2019-06-25 2019-06-25 システム、情報処理装置、情報処理方法およびプログラム
JP2022176169A JP7401630B2 (ja) 2019-06-25 2022-11-02 センサアレイ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021528689A Division JP7171919B2 (ja) 2019-06-25 2019-06-25 システム、情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2023014088A JP2023014088A (ja) 2023-01-26
JP7401630B2 true JP7401630B2 (ja) 2023-12-19

Family

ID=74059679

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021528689A Active JP7171919B2 (ja) 2019-06-25 2019-06-25 システム、情報処理装置、情報処理方法およびプログラム
JP2022176169A Active JP7401630B2 (ja) 2019-06-25 2022-11-02 センサアレイ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021528689A Active JP7171919B2 (ja) 2019-06-25 2019-06-25 システム、情報処理装置、情報処理方法およびプログラム

Country Status (6)

Country Link
US (1) US20220228907A1 (ja)
EP (1) EP3993404A4 (ja)
JP (2) JP7171919B2 (ja)
KR (1) KR20220029562A (ja)
CN (1) CN114073070A (ja)
WO (1) WO2020261369A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023186529A1 (en) * 2022-03-31 2023-10-05 Sony Group Corporation Sensor device and method for operating a sensor device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074419A (ja) 2004-09-02 2006-03-16 Casio Comput Co Ltd 画像読取装置及びその駆動制御方法
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
JP2017091518A (ja) 2015-11-16 2017-05-25 三星電子株式会社Samsung Electronics Co.,Ltd. イメージ生成方法及び装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
US10348994B2 (en) * 2017-04-06 2019-07-09 Samsung Electronics Co., Ltd. Intensity image acquisition from dynamic vision sensors
US11416759B2 (en) * 2018-05-24 2022-08-16 Samsung Electronics Co., Ltd. Event-based sensor that filters for flicker
US10909824B2 (en) * 2018-08-14 2021-02-02 Samsung Electronics Co., Ltd. System and method for pulsed light pattern capturing using a dynamic vision sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074419A (ja) 2004-09-02 2006-03-16 Casio Comput Co Ltd 画像読取装置及びその駆動制御方法
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
JP2017091518A (ja) 2015-11-16 2017-05-25 三星電子株式会社Samsung Electronics Co.,Ltd. イメージ生成方法及び装置

Also Published As

Publication number Publication date
CN114073070A (zh) 2022-02-18
EP3993404A1 (en) 2022-05-04
WO2020261369A1 (ja) 2020-12-30
KR20220029562A (ko) 2022-03-08
JPWO2020261369A1 (ja) 2020-12-30
JP2023014088A (ja) 2023-01-26
JP7171919B2 (ja) 2022-11-15
US20220228907A1 (en) 2022-07-21
EP3993404A4 (en) 2023-01-18

Similar Documents

Publication Publication Date Title
CN111886598A (zh) 快速检测可能与移动的主要对象的轨迹相交的次要对象
JP5497248B1 (ja) 故障判定装置
US9245333B1 (en) Systems and methods for detecting obstructions within the field-of-view of an image sensor
US9886773B2 (en) Object detection apparatus and object detection method
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
Reisman et al. Crowd detection in video sequences
JP6132412B2 (ja) 車外環境認識装置
US20070069872A1 (en) Vehicle driving assist system
US9965690B2 (en) On-vehicle control device
WO2019026785A1 (ja) 付着物検出装置、および、それを備えた車両システム
JP6358552B2 (ja) 画像認識装置および画像認識方法
CN104395156A (zh) 车辆周围监视装置
CN109844450B (zh) 分类装置、分类方法以及记录介质
US11157746B2 (en) Method and system for detecting an elevated object situated within a parking facility
JP7401630B2 (ja) センサアレイ
JP2004104646A (ja) 車載用画像処理装置
JP6236039B2 (ja) 車外環境認識装置
JP6420650B2 (ja) 車外環境認識装置
CN109703555A (zh) 用于探测道路交通中被遮蔽的对象的方法和设备
KR102645637B1 (ko) 시스템, 비전 센서, 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2017009572A (ja) 車載レーダ装置及び領域検出方法
JP6335037B2 (ja) 車外環境認識装置
JP2010092353A (ja) 画像処理装置及び画像処理方法
JP4992129B2 (ja) 光通信装置
US11069049B2 (en) Division line detection device and division line detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R150 Certificate of patent or registration of utility model

Ref document number: 7401630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150