JP7357624B2 - イベントベースセンサからの信号を処理する方法および装置 - Google Patents
イベントベースセンサからの信号を処理する方法および装置 Download PDFInfo
- Publication number
- JP7357624B2 JP7357624B2 JP2020540616A JP2020540616A JP7357624B2 JP 7357624 B2 JP7357624 B2 JP 7357624B2 JP 2020540616 A JP2020540616 A JP 2020540616A JP 2020540616 A JP2020540616 A JP 2020540616A JP 7357624 B2 JP7357624 B2 JP 7357624B2
- Authority
- JP
- Japan
- Prior art keywords
- event
- events
- scene
- burst
- frequency pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
各感知素子に対して、シーンからの入射光の変動に応じて上記感知素子から生じる連続するイベントを含む信号を受信するステップと、
上記信号を解析することによって少なくとも1つの感知素子によって感知される光プロファイルにおける周波数パターンを検出するステップと、
周波数パターンの検出に応答してシーンから情報を抽出するステップと
を含む。
少なくとも1つの感知素子から生じる連続するイベントのバーストを信号から抽出することであり、各バーストが、同方向の入射光の変動に対応する輝度属性を有するイベントからなる、抽出することと、
連続するバーストのタイミングに基づいて周波数パターンを検出することと
を含むステップを通じて信号を解析するために使用できる。
新たなイベントの発生時間が同じ感知素子からの直前のイベントの記憶された発生時間プラス時間閾値を超える場合、新たなイベントを破棄するステップと、
新たなイベントの輝度属性および同じ感知素子からの直前のイベントの記憶された輝度属性が逆符号の入射光の変動に対応する場合、新たなイベントを破棄するステップと、
同じ感知素子からの次のイベントをフィルタリングするために新たなイベントの発生時間および輝度属性を記憶するステップと
を含む。
A:現在のイベントのアドレス、センサ10のピクセルのマトリクスでのその位置を特定する;
t:現在のイベントの発生時間;
p:現在のイベントの極性、例えば感知された輝度が増加している場合p=+1そして感知された輝度が減少している場合p=-1;
t'(A):アドレスAの感知素子によって示される最新のイベントの発生時間;
p'(A):アドレスAの感知素子によって示される最新のイベントの極性。p'(A)は、抽出されているイベントのバーストの極性も表す;
δtmax:予め設定された時間閾値;
C(A):ピクセルアドレスAに対するイベントカウンタ。
12 プロセッサ
15 取得用の光学部品
Claims (16)
- イベントベースセンサからの信号を処理する方法であって、前記イベントベースセンサ(10)が、シーンに向かう感知素子のアレイを有し、
各感知素子に対して、前記シーンからの入射光の変動に応じて前記感知素子から生じる連続するイベントを含む信号を受信するステップ(50)と、
前記信号を解析して(80)、少なくとも1つの感知素子によって感知される光プロファイルにおける周波数パターンを検出するステップと、
前記周波数パターンの検出に応答して前記シーンから情報を抽出するステップ(100)と
を含む、方法。 - 前記イベントが各々、発生時間(t)および入射光の変動に対応する輝度属性(p)を含み、かつ前記信号を解析するステップが、
少なくとも1つの感知素子から生じる連続するイベントのバーストを前記信号から抽出するステップ(60)であり、各バーストが、同方向の入射光の変動に対応する輝度属性を有するイベントからなる、ステップと、
前記連続するバーストのタイミングに基づいて前記周波数パターンを検出するステップ(70)と
を含む、請求項1に記載の方法。 - バーストが、同方向の入射光の変動に対応する輝度属性(p)を有する、同じ感知素子から生じる予め設定された数(Cmin)のイベントを計数することによって前記信号から抽出される、請求項2に記載の方法。
- 前記信号を解析するステップが、前記信号で受信されるイベントをフィルタリングするステップ(20)であり、前記連続するイベントのバーストがフィルタリング後に前記信号から抽出される(30;40)、ステップを更に含み、
かつ前記フィルタリングするステップ(20)が、前記イベントベースセンサの感知素子から生じる新たなイベントを受信する(22)と、
前記新たなイベントの前記発生時間(t)が前記同じ感知素子からの直前のイベントの記憶された発生時間(t'(A))プラス時間閾値(δtmax)を超える場合、前記新たなイベントを破棄するステップと、
前記新たなイベントの前記輝度属性(p)および前記同じ感知素子からの前記直前のイベントの記憶された輝度属性(p'(A))が逆符号の入射光の変動に対応する場合、前記新たなイベントを破棄するステップと、
前記同じ感知素子からの次のイベントをフィルタリングするために前記新たなイベントの前記発生時間および前記輝度属性を記憶するステップと
を含む、請求項2または3に記載の方法。 - 入射光の変動の方向に対応する極性を有するイベントのバーストを抽出するステップが、Nが1以上の整数であるとして、一群のN個の感知素子に対して、
前記フィルタリングされた信号が、前記バーストの極性(p'(A))に対応する輝度属性(p)を持つ、前記一群のN個の感知素子から生じる新たなイベントを有すると、イベントカウンタ(C(A);C(r))をインクリメントするステップ(31)を含み、
前記バーストが、前記イベントカウンタ(C(A);C(r))が閾値(Cmin)に達すると抽出される(33;46)、請求項4に記載の方法。 - 前記極性を有するイベントの前記バーストを抽出するステップが、前記イベントカウンタが前記閾値(Cmin)に達すると、次のイベントのバーストの抽出のために前記極性を変更するステップを更に含む、請求項5に記載の方法。
- イベントの前記バーストを抽出するステップが、前記信号が、前記バーストの前記極性に対応しない輝度属性を持つ、前記一群のN個の感知素子から生じる新たなイベントを有すると、前記イベントカウンタ(C(A);C(r))をリセットするステップ(25)を含む、請求項5または6に記載の方法。
- 前記イベントカウンタが所与のタイムスライス(Δtmax)内で前記閾値(Cmin)に達しない場合、前記イベントカウンタをリセットするステップ(48)を更に含む、請求項5から7のいずれか一項に記載の方法。
- 前記周波数パターンを検出するステップが、
同方向の入射光の変動に対応する輝度属性を有するイベントからなる連続バースト間の第1の時間間隔を判定するステップと、
前記第1の時間間隔の統計解析を行って、前記連続するバーストが周波数パターンを示すかどうかを決定するステップと
を含む、請求項2から8のいずれか一項に記載の方法。 - 前記周波数パターンを検出するステップが、前記連続するバーストが周波数パターンを示すと決定されると、前記第1の時間間隔に基づいて前記周波数パターンの周波数を推定するステップ、および/または逆方向の入射光の変動に対応する輝度属性を有するイベントからなる連続バースト間で判定される第2の時間間隔に基づいて前記周波数パターンのデューティサイクルを推定するステップを更に含む、請求項9に記載の方法。
- 前記周波数パターンを検出した後に、
前記検出された周波数パターンと同じ周波数および/またはデューティサイクルが検出される前記シーンの空間領域を判定するステップと、
前記空間領域のサイズが既定のサイズを超える場合、前記空間領域を無視するステップと
を更に含む、請求項1から10のいずれか一項に記載の方法。 - 前記空間領域を判定した後に、
前記シーンにおける前記空間領域の幾何寸法を検出するステップと、
前記検出された幾何寸法との相関で前記空間領域を生成する光源と前記イベントベースセンサとの間の距離または相対運動を計算するステップと
を更に含む、請求項11に記載の方法。 - 情報を抽出するステップ(100)が、前記シーンにおいて検出される周波数パターンを復調するステップを含む、請求項1から12のいずれか一項に記載の方法。
- 前記シーンから抽出された前記情報が、前記周波数パターンが検出される少なくとも1つの感知素子の、前記アレイでのアドレスに関する位置情報と共に出力される、請求項1から13のいずれか一項に記載の方法。
- シーンから情報を抽出するための装置であって、
前記シーンの前に配置されるべき感知素子のアレイと、
前記感知素子のアレイと結合され、かつ請求項1から14のいずれか一項に記載の方法を行うように構成される少なくとも1つのプロセッサと
を備える、装置。 - 感知素子のアレイと結合されるプロセッサによって実行されるべきプログラムコードを含むコンピュータプログラムであって、前記プログラムコードが、前記プロセッサによって実行されると請求項1から14のいずれか一項に記載の方法の履行に適合される、コンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18305063.2A EP3518529A1 (en) | 2018-01-26 | 2018-01-26 | Method and apparatus of processing a signal from an event-based sensor |
EP18305063.2 | 2018-01-26 | ||
EP18191469 | 2018-08-29 | ||
EP18191469.8 | 2018-08-29 | ||
PCT/EP2019/051919 WO2019145516A1 (en) | 2018-01-26 | 2019-01-25 | Method and apparatus of processing a signal from an event-based sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021513235A JP2021513235A (ja) | 2021-05-20 |
JP7357624B2 true JP7357624B2 (ja) | 2023-10-06 |
Family
ID=65041777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020540616A Active JP7357624B2 (ja) | 2018-01-26 | 2019-01-25 | イベントベースセンサからの信号を処理する方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11303804B2 (ja) |
EP (1) | EP3744084B1 (ja) |
JP (1) | JP7357624B2 (ja) |
KR (1) | KR20200133210A (ja) |
CN (1) | CN111919434B (ja) |
WO (1) | WO2019145516A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11416759B2 (en) * | 2018-05-24 | 2022-08-16 | Samsung Electronics Co., Ltd. | Event-based sensor that filters for flicker |
EP3690736A1 (en) * | 2019-01-30 | 2020-08-05 | Prophesee | Method of processing information from an event-based sensor |
WO2020195769A1 (ja) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | 物体検出装置、物体検出システム及び物体検出方法 |
CN113412413A (zh) | 2019-04-25 | 2021-09-17 | 普罗费塞公司 | 用于对振动进行成像和感测的系统和方法 |
DE102019126812A1 (de) * | 2019-10-07 | 2021-04-08 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zur Erkennung einer gepulst betriebenen Lichtquelle |
JPWO2021084833A1 (ja) * | 2019-10-30 | 2021-05-06 | ||
US11303811B2 (en) | 2019-11-05 | 2022-04-12 | Fotonation Limited | Event-sensor camera |
US11227402B2 (en) | 2020-05-29 | 2022-01-18 | Icatch Technology, Inc. | Velocity measuring device |
JPWO2021246194A1 (ja) * | 2020-06-04 | 2021-12-09 | ||
US11164019B1 (en) | 2020-06-17 | 2021-11-02 | Fotonation Limited | Object detection for event cameras |
US11423567B2 (en) | 2020-06-17 | 2022-08-23 | Fotonation Limited | Method and system to determine the location and/or orientation of a head |
US11301702B2 (en) | 2020-06-17 | 2022-04-12 | Fotonation Limited | Object detection for event cameras |
US11270137B2 (en) | 2020-06-17 | 2022-03-08 | Fotonation Limited | Event detector and method of generating textural image based on event count decay factor and net polarity |
US11776319B2 (en) | 2020-07-14 | 2023-10-03 | Fotonation Limited | Methods and systems to predict activity in a sequence of images |
US11405580B2 (en) | 2020-09-09 | 2022-08-02 | Fotonation Limited | Event camera hardware |
US11768919B2 (en) | 2021-01-13 | 2023-09-26 | Fotonation Limited | Image processing system |
CN116724290A (zh) * | 2021-01-14 | 2023-09-08 | 普罗菲西公司 | 用于操作基于事件的图像传感器的数字事件编码 |
WO2022239495A1 (ja) * | 2021-05-14 | 2022-11-17 | ソニーグループ株式会社 | 生体組織観察システム、生体組織観察装置及び生体組織観察方法 |
AT524572B1 (de) * | 2021-05-26 | 2022-07-15 | Ait Austrian Inst Tech Gmbh | Verfahren zur Erfassung der dreidimensionalen Struktur eines Gegenstands |
WO2023046392A1 (en) | 2021-09-24 | 2023-03-30 | Terranet Tech Ab | Filtering a stream of events from an event-based sensor |
EP4294002A1 (en) * | 2022-06-17 | 2023-12-20 | Prophesee SA | Anti-flicker filter mitigation for an event-based sensor |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007251258A (ja) | 2006-03-13 | 2007-09-27 | Fujitsu Ten Ltd | 画像認識装置 |
JP2017521746A (ja) | 2014-04-30 | 2017-08-03 | サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク(セ.エン.エル.エス.) | 非同期光センサーによって観測されたシーン内の形状を追跡する方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2147759B (en) * | 1983-08-24 | 1987-04-15 | Plessey Co Plc | Optical sensor |
EP1958433B1 (en) | 2005-06-03 | 2018-06-27 | Universität Zürich | Photoarray for detecting time-dependent image data |
TW201032091A (en) * | 2009-02-17 | 2010-09-01 | Pixart Imaging Inc | Optical displacement detecting device and operating method thereof |
US9400503B2 (en) * | 2010-05-20 | 2016-07-26 | Irobot Corporation | Mobile human interface robot |
US9287976B2 (en) | 2011-07-26 | 2016-03-15 | Abl Ip Holding Llc | Independent beacon based light position system |
US9170152B2 (en) * | 2012-06-19 | 2015-10-27 | Able Inspectors, Inc. | Systems and methods for receiving optical pulses |
CN103048049B (zh) * | 2012-12-19 | 2014-12-24 | 安徽国防科技职业学院 | 智能装配机器人的避障检测装置 |
CN103427902A (zh) * | 2013-04-09 | 2013-12-04 | 北京半导体照明科技促进中心 | 利用可见光传输信息的方法、装置和系统以及光源 |
JP5563708B1 (ja) * | 2013-08-23 | 2014-07-30 | アイリスオーヤマ株式会社 | Led照明装置 |
US10395376B2 (en) * | 2017-07-19 | 2019-08-27 | Qualcomm Incorporated | CMOS image sensor on-die motion detection using inter-pixel mesh relationship |
-
2019
- 2019-01-25 CN CN201980022194.6A patent/CN111919434B/zh active Active
- 2019-01-25 WO PCT/EP2019/051919 patent/WO2019145516A1/en unknown
- 2019-01-25 JP JP2020540616A patent/JP7357624B2/ja active Active
- 2019-01-25 KR KR1020207023598A patent/KR20200133210A/ko not_active Application Discontinuation
- 2019-01-25 US US16/963,944 patent/US11303804B2/en active Active
- 2019-01-25 EP EP19701131.5A patent/EP3744084B1/en active Active
-
2022
- 2022-03-04 US US17/686,712 patent/US11856290B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007251258A (ja) | 2006-03-13 | 2007-09-27 | Fujitsu Ten Ltd | 画像認識装置 |
JP2017521746A (ja) | 2014-04-30 | 2017-08-03 | サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク(セ.エン.エル.エス.) | 非同期光センサーによって観測されたシーン内の形状を追跡する方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3744084B1 (en) | 2023-10-25 |
US11303804B2 (en) | 2022-04-12 |
EP3744084C0 (en) | 2023-10-25 |
WO2019145516A1 (en) | 2019-08-01 |
KR20200133210A (ko) | 2020-11-26 |
CN111919434B (zh) | 2023-08-01 |
US20210044744A1 (en) | 2021-02-11 |
CN111919434A (zh) | 2020-11-10 |
JP2021513235A (ja) | 2021-05-20 |
EP3744084A1 (en) | 2020-12-02 |
US20220191393A1 (en) | 2022-06-16 |
US11856290B2 (en) | 2023-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7357624B2 (ja) | イベントベースセンサからの信号を処理する方法および装置 | |
EP3518529A1 (en) | Method and apparatus of processing a signal from an event-based sensor | |
JP6439820B2 (ja) | 対象識別方法、対象識別装置、及び分類器訓練方法 | |
US10032283B2 (en) | Modification of at least one parameter used by a video processing algorithm for monitoring of a scene | |
US20080144961A1 (en) | Method and Image Evaluation Unit for Scene Analysis | |
US10354413B2 (en) | Detection system and picture filtering method thereof | |
US20180108144A1 (en) | Image processing device, image processing method, and image processing system | |
US11995878B2 (en) | Method of processing information from an event-based sensor | |
CN113424516B (zh) | 处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法 | |
CN102024263A (zh) | 用于检测运动的装置和方法 | |
Sharma | Human detection and tracking using background subtraction in visual surveillance | |
CN112084826A (zh) | 图像处理方法、图像处理设备以及监控系统 | |
US10803625B2 (en) | Detection system and picturing filtering method thereof | |
JP2021531598A (ja) | 映像ストリームからの物体検出において用いるためのシステム及び方法 | |
US10268922B2 (en) | Image processing by means of cross-correlation | |
JP6275022B2 (ja) | 画像監視装置 | |
Ozer et al. | A train station surveillance system: Challenges and solutions | |
JP2011237884A (ja) | 対象物検出サイズ算出システムおよび対象物検出サイズ算出プログラム | |
KR20150084237A (ko) | 스마트로테이션 감시 방법을 이용하는 영상촬영장치에서 후보 감시영역을 자동으로 갱신하는 방법 | |
Latzel et al. | People tracking using robust motion detection and estimation | |
Tedjojuwono | Virtual Lines Sensors for Moving Object and Vehicle Counters | |
EP3611655A1 (en) | Object detection based on analysis of a sequence of images | |
CN116704216A (zh) | 徘徊检测方法、徘徊检测装置以及计算机可读存储介质 | |
CN115099262A (zh) | 时空脉冲信号的上采样方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7357624 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |