JP6615872B2 - イベントベースダウンサンプリング - Google Patents

イベントベースダウンサンプリング Download PDF

Info

Publication number
JP6615872B2
JP6615872B2 JP2017514432A JP2017514432A JP6615872B2 JP 6615872 B2 JP6615872 B2 JP 6615872B2 JP 2017514432 A JP2017514432 A JP 2017514432A JP 2017514432 A JP2017514432 A JP 2017514432A JP 6615872 B2 JP6615872 B2 JP 6615872B2
Authority
JP
Japan
Prior art keywords
sensor
event
events
sensor event
downsampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017514432A
Other languages
English (en)
Other versions
JP2017533497A5 (ja
JP2017533497A (ja
Inventor
ランガン、ベンカト
コンスタブル、ウィリアム・ハワード
ワン、シン
ラストギ、マヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017533497A publication Critical patent/JP2017533497A/ja
Publication of JP2017533497A5 publication Critical patent/JP2017533497A5/ja
Application granted granted Critical
Publication of JP6615872B2 publication Critical patent/JP6615872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

関連出願の相互参照
[0001]本出願は、その開示全体が参照により本明細書に明確に組み込まれる、２０１４年９月１６日に出願された「イベントベースダウンサンプリング(EVENT BASED DOWN SAMPLING)」と題する米国仮特許出願第62／051,131号の米国特許法第１１９条（ｅ）項に基づく利益を主張する。
[0002]本開示のある態様はニューラルシステムエンジニアリングに関し、特に、イベントベースダウンサンプリングのシステムおよび方法に関する。
[0003]マシンビジョンは、マシンが見たり知覚したりすることを可能にする。従来のシステムにおいて、ビデオカメラのようなセンサはマシンビジョンに用いられる。ビデオカメラは受光素子の２次元配列から周期的にビジュアルデータをサンプルするので、ビデオカメラはフレームベースビジョンセンサと呼ばれることができる。それにひきかえ、ヒトの網膜はイベントベースビジョンセンサの一例である。すなわち、網膜内の個々のニューロンは、視野の一部に変化があると各ニューロンが脳のほうへ信号を送るように視野の一部に敏感である。従来のフレームベースビデオカメラとは異なり、網膜内のニューロンのすべての周期的なサンプリングは無い。むしろ、一時的なビジュアルイベントがあると、ビジュアルデータは、網膜により送信される。
[0004]網膜と同様に、ダイナミックビジョンセンサ(DVSs)は、ビジュアルイベントを検出し送信する受光素子のアレイを含む。ビジュアルシーン(visual scene)の一部に輝度の変化があると、ダイナミックビジョンセンサの個々の受光素子は信号を送信する。一例として、イベント駆動物体検出システムは、顔や車のような、動く物体を検出し、検出された物体を従前のトレーニングに基づいてリアルタイムで分類するためにダイナミックビジョンセンサを用いることができる。
[0005]いくつかの場合に、イベントベースサンプリングは時間的な感度を改良するように指定される。すなわち、フレームベースセンサは、フレームベースセンサが画像データの１フレームを読むことができる速度に基づいてビジュアル情報をサンプリングするように限定されることができる。それに反して、ダイナミックビジョンセンサ内の受光素子は、受光素子が視野の一部の変化を検出することができる速度に基づいてビジュアル情報をサンプルすることができる。時間的な感度を改良することに加えて、受光素子は、ビジュアルシーンに変化がないとき、非アクティブのままなので、フレームベースセンサに比べて平均的に消費電力を少なくすることができる。
[0006]さらに、改良された時間感度および低電力消費は、従来のイベントベースビジョンシステムでは完全に実現されていない。特に、イベントベースセンサ出力に関する周知の処理技術の数はフレームベースビジョンセンサに関するマシンビジョン技術の数よりも少ない。フレームベースセンサに関して開発された共通の技術は効率的なダウンサンプリング、サブサンプリング、補間、高速フーリエ変換、およびニューラルネットワークに基づいた物体分類を含む。
[0007]いくつかのケースにおいて、フレームベースマシンビジョンシステムに関して開発された技術を改良するために、ダイナミックビジョンセンサの出力は画像フレームを周期的に再構成するために使用されることができる。さらに、従来の画像処理技術は結果として生ずるフレームに適用されることができる。しかしながら、画像フレームへの変換はイベントベースビジョンシステムの性能を低減する可能性がある。それゆえ、イベントベースセンサの性能を低減することなくイベントベースシステムにフレームベース技術を変換することが望ましい。
[0008]本開示の１つの態様において、イベントベースダウンサンプリングの方法が開示される。方法は、複数のアドレスと複数のスタンプに対応する複数のセンサイベントを受信することを含む。方法は、また複数のタイムスタンプと複数のアドレスに基づいて複数のアドレスを空間的にダウンサンプリングすることを含む。
[0009]本開示の別の態様は、複数のアドレスと複数のタイムスタンプに対応する複数のセンサイベントを受信する手段を含む装置に向けられている。装置はまた、複数のタイムスタンプと複数のアドレスに基づいて複数のアドレスを空間的にダウンサンプリングする手段を含む。
[0010]本開示の他の態様において、プログラムコードが記録された非一時的コンピュータ可読媒体が開示される。イベントベースダウンサンプリングに関するプログラムコードはプロセッサにより実行され、複数のアドレスおよび複数のタイムスタンプに対応する複数のセンサイベントを受信するためのプログラムコードを含む。
[0011]本開示の別の態様は、メモリとメモリに結合された１つまたは複数のプロセッサを有するイベントベースダウンサンプリングに関する装置に向けられている。プロセッサ（複数の場合もある）は複数のアドレスおよび複数のタイムスタンプに対応する複数のセンサイベントを受信するように構成される。プロセッサ（複数の場合もある）はまた、複数のタイムスタンプおよび複数のアドレスに基づいて複数のアドレスを空間的にダウンサンプルするように構成される。
[0012]本開示の追加の特徴および利点が以下に説明される。本開示が、本開示の同じ目的を実行するための他の構造を修正または設計するための基礎として容易に利用されうることは、当業者によって理解されるべきである。また、そのような等価の構造が、添付された特許請求の範囲内に記載の開示の教示から逸脱しないことも、当業者によって理解されるべきである。さらなる目的および利点とともに、本開示の構成および動作の方法の両方について、本開示の特徴であると考えられる新規な特徴は、添付図面と関連して考慮される場合、以下の説明からより良く理解されるであろう。しかしながら、図面の各々が、例示および説明のためだけに提供されており、本開示の限定の定義として意図されていないということは明確に理解されるべきである。
[0013]本開示の特徴、性質、および利点は、同様の参照文字が全体を通じて対応して識別する図面と併せて考慮される場合に以下に記載の詳細な説明からより明白になるであろう。
[0014]図１は本開示のある態様に従う汎用プロセッサを含む、システムオンチップ(a system-on-a-chip)を用いたニューラルネットワークを設計する例示インプリメンテーションを例示する。 [0015]図2は、本開示のある態様に従う例示インプリメンテーションを例示する。 [0016]図３は本開示のある態様に従うイベント駆動物体検出システムのコンポーネントの一例を例示する。 [0017]図４はイベントベースセンサを介して生成された複数のピクセルの一例を例示する。 [0018]図５は本開示の態様に従うダウンサンプリングと重畳(convolving)をカスケード(cascading)する一例を例示する。 [0019]図６は本開示の態様に従うイベントベースダウンサンプリングに関する方法を例示するフロー図である。 [0019]図７は本開示の態様に従うイベントベースダウンサンプリングに関する方法を例示するフロー図である。
[0020]添付された図面に関連して以下に記載の詳細な説明は、様々な構成の説明として意図され、本明細書において説明される概念が実施されうる唯一の構成を表すようには意図されない。詳細な説明は、様々な概念の完全な理解を提供する目的のために具体的な詳細を含む。しかしながら、これらの概念がこれらの特定の詳細なしに実施されうることは当業者にとって明らかであろう。いくつかの事例において、よく知られている構造およびコンポーネントは、そのような概念を曖昧にすることを避けるために、ブロック図形式で示される。
[0021]本明細書における教示に基づいて、本開示の何らかの他の態様から独立して実行されようと、本開示の何らかの他の態様と組み合わせて実行されようと、本開示の範囲が、本開示のあらゆる態様をカバーするように意図されていることを、当業者は認識すべきである。例えば、本明細書において記載されている任意の数の態様を使用して、装置がインプリメントされうる、または方法が実施されうる。加えて、本開示の範囲は、本明細書において記載されている開示の様々な態様に加えて、またはそれ以外の、他の構造、機能性、あるいは構造および機能性を使用して実施されるそのような装置または方法をカバーするように意図されている。本明細書で開示されている開示のいずれの態様も請求項のうちの１つまたは複数の要素によって具現化されうることは理解されるべきである。
[0022]「例証的（exemplary）」という用語は、例、事例、または例示としての役割を果たすことを意味するよう本明細書において使用される。「例示的」なものとしてここに説明される任意の態様は、必ずしも、他の態様よりも好ましい、または利点を有するものと解釈されるべきではない。
[0023]特定の態様がここに説明されるが、これらの態様の多くの変形および置換が、本開示の範囲内に含まれる。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は、特定の利益、使用、または目的に限定されることを意図しない。むしろ、本開示の態様は、異なる技術、システム構成、ネットワークおよびプロトコルに広く適用可能であるように意図されており、そのうちのいくつかは、図面内および好ましい態様の以下の説明内において例として例示される。詳細な説明および図面は、限定よりもむしろ本開示を単に例示するものに過ぎず、本開示の範囲は、添付の請求項およびそれらの同等物によって定義されている。
イベント駆動物体検出システム
[0024]上述したように、イベント駆動物体検出システムは顔または車のような移動物体を検出し、従前のトレーニングに基づいてリアルタイムに検出された物体を分類するためにダイナミックビジュンセンサ(DVS)を使用することができる。システム内の計算はセンサイベントによりトリガされる。イベント駆動物体検出システムは検出システムと呼ばれることができる。
[0025]本開示の態様はイベント駆動センサの出力に画像処理技術を適用することに向けられる。画像処理技術はフレームベースビジョンシステムに適用される技術と実質的に同様である機能を実行することができる。特に、本開示の態様はイベント駆動物体検出を改良するイベントベース処理技術に向けられる。１つの構成において、ダイナミックビジョンセンサ出力はダウンサンプルされ再使用可能なカーネル(kernel)と重畳(convolved)される。
[0026]本開示の態様によれば、検出システムは、イベントが発生すると、ビジュアル入力を処理する。すなわち、検出システムは、イベントがダイナミックビジョンセンサから出力されないとき処理を行わない。例えば、ダイナミックビジョンセンサは監視スシステム(surveillance system)の一部であり得、廊下またはドアに方向づけされることができる。シーンに変化がない場合、ダイナミックビジョンセンサは何らの出力も送信せず、したがって、検出システムは何らの計算も行わない。シーンに変化があると、ダイナミックビジョンセンサは出力を生成することができ、イベントベース検出システムは計算を行うことができる。例えば、出入口にフォーカスされたダイナミックビジョンセンサは人がドアを通って歩くと出力を生成することができる。
[0027]イベントベースシステムの処理負荷はセンサイベントレートと線形的にスケール(scale)する。それに反して、フレームベースシステムの処理負荷はフレームレートと線形的にスケールする。上述した監視システムのように、イベントレートがフレームレートより少なくいとき、イベントベースシステムの検出性能は電力消費の関数として改良することができる。しかしながら、例えば、イベントレートがフレームレートを超えるシナリオでは、ダイナミックビジョンセンサの視野が無人の空中の乗物(unmanned aerial vehicle)の回転翼を含むとき、イベントベースシステムの電力消費は、回転翼の個々の回転を無視するフレームベースシステムの電力消費を超える可能性がある。増大されたセンサイベントの数がシステム性能（例えば、物体検出精度）における所望の増大を生成しないとき、センサイベントをダウンサンプルすることが望ましい。本開示の態様によれば、センサイベントは空間的および／または時間的にダウンサンプルされることができる。
[0028]図１はシステムオンチップ（ＳＯＣ）１００を用いて上述したイベントベースダウンサンプリングの例示インプリメンテーションを例示し、それは本開示のある態様に従う汎用プロセッサ（ＣＰＵ）またはマルチコア汎用プロセッサ（ＣＰＵｓ）を含むことができる。変数（例えば、ニューラル信号およびシナプス重み(synaptic weights)）、計算デバイス（例えば、重みを有したニューラルネットワーク）に関連するシステムパラメータ、遅延、周波数ビン情報、およびタスク情報はニューラル処理ユニット（ＮＰＵ）１０８に関連したメモリブロックに、ＣＰＵ１０２に関連したメモリブロックに、グラフィック処理ユニット（ＧＰＵ）１０４に関連したメモリブロックに、デジタルシグナルプロセッサ（ＤＳＰ）１０６に関連したメモリブロックに、専用メモリブロック１１８に記憶されることができ、あるいは複数のブロックにわたって配信されることができる。汎用プロセッサ１０２において実行される命令はＣＰＵ１０２に関連したプログラムメモリからロードされることができあるいは専用メモリブロック１１８からロードされることができる。
[0029]ＳＯＣ１００はまた、例えば、ジェスチャを検出し認識することができるマルチメディアプロセッサ１１２と、第４世代ロングタームイボリューション（４Ｇ ＬＴＥ（登録商標））接続性、無認可Ｗｉ−Ｆｉ接続性、ＵＳＢ接続性、ブルートゥース（登録商標）接続性等を含むことができる接続性ブロック１１０、ＤＳＰ１０６、ＧＰＵ１０４のような特定の機能に調整された追加の処理ブロックを含むことができる。１つのインプリメンテーションにおいて、ＮＰＵはＣＰＵ、ＤＳＰ、および／またはＧＰＵにおいてインプリメントされる。ＳＯＣ１００はまたセンサプロセッサ１１４、イメージシグナルプロセッサ（ＩＳＰｓ）、および／またはナビゲーション１２０、それはグローバルポジショニングシステムを含むことができる、を含むことができる。
[0030]ＳＯＣ１００はＡＲＭ命令セットに基づくことができる。本開示の態様において、汎用プロセッサ１０２にロードされた命令は複数のアドレスおよび複数のタイムスパンに対応する複数のセンサイベントを受信するためのコードを備えることができる。汎用プロセッサ１０２にロードされた命令はまた、複数のタイムスパンおよび複数のアドレスに基づいて複数のアドレスを空間的にダウンサンプリングするためのコードを備えることができる。
[0031]図２は本開示のある態様に従うシステム２００の例示インプリメンテーションを例示する。図２に例示されるように、システム２００はここに記載された方法の種々の動作を実行することができる複数のローカル処理ユニット２０２を有することができる。各ローカル処理ユニット２０２はニューラルネットワークのパラメータを記憶することができるローカルパラメータメモリ２０６とローカルステートメモリ２０４を備えることができる。さらに、ローカル処理ユニット２０２はローカルモデルプログラムを記憶するためのローカル（ニューロン）モデルプログラム（ＬＭＰ）メモリ２０８、ローカルラーニングプログラム(local learning program)を記憶するためのローカルラーニングプログラム（ＬＬＰ）メモリ２１０、およびローカル接続メモリ２１２を有することができる。さらに、図２に例示されるように、各ローカル処理ユニット２０２は、ローカル処理ユニットのローカルメモリに関する構成を提供するコンフィグレーションプロセッサユニット２１４と、および複数のローカル処理ユニット２０２間のルーチング(routing)を提供するルーチング接続処理ユニット２１６とインタフェースすることができる。
[0032]本開示の観点によれば、検出システムはデータを処理するための種々のコンポーネントを備える。一例として、図３に示されるように、検出システムはダイナミックビジョンセンサ（ＤＶＳ）コンポーネント、イベント駆動ショートタイム空間離散フーリエ変換（ＤＦＴ）コンポーネント、イベント駆動特徴抽出コンポーネント、およびイベント駆動分類コンポーネントを含むことができる。
[0033]１つの構成において、ダイナミックビジョンセンサはイベントを検出するセンサである。上述したように、イベントは受光素子で受信された明度(intensity)の変化から生成される。例えば、ダイナミックビジョンセンサはiniLabsからのＤＶＳ１２８であり得る。センサアレイは、各ピクセルが時間においてログルミナンス(log-luminance)のレベルクロッシングサンプラ(level-crossing sampler)であるＮ×Ｎ （Ｎ＝１２８）のサイズを有することができる。ピクセルの時間分解能は１０マイクロ秒のオーダである。ダイナミックビジョンセンサの出力は偏向され(polarized)、座標アドレス化された(coordinate addressed)イベント列{(tk;pk;μk;vk)}であり得、ここにおいて、tkとpkはイベントのタイムスタンプおよび極性であり、(uk;vk)は時刻ｔｋにおけるイベントｋのピクセル座標である。ここで、
[0034]ピクセル応答関数は以下のように定義されることができる。
ここにおいて、
はインデックスピクセル、δはクロネッカーデルタ(Kroenecker delta)、およびδ()はディラックのデルタ関数(Dirac delta function)である。マトリクスはまた以下のように記載されることができる。
X(t)=[xμ,v](t) (2)
[0035]イベント駆動ショートタイム空間ＤＦＴ(eSTsDFT)コンポーネントは入力としてイベント列{(tk;pk;μk;vk)}を受信することができ、リアルタイム複素数Ｎ×Ｎ（Ｎ＝１２８）マトリクスを出力することができる。イベント列は１つまたは複数のデータパケットにおいて受信されることができる。ショートタイム空間ＤＦＴマトリクス
は以下のように計算されることができる。
ここにおいて、ＤＦＴマトリクス（SN）のＮ番目のオーダは以下のように計算されることができる。
ここにおいて、
はｎ番目の原子根であり、
はSNの（ｎ＋１）番目の列である。
[0036]さらに、w(-t)=θ(t)exp(-w0t)は指数ショートタイムウィンドウ関数である。イベント駆動ショートタイム空間ＤＦＴモジュールは各センサイベント{tk}における
の値を計算することができる。１つの構成において、センサイベントはそれに応じて最初にダウンサンプリングされ、イベント駆動ショートタイム空間ＤＦＴモジュールは各、ダウンサンプルされたイベントを受信すると、ショートターム空間ＤＦＴの値
を計算する。
[0037]イベント駆動特徴抽出(eFE)コンポーネントはさらにイベント駆動ショートタイム空間ＤＦＴモジュール（空間的にダウンサンプリングされない場合にはＮ＝１２８）のＮ×Ｎ×２次元からＬ＝６４次元特徴ベクトル（例えば、１２８ １２８複素数から６４実数）へ、処理されたイベントストリームの次元をさらに低減することができる。特に、Ｌ特徴は、
のビニングされた(binned)瞬時スペクトル電力であり得、ここにおいて、＊は共役転置であり、ψ()はロングリニア変換関数である。
[0038]
は１２８×１２８次元ベクトルｘとして書かれることができ、線形関数ψ（）は、マトリクス乗算として表すことができ、その後に対数y=log（ψｘ）、ここにおいて、
はサイズが６４×（１２８×１２８）のバイナリマトリクスであり、それは、３２ラジアルおよび３２アンギュラーパワービン(angular
Power bin)に対応する、サイズ３２×（１２８×１２８）の２つのコンポーネントを含むことができる。これらの値は一定の値を有し、従前に計算されている。例えば、マトリクスは収集されたトレーニングデータについてマシンラーニングアルゴリズムから生成されることができる。代替的に、マトリクスは、ユーザ指定されることができる。
[0039]イベント駆動特徴抽出(eFE)コンポーネントはイベントベースの態様でy(t)の値を計算することができる。例えば、y(t)は複数のイベントを含むパケットのグループまたは各センサイベントパケットの終わりで計算されることができる。
[0040]イベント駆動サポートベクトル分類(eSVM)コンポーネントのような分類コンポーネントはカーネルとしてガウスラジアルベース関数（ＲＢＦ）を備えたサポートベクトルマシンによって、例えば、z(t)=ψ(y(t))により抽出されたリアルタイム特徴ベクトルy(t)に基づいて時変クラスラベル関数(time-varying class label function)z(t)を計算する。
[0041]イベント駆動サポートベクトル分類コンポーネントは最後の分類から少なくともΔtminで生じるパケットのグループまたは各センサイベントパケットの終わりでz(t)の値を計算することができる。以下に記載するように、表１はシステムコンポーネントへおよびから入力／出力物体の数学的記述を特定する。本願において、コンポーネントはモジュールと呼ばれることが出来る。表１の更新スケジュールはイベント駆動ショートタイム空間ＤＦＴモジュールが各イベントについて更新することができることを示すけれども、本開示はそのように限定されない。本開示の態様によれば、イベント駆動ショートタイム空間ＤＦＴモジュールは各ダウンサンプルされたイベントの後で、または複数のダウンサンプルされたイベントの受信の後で更新することができる。
[0042]表２および３はイベント駆動ショートタイム空間ＤＦＴに使用される定数およびステート(state)変数を提供する。表４はその期間に長さＫのイベントパケットがダイナミックビジョンセンサから処理される検出システムの単一反復(single iteration)に関する疑似コードである。
イベントベース空間ダウンサンプリング
[0043]従来の画像処理技術は画像をダウンサンプルし、カーネルを用いて、ダウンサンプルされた画像を重畳する。カーネルは重畳マトリクスまたはマスクと呼ばれることができる。さらに、従来システムにおいて、ダウンサンプリング技術はイベントベースセンサに関して指定されない。それゆえ、イベントベースセンサの出力に関してダウンサンプリングおよび／またはカスケード(cascaded)されたダウンサンプリングのようなイベントベースサンプリング技術を指定することが望ましい。さらに、ダウンサンプルされた出力をカーネルと重畳することが望ましい。カーネルは性能を改良するために再使用されることができる。
[0044]重畳の場合、１つの画像内の１つのピクセルの１つの値は、各カーネル値を対応する画像ピクセル値と乗算することにより計算される。大きな画像が処理される場合重畳プロセスは性能を低下させる可能性がある。すなわち、画像内の各ピクセルは重畳されるので、カーネルと画像を重畳する前に画像をダウンサンプルすることが望ましい。
[0045]１つの構成において、イベントベースの画像は、各ｘおよびｙ方向において２のべき乗だけスケールされる。もちろん、スケーリングは２のべき乗に限定されず、イベントはいずれかの所望のファクタによりスケールされることができる。１つの構成において、画像をスケールするために、フォトセンサのようなアクティブなセンサからのイベントが選択され、行および列アドレスからの最下位アドレスビットがドロップされる。イベントは、(tk;pk;μk;vk))により指定されることができ、ここにおいて、tkおよびpkはイベントのタイムスタンプと極性であり（μk;vk）は時刻tkにおけるイベントｋのピクセル座標である。
[0046]図４はピクセルの行および列の一例を例示する。この例において、同じ色を有するピクセルはダウンサンプリングのために選択される。例えば、ピクセル（０，０）、（０，１）、（１，０）および（１，１）は、同じ色を有する。したがって、この例では、１つのアドレス（０，０）を得るために、ピクセル（０，０）、（０，１）、（１，０）および（１，１）の１つまたは複数の下位ビットがドロップされる。すなわち、この構成では、各方向に２のファクタによりダウンサンプリングするために、ｘ方向およびｙ方向の隣接ピクセルは一緒に結合される。１つの構成において、各ピクセルのタイムスタンプが所定のタイムスパン内にあるとき、１つまたは複数の下位ビットのドロッピングが行われる。さらに、または代替的に１つの構成において、アドレスをダウンサンプリングした後、オリジナルの座標系はダウンサンプルされた座標系にマップされる。マッピングは、アドレスのすべてがダウンサンプルされるときのような多数のアドレスがダウンサンプルされた後、または各アドレスがダウンサンプルされた後に行われることができる。
[0047]さらに、１つの構成において、所定のタイムスパン内で複数のイベントを発生する場合、イベントの１つまたは複数が出力のために選択される。この構成において、結果として生じる時間的にダウンサンプルされたイベントストリームのイベントはイベントの時刻に基づくタイムスタンプが割当てられる。したがって、１つの例において、所定のタイムスパン内で１つの受光素子から２以上のイベントがある場合、第１のイベントあるいは最後のイベントが出力として選択されることができる。さらに、第１のイベントに割り当てられたタイムスタンプはイベントのオリジナルタイムスタンプであり得る。他の例において、新しいタイムスタンプは所定のタイムスパン内で受信された２以上のタイムスタンプの平均に対応する出力イベントが割当てられる。
[0048]時間ダウンサンプリングは複数のイベントまたは複数のデータパケットを含むイベントデータパケットに適用されることができる。同じイベントパケット内で、または所定のタイムスパン内のパケットのグループ内で複数のピクセルイベントが発生される場合、ダウンサンプルされたイベントに割り当てられたタイムスタンプは、複数のピクセルイベントの最も遅いタイムスタンプ、複数のピクセルイベントの最も早いタイムスタンプ、および／または複数のピクセルイベントの平均タイムスタンプであり得る。
[0049]時間ダウンサンプリングのタイムスタンプは第１のイベントパケットの受信から参照されることができる。本開示の態様によれば、ダウンサンプリングおよびその後の処理ステップはデータパケットの受信時に、またはデータパケットを受信した後の所定時間後にトリガされることができる。
[0050]さらに、出力イベントが入力イベントに比べてより低い空間特異性(specificity)を有するように、空間および時間ダウンサンプリングは同時に適用されることができる。さらに、出力イベントは入力イベントに基づいて修正されたタイムスタンプを割り当てられることができる。
[0051]本開示の態様によれば、１つのセンサまたはセンサのグループに関連したピクセル値はダウンサンプリングに基づいて更新される。例えば、正極性イベントのような２以上のイベントは１つのセンサから受信されることができ、イベントの１つまたは複数は時間ダウンサンプリングに基づいてドロップされることができる。したがって、この例において、更新は、破棄された輝度情報をオフセットするために２のべき乗により残りのイベントに関連したピクセル値を増加させることにより行われることができる。
[0052]図５は本開示の態様に従うダウンサンプリングの一例を例示する。図５に示されるように、ダウンサンプリングは性能を改善するためにカスケードされることができる。特に、図５に示されるように、複数のピクセル値５００は複数のアドレスおよび複数のタイムスタンプに対応して受信される。１つの構成において、ピクセルは第１のコンボルバ(convolver)５０２において重畳され、ピクセルはまた第１のダウンサンプラー５０４を介してダウンサンプルされる。１つの構成において、重畳(convolving)はダウンサンプリングと分離している。第１のダウンサンプラー５０４からダウンサンプルされたピクセルは第２のコンボルバ５０６を介して重畳されることができる。さらに、第１のダウンサンプラー５０４からのダウンサンプルされたピクセルはまた第２のダウンサンプラー５０８を介してダウンサンプルされることができる。さらに、第２のダウンサンプラー５０８を介してダウンサンプルされたピクセルは第３のコンボルバ５１０を介してさらに重畳されることができる。もちろん、ダウンサンプリングおよび重畳をカスケードするプロセスは図５に示される２つのダウンサンプラーと３つのコンボルバに限定されない。本開示の態様はまた要望に応じて任意の数のダウンサンプラーとコンボルバが考慮される。
[0053]図６は、本開示の態様に従うイベントベースダウンサンプリングに関するブロック図６００を例示する。図６に示されるように、ブロック６０２において、システムは、複数のアドレスおよび複数のスタンプに対応する複数のセンサイベントを受信する。さらに、ブロック６０４において、システムは複数のスタンプおよび複数のアドレスに基づいて複数のアドレスを空間的にダウンサンプルする。
[0054]いくつかの態様において、イベントベースダウンサンプリングは他のモダリティ(modalities)のイベントベースセンサに適用されることができる。例えば、イベントベースダウンサンプリング方法は聴覚刺激を表す人工蝸牛の出力に適用されることができ、またはトラックパッドの触覚素子(touch sensitive element)の出力に適用されることができる。
[0055]図７は本開示の態様に従うイベントベースダウンサンプリングに関するフロー図７００を例示する。図７に示されるように、ブロック７０２において、システムは複数のアドレスおよび複数のタイムスタンプに対応する複数のセンサイベントを受信する。さらに、ブロック７０４において、システムは共通のアドレスを有する複数のセンサイベントが複数のタイムスタンプに基づいて互いに所定の時間内で発生されたかどうかを決定する。複数のセンサイベントが互いの所定の時間内で発生されなかった場合には、システムは複数のアドレスをダウンサンプルしない（ブロック７０６）。他の構成において、システムは特定のタイムスタンプ（図示せず）に対応するアドレスをダウンサンプルする。さらに、複数のアドレスに対応する複数のピクセル値が重畳される（ブロック７１０）。
[0056]ブロック７０８において、複数のセンサイベントが互いの所定時間内で発生される場合、システムは複数のタイムスタンプおよび複数のアドレスに基づいて複数のアドレスを空間的にダウンサンプルする。さらに、ブロック７１０において、複数のアドレスに対応する複数のピクセル値が重畳される。
[0057]１つの構成において、イベントベースモデルまたはマシンラーニングモデルのようなモデルは複数のアドレスおよび複数のタイムスタンプに対応する複数のセンサイベントを受信し複数のタイムスタンプおよび複数のアドレスに基づいて複数のアドレスを空間的にダウンサンプリングするように構成される。モデルは受信手段および／または空間的にダウンサンプリングする手段を含む。１つの態様において、受信手段および／または空間的にダウンさんプリングする手段は、汎用プロセッサ１０２、汎用プロセッサ１０２に関連したプログラムメモリ、メモリブロック１１８、ローカル処理ユニット２０２、およびまたは記載された機能を実行するように構成されたルーチン接続処理ユニット２１６であり得る。他の構成において、上述した手段は、上述した手段により記載された機能を実行するように構成された任意のモジュールまたは任意の装置でありことができる。
[0058]本開示のある態様によれば、各ローカル処理ユニット２０２は、モデルの所望の１つまたは複数の機能的特徴に基づいてモデルのパラメータを決定し、決定されたパラメータがさらに適合され、調整され、更新されるように所望の機能的特徴に向けた１つまたは複数の機能的特徴を開発するように構成されることができる。
[0059]上述された方法の様々な動作は、対応する機能を遂行することが可能である任意の適した手段によって遂行されうる。手段は、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含むがそれらに限定されるわけではない、様々なハードウェアおよび／または（複数を含む）ソフトウェアコンポーネントおよび／または（複数を含む）モジュールを含み得る。一般に、図内において例示される動作が存在する場合、それらの動作は、同様の番号を有する対応する対照のミーンズプラスファンクションコンポーネントを有しうる。
[0060]本明細書で使用される場合、「決定すること」という用語は、幅広い動作を包含する。例えば、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、ルックアップすること（例えば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確かめること、等を含みうる。また、「決定すること」は、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内におけるデータにアクセスすること）等を含みうる。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立すること等を含みうる。
[0061]ここにおいて使用される場合、項目のリスト「のうちの少なくとも１つ」というフレーズは、単一の要素を含む、それらの項目の任意の組み合わせを指す。例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃをカバーするように意図される。
[0062]本開示に関連して説明された様々な例示的な論理ブロック、モジュールおよび回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、離散ゲートまたはトランジスタ論理、離散ハードウェアコンポーネントあるいは本明細書で説明された機能を遂行するように設計されたそれらの任意の組み合わせを用いてインプリメントまたは遂行されうる。汎用プロセッサは、マイクロプロセッサでありうるが、代替において、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでありうる。プロセッサはまた、計算デバイスの組み合わせ、例えば、ＤＳＰおよびマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成としてインプリメントされうる。
[0063]本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接的に、またはプロセッサによって実行されるソフトウェアモジュールで、または両者の組み合わせで、具現化され得る。ソフトウェアモジュールは、当該技術で知られている任意の形態の記憶媒体中に存在し得る。使用されうる記憶媒体のいくつかの例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、等を含む。ソフトウェアモジュールは、単一の命令または多数の命令を備えることがあり得、いくつかの異なるコードセグメントにわたって、異なるプログラム間で、および複数の記憶媒体にわたって、分散されることがあり得る。記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。あるいは、記憶媒体は、プロセッサに組み込まれ得る。
[0064]ここに開示された方法は、説明された方法を達成するための１つまたは複数のステップまたは動作を備える。方法のステップおよび／または動作は、特許請求の範囲から逸脱することなく互いに置き換えられうる。言い換えれば、ステップまたは動作の特有の順序が指定されない限り、特有のステップおよび／または動作の順序および／または使用は、特許請求の範囲から逸脱することなしに修正されうる。
[0065]説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいてインプリメントされ得る。ハードウェアにおいて実現される場合、実例的なハードウェア構成は、ワイヤレスノードにおける処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実現され得る。バスは、処理システムの特定の用途と全体的な設計の制約に依存して、任意の数の相互接続バスおよびブリッジを含み得る。バスは、プロセッサ、機械読取可能な媒体、およびバスインターフェースを含む様々な回路を共にリンクさせ得る。バスインターフェースは、とりわけ、ネットワークアダプタをバスを介して処理システムに接続するために用いられ得る。ネットワークアダプタは信号処理機能をインプリメントするために使用されることができる。ある態様に関して、ユーザインターフェース（例えば、キーパッド、ディスプレイ、マウス、ジョイスティック、等）もまた、バスに接続されうる。バスはまた、タイミングソース、周辺機器、電圧レギュレータ、電力管理回路、等といった様々な他の回路をリンクさせることができ、これらは、当該技術において周知であるので、これ以上説明されない。
[0066]プロセッサは、バスの管理と、機械読取可能な媒体に記憶されたソフトウェアの実行を含む汎用処理と、を担うことができる。プロセッサは、１つ以上の汎用および／または特殊用途プロセッサを用いて実現され得る。例は、ソフトウェアを実行することができるマイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、および他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と称される場合も、その他の名称で称される場合も、命令、データ、またはそれらの任意の組み合わせを意味するものとして広く解釈されるべきである。機械読取可能な媒体は、例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、リードオンリメモリ（ＲＯＭ）、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能なプログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または任意の他の適切な記憶媒体、またはそれらの任意の組み合わせを含み得る。機械読取可能な媒体は、コンピュータプログラム製品に組み込まれ得る。コンピュータプログラム製品は、パッケージ材料を備え得る。
[0067]ハードウェアインプリメンテーションにおいて、機械読取可能な媒体は、プロセッサとは別個の処理システムの一部であることができる。しかしながら、当業者によって容易に理解されるように、機械読取可能な媒体、またはそのうちの任意の部分は、処理システムの外部にあり得る。例として、機械読取可能な媒体は、伝送回線、データによって変調された搬送波、および／またはワイヤレスノードとは別個のコンピュータ製品を含み得るが、それらはすべてバスインターフェースを介してプロセッサによりアクセスされ得る。あるいは、またはさらに、機械読取可能な媒体、またはそのうちの任意の部分は、キャッシュおよび／または汎用レジスタファイルが用いられ得るような場合、プロセッサに組み込まれ得る。説明した種々のコンポーネントはローカルコンポーネントのような特定のロケーションを有するとして記載可能であるが、それらはまた、あるコンポーネントが分散コンピューティングシステムの一部として構成されるように種々の方法で構成されることができる。
[0068]処理システムは、プロセッサの機能を提供する１つ以上のマイクロプロセッサと、機械読取可能な媒体の少なくとも一部を提供する外部メモリとを有し、すべてが外部バスアーキテクチャを通して他のサポート回路と共にリンクされている、汎用処理システムとして構成され得る。代替的に、処理システムはここに記載されたニューラルシステムのモデルおよびニューロンモデルをインプリメントするための１つまたは複数の神経形態学的(neuromorphic)プロセッサを備えることができる。他の代替として、処理システムは、本開示全体を通して説明された様々な機能を実行することができる、単一のチップに組み込まれた、プロセッサと、バスインターフェースと、ユーザインターフェース（アクセス端末の場合）と、サポート回路と、機械読取可能な媒体の少なくとも一部と、を有するＡＳＩＣ（特定用途向け集積回路）を用いて、または、１つ以上のＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブル論理デバイス）、コントローラ、ステートマシン、ゲート制御された論理、離散ハードウェアコンポーネント、または任意の他の適切な回路、または任意の回路の組み合わせを用いて、実現され得る。当業者は、システム全体に課された特定の用途および全体的な設計の制約に依存して、処理システムについて説明された機能をどのように実現することが最善かを認識するだろう。
[0069]機械読取可能な媒体は、多数のソフトウェアモジュールを備え得る。これらのソフトウェアモジュールは、プロセッサによって実行された場合にさまざまな機能を処理システムに実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイスに存在することも、複数の記憶デバイスにわたって分散させることもできる。例として、ソフトウェアモジュールは、トリガイベントが生じた場合にハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、命令のうちのいくつかをキャッシュにロードして、アクセススピードを上げることができる。そして、１つ以上のキャッシュラインが、プロセッサによる実行のために、汎用レジスタファイルにロードされ得る。下記においてソフトウェアモジュールの機能について言及する場合、そのような機能は、ソフトウェアモジュールから命令が実行されると、プロセッサによってインプリメントされるということが理解されるであろう。
[0070]ソフトウェアでインプリメントされる場合、これら機能は、コンピュータ可読媒体上で、１つまたは複数の命令またはコードとして送信または記憶されうる。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体とコンピュータ記憶媒体との両方を含む。記憶媒体は、コンピュータによってアクセスされることができる利用可能な任意の媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは命令もしくはデータ構造の形で所望のプログラムコードを搬送または記憶するために使用されることができ、コンピュータによってアクセスされることができる任意の他の媒体を備えることができる。また、任意の接続は、厳密にはコンピュータ可読媒体と称される。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、または他の遠隔ソースから送信される場合、この同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。ディスク（disk）およびディスク（disc）は、本明細書で使用される場合、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光学ディスク（disc）、デジタル多用途ディスク（disc)（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびブルーレイ（登録商標）ディスク（disc）を含み、ここにおいてディスク（disｋ）が通常、磁気的にデータを再生する一方で、ディスク（disc）は、レーザーを用いて光学的にデータを再生する。したがって、いくつかの態様において、コンピュータ読取可能な媒体は、非一時的なコンピュータ読取可能な媒体（例えば、有形的媒体）を備え得る。さらに、他の態様では、コンピュータ読取可能な媒体は、一時的なコンピュータ読取可能な媒体（例えば、信号）を備え得る。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
[0071]このように、ある特定の態様は、本明細書において提示された動作を遂行するためのコンピュータプログラム製品を備えうる。例えば、そのようなコンピュータプログラム製品は、命令を記憶（および／または符号化）したコンピュータ可読媒体を備え、命令は、本明細書で説明された動作を遂行するために１つまたは複数のプロセッサによって実行可能でありうる。ある特定の態様では、コンピュータプログラム製品は、パーケージ材料を含み得る。
[0072]さらに、ここに説明された方法および技法を実行するためのモジュールおよび／または他の適切な手段が、ダウンロードされ得ること、および／または、そうでなければ、ユーザ端末および／または基地局によって、適用可能に得られ得ることが理解されるべきである。例えば、そのようなデバイスは、本明細書で説明された方法を遂行するための手段の転送を容易にするためにサーバに結合されることができる。代替として、本明細書で説明された様々な方法は、デバイスに記憶手段を結合または提供する際にユーザ端末および／または基地局が様々な方法を取得することができるように、記憶手段（例えば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクのような物理記憶媒体、等）を介して提供されることができる。さらに、本明細書で説明された方法および技法をデバイスに提供するための任意の他の適切な技法が、利用され得る。
[0073]本願の特許請求の範囲が、上述のまさにその構成およびコンポーネントのみに限定されないことが、理解されるべきである。様々な修正、変更、および変形が、上記に説明された方法および装置の配置、動作および詳細において、特許請求の範囲から逸脱することなく行われうる。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
イベントベースダウンサンプリングの方法において、
複数のアドレスおよび複数のタイムスタンプに対応する複数のセンサイベントを受信することと、
前記複数のアドレスと前記複数のタイムスタンプに少なくとも部分的に基づいて前記複数のアドレスを空間的にダウンサンプリングすることと、を備えた、方法。
［Ｃ２］
前記ダウンサンプリングに少なくとも部分的に基づいて前記複数のセンサイベントの各々に関するピクセル値を更新することをさらに備える、Ｃ１の方法。
［Ｃ３］
前記複数のアドレスを空間的にダウンサンプリングすることは、オリジナルの座標系をダウンサンプリングされた座標系にマッピングすることを備える、Ｃ１の方法。
［Ｃ４］
前記複数のアドレスを空間的にダウンサンプリングすることは、前記複数のアドレスの少なくとも１つの最下位ビットをドロップすることを備える、Ｃ３の方法。
［Ｃ５］
ダウンサンプルされているパケット内のタイムスタンプの関数として１つのタイムスタンプ値を計算することにより時間内にダウンサンプリングすることをさらに備える、Ｃ１の方法。
［Ｃ６］
所定のタイムスパン内に、共通のアドレスを備えた複数のセンサイベントが異なるタイムスパンを有するとき、特定のタイムスパンに対応する特定のセンサイベントを選択することにより時間内にダウンサンプリングすることをさらに備える、Ｃ１の方法。
［Ｃ７］
イベントベースダウンサンプリングのための装置において、複数のアドレスおよび複数のタイムスタンプに対応する複数のセンサイベントを受信する手段と、
前記複数のタイムスタンプおよび前記複数のアドレスに少なくとも部分的に基づいて前記複数のアドレスを空間的にダウンサンプリングする手段と、を備えた装置。
［Ｃ８］
前記ダウンサンプリングに少なくとも部分的に基づいて前記複数のセンサイベントの各々に関するピクセル値を更新する手段をさらに備えたＣ７の装置。
［Ｃ９］
前記複数のアドレスを空間的にダウンサンプリングする前記手段は、オリジナルの座標系をダウンサンプルされた座標系にマッピングすることによりダウンサンプルする、Ｃ７の装置。
［Ｃ１０］
前記複数のアドレスを空間的にダウンサンプルする前記手段は、前記複数のアドレスの少なくとも１つの最下位ビットをドロップすることによりダウンサンプルする、Ｃ９の装置。
［Ｃ１１］
ダウンサンプルされている複数のパケット内の複数のタイムスタンプの関数として１つのタイムスタンプ値を計算することにより時間内にダウンサンプルする手段をさらに備えた、Ｃ７の装置。
［Ｃ１２］
所定のタイムスパン内に、共通のアドレスを備えた複数のセンサイベントが異なるタイムスタンプを有するとき、特定のタイムスタンプに対応する特定のセンサイベントを選択することにより時間内にダウンサンプリングする手段をさらに備えた、Ｃ７の装置。
［Ｃ１３］
イベントベースダウンサンプリングの装置において、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサは、
複数のアドレスおよび複数のタイムスタンプに対応する複数のセンサイベントを受信し、
前記複数のタイムスタンプおよび前記複数のアドレスに少なくとも部分的に基づいて前記複数のアドレスを空間的にダウンサンプルする、ように構成される、装置。
［Ｃ１４］
前記少なくとも１つのプロセッサはさらに、前記ダウンサンプリングに少なくとも部分的に基づいて前記複数のセンサイベントの各々に関するピクセル値を更新するように構成される、Ｃ１３の装置。
［Ｃ１５］
前記少なくとも１つのプロセッサはさらにオリジナル座標系をダウンサンプルされた座標系にマッピングすることにより前記複数のアドレスを空間的にダウンサンプルするように構成される、Ｃ１３の装置。
［Ｃ１６］
前記少なくとも１つのプロセッサはさらに、前記複数のアドレスの少なくとも１つの最下位ビットをドロップすることにより前記複数のアドレスを空間的にダウンサンプルするように構成される、Ｃ１５の装置。
［Ｃ１７］
前記少なくとも１つのプロセッサはさらに、ダウンサンプルされているパケット内のタイムスタンプの関数としてタイムスタンプ値を計算することにより時間内にダウンサンプルするように構成される、Ｃ１３の装置。
［Ｃ１８］
前記少なくとも１つのプロセッサはさらに、所定のタイムスタンプ内に、共通のアドレスを備えた複数のセンサイベントが異なるタイムスタンプを有するとき特定のタイムスタンプに対応する特定のセンサイベントを選択することにより時間内にダウンサンプルするように構成される、Ｃ１３の装置。
［Ｃ１９］
プログラムコードが記録された非一時的コンピュータ可読媒体において、前記プログラムコードはプロセッサにより実行されるイベントベースダウンサンプリングに関し、
複数のアドレスおよび複数のタイムスタンプに対応する複数のセンサイベントを受信するためのプログラムコードと、
前記複数のタイムスタンプと前記複数のアドレスに少なくとも部分的に基づいて前記複数のアドレスを空間的にダウンサンプルするためのプログラムコードと、を備えた、非一時的コンピュータ可読媒体。
［Ｃ２０］
前記ダウンサンプリングに少なくとも部分的に基づいて前記複数のセンサイベントの各々に関するピクセル値を更新するためのプログラムコードをさらに備えた、Ｃ１９のコンピュータ可読媒体。
［Ｃ２１］
前記複数のアドレスを空間的にダウンサンプルするための前記プログラムコードは、オリジナル座標系をダウンサンプルされた座標系にマップするためのプログラムコードを備える、Ｃ１９のコンピュータ可読媒体。
［Ｃ２２］
前記複数のアドレスを空間的にダウンサンプルするための前記プログラムコードは前記複数のアドレスの少なくとも１つの最下位ビットをドロップするためのプログラムコードを備える、Ｃ２１のコンピュータ可読媒体。
［Ｃ２３］
ダウンサンプルされている複数のパケット内の複数のタイムスタンプの関数として１つのタイムスタンプ値を計算することにより時間内にダウンサンプルするためのプログラムコードをさらに備える、Ｃ１９のコンピュータ可読媒体。
［Ｃ２４］
所定のタイムスパン内に、共通のアドレスを備えた複数のセンサイベントが異なるタイムスタンプを有するとき、特定のタイムスタンプに対応する特定のセンサイベントを選択することにより時間内にダウンサンプルするためのプログラムコードをさらに備えた、Ｃ１９のコンピュータ可読媒体。

Claims (15)

  1. コンピュータシステムを介したイベントベース画像処理のコンピュータによって実現可能な方法において、
    複数のセンサイベントを受信することと、前記複数のセンサイベントの各センサイベントは、１つのアドレスおよび１つのタイムスタンプに対応する、
    前記複数のセンサイベントから第１のセンサイベントを選択することと、
    前記複数のセンサイベントからの第２のセンサイベントが、前記第１のセンサイベントに対応するタイムスタンプから所定の時間内に受信されることを決定することと、
    前記第２のセンサイベントが前記所定の時間内に受信されることに基づいて、前記第１のセンサイベントと、前記第２のセンサイベントとを空間的にダウンサンプリングするが、前記第２のセンサイベントが前記所定の時間内に受信されない場合には、空間的にダウンサンプリングしないことと、
    前記ダウンサンプリングされた出力をカーネルと重畳することと
    を備えたコンピュータによって実現可能な方法。
  2. 重畳する前記ステップが、各カーネル値を対応する画像ピクセル値と乗算することにより、画像内のピクセルの値を計算することを備える、請求項１のコンピュータによって実現可能な方法。
  3. 前記ダウンサンプリングに少なくとも部分的に基づいて前記第１のセンサイベントおよび前記第２のセンサイベントに関するピクセル値を更新することをさらに備えた、請求項１のコンピュータによって実現可能な方法。
  4. ２以上のイベントが１つのセンサから受信され、前記イベントの１つまたは複数が、時間ダウンサンプリングに基づいてドロップされる、請求項３のコンピュータによって実現可能な方法。
  5. 空間的にダウンサンプリングすることは、オリジナルの座標系をダウンサンプリングされた座標系にマッピングすることを備える、請求項１のコンピュータによって実現可能な方法。
  6. 空間的にダウンサンプリングすることは、前記第１のセンサイベントおよび前記第２のセンサイベントに対応する各アドレスの少なくとも１つの最下位ビットをドロップすることを備える、請求項５のコンピュータによって実現可能な方法。
  7. 前記第１のセンサイベントおよび前記第２のセンサイベントに対応する複数のタイムスタンプの関数として１つのタイムスタンプ値を計算することにより時間的にダウンサンプリングすることをさらに備えた、請求項１のコンピュータによって実現可能な方法。
  8. 所定のタイムスパン内に、共通のアドレスを備えた複数のセンサイベントが異なるタイムスタンプを有するとき、特定のタイムスタンプに対応する特定のセンサイベントを選択することにより時間的にダウンサンプリングすることをさらに備えた、請求項１の方法。
  9. イベントベース画像処理のための装置において、
    複数のセンサイベントを受信する手段と、前記複数のセンサイベントの各センサイベントは、１つのアドレスおよび１つのタイムスタンプに対応する、
    前記複数のセンサイベントから第１のセンサイベントを選択する手段と、
    前記複数のセンサイベントからの第２のセンサイベントが、前記第１のセンサイベントに対応するタイムスタンプから所定の時間内に受信されることを決定する手段と、
    前記第２のセンサイベントが前記所定の時間内に受信されることに基づいて、前記第１のセンサイベントと、前記第２のセンサイベントとを空間的にダウンサンプリングするが、前記第２のセンサイベントが前記所定の時間内に受信されない場合には、空間的にダウンサンプリングしない手段と、
    前記ダウンサンプリングされた出力をカーネルと重畳する手段と
    を備えた装置。
  10. 前記ダウンサンプリングに少なくとも部分的に基づいて前記第１のセンサイベントおよび前記第２のセンサイベントに関するピクセル値を更新する手段をさらに備えた、請求項９の装置。
  11. 空間的にダウンサンプリングする前記手段は、オリジナルの座標系をダウンサンプリングされた座標系にマッピングする手段を備える、請求項９の装置。
  12. 空間的にダウンサンプリングする前記手段は、前記第１のセンサイベントおよび前記第２のセンサイベントに対応する各アドレスの少なくとも１つの最下位ビットをドロップする手段を備える、請求項１１の装置。
  13. 前記第１のセンサイベントおよび前記第２のセンサイベントに対応する複数のタイムスタンプの関数として１つのタイムスタンプ値を計算することにより時間的にダウンサンプリングする手段をさらに備えた、請求項９の装置。
  14. 所定のタイムスパン内に、共通のアドレスを備えた複数のセンサイベントが異なるタイムスタンプを有するとき、特定のタイムスタンプに対応する特定のセンサイベントを選択することにより時間的にダウンサンプリングする手段をさらに備えた、請求項９の装置。
  15. プログラムコードが記録された非一時的コンピュータ可読媒体において、イベントベース画像処理に関する前記プログラムコードは、プロセッサにより実行され、
    複数のセンサイベントを受信するためのプログラムコードと、前記複数のセンサイベントの各センサイベントは、１つのアドレスおよび１つのタイムスタンプに対応する、
    前記複数のセンサイベントから第１のセンサイベントを選択するためのプログラムコードと、
    前記複数のセンサイベントからの第２のセンサイベントが、前記第１のセンサイベントに対応するタイムスタンプから所定の時間内に受信されることを決定するためのプログラムコードと、
    前記第２のセンサイベントが前記所定の時間内に受信されることに基づいて、前記第１のセンサイベントと、前記第２のセンサイベントとを空間的にダウンサンプリングするが、前記第２のセンサイベントが前記所定の時間内に受信されない場合には、空間的にダウンサンプリングしないためのプログラムコードと、
    前記ダウンサンプリングされた出力をカーネルと重畳するためのプログラムコードと
    を備えた、非一時的コンピュータ可読媒体。
JP2017514432A 2014-09-16 2015-09-15 イベントベースダウンサンプリング Active JP6615872B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462051131P 2014-09-16 2014-09-16
US62/051,131 2014-09-16
US14/853,991 US9883122B2 (en) 2014-09-16 2015-09-14 Event-based down sampling
US14/853,991 2015-09-14
PCT/US2015/050152 WO2016044250A1 (en) 2014-09-16 2015-09-15 Event-based down sampling

Publications (3)

Publication Number Publication Date
JP2017533497A JP2017533497A (ja) 2017-11-09
JP2017533497A5 JP2017533497A5 (ja) 2018-09-27
JP6615872B2 true JP6615872B2 (ja) 2019-12-04

Family

ID=55456097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514432A Active JP6615872B2 (ja) 2014-09-16 2015-09-15 イベントベースダウンサンプリング

Country Status (5)

Country Link
US (1) US9883122B2 (ja)
EP (1) EP3195193A1 (ja)
JP (1) JP6615872B2 (ja)
CN (1) CN106716439B (ja)
WO (1) WO2016044250A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10062151B2 (en) * 2016-01-21 2018-08-28 Samsung Electronics Co., Ltd. Image deblurring method and apparatus
KR102512828B1 (ko) * 2016-01-22 2023-03-22 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
CN108073857B (zh) * 2016-11-14 2024-02-27 北京三星通信技术研究有限公司 动态视觉传感器dvs事件处理的方法及装置
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
CN107238727B (zh) * 2017-04-28 2020-05-01 天津师范大学 基于动态视觉传感器芯片的光电式转速传感器及探测方法
US11392133B2 (en) 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
US11042155B2 (en) * 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
CN111247801B (zh) * 2017-09-28 2022-06-14 苹果公司 用于事件相机数据处理的系统和方法
JP6916091B2 (ja) * 2017-11-10 2021-08-11 株式会社デンソーアイティーラボラトリ 位置姿勢推定システム及び位置姿勢推定装置
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
CN109039980B (zh) * 2018-07-12 2020-09-25 北京大学 一种时空脉冲阵列信号进行量化的方法
CN109359732B (zh) * 2018-09-30 2020-06-09 阿里巴巴集团控股有限公司 一种芯片及基于其的数据处理方法
JP7369517B2 (ja) 2018-10-04 2023-10-26 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
JP7285058B2 (ja) 2018-10-04 2023-06-01 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法、プログラムおよび処理回路
JP7023209B2 (ja) 2018-10-04 2022-02-21 株式会社ソニー・インタラクティブエンタテインメント 電子機器、アクチュエータの制御方法およびプログラム
CN109919957B (zh) * 2019-01-08 2020-11-27 同济大学 一种基于动态视觉传感器的角点检测方法
EP3694202A1 (en) 2019-02-11 2020-08-12 Prophesee Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor
JPWO2020255399A1 (ja) * 2019-06-21 2020-12-24
CN113553877B (zh) * 2020-04-07 2023-05-30 舜宇光学（浙江）研究院有限公司 深度手势识别方法及其系统和电子设备
CN112215912B (zh) * 2020-10-13 2021-06-22 中国科学院自动化研究所 基于动态视觉传感器的显著性图生成系统、方法和装置
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법
CN113673681B (zh) * 2021-08-20 2022-08-16 成都时识科技有限公司 基于事件的最大池化方法、芯片及电子产品
JP2024071260A (ja) * 2022-11-14 2024-05-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および情報処理システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4503878B2 (ja) * 2001-04-27 2010-07-14 オリンパス株式会社 撮像装置及び撮像方法
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
GB2418555A (en) * 2004-09-23 2006-03-29 Mitsubishi Electric Inf Tech Representing an image using descriptors based on colour information
US8396825B2 (en) * 2009-02-25 2013-03-12 Toyota Motor Engineering & Manufacturing North America Method and system to recognize temporal events using enhanced temporal decision trees
US8942466B2 (en) 2010-08-26 2015-01-27 Brain Corporation Sensory input processing apparatus and methods
WO2012040099A1 (en) * 2010-09-20 2012-03-29 Qualcomm Incorporated An adaptable framework for cloud assisted augmented reality
FR2975251B1 (fr) * 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 Procede et dispositif de commande d'un dispositif d'aide a la vision
US8712940B2 (en) * 2011-05-31 2014-04-29 International Business Machines Corporation Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron
CN103679249B (zh) * 2012-09-20 2016-12-21 苏州简约纳电子有限公司 一种射频芯片接口电路
WO2014133506A1 (en) * 2013-02-27 2014-09-04 Hrl Laboratories, Llc A mimo-ofdm system for robust and efficient neuromorphic inter-device communication
US9400925B2 (en) 2013-11-15 2016-07-26 Facebook, Inc. Pose-aligned networks for deep attribute modeling

Also Published As

Publication number Publication date
EP3195193A1 (en) 2017-07-26
CN106716439B (zh) 2020-08-28
US20160080670A1 (en) 2016-03-17
US9883122B2 (en) 2018-01-30
CN106716439A (zh) 2017-05-24
WO2016044250A1 (en) 2016-03-24
JP2017533497A (ja) 2017-11-09

Similar Documents

Publication Publication Date Title
JP6615872B2 (ja) イベントベースダウンサンプリング
US11227180B2 (en) Extracting motion saliency features from video using a neurosynaptic system
US9846677B2 (en) Event-based spatial transformation
JP6859505B2 (ja) 画像に基づく車両損傷判定方法、装置および電子デバイス
JP6602851B2 (ja) 事象ベースのシステムとフレームベースの処理システムとをインターフェースすること
JP2015187855A (ja) 多範囲オブジェクト検出装置および方法
Bozcan et al. Context-dependent anomaly detection for low altitude traffic surveillance
Cameron et al. Design considerations for the processing system of a CNN-based automated surveillance system
JP2022173321A (ja) オブジェクトの検出方法、装置、デバイス、媒体及びプログラム
Iszaidy et al. Video size comparison for embedded vehicle speed detection & travel time estimation system by using Raspberry Pi
CN117953581A (zh) 动作识别的方法、装置、电子设备及可读存储介质
CN114049483A (zh) 基于事件相机的目标检测网络自监督训练方法及装置
CN108093153B (zh) 目标跟踪方法、装置、电子设备及存储介质
US11080540B2 (en) 3D vision processing using an IP block
US20220292368A1 (en) Classification device, learning device, classification method, learning method, classification program and learning program
CN109657523B (zh) 一种可行驶区域检测方法和装置
Iida et al. Connected smartphones and high-performance servers for remote object detection
CN116311943B (zh) 交叉路口的平均延误时间的估算方法及装置
Madhavan et al. Violence Detection from CCTV Footage Using Optical Flow and Deep Learning in Inconsistent Weather and Lighting Conditions
US20220207822A1 (en) Ensemble learning for cross-range 3d object detection in driver assist and autonomous driving systems
CN116580367A (zh) 数据处理方法、装置、电子设备和存储介质
CN117556438A (zh) 图像脱敏方法和装置
CN116051637A (zh) Vo可靠性评估方法、模型训练方法、装置、设备及产品
CN112686931A (zh) 图像识别方法、垃圾倾倒行为检测方法、设备和介质
EP4179358A1 (en) System and method of segmenting free space based on electromagnetic waves

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170526

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191106

R150 Certificate of patent or registration of utility model

Ref document number: 6615872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250