JP7357622B2 - イベントベースの光センサによって生成された非同期信号を処理するための方法およびデバイス - Google Patents

イベントベースの光センサによって生成された非同期信号を処理するための方法およびデバイス Download PDF

Info

Publication number
JP7357622B2
JP7357622B2 JP2020538593A JP2020538593A JP7357622B2 JP 7357622 B2 JP7357622 B2 JP 7357622B2 JP 2020538593 A JP2020538593 A JP 2020538593A JP 2020538593 A JP2020538593 A JP 2020538593A JP 7357622 B2 JP7357622 B2 JP 7357622B2
Authority
JP
Japan
Prior art keywords
event
image
pixel
pixels
edge pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020538593A
Other languages
English (en)
Other versions
JP2021510333A (ja
Inventor
フランチェスコ・ガルッピ
Original Assignee
ジェンサイト・バイオロジクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジェンサイト・バイオロジクス filed Critical ジェンサイト・バイオロジクス
Publication of JP2021510333A publication Critical patent/JP2021510333A/ja
Application granted granted Critical
Publication of JP7357622B2 publication Critical patent/JP7357622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A61N1/0526—Head electrodes
    • A61N1/0543—Retinal electrodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36046—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
    • A61N1/36128—Control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/708—Pixels for edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Prostheses (AREA)
  • Image Processing (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Description

本発明は、イベントベースの光センサによって生成された非同期信号を処理するための方法に関する。本発明はさらに、前記方法を実装するデバイス、より具体的には刺激デバイス、ならびにマシンビジョンおよび患者の視覚的回復の管理におけるそれらの使用に関する。
一定サンプリング時点において連続する画像を記録する従来のカメラとは対照的に、生物学的な網膜は、視覚化されるべきシーンについてのごくわずかな冗長な情報を非同期的に伝達する。非同期信号を生成するイベントベースの光センサは、生物学的な網膜に関するかかる観察から開発された。
非同期信号を生成するイベントベースの光センサは、圧縮されたデジタルデータをイベントの形で配信する。そのようなセンサのプレゼンテーションは、T. Delbruck他、「Activity-Driven, Event-Based Vision Sensors」、2010年の回路とシステムに関するIEEE国際シンポジウム(ISCAS)の議事録、pp.2426～2429、またはPosch他、「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、2011年、IEEEソリッドステート回路ジャーナル、vol.46、no.1、pp.259～275に見られる。イベントベースのビジョンセンサには、冗長性を排除し、待ち時間を短縮し、従来のカメラと比べてダイナミックレンジを拡大できるという利点がある。
このようなイベントベースの光センサの出力は、ピクセルアドレスごとに、発生時のシーンの反射率の変化を表す非同期イベントのシーケンスで構成することができる。センサの各ピクセルは独立しており、最後のイベントの発生以降のしきい値を超える強度の変化を検出する(たとえば、強度の対数で15%のコントラスト)。強度の変化がしきい値セットを超えると、強度が増加するか減少するかに応じて、ONまたはOFFイベントがピクセルによって生成される。特定のイベントベースの光センサは、検出されたイベントを光強度の測定に関連付ける。センサは従来のカメラのようにクロックでサンプリングされないため、イベントのシーケンスを非常に高い時間精度(たとえば、約1μs)で考慮することができる。画像のシーケンスを再構成するためにそのようなセンサが使用されると、従来のカメラの数十ヘルツと比較して、数キロヘルツの画像フレームレートを実現することができる。
イベントベースの光センサは、とりわけマシンビジョンの分野と視力回復の分野において有望な展望を有する(たとえば、国際公開公報第2012/153073 A1号を参照)。
網膜は光受容体で構成されており、これは、光変換による網膜の光感受性、すなわち視覚システム内のイベントのカスケードを伝播する電気信号と化学信号への光の変換を担当する高度に特化したニューロンであり、最終的に世界の表現を生成する。脊椎動物の網膜では、光伝達は、光感受性受容体タンパク質(光反応性タンパク質)であるロドプシンの活性化によって開始される。
網膜色素変性症(RP)または黄斑変性症(MD)の場合のような、光受容体の喪失または変性は、網膜内の視覚情報の光伝達を、完全には阻害しないにしても、著しく損なう。視細胞の喪失および/または視細胞機能の喪失は、視力の低下、光感受性の低下、および失明の主な原因である。
網膜変性疾患に苦しむ患者の視力回復に特化したいくつかの治療手法は現在開発中である(Scholl他、2016年、サイエンストランスレーショナルメディスン、8(368)、368rv6)。
たとえば、網膜インプラントを備える視覚補綴システムは、目の見えない、および視覚障害のあるユーザのために、網膜組織の一部は変性しているが、網膜のほとんどは無傷のままであり、依然として光に依存する電気刺激によって直接刺激され得るという前記事実を利用して、適度な視覚と方向感覚を少なくとも部分的に再確立するために役立つツールとして開発された。典型的には、網膜インプラントは患者の眼に埋め込まれ、光刺激時に残りの神経細胞の電気的励起をもたらす。刺激されると、これらの残りの神経細胞は、人工的に誘導された電気インパルスを、視神経を通じて脳の視覚部分に伝える。
網膜インプラントは、網膜上および網膜下(Lin他、2015年、変性網膜疾患における網膜補綴、J Chin Med Assoc.;78(9):501-5)の2つのカテゴリに大きく分類することができる。網膜上デバイスは、網膜の内面の上または近く、すなわち最初に入射光にさらされ、神経節細胞の神経線維が視神経に向かう経路に沿う網膜の側に配置される。網膜上インプラントは、通常、目の見えない、または部分的に目の見えない患者の視力を回復または改善するために、チップに隣接する網膜細胞を刺激するために、複数の刺激電極を介して前記信号を電気刺激に変換するために、眼球外デバイス(通常は、カメラおよび超小型電子回路)によって投射または送信される入力信号(たとえば、赤外線)を受信できる素子を備えたチップを備える。対照的に、網膜下デバイスは、網膜とその下にある網膜色素上皮または他のより深い組織との間の網膜の下に配置され、これらの網膜下デバイスは網膜上システムとは異なるが、やはり眼球外デバイスによって投影または送信される入力信号(たとえば、赤外線)を受信できる素子の使用に依存している。
あるいは、光遺伝学と呼ばれる遺伝子工学および神経工学技術により、規定されたニューロン集団の活動を制御することによって、被験者の網膜の光感受性を回復することが提案されている。欠陥遺伝子の置換または修復を試みる、あるいは、タンパク質欠損または機能不全の矯正を通じて遺伝的欠陥を回避しようとする従来の遺伝子治療とは対照的に、光遺伝学的手法は、通常、網膜内の非感光性細胞に光に反応する能力を与え、したがって患者に有用な視力を回復させるために使用することができる。
光遺伝学(Deisseroth. Nat Methods 8(1):26-9、2011年)とは、生体組織の特定の細胞内の明確なイベントを制御するための遺伝学と光学の組合せを指す。光遺伝学は、(i)特に細胞膜における外因性光反応性タンパク質(たとえば、オプシン)の発現によって標的細胞を光に敏感にするために、標的細胞(たとえば、網膜神経節細胞(RGC)または残りの視細胞)を遺伝子組み換えすること、および(ii)前記光反応性タンパク質に光を提供することができる照明デバイスを提供することで構成される。
外因性光反応性タンパク質の例は、国際公開公報第2007/024391号、国際公開公報第2008/022772号、または国際公開公報第2009/127705号に記載されており、これらは、哺乳類のニューロンにおいて発現するように設計されており、ウイルスベクタを使用して特定の神経集団に遺伝的にターゲティングすることができる、光活性化イオンチャネルおよびポンプ(たとえば、channelrhodopsin-2[ChR2]、halorhodopsin[NpHR])を符号化する植物および微生物(たとえば、古細菌、細菌、および真菌など)に由来するオプシン遺伝子の使用について説明している。適切な波長の光にさらされると、活動電位がオプシンを発現するニューロンにおいてトリガされ、それによってこれらの細胞に光感受性を与える。同様に、国際公開公報第2013/071231号は、相互に異なる、および最新の技術(たとえば、ChR2/VChR1)とは異なる活性化スペクトルを有し、異なる細胞において遺伝的に発現する異なる活性化スペクトルを有するチャネルを発現させ、次いで組織を異なる色の光で照らすことによって、同じ組織内の異なる細胞のセットの偏光を解消するために複数の異なる光の波長の使用を可能にする新しいチャネルロドプシンである、ChronosおよびChrimsonを開示している。
光遺伝学は、選択的なニューロンの活性化/抑制のための非常に強力なツールであり、たとえば、人間を含む、生きている動物(Boyden他、2005年、Nature Neuroscience 8 (9):1263-68)、特に眼の中(Busskamp他、2012年、Gene Therapy 19 (2):169-75)の神経機能を回復するために使用することができる。
光遺伝学的治療は、網膜変性疾患に罹患した患者の視覚機能を回復する可能性を秘めているが、光応答を媒介する分子の光感受性は、内因性オプシンの光感受性よりもはるかに低いため、自然環境条件下では、期待される光刺激はまったくないか、制限される。Nagel他(2003年、全米科学アカデミーの議事録100(24):13940-45)、またはKlapoetke他(2014年、ネイチャーメソッズ11(3):338-46)は、選択された光の波長が光反応性タンパク質の最適な波長に近いことを示し、またAsrican他(2013年、Front Neural Circuits、2013年、7:160、Busskamp他、2012年、Gene Therapy 19(2):169-75)は、これらの光反応性タンパク質は光に対する感度が非常に低いことを示している。したがって、光によるタンパク質活性化の最小レベルを取得するために、標的細胞またはタンパク質が受光する光の強度は、最小値を超える必要がある(Barrett他、2014年、Visual Neuroscience 31(4-5):345-354)。結果として、適切な波長で十分な放射照度を提供する外部デバイスが必須である。
したがって、網膜インプラントと光遺伝学的治療の両方は、2つの主要なコンポーネントに依存している。第1のコンポーネントは網膜レベルにおいて直接作用し、少なくとも部分的に光感度を回復することができ、したがって、受信した光子(すなわち、入力信号)を神経電流に変換することができ、この第1のコンポーネントは、網膜補綴システムにおけるインプラントと、光遺伝学的治療で網膜細胞において遺伝的に導入および発現される光反応性タンパク質に対応する。
第2のコンポーネントは、通常はカメラまたはフォトダイオードのアレイを通じて取得される視覚情報を符号化することと、それを第1のコンポーネントによって必要とされる入力信号に変換することとを行うために使用される。網膜インプラントにおいて、入力信号はアクティブ電極のマトリクスによって網膜層に配信される電流(たとえば、HC StronksおよびG. Dagnelieの「The functional performance of the Argus II retinal prosthesis」、医療デバイスの専門家によるレビュー、Vol.11、No.1、pp.23～30、2014年を参照)、または光、たとえばパッシブコンポーネントを活性化することができる光のパルス、赤外光、(たとえば、A.Asher他の「Image processing for a high-resolution optoelectronic retinal prosthesis」、IEEE Transactions on Biomedical Engineering、Vol.54、No. 6、pp.993～1004、2007年を参照)であり得る。光遺伝学が使用される場合、入力信号は光であり、選択した光反応性タンパク質を活性化するために必要な正しい強度と波長で配信される。視覚を回復するために使用される手法に関係なく、リアルタイムに視覚情報を符号化し、前記入力信号を伝達することができる刺激デバイスが必要である。より具体的には、前記入力信号が光である場合、それは、視覚的フロントエンド、信号処理ユニット、および投影デバイスを備える刺激デバイスによって生成することができる。前記視覚的フロントエンドは、非同期信号を生成するイベントベースの光センサであることが好ましい。
第1のコンポーネントによって必要とされる入力信号を配信するために、非同期信号に適用可能な効果的な信号処理方法を提案することが望ましい。前記信号処理方法は、前記信号処理ユニットによって実装される。
細胞の異なる集団を特異的に対象として、それらの特徴的な応答をエミュレートしてそれらの機能を正しく回復するために使用される刺激アルゴリズムが、光遺伝学について説明されている(たとえば、Galluppi他、2017年、A stimulation platform for optogenetic and bionic vision restoration、IEEE、回路とシステムに関する国際シンポジウム(ISCAS)を参照)。リアルタイムの刺激を配信することができるこれらの刺激アルゴリズムは、トランスフェクションが数十万の細胞を標的とすることができる光遺伝学の場合のように、特に所望の解像度が高い場合に制約を課す。埋込み可能な電極の数を増やすことにおける技術的進歩のおかげで、網膜インプラントは同じ問題を共有する。たとえば、前述の論文「Image processing for a high-resolution optoelectronic retinal prosthesis」では、Asher他は中心窩における双極細胞を刺激するように設計されたアルゴリズムを開発し、それを標準的なコンピュータに実装した。彼らは、出力として、赤外線光のパルスで照らされたLCDスクリーンを想定しており、これは、次いで、インプラントによって受信することができる。双極細胞を正しく刺激するために、彼らは空間エッジと時間変化を強化するアルゴリズムを実装し、刺激デバイスの発光コンポーネントを配置する。これらのアルゴリズムは、VGAカメラによって提供される視覚的フィード上で、25Hzのフレームレートでリアルタイムに動作することが期待されている。エッジエンハンスメントは、ガウシアン差分フィルタとしてモデル化された、双極細胞の中央周囲応答を模倣して実行される。その後、後続のフレームを比較することによって評価すると、入力ピクセルが大幅に変化した場合にのみ出力ピクセルを更新することによって、データの冗長性が減少される。出力ピクセルも、それらの値があらかじめ定義されたしきい値を超えた場合にのみ更新される。重要なのは、評価される必要のある入力ピクセルが少なくなるほど、しきい値が大きくなるほど実行速度が上がるため、パフォーマンスにおけるトレードオフが報告されることである。しかしながら、これは出力イメージにおけるエラーがより大きくなることを意味する。最後に、彼らは、時間的ダイナミクスに関して、双極細胞の正しい入力をエミュレートするための時間的フィルタのマップを導入した。これは、所与の時間間隔でピクセル値を評価することによって行われ、したがって、時間フィルタリング層によって使用できるように、対応するすべてのフレームをメモリに保持する必要がある。
それにもかかわらず、従来技術のこの手法は、イベントベースの光センサによって生成される非同期信号にはあまり適していない。イベントベースの光センサのネイティブ出力は一連のイベントであり、各ピクセルは、光の局所的な変化を検出すると、イベントで応答する[Posch他、2011年、上記]。したがって、自然な人間の網膜細胞の機能に近いこの刺激モードは、RGCが依然として機能している、または視覚的に修正されている網膜変性を標的とするための自然な候補である。それにもかかわらず、このシステムの1つの制限は、センサが動いていない場合、またはシーン内に動いているオブジェクトがない場合、新規の情報を保持していないため、イベントが生成されず、固定オブジェクトが消えるため、動きが必要であることである。頭部が固定されている場合、そのような刺激は、網膜の周囲にあるパラソル細胞に適切であり、一時的に光の変化に反応するが、これは、それらの受容野に違いがある限り、持続的な活動を示す小細胞を刺激するのに適切ではない。すなわち、頭部が固定されている場合、単一のイベントを有するのではなく、エッジが動いていない場合でもイベントが生成される必要がある。
したがって、動いていようとなかろうと、エッジがある場合はいつでも標的細胞に持続的な刺激を提供する特定の信号処理方法が必要である。この刺激モードは、RGCの90%が小細胞である中心窩におけるニューロンを標的とする場合[CurcioおよびAllen、1990年、「Topography of ganglion cells in human retina」、The Journal of Compare Neurology、vol. 300、no. 1、pp.5～25]、または双極細胞を標的とする場合[Asher他、2007年、「Image processing for a high-resolution optoelectronic retinal prosthesis」、IEEE Transactions on Biomedical Engineering、vol.54、no. 6、pp. 993～1004]に特に関連する。
本発明者らは、特に光センサが動いていない場合、またはシーン内に動いているオブジェクトがない場合に、観察されたシーン内の輪郭を検出できる光センサによって生成される非同期信号を処理するための方法を開発した。この輪郭検出には、パターン認識など様々な用途がある。ここで特に興味深いのは、限定ではないが、視力回復への応用である。
国際公開第2012/153073 A1号 国際公開第2007/024391号 国際公開第2008/022772号 国際公開第2009/127705号 国際公開第2013/071231号 米国特許出願公開第2014/0085447号明細書 国際特許出願PCT/EP2017/064827号
T. Delbruck他、「Activity-Driven, Event-Based Vision Sensors」、2010年の回路とシステムに関するIEEE国際シンポジウム(ISCAS)の議事録、pp.2426～2429 Posch他、「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、2011年、IEEEソリッドステート回路ジャーナル、vol.46、no.1、pp.259～275 Scholl他、2016年、サイエンストランスレーショナルメディスン、8(368)、368rv6 Lin他、2015年、変性網膜疾患における網膜補綴、J Chin Med Assoc.;78(9):501-5 Deisseroth. Nat Methods 8(1):26-9、2011年 Boyden他、2005年、Nature Neuroscience 8 (9):1263-68 Busskamp他、2012年、Gene Therapy 19 (2):169-75 Nagel他(2003年、全米科学アカデミーの議事録100(24):13940-45) Klapoetke他(2014年、ネイチャーメソッズ11(3):338-46) Asrican他(2013年、Front Neural Circuits、2013年、7:160) Barrett他、2014年、Visual Neuroscience 31(4-5):345-354 HC StronksおよびG. Dagnelieの「The functional performance of the Argus II retinal prosthesis」、医療デバイスの専門家によるレビュー、Vol.11、No.1、pp.23～30、2014年 A.Asher他の「Image processing for a high-resolution optoelectronic retinal prosthesis」、IEEE Transactions on Biomedical Engineering、Vol.54、No. 6、pp.993～1004、2007年 Galluppi他、2017年、A stimulation platform for optogenetic and bionic vision restoration、IEEE、回路とシステムに関する国際シンポジウム(ISCAS) CurcioおよびAllen、1990年、「Topography of ganglion cells in human retina」、The Journal of Compare Neurology、vol. 300、no. 1、pp.5～25 Sampsell、1994年、「Digital micromirror device and its application to projection displays」、Journal of Vacuum Science & Technology B: Microelectronics and Nanometer Structures、vol.12、no.6、p.3242
したがって、本発明の目的は、非同期信号を生成するイベントベースの光センサの視野において観察されるシーン内の輪郭を検出するための信号処理方法を提案することであり、それは、とりわけ、患者の視力を回復する用途において有用であり得る。
シーン内の輪郭表現を決定するための感知素子のマトリクスを有するイベントベースの光センサによって生成された非同期信号を処理する方法が開示される。本方法は、
- マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信するステップであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成される、ステップと、
- マトリクスの感知素子に空間的に対応するピクセルを含む画像を生成するステップと、
- 画像のピクセルの中からエッジピクセルのセットを決定するステップと
を含む。
画像を生成するステップは、画像の前記ピクセルに対応する感知素子から受信されたイベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて画像の各ピクセルを更新するステップを含む。
エッジピクセルのセットを決定するステップは、
- 画像のピクセルを選択するステップであって、選択されたピクセルは、感知素子から受信されたそれぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、ステップと、
- 画像の選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
- 評価された局所コントラスト測定値に基づいて、選択されたピクセルがエッジピクセルのセットに属するかどうかを決定するステップと
を含む。
一実施形態では、エッジピクセルのセットは繰り返し決定され、選択されたピクセルは、受信されたイベントベースの信号シーケンスがエッジピクセルのセットの前の決定の後に少なくとも1つのイベントを含む感知素子に対応する画像の各ピクセルを含む。
選択されたピクセルは、以前に決定されたエッジピクセルのセットのピクセルをさらに含み得る。あるいは、選択されたピクセルは、感知素子から受信されたそれぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルのみからなる。
一実施形態では、エッジピクセルのセットは、1から100ミリ秒の範囲、より好ましくは10から100ミリ秒の範囲の周期で周期的に決定される。
本発明による輪郭表現は、時変ビットのマトリクスとして出力され得る。そのような表現では、輪郭表現の時変ビットの各々は、画像のそれぞれのピクセルに空間的に対応し、画像のそれぞれのピクセルがエッジピクセルのセットに属する場合は第1の値を有し、画像のそれぞれのピクセルがエッジピクセルのセットに属していない場合は第2の値を有する。
視力回復への応用では、デジタルマイクロミラーデバイス(DMD)などの光変調器を制御するために輪郭表現が使用され得る。好ましい実施形態によれば、前記光変調器は、以下に述べるように、刺激デバイスの投影デバイスの一部である。あるいは、網膜細胞を刺激するために、それは(たとえば、赤外光によって)網膜インプラントに伝達され得る。
本発明の別の態様は、上記の方法を実装する信号処理ユニットに関する。本ユニットは、
- 感知素子のマトリクスを有する光センサに接続することと、マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信することであって、前記イベントは感知素子に入射する光の変動とイベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成されることと、を行うためのインターフェースと、
- マトリクスの感知素子に空間的に対応するピクセルを含む画像を生成することと、画像のピクセルの中からエッジピクセルのセットを決定することとを行うためのプロセッサと
を備える。
プロセッサは、画像の前記ピクセルに対応する感知素子から受信されたイベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて画像の各ピクセルのそれぞれのピクセル値を更新するように構成される。プロセッサはまた、
- 画像のピクセルを選択するステップであって、選択されたピクセルは、感知素子から受信されたそれぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、ステップと、
- 画像の選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
- 評価された局所コントラスト測定値に基づいて、選択されたピクセルがエッジピクセルのセットに属するかどうかを決定するステップと
によって、エッジピクセルのセットを決定するように構成される。
特別な実施形態によれば、前記信号処理ユニットは、(i)上記に開示された方法、または(ii)イベント表現を決定するための感知素子のマトリクスを有するイベントベースの光センサによって生成された前記非同期信号を処理する方法のいずれかを代替的に実装するように構成される。好ましい実施形態によれば、前記方法(ii)は、米国特許第2014/0085447号などの文献に開示されているとおりである。より具体的には、前記方法(ii)は、
- 見られるシーンを表す入力信号を受信するステップであって、入力信号は、ピクセルのマトリクス内のピクセルごとに、シーン内のピクセルに関する光の変動の関数として取得されるイベントベースの非同期信号シーケンスを含む、ステップと、
- イベント表現出力信号を生成するために、入力信号を、ピクセルのマトリクス内で空間的に、および信号シーケンスに沿って時間的に変換するステップと
を含む。
イベント表現の時変ビットの各々は、画像のそれぞれのピクセルに空間的に対応し、画像のそれぞれのピクセルに対応する感知素子から受信されたそれぞれのイベントベースの信号シーケンスにイベントが含まれる場合、第1の値を有し、画像のそれぞれのピクセルに対応する感知素子から受信されたそれぞれのイベントベースの信号シーケンスにイベントが含まれていない場合、第2の値を有する。
輪郭表現は、1マイクロ秒から10ミリ秒の範囲、より具体的には0.1から10ミリ秒の範囲であるイベント表現の時間解像度を保持し(各着信イベントは輪郭表現に統合される)、局所コントラスト測定値に基づく輪郭表現の各ピクセルの更新は、1から100ミリ秒の範囲、より具体的には10から100ミリ秒の範囲の周期で行われる。
視力回復への応用では、輪郭表現および/またはイベント表現は、光変調器を制御するために使用され(それぞれ輪郭表現モードおよびイベント表現モード)、または網膜細胞を刺激するために網膜インプラントに伝達される。
好ましい実施形態によれば、前記信号処理ユニットは、輪郭表現モードまたはイベント表現モードのいずれかの使用を選択することを可能にする特定の手段によって制御される。
本発明の別の態様は、上記の方法を実行するために、感知素子のマトリクスを有する光センサに関連付けられるプロセッサにおいて実行される記憶された命令を含むコンピュータプログラム製品に関する。すなわち、プロセッサによる命令の実行は、
- マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信するステップであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成される、ステップと、
- マトリクスの感知素子に空間的に対応するピクセルを含む画像を生成するステップと、
- 画像のピクセルの中からエッジピクセルのセットを決定するステップと
を制御する。
画像を生成するステップは、画像の前記ピクセルに対応する感知素子から受信されたイベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて画像の各ピクセルを更新するステップを含む。エッジピクセルのセットを決定するステップは、
- 画像のピクセルを選択するステップであって、選択されたピクセルは、感知素子から受信されたそれぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、ステップと、
- 画像の選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
- 評価された局所コントラスト測定値に基づいて、選択されたピクセルがエッジピクセルのセットに属するかどうかを決定するステップと
を含む。
本発明の別の態様は、視覚的フロントエンド、本発明の信号処理ユニット、および投影デバイスを備える刺激デバイスに関する。
好ましい実施形態によれば、前記視覚的フロントエンドは、イベントベースの光センサ、より具体的には、感知素子のマトリクスを有するイベントベースの光センサからなる。特別な実施形態によれば、それはATIS(非同期時間ベースの画像センサ)ニューロモーフィックシリコン網膜(Posch他、2011年、「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、IEEEソリッドステート回路ジャーナル、vol.46、no.1、pp.259～275)である。
好ましい実施形態によれば、前記処理ユニットは、イベントベースのフィルタリングチェーンを実行するARMベースの組込みLinux（登録商標）システムからなる。本システムは、PCI-eリンクを通じてATISおよびDMDの低レベル管理を処理するFPGAボードと通信し、Linux（登録商標）ドライバにおいて抽象化される。イベントベースの光センサから受信した情報は、フィルタリングパイプラインを通過し、次いで、投影するためにデジタルマイクロミラーデバイス(DMD)などの光変調器を制御するために送信される。このフィルタパイプラインは、標的細胞内の再活性化されたイオンチャネルの電気生理学的特性に準拠するために、ノイズ低減、照らされる網膜部分のサイズ、およびピクセルごとの光パルスダイナミクスを処理する。フィルタリングパイプラインはまた、光センサによって生成された非同期信号を処理するための上述の方法を処理する。
好ましい実施形態によれば、前記投影デバイスは、前記光源を制御するプロジェクタ(たとえば、テキサスインストルメントライトクラフタプロジェクタ)に関連付けられる光源と、デジタルマイクロミラーデバイス(DMD)(たとえば、DLP3000デジタルマイクロミラーデバイス)(Sampsell、1994年、「Digital micromirror device and its application to projection displays」、Journal of Vacuum Science & Technology B: Microelectronics and Nanometer Structures、vol.12、no.6、p.3242)などの光変調器を備える。DMDは、0.7ミリ秒ごとにONとOFFという2つの個別の角度位置を切り替えることができる、ミラーの680×604アレイを備え、ON位置では、入射光を標的に向けて反射することができる。処理されたイベントは、対応するミラーをONに設定することによって符号化される。別の実施形態によれば、前記投影デバイスは、特許出願PCT/EP2017/064827号において開示されたデバイスである。
本発明はさらに、網膜変性疾患に罹患している患者の視覚的回復の管理における本発明の刺激デバイスの使用に関する。特別な実施形態によれば、本発明の刺激デバイスは、前記患者が、使用状態に基づいて、輪郭表現モードまたはイベント表現モードに従って刺激デバイスの使用を選択できるようにする手段をさらに備え、センサが動いていない場合、またはシーン内に動いているオブジェクトがない場合(たとえば、読書時)、患者は輪郭表現モードを選択することができ、センサが動いている場合(たとえば、自然環境において歩いているとき)またはシーン内に動いているオブジェクトがある場合、患者はイベント表現モードを選択することができる。
本明細書に開示される方法の他の特徴および利点は、添付の図面を参照して、非限定的な実施形態の以下の説明から明らかになるであろう。
本発明の実施形態が適用され得るシステムのブロック図である。 ATISタイプの非同期光センサのブロック図である。 例示的な実施形態における信号処理方法の出力を示す画像を示す図である。 例示的な実施形態における信号処理方法の出力を示す画像を示す図である。 例示的な実施形態における信号処理方法の出力を示す画像を示す図である。 非同期信号を処理するための方法の実施形態のステップを示すフローチャートである。
図1に示されるシステムは、シーンに向けて配置され、1つまたは複数のレンズを備える取得光学系15を通じてシーンの光流を受けるイベントベースの非同期視覚センサ10を備える。センサ10は、取得光学系15の画像平面に配置される。これは、ピクセルのマトリクスへと編成された一群の感光素子を備える。感光素子に対応する各ピクセルは、シーン内の光の変化に応じて、連続するイベントを生成する。
プロセッサ20は、出力装置30(たとえば、信号処理ユニット)を制御するために、センサ10から発せられる非同期情報、すなわち、感光素子pから非同期に受信されるイベントのシーケンスev(p,t)を処理する。プロセッサ20は、デジタル信号に対して動作する。プロセッサ20は、適切なプロセッサをプログラミングすることによって実装することができる。専門用途の論理回路(ASIC、FPGAなど)を使用したプロセッサ20のハードウェア実装形態も可能である。
本明細書に開示される方法の例示的な用途では、図1に示されるシステムは、視力回復のために使用される。出力装置30は、網膜インプラント(網膜上および網膜下インプラントを含む)または投影デバイスであり得る。あるいは、図1に示されるように、出力装置30は、1つまたは複数のレンズを備える投影光学系35を通じて患者の眼に投影される画像を形成する。
出力装置30は、光変調器、たとえば、LEDベースの光源であり得る光源36からの光に空間変調を加えるDMD30を備えることが好ましい。光学系35は、変調された光を網膜細胞に伝達する。本方法の適用において、変調された光を受ける網膜細胞は、光反応性タンパク質を発現するように遺伝子操作されている。したがって、変調された光を受けると、何らかの形の視力を回復するために患者の視神経を通じて刺激が発生する。あるいは、変調された光は、網膜インプラント(網膜上および網膜下インプラントを含む)に伝達されうる。
光センサ10および出力装置30は、プロセッサ20および光学系15、35とともに、患者によって着用されるゴーグルに取り付けられ得る。他のアーキテクチャも可能である。プロセッサ20は、別個のコンポーネントであってもよく、センサ10および/または出力装置30と同じコンポーネントの一部であってもよい。
マトリクスの感知素子pごとに、センサ10は、センサの視野に現れるシーン内の感知素子によって検出された光の変化を使用して、イベントベースの非同期信号シーケンスを生成する。
非同期センサは、活性化しきい値Qに到達する一連の瞬間tk(k=0、1、2、…)の形を取り得る情報を出力するために取得を実行する。この強度が時間tkにおけるものから開始して活性化しきい値Qに等しい量だけ増加するたびに、新しい瞬間tk+1が識別され、この瞬間tk+1においてスパイクが発せられる。対称的に、感知素子によって観察された強度が時間tkにおけるものから開始して量Qだけ減少するたびに、新しい瞬間tk+1が識別され、この瞬間tk+1においてスパイクが発せられる。感知素子についての非同期信号シーケンスは、感知素子についての光プロファイルに応じて、瞬間tkにおいて時間にわたって配置される一連のスパイクを含む。センサ10の出力は、するとアドレス-イベント表現(AER)の形式である。
活性化しきい値Qは固定することもでき、光強度の関数として適合させることもできる。たとえば、しきい値は、超過されたときにイベントを生成するために光強度の対数の変動と比較されることができる。
本発明の文脈において有利に使用することができる非同期センサの例は、C. Posch他の記事「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、IEEEソリッドステート回路ジャーナル、vol.46、no.1、2011年1月、pp.259～275において説明が記載されている非同期時間ベースの画像センサ(ATIS)である。
図2はATISの原理を示している。センサを構成するマトリクスの感知素子16は、電子検出回路18a、18bにそれぞれ関連付けられるフォトダイオードなどの2つの感光素子17a、17bを備える。センサ17aおよびその回路18aは、フォトダイオード17aによって受光される光強度があらかじめ定められた量Qだけ変化するときスパイクP0を生成する。強度におけるこの変化をマークするスパイクP0は、他のフォトダイオード17bに関連付けられる電子回路18bをトリガする。次いで、この回路18bは、所与の量の光(光子の数)がフォトダイオード17bによって受光されるとすぐに、第1のスパイクP1に続いて第2のスパイクP2を生成する。スパイクP1とP2との間の時間シフトδtは、スパイクP0の出現直後に感知素子16によって受光される光強度に反比例する。
ATISから発せられる非同期情報は、AER表現の形式であり、感知素子ごとに2つのスパイク列を含み、スパイクP0の第1の列はイベント、すなわち光強度が検出しきい値を超えて変化した瞬間を示し、第2の列は、対応する光レベル値を示す時間シフトδtをそれらの間に有するスパイクP1とP2で構成されている。
ATISのマトリクス内のアドレスpの感知素子からの信号シーケンスは、2つのタイプの情報、すなわち、スパイクP0の位置によって与えられ、イベントの瞬間tを与える時間情報と、スパイクP0に関連付けられるスパイクP1とP2との間の時間シフトδtによって与えられる光レベル情報とを含むイベントev(p,t)で構成されている。
マトリクスの異なる感知素子からの光レベル情報は、光センサ10によって見られているシーンの画像を形成するために組み合わされうる。一般に、画像はマトリクスの感知素子ごとに1つのピクセルpを有し、ピクセル値I(p)は、感知素子からの最新のものに関連付けられる光レベル値(δtに反比例)によって与えられる。しかしながら、何らかの空間フィルタリングが適用されている場合、画像の解像度はセンサ10の光感知素子の解像度とは異なる場合がある。
図3Aは、ATISの出力信号から作成されたそのようなグレースケール画像(椅子にかけられたコートを示す)を示している。
シーンが変わる(たとえば、椅子が回転する)と、センサはスパイクP0を生成し、これは、図3Bに示されるように、「イベント表現」においてドットとして見ることができる。光変調器を備えるそのような出力装置が使用される場合、ドットは、DMD30の対応するマイクロミラーを活性化させることによって表示されうる。ATISとDMDの空間解像度が同じではない場合、ドットを表示する前に、何らかのフィルタリングおよび/または外挿を適用することができる。
イベント表現は、時変ビットV(p)のマトリクス[V(p)]として生成することができ、各々は、画像のそれぞれのピクセルpに空間的に対応する。ピクセルpに対応するイベント表現の時変ビットV(p)は、ピクセルpに対応するセンサ10の感知素子から受信したイベントベースの信号シーケンスにイベントがある場合は第1の値、たとえば「1」を有し、それ以外の場合は第2の値、たとえば「0」を有する。
そのようなイベント表現は、網膜神経節細胞のコントラストへの応答によって触発された一連のイベントとして、ATISシリコン網膜のネイティブ出力に対応する。これらのニューロンは、光のオン/オフセット、または動くエッジに一時的に(および、低遅延で)応答する。同じことがATISの感知素子にも起こり、局所的な光の変化を検出すると、イベント(スパイク)で応答する。したがって、このイベントによってトリガされる刺激は、パラソル神経節細胞が優勢である網膜周辺における変性を標的とするための自然な候補である。
光センサ10が動かないとき、シーン内の固定されたオブジェクトは、新規の情報を運ばないので、イベント表現の中に表示されたコンテンツから消える。これはパラソル細胞に適切な刺激であるが、受容野に違いがある限り持続的な出力を有しているので、小細胞の反応の仕方に適応していない。これは、単一のイベントを有する(または、単一の活動電位を発する)のではなく、エッジが動いていない場合でも刺激が生成される必要があることを意味する。
小細胞に適した関連する励起を生成するために、シーンの中に見られるオブジェクトの輪郭を「輪郭表現」で表示するために出力装置30をさらに制御することができる。本明細書に開示される方法は、非同期イベントベースの光センサの出力からそのような輪郭表現を決定するために適している。
輪郭表現はまた、時変ビットE(p)のマトリクス[E(p)]として生成することができ、各々は、画像のそれぞれのピクセルpに空間的に対応する。画像のピクセルpに対応する、輪郭表現の時変ビットE(p)は、ピクセルpがシーン内で識別されたエッジピクセルのセットに属していると決定された場合は第1の値、たとえば「1」を有し、それ以外の場合は第2の値、たとえば「0」を有する。
図3Aおよび3Bと比較されるべき図3Cは、輪郭表現において表示されるドットとしてエッジピクセルを示している。シーン内に見ることができる固定エッジ(前景のマグカップ、背景の家具、壁のフレームなど)は、イベント表現ではなく、輪郭表現に現れる。一方、画像のコントラストが低い領域のイベント表現に含まれる多くのドットは、輪郭表現には存在しない。
出力装置30、より具体的にはそれに備えられる光変調器を制御するために、プロセッサ20は、刺激される必要がある網膜細胞のタイプに応じて、イベント表現、輪郭表現、またはその両方を出力し得る。
光センサ10の感知素子16から生成される信号シーケンスの処理は、イベント表現と輪郭表現の両方が表示されている場合、図4に示されているものであり得る。
たとえば、図2に示されるようなスパイクP0などのイベントev(p,t)を受け取ると(図4のステップ40)、ステップ41において、グレースケール画像の対応するピクセルpが選択される。グレースケール画像における選択されたピクセルの値I(p)は、イベントに含まれる光レベル値を使用して更新され(ステップ42)、2つのスパイクP1とP2との間の時間差δtとして符号化される。イベント表現内のピクセルの位置にドットを表示するために、ステップ43において、イベント表現のマトリクス内のそのピクセルに対応する時変ビットV(p)を1に設定する。
光変調器30が非同期的に駆動される場合、ステップ43においてV(p)=1であるピクセルpを直ちに表示することができる。光変調器30が周期的に入力ビットのフレームを受信するようにクロックされる場合、周期T中にいくつかのビットが1に設定されたマトリクス[V(p)]がプロセッサ20によってその周期Tの終わりに提供され(テスト44)、それによってイベント表現が表示される(ステップ45)。次いで、次の周期Tにおいて他のイベントを累積するために、ステップ46においてマトリクス[V(p)]がゼロにリセットされる。
輪郭表現を表示するための時間解像度は、一般に、イベント表現を表示するための時間解像度よりも粗くなる。そのような条件は、イベント表現が光変調器30に非同期で提供され、輪郭表現が何らかの周期性T'を含む場合に満たされる。
イベント表現が周期Tで提供される場合、イベント表現は周期T'>Tで提供される。たとえば、周期T'は、1～100ミリ秒の範囲、より具体的には10～100ミリ秒の範囲であり得、周期Tは、1マイクロ秒～10ミリ秒の範囲、より具体的には0.1～10ミリ秒の範囲であり得る。周期TおよびT'の正確な値は、光変調器30として使用されるハードウェアに応じて選択され得る。
ステップ46においてマトリクス[V(p)]をリセットした後、現在の周期T'が経過していない場合(テスト47)、プロセッサ20は、次のイベントev(p,t)を待つことに戻る。現在の周期T'が経過すると、図4におけるループ48～53に示されるように、輪郭処理が適用される。
そのループ48～53は、経過周期T'中にステップ41において選択されたピクセルpにわたって実行される。ステップ49における局所コントラストの評価のために、第1の、または次の選択されたピクセルpがステップ48において考慮される。
ステップ53において、様々なタイプの局所コントラスト測定値Cを使用することができる。典型的には、局所コントラスト測定値Cの評価のために、隣接するピクセルのそれぞれのグループが画像の選択されたピクセルごとに定義される。たとえば、ピクセルが正方形のアレイに配置されている場合、位置(x,y)の所与のピクセルpの隣接するピクセルのグループは、アレイ内の最も近い8つの近傍ピクセルで構成することができる。すると、ピクセルpの近傍は、ピクセル自体と、その隣接ピクセルのグループのピクセルとして定義される。近傍は、(x+α,y+β)の位置におけるピクセルで構成され、上式でα∈{-1,0,+1}およびβ∈{-1,0,+1}である。局所コントラスト測定値Cの例は、ピクセルの近傍における最大値Imaxと最小ピクセル値Iminの差の絶対値であり、C=|Imax-Imin|である。上記の値Cは、近傍における平均ピクセル値に対して正規化され得る。
局所コントラストを評価するために、たとえば画像強度の局所勾配の近似を計算することによって、他の様々な種類の式を使用することができる。画像信号処理の分野で知られているように、ソーベルカーネルは、たとえば、そのような勾配近似を計算するために使用することができる。
ステップ50において、選択されたピクセルpがエッジに属するか否かを決定するために、ステップ49において計算された局所コントラスト測定値がしきい値Thと比較される。しきい値Thの値は、表示されたエッジがどの程度コントラストが付けられているべきかに応じて調整され得る。
ステップ50においてしきい値Thを超える場合、選択されたピクセルpは、ステップ51においてエッジピクセルであるとしてマークされる(輪郭表現のビットE(p)が「1」に設定される)。それ以外の場合、ステップ52において非エッジピクセルとしてマークされる(ビットE(p)が「0」に設定される)。
局所コントラストがまだ評価されていない残りの選択されたピクセルがある限り(テスト53)、ループにおける次の反復は、ステップ48に戻ることによって実行される。選択されたすべてのピクセルが考慮および評価されると、周期T'に続くエッジピクセルのセットの更新が終了し、表示のためにプロセッサ20によって輪郭表現[E(p)]を光変調器30に提供することができる。(ステップ54)。
輪郭表現を表示するステップ54の後、マトリクス[E(p)]はリセットされないので、プロセッサ20は、シーン内のエッジに属すると決定されたピクセルをメモリに保持する。これらのピクセルは、それらの近傍においてイベントを生成するために輝度の変化が発生しない場合(ステップ51～52において更新なし)、輪郭表現の一部として後で再び表示される。そのようなピクセル位置において新しいイベントが発生した場合、ピクセルはステップ41において再び選択され、依然としてエッジに属しているかどうかを決定するために、その局所コントラストがステップ49において評価される。
図4に示される実施形態は、輪郭処理ループ48～53において評価される選択されたピクセルが、センサ10から受信されるイベントベースの信号シーケンスに含まれるイベントに応答してステップ41において選択されたピクセルのみからなる場合に対応する。
そのような場合、代替の実装形態は、たとえばステップ42の後に、局所コントラストCを評価するステップと、それらをしきい値Thと比較するステップと、イベント処理の一部としてピクセルpがエッジピクセル(E(p)=0または1)であるかどうかを決定するステップとを含む。
あるいは、周期T'ごとに輪郭処理48～53を実行するために追加のピクセルが選択され得る。選択したピクセルpのバイナリマトリクス[S(p)]に注目すると、ステップ41はビットS(p)を1に設定することになる。次いで、ループ48～53においてチェックされるピクセルは、S(p)=1のピクセルである。
一実施形態では、ステップ54において輪郭表現を表示した後、バイナリマトリクス[S(p)]は、表示されたばかりのエッジピクセルの値、すなわち[S(p)]=[E(p)]で次の周期T'に対して初期化される。この場合、輪郭処理ループ48～53において評価される選択されたピクセルは、ステップ41において選択されたピクセルと、ステップ54において表示された以前に決定されたエッジピクセルのセットのピクセルからなる。
別の変形によれば、バイナリマトリクス[S(p)]は、次の周期T'のステップ54の後にゼロにリセットされる。次の周期T'の終わりに、バイナリマトリクス[S(p)]は、その周期T'中にイベントが受信された(ステップ40)ピクセル位置にのみ1を有する。ステップ47の後にループ48～53を実行する前に、追加のピクセル、すなわち、ステップ41において選択されたピクセルに隣接するピクセルが選択される。たとえば、S(p)=1である位置(x,y)のピクセルpごとに、位置(x+α,y+β)のすべてのピクセルp'についてループ48～53の前にS(p')=1も取り、上式でα∈{-1,0,+1}およびβ∈{-1,0,+1}である。これにより、ピクセルpにおいて発生する輝度の変化が隣接ピクセルp'のエッジ/非エッジステータスを変更するかどうかをチェックすることが可能になる。
上述の方法は、典型的には、任意の適切なコンピュータ言語でプロセッサをプログラミングすることによって実装される。プロセッサ20には、図4に示されているようなステップの実行を制御するコード命令がロードされている。
上述の実施形態は、本明細書に開示された本発明の例示であり、添付の特許請求の範囲に定義された範囲から逸脱することなしに、様々な変更を行うことができることが理解される。
具体的には、非同期イベントベースの光センサの出力から輪郭を抽出する方法は、説明の目的で、上記で説明した視力回復の分野以外の用途がある。たとえば、本発明の方法は、低エネルギーおよび低データ/メモリ帯域幅要件を伴う環境における取得またはリアルタイム表現の分野での用途を有する。この方法を使用することによって、イベントベースのセンサは、環境における動きや急激な変化をキャプチャできるだけでなく、非常に低いエネルギー消費と非常に低いデータおよびメモリ帯域幅で、環境における顕著な機能やゆっくりとした変化をキャプチャすることもできる。潜在的に、センサおよび方法は森林保護、監督、および監視に使用することができ、急激な変化は、火、ならびに動物および人間の動きの検出であり、ゆっくりとした変化は、環境監督と監視における動物および人間、植生の検出とカウントであり、急激な変化は侵入の検出であり、ゆっくりとした変化は植生の成長、建物の劣化の検出、および群集内または車両のカメラにおける人数のカウントであり、急激な変化は、車両が動いている間の環境監視であり、ゆっくりとした変化は、車両の駐車中の危険の検出と環境監視である。
10 非同期視覚センサ
10 光センサ
15 取得光学系
16 感知素子
17a 感光素子
17a センサ
17a フォトダイオード
17b 感光素子
17b フォトダイオード
18a 電子検出回路
18b 電子検出回路
18b 電子回路
20 プロセッサ
30 出力装置
35 投影光学系
36 光源

Claims (10)

  1. 光センサによって生成される非同期信号を処理するための方法であって、前記光センサ(10)は感知素子のマトリクス(16)を有し、
    前記マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信するステップであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成される、ステップと、
    前記マトリクスの前記感知素子に空間的に対応するピクセルを含む画像を生成するステップと、
    前記画像の前記ピクセルの中からエッジピクセルのセットを繰り返し決定するステップと
    を含み、
    前記画像を生成するステップは、前記画像の前記ピクセルに対応する前記感知素子から受信された前記イベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて前記画像の各ピクセルを更新するステップを含み、
    エッジピクセルの前記セットを決定するステップは、
    前記画像のピクセルを選択するステップであって、前記選択されたピクセルは、前記受信されたイベントベースの信号シーケンスがエッジピクセルの前記セットの前の決定の後の少なくとも1つのイベントを含む感知素子に対応する前記画像のピクセルと、以前に決定されたエッジピクセルのセットのピクセルとを含む、ステップと、
    前記画像の前記選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
    前記評価された局所コントラスト測定値に基づいて、前記選択されたピクセルがエッジピクセルの前記セットに属するかどうかを決定するステップと
    を含む、方法。
  2. 前記選択されたピクセルは、前記受信されたイベントベースの信号シーケンスがエッジピクセルの前記セットの前の決定の後に少なくとも1つのイベントを含む感知素子に対応する前記画像の各ピクセルを含む、請求項1に記載の方法。
  3. 前記選択されたピクセルは、以前に決定されたエッジピクセルのセットの各ピクセルをさらに含む、請求項2に記載の方法。
  4. 前記選択されたピクセルは、前記感知素子から受信された前記それぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択された前記ピクセルのみからなる、請求項2に記載の方法。
  5. エッジピクセルの前記セットは、1から100ミリ秒の範囲、好ましくは10から100ミリ秒の範囲の周期で周期的に決定される、請求項1から4のいずれか一項に記載の方法。
  6. 輪郭表現を時変ビットのマトリクス([E(p)])として出力するステップをさらに含み、
    前記輪郭表現の前記時変ビット(E(p))の各々は、前記画像のそれぞれのピクセルに空間的に対応し、前記画像の前記それぞれのピクセルがエッジピクセルの前記セットに属する場合は第1の値を有し、前記画像の前記それぞれのピクセルがエッジピクセルの前記セットに属していない場合は第2の値を有する、請求項1から5のいずれか一項に記載の方法。
  7. 光変調器(30)を制御するために前記輪郭表現が使用される、請求項6に記載の方法。
  8. 前記輪郭表現は、網膜細胞を刺激するために網膜インプラントに伝達される、請求項6に記載の方法。
  9. 感知素子(16)のマトリクスを有する光センサ(10)に接続することと、前記マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信することであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成されることと、を行うためのインターフェースと、
    前記マトリクスの前記感知素子に空間的に対応するピクセルを含む画像を生成することと、前記画像の前記ピクセルの中からエッジピクセルのセットを繰り返し決定することとを行うためのプロセッサ(20)と
    を備える、信号処理ユニットであって、
    前記プロセッサ(20)は、前記画像の前記ピクセルに対応する前記感知素子から受信された前記イベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて前記画像の各ピクセルのそれぞれのピクセル値を更新するように構成され、
    前記プロセッサは、
    前記画像のピクセルを選択することであって、前記選択されたピクセルは、前記受信されたイベントベースの信号シーケンスがエッジピクセルの前記セットの前の決定の後の少なくとも1つのイベントを含む感知素子に対応する前記画像のピクセルと、以前に決定されたエッジピクセルのセットのピクセルとを含む、選択することと、
    前記画像の前記選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価することと、
    前記評価された局所コントラスト測定値に基づいて、前記選択されたピクセルがエッジピクセルの前記セットに属するかどうかを決定することと
    によって、エッジピクセルの前記セットを決定するように構成される、信号処理ユニット。
  10. 記憶された命令を含むプログラムであって、コンピュータによる前記命令の実行が、
    マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信するステップであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成される、ステップと、
    前記マトリクスの前記感知素子に空間的に対応するピクセルを含む画像を生成するステップと、
    前記画像の前記ピクセルの中からエッジピクセルのセットを繰り返し決定するステップと
    を制御し、
    前記画像を生成するステップは、前記画像の前記ピクセルに対応する前記感知素子から受信された前記イベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて前記画像の各ピクセルを更新するステップを含み、
    エッジピクセルの前記セットを決定するステップは、
    前記画像のピクセルを選択するステップであって、前記選択されたピクセルは、前記受信されたイベントベースの信号シーケンスがエッジピクセルの前記セットの前の決定の後の少なくとも1つのイベントを含む感知素子に対応する前記画像のピクセルと、以前に決定されたエッジピクセルのセットのピクセルとを含む、ステップと、
    前記画像の前記選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
    前記評価された局所コントラスト測定値に基づいて、前記選択されたピクセルがエッジピクセルの前記セットに属するかどうかを決定するステップと
    を含む、プログラム。
JP2020538593A 2018-01-11 2019-01-09 イベントベースの光センサによって生成された非同期信号を処理するための方法およびデバイス Active JP7357622B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305020.2 2018-01-11
EP18305020 2018-01-11
PCT/EP2019/050470 WO2019137973A1 (en) 2018-01-11 2019-01-09 Method and device for processing asynchronous signals generated by an event-based light sensor

Publications (2)

Publication Number Publication Date
JP2021510333A JP2021510333A (ja) 2021-04-22
JP7357622B2 true JP7357622B2 (ja) 2023-10-06

Family

ID=62046802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538593A Active JP7357622B2 (ja) 2018-01-11 2019-01-09 イベントベースの光センサによって生成された非同期信号を処理するための方法およびデバイス

Country Status (7)

Country Link
US (1) US11875545B2 (ja)
EP (1) EP3738075B1 (ja)
JP (1) JP7357622B2 (ja)
KR (1) KR20200106935A (ja)
CN (1) CN111771210B (ja)
ES (1) ES2954941T3 (ja)
WO (1) WO2019137973A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744355B (zh) * 2020-05-29 2023-09-26 杭州海康威视数字技术股份有限公司 一种脉冲信号的处理方法、装置及设备
CN112714301B (zh) * 2020-12-21 2023-07-21 北京灵汐科技有限公司 双模态图像信号处理器和图像传感器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014516665A (ja) 2011-05-12 2014-07-17 ユニヴェルシテ・ピエール・エ・マリ・キュリ・（パリ・６） 視覚を補助する装置を制御するための方法および装置
JP2015028780A (ja) 2013-07-29 2015-02-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベント情報を含む映像を分析する装置及び方法並びにユーザ入力処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9278159B2 (en) 2005-07-22 2016-03-08 The Board Of Trustees Of The Leland Stanford Junior University Light-activated cation channel and uses thereof
EP1891976A1 (en) 2006-08-23 2008-02-27 Novartis Forschungsstiftung, Zweigniederlassung Friedrich Miescher Institute for Biomedical Research Use of light sensitive genes
JP2011516091A (ja) 2008-04-18 2011-05-26 ノバルティス・フォルシュングスシュティフトゥング・ツヴァイクニーダーラッスング・フリードリッヒ・ミーシェー・インスティトゥート・フォー・バイオメディカル・リサーチ 失明の治療のための新規な治療用ツールおよび方法
WO2013071231A1 (en) 2011-11-12 2013-05-16 Massachusetts Institute Of Technology Channelrhodopsins for optical control of cells
FR2985065B1 (fr) * 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
EP2677500B1 (en) * 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
FR3019317B1 (fr) * 2014-03-26 2016-05-27 Univ Pierre Et Marie Curie (Paris 6) Dispositif de visualisation d'une sequence d'images et systeme de visualisation d'une scene
WO2015192062A1 (en) * 2014-06-12 2015-12-17 The University Of North Carolina At Chapel Hill Camera sensor with event token based image capture and reconstruction
KR102307055B1 (ko) 2015-04-28 2021-10-01 삼성전자주식회사 이벤트 기반 센서의 출력에 기초하여 정적 패턴을 추출하는 방법 및 장치
EP3472657A1 (en) 2016-06-17 2019-04-24 Sorbonne Université Device for illuminating an object with a controlled light intensity and associated method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014516665A (ja) 2011-05-12 2014-07-17 ユニヴェルシテ・ピエール・エ・マリ・キュリ・（パリ・６） 視覚を補助する装置を制御するための方法および装置
JP2015028780A (ja) 2013-07-29 2015-02-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベント情報を含む映像を分析する装置及び方法並びにユーザ入力処理装置

Also Published As

Publication number Publication date
US20210383146A1 (en) 2021-12-09
CN111771210B (zh) 2024-04-26
EP3738075A1 (en) 2020-11-18
CN111771210A (zh) 2020-10-13
WO2019137973A1 (en) 2019-07-18
US11875545B2 (en) 2024-01-16
EP3738075B1 (en) 2023-08-16
KR20200106935A (ko) 2020-09-15
JP2021510333A (ja) 2021-04-22
ES2954941T3 (es) 2023-11-27

Similar Documents

Publication Publication Date Title
JP6153994B2 (ja) 人工網膜
AU2012252200B2 (en) Method and device for controlling a device for aiding vision
US20100152849A1 (en) Retinal prosthetic devices
EP2611401A1 (en) Retina prosthesis
JP7357622B2 (ja) イベントベースの光センサによって生成された非同期信号を処理するための方法およびデバイス
JP7163329B2 (ja) 対物レンズ、カメラ、及びそのような対物レンズを備える光遺伝学に適応したシステム
Palanker et al. Restoring sight with retinal prostheses
Galluppi et al. A stimulation platform for optogenetic and bionic vision restoration
JP7453242B2 (ja) フィルタ処理を使用して光遺伝デバイスを制御するための方法および関連するデバイス
Soltan et al. Wearable glasses for retinal pigmentiosa based on optogenetics
CN113613715A (zh) 使用用于光源的辐射功率的命令法则控制光遗传学设备的方法以及相关联的设备
US20240058607A1 (en) Photovoltaic Retinal Prosthesis with Optically Configurable Confinement of Electric Field
Shreya et al. Encoding the Photoreceptors of the Human Eye
Galluppi et al. Live Demonstration: A Wearable Device for Optogenetic Vision Restoration

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230926

R150 Certificate of patent or registration of utility model

Ref document number: 7357622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150