TWI816002B - 用於目標偵測及追蹤之神經形態視覺與框速率成像 - Google Patents
用於目標偵測及追蹤之神經形態視覺與框速率成像 Download PDFInfo
- Publication number
- TWI816002B TWI816002B TW108145667A TW108145667A TWI816002B TW I816002 B TWI816002 B TW I816002B TW 108145667 A TW108145667 A TW 108145667A TW 108145667 A TW108145667 A TW 108145667A TW I816002 B TWI816002 B TW I816002B
- Authority
- TW
- Taiwan
- Prior art keywords
- event data
- training
- trained
- intensity
- acquired
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 title description 21
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000002123 temporal effect Effects 0.000 claims abstract description 34
- 230000001360 synchronised effect Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 87
- 238000012545 processing Methods 0.000 claims description 43
- 238000010801 machine learning Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 6
- 238000002329 infrared spectrum Methods 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 19
- 239000000463 material Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Neurology (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Eye Examination Apparatus (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
提供了一種成像系統及一種成像方法。該成像系統包括：一單一光學器件模組，該單一光學器件模組經組態以用於聚焦自一動態場景反射或發出之在紅外光譜中的光；及一同步焦平面陣列，該同步焦平面陣列用於接收該聚焦光且自該所接收之聚焦光獲取具有一高空間解析度及一低時間解析度的紅外影像。該成像系統進一步包括：一異步神經形態視覺系統，該異步神經形態視覺系統經組態以用於接收該聚焦光且獲取具有一高時間解析度之神經形態事件資料；及一讀出積體電路(ROIC)，該ROIC經組態以讀出該等紅外影像及該事件資料兩者。
Description
本揭露係關於神經形態視覺與框速率成像，且更具體而言係關於使用神經形態視覺與框速率成像之組合來進行目標偵測及追蹤。
框速率成像系統採用同步(有框架)感測器以按預定框速率感測及輸出強度影像。強度影像具有高空間解析度及消耗大量功率、記憶體及頻寬之低時間解析度。時間解析度之輕微增大可致使記憶體及頻寬消耗呈指數增加。
神經形態視覺採用異步(即，無框架)感測器來進行被動感測，該被動感測輸出由目標之移動在發生之時導致之局部像素級變化。神經形態視覺提供低功率及低頻寬解決方案以用於回應於感測到移動而以非常高之時間解析度輸出少量資料。儘管空間解析度能力在未來可增大，但目前，神經形態視覺資料具有低空間解析度。儘管少量資料輸出提供關於目標之有限資訊，但神經形態視覺提供偵測及追蹤移動之優點。
然而，神經形態視覺之發展已限於受約束之實驗室實驗。此等實驗往往關於部署條件做出假設，該等部署條件諸如(1)最少場景雜亂，(2)待識別及追蹤之單一緩慢移動的物體，(3)窄視野，及/或(4)感興趣物體之緊密靠近或已知位置。然而，在諸如情報、監視及偵察(ISR)之應用的真實世界情形中，需要自具有可能顯著之背景雜亂(諸如由於雲、地形及偽裝引起)的高海拔追蹤多個高速目標。
儘管習知方法及系統在其預期目的方面大體上視為令人滿意的，但此項技術仍然需要可將框速率成像系統與用於使用受約束之資源進行ISR之神經形態視覺系統組合的能夠在真實世界條件下及自高海拔進行ISR之系統及方法。
下文描述之所示實施例之目的及優點將在以下描述中進行闡述且自以下描述顯而易見。所示實施例之額外優點將藉由書面說明書及其申請專利範圍及附圖中特別指出之裝置、系統及方法實現及獲得。
為了實現此等及其他優點且根據所示實施例之目的，根據本揭露之一個態樣，提供了一種成像系統。該成像系統包括：一單一光學器件模組，該單一光學器件模組經組態以用於聚焦自一動態場景反射或發出之在紅外光譜中的光；及一同步焦平面陣列，該同步焦平面陣列用於接收該聚焦光且自該所接收之聚焦光獲取具有一高空間解析度及一低時間解析度之紅外影像。該成像系統進一步包括一異步神經形態視覺系統，該異步神經形態視覺系統經組態以用於接收該聚焦光且獲取具有一高時間解析度之神經形態事件資料。組合之紅外及神經形態系統具有一讀出積體電路(ROIC)，該ROIC經組態以讀出該等紅外影像及該事件資料兩者。
根據本揭露之另一態樣，提供了一種用於成像之方法。該方法包括：聚焦自一動態場景反射或發出之在紅外光譜中的光；及自該聚焦光同步地獲取具有來自所接收之聚焦光之一高空間解析度及一低時間解析度的紅外影像。該方法進一步包括：自該聚焦光異步地獲取具有一高時間解析度之事件資料；及讀出該等紅外影像及該事件資料兩者。
根據本揭露之另一態樣，提供了一種用於對一目標成像之成像系統。該成像系統包括一同步焦平面陣列，該同步焦平面陣列用於接收聚焦光且同步地獲取強度影像，其中該等強度影像具有來自該所接收之聚焦光之一高空間解析度及一低時間解析度。該成像系統進一步包括一異步神經形態視覺系統，該異步神經形態視覺系統經組態以用於接收該聚焦光且異步地獲取事件資料，該事件資料具有一高時間解析度。提供了一種ROIC，其中該ROIC經組態以讀出該等強度影像及該事件資料兩者，其中該焦平面陣列及該ROIC最初經組態以用於以一低框速率獲取及讀出該等強度影像。該成像系統進一步包括經組態以用於異步地監測該事件資料以用於偵測一事件的至少一個處理模組。回應於偵測到該事件，該處理模組經進一步組態以用於控制該焦平面陣列及該ROIC中之至少一者以將獲取或讀出該等強度影像之該框速率自一第一框速率增大為一第二框速率。
根據本揭露之又一態樣，提供了一種用於處理使用一模板獲取之一動態場景之強度影像及異步地獲取之事件資料的方法，其中該事件資料係回應於自一場景反射或發出之光而使用一神經形態視覺系統獲取的，且該已獲取事件資料具有一高時間解析度。該方法包括接收一模板，其中該模板由機器學習訓練判定。此外，該模板包括複數個項，每一項包括與一或多個已訓練強度影像相關之已訓練事件資料。該相關之已訓練事件及一或多個已訓練強度影像係回應於自同一場景反射或發出之光而同時獲取的，其中該等已訓練強度影像與一或多個各別的可能的感興趣目標相關聯。該等已訓練強度影像係自一FPA同步地獲取的且具有一高空間解析度及一低時間解析度。該已訓練事件資料係自該神經形態視覺系統異步地獲取的且具有一高時間解析度。該方法包括：接收包括查詢事件資料或查詢強度影像資料之一查詢；判定包括已訓練事件資料或一已訓練強度影像之該模板中的與該查詢最相似之一項；及使用該項之該相關之已訓練強度影像或已訓練事件資料來識別、偵測或追蹤一目標。
現在參考附圖更全面地描述所示實施例，在附圖中相似的附圖標記標識類似的結構/功能特徵。所示實施例不以任何方式限於所示內容，因為下文描述之所示實施例僅為例示性的，該等實施例可以各種形式體現，如熟習此項技術者所瞭解。因此，應理解本文中揭露之任何結構細節及功能細節不應解釋為限制性的，而是僅作為申請專利範圍之基礎及作為教示熟習此項技術者以不同方式採用所討論之實施例的代表。此外，本文中使用之術語及片語不意欲為限制性的，而是意欲提供所示實施例之可理解的描述。
除非另外定義，否則本文中使用之所有技術及科學術語都具有與一般熟習本揭露所屬之技術者通常所理解之相同的含義。儘管與本文中描述之方法及材料類似或等效的任何方法及材料亦可用於實踐或測試所示實施例，但現在描述例示性方法及材料。
必須指出，如本文中及所附申請專利範圍中所使用，除非上下文另外清楚地指示，否則單數形式「一個」、「一種」及「該」包括複數指稱對象。因此，例如，對「該信號」之提及包括對熟習此項技術者已知之一或多個信號及其等效物的提及等等。
應瞭解，下文討論之所示實施例較佳地為駐存在電腦可使用之媒體上的軟體演算法、程式或程式碼，電腦可使用之媒體具有使得能夠在具有電腦處理器之機器上執行的控制邏輯。機器通常包括經組態以自電腦演算法或程式之執行提供輸出的記憶體儲存器。
如本文中所使用，術語「軟體」意指與可在主電腦之處理器中之任何程式碼或程式同步，而不管是在硬體、韌體中實施還是實施為可用於磁碟、記憶體儲存器上或自遠端機器下載之軟體電腦產品。本文中描述之實施例包括此軟體以實施上文描述之等式、關係及演算法。熟習此項技術者將基於上述實施例而瞭解所示實施例之其他特徵及優點。因此，除非所附申請專利範圍指示，否則所示實施例不受特別示出及描述之內容限制。
現在描述上轉向附圖，其中類似的附圖標記在所有幾個視圖中表示類似的元件，圖1示出了可實施下文示出之實施例的例示性視覺系統100。視覺系統100可安裝至靜止或移動之平台10。可由視覺系統100觀察到之場景的物體20可為靜止的或移動的。由於平台10或物體20之移動，場景可為動態的。在一實例中，視覺系統100平台10可為有人或無人空基、天基、陸基或海基飛行器。
視覺系統100使用基於事件之視覺，即使當平台10及/或目標20為靜止或移動之物體，包括快速移動之物體時，該基於事件之視覺偵測事件且提供以高時間解析度偵測及追蹤物體20(亦稱為目標)的能力。視覺系統100使用由焦平面陣列感測之同步強度影像，該焦平面陣列可基於事件偵測而經控制及/或與機器學習組合以增強目標偵測、目標追蹤及/或場景重構。此等增強使得視覺系統100能夠自遠距離，諸如自高海拔偵測及追蹤目標20，包括當目標20經部分遮蔽時。藉由將基於事件之視覺與強度影像之同步獲取組合，視覺系統100經組態以最小化功率消耗且可適應低資料處理及資料傳送要求。
參考圖2，視覺系統100包括光學器件模組102、獲取及讀出塊104、處理塊106及融合演算法模組108。來自融合演算法模組108之輸出，諸如目標偵測資料、目標追蹤資料及/或場景重構資料可提供給分析員110，分析員可將資訊應用於決策模組112以用於做出決策，例如戰術決策。
光學器件模組102包括將自動態場景反射或發出之光聚焦在獲取及讀出塊104之一或多個部件上的透鏡及/或光學器件。獲取及讀出塊104包括焦平面陣列(FPA)及讀出積體電路(ROIC)120與動態視覺系統(DVS)及ROIC 130。
FPA/ROIC 120經組態以用於基於自光學器件模組102接收之聚焦光之感測光而同步地獲取強度影像且讀出強度影像。由FPA/ROIC進行之影像獲取及讀出相對於DVS/ROIC 130具有高空間解析度但具有低時間解析度。FPA/ROIC 120可包括用於在不同光譜中獲取影像之FPA，該等光譜包括例如而不限於可見光譜、長波紅外(LWIR)光譜、中波紅外(MWIR)光譜、近紅外(NIR)及短波紅外(SWIR)光譜。FPA/ROIC 120進一步包括用於讀出由FPA感測之信號的ROIC。
FPA/ROIC 120為每訊框捕獲相對大量資料之基於訊框之成像系統。當時間解析度(框速率)或空間解析度增大時，所生成之資料量可呈指數增加。大量資料消耗大量記憶體、功率及頻寬。來自框間之資料中之大部分為冗餘的。習知FPA/ROIC之空間及時間解析度在具有有限之記憶體、功率及/或資料頻寬能力的應用中可受限制。
DVS/ROIC 130經組態以用於基於自光學器件模組102接收之聚焦光之感測光而異步地獲取事件資料及讀出事件資料且讀出事件資料。異步資料為當經發送或接收時不同步之資料。在此類型之傳輸中，在電腦與外部系統之間或反之亦然以異步方式發送信號。此通常指以間歇性間隔而不是以穩定流傳輸之資料。DVS/ROIC 130包括具有FPA之事件驅動感測器，諸如用於實現神經形態視覺之動態視覺感測器或基於異步時間之影像感測器(ATIS)。
DVS經組態以具有足以在一定距離處對物體(例如，目標)之細節成像的解析度。來自紅外相機系統(例如，SWIR、MWIR、LWIR等)之光學器件的用途為用以使物體之視圖靠近DVS之『成像平面』，從而允許其對物體成像。例如，相機可具有動態範圍為120 dB之346x260像素之解析度(VGA解析度之一半)，12M事件/秒之頻寬，18.5x18.5 um之像素大小，及可重組態快門(全域的或滾動的)。此將在另一光學器件系統與DVS串列地使用以使物體靠近DVS之成像平面的情況下允許DVS很好地對物體成像。DVS/ROIC 130進一步包括經組態以用於自感測器讀出事件資料且向融合演算法模組108提供事件資料之ROIC。
處理塊106包括各自應用專用神經網路之圖形處理單元(GPU)122及場可程式化閘陣列(FPGA)或神經形態處理單元(NPU)132。神經網路可包括卷積神經網路CNN及/或深度神經網路DNN。GPU 122使用第一神經網路來處理自FPA/ROIC 120接收之強度影像。由GPU 122執行之處理為基於訊框的。FPGA或NPU 132使用第二神經網路來處理自DVS/ROIC 130接收之事件資料。由NPU 132執行之處理為基於事件的。將來自GPU 122及FPGA或NPU 132之輸出提供給融合演算法模組108，如箭頭113所示，諸如以用於機器學習訓練及應用已訓練之機器學習程序。
GPU 122及FPGA或NPU 132執行ISR演算法，例如而不限於執行目標偵測(TD)、目標追蹤(TT)及場景重構之演算法。來自GPU 122及FPGA或NPU 132之結果輸出為融合輸出115。融合輸出可識別所偵測之目標且提供關於追蹤目標之資訊。針對所偵測之導彈之高級融合輸出15的非限制性實例是”導彈，向北行進，速度10 m/s”或‘民用車輛，白色Subaru™ Forester™，向北行進，速度5 m/s”。此等高級融合輸出115提供分析員可用來快速做出決策或推薦之可行動資料。
在SWIR、LWIR、MWIR、NIR光譜中之任一者中操作的相機可經改裝以作為FPA/ROIC 120操作。在實施例中，儘管不需要，但DVS/ROIC 130可利用FPA之光電二極體陣列(PDA)中之感測器使用的材料之先驗知識進行設計。此可結合PDA來最佳化相機效能。在基於InGaA之PDA的情況下，PDA之基板可變薄以便將其吸收波長向下延伸至EM光譜之可見光部分，因此包括SWIR、NIR及可見光波長。對PDA之此等修改將不需要修改DVS/ROIC 130。然而，為了支持較長之波長(即，MWIR到LWIR)，DVS/ROIC 130將需要經組態以對此等特定波長進行最佳操作。
參考圖3，示出了視覺系統100，其中獲取及讀出塊104經組態為單一模組，該模組包括與一或多個事件驅動感測器(諸如動態視覺感測器或基於異步時間之影像感測器(ATIS))整合之用於強度影像獲取之感測器(諸如FPA)。FPA可經組態以感測特定光譜(諸如可見光、SWIR、NIR、MWIR或LWIR)中之光。獲取及讀出塊104包括經組態以讀出同步強度影像及異步之基於事件之資料的一個ROIC。例如美國專利號US9641781及US9698182揭露了FPA與事件驅動感測器之整合及提供單一ROIC以用於讀出同步強度影像及異步之基於事件之資料兩者的單一ROIC之實例，其主題整體併入本文中。
處理塊106使用神經網路(NN)，諸如CNN及/或DNN來接收及處理由獲取及讀出塊104輸出之同步整合影像及異步事件資料兩者。神經網路通常由具有若干分層之互連層之加權濾波器組成。神經網路接受來自讀出塊104之同步影像及異步事件資料且輸出該輸入資料的新學習之表示，稱為特徵圖。特徵圖中之每一項等效於NN層中之一個神經元。每一層建在前一層之特徵提取上。此等分層特徵提取器之輸出經饋送至完全連接之NN，該NN使用來自讀出塊104之同步影像及異步事件資料執行分類任務。
融合演算法模組108接收來自GPU 122及FPGA或NPU 132(圖2中)或處理塊106(在圖3中示出為整合塊)之輸出。資料可用於如下文進一步描述而訓練一或多個模型。資料可進一步用作模型之輸入，諸如用於目標偵測、目標追蹤或場景重構。
由於目標偵測、目標追蹤或場景重構藉由機器學習增強，因此可在不使用強度影像或以相對慢之框速率獲得強度影像之情況下自少量事件資料推斷大量知識，其中較慢之框速率減少記憶體、功率及/或資料頻寬之消耗。
在圖2及圖3兩者所示之實施例中，來自同一源之光同時入射在獲取及讀出模組104上以用於獲取及讀出強度影像及事件資料兩者。在圖2所示之實施例中，來自同一源之光同時入射在FPA/ROIC 120及DVS/ROIC 130兩者上。在實施例中，來自同一源之光藉由一個光學器件模組102同時聚焦在FPA/ROIC 120及DVS/ROIC 130兩者上。在圖3所示之實施例中，入射在獲取及讀出塊104上之光經同時處理以用於獲取強度影像及事件資料兩者。在實施例中，來自同一源之光藉由一個光學器件模組102聚焦在獲取及讀出塊104上以用於同時獲取強度影像及事件資料。
圖4、圖5及圖7-10示出了例示性及非限制性流程圖。在轉向圖4、圖5及圖7-10之描述之前，注意，圖4、圖5及圖7-10中之流程圖示出了按特定順序執行操作步驟之實例，如連接區塊之線所指示，但該圖中所示之各個步驟可按不同的順序，或不同的組合或子組合執行。應瞭解，在一些實施例中，下文描述之步驟中之一些可組合為單一步驟。在一些實施例中，可包括一或多個額外步驟。在一些實施例中，可省略步驟中之一或多者。
參考圖4，流程圖400示出了根據某些所示實施例之用於成像之方法。該方法可由視覺系統，諸如圖1-3所示之視覺系統100執行。操作402包括聚焦自動態場景反射或發出之在短波紅外(SWIR)光譜中的光。操作404包括自聚焦光獲取具有來自所接收之聚焦光之高空間解析度及低時間解析度的SWIR影像。操作406包括自聚焦光獲取具有高時間解析度之事件資料。操作408包括讀出SWIR影像及事件資料兩者。流程圖400中所示之方法可視情況進一步包括操作410-412。操作410包括在事件資料中偵測事件。操作412可包括根據對事件之偵測來處理SWIR影像及事件資料，諸如以用於執行諸如目標偵測、目標追蹤、場景重構中之任一者之操作，執行用於生成模型之訓練，該模型可用於執行諸如目標偵測、目標追蹤、場景重構等中之任一者之操作。
參考圖5，流程圖500示出了根據某些所示實施例之用於對目標成像之方法。該方法可由視覺系統，諸如圖1-3所示之視覺系統100執行。操作502包括監測事件資料以用於偵測事件。操作504包括回應於偵測到事件，控制焦平面陣列及ROIC中之至少一者以增大獲取或讀出強度影像之框速率。在一或多個實施例中，FPA在短波紅外(SWIR)光譜中操作。在一或多個實施例中，FPA在NIR、MWIR、LWIR或可見光譜中操作。用於控制強度影像獲取之框速率的控制信號在圖2及圖3中表示為箭頭111。在圖2中，FPGA或NPU 132執行事件偵測且向FPA/ROIC 120發送控制信號，如箭頭111所表示。在圖3中，處理塊106執行事件偵測且向獲取及讀出塊104發送控制信號，如箭頭111所表示。
流程圖500中所示之方法可視情況進一步包括操作501、506及508。操作501包括藉由光學器件模組(諸如圖2及圖3所示之光學器件模組102)聚焦自動態場景反射或發出之光。該光學器件模組可為單一光學器件模組。
操作506可包括回應於不再追蹤到與所偵測之事件相關聯的目標，將框速率減小為第三框速率。根據本揭露，操作508可包括處理強度影像及事件資料，諸如以用於執行諸如目標偵測、目標追蹤、場景重構中之任一者之操作，執行用於生成模型之訓練，該模型可用於執行諸如目標偵測、目標追蹤、場景重構等中之任一者之操作。
圖6示出了由FPA(諸如FPA/ROIC 120或獲取及讀出塊104中包括之FPA)生成之強度影像之訊框600的圖。訊框600包括根據箭頭111表示之控制信號以緩慢框速率獲取之第一訊框602及以快速框速率獲取之第二訊框604。當獲取第一訊框602時，監測由DVS/ROIC 130或獲取及讀出塊104輸出之事件資料以在以較快速率獲取或讀出強度影像以作為第二訊框604之時間606偵測到事件。當不再追蹤到與所偵測之事件相關聯的目標時，以較慢之框速率獲取或讀出強度影像以作為第一訊框602。在一或多個實施例中，將框速率減小為與獲取第一訊框602相同之框速率。在一或多個實施例中，將框速率減小為比用於獲取第一訊框602之框速率更慢或更快，但比用於獲取第二訊框604之框速率更慢的不同框速率。
分別參考圖7A及圖7B，示出了處於離線訓練階段及在線應用階段之融合演算法模組108。參考圖7A，融合演算法模組108接收訓練資料，執行訓練演算法，且產生已訓練資料，該已訓練資料可為模型及/或模板。訓練資料為獲取之強度影像及事件資料。已訓練資料可包括經組態以用於執行場景重構之模型及/或經組態以用於目標識別、偵測及/或追蹤之模板。
參考圖7B，融合演算法模組108接收查詢資料且使用已訓練資料來生成輸出。在已訓練資料包括經組態以用於執行場景建構之重構模型的一或多個實施例中，查詢可為具有界定窗之獲取時間的兩個連續之強度影像，且輸出可為藉由應用重構模型而自兩個連續之強度影像重構之新的強度影像，該新的強度影像具有在窗中之獲取時間。在Scheerlinck, C.、Barnes, N.及Mahoney, R.，Continuous-time intensity estimation using event cameras ，
Asian Conference on Computer Vision(308-324頁)，Springer, Cham(2018年12月)中可找到不同應用中之重構之實例方法。
在已訓練資料包括模板之一或多個實施例中，查詢可為影像查詢或已獲取事件資料之片段查詢。輸出可為與模板中之經判定為與查詢匹配之項相關的已訓練強度影像或已訓練事件資料。當查詢為影像查詢時，判定具有已訓練影像資料之模板中的與影像查詢匹配(基於匹配臨限值)之項。融合演算法模組108輸出判定之項的已訓練事件資料。當查詢為已獲取事件資料之片段查詢時，判定具有已訓練事件資料之模板中的與已獲取事件資料之片段查詢匹配(基於匹配臨限值)之項。融合演算法模組108輸出判定之項的已訓練強度影像。
參考圖8，流程圖800示出了根據某些所示實施例之用於使用已獲取事件資料來執行強度影像之場景重構的方法，其中強度影像及事件資料係從自同一場景反射及/或發出之聚焦光同時獲取的。強度影像係自FPA獲取的且事件資料係自神經形態視覺系統獲取的。強度影像具有高空間解析度及低時間解析度，而事件資料具有高時間解析度。該方法可由融合演算法模組，諸如圖2及圖3所示之融合演算法模組108執行。操作802包括處理已獲取強度影像以用於獲得具有界定窗之獲取時間的兩個連續之強度影像，及在窗中包括之對應於所偵測之事件之時間獲取的事件資料。操作804包括藉由應用機器學習來生成具有包括在窗中之理論獲取時間之新的強度影像。操作806包括將新的強度影像插入在兩個連續的影像之間。在操作808處，判定針對兩個連續之強度影像的場景重構是否完成。該判定可基於執行之迭代的次數、新的強度影像與不同影像(諸如在前一迭代中生成之新的強度影像或兩個連續之強度影像中之一者)之間的獲取時間差，或新的強度影像之參數。
參考圖9，流程圖900示出了根據某些所示實施例之用於使用訓練強度影像及訓練事件資料來訓練用於執行場景重構之模型的方法，其中訓練強度影像及訓練事件資料係從自同一源接收之聚焦光同時獲取的。訓練強度影像係自FPA獲取的且訓練事件資料係自神經形態視覺系統獲取的。訓練強度影像具有高空間解析度及低時間解析度，而訓練事件資料具有低空間解析度及高時間解析度。該方法可由融合演算法模組，諸如圖2及圖3所示之融合演算法模組108執行。
操作902包括接收與已知目標相關聯之訓練強度影像及訓練事件資料。操作904包括估計具有包括在訓練窗中之理論訓練獲取時間之新的訓練強度影像，該訓練窗在訓練強度影像中之兩個連續之訓練強度影像的獲取時間之間。操作906包括將估計之新的訓練強度影像與在理論訓練獲取時間獲取之實際影像進行比較。操作908包括根據比較之結果來調整用於機器學習之至少一個參數。
參考圖10，流程圖1000示出了根據某些所示實施例之使用模板及已獲取事件資料來偵測及/或追蹤目標之方法，其中事件資料係回應於自場景反射或發出之光而使用神經形態視覺系統，諸如圖2及圖3所示之視覺系統100獲取的。操作1002包括接收模板。包括複數個項之該模板由機器學習訓練判定。每一項包括與一或多個已訓練強度影像相關之已訓練事件資料。相關之已訓練事件及一或多個已訓練強度影像係回應於自同一場景反射或發出之光而同時獲取的。已訓練強度影像與一或多個各別的可能的感興趣目標相關聯。已訓練強度影像係自FPA獲取的且具有高空間解析度及低時間解析度，且已訓練事件資料係自神經形態視覺系統獲取的且具有低空間解析度及高時間解析度。操作1004包括接收包括查詢事件資料或查詢強度影像資料之查詢。操作1006包括判定包括已訓練事件資料或已訓練強度影像之模板中的與查詢最相似之項。操作1008包括使用項之相關的已訓練強度影像或已訓練事件資料來識別、偵測或追蹤目標。
根據一或多個實施例，查詢包括查詢強度影像，且判定之事件包括與查詢強度影像最相似之已訓練強度影像，且判定項之相關的已訓練事件資料。方法可進一步包括在操作1010處繼續接收已獲取事件資料。操作1008可包括判定已獲取事件資料與相關之已訓練事件資料的相似度。相似度判定可用於判定是否偵測到新目標或是否再次偵測到先前所偵測之目標，其可用於追蹤目標及偵測新目標。
根據一或多個實施例，查詢包括已獲取事件資料之片段，判定之事件包括與已獲取事件資料之查詢之片段最相似的已訓練事件資料，且判定相關之已訓練強度影像。在操作1008處，可將在操作1006處判定之相關之已訓練強度影像與已獲取事件資料之片段相關聯且將其用於識別與已獲取事件資料之片段查詢相關聯的目標。該識別可有助於重複地偵測目標以便追蹤目標。
該方法可進一步包括在操作1010處繼續接收已獲取事件資料，其中可提供已獲取事件資料之另一片段作為查詢。已獲取事件資料可自動分段成作為查詢提供之片段。此分段可在CNN/DNN 106或132中執行。雜訊降低可在DVS/ROIC 130中執行，且分段可藉由將事件資料在空間上聚集在小的時間窗內來執行。該時間窗內之查詢事件可基於聚集之速度及方向而自背景分段。可以類似之方式對與多個物體有關之事件分段。根據一或多個實施例，按照運動、量值及/或方向中之至少一者來聚集已獲取事件資料。
根據一或多個實施例，判定項包括輸出表示項之判定之置信度的置信度得分。
根據一或多個實施例，判定項包括輸出表示項之判定之置信度的置信度得分，其中查詢強度影像之遮蔽會影響置信度得分。
參考圖11，流程圖1100示出了根據某些所示實施例之用於使用訓練強度影像及訓練事件資料藉由生成用以偵測及/或追蹤目標之模板來訓練模型的方法。訓練強度影像及訓練事件資料係從自同一源接收之聚焦光同時獲取的。訓練強度影像係自FPA獲取的且訓練事件資料係自神經形態視覺系統獲取的。訓練強度影像具有高空間解析度及低時間解析度，而訓練事件資料具有低空間解析度及高時間解析度。該方法可由融合演算法模組，諸如圖2及圖3所示之融合演算法模組118執行。
操作1102包括接收與各別已知目標相關聯之訓練事件資料及訓練強度影像。操作1104包括將針對各別已知目標中之每一者接收的訓練事件資料與強度訓練影像相關。操作1106包括將相關之訓練事件資料及訓練強度影像作為模板之已訓練事件資料及已訓練強度影像資料輸出。
根據一或多個實施例，生成模板進一步包括當各別已知目標中之同一目標以至少一個不同的姿勢定位及/或該目標定位在距成像系統不同之距離處時，重複接收與該目標相關聯之訓練事件資料及訓練強度影像。
根據一或多個實施例，藉由應用核密度估計來對訓練事件資料進行濾波。
根據一或多個實施例，藉由使用形狀描述子來對已訓練事件資料進行編碼。
參考圖12A及圖12B，在離線訓練階段期間各自訓練條件對抗網路(cGAN)之實例鑑別器側1200及生成器側1250以用於將查詢影像轉化為其事件資料等效物。將cGAN作為可用於訓練融合演算法模組，諸如圖2及圖3所示之融合演算法模組108之網路的實例提供，而不限於特定網路。
參考圖12A，生成器(G)1202將輸入影像訊框變換為輸出事件集，而鑑別器(D)1204量測輸入影像訊框與未知事件集(來自資料集之目標事件集，或來自生成器1202之輸出事件集)之相似度，且試圖猜測其是否由生成器1202產生。
比較模組1206計算兩個輸入之間的誤差，從而量測相似程度。最佳化器1208工作以藉由相應地設定鑑別器權重1210來最小化鑑別器1204猜測與事實之間的誤差。
在訓練期間，生成器1202自輸入影像訊框生成輸出事件集。鑑別器1204查看輸入影像訊框/目標事件集對及輸入影像訊框/輸出事件集對，且產生關於該等對看起來多真實之猜測。然後基於輸入影像訊框/目標事件集對及輸入影像訊框/輸出事件集對之分類誤差來調整鑑別器權重1210之權重向量。
參考圖12B，已關於圖12A描述之部件用類似之附圖標記示出。另外，圖12B示出了生成器之權重1252，該等權重係基於鑑別器1204之輸出及輸出事件集與目標影像訊框之間的差異而調整的。由於生成器之權重1252係基於鑑別器之輸出，因此當鑑別器1204效能提高時，生成器1202效能亦提高，從而逐漸形成實際上表示輸入影像訊框之輸出事件集。
因此，訓練影像至事件之轉化以便將任何影像查詢轉化為事件資料之等效事件集。影像至事件之轉化亦包括生成輸入影像訊框之多個視圖以實現目標物體之姿勢不變性。
上文參考根據本揭露之實施例之方法、設備(系統)及電腦程式產品的方塊圖描述了本揭露之態樣。所描述之方法之特徵包括操作，諸如可使用軟體、硬體及/或韌體執行之等式、變換、轉換等。不管軟體實施方案如何，應理解，方塊圖圖示之個別區塊及方塊圖圖示中之區塊組合可由電腦程式指令實施。此等電腦程式指令可提供給通用電腦、專用電腦之處理器或其他可程式化資料處理設備以產生機器，使得經由電腦之處理器或其他可程式化資料處理設備執行之指令產生用於實施方塊圖區塊中指定之功能/動作的方式。
參考圖13，示出了實例計算系統1300之方塊圖，計算系統1300提供了控制器102或視覺系統100之一或多個部分及/或融合演算法模組108之實例組態。計算系統1300僅為合適的系統之一個實例且不意欲提出關於本文中描述之揭露之實施例的用途或功能之範疇的任何限制。計算系統1300可使用硬體、軟體及/或韌體實施。無論如何，計算系統1300能夠如本揭露中所闡述經實施及/或執行功能。
示出了呈通用計算裝置之形式的計算系統1300。計算系統1300包括處理裝置1302、記憶體1304、可與內部部件1310及視情況與外部部件1308通信之輸入/輸出(I/O)介面(I/F)1306。
處理裝置1302可包括例如PLOD、微處理器、DSP、微控制器、FPGA、ASCI，及/或具有類似之處理能力的其他離散或整合邏輯電路。
處理裝置1302及記憶體1304可包括在提供在例如FPGA、ASCI、微控制器或微處理器中之部件中。記憶體1304可包括例如揮發性及非揮發性記憶體以用於暫時地或長期地儲存資料，且用於儲存可由處理裝置1302執行之可程式化指令。I/O I/F 1306可包括耦接至一或多個內部部件1308及/或外部部件1310之介面及/或導體。
此等電腦程式指令亦可儲存在電腦可讀媒體中，該電腦可讀媒體可引導電腦、其他可程式化資料處理設備或其他裝置以特定方式起作用，使得儲存在電腦可讀媒體中之指令產生包括實施流程圖及/或方塊圖區塊中指定之功能/動作的指令之製品。
電腦程式指令亦可加載至電腦、其他可程式化資料處理設備或其他裝置上以致使在電腦、其他可程式化設備或其他裝置上執行一系列操作性操作以產生電腦實施之程式，使得在電腦或其他可程式化設備上執行之指令提供用於實施方塊圖區塊中指定之功能/動作的程式。
視覺系統100及/或融合演算法模組108(或視覺系統100及/或融合演算法模組108之一部分)之實施例可由一或多個電腦系統(諸如微處理器)實施或執行。每一電腦系統1300可實施控制器102或其多個實例。在各種實施例中，電腦系統1300可包括微處理器、FPGA、特殊應用積體電路(ASCI)、微控制器中之一或多者。電腦系統1300可作為嵌入式裝置提供。電腦系統1300之全部或一部分可在外部諸如作為移動計算裝置、智能電話、台式電腦、膝上型電腦或類似者提供。
電腦系統1300僅為合適的系統之一個實例且不意欲提出關於本文中描述之揭露之實施例的用途或功能之範疇的任何限制。無論如何，電腦系統1300能夠經實施及/或執行上文中闡述之功能中之任一者。
電腦系統1300可在電腦系統可執行指令(諸如程式模組)由電腦系統執行之一般上下文中描述。一般而言，程式模組可包括執行特定任務或實施特定抽象資料類型之例程、程式、對象、部件、邏輯、資料結構等。
視覺系統整合異步神經形態事件資料與同步有框架強度影像之獲取。在一或多個實施例中，強度影像為SWIR影像。在一或多個實施例中，強度影像具有在可見光、NIR、MWIR或LWIR光譜中之波長。機器學習用以訓練融合演算法模組以執行場景重構及/或識別、偵測及/或追蹤目標。融合演算法模組係使用訓練強度影像之多個視圖訓練的以提供姿勢(例如，定向)及尺度不變性。例如藉由使用核密度估計來降低訓練事件資料之雜訊。模板儲存已訓練事件資料及相關之強度影像資料之項。可諸如藉由使用形狀描述子來對已訓練事件資料進行編碼。在訓練後，可將查詢提交給融合演算法模組。可將強度影像或已獲取事件資料作為查詢提交。可在作為查詢提交之前按照運動、量值及/或方向來聚集已獲取事件資料。可將查詢與模板項進行比較以判定相似程度。當相似程度高於預定義臨限值或判定為對於模板項為最高時，判定匹配且可使用該匹配來執行目標識別、偵測及/或追蹤。
因此，應用機器學習來將事件資料及強度影像相關提供具有有限之功率、記憶體及處理資源之平台使用神經形態事件偵測來執行場景重構及/或目標識別、偵測及/或追蹤的能力。諸如對事件資料進行濾波、聚集及編碼之技術提高可靠性及將查詢事件資料與模板中之已訓練事件資料進行比較及匹配的能力。
雖然已經參照例示性實施例描述了本揭露，但熟習此項技術者應理解，在不脫離本揭露之範疇之情況下，可進行各種改變且可用等效物取代本揭露之元件。另外，在不脫離本揭露之基本範疇的情況下，可進行許多修改以使特定情形或材料適應本揭露之教示。因此，本揭露不意欲限於所揭露之特定實施例，而是本揭露將包括落在所附申請專利範圍之範疇內的所有實施例。
除非另外定義，否則本文中使用之所有技術及科學術語都具有一般熟習本揭露所屬之技術者通常所理解之相同的含義。儘管與本文中描述之方法及材料類似或等效的任何方法及材料亦可用於實踐或測試所示實施例，但現在描述例示性方法及材料。本文中提到之所有公開案以引用之方式併入本文中以揭露及描述引用公開案所結合之方法及/或材料。
必須指出，如本文中及所附申請專利範圍中所使用，除非上下文另外清楚地指示，否則單數形式「一個」、「一種」及「該」包括複數指稱對象。因此，例如，對「一個刺激」之提及包括複數個此等刺激且對「該信號」之提及包括對熟習此項技術者已知之一或多個信號及其等效物之提及等等。
儘管已經參考實施例示出及描述了本主題揭露之設備及方法，但熟習此項技術者將易於瞭解在不脫離本主題揭露之精神及範疇的情況下可對其進行改變及/或修改。
20:物體
100:視覺系統
102:光學器件模組
104:獲取及讀出塊
106:處理塊
108:融合演算法模組
110:分析員
111:箭頭
112:決策模組
113:箭頭
115:融合輸出
120:焦平面陣列及讀出積體電路
122:圖形處理單元
130:動態視覺系統及讀出積體電路
132:場可程式化閘陣列或神經形態處理單元
400:方法
402:操作
404:操作
406:操作
408:操作
410:操作
412:操作
500:方法
501:操作
502:操作
504:操作
506:操作
600:訊框
602:第一訊框
604:第二訊框
606:時間
800:方法
802:操作
804:操作
806:操作
808:操作
900:方法
902:操作
904:操作
906:操作
908:操作
1000:方法
1002:操作
1004:操作
1006:操作
1008:操作
1010:操作
1100:方法
1102:操作
1104:操作
1106:操作
1200:鑑別器側
1202:生成器
1204:鑑別器
1206:比較模組
1208:最佳化器
1210:鑑別器權重
1250:生成器側
1252:生成器之權重
1300:計算系統
1302:處理裝置
1304:記憶體
1306:輸入/輸出介面
1308:外部部件
為了使熟習本主題揭露所屬之技術者將易於在沒有過度實驗之情況下理解如何製造及使用本主題揭露之裝置及方法，下文中將參考某些圖式詳細描述其實施例，圖中：
圖1為根據本揭露之實施例的部署在操作環境中之視覺系統的示意圖；
圖2為根據本揭露之實施例之視覺系統的方塊圖；
圖3為根據本揭露之另一實施例之視覺系統的示意圖；
圖4、圖5及圖8-11為根據本揭露之實施例的由視覺系統及其部件執行之實例方法的流程圖；
圖6為根據本揭露之實施例的強度影像框速率之調整的示意圖；
圖7A及圖7B為根據本揭露之實施例的處於訓練模式及已訓練模式之視覺系統之融合演算法模組的方塊圖；
圖12A及圖12B為訓練神經網路之方法的流程圖；及
圖13為根據本揭露之實施例的經組態以實施視覺系統之部件之例示性電腦系統的方塊圖。
100:視覺系統
102:光學器件模組
103:外部世界
104:獲取及讀出塊
106:處理塊
108:融合演算法模組
110:分析員
111:箭頭
112:決策模組
113:箭頭
115:融合輸出
120:焦平面陣列及讀出積體電路
122:圖形處理單元
130:動態視覺系統及讀出積體電路
132:場可程式化閘陣列或神經形態處理單元
Claims (25)
- 一種用於對一目標成像之成像系統，該方法包括：一同步焦平面陣列，該同步焦平面陣列用於接收聚焦光且同步地獲取強度影像，該等強度影像具有來自該所接收之聚焦光的一高空間解析度及一低時間解析度；一異步神經形態視覺系統(asynchronous neuromorphic vision system)，該異步神經形態視覺系統經組態以用於接收該聚焦光且異步地獲取事件資料，該事件資料具有一高時間解析度；一讀出積體電路(ROIC)，該ROIC經組態以讀出該等強度影像及該事件資料兩者，其中該焦平面陣列及該ROIC最初經組態以用於以一低框速率獲取及讀出該等強度影像；及至少一個處理模組，該至少一個處理模組經組態以用於：異步地監測該事件資料以用於偵測一事件；及回應於偵測到該事件，控制該焦平面陣列及該ROIC中之至少一者以將獲取或讀出該等強度影像之該框速率自一第一框速率增大為一第二框速率；處理該等強度影像以用於獲得兩個連續之強度影像及該事件資料，其中每一強度影像及事件資料具有其經獲取之一獲取時間，該等兩個連續之強度影像之該等獲取時間界定一時間窗，該時間窗包括與一所偵測之事件對應的事件資料之一獲取時間；及藉由應用機器學習來生成具有包括在該窗中之一理論獲取時間之一新的強度影像，其中該至少一個處理模組係藉由機器學習技術使用與一已知目標相關聯之強度影像及訓練事件資料而訓練的。
- 如申請專利範圍第1項之成像系統，其中該至少一個處理模組經進一步組態以用於當不再追蹤到與所偵測之該事件相關聯的一目標時將該框速率減小為一第三框速率。
- 如申請專利範圍第1項之成像系統，其中該焦平面陣列在短波紅外(SWIR)光譜中操作。
- 如申請專利範圍第1項之成像系統，該成像系統進一步包括經組態以用於聚焦自一動態場景反射或發出之光的一光學器件模組。
- 如申請專利範圍第4項之成像系統，其中該光學器件模組為一單一光學器件模組。
- 如申請專利範圍第1項之成像系統，其中該至少一個處理模組經進一步組態以：經歷該機器學習訓練，包括接收與該已知目標相關聯之訓練強度影像及該訓練事件資料；估計具有包括在一訓練窗中之一理論訓練獲取時間之一新的訓練強度影像，該訓練窗在該等訓練強度影像中之兩個連續之訓練強度影像的獲取時間之間；將該估計之新的訓練強度影像與在該理論訓練獲取時間獲取之一實際影像進行比較；及根據該比較之一結果來調整用於機器學習之至少一個參數。
- 如申請專利範圍第1項之成像系統，其中至少一個處理器藉由使用該強度影像作為該等兩個連續之強度影像中之一者重複執行該場景重構來遞歸地執行該場景重構。
- 如申請專利範圍第1項之成像系統，其中該至少一個處理模組經進一步組態以用於：接收藉由機器學習訓練判定之已訓練事件資料之一模板，其中該模板將已訓練事件資料及與一或多個各別的可能的感興趣目標相關聯之已訓練強度影像相關；將該已獲取事件資料之一部分與該模板進行比較；及根據該比較之一結果，判定該模板中之與該已獲取事件資料之該部分相關的一已訓練強度影像。
- 如申請專利範圍第8項之成像系統，其中該至少一個處理模組經進一步組態以：經歷該機器學習訓練，包括生成該模板，其中生成該模板包括：接收與各別已知目標相關聯之訓練事件資料及訓練強度影像；及將針對該等各別已知目標中之每一者接收的該訓練事件資料與該等強度訓練影像相關。
- 如申請專利範圍第9項之成像系統，其中該訓練事件資料係藉由應用核密度估計來進行濾波。
- 如申請專利範圍第9項之成像系統，其中該已訓練事件資料係藉由使用形狀描述子(shape descriptors)來進行編碼。
- 如申請專利範圍第8項之成像系統，其中判定與該已獲取事件資料之該部分相關的該已訓練強度影像包括輸出表示該判定之置信度(confidence)之一置信度得分。
- 如申請專利範圍第10項之成像系統，其中在獲取該事件資料時一目標之遮蔽(occlusion)會影響該置信度得分。
- 如申請專利範圍第9項之成像系統，其中生成該模板進一步包括：當該等各別已知目標中之一個目標以至少一個不同之姿勢定位及/或該目標定位在距該成像系統一不同之距離處時，重複接收與該目標相關聯之訓練事件資料及訓練強度影像；及將針對該目標接收之該訓練事件資料與該等強度訓練影像相關。
- 如申請專利範圍第1項之成像系統，其中該至少一個處理模組進一步經組態用於：接收具有複數個項(entries)之一模板，其中每一項包括已訓練事件資料，該已訓練事件資料使用用於將該已訓練事件資料與對應之一或多個已訓練強度影像相關之機器學習訓練(machine learning training)來訓練；將該已獲取事件資料之一片段與該模板之該複數個項進行比較，其中該片段係使用一神經網路而被分段；從該複數個項中選擇最相似該已獲取事件資料之該片段之一項；及判定與該經選擇項相關之一已訓練強度影像。
- 一種處理使用一模板獲取之一動態場景之強度影像及異步地獲取之事件資料的方法，其中該事件資料係回應於自一場景反射或發出之光而使用一神經形態視覺系統獲取的，該已獲取事件資料具有一高時間解析度，該方法包括：接收一模板，該模板由機器學習訓練判定，其中該模板包括複數個項，每一項包括與一或多個已訓練強度影像相關之已訓練事件資料，其中該相關之已訓練事件及一或多個已訓練強度影像係回應於自同一場景同時反射或發出之光而獲取之，該等已訓練強度影像與一或多個各別的可能的感興趣目標 相關聯，該等已訓練強度影像係自一FPA同步地獲取的且具有一高空間解析度及一低時間解析度且該已訓練事件資料係自該神經形態視覺系統異步地獲取的且具有一高時間解析度；接收包括查詢事件資料或查詢強度影像資料之一查詢；判定該模板中的包括與該查詢最相似之已訓練事件資料或一已訓練強度影像之一項；及使用該項之該相關之已訓練強度影像或已訓練事件資料來識別、偵測或追蹤一目標。
- 如申請專利範圍第16項之方法，其中該查詢包括一查詢強度影像，判定之事件包括與該查詢強度影像最相似之一已訓練強度影像，且判定該項之該相關之已訓練事件資料，且該方法進一步包括：接收已獲取事件資料；判定該已獲取事件資料與該相關之已訓練事件資料之相似度；及基於該相似度判定之一結果而偵測及/或追蹤一目標。
- 如申請專利範圍第16項之方法，該方法進一步包括：接收已獲取事件資料，其中該查詢包括該已獲取事件資料之一片段，判定之該事件包括與已獲取事件資料之該查詢之片段最相似的一已訓練事件資料，且判定該相關之已訓練強度影像；及將判定之該相關之已訓練強度影像與該已獲取事件資料之該片段相關聯。
- 如申請專利範圍第16項之方法，其中按照運動量值及/或方向中之至少一者來聚集該已獲取事件資料。
- 如申請專利範圍第16項之方法，其中至少一個處理模組經進一步組態以： 經歷該機器學習訓練，包括生成該模板，其中生成該模板包括：接收與各別已知目標相關聯之訓練事件資料及訓練強度影像；將針對該等各別已知目標中之每一者接收的該訓練事件資料與該等強度訓練影像相關；及將該相關之訓練事件資料及訓練強度影像作為該模板之已訓練事件資料及已訓練強度影像資料輸出。
- 如申請專利範圍第20項之方法，其中生成該模板進一步包括：當該等各別已知目標中之同一目標以至少一個不同之姿勢定位及/或該目標定位在距成像系統一不同之距離處時，重複接收與該目標相關聯之訓練事件資料及訓練強度影像。
- 如申請專利範圍第20項之方法，其中藉由應用核密度估計來對該訓練事件資料進行濾波。
- 如申請專利範圍第20項之方法，其中藉由使用形狀描述子來對該已訓練事件資料進行編碼。
- 如申請專利範圍第16項之方法，其中判定該項包括輸出表示該項之該判定之置信度的一置信度得分。
- 如申請專利範圍第17項之方法，其中判定該項包括輸出表示該項之該判定之置信度的一置信度得分，其中該查詢強度影像之遮蔽會影響該置信度得分。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/591,310 | 2019-10-02 | ||
| US16/591,310 US11588987B2 (en) | 2019-10-02 | 2019-10-02 | Neuromorphic vision with frame-rate imaging for target detection and tracking |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202115677A TW202115677A (zh) | 2021-04-16 |
| TWI816002B true TWI816002B (zh) | 2023-09-21 |
Family
ID=68917652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108145667A TWI816002B (zh) | 2019-10-02 | 2019-12-13 | 用於目標偵測及追蹤之神經形態視覺與框速率成像 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11588987B2 (zh) |
| EP (1) | EP3800580A1 (zh) |
| JP (2) | JP7488645B2 (zh) |
| KR (1) | KR20210039891A (zh) |
| CN (1) | CN112598700A (zh) |
| TW (1) | TWI816002B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11394905B2 (en) | 2019-12-13 | 2022-07-19 | Sony Semiconductor Solutions Corporation | Dynamic region of interest and frame rate for event based sensor and imaging camera |
| US20210185265A1 (en) * | 2019-12-13 | 2021-06-17 | Sony Semiconductor Solutions Corporation | Methods of sensor mode switching in event based sensor and imaging camera for low power application |
| US11847189B2 (en) * | 2020-11-13 | 2023-12-19 | Samsung Electronics Co, Ltd. | Fusing FBIS and DVS data streams using a neural network |
| US20240107187A1 (en) * | 2021-04-19 | 2024-03-28 | Chengdu SynSense Technology Co., Ltd. | Event-driven integrated circuit having interface system |
| CN113536978B (zh) * | 2021-06-28 | 2023-08-18 | 杭州电子科技大学 | 一种基于显著性的伪装目标检测方法 |
| WO2023279249A1 (en) * | 2021-07-05 | 2023-01-12 | Shanghaitech University | Non-line-of-sight imaging via neural transient field |
| CN113506319B (zh) * | 2021-07-15 | 2024-04-26 | 清华大学 | 图像处理方法及装置、电子设备和存储介质 |
| TWI845095B (zh) * | 2022-01-05 | 2024-06-11 | 宏達國際電子股份有限公司 | 追蹤效能呈現方法及主機 |
| CN114429491B (zh) * | 2022-04-07 | 2022-07-08 | 之江实验室 | 一种基于事件相机的脉冲神经网络目标跟踪方法和系统 |
| CN116347231B (zh) * | 2023-04-12 | 2023-10-10 | 北京大学 | 一种基于事件相机的全聚焦成像方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160072477A (ko) * | 2014-12-15 | 2016-06-23 | 전자부품연구원 | 주변 환경 모델링 방법 및 이를 수행하는 장치 |
| US20180225521A1 (en) * | 2017-02-03 | 2018-08-09 | Raytheon Company | Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications |
| TW201837854A (zh) * | 2017-04-10 | 2018-10-16 | 南韓商三星電子股份有限公司 | 用於深度學習影像超解析度的系統及方法 |
| US20190158769A1 (en) * | 2017-11-20 | 2019-05-23 | Flir Commercial Systems, Inc. | Short wave infrared image sensor with automatic exposure and dynamic range control |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6891570B2 (en) | 2001-01-31 | 2005-05-10 | Itt Manufacturing Enterprises Inc. | Method and adaptively deriving exposure time and frame rate from image motion |
| US20110243442A1 (en) * | 2010-03-31 | 2011-10-06 | Agrawal Amit K | Video Camera for Acquiring Images with Varying Spatio-Temporal Resolutions |
| US20130278868A1 (en) * | 2011-12-07 | 2013-10-24 | Manufacturing Resources International, Inc. | Optically Isolated Cavity For Light Sensor Feedback in LCD |
| EP2887009A1 (en) | 2013-12-23 | 2015-06-24 | Universität Zürich | Method for reconstructing a surface using spatially structured light and a dynamic vision sensor |
| US9591238B2 (en) | 2014-08-22 | 2017-03-07 | Voxtel, Inc. | Asynchronous readout array |
| US9986179B2 (en) * | 2014-09-30 | 2018-05-29 | Qualcomm Incorporated | Sensor architecture using frame-based and event-based hybrid scheme |
| US9698182B2 (en) | 2015-03-30 | 2017-07-04 | Hamilton Sundstrand Corporation | Digital imaging and pulse detection array |
| US9641781B2 (en) | 2015-03-30 | 2017-05-02 | Hamilton Sundstrand Corporation | Imaging circuit including frame asynchronous pulse detection |
| CN108700470A (zh) | 2015-12-09 | 2018-10-23 | 菲力尔系统公司 | 基于无人机系统的热成像和聚合系统和方法 |
| KR102477659B1 (ko) | 2015-12-18 | 2022-12-14 | 한화테크윈 주식회사 | 감시 시스템 및 그 제어 방법 |
| WO2017213468A1 (ko) | 2016-06-10 | 2017-12-14 | 한국기계연구원 | 열선 및 이를 포함하는 면상 발열 시트 |
| US9948880B2 (en) | 2016-08-02 | 2018-04-17 | Sensors Unlimited, Inc. | Asynchronous multimode focal plane array |
| US10175030B2 (en) | 2017-03-13 | 2019-01-08 | Sensors Unlimited, Inc. | Threat detection |
| US10582196B2 (en) | 2017-06-30 | 2020-03-03 | Intel Corporation | Generating heat maps using dynamic vision sensor events |
| CN111919434B (zh) * | 2018-01-26 | 2023-08-01 | 普罗费塞公司 | 处理来自基于事件的传感器的信号的方法和设备 |
| WO2019175734A1 (en) * | 2018-03-14 | 2019-09-19 | Insightness Ag | Event-based vision sensor with direct memory control |
| US10345447B1 (en) * | 2018-06-27 | 2019-07-09 | Luminar Technologies, Inc. | Dynamic vision sensor to direct lidar scanning |
| WO2020034078A1 (en) * | 2018-08-14 | 2020-02-20 | Huawei Technologies Co., Ltd. | Event-based adaptation of coding parameters for video image encoding |
| CN109697726B (zh) * | 2019-01-09 | 2020-09-18 | 厦门大学 | 一种基于事件相机的端对端目标运动估计方法 |
| EP3914995A1 (en) * | 2019-01-25 | 2021-12-01 | Sony Advanced Visual Sensing AG | Environmental model maintenance using event-based vision sensors |
| CN110148159B (zh) * | 2019-05-20 | 2021-03-26 | 厦门大学 | 一种基于事件相机的异步目标跟踪方法 |
-
2019
- 2019-10-02 US US16/591,310 patent/US11588987B2/en active Active
- 2019-12-13 TW TW108145667A patent/TWI816002B/zh active
- 2019-12-13 JP JP2019225863A patent/JP7488645B2/ja active Active
- 2019-12-16 EP EP19216599.1A patent/EP3800580A1/en active Pending
- 2019-12-16 CN CN201911293340.7A patent/CN112598700A/zh active Pending
- 2019-12-16 KR KR1020190167585A patent/KR20210039891A/ko not_active Application Discontinuation
-
2024
- 2024-05-08 JP JP2024075568A patent/JP2024109642A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160072477A (ko) * | 2014-12-15 | 2016-06-23 | 전자부품연구원 | 주변 환경 모델링 방법 및 이를 수행하는 장치 |
| US20180225521A1 (en) * | 2017-02-03 | 2018-08-09 | Raytheon Company | Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications |
| TW201837854A (zh) * | 2017-04-10 | 2018-10-16 | 南韓商三星電子股份有限公司 | 用於深度學習影像超解析度的系統及方法 |
| US20190158769A1 (en) * | 2017-11-20 | 2019-05-23 | Flir Commercial Systems, Inc. | Short wave infrared image sensor with automatic exposure and dynamic range control |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021061573A (ja) | 2021-04-15 |
| JP2024109642A (ja) | 2024-08-14 |
| KR20210039891A (ko) | 2021-04-12 |
| CN112598700A (zh) | 2021-04-02 |
| EP3800580A1 (en) | 2021-04-07 |
| JP7488645B2 (ja) | 2024-05-22 |
| US11588987B2 (en) | 2023-02-21 |
| TW202115677A (zh) | 2021-04-16 |
| US20210105421A1 (en) | 2021-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI816002B (zh) | 用於目標偵測及追蹤之神經形態視覺與框速率成像 | |
| Gehrig et al. | End-to-end learning of representations for asynchronous event-based data | |
| Sharma et al. | An efficient dimension reduction based fusion of CNN and SVM model for detection of abnormal incident in video surveillance | |
| Lakshmi et al. | Neuromorphic vision: From sensors to event‐based algorithms | |
| Cao et al. | Learning spatial-temporal representation for smoke vehicle detection | |
| Zhai et al. | Poseconvgru: A monocular approach for visual ego-motion estimation by learning | |
| Ali et al. | Vehicle detection and tracking in UAV imagery via YOLOv3 and Kalman filter | |
| Yin | Object Detection Based on Deep Learning: A Brief Review | |
| Hwang et al. | Interactions between specific human and omnidirectional mobile robot using deep learning approach: SSD-FN-KCF | |
| Dai et al. | Overview of UAV target detection algorithms based on deep learning | |
| Zhang et al. | EventMD: High-speed moving object detection based on event-based video frames | |
| Qi et al. | Extraction and Classification of Image Features for Fire Recognition Based on Convolutional Neural Network. | |
| Sinha et al. | Human activity recognition from UAV videos using a novel DMLC-CNN model | |
| Benito-Picazo et al. | Deep learning-based anomalous object detection system powered by microcontroller for ptz cameras | |
| Braga et al. | Determining the trajectory of unmanned aerial vehicles by a novel approach for the particle filter | |
| Xing et al. | Computationally efficient RGB-t UAV detection and tracking system | |
| Palanivel et al. | Object Detection and Recognition In Dark Using YOLO | |
| Kavitha et al. | An extreme learning machine and action recognition algorithm for generalized maximum clique problem in video event recognition | |
| Stojanović et al. | Deep Features in Correlation Filters for Thermal Image Tracking | |
| McIntosh et al. | Target Detection in Cluttered Environments Using Infra-Red Images | |
| Zhu et al. | YOLO-SDLUWD: YOLOv7-based small target detection network for infrared images in complex backgrounds | |
| Soorchaei et al. | Improving weighted Hausdorff distance loss for small object centroid detection in infra-red and RGB imagery | |
| Shamitha et al. | Applications of Deep Learning Algorithms for Object Detection in Real-time Drone Surveillance: Systematic Review, Recent developments and Open Issues | |
| García et al. | Applied machine vision and IoT | |
| Chen et al. | Event data association via robust model fitting for event-based object tracking |