TWI802015B - 雙模態訊號處理系統和方法 - Google Patents

Abstract

本發明揭露了一種雙模態訊號處理系統和方法。該雙模態訊號處理系統包括：影像採集單元，影像採集單元用於獲取雙模態影像訊號；影像處理單元，與影像採集單元連接，影像處理單元包括同步資料處理器和非同步資料處理器，非同步資料處理器用於對雙模態影像訊號中的非同步訊號進行預處理，同時同步資料處理器用於對雙模態影像訊號中的同步訊號進行預處理。本發明的技術方案能夠提高影像處理單元處理雙模態影像訊號的效率，從而提高雙模態訊號處理系統的效率和即時性。

Description

雙模態訊號處理系統和方法

本發明實施例涉及影像感測技術領域，尤其涉及一種雙模態訊號處理系統和方法。

視覺感測器是指利用光學元件和成像裝置獲取外部環境影像資訊的儀器，先前技術中的視覺感測器一般包括：主動像素感測器（Active Pixel Sensor，APS）和動態視覺感測器（Dynamic Vision Sensor，DVS）。其中，主動像素感測器通常為基於電壓訊號或電流訊號的影像感測器，廣泛應用於手機或相機的攝影單元中，這類影像感測器具有色彩還原度及影像品質高的優勢，然而其獲取的影像訊號的動態範圍較小，並且拍攝速度較慢。動態視覺感測器常用於工業控制領域，其特點是能夠對動態場景進行感知，因拍攝速度較快，且獲取的影像訊號的動態範圍較大，然而這類感測器採集的影像品質較差。

本發明實施例提供一種雙模態訊號處理系統和方法，以提高雙模態訊號處理系統的效率和即時性，擴大雙模態訊號處理系統的應用範圍。

第一方面，本發明實施例提供了一種雙模態訊號處理系統，該系統包括：影像採集單元，該影像採集單元用於獲取雙模態影像訊號；影像處理單元，與該影像採集單元連接，該影像處理單元用於同時對該雙模態影像訊號中的同步訊號和非同步訊號進行預處理，其中該影像處理單元包括同步資料處理器和非同步資料處理器，該非同步資料處理器用於對該雙模態影像訊號中的非同步訊號進行預處理，同時該同步資料處理器用於對該雙模態影像訊號中的同步訊號進行預處理。

在一些實施例中，該系統還包括：影像融合單元，影像融合單元與該影像處理單元連接，該影像融合單元用於將經預處理後的該雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合。

在一些實施例中，該影像處理單元用於藉由第一高速資料傳輸介面向該影像融合單元傳輸經預處理後的該雙模態影像訊號。

在一些實施例中，該影像處理單元與該影像融合單元通訊連接，該影像處理單元與該影像融合單元藉由兩線式串列匯流排、通用非同步收發傳輸器、積體電路內置音訊匯流排和串列週邊介面中的任一種通訊連接。

在一些實施例中，該影像處理單元還用於配置該影像融合單元的參數，該影像融合單元的參數包括該同步訊號對應的特徵融合權重和該非同步訊號對應的特徵融合權重。

在一些實施例中，該預處理包括格式轉換，以得到滿足該影像融合單元進行特徵融合所需格式的該雙模態影像訊號。

在一些實施例中，該影像採集單元獲取的該雙模態影像訊號中的同步訊號包括影像色彩訊號，該雙模態影像訊號中的非同步訊號包括影像灰度梯度訊號。

在一些實施例中，該影像融合單元還用於對經預處理後的該雙模態影像訊號進行解碼，以獲得該同步訊號中的影像色彩資訊和非同步訊號中的影像灰度梯度資訊。

在一些實施例中，該影像融合單元包括類比神經網路處理子單元、脈衝神經網路處理子單元和特徵融合子單元，該特徵融合子單元與該類比神經網路處理子單元和該脈衝神經網路處理子單元通訊連接；該類比神經網路處理子單元用於處理該同步訊號中的影像色彩資訊，該脈衝神經網路處理子單元用於處理該非同步訊號中的影像灰度梯度資訊；該特徵融合子單元用於根據該影像處理單元配置的參數，對經該類比神經網路處理子單元處理後的該影像色彩資訊和經該脈衝神經網路處理子單元處理後的該影像灰度梯度資訊進行特徵融合，該影像處理單元配置的參數包括該同步訊號對應的特徵融合權重和該非同步訊號對應的特徵融合權重。

在一些實施例中，該影像採集單元用於藉由第二高速資料傳輸介面向該影像處理單元傳輸該雙模態影像訊號。

在一些實施例中，該影像採集單元包括影像感測器，該非同步資料處理器與該影像感測器通訊連接，該非同步資料處理器還用於配置該影像感測器的參數。

在一些實施例中，該非同步資料處理器與該影像感測器藉由兩線式串列匯流排、通用非同步收發傳輸器、積體電路內置音訊匯流排和串列週邊介面中的任一種通訊連接。

在一些實施例中，該影像感測器包括視錐細胞電路和視桿細胞電路；該視錐細胞電路用於採集影像色彩訊號，以形成該雙模態影像訊號中的同步訊號，該視桿細胞電路用於採集影像灰度梯度訊號，以形成該雙模態影像訊號中的非同步訊號。

在一些實施例中，該影像感測器的參數包括該視錐細胞電路中的AD掃描範圍、重定時間長度、快門速度與取樣速度，以及該視桿細胞電路中的DA電流輸出範圍和速度。

在一些實施例中，該視桿細胞電路包括興奮性視桿細胞電路和抑制性視桿細胞電路；該興奮性視桿細胞電路採集的影像灰度梯度訊號和該抑制性視桿細胞電路採集的影像灰度梯度訊號之差作為該視桿細胞電路的影像灰度梯度訊號。

在一些實施例中，該影像採集單元還包括前期資料處理單元；該前期資料處理單元與該影像感測器連接，用於對該雙模態影像訊號進行打包和壓縮。

在一些實施例中，該同步資料處理器與該非同步資料處理器連接；該同步資料處理器還用於根據該同步訊號配置該非同步資料處理器的參數。

在一些實施例中，該非同步資料處理器包括視桿資料處理器；該視桿資料處理器用於對該雙模態影像訊號中的非同步訊號進行壓縮處理，並編碼為非同步模式，形成位元元址形式事件訊號。

在一些實施例中，該非同步資料處理器還包括視錐資料處理器；該視錐資料處理器用於對該雙模態影像訊號中的同步訊號進行以下處理中的至少一種：自動對焦、自動曝光和自動白平衡。

在一些實施例中，該影像處理單元還包括儲存模組；該儲存模組用於緩存該雙模態影像訊號。

在一些實施例中，該非同步資料處理器包括現場可程式閘陣列。

在一些實施例中，該同步資料處理器包括ARM處理器、中央處理器、專用積體電路、系統晶片和影像訊號處理器中的至少一種。

第二方面，本發明實施例還提供了一種雙模態訊號處理方法，該方法包括：藉由影像採集單元獲取雙模態影像訊號；藉由影像處理單元同時對該雙模態影像訊號中的同步訊號和非同步訊號進行預處理；其中，該影像處理單元包括同步資料處理器和非同步資料處理器，該非同步資料處理器用於對該雙模態影像訊號中的非同步訊號進行預處理，同時該同步資料處理器用於對該雙模態影像訊號中的同步訊號進行預處理。

在一些實施例中，在該藉由影像處理單元同時對該雙模態影像訊號中的同步訊號和非同步訊號進行預處理之後，該方法還包括：藉由影像融合單元將經該影像處理單元預處理後的該雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合。

在一些實施例中，該影像處理單元與該影像融合單元通訊連接，在該藉由影像融合單元將經該影像處理單元預處理後的該雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合之前，該方法還包括：藉由該影像處理單元配置該影像融合單元的參數。

在一些實施例中，該預處理包括：將該雙模態影像訊號中的同步訊號和非同步訊號進行格式轉換，以得到滿足該影像融合單元進行特徵融合所需格式的該雙模態影像訊號。

在一些實施例中，在該藉由影像融合單元將經該影像處理單元預處理後的該雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合之前，該方法還包括：藉由該影像融合單元對經預處理後的該雙模態影像訊號進行解碼，以獲得該同步訊號中的該影像色彩資訊和該非同步訊號中的該影像灰度梯度資訊。

在一些實施例中，該影像融合單元還包括類比神經網路處理子單元、脈衝神經網路處理子單元和特徵融合子單元，該特徵融合子單元與該類比神經網路處理子單元和該脈衝神經網路處理子單元通訊連接；該藉由影像融合單元將經該影像處理單元預處理後的該雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合，包括：藉由該類比神經網路處理子單元處理解碼後獲得的該影像色彩資訊，並藉由該脈衝神經網路處理子單元處理解碼後獲得的該影像灰度梯度資訊；藉由該特徵融合子單元根據該影像處理單元配置的參數，將經該類比神經網路處理子單元處理後的該影像色彩資訊以及經該脈衝神經網路處理子單元處理後的該影像灰度梯度資訊進行特徵融合。

本發明實施例的技術方案，藉由影像採集單元獲取雙模態影像訊號，藉由影像處理單元同時對雙模態影像訊號中的同步訊號和非同步訊號進行預處理，從而提高影像處理單元處理雙模態影像訊號的效率，進而提高雙模態訊號處理系統的效率和即時性。藉由影像融合單元將預處理後的雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合，得到兼具不同類型的影像特徵資訊的影像訊號，實現了同步訊號和非同步訊號的異構融合，使得雙模態訊號處理系統的應用範圍更加廣泛。

下面結合附圖和實施例對本發明作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用於解釋本發明，而非對本發明的限定。另外還需要說明的是，為了便於描述，附圖中僅示出了與本發明相關的部分而非全部結構。

在相關技術中，用於處理主動像素感測器提供的影像訊號的視覺影像處理器根據“馮•諾依曼”架構，計算與儲存分離，結構簡潔、易於實現高速數值計算。但是在處理動態視覺感測器提供的影像訊號時，動態視覺感測器的影像訊號包括非結構化、時空關聯資訊，根據“馮•諾依曼”架構的處理器表現出效率低、能耗高、即時性差等問題。當影像訊號處理系統需要處理的影像訊號為雙模態訊號時，相關技術中的處理器無法即時的高效率對雙模態訊號進行處理，從而影響影像訊號處理系統的應用範圍。

為有效解決相關技術中影像訊號處理系統無法即時的高效率對雙模態訊號進行處理，從而影響影像訊號處理系統的應用範圍的問題，本發明實施例提供了一種雙模態訊號處理系統及方法。

圖1是本發明實施例提供的一種雙模態訊號處理系統的組成框圖，本發明實施例提供了一種雙模態訊號處理系統，如圖1所示，該雙模態訊號處理系統包括：影像採集單元110、影像處理單元120；影像採集單元110用於獲取雙模態影像訊號；影像處理單元120與影像採集單元110連接，用於同時對雙模態影像訊號中的同步訊號和非同步訊號進行預處理；其中，影像處理單元120包括同步資料處理器122和非同步資料處理器121，非同步資料處理器121用於對雙模態影像訊號中的非同步訊號進行預處理，同時同步資料處理器122用於對雙模態影像訊號中的同步訊號進行預處理。

其中，雙模態影像訊號包括同步訊號和非同步訊號。同步訊號可以為影像色彩訊號，其對影像的色彩還原度非常高，並具有較高的影像品質。非同步訊號可以為影像灰度梯度訊號，其可以高速的體現影像的灰度變化量。藉由影像採集單元110獲取雙模態影像訊號，可以在高速拍攝影像時實現了很高的訊號保真度，同時實現高動態範圍和高時間解析度。影像處理單元120的非同步資料處理器121對雙模態影像訊號中的非同步訊號進行預處理，示例性地，影像處理單元120的非同步資料處理器121可以對雙模態影像訊號中的非同步訊號進行打包、壓縮和格式轉換等預處理。同時，影像處理單元120的同步資料處理器122還對雙模態影像訊號中的同步訊號進行預處理，示例性地，影像處理單元120的同步資料處理器122可以對雙模態影像訊號中的同步訊號進行校正、基於類腦感知演算法的計算和格式轉換等預處理。影像處理單元120可以同時對雙模態影像訊號中具有高色彩還原度和高影像品質的同步訊號，以及具有高動態範圍和高時間解析度的非同步訊號進行預處理，從而可以提高影像處理單元120處理雙模態影像訊號的效率，進而提高雙模態訊號處理系統的效率和即時性。

圖2是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖，如圖2所示，在一些實施例中，該雙模態訊號處理系統還包括：影像融合單元130，影像融合單元130與影像處理單元120連接，影像融合單元130用於將經預處理後的雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合。

其中，影像融合單元130對預處理後的雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合。示例性的，影像採集單元110獲取的雙模態影像訊號中的同步訊號可以包括影像色彩訊號，影像色彩訊號具有的特徵資訊包括影像色彩資訊，雙模態影像訊號中的非同步訊號可以包括影像灰度梯度訊號，影像灰度梯度訊號具有的特徵資訊包括影像灰度梯度資訊，例如影像灰度變化量。影像融合單元130將預處理後的同步訊號中的影像色彩資訊以特徵資訊合併的方式加入到非同步訊號中的影像灰度梯度資訊中，以將同步訊號和非同步訊號進行特徵融合，得到兼具影像色彩資訊和影像灰度梯度資訊的影像訊號，實現了同步影像色彩訊號和非同步影像灰度梯度訊號的異構融合，使得雙模態訊號處理系統能夠支援豐富的空間、時間和時空關係的表達，使得雙模態訊號處理系統的應用範圍更加廣泛。

圖3是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖，如圖3所示，在一些實施例中，影像處理單元120與影像融合單元130藉由第一高速資料傳輸介面140連接，影像處理單元120用於藉由第一高速資料傳輸介面140向影像融合單元傳輸經預處理後的雙模態影像訊號。

其中，第一高速資料傳輸介面140即為資料傳輸能力比較大的資料傳輸介面，例如，第一高速資料傳輸介面140可以為資料傳輸速率大於1Gbit/s的介面。影像處理單元120藉由第一高速資料傳輸介面140與影像融合單元130連接，可以使得影像處理單元120將預處理後的雙模態影像訊號藉由第一高速資料傳輸介面140傳輸至影像融合單元130，實現了雙模態影像訊號的高速傳輸。示例性地，第一高速資料傳輸介面140可以為低電壓差分信號（Low-Voltage Differential Signaling，LVDS）介面，其資料傳輸速率最大為2Gbit/s，可以實現影像處理單元120將預處理後的雙模態影像訊號高速傳輸至影像融合單元130，影像融合單元130即時接收預處理後的雙模態影像訊號，並將雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合，從而提高了雙模態訊號處理系統的即時性。

圖4是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖，如圖4所示，在一些實施例中，影像處理單元120與影像融合單元130通訊連接，影像處理單元120與影像融合單元130藉由兩線式串列匯流排、通用非同步收發傳輸器、積體電路內置音訊匯流排和串列週邊介面中的任一種通訊連接。

其中，兩線式串列匯流排（Inter-Integrated Circuit，IIC）具有簡單和有效的特點，影像處理單元120與影像融合單元130藉由IIC通訊連接，可以在滿足資料傳輸要求的基礎上簡化連接的複雜度和降低成本。同理，通用非同步收發傳輸器（Universal Asynchronous Receiver/Transmitter，UART）可以實現影像處理單元120與影像融合單元130的非同步通訊。當雙模態影像訊號包括視訊訊號時，積體電路內置音訊匯流排(Inter—IC Sound，IIS)可以實現影像處理單元120與影像融合單元130之間的音訊資料的傳輸。串列週邊介面（Serial Peripheral Interface）作為一種高速串列資料介面，也可以實現影像處理單元120與影像融合單元130的通訊。需要說明的是，圖4僅示出了影像處理單元120與影像融合單元130藉由IIC或者UART進行通訊的方式，實際應用中，影像處理單元120與影像融合單元130也可以藉由IIS、SPI或者其他通訊匯流排或介面進行通訊，本發明實施例對此不進行限制。

在一些實施例中，影像處理單元120還用於配置影像融合單元130的參數，影像融合單元120的參數包括同步訊號對應的特徵融合權重和非同步訊號對應的特徵融合權重。

具體的，可以在影像處理單元120中預先寫入影像融合單元130的設定檔，在影像融合單元130將雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合之前，影像處理單元120傳輸影像融合單元130的參數配置指令至影像融合單元130，用於配置影像融合單元130的參數，使得影像融合單元130根據該參數配置指令，將雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合。

示例性的，影像採集單元110獲取的雙模態影像訊號中的同步訊號包括影像色彩資訊，雙模態影像訊號中的非同步訊號包括影像灰度梯度資訊。影像融合單元130的參數包括同步訊號中的影像色彩資訊對應的特徵融合權重和非同步訊號中的影像灰度梯度資訊對應的特徵融合權重，即影像融合單元130將同步訊號和非同步訊號進行特徵融合時，影像色彩資訊和影像灰度梯度資訊這兩個特徵資訊分量各自在特徵融合過程中的占比。藉由設置影像色彩資訊的特徵融合權重和影像灰度梯度資訊的特徵融合權重，可以設置特徵融合後的影像訊號的特性，以滿足不同應用場景中的拍攝需求。

具體的，在影像處理單元120配置影像融合單元130的參數後，影像融合單元130根據影像處理單元120的配置對同步訊號中的影像色彩資訊和非同步訊號中的影像灰度梯度資訊進行特徵融合，當影像色彩資訊的特徵融合權重大於影像灰度梯度資訊的特徵融合權重時，影像融合單元130執行特徵融合後得到的影像訊號的色彩還原度及影像品質更高；當影像色彩資訊的特徵融合權重小於影像灰度梯度資訊的特徵融合權重時，影像融合單元130執行特徵融合後得到的影像訊號的動態範圍更大，對動態場景的感知效果更好；當影像色彩資訊的特徵融合權重等於影像灰度梯度資訊的特徵融合權重時，影像融合單元130執行特徵融合後得到的影像訊號能夠兼顧影像的動態範圍、色彩還原度及影像品質。

在一些實施例中，預處理包括格式轉換，非同步資料處理器對雙模態影像訊號中的非同步訊號進行格式轉換，並且同步資料處理器對雙模態影像訊號中的同步訊號進行格式轉換，以得到滿足影像融合單元130進行特徵融合所需格式的雙模態影像訊號。

其中，影像處理單元120將影像採集單元110獲取的雙模態影像訊號進行預處理後，繼續對雙模態影像訊號中的同步訊號和非同步訊號進行處理，例如對同步訊號和非同步訊號進行打包，然後將雙模態影像訊號傳輸至影像融合單元130，以使影像融合單元130將雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合。示例性的，影像融合單元130對雙模態影像訊號中的同步訊號和非同步訊號分別進行編碼後再進行特徵融合，特徵融合所需格式的雙模態影像訊號，可以是影像融合單元130對雙模態影像訊號中的同步訊號和非同步訊號進行編碼所需格式的雙模態影像訊號，以滿足影像融合單元130的編碼需求。

相應的，影像融合單元130還用於對影像處理單元120處理後的滿足特徵融合所需格式的雙模態影像訊號進行解碼，以獲得同步訊號中的影像色彩資訊和非同步訊號中的影像灰度梯度資訊。

示例性的，影像融合單元130中可包括用於對雙模態影像訊號進行解碼的解碼器，該解碼器對雙模態影像訊號進行解碼後，可獲取同步訊號中的特徵資訊，即影像色彩資訊，並獲取非同步訊號中的特徵資訊，即影像灰度梯度資訊。

參考圖3和圖4，影像融合單元130還包括類比神經網路處理子單元131和脈衝神經網路處理子單元132，類比神經網路處理子單元131用於處理解碼後獲得的影像色彩資訊，脈衝神經網路處理子單元132用於處理解碼後獲得的影像灰度梯度資訊。其中，類比神經網路處理子單元131為基於類比神經網路（Analog Neural Network，ANN）的處理子單元，支援ANN編碼。示例性的，影像採集單元110獲取的雙模態影像訊號中的同步訊號包括影像色彩訊號時，影像融合單元130對影像處理單元120處理後的滿足特徵融合所需格式的雙模態影像訊號進行解碼，以獲得同步訊號中的影像色彩資訊，類比神經網路處理子單元131以ANN編碼方式對同步訊號中的特徵資訊，即影像色彩資訊進行處理，例如雙模態影像訊號中的同步訊號可形成包括影像色彩資訊的色彩影像，類比神經網路處理子單元131以ANN編碼方式提取一訊框或連續多訊框色彩影像中的影像色彩資訊。

其中，脈衝神經網路處理子單元132為基於脈衝神經網路（Spiking Neural Network，SNN）的處理子單元，支援SNN編碼。示例性的，影像融合單元130對影像處理單元120處理後的滿足特徵融合所需格式的雙模態影像訊號進行解碼，以獲得非同步訊號中的影像灰度梯度資訊，脈衝神經網路處理子單元132以SNN編碼方式對非同步訊號中的特徵資訊，即影像灰度梯度資訊進行處理，例如雙模態影像訊號中的非同步訊號可形成包括影像灰度梯度資訊的動態視覺脈衝訊號（事件訊號），脈衝神經網路處理子單元132以SNN編碼方式提取相鄰訊框影像間的動態視覺脈衝訊號，以獲取相應的影像灰度梯度資訊。

繼續參考圖3和圖4，影像融合單元130還包括特徵融合子單元133，與類比神經網路處理子單元131和脈衝神經網路處理子單元132通訊連接；影像處理單元120具體用於配置特徵融合子單元133的參數，參數包括特徵融合所需的特徵融合權重等，特徵融合子單元133用於根據影像處理單元120配置的參數，將同步訊號中的影像色彩資訊和非同步訊號中的影像灰度梯度資訊進行特徵融合。

示例性的，在影像融合單元130接收到雙模態影像訊號時，類比神經網路處理子單元131以ANN編碼方式提取同步訊號中的特徵資訊，例如影像色彩資訊，同時脈衝神經網路處理子單元132以SNN編碼方式提取非同步訊號中的特徵資訊，例如影像灰度梯度資訊，特徵融合子單元133根據影像處理單元120配置的特徵融合權重，將類比神經網路處理子單元131提取的影像色彩資訊以特徵資訊合併的方式加入到脈衝神經網路處理子單元132提取的影像灰度梯度資訊中，實現同步訊號和非同步訊號的特徵融合。本實施例的技術方案，能夠同時支援ANN編碼和SNN編碼的獨立部署，而且支援二者的混合編碼，具有計算儲存融合和去中心化的眾核架構，從而能夠支持豐富的空間、時間和時空關係的表達，有利於大規模異構融合神經網路的搭建。

圖5是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖，如圖5所示，在一些實施例中，影像採集單元110和影像處理單元120藉由第二高速資料傳輸介面141連接，影像採集單元110用於藉由第二高速資料傳輸介面141連接向影像處理單元120傳輸採集的雙模態影像訊號。

其中，第二高速資料傳輸介面141即為資料傳輸能力比較大的資料傳輸介面，例如，第二高速資料傳輸介面141可以為資料傳輸速率大於1Gbit/s的介面。影像採集單元110藉由第二高速資料傳輸介面141與影像處理單元120連接，可以使得影像採集單元110獲取的雙模態影像訊號藉由第二高速資料傳輸介面141傳輸至影像處理單元120，實現了雙模態影像訊號的高速傳輸。示例性地，第二高速資料傳輸介面141可以為低電壓差分信號（Low-Voltage Differential Signaling，LVDS）介面，其資料傳輸速率最大為2Gbit/s，可以實現影像採集單元110將雙模態影像訊號高速的傳輸至影像處理單元120，影像處理單元120即時接收雙模態影像訊號並進行處理，從而提高了雙模態訊號處理系統的即時性。另外，第二高速資料傳輸介面141還可以是超低電壓差分信號（Sub Low Voltage Differential Signaling，Sub- LVDS）介面或移動產業處理器介面（Mobile Industry Processor Interface，MIPI）等其他類型的高速資料傳輸介面，本發明實施例對此不進行限制。

示例性的，如圖5所示，影像採集單元110可以藉由第二高速資料傳輸介面141與非同步資料處理器121連接，非同步資料處理器121與同步資料處理器122連接，影像採集單元110藉由第二高速資料傳輸介面141傳輸採集的雙模態影像訊號，雙模態影像訊號中的同步訊號藉由非同步資料處理器121傳輸至同步資料處理器122，可以避免雙模態影像訊號中的同步訊號格式與同步資料處理器122能夠處理的訊號格式不相容的情況。

示例性的，影像融合單元130可以藉由第一高速資料傳輸介面140與非同步資料處理器121連接，非同步資料處理器121與同步資料處理器122連接，非同步資料處理器121對雙模態影像訊號中的非同步訊號進行預處理，同步資料處理器122將雙模態影像訊號中的同步訊號進行預處理，預處理後的同步訊號和非同步訊號均可藉由非同步資料處理器121傳輸至影像融合單元130。

在一些實施例中，影像融合單元130還可以與非同步資料處理器121通訊連接，例如影像融合單元130與非同步資料處理器121藉由兩線式串列匯流排、通用非同步收發傳輸器、積體電路內置音訊匯流排和串列週邊介面中的任一種通訊連接，以使影像處理單元120藉由非同步資料處理器121配置影像融合單元130的參數。

如圖5所示，在一些實施例中，影像採集單元110包括影像感測器111，非同步資料處理器121與影像感測器111通訊連接，非同步資料處理器121還用於配置影像感測器111的參數。

其中，影像感測器111可以為雙模態影像感測器。示例性的，影像感測器111包括視錐細胞電路和視桿細胞電路；視錐細胞電路用於採集影像色彩訊號，以形成雙模態影像訊號中的同步訊號，視桿細胞電路用於採集影像灰度梯度訊號，以形成雙模態影像訊號中的非同步訊號。

非同步資料處理器121與影像感測器111通訊連接，在影像感測器111獲取雙模態影像訊號之前，非同步資料處理器121傳輸影像感測器111的參數配置指令至影像感測器111，用於配置影像感測器111的參數，使影像感測器111在獲取雙模態影像訊號時能夠正常工作。示例性地，影像感測器111的參數包括視錐細胞電路中的AD（模數轉換）掃描範圍、重定時間長度、快門速度與取樣速度，以及視桿細胞電路中的DA電流輸出範圍和速度。藉由設置視錐細胞電路中的AD掃描範圍、重定時間長度、快門速度與取樣速度，可以設置影像色彩訊號的採集精度，使得視錐細胞電路合理的採集影像色彩訊號，避免影像訊號失真。藉由設置視桿細胞電路中的DA（數模轉換）電流輸出範圍和速度，可以設置視桿細胞電路採集影像灰度梯度訊號的頻率和動態範圍，以使視桿細胞電路採集的影像灰度梯度訊號滿足不同應用場景中的拍攝要求。

在非同步資料處理器121配置影像感測器111的參數之後，影像感測器111開始工作，並採集影像獲取雙模態影像訊號，獲取的雙模態影像訊號藉由第二高速資料傳輸介面141傳輸至非同步資料處理器121，非同步資料處理器121即時接收雙模態影像訊號，然後對雙模態影像訊號中的非同步訊號進行預處理，並將雙模態影像訊號中的同步訊號傳輸至同步資料處理器122，同步資料處理器122對同步訊號進行預處理，實現了影像處理單元120同時處理雙模態影像訊號中的同步訊號和非同步訊號，提高了影像處理單元120處理雙模態影像訊號的效率，進而提高了雙模態訊號處理系統的效率和即時性。

需要說明的是，影像感測器111中的視錐細胞電路和視桿細胞電路的輸出均可以為同步模式，即視錐細胞電路採集的影像色彩訊號以同步模式輸出，即為同步訊號。視桿細胞電路採集的影像灰度梯度訊號以同步模式輸出，此時非同步資料處理器121可以對視桿細胞電路輸出的影像灰度梯度訊號編碼為非同步訊號，並對非同步訊號進行處理，而將視錐細胞電路採集的影像色彩訊號作為同步訊號傳輸至同步資料處理器122進行處理。在其他實施例中，視桿細胞電路的輸出還可以為非同步模式，即視桿細胞電路採集的影像灰度梯度訊號以非同步模式輸出，即為非同步訊號。

在一些實施例中，本發明上述實施例僅針對影像採集單元110包括影像感測器111，影像感測器111為雙模態影像感測器的實施方式進行了示意性說明，即影像感測器111包括視錐細胞電路和視桿細胞電路，視錐細胞電路用於採集影像色彩訊號，形成雙模態影像訊號中的同步訊號，視桿細胞電路用於採集影像灰度梯度訊號，形成雙模態影像訊號中的非同步訊號。在本發明的其他實施方式中，影像採集單元110也可以包括第一影像感測器和第二影像感測器，第一影像感測器包括視錐細胞電路，用於採集影像色彩訊號，形成同步訊號，第二影像感測器包括視桿細胞電路，用於採集影像灰度梯度訊號，形成非同步訊號，第一影像感測器輸出的同步訊號和第二影像感測器輸出的非同步訊號形成影像採集單元110的雙模態影像訊號。

在一些實施例中，第一影像感測器可以是主要對顏色資訊進行感知的相機，例如主動像素感測器，第二影像感測器可以是主要對光強的變化進行感知的感測器，例如動態視覺感測器。

繼續參考圖5，在一些實施例中，非同步資料處理器121與影像感測器111藉由兩線式串列匯流排或通用非同步收發傳輸器通訊連接。

其中，兩線式串列匯流排（Inter-Integrated Circuit，IIC）具有簡單和有效的特點，非同步資料處理器121與影像感測器111藉由IIC通訊連接，可以在滿足資料傳輸要求的基礎上簡化連接的複雜度和降低成本。同理，通用非同步收發傳輸器（Universal Asynchronous Receiver/Transmitter，UART）可以實現非同步資料處理器121與影像感測器111的非同步通訊。

在一些實施例中，視桿細胞電路包括興奮性視桿細胞電路和抑制性視桿細胞電路；興奮性視桿細胞電路採集的影像灰度梯度訊號和抑制性視桿細胞電路採集的影像灰度梯度訊號之差作為視桿細胞電路的影像灰度梯度訊號。

其中，一個視桿細胞電路可以包括一個興奮性視桿細胞電路和多個抑制性視桿細胞電路。抑制性視桿細胞電路可以設置於興奮性視桿細胞電路的四周，當視桿細胞電路工作時，興奮性視桿細胞電路產生的光電流與抑制性視桿細胞電路產生的光電流作差後由電流DA量化，從而形成視桿細胞電路的影像灰度梯度訊號。

需要說明的是，在形成視桿細胞電路的影像灰度梯度訊號時，可以根據外界光強適應性調整興奮性視桿細胞電路產生的光電流與任意個抑制性視桿細胞電路產生的光電流作差。示例性地，當外界光強比較強時，例如太陽直射的情況，可以使得興奮性視桿細胞電路產生的光電流與所有抑制性視桿細胞電路產生的光電流作差，使得視桿細胞電路可以適應光強比較強的場景。當外界光強比較弱時，例如晚上的情況，可以使得興奮性視桿細胞電路產生的光電流與零個抑制性視桿細胞電路產生的光電流作差，即視桿細胞電路的影像灰度梯度訊號由興奮性視桿細胞電路產生的光電流確定，使得視桿細胞電路可以適應光強比較弱的場景。當外界光強適中時，例如多雲或陰天的情況，可以使得興奮性視桿細胞電路產生的光電流與任意個抑制性視桿細胞電路產生的光電流作差，此時興奮性視桿細胞電路產生光電流即可使視桿細胞電路適應光強適中的場景。

圖6是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖，如圖6所示，在一些實施例中，影像採集單元110還包括前期資料處理單元112；前期資料處理單元112與影像感測器111連接，用於對雙模態影像訊號進行打包和壓縮。

其中，前期資料處理單元112可以接收影像感測器111輸出的雙模態影像訊號，對雙模態影像訊號進行前期資料處理，例如可以對雙模態影像訊號進行初步的打包和壓縮，然後傳輸至非同步資料處理器121，非同步資料處理器121再對前期資料處理後的雙模態影像訊號進一步進行資料處理，使得非同步資料處理器121輸出的非同步訊號滿足影像顯示的非同步訊號格式。

另外，在一些實施例中，影像採集單元110還可以包括電源模組，電源模組為影像採集單元110上的其他單元提供電源。

圖7是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖，如圖7所示，在一些實施例中，非同步資料處理器121包括視桿（Rods）資料處理器1211；視桿資料處理器1211用於對雙模態影像訊號中的非同步訊號進行壓縮處理，並編碼為非同步模式，形成位元元址形式事件訊號。

其中，影像感測器111中的視桿細胞電路採集的影像灰度梯度訊號為雙模態影像訊號中的非同步訊號。在雙模態影像訊號傳輸至非同步資料處理器121時，視桿資料處理器1211對視桿細胞電路採集的影像灰度梯度訊號進行大幅度壓縮，然後將其編碼為非同步模式，形成位元元址形式事件訊號。位址形式事件訊號具體可以表示為（X，Y，P，T），其中，“X，Y”為事件位址，例如“X，Y”可體現影像灰度梯度訊號中的像素點位置，“P”為4值事件輸出，例如“P”可體現該像素點位置的影像灰度變化量，“T”為事件產生的時間，例如拍攝時間。由此可知，位址形式事件訊號中的資訊包括事件位址、事件輸出和事件產生的時間等特徵資訊，在後續的訊號處理過程中，影像處理單元120需要對視桿資料處理器1211輸出的位址形式事件訊號進行打包，得到影像融合單元130所需格式的訊號，影像融合單元130藉由脈衝神經網路處理子單元132以SNN編碼方式提取位元元址形式事件訊號中的特徵資訊，並將該資訊以特徵合併的方式加入到雙模態影像訊號中的同步訊號的特徵資訊中，然後以合併後的雙模態影像訊號的特徵顯示影像，使得影像能夠利用非同步訊號的離散型和稀疏性，提升了處理雙模態影像訊號的效率，同時可以實現在高速拍攝時保證影像的保真度。

另外，在一些實施例中，位址形式事件訊號還可以具有其他表示形式，示例性的，位址形式事件訊號還可以表示為（X，Y，P）、（X，Y，P，△T）、（X，Y，△P，T）或者（X，Y，△P，△T）等，其中，△T可為事件產生的時間差，例如兩個或若干個事件產生的時間差，△P可為事件輸出變化量，例如兩個或若干個事件之間的影像灰度變化量，不同的位址形式事件訊號可表示不同的特徵資訊。

繼續參考圖7，在一些實施例中，非同步資料處理器121還包括視錐（Cones）資料處理器1212；視錐資料處理器1212用於對雙模態影像訊號中的同步訊號進行以下處理中的至少一種：自動對焦、自動曝光和自動白平衡。

其中，自動對焦是利用物體光反射的原理，將反射的光被影像感測器111接收，藉由視錐資料處理器1212處理，帶動電動對焦裝置進行對焦。自動曝光是影像感測器111根據測光系統所測得的影像的曝光值，按照生產時所設定的快門及光圈曝光組合，自動地設定快門速度和光圈值。自動白平衡是影像感測器111根據其鏡頭和白平衡感測器的光線情況，自動探測出被攝物體的色溫值，以此判斷攝影條件，並選擇最接近的色調設置，由色溫校正電路加以校正，白平衡自動控制電路自動將白平衡調到合適的位置。

影像感測器111中的視錐細胞電路採集的影像色彩訊號為雙模態影像訊號中的同步訊號。當非同步資料處理器121包括視錐資料處理器1212時，非同步資料處理器121還可以用於處理雙模態影像訊號中的同步訊號。在雙模態影像訊號傳輸至非同步資料處理器121時，視錐資料處理器1212對視錐細胞電路採集的影像色彩訊號進行自動對焦、自動曝光和自動白平衡，從而提高雙模態影像訊號的保真度。在後續的訊號處理過程中，影像處理單元120需要對視錐資料處理器1212輸出的預處理後的同步影像色彩訊號進行打包，得到影像融合單元130所需格式的訊號，影像融合單元130藉由類比神經網路處理子單元131以ANN編碼方式提取影像色彩訊號中的特徵資訊，並將該資訊以特徵合併的方式加入到雙模態影像訊號中的非同步訊號的特徵資訊中，然後以合併後的雙模態影像訊號的特徵顯示影像，以在高速拍攝時保證影像的保真度。

另外，在一些實施例中，視錐資料處理器1212對視錐細胞電路採集的影像色彩訊號進行自動對焦、自動曝光和自動白平衡後，可以將處理後的影像參數回饋至影像感測器111，用於調節影像感測器111的曝光時間和鏡頭焦距等。

在一些實施例中，同步資料處理器122與非同步資料處理器121連接；同步資料處理器122還用於根據同步訊號配置非同步資料處理器121的參數。

其中，雙模態影像訊號中的同步訊號可以藉由非同步資料處理器傳輸至同步資料處理器，同步資料處理器對同步訊號進行處理。在同步資料處理器接收到同步訊號後，同步資料處理器還可以根據同步訊號確定雙模態影像訊號的預測輸出範圍，然後根據預測輸出範圍回饋調節非同步資料處理器的參數，使非同步資料處理器根據設定的參數調節影像感測器111的曝光時間和鏡頭焦距。

在本發明的一些實施方式中，影像處理單元120的非同步資料處理器121可以包括現場可程式閘陣列；同步資料處理器122可以包括ARM處理器、中央處理器、專用積體電路、系統晶片和影像訊號處理器中的至少一種。

其中，現場可程式閘陣列（Field－Programmable Gate Array，FPGA）具有靈活的邏輯的單元，同時具有高集成度和高程式設計靈活度的特點，可以縮短設計影像處理程式的時間。

其中，同步資料處理器主要進行類腦感知演算法的計算處理，可以使用各種處理器。示例性地，同步資料處理器可以為ARM處理器，其具有體積小、低功耗、低成本和高性能等特點。也可以為中央處理器（Central Processing Unit，CPU），CPU包含運算邏輯部件、寄存器部件和控制部件等，並具有處理指示、執行操作、控制時間、處理資料等功能，其功能齊全。同步資料處理器還可以為專用積體電路（application specific integrated circuit，ASIC），ASIC為特定使用者或特定電子系統製作的積體電路，因此可以根據同步資料處理器的功能定制積體電路。同步資料處理器還可以為系統晶片（System on Chip，SOC），SOC是一個有專用目標的積體電路，其中包含完整系統並有嵌入軟體的全部內容，可以根據同步資料處理器的功能形成SOC。同步資料處理器還可以為影像訊號處理器（Image Signal Processor，ISP），ISP可以對影像感測器輸出的訊號進行處理，以匹配不同廠商的影像感測器。

需要說明的是，在其他實施例中，同步資料處理器還可以接收非同步資料處理器形成的位址形式事件訊號，並提取位址形式事件訊號中的特徵資訊以合併的方式加入到同步訊號的特徵中，實現同步訊號和非同步訊號的融合，使得雙模態訊號處理系統能夠利用非同步訊號的離散型和稀疏性，提升了處理雙模態影像訊號的效率，同時可以實現在高速拍攝時保證影像的保真度。

圖8是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖，如圖8所示，在一些實施例中，影像處理單元120還包括儲存模組123；儲存模組123用於緩存雙模態影像訊號。

其中，儲存模組123用於提供儲存空間，儲存雙模態影像訊號。儲存模組123可以與影像感測器111連接，影像感測器111藉由第二高速資料傳輸介面141傳輸雙模態影像訊號至儲存模組123，儲存模組123緩存雙模態影像訊號。儲存模態123還與非同步資料處理器121連接，緩存的雙模態影像訊號傳輸至非同步資料處理器121，從而避免影像感測器111和非同步資料處理器121之間資料不同步造成資料缺失停頓或資料溢出現象。

另外，在其他實施例中，影像處理單元120還可以包括外接介面，用於與外部設備連接，可以實現影像處理單元120與外部設備的資料傳輸。示例性地，外接介面可以為通用序列匯流排（Universal Serial Bus，USB）介面，例如USB1.0、USB2.0或USB3.0介面，外接介面也可以為Ethernet介面。

圖9是本發明實施例提供的一種雙模態訊號處理方法的流程示意圖，本發明實施例還提供了一種雙模態訊號處理方法，該方法可以由本發明實施例所提供的雙模態訊號處理系統執行，用於對雙模態影像訊號進行訊號處理。如圖9所示，該方法具體包括：步驟S10和步驟S20。

步驟S10、藉由影像採集單元獲取雙模態影像訊號。

步驟S20、藉由影像處理單元同時對雙模態影像訊號中的同步訊號和非同步訊號進行預處理。

其中，影像處理單元包括同步資料處理器和非同步資料處理器，非同步資料處理器用於對雙模態影像訊號中的非同步訊號進行預處理，同時同步資料處理器用於對雙模態影像訊號中的同步訊號進行預處理。

圖10是本發明實施例提供的另一種雙模態訊號處理方法的流程示意圖，如圖10所示，在一些實施例中，在藉由影像處理單元同時對雙模態影像訊號中的同步訊號和非同步訊號進行預處理的步驟，即步驟S20之後，該方法還包括步驟S30。

步驟S30、藉由影像融合單元將經影像處理單元預處理後的雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合。

其中，雙模態影像訊號包括同步訊號和非同步訊號。同步訊號可以為影像色彩訊號，非同步訊號可以為影像灰度梯度訊號，藉由影像處理單元同時對雙模態影像訊號中的同步訊號和非同步訊號進行預處理，從而可以提高影像處理單元處理雙模態影像訊號的效率，進而提高雙模態訊號處理系統的效率和即時性。藉由影像融合單元對預處理後的雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合，例如藉由影像融合單元將預處理後的同步訊號中的影像色彩資訊，以特徵資訊合併的方式加入到非同步訊號中的影像灰度梯度資訊中，以得到兼具影像色彩資訊和影像灰度梯度資訊的影像訊號，實現了同步影像色彩訊號和非同步影像灰度梯度訊號的異構融合，使得雙模態訊號處理系統能夠支援豐富的空間、時間和時空關係的表達，使得雙模態訊號處理系統的應用範圍更加廣泛。

在一些實施例中，影像處理單元與影像融合單元通訊連接，在藉由影像融合單元將經影像處理單元預處理後的雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合的步驟，即步驟S20之前，該方法還包括：藉由影像處理單元配置影像融合單元的參數。

其中，在影像處理單元中預先寫入影像融合單元的設定檔，在影像融合單元將雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合之前，藉由影像處理單元配置影像融合單元的參數，使得影像融合單元根據參數配置將雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合。

示例性的，影像融合單元的參數包括同步訊號中的影像色彩資訊和非同步訊號中的影像灰度梯度資訊的特徵融合權重，即影像融合單元將同步訊號和非同步訊號進行特徵融合時，影像色彩資訊和影像灰度梯度資訊這兩個特徵資訊分量各自在特徵融合過程中的占比。藉由設置影像色彩資訊和影像灰度梯度資訊的特徵融合權重，可以設置特徵融合後的影像訊號的特性，以滿足不同應用場景中的拍攝需求。

在一些實施例中，在藉由影像融合單元將經影像處理單元預處理後的雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合之前，在步驟S20中，預處理包括：將雙模態影像訊號中的同步訊號和非同步訊號進行格式轉換，以得到滿足影像融合單元進行特徵融合所需格式的雙模態影像訊號。

示例性的，影像融合單元對雙模態影像訊號中的同步訊號和非同步訊號分別進行編碼後再進行特徵融合，特徵融合所需格式的雙模態影像訊號，可以是影像融合單元對雙模態影像訊號中的同步訊號和非同步訊號進行編碼所需格式的雙模態影像訊號，藉由影像處理單元將預處理後的雙模態影像訊號中的同步訊號和非同步訊號進行打包，以滿足影像融合單元的編碼需求。

在一些實施例中，在藉由影像融合單元將經影像處理單元預處理後的雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合的步驟，即步驟S30之前，該方法還包括：藉由影像融合單元對經預處理後的雙模態影像訊號進行解碼，以獲得同步訊號中的影像色彩資訊和非同步訊號中的影像灰度梯度資訊。

在一些實施例中，影像採集單元獲取的雙模態影像訊號中的同步訊號包括影像色彩訊號，雙模態影像訊號中的非同步訊號包括影像灰度梯度訊號；影像融合單元包括類比神經網路處理子單元。藉由影像融合單元將經影像處理單元預處理後的雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合，包括：藉由類比神經網路處理子單元提取同步訊號中的影像色彩資訊。

其中，類比神經網路處理子單元為基於類比神經網路（Analog Neural Network，ANN）的編碼器，支援ANN編碼。示例性的，影像採集單元獲取的雙模態影像訊號中的同步訊號包括影像色彩訊號，類比神經網路處理子單元以ANN編碼方式提取同步訊號中的特徵資訊，即影像色彩資訊，例如雙模態影像訊號中的同步訊號可形成包括影像色彩資訊的色彩影像，類比神經網路處理子單元以ANN編碼方式提取一訊框或連續多訊框色彩影像中的影像色彩資訊。

在一些實施例中，影像融合單元還包括脈衝神經網路處理子單元；藉由影像融合單元將經影像處理單元預處理後的雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合，還包括：藉由脈衝神經網路處理子單元提取非同步訊號中的影像灰度梯度資訊。

其中，脈衝神經網路處理子單元為基於脈衝神經網路（Spiking Neural Network，SNN）的編碼器，支援SNN編碼。示例性的，影像採集單元獲取的雙模態影像訊號中的非同步訊號包括影像灰度梯度訊號，脈衝神經網路處理子單元以SNN編碼方式提取非同步訊號中的特徵資訊，即影像灰度梯度資訊，例如雙模態影像訊號中的非同步訊號可形成包括影像灰度梯度資訊的動態視覺脈衝訊號（事件訊號），脈衝神經網路處理子單元以SNN編碼方式提取相鄰訊框影像間的動態視覺脈衝訊號，以獲取影像灰度梯度資訊。

在一些實施例中，影像融合單元還包括特徵融合子單元，與類比神經網路處理子單元和脈衝神經網路處理子單元連接；影像處理單元還用於配置影像融合單元的參數，該參數可以包括特徵融合權重；藉由影像融合單元將雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合，還包括：藉由特徵融合子單元根據影像處理單元配置的參數，將同步訊號中的影像色彩資訊和非同步訊號中的影像灰度梯度資訊進行特徵融合。

示例性的，在影像融合單元接收到雙模態影像訊號時，類比神經網路處理子單元131以ANN編碼方式提取同步訊號中的特徵資訊，例如影像色彩資訊，同時脈衝神經網路處理子單元以SNN編碼方式提取非同步訊號中的特徵資訊，例如影像灰度梯度資訊，特徵融合子單元根據影像處理單元配置的特徵融合權重，將類比神經網路處理子單元提取的影像色彩資訊以特徵資訊合併的方式加入到脈衝神經網路處理子單元提取的影像灰度梯度資訊中，實現同步訊號和非同步訊號的特徵融合。本實施例的技術方案，能夠同時支援ANN編碼和SNN編碼的獨立部署，而且支援二者的混合編碼，具有計算儲存融合和去中心化的眾核架構，從而能夠支持豐富的空間、時間和時空關係的表達，有利於大規模異構融合神經網路的搭建。

注意，上述僅為本發明的較佳實施例及所運用技術原理。本領域技術人員會理解，本發明不限於這裡所述的特定實施例，對本領域技術人員來說能夠進行各種明顯的變化、重新調整和替代而不會脫離本發明的保護範圍。因此，雖然藉由以上實施例對本發明進行了較為詳細的說明，但是本發明不僅僅限於以上實施例，在不脫離本發明構思的情況下，還可以包括更多其他等效實施例，而本發明的範圍由所附的申請專利範圍決定。

IIC:兩線式串列匯流排 LVDS:低電壓差分信號 UART:通用非同步收發傳輸器 110:影像採集單元 111:影像感測器 112:前期資料處理單元 120:影像處理單元 121:非同步資料處理器 122:同步資料處理器 123:儲存模組 130:影像融合單元 131:類比神經網路處理子單元 132:脈衝神經網路處理子單元 133:特徵融合子單元 140:第一高速資料傳輸介面 141:第二高速資料傳輸介面 1211:視桿資料處理器 1212:視錐資料處理器 S10、S20、S30:步驟

為了更清楚地說明本發明實施例或先前技術中的技術方案，下面將對實施例或相關技術描述中所需要使用的附圖作簡單地介紹。顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。 圖1是本發明實施例提供的一種雙模態訊號處理系統的組成框圖。 圖2是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖。 圖3是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖。 圖4是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖。 圖5是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖。 圖6是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖。 圖7是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖。 圖8是本發明實施例提供的另一種雙模態訊號處理系統的組成框圖。 圖9是本發明實施例提供的一種雙模態訊號處理方法的流程示意圖。 圖10是本發明實施例提供的另一種雙模態訊號處理方法的流程示意圖。

110:影像採集單元

120:影像處理單元

121:非同步資料處理器

122:同步資料處理器

Claims (27)

1. 一種雙模態訊號處理系統，其特徵在於，該雙模態訊號處理系統包括：一影像採集單元，該影像採集單元用於獲取一雙模態影像訊號；一影像處理單元，與該影像採集單元連接，該影像處理單元用於同時對該雙模態影像訊號中的一同步訊號和一非同步訊號進行預處理，其中，該同步訊號為一影像色彩訊號，該非同步訊號為一影像灰度梯度訊號，該影像處理單元包括一同步資料處理器和一非同步資料處理器，該非同步資料處理器用於對該雙模態影像訊號中的非同步訊號進行預處理，同時該同步資料處理器用於對該雙模態影像訊號中的同步訊號進行預處理。
2. 如請求項1所述的雙模態訊號處理系統，其中，該雙模態訊號處理系統還包括：一影像融合單元，該影像融合單元與該影像處理單元連接，該影像融合單元用於將經預處理後的該雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合。
3. 如請求項2所述的雙模態訊號處理系統，其中，該影像處理單元用於藉由一第一高速資料傳輸介面向該影像融合單元傳輸經預處理後的該雙模態影像訊號。
4. 如請求項2所述的雙模態訊號處理系統，其中，該影像處理單元與該影像融合單元通訊連接，該影像處理單元與該影像融合單元藉由兩線式串列匯流排、通用非同步收發傳輸器、積體電路內置音訊匯流排和串列週邊介面中的任一種通訊連接。
5. 如請求項2所述的雙模態訊號處理系統，其中，該影像處理單元還用於配置該影像融合單元的參數，該影像融合單元的參數包括該同步訊號對應的特徵融合權重和該非同步訊號對應的特徵融合權重。
6. 如請求項2所述的雙模態訊號處理系統，其中，該預處理包括格式轉換，以得到滿足該影像融合單元進行特徵融合所需格式的該雙模態影像訊號。
7. 如請求項2所述的雙模態訊號處理系統，其中，該影像融合單元還用於對經預處理後的該雙模態影像訊號進行解碼，以獲得該同步訊號中的影像色彩資訊和非同步訊號中的影像灰度梯度資訊。
8. 如請求項7所述的雙模態訊號處理系統，其中，該影像融合單元包括一類比神經網路處理子單元、一脈衝神經網路處理子單元和一特徵融合子單元，該特徵融合子單元與該類比神經網路處理子單元和該脈衝神經網路處理子單元通訊連接；該類比神經網路處理子單元用於處理該同步訊號中的影像色彩資訊，該脈衝神經網路處理子單元用於處理該非同步訊號中的影像灰度梯度資訊；該特徵融合子單元用於根據該影像處理單元配置的參數，對經該類比神經網路處理子單元處理後的該影像色彩資訊和經該脈衝神經網路處理子單元處理後的該影像灰度梯度資訊進行特徵融合，該影像處理單元配置的參數包括該同步訊號對應的特徵融合權重和該非同步訊號對應的特徵融合權重。
9. 如請求項1所述的雙模態訊號處理系統，其中，該影像採集單元用於藉由一第二高速資料傳輸介面向該影像處理單元傳輸該雙模態影像訊號。
10. 如請求項1所述的雙模態訊號處理系統，其中，該影像採集單元包括一影像感測器，該非同步資料處理器與該影像感測器通訊連接，該非同步資料處理器還用於配置該影像感測器的參數。
11. 如請求項10所述的雙模態訊號處理系統，其中，該非同步資料處理器與該影像感測器藉由兩線式串列匯流排、通用非同步收發傳輸器、積體電路內置音訊匯流排和串列週邊介面中的任一種通訊連接。
12. 如請求項10所述的雙模態訊號處理系統，其中，該影像感測器包括一視錐細胞電路和一視桿細胞電路；該視錐細胞電路用於採集該影像色彩訊號，以形成該雙模態影像訊號中的同步訊號，該視桿細胞電路用於採集該影像灰度梯度訊號，以形成該雙模態影像訊號中的非同步訊號。
13. 如請求項12所述的雙模態訊號處理系統，其中，該影像感測器的參數包括該視錐細胞電路中的AD掃描範圍、重定時間長度、快門速度與取樣速度，以及該視桿細胞電路中的DA電流輸出範圍和速度。
14. 如請求項12所述的雙模態訊號處理系統，其中，該視桿細胞電路包括一興奮性視桿細胞電路和一抑制性視桿細胞電路；該興奮性視桿細胞電路採集的影像灰度梯度訊號和該抑制性視桿細胞電路採集的影像灰度梯度訊號之差作為該視桿細胞電路的影像灰度梯度訊號。
15. 如請求項10所述的雙模態訊號處理系統，其中，該影像採集單元還包括一前期資料處理單元；該前期資料處理單元與該影像感測器連接，用於對該雙模態影像訊號進行打包和壓縮。
16. 如請求項1所述的雙模態訊號處理系統，其中，該同步資料處理器與該非同步資料處理器連接；該同步資料處理器還用於根據該同步訊號配置該非同步資料處理器的參數。
17. 如請求項1所述的雙模態訊號處理系統，其中，該非同步資料處理器包括一視桿資料處理器；該視桿資料處理器用於對該雙模態影像訊號中的非同步訊號進行壓縮處理，並編碼為非同步模式，形成位元元址形式事件訊號。
18. 如請求項17所述的雙模態訊號處理系統，其中，該非同步資料處理器還包括一視錐資料處理器； 該視錐資料處理器用於對該雙模態影像訊號中的同步訊號進行以下處理中的至少一種：自動對焦、自動曝光和自動白平衡。
19. 如請求項1所述的雙模態訊號處理系統，其中，該影像處理單元還包括一儲存模組；該儲存模組用於緩存該雙模態影像訊號。
20. 如請求項1至請求項19中任一項所述的雙模態訊號處理系統，其中，該非同步資料處理器包括一現場可程式閘陣列。
21. 如請求項1至請求項19中任一項所述的雙模態訊號處理系統，其中，該同步資料處理器包括一ARM處理器、一中央處理器、一專用積體電路、一系統晶片和一影像訊號處理器中的至少一種。
22. 一種雙模態訊號處理方法，其特徵在於，包括：藉由影像採集單元獲取一雙模態影像訊號；藉由影像處理單元同時對該雙模態影像訊號中的一同步訊號和一非同步訊號進行預處理；其中，該同步訊號為一影像色彩訊號，該非同步訊號為一影像灰度梯度訊號，該影像處理單元包括一同步資料處理器和一非同步資料處理器，該非同步資料處理器用於對該雙模態影像訊號中的非同步訊號進行預處理，同時該同步資料處理器用於對該雙模態影像訊號中的同步訊號進行預處理。
23. 如請求項22所述的雙模態訊號處理方法，其中，在該藉由影像處理單元同時對該雙模態影像訊號中的同步訊號和非同步訊號進行預處理之後，該方法還包括：藉由影像融合單元將經該影像處理單元預處理後的該雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合。
24. 如請求項23所述的雙模態訊號處理方法，其中，該影像處理單元與該影像融合單元通訊連接，在該藉由影像融合單元將經該影像處理單元預處 理後的該雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合之前，該方法還包括：藉由該影像處理單元配置該影像融合單元的參數。
25. 如請求項24所述的雙模態訊號處理方法，其中，該預處理包括：將該雙模態影像訊號中的同步訊號和非同步訊號進行格式轉換，以得到滿足該影像融合單元進行特徵融合所需格式的該雙模態影像訊號。
26. 如請求項25所述的雙模態訊號融合方法，其中，在該藉由影像融合單元將經該影像處理單元預處理後的該雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合之前，該方法還包括：藉由該影像融合單元對經預處理後的該雙模態影像訊號進行解碼，以獲得該同步訊號中的該影像色彩資訊和該非同步訊號中的該影像灰度梯度資訊。
27. 如請求項26所述的雙模態訊號處理方法，其中，該影像融合單元還包括一類比神經網路處理子單元、一脈衝神經網路處理子單元和一特徵融合子單元，該特徵融合子單元與該類比神經網路處理子單元和該脈衝神經網路處理子單元通訊連接；該藉由影像融合單元將經該影像處理單元預處理後的該雙模態影像訊號中的同步訊號和非同步訊號進行特徵融合，包括：藉由該類比神經網路處理子單元處理解碼後獲得的該影像色彩資訊，並藉由該脈衝神經網路處理子單元處理解碼後獲得的該影像灰度梯度資訊；藉由該特徵融合子單元根據該影像處理單元配置的參數，將經該類比神經網路處理子單元處理後的該影像色彩資訊以及經該脈衝神經網路處理子單元處理後的該影像灰度梯度資訊進行特徵融合。

Images