TW202236843A - 固態攝像裝置及電子機器 - Google Patents

固態攝像裝置及電子機器 Download PDF

Info

Publication number
TW202236843A
TW202236843A TW110135233A TW110135233A TW202236843A TW 202236843 A TW202236843 A TW 202236843A TW 110135233 A TW110135233 A TW 110135233A TW 110135233 A TW110135233 A TW 110135233A TW 202236843 A TW202236843 A TW 202236843A
Authority
TW
Taiwan
Prior art keywords
event
data
event data
output
imaging device
Prior art date
Application number
TW110135233A
Other languages
English (en)
Inventor
宮崎高大
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202236843A publication Critical patent/TW202236843A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本揭示之目的在於抑制事件之檢測效率降低。 實施形態之固體攝像裝置具備：像素陣列部，其由分別檢測入射光之亮度變化之複數個像素排列成2維格子狀；信號處理部，其產生包含檢測出亮度變化之1個以上之像素之位置資訊的第1事件資料；調整部，其調整上述第1事件資料之資料量而產生第2事件資料；及輸出部，其將上述第2事件資料輸出至外部；且上述調整部具備：複數個通路，其等以各不相同之方式調整上述第1事件資料之上述資料量而產生第2事件資料；上述輸出部將自上述複數個通路各者輸出之上述第2事件資料中之至少1個輸出至外部。

Description

固態攝像裝置及電子機器
本揭示係關於一種固體攝像裝置及電子機器。
於使用CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)等之固體攝像裝置中，提出一種將每像素之亮度變化作為事件即時檢測之非同步型之固體攝像元件(例如專利文獻1)。如此，於每像素檢測事件之固體攝像元件亦稱為EVS(Event-based Vision Sensor：基於事件之視覺感測器)或DVS(Dynamic Vision Sensor：動態視覺感測器)。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特表2017-535999號公報
[發明所欲解決之問題]
於EVS中，將每像素之事件之檢測作為特定形式之事件資料輸出至外部，但於一次檢測出多個事件之情形等時，有產生超出傳輸頻帶之資料量之事件資料之情形。如此，存在如下之問題，即，於產生超出傳輸頻帶之資料量之情形時，必須廢棄無法完全傳輸之事件資料，而導致事件之檢測效率降低。
因此，本揭示提出一種可抑制事件之檢測效率降低之固體攝像裝置及電子機器。 [解決問題之技術手段]
為解決上述問題，本揭示之一形態之固體攝像裝置具備：像素陣列部，其由分別檢測入射光之亮度變化之複數個像素排列成2維格子狀；信號處理部，其產生包含檢測出亮度變化之1個以上之像素之位置資訊的第1事件資料；調整部，其調整上述第1事件資料之資料量而產生第2事件資料；及輸出部，其將上述第2事件資料輸出至外部；且上述調整部具備：複數個通路，其等以各不相同之方式調整上述第1事件資料之上述資料量而產生第2事件資料；上述輸出部將自上述複數個通路各者輸出之上述第2事件資料中之至少1個輸出至外部。
以下，對本揭示之實施形態基於圖式詳細地進行說明。另，於以下實施形態中，藉由對相同之部位標註相同之符號而省略重複之說明。
又，根據以下所示之項目順序說明本揭示。 1.第1實施形態 1.1 系統構成例 1.2 EVS器件之概略構成例 1.3 單位像素之電路構成例 1.4 關於資料傳輸 1.5 事件信號處理電路之概略構成例 1.6 事件資料之例 1.7 編碼方式之例 1.7.1 第1編碼方式 1.7.2 第2編碼方式 1.7.3 第3編碼方式 1.7.4 第4編碼方式 1.7.5 第5編碼方式 1.8 信號處理之例 1.8.1 第1信號處理 1.8.2 第2信號處理 1.8.3 第3信號處理 1.9 訊框資料之輸出例 1.9.1 第1輸出例 1.9.2 第2輸出例 1.9.3 第3輸出例 1.9.4 第4輸出例 1.9.5 第5輸出例 1.10 匯總 2.第2實施形態 2.1 事件信號處理電路之概略構成例 2.2 匯總 2.3 變化例 3.硬體構成
1.第1實施形態 首先，對第1實施形態參考圖式詳細說明。
1.1 系統構成例 圖1係顯示搭載第1實施形態之固體攝像裝置之電子機器之概略構成例之模式圖，圖2係顯示第1實施形態之電子機器之系統構成例之方塊圖。
如圖1所示，本實施形態之電子機器1具備雷射光源1010、照射透鏡1030、攝像透鏡1040、作為固體攝像裝置之EVS器件100、及系統控制部1060。
雷射光源1010如圖2所示，例如由垂直共振器型面發光雷射(VCSEL：Vertical Cavity Surface Emitting Laser)1012、與驅動VCSEL1012之光源驅動部1011構成。但，不限定於VCSEL1012，亦可使用LED(Light Emitting Diode：發光二極體)等各種光源。又，雷射光源1010亦可為點光源、面光源、線光源之任一者。於面光源或線光源之情形時，雷射光源1010例如亦可具備將複數個點光源(例如VCSEL)排列成1維或2維之構成。另，於本實施形態中，雷射光源1010可出射例如紅外(IR：Infrared Radiation)光等與可見光之波長帶不同之波長帶之光。
照射透鏡1030配置於雷射光源1010之出射面側，將自雷射光源1010出射之光轉換為特定之擴散角之照射光。
攝像透鏡1040配置於EVS器件100之受光面側，將因入射光產生之像成像於EVS器件100之受光面。於入射光中，亦可包含自雷射光源1010出射且由被攝體901反射之反射光。
關於EVS器件100之細節稍後敘述，但如圖3所示，其係例如由檢測事件之像素(以下，稱為事件像素)排列成2維格子狀之受光部1022、與藉由驅動受光部1022而產生基於由事件像素檢測出之事件資料之訊框資料的感測器控制部1021構成。
系統控制部1060例如由處理器(CPU：Central Processing Unit(中央處理單元))構成，經由光源驅動部1011驅動VCSEL1012。又，系統控制部1060與對雷射光源1010之控制同步控制EVS器件100，藉此取得根據雷射光源1010之發光/消光而檢測之事件資料。
例如，將自雷射光源1010出射之照射光透過照射透鏡1030投影於被攝體(亦稱為測定對象物或物體)901。該投影之光由被攝體901反射。且，由被攝體901反射之光透過攝像透鏡1040入射至EVS器件100。EVS器件100接收由被攝體901反射之反射光產生事件資料，並基於產生之事件資料，產生1張圖像即訊框資料。將由EVS器件100產生之訊框資料供給至電子機器1之應用處理器1070。作為資訊處理裝置之應用處理器1070對自EVS器件100輸入之訊框資料執行圖像處理或辨識處理等特定處理。
1.2 EVS器件之概略構成例 接著，對EVS器件100之概略構成例進行說明。圖3係顯示本實施形態之EVS器件之概略構成例之方塊圖。如圖3所示，EVS器件100具備像素陣列部101、X仲裁器104A及Y仲裁器104B、事件信號處理電路103、系統控制電路105、及輸出介面(I/F)109。
像素陣列部101具備分別基於入射光之亮度變化而檢測事件之複數個事件像素20排列成2維格子狀之構成。另，於以下說明中，所謂列方向(亦稱為row方向)意指像素列之像素之排列方向(圖式中為橫向)，所謂行方向(亦稱為column方向)意指像素列之像素之排列方向(圖式中為縱向)。
各事件像素20於具備產生與入射光之亮度相應之電荷之光電轉換元件，並基於自光電轉換元件流出之光電流檢測入射光之亮度變化之情形時，將要求從自身讀取之請求輸出至X仲裁器104A及Y仲裁器104B，並根據X仲裁器104A及Y仲裁器104B之調停，輸出顯示檢測出事件之事件信號。
各事件像素20藉由於與入射光之亮度相應之光電流中是否產生了超過特定閾值之變化，而檢測事件之有無。例如，各事件像素20將亮度變化超過特定閾值(正事件)、或低於特定閾值(負事件)之情況作為事件檢測。
事件像素20於檢測出事件時，將要求表示事件產生之事件信號之輸出許可之請求分別輸出至X仲裁器104A及Y仲裁器104B。且，事件像素20於自X仲裁器104A及Y仲裁器104B各者接收到表示事件信號之輸出許可之應答之情形時，對事件信號處理電路103輸出事件信號。
X仲裁器104A及Y仲裁器104B調停要求自複數個事件像素20各者供給之事件信號之輸出之請求，並將基於該調停結果(許可/不許可事件信號之輸出)之應答、及重置事件檢測之重置信號發送至輸出請求之事件像素20。
事件信號處理電路103藉由對自事件像素20輸入之事件信號執行特定信號處理，而產生並輸出事件資料。
如上所述，由事件像素20產生之光電流之變化亦可視為入射於事件像素20之光電轉換部之光之光量變化(亮度變化)。因此，事件亦可稱為超過特定閾值之事件像素20之光量變化(亮度變化)。於表示事件產生之事件資料中，至少包含表示作為事件之光量變化所產生之事件像素20之位置的座標等之位置資訊。除位置資訊外，事件資料中亦可包含光量變化之極性。
關於在自事件像素20產生事件之時序輸出之事件資料之序列，只要將事件資料彼此之間隔維持於事件產生時之狀態，則事件資料可暗示性地包含表示事件產生之相對時刻之時間資訊。
但，若因將事件資料記憶於記憶體等，而無法將事件資料彼此之間隔維持於事件產生時之狀態，則丟失暗示性地包含於事件資料之時間資訊。因此，事件信號處理電路103亦可於無法將事件資料彼此之間隔維持於事件產生時之狀態之前，於事件資料包含時戳等表示事件產生之相對時刻之時間資訊。
(其他構成) 系統控制電路105係由產生各種時序信號之時序產生器等構成，且基於該時序產生器所產生之各種時序，進行X仲裁器104A、Y仲裁器104B、及事件信號處理電路103等之驅動控制。
輸出I/F109將自事件信號處理電路103以列單位輸出之事件資料依序輸出至處理裝置200。
1.3 單位像素之電路構成例 接著，對事件像素20之電路構成例進行說明。圖4係顯示第1實施形態之事件像素之概略構成例之電路圖。另，於圖4顯示1個比較器分時進行正事件之檢測及負事件之檢測之情形之構成例。
此處，事件中例如可包含顯示光電流之變化量超過上限閾值之旨意之正事件、與顯示該變化量低於下限閾值之旨意之負事件。該情形時，表示事件產生之事件資料例如可包含顯示事件產生之1位元、與顯示產生之事件之極性之1位元。另，關於事件像素20，既可設為具有僅對正事件進行檢測之功能之構成，亦可設為具有僅對負事件進行檢測之功能之構成。
如圖4所示，事件像素20例如具備光電轉換部PD、及位址事件檢測電路210。光電轉換部PD例如由光電二極體等構成，使藉由將入射光進行光電轉換而產生之電荷作為光電流I photo流出。流出之光電流I photo流入於位址事件檢測電路210。
位址事件檢測電路210具有受光電路212、記憶體電容213、比較器214、重置電路215、反相器216、及輸出電路217。
受光電路212例如由電流電壓轉換電路構成，將自光電轉換部PD流出之光電流I photo轉換成電壓V pr。此處，電壓V pr對光之強度(亮度)之關係通常為對數之關係。即，受光電路212將與照射於光電轉換部PD之受光面之光之強度對應之光電流I photo轉換成作為對數函數之電壓V pr。但，光電流I photo與電壓V pr之關係並非限於對數之關係者。
自受光電路212輸出之與光電流I photo相應之電壓V pr於經過記憶體電容213之後，作為電壓V diff成為比較器214之第1輸入即反轉(-)輸入。比較器214通常由差動對電晶體構成。比較器214將自系統控制電路105賦予之閾值電壓V b作為第2輸入即非反轉(+)輸入，分時進行正事件之檢測、及負事件之檢測。又，於正事件/負事件之檢測後，藉由重置電路215進行事件像素20之重置。
系統控制電路105作為閾值電壓V b，分時於檢測正事件之階段輸出電壓V on，於檢測負事件之階段輸出電壓V off，於進行重置之階段輸出電壓V reset。將電壓V reset設定為電壓V on與電壓V off之間之值，較佳為電壓V on與電壓V off之中間值。此處，「中間值」意指除嚴格之中間值之情形外，亦包含實質性之中間值之情形，容許存在設計上或製造上產生之各種偏差。
又，系統控制電路105對事件像素20，於檢測正事件之階段輸出接通(ON)選擇信號，於檢測負事件之階段輸出斷開(OFF)選擇信號，於進行重置之階段輸出全域重置信號(Global Reset)。對設置於反相器216與輸出電路217之間之選擇開關SW on賦予接通選擇信號作為其控制信號。對設置於比較器214與輸出電路217之間之選擇開關SW off賦予斷開選擇信號作為其控制信號。
比較器214於檢測正事件之階段，比較電壓V on與電壓V diff，於電壓V diff超過電壓V on時，將顯示光電流I photo之變化量超過上限閾值之旨意之正事件資訊On作為比較結果輸出。正事件資訊On於由反相器216予以反轉後，通過選擇開關SW on被供給至輸出電路217。
比較器214於檢測負事件之階段，比較電壓V off與電壓V diff，於電壓V diff低於電壓V off時，將顯示光電流I photo之變化量低於下限閾值之旨意之負事件資訊Off作為比較結果輸出。將負事件資訊Off通過選擇開關SW off供給至輸出電路217。
重置電路215為具有重置開關SW RS、2輸入或(OR)電路2151、及2輸入與(AND)電路2152之構成。重置開關SW RS連接於比較器214之反轉(-)輸入端子與輸出端子之間，隨著成為接通(閉合)狀態，而選擇性地將反轉輸入端子與輸出端子之間短路。
或電路2151將經過選擇開關SW on之正事件資訊On、及經過選擇開關SW off之負事件資訊Off作為2輸入。與電路2152將或電路2151之輸出信號作為一輸入，將自系統控制電路105賦予之全域重置信號作為另一輸入，檢測正事件資訊On或負事件資訊Off之任一者，於全域重置信號為作用狀態時，將重置開關SW RS設為接通(閉合)狀態。
如此，藉由與電路2152之輸出信號成為作用狀態，重置開關SW RS使比較器214之反轉輸入端子與輸出端子之間短路，而對事件像素20進行全域重置。藉此，僅對檢測出事件之事件像素20進行重置動作。
輸出電路217為具有負事件輸出電晶體NM 1、正事件輸出電晶體NM 2、及電流源電晶體NM 3之構成。負事件輸出電晶體NM 1於其閘極部，具有用以保持負事件資訊Off之記憶體(未圖示)。該記憶體由負事件輸出電晶體NM 1之閘極寄生電容構成。
與負事件輸出電晶體NM 1同樣，正事件輸出電晶體NM 2於其閘極部，具有用以保持正事件資訊On之記憶體(未圖示)。該記憶體由正事件輸出電晶體NM 2之閘極寄生電容構成。
於讀取階段，保持於負事件輸出電晶體NM 1之記憶體之負事件資訊Off、及保持於正事件輸出電晶體NM 2之記憶體之正事件資訊On藉由自系統控制電路105對電流源電晶體NM3之閘極電極賦予列選擇信號，而於像素陣列部101之每像素列，通過輸出列nRxOff及輸出列nRxOn被傳送至讀取電路130。讀取電路130例如為設置於事件信號處理電路103(參考圖3)內之電路。
如上所述，事件像素20為如下之構成，即，具有使用1個比較器214，於系統控制電路105之控制下，分時進行正事件之檢測、及負事件之檢測之事件檢測功能。
1.4 關於資料傳輸 於各像素產生之事件資料經由輸出I/F109自具備如以上之構成之EVS器件100輸出至外部，但存在如下之問題，即，於產生超出傳輸頻帶之資料量之事件資料之情形時，必須廢棄無法完全傳輸之事件資料，而導致事件之檢測效率降低。
又，作為以不超出傳輸頻帶之方式有效率地傳輸事件資料之方法，考慮壓縮事件資料之方法。對於事件資料之壓縮，可採用各種編碼方式，但由於編碼方式各者中存在不擅長之情景，故對在不擅長之情景產生之事件資料進行編碼之情形時，有時資料量會較壓縮前增加。
圖5係用以說明因編碼而資料量增加之情形之圖。於圖5中，(a)及(b)顯示未對自EVS器件輸出之1列(1 line)量之事件資料進行編碼時之資料量，(c)及(d)顯示對1列(1 line)量之事件資料進行編碼時之資料量。又，(a)及(c)顯示於1列檢測出之事件數較少之情形(1像素)，(b)及(d)顯示於1列檢測出之事件數較多之情形(所有像素)。
如圖5之(a)及(b)所示，於無編碼之情形時，1列量之事件資料在於1列檢測出之事件數較少之情形(a)與較多之情形(b)之兩者為相同資料量。另一方面，如(c)及(d)所示，於有編碼之情形時，於1列檢測出之事件數較少之情形(c)與無編碼之情形(a)比較可削減資料量，但事件數較多之情形(d)與無編碼之情形(b)比較，資料量增加。如此，於採用之編碼方式不擅長之情景中，存在藉由對事件資料進行編碼而資料量增加之情形。
於此種情形時，存在如下之問題，即，為了避免因無法完全傳輸編碼後之壓縮資料所致之感測器動作之失敗，而必須廢棄無法完全傳輸之事件資料，從而導致事件之檢測效率降低。
因此，於本實施形態中，以複數種方式削減事件資料之資料量，並經由輸出I/F109傳輸其中被削減至未超出傳輸頻帶之資料量之事件資料。藉此，由於可抑制產生無法完全傳輸之事件資料，故可抑制事件之檢測效率降低。
1.5 事件信號處理電路之概略構成例 例如於EVS器件100中之事件信號處理電路103中，執行事件資料之資料量之削減。圖6係顯示本實施形態之事件信號處理電路之概略構成例之方塊圖。如圖6所示，事件信號處理電路103具備信號處理部310、資料量調整部320、及選擇部330。
(信號處理部310) 信號處理部310藉由基於自像素陣列部101例如以列單位輸出之事件信號，產生包含檢測出事件之像素之位置資訊(x位址、y位址)、檢測出之事件之極性(p)、及顯示檢測出事件之時間之時戳(t)之事件資料(x, y, p, t)。另，EVS器件100中之X仲裁器104A許可以像素列單位輸出事件信號。該情形時，將事件信號自被許可輸出之像素列所屬之事件像素中藉由Y仲裁器104B許可輸出之1以上之像素行之事件像素，輸出至事件信號處理電路103。
(資料量調整部320) 資料量調整部320對自信號處理部310例如以列單位輸出之事件資料，分別使用複數種方式執行資料量之削減。此處，圖7顯示本實施形態之資料量調整部320之一例。
如圖7所示，資料量調整部320例如具備非壓縮部321、第1壓縮部322、第2壓縮部323、第1信號處理部324、及第2信號處理部325。即，本例之資料量調整部320以輸出初始之事件資料(以下，亦稱為非壓縮資料)、與藉由壓縮及/或信號處理而調整資料量之4種事件資料之合計5種事件資料之方式構成。另，資料量調整部320輸出之事件資料之種類不限定於5種，亦可為2種以上。
非壓縮部321例如由緩衝器等構成，直接輸出輸入之事件資料(以下，亦簡稱為輸入資料)。
第1壓縮部322為以第1編碼方式壓縮事件資料之壓縮部。第2壓縮部323為以與第1編碼方式不同之第2編碼方式壓縮事件資料之壓縮部。另，於第2編碼方式中亦可包含與第1編碼方式為相同編碼方式且其參數與第1編碼方式不同者。又，第1壓縮部322及第2壓縮部323可採用之編碼方式可為可使初始之事件資料復原之可逆之編碼方式，亦可為無法使初始之事件資料復原之非可逆之編碼方式。關於第1壓縮部322及第2壓縮部323可採用之編碼方式之例，於後述進行說明。
第1信號處理部324為藉由第1信號處理調整事件資料之資料量之信號處理部。第2信號處理部325為藉由與第1信號處理不同之第2信號處理調整事件資料之資料量之信號處理部。另，於第2信號處理中亦可包含與第1信號處理為相同信號處理且其參數與第1信號處理不同者。又，第1信號處理部324及第2信號處理部325可採用之信號處理可為可使初始之事件資料復原之可逆之信號處理，亦可為無法使初始之事件資料復原之非可逆之信號處理。關於第1信號處理部324及第2信號處理部325可採用之信號處理之例，於後述進行說明。
(選擇部330) 選擇部330選擇自資料量調整部320輸出之2種以上之事件資料中未超出輸出I/F109之傳輸頻帶之資料量之事件資料，並將選擇之事件資料輸出至輸出I/F109。例如，選擇部330亦可將自資料量調整部320輸出之2種以上之事件資料中資料量最小之事件資料輸出至輸出I/F109。
又，例如，選擇部330亦可於非壓縮之事件資料之資料量超出輸出I/F109之傳輸頻帶之情形時，將自第1壓縮部322及第2壓縮部323輸出之事件資料中資料量較小者輸出至輸出I/F109。再者，選擇部330亦可於自第1壓縮部322及第2壓縮部323輸出之事件資料之兩者超出輸出I/F109之傳輸頻帶之情形時，將自第1信號處理部324及第2信號處理部325輸出之事件資料中資料量較小者輸出至輸出I/F109。
此外，選擇部330亦可輸出經由外部所指定之通路之事件資料。例如，選擇部330可於自外部選擇非壓縮(或非壓縮部321)之情形時，輸出經由非壓縮部321之事件資料，亦可於自外部選擇壓縮(第1壓縮部322及第2壓縮部323之任一者)之情形時，經由選擇之編碼方式之壓縮部輸出壓縮之事件資料，又可於自外部選擇信號處理(第1信號處理部324及第2信號處理部325之任一者)之情形時，輸出由選擇之信號處理削減了資料量之資料(為方便說明，該信號處理結果亦稱為事件資料)。另，來自外部之指定例如可經由系統控制電路105(參考圖3)，亦可直接輸入。
又，選擇部330亦可將輸入之複數種事件資料中2種以上之事件資料輸出至輸出I/F。例如，選擇部330亦可將非壓縮之事件資料與經壓縮或信號處理之事件資料輸出至輸出I/F。又，亦可自外部指定2種以上之事件資料之輸出。
1.6 事件資料之例 接著，對自信號處理部310輸入至資料量調整部320之事件資料，列舉若干例進行說明。
(第1例) 圖8係顯示本實施形態之第1例之事件資料之圖。如圖8所示，於信號處理部310產生之事件資料可為包含顯示檢測出事件之事件像素20之像素陣列部101上之位置之x位址及y位址(x, y)、顯示檢測出之事件之極性(正事件或負事件)之極性資訊(p)、及顯示檢測出事件之時刻之時戳(t)之每像素之事件資料(x, y, p, t)。又，亦可根據事件產生之時間序列，依序將每像素之事件資料自信號處理部310輸入至資料量調整部320。
(第2例) 圖9係顯示本實施形態之第2例之事件資料之圖。如圖9所示，信號處理部310可產生根據事件像素20之排列映射於1訊框週期內各像素中檢測出之事件之數量之計數映像M1。另，於計數映像M1之產生中，可分開計數正事件與負事件，亦可無區分地計數正事件與負事件。
(第3例) 圖10係顯示本實施形態之第3例之事件資料之圖。如圖10所示，信號處理部310可基於在1訊框週期內自各像素輸出之事件信號，產生以2位元顯示各像素中檢測出了正事件與負事件之哪一者之圖像資料(以下，亦稱為訊框資料)M2。此時，關於於相同之訊框期間內檢測出正事件與負事件之兩者之像素，可基於最後檢測出之事件之極性決定相應像素之像素值。
(第4例) 圖11係顯示本實施形態之第4例之事件資料之圖。如圖11所示，信號處理部310可產生由1訊框週期內檢測出事件之事件像素20之位址(x, y)、與檢測出之事件之極性(p)構成之訊框資料M3。該情形時，由於存在所謂1訊框週期內之限制，故於各像素之像素值中亦可不包含時戳(t)。
1.7 編碼方式之例 接著，對可應用於上述之第1壓縮部322及第2壓縮部323之編碼方式，列舉若干例進行說明。另，以下，雖例示Hcomp編碼、掃描長度編碼、霍夫曼編碼、輕霍夫曼編碼、事件距離編碼、熵編碼，但不限定於該等，例如亦可採用ISSCC(IEEE(Institute of Electrical and Electronic Engineers：美國電機電子工程師學會) International Solid-State Circuits Conference：IEEE國際固態電路會議)2017 4.1之編碼方式、或ISSCC2020 5.10之編碼方式等各種編碼方式。又，於以下說明中，例示如下之情形，即，由16像素構成1列，並於1列中之開頭像素(左端之像素)檢測出正事件，於自開頭起第12號～第14號之像素檢測出負事件，而於除此以外之像素未檢測出事件。但，編碼(壓縮)對象之輸入資料不限定於1列量之事件資料，可對訊框資料等進行各種變化。
1.7.1 第1編碼方式 作為第1編碼方式，例示將事件資料轉換至以產生事件之像素之位址與事件之極性表現之資料行之Hcomp編碼。圖12～圖14係用以說明使用第1編碼方式(Hcomp編碼)之1列量之事件資料之編碼之圖。
如圖12所示，當將1列量之輸入資料輸入至採用Hcomp編碼之壓縮部3201時，自壓縮部3201輸出壓縮資料(以下，稱為輸出資料)，該壓縮資料係於開頭存儲顯示相應列之y位址‘y’，於其後存儲檢測出事件之像素之x位址‘x i’(i為0以上之整數)、與檢測出之事件之極性‘p i’之組(x i, p i)。
若將此應用於具體例進行說明，則開頭之y位址‘y’後續之值如圖13所示，為檢測出正事件之開頭像素之值(x 0, p 0)=(0, 0)、檢測出負事件之第12個之像素之值(x 1, p 1)=(11, 1)、同樣檢測出負事件之第13個之像素之值(x 2, p 2)=(12, 1)、同樣檢測出負事件之第14個之像素之值(x 3, p 3)=(13, 1)。另，極性p=0顯示正事件，p=1顯示負事件。
因此，如圖14所示，自壓縮部3201輸出之輸出資料((y), (x 0, p 0), (x 1, p 1), (x 2, p 2), (x 3, p 3))為((y), (0, 0), (11, 1), (12, 1), (13, 1))之資料行。
1.7.2 第2編碼方式 作為第2編碼方式，例示將事件資料轉換至以資料之種類與其連續數表現之資料行之掃描長度編碼。圖15～圖17係用以說明使用第2編碼方式(掃描長度編碼)之1列量之事件資料之編碼之圖。
如圖15所示，當將1列量之輸入資料輸入至採用掃描長度編碼之壓縮部3202時，自壓縮部3202輸出壓縮資料(輸出資料)，該壓縮資料係於開頭存儲顯示相應列之y位址‘y’，於其後存儲顯示資料之種類(事件之有無及極性)之值‘d i’、與其值連續之數(連續數)‘c i’之組(d i, c i)。
若將此應用於具體例進行說明，則開頭之y位址‘y’後續之值如圖16所示，為顯示在開頭像素檢測出正事件之值(d 0, c 0)=(1, 1)、顯示在第2至第11個之連續10個像素未檢測出事件之值(d 1, c 1)=(0, 10)、顯示在第12至第14個之連續3個像素檢測出負事件之值(d 2, c 2)=(2, 3)、顯示在第15至第16個之連續2個像素未檢測出事件之值(d 3, c 3)=(0, 2)。另，資料之種類d=0顯示未檢測出事件，d=1顯示正事件，d=2顯示負事件。
因此，如圖17所示，自壓縮部3202輸出之輸出資料((y), (d 0, c 0), (d 1, c 1), (d 2, c 2), (d 3, c 3))為((y), (1, 1), (0, 11), (2, 3), (0, 2))之資料行。
1.7.3 第3編碼方式 作為第3編碼方式，例示將事件資料轉換至與事件之出現頻率相應之表現之資料行之霍夫曼編碼。圖18～圖20係用以說明使用第3編碼方式(霍夫曼編碼)之1列量之事件資料之編碼之圖。
如圖18所示，當將1列量之輸入資料輸入至採用霍夫曼編碼之壓縮部3203時，自壓縮部3203輸出壓縮資料(輸出資料)，該壓縮資料係於開頭存儲顯示相應列之y位址‘y’，於其後存儲與位元串建立對應之哈夫曼符號‘h i’，並於末尾存儲位元串與哈夫曼符號建立對應之頻率圖表。
若將此應用於具體例進行說明，則輸入資料(1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 2, 2, 0, 0)可分成出現頻率為3次之‘2’、出現頻率為1次之‘0000000000’、同樣出現頻率為1次之‘00’、及同樣出現頻率為1次之‘1’之位元串。另，‘0’顯示無事件，‘1’顯示正事件，‘2’顯示負事件。因此，如圖19所例示，例如根據對出現次數較多之位元串分配較小值之哈夫曼符號之規則，對位元串‘2’分配哈夫曼符號‘0’，對位元串‘0000000000’分配哈夫曼符號‘10(=2)’，對位元串‘00’分配哈夫曼符號‘110(=6)’，對位元串‘1’分配哈夫曼符號‘111(=7)’之情形時，輸入資料可表現為(7, 2, 0, 0, 0, 6)。
因此，如圖20所示，自壓縮部3203輸出之輸出資料((y), h 0, h 1, h 2, h 3, h 4)為((y), 7, 2, 0, 0, 0, 6,(頻率圖表))之資料行。
1.7.4 第4編碼方式 作為第4編碼方式，例示將事件資料轉換至以無事件為1位元、有事件為2位元表現之資料行之輕霍夫曼編碼。圖21～圖23係用以說明使用第4編碼方式(輕霍夫曼編碼)之1列量之事件資料之編碼之圖。
如圖21所示，當將1列量之輸入資料輸入至採用輕霍夫曼編碼之壓縮部3204時，自壓縮部3204輸出以無事件為1位元、有事件為2位元表現之輸出資料。
具體而言，如圖22所例示，若於輸入資料中，分別以2位元表現正事件為‘01’、負事件為‘10’、無事件為‘00’，則如圖23所例示，輸出資料轉換至以正事件為‘11’之2位元、負事件為‘10’之2位元、無事件為‘0’之1位元表現之位元串。其中，轉換至1位元之像素不限定於無事件之像素，例如亦可為於1列中出現頻率最高之事件之種類(正事件、負事件、或無事件)。
1.7.5 第5編碼方式 作為第5編碼方式，例示將事件資料轉換至以事件間之距離表現之資料行之事件距離編碼。圖24～圖26係用以說明使用第5編碼方式(事件距離編碼)之1列量之事件資料之編碼之圖。
如圖24所示，當將1列量之輸入資料輸入至採用事件距離編碼之壓縮部3205時，自壓縮部3205輸出壓縮資料(輸出資料)，該壓縮資料係於開頭存儲顯示相應列之y位址‘y’，於其後存儲與上一個事件之距離(位元數)‘l i’、事件之極性‘p i’、及相同極性之事件之連續數‘c i’之組(l i, p i, c i)。
若將此應用於具體例進行說明，則開頭之y位址‘y’後續之值如圖25所示，為顯示在開頭之一個像素檢測出正事件之值(l 0, p 0, c 0)=(0, 0, 1)、顯示在自開頭之正事件像素隔開10像素之第12至第14個之連續3個像素檢測出負事件之值(l1, p 1, c 1)=(10, 1, 3)。另，極性p=0顯示正事件，p=1顯示負事件。
因此，如圖26所示，自壓縮部3205輸出之輸出資料((y), (l 0, p 0, c 0), (l 1, p 1, c 1))為((y), (0, 0, 1), (10, 1, 3))之資料行。
1.7.6 第6編碼方式 作為第6編碼方式，例示將事件資料轉換至以事件間之距離與資料之圖案表現之資料行之熵編碼。圖27～圖29係用以說明使用第6編碼方式(熵編碼)之1列量之事件資料之編碼之圖。另，於本說明中，為理解而例示如下之情形，即，以16個像素構成1列，在1列中之自開頭起第1、4及6個之像素檢測出正事件，於自開頭起第5、7、12～14個之像素檢測出負事件，在除此以外之像素未檢測出事件。
如圖27所示，當將1列量之輸入資料輸入至採用熵編碼之壓縮部3206時，壓縮部3206輸出壓縮資料(輸出資料)，該壓縮資料係以特定規則將輸入資料之位元串組群化，並基於該組群，於開頭存儲顯示相應列之y位址‘y’，於其後存儲顯示與上一個同極性事件之距離之值‘l i’、事件之極性‘p i’、顯示組群內有無同極性事件之值‘s i’、及顯示組群內之同極性事件之排列圖案之值‘pt i’之組(l i, p i, s i, pt i)。
將此應用於具體例進行說明，如圖28所示，壓縮部3206將(a)所示之輸入資料例如(b)所示般分離為正事件(P)之事件行、與負事件(N)事件行。另，於(b)所示之正事件(P)之事件行與負事件(N)事件行中，分別以‘1’顯示有事件之像素。
接著，壓縮部3206對各事件行定義組群。於組群之定義中，將自開頭起最初檢測出事件之像素設定為起點，將自該像素起特定像素數之像素設定為1個組群。因此，對於圖28之(b)所示之正事件(P)之事件行，自左起依序將自正事件最先出現之第1個像素起特定像素數(本例中為3)之合計4個像素(即，第1～4個像素)定義為組群Gp0，將於該組群Gp0之後自正事件最先出現之第6個像素起特定像素數(=3)之合計4個像素(即，第6～9個像素)定義為組群Gp1。同樣，對於負事件(N)之事件行，自左起依序將自負事件最先出現之第5個像素起特定像素數(本例中為3)之合計4個像素(即，第5～8號像素)定義為組群Gn0，將於該組群Gn0之後自負事件最先出現之第12個像素起特定像素數(=3)之合計4個像素(即，第12～15個像素)定義為組群Gn1。
如此，當分別將正事件(P)之事件行與負事件(N)事件行組群化後，如圖28之(c)所示，壓縮部3206自正事件(P)之事件行中之組群Gp0，產生l 0=‘0’、p 0=‘0’、s 0=‘0’、pt 0=‘1001’之事件資料(l 0, p 0, s 0, pt 0)=(0, 0, 0, 1001)。又，壓縮部3206自組群Gp1產生l 1=‘2’、p 1=‘0’、s 1=‘1’之事件資料(l 1, p 1, s 1)=(2, 0, 1)。同樣，壓縮部3206自負事件(N)之事件行中之組群Gn0，產生l 2=‘5’、p 2=‘1’、s 2=‘0’、pt 2=‘1010’之事件資料(l 2, p 2, s 2, pt 2)=(5, 1, 0, 1010)。又，壓縮部3206自組群Gn1產生l i=‘4’、p i=‘1’、s i=‘0’、pt i=‘1110’之事件資料(l 3, p 3, s 3, pt 3)=(4, 1, 0, 1110)。
另，p i=‘0’顯示正事件，p i=‘1’顯示負事件。又，s i=‘0’顯示於相同組群內存在同極性事件之情況，s i=‘1’顯示於相同組群內不存在同極性事件之情況。且，於相同組群內不存在同極性事件之情形時，可如組群Gp1之事件資料般，省略顯示組群內之同極性事件之排列圖案之值‘pt i’。
因此，如圖29所示，自壓縮部3206輸出之輸出資料((y), (l 0, p 0, s 0, pt 0), (l 1, p 1, s 1), (l 2, p 2, s 2, pt 2), (l 3, p 3, s 3, pt 3))為((y), (0, 0, 0, 1001), (2, 0, 1), (5, 1, 0, 1010), (4, 1, 0, 1110))之資料行。
1.8 信號處理之例 接著，對可應用於上述之第1信號處理部324及第2信號處理部325之信號處理，列舉若干例進行說明。另，第1信號處理部324及第2信號處理部325各自執行之信號處理亦為調整事件資料之資料量之方式之例。又，以下，雖例示光流計算、特徵點擷取、ROI(Region Of Interest)擷取，但不限定於該等，亦可不應用物體辨識或雜訊降低等各種信號處理，且又可應用使用DNN(Deep Neural Network：深度神經網路)或CNN(Convolution Neural Network：卷積神經網路)或RNN(Recurrent Neural Network：循環神經網路)等機械學習之信號處理。
1.8.1 第1信號處理 作為第1信號處理，例示對自輸入之事件資料再構成之訊框資料執行光流計算之情形。圖30係用以說明第1信號處理(光流計算)之圖。
向採用光流計算之信號處理部3301輸入之輸入資料可為上述中使用圖8～圖11而例示之事件資料或訊框資料等其他事件資料之任一者。於本說明中，例示使用圖8例示之第1例之事件資料為輸入資料之情形。
如圖30所示，信號處理部3301由1訊框期間中輸入之事件資料再構成訊框資料，根據以前再構成之1以上之前訊框之訊框資料與此次再構成之現訊框之訊框資料，例如計算區塊單位之光流。於計算之光流中例如可包含各區塊之移動量或移動速度等。另，區塊可為1像素，亦可為M×N像素(M、N皆為1以上之整數)之區域。
如此，當計算區塊單位之光流時，信號處理部3301對構成訊框資料之各區塊，產生包含顯示區塊之位置之位址(x i, y i)、顯示區塊之x方向之光流之dis_x i、及顯示區塊之y方向之光流之dis_y i之輸出資料(x i, y i, dis_x i, dis_y i)。另，於輸出資料中亦可包含作為顯示現訊框之時刻之時間資訊之時戳‘t j’(j為1以上之整數)。
1.8.2 第2信號處理 作為第2信號處理，例示對自輸入之事件資料再構成之訊框資料執行特徵點擷取之情形。圖31係用以說明第2信號處理(特徵點擷取)之圖。
向採用特徵點擷取之信號處理部3302輸入之輸入資料與採用光流計算之第1信號處理同樣，可為上述中使用圖8～圖11而例示之事件資料或訊框資料等其他事件資料之任一者。於本說明中，例示使用圖8例示之第1例之事件資料為輸入資料之情形。
如圖31所示，信號處理部3302由1訊框期間中輸入之事件資料再構成訊框資料，並對再構成之訊框資料執行擷取特徵點之處理。且，信號處理部3302產生包含顯示擷取之特徵點之位置之位址(x i, y i)之輸出資料(x i, y i)。另，於輸出資料中亦可包含作為顯示現訊框之時刻之時間資訊之時戳‘t j’。
1.8.3 第3信號處理 作為第3信號處理，例示對自輸入之事件資料再構成之訊框資料執行ROI擷取之情形。圖32係用以說明第3信號處理(ROI擷取)之圖。
向採用ROI擷取之信號處理部3303輸入之輸入資料與上述之第1及第2信號處理同樣，可為上述中使用圖8～圖11而例示之事件資料或訊框資料等其他事件資料之任一者。於本說明中，例示使用圖8例示之第1例之事件資料為輸入資料之情形。
如圖32所示，信號處理部3303由1訊框期間中輸入之事件資料再構成訊框資料，並對再構成之訊框資料執行擷取ROI之處理。且，信號處理部3302產生包含顯示擷取之ROI之起點位置之位址(x_sta i, y_sta i)、與顯示終點位置之位址(x_end i, y_end i)之輸出資料(x_sta i, x_end i, y_sta i, y_end i)。另，於輸出資料中亦可包含作為顯示現訊框之時刻之時間資訊之時戳‘t j’。
又，信號處理部3303除顯示如上述般算出之ROI之位置之輸出資料外，或代替顯示ROI之位置之輸出資料，如圖33所示，亦可輸出自訊框資料作為ROI而截取之圖像資料G31。
1.9 訊框資料之輸出例 接著，對輸出I/F109之訊框資料之輸出形態，列舉若干例進行說明。
對輸出I/F109，例如可採用MIPI(Mobile Industry Processor Interface：行動產業處理器介面) CSI(Camera Serial Interface：相機串列介面)-2(C-PHY、D-PHY等)或I3C(Improved Inter Integrated Circuits：改良內部積體電路)或ALPDP(Acquisition Law Professional Development Program：採購法專業發展計劃)等之介面規格。於採用該等介面規格之情形時，輸出I/F109可將資料量調整後之事件資料以訊框單位輸出至外部。因此，以下，對採用MIPI CSI-2時之訊框資料之輸出，列舉若干例進行說明。
1.9.1 第1輸出例 圖34係顯示第1輸出例之訊框資料之輸出形態之模式圖。如圖34所示，第1輸出例中，於輸出顯示訊框資料之開頭之訊框標頭FS、顯示各列資料之開頭之列標頭PH、顯示各列資料之末尾之列註腳PF、夾於列標頭PH與列註腳PF之間之列資料Event、及顯示訊框資料之末尾之訊框註腳FE之構成中，於訊框標頭FS與訊框註腳FE之間，包含構成訊框資料之所有列之列資料Event。
又，於各列資料Event中，除了構成各列之所有像素相關之事件資料(例如，正事件、負事件、或無事件)外，亦可包含顯示列之位置之y位址、或顯示該列資料為非壓縮之資料、還是為使用任一編碼方式壓縮之資料、還是為任一信號處理之處理結果的標記等。
但，如上所述，於本實施形態中，列資料Event為編碼後之壓縮資料。因此，亦可設為以下所例示之輸出形態。
1.9.2 第2輸出例 圖35係顯示第2輸出例之訊框資料之輸出形態之模式圖。如圖35所示，第2輸出例中，於與第1輸出例之輸出形態同樣之形態中，夾於列標頭PH與列註腳PF之間之列資料Event之資料量藉由資料量調整部320之處理而被削減。藉此，削減自輸出I/F109輸出之1訊框之資料量。
1.9.3 第3輸出例 圖36係顯示第3輸出例之訊框資料之輸出形態之模式圖。如圖36所示，第3輸出例中，於與第1輸出例之輸出形態同樣之形態中，關於未檢測出事件之列，省略列資料Event之輸出。藉此，削減自輸出I/F109輸出之1訊框之資料量。
1.9.4 第4輸出例 圖37係顯示第4輸出例之訊框資料之輸出形態之模式圖。如圖37所示，第4輸出例中，藉由將上述之第2輸出例與第3輸出例組合，而削減夾於列標頭PH與列註腳PF之間之列資料Event之資料量，且關於未檢測出事件之列，省略列資料Event之輸出。藉此，進一步削減自輸出I/F109輸出之1訊框之資料量。
1.9.5 第5輸出例 圖38係顯示第5輸出例之訊框資料之輸出形態之模式圖。於上述之第2輸出例及第4輸出例中，由於削減夾於列標頭PH與列註腳PF之間之列資料Event之資料量，故縮短1列量之資料之傳送時間。因此於第5例中，根據各列之資料傳送量將水平同步信號之輸出間隔設為可變。例如，於各列中，於列註腳PF之輸出完成之時序輸出水平同步信號。藉此，由於可縮短各列之傳送時間，故可縮短1訊框資料之傳送時間。另，當然於省略未檢測出事件之列相關之資料傳送之情形時，藉此進一步縮短傳送時間。
1.10 匯總 如以上所述，本實施形態具備如下之構成，即，藉由複數種方法(包含非壓縮)調整輸出對象即事件資料之資料量，可選擇性地輸出獲得之壓縮資料(包含非壓縮資料)中未超出傳輸頻帶之資料量之壓縮資料。藉此，由於可減少產生無法完全傳輸之事件資料之可能性，故可抑制因廢棄事件資料所致之事件檢測效率降低。
2.第2實施形態 接著，對第2實施形態，參照圖式詳細地進行說明。另，於以下說明中，關於與上述之實施形態同樣之構成，藉由引用其等而省略重複之說明。
本實施形態之電子機器及固體攝像裝置可與第1實施形態中使用圖1～圖4說明之電子機器1及固體攝像裝置(EVS器件100)同樣。但，於本實施形態中，將EVS器件100中之事件信號處理電路103置換為圖39所示之事件信號處理電路203。
2.1 事件信號處理電路之概略構成例 圖39係顯示本實施形態之事件信號處理電路之概略構成例之方塊圖。如圖39所示，事件信號處理電路203具備信號處理部310、情景判定部340、及資料量調整部320。信號處理部310及資料量調整部320例如可與第1實施形態之其等同樣。
(情景判定部340) 情景判定部340例如基於自信號處理部310輸入之事件資料判定當前之情景，並基於判定之情景，自資料量調整部320中選擇適於當前之情景之編碼方式(包含非壓縮)及/或信號處理(以下，亦稱為通路)。且，情景判定部340向選擇之1以上之通路(非壓縮部321、第1壓縮部322、第2壓縮部323、第1信號處理部324及第2信號處理部325之任一者以上)，輸入自信號處理部310輸入之事件資料。藉此，自輸入事件資料之通路向輸出I/F109，輸出藉由編碼或信號處理而產生之壓縮資料(包含非壓縮資料)。
於情景判定部340之情景判定中，例如可應用事件數解析演算法、著火率解析演算法、集束分析演算法、或使用機械學習之情景判定等。於事件數解析演算法中，例如根據於特定期間(例如1訊框期間)內檢測出之事件資料之數量判定當前之情景。於著火率解析演算法中，例如藉由使用概率模型解析事件之著火率，而判定當前之情景。於集束分析演算法中，例如藉由基於檢測出事件之像素之位址或事件之極性等將事件資料集束分類，並解析其結果，而判定當前之情景。於使用機械學習之情景判定中，例如藉由將輸入之事件資料輸入至學習完成模型，並評估其結果，而判定當前之情景。但，不限定於該等方法，亦可使用各種情景判定方法。
2.2 匯總 如上所述，於本實施形態中，於將事件資料進行編碼/信號處理之前，判定當前之情景，並向根據判定之情景推定之較佳之編碼方式(包含非壓縮)及/或信號處理輸入事件資料。藉此，由於可停止未使用之通路(非壓縮部321、第1壓縮部322、第2壓縮部323、第1信號處理部324及第2信號處理部325之任一者以上)之動作，故可抑制EVS器件100之消耗電力增加。
另，由於其他構成、動作及效果可與上述之實施形態同樣，故於此處省略詳細之說明。
2.3 變化例 另，如圖40所示，亦可將上述之第1實施形態之構成與第2實施形態之構成組合。該情形時，選擇部330可自經由藉由情景判定部340而選擇之2以上之通路各者輸入之2以上之壓縮資料(包含非壓縮資料)之中，將未超出傳輸頻帶之資料量之1以上之壓縮資料(包含非壓縮資料)輸出至輸出I/F109。
3.硬體構成 上述之實施形態及其變化例以及應用例之處理裝置200/600例如可藉由如圖41所示之構成之電腦1000而實現。圖41係顯示實現處理裝置200/600之功能之電腦1000之一例之硬體構成圖。電腦1000具有CPU(Central Processing Unit：中央處理單元)1100、RAM(Random Access Memory：隨機存取記憶體)1200、ROM(Read Only Memory：唯讀記憶體)1300、HDD(Hard Disk Drive：硬磁碟驅動器)1400、通訊介面1500、及輸入輸出介面1600。電腦1000之各部藉由通路1050連接。
CPU1100基於存儲於ROM1300或HDD1400之程式動作，進行各部之控制。例如，CPU1100將存儲於ROM1300或HDD1400之程式展開於RAM1200，執行與各種程式對應之處理。
ROM1300存儲電腦1000啟動時藉由CPU1100執行之BIOS(Basic Input Output System：基本輸出入系統)等之引導程式、或依存於電腦1000之硬體之程式等。
HDD1400為非暫時地記錄藉由CPU1100執行之程式、及藉由該程式而使用之資料等之電腦可讀取之記錄媒體。具體而言，HDD1400為記錄程式資料1450之一例即本揭示之投影控制程式之記錄媒體。
通訊介面1500係用以將電腦1000與外部網路1550(例如網際網路)連接之介面。例如，CPU1100經由通訊介面1500，自其他機器接收資料，或將CPU1100產生之資料發送至其他機器。
輸入輸出介面1600為包含上述之I/F部18之構成，且為用以將輸入輸出器件1650與電腦1000連接之介面。例如，CPU1100經由輸入輸出介面1600，自鍵盤或滑鼠等輸入器件接收資料。又，CPU1100經由輸入輸出介面1600，向顯示器或揚聲器或印表機等輸出器件發送資料。又，輸入輸出介面1600可作為讀取記錄於特定記錄媒體(media)之程式等之媒體介面發揮功能。媒體例如為DVD(Digital Versatile Disc：數位多功能光碟)、PD(Phase change rewritable Disk：相變化可重寫型光碟)等之光學記錄媒體、MO(Magneto-Optical disk：磁光碟)等之磁光記錄媒體、磁帶媒體、磁性記錄媒體、或半導體記憶體等。
例如，於電腦1000作為上述實施形態之處理裝置200/600發揮功能之情形時，電腦1000之CPU1100藉由執行負載於RAM1200上之程式，實現事件資料處理部202、RGB(Red、Green、Blue：紅綠藍)資料處理部402、ToF(Time of Flight：飛行時間)資料處理部502、物體辨識處理部204及顯示情報產生部205中之至少1個功能。又，於HDD1400存儲本揭示之程式等。另，CPU1100雖自HDD1400讀取程式資料1450並執行，但作為其他例，亦可經由外部網路1550，自其他裝置取得該等程式。
以上，雖已對本揭示之實施形態進行說明，但本揭示之技術性範圍並非直接限定於上述實施形態者，於不脫離本揭示之主旨之範圍內可進行各種變更。又，亦可適當組合跨及不同實施形態及變化例之構成要件。
又，本說明書所記載之各實施形態中之效果僅為例示而非限定者，亦可有其他效果。
另，本技術亦可採取如以下之構成。 (1) 一種固體攝像裝置，其具備： 像素陣列部，其由分別檢測入射光之亮度變化之複數個像素排列成2維格子狀； 信號處理部，其產生包含檢測出亮度變化之1個以上之像素之位置資訊的第1事件資料； 調整部，其調整上述第1事件資料之資料量而產生第2事件資料；及 輸出部，其將上述第2事件資料輸出至外部；且 上述調整部具備：複數個通路，其等以各不相同之方式調整上述第1事件資料之上述資料量而產生第2事件資料； 上述輸出部將自上述複數個通路各者輸出之上述第2事件資料中之至少1個輸出至外部。 (2) 如上述(1)記載之固體攝像裝置，其中 上述複數個通路包含藉由分別對上述第1事件資料進行編碼而產生上述第2事件資料之1個以上之第1通路。 (3) 如上述(2)記載之固體攝像裝置，其中 上述1個以上之第1通路包含使用Hcomp編碼、掃描長度編碼、霍夫曼編碼、輕霍夫曼編碼、事件距離編碼、及熵編碼中之至少一個對上述第1事件資料進行編碼之通路。 (4) 如上述(1)～(3)中任一項記載之固體攝像裝置，其中 上述複數個通路包含藉由分別對上述第1事件資料進行信號處理而產生上述第2事件資料之1個以上之第2通路。 (5) 如上述(4)記載之固體攝像裝置，其中 上述1個以上之第2通路包含使用光流計算、特徵點擷取、ROI(Region Of Interest)擷取中之至少一個對上述第1事件資料進行信號處理之通路。 (6) 如上述(1)～(5)中任一項記載之固體攝像裝置，其中 上述複數個通路包含直接輸出上述第1事件資料之第3通路。 (7) 如上述(1)～(6)中任一項記載之固體攝像裝置，其中 上述調整部將自上述信號處理部輸入之上述第1事件資料輸入至上述複數個通路各者，並將自上述複數個通路各者輸出之上述第2事件資料輸入至上述輸出部； 上述輸出部將自上述複數個通路各者輸出之上述第2事件資料中之1個以上輸出至外部。 (8) 如上述(7)記載之固體攝像裝置，其中 上述輸出部將自上述複數個通路各者輸出之上述第2事件資料中未超出傳輸頻帶之資料量之第2事件資料輸出至外部。 (9) 如上述(7)記載之固體攝像裝置，其中 上述輸出部將自上述複數個通路各者輸出之上述第2事件資料中資料量最小之第2事件資料輸出至外部。 (10) 如上述(1)～(6)中任一項記載之固體攝像裝置，其進而具備： 判定部，其基於上述第1事件資料判定情景；且 上述判定部以基於上述第1事件資料而判定之上述情景為基礎，向上述複數個通路中之至少1個通路輸入上述第1事件資料。 (11) 如上述(1)～(10)中任一項記載之固體攝像裝置，其中 上述輸出部將上述第2事件資料以訊框單位輸出至外部。 (12) 如上述(11)記載之固體攝像裝置，其中 上述輸出部將各列之資料長度經上述調整部調整後之訊框資料輸出至外部。 (13) 如上述(11)或(12)記載之固體攝像裝置，其中 上述輸出部將不包含不存在檢測出入射光之亮度變化之像素之列的列資料之訊框資料輸出至外部。 (14) 如上述(11)～(13)中任一項記載之固體攝像裝置，其中 上述輸出部每當各列之列資料之輸出結束時即輸出水平同步信號。 (15) 一種電子機器，其具備： 上述(1)～(14)中任一項記載之固體攝像裝置；及 資訊處理裝置，其處理自上述固體攝像裝置輸出之第2事件資料。
1:電子機器 20:事件像素 100:EVS器件(固體攝像裝置) 101:像素陣列部 103,203:事件信號處理電路 104A:X仲裁器 104B:Y仲裁器 105:系統控制電路 109:輸出I/F 130:讀取電路 210:位址事件檢測電路 212:受光電路 213:記憶體電容 214:比較器 215:重置電路 216:反相器 217:輸出電路 310:信號處理部 320:資料量調整部 321:非壓縮部 322:第1壓縮部 323:第2壓縮部 324:第1信號處理部 325:第2信號處理部 330:選擇部 340:情景判定部 901:被攝體 1000:電腦 1010:雷射光源 1011:光源驅動部 1012:VCSEL 1021:感測器控制部 1022:受光部 1030:照射透鏡 1040:攝像透鏡 1060:系統控制部 1070:應用處理器 1100:CPU 1200:RAM 1300:ROM 1400:HDD 1500:通訊介面 1550:外部網路 1600:輸入輸出介面 1650:輸入輸出器件 2151:或電路 2152:與電路 3201～3206:壓縮部 3301～3303:信號處理部 c i:連續數 d,d i:資料之種類 dis_x i:區塊之x方向之光流 dis_y i:區塊之y方向之光流 Event:列資料 FE:訊框註腳 FS:訊框標頭 G31:圖像資料 Gn0,Gn1,Gp0,Gp1:組群 h i:哈夫曼符號 I photo:光電流 l i:距離 M1:計數映像 M2:圖像資料 M3:訊框資料 N:負事件 NM1:負事件輸出電晶體 NM2:正事件輸出電晶體 NM3:電流源電晶體 nRxOff:輸出列 nRxOn:輸出列 Off:負事件資訊 On:正事件資訊 p,p i:極性 P:正事件 PD:光電轉換部 PF:列註腳 PH:列標頭 pt i:圖案 s i:同極性事件之有無 SW off:選擇開關 SW on:選擇開關 SW RS:重置開關 t,t j:時戳 V b:閾值電壓 V diff,V off,V on,V pr,V reset:電壓 x,x i,x_end i,x_sta i:x位址 y,y i,y_end i,y_sta i:y位址
圖1係顯示搭載第1實施形態之固體攝像裝置之電子機器之概略構成例之模式圖。 圖2係顯示第1實施形態之電子機器之系統構成例之方塊圖。 圖3係顯示第1實施形態之EVS器件之概略構成例之方塊圖。 圖4係顯示第1實施形態之事件像素之概略構成例之電路圖。 圖5係用以說明因編碼而資料量增加之情形之圖。 圖6係顯示第1實施形態之事件信號處理電路之概略構成例之方塊圖。 圖7係顯示第1實施形態之資料量調整部之一例之方塊圖。 圖8係顯示第1實施形態之第1例之事件資料之圖。 圖9係顯示第1實施形態之第2例之事件資料之圖。 圖10係顯示第1實施形態之第3例之事件資料之圖。 圖11係顯示第1實施形態之第4例之事件資料之圖。 圖12係用以說明使用第1實施形態之第1編碼方式(Hcomp編碼(Hcomp coding))之1列量之事件資料之編碼之圖(其1)。 圖13係用以說明使用第1實施形態之第1編碼方式(Hcomp編碼)之1列量之事件資料之編碼之圖(其2)。 圖14係用以說明使用第1實施形態之第1編碼方式(Hcomp編碼)之1列量之事件資料之編碼之圖(其3)。 圖15係用以說明使用第1實施形態之第2編碼方式(掃描長度編碼(Run Length coding))之1列量之事件資料之編碼之圖(其1)。 圖16係用以說明使用第1實施形態之第2編碼方式(掃描長度編碼)之1列量之事件資料之編碼之圖(其2)。 圖17係用以說明使用第1實施形態之第2編碼方式(掃描長度編碼)之1列量之事件資料之編碼之圖(其3)。 圖18係用以說明使用第1實施形態之第3編碼方式(霍夫曼編碼(Huffman coding))之1列量之事件資料之編碼之圖(其1)。 圖19係用以說明使用第1實施形態之第3編碼方式(霍夫曼編碼)之1列量之事件資料之編碼之圖(其2)。 圖20係用以說明使用第1實施形態之第3編碼方式(霍夫曼編碼)之1列量之事件資料之編碼之圖(其3)。 圖21係用以說明使用第1實施形態之第4編碼方式(輕霍夫曼編碼(Light Huffman coding))之1列量之事件資料之編碼之圖(其1)。 圖22係用以說明使用第1實施形態之第4編碼方式(輕霍夫曼編碼)之1列量之事件資料之編碼之圖(其2)。 圖23係用以說明使用第1實施形態之第4編碼方式(輕霍夫曼編碼)之1列量之事件資料之編碼之圖(其3)。 圖24係用以說明使用第1實施形態之第5編碼方式(事件距離編碼(Event Distance coding))之1列量之事件資料之編碼之圖(其1)。 圖25係用以說明使用第1實施形態之第5編碼方式(事件距離編碼)之1列量之事件資料之編碼之圖(其2)。 圖26係用以說明使用第1實施形態之第5編碼方式(事件距離編碼)之1列量之事件資料之編碼之圖(其3)。 圖27係用以說明使用第1實施形態之第6編碼方式(熵編碼(Entropy coding))之1列量之事件資料之編碼之圖(其1)。 圖28(a)-(c)係用以說明使用第1實施形態之第6編碼方式(熵編碼)之1列量之事件資料之編碼之圖(其2)。 圖29係用以說明使用第1實施形態之第6編碼方式(熵編碼)之1列量之事件資料之編碼之圖(其3)。 圖30係用以說明第1實施形態之第1信號處理(光流(Optical Flow)計算)之圖。 圖31係用以說明第1實施形態之第2信號處理(特徵點擷取)之圖。 圖32係用以說明第1實施形態之第3信號處理(ROI(Region Of Interest：感興趣區域)擷取)之圖。 圖33係顯示以第1實施形態之第3信號處理(ROI擷取)截取之圖像資料之一例之圖。 圖34係顯示第1實施形態之第1輸出例之訊框資料之輸出形態之模式圖。 圖35係顯示第1實施形態之第2輸出例之訊框資料之輸出形態之模式圖。 圖36係顯示第1實施形態之第3輸出例之訊框資料之輸出形態之模式圖。 圖37係顯示第1實施形態之第4輸出例之訊框資料之輸出形態之模式圖。 圖38係顯示第1實施形態之第5輸出例之訊框資料之輸出形態之模式圖。 圖39係顯示第2實施形態之事件信號處理電路之概略構成例之方塊圖。 圖40係顯示第2實施形態之變化例之事件信號處理電路之概略構成例之方塊圖。 圖41係顯示實現本揭示之資訊處理裝置之功能之電腦之一例之硬體構成圖。
103:事件信號處理電路
310:信號處理部
320:資料量調整部
321:非壓縮部
322:第1壓縮部
323:第2壓縮部
324:第1信號處理部
325:第2信號處理部
330:選擇部

Claims (15)

  1. 一種固體攝像裝置，其具備： 像素陣列部，其由分別檢測入射光之亮度變化之複數個像素排列成2維格子狀； 信號處理部，其產生包含檢測出亮度變化之1個以上之像素之位置資訊的第1事件資料； 調整部，其調整上述第1事件資料之資料量而產生第2事件資料；及 輸出部，其將上述第2事件資料輸出至外部；且 上述調整部具備：複數個通路，其等以各不相同之方式調整上述第1事件資料之上述資料量而產生第2事件資料； 上述輸出部將自上述複數個通路各者輸出之上述第2事件資料中之至少1個輸出至外部。
  2. 如請求項1之固體攝像裝置，其中 上述複數個通路包含藉由分別對上述第1事件資料進行編碼而產生上述第2事件資料之1個以上之第1通路。
  3. 如請求項2之固體攝像裝置，其中 上述1個以上之第1通路包含使用Hcomp編碼、掃描長度編碼、霍夫曼編碼、輕霍夫曼編碼、事件距離編碼、及熵編碼中之至少一個對上述第1事件資料進行編碼之通路。
  4. 如請求項1之固體攝像裝置，其中 上述複數個通路包含藉由分別對上述第1事件資料進行信號處理而產生上述第2事件資料之1個以上之第2通路。
  5. 如請求項4之固體攝像裝置，其中 上述1個以上之第2通路包含使用光流計算、特徵點擷取、ROI(Region Of Interest：感興趣區域)擷取中之至少一個對上述第1事件資料進行信號處理之通路。
  6. 如請求項1之固體攝像裝置，其中 上述複數個通路包含直接輸出上述第1事件資料之第3通路。
  7. 如請求項1之固體攝像裝置，其中 上述調整部將自上述信號處理部輸入之上述第1事件資料輸入至上述複數個通路各者，並將自上述複數個通路各者輸出之上述第2事件資料輸入至上述輸出部； 上述輸出部將自上述複數個通路各者輸出之上述第2事件資料中之1個以上輸出至外部。
  8. 如請求項7之固體攝像裝置，其中 上述輸出部將自上述複數個通路各者輸出之上述第2事件資料中未超出傳輸頻帶之資料量之第2事件資料輸出至外部。
  9. 如請求項7之固體攝像裝置，其中 上述輸出部將自上述複數個通路各者輸出之上述第2事件資料中資料量最小之第2事件資料輸出至外部。
  10. 如請求項1之固體攝像裝置，其進而具備： 判定部，其基於上述第1事件資料判定情景；且 上述判定部以基於上述第1事件資料而判定之上述情景為基礎，向上述複數個通路中之至少1個通路輸入上述第1事件資料。
  11. 如請求項1之固體攝像裝置，其中 上述輸出部將上述第2事件資料以訊框單位輸出至外部。
  12. 如請求項11之固體攝像裝置，其中 上述輸出部將各列之資料長度經上述調整部調整後之訊框資料輸出至外部。
  13. 如請求項11之固體攝像裝置，其中 上述輸出部將不包含不存在檢測出入射光之亮度變化之像素之列的列資料之訊框資料輸出至外部。
  14. 如請求項11之固體攝像裝置，其中 上述輸出部每當各列之列資料之輸出結束時即輸出水平同步信號。
  15. 一種電子機器，其具備： 如請求項1之固體攝像裝置；及 資訊處理裝置，其處理自上述固體攝像裝置輸出之第2事件資料。
TW110135233A 2020-10-30 2021-09-23 固態攝像裝置及電子機器 TW202236843A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-182095 2020-10-30
JP2020182095 2020-10-30

Publications (1)

Publication Number Publication Date
TW202236843A true TW202236843A (zh) 2022-09-16

Family

ID=81382543

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110135233A TW202236843A (zh) 2020-10-30 2021-09-23 固態攝像裝置及電子機器

Country Status (7)

Country Link
US (1) US20230403482A1 (zh)
EP (1) EP4240005A4 (zh)
JP (1) JPWO2022091826A1 (zh)
KR (1) KR20230098222A (zh)
CN (1) CN116349242A (zh)
TW (1) TW202236843A (zh)
WO (1) WO2022091826A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1A (en) 1836-07-13 John Ruggles Locomotive steam-engine for rail and other roads
JP2003116006A (ja) * 2001-10-05 2003-04-18 Canon Inc 画像符号化方法及び装置
JP3619250B2 (ja) * 2004-04-21 2005-02-09 キヤノン株式会社 カメラ一体型画像記録再生装置
US10855927B2 (en) * 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
WO2020027233A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
JP2022028982A (ja) * 2018-12-05 2022-02-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器
JP7398880B2 (ja) * 2019-01-31 2023-12-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置

Also Published As

Publication number Publication date
CN116349242A (zh) 2023-06-27
WO2022091826A1 (ja) 2022-05-05
EP4240005A4 (en) 2023-10-11
KR20230098222A (ko) 2023-07-03
EP4240005A1 (en) 2023-09-06
JPWO2022091826A1 (zh) 2022-05-05
US20230403482A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
US11070779B2 (en) YCBCR pulsed illumination scheme in a light deficient environment
US10917562B2 (en) Super resolution and color motion artifact correction in a pulsed color imaging system
EP3742389A1 (en) Predicting optimal values for parameters used in an operation of an image signal processor using machine learning
KR102278509B1 (ko) 광 부족 환경에서 연속된 비디오
US11869273B2 (en) Object recognition with removal of event as noise when the event is detected for a group of pixels exceeding a threshold
CN104253953B (zh) 摄像元件、摄像设备及其控制方法
US20210067679A1 (en) Event sensors with flicker analysis circuitry
US20210334992A1 (en) Sensor-based depth estimation
US11862053B2 (en) Display method based on pulse signals, apparatus, electronic device and medium
TW202236843A (zh) 固態攝像裝置及電子機器
WO2021084832A1 (ja) 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器
US7826667B2 (en) Apparatus for monitor, storage and back editing, retrieving of digitally stored surveillance images
JP2022063000A (ja) 撮像制御装置及び撮像装置
US10897628B2 (en) System and method for improved video operations
JPWO2017175802A1 (ja) 画像処理装置、電子機器、再生装置、再生プログラムおよび再生方法
US20200068153A1 (en) Image sensing system and electronic device
US20240040271A1 (en) Information processing device, information processing system, information processing method, and program
JP2020149304A (ja) 撮像装置および表情検出方法
JP2021019287A (ja) 撮像装置およびその制御方法
US20230386258A1 (en) Motion detection device using temporal difference and spatial difference of pixel data
WO2023181981A1 (ja) 撮像装置、撮像方法および撮像プログラム
CN109525848B (zh) 一种脉冲序列的压缩方法及装置
WO2024001970A1 (zh) 一种事件数据处理方法及相关设备
US20230095243A1 (en) Photoelectric conversion device, imaging device, control method, and storage medium
JP2012004984A (ja) 画像処理装置、画像処理方法、プログラム、及び電子装置