TWI831962B - 事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法 - Google Patents

事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法 Download PDF

Info

Publication number
TWI831962B
TWI831962B TW109113225A TW109113225A TWI831962B TW I831962 B TWI831962 B TW I831962B TW 109113225 A TW109113225 A TW 109113225A TW 109113225 A TW109113225 A TW 109113225A TW I831962 B TWI831962 B TW I831962B
Authority
TW
Taiwan
Prior art keywords
signal
time stamp
unit
detection
time
Prior art date
Application number
TW109113225A
Other languages
English (en)
Other versions
TW202101962A (zh
Inventor
北野伸
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202101962A publication Critical patent/TW202101962A/zh
Application granted granted Critical
Publication of TWI831962B publication Critical patent/TWI831962B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/51—Control of the gain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本發明之目的在於謀求提高非同步型固體攝像元件之攝像對象之辨識精度。本發明之事件檢測裝置具備：固體攝像元件、時間戳記信號產生部、及變更部，該固體攝像元件具有：複數個光電轉換元件，其等各自將入射光進行光電轉換而產生電信號；及位址事件檢測部，其輸出表示複數個光電轉換元件各者之電信號之變化量是否超過特定臨限值之檢測結果的檢測信號；該時間戳記信號產生部產生用於表示由位址事件檢測部檢測到檢測信號之時點之時間戳記信號；該變更部設置於時間戳記信號產生部，在位址事件之檢測信號之檢測頻度超過特定臨限值之情形下變更時間戳記信號之時間解析度。

Description

事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法
本發明係關於一種具有非同步型固體攝像元件之事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法。
自先前以來，與垂直同步信號等之同步信號同步地拍攝圖像資料(圖框)之同步型固體攝像元件被用於攝像裝置等中。在該一般性同步型固體攝像元件中，由於可僅就同步信號之每一週期(例如1/60秒)取得圖像資料，故在與交通或機器人等相關之領域中，難以與要求更高速之處理之情形對應。因而，業界曾提案就每一像素設置有就每一像素位址即時檢測該像素之光量超過臨限值之意旨而作為位址事件之檢測電路之非同步型固體攝像元件(例如，參照專利文獻1)。如此，就每一像素檢測位址事件之固體攝像元件被稱為DVS(Dynamic Vision Sensor，動態視覺感測器)。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特表2017-535999號公報
[發明所欲解決之問題]
在上述之非同步型固體攝像元件(亦即DVS)中，可遠比同步型固體攝像元件高速地產生並輸出資料。因而，例如，在交通領域中，可高速執行對人或障礙物進行圖像辨識之處理，而提高安全性。然而，非同步型固體攝像元件有相應於攝像對象之移動物體之移動速度而在辨識精度上產生差異之問題。
本發明之目的在於提供一種可謀求提高非同步型固體攝像元件之攝像對象之辨識精度之事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法。 [解決問題之技術手段]
本發明之事件檢測裝置具備：固體攝像元件、時間戳記信號產生部、及變更部，該固體攝像元件具有：複數個光電轉換元件，其等各自將入射光進行光電轉換而產生電信號；及檢測部，其輸出表示前述複數個光電轉換元件各者之前述電信號之變化量是否超過特定臨限值之檢測結果的檢測信號；該時間戳記信號產生部產生用於表示由前述檢測部檢測到前述檢測信號之時點之時間戳記信號；該變更部設置於前述時間戳記信號產生部，在特定條件成立之情形下變更前述時間戳記信號之時間解析度。
又，本發明之系統具備：辨識處理部，其辨識特定之物體；及事件檢測裝置，其具有：固體攝像元件、時間戳記信號產生部、及變更部；該固體攝像元件具有：複數個光電轉換元件，其等各自將入射光進行光電轉換而產生電信號；及檢測部，其輸出表示前述複數個光電轉換元件各者之前述電信號之變化量是否超過特定臨限值之檢測結果的檢測信號；該時間戳記信號產生部產生用於表示由前述檢測部檢測到前述檢測信號之時點之時間戳記信號；該變更部設置於前述時間戳記信號產生部，在特定條件成立之情形下變更前述時間戳記信號之時間解析度；且前述事件檢測裝置在前述辨識處理部成功辨識物體之情形下，判定為前述特定條件成立。
又，本發明之事件檢測方法以光電轉換元件對所入射之入射光進行光電轉換而產生電信號；以檢測部檢測前述電信號之變化量是否超過特定之臨限值並輸出檢測信號；以時間戳記信號產生部產生用於表示檢測到前述檢測信號之時點之時間戳記信號；且在特定條件成立之情形下，以設置於前述時間戳記信號產生部之變更部變更前述時間戳記信號之時間解析度。
以下，針對用於實施本發明之形態(以下稱為實施形態)進行說明。說明按照以下之順序進行。 1.第1實施形態(複數個像素共有位址事件檢測部之例) 2.第2實施形態(削減像素信號產生部，複數個像素共有位址事件檢測部之例) 3.第3實施形態(於各者設置有電容器之複數個像素共有位址事件檢測部之例) 4.第4實施形態(就每一像素配置位址事件檢測部之例) 5.第5實施形態(共有圖像信號產生部之像素數少於共有位址事件檢測部之像素數之例) 6.第6實施形態(基於位址事件之檢測頻度變更表示檢測到位址事件之時點之時間戳記信號之時間解析度之例) 7.第7實施形態(基於自外部裝置輸入之變更信號變更表示檢測到位址事件之時點之時間戳記信號之時間解析度之例) 8.第8實施形態(就像素區塊之每一行變更表示檢測到位址事件之時點之時間戳記信號之時間解析度之例) 9.第9實施形態(基於自辨識處理部輸入之變更信號變更表示檢測到位址事件之時點之時間戳記信號之時間解析度之例) 10.第10實施形態(基於自辨識處理部輸入之變更信號變更表示檢測到位址事件之時點之時間戳記信號之時間解析度之另一例) 11.對於移動體之應用例
＜1.第1實施形態＞ [攝像裝置之構成例] 圖1係顯示本發明之第1實施形態之攝像裝置100之一構成例的方塊圖。該攝像裝置100具備：攝像透鏡110、固體攝像元件200、記錄部120及控制部130。作為攝像裝置100可設想搭載於產業用機器人之相機、或車載相機等。
攝像透鏡110係將入射光集光並引導至固體攝像元件200者。固體攝像元件200係將入射光進行光電轉換且拍攝圖像資料者。該固體攝像元件200針對拍攝到之圖像資料，對圖像資料執行圖像辨識處理等之特定之信號處理，並將表示該處理結果及位址事件之檢測信號之經由資料信號線209輸出至記錄部120。針對檢測信號之產生方法於後文敘述。
記錄部120係記錄來自固體攝像元件200之資料者。控制部130係控制固體攝像元件200而拍攝圖像資料者。
[固體攝像元件之構成例] 圖2係顯示本發明之第1實施形態之固體攝像元件200之積層構造之一例的圖。該固體攝像元件200具有檢測晶片202、及積層於該檢測晶片202之受光晶片201。該等晶片經由導通孔等之連接部電性連接。此外，除導通孔以外，亦可藉由Cu-Cu接合或凸塊而連接。
圖3係顯示本發明之第1實施形態之固體攝像元件200之一構成例的方塊圖。該固體攝像元件200具備：驅動電路211、信號處理部212、仲裁器213、行ADC 220及像素陣列部300。
在像素陣列部300中呈二維格子狀排列有複數個像素。又，像素陣列部300被分割為各自包含特定數目之像素之複數個像素區塊。以下，將在水平方向排列之像素或像素區塊之集合稱為「列」，將在垂直於行之方向排列之像素或像素區塊之集合稱為「行」。
像素各者產生與光電流相應之電壓之類比信號而作為像素信號。又，像素區塊各者藉由光電流之變化量是否超過特定之臨限值，而檢測有無位址事件。而且，在位址事件發生時，像素區塊對仲裁器輸出請求。
驅動電路211係驅動像素各者而使像素信號輸出至行ADC 220者。
仲裁器213係調解來自各個像素區塊之請求，並基於調解結果將應答發送至像素區塊者。接收到應答之像素區塊將表示檢測結果之檢測信號供給至驅動電路211及信號處理部212。
行ADC 220係就像素區塊之每一行，將來自該行之類比之像素信號轉換為數位信號者。該行ADC 220將數位信號供給至信號處理部212。
信號處理部212係對來自行ADC 220之數位信號，執行CDS(Correlated Double Sampling，相關雙取樣)處理或圖像辨識處理等之特定之信號處理者。該信號處理部212將表示處理結果之資料與檢測信號經由信號線209供給至記錄部120。
[像素陣列部之構成例] 圖4係顯示本發明之第1實施形態之像素陣列部300之一構成例的方塊圖。像素陣列部300被分割為複數個像素區塊310。在像素區塊310各者中呈I列×J行(I及J為自然數)排列有複數個像素。
又，像素區塊310具備：像素信號產生部320、I列×J行之複數個受光部330、及位址事件檢測部400。像素區塊310內之複數個受光部330共有像素信號產生部320及位址事件檢測部400。而且，包含某一座標之受光部330、像素信號產生部320及位址事件檢測部400之電路作為該座標之像素而發揮功能。又，就像素區塊310之每一行配線有垂直信號線VSL。若將像素區塊310之行數設為m(m為自然數)，則排列有m條垂直信號線VSL。
受光部330係將入射光進行光電轉換而產生光電流者。該受光部330依照驅動電路211之控制，對像素信號產生部320及位址事件檢測部400之任一者供給光電流。
像素信號產生部320係產生與光電流相應之電壓之信號而作為像素信號SIG者。該像素信號產生部320將產生之像素信號SIG經由垂直信號線VSL供給至行ADC 220。
位址事件檢測部400係藉由來自受光部330各者之光電流之變化量是否超過特定之臨限值，而檢測有無位址事件者。該位址事件包含例如表示變化量超過上限之臨限值之意旨之導通事件、及表示該變化量低於下限之臨限值之意旨之斷開事件。又，位址事件之檢測信號包含例如表示導通事件之檢測結果之1位元、及表示斷開事件之檢測結果之1位元。此外，位址事件檢測部400亦可僅檢測導通事件。
在位址事件發生時，位址事件檢測部400將要求發送檢測信號之請求供給至仲裁器213。而後，在自仲裁器213接收到對請求之應答時，位址事件檢測部400將檢測信號供給至驅動電路211及信號處理部212。此外，位址事件檢測部400係檢測部之一例。
[像素區塊之構成例] 圖5係顯示本發明之第1實施形態之像素區塊310之一構成例的電路圖。在像素區塊310中，像素信號產生部320具備：重置電晶體321、放大電晶體322、選擇電晶體323及浮動擴散層324。複數個受光部330經由連接節點340共通連接於位址事件檢測部400。
又，受光部330各者具備：傳送電晶體331、OFG(Over Flow Gate，溢流閘)電晶體332及光電轉換元件333。若將像素區塊310內之像素數設為N(N為自然數)，則傳送電晶體331、OFG電晶體332及光電轉換元件333各者各配置N個。對像素區塊310內之第n(n為1至N之自然數)個傳送電晶體331，藉由驅動電路211而供給傳送信號TRGn。對第n個OFG電晶體332，藉由驅動電路211而供給控制信號OFGn。
又，作為重置電晶體321、放大電晶體322及選擇電晶體323，利用例如N型MOS(Metal-Oxide-Semiconductor，金屬氧化物半導體)電晶體。針對傳送電晶體331及OFG電晶體332，亦同樣地利用N型MOS電晶體。
又，光電轉換元件333各者配置於受光晶片201。光電轉換元件333以外之所有元件配置於檢測晶片202。
光電轉換元件333係將入射光進行光電轉換而產生電荷者。傳送電晶體331係依照傳送信號TRGn，自對應之光電轉換元件333朝浮動擴散層324傳送電荷者。OFG電晶體332係依照控制信號OFGn，將藉由對應之光電轉換元件333而產生之電信號供給至連接節點340者。此處，所供給之電信號為包含電荷之光電流。此外，各像素之包含傳送電晶體331及OFG電晶體332之電路係信號供給部之一例。
浮動擴散層324係蓄積電荷並產生與蓄積之電荷之量相應之電壓者。重置電晶體321係依照來自驅動電路211之重置信號將浮動擴散層324之電荷量初始化者。放大電晶體322係將浮動擴散層324之電壓放大者。選擇電晶體323係依照來自驅動電路211之選擇信號SEL，將經放大之電壓之信號作為像素信號SIG經由垂直信號線VSL輸出至行ADC 220者。
驅動電路211當由控制部130指示開始檢測位址事件時，藉由控制信號OFGn而驅動所有像素之OFG電晶體332，並供給光電流。藉此，對位址事件檢測部400供給像素區塊310內之所有受光部330之光電流之和之電流。
而且，當在某一像素區塊310中檢測到位址事件時，驅動電路211將該區塊之所有OFG電晶體332設為關斷狀態而停止對位址事件檢測部400供給光電流。其次，驅動電路211藉由傳送信號TRGn而依序驅動各個傳送電晶體331，將電荷傳動至浮動擴散層324。藉此，像素區塊310內之複數個像素各者之像素信號被依序輸出。
如此，固體攝像元件200僅將檢測到位址事件之像素區塊310之像素信號輸出至行ADC 220。藉此，與無關於有無位址事件均輸出所有像素之像素信號之情形比較，可降低固體攝像元件200之消耗電力、及圖像處理之處理量。
又，由於複數個像素共有位址事件檢測部400，故與就每一像素配置位址事件檢測部400之情形比較，可削減固體攝像元件200之電路規模。
[位址事件檢測部之構成例] 圖6係顯示本發明之第1實施形態之位址事件檢測部400之一構成例的方塊圖。該位址事件檢測部400具備：電流電壓轉換部410、緩衝器420、減法器430、量化器440及傳送部450。
電流電壓轉換部410係將來自對應之受光部330之光電流轉換為其對數之電壓信號者。該電流電壓轉換部410將電壓信號供給至緩衝器420。
緩衝器420係修正來自電流電壓轉換部410之電壓信號者。該緩衝器420將修正後之電壓信號輸出至減法器430。
減法器430係依照來自驅動電路211之行驅動信號，使來自緩衝器420之電壓信號之位準降低者。該減法器430將降低後之電壓信號供給至量化器440。
量化器440係將來自減法器430之電壓信號量化量化為數位信號，並作為檢測信號輸出至傳送部450者。
傳送部450將來自量化器440之檢測信號傳送至信號處理部212等。該傳送部450在檢測到位址事件時，將要求發送檢測信號之請求供給至仲裁器213。而後，傳送部450在自仲裁器213接收到對請求之應答時，將檢測信號供給至驅動電路211及信號處理部212。
[電流電壓轉換部之構成例] 圖7係顯示本發明之第1實施形態之電流電壓轉換部410之一構成例的電路圖。該電流電壓轉換部410具備N型電晶體411及413及P型電晶體412。作為該等電晶體，利用例如MOS電晶體。
N型電晶體411之源極連接於受光部330，汲極連接於電源端子。P型電晶體412及N型電晶體413在電源端子與接地端子之間串聯連接。又，P型電晶體412及N型電晶體413之連接點連接於N型電晶體411之閘極及緩衝器420之輸入端子。又，對P型電晶體412之閘極施加特定之偏電壓Vbias。
N型電晶體411及413之汲極連接於電源側，此電路被稱為源極隨耦器。藉由該等連接為環狀之2個源極隨耦器，而來自受光部330之光電流被轉換為其對數之電壓信號。又，P型電晶體412將一定之電流供給至N型電晶體413。
[減法器及量化器之構成例] 圖8係顯示本發明之第1實施形態之減法器430及量化器440之一構成例的電路圖。減法器430具備：電容器431及433、反相器432、及開關434。又，量化器440具備比較器441。
電容器431之一端連接於緩衝器420之輸出端子，另一端連接於反相器432之輸入端子。電容器433與反相器432並聯連接。開關434係依照列驅動信號將連接電容器433之兩端之路徑開閉者。
反相器432係將經由電容器431輸入之電壓信號反轉者。該反相器432將反轉之信號輸出至比較器441之非反轉輸入端子(+)。
在將開關434導通時朝電容器431之緩衝器420側輸出電壓信號Vinit，其相反側成為假想接地端子。方便上將該假想接地端子之電位設為零。此時，蓄積於電容器431之電位Qinit在將電容器431之電容設為C1時，由以下之式表示。另一方面，由於電容器433之兩端被短路，故該蓄積電荷成為零。 Qinit=C1×Vinit…式１
其次，若考量開關434被關斷，電容器431之緩衝器420側之電壓發生變化而成為Vafter之情形，則蓄積於電容器431之電荷Qafter由以下之式表示。 Qafter=C1×Vafter…式2
另一方面，蓄積於電容器433之電荷Q2在將輸出電壓設為Vout時，由以下之式表示。 Q2=-C2×Vout…式3
此時，由於電容器431及433之總電荷量不變化，故以下之式成立。 Qinit=Qafter+Q2…式4
若將式1至式3代入式4而進行變形，則獲得以下之式。 Vout=-(C1/C2)×(Vafter-Vinit)…式5
式5表示電壓信號之減算動作，減算結果之增益成為C1/C2。一般，由於較理想為將增益最大化，故較佳的是設計為增大C1，減小C2。另一方面，由於若C2過小，則有kTC雜訊增大，雜訊特性惡化之虞，故C2之電容削減被限制於可容許雜訊之範圍內。又，由於就每一像素區塊搭載包含減法器430之位址事件檢測部400，故針對電容C1及C2存在面積上之制約。考量其等而決定電容C1及C2之值。
比較器441係將來自減算器430之電壓信號與對反轉輸入端子(-)施加之特定之臨限值電壓Vth進行比較者。比較器441將表示比較結果之信號作為檢測信號輸出至傳送部450。
又，上述之位址事件檢測部400整體之增益A在將電流電壓轉換部410之轉換增益設為CGlog，將緩衝器420之增益設為「1」時，由以下之式表示。 [數1] 在上式中，iphoto_n為第n個像素之光電流，單位為例如安培(A)。N為像素區塊310內之像素數。
[行ADC之構成例] 圖9係顯示本發明之第1實施形態之行ADC 220之一構成例的方塊圖。該行ADC 220就像素區塊310之每一行具備ADC 230。
ADC 230係將經由垂直信號線VSL而供給之類比之像素信號SIG轉換為數位信號者。該像素信號SIG藉由檢測信號而被轉換為位元數較多之數位信號。例如，若將檢測信號設為2位元，則像素信號被轉換為3位元以上(16位元等)之數位信號。ADC 230將產生之數位信號供給至信號處理部212。此外，ADC 230係類比數位轉換器之一例。
[固體攝像元件之動作例] 圖10係顯示本發明之第1實施形態之固體攝像元件200之動作之一例的流程圖。在時序T0，當由控制部130指示開始檢測位址事件時，驅動電路211將控制信號OFGn全部設為高位準，將所有像素之OFG電晶體332設為導通狀態。藉此，所有像素之光電流之和被供給至位址事件檢測部400。另一方面，傳送信號TRGn全部為低位準，所有像素之傳送電晶體331為關斷狀態。
而後，在時序T1，位址事件檢測部400檢測位址事件，且輸出高位準之檢測信號。此處，將檢測信號設為表示導通事件之檢測結果之1位元之信號。
驅動電路211當接收到檢測信號時，於時序T2，將控制信號OFGn全部設為低位準，且停止對位址事件檢測部400供給光電流。又，驅動電路211將選擇信號SEL設為高位準，將重置信號RST於一定之脈衝期間設為高位準，而進行浮動擴散層324之初始化。像素信號產生部320輸出該初始化時之電壓而作為重置位準，ADC 230將該重置位準轉換為數位信號。
在重置位準之轉換後之時序T3，驅動電路211於一定之脈衝期間供給高位準之傳送信號TRG1，使第1個像素輸出電壓而作為信號位準。ADC 230將該信號位準轉換為數位信號。信號處理部212求得重置位準與信號位準之差分而作為實質之像素信號。該處理被稱為CDS處理。
在信號位準之轉換後之時序T4，驅動電路211於一定之脈衝期間供給高位準之傳送信號TRG2，使第2個像素輸出信號位準。信號處理部212求得重置位準與信號位準之差分而作為實質之像素信號。以下，執行同樣之處理，像素區塊310內之各個像素之像素信號被依序輸出。
若所有之像素信號被輸出，則驅動電路211將控制信號OFGn全部設為高位準，將所有像素之OFG電晶體332設為導通狀態。
圖11係顯示本發明之第1實施形態之固體攝像元件200之動作之一例的流程圖。該動作例如在執行用於檢測位址事件之特定之應用程式時開始。
像素區塊310各者進行有無位址事件之檢測(步驟S901)。驅動電路211判斷在任一像素區塊310中是否存在位址事件(步驟S902)。在存在位址事件時(步驟S902：是)，驅動電路211使發生位址事件之像素區塊310內之各個像素之像素信號依序輸出(步驟S903)。
在無位址事件時(步驟S902：否)，或在步驟S903後，固體攝像元件200重複步驟S901以後之步驟。
如此，根據本發明之第1實施形態，由於位址事件檢測部400檢測複數個(N個)光電轉換元件333(像素)各者之光電流之變化量，故可將位址事件檢測部400之配置數設為就每N個像素設置1個。藉由如上述般以N像素共有1個位址事件檢測部400，而與將位址事件檢測部400就每一像素設置而非共有之構成比較，可削減電路規模。
[第1變化例] 雖然在上述之第1實施形態中，將光電轉換元件333以外之元件配置於檢測晶片202，但在該構成中，有伴隨著像素數之增大而檢測晶片202之電路規模增大之虞。該第1實施形態之第1變化例之固體攝像元件200在削減檢測晶片202之電路規模之方面與第1實施形態不同。
圖12係顯示本發明之第1實施形態之第1變化例之像素區塊310之一構成例的電路圖。該第1實施形態之第1變化例之像素區塊310在重置電晶體321、浮動擴散層324、及複數個受光部330配置於受光晶片201之方面與第1實施形態不同。其等以外之元件配置於檢測晶片202。
如此，根據本發明之第1實施形態之第1變化例，由於將重置電晶體321等、及複數個受光部330配置於受光晶片201，故與第1實施形態比較，可削減檢測晶片202之電路規模。
[第2變化例] 在上述之第1實施形態之第1變化例中，雖然將重置電晶體321等、及複數個受光部330配置於受光晶片201，但有伴隨著像素數之增大，而檢測晶片202之電路規模增大之虞。該第1實施形態之第2變化例之固體攝像元件200在進一步削減檢測晶片202之電路規模之方面與第1實施形態之第1變化例不同。
圖13係顯示本發明之第1實施形態之第2變化例之像素區塊310之一構成例的電路圖。該第1實施形態之第2變化例之像素區塊310在N型電晶體411及413進一步配置於受光晶片201之方面與第1實施形態之第1變化例不同。如此，藉由僅將受光晶片201內之電晶體設為N型，而與使N型電晶體及P型電晶體混合之情形比較，可削減形成電晶體時之工序數。藉此，可削減受光晶片201之製造成本。
如此，根據本發明之第1實施形態之第2變化例，由於將N型電晶體411及413進一步配置於受光晶片201，故與第1實施形態之第1變化例比較，可削減檢測晶片202之電路規模。
[第3變化例] 在上述之第1實施形態之第2變化例中，雖然將N型電晶體411及413進一步配置於受光晶片201，但有伴隨著像素數之增大，而檢測晶片202之電路規模增大之虞。該第1實施形態之第3變化例之固體攝像元件200在進一步削減檢測晶片202之電路規模之方面與第1實施形態之第2變化例不同。
圖14係顯示本發明之第1實施形態之第3變化例之像素區塊310之一構成例的電路圖。該第1實施形態之第3變化例之像素區塊310在放大電晶體322及選擇電晶體323進一步配置於受光晶片201之方面，與第1實施形態之第2變化例不同。亦即，像素信號產生部320整體配置於受光晶片201。
如此，根據本發明之第1實施形態之第3變化例，由於將像素信號產生部320配置於受光晶片201，故與第1實施形態之第2變化例比較，可削減檢測晶片202之電路規模。
＜2.第2實施形態＞ 在上述之第1實施形態中，雖然就每一像素區塊310設置有像素信號產生部320，但有伴隨著像素數之增大而固體攝像元件200之電路規模增大之虞。該第2實施形態之固體攝像元件200在削減像素信號產生部320之方面與第1實施形態不同。
圖15係顯示本發明之第2實施形態之像素陣列部300之一構成例的方塊圖。該像素陣列部300在未設置像素信號產生部320之方面與第1實施形態不同。
又，第2實施形態之位址事件檢測部400在產生像素信號SIG，並經由垂直信號線VSL輸出之方面與第1實施形態不同。
圖16係顯示本發明之第2實施形態之受光部330之一構成例的電路圖。該第2實施形態之受光部330在不具備OFG電晶體332之方面與第1實施形態不同。
又，第2實施形態之傳送電晶體331經由連接節點340將來自光電轉換元件333之光電流供給至位址事件檢測部400。
此外，雖然在受光部330各者配置有傳送電晶體331，但亦可如圖17所例示般採用不設置該等電晶體之構成。此情形下，驅動電路211無須對受光部330供給傳送信號TRGn。
圖18係顯示本發明之第2實施形態之電流電壓轉換部410之一構成例的電路圖。該第2實施形態之電流電壓轉換部410在N型電晶體413之源極連接於垂直信號線VSL之方面與第1實施形態不同。
又，驅動電路211當檢測到位址事件時，使朝向P型電晶體412之閘極之電壓(Vbias)較檢測前降低而設為低位準。藉此，N型電晶體411之閘極之電壓與汲極同樣地成為電源電壓VDD，N型電晶體411成為與被二極體連接之情形均等之狀態。而且，藉由作為源極隨耦器而發揮功能之N型電晶體413，而產生與光電流相應之電壓之像素信號SIG。
又，複數個受光部330、及N型電晶體411及413配置於受光晶片201，其餘之元件配置於檢測晶片202。
圖19係顯示本發明之第2實施形態之固體攝像元件200之動作之一例的流程圖。
在時序T0，當被指示開始檢測位址事件時，驅動電路211將傳送信號TRGn全部設為高位準，將所有像素之傳送電晶體331設為導通狀態。
而後，在時序T1，位址事件檢測部400檢測位址事件，且輸出高位準之檢測信號。
驅動電路211當接收到檢測信號時，在時序T2於一定之脈衝期間，僅將傳送信號TRG1設為高位準。像素信號產生部320將第1個像素之像素信號轉換為數位信號。
在像素信號之轉換後之時序T3，驅動電路211於一定之脈衝期間將高位準之傳送信號TRG2設為高位準。像素信號產生部320將第2個像素之像素信號轉換為數位信號。以下，執行同樣之處理，像素區塊310內之各個像素之像素信號被依序輸出。
若所有之像素信號被輸出，則驅動電路211將傳送信號TRGn全部設為高位準，將所有像素之傳送電晶體331設為導通狀態。
如此，根據本發明之第2實施形態，由於位址事件檢測部400產生像素信號SIG，故無須配置像素信號產生部320。藉此，與配置像素信號產生部320之第1實施形態比較，可削減電路規模。
[變化例] 在上述之第2實施形態中，雖然將ADC 230整體配置於檢測晶片202，但有伴隨著像素數之增大，而檢測晶片202之電路規模增大之虞。該第2實施形態之變化例之固體攝像元件200在將ADC 230之一部分配置於受光晶片201，而削減檢測晶片202之電路規模之方面與第2實施形態不同。
圖20係顯示本發明之第2實施形態之變化例之電流電壓轉換部410之一構成例的電路圖。該第2實施形態之變化例之電流電壓轉換部410在N型電晶體413之源極被接地，N型電晶體411之汲極連接於垂直信號線VSL之方面與第2實施形態不同。此外，亦可與第2實施形態同樣地，取代N型電晶體411而將N型電晶體413之源極連接於垂直信號線VSL。
圖21係顯示本發明之第2實施形態之變化例之ADC 230之一構成例的電路圖。該ADC 230具備差動放大電路240及計數器250。
差動放大電路240具備：N型電晶體243、244及245、及P型電晶體241及242。作為該等電晶體，利用例如MOS電晶體。
N型電晶體243及244構成差動對，該等電晶體之源極共通連接於N型電晶體245之汲極。又，N型電晶體243之汲極連接於P型電晶體241之汲極及P型電晶體241及242之閘極。N型電晶體244之汲極連接於P型電晶體242之汲極及計數器250。又，朝N型電晶體243之閘極輸入參考信號REF，朝N型電晶體244之閘極經由垂直信號線VSL輸入像素信號SIG。此外，N型電晶體243係參考側電晶體之一例，N型電晶體244係信號側電晶體之一例。
作為參考信號REF，利用例如斜波信號。產生參考信號REF之電路被省略。
對N型電晶體245之閘極施加特定之偏電壓Vb，其源極被接地。該N型電晶體245供給一定之電流。此外，N型電晶體245係定電流源之一例。
藉由上述之構成，而P型電晶體241及242構成電流鏡電路，將參考信號REF與像素信號SIG之差放大並輸出至計數器250。而且，計數器250於直至來自差動放大電路240之信號反轉為止之期間對計數值進行計數，並將表示計數值之數位信號輸出至信號處理部212。
又，在上述之第2實施形態之變化例中，於受光晶片201更設置有上述之N型電晶體243、244及245。
如此，根據本發明之第2實施形態之變化例，由於將N型電晶體243、244及245進一步配置於受光晶片201，故與第2實施形態比較，可削減檢測晶片202之電路規模。
＜3.第3實施形態＞ 在上述之第2實施形態中，雖然將電容器431及433配置於位址事件檢測部400內，但由於根據式5，若削減電容C1則增益惡化，故難以藉由電容C1之削減而提高電路之動作速度。該第3實施形態之固體攝像元件200在就每一像素配置電容器431，使動作速度提高之方面與第2實施形態不同。
圖22係顯示本發明之第3實施形態之像素陣列部300之一構成例的方塊圖。該第3實施形態之像素陣列部300在取代位址事件檢測部400而受光部330各者產生像素信號SIG之方面與第2實施形態不同。又，垂直信號線VSL例如就像素之每一行配線。而且，ADC 230亦就像素之每一行設置。此外，亦可與第2實施形態同樣地就像素區塊310之每一行配置垂直信號線VSL，且將受光部330各者連接。此情形下，ADC 230亦就像素區塊310之每一行設置。
圖23係顯示本發明之第3實施形態之受光部330之一構成例的電路圖。該第3實施形態之受光部330在更具備電流電壓轉換部410、緩衝器420及電容器431之方面與第2實施形態不同。
第3實施形態之電流電壓轉換部410之電路構成例如與圖19所例示之第2實施形態之變化例同樣。又，第3實施形態之驅動電路211之動作與第2實施形態同樣。又，在第3實施形態中，配置於受光晶片201及檢測晶片202各者之電路及元件與第2實施形態之變化例同樣。亦即，如圖20所例示般，在電流電壓轉換部410中，N型電晶體411及413配置於受光晶片201。又，如圖21所例示般，在ADC 230中，N型電晶體243、244及245配置於受光晶片201。
圖24係顯示本發明之第3實施形態之位址事件檢測部400之一構成例的方塊圖。該第3實施形態之位址事件檢測部400在未設置電流電壓轉換部410、緩衝器420及電容器431之方面與第2實施形態不同。
如以上所述般，在第3實施形態中，與經並聯連接之複數個受光部330共有1個電容器431之第2實施形態不同地，就每一受光部330設置電容器431。因而，電容器431之各個電容在將受光部330之個數(亦即像素數)設為N時，可為(C1)/N。藉由該電容之削減，而可提高電路之動作速度。惟，第3實施形態之整體之增益A由以下之式表示。 [數2]
根據式6及式7，第3實施形態之增益A變得小於第1及第2實施形態。因而，位址事件之檢測精度降低，而取代動作速度提高。
如此，根據本發明之第3實施形態，由於就每一受光部330配置電容器431，故與複數個受光部330共有電容器431之情形相比，可提高包含電容器431之電路之動作速度。
[變化例] 在上述之第3實施形態中，行內之複數個受光部330(像素)共有1個ADC 230，但由於必須將該等像素之像素信號依序轉換為數位信號，故行內之像素數越多，則像素信號之讀出速度越為降低。該第3實施形態之變化例之固體攝像元件200在就每一像素配置有ADC 230之方面與第3實施形態不同。
圖25係顯示本發明之第3實施形態之變化例之受光部330之一構成例的電路圖。該第3實施形態之變化例之受光部330在更具備ADC 230之方面與第3實施形態不同。
如此，根據本發明之第3實施形態之變化例，由於就每一受光部330配置有ADC 230，故與複數個受光部330共有1個ADC 230之構成相比，可提高像素信號之讀出速度。
＜4.第4實施形態＞ 在上述之第1實施形態中，就包含複數個像素之每一像素區塊310檢測位址事件，但無法檢測在各個像素發生之位址事件。該第4實施形態之固體攝像元件200在就每一像素配置有位址事件檢測部400之方面與第1實施形態不同。
圖26係顯示本發明之第4實施形態之像素陣列部300之一構成例的方塊圖。該第4實施形態之像素陣列部300在複數個像素311呈二維格子狀排列之方面與第1實施形態不同。在像素311各者配置像素信號產生部320、受光部330及位址事件檢測部400。像素信號產生部320、受光部330及位址事件檢測部400各者之電路構成與第1實施形態同樣。
又，配置於受光晶片201及檢測晶片202各者之電路及元件與第1實施形態、及第1實施形態之第1、第2及第3變化例之任一者同樣。例如，如圖5所例示般，僅光電轉換元件333配置於受光晶片201，其餘配置於檢測晶片202。
如此，根據本發明之第4實施形態，由於就每一像素配置有位址事件檢測部400，故可就每一像素檢測位址事件。藉此，與就每一像素區塊310檢測位址事件之情形比較，可提高位址事件之檢測資料之解析度。
[變化例] 在上述之第4實施形態中，雖然在所有之像素配置位址事件檢測部400，但有伴隨著像素數之增大，而固體攝像元件200之電路規模增大之虞。該第4實施形態之變化例之固體攝像元件200在僅在複數個像素中之檢測對象之像素配置位址事件檢測部400之方面與第4實施形態不同。
圖27係顯示本發明之第4實施形態之變化例之像素陣列部300之一構成例的方塊圖。該第4實施形態之變化例之像素陣列部300在排列有未配置位址事件檢測部400之像素、及配置有位址事件檢測部400之像素之方面與第4實施形態不同。將前者設為通常像素312，將後者設為位址事件檢測像素313。位址事件檢測像素313例如以一定間隔相互分開地配置。此外，亦可將複數個位址事件檢測像素313鄰接地配置。
又，位址事件檢測像素313之構成與第4實施形態之像素311同樣。針對通常像素312之細節於後文敘述。
圖28係顯示本發明之第4實施形態之變化例之通常像素312之一構成例的電路圖。該第4實施形態之變化例之通常像素312具備：光電轉換元件333、傳送電晶體331、重置電晶體321、放大電晶體322、選擇電晶體323及浮動擴散層324。該等元件之連接構成與圖5所例示之第1實施形態同樣。
如此，根據本發明之第4實施形態之變化例，由於在所有像素中，僅在位址事件檢測像素313配置位址事件檢測部400，故與在所有像素配置位址事件檢測部400之構成比較，可削減電路規模。
＜5.第5實施形態＞ 雖然在上述之第1實施形態中，將共有位址事件檢測部400之像素數與共有像素信號產生部320之像素數設為相同，但亦可減少後者。該第5實施形態之固體攝像元件200在共有像素信號產生部320之像素數少於共有位址事件檢測部400之像素數之方面與第1實施形態不同。
圖29係顯示本發明之第5實施形態之像素陣列部300之一構成例的方塊圖。在該第5實施形態之像素陣列部300中，於像素區塊310各者配置N個受光部330(像素)、及1個位址事件檢測部400。又，在像素區塊310各者中，就每M(M為未達N之自然數)個受光部330(像素)配置像素信號產生部320。
圖30係顯示本發明之第5實施形態之像素區塊310之一構成例的方塊圖。在像素區塊310各者中，N個受光部330(像素)共有1個位址事件檢測部400。又，M個像素共有1個像素信號產生部320。像素信號產生部320產生在對應之M個像素中所選擇之像素之像素信號。
如此，根據本發明之第5實施形態，由於使共有像素信號產生部320之像素數少於共有位址事件檢測部400之像素數，故較將其等設為相同之情形，可提高像素信號之讀出速度。
＜6.第6實施形態＞ [事件檢測裝置之構成例] 圖31係顯示本發明之第6實施形態之事件檢測裝置501之一構成例的方塊圖。事件檢測裝置501具備：攝像透鏡110、及固體攝像元件200，該固體攝像元件200具有：複數個光電轉換元件333(參照圖5)，其等各自將入射光進行光電轉換而產生電信號；及位址事件檢測部(檢測部之一例)400(參照圖3)，其輸出表示複數個光電轉換元件333各者之電信號之變化量是否超過特定之臨限值之檢測結果之檢測信號。又，事件檢測裝置501具備：連接於固體攝像元件200之記錄部120、及控制固體攝像元件200之控制部130。再者，事件檢測裝置501具備時間戳記信號產生部510，該時間戳記信號產生部510產生用於表示由位址事件檢測部400檢測到檢測信號之時點之時間戳記信號。作為事件檢測裝置501，可設想搭載於產業用機器人之相機、或車載相機等。
本實施形態之攝像透鏡110構成為具有與上述第1實施形態至上述第5實施形態之攝像透鏡110相同之構成，且發揮相同之功能。
本實施形態之固體攝像元件200在與時間戳記信號產生部510連接之方面，與上述第1實施形態至上述第5實施形態之固體攝像元件200不同。設置於固體攝像元件200之信號處理部212(參照圖3)構成為利用自時間戳記信號產生部510輸入之時間戳記信號(細節於後文敘述)記錄位址事件檢測部400(參照圖4)檢測到位址事件之時點。更具體而言，信號處理部212將自位址事件檢測部400輸入位址事件之檢測信號之時點作為檢測到位址事件之時點而記憶。因而，在信號處理部212作為檢測到位址事件之檢測信號之時點而記憶之時點、與實際檢測到位址事件之檢測信號之時點之間存在自位址事件檢測部400對仲裁器213要求發送檢測信號至接收到應答之時間之時間差。然而，該時間差由於在固體攝像元件200之設置於像素陣列部300之所有像素區塊310(參照圖4)產生，故在圖像處理等中不會成為不良狀況之原因。
信號處理部212構成為將位址事件之檢測信號、檢測到該位址事件之受光部330(參照圖4)之座標、及該檢測信號之檢測時點(時間戳記信號中所含之時點資訊)設為一組，而發送至記錄部120及時間戳記信號產生部510。
記錄部120構成將與位址事件之檢測信號一起自固體攝像元件200之信號處理部212輸入之檢測到該位址事件之受光部330(參照圖4)之座標、與該檢測信號之檢測時點(時間戳記信號中所含之時點資訊)建立對應關係而記憶。如此，記錄部120在記錄時間戳記信號中所含之時點資訊之方面，與上述第1實施形態至上述第5實施形態之記錄部120不同。
控制部130在對時間戳記信號產生部510發送基準時脈信號之方面，與上述第1實施形態至上述第5實施形態之記錄部120不同。該基準時脈信號係構成事件檢測裝置501之控制部130、固體攝像元件200、記錄部120及時間戳記信號產生部510同步地動作之時脈信號。
如圖31所示，時間戳記信號產生部510連接於信號線209，且經由信號線209連接於固體攝像元件200。藉此，可朝時間戳記信號產生部510，自信號處理部212輸入檢測信號。此處，針對時間戳記信號產生部510，參照圖31且利用圖32至圖36進行說明。首先，針對時間戳記信號產生部510之概略構成，利用圖32及圖33進行說明。圖32係顯示時間戳記信號產生部510之一構成例之方塊圖。圖33係顯示設置於時間戳記信號產生部510之變更部512之一構成例之方塊圖。
如圖32所示，時間戳記信號產生部510具有連接於控制部130(參照圖31)之驅動用時脈信號產生電路511。藉此，形成為朝驅動用時脈信號產生電路511輸入控制部130所輸出之基準時脈信號。驅動用時脈信號產生電路511構成為將自控制部130輸入之基準時脈信號之波形整形而產生驅動用時脈信號。驅動用時脈信號產生電路511具有D正反電路(未圖示)，該D正反電路(未圖示)具有例如在時脈信號輸入端子被輸入基準時脈信號，且反轉輸出端子連接於輸入端子之構成。驅動用時脈信號產生電路511可藉由將基準時脈信號之頻率進行一分頻，而產生頻率為基準時脈信號之1/2且波形經整形之驅動用時脈信號。
如圖32所示，事件檢測裝置501具備變更部512，該變更部512設置於時間戳記信號產生部510，在位址事件之檢測信號之檢測頻度超過特定之臨限值(在本實施形態中為設定中之時間戳記信號之時間解析度之上限值或下限值)時(特定條件成立之情形下之一例)，變更時間戳記信號之時間解析度。變更部512構成為在位址事件之檢測信號之檢測頻度超過特定之臨限值之情形下，判定為用於變更時間戳記信號之時間解析度之特定條件成立。
如圖32所示，變更部512具有將時間戳記信號之複數個時間解析度與位址事件之檢測信號之檢測頻度(特定條件之一例)建立對應關係而記憶之暫存器控制電路(記憶部之一例)51b。暫存器控制電路512b構成為可設定在當前時點設定中之時間戳記信號之時間解析度。暫存器控制電路512b連接於信號線209。暫存器控制電路512b經由信號線209連接於固體攝像元件200(參照圖31)。藉此，朝暫存器控制電路512b，輸入將位址事件之檢測信號、檢測到該位址事件之受光部330(參照圖4)之座標、及該檢測信號之檢測時點(時間戳記信號中所含之時點資訊)設為一組之資訊。
暫存器控制電路512b構成為自該資訊提取位址事件信號之檢測時點之資訊，而算出位址事件之檢測信號之檢測頻度。又，暫存器控制電路512b構成為就每一像素區塊310算出位址事件之檢測信號之檢測頻度，且將每一像素區塊310之該檢測頻度之例如平均值設為固體攝像元件200之位址事件之檢測信號之檢測頻度。時間戳記信號產生部510在算出位址事件之檢測信號之檢測頻度之際，就同一座標之受光部330之每一者算出該檢測頻度。進而，暫存器控制電路512b構成為將指示信號輸出至分頻電路512a(細節於後文敘述)，該指示信號包含在所算出之平均值之倒數超過當前設定中之時間戳記信號之時間解析度之上限值或下限值(均為特定之臨限值之一例)之情形下，指示將時間戳記信號之時間解析度變更為低解析度或高解析度之資訊。在本實施形態中，有因較當前設定中之時間戳記信號之時間解析度之上限值為小之位址事件之檢測信號之檢測頻度之倒數變得大於該上限值，而時間戳記信號之時間解析度超過該上限值(特定之臨限值之一例)之情形。又，在本實施形態中，有因較當前設定中之時間戳記信號之時間解析度之下限值為大之位址事件之檢測信號之檢測頻度之倒數變得小於該下限值，而時間戳記信號之時間解析度超過該下限值(特定之臨限值之一例)之情形。
如圖32所示，變更部512具有將驅動用時脈信號(基於基準時脈信號之時脈信號之一例)之頻率分頻之分頻電路512a。分頻電路512a構成為基於自暫存器控制電路512b輸入之時間解析度之資訊，變更分頻之次數。針對分頻電路512a之具體的構成於後文敘述。
時間戳記信號產生部510具有計數器電路513，該計數器電路513輸出對藉由設置於變更部512之分頻電路512a(參照圖33，細節於後文敘述)而頻率被分頻之時脈信號即分頻時脈信號(細節於後文敘述)之時脈數(亦即時脈頻率)予以計數之計數值而作為時間戳記信號。計數器電路513連接於設置於固體攝像元件200之信號處理部212。藉此，計數器電路513可將時間戳記信號輸出至信號處理部212。計數器電路513構成為將自變更部512輸出之分頻時脈信號輸入時脈信號輸入端子。藉此，計數器電路513可計數分頻時脈信號之時脈數。
如圖33所示，分頻電路512a具有供輸入驅動用時脈信號產生電路511(參照圖32)所輸出之驅動時脈信號之初段分頻器512a1。又，分頻電路512a具有供輸入初段分頻器512a1所輸出之時脈信號(以下，有稱為「初段時脈信號」之情形)之後段分頻器512a2。再者，分頻電路512a具有供輸入驅動用時脈信號產生電路511所輸出之驅動時脈信號、初段分頻器512a1所輸出之初段時脈信號、後段分頻器512a2所輸出之時脈信號(以下，有稱為「後段時脈信號」之情形)、及暫存器控制電路512b(參照圖32)所輸出之指示信號之選擇電路512a3。
初段分頻器512a1構成為使將驅動用時脈信號之頻率分頻為1/N倍(例如N=100)之初段時脈信號輸出至後段分頻器512a2及選擇電路512a3。後段分頻器512a2構成為使將初段分頻器512a1所輸出之初段時脈信號之頻率分頻為1/N倍(例如N=100)之後段時脈信號輸出至選擇電路512a3。因而，後段分頻器512a2構成為產生將驅動用時脈信號之頻率分頻為1/N2 倍之時脈信號。例如，在驅動用時脈信號之頻率為10 GHz時，初段分頻器512a1產生例如100 MHz(=10 GHz/100)之初段時脈信號，後段分頻器512a2產生例如1 MHz(=100 MHz/100(10 GHz/1002 ))之後段時脈信號。
選擇電路512a3構成為基於暫存器控制電路512b所輸出之指示信號，選擇驅動用時脈信號、初段時脈信號及後段時脈信號之任一者，並輸出所選擇之時脈信號而作為分頻計數器信號。選擇電路512a3構成為在判定為在暫存器控制電路512b所輸出之指示信號中包含指示減小時間戳記信號之時間解析度之資訊時，選擇頻率較當前之選擇中之時脈信號低一級之時脈信號。又，選擇電路512a3構成為在判定為在暫存器控制電路512b所輸出之指示信號中包含指示增加時間戳記信號之時間解析度之資訊時，選擇頻率較當前之選擇中之時脈信號高一級之時脈信號。進而，選擇電路512a3構成為在自暫存器控制電路512b未輸入指示信號時，持續選擇當前選擇中之時脈信號。
選擇電路512a3當在例如驅動用時脈信號之選擇中，接收到包含指示減小時間戳記信號之時間解析度之資訊之指示信號時，選擇頻率較驅動用時脈信號低一級之初段時脈信號。選擇電路512a3將所選擇之初段時脈信號作為時間戳記信號而輸出至計數器電路513。又，選擇電路512a3當在例如初段時脈信號之選擇中，接收到包含指示減小時間戳記信號之時間解析度之資訊之指示信號時，選擇頻率較初段時脈信號低一級之後段時脈信號。選擇電路512a3將所選擇之後段時脈信號作為時間戳記信號而輸出至計數器電路513。
選擇電路512a3當在例如後段時脈信號之選擇中，接收到包含指示增加時間戳記信號之時間解析度之資訊之指示信號時，選擇頻率較後段時脈信號高一級之初段時脈信號。選擇電路512a3將所選擇之初段時脈信號作為時間戳記信號而輸出至計數器電路513。又，選擇電路512a3當在例如初段時脈信號之選擇中，接收到包含指示增加時間戳記信號之時間解析度之資訊之指示信號時，選擇頻率較初段時脈信號高一級之驅動用時脈信號。選擇電路512a3將所選擇之驅動用時脈信號作為時間戳記信號而輸出至計數器電路513。
選擇電路512a3當在例如驅動用時脈信號之選擇中，接收到包含指示增加時間戳記信號之時間解析度之資訊之指示信號時，維持驅動用時脈信號之選擇狀態。選擇電路512a3當在例如後段時脈信號之選擇中，接收到包含指示減小時間戳記信號之時間解析度之資訊之指示信號時，維持後段時脈信號之選擇狀態。
如此，選擇電路512a3將相應於位址事件之檢測信號之檢測頻度而頻率不同之時脈信號輸出至計數器電路513。計數器電路513構成為即便所輸入之時脈信號之頻率被變更，亦不重置計數值而持續進行計數。
此外，分頻電路512a之構成並不限定於圖33所示之構成。例如設置於分頻電路512a之分頻器之段數並不限定於2段，可為1段或3段以上。又，分頻電路512a可構成為具有相位同步電路(Phase Lcked Loop，鎖相迴路：PLL)，可對驅動用時脈信號之頻率分頻或倍增而進行變更。
其次，針對間戳記信號產生部510之動作例，參照圖31至圖33且利用圖34進行說明。圖34係顯示本實施形態之事件檢測裝置501所具備之時間戳記信號產生部510之動作之一例的時序圖。圖34中之第1段所示之「檢測信號」表示自固體攝像元件200朝時間戳記信號產生部510輸入之位址事件之檢測信號。在圖34中，由圖34中之第1段所示之長方形框表示檢測到檢測信號之狀態。圖34中之第2段所示之「分頻時脈信號」表示自變更部512朝計數器電路513輸入之分頻時脈信號。圖34中之第3段所示之「時間戳記信號」表示自時間戳記信號產生部510朝固體攝像元件200輸入之時間戳記信號。在圖34中自左向右表示時間之經過。又，在圖34中，為易於理解，分頻時脈信號根據頻率被逐次1/2分頻時之狀態而表示為：至時刻t1為止為與驅動用時脈信號相同之頻率，時刻t1至時刻t2之期間為與初段時脈信號相同之頻率，時刻t2以後為與後段時脈信號相同之頻率。
在圖34所示之至時刻t1為止之期間內，於自暫存器控制電路512b(參照圖32)朝設置於分頻電路512a之選擇電路512a3(參照圖33)輸入之指示信號中，包含時間戳記信號之時間解析度之最小值(例如，與驅動用時脈信號之頻率之倒數相同之值)。藉此，由於選擇電路512a3選擇驅動用時脈信號，故如圖34所示，將與驅動用時脈信號相同之頻率(相同之週期)之分頻時脈信號輸出至計數器電路513(參照圖32)。計數器電路513在每當所輸入之分頻時脈信號例如上升時對分頻時脈信號之時脈數予以計數，且將包含計數值之時間戳記信號輸出至固體攝像元件200(參照圖31)。在圖34中圖示時間戳記信號中所含之計數值n～n+7(n為自然數)。在至時刻t1為止之期間內，分頻時脈信號之頻率成為例如10 GHz，時間戳記信號之時間解析度成為例如100 psec。
在時刻t1，若假設算出位址事件之檢測信號之檢測頻度之對象之期間(以下，有稱為「算出對象期間」之情形)為ΔT，則暫存器控制電路512b將算出對象期間ΔT之位址事件之檢測信號之檢測頻度算出。暫存器控制電路512b例如藉由將在至時刻t1為止之算出對象期間ΔT之間檢測到之位址事件之檢測數除以算出對象期間ΔT，而算出位址事件之檢測信號之檢測頻度。
假設在時刻t1暫存器控制電路512b算出之位址事件之檢測信號之檢測頻度之倒數較當前設定中之時間戳記信號之時間解析度(在本例中為與驅動用時脈信號之週期相同之值)例如為大。此時，變更部512判定為位址事件之檢測信號之檢測頻度超過特定之臨限值。因而，暫存器控制電路512b將包含與例如初段時脈信號之週期相同之值之時間解析度之資訊、及指示將時間戳記信號之時間解析度低解析度化之資訊之指示信號輸出至選擇電路512a3。藉此，選擇電路512a3由於選擇初段時脈信號，故將與初段時脈信號相同之頻率(相同之週期)之分頻時脈信號輸出至計數器電路513(參照圖32)。因而，如圖34所示，自時刻t1起，分頻時脈信號之週期變長(頻率變低)。計數器電路513每當所輸入之分頻時脈信號例如上升時對分頻時脈信號之時脈數予以計數，且將包含計數值之時間戳記信號輸出至固體攝像元件200。計數器電路513即便分頻時脈信號之週期被變更亦不重置計數值。因而，如圖34所示，在時刻t1之前後，計數器電路513在輸出包含「n+7」之計數值之時間戳記信號之後，輸出包含「n+8」之計數值之時間戳記信號。在自時刻t1至後述之時刻t2之期間內，分頻時脈信號之頻率成為例如100 MHz，時間戳記信號之時間解析度成為例如10 nsec。
在自時刻t1經過與算出對象期間ΔT相同之長度之期間之時刻t2，暫存器控制電路512b算出自時刻t1至時刻t2之期間之算出對象期間ΔT之位址事件之檢測信號之檢測頻度。假設在時刻t2暫存器控制電路512b算出之位址事件之檢測信號之檢測頻度之倒數較當前設定中之時間戳記信號之時間解析度(在本例中為與初段時脈信號之週期相同之值)例如為大。此時，變更部512判定為位址事件之檢測信號之檢測頻度超過特定之臨限值。因而，暫存器控制電路512b將包含與例如後段時脈信號之週期相同之值之時間解析度之資訊、及指示將時間戳記信號之時間解析度低解析度化之資訊之指示信號輸出至選擇電路512a3。藉此，選擇電路512a3由於選擇後段時脈信號，故將與後段時脈信號相同之頻率(相同之週期)之分頻時脈信號輸出至計數器電路513。因而，如圖34所示，自時刻t2起，分頻時脈信號之週期變長(頻率變低)。計數器電路513每當所輸入之分頻時脈信號例如上升時對分頻時脈信號之時脈數予以計數，且將包含計數值之時間戳記信號輸出至固體攝像元件200。計數器電路513即便分頻時脈信號之週期被變更亦不重置計數值。因而，如圖34所示，在時刻t2之前後，計數器電路513在輸出包含「n+12」之計數值之時間戳記信號之後，輸出包含「n+13」之計數值之時間戳記信號。在時刻t3以後，分頻時脈信號之頻率成為例如1 MHz，時間戳記信號之時間解析度成為例如1 μsec。
雖然在圖34中，例示時間戳記信號之時間解析度經低解析度化時之時間戳記信號產生部510之時序圖，但在暫存器控制電路512b算出之位址事件之檢測信號之檢測頻度之倒數小於當前設定中之時間戳記信號之時間解析度時，時間戳記信號之時間解析度被高解析度化。其結果為，時間戳記信號之週期變短(頻率變高)。
其次，針對本實施形態之事件檢測方法，參照圖5、圖31至圖34且利用圖35進行說明。圖35係顯示事件檢測裝置501之事件檢測方法之動作之流程之一例的流程圖。本實施形態之事件檢測方法主要相當於產生時間戳記信號之方法。構成為當對件檢測裝置501通電時，開始圖35所示之動作，當結束對事件檢測裝置501通電時，結束該動作。
(步驟S10) 如圖35所示，事件檢測裝置501當開始動作時，執行光電轉換處理，並移至步驟S30之處理。在步驟S10之光電轉換處理中，固體攝像元件200利用光電轉換元件333(參照圖5)將所入射之入射光進行光電轉換而產生電信號。
(步驟S30) 在步驟S30中，執行電信號之變化量之檢測處理，並移至步驟S50之處理。更具體而言，在步驟S30中，利用位址事件檢測部(檢測部之一例)400(參照圖5)檢測在光電轉換元件333中所產生之電信號之變化量是否超過特定之臨限值，並輸出檢測信號。雖然詳細之說明省略，但在步驟S30中，位址事件檢測部400在檢測到表示來自受光部330各者之光電流之變化量超過上限之臨限值之意旨之導通事件、或表示該變化量低於下限之臨限值之意旨之關斷事件時，輸出該等檢測結果而作為檢測信號。
(步驟S50) 在步驟S50中，執行時間戳記信號產生處理。更具體而言，在步驟S50中，由時間戳記信號產生部510(參照圖32及圖33)產生用於表示由位址事件檢測部400檢測到檢測信號之時點之時間戳記信號(參照圖34)。雖然詳細之說明省略，但在步驟S50中，時間戳記信號產生部510如利用圖31至圖34所說明般，產生時間戳記信號並輸出至固體攝像元件200。步驟S50之處理在步驟S30中每當自位址事件檢測部400輸出檢測信號時執行。
又，在時間戳記信號產生處理中，執行時間戳記之時間解析度變更處理。在時間戳記之時間解析度變更處理中，以設置於時間戳記信號產生部510之變更部512，在特定條件成立之情形下變更時間戳記信號之時間解析度。另一方面，在時間戳記之時間解析度變更處理中，以設置於時間戳記信號產生部510之變更部512，在特定條件不成立之情形下不變更時間戳記信號之時間解析度。如以上所述般，本實施形態之特定條件成立之情形相當於例如位址事件之檢測信號之檢測頻度超過特定之臨限值(在本實施形態中為設定中之時間戳記信號之時間解析度之上限值或下限值)之情形。針對時間戳記之時間解析度變更處理之具體的處理，於後文敘述。
其次，針對本實施形態之事件檢測裝置501所具備之時間戳記信號產生部510之動作(時間戳記之時間解析度變更處理)之流程之一例，參照圖31至圖34且利用圖36進行說明。圖36係顯示時間戳記信號產生部510之動作之流程之一例的流程。時間戳記信號產生部510構成為當對事件檢測裝置501通電時，開始圖36所示之動作，當結束對事件檢測裝置501通電時，結束該動作。
(步驟S510-1) 如圖36所示，時間戳記信號產生部510(參照圖32)在開始動作時，首先判定位址事件之檢測信號是否被輸入。時間戳記信號產生部510在判定為自固體攝像元件200(參照圖31)輸入位址事件之檢測信號時，移至步驟S510-3之處理。另一方面，時間戳記信號產生部510在判定為自固體攝像元件200未輸入位址事件之檢測信號時，重複執行步驟S510-1之處理。時間戳記信號產生部510以較時間戳記信號之時間解析度之最小值更小之時間間隔重複執行步驟S510-1之處理，直至輸入位址事件之檢測信號為止。
如此，時間戳記信號產生部510構成為藉由以較時間戳記信號之時間解析度之最小值更小之時間間隔重複執行步驟S510-1之處理，而防止遺漏位址事件之檢測信號被輸入之判定。步驟S510-1之處理在例如暫存器控制電路512b中執行。
(步驟S510-3) 在步驟S510-3中，時間戳記信號產生部510算出位址事件之檢測信號之檢測頻度，並移至步驟S510-3之處理。時間戳記信號產生部510對在當前時點持續中之算出對象期間之位址事件之檢測信號之檢測數加1(對應於此次檢測到之位址事件之檢測信號)，並將加算結果除以算出對象期間。藉此，時間戳記信號產生部510可算出在當前時點之位址事件之檢測信號之檢測頻度。
時間戳記信號產生部510就同一座標之受光部330之每一者算出位址事件之檢測信號之檢測頻度。又，時間戳記信號產生部510將設置於像素陣列部300之所有之受光部330之位址事件之檢測信號之檢測頻度之平均值、最小值或最大值等之代表值設為在當前時點持續中之算出對象期間之位址事件之檢測信號之檢測頻度。算出對象期間之值、位址事件之檢測信號之檢測數及位址事件之檢測信號之檢測頻度可被記憶於例如暫存器控制電路512b。又，時間戳記信號產生部510可具有例如未圖示之記憶部，將算出對象期間、位址事件之檢測信號之檢測數及位址事件之檢測信號之檢測頻度記憶於該記憶部。步驟S510-3之處理在例如暫存器控制電路512b中執行。
(步驟S510-5) 在步驟S510-5中，時間戳記信號產生部510判定是否已經過位址事件之檢測信號之檢測頻度之算出對象期間。時間戳記信號產生部510在判定為已經過該算出對象期間之情形下(是)，移至步驟S510-7之處理。另一方面，時間戳記信號產生部510在判定為未經過該算出對象期間之情形下(否)，返回步驟S510-1之處理。時間戳記信號產生部510可藉由執行步驟S510-5之處理，而將位址事件之檢測信號之檢測頻度之算出期間設為一定。步驟S510-5之處理在例如暫存器控制電路512b中執行。
(步驟S510-7) 在步驟S510-7中，時間戳記信號產生部510判定在步驟S510-3算出之位址事件之檢測信號之檢測頻度之倒數是否小於在當前時點設定中之時間戳記信號之時間解析度之上限值(特定之臨限值之一例)。此處，在當前時點設定中之時間戳記信號之時間解析度之上限值為在暫存器控制電路512b設定之時間戳記信號之時間解析度之值。即，時間戳記信號產生部510判定在步驟S510-3算出之位址事件之檢測信號之檢測頻度之倒數是否小於在當前時點於暫存器控制電路512b設定之時間戳記信號之時間解析度之值。時間戳記信號產生部510在判定為所算出之位址事件之檢測信號之檢測頻度之倒數小於在當前時點於暫存器控制電路512b設定之時間戳記信號之時間解析度之值，且未超過在當前時點設定中之時間戳記信號之時間解析度之上限值(特定之臨限值)之情形下(是)，將處理移至步驟S510-13。另一方面，時間戳記信號產生部510在所算出之位址事件之檢測信號之檢測頻度之倒數大於在當前時點於暫存器控制電路512b設定之時間戳記信號之時間解析度之值，且超過在當前時點設定中之時間戳記信號之時間解析度之上限值(特定之臨限值)之情形下(否)，將處理移至步驟S510-13。步驟S510-7之處理在例如暫存器控制電路512b中執行。
(步驟S510-9) 在步驟S510-9中，時間戳記信號產生部510判定在當前時點設定中之時間戳記信號之時間解析度是否為最大值。此處，時間戳記信號之時間解析度之最大值為記憶於暫存器控制電路512b之時間戳記信號之複數個時間解析度中之最大值。時間戳記信號產生部510在判定為在當前時點設定中之時間戳記信號之時間解析度為最大值之情形下(是)，返回步驟S510-1之處理。另一方面，時間戳記信號產生部510在判定為在當前時點設定中之時間戳記信號之時間解析度非最大值之情形下(否)，移至步驟S510-11之處理。於在當前時點設定中之時間戳記信號之時間解析度為最大值之情形下，無法進一步減小時間戳記信號之時間解析度。因而，時間戳記信號產生部510構成為即便於在步驟S510-3算出之位址事件之檢測信號之檢測頻度之倒數大於在當前時點於暫存器控制電路512b設定之時間戳記信號之時間解析度之值之情形下(步驟S510-7之否)，亦不變更時間戳記信號之時間解析度，而恢復等待輸入位址事件之檢測信號之狀態(步驟S510-1)。步驟S510-9之處理在例如暫存器控制電路512b中執行。
(步驟S510-11) 在步驟S510-11中，時間戳記信號產生部510將時間戳記信號之時間解析度設定為低解析度，並返回步驟S510-1之處理。更具體而言，時間戳記信號產生部510將在當前時點於暫存器控制電路512b設定之時間戳記信號之時間解析度變更為低一級之時間解析度。進而，時間戳記信號產生部510製作包含變更後之時間戳記信號之時間解析度之資訊、及指示變更時間戳記信號之時間解析度之資訊之指示信號，並輸出至構成設置於變更部512之分頻電路512a之選擇電路512a3(參照圖32)。步驟S510-11之處理在例如暫存器控制電路512b中執行。
選擇電路512a3在被輸入該指示信號時，選擇與該指示信號中所含之時間戳記信號之時間解析度之倒數相同之值之頻率之時脈信號，並將所選擇之時脈信號作為分頻時脈信號輸出至計數器電路513(參照圖32)。計數器電路513將解析度低一級化之時間戳記信號輸出至固體攝像元件200。
藉由執行步驟S510-1至步驟S510-11之處理，而自時間戳記信號產生部510輸出之時間戳記信號如圖34所示之時刻t1前後或時刻t2前後般變更。
(步驟S510-13) 在步驟S510-13中，時間戳記信號產生部510判定在步驟S510-3算出之位址事件之檢測信號之檢測頻度之倒數是否大於在當前時點設定中之時間戳記信號之時間解析度之下限值(特定之臨限值之一例)。此處，在當前時點設定中之時間戳記信號之時間解析度之下限值為較在暫存器控制電路512b設定之時間戳記信號之時間解析度低一級之時間解析度之值。即，時間戳記信號產生部510判定在步驟S510-3算出之位址事件之檢測信號之檢測頻度之倒數是否大於較在當前時點於暫存器控制電路512b設定之時間戳記信號之時間解析度低一級之時間解析度之值。時間戳記信號產生部510在判定為所算出之位址事件之檢測信號之檢測頻度之倒數大於較在當前時點於暫存器控制電路512b設定之時間戳記信號之時間解析度低一級之時間解析度之值，且未超過在當前時點設定中之時間戳記信號之時間解析度之下限值(特定之臨限值)之情形下(是)，返回步驟S510-1之處理。另一方面，時間戳記信號產生部510在判定為所算出之位址事件之檢測信號之檢測頻度之倒數小於較在當前時點於暫存器控制電路512b設定之時間戳記信號之時間解析度低一級之時間解析度之值，且超過在當前時點設定中之時間戳記信號之時間解析度之下限值(特定之臨限值)時(否)，移至步驟S510-15之處理。步驟S510-13之處理在例如暫存器控制電路512b中執行。
(步驟S510-15) 在步驟S510-15中，時間戳記信號產生部510判定在當前時點設定中之時間戳記信號之時間解析度是否為最小值。此處，時間戳記信號之時間解析度之最小值為記憶於暫存器控制電路512b之時間戳記信號之複數個時間解析度中之最小值。時間戳記信號產生部510在判定為在當前時點設定中之時間戳記信號之時間解析度為最小值之情形下(是)，返回步驟S510-1之處理。另一方面，時間戳記信號產生部510在判定為在當前時點設定中之時間戳記信號之時間解析度非最初值之情形下(否)，移至步驟S510-17之處理。於在當前時點設定中之時間戳記信號之時間解析度為最初值之情形下，無法進一步增加時間戳記信號之時間解析度。因而，時間戳記信號產生部510構成為即便於在步驟S510-3算出之位址事件之檢測信號之檢測頻度之倒數小於在當前時點於暫存器控制電路512b設定之時間戳記信號之時間解析度之低一級之時間解析度之值之情形下(步驟S510-13之否)，亦不變更時間戳記信號之時間解析度，而恢復等待輸入位址事件之檢測信號之狀態(步驟S510-1)。步驟S510-15之處理在例如暫存器控制電路512b中執行。
(步驟S510-16) 在步驟S510-16中，時間戳記信號產生部510將時間戳記信號之時間解析度設定為高解析度，並返回步驟S510-1之處理。更具體而言，時間戳記信號產生部510將在當前時點於暫存器控制電路512b設定之時間戳記信號之時間解析度變更為高一級之時間解析度。進而，時間戳記信號產生部510製作包含變更後之時間戳記信號之時間解析度之資訊、及指示變更時間戳記信號之時間解析度之資訊之指示信號，並輸出至構成設置於變更部512之分頻電路512a之選擇電路512a3。步驟S510-16之處理在例如暫存器控制電路512b中執行。
選擇電路512a3在被輸入該指示信號時，選擇與該指示信號中所含之時間戳記信號之時間解析度之倒數相同之值之頻率之時脈信號，並將所選擇之時脈信號作為分頻時脈信號輸出至計數器電路513(參照圖32)。計數器電路513將解析度高一級化之時間戳記信號輸出至固體攝像元件200。
藉由執行步驟S510-1至步驟S510-7及步驟S510-13至步驟S510-17之處理，而在圖34所示之時刻t1前後或時刻t2前後，與圖34所表示之時間軸反向(圖34中之自右向左之方向)地變更自時間戳記信號產生部510輸出之時間戳記信號之時間解析度。
如以上所說明般，本實施形態之事件檢測裝置501具備：固體攝像元件200、時間戳記信號產生部510、及變更部512，且該固體攝像元件200具有：複數個光電轉換元件333，其等各自將入射光進行光電轉換而產生電信號；及位址事件檢測部400，其輸出表示複數個光電轉換元件333各者之電信號之變化量是否超過特定之臨限值之檢測結果之檢測信號；該時間戳記信號產生部510產生用於表示由位址事件檢測部400檢測到檢測信號之時點之時間戳記信號；該變更部512設置於時間戳記信號產生部510，在位址事件之檢測信號之檢測頻度超過特定之臨限值之情形下變更時間戳記信號之時間解析度。
具備該構成之事件檢測裝置501可相應於攝像對象即物體之移動速度，而變更時間戳記信號之時間解析度。藉此，事件檢測裝置501可謀求提高非同步型固體攝像元件200之攝像對象之辨識精度。
且說，先前之具備非同步型固體攝像元件之裝置在時間戳記信號之時間解析度經固定之情形下，根據物體之動作固定速度既存在可檢測到移動之物體之邊緣之情形，亦存在檢測到無法明確是否為該物體之邊緣之對象之情形。藉此，先前之該裝置在辨識精度上存在差異。又，若為了更詳細地檢測移動之物體，而將時間戳記信號之時間解析度高解析度化，則因設置於非同步型固體攝像元件之複數個像素區塊間之檢測時序之偏移，而該裝置產生無法明確是否為移動之物體之邊緣，或將移動之物體之直線狀之邊緣辨識為傾斜之邊緣等的辨識精度降低之問題。進而，在該裝置在車載等下使用之情形下，即便在該裝置被固定之狀態下將時間戳記信號之時間解析度最佳化，但因該裝置與攝像對象之相對速度而時間戳記信號之時間解析度亦實質地變化，因該相對速度反而產生該裝置之辨識精度降低之問題。
相反對於此，本實施形態之事件檢測裝置501構成為對事件之檢測信號之檢測頻度進行回饋，且可變更時間戳記信號之時間解析度。因而，事件檢測裝置501可相應於攝像對象之物體之移動速度或事件檢測裝置501與物體之相對速度，而將時間戳記信號之時間解析度最佳化。藉此，事件檢測裝置501可謀求提高移動之物體之辨識精度。
時間戳記信號之時間解析度為低解析度之期間之位址事件信號實質上被積分，可僅殘留用於辨識之充分之資訊。又，此時，易於辨識為相同之物體，而物體之移動之辨識精度提高。
又，若將時間戳記信號時時間解析度低解析度化，則可降低用於產生時間戳記信號之時脈信號(在本實施形態中為分頻時脈信號)之頻率。藉此，可謀求事件檢測裝置501之低耗電化。再者，事件檢測裝置501藉由相應於位址事件之檢測信號之檢測頻度，增減時間戳記信號之解析度，而可降低待機時間(幾乎未檢測到位址事件之檢測信號之期間)之待機電力。
＜7.第7實施形態＞ [事件檢測裝置之構成例] 圖37係顯示本發明之第7實施形態之事件檢測裝置502之一構成例的方塊圖。事件檢測裝置502具備：攝像透鏡110、及固體攝像元件200，該固體攝像元件200具有：複數個光電轉換元件333(參照圖5)，其等各自將入射光進行光電轉換而產生電信號；及位址事件檢測部(檢測部之一例)400(參照圖3)，其輸出表示複數個光電轉換元件333各者之電信號之變化量是否超過特定之臨限值之檢測結果之檢測信號。又，事件檢測裝置502具備：連接於固體攝像元件200之記錄部120、及控制固體攝像元件200之控制部130。再者，事件檢測裝置502具備時間戳記信號產生部520，該時間戳記信號產生部520產生用於表示由位址事件檢測部400檢測到檢測信號之時點之時間戳記信號。作為事件檢測裝置502，可設想搭載於產業用機器人之相機、或車載相機等。
本實施形態之攝像透鏡110構成為具有與上述第6實施形態之攝像透鏡110相同之構成，且發揮相同之功能。又，本實施形態之固體攝像元件200構成為具有與上述第6實施形態之固體攝像元件200相同之構成，且發揮相同之功能。本實施形態之記錄部120構成為具有與上述第6實施形態之記錄部120相同之構成，且發揮相同之功能。再者，本實施形態之控制部130構成為具有與上述第6實施形態之控制部130相同之構成，且發揮相同之功能。因而，本實施形態之攝像透鏡110、固體攝像元件200、記錄部120及控制部130之詳細之說明省略。
如圖37所示，在本實施形態之時間戳記信號產生部520連接有外部裝置600。在事件檢測裝置502為例如搭載於產業用機器人之相機之情形下，外部裝置600相當於例如控制該產業用機器人之工廠自動化之控制裝置。外部裝置600構成為將例如用於變更時間戳記信號之時間解析度之變更信號輸出至時間戳記信號產生部520。
此處，針對時間戳記信號產生部520，參照圖37且利用圖38至圖41進行說明。首先，針對時間戳記信號產生部520之概略構成，利用圖38及圖39進行說明。圖38係顯示時間戳記信號產生部520之一構成例之方塊圖。圖39係顯示設置於時間戳記信號產生部520之變更部522之一構成例之方塊圖。
如圖38所示，時間戳記信號產生部520具有連接於控制部130(參照圖31)之驅動用時脈信號產生電路511。本實施形態之驅動用時脈信號產生電路511形成為具有與上述第6實施形態之驅動用時脈信號產生電路511相同之構成，且發揮相同之功能。因而，驅動用時脈信號產生電路511之說明省略。
如圖38所示，事件檢測裝置502具備變更部522，該變更部522設置於時間戳記信號產生部520，在特定條件成立之情形下變更時間戳記信號之時間解析度。變更部522構成為存在下述情形，即：在自外部裝置600(參照圖37)輸入用於變更時間戳記信號之時間解析度之變更信號(特定信號之一例)之情形下，判定為用於變更時間戳記信號之時間解析度之特定條件成立。
如圖38所示，變更部522具有將時間戳記信號之複數個時間解析度與自外部裝置600輸入之變更信號中所含之資訊(特定條件之一例)建立對應關係並記憶之暫存器控制電路(記憶部之一例)522b。暫存器控制電路522b構成為可設定在當前時點設定中之時間戳記信號之時間解析度。暫存器控制電路522b與外部裝置600連接。藉此，朝暫存器控制電路522b輸出外部裝置600所輸出之變更信號。在外部裝置600所輸出之變更信號中包含與時間戳記信號之時間解析度相關之資訊。與時間戳記信號之時間解析度相關之資訊可為該時間解析度之數值，亦可為與該時間解析度建立對應關係之編號。暫存器控制電路522b具有例如相應於與變更信號中所含之時間戳記信號之時間解析度相關之資訊之形式而構成之記憶區域。在例如與時間戳記信號之時間解析度相關之資訊為該時間解析度之數值之情形下，暫存器控制電路522b之該記憶區域構成為可記憶有可能包含於變更信號中之時間戳記信號之時間解析度之所有數值。又，在例如與時間戳記信號之時間解析度相關之資訊為與該時間解析度建立對應關係之編號之情形下，暫存器控制電路522b之該記憶區域構成為可將有可能包含於變更信號中之時間戳記信號之時間解析度之所有數值、及與該數值分別建立對應關係之番號設為一組而記憶。
在利用工廠自動化之生產線中，預先知悉所搬送之零件之形狀或大小、或是搬送速度等。即，在事件檢測裝置502被用於工廠自動化之情形下，預先知悉事件檢測裝置502所拍攝之物體之形狀或大小、或是該物體被搬送之搬送速度。藉此，在事件檢測裝置502中，由位址事件檢測部400檢測到之位址事件之檢測時點可大致預測。因而，本實施形態之事件檢測裝置502並非如上述第6實施形態之事件檢測裝置501般構成為對實際檢測到之位址事件之檢測信號之檢測頻度進行回饋，且變更時間戳記信號之時間解析度。事件檢測裝置502構成為基於包含與攝像對象之物體本身及基於該物體之移動速度之時間戳記信號的時間解析度相關之資訊、且自外部裝置600輸入之變更信號，而變更時間戳記信號之時間解析度。
又，設置於如汽車般移動速度會變化之移動物體之外部裝置600，可預先記憶該移動物體之移動速度與時間戳記信號之時間解析度之對應關係之資訊。因而，該移動物體所使用之事件檢測裝置502藉由將外部裝置600所記憶之該對應關係之資訊預先記憶於暫存器控制電路522b，而可基於自外部裝置600輸入之變更信號中所含之該對應關係資訊，變更時間戳記信號之時間解析度。
暫存器控制電路522b構成為在被輸入外部裝置600所輸出之變更信號時，對與該變更信號中所含之時間戳記信號之時間解析度相關之資訊進行解析。又，暫存器控制電路522b構成為在對變更信號進行解析之結果為，判定為變更信號中所含之時間戳記信號之時間解析度大於(或小於)當前設定中之時間戳記信號之時間解析度時，將包含指示將時間戳記信號之時間解析度變更為低解析度(或高解析度)之資訊的指示信號輸出至分頻電路522a。
如圖38所示，變更部522具有將驅動用時脈信號(基於基準時脈信號之時脈信號之一例)之頻率分頻之分頻電路512a。本實施形態之分頻電路512a由於構成為具有上述第6實施形態之分頻電路512a相同之構成，且發揮相同之功能，故說明省略。
時間戳記信號產生部520具有計數器電路513，該計數器電路513輸出對藉由設置於變更部512之分頻電路512a而頻率被分頻之時脈信號即分頻時脈信號之時脈數(亦即時脈頻率)予以計數之計數值而作為時間戳記信號。本實施形態之計數器電路513由於構成為具有與上述第6實施形態之計數器電路513相同之構成，且發揮相同之功能，故說明省略。
如圖39所示，變更部522除構成為自外部裝置600朝暫存器控制電路522b輸入變更信號，且暫存器控制電路522b對該變更信號予以解析之方面以外，構成為具有與上述第6實施形態之變更部512相同之構成，且發揮相同之功能。本實施形態之暫存器控制電路522b雖然具有與上述第6實施形態之暫存器控制電路512b不同之構成，但朝分頻電路512a輸出之指示信號之形式與暫存器控制電路512b相同。因而，本實施形態之分頻電路522a可具有上述第6實施形態之分頻電路512a相同之構成。
此外，在本實施形態中亦然，分頻電路512a之構成並不限定於圖39所示之構成。例如設置於分頻電路512a之分頻器之段數並不限定於2段，可為1段或3段以上。又，分頻電路512a可構成為具有相位同步電路，可對驅動用時脈信號之頻率分頻或倍增而進行變更。
其次，針對間戳記信號產生部520之動作例，參照圖37至圖39且利用圖40進行說明。圖40係顯示本實施形態之事件檢測裝置502所具備之時間戳記信號產生部520之動作之一例的時序圖。圖40中之第1段所示之「變更信號」表示外部裝置600所輸出之變更信號。在圖40中，由圖40中之第1段所示之六角形框表示變更信號被輸出之狀態。圖40中之第2段所示之「分頻時脈信號」表示自變更部512朝計數器電路513輸入之分頻時脈信號。圖40中之第3段所示之「時間戳記信號」表示自時間戳記信號產生部520朝固體攝像元件200輸入之時間戳記信號。在圖40中自左向右表示時間之經過。又，在圖40中，為易於理解，分頻時脈信號根據頻率被逐次1/2分頻時之狀態而表示為：至時刻t1為止為與驅動用時脈信號相同之頻率，在時刻t1至時刻t2之期間為與初段時脈信號相同之頻率，時刻t2以後為與後段時脈信號相同之頻率。
在圖40所示之至時刻t1為止之期間內，於在自暫存器控制電路532b(參照圖39)朝設置於分頻電路512a之選擇電路512a3(參照圖40)輸入之指示信號中，包含時間戳記信號之時間解析度之最小值(例如，與驅動用時脈信號之頻率之倒數相同之值)。藉此，由於選擇電路512a3選擇驅動用時脈信號，故如圖40所示，將與驅動用時脈信號相同之頻率(相同之週期)之分頻時脈信號輸出至計數器電路513(參照圖38)。計數器電路513在每當所輸入之分頻時脈信號例如上升時對分頻時脈信號之時脈數予以計數，且將包含計數值之時間戳記信號輸出至固體攝像元件200(參照圖37)。在圖40中圖示時間戳記信號中所含之計數值n～n+7(n為自然數)。在至時刻t1為止之期間內，分頻時脈信號之頻率成為例如10 GHz，時間戳記信號之時間解析度成為例如100 psec。
在時刻t1，時間戳記信號產生部520在被輸入來自外部裝置600(參照圖37)之變更信號時，於暫存器控制電路522b中對該變更信號予以解析。
假設在時刻t1暫存器控制電路512b所解析之變更信號中所含之時間戳記信號之時間解析度例如大於當前設定中之時間戳記信號之時間解析度(在本例中為與驅動用時脈信號之週期相同之值)。此時，暫存器控制電路522b將包含例如與初段時脈信號之週期相同之值之時間解析度之資訊、及指示將時間戳記信號之時間解析度低解析度化之資訊之指示信號輸出至選擇電路512a3。藉此，選擇電路512a3由於選擇初段時脈信號，故將與初段時脈信號相同之頻率(相同之週期)之分頻時脈信號輸出至計數器電路513(參照圖38)。因而，如圖40所示，自時刻t1起，分頻時脈信號之週期變長(頻率變低)。計數器電路513每當所輸入之分頻時脈信號例如上升時對分頻時脈信號之時脈數予以計數，且將包含計數值之時間戳記信號輸出至固體攝像元件200。計數器電路513即便分頻時脈信號之週期被變更亦不重置計數值。因而，如圖40所示，在時刻t1之前後，計數器電路513在輸出包含「n+7」之計數值之時間戳記信號之後，輸出包含「n+8」之計數值之時間戳記信號。在自時刻t1至後述之時刻t2之期間內，分頻時脈信號之頻率成為例如100 MHz，時間戳記信號之時間解析度成為例如10 nsec。
在自時刻t1經過特定時間之時刻t2，時間戳記信號產生部520在被輸入來自外部裝置600(參照圖38)之變更信號時，在暫存器控制電路522b中對該變更信號予以解析。
假設在時刻t2暫存器控制電路512b所解析之變更信號中所含之時間戳記信號之時間解析度例如大於當前設定中之時間戳記信號之時間解析度(在本例中為與初段時脈信號之週期相同之值)。此時，暫存器控制電路522b將包含例如與後段時脈信號之週期相同之值之時間解析度之資訊、及指示將時間戳記信號之時間解析度低解析度化之資訊之指示信號輸出至選擇電路512a3。藉此，選擇電路512a3由於選擇後段時脈信號，故將與後段時脈信號相同之頻率(相同之週期)之分頻時脈信號輸出至計數器電路513。因而，如圖40所示，自時刻t2起，分頻時脈信號之週期變長(頻率變低)。計數器電路513每當所輸入之分頻時脈信號例如上升時對分頻時脈信號之時脈數予以計數，且將包含計數值之時間戳記信號輸出至固體攝像元件200。計數器電路513即便分頻時脈信號之週期被變更亦不重置計數值。因而，如圖34所示，在時刻t2之前後，計數器電路513在輸出包含「n+12」之計數值之時間戳記信號之後，輸出包含「n+13」之計數值之時間戳記信號。在時刻t3以後，分頻時脈信號之頻率成為例如1 MHz，時間戳記信號之時間解析度成為例如1 μsec。
雖然在圖40中例示時間戳記信號之時間解析度經低解析度化時之時間戳記信號產生部520之時序圖，但在暫存器控制電路522b所解析之變更信號中所含之時間戳記信號之時間解析度小於當前設定中之時間戳記信號之時間解析度時，時間戳記信號之時間解析度被高解析度化。其結果為，時間戳記信號之週期變短(頻率變高)。
其次，針對本實施形態之事件檢測方法進行說明。本實施形態之事件檢測方法由於除判定特定條件成立之要件不同之方面以外，與上述第6實施形態之事件檢測方法相同，故說明省略。如以上所述般，本實施形態之特定條件成立之情形為自外部裝置600(參照圖37)輸入用於變更時間戳記信號之時間解析度之變更信號(特定信號之一例)之情形。
其次，針對本實施形態之事件檢測裝置501所具備之時間戳記信號產生部520之動作(時間戳記之時間解析度變更處理)之流程之一例，參照圖37至圖40且利用圖41進行說明。圖41係顯示時間戳記信號產生部520之處理之流程之一例的流程圖。時間戳記信號產生部520構成為當對事件檢測裝置502(參照圖37)通電時開始圖41所示之處理，當結束對事件檢測裝置502通電時結束該處理。
(步驟S520-1) 如圖41所示，時間戳記信號產生部520(參照圖38)在開始動作時，首先判定是否自外部裝置600已輸入變更信號。時間戳記信號產生部520在判定為自外部裝置600已輸入變更信號時，移至步驟S520-3之處理。另一方面，時間戳記信號產生部520在判定為未自外部裝置600輸入變更信號時，重複執行步驟S520-1之處理。時間戳記信號產生部520以較時間戳記信號之時間解析度之最小值更小之時間間隔重複執行步驟S520-1之處理，直至輸入變更信號為止。
如此，時間戳記信號產生部520構成為藉由以較時間戳記信號之時間解析度之最小值更小之時間間隔重複執行步驟S520-1之處理，而防止遺漏自外部裝置600已輸入變更信號之判定。步驟S520-1之處理在例如暫存器控制電路522b中執行。
(步驟S520-3) 在步驟S520-3中，時間戳記信號產生部520對自外部裝置600輸入之變更信號予以解析，並移至步驟S520-3之處理。時間戳記信號產生部520對自外部裝置600輸入之變更信號予以解析，並取得表示與該變更信號中所含之時間戳記信號之時間解析度相關之資訊的時間解析度。時間戳記信號產生部520所取得之時間戳記信號之時間解析度可被記憶於例如暫存器控制電路522b。又，時間戳記信號產生部520可具有例如未圖示之記憶部，將時間戳記信號產生部520所取得之時間戳記信號之時間解析度記憶於該記憶部。步驟S520-3之處理在例如暫存器控制電路522b中執行。
(步驟S520-5) 在步驟S520-5中，時間戳記信號產生部520將在步驟S520-3取得之時間戳記信號之時間解析度、與當前設定中之時間戳記信號之時間解析度進行比較，並判定是否減小時間戳記信號之時間解析度。時間戳記信號產生部520在判定為必須減小時間戳記信號之時間解析度之情形下(是)，移至步驟S520-7之處理。另一方面，時間戳記信號產生部520在判定為無須減小時間戳記信號之時間解析度時(否)，移至步驟S520-11之處理。
(步驟S520-7) 在步驟S520-7中，時間戳記信號產生部520判定在當前時點設定中之時間戳記信號之時間解析度是否為最大值。此處，時間戳記信號之時間解析度之最大值為記憶於暫存器控制電路522b之時間戳記信號之複數個時間解析度中之最大值。時間戳記信號產生部520在判定為在當前時點設定中之時間戳記信號之時間解析度為最大值之情形下(是)，返回步驟S520-1之處理。另一方面，時間戳記信號產生部520在判定為在當前時點設定中之時間戳記信號之時間解析度非最大值之情形下(否)，移至步驟S520-9之處理。於在當前時點設定中之時間戳記信號之時間解析度為最大值之情形下，無法進一步減小時間戳記信號之時間解析度。因而，時間戳記信號產生部520構成為即便於在步驟S520-3解析並取得之時間戳記信號之時間解析度大於在當前時點於暫存器控制電路522b設定之時間戳記信號之時間解析度之值之情形下，亦不變更時間戳記信號之時間解析度，而恢復等待輸入位址事件之檢測信號之狀態(步驟S520-1)。步驟S520-7之處理在例如暫存器控制電路522b中執行。
(步驟S520-9) 在步驟S520-9中，時間戳記信號產生部520將時間戳記信號之時間解析度設定為低解析度，並返回步驟S520-1之處理。更具體而言，時間戳記信號產生部520將在當前時點於暫存器控制電路522b設定之時間戳記信號之時間解析度變更為低一級之時間解析度。進而，時間戳記信號產生部520製作包含變更後之時間戳記信號之時間解析度之資訊、及指示變更時間戳記信號之時間解析度之資訊之指示信號，並輸出至構成分頻電路512a之選擇電路512a3(參照圖39)。步驟S520-11之處理在例如暫存器控制電路522b中執行。
選擇電路512a3在被輸入該指示信號時，選擇與該指示信號中所含之時間戳記信號之時間解析度之倒數相同之值之頻率之時脈信號，並將所選擇之時脈信號作為分頻時脈信號輸出至計數器電路513。計數器電路513將解析度低一級化之時間戳記信號輸出至固體攝像元件200。
藉由執行步驟S520-1至步驟S520-9之處理，而自時間戳記信號產生部520輸出之時間戳記信號如圖40所示之時刻t1前後或時刻t2前後般變更。
(步驟S520-11) 在步驟S520-11中，時間戳記信號產生部520將在步驟S520-3取得之時間戳記信號之時間解析度、與當前設定中之時間戳記信號之時間解析度進行比較，並判定是否增大時間戳記信號之時間解析度。時間戳記信號產生部520在判定為必須增大時間戳記信號之時間解析度之情形下(是)，移至步驟S520-13之處理。另一方面，時間戳記信號產生部520在判定為無須增大時間戳記信號之時間解析度之情形下(否)，返回步驟S520-1之處理。
(步驟S510-15) 在步驟S510-15中，時間戳記信號產生部520判定在當前時點設定中之時間戳記信號之時間解析度是否為最大值。此處，時間戳記信號之時間解析度之最大值為記憶於暫存器控制電路522b之時間戳記信號之複數個時間解析度中之最大值。時間戳記信號產生部520在判定為在當前時點設定中之時間戳記信號之時間解析度為最大值之情形下(是)，返回步驟S520-1之處理。另一方面，時間戳記信號產生部520在判定為在當前時點設定中之時間戳記信號之時間解析度非最大值之情形下(否)，移至步驟S520-15之處理。於在當前時點設定中之時間戳記信號之時間解析度為最大值之情形下，無法進一步增加時間戳記信號之時間解析度。因而，時間戳記信號產生部520構成為即便於在步驟S520-3取得之時間戳記信號之時間解析度小於在當前時點於暫存器控制電路522b設定之時間戳記信號之時間解析度之低一級之時間解析度之值之情形下(步驟S520-13之否)，亦不變更時間戳記信號之時間解析度，而恢復等待自外部裝置600輸入變更信號之狀態(步驟S520-1)。步驟S520-13之處理在例如暫存器控制電路522b中執行。
(步驟S520-15) 在步驟S520-15中，時間戳記信號產生部520將時間戳記信號之時間解析度設定為高解析度，並返回步驟S520-1之處理。更具體而言，時間戳記信號產生部520將在當前時點於暫存器控制電路522b設定之時間戳記信號之時間解析度變更為高一級之時間解析度。進而，時間戳記信號產生部520製作包含變更後之時間戳記信號之時間解析度之資訊、及指示變更時間戳記信號之時間解析度之資訊之指示信號，並輸出至構成分頻電路512a之選擇電路512a3。步驟S520-15之處理在例如暫存器控制電路522b中執行。
選擇電路512a3在被輸入該指示信號時，選擇與該指示信號中所含之時間戳記信號之時間解析度之倒數相同之值之頻率之時脈信號，並將所選擇之時脈信號作為分頻時脈信號輸出至計數器電路513。計數器電路513將解析度高一級化之時間戳記信號輸出至固體攝像元件200。
藉由執行步驟S510-1至步驟S510-5及步驟S11至步驟S520-11之處理，而在圖40所示之時刻t1前後或時刻t2前後，與圖40所表示之時間軸反向(圖40中之自右向左之方向)地變更自時間戳記信號產生部520輸出之時間戳記信號之時間解析度。
如以上所說明般，本實施形態之事件檢測裝置502具備：固體攝像元件200、時間戳記信號產生部510、及變更部522，且該固體攝像元件200具有：複數個光電轉換元件333，其等各自將入射光進行光電轉換而產生電信號；及位址事件檢測部400，其輸出表示複數個光電轉換元件333各者之電信號之變化量是否超過特定之臨限值之檢測結果之檢測信號；該時間戳記信號產生部510產生用於表示由位址事件檢測部400檢測到檢測信號之時點之時間戳記信號；該變更部522設置於時間戳記信號產生部520，在位址事件之檢測信號之檢測頻度超過特定之臨限值之情形下變更時間戳記信號之時間解析度。
具備該構成之事件檢測裝置502可相應於攝像對象即物體之移動速度，而變更時間戳記信號之時間解析度。藉此，事件檢測裝置501獲得與上述第6實施形態之事件檢測裝置501同樣之效果。
＜8.第8實施形態＞ 針對本發明之第8實施形態之事件檢測裝置，利用圖42進行說明。本實施形態之事件檢測裝置除時間戳記信號產生部之構成不同之方面以外，具有與上述第6實施形態之事件檢測裝置501同樣之構成。因而，針對本實施形態之事件檢測裝置，對發揮與上述第6實施形態之事件檢測裝置501同樣之作用、功能之構成要素賦予同一符號，且其說明省略。圖42係顯示本實施形態之事件檢測裝置所具備之時間戳記信號產生部530之概略構成之方塊圖。
如圖42所示，時間戳記信號產生部530具有：1個驅動用時脈信號產生電路511、分別連接於驅動用時脈信號產生電路511之複數個變更部512、與複數個變更部512各者以1對1之關係連接之複數個計數器電路513。計數器電路513以與變更部512相同之數目設置。
本實施形態之事件檢測裝置所具備之固體攝像元件200(參照圖31)具有將複數個光電轉換元件333(參照圖5)就每特定數目進行分割而成之複數個像素區塊310(參照圖4)。又，位址事件檢測部(檢測部之一例)400就複數個像素區塊310之每一者設置。再者，變更部512就每複數個位址事件檢測部400設置。複數個像素區塊310例如在像素陣列部300(參照圖4)中呈n列×m行(n及m為自然數)排列。在本實施形態中，變更部512例如就像素區塊310之每一行設置。因而，在時間戳記信號產生部530設置m個變更部512。在m個變更部512分別連接有n個位址事件檢測部400。
變更部512基於經由信號線209連接之n個位址事件檢測部400各者之檢測信號之檢測頻度，變更輸出至計數器電路513之分頻計數器信號之頻率。更具體而言，變更部512構成為基於算出對象期間之n個位址事件檢測部400各者之位址事件之檢測信號之檢測頻度之例如平均值，決定時間戳記信號之時間解析度。此外，變更部512可構成為基於位址事件之檢測信號之檢測頻度之最大值、最小值、或其他之代表值，決定時間戳記信號之時間解析度。
如以上所說明般，本實施形態之事件檢測裝置具備具有與上述第6實施形態之設置於事件檢測裝置501之變更部512同樣之構成之變更部512。藉此，本實施形態之事件檢測裝置獲得與上述第6實施形態之事件檢測裝置501同樣之效果。
又，本實施形態之事件檢測裝置具有複數個變更部512，複數個變更部512就每複數個位址事件檢測部400(在本實施形態中，就像素區塊310之每一行)設置。因而，本實施形態之事件檢測裝置可就像素陣列部300之每一特定區域(本實施形態中為像素區塊310之一行份額之區域)變更時間戳記信號之時間解析度。藉此，本實施形態之事件檢測裝置可謀求就像素陣列部300之每一特定區域提高攝像對象之辨識精度。
＜9.第9實施形態＞ 針對本發明之第9實施形態之系統，利用圖43進行說明。本實施形態之系統為例如攝像系統及物體辨識系統等，可搭載於移動體而利用。以下，針對本實施形態之系統，以物體辨識系統為例進行說明。圖43係顯示本實施形態之物體辨識系統(系統之一例)1A之一構成例之方塊圖。
如圖43所示，物體辨識系統1A具備辨識特定之物體之辨識處理部650、及事件檢測裝置502。事件檢測裝置502形成為除被輸入車外資訊之方面以外，具有與上述第7實施形態之事件檢測裝置502同樣之構成，且發揮同樣之功能。即，事件檢測裝置502具備固體攝像元件200(參照圖37)，該固體攝像元件200具有：複數個光電轉換元件333(參照圖5)，其等各自將入射光進行光電轉換而產生電信號；及事件檢測部(檢測部之一例)400，其輸出表示複數個光電轉換元件333各者之電信號之變化量是否超過特定之臨限值之檢測結果之檢測信號。又，事件檢測裝置502具備：時間戳記信號產生部520(參照圖37)，其產生用於表示由事件檢測部400檢測到檢測信號之時點之時間戳記信號；及變更部522(參照圖38)，其於在時間戳記信號產生部520設置之特定條件成立之情形下變更時間戳記信號之時間解析度。
設置於事件檢測裝置502之控制部130(參照圖37)構成為被輸入車外資訊。控制部130可構成為基於車外資訊，在例如車外資訊為表示惡劣天氣之資訊時，提高事件檢測部之檢測臨限值，或在接收到表示天氣恢復或良好之車外資訊時，降低事件檢測部之檢測臨限值，或恢復初始設定值。
如圖43所示，事件檢測裝置502及辨識處理部650被連接。辨識處理部650基於自事件檢測裝置502輸入之位址事件之檢測信號及攝像資料，進行事件檢測裝置502之視野角內之物體辨識。辨識處理部650進行例如用於辨識車輛為人(特定之物體之一例)等之物體辨識。針對利用辨識處理部60之物體辨識，可利用周知之圖案辨識技術，例如可利用藉由將作為訓練資料被賦予之圖像之特徵點、與拍攝到之被攝體圖像之特徵點進行比較而進行圖像辨識之技術。
辨識處理部650將辨識對象之物體和與關於時間戳記信號之時間解析度相關之資訊建立對應關係而記憶。辨識處理部650將包含與跟成功辨識到之物體建立對應關係之時間戳記信號之時間解析度相關之資訊之變更信號輸出至事件檢測裝置502。
在設置於事件檢測裝置502之暫存器控制電路524中記憶與跟辨識處理部650建立對應關係而記憶之與辨識對象之物體及時間戳記信號之時間解析度相關之資訊相同之資訊。因而，設置於事件檢測裝置502之變更部522在自辨識處理部650被輸入變更信號時，對該變更信號予以解析，並自該變更信號取得與時間戳記信號之時間解析度相關之資訊。事件檢測裝置502可藉由上述第7實施形態之事件檢測裝置502同樣之處理，基於所取得之與時間戳記信號之時間解析度相關之資訊，變更時間戳記信號之時間解析度。如此，設置於事件檢測裝置502之變更部522在辨識處理部650已成功地進行物體辨識之情形下，判定為特定條件成立。
如以上所說明般，本實施形態之物體辨識系統1A具備：辨識處理部650，其辨識特定之物體；及事件檢測裝置502，其在辨識處理部650已成功地進行物體辨識之情形下，變更時間戳記信號之時間解析度。藉此，物體辨識系統1A由於可相應於辨識到之物體而變更時間戳記信號之時間解析度，故獲得與上述第7實施形態同樣之效果。
＜10.第10實施形態＞ 針對本發明之第10實施形態之系統，利用圖44進行說明。本實施形態之系統與上述第9實施形態同樣地為例如攝像系統及物體辨識系統等，可搭載於移動體而利用。以下，針對本實施形態之系統，以物體辨識系統為例進行說明。圖44係顯示本實施形態之物體辨識系統(系統之一例)1B之一構成例之方塊圖。
如圖44所示，物體辨識系統1B具備：辨識處理部650，其辨識特定之物體；事件檢測裝置502；及攝像裝置700，其連接於辨識處理部650。事件檢測裝置502構成為具有與上述第9實施形態之事件檢測裝置502相同之構成，且發揮相同之功能。辨識處理部650構成為除被輸入由攝像裝置700拍攝到之資料之方面以外，具有與上述第9實施形態之辨識處理部650同樣之構成，且發揮同樣之功能。
攝像裝置700可利用與垂直同步信號同步地以固定之圖框率進行攝像，且輸出圖框形式之圖像資料之同步型攝像裝置。作為同步型攝像裝置，可例示CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)型影像感測器、或CCD(Charge Coupled Device，電荷耦合裝置)型影像感測器等。
固定之圖框率且非同步型攝像裝置係相對於與垂直同步信號同步地進行攝像之同步型攝像裝置，與垂直同步信號非同步地檢測事件之攝像裝置。在包含非同步型攝像裝置之事件檢測裝置中，採用具有事件檢測部之像素構成。因而，事件檢測裝置由於與同步型攝像裝置相比，像素尺寸不得不變大，故與利用固定之圖框率進行攝像之攝像裝置相比，解析度較低。本實施形態之物體辨識系統1B具備同步型攝像裝置700。因而，攝像裝置700與非同步型攝像裝置相比，解析度更優異。
攝像裝置700構成為將攝像資料輸出至辨識處理部650。辨識處理部650可利用自攝像裝置700輸入之高解析度之攝像資料進行物體辨識。藉此，本實施形態之辨識處理部650與上述第9實施形態之辨識處理部650比較，物體辨識之精度提高。
本實施形態之辨識處理部650藉由與上述第9實施形態之辨識處理部650同樣之處理而執行物體辨識。辨識處理部650在已成功地進行物體辨識之情形下，將包含與跟成功辨識到之物體建立對應關係之時間戳記信號之時間解析度相關之資訊之變更信號輸出至事件檢測裝置502。本實施形態之事件檢測裝置502在被輸入變更信號時，藉由與上述第9實施形態之事件檢測裝置502同樣之處理，而變更時間戳記信號之時間解析度。
如以上所說明般，本實施形態之物體辨識系統1B具備：辨識處理部650，其辨識特定之物體；及事件檢測裝置502，其在辨識處理部650已成功地進行物體辨識之情形下，變更時間戳記信號之時間解析度。藉此，物體辨識系統1B獲得與上述第9實施形態同樣之效果。
再者，本實施形態之物體辨識系統1B具備連接於辨識處理部650之攝像裝置700。藉此，物體辨識系統1B可謀求提高辨識處理部650之物體辨識之精度。
＜11.對於移動體之應用例＞ 本發明之技術(本發明)可對於各種產品應用。例如，本發明之技術可實現為搭載於汽車、電動汽車、油電混合汽車、機車、自行車、個人移動性裝置、飛機、無人機、船舶、機器人等任一種類之移動體之裝置。
圖45係顯示作為可應用本發明之技術之移動體控制系統之一例之車輛控制系統之概略構成例的方塊圖。
車輛控制系統12000具備經由通訊網路12001連接之複數個電子控制單元。在圖28所示之例中，車輛控制系統12000具備：驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及綜合控制單元12050。又，作為綜合控制單元12050之功能構成，圖示有微電腦12051、聲音圖像輸出部12052、及車載網路I/F(interface，介面)12053。
驅動系統控制單元12010依照各種程式控制與車輛之驅動系統相關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等之用於產生車輛之驅動力之驅動力產生裝置、用於將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛之舵角之轉向機構、及產生車輛之制動力之制動裝置等的控制裝置而發揮功能。
車體系統控制單元12020依照各種程式控制裝備於車體之各種裝置之動作。例如，車體系統控制單元12020作為無 鑰匙門禁系統、智慧型鑰匙系統、電動車窗裝置、或頭燈、尾燈、煞車燈、方向燈或霧燈等之各種燈之控制裝置而發揮功能。該情形下，可對車體系統控制單元12020輸入自代替鑰匙之可攜式機發出之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入，而控制車輛之門鎖裝置、電動車窗裝置、燈等。
車外資訊檢測單元12030檢測搭載車輛控制系統12000之車輛外部之資訊。例如，在車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收拍攝到之圖像。車外資訊檢測單元12030可基於接收到之圖像，進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。
攝像部12031係接收光且輸出與該光之受光量相應之電信號之光感測器。攝像部12031既可將電信號作為圖像輸出，亦可作為測距之資訊而輸出。又，攝像部12031接收到之光可為可見光，也可為紅外線等之非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040基於自駕駛者狀態檢測部12041輸入之檢測資訊，既可算出駕駛者之疲勞度或注意力集中度，亦可判別駕駛者是否打瞌睡。
微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，且對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含車輛之避免碰撞或緩和衝擊、基於車距之追隨行駛、車速維持行駛、車輛之碰撞警告、或車輛之車道偏離警告等的ADAS(Advanced Driver Assistance System，先進駕駛輔助系統)之功能為目的之協調控制。
又，微電腦12051藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛之周圍之資訊而控制驅動力產生裝置、轉向機構或制動裝置等，而可進行以不依賴駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
又，微電腦12051可基於由車外資訊檢測單元12030取得之車外之資訊，對車體系統控制單元12020輸出控制指令。例如，微電腦12051可進行根據由車外資訊檢測單元12030檢測到之前方車或對向車之位置而控制頭燈、而將遠光燈切換為近光燈等之以謀求防眩為目的之協調控制。
聲音圖像輸出部12052朝可針對車輛之乘客或車外以視覺性或聽覺性通知資訊之輸出裝置，發送聲音及圖像中之至少一者之輸出信號。在圖45之例中，例示有音訊揚聲器12061、顯示部12062及儀錶板12063作為輸出裝置。顯示部12062例如可包含車載顯示器及抬頭顯示器之至少一者。
圖46係顯示攝像部12031之設置位置之例之圖。
在圖46中，作為攝像部12031，具有攝像部12101、12102、12103、12104、12105。
攝像部12101、12102、12103、12104、12105設置於例如車輛12100之前保險桿、側視鏡、後保險桿、後門及車廂內之擋風玻璃之上部等之位置。前保險桿所具備之攝像部12101及車廂內之擋風玻璃之上部所具備之攝像部12105主要獲得車輛12100之前方之圖像。側視鏡所具備之攝像部12102、12103主要取得車輛12100之側方之圖像。後保險桿或後門所具備之攝像部12104主要取得車輛12100之後方之圖像。車廂內之擋風玻璃之上部所具有之攝像部12105主要用於前方車輛或行人、障礙物、號誌燈、交通標誌或車道線等之檢測。
又，在圖46中，顯示攝像部12101至12104之攝影範圍之一例。攝像範圍12111表示設置於前保險桿之攝像部12101之攝像範圍，攝像範圍12112、12113表示分別設置於側視鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險桿或後門之攝像部12104之攝像範圍。例如，藉由重疊由攝像部12101至12104拍攝之圖像資料，可獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少1者可具有取得距離資訊之功能。例如，攝像部12101至12104之至少一者可為包含複數個攝像元件之立體攝影機，也可為具有相位差檢測用之像素之攝像元件。
例如，微電腦12051藉由基於根據攝像部12101至12104獲得之距離資訊，求得與攝像範圍12111至12114內之各立體物相隔之距離、及該距離之時間性變化(對於車輛12100之相對速度)，而可尤其將位於車輛12100之行進路上最近之立體物、且為在與車輛12100大致相同之方向以特定之速度(例如0 km/h以上)行駛之立體物擷取作為前方車。進而，微電腦12051可設定針對前方車於近前應預先確保之車距，進行自動煞車控制(亦包含停止追隨控制)、自動加速控制(亦包含追隨起步控制)等。如此般可進行不依賴駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051可基於自攝像部12101至12104獲得之距離資訊，將與立體物相關之立體物資料分類為機車、普通車輛、大型車輛、行人、電線桿等其他之立體物而加以擷取，用於自動迴避障礙物。例如，微電腦12051可將車輛12100之周邊之障礙物辨識為車輛12100之駕駛員可視認之障礙物及難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞風險，當遇到碰撞風險為設定值以上而有可能發生碰撞之狀況時，藉由經由音訊揚聲器12061或顯示部12062對駕駛員輸出警報，或經由驅動系統控制單元12010進行強制減速或迴避操舵，而可進行用於避免碰撞之駕駛支援。
攝像部12101至12104之至少1者可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定在攝像部12101至12104之攝像圖像中是否存在有行人而辨識行人。如此之行人之辨識藉由例如提取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點之程序、針對表示物體之輪廓之一系列特徵點進行圖案匹配處理而判別是否為行人之程序而進行。微電腦12051當判定為在攝像部12101至12104之攝像圖像中存在行人，且辨識為行人時，聲音圖像輸出部12052以針對該被辨識出之行人重疊顯示用於強調之方形輪廓線之方式控制顯示部12062。又，聲音圖像輸出部12052亦可以將顯示行人之圖標等顯示於所期望之位置之方式控制顯示部12062。
以上，針對可應用本發明之技術之車輛控制系統之一例進行了說明。本發明之技術可應用於以上所說明之構成中之例如攝像部12031。具體而言，圖1之攝像裝置100可應用於攝像部12031。藉由將本發明之技術應用於攝像部12031，而可削減電路之安裝面積，將攝像部12031小型化。
此外，上述實施形態係顯示用於將本發明具體化之一例者，實施形態之事項與申請專利範圍之發明特定事項分別具有對應關係。同樣地，申請專利範圍之發明特定事項與賦予與其相同名稱的本發明之實施形態之事項分別具有對應關係。惟，本發明並非係由實施形態限定者，可在不脫離其要旨之範圍內藉由對實施形態施行各種變化而具體化。
又，在上述之實施形態中所說明之處理程序既可被視為具有該等一系列程序之方法，且，亦可被視為用於使電腦執行該等一系列程序之程式及記憶該程式之記錄媒體。作為該記錄媒體，可使用例如CD(Compact Disc，壓縮光碟)、MD(MiniDisc，迷你光碟)、DVD(Digital Versatile Disc，數位多功能光碟)、記憶卡、藍光光碟(Blu-ray(註冊商標)Disc)等。
本發明並不限定於上述第1實施形態至上述第8實施形態，可進行各種變化。 雖然上述第6實施形態之事件檢測裝置501基於算出對象期間之位址事件之檢測信號之檢測數算出位址事件之檢測信號之檢測頻度，但本發明並不限定於此。例如，事件檢測裝置501可利用位址事件之檢測信號之檢測間隔而作為位址事件之檢測信號之檢測頻度。事件檢測裝置501可在同一受光部330之位址事件之檢測信號之檢測間隔超過特定之臨限值(該檢測間隔之下限值或上限值)之情形下，變更時間戳記信號之時間解析度。與特定之臨限值相比較之位址事件之檢測信號之檢測間隔可為設置於像素陣列部300之所有受光部330之該檢測間隔之代表值(平均值、最小值或最大值等)。又，如上述第8實施形態般，在事件檢測裝置具有複數個變更部之情形下，與特定之臨限值相比較之位址事件之檢測信號之檢測間隔可為連接於該複數個變更部之複數個受光部之每一者之該檢測間隔之代表值(平均值、最小值或最大值等)。
進而，此情形下，事件檢測裝置501可設置位址事件之檢測信號之檢測間隔之算出對象之期間，基於該期間之位址事件之檢測信號之檢測間隔之代表值(平均值、最小值或最大值等)，變更時間戳記信號之時間解析度。如此，藉由設置位址事件之檢測信號之檢測間隔之算出對象之期間，而可防止被如僅特定區域之受光部330在短期間內重複受光及非受光之特殊區域誤導，在短期間內重複變更時間戳記信號之時間解析度。
雖然上述第6實施形態之變更部512構成為相應於位址事件之檢測信號之檢測頻度而變更時間戳記信號之時間解析度，上述第7實施形態之變更部522構成為基於自外部裝置600輸入之變更信號變更時間戳記信號之時間解析度，但本發明並不限定於此。例如，設置於事件檢測裝置之變更部可構成為一面適切地變更為位址事件之檢測信號之檢測頻度及自外部裝置輸入之變更信號之任一者及兩者，一面變更時間戳記信號之時間解析度。藉此，事件檢測裝置可增加移動之物體之檢測方法之變化。
上述第7實施形態之事件檢測裝置502可連接有辨識處理部650，而取代外部裝置600。此情形下，暫存器控制電路522可記憶跟與辨識處理部650建立對應關係而記憶之與辨識對象之物體及時間戳記信號之時間解析度相關之資訊相同之資訊。藉此，變更部522可基於在辨識處理部650已成功地進行物體辨識之情形下所輸入之變更信號之解析結果，變更時間戳記信號之時間解析度。此情形下，變更部522構成為在辨識處理部650已成功地進行物體辨識之情形下，判定為特定條件成立。
此外，本說明書所記載之效果終極而言僅為例示而並非被限定者，亦可具有其他之效果。
此外，本發明亦可採取如以下之構成。 (1) 一種事件檢測裝置，其具備： 固體攝像元件，其具有：複數個光電轉換元件，其等各自將入射光進行光電轉換而產生電信號；及檢測部，其輸出表示前述複數個光電轉換元件各者之前述電信號之變化量是否超過特定臨限值之檢測結果的檢測信號； 時間戳記信號產生部，其產生用於表示由前述檢測部檢測到前述檢測信號之時點之時間戳記信號；及 變更部，其設置於前述時間戳記信號產生部，在特定條件成立之情形下變更前述時間戳記信號之時間解析度。 (2) 如前述(1)之事件檢測裝置，其中前述變更部具有將複數個前述時間解析度與前述特定條件建立對應關係而記憶之記憶部。 (3) 如前述(2)之事件檢測裝置，其中前述變更部具有將基於基準時脈信號之時脈信號之頻率分頻之分頻電路；且 前述分頻電路基於自前述記憶部輸入之前述時間解析度之資訊，變更分頻之次數。 (4) 如前述(3)之事件檢測裝置，其中前述時間戳記信號產生部具有計數器電路，該計數器電路輸出對頻率由前述分頻電路予以分頻之時脈信號即分頻時脈信號之頻率加以計數之計數值，作為前述時間戳記信號。 (5) 如前述(1)至(4)中任一項之事件檢測裝置，其中前述固體攝像元件具有將前述複數個光電轉換元件就每特定數目進行分割而成之複數個像素區塊；且 前述檢測部就前述複數個像素區塊之每一者設置； 前述變更部就每複數個前述檢測部設置。 (6) 如前述(1)至(5)中任一項之事件檢測裝置，其中前述變更部在前述檢測信號之檢測頻度超過特定臨限值之情形下，判定為前述特定條件成立。 (7) 如前述(1)至(6)中任一項之事件檢測裝置，其中前述變更部在自外部裝置被輸入特定信號之情形下，判定為前述特定條件成立。 (8) 如前述(1)至(6)中任一項之事件檢測裝置，其中前述變更部在辨識特定物體之辨識處理部成功辨識物體之情形下，判定為前述特定條件成立。 (9) 一種系統，其具備： 辨識處理部，其辨識特定之物體；及 事件檢測裝置，其具有：固體攝像元件、時間戳記信號產生部、及變更部，該固體攝像元件具有：複數個光電轉換元件，其等各自將入射光進行光電轉換而產生電信號；及檢測部，其輸出表示前述複數個光電轉換元件各者之前述電信號之變化量是否超過特定臨限值之檢測結果的檢測信號；該時間戳記信號產生部產生用於表示由前述檢測部檢測到前述檢測信號之時點之時間戳記信號；該變更部設置於前述時間戳記信號產生部，在特定條件成立之情形下變更前述時間戳記信號之時間解析度；且 前述事件檢測裝置在前述辨識處理部成功辨識物體之情形下，判定為前述特定條件成立。 (10) 如前述(9)之系統，其具備連接於前述辨識處理部之攝像裝置。 (11) 一種事件檢測方法，其以光電轉換元件對所入射之入射光進行光電轉換而產生電信號； 以檢測部檢測前述電信號之變化量是否超過特定之臨限值並輸出檢測信號； 以時間戳記信號產生部產生用於表示檢測到前述檢測信號之時點之時間戳記信號；且 在特定條件成立之情形下，以設置於前述時間戳記信號產生部之變更部變更前述時間戳記信號之時間解析度。
1A,1B:物體辨識系統 100,700:攝像裝置 110:攝像透鏡 120:記錄部 130:控制部 200:固體攝像元件 201:受光晶片 202:檢測晶片 209:信號線 211:驅動電路 212:信號處理部 213:仲裁器 220:行ADC 230:ADC 240:差動放大電路 241,242,412:P型電晶體 243,244,245,411,413:N型電晶體 250:計數器 300:像素陣列部 310:像素區塊 311:像素 312:通常像素 313:位址事件檢測像素 320:像素信號產生部 321:重置電晶體 322:放大電晶體 323:選擇電晶體 324:浮動擴散層 330:受光部 331:傳送電晶體 332:OFG電晶體 333:光電轉換元件 340:連接節點 400:位址事件檢測部/事件檢測部 410:電流電壓轉換部 420:緩衝器 430:減算器 431,433:電容器 432:反相器 434:開關 440:量化器 441:比較器 450:傳送部 501,502:事件檢測裝置 510,520,530:時間戳記信號產生部 511:驅動用時脈信號產生電路 512,522:變更部 512a,522a:分頻電路 512a1:初段分頻器 512a2:後段分頻器 512a3:選擇電路 512b,522b:暫存器控制電路 513:計數器電路 600:外部裝置 650:辨識處理部 12000:車輛控制系統 12001:通訊網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:綜合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:音訊揚聲器 12062:顯示部 12063:儀錶板 12100:車輛 12101~12105:攝像部 12111~12114:攝像範圍 n~n+16:計數值 REF:參考信號 RST:重置信號 SEL:選擇信號 SIG:像素信號 T0~T4:時序 t1,t2:時刻 TRG1:傳送信號 TRG2:傳送信號 Vb:偏電壓 Vbias:偏電壓/電壓 VDD:電源電壓 VSL:垂直信號線 Vth:臨限值電壓 ΔT:算出對象期間
圖1係顯示本發明之第1實施形態之攝像裝置之一構成例之方塊圖。 圖2係顯示本發明之第1實施形態之固體攝像元件之積層構造之一例的圖。 圖3係顯示本發明之第1實施形態之固體攝像元件之一構成例的方塊圖。 圖4係顯示本發明之第1實施形態之像素陣列部之一構成例的方塊圖。 圖5係顯示本發明之第1實施形態之像素區塊之一構成例的電路圖。 圖6係顯示本發明之第1實施形態之位址事件檢測部之一構成例的方塊圖。 圖7係顯示本發明之第1實施形態之電流電壓轉換部之一構成例的電路圖。 圖8係顯示本發明之第1實施形態之減法器及量化器之一構成例之電路圖。 圖9係顯示本發明之第1實施形態之行ADC(Analog-to-Digital Converter，類比數位轉換器)之一構成例的方塊圖。 圖10係顯示本發明之第1實施形態之固體攝像元件之動作之一例的時序圖。 圖11係顯示本發明之第1實施形態之固體攝像元件之動作之一例的流程圖。 圖12係顯示本發明之第1實施形態之第1變化例之像素區塊之一構成例的電路圖。 圖13係顯示本發明之第1實施形態之第2變化例之像素區塊之一構成例的電路圖。 圖14係顯示本發明之第1實施形態之第3變化例之像素區塊之一構成例的電路圖。 圖15係顯示本發明之第2實施形態之像素陣列部之一構成例的方塊圖。 圖16係顯示本發明之第2實施形態之受光部之一構成例的電路圖。 圖17係顯示削減本發明之第2實施形態之傳送電晶體之受光部之一構成例的電路圖。 圖18係顯示本發明之第2實施形態之電流電壓轉換部之一構成例的電路圖。 圖19係顯示本發明之第2實施形態之固體攝像元件之動作之一例的時序圖。 圖20係顯示本發明之第2實施形態之變化例之電流電壓轉換部之一構成例的電路圖。 圖21係顯示本發明之第2實施形態之變化例之ADC之一構成例的電路圖。 圖22係顯示本發明之第3實施形態之像素陣列部之一構成例的方塊圖。 圖23係顯示本發明之第3實施形態之受光部之一構成例的電路圖。 圖24係顯示本發明之第3實施形態之位址事件檢測部之一構成例的方塊圖。 圖25係顯示本發明之第3實施形態之變化例之受光部之一構成例的電路圖。 圖26係顯示本發明之第4實施形態之像素陣列部之一構成例的方塊圖。 圖27係顯示本發明之第4實施形態之變化例之像素陣列部之一構成例的方塊圖。 圖28係顯示本發明之第4實施形態之變化例之通常像素之一構成例的電路圖。 圖29係顯示本發明之第5實施形態之像素陣列部之一構成例的方塊圖。 圖30係顯示本發明之第5實施形態之像素區塊之一構成例的方塊圖。 圖31係顯示本發明之第6實施形態之事件檢測裝置之一構成例的方塊圖。 圖32係顯示本發明之第6實施形態之時間戳記信號產生部之一構成例的方塊圖。 圖33係顯示本發明之第6實施形態之變更部之一構成例的方塊圖。 圖34係顯示本發明之第6實施形態之時間戳記信號產生部之動作之一例的時序圖。 圖35係顯示本發明之第6實施形態之事件檢測裝置之動作之一例的流程圖。 圖36係顯示本發明之第6實施形態之時間戳記信號產生部之動作之一例的流程圖。 圖37係顯示本發明之第7實施形態之事件檢測裝置之一構成例的方塊圖。 圖38係顯示本發明之第7實施形態之時間戳記信號產生部之一構成例的方塊圖。 圖39係顯示本發明之第7實施形態之變更部之一構成例的方塊圖。 圖40係顯示本發明之第7實施形態之時間戳記信號產生部之動作之一例的時序圖。 圖41係顯示本發明之第7實施形態之時間戳記信號產生部之動作之一例的流程圖。 圖42係顯示本發明之第8實施形態之時間戳記信號產生部之一構成例的方塊圖。 圖43係顯示本發明之第9實施形態之物體辨識系統之一構成例的方塊圖。 圖44係顯示本發明之第10實施形態之物體辨識系統之另一構成例的方塊圖。 圖45係顯示車輛控制系統之概略構成例之方塊圖。 圖46係顯示攝像部之設置位置之一例之說明圖。
110:攝像透鏡
120:記錄部
130:控制部
200:固體攝像元件
209:信號線
501:事件檢測裝置
510:時間戳記信號產生部

Claims (11)

  1. 一種事件檢測裝置，其具備：固體攝像元件，其具有：複數個光電轉換元件，其等各自將入射光進行光電轉換而產生電信號；及檢測部，其輸出表示前述複數個光電轉換元件各者之前述電信號之變化量是否超過特定臨限值之檢測結果的檢測信號；時間戳記信號產生部，其產生用於表示由前述檢測部檢測到前述檢測信號之時點之時間戳記信號；及變更部，其設置於前述時間戳記信號產生部，在特定條件成立之情形下變更前述時間戳記信號之時間解析度；上述特定條件成立之情形包含：前述檢測信號之檢測頻度超過特定臨限值之情形、自外部裝置被輸入特定信號之情形及辨識特定物體之辨識處理部成功地辨識物體之情形。
  2. 如請求項1之事件檢測裝置，其中前述變更部具有將複數個前述時間解析度與前述特定條件建立對應關係而記憶之記憶部。
  3. 如請求項2之事件檢測裝置，其中前述變更部具有將基於基準時脈信號之時脈信號之頻率分頻之分頻電路；且前述分頻電路基於自前述記憶部輸入之前述時間解析度之資訊，變更分頻之次數。
  4. 如請求項3之事件檢測裝置，其中前述時間戳記信號產生部具有計數器電路，該計數器電路輸出對頻率由前述分頻電路予以分頻之時脈信號即分頻時脈信號之頻率加以計數之計數值，作為前述時間戳記信號。
  5. 如請求項1之事件檢測裝置，其中前述固體攝像元件具有將前述複數個光電轉換元件就每特定數目進行分割而成之複數個像素區塊；且前述檢測部就前述複數個像素區塊之每一者設置；前述變更部就每複數個前述檢測部設置。
  6. 如請求項1之事件檢測裝置，其中前述變更部在前述檢測信號之檢測頻度超過特定臨限值之情形下，判定為前述特定條件成立。
  7. 如請求項1之事件檢測裝置，其中前述變更部在自外部裝置被輸入特定信號之情形下，判定為前述特定條件成立。
  8. 如請求項1之事件檢測裝置，其中前述變更部在辨識特定物體之辨識處理部成功地辨識物體之情形下，判定為前述特定條件成立。
  9. 一種系統，其具備：辨識處理部，其辨識特定物體；及事件檢測裝置，其具有：固體攝像元件、時間戳記信號產生部、及變更部，該固體攝像元件具有：複數個光電轉換元件，其等各自將入射光進行光電轉換而產生電信號；及檢測部，其輸出表示前述複數個光電轉換 元件各者之前述電信號之變化量是否超過特定臨限值之檢測結果的檢測信號；該時間戳記信號產生部產生用於表示由前述檢測部檢測到前述檢測信號之時點之時間戳記信號；該變更部設置於前述時間戳記信號產生部，在特定條件成立之情形下變更前述時間戳記信號之時間解析度；且前述變更部在前述辨識處理部成功辨識物體之情形下，判定為前述特定條件成立。
  10. 如請求項9之系統，其具備連接於前述辨識處理部之攝像裝置。
  11. 一種事件檢測方法，其以光電轉換元件對所入射之入射光進行光電轉換而產生電信號；以檢測部檢測前述電信號之變化量是否超過特定臨限值並輸出檢測信號；以時間戳記信號產生部產生用於表示檢測到前述檢測信號之時點之時間戳記信號；且在特定條件成立之情形下，以設置於前述時間戳記信號產生部之變更部變更前述時間戳記信號之時間解析度；上述特定條件成立之情形包含：前述檢測信號之檢測頻度超過特定臨限值之情形、自外部裝置被輸入特定信號之情形及辨識特定物體之辨識處理部成功地辨識物體之情形。
TW109113225A 2019-04-26 2020-04-20 事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法 TWI831962B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019085429 2019-04-26
JP2019-085429 2019-04-26

Publications (2)

Publication Number Publication Date
TW202101962A TW202101962A (zh) 2021-01-01
TWI831962B true TWI831962B (zh) 2024-02-11

Family

ID=72942733

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109113225A TWI831962B (zh) 2019-04-26 2020-04-20 事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法

Country Status (5)

Country Link
US (1) US20220159201A1 (zh)
CN (1) CN113728616B (zh)
DE (1) DE112020002106T5 (zh)
TW (1) TWI831962B (zh)
WO (1) WO2020218236A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021048554A (ja) * 2019-09-20 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像制御方法、プログラム
US11290671B2 (en) 2020-09-01 2022-03-29 Pixart Imaging Inc. Pixel circuit outputting pulse width signals and performing analog operation
US11812176B2 (en) 2020-09-01 2023-11-07 Pixart Imaging Inc. Pixel circuit selecting to output time difference data or image data
US11706542B2 (en) * 2020-09-01 2023-07-18 Pixart Imaging Inc. Pixel circuit outputting time difference data and image data, and operating method of pixel array
CN113923319B (zh) * 2021-12-14 2022-03-08 成都时识科技有限公司 降噪装置、方法、芯片、事件成像装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170053407A1 (en) * 2014-04-30 2017-02-23 Centre National De La Recherche Scientifique - Cnrs Method of tracking shape in a scene observed by an asynchronous light sensor
WO2018122798A1 (en) * 2016-12-30 2018-07-05 Insightness Ag Dynamic vision sensor architecture

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8824511B2 (en) * 2008-03-27 2014-09-02 Nec Corporation Clock synchronization system, node, clock synchronization method, and program
EP2695000B1 (en) * 2011-04-05 2018-05-30 Koninklijke Philips N.V. Detector array with time-to-digital conversion having improved temporal accuracy
US9190906B2 (en) * 2012-05-16 2015-11-17 Intel Deutschland Gmbh Digital event generator, comparator, switched mode energy converter and method
US9390693B2 (en) * 2014-09-25 2016-07-12 Robert James Kasha Musical instrument with opposing adjustable pitch drums
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
US20180146149A1 (en) * 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
US10516841B2 (en) * 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
JP2019176335A (ja) * 2018-03-28 2019-10-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020053827A (ja) * 2018-09-27 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
KR20220039022A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170053407A1 (en) * 2014-04-30 2017-02-23 Centre National De La Recherche Scientifique - Cnrs Method of tracking shape in a scene observed by an asynchronous light sensor
WO2018122798A1 (en) * 2016-12-30 2018-07-05 Insightness Ag Dynamic vision sensor architecture

Also Published As

Publication number Publication date
TW202101962A (zh) 2021-01-01
WO2020218236A1 (ja) 2020-10-29
DE112020002106T5 (de) 2022-02-17
CN113728616B (zh) 2024-04-12
US20220159201A1 (en) 2022-05-19
CN113728616A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
TWI820078B (zh) 固體攝像元件
TWI831962B (zh) 事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法
US11425318B2 (en) Sensor and control method
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
US11582416B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US11910108B2 (en) Solid-state imaging apparatus and imaging apparatus
JP2021040294A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20210195130A1 (en) Solid-state image sensor and imaging device
WO2020129657A1 (ja) センサ及び制御方法
US20240205557A1 (en) Imaging device, electronic apparatus, and imaging method
TW202205644A (zh) 固態攝像裝置及攝像裝置
WO2024042946A1 (ja) 光検出素子
US11258975B2 (en) Solid-state imaging device and electronic device