TW201937917A - 檢測裝置及感測器 - Google Patents

檢測裝置及感測器 Download PDF

Info

Publication number
TW201937917A
TW201937917A TW107147406A TW107147406A TW201937917A TW 201937917 A TW201937917 A TW 201937917A TW 107147406 A TW107147406 A TW 107147406A TW 107147406 A TW107147406 A TW 107147406A TW 201937917 A TW201937917 A TW 201937917A
Authority
TW
Taiwan
Prior art keywords
event
photoelectric conversion
conversion element
detecting
pixel
Prior art date
Application number
TW107147406A
Other languages
English (en)
Inventor
平田友希
Original Assignee
日商尼康股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商尼康股份有限公司 filed Critical 日商尼康股份有限公司
Publication of TW201937917A publication Critical patent/TW201937917A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本發明提供一種檢測裝置，其具備：事件檢測部，其於由分別具有至少1個光電轉換元件之1個或複數個像素所構成之像素塊中，對表示光電轉換元件中產生之光電流之值超過預先決定之事件檢測閾值之事件進行檢測，且輸出事件檢測訊號；讀出控制部，其基於事件檢測訊號來確定注意區域；以及亮度檢測部，其於注意區域中，對蓄積有光電轉換元件中產生之光電流之亮度訊號進行檢測。

Description

檢測裝置及感測器
本發明係關於一種檢測裝置及感測器。
先前，已知根據所攝影之原圖像來確定注意區域（region of interest，ROI）之檢測裝置（例如參照專利文獻1）。
專利文獻1：日本專利特開第2006-157615號公報
然而，期望以更少之資料處理來確定ROI。
本發明之第1態樣中，提供一種檢測裝置，其具備：事件檢測部，其於由分別具有至少1個光電轉換元件之1個或複數個像素所構成之像素塊中，對表示光電轉換元件中產生之光電流之值超過預先決定之事件檢測閾值之事件進行檢測，且輸出事件檢測訊號；讀出控制部，其基於事件檢測訊號來確定讀出用之注意區域；以及亮度檢測部，其於注意區域中，對蓄積有光電轉換元件中產生之光電流之亮度訊號進行檢測。
本發明之第2態樣中，提供一種感測器，其具備：1個或複數個像素、以及本發明之第1態樣之檢測裝置。
此外，上述發明之概要並未列舉出本發明之特徵之全部。又，該等特徵群之次組合亦可成為發明。
以下，通過發明之實施形態來對本發明加以說明，但以下之實施形態並不限定申請範圍所涉及之發明。又，實施形態中所說明之特徵之組合並非全部為發明之解決手段所必需。
圖1表示感測器300之構成之概要。感測器300具備像素部10及檢測裝置100。
像素部10具備1個或複數個像素11。本例之像素部10具備二維狀地排列之複數個像素11。本例之像素部10具備M×N個像素11。像素11具有至少1個光電轉換元件。像素部10包含由1個或複數個像素11所構成之像素塊12。像素塊12為包含m×n個（m、n為自然數）像素11之區域。光電轉換元件例如為光二極體（photodiode，PD）。
檢測裝置100具備事件檢測部20、事件處理部30、亮度檢測部40、及訊號處理部50。檢測裝置100與像素部10電性連接。檢測裝置100檢測事件，取得與檢測到之事件相應之注意區域（ROI）之圖像。藉由確定ROI，檢測裝置100可對檢測對象之移動進行檢測。
事件檢測部20檢測事件。本說明書中，所謂事件，係指光電轉換元件中產生之光電流之變化量超過預先決定之閾值（事件檢測閾值）。此處，事件檢測閾值係從上次檢測到之光電轉換元件之光電流的變化量，可決定與上次之相對值，亦可作為絕對值而決定既定間隔之光電流之值。於光電流變化至事件檢測閾值以上之情形時，包含該光電轉換元件之像素11所攝像之攝像對象存在某些變化之可能性高。事件檢測部20基於來自像素部10之光電流而生成事件檢測訊號SID 。例如，事件檢測訊號SID 係與像素11相應之亮度值。事件檢測部20將所生成之事件檢測訊號SID 輸出至事件處理部30。此外，事件檢測部20亦可設置於像素部10上。
事件處理部30對事件檢測部20所輸出之事件檢測訊號SID 進行處理。事件處理部30基於事件檢測訊號SID 而確定讀出用之ROI。本例之事件處理部30於像素塊12單元中確定是否為ROI。事件處理部30將與所確定之ROI相關之資訊輸出至亮度檢測部40。
亮度檢測部40對蓄積有光電轉換元件中產生之光電流之亮度訊號SL 進行檢測。本例之亮度檢測部40檢測與事件處理部30所確定之ROI對應之光電轉換元件之亮度訊號SL 。亮度檢測部40將於1個或複數個像素11之全像素中蓄積有光電流之亮度訊號SL 中的於ROI中檢測到之亮度訊號SL 輸出至訊號處理部50。換言之，亮度檢測部40不必將ROI以外之區域之亮度訊號SL 輸出至訊號處理部50。但，亮度檢測部40亦可出於圖像之取得以外之目的，例如為了自動曝光（automatic exposure，AE）或自動對焦（AF）等之測量，而從ROI以外之區域中檢測亮度訊號SL 。此外，本例之亮度檢測部40雖設置於檢測裝置100上，但亦可設置於像素部10上。
訊號處理部50對亮度檢測部40所檢測到之亮度訊號SL 進行處理。藉此，訊號處理部50取得被攝物之圖像。例如，訊號處理部50藉由對亮度訊號SL 進行處理而取得ROI之圖像。訊號處理部50亦可作為將所取得之圖像輸出至外部之資料輸出部而發揮功能。
本例之檢測裝置100僅將於1個或複數個像素11之全像素中蓄積有光電流之亮度訊號SL 中的於ROI中檢測到之亮度訊號SL 進行處理。因此，較將全像素之亮度訊號SL 輸出至訊號處理部50之情形而言，檢測裝置100可削減消耗電力。
此外，檢測裝置100可使用事件檢測部20，於任意之時刻檢測事件。事件檢測部20根據ROI之亮度來調整用以檢測像素塊12之事件的事件檢測閾值。例如，於ROI之亮度之變化量增大之情形時，事件檢測部20減小作為事件檢測閾值之光電流之變化量。另一方面，於ROI之亮度之變化量減小之情形時，事件檢測部20增大作為事件檢測閾值之光電流之變化量。具體而言，於ROI之亮度之每單位時間之變化量與既定之閾值相同或者更高之情形時，將事件檢測閾值（光電流之變化量）作為第1值，於低於既定閾值之情形時，將事件檢測閾值設為大於第1值之第2值。藉此，檢測裝置100於ROI之亮度之變化大之情形時容易追隨檢測對象之變化，並且於ROI之亮度之變化不怎麼變化之情形時，難以檢測事件檢測訊號SID ，因此可作為整體而實現低消耗電力。此外，既定閾值、及與其相應而調整之事件檢測閾值可為多於2階段之多階段。
又，像素塊12之大小可為任意之大小。事件檢測部20係根據ROI之亮度而調整像素塊12之大小。例如，於ROI之亮度之變化量增大之情形時，事件檢測部20減小像素塊12。另一方面，於ROI之亮度之變化量減小之情形時，事件檢測部20增大像素塊12。
具體而言，於ROI之亮度之每單位時間之變化量與既定閾值相同或者更高之情形時，將像素塊12之大小設為第1大小，於低於既定閾值之情形時，將像素塊12之大小設為大於第1值之第2大小。藉此，檢測裝置100於ROI之亮度之變化大之情形時容易追隨檢測對象之變化，並且於ROI之亮度之變化不怎麼變化之情形時難以檢測事件檢測訊號SID ，因此可作為整體而實現低消耗電力。此外，既定閾值、及與其相應而調整之像素塊12之大小可為多於2階段以上之多階段。
圖2表示感測器300之構成之一例。本例之像素部10除了具備光電轉換元件以外，還具備事件檢測部20及亮度檢測部40。感測器300例如為CMOS（complementary metal oxide semiconductor，互補金屬氧化物半導體）影像感測器。
像素11具備第1光電轉換元件PD1、第2光電轉換元件PD2、事件檢測部20、及亮度檢測部40。即，本例之像素11具備：事件檢測用之第1光電轉換元件PD1、及亮度檢測用之第2光電轉換元件PD2之兩者。像素11內之第1光電轉換元件PD1、及第2光電轉換元件PD2相互獨立。又，於設置複數個像素11之情形時，各個像素11獨立。
第1光電轉換元件PD1為事件檢測用之光電轉換元件。第1光電轉換元件PD1將與受光相應而產生之光電流輸出至事件檢測部20。
第2光電轉換元件PD2為亮度檢測用之光電轉換元件。第2光電轉換元件PD2將與受光相應而產生之光電流蓄積而輸出至亮度檢測部40。
事件處理部30具備空間密度處理部32及讀出控制部34。本例之事件處理部30設置於像素部10之外部。
空間密度處理部32從事件檢測部20接收所檢測到之事件檢測訊號SID 。空間密度處理部32對每個像素塊12算出事件檢測訊號SID 之空間密度。
讀出控制部34對亮度檢測部40所檢測到之亮度訊號SL 之讀出進行控制。一例中，讀出控制部34基於空間密度處理部32所算出之事件檢測訊號SID 之空間密度而確定ROI。ROI為感測器300取得圖像之圖像取得區域。本例之讀出控制部34對每個像素塊12判斷是否為ROI。藉此，與對每個像素11判斷ROI之情形相比較，讀出控制部34可降低必需之資料數。
例如，讀出控制部34於事件檢測訊號SID 之空間密度高於預先決定之閾值之情形時確定為ROI。又，讀出控制部34於事件檢測訊號SID 之空間密度低於預先決定之閾值之情形時判斷為非ROI。讀出控制部34僅從與ROI對應之亮度檢測部40中讀出亮度訊號SL 。
此外，讀出控制部34使複數個像素11之各像素不同步地驅動。例如，讀出控制部34控制事件檢測部20及亮度檢測部40之驅動。讀出控制部34可使事件檢測用之第1光電轉換元件PD1、及亮度檢測用之第2光電轉換元件PD2不同步，而相互獨立地驅動。因此，讀出控制部34係與攝像幀對應而對第2光電轉換元件PD2進行驅動，另一方面，第1光電轉換元件PD1可與攝像幀不同步地驅動。於該情形時，第2光電轉換元件PD2中，對每個攝像幀反覆進行光電流之蓄積及重置，於藉由第1光電轉換元件PD1中之事件之檢測而設定ROI之時刻，從設定於ROI中之像素11之第2光電轉換元件PD2來輸出亮度訊號SL 。因此，本例之檢測裝置100由於關於事件之檢測不存在攝像幀之概念，故而可檢測較攝像幀而言高速之事件之變化。本例之事件檢測方法於事件之變化大之情形、或於動畫攝影時檢測事件之情形時特別有效。此外，攝像幀表示攝像時之幀率，例如30 fps、60 fps等。
圖3係表示檢測裝置100之檢測動作的流程圖之一例。檢測裝置100藉由執行步驟S100～步驟S104，而對與所檢測到之事件相應之ROI之亮度訊號進行檢測。檢測裝置100於由分別具有至少1個光電轉換元件之1個或複數個像素11所構成之像素塊12中，對光電轉換元件中產生之光電流之變化量超過預先決定之事件檢測閾值之事件進行檢測（S100）。檢測裝置100基於事件之檢測而確定讀出用之ROI（S102）。而且，檢測裝置100於ROI中，對蓄積有光電轉換元件中產生之光電流之亮度訊號進行檢測（S104）。此外，步驟S100～步驟S104可於所有像素塊12中同時執行，亦可對每個像素塊12個別地執行。
圖4表示藉由實施例之檢測裝置100的ROI確定方法之一例。本例之檢測裝置100確定與事件檢測對象200對應之ROI，部分性地取得事件檢測對象200之圖像。例如，於作為事件檢測對象200之人騎乘自行車而於道路上通行之情形時，檢測裝置100僅取得人之圖像。
圖4的（a）示出包含人或道路之全畫面。本例之檢測裝置100從與全畫面對應之全像素11中的一部分像素11中取得事件檢測訊號SID 。例如，檢測裝置100從亮度值之變化量大於預先決定之閾值的像素11中取得事件檢測訊號SID ，將該像素11以白色來繪圖。另一方面，檢測裝置100將亮度值之變化量小於預先決定之閾值的像素，即，未取得事件檢測訊號SID 之像素11以黑色來繪圖。即，如圖4的（b）所示，檢測裝置100取得根據是否檢測到事件而於全畫面中二值化之資料。因此，檢測裝置100於確定ROI時，不需要取得如圖4的（a）所示之全畫面之圖像。本例之檢測裝置100將全畫面分成6×7＝42個像素塊12。
其次，如圖4的（c）所示，檢測裝置100從事件檢測訊號SID 之空間密度中選出ROI。所謂事件檢測訊號SID 之空間密度，係指某像素塊12中所包含之所有像素11內檢測到事件之像素11之比例。檢測裝置100於某像素塊12中，事件檢測訊號SID 之空間密度大於預先決定之閾值之情形時，將該像素塊12確定為ROI。
此外，事件檢測部20亦可設定事件檢測訊號SID 之空間密度之上限值及下限值。於該情形時，讀出控制部34將事件檢測訊號SID 之空間密度包含於上限值及下限值之範圍內之區域確定為ROI。又，事件檢測部20亦可根據ROI之亮度，來設定事件檢測訊號SID 之空間密度之上限值及下限值。
例如，即便像素塊12之尺寸為一定以上之大小（例如，全畫面之1/2或1/4等），於事件檢測訊號SID 之空間密度超過上限值之情形時，亦存在由於環境光等外部要因而於該像素塊12整體中包含雜訊之情形。藉由設定事件檢測訊號SID 之空間密度之上限值，可防止於如上所述之像素塊12整體中包含雜訊之情形時誤確定ROI。又，於事件檢測訊號SID 之空間密度超過下限值之情形時確定為ROI，係與以一個值來決定事件檢測閾值之情形相同。
本例之檢測裝置100於事件檢測訊號SID 之取得階段中，不需要取得大容量之圖像資料，只要取得二值化之低容量之圖像資料即可。因此，檢測裝置100可壓縮為了確定ROI而必需之資料量。
圖5表示藉由比較例之檢測裝置的ROI確定方法之一例。比較例之檢測裝置取得包含作為事件檢測對象200之人或道路之全畫面之圖像（圖5的（a））。其次，比較例之檢測裝置從全畫面之圖像中作為後處理，確定包含事件檢測對象200之ROI（圖5的（b））。而且，比較例之檢測裝置從（b）中取得之全畫面之圖像中僅選出ROI之圖像（圖5的（c））。即，比較例之檢測裝置中，由於取得全畫面之圖像而確定ROI，故而必須對大容量之資料進行處理。進而，僅能以攝像幀之間隔檢測ROI。
此外，本例之讀出控制部34對每個像素11算出事件檢測訊號SID ，確定ROI。但，讀出控制部34如後所述，藉由對複數個像素11之每一個決定代表性之事件檢測結果，亦可基於代表複數個像素11之事件檢測訊號SID 來確定ROI。
此處，所謂代表性之事件檢測結果，係指與構成由某個像素11及其周邊之像素11構成之集合（小於像素塊12之集合）的複數個像素11之各個所對應之複數個事件檢測訊號SID 中，代表該集合之事件檢測訊號SID 。讀出控制部34可藉由使用代表性之事件檢測結果來減少事件檢測訊號SID 之資料量。又，讀出控制部34可藉由使用代表性之事件檢測結果，來防止於複數個像素11之一部分像素11中包含雜訊之情形時之誤檢測。
圖6係表示藉由檢測裝置100之防止誤檢測之實施形態之一例。本例之檢測裝置100藉由對事件檢測訊號SID 應用濾波處理而減少事件之誤檢測。周邊像素區域15為包含a×b個（a、b為自然數）之像素11之區域。本例之周邊像素區域15包含a×b＝3×3＝9個像素11。事件檢測部20於檢測到事件之情形時輸出「1」，於未檢測到事件之情形時輸出「0」。本例中，對事件檢測部20進行二值化之情形加以說明，但並不限定於此。此外，圖6中，將左上之像素11設為原點（0,0），將右方向設為正X方向，將下方向設為正Y方向，將任意之像素11以（X,Y）來表示。
圖6所示之例中，事件檢測部20於（a,b）＝（2,2）之像素11中檢測事件。另一方面，事件檢測部20於其餘之8個像素11中未檢測事件。於該情形時，於（a,b）＝（2,2）之像素11中，誤檢測到事件之可能性高。例如，事件之誤檢測係藉由光散粒雜訊或光源之搖晃等雜訊而產生。本例之事件檢測部20藉由使用與周邊像素之AND電路之濾波處理，而將（a,b）＝（2,2）之像素11變更為「0」。因此，本例之周邊像素區域15中，「0」成為代表性之事件檢測結果。
又，事件檢測部20使用AND電路來作為應用於周邊像素區域15之濾波器電路，但濾波器電路之種類並不限定於此。例如，檢測裝置100可藉由利用中值濾波器電路等其他濾波器，而使用周邊像素區域15來算出代表性之事件檢測結果。如上所述，事件檢測部20之濾波器電路只要是為了去除雜訊而可進行濾波處理者即可。
讀出控制部34根據周邊像素區域15之事件檢測結果，對代表a×b個事件檢測結果之代表性之事件檢測結果進行濾波處理，基於代表性之事件檢測結果來確定ROI。
如上所述，本例之檢測裝置100藉由周邊像素區域15之濾波處理來減少事件之誤檢測。藉此，檢測裝置100可提高所攝像之圖像之畫質。
此外，本例之事件檢測部20係於周邊像素區域15中，將於預先決定之期間所輸入之事件檢測訊號SID 進行比較而輸出。換言之，事件檢測部20亦可於周邊像素區域15中，將於不同之期間對每個像素11輸入之事件檢測訊號SID 進行比較。即，於周邊像素區域15中經比較之事件檢測訊號SID 並不限定於同一圖像中所包含者。其原因在於，周邊像素區域15內之複數個像素11由於分別獨立而由事件檢測部20檢測事件，故而未成為完全相同。但，事件檢測部20較佳為於周邊像素區域15中，使用共通之事件檢測閾值來檢測事件。
此處，像素塊12係大於周邊像素區域15之像素區域。即，像素塊12可由複數個周邊像素區域15所構成。於該情形時，檢測裝置100可藉由算出代表周邊像素區域15之事件檢測結果，而將周邊像素區域15視為1個像素。於該情形時，為了確定ROI區域而於全畫面中進行二值化之資料之解析度降低，但可減少事件檢測訊號SID 之資料量。
事件檢測部20為了判斷事件之有無，而具有1個或複數個事件檢測閾值。一例中，事件檢測部20具有1個事件檢測閾值，對周邊像素區域15中所包含之所有像素11，以同一事件檢測閾值來判斷事件之有無。又，事件檢測部20具有複數個事件檢測閾值，可對周邊像素區域15中所包含之像素11，以不同之事件檢測閾值來判斷事件之有無。例如，事件檢測部20對周邊像素區域15中所包含之第1像素11，基於與第1事件檢測閾值之比較來檢測事件。又，事件檢測部20可對與第1像素11不同之第2像素11，基於和與第1事件檢測閾值不同之第2事件檢測閾值之比較來檢測事件。
圖7表示藉由檢測裝置100之資料削減之實施形態之另一例。本例之檢測裝置100藉由對事件檢測訊號SID 進行濾波處理而削減資料數。例如，對a×b＝3×3＝9個像素11加以考慮。於在所有像素中檢測到事件之情形時，藉由使用與周邊像素之AND電路之濾波處理，而將（a,b）＝（2,2）之像素11以「1」之狀態設為代表性之事件檢測結果。若於在所有像素中輸出事件檢測訊號SID 之情形時，資料數成為9。另一方面，藉由對a×b＝3×3之9個像素之事件檢測訊號SID 執行濾波處理，可將資料數削減為1。本例之檢測裝置100由於濾波之尺寸已知，故而可作為1個資料來處理。
又，周邊像素區域15之大小可為任意之大小。一例中，事件檢測部20根據ROI之亮度來調整周邊像素區域15之大小。例如，於ROI之亮度之每單位時間之變化量與既定閾值相同或者更高之情形，事件檢測部20將周邊像素區域15設為第1尺寸。另一方面，於ROI之亮度之變化量低於既定閾值之情形時，事件檢測部20將周邊像素區域15設為大於第1尺寸之第2尺寸。藉此，檢測裝置100於事件之變化小之情形時可增大資料削減效果，且於事件之變化大之情形時可提高事件檢測精度。此外，既定閾值、及與其相應而調整之周邊像素區域15之大小可為多於2階段之多階段。
如以上所述，本例之檢測裝置100削減周邊像素區域15之資料量而確定ROI。藉此，檢測裝置100可實現高速讀出及消耗電力之減少。此外，檢測裝置100亦可基於事件之總和、密度及變化中之至少一者，來確定ROI而削減資料量。
圖8表示感測器300之構成之一例。本例之感測器300具備第1基板110及第2基板120。
第1基板110具有像素塊陣列112。像素塊陣列112於複數個像素11之各個中具備：第1光電轉換元件PD1、第2光電轉換元件PD2、事件檢測部20、及亮度檢測部40。即，本例之像素11包含事件檢測用之第1光電轉換元件PD1、及亮度檢測用之第2光電轉換元件PD2之兩者。
第2基板120具有處理塊陣列122及攝像控制部60。第2基板120具備：空間密度處理部32、讀出控制部34、及訊號處理部50。第2基板120積層於第1基板110上。
攝像控制部60控制檢測裝置100之攝像條件。一例中，攝像控制部60根據讀出控制部34所檢測到之ROI，來控制自動對焦（AF）或自動曝光（AE）之條件。例如，攝像控制部60根據ROI中之亮度等來執行最佳之AF及AE。藉此，檢測裝置100適當地拍攝ROI之圖像。
圖9表示感測器300之構成之一例。本例之感測器300具備第1基板110及第2基板120。第1基板110及第2基板120相互積層而設置。感測器300例如為積層型之CMOS影像感測器。
第1基板110具有M×N個像素11。又，第1基板110具有由m×n個像素11所構成之像素塊12。第1基板110可具有複數個像素塊12。
像素11分別具備第1光電轉換元件PD1、第2光電轉換元件PD2、事件檢測部20、及亮度檢測部40。如上所述，本例之事件檢測部20及亮度檢測部40係與第1光電轉換元件PD1及第2光電轉換元件PD2分別對應而設置。
第2基板120具有與像素塊12對應而設置之事件處理部30。事件處理部30分別具有空間密度處理部32及讀出控制部34。事件處理部30、與所對應之像素塊12為電性連接。本例之事件處理部30執行分別對應而設置之像素塊12之事件處理。事件處理部30較佳為設置於所對應之像素塊12之正下方。藉此，由於將所對應之像素塊12及事件處理部30連結之配線縮短，故而檢測裝置100之處理速度提高。又，像素塊12與事件處理部30之組係相對於鄰接之像素塊12與事件處理部30之組而獨立。本例之感測器300藉由將事件處理部30構成於第2基板120上，能夠增大光電轉換元件PD之尺寸，而可實現高感度之感測器。
圖10表示感測器300之構成之一例。本例之感測器300將事件檢測部20及亮度檢測部40設置在與光電轉換元件PD不同之基板上。感測器300具備第1基板110、第2基板120、及第3基板130。第1基板110、第2基板120及第3基板130係相互積層而設置。
第1基板110具有像素塊陣列112。本例之像素塊陣列112具有1個或複數個像素11。本例之像素11中，分別設置有光電轉換元件PD1及第2光電轉換元件PD2。
第2基板120具有處理塊陣列122。本例之處理塊陣列122具有事件檢測部20及亮度檢測部40。事件檢測部20及亮度檢測部40較佳為分別與所對應之像素11對向而設置。藉此，將像素塊陣列112及處理塊陣列122連結之配線縮短。
第3基板130具有輸出塊陣列132。本例之輸出塊陣列132具有：空間密度處理部32、讀出控制部34及訊號處理部50。本例之感測器300於第1基板110上不具有事件檢測部20及亮度檢測部40，因此能夠增大光電轉換元件PD之尺寸，而可實現高感度之感測器。
圖11表示感測器300之構成之一例。感測器300之基本構成係與圖10之感測器300之構成相同，表示用以實現圖10所示之功能的具體構成。
第1基板110具有m×n尺寸之像素塊12。本例之像素11分別具有第1光電轉換元件PD1及第2光電轉換元件PD2。
第2基板120具有與像素塊12對應而設置之攝像控制部60。攝像控制部60控制對應而設置之像素11之驅動。攝像控制部60具有事件檢測部20及亮度檢測部40。事件檢測部20係與第1光電轉換元件PD1對應而設置。亮度檢測部40係與第2光電轉換元件PD2對應而設置。
第3基板130具有與攝像控制部60對應而設置之事件處理部30。於事件處理部30中輸入事件資訊及亮度資訊。事件處理部30基於事件資訊而確定ROI，將ROI之亮度資訊輸出至訊號處理部50。
圖12表示第1基板110之構成之一例。本例之第1基板110具備第1像素群13及第2像素群14。
第1像素群13具有第3光電轉換元件PD3、事件檢測部20、及亮度檢測部40，圖中以白色表示。第3光電轉換元件PD3係與事件檢測部20及亮度檢測部40連接。
第3光電轉換元件PD3兼有第1光電轉換元件PD1及第2光電轉換元件PD2之功能。即，第3光電轉換元件PD3係作為事件檢測用之光電轉換元件以及亮度檢測用之光電轉換元件而發揮功能。藉此，事件檢測部20可根據來自第3光電轉換元件PD3之訊號而檢測事件，且亮度檢測部40可根據來自第3光電轉換元件PD3之訊號而檢測亮度。例如，第3光電轉換元件PD3將事件之檢測功能與亮度檢測功能切換而執行。
第2像素群14包含不檢測事件，而僅檢測亮度之像素11。第2像素群14具有第2光電轉換元件PD2及亮度檢測部40，圖中，以陰影表示。藉此，第2像素群14檢測與來自第2光電轉換元件PD2之訊號相應之亮度。第2像素群14由於作為亮度檢測部40專用之像素而使用，因此於並不限制於事件檢測部20之驅動時刻的任意時刻來驅動。
本例之第1像素群13於預先決定之方向上，隔著第2像素群14而不連續地配置。即，事件檢測部20無需設置於所有像素11中。第1像素群13可隔開間隔而配置，以達到為了確定ROI而必需之密度。藉此，可將第1基板110之電路構成簡略化，減少消耗電力。
本例之第1像素群13於M×N尺寸之像素11中，連續設置於行方向上。又，本例之第2像素群14於M×N尺寸之像素11中，連續設置於行方向上。第1像素群13及第2像素群14交替配置於列方向上。但，第1像素群13及第2像素群14若以事件檢測訊號SID 之處理所必需之分佈來配置，則並不限定於本例之排列方法。例如，第1像素群13及第2像素群14亦可相互配置為千鳥格狀。
圖13表示第1基板110之構成之一例。本例之第1基板110具備第1像素群13及第2像素群14。
第1像素群13具有：第1光電轉換元件PD1、第2光電轉換元件PD2、事件檢測部20、及亮度檢測部40。即，本例之第1像素群13包含事件檢測用之第1光電轉換元件PD1、及亮度檢測用之第2光電轉換元件PD2之兩者。事件檢測部20係與第1光電轉換元件PD1連接。又，事件處理部30係與第2光電轉換元件PD2連接。
第2像素群14具備第2光電轉換元件PD2及亮度檢測部40。亮度檢測部40係與第2光電轉換元件PD2連接。第2像素群14係與第1像素群13一起呈二維狀地排列。
本例之第1像素群13於M×N尺寸之像素11中，連續設置於行方向上。又，本例之第2像素群14於M×N尺寸之像素11中，連續設置於行方向上。第1像素群13及第2像素群14交替配置於列方向上。但，第1像素群13及第2像素群14若以事件檢測訊號SID 之處理所必需之分佈來配置，則並不限定於本例之排列方法，此與圖12所示之例相同。
圖14表示第1基板110之構成之一例。本例之第1基板110的第1像素群13及第2像素群14之排列方法與圖13之情形不同。
本例之第1像素群13較第1基板110之內部而言，大量配置於第1基板110之周邊。即，第1像素群13較二維狀地排列之複數個像素11之中央而言，密集地配置於二維狀地排列之像素11之周邊。因此，檢測裝置100於像素部10之外周，可取得較像素部10之內部多之事件檢測訊號SID 。藉此，檢測裝置100於第1基板110之外周容易檢測事件。
此處，於攝像對象物從圖像之外部進入之情形等，於像素部10之外部發生事件。本例之檢測裝置100於像素部10之外周，事件之檢測感度高，因此容易發現攝像對象物。因此，於攝像對象物侵入攝像區域中之情形時，檢測裝置100可快速地檢測事件而僅對攝像對象物進行攝影。
如以上所述，檢測裝置100之空間密度處理部32係基於事件檢測訊號SID 之空間密度來決定ROI。因此，檢測裝置100無需事先確定ROI。又，感測器300亦可根據事件之發生，而適當更新ROI。感測器300亦可追隨設想外之舉動。藉此，於在ROI動作中追加或者變更區域之情形時，感測器300無需進行後處理之運算或追加之圖像取得，可抑制電力之增加或潛伏之惡化。進而，感測器300可自動選擇自動對焦（AF）或自動曝光（AE）之對象區域。
以上，已使用實施形態對本發明加以說明，但本發明之技術性範圍並不限定於上述實施形態所記載之範圍內。例如，可將如圖12至圖14所示之第1基板110應用於如圖7至圖10中所示之積層型之感測器之任一者中。本發明所屬之通常知識者明白能夠對上述實施形態施加多種變更或改良。根據申請範圍之記載而明確，施加有此種變更或改良之態樣亦可包含於本發明之技術性範圍內。
應注意，只要未特別明示為「之前」、「前面」等，又，只要後一處理中不使用前一處理之輸出，則申請範圍、說明書及圖式中所示之裝置、系統、程式及方法中之動作、程序、步驟及階段等各處理之執行順序可以任意順序來實現。關於申請範圍、說明書及圖式中之動作流程，即便為了方便起見而使用「首先，」、「其次，」等來說明，亦並非意指必須以該順序來實施。
10‧‧‧像素部
11‧‧‧像素
12‧‧‧像素塊
13‧‧‧第1像素群
14‧‧‧第2像素群
15‧‧‧周邊像素區域
20‧‧‧事件檢測部
30‧‧‧事件處理部
32‧‧‧空間密度處理部
34‧‧‧讀出控制部
40‧‧‧亮度檢測部
50‧‧‧訊號處理部
60‧‧‧攝像控制部
100‧‧‧檢測裝置
110‧‧‧第1基板
112‧‧‧像素塊陣列
120‧‧‧第2基板
122‧‧‧處理塊陣列
130‧‧‧第3基板
132‧‧‧輸出塊陣列
200‧‧‧事件檢測對象
300‧‧‧感測器
圖1表示感測器300之構成之概要。
圖2表示感測器300之構成之一例。
圖3係表示藉由檢測裝置100之檢測動作的流程圖之一例。
圖4表示藉由實施例之檢測裝置100的ROI確定方法之一例。
圖5表示藉由比較例之檢測裝置的ROI確定方法之一例。
圖6表示藉由檢測裝置100之防止誤檢測之實施方式之一例。
圖7表示藉由檢測裝置100之資料削減之實施方式之一例。
圖8表示感測器300之構成之一例。
圖9表示感測器300之構成之一例。
圖10表示感測器300之構成之一例。
圖11表示感測器300之構成之一例。
圖12表示第1基板110之構成之一例。
圖13表示第1基板110之構成之一例。
圖14表示第1基板110之構成之一例。

Claims (21)

  1. 一種檢測裝置，其具備： 事件檢測部，其於由分別具有至少1個光電轉換元件之1個或複數個像素所構成之像素塊中，對表示上述光電轉換元件中產生之光電流之值超過預先決定之事件檢測閾值之事件進行檢測，且輸出事件檢測訊號； 讀出控制部，其基於上述事件檢測訊號來確定注意區域；以及 亮度檢測部，其於上述注意區域中，對蓄積有上述光電轉換元件中產生之上述光電流之亮度訊號進行檢測。
  2. 如請求項1所述之檢測裝置，其進一步具備： 訊號處理部，其對上述亮度檢測部所檢測之訊號進行處理； 上述亮度檢測部將於上述1個或複數個像素之全像素中蓄積有上述光電流之上述亮度訊號中的於上述注意區域中檢測到之上述亮度訊號輸出至上述訊號處理部。
  3. 如請求項1所述之檢測裝置，其中， 上述讀出控制部根據上述事件檢測部所輸出之上述事件檢測訊號之空間密度來確定上述注意區域。
  4. 如請求項2所述之檢測裝置，其中， 上述事件檢測部根據上述注意區域之亮度來設定上述事件檢測訊號之空間密度之上限值及下限值， 上述讀出控制部將上述事件檢測訊號之空間密度包含於上述上限值及上述下限值之範圍內之區域確定為上述注意區域。
  5. 如請求項1所述之檢測裝置，其中， 上述讀出控制部根據m×n像素（m、n為自然數）之事件檢測結果，對代表性之事件檢測結果進行濾波處理，基於上述代表性之事件檢測結果來確定上述注意區域。
  6. 如請求項5所述之檢測裝置，其中， 上述事件檢測部於上述m×n像素中，使用共通之事件檢測閾值來檢測事件。
  7. 如請求項5所述之檢測裝置，其中， 上述像素塊係大於上述m×n像素之像素區域， 上述事件檢測部對於上述像素塊中所包含之第1像素，基於與第1事件檢測閾值之比較而檢測事件，且對與上述第1像素不同之第2像素，基於和與上述第1事件檢測閾值不同之第2事件檢測閾值之比較而檢測事件。
  8. 如請求項1所述之檢測裝置，其中， 上述事件檢測閾值係作為上述光電轉換元件中產生之光電流之變化量之範圍而決定。
  9. 如請求項1所述之檢測裝置，其中， 上述事件檢測閾值係作為上述光電流之絕對值而決定。
  10. 如請求項1至9中任一項所述之檢測裝置，其中， 上述1個或複數個像素分別具備事件檢測用之第1光電轉換元件、及亮度檢測用之第2光電轉換元件。
  11. 如請求項1至9中任一項所述之檢測裝置，其中， 上述1個或複數個像素具備： 第1像素群，其包含事件檢測用之第1光電轉換元件、及亮度檢測用之第2光電轉換元件；以及 第2像素群，其與上述第1像素群一起呈二維狀地排列，且包含亮度檢測用之第2光電轉換元件。
  12. 如請求項11所述之檢測裝置，其中， 上述第1像素群係於預先決定之方向上，夾持上述第2像素群而不連續地配置。
  13. 如請求項11所述之檢測裝置，其中， 上述第1像素群係較二維狀地排列之像素之中央而言，密集地配置於二維狀地排列之像素之周邊。
  14. 如請求項1至9中任一項所述之檢測裝置，其中， 上述1個或複數個像素具備兼有事件檢測用途及亮度檢測用途之第3光電轉換元件。
  15. 如請求項1至9中任一項所述之檢測裝置，其中， 上述事件檢測部根據上述注意區域之亮度來調整上述事件檢測閾值。
  16. 如請求項1至9中任一項所述之檢測裝置，其中， 上述事件檢測部根據上述注意區域之亮度來調整上述像素塊之大小。
  17. 如請求項1至9中任一項所述之檢測裝置，其中， 上述讀出控制部使上述複數個像素之各像素不同步地驅動。
  18. 一種感測器，其具備： 1個或複數個像素、以及 請求項1至9中任一項所述之檢測裝置。
  19. 如請求項18所述之感測器，其具備： 第1基板，其設置有上述1個或複數個像素、上述事件檢測部、及上述亮度檢測部；以及 第2基板，其積層於上述第1基板上，且設置有上述讀出控制部。
  20. 如請求項18所述之感測器，其具備： 第1基板，其設置有上述1個或複數個像素； 第2基板，其積層於上述第1基板上，且設置有上述事件檢測部及上述亮度檢測部；以及 第3基板，其積層於上述第2基板上，且設置有上述讀出控制部。
  21. 一種檢測方法，其包含如下之動作： 於由分別具有至少1個光電轉換元件之1個或複數個像素所構成之像素塊中，對表示上述光電轉換元件中產生之光電流之值超過預先決定之事件檢測閾值之事件進行檢測； 基於上述事件之檢測來確定注意區域；以及 於上述注意區域中，對蓄積有上述光電轉換元件中產生之上述光電流之亮度訊號進行檢測。
TW107147406A 2018-01-05 2018-12-27 檢測裝置及感測器 TW201937917A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP2018-000856 2018-01-05
JP2018000856A JP2021044599A (ja) 2018-01-05 2018-01-05 検出装置およびセンサ

Publications (1)

Publication Number Publication Date
TW201937917A true TW201937917A (zh) 2019-09-16

Family

ID=67143752

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107147406A TW201937917A (zh) 2018-01-05 2018-12-27 檢測裝置及感測器

Country Status (3)

Country Link
JP (1) JP2021044599A (zh)
TW (1) TW201937917A (zh)
WO (1) WO2019135411A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11653120B2 (en) 2019-08-28 2023-05-16 Sony Interactive Entertainment Inc. Sensor system, image processing apparatus, image processing method, and program
US11653109B2 (en) 2019-08-28 2023-05-16 Sony Interactive Entertainment Inc. Sensor system, image processing apparatus, image processing method, and program
WO2021038750A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JP2021060900A (ja) * 2019-10-09 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 顔認証システム及び電子機器
CN114567725B (zh) * 2019-10-17 2024-03-05 电装波动株式会社 具备事件相机的摄像装置
US20220400213A1 (en) * 2019-10-30 2022-12-15 Sony Group Corporation Object recognition system and method of signal processing performed by object recognition system, and electronic apparatus
CN114600116A (zh) 2019-10-30 2022-06-07 索尼集团公司 对象识别系统、对象识别系统的信号处理方法、以及电子装置
CN114731375A (zh) * 2019-11-12 2022-07-08 苹果公司 利用同步读出的传感器数据编码
JP2023099237A (ja) * 2020-05-27 2023-07-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の制御方法、並びに、形状測定装置
US20230336883A1 (en) * 2020-09-15 2023-10-19 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
CN116438440A (zh) * 2020-11-18 2023-07-14 索尼集团公司 生物样本分析系统、信息处理装置、信息处理方法及生物样本分析方法
JPWO2022215371A1 (zh) * 2021-04-09 2022-10-13
WO2023026880A1 (ja) * 2021-08-26 2023-03-02 ソニーグループ株式会社 測定装置、測定方法、プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5883654B2 (ja) * 2012-01-06 2016-03-15 株式会社 日立産業制御ソリューションズ 画像信号処理装置
JP2014165787A (ja) * 2013-02-27 2014-09-08 Canon Inc 撮像装置およびその制御方法、プログラム、記憶媒体
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置

Also Published As

Publication number Publication date
WO2019135411A1 (ja) 2019-07-11
JP2021044599A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
TW201937917A (zh) 檢測裝置及感測器
US9160934B2 (en) Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same
JP5493010B2 (ja) 撮像装置及びその合焦位置検出方法
US9883125B2 (en) Imaging systems and methods for generating motion-compensated high-dynamic-range images
JP4640338B2 (ja) 撮像装置、撮像結果の処理方法及び集積回路
JP5493011B2 (ja) 撮像装置及びその合焦位置検出方法
JP5860936B2 (ja) 撮像装置
JP2012215785A5 (zh)
US10063762B2 (en) Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color
US9787889B2 (en) Dynamic auto focus zones for auto focus pixel systems
KR20080017597A (ko) 고화질 영상을 위한 영상 표시 방법 및 장치
US8830384B2 (en) Imaging device and imaging method
WO2012073727A1 (ja) 撮像装置及びその合焦位置検出方法
JP5747238B2 (ja) 動き検出用固体撮像装置及び動き検出システム
US9172869B2 (en) Image data aggregating high dynamic range imaging systems and associated methods
US10462352B2 (en) Focus detection apparatus and image pickup apparatus
US20040012711A1 (en) Image pickup apparatus and photometer
US10001621B2 (en) Focusing control device, focusing control method, focusing control program, lens device, and imaging device
JP6705054B2 (ja) 撮像装置
JP6741549B2 (ja) 撮像装置及びその制御方法
JP2015023332A (ja) 固体撮像素子及びその駆動方法、並びに電子機器
JP2010258688A (ja) 撮像装置
JP5515320B2 (ja) 撮像装置
JP2013070322A (ja) 欠陥画素検出装置、撮像装置および欠陥画素検出プログラム
JP2009177344A (ja) 撮像素子駆動装置および撮像素子