TW202245463A - 資訊處理裝置及資訊處理方法 - Google Patents

資訊處理裝置及資訊處理方法 Download PDF

Info

Publication number
TW202245463A
TW202245463A TW111112748A TW111112748A TW202245463A TW 202245463 A TW202245463 A TW 202245463A TW 111112748 A TW111112748 A TW 111112748A TW 111112748 A TW111112748 A TW 111112748A TW 202245463 A TW202245463 A TW 202245463A
Authority
TW
Taiwan
Prior art keywords
event
signal
photoelectric conversion
pixel
aforementioned
Prior art date
Application number
TW111112748A
Other languages
English (en)
Inventor
小林俊広
下里努
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202245463A publication Critical patent/TW202245463A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/706—Pixels for exposure or ambient light measuring
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本發明之課題在於抑制耗電之增大。 本發明之實施形態之資訊處理裝置具備混合型感測器、處理器、及指示產生部，該混合型感測器具備：複數個光電轉換部，其等將入射光進行光電轉換；及信號處理部，其基於前述複數個光電轉換部之輸出，取得基於前述入射光之光強度之亮度信號或基於亮度變化之事件信號；該處理器基於由前述信號處理部取得之亮度信號或事件信號進行特定之處理；該指示產生部對前述信號處理部請求讀出亮度信號；且前述指示產生部於前述處理器在基於前述事件信號之前述特定之處理中失敗時，對前述信號處理部請求讀出亮度信號；前述處理器基於相應於前述請求而自前述信號處理部輸入之亮度信號，執行前述特定之處理。

Description

資訊處理裝置及資訊處理方法
本揭示係關於一種資訊處理裝置及資訊處理方法。
先前，於AR(Augmented Reality，擴增實境)、VR(Virtual Reality，虛擬實境)、自動駕駛及IoT(Internet of Things，物聯網)等領域中，關注根據由影像感測器取得之圖像來追蹤使用者之視線方向或關注區域之眼動追蹤。又，除了上述領域以外，亦於家庭之機器人掃除機或寵物機器人、工廠或物流倉庫之搬運機器人、空中無人機或水中無人機等自律移動體領域等中，關注基於由影像感測器取得之圖像而同時進行自身位置推定與環境地圖製作之SLAM(Simultaneous Localization and Mapping，即時定位與地圖建構)。
於眼動追蹤或SLAM等技術中，對由影像感測器取得之圖像進行特徵檢測，藉由基於藉此檢測到之特徵點，而執行使用者之視線方向或關注區域之追蹤、自身位置推定及環境地圖製作等處理。
又，近年來，業界曾開發對由可以較一般性影像感測器為快之訊框率產生圖像之EVS取得之圖像進行特徵檢測之技術。 [先前技術文獻] [專利文獻]
[專利文獻1]美國專利申請公開第2019/355169號說明書 [專利文獻2]美國專利申請公開第2020/026349號說明書 [非專利文獻]
[非專利文獻1]D. Gehrig, H. Rebecq, G. Gallego, D. Scaramuzza,「EKLT: Asynchronous Photometric Feature Tracking Using Events and Frames,」European Conference on Computer Vision(ECCV), Munich, 2018.
[發明所欲解決之問題]
然而，於如影像感測器或EVS般，具備使用之場景不同之複數個感測器之情形下，若將不使用之感測器預先設為始終導通狀態，則存在產生耗電之浪費，耗電增大之問題。
為此，本揭示提案一種可抑制耗電之增大之資訊處理裝置及資訊處理方法。 [解決問題之技術手段]
為了解決上述之問題，本揭示之一形態之資訊處理裝置具備混合型感測器、處理器、及指示產生部，該混合型感測器具備：複數個光電轉換部，其等將入射光進行光電轉換；及信號處理部，其基於前述複數個光電轉換部之輸出，取得基於前述入射光之光強度之亮度信號或基於亮度變化之事件信號；該處理器基於由前述信號處理部取得之亮度信號或事件信號進行特定之處理；該指示產生部對前述信號處理部請求讀出亮度信號；且前述指示產生部於前述處理器在基於前述事件信號之前述特定之處理中失敗時，對前述信號處理部請求讀出亮度信號；前述處理器基於相應於前述請求而自前述信號處理部輸入之亮度信號，執行前述特定之處理。
以下，針對本揭示之實施形態，基於圖式詳細地進行說明。此外，於以下之實施形態中，藉由對於同一部位賦予同一符號，而省略重複之說明。
又，依照以下所示之項目順序，說明本揭示。 0.序言 1. 一實施形態 1.1 系統構成例 1.2 固態攝像裝置之構成例 1.2.1 像素分離構成之例 1.2.2. 像素共有構成之例 1.3 固體攝像裝置之積層構造例 1.4 單位像素之電路構成例 1.4.1 像素分離構成之情形 1.4.1.1 亮度像素 1.4.1.2 事件像素 1.4.1.2.1 位址事件檢測電路之構成例 1.4.1.2.2 受光電路之構成例 1.4.1.2.3 受光電路之變化例 1.4.2 像素共有構成之情形 1.4.3 像素共有之變化例 1.5 像素排列之例 1.5.1 像素分離構成之情形 1.5.2 像素共有構成之情形 1.6 資訊處理裝置之應用例 1.6.1 眼動追蹤 1.6.1.1 器件之例 1.6.1.2 系統構成之例 1.6.1.3. 眼動追蹤構成之例 1.6.1.4 動作流程之例 1.6.2 SLAM 1.6.2.1 器件之例 1.6.2.2 系統構成及SLAM構成之例 1.6.2.3 動作流程之例 1.7 總結 2. 對於移動體之應用例
0.序言 於使用EVS進行眼動追蹤或SLAM之情形下，亦必須於剛啟動後之初始化時、或於丟失視線方向/關注區域或自身位置等時，使用由產生通常之圖像資料之影像感測器取得之圖像資料來重新特定使用者之視線方向/關注區域自身位置等。亦即，於使用EVS進行眼動追蹤或SLAM之情形下，亦必須預先具備影像感測器作為感測器。
然而，於具備使用之場景不同之複數個感測器(影像感測器、EVS)之情形下，若將不使用之感測器預先設為始終導通狀態，則存在產生耗電之浪費，耗電增大之問題。
又，於眼動追蹤或SLAM等中，為了包含感測器(影像感測器、EVS)之切換，且實現視線方向/關注區域之持續性追蹤或自身位置之推定等，而必須使由各個感測器取得之圖像資料之座標系一致，但通常，影像感測器與EVS配置於實體上分離之不同之晶片(例如，參照專利文獻1)。因此，影像感測器之光軸與EVS之光軸不一致，用於使由各者取得之圖像資料之座標系一致之處理變繁雜。其結果，存在即便使用EVS來提高訊框率，但因用於使座標系一致之處理而抑制處理速度之高速化之問題。
為此，於以下之實施形態中，提案一種可抑制耗電之增大之資訊處理裝置及資訊處理方法。又，於以下之實施形態之一部分或全部中，提案一種可提高處理速度之資訊處理裝置及資訊處理方法。
1.一實施形態 以下，針對本揭示之一實施形態之資訊處理裝置及資訊處理方法，參照圖式，詳細地說明。於本實施形態中，例示將基於亮度變化而檢測事件之EVS、與檢測亮度並產生圖像資料之影像感測器組入單一之晶片之混合構造之固體攝像裝置。此外，於以下之說明中，作為影像感測器，例示CMOS(Complementary Metal-Oxide Semiconductor，互補式金屬氧化物半導體)型影像感測器(以下簡稱為影像感測器)，但不限定於此，例如，可採用CCD(Charge-Coupled Device，電荷耦合裝置)型影像感測器或ToF(Time-of-Flight，飛行時間)感測器等具備光電轉換元件之各種感測器。
1.1 系統構成例 圖1係顯示搭載本實施形態之固體攝像裝置之資訊處理裝置之概略構成例之示意圖，圖2係顯示本實施形態之資訊處理裝置之系統構成例之方塊圖。
如圖1所示，本實施形態之資訊處理裝置1具備：光源1010、照射透鏡1030、攝像透鏡1040、固體攝像裝置100、及系統控制部1050。此外，照射透鏡1030非為必須之構成，可省略。
光源1010如圖2所示般由例如垂直共振器型面發光雷射(VCSEL)1012、及驅動VCSEL 1012之光源驅動部1011構成。惟，不限定於VCSEL 1012，可使用LED(Light Emitting Diode，發光二極體)等各種光源。又，光源1010可為點光源、面光源、線光源之任一種。於面光源或線光源之情形下，光源1010例如可具備複數個點光源(例如VCSEL)一維或二維地排列之構成。此外，於本實施形態中，光源1010可出射例如紅外(IR)光。惟，不限定於此，自光源1010照射之光只要為與可見光之波長帶不同之波長帶之光即可。
照射透鏡1030配置於光源1010之出射面側，將自光源1010出射之光轉換成特定發散角之照射光。
攝像透鏡1040配置於固體攝像裝置100之受光面側，將由入射光形成之像成像於固體攝像裝置100之受光面。於入射光中亦可包含自光源1010出射且由被攝體901反射之反射光。被攝體901例如如為眼動追蹤，則可在包含眼球之使用者之眼睛之附近，如為SLAM，則可為位於自身位置周圍之物體。惟，並非係限定於其等者，根據資訊處理裝置1之使用目的，各種物體可為被攝體901。
固體攝像裝置100針對其細節於後文描述，但如圖2所示，例如，由下述部分構成，即：受光部1022，其二維格子狀排列有檢測亮度之像素(以下稱為亮度像素)、及檢測事件之像素(以下稱為事件像素)；及感測器控制部1021，其藉由驅動受光部1022，而產生基於由亮度像素檢測到之亮度信號之圖像資料(以下稱為圖像訊框資料)、及基於由事件像素檢測到之事件資料之資料(以下稱為事件訊框資料)。此外，針對其細節於後文描述，但可行的是，包含亮度像素(亦稱為第1像素)之構成構成影像感測器(亦稱為第1感測器)，包含事件像素(亦稱為第2像素)之構成構成EVS(亦稱為第2感測器)。
系統控制部1050係由例如CPU(Central Processing Unit，中央處理單元)等處理器構成，經由光源驅動部1011而驅動VCSEL 1012。又，系統控制部1050藉由控制固體攝像裝置100，而取得圖像資料。
例如，自光源1010出射之照射光透過照射透鏡1030被投影至被攝體(亦稱為測定對象物或物體)901。該被投影投影光由被攝體91反射。而後，由被攝體901反射之光透過攝像透鏡1040朝固體攝像裝置100入射。固體攝像裝置100之EVS接收由被攝體901反射之反射光，產生事件資料，基於產生之事件資料，產生1張圖像即事件訊框資料。另一方面，固體攝像裝置100之影像感測器接收入射光之例如可見光，產生圖像訊框資料。由固體攝像裝置100產生之圖像訊框資料及事件訊框資料被供給至資訊處理裝置1之應用處理器1100。應用處理器1100可對自固體攝像裝置100輸入之圖像訊框資料及事件訊框資料執行圖像處理或辨識處理等特定之處理。
1.2 固態攝像裝置之構成例 其次，針對本實施形態之固體攝像裝置之構成例進行說明。作為本實施形態之固體攝像裝置之構成，考量亮度像素與事件像素分別具備分別之光電轉換部之構成、及亮度像素與事件像素共有1個光電轉換部之構成。於以下之說明中，將亮度像素與事件像素分別具備分別之光電轉換部之構成稱為像素分離構成，將亮度像素與事件像素共有1個光電轉換部之構成稱為像素共有構成。
1.2.1 像素分離構成之例 圖3係本實施形態之固體攝像裝置之概略構成例，且係顯示像素分離構成之例之方塊圖。如圖3所示，本實施形態之固體攝像裝置100例如具備：像素陣列部101、垂直驅動電路102A、水平驅動電路102B、X仲裁器104A、Y仲裁器104B、亮度信號處理電路103A、事件信號處理電路103B、系統控制電路105、亮度資料處理部108A、及事件資料處理部108B。
像素陣列部101具有成為像素配置中之重複單位之單位像素110於列方向及行方向、亦即二維格子狀(亦稱為矩陣狀)配置之構成。此處，列方向(亦稱為row方向)稱為像素列之像素之排列方向(圖式中為橫向方向)，行方向(亦稱為column方向)稱為像素行之像素之排列方向(圖式中為縱向方向)。此外，此處言及之重複單位與拜耳排列或四倍拜耳排列等彩色濾光器排列之重複單位不同，於元件設計中可為重複之構成單位。
各單位像素110具備1個以上之亮度像素10及1個以上之事件像素20。於本說明中，亮度像素10與事件像素20有時分別簡稱為像素。針對單位像素110之具體的電路構成及像素構造之細節於後文描述，但於像素分離構成中，亮度像素10與事件像素20分別具備個別之光電轉換部。具體而言，亮度像素10具備產生且蓄積與入射光之亮度相應之電荷之光電轉換部PD1，產生與亮度相應之電壓之亮度信號。另一方面，事件像素20具備產生與入射光之亮度相應之電荷之光電轉換部PD2，於基於自光電轉換部PD2流出之光電流檢測到入射光之亮度變化之情形下，輸出請求從自身之讀出之請求，依照由輸入該請求之仲裁器進行之調解，輸出表示檢測到事件之事件資料。
於像素陣列部101中，對於矩陣狀之像素排列，就每一像素列沿列方向配線像素驅動線LD1及LD2，且就每一像素行沿行方向配線垂直信號線VSL1及VSL2。例如，像素驅動線LD1連接於各列之亮度像素10，像素驅動線LD2連接於各列之事件像素20。另一方面，例如，垂直信號線VSL1連接於各行之亮度像素10，垂直信號線VSL2連接於各行之事件像素20。惟，不限定於此，像素驅動線LD1及LD2可以相互正交之方式配線。同樣，垂直信號線VSL1及VSL2可以相互正交之方式配線。例如，可行的是，像素驅動線LD1配線於列方向，像素驅動線LD2配線於行方向，垂直信號線VSL1配線於行方向，垂直信號線VSL2配線於列方向。
像素驅動線LD1傳送用於進行自亮度像素10讀出亮度信號時之驅動之控制信號。像素驅動線LD2傳送用於將事件像素20設為可進行事件檢測之有效狀態之控制信號。於圖3中，像素驅動線LD1及LD2分別顯示為各1條之配線，但不限定於各1條。像素驅動線LD1及像素驅動線LD2各者之一端連接於與垂直驅動電路102A之各列對應之輸出端。
(亮度像素之驅動構成) 各亮度像素10具備：光電轉換部PD1，其將入射光進行光電轉換而產生電荷；及像素電路111，其產生與在光電轉換部PD1產生之電荷之電荷量相應之電壓值之亮度信號；且依照由垂直驅動電路102A進行之控制，使亮度信號出現於垂直信號線VSL1。
垂直驅動電路102A由移位暫存器及位址解碼器等構成，所有像素同時或以列單位等驅動像素陣列部101之亮度像素10。亦即，垂直驅動電路102A與控制該垂直驅動電路102A之系統控制電路105一起構成控制像素陣列部101之各亮度像素10之動作之驅動部。垂直驅動電路102A針對其具體的構成省略圖示，但一般而言，具備讀出掃描系統與排除掃描系統之2個掃描系統。
讀出掃描系統為了自各像素讀出信號，而以列單位依序選擇掃描像素陣列部101之各像素。自各像素讀出之亮度信號為類比信號。排除掃描系統對於由讀出掃描系統進行讀出掃描之讀出列，較該讀出掃描提前曝光時間份額進行排除掃描。
藉由該排除掃描系統所進行之排除掃描，自讀出列之各亮度像素10之光電轉換部PD1排除不必要之電荷，藉此將該光電轉換部PD1重置。而且，藉由以該排除掃描系統排除(重置)不必要之電荷，而進行所謂之電子快門動作。此處，電子快門動作意指捨棄光電轉換部PD1之光電荷，並重新開始曝光(亦即，開始電荷之蓄積)之動作。
藉由讀出掃描系統所進行之讀出動作而讀出之信號對應於在緊接其前之讀出動作或電子快門動作以後接收到之光量。而且，自緊接在前之讀出動作之讀出時序或電子快門動作之排除時序至此次之讀出動作之讀出時序之期間成為各像素之電荷之蓄積期間(亦稱為曝光期間)。
從由垂直驅動電路102A選擇掃描之像素列之各亮度像素10輸出之亮度信號，就每一像素行經由垂直信號線VSL1各者被輸入至亮度信號處理電路103A。亮度信號處理電路103A就像素陣列部101之每一像素行，對自選擇列之各亮度像素經由垂直信號線VSL1輸出之亮度信號進行特定信號處理，且暫時保存信號處理後之亮度信號。
具體而言，亮度信號處理電路103A作為信號處理，至少進行雜訊除去處理、例如CDS(Correlated Double Sampling：相關雙取樣)處理、或DDS(Double Data Sampling，雙倍資料取樣)處理。例如，藉由CDS去除處理，去除重置雜訊及像素內之放大電晶體之臨限值偏差等像素固有之固定模式雜訊。亮度信號處理電路103A除此以外還具有例如AD(類比-數位)轉換功能，將可自光電轉換部PD1讀出之類比之亮度信號轉換為數位信號並輸出。
水平驅動電路102B由移位暫存器及位址解碼器等構成，依序選擇與亮度信號處理電路103A像素行對應之像素電路111。藉由該水平驅動電路102B所進行之選擇掃描，依序輸出於亮度信號處理電路103A中就每一像素電路111予以信號處理之亮度信號。
(事件像素之驅動構成) 各事件像素20具備：光電轉換部PD2，其產生與入射光之亮度相應之電荷；及位址事件檢測電路210，其基於自光電轉換部PD2流出之光電流之電流值變化，檢測有無事件；且基於在與入射光之亮度相應之光電流是否產生超過特定之臨限值之變化，而檢測有無事件。例如，各事件像素20將亮度變化超過、或低於特定之臨限值作為事件予以檢測。
事件像素20於檢測到事件時，將請求表示事件發生之事件資料之輸出許可之請求分別輸出至X仲裁器104A及Y仲裁器104B。而且，事件像素20於自X仲裁器104A及Y仲裁器104B分別接收到表示事件資料之輸出許可之應答之情形下，對於事件信號處理電路103B輸出事件資料。
事件信號處理電路103B對於自事件像素20輸入之事件資料執行特定之信號處理，並輸出信號處理後之事件資料。
如上述般，由事件像素20產生之光電流之變化亦可捕捉到朝事件像素20之光電轉換部PD2入射之光之光量變化(亮度變化)。因此，事件亦可謂超過特定之臨限值之事件像素20之光量變化(亮度變化)。於表示事件之發生之事件資料中至少包含表示作為事件之光量變化發生之事件像素20之位置之座標等位置資訊。於事件資料中，除了包含位置資訊以外，亦可包含光量變化之極性。
針對自事件像素20以發生事件之時序輸出之事件資料之系列，只要事件資料彼此之間隔維持事件之發生時之狀態，則事件資料可謂暗示性包含表示事件發生之相對性時刻之時刻資訊。
惟，若藉由將事件資料記憶於記憶體等，而將事件資料彼此之間隔不維持事件之發生時之狀態，則丟失事件資料中暗示性包含之時刻資訊。因此，事件信號處理電路103B於事件資料彼此之間隔不維持事件之發生時之狀態之前，可於事件資料中包含表示時間戳記等事件發生之相對性時刻之時刻資訊。
(其他構成) 系統控制電路105係由產生各種時序信號之時序產生器等構成，基於由該時序產生器產生之各種時序，進行垂直驅動電路102A、水平驅動電路102B、X仲裁器104A、Y仲裁器104B、亮度信號處理電路103A、及事件信號處理電路103B等之驅動控制。
亮度資料處理部108A及事件資料處理部108B分別至少具有運算處理功能，對於自亮度信號處理電路103A或事件信號處理電路103B輸出之圖像資料(圖像訊框資料及事件訊框資料)進行運算處理等各種信號處理。
自亮度資料處理部108A或事件資料處理部108B輸出之圖像資料例如可於搭載固體攝像裝置100之資訊處理裝置1之應用處理器1100等中執行特定之處理，或經由特定之網路向外部發送。
此外，固體攝像裝置100可具備用於暫時保存下述資料之記憶部，即：亮度資料處理部108A及事件資料處理部108B中之信號處理所需之資料、及由亮度信號處理電路103A、事件信號處理電路103B、亮度資料處理部108A及事件資料處理部108B中任一者以上予以處理之資料等。
1.2.2 像素共有構成之例 圖4係顯示本實施形態之固體攝像裝置之另一概略構成例，且係顯示像素共有構成之例之方塊圖。將圖3與圖4進行比較可知，於像素共有構成中，單位像素110之1個以上之亮度像素10與1個以上之事件像素20共有1個光電轉換部PD。換言之，相當於取得亮度信號之第1信號處理部之像素電路111及亮度信號處理電路103A、與相當於取得事件信號之第2信號處理部之位址事件檢測電路210及事件信號處理電路103B連接於共通之光電轉換部PD。其以外之構成及動作由於與使用圖3所說明之像素分離構成之固體攝像裝置100同樣，故此處省略詳細之說明。
1.3 固體攝像裝置之積層構造例 圖5係顯示本實施形態之固體攝像裝置之積層構造例之圖。如圖5所示，固體攝像裝置100具備將像素晶片140與電路晶片150上下積層而成之構造。像素晶片140例如係具備亮度像素10及事件像素20各者之光電轉換部、及亮度像素10及事件像素20之電路構成之一部分之半導體晶片，電路晶片150係具備配置於像素晶片140之構成以外之構成之半導體晶片。
像素晶片140與電路晶片150之接合，例如可利用將各者之接合面平坦化並以電子間力將兩者貼合之所謂之直接接合。惟，不限定於此，例如，亦可利用將形成於相互之接合面之銅(Cu)製之電極墊彼此接合之所謂之銅-銅(Cu-Cu)接合、或其他之凸塊接合等。
又，像素晶片140與電路晶片150例如經由貫通半導體基板之TCV(Through Contact Via，貫通接觸通孔)等連接部電性連接。對於使用TSV之連接，例如可採用：將設置於像素晶片140之TCV與自像素晶片140直到電路晶片150設置之TCV之2個TCV在晶片外表連接之所謂之雙TCV方式、或以自像素晶片140貫通至電路晶片150之TCV將兩者連接之所謂之共用TCV方式等。
惟，於對像素晶片140與電路晶片150之接合利用Cu-Cu(銅-銅)接合或凸塊接合時，可經由Cu-Cu(銅-銅)接合部或凸塊接合部將兩者電性連接。
1.4 單位像素之電路構成例 其次，針對像素分離構成之情形與像素共有構成之情形各者之單位像素110之電路構成例進行說明。
1.4.1 像素分離構成之情形 首先，針對像素分離構成之情形之亮度像素10及事件像素20之電路構成例進行說明。圖6係顯示本實施形態之像素分離構成之亮度像素之概略構成例之電路圖。圖7係顯示本實施形態之像素分離構成之事件像素之概略構成例之電路圖。
1.4.1.1 亮度像素 如圖6所示，亮度像素10例如具備光電轉換部PD1、及像素電路111。像素電路111具備：傳送電晶體11、浮動擴散區域FD、重置電晶體12、放大電晶體13、及選擇電晶體14。
亮度像素10中例如光電轉換部PD1及傳送電晶體11可配置於像素晶片140。另一方面，重置電晶體12、放大電晶體13及選擇電晶體14可配置於像素晶片140，亦可配置於電路晶片150。
於選擇電晶體14之閘極連接像素驅動線LD1中所含之選擇控制線，於重置電晶體12之閘極連接像素驅動線LD1中所含之重置控制線，於傳送電晶體11之閘極連接像素驅動線LD1中所含之傳送控制線。又，於放大電晶體13之汲極經由選擇電晶體14連接一端連接於亮度信號處理電路103A之垂直信號線VSL1。
光電轉換部PD1例如藉由將入射光進行光電轉換，而產生與入射光之光量(亮度)相應之電荷。傳送電晶體11傳送於光電轉換部PD1產生之電荷。浮動擴散區域FD蓄積傳送電晶體11傳送之電荷。放大電晶體13使與蓄積於浮動擴散區域FD之電荷相應之電壓值之亮度信號出現於垂直信號線VSL1。重置電晶體12放出蓄積於浮動擴散區域FD之電荷。選擇電晶體14選擇讀出對象之亮度像素10。
光電轉換部PD1之陽極被接地，陰極連接於傳送電晶體11。經由傳送電晶體11流出之電荷蓄積於由將重置電晶體12之源極、與放大電晶體13之閘極連接之配線構造構成之浮動擴散區域FD。此外，重置電晶體12之汲極例如可連接於供給電源電壓VDD或低於電源電壓VDD之重置電壓之電源線。
放大電晶體13之源極例如可經由未圖示之定電流電路等連接於電源線。放大電晶體13之汲極連接於選擇電晶體14之源極，選擇電晶體14之汲極連接於垂直信號線VSL1。
浮動擴散區域FD將蓄積之電荷轉換成與其電荷量相應之電壓值之電壓。此外，浮動擴散區域FD可為例如對地電容。惟，不限定於此，浮動擴散區域FD可為因在傳送閘極11之汲極與重置電晶體12之源極及放大電晶體13之閘極連接之節點非意圖地連接電容器等而附加之電容等。
垂直信號線VSL1連接於在亮度信號處理電路103A中設置於每一行(亦即，每一垂直信號線VSL1)之AD(Analog-to-Digital，類比轉數位)轉換電路103a。AD轉換電路103a例如具備比較器及計數器，藉由將自外部之基準電壓產生電路(DAC(Digital-to-Analog Converter，類比數位轉換器)輸入之單斜率或斜波形狀等之基準電壓、與在垂直信號線VSL1出現之亮度信號進行比較，而將類比之亮度信號轉換為數位之亮度信號。此外，AD轉換電路103a例如可具備CDS(Correlated Double Sampling，相關雙取樣)電路等，可降低kTC雜訊等地構成。
1.4.1.2 事件像素 如圖7所示，事件像素20例如具備光電轉換部PD2、及位址事件檢測電路210。位址事件檢測電路210具備排出電晶體21、受光電路212、及邏輯電路211。
事件像素20中例如光電轉換部PD及排出電晶體21可配置於像素晶片140。另一方面，受光電路212之一部分或全部、與邏輯電路211可配置於電路晶片150。
排出電晶體21使自光電轉換部PD流出之光電流流入受光電路212。
位址事件檢測電路210針對其細節於後文描述，但如上述般，基於自光電轉換部PD流出之光電流之變化，檢測有無事件，於檢測到事件時，將請求表示事件之發生之事件資料之輸出許可之請求分別輸出至X仲裁器104A及Y仲裁器104B。而後，位址事件檢測電路210於自X仲裁器104A及Y仲裁器104B接收到表示事件資料之輸出許可之應答之情形下，對垂直驅動電路102A及事件信號處理電路103B輸出事件資料。此時，位址事件檢測電路210可對於事件資料包含表示時間戳記等事件發生之相對性時刻之時刻資訊。
垂直信號線VSL2例如於事件信號處理電路103B中連接於就每行(亦即每一垂直信號線VSL2)設置之信號處理電路103b。
1.4.1.2.1 位址事件檢測電路之構成例 繼而，針對事件像素20之位址事件檢測電路210之構成例進行說明。事件像素20根據光電流之變化量是否超過特定之臨限值，而檢測有無事件之發生。事件例如包含表示光電流之變化量超過上限之臨限值之意旨之導通事件、及表示該變化量低於下限之臨限值之意旨之斷開事件。又，表示事件之發生之事件資料(事件資訊)例如包含表示導通事件之檢測結果之1位元、及表示斷開事件之檢測結果之1位元。此外，針對事件像素20，可設為具有僅針對導通事件進行檢測之功能之構成，亦可設為具有僅針對斷開事件進行檢測之功能之構成。
圖8係顯示本實施形態之位址事件檢測電路之概略構成例之電路圖。此外，於圖8中顯示1個比較器分時進行導通事件之檢測及斷開事件之檢測之情形之構成例。
如圖8所示，位址事件檢測電路210具有：排出電晶體21、受光電路212、記憶體電容213、比較器214、重置電路215、反相器216、及輸出電路217。
於排出電晶體21之閘極連接像素驅動線LD2中所含之選擇控制線。於將事件像素20設為有效之情形下，藉由對排出電晶體21之閘極自垂直驅動電路102A經由選擇控制線施加選擇信號，而將排出電晶體21設為導通狀態。惟，於事件像素20可為始終導通狀態之情形下，可省略排出電晶體21。
受光電路212雖然針對其細節於後文描述，但例如由如圖9或圖10所例示之電流電壓轉換電路構成，將自光電轉換部PD2流出之光電流I photo轉換為電壓V pr。此處，電壓V pr對於光之強度(亮度)之關係通常為對數之關係。亦即，受光電路212將與照射至光電轉換部PD2之受光面之光之強度對應之光電流I photo轉換為作為對數函數之電壓V pr。惟，光電流I photo與電壓V pr之關係並非係限定於對數之關係者。
自受光電路212輸出之與光電流I photo相應之電壓V pr於經由記憶體電容213之後，作為電壓V diff成為比較器214之第1輸入即反轉(-)輸入。比較器214通常由差動對電晶體構成。比較器214將自垂直驅動電路102A賦予之臨限值電壓V b設為第2輸入即非反轉(+)輸入，分時進行導通事件之檢測、及斷開事件之檢測。又，於導通事件/斷開事件之檢測後，藉由重置電路215進行事件像素20之重置。
垂直驅動電路102A分時地，於檢測導通事件之階段輸出電壓V on，於檢測斷開事件之階段輸出電壓V off，於進行重置之階段輸出電壓V reset，作為臨限值電壓V b。電壓V reset設定為電壓V on與電壓V off之間之值、較佳為電壓V on與電壓V off之中間之值。此處，「中間之值」其含義為除了嚴格上為中間之值之情形以外，亦包含實質上為中間之值之情形，容許設計上或製造上產生之各種偏差之存在。
又，垂直驅動電路102A對於事件像素20，於檢測導通事件之階段輸出導通選擇信號，於檢測斷開事件之階段輸出關斷選擇信號，於進行重置之階段輸出全域重置信號(Global Reset)。導通選擇信號對於設置於反相器216與輸出電路217之間之選擇開關SW on作為其控制信號而賦予。關斷選擇信號對於設置於比較器214與輸出電路217之間之選擇開關SW off作為其控制信號而賦予。
比較器214於檢測導通事件之階段，將電壓V on與電壓V diff進行比較，於電壓V diff超過電壓V on時，輸出表示光電流I photo之變化量超過上限之臨限值之意旨之導通事件資訊On作為比較結果。導通事件資訊On於由反相器216反轉後，經由選擇開關SW on被供給至輸出電路217。
比較器214於檢測斷開事件之階段中，將電壓V off與電壓V diff進行比較，於電壓V diff低於電壓V off時，輸出表示光電流I photo之變化量低於下限之臨限值之意旨之斷開事件資訊Off作為比較結果。斷開事件資訊Off經由選擇開關SW off被供給至輸出電路217。
重置電路215為具有重置開關SW RS、雙輸入OR電路2151、及雙輸入AND電路2152之構成。重置開關SW RS連接於比較器214之反轉(-)輸入端子與輸出端子之間，藉由成為導通(閉合)狀態，而將反轉輸入端子與輸出端子之間選擇性短路。
OR電路2151將經由選擇開關SW on之導通事件資訊On、及經由選擇開關SW off之斷開事件資訊Off設為雙輸入。AND電路2152將OR電路2151之輸出信號設為一輸入，將自垂直驅動電路102A賦予之全域重置信號設為另一輸入，檢測導通事件資訊On或斷開事件資訊Off之任一者，於全域重置信號為有效狀態時，將重置開關SW RS設為導通(閉合)狀態。
如此，藉由AND電路2152之輸出信號成為有效狀態，而重置開關SW RS將比較器214之反轉輸入端子與輸出端子之間短路，對於事件像素20進行全域重置。藉此，僅針對檢測到事件之事件像素20進行重置動作。
輸出電路217為具有斷開事件輸出電晶體NM 1、導通事件輸出電晶體NM 2、及電流源電晶體NM 3之構成。斷開事件輸出電晶體NM 1於該閘極部具有用於保存斷開事件資訊Off之記憶體(未圖示)。該記憶體包含斷開事件輸出電晶體NM)之閘極寄生電容。
與斷開事件輸出電晶體NM 1同樣地，導通事件輸出電晶體NM 2於該閘極部具有用於保存導通事件資訊On之記憶體(未圖示)。該記憶體包含導通事件輸出電晶體NM 2之閘極寄生電容。
於讀出階段中，由斷開事件輸出電晶體NM 1之記憶體保存之斷開事件資訊Off、及由導通事件輸出電晶體NM 2之記憶體保存之導通事件資訊On藉由自垂直驅動電路102A對電流源電晶體NM 3之閘極電極賦予列選擇信號，而就像素陣列部101之每一像素列，經由垂直信號線VSL2即輸出線nRxOff及輸出線nRxOn被傳送至信號處理電路103b。信號處理電路103b例如係設置於事件信號處理電路103B(參照圖3)內之電路。
如上述般，電路構成例之事件像素20為具有使用1個比較器214，於垂直驅動電路102A所進行之控制下分時進行導通事件之檢測、及斷開事件之檢測之事件檢測功能之構成。
1.4.1.2.2 受光電路之構成例 圖9係顯示本實施形態之受光電路之基本構成例之電路圖。如圖9所示，受光電路212具備：nMOS(n-channel Metal Oxide Semiconductor，n通道金屬氧化物半導體)電晶體312及313、及pMOS(p-channel MOS，p通道MOS)電晶體314。其等中2個nMOS電晶體312及313例如構成將自光電轉換部PD流出之光電流轉換為與該對數值相應之電壓信號之對數轉換電路。連接於nMOS電晶體313之閘極之配線、供來自光電轉換部PD之光電流流入之配線作為檢測事件時之感測節點SN發揮功能。nMOS電晶體313例如可相當於申請專利範圍之第2電晶體，nMOS電晶體312例如可相當於申請專利範圍之第3電晶體。
又，pMOS電晶體314作為對於由2個nMOS電晶體312及313構成之對數轉換電路之負載MOS電晶體動作。此外，光電轉換部PD、與nMOS電晶體312及313例如配置於像素晶片140，pMOS電晶體314可配置於電路晶片150。
nMOS電晶體312之源極連接於光電轉換部PD之陰極，汲極連接於電源端子。pMOS電晶體314及nMOS電晶體313於電源端子與接地端子之間串聯連接。又，pMOS電晶體314及nMOS電晶體313之連接點連接於nMOS電晶體312之閘極與邏輯電路211之輸入端子，作為向邏輯電路211輸出電壓信號VPR之輸出節點發揮功能。又，對pMOS電晶體314之閘極施加特定之偏壓電壓Vbias1。
nMOS電晶體312及313之汲極連接於電源側，如此之電路被稱為源極隨耦器。藉由該等連接為環狀之2個源極隨耦器，而來自光電轉換部PD之光電流被轉換為與該對數值相應之電壓信號VPR。又，pMOS電晶體314將一定之電流供給至nMOS電晶體313。
此外，像素晶片140之接地與電路晶片150之接地可為了干涉對策而相互被分離。
1.4.1.2.3 受光電路之變化例 於圖9中，針對源極隨耦器型受光電路212進行了說明，但不限定於如此之構成。圖10係顯示本實施形態之變化例之受光電路之基本構成例之電路圖。如圖10所示，變化例之受光電路212A例如具備對於圖9所例示之源極隨耦器型之受光電路212追加串聯連接於nMOS電晶體312與電源線之間之nMOS電晶體315、及串聯連接於nMOS電晶體313與pMOS電晶體314之間之nMOS電晶體316的所謂之增益提升型電路構成。4個nMOS電晶體312、113、315及316例如構成將自光電轉換部PD流出之光電流轉換為與該對數值相應之電壓信號VPR之對數轉換電路。
如此，即便於使用增益提升型受光電路212A之情形下，亦可將來自光電轉換部PD之光電流轉換為與該電荷量相應之對數值之電壓信號VPR。
1.4.2 像素共有構成之情形 其次，針對像素共有構成之情形之亮度像素10及事件像素20之電路構成例進行說明。圖11係顯示本實施形態之像素共有構成之亮度像素及事件像素之概略構成例之電路圖。
將圖6及圖7與圖11進行比較可知，於像素共有構成中，亮度像素10與事件像素20共有1個光電轉換部PD。亦即，亮度像素10之傳送電晶體11、與事件像素20之排出電晶體21均連接於光電轉換部PD之陰極。其以外之亮度像素10之構成及動作以及事件像素20之構成及動作由於可與使用圖6及圖7所說明之像素分離構成之亮度像素10及事件像素20同樣，故此處省略詳細之說明。
1.4.3 像素共有之變化例 圖12係顯示本實施形態之變化例之像素共有之亮度像素及事件像素之概略構成例之電路圖。如圖12所示，於像素共有構成之變化例中，1個單位像素110-1具備複數個(於圖12中為4個)亮度像素10-0～10-3、及複數個(於圖9中為4個)事件像素20-0～20-3。複數個亮度像素10-0～10-3及複數個事件像素20-0～20-3例如可於像素陣列部101中排列成M×N個(M、N為1以上之整數)之矩陣狀。
於如此之構成中，複數個亮度像素10-0～10-3可共有像素電路之傳送電晶體11-0～11-3以外之構成、亦即重置電晶體12、放大電晶體13、選擇電晶體14、及浮動擴散區域FD。藉此，可設為可切換各光電轉換部PD-0～PD-3構成各亮度像素10-0～10-3之動作模式、與複數個光電轉換部PD-0～PD-3構成1個亮度像素10之動作模式(例如，高動態範圍：HDR)之構成。
1.5 像素排列之例 其次，針對像素陣列部101之亮度像素10與事件像素20之排列例進行說明。此外，於以下之說明中，例示像素陣列部101具備選擇性接收相當於構成RGB三原色之色成分中之紅(R)色之波長帶之光之亮度像素10r、選擇性接收相當於綠(G)色之波長帶之光之亮度像素10g、及選擇性接收相當於藍(B)色之波長帶之光之亮度像素10b，作為亮度像素10之情形。又，於以下之說明中，例示將亮度像素10r、10g及10b之排列之基礎設為拜耳排列之情形，但不限定於此，例如，可採用重複單位為單3×3像素之X-Trans(註冊商標)型像素排列、4×4像素之四倍拜耳(亦稱為quadra)排列、除了RGB三原色各者之亮度像素10r、10g、10b以外亦包含對於可見光區域具有寬的受光特性之亮度像素之4×4像素之白色RGB型像素排列等各種像素排列。
1.5.1 像素分離構成之情形 圖13係顯示本實施形態之像素分離構成之像素排列之例之示意圖。如圖13所示，於像素分離構成中，例如，構成拜耳排列之重複單位即排列圖案110A之4個像素中之1個由事件像素20構成，其餘3個由亮度像素10r、10b、10g構成。
1.5.2 像素共有構成之情形 圖14係顯示本實施形態之像素共有構成之像素排列之例之示意圖。如圖14所示，於像素共有構成中，構成拜耳排列之重複單位即排列圖案110A之4個像素各者由共有亮度像素10r、10g或10b與事件像素20之共有像素構成。
惟，於像素共有構成中，無須所有像素為亮度像素10與事件像素20之共有像素，構成排列圖案110A之複數個像素中之一部分(1個或2個以上)可為共有像素。
如此，藉由使在像素陣列部101中構成影像感測器之亮度像素10、與構成EVS之事件像素20均等地混存而配置，而可使影像感測器與EVS之光軸一致或大致一致。藉此，即便於在例如影像感測器與EVS之間切換在眼動追蹤及SLAM等中使用之感測器之情形下，亦可將用於使由各個感測器取得之圖像資料之座標系一致之幾何轉換等處理省略或簡略化，故而可防止處理速度之高速化受抑制。
又，藉由設為於像素陣列部101中使亮度像素10與事件像素20混存之構成，而可如以不同之晶片構成影像感測器與EVS之情形般，抑制因將不使用之感測器預先設為始終導通狀態所致之電力之浪費，故可抑制耗電之增大。
1.6 資訊處理裝置之應用例 其次，針對本實施形態之資訊處理裝置1之應用例進行說明。此外，於以下之說明中，舉出以眼動追蹤為目的之資訊處理裝置1之應用例、及以SLAM為目的之資訊處理裝置1之應用例之例。
1.6.1 眼動追蹤 首先，針對以眼動追蹤為目的之資訊處理裝置1之應用例進行說明。
1.6.1.1 器件之例 作為以眼動追蹤為目的之資訊處理裝置1之應用例，例示搭載AR功能之HMD(Head Mounted Display，頭戴顯示裝置)(以下稱為AR器件)、及搭載VR功能之HMD(以下稱為VR器件)。此外，各構成之符號中於末尾賦予‘L’之符號表示為左眼用之構成，賦予‘R’之符號表示為右眼用之構成。
(AR器件之例) 圖15係顯示本實施形態之AR器件之一例之示意圖。如圖15所示，AR器件400具備例如框架401、顯示器402L及402R、光源403L及403R、及作為感測器之固體攝像裝置100L及100R。框架401例如可為眼鏡型或護目鏡型或是頭盔型等可覆蓋使用者之一隻眼或雙眼之各種類型。
安裝於框架401之顯示器402L及402R係將與現實世界重畳之映像對於AR器件400之使用者顯示之顯示器。該顯示器402L及402R可為透過型，亦可為遮光型。亦即，AR器件400可為光學透視型HMD，亦可為視頻透視型HMD。惟，如為視頻透視型，則可於AR器件400搭載用於拍攝使用者之視線方向之現實世界之相機。
又，於框架401之例如輪緣之與使用者之眼睛相對之側設置對使用者之眼睛進行照明之光源403L及403R。該光源403L及403R例如可為相當於圖1之光源1010者，可對於使用者之一只眼睛設置1個或複數個。
進而，於框架401之例如輪緣之與使用者之眼睛相對之側設置拍攝使用者之眼睛之固體攝像裝置100L及100R。固體攝像裝置100L及固體攝像裝置100R各者可為與上述之固體攝像裝置100同樣之構成。
此外，於本例中，例示了對使用者之雙眼進行眼動追蹤之情形，但不限定於此，可僅為單眼。
(AR器件之變化例) 圖16係顯示本實施形態之變化例之AR器件之示意圖。如圖16所示，AR器件400A例如具備下述構成，即：眼鏡型框架401A之一側之鏡腿較輪緣更向視線方向延長，於該經延長之鏡腿之彎折之前端部分設置有光源403與固體攝像裝置100。此外，本變化例之AR器件400A可為光學透視型。又，AR器件400A可對使用者之一只眼睛(於圖16中為右眼)進行眼動追蹤，亦可對雙眼進行眼動追蹤。
(VR器件之例) 圖17係顯示本實施形態之VR器件之一例之示意圖。如圖17所示，VR器件500與圖15所例示之AR器件400同樣地具備例如框架501、顯示器502L及502R、光源503L及503R、及作為感測器之固體攝像裝置100L及100R。框架501例如可為眼鏡型或護目鏡型或是頭盔型等可覆蓋使用者之一隻眼或雙眼之各種類型。
安裝於框架501之顯示器502L及502R係將所繪製之假想空間之映像對於VR器件500之使用者顯示之顯示器。
又，於框架501之與使用者相對之側之顯示器502L及502R之周圍，與AR器件400同樣地設置對使用者之眼睛進行照明之複數個光源503L及503R、及拍攝使用者之眼睛之固體攝像裝置100L及100R。
此外，於本例中，例示了對使用者之雙眼進行眼動追蹤之情形，但不限定於此，可僅為單眼。
1. 6.1.2 系統構成之例 其次，針對上述之AR器件400或400A或VR器件500(以下簡稱為器件)之系統構成例進行說明。此外，AR器件400或400A或VR器件500(圖18之器件600)可為相當於上述之資訊處理裝置1者。
圖18係顯示本實施形態之器件之系統構成例之方塊圖。如圖18所示，器件600例如具備：主處理器601、主記憶體602、圖形處理器603、顯示器604、揚聲器605、通訊單元606、固體攝像裝置100、慣性感測器607、操作器件608、照明器件609、及外部記憶體610。
主處理器601例如由CPU構成，可相當於圖2之應用處理器1100。該主處理器601執行構成器件600之各部之控制、或AR功能或VR功能或是眼動追蹤等所需之各種處理。
主記憶體602例如為主處理器601使用之記憶區域，記憶自外部記憶體610讀出之程式及資料、及主處理器601之執行中途或執行結果之資料。
圖形處理器603例如由GPU(Graphics Processing Unit，圖形處理單元)構成，基於自主處理器601賦予之資料及指示，產生經由顯示器604對使用者提示之映像。
顯示器604例如相當於圖15或圖16之顯示器402L及202R或圖17之顯示器502L及502R，顯示自圖形處理器603輸入之映像資料。
揚聲器605例如以聲音向使用者發出自主處理器601輸入之波形資料。作為向使用者發出之聲音，可包含音樂、導引、操作音、或警告音等。
通訊單元606例如可為用於連接於4G(第4代移動體通訊系統、4G LTE(Long Term Evolution，長期演進)、5G(第5代移動通訊系統)等移動體通訊網、LAN(Local Area Network，區域網路(包含Wi-Fi))、WAN(Wide Area Network，廣域網路)、網際網路等通訊網路之通訊模組。惟，不限定於此，通訊單元606可為紅外線通訊或藍芽(Bluetooth)(註冊商標)等與其他機器直接或間接通訊之通訊單元。
慣性感測器607例如可為IMU(Inertial Measurement Unit，慣性量測單元)等，檢測安裝於使用者之頭部之器件600之傾斜及方向等。又，慣性感測器607可檢測器件600之水平方向及/或垂直方向之位置之變位量。
操作器件608例如係用於供使用者對於器件600進行操作輸入之使用者介面。該操作器件608可使用按鈕開關或觸控面板等輸入器件、或辨識聲音之聲音輸入器件等各種輸入器件。
照明器件609例如相當於圖1之光源1010，相應於來自主處理器601之指示而出射特定波長之光。
外部記憶體610例如可為快閃記憶體、USB(Universal Serial Bus，通用串列匯流排)記憶體、SD(Secure Digital，安全數位)記憶卡或HDD(Hard Disk Drive，硬碟機)等，記憶主處理器601執行之各種程式及資料。
1.6.1.3 眼動追蹤構成之例 繼而，自圖18所示之系統構成摘錄眼動追蹤用之構成(以下稱為眼動追蹤構成)而進行說明。圖19係顯示本實施形態之眼動追蹤構成之一例之方塊圖。
如圖19所示，眼動追蹤構成包含固體攝像裝置100、慣性感測器607、及主處理器601。固體攝像裝置100如上述般具備影像感測器611、及EVS 612。此外，於圖19中，將影像感測器記述為CIS。
主處理器601例如藉由執行記憶於外部記憶體610之程式，而實現信號輸入部613、信號處理部614、及指示產生部615。
朝信號輸入部613自固體攝像裝置100之影像感測器611輸入圖像訊框資料，自EVS 612輸入事件訊框資料。又，亦朝信號輸入部613輸入與由慣性感測器607檢測到之加速度及角速度等相關之資訊(以下稱為感測器資料)。信號輸入部613將該等輸入之資料於在主處理器601中轉換為可處理之形式之後，輸入至信號處理部614。
信號處理部614基於經由信號輸入部613輸入之資料，執行用於眼動追蹤之各種處理，並將該結果輸入至指示產生部615。此外，針對在主處理器601中執行之包含用於眼動追蹤之各種處理之動作，於後述中詳細說明。
指示產生部615基於自信號處理部614輸入之眼動追蹤之結果，產生用於控制固體攝像裝置100之指示，並將產生之指示輸入至固體攝像裝置100。
1.6.1. 4 動作流程之例 其次，針對器件600之主處理器601執行之眼動追蹤動作進行說明。
(整體流程) 圖20係顯示本實施形態之眼動追蹤動作之整體流程之流程圖。如圖20所示，於本動作中，首先，主處理器601執行包含使用者之瞳孔(及浦肯頁像)之位置之各種參數之初始化(步驟S100)。針對初始化之細節，於後述中使用圖21或圖22詳細地說明。
其次，主處理器601藉由使用由EVS 612取得之事件訊框資料，而執行使用者之瞳孔(及浦肯頁像)之檢測(追蹤)(步驟S200)。針對該追蹤之細節，於後述中使用圖23詳細地說明。
其次，主處理器601判定步驟S200之追蹤是否成功(步驟S300)，於失敗時，亦即於無法檢測使用者之瞳孔(及浦肯頁像)而丟失使用者之視線方向時(步驟S300之否)，返回步驟S100，再次執行初始化。
另一方面，於步驟S200之追蹤成功時(步驟S300之是)，主處理器601基於在步驟S200中檢測到之使用者之瞳孔(及浦肯頁像)之位置，算出使用者之視線方向(步驟S400)，並輸出與算出之視線方向相關之資訊(以下稱為視線資訊)(步驟S500)。
之後，主處理器601判定是否結束本動作(步驟S600)，於未結束時(步驟S600之否)，返回步驟S200，繼續進行分以後之動作。另一方面，於結束時(步驟S600之是)，主處理器601結束本動作。
(初始化流程) 圖21係顯示圖20之步驟S100所示之初始化之一例之流程圖。如圖21所示，於初始化中，主處理器601之指示產生部615產生用於在影像感測器611產生圖像訊框資料(亦稱為亮度圖像)之指示信號(亦稱為CIS取得觸發)，並將其輸入至固體攝像裝置100(例如，影像感測器611)(步驟S101)。
若對於該CIS取得觸發之輸入，自固體攝像裝置100之影像感測器611輸出圖像訊框資料，則主處理器601之信號輸入部613將自固體攝像裝置100輸入之圖像訊框資料輸入至信號處理部614(步驟S102)。
主處理器601之信號處理部614於輸入圖像訊框資料時，藉由對輸入之圖像訊框資料執行辨識處理，而檢測圖像訊框資料之使用者之瞳孔之位置(步驟S103)。此外，對於該辨識處理，可使用例如語意分割等處理。
又，主處理器601之信號處理部614藉由對輸入之圖像訊框資料執行辨識處理，而檢測圖像訊框資料之浦肯頁像之位置(步驟S104)。此外，浦肯頁像之檢測非為必須之構成，於使用者之視線方向之檢測不使用浦肯頁像之情形下，可省略步驟S104。
其次，主處理器601之信號處理部614判定圖像訊框資料之使用者之瞳孔(及浦肯頁像)之位置之檢測是否成功(步驟S105)，於失敗時(步驟S105之否)，返回步驟S101，再次執行對於新輸入之圖像訊框資料之瞳孔(及浦肯頁像)之檢測。
另一方面，於圖像訊框資料之使用者之瞳孔(及浦肯頁像)之位置之檢測成功時(步驟S105之是)，主處理器601之信號處理部614將檢測到之圖像訊框資料之使用者之瞳孔(及浦肯頁像)之位置轉換為事件訊框資料之座標系(以下稱為事件座標系)之位置(步驟S106)。此外，該步驟於由影像感測器611取得之圖像訊框資料之座標系、與由EVS 612取得之事件訊框資料之座標一致之情形下，可省略。
亦即，於本實施形態中，雖然如上述般，影像感測器611與EVS 612之光軸一致，但由各自取得之訊框資料之解析度(或尺寸)未必為一致。例如，如圖13所例示般，於以拜耳排列為基礎之像素分離構成中，在將構成像素排列之重複單位即排列圖案110A之4個像素中之3個設為亮度像素10，將1個設為事件像素20之情形下，圖像訊框資料之解析度(或尺寸)為事件訊框資料之解析度(或尺寸)之2倍。該情形下，即便在表示現實空間之相同之位置之情形下，圖像訊框資料上之座標位置與事件訊框資料上之座標位置亦不一致。為此，於本實施形態中，將於圖像訊框資料上特定出之瞳孔(及浦肯頁像)之座標位置轉換為事件訊框資料上之座標位置。於圖13所例示之情形下，藉由將於圖像訊框資料上特定出之瞳孔(及浦肯頁像)之座標位置之X座標及Y座標設為1/2倍，而將於圖像訊框資料上特定出之瞳孔(及浦肯頁像)之座標位置轉換為事件訊框資料上之座標位置。
於無需在步驟S106中座標轉換而成之使用者之瞳孔(及浦肯頁像)之位置座標、或座標轉換之情形下，於步驟S103及S104中檢測到之使用者之瞳孔(及浦肯頁像)之位置座標作為表示使用者之最新之瞳孔(及浦肯頁像)之位置之瞳孔參數(及浦肯頁像參數)於信號處理部614中保存。
之後，主處理器601結束初始化(S100)，並前進至圖20之下一步驟S200。
如此，藉由設為在剛啟動後或在追蹤(S200)失敗時返回初始化(S100)，於初始化中按需取得圖像訊框資料的構成，而可根據需要來驅動影像感測器611，故而可削減不必要之電力消耗。
(初始化流程之變化例) 此處，例如，針對採用像素分離構成之情形、亦即可與圖像訊框資料之產生並行地執行事件訊框資料之產生之情形之初始化之變化例，進行說明。
圖22係顯示圖20之步驟S100所示之初始化之變化例之流程圖。如圖22所示，於本變化例中，在與在上述中使用圖21所說明之初始化同樣之流程中，繼步驟S101之後追加步驟S111，又，於步驟S105之判定之結果、圖像訊框資料之使用者之瞳孔(及浦肯頁像)之位置之檢測失敗時(步驟S105之否)，執行步驟S112，及根據需要而執行步驟S113。
於步驟S111中，主處理器601之信號輸入部613與步驟S102之圖像訊框資料之輸入並行地將自固體攝像裝置100之EVS 612輸入之事件訊框資料輸入至信號處理部614。亦即，於本變化例中，輸入圖像訊框資料與事件訊框資料作為初始化用之訊框資料。此外，自固體攝像裝置100輸入之事件訊框資料之數量不限定於1個，可為複數個。
於本變化例之步驟S103及S104中，藉由對圖像訊框資料及事件訊框資料執行各自之辨識處理，而檢測圖像訊框資料之使用者之瞳孔及浦肯頁像之位置。
又，於步驟S103及/或S104中，於圖像訊框資料之使用者之瞳孔及/或浦肯頁像之位置之檢測失敗時(步驟S105之否)，主處理器601之信號處理部614判定於圖像訊框資料是否產生模糊(步驟S112)。於未產生模糊時(步驟S112之否)，亦即於檢測失敗之要因非為模糊時，主處理器601返回步驟S101，再次取得圖像訊框資料。
另一方面，於在圖像訊框資料產生模糊時(步驟S112之是)，主處理器601之信號處理部614對圖像訊框資料執行解模糊處理(步驟S113)，再次使用處理後之圖像訊框資料及事件訊框資料來檢測使用者之瞳孔及/或浦肯頁像之位置(步驟S103、S104)。
其他步序及效果由於與圖21所示之初始化同樣，故此處省略詳細之說明。
(追蹤流程) 圖23係顯示圖20之步驟S200所示之追蹤之一例之流程圖。如圖23所示，於追蹤中，主處理器601之信號輸入部613將自固體攝像裝置以特定之訊框率或任意之時序輸入之事件訊框資料輸入至信號處理部614(步驟S201)。此外，任意之時序例如可為於EVS 612(例如未圖示之訊框記憶體)中蓄積有特定數量之事件資料之時序等。又，例如，於自EVS 612輸出事件資料而非事件訊框資料時，信號輸入部613藉由將輸入之事件資料蓄積於未圖示之訊框記憶體，而可產生事件訊框資料。
其次，主處理器601之信號處理部614待機直至蓄積充分數量之事件資料為止(步驟S202之否)。例如，信號處理部614於自信號輸入部613以事件訊框資料之形式輸入事件資料時，判定輸入之1個以上之事件訊框資料中所含之事件資料之總數是否為預設之臨限值以上。該情形下，於1個事件訊框資料包含充分數量(臨限值以上)之事件資料之情形下，信號處理部614可對於1個事件訊框資料之輸入，判定是否蓄積有充分數量之事件資料。又，於信號輸入部613將自EVS 612輸入之事件資料蓄積於訊框暫存器時，信號處理部614可判定蓄積於訊框暫存器之事件資料之數量是否為臨限值以上。
於蓄積有充分數量之事件資料時(步驟S202之是)，信號處理部614藉由對由蓄積之事件資料形成之事件訊框資料及保存之瞳孔參數執行辨識處理，而特定事件訊框資料之使用者之瞳孔之位置座標，利用特定之瞳孔之位置座標來更新保存之瞳孔參數(步驟S203)。例如，於步驟S203中，信號處理部614藉由對於事件訊框資料，將保存之瞳孔參數之附近設為搜尋範圍，而可特定使用者之瞳孔之位置座標。此時，信號處理部614可使用保存之瞳孔參數，作為用於推定構成瞳孔之圓或橢圓參數之最佳化處理之初始值。
又，信號處理部614藉由對由蓄積之事件資料形成之事件訊框資料及保存之浦肯頁像參數執行辨識處理，而特定事件訊框資料之使用者之浦肯頁像之位置座標，利用特定出之浦肯頁像之位置座標來更新保存之浦肯頁像參數(步驟S204)。例如，於步驟S204中，信號處理部614藉由對於事件訊框資料，將保存之浦肯頁像參數之附近設為搜尋範圍，而可特定使用者之浦肯頁像之位置座標。此時，信號處理部614可使用保存之浦肯頁像參數，作為用於推定構成浦肯頁像之圓或橢圓參數之最佳化處理之初始值。
之後，主處理器601結束追蹤(S200)，並前進至圖20之下一步驟S300。
1.6.2 SLAM 其次，針對以SLAM為目的之資訊處理裝置1之應用例進行說明。
1.6.2.1 器件之例 作為以SLAM為目的之資訊處理裝置1之應用例，與眼動追蹤同樣地例示搭載AR功能之AR器件、及搭載VR功能之VR器件。此外，於以下之說明中，針對與上述之眼動追蹤之情形同樣之構成、動作及效果，藉由引用其等，而省略重複之說明。
(AR器件之例) 圖24係顯示本實施形態之AR器件之一例之示意圖。如圖2所示，AR器件410例如具備：框架401、顯示器402L及402R、及作為感測器之固體攝像裝置100L及100R。框架401、顯示器402L及402R可與上述之眼動追蹤用之AR器件400同樣。
於框架401之例如輪緣，以面向與使用者之視線方向相同之方向之方式設置固體攝像裝置100L及100R。固體攝像裝置100L及固體攝像裝置100R各者可為與上述之固體攝像裝置100同樣之構成。
(VR器件之例) 圖25係顯示本實施形態之VR器件之一例之示意圖。如圖25所示，VR器件510與圖24所例示之AR器件410同樣地，例如具備：框架501、未圖示之顯示器、及作為感測器之固體攝像裝置100L及100R。框架501及顯示器可與上述之眼動追蹤用之VR器件500同樣。
於框架501，與AR器件400同樣地，以面向與使用者之視線方向相同之方向之方式設置固體攝像裝置100L及100R。
1.6.2.2 系統構成及SLAM構成之例 SLAM用之AR器件410及VR器件510(以下簡稱為器件)之系統構成例可與在上述中使用圖18所說明之系統構成例同樣。又，器件600之SLAM用之構成(以下稱為SLAM構成)可與在上述中使用圖19所說明之構成例同樣。惟，於SLAM構成中，主處理器601之信號處理部614執行用於SLAM之各種處理(SLAM動作)，取代用於眼動追蹤之各種處理(眼動追蹤動作)。
1.6.2.3 動作流程之例 其次，針對器件600之主處理器601執行之SLAM動作進行說明。
(整體流程) 圖26係顯示本實施形態之SLAM動作之整體流程之流程圖。如圖26所示，於本動作中，首先，主處理器601執行包含器件600之自身位置之各種參數之初始化(步驟S700)。針對初始化之細節，於後述中使用圖27詳細地說明。
其次，主處理器601針對並行地執行使用由影像感測器611取得之圖像訊框資料之地圖建構(步驟S800)、與使用由EVS 612取得之事件訊框資料之自身位置之追蹤(步驟S900)的地圖建構(S800)及追蹤(S900)之細節，於後述中使用圖28～圖36詳細地說明。
之後，主處理器601判定是否結束本動作(步驟S1000)，於未結束時(步驟S1000之否)，返回步驟S800及S900，繼續進行以後之動作。另一方面，於結束時(步驟S1000之是)，主處理器601結束本動作。
(初始化流程) 圖27係顯示圖26之步驟S700所示之初始化之一例之流程圖。如圖27所示，於初始化中，主處理器601之指示產生部615產生用於在影像感測器611產生圖像訊框資料(亮度圖像)之指示信號(CIS取得觸發)，並將其輸入至固體攝像裝置100(例如，影像感測器611)(步驟S701)。
若對於該CIS取得觸發之輸入，自固體攝像裝置100之影像感測器611輸出圖像訊框資料，則主處理器601之信號輸入部613將自固體攝像裝置100輸入之圖像訊框資料輸入至信號處理部614(步驟S702)。
主處理器601之信號處理部614於輸入圖像訊框資料時，執行用於使圖像訊框資料之尺寸與事件訊框資料之尺寸一致之調整大小(步驟S703)。此外，該處理以輸入至主處理器601之圖像訊框資料之視野角與事件訊框資料之視野角一致為前提。因此，於圖像訊框資料之視野角與事件訊框資料之視野角不一致時，可執行用於使兩個視野角一致之區域之切出。
其次，主處理器601之信號處理部614對所輸入之圖像訊框資料執行特徵點之檢測處理(步驟S704)。對於特徵點之檢測，例如，為了確保與在後述中使用圖29之步驟S903而說明之特徵點追蹤之處理之連續性及輸出結果之一貫性等，而較佳為使用基於與非專利文獻1同樣之原理之Harris角點檢測器(Harris Corner Detector)及其派生算法等。
其次，主處理器601之信號處理部614判定是否儲存有2個以上之特定數量以上之調整大小後之圖像訊框資料(步驟S705)，於未儲存時(步驟S705之否)，返回步驟S701，繼續進行以後之動作。
另一方面，主處理器601之信號處理部614於儲存有2個以上之特定數量以上之調整大小後之圖像訊框資料時(步驟S705之是)，使用2個以上之特定數量以上之調整大小後之圖像訊框資料來進行地圖之產生(步驟S706)。此外，該步驟S706之地圖產生可與通常之SLAM之地圖產生同樣。
其次，主處理器601之信號處理部614判定於步驟S706中地圖之產生是否成功(步驟S707)，於失敗時(步驟S707之否)，返回步驟S701，再次執行以後之動作。另一方面，於地圖之產生成功時，主處理器601之信號處理部614執行追加關鍵訊框之處理(步驟S708)。之後，結束初始化(S700)，並前進至圖26之下一步驟S800及S900。此外，針對關鍵訊框追加之細節，於後述中使用圖31～圖33詳細地說明。
(地圖建構流程) 圖28係顯示圖26之步驟S800所示之地圖建構之一例之流程圖。如圖28所示，於地圖建構中，主處理器601之信號輸入部613等待關鍵訊框之追加(步驟S801之否)，於追加關鍵訊框時(步驟S801之是)，藉由基於關鍵訊框之座標系執行光束法平差，而調整方格地圖或像素地圖等點群圖(步驟S802)。而後，主處理器601之信號處理部614利用調整後之點群地圖來更新例如在主記憶體602內管理之點群地圖(步驟S803)。
之後，主處理器601之信號處理部614於自後述之關鍵訊框列表(參照圖32)削除不必要之關鍵訊框(步驟S804)後，結束地圖建構(S800)，並前進至圖26之下一步驟S1000。
(追蹤流程) 圖29係顯示圖26之步驟S900所示之追蹤之一例之流程圖。如圖29所示，於追蹤中，主處理器601之信號處理部614例如與圖23之步驟S201～S202同樣地待機直至蓄積充分數量之事件資料為止(步驟S901～S902)。
於蓄積有充分數量之事件資料時(步驟S902之是)，信號處理部614對由蓄積之事件資料形成之事件訊框資料執行特徵點之追蹤處理(步驟S903)，並執行藉此追蹤到之特徵點、與點群地圖之陸標之對應關係之建立(步驟S904)。此外，針對特徵點追蹤之細節，於後述中使用圖36詳細地說明，但例如可使用上述之非專利文獻1之方法等。
其次，主處理器601之信號處理部614藉由基於在步驟S903中使用之事件訊框資料與最新之點群地圖，而算出器件600之位置及姿勢(步驟S905)。
若如上述般算出器件600之位置及姿勢，則其次，主處理器601之信號處理部614判定算出之位置及姿勢是否正確(步驟S906)。於該步驟S906中，例如，可基於根據自慣性感測器607輸入之加速度及角速度等感測器資訊求得之器件600之位置及姿勢、與在步驟S905中算出之器件600之位置及姿勢之整合性，而判定在步驟S905中是否算出器件600之正確之位置及姿勢。
於在步驟S905中算出正確之位置及姿勢時(步驟S906之是)，主處理器601前進至步驟S910。另一方面，於未算出正確之位置及/或姿勢時(步驟S906之否)，主處理器601之信號處理部614執行使用圖像訊框資料之追蹤(亮度圖像追蹤)(步驟S907)。此外，針對亮度圖像追蹤之細節，於後述中使用圖35詳細地說明。
其次，主處理器601之信號處理部614藉由步驟S907之亮度圖像追蹤，判定器件600之正確之位置及/或姿勢之算出是否成功(步驟S908)，於成功時(步驟S908之是)，前進至步驟S910。另一方面，於正確之位置及/或姿勢之算出失敗時(步驟S908之否)，主處理器601之信號處理部614執行重新定位(步驟S909)，之後，前進至步驟S912。此外，針對重新定位之細節，於後述中使用圖34詳細地說明。
於步驟S910中，主處理器601之信號處理部614判定是否於關鍵訊框列表中追加關鍵訊框。於判定為不追加關鍵訊框時(步驟S910之否)，信號處理部614前進至步驟S912。另一方面，於判定為追加關鍵訊框時(步驟S910之是)，信號處理部614執行於關鍵訊框列表中追加關鍵訊框之處理(步驟S911)，之後，前進至步驟S912。此外，針對關鍵訊框追加之細節，與上述之步驟S708同樣地，於後述中使用圖31～圖33詳細地說明。
於步驟S912中，主處理器601之信號處理部614輸出與在步驟S905、S907或S909中算出之器件600之位置及姿勢相關之資訊(以下稱為位置姿勢資訊)(步驟S912)，之後，結束追蹤(S900)，並前進至圖26之下一步驟S1000。
(追蹤流程之變化例) 此處，例如，針對採用像素共有構成之情形、亦即無法與圖像訊框資料之產生並行地執行事件訊框資料之產生之情形之追蹤之變化例，進行說明。
圖30係顯示圖26之步驟S900所示之追蹤之變化例之流程圖。如圖30所示，於本變化例中，主處理器601之信號處理部614判定固體攝像裝置100之影像感測器611是否正在取得圖像訊框資料(步驟S921)。於非為正在取得圖像訊框資料時(步驟S921之否)，主處理器601執行圖29所示之追蹤(步驟S922)，之後，結束追蹤(S900)，並前進至圖26之下一步驟S1000。
另一方面，於為正在取得圖像訊框資料時(步驟S921之是)，主處理器601之信號處理部614預測器件600之位置及姿勢(步驟S923)，並輸出與藉此所預測之器件600之位置及姿勢相關之位置姿勢資訊(步驟S924)。之後，主處理器601結束追蹤(S900)，並前進至圖26之下一步驟S1000。
此外，步驟S923之位置姿勢預測之方法無特別限定，但例如，可根據緊接在前之器件600之位置及姿勢之履歷預測當前之位置及姿勢，亦可將基於自慣性感測器607輸入之感測器資訊而算出之位置及姿勢設為器件600之當前之位置及姿勢。
(關鍵訊框追加流程) 圖31係顯示圖27之步驟S708或圖29之步驟S911所示之關鍵訊框追加之一例之流程圖。如圖31所示，於關鍵訊框追加中，主處理器601之信號處理部614首先判定在圖27所示之處理之1次執行中取得之圖像訊框資料是否存在(步驟S1101)，於存在時(步驟S1101之是)，前進至步驟S1105。另一方面，於在1次執行中取得之圖像訊框資料不存在時(步驟S1101之否)，例如，與圖27之步驟S701～S703同樣地，藉由指示產生部615產生CIS取得觸發並輸入至固體攝像裝置100(例如，影像感測器611)(步驟S1102)，而信號輸入部613自固體攝像裝置100輸入圖像訊框資料，將該輸入之圖像訊框資料輸入至信號處理部614(步驟S1103)。而後，信號處理部614執行用於使輸入之圖像訊框資料之尺寸與事件訊框資料之尺寸一致之調整大小(步驟S1104)。亦即，由於在圖27所示之動作中，於步驟S701～S703中取得新的圖像訊框資料並予以調整大小，故於圖31所示之動作中，可於不重新取得圖像訊框資料下執行步驟S1105。同樣，由於當在圖29所示之動作中經由步驟S907而執行步驟S911之情形下，在步驟S907中取得新的圖像訊框資料並予以調整大小，故於圖31所示之動作中，可於不重新取得圖像訊框資料下執行步驟S1105。另一方面，由於當在圖29所示之動作中於不經由步驟S907下執行步驟S911之情形下，於1次執行中未取得圖像訊框資料，故於圖31所示之動作中，必須重新執行圖像訊框資料之取得及調整大小。
其次，主處理器601之信號處理部614對所輸入之圖像訊框資料執行特徵點之檢測處理(步驟S1105)。對於特徵點之檢測，與上述之圖27之步驟S704同樣地，例如，為了確保與在後述中使用圖29之步驟S903而說明之特徵點追蹤之處理之連續性及輸出結果之一貫性等，而較佳為使用基於與非專利文獻1同樣之原理之Harris角點檢測器(Harris Corner Detector)及其派生算法等。
其次，主處理器601之信號處理部614藉由執行BoW(Bag of Visual Words，視覺詞袋模型)之檢測，而執行於步驟S1105中檢測到之特徵點、與點群地圖之陸標之對應關係之最佳化(步驟S1106)。
其次，主處理器601之信號處理部614基於藉由步驟S1106而最佳化之對應關係產生關鍵訊框資訊，將產生之關鍵訊框資訊追加於在例如主記憶體602中管理之關鍵訊框列表(步驟S1107)。之後，主記憶體602結束關鍵訊框追加(S708、S911)，並前進至圖27之下一步驟(亦即圖26之步驟S800及S900)或圖29之下一步驟S912。
此外，於圖32中顯示本實施形態之關鍵訊框資訊及關鍵訊框列表之一例。如圖32所示，關鍵訊框列表將1個以上之關鍵訊框資訊#1～#N(N為1以上之整數)列表化並予以保存。於各關鍵訊框資訊中例如包含：用於唯一地識別關鍵訊框之關鍵訊框ID、關鍵訊框表示之特徵點之座標(特徵點座標)、用於唯一地識別特徵點對應之陸標之陸標ID、檢測到特徵點時之器件600之位置姿勢資訊、與在步驟S1106中檢測到之BoW相關之資訊、及關鍵訊框之產生所使用之圖像訊框資料(亮度圖像)。
(關鍵訊框追加流程之變化例) 此處，例如，針對採用像素分離構成之情形、亦即可與圖像訊框資料之產生並行地執行事件訊框資料之產生之情形之關鍵訊框追加之變化例，進行說明。
圖33係顯示圖27之步驟S708或圖29之步驟S911所示之關鍵訊框追加之變化例之流程圖。如圖33所示，本變化例之關鍵訊框追加流程在與圖31所示之關鍵訊框追加流程同樣之流程中，於步驟S1104與步驟S1105之間追加步驟S1111及S1112。
於步驟S1111中，主處理器601之信號處理部614判定於圖像訊框資料是否產生模糊。於未產生模糊時(步驟S1111之否)，主處理器601前進至步驟S1105。另一方面，於在圖像訊框資料產生模糊時(步驟S112之是)，主處理器601之信號處理部614於對圖像訊框資料執行解模糊處理(步驟S1112)後，前進至步驟S1105。
此外，步驟S1111～S1112之處理亦可設置於圖27所示之初始化流程之步驟S703與步驟S704之間。同樣，步驟S1111～S1112之處理亦可設置於後述之圖35所示之亮度圖像追蹤流程之步驟S1303與步驟S1304之間。
(重新定位流程) 圖34係顯示圖29之步驟S909所示之重新定位之一例之流程圖。如圖34所示，於重新定位中，主處理器601之信號處理部614對在圖29之步驟S907中取得且經調整大小之圖像訊框資料執行BoW檢測(步驟S1201)。
其次，主處理器601之信號處理部614對關鍵訊框列表執行類似關鍵訊框之搜尋(步驟S1202)，判定是否發現類似關鍵訊框(步驟S1203)。
於在步驟S1202之搜尋中未發現類似關鍵訊框時(步驟S1203之否)，主處理器601之信號處理部614前進至步驟S1206。另一方面，於發現類似關鍵訊框時(步驟S1203之是)，信號處理部614執行步驟S1201之最佳化後之特徵點、與最新之點群地圖之陸標之對應關係建立(步驟S1205)，並前進至步驟S1206。
於步驟S1206中，主處理器601之信號處理部614藉由基於在圖29之步驟S907中取得並經調整大小之圖像訊框資料與最新之點群地圖，而算出器件600之位置及姿勢，之後，結束重新定位(S909)，並前進至圖29之下一步驟S912。
(亮度圖像追蹤流程) 圖35係顯示圖29之步驟S907所示之亮度圖像追蹤之一例之流程圖。如圖35所示，於亮度圖像追蹤中，主處理器601之信號處理部614首先例如與圖27之步驟S701～S703同樣地，藉由指示產生部615產生CIS取得觸發並輸入至固體攝像裝置100(例如，影像感測器611)(步驟S1301)，而信號輸入部613自固體攝像裝置100輸入圖像訊框資料，將該輸入之圖像訊框資料輸入至信號處理部614(步驟S1302)。而後，信號處理部614執行用於使輸入之圖像訊框資料之尺寸與事件訊框資料之尺寸一致之調整大小(步驟S1303)。
其次，主處理器601之信號處理部614對所取得並經調整大小之圖像訊框資料執行特徵點之檢測處理(步驟S1304)，並執行藉此檢測到之特徵點、與點群地圖之陸標之對應關係建立(步驟S1305)。
其次，主處理器601之信號處理部614藉由基於在步驟S1304中使用之圖像訊框資料與最新之點群地圖，而算出器件600之位置及姿勢(步驟S1306)，之後，結束亮度圖像追蹤(S907)，並前進至圖29之下一步驟S908。
(特徵點追蹤流程) 圖36係顯示圖29之步驟S903所示之特徵點追蹤之一例之流程圖。此外，圖36所示之特徵點追蹤流程例如可為基於非專利文獻1者。
如圖36所示，於特徵點追蹤中，主處理器601之信號處理部614首先執行必要數量之事件資料之蓄積(步驟S1401)。此外，該步驟S1401例如可與圖23之步驟S201～S202之步序同樣。又，該步驟S1401可為例如確保滿足非專利文獻1之式(2)之ΔL(u)之步序。
其次，主處理器601之信號處理部614算出特徵點之轉換、變位量(步驟S1402)。此外，該步驟S1402可為例如藉由將非專利文獻1之式(7)最佳化而求得p、v之步序。
其次，主處理器601之信號處理部614執行轉換為特徵點座標之處理(步驟S1403)。此外，該步驟S1403可為例如將在步驟S1402中求得之p、v轉換為特徵點座標之步序。
之後，主處理器601之信號處理部614結束特徵點追蹤(S903)，並前進至圖29之下一步驟S904。
1.7 總結 如以上般，根據本實施形態，由於在像素陣列部101中使構成影像感測器之亮度像素10、與構成EVS之事件像素20均等混存而配置，故可使影像感測器與EVS之光軸一致或大致一致。藉此，即便於在例如影像感測器與EVS之間切換在眼動追蹤及SLAM等中使用之感測器之情形下，亦可將用於使由各個感測器取得之圖像資料之座標系一致之幾何轉換等處理省略或簡略化。其結果，可防止處理速度之高速化受抑制。
又，藉由設為於像素陣列部101中使亮度像素10與事件像素20混存之構成，而可如以不同之晶片構成影像感測器與EVS之情形般，抑制因將不使用之感測器預先設為始終導通狀態所致之電力之浪費，故亦可抑制耗電之增大。
進而，由於為在剛啟動後或在丟失對象物時(例如，使用者之瞳孔(及浦肯頁像)之檢測失敗、器件600之位置及姿勢之算出失敗等)，根據需要而按需(CIS取得觸發之輸入)取得圖像訊框資料的構成，故僅於必要時驅動影像感測器611。藉此，可削減不必要之電力消耗。
2.對於移動體之應用例 本揭示之技術可對於各種製品應用。例如，本揭示之技術可實現為搭載於汽車、電動汽車、油電混合汽車、機車、自行車、個人移動性裝置、飛機、無人機、船舶、機器人等任一種類之移動體之裝置。
圖37係顯示作為可應用本揭示之技術之移動體控制系統之一例之車輛控制系統之概略性構成例之方塊圖。
車輛控制系統12000具備經由通訊網路12001連接之複數個電子控制單元。於圖37所示之例中，車輛控制系統12000具備：驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及整合控制單元12050。又，作為整合控制單元12050之功能構成，圖示有微電腦12051、聲音圖像輸出部12052、及車載網路I/F(Interface，介面)12053。
驅動系統控制單元12010依照各種程式控制與車輛之驅動系統相關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等之用於產生車輛之驅動力之驅動力產生裝置、用於將驅動力朝車輪傳遞之驅動力傳遞機構、調節車輛之舵角之轉向機構、及產生車輛之制動力之制動裝置等的控制裝置發揮功能。
車體系統控制單元12020依照各種程式，控制裝備於車體之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙門禁系統、智慧型鑰匙系統、電動車窗裝置、或頭燈、尾燈、煞車燈、方向指示燈或霧燈等各種燈之控制裝置發揮功能。該情形下，可對車體系統控制單元12020輸入自代替鑰匙之可攜式機發出之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入，而控制車輛之門鎖裝置、電動車窗裝置、燈等。
車外資訊檢測單元12030檢測搭載車輛控制系統12000之車輛外部之資訊。例如，於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收拍攝到之圖像。車外資訊檢測單元12030可基於接收到之圖像，來進行人、車、障礙物、標誌或路面上之文字等之物體檢測處理或距離檢測處理。
攝像部12031係接收光且輸出與該光之受光量相應之電信號之光感測器。攝像部12031可將電信號以圖像輸出，亦可以測距之資訊輸出。又，攝像部12031接收到之光可為可見光，亦可為紅外線等非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040基於自駕駛者狀態檢測部12041輸入之檢測資訊，可算出駕駛者之疲勞度或注意力集中度，亦可判別駕駛者是否打瞌睡。
微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，且對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含車輛之避免碰撞或緩和衝擊、基於車距之追隨行駛、車速維持行駛、車輛之碰撞警告、或車輛之車道偏離警告等的ADAS(Advanced Driver Assistance System，先進駕駛輔助系統)之功能為目的之協調控制。
又，微電腦12051藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛周圍之資訊而控制驅動力產生裝置、轉向機構或制動裝置等，而可進行以不依賴駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
又，微電腦12051可基於由車外資訊檢測單元12030取得之車外之資訊，對車體系統控制單元12020輸出控制指令。例如，微電腦12051可進行根據由車外資訊檢測單元12030檢測到之前方車或對向車之位置而控制頭燈、而將遠光燈切換為近光燈等之以謀求防眩為目的之協調控制。
聲音圖像輸出部12052朝可對車輛之乘客或車外以視覺或聽覺通知資訊之輸出裝置，發送聲音及圖像中之至少一者之輸出信號。於圖37之例中，例示有音訊揚聲器12061、顯示部12062及儀表板12063來作為輸出裝置。顯示部12062例如可包含車載顯示器及抬頭顯示器之至少一者。
圖38係顯示攝像部12031之設置位置之例之圖。
於圖38中，具有攝像部12101、12102、12103、12104、12105作為攝像部12031。
攝像部12101、12102、12103、12104、121055設置於例如車輛12100之車頭突部、後照鏡、後保險桿、尾門及車廂內之擋風玻璃之上部等之位置。車頭突部所具備之攝像部12101及車廂內之擋風玻璃之上部所具備之攝像部12105主要取得車輛12100前方之圖像。後照鏡所具備之攝像部12102、12103主要取得車輛12100側方之圖像。後保險桿或尾門所具備之攝像部12104主要取得車輛12100後方之圖像。車廂內之擋風玻璃之上部所具有之攝像部12105主要用於前方車輛或行人、障礙物、號志燈、交通標誌或車道線等之檢測。
此外，於圖38中顯示攝像部12101至12104之撮影範圍之一例。攝像範圍12111表示設置於車頭突部之攝像部12101之攝像範圍，攝像範圍12112、12113表示分別設置於後照鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險桿或尾門之攝像部12104之攝像範圍。例如，藉由重疊由攝像部12101至12104拍攝到之圖像資料，而獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少1者可具有取得距離資訊之功能。例如，攝像部12101至12104之至少1者可為含有複數個攝像元件之立體攝影機，亦可為具有相位差檢測用之像素之攝像元件。
例如，微電腦12051藉由基於根據攝像部12101至12104獲得之距離資訊，求得與攝像範圍12111至12114內之各立體物相隔之距離、及該距離之時間性變化(對於車輛12100之相對速度)，而可尤其將位於車輛12100之行進路上最近之立體物、且為在與車輛12100大致相同之方向以特定之速度(例如0 km/h以上)行駛之立體物擷取作為前方車。進而，微電腦12051可設定針對前方車於前方側應預先確保之車距，進行自動煞車控制(亦包含停止追隨控制)、自動加速控制(亦包含起步追隨控制)等。如此般可進行不以來駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051可基於自攝像部12101至12104獲得之距離資訊，將與立體物相關之立體物資料分類為二輪車、普通車輛、大型車輛、行人、電線杆等或其他之立體物而加以擷取，用於自動迴避障礙物。例如，微電腦12051可將車輛12100周邊之障礙物辨識為車輛12100之駕駛員可視認之障礙物及難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞風險，當遇到碰撞風險為設定值以上而有可能發生碰撞之狀況時，藉由經由音訊揚聲器12061或顯示部12062對駕駛員輸出警報，或經由驅動系統控制單元12010進行強制減速或迴避操舵，而可進行用於避免碰撞之駕駛支援。
攝像部12101至12104之至少1個可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定於攝像部12101至12104之攝像圖像中是否存在有行人而辨識行人。上述之行人之辨識藉由例如提取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點之步序、針對表示物體之輪廓之一系列特徵點進行圖案匹配處理而判別是否為行人之步序而進行。當微電腦12051判定為在攝像部12101至12104之攝像圖像中存在行人，且辨識為行人時，聲音圖像輸出部12052控制顯示部12062而針對該被辨識出之行人重疊顯示用於強調之方形輪廓線。又，聲音圖像輸出部12052亦可控制顯示部12062而將顯示行人之圖標等顯示於所期望之位置。
以上，針對可應用本揭示之技術之車輛控制系統之一例進行了說明。本揭示之技術可應用於以上所說明之構成中之例如駕駛者狀態檢測部12041、或攝像部12031。藉由將本揭示之技術應用於駕駛者狀態檢測部12041，而可迅速且確實地執行駕駛員或同乘人員之眼動追蹤。又，藉由將本揭示之技術應用於攝像部12031，而可迅速且確實地取得車輛12100之行駛位置或姿勢。
以上，針對本揭示之實施形態進行了說明，但本揭示之技術性思想並不原樣限定於上述之實施形態，可於不脫離本揭示之要旨之範圍內進行各種變更。又，可將遍及不同之實施形態及變化例之構成要素適宜組合。
又，本說明書所記載之各實施形態之效果終極而言僅為例示，而非限定性效果，可具有其他效果。
此外，本技術亦可採用如以下之構成。 (1) 一種資訊處理裝置，其具備： 混合型感測器，其具備：複數個光電轉換部，其等將入射光進行光電轉換；及信號處理部，其基於前述複數個光電轉換部之輸出，取得基於前述入射光之光強度之亮度信號或基於亮度變化之事件信號； 處理器，其基於由前述信號處理部取得之亮度信號或事件信號進行特定之處理；及 指示產生部，其對前述信號處理部請求讀出亮度信號；且 前述指示產生部於前述處理器在基於前述事件信號之前述特定之處理中失敗時，對前述信號處理部請求讀出亮度信號； 前述處理器基於相應於前述請求而自前述信號處理部輸入之亮度信號，執行前述特定之處理。 (2) 如前述(1)之資訊處理裝置，其中前述指示產生部於該資訊處理裝置之初始化時，對前述信號處理部請求讀出亮度信號。 (3) 如前述(1)或(2)之資訊處理裝置，其中前述處理器基於根據複數個前述事件信號而產生之訊框資料，執行前述特定之處理。 (4) 如前述(3)之資訊處理裝置，其中前述處理器於執行使基於前述亮度信號而產生之圖像資料之尺寸與前述訊框資料之尺寸一致之尺寸調整後，對前述尺寸調整後之圖像資料執行前述特定之處理。 (5) 如前述(1)至(4)中任一項之資訊處理裝置，其中前述特定之處理係眼動追蹤或SLAM(Simultaneous Localization and Mapping，即時定位與地圖建構)。 (6) 如前述(5)之資訊處理裝置，其中前述特定之處理係前述眼動追蹤之瞳孔及/或浦肯頁像之檢測處理。 (7) 如前述(5)之資訊處理裝置，其中前述特定之處理係前述SLAM之自身位置及姿勢之算出處理。 (8) 如前述(1)至(7)中任一項之資訊處理裝置，其中前述信號處理部具備： 第1信號處理部，其連接於前述複數個光電轉換部中之複數個第1光電轉換部，且取得前述亮度信號；及 第2信號處理部，其連接於前述複數個光電轉換部中之1個以上之第2光電轉換部，且取得前述事件信號。 (9) 如前述(8)之資訊處理裝置，其中前述複數個第1光電轉換部與前述1個以上之第2光電轉換部係不同之光電轉換部。 (10) 如前述(8)之資訊處理裝置，其中前述1個以上之第2光電轉換部係前述複數個第1光電轉換部之一部分之光電轉換部。 (11) 如前述(8)至(10)中任一項之資訊處理裝置，其中前述第1光電轉換部及前述第1信號處理部構成之第1感測器之光軸、與前述第2光電轉換部與前述第2信號處理部構成之第2感測器之光軸一致。 (12) 如前述(8)至(11)中任一項之資訊處理裝置，其中複數個前述第1光電轉換部與複數個前述第2光電轉換部以特定之順序排列於同一晶片之受光面。 (13) 如前述(1)至(12)中任一項之資訊處理裝置，其中前述資訊處理裝置係頭戴式顯示器。 (14) 如前述(13)之資訊處理裝置，其中前述頭戴式顯示器具備：對使用者提供擴增實境之AR(Augmented Reality，擴增實境)功能、或提供假想空間之VR(Virtual Reality，虛擬實境)功能。 (15) 一種資訊處理方法，其係於具備混合型感測器之資訊處理裝置中執行者，且該混合型感測器具備：複數個光電轉換部，其等將入射光進行光電轉換；及信號處理部，其基於前述複數個光電轉換部之輸出，取得基於前述入射光之光強度之亮度信號或基於亮度變化之事件信號；且前述資訊處理方法包含： 第1步序，其基於由前述信號處理部取得之亮度圖像或事件信號，執行特定之處理；及 第2步序，其對前述信號處理部請求讀出亮度圖像； 前述第2步序於在前述第1步序中基於前述事件信號之前述特定之處理失敗時，對前述信號處理部請求讀出亮度圖像； 前述第1步序基於相應於前述請求而自前述信號處理部輸入之亮度圖像，執行前述特定之處理。
1:資訊處理裝置 10,10-0~10-3,10b,10g,10r:亮度像素 11,11-0~11-3:傳送電晶體 12:重置電晶體 13:放大電晶體 14:選擇電晶體 20,20-0~20-3:事件像素 21:排出電晶體 100,100L,100R:固體攝像裝置 101:像素陣列部 102A:垂直驅動電路 102B:水平驅動電路 103A:亮度信號處理電路 103a:AD轉換電路 103B:事件信號處理電路 103b:信號處理電路 104A:X仲裁器 104B:Y仲裁器 105:系統控制電路 108A:亮度資料處理部 108B:事件資料處理部 110,110-1:單位像素 110A:排列圖案 111:像素電路 140:像素晶片 150:電路晶片 210:位址事件檢測電路 211:邏輯電路 212,212A:受光電路 213:記憶體電容 214:比較器 215:重置電路 216:反相器 217:輸出電路 312,313,315,316:nMOS電晶體 314:pMOS電晶體 400,400A,410:AR器件 401,501:框架 401A:眼鏡型框架 402L,402R,502L,502R:顯示器 403,403L,403R,503L,503R:光源 500,510:VR器件 600:器件 601:主處理器 602:主記憶體 603:圖形處理器 604:顯示器 605:揚聲器 606:通訊單元 607:慣性感測器 608:操作器件 609:照明器件 610:外部記憶體 611:影像感測器 612:EVS 613:信號輸入部 614:信號處理部 615:指示產生部 901:被攝體 1010:光源 1011:光源驅動部 1012:VCSEL 1021:感測器控制部 1022:受光部 1030:照射透鏡 1040:攝像透鏡 1050:系統控制部 1100:應用處理器 2151:OR電路 2152:AND電路 12000:車輛控制系統 12001:通訊網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031,12101,12102,12103,12104,12105:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:整合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:音訊揚聲器 12062:顯示部 12063:儀表板 12100:車輛 12111,12112,12113,12114:攝像範圍 FD:浮動擴散區域 I photo:光電流 LD1,LD2:像素驅動線 nRxOff,nRxOn:輸出線 NM 1:斷開事件輸出電晶體 NM 2:導通事件輸出電晶體 NM 3:電流源電晶體 PD,PD1,PD2,PD-0~PD-3:光電轉換部 SN:感測節點 SW off,SW on:選擇開關 SW RS:重置開關 V b:臨限值電壓 VDD:電源電壓 V diff:電壓 V pr:電壓 VSL1,VSL2:垂直信號線
圖1係顯示搭載本揭示之一實施形態之固體攝像裝置之資訊處理裝置之概略構成例之示意圖。 圖2係顯示本揭示之一實施形態之資訊處理裝置之系統構成例之方塊圖。 圖3係顯示本揭示之一實施形態之固體攝像裝置之概略構成例，且係顯示像素分離構成之例之方塊圖。 圖4係顯示本揭示之一實施形態之固體攝像裝置之另一概略構成例，且係顯示像素共有構成之例之方塊圖。 圖5係顯示本揭示之一實施形態之固體攝像裝置之積層構造例之圖。 圖6係顯示本揭示之一實施形態之像素分離構成之亮度像素之概略構成例之電路圖。 圖7係顯示本揭示之一實施形態之像素分離構成之事件像素之概略構成例之電路圖。 圖8係顯示本揭示之一實施形態之位址事件檢測電路之概略構成例之電路圖。 圖9係顯示本揭示之一實施形態之受光電路之基本構成例之電路圖。 圖10係顯示本揭示之一實施形態之變化例之受光電路之基本構成例之電路圖。 圖11係顯示本揭示之一實施形態之像素共有構成之亮度像素及事件像素之概略構成例之電路圖。 圖12係顯示本揭示之一實施形態之變化例之像素共有之亮度像素及事件像素之概略構成例之電路圖。 圖13係顯示本揭示之一實施形態之像素分離構成之像素排列之例之示意圖。 圖14係顯示本揭示之一實施形態之像素共有構成之像素排列之例之示意圖。 圖15係顯示本揭示之一實施形態之AR器件之一例之示意圖。 圖16係顯示本揭示之一實施形態之變化例之AR器件之示意圖。 圖17係顯示本揭示之一實施形態之VR器件之一例之示意圖。 圖18係顯示本揭示之一實施形態之器件之系統構成例之方塊圖。 圖19係顯示本揭示之一實施形態之眼動追蹤構成之一例之方塊圖。 圖20係顯示本揭示之一實施形態之眼動追蹤動作之整體流程之流程圖。 圖21係顯示本揭示之一實施形態之初始化之一例之流程圖。 圖22係顯示本揭示之一實施形態之初始化之變化例之流程圖。 圖23係顯示本揭示之一實施形態之追蹤之一例之流程圖。 圖24係顯示本揭示之一實施形態之AR器件之一例之示意圖。 圖25係顯示本揭示之一實施形態之VR器件之一例之示意圖。 圖26係顯示本揭示之一實施形態之SLAM動作之整體流程之流程圖。 圖27係顯示本揭示之一實施形態之初始化之一例之流程圖。 圖28係顯示本揭示之一實施形態之地圖建構之一例之流程圖。 圖29係顯示本揭示之一實施形態之追蹤之一例之流程圖。 圖30係顯示本揭示之一實施形態之追蹤之變化例之流程圖。 圖31係顯示本揭示之一實施形態之關鍵訊框追加之一例之流程圖。 圖32顯示本揭示之一實施形態之關鍵訊框資訊及關鍵訊框列表之一例。 圖33係顯示本揭示之一實施形態之關鍵訊框追加之變化例之流程圖。 圖34係顯示本揭示之一實施形態之重新定位之一例之流程圖。 圖35係顯示本揭示之一實施形態之亮度圖像追蹤之一例之流程圖。 圖36係顯示本揭示之一實施形態之特徵點追蹤之一例之流程圖。 圖37係顯示車輛控制系統之概略性構成之一例之方塊圖。 圖38係顯示車外資訊檢測部及攝像部之設置位置之一例之說明圖。
100:固體攝像裝置
601:主處理器
607:慣性感測器
611:影像感測器
612:EVS
613:信號輸入部
614:信號處理部
615:指示產生部

Claims (15)

  1. 一種資訊處理裝置，其具備： 混合型感測器，其具備：複數個光電轉換部，其等將入射光進行光電轉換；及信號處理部，其基於前述複數個光電轉換部之輸出，取得基於前述入射光之光強度之亮度信號或基於亮度變化之事件信號； 處理器，其基於由前述信號處理部取得之亮度信號或事件信號進行特定之處理；及 指示產生部，其對前述信號處理部請求讀出亮度信號；且 前述指示產生部於前述處理器在基於前述事件信號之前述特定之處理中失敗時，對前述信號處理部請求讀出亮度信號； 前述處理器基於相應於前述請求而自前述信號處理部輸入之亮度信號，執行前述特定之處理。
  2. 如請求項1之資訊處理裝置，其中前述指示產生部於該資訊處理裝置之初始化時，對前述信號處理部請求讀出亮度信號。
  3. 如請求項1之資訊處理裝置，其中前述處理器基於根據複數個前述事件信號而產生之訊框資料，執行前述特定之處理。
  4. 如請求項3之資訊處理裝置，其中前述處理器於執行使基於前述亮度信號而產生之圖像資料之尺寸與前述訊框資料之尺寸一致之尺寸調整後，對前述尺寸調整後之圖像資料執行前述特定之處理。
  5. 如請求項1之資訊處理裝置，其中前述特定之處理係眼動追蹤或SLAM(Simultaneous Localization and Mapping，即時定位與地圖建構)。
  6. 如請求項5之資訊處理裝置，其中前述特定之處理係前述眼動追蹤之瞳孔及/或浦肯頁像之檢測處理。
  7. 如請求項5之資訊處理裝置，其中前述特定之處理係前述SLAM之自身位置及姿勢之算出處理。
  8. 如請求項1之資訊處理裝置，其中前述信號處理部具備： 第1信號處理部，其連接於前述複數個光電轉換部中之複數個第1光電轉換部，且取得前述亮度信號；及 第2信號處理部，其連接於前述複數個光電轉換部中之1個以上之第2光電轉換部，且取得前述事件信號。
  9. 如請求項8之資訊處理裝置，其中前述複數個第1光電轉換部與前述1個以上之第2光電轉換部係不同之光電轉換部。
  10. 如請求項8之資訊處理裝置，其中前述1個以上之第2光電轉換部係前述複數個第1光電轉換部之一部分之光電轉換部。
  11. 如請求項8之資訊處理裝置，其中前述第1光電轉換部及前述第1信號處理部所構成之第1感測器之光軸、與前述第2光電轉換部與前述第2信號處理部所構成之第2感測器之光軸一致。
  12. 如請求項8之資訊處理裝置，其中複數個前述第1光電轉換部與複數個前述第2光電轉換部以特定之順序排列於同一晶片之受光面。
  13. 如請求項1之資訊處理裝置，其中前述資訊處理裝置係頭戴式顯示器。
  14. 如請求項13之資訊處理裝置，其中前述頭戴式顯示器具備：對使用者提供擴增實境之AR(Augmented Reality，擴增實境)功能、或提供假想空間之VR(Virtual Reality，虛擬實境)功能。
  15. 一種資訊處理方法，其係於具備混合型感測器之資訊處理裝置中執行者，且該混合型感測器具備：複數個光電轉換部，其等將入射光進行光電轉換；及信號處理部，其基於前述複數個光電轉換部之輸出，取得基於前述入射光之光強度之亮度信號或基於亮度變化之事件信號；且前述資訊處理方法包含： 第1步序，其基於由前述信號處理部取得之亮度圖像或事件信號，執行特定之處理；及 第2步序，其對前述信號處理部請求讀出亮度圖像； 前述第2步序於在前述第1步序中基於前述事件信號之前述特定之處理失敗時，對前述信號處理部請求讀出亮度圖像； 前述第1步序基於相應於前述請求而自前述信號處理部輸入之亮度圖像，執行前述特定之處理。
TW111112748A 2021-04-09 2022-04-01 資訊處理裝置及資訊處理方法 TW202245463A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-066798 2021-04-09
JP2021066798 2021-04-09

Publications (1)

Publication Number Publication Date
TW202245463A true TW202245463A (zh) 2022-11-16

Family

ID=83545819

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111112748A TW202245463A (zh) 2021-04-09 2022-04-01 資訊處理裝置及資訊處理方法

Country Status (7)

Country Link
US (1) US20240193908A1 (zh)
EP (1) EP4322516A1 (zh)
JP (1) JPWO2022215371A1 (zh)
KR (1) KR20230170651A (zh)
CN (1) CN117136550A (zh)
TW (1) TW202245463A (zh)
WO (1) WO2022215371A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024116745A1 (ja) * 2022-12-01 2024-06-06 ソニーグループ株式会社 画像生成装置、画像生成方法および画像生成プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
JP2021044599A (ja) * 2018-01-05 2021-03-18 株式会社ニコン 検出装置およびセンサ
US10812711B2 (en) 2018-05-18 2020-10-20 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor
US10795435B2 (en) 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
KR102239571B1 (ko) 2018-08-29 2021-04-12 김영호 코팅필름 건조장치
JP2020088724A (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2021034933A (ja) * 2019-08-27 2021-03-01 キヤノン株式会社 撮像素子、撮像装置、制御方法、およびプログラム

Also Published As

Publication number Publication date
EP4322516A1 (en) 2024-02-14
WO2022215371A1 (ja) 2022-10-13
CN117136550A (zh) 2023-11-28
KR20230170651A (ko) 2023-12-19
JPWO2022215371A1 (zh) 2022-10-13
US20240193908A1 (en) 2024-06-13

Similar Documents

Publication Publication Date Title
TWI820078B (zh) 固體攝像元件
US11509840B2 (en) Solid-state imaging device, signal processing chip, and electronic apparatus
CN110603458A (zh) 光学传感器和电子设备
WO2019031001A1 (ja) 固体撮像装置、電子装置および固体撮像装置の制御方法
JP7489189B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20220021829A1 (en) Sensor and control method
TWI788818B (zh) 攝像裝置及攝像方法
JP2020068484A (ja) 固体撮像装置及び撮像装置
TW202245463A (zh) 資訊處理裝置及資訊處理方法
TW202231056A (zh) 攝像裝置
US11851007B2 (en) Vehicle-mounted camera and drive control system using vehicle-mounted camera
KR20240024796A (ko) 촬상 장치, 전자 기기 및 광 검출 방법
JP2022013403A (ja) 光検出装置、および電子機器
WO2022254792A1 (ja) 受光素子およびその駆動方法、並びに、測距システム
US20240064433A1 (en) Imaging element and imaging device
US20230179892A1 (en) Solid-state imaging device, method of controlling solid-state imaging device, and mobile body
JP2020017552A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20240236519A1 (en) Imaging device, electronic device, and light detecting method
WO2024004519A1 (ja) 情報処理装置及び情報処理方法
WO2023132129A1 (ja) 光検出装置
TWI846754B (zh) 固體攝像裝置、信號處理晶片、及電子機器
WO2021100593A1 (ja) 測距装置及び測距方法
WO2023032416A1 (ja) 撮像装置
US20210399032A1 (en) Light reception element and electronic apparatus
TW202220434A (zh) 固態攝像裝置及電子機器