TWI757751B - 測距感測器、信號處理方法及測距模組 - Google Patents

測距感測器、信號處理方法及測距模組 Download PDF

Info

Publication number
TWI757751B
TWI757751B TW109117617A TW109117617A TWI757751B TW I757751 B TWI757751 B TW I757751B TW 109117617 A TW109117617 A TW 109117617A TW 109117617 A TW109117617 A TW 109117617A TW I757751 B TWI757751 B TW I757751B
Authority
TW
Taiwan
Prior art keywords
detection
detection process
light
information
distance
Prior art date
Application number
TW109117617A
Other languages
English (en)
Other versions
TW202104928A (zh
Inventor
渡邉正浩
增野智経
佐佐木武志
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202104928A publication Critical patent/TW202104928A/zh
Application granted granted Critical
Publication of TWI757751B publication Critical patent/TWI757751B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60—Receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

本技術係關於一種可於測距感測器中執行基於測距資料之檢測處理的測距感測器、信號處理方法及測距模組。 測距感測器具備：受光部，其接受自特定發光源照射之光被物體反射回之反射光；深度算出部，其根據由受光部獲得之信號，算出至物體之距離資訊與亮度資訊；及檢測處理部，其對應於選自複數個動作模式中之當前動作模式，使用距離資訊或亮度資訊之至少一者執行特定之檢測處理，將檢測處理之結果與距離資訊及亮度資訊一起輸出至外部。本技術可應用於例如測定至被攝體之距離之測距模組等。

Description

測距感測器、信號處理方法及測距模組
本技術係關於一種測距感測器、信號處理方法、及測距模組，尤其關於一種可於測距感測器中執行基於測距資料之檢測處理的測距感測器、信號處理方法、及測距模組。
近年來，藉由半導體技術之進步，測定至物體之距離之測距模組之小型化正逐漸發展。藉此，實現於例如具備通信功能之小型資訊處理裝置，即所謂之智慧型手機等移動終端搭載測距模組。
作為測距模組中之測距方法，有例如間接飛時測距(Indirect ToF(Time of Flight))方式或結構光(Structured Light)方式等。於間接ToF方式中，朝物體照射光並檢測被物體表面反射回之光，且基於測定該光之飛行時間之測定值，算出至物體之距離。於結構光方式中，朝物體照射圖案光，基於拍攝到物體表面之圖案失真的圖像，算出至物體之距離。
於間接ToF方式之測距感測器中，提案有藉由設為背面照射型，而提高受光特性者(例如，參照專利文獻1)。
智慧型手機中，例如，有對解除畫面鎖定等利用認證使用者之臉部之臉部認證處理者。進行臉部認證處理之前處理時，進行智慧型手機前是否存在使用者等檢測使用者的檢測處理。該檢測處理基於來自測距感測器之輸出，以智慧型手機之應用處理器執行。 [先前技術文獻] [專利文獻]
[專利文獻1]國際公開第2018/135320號
[發明所欲解決之問題]
然而，為減少智慧型手機之電力消耗，要求以測距感測器進行檢測處理之一部分。
本技術係鑑於此種狀況而完成者，目的在於，於測距感測器中可執行基於測距資料之檢測處理。 [解決問題之技術手段]
本技術之第1態樣之測距感測器係一種測距感測器，其具備：受光部，其接受自特定發光源照射之光被物體反射回之反射光；深度算出部，其根據由上述受光部獲得之信號，算出至上述物體之距離資訊與亮度資訊；及檢測處理部，其對應於選自複數個動作模式中之當前動作模式，使用上述距離資訊或亮度資訊之至少一者執行特定之檢測處理，將檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部。
本技術之第2態樣之信號處理方法係由測距感測器根據接受自特定發光源照射之光被物體反射回之反射光所獲得之信號，算出至上述物體之距離資訊與亮度資訊，且對應於選自複數個動作模式中之當前動作模式，使用上述距離資訊或亮度資訊之至少一者執行特定之檢測處理，將檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部。
本技術之第3態樣之測距模組具備：發光部，其具有特定發光源；及測距感測器；且上述測距感測器具備：受光部，其接受自上述特定發光源照射之光被物體反射回之反射光；深度算出部，其根據由上述受光部獲得之信號，算出至上述物體之距離資訊與亮度資訊；及檢測處理部，其對應於選自複數個動作模式中之當前動作模式，使用上述距離資訊或亮度資訊之至少一者執行特定檢測處理，將檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部。
於本技術之第1至第3態樣中，根據接受自特定發光源照射之光被物體反射回之反射光所獲得之信號，算出至上述物體之距離資訊與亮度資訊，對應於選自複數個動作模式中之當前動作模式，使用上述距離資訊或亮度資訊之至少一者執行特定之檢測處理，將檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部。
測距感測器及測距模組可為獨立之裝置，亦可為組入至其他裝置之模組。
以下，對用以實施本技術之形態(以下，亦稱為實施形態)進行說明。另，說明按照以下順序進行。 1.智慧型手機之構成例 2.測距模組之概略構成例 3.間接ToF方式之測距感測器之測距動作 4.與動作模式相應之檢測處理 5.測距感測器之效果 6.對移動體之應用例
＜1.智慧型手機之構成例＞ 圖1係顯示作為適用本技術之電子機器之智慧型手機之概略構成例的方塊圖。
智慧型手機1如圖1所示，將測距模組11、攝像裝置12、顯示器13、通信模組14、感測器單元15、揚聲器16、麥克風17、操作按鈕18、感測器中樞19、AP(application processor：應用處理器)20、及電源部21經由匯流排22連接而構成。
測距模組11配置於智慧型手機1之前表面，進行以智慧型手機1之使用者為對象之測距，藉此測定(測距)至該使用者之臉部或手掌、手指等對象物之距離資訊並輸出。
攝像裝置12配置於智慧型手機1之前表面，進行以智慧型手機1之使用者為被攝體之攝像，藉此取得映有該使用者之圖像。另，雖省略圖示，但於智慧型手機1之背面亦配置有攝像裝置。
顯示器13顯示藉由應用程式或操作系統等之處理而產生之操作圖像、攝像裝置12拍攝之圖像等。於顯示器13之上表面疊加有觸控感測器13T，觸控感測器13T檢測使用者觸控之顯示器13上之位置，並輸出至感測器中樞19。
通信模組14進行通過行動電話網路或公共無線通信網路之通信(通話)、或經由無線LAN(local area network：區域網路)或Bluetooth(藍牙)(註冊商標)等之近距離無線通信等特定網路的通信。
感測器單元15以例如加速度感測器、陀螺儀感測器、氣壓感測器、地磁感測器等特定之1個以上之感測器構成，且將各感測器之檢測結果輸出至感測器中樞19。
揚聲器16例如於藉由智慧型手機1進行通話時，輸出對方側之聲音。麥克風17例如於藉由智慧型手機1進行通話時，進行使用者之聲音之拾音。
操作按鈕18以電源按鈕、音量按鈕等1個以上之按鈕構成，且檢測使用者之壓下操作並輸出至感測器中樞19。
感測器中樞19始終監視觸控感測器13T、感測器單元15之各感測器、操作按鈕18等之感測器器件，並檢測對智慧型手機1之操作或智慧型手機1之特定狀態。感測器中樞19係為了實現始終監視感測器器件，而以即便始終接通動作電力消耗亦較低之方式與AP20分開設置的運算裝置(CPU(central processing unit：中央處理單元))。
AP20為執行未圖示之記憶部所記憶之應用程式或操作系統的運算裝置，且以微處理器、GPU(Graphics Processing Unit：圖形處理單元)等構成。
電源部21由例如電池與電源控制電路等構成，對智慧型手機1之各部(電路)供給電力、或檢測剩餘電壓，並累積(充電)所需之電力。
如上構成之智慧型手機1中，有可執行認證使用者臉部之臉部認證處理者。臉部認證處理用於例如解除畫面鎖定時之使用者認證。於執行臉部認證處理之情形時，首先，進行智慧型手機1前之適當距離內是否存在使用者等之檢測使用者的檢測處理。雖該檢測處理可由執行臉部認證處理之AP20執行，但將其組入至智慧型手機1之測距模組11使之能執行檢測處理。
於以下，對搭載於智慧型手機1之測距模組11之檢測功能詳細地進行說明。
＜2.測距模組之概略構成例＞ 圖2係顯示測距模組11之詳細構成例之方塊圖。另，圖2中，亦顯示與測距模組11之檢測處理關聯之智慧型手機1之其他區塊。
測距模組11為進行間接ToF方式之測距的測距模組，且具有發光部41、發光控制部42、及測距感測器43。
測距模組11對物體照射光，且接收該光(照射光)被物體反射回之光(反射光)，藉此，產生作為至物體之距離資訊之深度圖(距離圖像)、及作為亮度資訊之可靠度圖(可靠度圖像)並輸出。
測距感測器43具有受光部51與信號處理部52。測距感測器43可作為包含積層有第1半導體基板與第2半導體基板之積層基板之1片晶片之半導體封裝(CSP：Chip Scale Package，晶片級封裝)而製造，且於具有被輸入反射光之入射面之第1半導體基板配置有像素陣列部，於第2半導體基板配置有成為信號處理部52之邏輯電路或記憶體電路等。另，當然亦可將測距感測器43分割為2片以上之晶片而構成，又可以包含3片以上之半導體基板之積層基板的1片晶片之半導體封裝(CSP)構成。
發光部41具有例如紅外線雷射二極體等作為光源，且根據發光控制部42之控制，於與自發光控制部42供給之發光控制信號相應之時序調變且發光，而對物體照射照射光。
發光控制部42藉由將控制使光源發光時之頻率(例如20 MHz等)與發光量之發光控制信號供給至發光部41，而控制發光部41之發光。又，為配合發光部41中之發光時序驅動受光部51，發光控制部42亦將發光控制信號供給至受光部51。
受光部51接受照射光被物體反射回之反射光。且，受光部51具有按列方向及行方向之矩陣狀2維配置產生與接受到之光量相應之電荷且輸出與該電荷相應之信號之像素的像素陣列部，並對信號處理部52輸出按各像素將與接受到之光量相應之電荷分配至第1抽頭與第2抽頭所得之受光信號A及受光信號B。受光部51之接受動作之詳情參照圖3至圖7予以後述。
信號處理部52具備控制部61、深度算出部62、及檢測處理部63。
感測器中樞19於感測單元15、操作按鈕18、觸控感測器13T等，檢測出成為檢測處理開始之觸發之特定操作時，將開始距離測定之開始指令，供給至測距感測器43之控制部61。對於成為檢測處理開始之觸發之操作，可列舉例如自感測器單元15之一之慣性感測器(陀螺儀感測器、加速度感測器)供給之移動智慧型手機1之操作、或操作按鈕18之一之電源按鈕被壓下之操作、由觸控感測器13T檢測出之啟動特定應用程式之操作等。
控制部61自感測器中樞19被供給距離測定之開始指令時，對發光控制部42指示發光開始。控制部61可以基於自受光部51供給之受光信號，適當調整曝光量(曝光控制)之方式，指定特定頻率與發光量。另，於未自受光部51供給受光信號之初期狀態下，設定預先決定之頻率與發光量作為初始值。
再者，控制部61自預先登錄之複數個動作模式中選擇特定動作模式，並使檢測處理部63執行與選擇之動作模式對應之特定檢測處理。動作模式例如自感測器中樞19以指令等指定、或以與感測器中樞19連接之輸入輸出端子之高(High)或低(Low)之電壓信號等指定。因此，控制部61檢測自感測器中樞19指定之動作模式，並選擇檢測出之動作模式。
深度算出部62根據自受光部51供給之各像素之2個受光信號A及B，產生深度圖及可靠度圖。更具體而言，深度算出部62按受光部51之各像素，算出測距模組11至物體之距離即深度值。且，深度算出部62產生儲存有深度值作為各像素之像素值的深度圖。又，深度算出部62亦算出按受光部51之各像素算出之深度值之可靠度，並產生儲存有可靠度作為各像素之像素值的可靠度圖。
檢測處理部63對應於由控制部61指定之動作模式，使用作為距離資訊之深度圖或作為亮度資訊之可靠度圖之至少一者，執行特定之檢測處理。且，檢測處理部63將檢測處理之結果與深度圖及可靠度圖一起輸出至感測器中樞19。
檢測處理部63依照控制部61之控制，根據動作模式變更檢測處理之種類(處理內容)、順序(序列)、個數等。換言之，控制部61根據動作模式，使檢測處理部63執行種類(處理內容)、順序(序列)、個數等不同之特定檢測處理。檢測處理之詳情予以後述。
輸出至感測器中樞19之檢測處理之結果、與深度圖及可靠度圖被供給至AP20。AP20基於深度圖及可靠度圖，執行臉部認證處理。
＜3.間接 ToF方式之測距感測器之測距動作＞ 於說明測距感測器43之檢測功能前，參照圖3至圖7說明成為其之前提之測距感測器43之測距動作。
圖3顯示受光部51之詳細構成例。
受光部51具有：像素陣列部72，其按列方向及行方向之矩陣狀2維配置產生與接受到之光量相應之電荷，且輸出與該電荷相應之信號的像素71；及驅動控制電路73，其配置於像素陣列部72之周邊區域。
驅動控制電路73基於例如自發光控制部42供給之發光控制信號等，輸出用以控制像素71之驅動的控制信號(例如，後述之分配信號DIMIX或選擇信號ADDRESS DECODE、重設信號RST等)。
像素71具有光電二極體81、與檢測經光電二極體81光電轉換之電荷的第1抽頭82A及第2抽頭82B。於像素71中，1個光電二極體81所產生之電荷被分配至第1抽頭82A或第2抽頭82B。且，光電二極體81所產生之電荷中，分配至第1抽頭82A之電荷自信號線83A作為受光信號A輸出，分配至第2抽頭82B之電荷自信號線83B作為受光信號B輸出。
第1抽頭82A由傳送電晶體91A、FD(Floating Diffusion：浮動擴散)部92A、選擇電晶體93A、及重設電晶體94A構成。同樣，第2抽頭82B由傳送電晶體91B、FD部92B、選擇電晶體93B、及重設電晶體94B構成。
對像素71之動作進行說明。
如圖4所示，自發光部41輸出以照射時間T重複接通/斷開照射之方式調變(1週期=2T)之照射光，且延遲與至物體之距離相應之延遲時間ΔT，於光電二極體81中接受到反射光。又，分配信號DIMIX_A控制傳送電晶體91A之接通/斷開，分配信號DIMIX_B控制傳送電晶體91B之接通/斷開。分配信號DIMIX_A為與照射光同一相位之信號，分配信號DIMIX_B為將分配信號DIMIX_A反轉之相位。
因此，於圖3中，藉由光電二極體81接受到反射光而產生之電荷於根據分配信號DIMIX_A傳送電晶體91A為接通之期間被傳送至FD部92A，於根據分配信號DIMIX_B傳送電晶體91B為接通之期間被傳送至FD部92B。藉此，於週期性進行照射時間T之照射光之照射之特定期間內，經由傳送電晶體91A傳送之電荷依序蓄積於FD部92A，經由傳送電晶體91B傳送之電荷依序蓄積於FD部92B。
接著，蓄積電荷之期間結束後，若根據選擇信號ADDRESS DECODE_A選擇電晶體93A接通，則蓄積於FD部92A之電荷經由信號線83A被讀出，而自受光部51輸出與該電荷量相應之受光信號A。同樣，若根據選擇信號ADDRESS DECODE_B選擇電晶體93B接通，則蓄積於FD部92B之電荷經由信號線83B被讀出，而自受光部51輸出與該電荷量相應之受光信號B。又，若根據重設信號RST_A，重設電晶體94A接通，則蓄積於FD部92A之電荷被排出，若根據重設信號RST_B，重設電晶體94B接通，則蓄積於FD部92B之電荷被排出。
如此，像素71將藉由光電二極體81接受到之反射光而產生之電荷根據延遲時間ΔT分配至第1抽頭82A或第2抽頭82B，而輸出受光信號A及受光信號B。且，延遲時間ΔT相當於與發光部41發出之光飛行至物體、被物體反射後飛行至受光部51之時間，即，相當於至物體之距離。因此，測距模組11可基於受光信號A及受光信號B，根據延遲時間ΔT求出至物體之距離(深度值)。
惟在像素陣列部72中，存在因各個像素71所具有之光電二極體81或傳送電晶體91等像素電晶體之各元件之特性偏差(感度差異)，而有對受光信號A及受光信號B賦予因各個像素71而異之影響的情形。因此，間接ToF方式之測距模組11中，採用藉由取得同一像素71中改變相位而接受反射光之受光信號A及受光信號B，去除各像素之抽頭間之感度差異以提高SN比的方法。
作為改變相位而接受反射光、算出深度值之方式，針對例如2相位之檢測方式(2相位方式)與4相位之檢測方式(4相位方式)進行說明。
受光部51如圖5所示，以照射光之照射時序為基準，於相位偏移0°、90°、180°、及270°之受光時序接受反射光。更具體而言，受光部51以於某訊框期間，相對於照射光之照射時序將相位設為0°而受光，於下一訊框期間，將相位設為90°而受光，於下一訊框期間，將相位設為180°而受光，於下一訊框期間，將相位設為270°而受光之方式，分時改變相位而接受反射光。
圖6係為易於理解相位差而排列顯示0°、90°、180°、及270°之各相位下之像素71之第1抽頭82A的曝光期間之圖。
如圖6所示，第1抽頭82A中，將以與照射光同一相位(相位0°)受光而獲得之受光信號A稱為受光信號A0 ，將以與照射光偏移90度之相位(相位90°)受光而獲得之受光信號A稱為受光信號A90 ，將以與照射光偏移180度之相位(相位180°)受光而獲得之受光信號A稱為受光信號A180 ，將以與照射光偏移270度之相位(相位270°)受光而獲得之受光信號A稱為受光信號A270 。
又，雖省略圖示，但第2分接頭82B中，將以與照射光同一相位(相位0°)受光而獲得之受光信號B稱為受光信號B0 ，將以與照射光偏移90度之相位(相位90°)受光而獲得之受光信號B稱為受光信號B90 ，將以與照射光偏移180度之相位(相位180°)受光而獲得之受光信號A稱為受光信號B180 ，將以與照射光偏移270度之相位(相位270°)受光而獲得之受光信號B稱為受光信號B270 。
圖7係說明2相位方式與4相位方式之深度值與可靠度之算出方法之圖。
於間接ToF方式中，深度值d可以下式(1)求出。 [數1]
Figure 02_image001
式(1)之c為光速，ΔT為延遲時間，f表示光之調變頻率。又，式(1)之ϕ表示反射光之相位偏移量[rad]，且以下式(2)表示。 [數2]
Figure 02_image003
於4相位方式中，式(2)之I、Q使用將相位設定為0°、90°、180°、270°而獲得之受光信號A0 至A270 及受光信號B0 至B270 ，以下式(3)計算。I、Q為將照射光之亮度變化假定為cos波，且將cos波之相位自極座標轉換為正交座標系(IQ平面)的信號。
Figure 02_image005
於4相位方式中，例如，以式(3)之“A0 -A180 ”或“A90 -A270 ”之方式，取得同一像素之逆相位之受光信號之差量，藉此，可去除各像素中存在之抽頭間之特性不均，即固定圖案雜訊。
另一方面，於2相位方式中，可僅使用將相位設定為0°、90°、180°、270°獲得之受光信號A0 至A270 及受光信號B0 至B270 中之處於正交關係之2個相位，求出至物體之深度值d。例如，使用相位0°之受光信號A0 及B0 、與相位90°之受光信號A90 及B90 之情形時，式(2)之I、Q成為下式(4)。
Figure 02_image007
例如，於使用相位180°之受光信號A180 及B180 、與相位270°之受光信號A270 及B270 之情形時，式(2)之I、Q成為下式(5)。
Figure 02_image009
於2相位方式中，雖無法去除各像素中存在之抽頭間之特性不均，但因可僅以2個相位之受光信號求出至物體之深度值d，故可以2倍於4相位方式之訊框率進行測距。抽頭間之特性不均可以增益或偏移等之修正參數來調整。
於2相位方式與4相位方式中，可靠度cnf可以下式(6)求出。 [數3]
Figure 02_image011
於本實施形態中，測距模組11使用與以4相位方式算出之延遲時間ΔT對應之I信號及Q信號、及與以2相位方式算出之延遲時間ΔT對應之I信號及Q信號之何者來使用深度值d及可靠度cnf可為任意。可固定地使用4相位方式或2相位方式之任一者，亦可為例如根據物體之移動等適當進行選擇或混合的方法。於以下，為求簡單而採用4相位方式。
＜4.與動作模式相應之檢測處理＞ 檢測處理部63對應於自複數個動作模式中選擇之當前動作模式，使用自深度算出部62供給之深度圖或可靠度圖之至少一者執行特定檢測處理，並將檢測處理之結果與深度圖及可靠度圖一起輸出至感測器中樞19。
圖8係顯示以複數個動作模式中之特定動作模式執行之具體檢測處理。另，圖8所示之動作模式A至D之4個動作模式為信號處理部52具有之動作模式之一例，亦具有其他之動作模式。
檢測處理部63可執行例如靠近檢測處理、頭部檢測處理、臉部檢測處理、及瞳孔檢測處理之各者作為使用深度圖或可靠度之至少一者的檢測處理。靠近檢測處理係檢測距離智慧型手機1特定之距離內是否存在物體(靠近物)之處理。另，作為臉部認證處理之前處理，靠近檢測處理之本來目標為使用者之臉部(頭)，但於靠近處理中，並未限定於人之臉部，只要於靠近智慧型手機1之位置，存在特定之物體(接近物)，即判定為存在靠近物。頭部檢測處理係檢測使用者(人)之頭部之處理。臉部檢測處理係檢測使用者之臉部之處理。瞳孔檢測處理為檢測使用者之眼睛與視線的處理。
動作模式A之檢測處理係依序執行靠近檢測處理、頭部檢測處理、臉部檢測處理、及瞳孔檢測處理，並於先執行之第1檢測處理中檢測出檢測對象之情形時，依序重複執行下一個之第2檢測處理之處理的處理。且，於最後之瞳孔檢測處理中，檢測出檢測對象即瞳孔之情形時，將瞳孔之檢測結果與深度圖及可靠度圖一起輸出至感測器中樞19。
動作模式B之檢測處理係與動作模式A同樣，依序執行靠近檢測處理、頭部檢測處理、臉部檢測處理、及瞳孔檢測處理，並於先執行之第1檢測處理中檢測出檢測對象之情形時，依序重複執行下一個之第2檢測處理之處理的處理。動作模式B之檢測處理與動作模式A之檢測處理不同之點在於，於各檢測處理中檢測出檢測對象之情形時，將該檢測結果輸出至感測器中樞19。且，於最後之瞳孔檢測處理中，檢測出檢測對象即瞳孔之情形時，將瞳孔之檢測結果與深度圖及可靠度圖輸出至感測器中樞19。
動作模式C之檢測處理係僅執行動作模式B中執行之4個檢測處理中之靠近檢測處理與頭部檢測處理的處理。於靠近處理中，在靠近位置檢測出使用者之情形時，將該檢測結果輸出至感測器中樞19，於下一個之頭部檢測處理中，檢測出頭部之情形時，將該檢測結果與深度圖及可靠度圖輸出至感測器中樞19。
另，動作模式C之檢測處理為執行靠近檢測處理、頭部檢測處理、臉部檢測處理、及瞳孔檢測處理之4個檢測處理中之靠近檢測處理與頭部檢測處理之2者的處理，但檢測處理部63亦具有執行將4個檢測處理之1者以上以任意順序組合之檢測處理的其他動作模式。例如，檢測處理部63亦具有僅執行靠近處理，並將該檢測結果與深度圖及可靠度圖輸出至感測器中樞19之動作模式、或依序執行靠近處理與臉部檢測處理並於靠近位置檢測出使用者之情形時，將該檢測結果輸出至感測器中樞19，接著執行臉部檢測處理，並於檢測出臉部時，將該檢測結果與深度圖及可靠度圖輸出至感測器中樞19的動作模式等。
動作模式D之檢測處理係與動作模式A同樣依序執行靠近檢測處理、頭部檢測處理、臉部檢測處理、及瞳孔檢查處理的處理。動作模式D之檢測處理與動作模式A之檢測處理之不同點在於，將先執行之第1檢測處理之檢測結果輸出至感測器中樞19，且基於第1檢測處理之檢測結果，自感測器中樞19指示下一個之第2檢測處理時，方執行第2檢測處理。且，於最後之瞳孔檢測處理檢測出瞳孔之情形時，將瞳孔之檢測結果與深度圖及可靠度圖輸出至感測器中樞19。
動作模式之檢測處理至少包含靠近檢測處理、頭部檢測處理、臉部檢測處理或瞳孔檢測處理之任一者，於任意動作模式之檢測處理中，與動作模式相應之一系列之檢測處理之最後檢測處理成功(檢測出檢測對象)之情形時，皆將該檢測結果與深度圖及可靠度圖輸出至感測器中樞19。
圖9係說明靠近檢測處理之具體處理例之圖。
另，於本實施形態中，受光部51之像素陣列部72假定為具有包含水平方向640像素、垂直方向480像素之像素排列。又，執行檢測處理時使用之深度圖及可靠度圖係基於受光信號而產生者，該受光信號係基於控制頻率與發光量之發光控制信號適當調整受光部51中曝光量(曝光控制)者。
於靠近檢測處理中，檢測處理部63將640×480之所有像素沿水平方向及垂直方向分別按各20像素進行分割並將其設為1個區塊，從而分割成32×24個區塊。接著，檢測處理部63自32×24個之所有區塊中，將特定之1個區塊定為檢測對象區塊。檢測對象區塊為例如位於像素陣列部72之中心部之區塊。
接著，檢測處理部63算出構成檢測對象區塊之20×20像素之深度值d之平均值d_ave與可靠度cnf之平均值cnf_ave。接著，檢測處理部63於深度值之平均值d_ave在判斷為靠近距離之特定範圍內且可靠度cnf之平均值cnf_ave在判斷為正常檢測之特定範圍內之情形時，檢測出於靠近智慧型手機1之位置存在使用者。例如，若將人手持智慧型手機1拍攝自身時之最大距離設為70 cm左右，則於深度值之平均值d_ave為70 cm以內之情形時，可判斷為靠近距離。
圖10係說明頭部檢測處理之具體處理例之圖。
於頭部檢測處理中，檢測處理部63算出32×24之所有區塊之可靠度cnf之平均值cnf_ave，且基於算出之所有區塊之可靠度cnf之平均值cnf_ave，檢測使用者之頭部。因可靠度cnf相當於亮度資訊(亮度值)，故例如可將32×24之區塊之可靠度cnf之平均值cnf_ave視作低解析度之2維圖像，且以圖案匹配之要領檢測使用者之頭部。
圖11係說明臉部檢測處理之具體處理例之圖。
於臉部檢測處理中，檢測處理部63將640×480之所有像素沿水平方向及垂直方向分別按各2像素進行分割並將其設為1個區塊，從而分割成320×240個區塊。接著，檢測處理部63算出320×240之所有區塊之可靠度cnf之平均值cnf_ave，且基於算出之所有區塊之可靠度cnf之平均值cnf_ave，檢測使用者之臉部。使用者之臉部例如與頭部檢測處理同樣，將320×240之所有區塊之可靠度cnf之平均值cnf_ave視作低解析度之2維圖像，並以圖案匹配之要領，檢測出使用者之臉部、眼睛、及口之情形時，可判定為檢測出使用者之臉部。
圖12係說明瞳孔檢測處理之具體處理例之圖。
於瞳孔檢測處理中，檢測處理部63直接使用640×480之所有像素之可靠度cnf之平均值cnf_ave，檢測使用者之瞳孔。使用者之瞳孔可與例如臉部檢測處理同樣，以圖案匹配之要領檢測臉部之眼睛之位置附近，且於檢測出使用者睜著眼且朝向特定方向之狀態之情形時，判定為檢測出使用者之瞳孔。
如上所述，例如將靠近檢測處理、頭部檢測處理、臉部檢測處理、及瞳孔檢測處理之4個檢測處理作為一系列之檢測處理而依序執行之情形時，檢測處理部63可以視作2維圖像之深度圖或可靠度圖之解析度越到後面的檢測處理則越大之方式設定解析度，並執行檢測處理。藉此，可實現檢測處理之精度(高精度)與處理時間(高速處理時間)之並存。
另，雖圖示省略，但如一般之測距感測器，不執行檢測處理而僅基於各像素之受光信號產生深度圖與可靠度圖並輸出之動作模式，當然亦備於測距感測器43中。
＜動作模式B之深度測定處理＞ 其次，參照圖13之流程圖，說明於作為動作模式設定圖8之動作模式B之情形時，測距模組11執行之深度測定處理。該處理於例如自感測器中樞19供給距離測定之開始指令時開始。
首先，於步驟S11中，信號處理部52之控制部61對發光控制部42指示發光開始且設定自感測器中樞19指定之動作模式。對發光控制部42指示發光開始後，發光控制部42將控制使光源發光時之頻率與發光量的發光控制信號供給至發光部41。發光部41於與自發光控制部42供給之發光控制信號相應之時序調變且發光，而對物體照射照射光。
於步驟S12中，受光部51執行接受被物體反射之光(反射光)並進行光電轉換的光電轉換處理，且將像素陣列部72之各像素71中對第1抽頭82A與第2抽頭82B分配電荷所得之受光信號A及受光信號B輸出至信號處理部52之深度算出部62。
於步驟S13中，深度算出部62根據自受光部51之像素陣列部72供給之各像素71之2個受光信號A及B，產生深度圖及可靠度圖。產生之深度圖及可靠度圖被供給至檢測處理部63。
於步驟S14中，檢測處理部63執行檢測於靠近智慧型手機1之位置是否存在使用者的靠近檢測處理。
接著，於步驟S15中，檢測處理部63基於靠近檢測處理之執行結果，判定是否檢測出靠近物。於步驟S15中判定為未檢測出靠近物之情形時，處理返回至步驟S12。
另一方面，於步驟S15中判定為檢測出靠近物時，處理進行至步驟S16，檢測處理部63將靠近檢測結果輸出至感測器中樞19並將處理推進至步驟S17。
於步驟S17中，檢測處理部63執行檢測使用者之頭部之頭部檢測處理。
接著，於步驟S18中，檢測處理部63基於頭部檢測處理之執行結果，判定是否檢測出頭部。於步驟S18中判定為未檢測出頭部之情形時，處理返回至步驟S12。
另一方面，於步驟S18中判定為檢測出頭部之情形時，處理進行至步驟S19，檢測處理部63將頭部檢測結果輸出至感測器中樞19，並將處理推進至步驟S20。
於步驟S20中，檢測處理部63執行檢測使用者之臉部之臉部檢測處理。
接著，於步驟S21中，檢測處理部63基於臉部檢測處理之執行結果，判定是否檢測出臉部。於步驟S21中判定為未檢測出臉部之情形時，處理返回至步驟S12。
另一方面，於步驟S21中判定為檢測出臉部之情形時，處理進入至步驟S22，檢測處理部63將臉部檢測結果輸出至感測器中樞19，並將處理推進至步驟S23。
於步驟S23中，檢測處理部63執行檢測使用者之眼睛與視線之瞳孔檢測處理。
接著，於步驟S24中，檢測處理部63基於瞳孔檢測處理之執行結果，判定是否檢測出瞳孔。於步驟S24中判定為未檢測出瞳孔之情形時，處理返回至步驟S12。
另一方面，於步驟S24中判定為檢測出瞳孔之情形時，處理進入至步驟S25，檢測處理部63將瞳孔檢測結果與深度圖及可靠度圖一起輸出至感測器中樞19，並結束處理。
作為動作模式設定動作模式B時之深度測定處理如上執行。
另，作為動作模式設定動作模式A時之深度測定處理相當於在圖13之深度測定處理中，省略輸出最後之瞳孔檢測處理以外之各檢測處理中之檢測結果的處理，具體而言係步驟S16、步驟S19、及步驟S22的處理。
＜動作模式D之深度測定處理＞ 其次，參照圖14之流程圖，說明作為動作模式設定圖8之動作模式D之情形時，測距模組11執行的深度測定處理。該處理於例如自感測器中樞19供給距離測定之開始指令時開始。
動作模式D之深度測定處理等同於對圖13說明之動作模式B之深度測定處理追加步驟S47、S51及S55之處理的處理。
更具體而言，將步驟S47追加至相當於圖13之步驟S16之圖14之步驟S46、與相當於圖13之步驟S17之圖14之步驟S48之間，將步驟S51追加至相當於圖13之步驟S19之圖14之步驟S50、與相當於圖13之步驟S20之圖14之步驟S52之間，將步驟S55追加至相當於圖13之步驟S22之圖14之步驟S54、與相當於圖13之步驟S23之圖14之步驟S56之間。
於步驟S47，在步驟S46中將靠近檢測結果輸出至感測器中樞19後，由檢測處理部63判定是否自感測器中樞19指示頭部檢測。於步驟S47中判定為未指示頭部檢測之情形時，處理返回至步驟S42。另一方面，於步驟S47中判定為指示頭部檢測之情形時，處理進行至步驟S48，執行頭部檢測處理。
於步驟S51，在步驟S50中將頭部檢測結果輸出至感測器中樞19後，由檢測處理部63判定是否自感測器中樞19指示臉部檢測。於步驟S51中判定為未指示臉部檢測之情形時，處理返回至步驟S42。另一方面，於步驟S51中判定為指示臉部檢測時，處理進入至步驟S52，執行臉部檢測處理。
於步驟S55，在步驟S54中將靠近檢測結果輸出至感測器中樞19後，由檢測處理部63判定是否自感測器中樞19指示瞳孔檢測。於步驟S55中判定為未指示瞳孔檢測之情形時，處理返回至步驟S42。另一方面，於步驟S55中判定為指示瞳孔檢測之情形時，處理進入至步驟S56，執行瞳孔檢測處理。
如上所述，於設定動作模式D之情形之深度測定處理中，基於來自感測器中樞19之下一個檢測處理之指示而執行之點，與設定動作模式B之情形之深度測定處理不同。
另，於圖13及圖14之深度測定處理中，流程為最終未成功進行至瞳孔檢測之情形時，無限地持續深度測定處理，但實際上，組入有當例如個別之檢測處理於一定時間內未成功之情形時結束深度測定處理等之錯誤處理。
＜5.測距感測器之效果＞ 參照圖15，說明具有檢測功能之測距感測器43之效果。
一般的測距感測器如圖15之A所示，僅產生深度圖及可靠度圖，作為測距資料而輸出。於該情形時，AP20基於深度圖及可靠度圖，執行靠近檢測處理、頭部檢測處理、臉部檢測處理、及瞳孔檢測處理，以瞳孔檢測處理成功為條件，執行臉部認證處理。直至瞳孔檢測處理成功前，必須一面取得大量之深度圖及可靠度圖一面重複執行，且因AP20為電力消耗較大之器件，故作為智慧型手機1之電力消耗亦增大。
與此相對，根據適用本技術之測距感測器43，如圖15之B所示，不僅產生深度圖及可靠度圖，亦可執行靠近檢測處理、頭部檢測處理、臉部檢測處理、及瞳孔檢測處理，且僅於瞳孔檢測處理成功而可正確判別臉部之狀態之情形時，將瞳孔檢測結果與深度圖及可靠度圖輸出至AP20。藉此，啟動AP20執行臉部認證處理。
因此，與以AP20執行作為臉部認證處理所需之前處理之檢測處理的情形相比，可抑制無用之AP啟動，從而削減作為智慧型手機1之電力消耗。
上述之測距模組11除上述之智慧型手機外，亦可搭載於例如平板終端、行動電話、個人電腦、遊戲機、電視接收機、穿戴式終端、數位靜態相機、數位攝像機等之電子機器。
＜6.對移動體之應用例＞ 本揭示之技術(本技術)可應用於各種產品。例如，本揭示之技術亦可作為搭載於汽車、電動汽車、混合動力汽車、機車、自行車、私人移動載具、飛機、無人機、船舶、機器人等任意種類之移動體的裝置而實現。
圖16係顯示可適用本揭示之技術之移動體控制系統之一例即車輛控制系統之概略構成例之方塊圖。
車輛控制系統12000具備經由通信網路12001連接之複數個電子控制單元。於圖16所示之例中，車輛控制系統12000具備驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及整合控制單元12050。又，作為整合控制單元12050之功能構成，圖示有微電腦12051、聲音圖像輸出部12052、及車載網路I/F(interface：介面)12053。
驅動系統控制單元12010根據各種程式控制與車輛之驅動系統關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等用以產生車輛之驅動力之驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛之舵角之轉向機構、及產生車輛之制動力之制動裝置等之控制裝置而發揮功能。
車體系統控制單元12020根據各種程式控制車輛所裝備之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙進入系統、智慧型鑰匙系統、電動窗裝置、或頭燈、尾燈、剎車燈、方向燈或霧燈等各種燈之控制裝置而發揮功能。該情形時，可對車體系統控制單元12020，輸入自代替鑰匙之攜帶式機器發送之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入，控制車輛之門鎖裝置、電動窗裝置、燈等。
車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛之外部資訊。例如，於車外資訊檢測單元12030，連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收拍攝到之圖像。車外資訊檢測單元12030亦可基於接收到之圖像，進行人、車、障礙物、標識或路面上之文字等物體之檢測處理或距離檢測處理。
攝像部12031為接受光，並輸出與該光之受光量相應之電性信號之光感測器。攝像部12031可將電性信號作為圖像輸出，亦可作為測距資訊輸出。又，攝像部12031接受之光可為可視光，亦可為紅外線等非可視光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040可基於自駕駛者狀態檢測部12041輸入之檢測資訊，算出駕駛者之疲勞程度或注意力集中程度，亦可判別駕駛者是否打盹。
微電腦12051可基於車外資訊檢測單元12030或車內資訊檢測單元12040所取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，並對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含避開車輛碰撞或緩和衝擊、基於車間距離之追隨行駛、車速維持行駛、車輛之碰撞警告、或車輛之車道偏離警告等之ADAS(Advanced Driver Assistance System：先進駕駛輔助系統)之功能為目的之協調控制。
又，微電腦12051可藉由基於車外資訊檢測單元12030或車內資訊檢測單元12040所取得之車輛周圍之資訊控制驅動力產生裝置、轉向機構或制動裝置等，而進行以不依據駕駛者操作而自控行駛之自動駕駛等為目的之協調控制。
又，微電腦12051可基於車外資訊檢測單元12030所取得之車外資訊，對車體系統控制單元12020輸出控制指令。例如，微電腦12051可根據車外資訊檢測單元12030所檢測之前方車輛或對向車輛之位置控制頭燈，而進行將遠光燈切換為近光燈等以謀求防眩為目的之協調控制。
聲音圖像輸出部12052向可對車輛之搭乘者或車外視覺或聽覺性通知資訊之輸出裝置發送聲音及圖像中至少一者之輸出信號。於圖16之例中，作為輸出裝置，例示有音頻揚聲器12061、顯示部12062及儀表板12063。顯示部12062亦可包含例如車載顯示器及抬頭顯示器之至少一者。
圖17係顯示攝像部12031之設置位置之例之圖。
於圖17中，車輛12100具有攝像部12101、12102、12103、12104、12105作為攝像部12031。
攝像部12101、12102、12103、12104、12105設置於例如車輛12100之前保險桿、側視鏡、後保險桿、尾門及車廂內之擋風玻璃之上部等位置。前保險桿所裝備之攝像部12101及車廂內之擋風玻璃之上部所裝備之攝像部12105主要取得車輛12100之前方圖像。側視鏡所裝備之攝像部12102、12103主要取得車輛12100之側方圖像。後保險桿或尾門所裝備之攝像部12104主要取得車輛12100之後方圖像。攝像部12101及12105所取得之前方圖像主要用於檢測前方車輛、或行人、障礙物、號誌機、交通標識或車道線等。
另，圖17中顯示攝像部12101至12104之攝影範圍之一例。攝像範圍12111顯示設置於前保險桿之攝像部12101之攝像範圍，攝像範圍12112、12113分別顯示設置於側視鏡之攝像部12102、12103之攝像範圍，攝像範圍12114顯示設置於後保險桿或尾門之攝像部12104之攝像範圍。例如，藉由使攝像部12101至12104所拍攝之圖像資料疊加，可獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少1者可具有取得距離資訊之功能。例如，攝像部12101至12104之至少1者可為包含複數個攝像元件之立體相機，又可為具有相位差檢測用之像素之攝像元件。
例如，微電腦12051基於自攝像部12101至12104獲得之距離資訊，求出攝像範圍12111至12114內至各立體物之距離、與該距離之時間變化(相對於車輛12100之相對速度)，藉此，可將尤其於車輛12100之行進路上某最近之立體物且在與車輛12100大致相同之方向上以特定速度(例如為0 km/h以上)行駛之立體物，擷取為前方車輛。再者，微電腦12051可設定前方車輛之近前側應預先確保之車間距離，進行自動剎車控制(亦包含追隨停止控制)或自動加速控制(亦包含追隨起動控制)等。如此，可進行以不依據駕駛者之操作而自控行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051可基於自攝像部12101至12104獲得之距離資訊，將立體物相關之立體物資料分類成二輪車、普通車輛、大型車輛、行人、電線桿等其他立體物而擷取，並用於自動避開障礙物。例如，微電腦12051可將車輛12100周邊之障礙物辨識為車輛12100之駕駛者可視認之障礙物與難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞危險性，當碰撞危險性為設定值以上，有可能碰撞之狀況時，經由音頻揚聲器12061或顯示部12062對駕駛者輸出警報、或經由驅動系統控制單元12010進行強制減速或避開轉向，藉此可進行用以避開碰撞之駕駛支援。
攝像部12101至12104之至少1者亦可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定攝像部12101至12104之攝像圖像中是否存在行人而辨識行人。該行人之辨識係根據例如擷取作為紅外線相機之攝像部12101至12104之攝像圖像中之特徵點之順序、及藉由對表示物體輪廓之一系列特徵點進行圖案匹配處理而判別是否為行人之順序而進行。若微電腦12051判定攝像部12101至12104之攝像圖像中存在行人，且辨識為行人，則聲音圖像輸出部12052以將用以強調之方形輪廓線與該辨識出之行人疊加顯示之方式控制顯示部12062。又，聲音圖像輸出部12052亦可以將表示行人之圖標等顯示於期望之位置之方式控制顯示部12062。
以上，已對可應用本揭示之技術的車輛控制系統之一例進行說明。本揭示之技術可應用於以上說明之構成中之車內資訊檢測單元12040或駕駛者狀態檢測部12041。具體而言，作為車內資訊檢測單元12040或駕駛者狀態檢測部12041，利用測距模組11之深度測定處理，藉此進行在駕駛者之臉部辨識處理前進行之各種檢測處理，可正確進行後續之臉部辨識處理或更正確地檢測駕駛者之狀態。
另，本技術可適用於在間接ToF方式中稱為連續波(Continuous-Wave)方式之將投射至物體之光進行振幅調變之方式。又，作為受光部51之光電二極體81之構造，亦可適用於CAPD(Current Assisted Photonic Demodulator：電流輔助光子解調器)構造之測距感測器。再者，本技術亦可適用於結構光方式之測距感測器。
本技術之實施形態並未限定於上述之實施形態者，可於未脫離本技術之主旨之範圍內進行各種變化。
本說明書中說明之複數個本技術只要未產生矛盾，則可分別獨立地單獨實施。當然，亦可併用任意之複數個本技術而實施。例如，亦可將任意實施形態中說明之本技術之一部分或全部與其他實施形態中說明之本技術之一部分或全部組合而實施。又可將上述之任意之本技術之一部分或全部與上文未提及之其他技術併用而實施。
又，例如，可分割作為1個裝置(或處理部)說明之構成而構成為複數個裝置(或處理部)。相反，亦可將以上作為複數個裝置(或處理部)說明之構成彙總，而作為1個裝置(或處理部)構成。又，當然亦可對各裝置(或各處理部)之構成附加上述以外之構成。再者，若作為系統整體之構成或動作實質性相同，則亦可於其他裝置(或其他處理部)之構成中包含某裝置(或處理部)之構成之一部分。
再者，於本說明書中，系統意指複數個構成要素(裝置、模組(零件)等)之集合，全部構成要素是否處於同一框體內可為任意。因此，收納於不同框體並經由網路連接之複數個裝置、及於1個框體中收納有複數個模組之1個裝置皆為系統。
又，例如，上述之程式可於任意裝置中執行。於該情形時，只要該裝置具有所需之功能(功能區塊等)且可獲得所需之資訊即可。
另，本說明書記載之效果僅為例示而非限定者，亦可為本說明書記載者以外之效果。
另，本技術可採取以下構成。 (1) 一種測距感測器，其具備： 受光部，其接受自特定發光源照射之光被物體反射回之反射光； 深度算出部，其根據由上述受光部獲得之信號，算出至上述物體之距離資訊與亮度資訊；及 檢測處理部，其對應於選自複數個動作模式中之當前動作模式，使用上述距離資訊或亮度資訊之至少一者執行特定之檢測處理，將檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部。 (2) 如上述(1)記載之測距感測器，其中 上述動作模式之一為執行包含第1檢測處理與第2檢測處理之複數個檢測處理的模式，且 上述檢測處理部於上述第1檢測處理中檢測出檢測對象之情形時，執行上述第2檢測處理，於上述第2檢測處理中檢測出檢測對象之情形時，將上述第2檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部。 (3) 如上述(2)記載之測距感測器，其中 上述檢測處理部於上述第1檢測處理中檢測出檢測對象之情形時，將上述第1檢測處理之結果輸出至外部，且執行上述第2檢測處理。 (4) 如上述(1)至(3)中任一項記載之測距感測器，其中 上述動作模式之一為執行包含第1檢測處理與第2檢測處理之複數個檢測處理的模式，且 上述檢測處理部於上述第1檢測處理中檢測出檢測對象之情形時，將上述第1檢測處理之結果輸出至外部，於自外部被供給執行上述第2檢測處理之指示時，執行上述第2檢測處理，於上述第2檢測處理中檢測出檢測對象之情形時，將上述第2檢測處理結果與上述距離資訊及亮度資訊一起輸出至外部。 (5) 如上述(1)至(4)中任一項記載之測距感測器，其中 上述動作模式之一為依序執行複數個檢測處理的模式，且 上述檢測處理之上述距離資訊或亮度資訊之解析度越到後面的檢測處理則越大。 (6) 如上述(1)至(5)中任一項記載之測距感測器，其中 上述檢測處理至少包含靠近檢測處理、頭部檢測處理、臉部檢測處理、或瞳孔檢測處理之任一者。 (7) 如上述(6)記載之測距感測器，其中 上述動作模式之一為上述檢測處理執行上述靠近檢測處理、上述頭部檢測處理、上述臉部檢測處理、或上述瞳孔檢測處理之任一者的模式。 (8) 如上述(1)至(7)中任一項記載之測距感測器，其進而具備： 控制部，其自複數個動作模式中選擇特定動作模式，使上述檢測處理部執行與當前動作模式對應之特定檢測處理中。 (9) 一種信號處理方法，其由測距感測器根據接受自特定發光源照射之光被物體反射回之反射光所獲得之信號，算出至上述物體之距離資訊與亮度資訊，且 對應於選自複數個動作模式中之當前動作模式，使用上述距離資訊或亮度資訊之至少一者執行特定之檢測處理，將檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部。 (10) 一種測距模組，其具備： 發光部，其具有特定發光源；及 測距感測器；且 上述測距感測器具備： 受光部，其接受自上述特定發光源照射之光被物體反射回之反射光； 深度算出部，其根據由上述受光部獲得之信號，算出至上述物體之距離資訊與亮度資訊；及 檢測處理部，其對應於選自複數個動作模式中之當前動作模式，使用上述距離資訊或亮度資訊之至少一者，執行特定之檢測處理，將檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部。
1:智慧型手機 11:測距模組 12:攝像裝置 13:顯示器 13T:觸控感測器 14:通信模組 15:感測器單元 16:揚聲器 17:麥克風 18:操作按鈕 19:感測器中樞 20:AP(application processor) 21:電源部 22:匯流排 41:發光部 42:發光控制部 43:測距感測器 51:受光部 52:信號處理部 61:控制部 62:深度算出部 63:檢測處理部 71:像素 72:像素陣列部 73:驅動控制電路 81:光電二極體 82A:第1抽頭 82B:第2抽頭 83A:信號線 83B:信號線 91A:傳送電晶體 91B:傳送電晶體 92A:FD部 92B:FD部 93A:選擇電晶體 93B:選擇電晶體 94A:重設電晶體 94B:重設電晶體 12000:車輛控制系統 12001:通信網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:整合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:音頻揚聲器 12062:顯示部 12063:儀表板 12100:車輛 12101:攝像部 12102:攝像部 12103:攝像部 12104:攝像部 12105:攝像部 12111:攝像範圍 12112:攝像範圍 12113:攝像範圍 12114:攝像範圍 A0 :受光信號 A90 :受光信號 A180 :受光信號 A270 :受光信號 ADDRESS DECODE_A:選擇信號 ADDRESS DECODE_B:選擇信號 B0 :受光信號 B90 :受光信號 B180 :受光信號 B270 :受光信號 DIMIX_A:分配信號 DIMIX_B:分配信號 RST_A:重設信號 RST_B:重設信號 S11～S25:步驟 S41～S58:步驟 T:照射時間 ΔT:延遲時間
圖1係顯示作為適用本技術之電子機器之智慧型手機之概略構成例的方塊圖。 圖2係顯示測距模組之詳細構成例之方塊圖。 圖3係顯示受光部之詳細構成例之圖。 圖4係說明4相位(Phase)方式之像素之動作之圖。 圖5係說明4相位方式之圖。 圖6係說明4相位方式之圖。 圖7係說明2相位方式與4相位方式之深度值之算出方法之圖。 圖8係說明以各動作模式執行之具體檢測處理之圖。 圖9係說明靠近檢測處理之具體處理例之圖。 圖10係說明頭部檢測處理之具體處理例之圖。 圖11係說明臉部檢測處理之具體處理例之圖。 圖12係說明瞳孔檢測處理之具體處理例之圖。 圖13係說明動作模式B時之深度測定處理之流程圖。 圖14係說明動作模式D時之深度測定處理之流程圖。 圖15係對適用本技術之測距感測器之效果進行說明之圖。 圖16係顯示車輛控制系統之概略構成之一例之方塊圖。 圖17係顯示車外資訊檢測部及攝像部之設置位置之一例之說明圖。
11:測距模組
13T:觸控感測器
15:感測器單元
18:操作按鈕
19:感測器中樞
20:AP(application processor)
41:發光部
42:發光控制部
43:測距感測器
51:受光部
52:信號處理部
61:控制部
62:深度算出部
63:檢測處理部

Claims (11)

  1. 一種測距感測器，其具備：受光部，其接受自特定發光源照射之光被物體反射回之反射光；深度算出部，其根據由上述受光部獲得之信號，算出至上述物體之距離資訊與亮度資訊；及檢測處理部，其對應於選自複數個動作模式中之當前動作模式，使用上述距離資訊或亮度資訊之至少一者執行特定之檢測處理，將檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部；其中上述動作模式之一為執行包含第1檢測處理與第2檢測處理之複數個檢測處理的模式，且上述檢測處理部於上述第1檢測處理中檢測出檢測對象之情形時，執行上述第2檢測處理，於上述第2檢測處理中檢測出檢測對象之情形時，將上述第2檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部。
  2. 如請求項1之測距感測器，其中上述檢測處理部於上述第1檢測處理中檢測出檢測對象之情形時，將上述第1檢測處理之結果輸出至外部，且執行上述第2檢測處理。
  3. 如請求項1之測距感測器，其中上述檢測處理至少包含靠近檢測處理、頭部檢測處理、臉部檢測處理、或瞳孔檢測處理之任一者。
  4. 如請求項3之測距感測器，其中上述動作模式之一為上述檢測處理執行上述靠近檢測處理、上述頭部檢測處理、上述臉部檢測處理、或上述瞳孔檢測處理之任一者的模式。
  5. 如請求項1之測距感測器，其進而具備：控制部，其自複數個動作模式中選擇特定之動作模式，使上述檢測處理部執行與當前動作模式對應之特定檢測處理。
  6. 一種測距感測器，其具備：受光部，其接受自特定發光源照射之光被物體反射回之反射光；深度算出部，其根據由上述受光部獲得之信號，算出至上述物體之距離資訊與亮度資訊；及檢測處理部，其對應於選自複數個動作模式中之當前動作模式，使用上述距離資訊或亮度資訊之至少一者執行特定之檢測處理，將檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部；其中上述動作模式之一為執行包含第1檢測處理與第2檢測處理之複數個檢測處理的模式，且上述檢測處理部於上述第1檢測處理中檢測出檢測對象之情形時，將上述第1檢測處理之結果輸出至外部，於自外部被供給執行上述第2檢測處理之指示時，執行上述第2檢測處理，於上述第2檢測處理中檢測出檢測對象之情形時，將上述第2檢測處理結果與上述距離資訊及亮度資訊一起輸出至外部。
  7. 如請求項1或6之測距感測器，其中上述動作模式之一為依序執行複數個檢測處理的模式，且上述檢測處理之上述距離資訊或亮度資訊之解析度越到後面的檢測處理則越大。
  8. 一種信號處理方法，其由測距感測器根據接受自特定發光源照射之光被物體反射回之反射光所獲得之信號，算出至上述物體之距離資訊與亮度資訊，且對應於選自複數個動作模式中之當前動作模式，使用上述距離資訊或亮度資訊之至少一者執行特定之檢測處理，將檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部；其中上述動作模式之一為執行包含第1檢測處理與第2檢測處理之複數個檢測處理的模式，且於上述第1檢測處理中檢測出檢測對象之情形時，執行上述第2檢測處理，於上述第2檢測處理中檢測出檢測對象之情形時，將上述第2檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部。
  9. 一種測距模組，其具備：發光部，其具有特定發光源；及如請求項1至7之任一項之測距感測器。
  10. 一種信號處理方法，其由測距感測器根據接受自特定發光源照射之光被物體反射回之反射光所獲得之信號，算出至上述物體之距離資訊與亮 度資訊，且對應於選自複數個動作模式中之當前動作模式，使用上述距離資訊或亮度資訊之至少一者執行特定之檢測處理，將檢測處理之結果與上述距離資訊及亮度資訊一起輸出至外部；上述動作模式之一為執行包含第1檢測處理與第2檢測處理之複數個檢測處理的模式，且於上述第1檢測處理中檢測出檢測對象之情形時，將上述第1檢測處理之結果輸出至外部，於自外部被供給執行上述第2檢測處理之指示時，執行上述第2檢測處理，於上述第2檢測處理中檢測出檢測對象之情形時，將上述第2檢測處理結果與上述距離資訊及亮度資訊一起輸出至外部。
  11. 如請求項8或10之信號處理方法，其中上述動作模式之一為依序執行複數個檢測處理的模式，且上述檢測處理之上述距離資訊或亮度資訊之解析度越到後面的檢測處理則越大。
TW109117617A 2019-06-05 2020-05-27 測距感測器、信號處理方法及測距模組 TWI757751B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019105015 2019-06-05
JP2019-105015 2019-06-05

Publications (2)

Publication Number Publication Date
TW202104928A TW202104928A (zh) 2021-02-01
TWI757751B true TWI757751B (zh) 2022-03-11

Family

ID=73652829

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109117617A TWI757751B (zh) 2019-06-05 2020-05-27 測距感測器、信號處理方法及測距模組

Country Status (4)

Country Link
US (1) US20220214435A1 (zh)
CN (1) CN113875214B (zh)
TW (1) TWI757751B (zh)
WO (1) WO2020246264A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116348736A (zh) * 2020-12-11 2023-06-27 索尼半导体解决方案公司 测距装置
CN116074615B (zh) * 2023-03-07 2023-09-08 荣耀终端有限公司 摄像头控制方法、装置及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015079416A (ja) * 2013-10-18 2015-04-23 株式会社キーエンス 光電センサ
CN107407727A (zh) * 2015-03-27 2017-11-28 伟摩有限责任公司 用于光检测与测距光学对准的方法与系统
CN108474849A (zh) * 2016-02-17 2018-08-31 松下知识产权经营株式会社 距离测量装置
CN109376667A (zh) * 2018-10-29 2019-02-22 北京旷视科技有限公司 目标检测方法、装置及电子设备
TW201910161A (zh) * 2017-05-31 2019-03-16 日商索尼半導體解決方案公司 距離測量裝置、距離測量方法及程式

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009085705A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 測距装置および測距方法並びにプログラム
JP2012117896A (ja) * 2010-11-30 2012-06-21 Saxa Inc 測距装置、侵入者監視装置、距離計測方法、及びプログラム
CN103747586B (zh) * 2014-01-10 2017-07-14 惠州Tcl移动通信有限公司 移动终端及其照明亮度调节方法、装置
KR102249824B1 (ko) * 2014-02-24 2021-05-10 삼성전자주식회사 신체 정보 감지장치 및 이의 신체 정보 감지방법
CN104808213A (zh) * 2015-05-11 2015-07-29 合肥京东方光电科技有限公司 异物检测装置和涂布系统
CN109069008B (zh) * 2016-05-16 2022-06-28 索尼公司 光学设备和信息处理方法
WO2019075473A1 (en) * 2017-10-15 2019-04-18 Analog Devices, Inc. METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015079416A (ja) * 2013-10-18 2015-04-23 株式会社キーエンス 光電センサ
CN107407727A (zh) * 2015-03-27 2017-11-28 伟摩有限责任公司 用于光检测与测距光学对准的方法与系统
CN108474849A (zh) * 2016-02-17 2018-08-31 松下知识产权经营株式会社 距离测量装置
TW201910161A (zh) * 2017-05-31 2019-03-16 日商索尼半導體解決方案公司 距離測量裝置、距離測量方法及程式
CN109376667A (zh) * 2018-10-29 2019-02-22 北京旷视科技有限公司 目标检测方法、装置及电子设备

Also Published As

Publication number Publication date
US20220214435A1 (en) 2022-07-07
CN113875214B (zh) 2024-04-05
WO2020246264A1 (ja) 2020-12-10
CN113875214A (zh) 2021-12-31
TW202104928A (zh) 2021-02-01

Similar Documents

Publication Publication Date Title
TWI814804B (zh) 距離測量處理設備，距離測量模組，距離測量處理方法及程式
WO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6977722B2 (ja) 撮像装置、および画像処理システム
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
TWI757751B (zh) 測距感測器、信號處理方法及測距模組
JP7235906B2 (ja) 固体撮像装置
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US11561303B2 (en) Ranging processing device, ranging module, ranging processing method, and program
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021010174A1 (ja) 受光装置、および、受光装置の駆動方法
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
CN114424084A (zh) 照明设备、照明设备控制方法以及距离测量模块
US20220413109A1 (en) Distance measurement sensor, distance measurement system, and electronic apparatus
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
TW202111350A (zh) 測距感測器及其驅動方法、與測距模組
JP2021182701A (ja) 受光装置およびその駆動制御方法、並びに、測距装置
JP7476170B2 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2022254792A1 (ja) 受光素子およびその駆動方法、並びに、測距システム
US20240168159A1 (en) Distance measuring device, distance measuring system, and distance measuring method
WO2021246107A1 (ja) 固体撮像装置、固体撮像装置の制御方法および移動体
WO2021229983A1 (ja) 撮像装置及びプログラム