TW202130973A - 資訊處理裝置、修正方法及程式 - Google Patents

資訊處理裝置、修正方法及程式 Download PDF

Info

Publication number
TW202130973A
TW202130973A TW109125040A TW109125040A TW202130973A TW 202130973 A TW202130973 A TW 202130973A TW 109125040 A TW109125040 A TW 109125040A TW 109125040 A TW109125040 A TW 109125040A TW 202130973 A TW202130973 A TW 202130973A
Authority
TW
Taiwan
Prior art keywords
light
image information
unit
saturated
pixel
Prior art date
Application number
TW109125040A
Other languages
English (en)
Inventor
小野博明
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202130973A publication Critical patent/TW202130973A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本揭示之資訊處理裝置(10a)具備控制部(60)。控制部(60)檢測基於受光感測器輸出之像素信號產生之受光圖像資訊之飽和區域，受光感測器係接收自光源照射之射出光由被測定物反射之反射光者。像素信號用於算出距被測定物之距離。飽和區域係基於飽和之像素信號產生之受光圖像資訊之區域。控制部(60)基於像素信號，修正飽和區域之受光圖像資訊。

Description

資訊處理裝置、修正方法及程式
本揭示係關於一種資訊處理裝置、修正方法及程式。
已知有基於自光源射出光至藉由受光部接收該光由被測定物反射之反射光為止之時間而計測距被測定物之距離之稱為ToF(Time of Flight：飛行時間)之測距方式。於該ToF方式之測距中，於受光部接收之光，除自對測距有效之光源射出之光之反射光以外，亦包含太陽光等環境光。於進行ToF方式之測距之測距裝置(以下，為ToF方式測距裝置)中，基於自受光部所接收之光去除該環境光之成分之反射光成分，而取得距被測定物之距離。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2017-133853號公報
[發明所欲解決之問題]
然而，有欲將於ToF方式測距裝置中取得之包含環境光成分之光之圖像、或去除環境光成分之反射光成分之光之圖像利用於測距以外之其他用途之情形。又，於ToF方式測距裝置中，有受光部接收之光之強度較高，且受光部接收之光量飽和之情形。
如此，於二次利用ToF方式測距裝置中所取得之圖像之情形時，若受光部接收之光量飽和，則有取得之圖像之精度下降，而於圖像之二次利用產生不良狀況之可能性。
因此，本揭示之目的在於提供一種可抑制於ToF方式測距裝置中取得之圖像之精度下降之資訊處理裝置、修正方法及程式。 [解決問題之技術手段]
根據本揭示，提供一種資訊處理裝置。資訊處理裝置具備控制部。控制部檢測基於受光感測器輸出之像素信號產生之受光圖像資訊之飽和區域，上述受光感測器係接收自光源照射之射出光由被測定物反射之反射光者。上述像素信號用於算出距上述被測定物之距離。上述飽和區域係基於飽和之上述像素信號產生之上述受光圖像資訊之區域。控制部基於上述像素信號，修正上述飽和區域之上述受光圖像資訊。
以下，基於圖式對本揭示之各實施形態進行詳細說明。另，於以下各實施形態中，藉由對相同之部位標註相同之符號而省略重複之說明。
又，按照以下所示之項目順序說明本揭示。 1.前言 1.1.於各實施形態共通之構成 1.2.關於應用於各實施形態之間接ToF方式之測距 1.3.應用於各實施形態之構成 2.第1實施形態 2.1.修正處理之概要 2.2.測距裝置之構成例 2.3.測距裝置之修正處理 3.第2實施形態 3.1.測距裝置之構成例 3.2.測距裝置之修正處理 4.第3實施形態 4.1.測距裝置之構成例 4.2.測距裝置之修正處理 5.變化例 6.結論
＜1.前言＞ ＜1.1.於各實施形態共通之構成＞ 本揭示係較佳用於使用光進行測距之技術者。於說明本揭示之實施形態前，為了容易理解，作為應用於實施形態之測距方式之一，而對間接ToF(Time of Flight)方式進行說明。間接ToF方式係將藉由例如PWM(Pulse Width Modulation：脈衝寬度調變)調變之光源光(例如紅外區域之雷射光)照射於被測定物並利用受光元件接收其反射光，且基於接收之反射光之相位差，對被測定物進行測距之技術。
圖1係顯示使用應用於各實施形態之測距裝置之電子機器之構成之一例之方塊圖。圖1中，電子機器1包含測距裝置10、與應用部20。應用部20藉由例如於CPU(Central Processing Unit：中央處理單元)上使程式進行動作而實現，對測距裝置10要求測距之執行，並自測距裝置10接收測距之結果即距離資訊等。
測距裝置10包含光源部11、受光部12、及測距處理部13。光源部11包含：發光元件，其發出例如紅外區域之波長之光；及驅動電路，其驅動該發光元件並使之發光。作為光源部11包含之發光元件，可應用例如LED(Light Emitting Diode：發光二極體)。不限定於此，作為光源部11包含之發光元件，亦可應用以陣列狀形成有複數個發光元件之VCSEL(Vertical Cavity Surface Emitting LASER：垂直共振腔面射型雷射)。以下，只要無特別記載，則將「光源部11之發光元件發光」如「光源部11發光」等般記述。
受光部12包含：受光元件，其檢測例如紅外區域之波長之光；及信號處理電路，其輸出與該受光元件檢測出之光相應之像素信號。作為受光部12包含之受光元件，可應用發光二極體。以下，只要無特別記載，則將「受光部12包含之受光元件受光」如「受光部12受光」等般記述。
測距處理部13根據來自例如應用部20之測距指示，執行測距裝置10之測距處理。例如，測距處理部13產生用於驅動光源部11之光源控制信號，並供給至光源部11。又，測距處理部13與供給至光源部11之光源控制信號同步控制受光部12之受光。例如，測距處理部13使控制受光部12之曝光期間之曝光控制信號與光源控制信號同步產生，並供給至受光部12。受光部12於該曝光控制信號所示之曝光期間內，輸出有效之像素信號。
測距處理部13基於根據受光自受光部12輸出之像素信號而算出距離資訊。又，測距處理部13亦可基於該像素信號產生特定之圖像資訊。測距處理部13將基於像素信號算出及產生之距離資訊及圖像資訊傳遞至應用部20。
於此種構成中，測距處理部13按照執行來自例如應用部20之測距之意旨之指示，產生用於驅動光源部11之光源控制信號，並供給至光源部11。此處，測距處理部13產生藉由PWM調變為特定占空比之矩形波之光源控制信號，並供給至光源部11。與此同時，測距處理部13基於與光源控制信號同步之曝光控制信號控制受光部12之受光。
於測距裝置10中，光源部11照射根據測距處理部13產生之光源控制信號調變之光。於圖1之例中光源部11根據光源控制信號，按照特定之占空比閃爍並發光。於光源部11中發出之光作為射出光30自光源部11射出。該射出光30由例如被測定物31反射，並作為反射光32由受光部12接收。受光部12將與反射光32之受光相應之像素信號供給至測距處理部13。另，實際上，於受光部12除反射光32以外，亦接收周圍之環境光，且像素信號包含反射光32之成分、與該環境光之成分。
測距處理部13以於各受光元件不同之相位複數次執行受光部12之受光。測距處理部13基於不同相位之受光之像素信號之差量，算出距被測定物之距離D。又，測距處理部13算出基於該像素信號之差量擷取反射光32之成分之第1圖像資訊、與包含反射光32之成分與環境光之成分之第2圖像資訊。以下，將第1圖像資訊稱為反射光圖像資訊，將反射光圖像資訊之各像素之值稱為像素值Confidence(置信度)(或Confidence値)。又，將第2圖像資訊稱為IR圖像資訊，將IR圖像資訊之各像素之值稱為像素值IR(或IR值)。又，將反射光圖像資訊及IR圖像資訊統稱為受光圖像資訊。
＜1.2.關於應用於各實施形態之間接ToF方式之測距＞ 其次，對應用於各實施形態之間接ToF方式之測距進行說明。圖2係用於說明間接ToF方式之原理之圖。圖2中，作為光源部11射出之射出光30，使用藉由正弦波調變之光。反射光32較理想為相對於射出光30具有與距離D相應之相位差phase之正弦波。
測距處理部13對接收反射光32之像素信號，於各相位進行複數次取樣，並於每次取樣取得顯示光量之光量值(像素信號之值)。於圖2之例，於相對於射出光30相位逐個相差90°之相位0°、相位90°、相位180°及相位270°之各相位中，分別取得光量值C0 、C90 、C180 及C270 。於間接ToF方式中，於各相位0°、90°、180°及270°中基於相位相差180°之組之光量值之差量，算出距離資訊。
使用圖3，對間接ToF方式之距離資訊之算出方法更具體地進行說明。圖3係顯示來自光源部11之射出光30為藉由PWM調變之矩形波之情形之例之圖。圖3中，自上段顯示光源部11之射出光30、到達受光部12之反射光32。如圖3之上段所示，光源部11以特定之占空比週期性閃爍並將射出光30射出。
圖3中，進而顯示受光部12之相位0°(記載為Φ=0°)、相位90°(記載為Φ=90°)、相位180°(記載為Φ=180°)、及相位270°(記載為Φ=270°)各者之曝光控制信號。例如，該曝光控制信號為高(High)狀態之期間設為受光部12之受光元件輸出有效之像素信號之曝光期間。
於圖3之例，於時點t0 將射出光30自光源部11射出，於時點t0 起與距被測定物之距離D相應之延遲之後之時點t1 ，該射出光30藉由被測定物反射之反射光32到達受光部12。
另一方面，受光部12按照來自測距處理部13之曝光控制信號，與光源部11之射出光30之射出時序之時點t0 同步，開始相位0°之曝光期間。同樣地，受光部12按照來自測距處理部13之曝光控制信號，開始相位90°、相位180°及相位270°之曝光期間。此處，各相位之曝光期間成為按照射出光30之占空比者。另，於圖3之例，為了說明，各相位之曝光期間顯示為按時間並列，但實際上，受光部12有序地指定各相位之曝光期間，分別取得各相位之光量值C0 、C90 、C180 及C270 。
於圖3之例，反射光32之到達時序為時點t1 、t2 、t3 、…，將相位0°之光量值C0 作為自時點t0 至相位0°之包含該時點t0 之曝光期間之結束時點之受光量之積分值而取得。另一方面，於相對於相位0°相差180°相位之相位180°，將光量值C180 作為自該相位180°之曝光期間之開始時點至該曝光期間所包含之反射光32之下降之時點t2 之受光量之積分值而取得。
針對相位C90、與相對於該相位90°相差180°相位之相位270°，亦與上述相位0°及180°之情形同樣，將各者之曝光期間內反射光32到達之期間之受光量之積分值作為光量值C90 及C270 而取得。
於該等光量值C0 、C90 、C180 及C270 中，如以下式(1)及式(2)所示，基於相位相差180°之光量值之組合，求出差量I與差量Q。
Figure 02_image001
基於該等差量I及Q，相位差phase藉由以下式(3)算出。另，於式(3)中，相位差phase定義於(0≦phase＜2π)之範圍。
Figure 02_image003
使用相位差phase、與特定之係數range，藉由以下式(4)算出距離資訊Depth。
Figure 02_image005
又，可基於差量I及Q，自受光部12所接收之光之成分擷取反射光32之成分(反射光圖像資訊之像素值Confidence)。反射光圖像資訊之像素值Confidence使用差量I及Q各者之絕對值，藉由以下式(5)算出。
Figure 02_image007
如此，反射光圖像資訊之1個像素自受光部12之4個相位之光量值C0 、C90 、C180 及C270 算出。各相位之光量值C0 、C90 、C180 及C270 自受光部12之對應之受光元件取得。
圖4係顯示受光部12所接收之光量之例之圖。如上所述，於受光部12，除來自光源部11之射出光30由被測定物31反射之反射光32即直接反射光以外，亦接收來自光源部11之射出光30未貢獻之環境光。又，於受光部12輸出之像素信號，包含所謂暗電流(暗雜訊)等直流成分。
因此，受光部12所接收之光量成為直接反射光之光量、環境光之光量、及暗雜訊之和。藉由上述之式(1)～式(3)、及式(5)之計算，消除環境光之成分及暗雜訊，擷取直接反射光之成分。
其次，使用圖5～圖9，對各相位之各光量值C0 、C90 、C180 及C270 之取得方法、以及距離資訊及反射光圖像資訊之像素值Confidence之計算方法更具體地進行說明。
(第1方法) 圖5係用於說明應用於各實施形態之各光量值之取得及各資訊之算出之第1方法之圖。圖5中，受光部12針對各相位有序地取得各光量值C0 、C90 、C180 及C270 。於圖5之例，受光部12於時點t10 ～t11 之期間進行相位0°之曝光，於自時點t11 間隔特定時間(例如處理之切換時間)之時點t1 2 ～t1 3 之期間進行相位90°之曝光。以下同樣，於自時點t13 間隔特定時間之時點t14 ～t15 之期間進行相位180°之受光，於自時點t15 間隔特定時間之時點t16 ～t17 之期間進行相位270°之曝光。
於自時點t17 間隔特定時間之時點t18 ，再次執行自上述之時點t10 起之動作。
此處，將進行各相位之曝光之順序設為1微訊框(μFrame)。於圖5之例，時點t10 ～t18 之期間成為1微訊框之期間。1微訊框之期間係短於攝像之1訊框期間(例如1/30 sec)之期間，可於1訊框期間內複數次執行1微訊框之處理。
測距處理部13將於1微訊框之期間內取得之於各相位依序取得之各光量值C0 、C90 、C180 及C270 記憶於例如記憶體。測距處理部13基於記憶於記憶體之各光量值C0 、C90 、C180 及C270 ，分別算出距離資訊Depth、反射光圖像資訊之像素值Confidence。
另，於該情形時，藉由上述之式(1)～式(4)算出差量I及Q、相位差phase、以及距離資訊Depth。又，於此處，反射光圖像資訊之像素值Confidence使用以下式(6)算出。
Figure 02_image009
(第2方法) 圖6係用於說明應用於各實施形態之各光量值之取得及各資訊之算出之第2方法之圖。於該第2方法，受光部12相對於1個受光元件具備2個讀取電路(設為分接頭A、分接頭B)，且有序(交替)地執行該分接頭A及分接頭B之讀取(使用圖13後述細節)。以下，亦將分接頭A及分接頭B之讀取方式稱為2分接頭方式。
使用圖6，對2分接頭方式之距離資訊之算出方法更具體地進行說明。圖6係用於說明應用於各實施形態之各光量值之取得及各資訊之算出之第2方法之圖。於圖6中，自上段顯示光源部11之射出光30、到達受光部12之反射光32。如圖6之上段所示，光源部11射出以特定之週期閃爍之射出光30。光源部11射出例如1週期中之期間T之間發光之射出光30。
於圖6，進而顯示受光部12之相位0°之分接頭A之曝光控制信號(DIMIX_A)及分接頭B之曝光控制信號(DIMIX_B)。例如，將該曝光控制信號(DIMIX_A、DIMIX_B)為高(High)狀態之期間設為受光部12輸出有效之像素信號之曝光期間。DIMIX_A及DIMIX_B係具有按照射出光30之占空比之曝光期間之曝光控制信號。又，DIMIX_A及DIMIX_B係彼此相位相差180°之信號。
於圖6之例，於時點t10 將射出光30自光源部11射出。又，射出光30射出後，於與距被測定物之距離D相應之延遲ΔT之後之時點t11 ，該射出光30藉由被測定物反射之反射光32到達受光部12。
另一方面，受光部12按照來自測距處理部13之曝光控制信號(DIMIX_A)，與光源部11之射出光30之射出時序之時點t10 同步，開始曝光期間。同樣地，受光部12按照來自測距處理部13之曝光控制信號(DIMIX_B)，與相位與DIMIX_A相差180°之時點t12 同步，開始曝光期間。藉此，藉由受光部12，於相位0°之各分接頭A、B取得光量值(像素信號)A0 、B0 。
於圖6之例，反射光32之到達時序為時點t11 、t14 、t13 、…，將相位0°之分接頭A之光量值A0 作為自時點t10 至DIMIX_A之包含該時點t0 之曝光期間之結束時點t12 之受光光量之積分值而取得。另一方面，於相對於相位0°之DIMIX_A相差180°相位之相位0°之DIMIX_B，將光量值B0 作為自該DIMIX_B之曝光期間之開始時點t12 至該曝光期間所包含之反射光32之下降之時點t13 之受光量之積分值而取得。下一反射光32之到達時序t14 之後亦同樣取得光量值A0 、B0 。
於圖6，對受光部12使用相位0°之曝光控制信號(DIMIX_A、DIMIX_B)取得之光量值A0 、B0 進行說明。另，受光部12使用相位90°、相位180°、及相位270°各者之曝光控制信號(DIMIX_A、DIMIX_B)，取得光量值A90 、B90 、A180 、B180 、A270 、B270 。
圖7係顯示各相位之曝光控制信號之一例之圖。於圖7，顯示受光部12之相位0°(記載為Φ=0°)、相位90°(記載為Φ=90°)、相位180°(記載為Φ=180°)、及相位270°(記載為Φ=270°)各者之曝光控制信號(DIMIX_A、DIMIX_B)。
例如，相位90°之DIMIX_A係自射出光30之射出時序偏移90°之相位之曝光控制信號，相位90°之DIMIX_B係與相位90°之DIMIX_A相差180°相位之曝光控制信號。又，相位180°之DIMIX_A係自射出光30之射出時序偏移180°之相位之曝光控制信號，相位180°之DIMIX_B係與相位180°之DIMIX_A相差180°相位之曝光控制信號。相位270°之DIMIX_A係自射出光30之射出時序偏移270°之相位之曝光控制信號，相位270°之DIMIX_B係與相位270°之DIMIX_A相差180°相位之曝光控制信號。此處，各相位之曝光期間成為按照射出光30之占空比者。
使用圖8，對受光部12之分接頭A及分接頭B之讀取之相位差進行說明。圖8係顯示每個受光部12(每個受光元件)之各相位0°、90°、180°及270°之分接頭A及分接頭B之曝光期間之例之圖。另，圖8中，為了說明，配合相位並列地排列而顯示各相位之曝光期間。
於圖8中，有序(交替)地執行相位0°之分接頭A及分接頭B之曝光(分別作為光量值A0 及B0 顯示)。另一方面，相位180°之分接頭A及分接頭B之曝光相對於相位0°之分接頭A及分接頭B之曝光而言相位延遲180°，有序地執行分接頭A及分接頭B之曝光。此時，相位0°之分接頭A之曝光期間、與相位180°之分接頭B之曝光期間之相位一致。同樣地，相位0°之分接頭B之曝光期間、與相位180°之分接頭A之曝光期間之相位一致。
圖9係用於說明受光部12之受光時序之圖。如圖9所示，受光部12於各相位各者中，有序地執行分接頭A及分接頭B之讀取。再者，受光部12於1微訊框之期間內，有序地執行各相位之讀取。
即，於圖9之例，受光部12於時點t20 ～t21 之期間，進行相位0°之曝光。測距處理部13基於藉由分接頭A及分接頭B各者讀取之像素信號，分別求出光量值A0 及光量值B0 。受光部12於自時點t21 間隔特定時間之時點t22 ～t23 之期間進行相位90°之曝光。測距處理部13基於藉由分接頭A及分接頭B各者讀取之像素信號，分別求出光量值A90 及光量值B90 。
以下同樣，於自時點t23 間隔特定時間之時點t24 ～t25 之期間進行相位180°之曝光。測距處理部13基於藉由分接頭A及分接頭B各者讀取之像素信號，分別求出光量值A180 及光量值B180 。再者，受光部12於自時點t25 間隔特定時間之時點t26 ～t27 之期間進行相位270°之曝光。測距處理部13基於藉由分接頭A及分接頭B各者讀取之像素信號，分別求出光量值A270 及光量值B270 。
於自時點t27 間隔特定時間之時點t28 ，再次執行自上述之時點t20 起之動作。
將該圖9所示之針對各相位0°、90°、180°及270°有序地執行分接頭A及B之讀取，進而針對各相位求出基於分接頭A及B之讀取之各光量值之方法稱為2分接頭方式(4phase(相位))。
於該第2方法之情形時，差量I及Q使用各光量值A0 及B0 、A90 及B90 、A180 及B180 、以及A270 及B270 ，藉由以下式(7)及(8)算出。
Figure 02_image011
相位差phase、距離資訊Depth及反射光圖像資訊之像素值Confidence使用藉由該等式(7)及(8)算出之差量I及Q，藉由上述之式(3)、(4)及(6)算出。
於該圖6～圖8所示之2分接頭方式(4phase(相位))中，藉由分接頭A及分接頭B使各相位之曝光期間冗餘化。因此，可使算出之距離資訊Depth、反射光圖像資訊之S/N(Signal/Noise：信號/雜訊)比提高。
(第3方法) 圖10係用於說明應用於各實施形態之各光量值之取得及各資訊之算出之第3方法之圖。於該第3方法中，與第2方法之相同點為，受光部12與上述第2方法同樣地具備分接頭A及分接頭B，且有序地執行自該分接頭A及分接頭B之讀取。另一方面，於第3方式中，與第2方法之不同點為，受光部12有序地執行上述之各相位0°、90°之讀取，不執行相位180°、270°之讀取。
如圖10所示，受光部12與上述第2方法同樣地具備分接頭A及分接頭B，且有序地執行自該分接頭A及分接頭B之讀取。再者，受光部12於上述之各相位0°、90°、180°及270°中，有序地執行相位0°及90°之讀取。於該第3方法中，將該相位0°及90°之讀取之期間設為1微訊框之期間。
於圖10之情形時，讀取順序為與上述之圖9之時點t20 ～t24 同樣之順序。即，受光部12於時點t30 ～t31 之期間，進行相位0°之曝光。測距處理部13基於藉由分接頭A及分接頭B各者讀取之像素信號，分別求出光量值A0 及光量值B0 。受光部12於自時點t31 間隔特定時間之時點t32 ～t33 之期間進行相位90°之曝光。測距處理部13基於藉由分接頭A及分接頭B各者讀取之像素信號，分別求出光量值A90 及光量值B90 。
於自時點t33 間隔特定時間之時點t34 ，再次執行自上述之時點t30 起之動作。
將該圖10所示之針對各相位0°及90°有序地執行分接頭A及B之讀取，進而針對各相位0°及90°求出基於分接頭A及B之讀取之各光量值之方法稱為2分接頭方式(2phase(相位))。
如上所述，各相位之分接頭A及分接頭B之曝光控制信號DIMIX_A、DIMIX_B係相位反轉之信號。因此，相位0°之DIMIX_A與相位180°之DIMIX_B成為相同相位之信號。同樣地，相位0°之DIMIX_B與相位180°之DIMIX_A成為相同相位之信號。又，相位90°之DIMIX_A與相位270°之DIMIX_B成為相同相位之信號，相位90°之DIMIX_B與相位270°之DIMIX_A成為相同相位之信號。
因此，光量值B0 與相位180°之受光部12之讀取值相同，光量值B90 與相位270°之受光部12之讀取值相同。換言之，相當於例如相位0°中，分別執行相位0°、與自相位0°相差180°相位之相位180°之讀取。同樣地，相當於相位90°中，分別執行相位90°、與自相位90°相差180°相位之相位270°之讀取。
即，亦可以說例如相位0°之分接頭B之曝光期間為相位180°之曝光期間。又，亦可以說相位90°之分接頭B之曝光期間為相位270°之曝光期間。因此，於該第3方法之情形時，差量I及Q使用各光量值A0 及B0 、以及A90 及B90 ，藉由以下式(9)及(10)算出。
Figure 02_image013
相位差phase、距離資訊Depth及反射光圖像資訊之像素值Confidence可使用藉由該等式(9)及(10)算出之差量I及Q，藉由上述之式(3)、(4)及(6)算出。
如此，相對於1個受光元件設置2個讀取電路(分接頭A及分接頭B)，有序地執行該等分接頭A及分接頭B之讀取。藉此，可於1個相位(例如相位0°)實現相位相差180°之曝光期間。因此，於圖10所示之2分接頭方式(2phase(相位))中，可相對於1分接頭方式以更少之受光元件獲得與圖5所示之1分接頭方式同等之結果。因此，可使距離資訊及受光圖像資訊之解析度提高。
此處，對IR圖像資訊之像素值IR之算出方法之一例進行說明。如上所述，IR圖像資訊係包含反射光32之成分與環境光之成分之圖像資訊。另一方面，於受光部12接收之光，除反射光32之成分及環境光之成分以外，亦包含暗電流(暗雜訊)等直流成分。因此，IR圖像資訊藉由自受光部12輸出之像素信號減去直流成分而算出。具體而言，IR圖像資訊之像素值IR使用以下式(11)算出。
Figure 02_image015
另，CFPN 、AFPN 及BFPN 係暗電流(暗雜訊)等直流成分，即固定圖案雜訊。CFPN 、AFPN 及BFPN 設為藉由實驗或模擬等預先求出者。
或，亦可將CFPN 、AFPN 及BFPN 設為於例如受光部12未接收光時自受光部12輸出之像素信號。於該情形時，藉由測距裝置10取得於例如光源部11將射出光30射出之前自受光部12輸出之信號，而取得該像素信號。
另，於式(11)，雖對算出相位0°之IR圖像資訊之像素值IR之情形進行了說明，但於其他相位(相位90°、180°及270°)亦可同樣地算出IR圖像資訊之像素值IR。於該情形時，亦可將例如於各相位算出之像素值IR之平均值作為自反射光32算出之IR圖像資訊之像素值IR。
＜1.3.應用於各實施形態之構成＞ 其次，對應用於各實施形態之構成之例進行說明。圖11係顯示應用於各實施形態之電子機器之一例之構成之方塊圖。於圖11中，電子機器1包含CPU(Central Processing Unit)100、ROM(Read Only Memory：唯讀記憶體)101、RAM(Random Access Memory：隨機存取記憶體)102、儲存裝置103、UI(User Interface：使用者介面)部104、及介面(I/F)105。再者，電子機器1包含分別對應於圖1之光源部11及受光部12之光源單元110及感測器單元111。
另，作為該圖11所示之電子機器1，考慮應用例如智慧型手機(多功能型行動電話終端)或平板型個人電腦。應用該電子機器1之機器不限定於該等智慧型手機或平板型個人電腦。
儲存裝置103係快閃記憶體或硬碟驅動器等非揮發性之記憶媒體。儲存裝置103可記憶各種資料、或CPU100動作用之程式。又，儲存裝置103可記憶用以實現使用圖1說明之應用部20之應用程式(以下，簡稱為App)。ROM101預先記憶CPU100動作用之程式及資料。RAM102係記憶資料之揮發性之記憶媒體。
CPU100按照記憶於儲存裝置103或ROM101之程式，使用RAM102作為工作記憶體進行動作，並控制該電子機器1之整體動作。
UI部104配置用於操作該電子機器1之各種操作單元、用於顯示電子機器1之狀態之顯示元件等。UI部104亦可進而包含顯示藉由後述之感測器單元111拍攝之圖像之顯示器。又，可將該顯示器作為一體地形成有顯示器件與輸入器件之觸控面板，亦可藉由顯示於觸控面板之各零件構成各種操作單元。
光源單元110包含LED或VCSEL等發光元件、與用於驅動該發光元件之驅動器。於光源單元110中，驅動器根據CPU100之指示產生特定占空比之驅動信號。發光元件按照藉由驅動器產生之驅動信號發光，並射出藉由PWM調變之光作為射出光30。
感測器單元111包含：像素陣列部，其將複數個受光元件排列成陣列狀；及驅動電路，其驅動排列於像素陣列部之複數個受光元件，並輸出自各受光元件讀取之像素信號。自感測器單元111輸出之像素信號供給至CPU100。
其次，使用圖12～圖15，對應用於各實施形態之感測器單元111進行說明。
圖12係顯示應用於各實施形態之感測器單元111之構成之例之方塊圖。於圖12中，感測器單元111具有包含感測器晶片1110、與積層於感測器晶片1110之電路晶片1120之積層構造。於該積層構造中，感測器晶片1110與電路晶片1120通過通孔(VIA)或Cu-Cu連接等連接部(未圖示)電性連接。於圖8之例，顯示藉由該連接部，將感測器晶片1110之配線、與電路晶片1120之配線連接之狀態。
像素區域1111包含以陣列狀之排列配置於感測器晶片1110上之複數個像素1112。例如，基於自該像素區域1111所包含之複數個像素1112輸出之像素信號，形成1訊框之圖像信號。配置於像素區域1111之各像素1112可接收例如紅外光，且基於所接收之紅外光進行光電轉換且輸出類比像素信號。像素區域1111所包含之各像素1112分別連接2條垂直信號線VSL1 及VSL2 。
感測器單元111進而將垂直驅動電路1121、行信號處理部1122、時序控制電路1123及輸出電路1124配置於電路晶片1120。
時序控制電路1123根據自外部經由控制線150供給之元件控制信號，控制垂直驅動電路1121之驅動時序。又，時序控制電路1123基於該元件控制信號產生垂直同步信號。行信號處理部1122、輸出電路1124與由時序控制電路1123產生之垂直同步信號同步，執行各者之處理。
針對像素1112之每行，於圖12上之垂直方向配設垂直信號線VSL1 及VSL2 。若將像素區域1111內之行之總數設為M行(M為1以上之整數)，則於像素區域1111，合計配設2×M條垂直信號線。各個像素1112各自包含蓄積藉由光電轉換產生之電荷之2個分接頭A(TAP_A)及分接頭B(TAP_B)，其細節予以後述。垂直信號線VSL1 連接於像素1112之分接頭A，垂直信號線VSL2 連接於像素1112之分接頭B。
垂直信號線VSL1 輸出基於對應之像素行之像素1112之分接頭A之電荷的類比像素信號，即像素信號AINP1 。又，垂直信號線VSL2 輸出基於對應之像素行之像素1112之分接頭B之電荷的類比像素信號，即像素信號AINP2 。
垂直驅動電路1121按照時序控制電路1123之時序控制，以像素列之單位驅動像素區域1111所包含之各像素1112，輸出像素信號AINP1 及AINP2 。自各像素1112輸出之像素信號AINP1 及AINP2 經由各行之垂直信號線VSL1 及VSL2 被供給至行信號處理部1122。
行信號處理部1122對應於像素區域1111之像素行，包含例如設置於每個像素行之複數個AD(Analog to Digital：類比-數位)轉換器。行信號處理部1122所包含之各AD轉換器對經由垂直信號線VSL1 及VSL2 供給之像素信號AINP1 及AINP2 執行AD轉換，且將經轉換為數位信號之像素信號AINP1 及AINP2 供給至輸出電路1124。
輸出電路1124對自行信號處理部1122輸出之、經轉換為數位信號之像素信號AINP1 及AINP2 ，執行CDS(Correlated Double Sampling：相關雙重取樣)處理等信號處理，且將經信號處理之像素信號AINP1 及AINP2 作為分別自分接頭A讀取之像素信號、自分接頭B讀取之像素信號，經由輸出線51輸出至感測器單元111之外部。
圖13係顯示應用於各實施形態之像素1112之一例之構成之電路圖。像素1112包含光電二極體231、2個傳送電晶體232及237、2個重設電晶體233及238、2個浮動擴散層234及239、2個放大電晶體235及240、以及2個選擇電晶體236及241。浮動擴散層234及239分別對應於上述之分接頭A(記載為TAP_A)及分接頭B(記載為TAP_B)。
光電二極體231係將接收之光進行光電轉換而產生電荷之受光元件。光電二極體231將於半導體基板中配置電路之面作為表面，配置於與表面相對之背面。此種固體攝像元件稱為背面照射型之固體攝像元件。另，亦可取代背面照射型，使用在表面配置光電二極體231之表面照射型之構成。
溢流電晶體242連接於光電二極體231之陰極與電源線VDD之間，具有重設光電二極體231之功能。即，溢流電晶體242根據自垂直驅動電路1121供給之溢流閘極信號OFG成為導通狀態，藉此將光電二極體231之電荷有序地排出至電源線VDD。
傳送電晶體232連接於光電二極體231之陰極與浮動擴散層234之間。又，傳送電晶體237連接於光電二極體231之陰極、與浮動擴散層239之間。傳送電晶體232及237分別根據自垂直驅動電路1121供給之傳送信號TRG，將由光電二極體231產生之電荷分別有序地傳送至浮動擴散層234及239。
分別對應於分接頭A及分接頭B之浮動擴散層234及239蓄積自光電二極體231傳送之電荷，並轉換為與蓄積之電荷量相應之電壓值之電壓信號，且分別產生類比像素信號即像素信號AINP1 及AINP2 。
又，2個重設電晶體233及238連接於電源線VDD、與浮動擴散層234及239各者之間。重設電晶體233及238根據自垂直驅動電路1121供給之重設信號RST及RSTp 成為導通狀態，藉此自浮動擴散層234及239各者提取電荷，將浮動擴散層234及239初始化。
2個放大電晶體235及240連接於電源線VDD、與選擇電晶體236及241各者之間。各放大電晶體235及240放大以浮動擴散層234及239之各者將電荷轉換為電壓之電壓信號。
選擇電晶體236連接於放大電晶體235、與垂直信號線VSL1 之間。又，選擇電晶體241連接於放大電晶體240、與垂直信號線VSL2 之間。選擇電晶體236及241根據自垂直驅動電路1121供給之選擇信號SEL及SELp 設為導通狀態，藉此將以放大電晶體235及240各者放大之像素信號AINP1 及AINP2 分別輸出至垂直信號線VSL1 及垂直信號線VSL2 。
連接於像素1112之垂直信號線VSL1 及垂直信號線VSL2 於每個像素行，連接於行信號處理部1122所包含之1個AD轉換器之輸入端。垂直信號線VSL1 及垂直信號線VSL2 於每個像素行，將自像素1112輸出之像素信號AINP1 及AINP2 供給至行信號處理部1122所包含之AD轉換器。
使用圖14及圖15，對感測器單元111之積層構造進行概略說明。
作為一例，感測器單元111藉由將半導體晶片積層為2層之2層構造形成。圖14係顯示藉由2層構造之積層型CIS(Complementary Metal Oxide Semiconductor Image Sensor：互補金氧半導體影像感測器)形成應用於各實施形態之感測器單元111之例之圖。於圖14之構造中，於感測器晶片1110即第1層之半導體晶片形成像素區域1111，於電路晶片1120即第2層之半導體晶片形成電路部。
電路部包含例如垂直驅動電路1121、行信號處理部1122、時序控制電路1123及輸出電路1124。另，感測器晶片1110亦可為包含像素區域1111與例如垂直驅動電路1121之構成。如圖14之右側所示，藉由使感測器晶片1110、與電路晶片1120電性接觸且貼合，而將感測器單元111作為1個固體攝像元件構成。
作為其他例，感測器單元111藉由將半導體晶片積層為3層之3層構造形成。圖15係顯示藉由3層構造之積層型CIS形成應用於各實施形態之感測器單元111之例之圖。於圖15之構造中，於感測器晶片1110即第1層之半導體晶片形成像素區域1111。又，將上述之電路晶片1120分割形成為第2層之半導體晶片之第1電路晶片1120a、與第3層之半導體晶片之第2電路晶片1120b。如圖15之右側所示，藉由使感測器晶片1110、第1電路晶片1120a、及第2電路晶片1120b電性接觸且貼合，而將感測器單元111作為1個固體攝像元件構成。
＜2.第1實施形態＞ ＜2.1.修正處理之概要＞ 其次，對本揭示之第1實施形態進行說明。本實施形態之測距裝置基於受光部12接收之反射光32，除距被測定物之距離D以外，亦產生反射光圖像資訊。此時，若例如受光部12接收之反射光32之強度較高，光強度飽和，則有反射光圖像資訊之產生精度下降之情形。以下，使用圖16，對光強度飽和之情形之反射光圖像資訊進行說明，且對該反射光圖像資訊之修正方法進行說明。另，圖16係用於說明本揭示之第1實施形態之修正方法之概要之圖。
如上所述，於反射光32，除由被測定物31反射之直接反射光以外，亦包含環境光及暗雜訊。其中，於例如環境光之光強度較高之情形時，有受光部12接收之反射光32之強度變高，光量值C0 、C90 、C180 及C270 飽和之情形。或，於射出光之強度較高之情形或被測定物31之反射率較高，或距被測定物31之距離D較近之情形時，亦有受光部12接收之反射光32之強度變高，光量值C0 、C90 、C180 及C270 飽和之情形。另，此處，如圖16之圖表G1所示，設為受光部12接收之反射光32之強度較高，光量值C0 、C90 、C180 及C270 以光量值Cmax 飽和者。
此處，反射光圖像資訊之像素值Confidence藉由上述之式(5)～(8)算出。若光量值C0 、C90 、C180 及C270 以光量值Cmax 飽和，則I、Q成分成為零，反射光圖像資訊之像素值Confidence亦成為零。如此，若受光部12接收之反射光32之強度較高，受光元件飽和，則例如圖16之圖像I2所示，產生對應之反射光圖像資訊之像素值Confidence成為零之區域Rsa (以下，亦稱為飽和區域Rsa )。如圖16之圖表G2所示，於該飽和區域Rsa ，因反射光圖像資訊之像素值Confidence成為零，故於飽和區域Rsa 、與受光元件未飽和之區域Rnsa (以下，亦稱為非飽和區域Rnsa )之間產生不連續。另，圖表G2係顯示圖像I2之線段A-A‘之反射光圖像資訊之像素值Confidence之圖表。
如此，若於反射光圖像資訊產生不連續，則有於應用部20之處理中產生不良狀況之情形。例如，有應用部20將反射光圖像資訊之飽和區域Rsa 辨識為特徵，藉此於反射光圖像資訊之辨識結果產生錯誤之情形。例如，於應用部20使用反射光圖像資訊進行面部辨識之情形時，若將飽和區域Rsa 辨識為面部之特徵(例如痣)，則有無法正確進行面部辨識之可能性。
因此，於本揭示之第1實施形態中，藉由修正反射光圖像資訊之飽和區域Rsa 之像素值Confidence，而消除反射光圖像資訊之不連續。藉此，可抑制反射光圖像資訊之產生精度之下降，並抑制應用部20之不良狀況之產生。
具體而言，於本揭示之第1實施形態之修正方法中，自零起以特定之值修正反射光圖像資訊之飽和區域Rsa 之像素值Confidence。於圖16所示之例中，如圖表G3所示，將飽和區域Rsa 之像素值Confidence修正為Confidence＝Pmax1 。另，如圖表G3所示，像素值Confidence之修正值Pmax1 係大於與飽和區域Rsa 相接之非飽和區域Rnsa 之像素Mb1 、Mb2 之像素值Pb 之值(Pmax1 ＞Pb )。
藉此，如圖16之圖像I3所示，可消除反射光圖像資訊之不連續。另，於圖像I3中，為了容易理解飽和區域Rsa 與非飽和區域Rnsa 之邊界，以黑色之線顯示邊界線。
＜2.2.測距裝置之構成例＞ 圖17係用於說明本揭示之第1實施形態之測距裝置之功能的一例之功能方塊圖。於圖17中，測距裝置10a包含光源部11、受光部12、控制部40、測距部50、及修正部60。於該等光源部11、受光部12、控制部40、測距部50及修正部60中，控制部40、測距部50及修正部60藉由於例如CPU100(參照圖11)上使特定之程式進行動作而構成。不限定於此，亦可藉由相互協動動作之硬體電路構成控制部40、測距部50及修正部60中之一部分或全部。另，以下，亦將由控制部40、測距部50及修正部60構成之裝置簡稱為資訊處理裝置。
另，以下，為了說明，受光部12之各相位0°、90°、180°及270°之各光量值之取得及各資訊之算出設為應用2分接頭方式(4phase(相位))者。另，亦可使用2分接頭方式(4phase(相位))以外之方式進行各光量值之取得及各資訊之算出。
控制部40產生光源控制信號，並供給至光源部11。光源控制信號包含指定例如PWM之調變之占空比、藉由光源部11發出之光之強度、發光之時序等之資訊。光源部11根據自控制部40供給之光源控制信號，射出藉由PWM調變之射出光30(參照圖1)。
又，控制部40產生曝光控制信號，並供給至受光部12。曝光控制信號包含以於不同之相位各者中對受光部12進行按照光源部11之占空比之曝光長度之曝光之方式進行控制之資訊。又，曝光控制信號進而包含用於控制受光部12之曝光量之資訊。
自受光部12輸出之各相位之像素信號被供給至測距部50。測距部50基於自受光部12供給之各相位之像素信號，算出距離資訊Depth及反射光圖像資訊之像素值Confidence。測距部50將算出之距離資訊Depth及反射光圖像資訊之像素值Confidence傳遞至例如應用部20。
此處，使用圖18對反射光圖像資訊之像素值Confidence進行說明。圖18係用於說明2分接頭方式(4phase(相位))之反射光圖像資訊之像素值Confidence之算出方法之圖。於圖18，於各相位之各分接頭顯示用於算出距被測定物31A之距離D1之像素信號及用於算出距被測定物31B之距離D2之像素信號。另，被測定物31A及被測定物31B可為配置於相同空間之不同之被測定物。或，可為於不同之訊框測定相同之被測定物者，亦可為相同之被測定物之不同部位。
如圖18所示，於像素信號，包含直接反射光成分、環境光成分及暗雜訊成分。反射光圖像資訊之像素值Confidence係其中自直接反射光之成分算出者。具體而言，如上所述，反射光圖像資訊之像素值Confidence使用以下式(5)、(7)及(8)算出。
Figure 02_image017
如圖18所示，用於算出距離D2之像素信號未飽和。另一方面，用於算出距離D1之像素信號於相位0°之分接頭A及相位180°之分接頭B飽和。因此，雖可高精度地算出對應於距離D2之反射光圖像資訊之像素值Confidence，但無法高精度地算出對應於距離D1之反射光圖像資訊之像素值Confidence。因此，於本實施形態中，於受光部12之受光元件飽和之情形時，修正部60修正反射光圖像資訊之像素值Confidence，且控制部40調整下一訊框之控制信號。
返回至圖17，控制部40基於自受光部12供給之各相位(例如相位0°、90°、180°及270°)之各像素信號，產生用於控制受光部12之曝光量之控制信號。控制部40產生之該控制信號係用於測距部50不依賴於拍攝之情景而適當算出距離資訊Depth者。例如控制部40以將基於各相位之像素信號之各光量值調整為適當範圍內之值之方式產生控制信號。
即，更具體而言，若參照上述之式(1)及(2)，則於如對應於各相位各者之各像素信號中之1個以上之像素信號飽和，或為特定以下之位準之情形時，有無法適當算出差量I及Q之虞。於該情形時，測距部50中基於差量I及Q算出之距離資訊Depth之可靠性亦成為較低者。
因此，控制部40求出將基於各相位之各像素信號之各光量值控制為適當範圍內之值之控制信號。控制部40基於求出之控制信號，控制受光部12之增益或曝光時間、光源部11之發光之占空比或強度，以使受光部12所接收之光量變得適當之方式進行調整。
作為一例，於被測定物31之反射率較低之情形、或測距部50算出之距離資訊Depth所示之距離為特定以上之情形時，算出之距離資訊Depth之S/N變低，且該距離資訊Depth之精度下降。於該情形時，控制部40為了維持藉由測距部50算出之距離資訊Depth之S/N，而產生以受光部12之曝光時間變長之方式控制受光部12之控制信號。
控制部40將產生之控制信號記憶於暫存器(未圖示)。控制部40於特定週期之每個訊框執行光源部11之發光及受光部12之受光。控制部40基於記憶於暫存器之控制資訊進行1訊框量之處理，並基於處理之結果求出控制信號，且更新記憶於暫存器之控制信號。
修正部60使用各相位之各像素信號，修正反射光圖像資訊之像素值Confidence。修正部60具有飽和區域檢測部61、飽和值推定部62、及飽和區域補償部63。
飽和區域檢測部61檢測反射光圖像資訊之飽和區域Rsa 。於受光部12之受光元件輸出之像素信號，包含顯示該像素信號是否飽和之飽和資訊。飽和區域檢測部61基於飽和資訊，檢測像素信號飽和之受光元件，藉此檢測飽和區域Rsa 。或，飽和區域檢測部61亦可藉由判定是否為像素信號飽和之情形之值，而檢測飽和之受光元件，即飽和區域Rsa 。或，飽和區域檢測部61亦可藉由判定反射光圖像資訊之像素值Confidence是否為飽和之情形之值(例如像素值Confidence為零)，而檢測飽和區域Rsa 。
飽和值推定部62推定飽和區域補償部63之反射光圖像資訊之像素值Confidence之修正所使用之修正值。飽和值推定部62基於與飽和區域Rsa 周圍相鄰之非飽和區域Rnsa 之像素值Confidence，即與飽和區域Rsa 周圍相鄰之未飽和之像素信號，推定修正值。
例如，於飽和區域檢測部61自圖19所示之反射光圖像資訊I4檢測第1飽和區域Rsa1 及第2飽和區域Rsa2 之情形時，對飽和值推定部62推定之修正值進行說明。另，圖19係用於對飽和值推定部62推定之修正值進行說明之圖。於圖19，為了容易觀察圖，而以白色顯示飽和區域，以黑線顯示與飽和區域之周圍相鄰之非飽和區域。
飽和值推定部62基於例如相鄰於(位於)第1飽和區域Rsa1 周圍之非飽和區域Rnsa (圖19之黑線所示之區域)之像素值Confidence之平均值，推定修正值。飽和值推定部62藉由逐列或逐行地掃描例如矩陣狀之反射光圖像資訊，而檢測第1飽和區域Rsa1 與非飽和區域Rnsa 之邊界。飽和值推定部62將檢測出之邊界之非飽和區域Rnsa 之像素值Confidence進行檢測。飽和值推定部62藉由針對所有列及所有行檢測與第1飽和區域Rsa1 相鄰之非飽和區域Rnsa 之像素值Confidence，而檢測所有與第1飽和區域Rsa1 周圍相鄰之非飽和區域Rnsa 之像素值Confidence。飽和值推定部62算出檢測出之所有非飽和區域Rnsa 之像素值Confidence之平均值作為與第1飽和區域Rsa1 之周圍相鄰之非飽和區域Rnsa (圖19之白線所示之區域)之像素值Confidence之平均值。
此處，像素信號之值於第1飽和區域Rsa1 飽和。因此，認為第1飽和區域Rsa1 之實際之像素值Confidence，即像素信號之值未飽和之情形之像素值Confidence高於周圍之非飽和區域Rnsa 之像素值Confidence。因此，飽和值推定部62推定對與第1飽和區域Rsa1 之周圍相鄰之非飽和區域Rnsa (圖19之白線所示之區域)之像素值Confidence之平均值加上一定值而得之值作為修正值。另，飽和值推定部62與第1飽和區域Rsa1 同樣亦推定第2飽和區域Rsa2 之修正值。
飽和區域補償部63以飽和值推定部62推定之修正值修正飽和區域檢測部61檢測出之飽和區域Rsa 之像素值Confidence。如圖20所示，例如飽和區域補償部63藉由將飽和區域Rsa 之像素值Confidence置換為修正值，而修正像素值Confidence。
另，圖20係用於對飽和區域補償部63之像素值Confidence之修正進行說明之圖。於圖20，顯示以例如矩陣狀配置之反射光圖像資訊中特定之一列之反射光圖像資訊。圖20之左側所示之圖表係顯示修正前之反射光圖像資訊之圖表。如圖20所示，於修正前之反射光圖像資訊，於飽和區域Rsa 反射光圖像資訊之像素值Confidence成為零，圖表變得不連續。因此，飽和區域補償部63如右側之圖表所示，將飽和區域Rsa 之反射光圖像資訊之像素值Confidence置換為修正值。藉此，可改善反射光圖像資訊之不連續。
圖21係顯示飽和區域補償部63之修正前之反射光圖像資訊之一例之圖。於受光部12之受光元件飽和之情形時，如圖21所示，於反射光圖像資訊I5產生黑色之飽和區域Rsa 。如此，若於反射光圖像資訊I5產生飽和區域Rsa ，則有例如後段之應用部20之面部認證之精度下降之虞。其原因在於，有應用部20將飽和區域Rsa 辨識為反射光圖像資訊I5之特徵之虞。
因此，於本揭示之第1實施形態中，如上所述，飽和區域補償部63修正反射光圖像資訊之飽和區域Rsa 之像素值Confidence。圖22係顯示飽和區域補償部63之修正後之反射光圖像資訊之一例之圖。如圖22之反射光圖像資訊I6所示，藉由飽和區域補償部63修正飽和區域Rsa ，而將圖21中顯示為黑色之飽和區域Rsa 顯示為白色。即，可藉由進行修正以使飽和區域Rsa 顯示為白色，而消除飽和區域Rsa 與非飽和區域Rnsa 之不連續。
於面部認證之情形時，較於認證圖像產生如圖22所示之過曝之情形，產生如圖21所示之不連續之情形之認證精度更為下降。因此，藉由利用飽和區域補償部63，修正反射光圖像資訊之不連續，可抑制反射光圖像資訊之精度之下降，並抑制應用部20之不良狀況(例如面部認證精度之下降)。
＜2.3.測距裝置之修正處理＞ 圖23係顯示第1實施形態之測距裝置10a之修正處理之一例之流程圖。該修正處理藉由例如自應用部20對測距裝置10a傳遞指示攝像(測距)之開始之攝像開始指示而開始。
首先，測距裝置10a之控制部40基於記憶於暫存器之控制信號，控制光源部11及受光部12，並進行攝像(步驟S101)。藉由攝像獲得之各相位之像素信號自受光部12傳遞至控制部40、測距部50及修正部60。
測距裝置10a之測距部50基於步驟S101中拍攝之攝像結果，算出距離資訊Depth及反射光圖像資訊之像素值Confidence(步驟S102)。測距裝置10a之測距部50將算出之距離資訊Depth輸出至例如應用部20，將反射光圖像資訊之像素值Confidence輸出至應用部20及修正部60。
其次，測距裝置10a之飽和區域檢測部61基於步驟S101中拍攝之攝像結果，算出反射光圖像資訊之飽和區域Rsa (步驟S103)。飽和區域檢測部61藉由檢測像素信號飽和之受光元件，而算出反射光圖像資訊之飽和區域Rsa 。
測距裝置10a之飽和值推定部62基於步驟S103中算出之飽和區域Rsa 及步驟S102中算出之反射光圖像資訊之像素值Confidence，算出修正值(步驟S104)。更具體而言，飽和值推定部62推定對飽和區域Rsa 周圍之非飽和區域Rnsa 之反射光圖像資訊之像素值Confidence之平均值加上特定值而得之值作為修正值。
測距裝置10a之飽和區域補償部63基於步驟S104中飽和值推定部62推定之修正值，修正飽和區域Rsa 之反射光圖像資訊之像素值Confidence(步驟S105)。飽和區域補償部63藉由對飽和區域Rsa 之反射光圖像資訊之像素值Confidence加上算出之修正值，而將反射光圖像資訊之像素值Confidence之值置換為修正值。
測距裝置10a之控制部40基於步驟S101中拍攝之各相位之各像素信號，求出控制光源部11及受光部12之控制信號(步驟S106)。控制部40將求出之控制信號記憶於暫存器等。
測距裝置10a判定攝像是否結束(步驟S107)。測距裝置10a於例如自應用部20接收到指示攝像之結束之攝像結束指示之情形時，判定為攝像結束(步驟S107，為「是」)。於該情形時，測距裝置10a結束修正處理。
另一方面，測距裝置10a於未自應用部20接收到攝像結束指示，而判定為攝像未結束之情形時(步驟S107，為「否」)，將處理返回至步驟S101。該步驟S101～步驟S107之處理以例如1訊框單位重複。
如此，第1實施形態之測距裝置10a(資訊處理裝置之一例)具備修正部60(控制部之一例)。修正部60檢測基於接收自光源部11(光源之一例)照射之射出光由被測定物31反射之反射光32之受光部12(受光感測器之一例)輸出之像素信號(像素信號之一例)而產生之反射光圖像資訊(受光圖像資訊之一例)之飽和區域Rsa 。像素信號用於算出距被測定物31之距離。飽和區域Rsa 係基於飽和之像素信號產生之反射光圖像資訊之區域。修正部60基於像素信號修正飽和區域Rsa 之反射光圖像資訊。
藉此，可改善受光圖像資訊(於第1實施形態為反射光圖像資訊)之不連續，並可抑制受光圖像資訊之精度之下降。
＜3.第2實施形態＞ 其次，對本揭示之第2實施形態進行說明。第2實施形態之測距裝置使用IR圖像資訊，修正反射光圖像資訊之飽和區域Rsa 。
＜3.1.測距裝置之構成例＞ 圖24係用於說明第2實施形態之測距裝置10b之功能之一例之方塊圖。圖24所示之測距裝置10b取代圖17之修正部60而具備修正部60b。修正部60b不具備圖17之飽和值推定部62，取而代之具備IR算出部64。又，修正部60b取代圖17之飽和區域補償部63而具備飽和區域補償部63b。修正部60b可藉由於CPU100(參照圖11)上使程式進行動作而構成，亦可藉由硬體電路實現。
IR算出部64基於受光部12輸出之像素信號，算出IR圖像資訊。此處，IR圖像資訊基於上述之式(11)或式(12)算出。IR圖像資訊藉由自像素信號減去暗電流(暗雜訊)等直流成分而算出。因此，於飽和區域Rsa 中IR圖像資訊之像素值IR亦不會成為零，IR圖像資訊成為即使產生飽和區域Rsa 亦保持連續性之圖像資訊。
飽和區域補償部63b基於反射光圖像資訊及IR圖像資訊，修正飽和區域Rsa 之反射光圖像資訊。飽和區域補償部63根據飽和區域Rsa 之IR圖像資訊之梯度(變化率)修正反射光圖像資訊。針對該修正，使用圖25進行詳細說明。
圖25係用於對飽和區域補償部63b之飽和區域Rsa 之修正進行說明之圖。於圖25，顯示與反射光圖像資訊及IR圖像資訊之一列(或一行)對應之圖表。
圖25之左側上之圖表係顯示IR算出部64產生之IR圖像資訊之圖表。顯示IR圖像資訊之圖表成為於飽和區域Rsa 中亦不成為零而連續之圖表。
圖25之左側下之圖表係顯示測距部50產生之反射光圖像資訊之圖表。如上所述，顯示反射光圖像資訊之圖表因於飽和區域Rsa 中成為零故成為不連續之圖表。
如上所述，IR圖像資訊係包含直接反射光之成分與環境光之成分之資訊。又，反射光圖像資訊係包含直接反射光之成分之資訊。認為若於相同之訊框內則環境光之成分相同。因此，認為有助於IR圖像資訊之像素值IR之變化之成分、與有助於反射光圖像資訊之像素值Confidence之變化之成分均為相同之直接反射光之成分，且其變化率相等。
因此，本實施形態之飽和區域補償部63b根據IR圖像資訊之像素值IR之梯度(變化率)而修正飽和區域Rsa 之反射光圖像資訊之像素值Confidence。具體而言，藉由對與修正之反射光圖像資訊之像素(以下，亦稱為修正像素)相鄰之像素之值，乘以對應於修正像素之IR圖像資訊之像素值IR之變化率，而算出修正像素之修正值。飽和區域補償部63b使用算出之修正值將修正像素之像素值Confidence進行修正。
飽和區域補償部63b一面自例如與非飽和區域Rnsa 相鄰之飽和區域Rsa 之像素依序算出修正值，使修正對象之像素於水平方向或垂直方向依序移動，一面對飽和區域Rsa 所包含之所有像素算出修正值。
圖25之右側之圖表係顯示飽和區域補償部63b之修正後之反射光圖像資訊之圖表。如圖25所示，可知修正後之反射光圖像資訊成為於飽和區域Rsa 具有與IR圖像資訊相同之梯度(變化率)之像素值Confidence之圖表，並消除不連續。
如此，藉由飽和區域補償部63b根據IR圖像資訊之梯度(變化率)修正反射光圖像資訊，可進行與實際之直接反射光之成分之變化相應之修正，並可進一步抑制反射光圖像資訊之精度下降。
另，此處，飽和區域補償部63b逐列或逐行地修正反射光圖像資訊，但不限定於此。例如，飽和區域補償部63b亦可逐列及逐行地分別算出反射光圖像資訊之修正值。於該情形時，相對於1個修正像素，算出對應於列及行方向之2個修正值。飽和區域補償部63b亦可使用例如2個修正值之平均值將修正像素進行修正。
＜3.2.測距裝置之修正處理＞ 圖26係顯示第2實施形態之測距裝置10b之修正處理之一例之流程圖。該修正處理與圖23之修正處理同樣，藉由例如自應用部20對測距裝置10b傳遞指示攝像(測距)之開始之攝像開始指示而開始。
於圖26之流程圖中，因步驟S101～步驟S103之處理與上述之圖23之對應之處理同樣，故省略此處之詳細說明。測距裝置10b若於步驟S103求出控制光源部11及受光部12之控制信號，則將處理移行至步驟S201。
測距裝置10b之IR算出部64基於步驟S101中拍攝之攝像結果，算出IR圖像資訊(步驟S201)。IR算出部64將算出之IR圖像資訊輸出至飽和區域補償部63b。或，IR算出部64亦可將算出之IR圖像資訊輸出至應用部20。
測距裝置10b之飽和區域補償部63b基於步驟S104中IR算出部64算出之IR圖像資訊之梯度，修正飽和區域Rsa 之反射光圖像資訊(步驟S202)。飽和區域補償部63b藉由對與修正像素相鄰之像素之像素值Confidence，乘以對應於修正像素之IR圖像資訊之像素值IR之變化率，而將修正像素進行修正。
測距裝置10b之控制部40基於步驟S101中拍攝之各相位之各像素信號，求出控制光源部11及受光部12之控制信號(步驟S106)。控制部40將求出之控制信號記憶於暫存器等。
測距裝置10b判定攝像是否結束(步驟S107)。測距裝置10b於例如自應用部20接收到指示攝像之結束之攝像結束指示之情形時，判定為攝像結束(步驟S107，為「是」)。於該情形時，測距裝置10b結束修正處理。
另一方面，測距裝置10b於未自應用部20接收到攝像結束指示，而判定為攝像未結束之情形時(步驟S107，為「否」)，將處理返回至步驟S101。該步驟S101～步驟S107之處理以例如1訊框單位重複。
如此，第2實施形態之測距裝置10b(資訊處理裝置之一例)具備修正部60b(控制部之一例)。修正部60b根據IR圖像資訊之像素值IR之梯度(變化率)而修正反射光圖像資訊之飽和區域之像素值Confidence。藉此，可改善受光圖像資訊(於第2實施形態為反射光圖像資訊)之不連續，並可抑制受光圖像資訊之精度之下降。
＜4.第3實施形態＞ 其次，對本揭示之第3實施形態進行說明。第3實施形態之測距裝置修正IR圖像資訊之飽和區域Rsa 。
＜4.1.測距裝置之構成例＞ 圖27係用於說明第3實施形態之測距裝置10c之功能之一例之方塊圖。圖27所示之測距裝置10c取代圖24之修正部60b而具備修正部60c。修正部60c取代圖17之飽和值推定部62，具備飽和值推定部62c。修正部60c取代圖17之飽和區域補償部63，具備飽和區域補償部63。修正部60c可藉由於CPU100(參照圖11)上使程式進行動作而構成，亦可藉由硬體電路實現。
飽和值推定部62c推定IR圖像資訊之飽和區域Rsa 之像素值IR之修正值。飽和值推定部62c推定例如預先設定之值作為修正值。或，飽和值推定部62c亦可基於IR圖像資訊中位於飽和區域Rsa 周圍之非飽和區域Rnsa 之像素值IR之平均值，推定修正值。亦可藉由例如飽和值推定部62c對該平均值加上預先設定之值，而推定修正值。
IR圖像資訊如上所述，即使存在飽和區域Rsa 亦不會變得不連續。然而，即使為IR圖像資訊，亦基於飽和區域Rsa 中飽和之像素信號算出像素值IR。因此，飽和區域Rsa 之像素值IR並非正確之值，而成為飽和之值(截取為特定值之值)。因此，於本實施形態中，藉由修正IR圖像資訊之飽和區域Rsa 之像素值IR，而抑制IR圖像資訊之精度劣化。
又，此處，飽和區域檢測部61設為藉由檢測反射光圖像資訊之飽和區域Rsa ，而檢測對應之IR圖像資訊之飽和區域Rsa 者，但不限定於此。例如，飽和區域檢測部61亦可藉由判定IR圖像資訊之像素值IR是否為飽和之情形之值，而檢測IR圖像資訊之飽和區域Rsa 。
又，此處，雖對修正部60c修正IR圖像資訊之情形進行了說明，但修正部60c除IR圖像資訊以外，亦可修正反射光圖像資訊。由於反射光圖像資訊之修正與第1、第2實施形態之情形同樣，故省略說明。
＜4.2.測距裝置之修正處理＞ 圖28係顯示第3實施形態之測距裝置10c之修正處理之一例之流程圖。該修正處理與圖23之修正處理同樣，藉由例如自應用部20對測距裝置10c傳遞指示攝像(測距)之開始之攝像開始指示而開始。
於圖28之流程圖中，因步驟S101～步驟S201之處理與上述之圖26之對應之處理同樣，故省略此處之詳細說明。測距裝置10c若於步驟S201中算出IR圖像資訊，則將處理移行至步驟S301。
測距裝置10c之飽和值推定部62c基於步驟S103中算出之飽和區域Rsa 及步驟S201中算出之IR圖像資訊，算出修正值(步驟S301)。
測距裝置10c之飽和區域補償部63c基於步驟S301中飽和值推定部62c算出之修正值，修正飽和區域Rsa 之IR圖像資訊(步驟S302)。
測距裝置10c之控制部40基於步驟S101中拍攝之各相位之各像素信號，求出控制光源部11及受光部12之控制信號(步驟S106)。控制部40將求出之控制信號記憶於暫存器等。
測距裝置10c判定攝像是否結束(步驟S107)。測距裝置10a於例如自應用部20接收到指示攝像之結束之攝像結束指示之情形時，判定為攝像結束(步驟S107，為「是」)。於該情形時，測距裝置10c結束修正處理。
另一方面，測距裝置10c於未自應用部20接收到攝像結束指示，而判定為攝像未結束之情形時(步驟S107，為「否」)，將處理返回至步驟S101。該步驟S101～步驟S107之處理以例如1訊框單位重複。
如此，第3實施形態之測距裝置10c(資訊處理裝置之一例)具備修正部60c(控制部之一例)。修正部60c修正IR圖像資訊(受光圖像資訊之一例)之飽和區域之像素值。藉此，可抑制受光圖像資訊(於第3實施形態為IR圖像資訊)之精度之下降。
＜5.變化例＞ 於上述第1實施形態中，雖對測距裝置10a藉由包含CPU100、ROM101、RAM102、UI部104、儲存裝置103、I/F105等之電子機器1而作為硬體裝置構成進行了說明，但此不限定於該例。例如，亦可相對於圖11或圖12所示之積層半導體晶片構成之感測器單元111，包含圖17所示之控制部40、測距部50及修正部60，而作為測距裝置10a之整體，構成為1個半導體元件。此針對第2、第3實施形態之測距裝置10b、10c亦可同樣應用。
又，於上述實施形態中，雖對飽和區域Rsa 中反射光圖像資訊之像素值Confidence成為零進行了說明，但不限定於此。例如，於受光部12之各相位之像素信號之一部分飽和之情形時，亦有反射光圖像資訊之像素值Confidence不成為零之情形。但，於該情形時，因基於飽和之像素信號算出反射光圖像資訊之像素值Confidence，故有於像素值Confidence包含誤差，且反射光圖像資訊變得不連續之虞。因此，如此般於受光部12之各相位之像素信號之一部分飽和之情形時，亦可進行修正部60、60b之修正處理。
又，於上述實施形態中，修正部60、60b、60c進行受光圖像資訊之修正，但不限定於此。例如，亦可由應用部20進行受光圖像資訊之修正。於該情形時，圖1之電子機器1成為進行受光圖像資訊之修正之資訊處理裝置。
或者，可以專用之電腦系統實現上述實施形態之修正部60、60b、60c，亦可以泛用之電腦系統實現。
例如，將用於執行上述修正處理之動作之程式儲存於光碟、半導體記憶體、磁帶、軟性磁碟、硬碟等電腦可讀取之記錄媒體而散佈。且，例如將該程式安裝於電腦，且執行上述處理，藉此構成包含修正部60之資訊處理裝置。此時，資訊處理裝置可為電子機器1之外部裝置(例如個人電腦)。又，資訊處理裝置亦可為電子機器1之內部裝置(例如控制部40)。
又，亦可將上述通信程式預先儲存於網際網路等網路上之伺服器裝置所具備之磁碟裝置，且可供下載至電腦等。又，亦可藉由OS(Operating System：操作系統)與應用軟體之協動而實現上述功能。於該情形時，可將OS以外之部分預先儲存於媒體而散佈，亦可將OS以外之部分預先儲存於伺服器裝置，且可供下載至電腦等。
又，於上述實施形態所說明之各處理中，可將作為自動進行者而說明之處理之全部或一部分以手動進行，或亦可將作為手動進行者而說明之處理之全部或一部分以周知之方法自動進行。此外，針對包含上文中或圖式中所示之處理順序、具體名稱、各種資料或參數之資訊，除特別記載之情形外可任意變更。例如，各圖所示之各種資訊不限定於圖示之資訊。
又，圖示之各裝置之各構成要件係功能概念性者，未必需要如物理性圖示般構成。即，各裝置之分散/整合之具體形態不限定於圖示者，可根據各種負荷或使用狀況等，將其全部或一部分以任意單位功能性或物理性地分散/整合而構成。
＜6.結論＞
以上，雖對本揭示之各實施形態進行了說明，但本揭示之技術範圍並非受限定於上述各實施形態者，可於不脫離本揭示之主旨之範圍內進行各種變更。又，亦可適當組合不同之實施形態及變化例之構成要件。
又，本說明書所記載之各實施形態之效果僅為例示，並非受限定者，亦可有其他效果。
另，本技術亦可採取如以下之構成。 (1) 一種資訊處理裝置，其具備控制部， 該控制部檢測基於受光感測器輸出之像素信號產生之受光圖像資訊之飽和區域，上述受光感測器係接收自光源照射之射出光由被測定物反射之反射光者， 上述像素信號用於算出距上述被測定物之距離， 上述飽和區域係基於飽和之上述像素信號產生之上述受光圖像資訊之區域；且 該控制部基於上述像素信號，修正上述飽和區域之上述受光圖像資訊。 (2) 如(1)之資訊處理裝置，其中 上述受光圖像資訊係根據上述像素信號所包含之上述反射光之成分而產生之圖像資訊。 (3) 如(1)之資訊處理裝置，其中 上述受光圖像資訊係根據上述像素信號所包含之上述反射光之成分及環境光之成分而產生之圖像資訊。 (4) 如(2)或(3)之資訊處理裝置，其中 上述控制部 基於上述像素信號未飽和之非飽和區域中與上述飽和區域相鄰之上述受光圖像資訊之像素值，修正上述飽和區域之上述像素值。 (5) 如(4)之資訊處理裝置，其中 上述控制部 使用基於上述像素信號未飽和之非飽和區域中位於上述飽和區域周圍之上述受光圖像資訊之上述像素值之平均值而算出之修正值，修正上述飽和區域之上述像素值。 (6) 如(5)之資訊處理裝置，其中 上述修正值係大於上述平均值之值。 (7) 如(4)之資訊處理裝置，其中 上述控制部 根據依照上述像素信號所包含之上述反射光之成分及環境光之成分而算出之受光值之變化率，修正上述飽和區域之上述像素值。 (8) 一種修正方法，其包含以下步驟： 檢測基於受光感測器輸出之像素信號產生之受光圖像資訊之飽和區域，上述受光感測器係接收自光源照射之射出光由被測定物反射之反射光者， 上述像素信號用於算出距上述被測定物之距離， 上述飽和區域係基於飽和之上述像素信號產生之上述受光圖像資訊之區域；及 基於上述像素信號修正上述飽和區域之上述受光圖像資訊。 (9) 一種程式，其用於使電腦作為控制部發揮功能， 該控制部檢測基於受光感測器輸出之像素信號產生之受光圖像資訊之飽和區域，上述受光感測器係接收自光源照射之射出光由被測定物反射之反射光者， 上述像素信號用於算出距上述被測定物之距離， 上述飽和區域係基於飽和之上述像素信號產生之上述受光圖像資訊之區域；且 該控制部基於上述像素信號，修正上述飽和區域之上述受光圖像資訊。
1:電子機器 10:測距裝置 10a:測距裝置 10b:測距裝置 10c:測距裝置 11:光源部 12:受光部 13:測距處理部 20:應用部 30:射出光 31:被測定物 32:反射光 40:控制部 50:測距部 51:輸出線 60:控制部 60b:修正部 60c:修正部 61:飽和區域檢測部 61b:飽和區域檢測部 61c:飽和區域檢測部 62:飽和值推定部 62c:飽和值推定部 63:飽和區域補償部 63b:飽和區域補償部 63c:飽和區域補償部 64:IR算出部 64c:IR算出部 100:CPU 101:ROM 102:RAM 103:儲存裝置 104:UI部 105:I/F 110:光源單元 111:感測器單元 150:控制線 231:光電二極體 232:傳送電晶體 233:重設電晶體 234:浮動擴散層 235:放大電晶體 236:選擇電晶體 237:傳送電晶體 238:重設電晶體 239:浮動擴散層 240:放大電晶體 241:選擇電晶體 242:溢流電晶體 1110:感測器晶片 1111:像素區域 1112:像素 1120:電路晶片 1120a:第1電路晶片 1120b:第2電路晶片 1121:垂直驅動電路 1122:行信號處理部 1123:時序控制電路 1124:輸出電路 A-A‘:線段 A0 :光量值 A90 :光量值 A180 :光量值 A270 :光量值 AINP1 :像素信號 AINP2 :像素信號 B0 :光量值 B90 :光量值 B180 :光量值 B270 :光量值 C0 :光量值 C90 :光量值 C180 :光量值 C270 :光量值 Cmax :光量值 D:距離 D1:距離 D2:距離 DIMIX_A:曝光控制信號 DIMIX_B:曝光控制信號 G1:圖表 G2:圖表 G3:圖表 I2:圖像 I3:圖像 I4:反射光圖像資訊 I5:反射光圖像資訊 I6:反射光圖像資訊 IR:像素值 Mb1 :像素 Mb2 :像素 OFG:溢流閘極信號 Pb :像素值 Pmax1 :修正值 Rnsa :非飽和區域 Rsa :飽和區域 Rsa1 :第1飽和區域 Rsa2 :第2飽和區域 RST:重設信號 RSTp :重設信號 SEL:選擇信號 SELp :選擇信號 S101～S107:步驟 S201～S202:步驟 S301～S302:步驟 T:期間 ΔT:延遲期間 TAP_A:分接頭A TAP_B:分接頭B TRG:傳送信號 t0 ～t3 :時點 t10 ～t18 :時點 t20 ～t28 :時點 t30 ～t34 :時點 VDD:電源線 VSL1 :垂直信號線 VSL2 :垂直信號線 Φ:相位
圖1係顯示使用應用於各實施形態之測距裝置之電子機器之構成之一例之方塊圖。 圖2係用於說明間接ToF方式之原理之圖。 圖3係顯示來自光源部之射出光為藉由PWM調變之矩形波之情形之例的圖。 圖4係顯示受光部所接收之光量之例之圖。 圖5係用於說明應用於各實施形態之各光量值之取得及各資訊之算出之第1方法之圖。 圖6係用於說明應用於各實施形態之各光量值之取得及各資訊之算出之第2方法之圖。 圖7係顯示各相位之曝光控制信號之一例之圖。 圖8係顯示每個受光部(每個受光元件)之各相位0°、90°、180°及270°之分接頭A及分接頭B之曝光期間之例之圖。 圖9係用於說明受光部12之受光時序之圖。 圖10係用於說明應用於各實施形態之各光量值之取得及各資訊之算出之第3方法之圖。 圖11係顯示應用於各實施形態之電子機器之一例之構成之方塊圖。 圖12係顯示應用於各實施形態之感測器單元之構成之例之方塊圖。 圖13係顯示應用於各實施形態之像素之一例之構成之電路圖。 圖14係顯示藉由層構造之積層型CIS形成應用於各實施形態之感測器單元之例之圖。 圖15係顯示藉由層構造之積層型CIS形成應用於各實施形態之感測器單元之例之圖。 圖16係用於說明本揭示之第1實施形態之修正方法之概要之圖。 圖17係用於說明本揭示之第1實施形態之測距裝置之功能的一例之功能方塊圖。 圖18係用於說明2分接頭方式(4phase(相位))之反射光圖像資訊之算出方法之圖。 圖19係用於對飽和值推定部推定之飽和值進行說明之圖。 圖20係用於對修正區域補償部之像素信號之修正進行說明之圖。 圖21係顯示飽和區域補償部之修正前之反射光圖像資訊之一例之圖。 圖22係顯示飽和區域補償部之修正後之反射光圖像資訊之一例之圖。 圖23係顯示第1實施形態之測距裝置之修正處理之一例之流程圖。 圖24係用於說明第2實施形態之測距裝置之功能之一例之方塊圖。 圖25係用於對飽和區域補償部之飽和區域之修正進行說明之圖。 圖26係顯示第2實施形態之測距裝置之修正處理之一例之流程圖。 圖27係用於說明第3實施形態之測距裝置之功能之一例之方塊圖。 圖28係顯示第3實施形態之測距裝置之修正處理之一例之流程圖。
1:電子機器
10:測距裝置
11:光源部
12:受光部
13:測距處理部
20:應用部
30:射出光
31:被測定物
32:反射光
D:距離

Claims (9)

  1. 一種資訊處理裝置，其具備控制部， 該控制部檢測基於受光感測器輸出之像素信號產生之受光圖像資訊之飽和區域，上述受光感測器係接收自光源照射之射出光由被測定物反射之反射光者， 上述像素信號用於算出距上述被測定物之距離， 上述飽和區域係基於飽和之上述像素信號產生之上述受光圖像資訊之區域；且 該控制部基於上述像素信號，修正上述飽和區域之上述受光圖像資訊。
  2. 如請求項1之資訊處理裝置，其中 上述受光圖像資訊係根據上述像素信號所包含之上述反射光之成分而產生之圖像資訊。
  3. 如請求項1之資訊處理裝置，其中 上述受光圖像資訊係根據上述像素信號所包含之上述反射光之成分及環境光之成分而產生之圖像資訊。
  4. 如請求項2之資訊處理裝置，其中 上述控制部 基於上述像素信號未飽和之非飽和區域中與上述飽和區域相鄰之上述受光圖像資訊之像素值，修正上述飽和區域之上述像素值。
  5. 如請求項4之資訊處理裝置，其中 上述控制部 使用基於上述像素信號未飽和之非飽和區域中位於上述飽和區域周圍之上述受光圖像資訊之上述像素值之平均值而算出之修正值，修正上述飽和區域之上述像素值。
  6. 如請求項5之資訊處理裝置，其中 上述修正值係大於上述平均值之值。
  7. 如請求項4之資訊處理裝置，其中 上述控制部 根據依照上述像素信號所包含之上述反射光之成分及環境光之成分而算出之受光值之變化率，修正上述飽和區域之上述像素值。
  8. 一種修正方法，其包含以下步驟： 檢測基於受光感測器輸出之像素信號產生之受光圖像資訊之飽和區域，上述受光感測器係接收自光源照射之射出光由被測定物反射之反射光者， 上述像素信號用於算出距上述被測定物之距離， 上述飽和區域係基於飽和之上述像素信號產生之上述受光圖像資訊之區域；及 基於上述像素信號修正上述飽和區域之上述受光圖像資訊。
  9. 一種程式，其用於使電腦作為控制部發揮功能， 該控制部檢測基於受光感測器輸出之像素信號產生之受光圖像資訊之飽和區域，上述受光感測器係接收自光源照射之射出光由被測定物反射之反射光者， 上述像素信號用於算出距上述被測定物之距離， 上述飽和區域係基於飽和之上述像素信號產生之上述受光圖像資訊之區域；且 該控制部基於上述像素信號，修正上述飽和區域之上述受光圖像資訊。
TW109125040A 2019-09-27 2020-07-24 資訊處理裝置、修正方法及程式 TW202130973A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019176862 2019-09-27
JP2019-176862 2019-09-27

Publications (1)

Publication Number Publication Date
TW202130973A true TW202130973A (zh) 2021-08-16

Family

ID=75166581

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109125040A TW202130973A (zh) 2019-09-27 2020-07-24 資訊處理裝置、修正方法及程式

Country Status (7)

Country Link
US (1) US20220390577A1 (zh)
EP (1) EP4036521A4 (zh)
JP (1) JPWO2021059748A1 (zh)
KR (1) KR20220069944A (zh)
CN (1) CN114521241A (zh)
TW (1) TW202130973A (zh)
WO (1) WO2021059748A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230107489A1 (en) * 2021-10-04 2023-04-06 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523437B (zh) * 2023-10-30 2024-09-27 河南送变电建设有限公司 一种用于变电站近电作业现场实时风险识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061033A (ja) * 2006-08-31 2008-03-13 Sanyo Electric Co Ltd スミア推測方法およびスミア除去回路
JP2016183922A (ja) * 2015-03-26 2016-10-20 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
CN107710015B (zh) * 2015-07-03 2021-08-24 新唐科技日本株式会社 距离测量装置以及距离图像合成方法
JP2017133853A (ja) 2016-01-25 2017-08-03 株式会社リコー 測距装置
JP6922187B2 (ja) * 2016-11-08 2021-08-18 株式会社リコー 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び光源駆動条件設定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230107489A1 (en) * 2021-10-04 2023-04-06 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
US11922606B2 (en) * 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Also Published As

Publication number Publication date
WO2021059748A1 (ja) 2021-04-01
CN114521241A (zh) 2022-05-20
EP4036521A1 (en) 2022-08-03
EP4036521A4 (en) 2022-10-19
JPWO2021059748A1 (zh) 2021-04-01
KR20220069944A (ko) 2022-05-27
US20220390577A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US10658405B2 (en) Solid-state image sensor, electronic apparatus, and imaging method
US10110827B2 (en) Imaging apparatus, signal processing method, and program
US8687099B2 (en) Imaging device, imaging method, and electronic device
JP5891451B2 (ja) 撮像装置
JP6664122B2 (ja) 固体撮像装置及びカメラ
JP5511203B2 (ja) 撮像素子及び撮像装置
KR102708582B1 (ko) 촬상 소자, 촬상 소자의 제어 방법, 및 전자기기
JP2013207433A (ja) 固体撮像装置、撮像信号出力方法および電子機器
WO2006129460A1 (ja) 撮像装置
JP2008113141A (ja) 撮像装置及び信号処理方法
TW202130973A (zh) 資訊處理裝置、修正方法及程式
US9571771B2 (en) Data transfer circuit, imaging device and imaging apparatus
US20220046158A1 (en) Distance measuring device
KR20150124367A (ko) 광전 변환 소자들을 포함하는 픽셀을 포함하는 이미지 센서와 이를 포함하는 이미지 처리 장치
WO2020170969A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
JP2010016594A (ja) 撮像装置及び固体撮像素子の駆動方法
JP2011055351A (ja) 撮影装置及びその制御方法
JP6411795B2 (ja) 信号処理装置および方法、撮像素子、並びに、撮像装置
TW201143402A (en) Image sensor, drive control method, and program
US9094626B2 (en) Solid-state imaging device, method for controlling solid-state imaging device, and imaging device
JP2015002469A (ja) 撮像装置、撮像システム、撮像装置の駆動方法、撮像システムの駆動方法
JP2010062639A (ja) 撮像装置
US9124836B2 (en) Image sensor and method of driving the same
JP2004297807A (ja) 画像情報におけるノイズを補償するシステム及び方法
JP6733229B2 (ja) 固体撮像装置、画像読取装置および画像形成装置