TW202112122A - 距離影像攝像裝置及距離影像攝像方法 - Google Patents

距離影像攝像裝置及距離影像攝像方法 Download PDF

Info

Publication number
TW202112122A
TW202112122A TW109125942A TW109125942A TW202112122A TW 202112122 A TW202112122 A TW 202112122A TW 109125942 A TW109125942 A TW 109125942A TW 109125942 A TW109125942 A TW 109125942A TW 202112122 A TW202112122 A TW 202112122A
Authority
TW
Taiwan
Prior art keywords
charge
light
distance
period
mode
Prior art date
Application number
TW109125942A
Other languages
English (en)
Other versions
TWI780462B (zh
Inventor
赤堀知行
大久保優
畠山邦廣
高橋聰
Original Assignee
日商凸版印刷股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商凸版印刷股份有限公司 filed Critical 日商凸版印刷股份有限公司
Publication of TW202112122A publication Critical patent/TW202112122A/zh
Application granted granted Critical
Publication of TWI780462B publication Critical patent/TWI780462B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本發明的距離影像攝像裝置係具備：光源部，係對量測對象的空間即量測空間照射光脈衝；光接收部，係具有像素及像素驅動電路，前述像素係具備產生與射入的光相應之電荷的光電轉換元件及蓄積前述電荷的複數個電荷蓄積部，前述像素驅動電路係以同步於前述光脈衝的照射的預定的蓄積時序令前述電荷分配蓄積至前述像素的電荷蓄積部的各者；及距離影像處理部，係根據蓄積在前述電荷蓄積部的各者的電荷量，量測到存在於前述量測空間的被攝體的距離；前述距離影像處理部係具有依相應於作為量測對象的距離的範圍而預先規定好的量測模式控制前述蓄積時序的時序控制部。

Description

距離影像攝像裝置及距離影像攝像方法
本發明係有關距離影像攝像裝置及距離影像攝像方法。
習知技術中，已知有種飛行時間(Time of Flight，以下稱為「TOF」)式的距離影像攝像裝置，其係利用光的速度已知這點，根據光的飛行時間來量測與被攝體的距離。在距離影像攝像裝置中係同攝像裝置一樣，有複數個對供量測距離之用的光進行檢測的像素配置成二維矩陣狀，能夠取得(攝得)與被攝體之間的二維距離的資訊和被攝體的影像。
當欲使用如上述的距離影像攝像裝置對到遠距離存在的物體的距離精度佳地進行量測時，有個方法是增加分配次數(曝光量)。然而，會有在遠距離存在的物體以外，在近距離另外存在別的物體的狀況。在此種狀況中，當令光同時照射至遠距離存在的物體及近距離存在的物體雙方，近距離存在的物體反射的反射光便以比遠距離存在的物體反射的反射光大的強度被接收。當接收到如上述的大的強度的反射光，在距離影像攝像裝置內的透鏡(lens)等光學系統，便發生稱為光斑(flare)現象的多重反射。該光斑現象會影響對量測遠距離存在的物體的距離之用的光進行檢測的像素的光接收量，成為量測的距離產生誤差之要因。
就抑制多重反射的發生而降低量測距離的誤差的對策而言，藉由改善距離影像攝像裝置內的光學設計與光學材料、量測環境，能夠減輕或回避光斑現象。然而，在另一方面，有透鏡需要特殊加工而致成本(cost)上升、量測環境受限等問題。
就有別於上述對策的對策而言，可考慮進行將因光斑現象而接收到的光接收成分從像素的光接收量去除的處理。在下述之專利文獻1中係揭示使用基準電荷量比的資料庫(database)將因光斑現象而接收到的光接收成分去掉的技術。基準電荷量比乃係在沒有發生光斑時的理想的環境下對對象物進行量測而得的按距離的電荷量的比。 [先前技術文獻] [專利文獻]
專利文獻1：日本特許第6298236號公報
[發明欲解決之課題]
然而，上述專利文獻1的技術係必須建立基準電荷量比的資料庫。為了將因光斑現象而接收到的光接收成分精度佳地去除，必須在建構起不會發生光斑的理想環境的基礎上，細密地設定距離進行取樣(sampling)，建立詳細的資料庫。因此，有建立資料庫費工的問題。
本發明乃係基於上述課題而研創，目的在於提供不用改變裝置內的光學構成且不用建立指出理想環境下的距離與電荷量的比之關係的資料庫就能夠抑制光斑現象造成的影響之距離影像攝像裝置及距離影像攝像方法。 [用以解決課題之手段]
本發明的距離影像攝像裝置係具備：光源部，係對量測對象的空間即量測空間照射光脈衝(pulse)；光接收部，係具有像素及像素驅動電路，前述像素係具備產生與射入的光相應之電荷的光電轉換元件及蓄積前述電荷的複數個電荷蓄積部，前述像素驅動電路係以同步於前述光脈衝的照射的預定的蓄積時序(timing)令前述電荷分配蓄積至前述像素的電荷蓄積部的各者；及距離影像處理部，係根據蓄積在前述電荷蓄積部的各者的電荷量，量測到存在於前述量測空間的被攝體的距離；前述距離影像處理部係具有依相應於作為量測對象的距離的範圍而預先規定好的量測模式(mode)控制前述蓄積時序的時序控制部。
在本發明的距離影像攝像裝置中，前述像素的複數個前述電荷蓄積部係由第1電荷蓄積部、第2電荷蓄積部、及第3電荷蓄積部組成；前述時序控制部係當前述量測模式為遠距離模式時，於沒有照射前述光脈衝的關斷(off)狀態即外光蓄積期間使前述電荷蓄積至前述第1電荷蓄積部，將至少光斑光接收期間設為不使前述電荷蓄積至前述電荷蓄積部的任一者的非蓄積期間，在經過前述非蓄積期間後，使與於反射光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第2電荷蓄積部及第3電荷蓄積部；前述光斑光接收期間乃係比照射前述光脈衝的期間即照射期間慢了預定的脈衝光延遲時間之期間；前述反射光接收期間乃係比前述照射期間慢了比前述脈衝光延遲時間還大的反射光延遲時間之期間；前述光斑光接收期間與前述反射光接收期間乃係彼此不重疊的期間。
在本發明的距離影像攝像裝置中，前述像素的複數個前述電荷蓄積部係由第1電荷蓄積部、第2電荷蓄積部、及第3電荷蓄積部組成；前述時序控制部係當前述量測模式為中距離模式時，使與於光斑光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第1電荷蓄積部及第2電荷蓄積部，使與於反射光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第2電荷蓄積部及第3電荷蓄積部；前述光斑光接收期間乃係比照射前述光脈衝的期間即照射期間慢了預定的脈衝光延遲時間之期間；前述反射光接收期間乃係比前述照射期間慢了比前述脈衝光延遲時間還大的反射光延遲時間之期間；前述光斑光接收期間與前述反射光接收期間乃係至少一部分彼此重疊的期間；前述距離影像處理部係根據在前述中距離模式中蓄積在前述電荷蓄積部的各者的電荷量，從前述電荷量將起因於光斑光的光斑光成分抽出，根據從前述電荷量將所抽出的光斑光成分去除所得的值，量測到前述被攝體的距離。
在本發明的距離影像攝像裝置中，前述時序控制部係就前述量測模式而言以前述中距離模式及中距離外光模式進行量測，當前述量測模式為中距離外光模式時，於沒有照射前述光脈衝的關斷狀態即外光蓄積期間使前述電荷蓄積至前述第1電荷蓄積部；前述距離影像處理部係根據在前述中距離模式中蓄積在前述電荷蓄積部的各者的電荷量，將起因於光斑光的光斑光成分抽出；根據在前述中距離外光模式中蓄積在前述電荷蓄積部的各者的電荷量，將起因於外光得外光成分抽出；使用所抽出的前述光斑光成分及前述外光成分，量測到前述被攝體的距離。
在本發明的距離影像攝像裝置中，前述時序控制部係當前述量測模式為前述中距離外光模式時，於前述光脈衝為前述關斷狀態即外光蓄積期間使前述第1電荷蓄積部蓄積至前述電荷，將光斑光接收期間設為不使前述電荷蓄積至前述電荷蓄積部的任一者的非蓄積期間，使與於反射光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第2電荷蓄積部及第3電荷蓄積部；前述距離影像處理部係將在前述中距離模式中蓄積在前述電荷蓄積部的各者的電荷量與在前述中距離外光模式中蓄積在前述電荷蓄積部的各者的電荷量合成，藉此，量測到存在於前述量測空間的被攝體的距離。
在本發明的距離影像攝像裝置中，前述距離影像處理部係以在前述中距離模式中蓄積在前述第1電荷蓄積部的電荷量乘以常數倍所得的值作為蓄積在前述第2電荷蓄積部的電荷量所含的起因於光斑光的光斑光成分而抽出。
在本發明的距離影像攝像裝置中，前述像素的複數個前述電荷蓄積部係由第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部及第4電荷蓄積部組成；前述時序控制部係於沒有照射前述光脈衝的關斷狀態即外光蓄積期間使前述電荷蓄積至前述第1電荷蓄積部；使與於光斑光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第2電荷蓄積部及第3電荷蓄積部，使與於反射光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第3電荷蓄積部及第4電荷蓄積部；前述光斑光接收期間乃係比照射前述光脈衝的期間即照射期間慢了預定的脈衝光延遲時間之期間；前述反射光接收期間乃係比前述照射期間慢了比前述脈衝光延遲時間還大的反射光延遲時間之期間。
在本發明的距離影像攝像裝置中，復具備控制量測的量測控制部；前述量測控制部係將前述量測模式採用第1通常模式來量測到前述被攝體的距離；根據在前述第1通常模式中蓄積在電荷蓄積部的各者的電荷量，判定是否有存在於比前述被攝體更近距離的近距離物體存在於前述量測空間；當前述近距離物體存在於前述量測空間時，變更前述量測模式，進行再次量測；前述像素的複數個前述電荷蓄積部係由第1電荷蓄積部、第2電荷蓄積部、及第3電荷蓄積部組成；前述時序控制部係當前述量測模式為前述第1通常模式時，令於沒有照射前述光脈衝的關斷狀態即外光蓄積期間使前述電荷蓄積至前述第1電荷蓄積部、於成為照射前述光脈衝的導通(on)狀態後的預定的反射光接收期間使前述電荷依序蓄積至前述第2電荷蓄積部及第3電荷蓄積部之蓄積週期反覆進行預定的累計次數。
在本發明的距離影像攝像裝置中，前述量測控制部係當在前述第1通常模式中蓄積在前述第2電荷蓄積部的電荷量為預定的閾值以上時，判定為前述近距離物體存在於前述量測空間。
本發明的距離影像攝像方法係藉由距離影像攝像裝置進行的距離影像攝像方法；前述距離影像攝像裝置係具備：光源部，係對量測對象的空間即量測空間照射光脈衝；光接收部，係具有像素及像素驅動電路，前述像素係具備產生與射入的光相應之電荷的光電轉換元件及蓄積前述電荷的複數個電荷蓄積部，前述像素驅動電路係以同步於前述光脈衝的照射的預定的蓄積時序令前述電荷分配蓄積至前述像素的電荷蓄積部的各者；距離影像處理部，係根據蓄積在前述電荷蓄積部的各者的電荷量，量測到存在於前述量測空間的被攝體的距離；及時序控制部，係控制前述蓄積時序；前述距離影像攝像方法係含有：前述時序控制部依相應於作為量測對象的距離的範圍而預先規定好的量測模式控制前述蓄積時序之步驟。 [發明之效果]
依據本發明，不用改變裝置內的光學構成且不用使用資料庫就能夠抑制光斑現象造成的影響。
[用以實施發明的形態]
以下，參照圖式說明實施形態的距離影像攝像裝置。
＜第1實施形態＞ 首先，針對第1實施形態進行說明。 圖1係顯示本發明第1實施形態的距離影像攝像裝置的概略構成之方塊圖。圖1所示構成的距離影像攝像裝置1係具備光源部2、光接收部3及距離影像處理部4。在圖1中係一併顯示有距離影像攝像裝置1量測距離的對象物即被攝體S。
光源部2係遵循來自距離影像處理部4的控制，對距離影像攝像裝置1量測距離的對象即被攝體S所存在的作為攝影對象的空間照射光脈衝PO。光源部2係例如為垂直共振腔面射型雷射(VCSEL；Vertical Cavity Surface Emitting Laser)等面射型的半導體雷射模組(module)。光源部2係具備光源裝置21及擴散板22。
光源裝置21乃係發出成為照射至被攝體S的光脈衝PO之近紅外線波長帶(例如，波長850nm至940nm的波長帶)的雷射光之光源。光源裝置21係例如為半導體雷射發光元件。光源裝置21係相應於來自時序控制部41的控制而發出脈衝狀的雷射光。
擴散板22乃係將光源裝置21發出的近紅外線波長帶的雷射光擴散成照射至被攝體S的面之寬廣度之光學零件。經擴散板22擴散的脈衝狀的雷射光係作為光脈衝PO射出，照射至被攝體S。
光接收部3係接收被距離影像攝像裝置1量測距離的對象即被攝體S反射回來的光脈衝PO的反射光RL，輸出與所接收到的反射光RL相應的像素信號。光接收部3係具備透鏡31及距離影像感測器(sensor)32。
透鏡31乃係將射入的反射光RL導往距離影像感測器32之光學透鏡。透鏡31係使射入的反射光RL往距離影像感測器32側射出，而由距離影像感測器32的光接收區域所具備的像素接收(射入距離影像感測器32的光接收區域所具備的像素)。
距離影像感測器32乃係距離影像攝像裝置1所使用的攝像元件。距離影像感測器32係在二維的光接收區域具備複數個像素。在距離影像感測器32的各個像素中設有一個光電轉換元件、與該一個光電轉換元件對應的複數個電荷蓄積部、及將電荷分配給各個電荷蓄積部的構成要素。亦即，像素乃係將電荷分配蓄積至複數個電荷蓄的分配構成的攝像元件。
距離影像感測器32係相應於來自時序控制部41的控制而將光電轉換元件所產生的電荷分配給各個電荷蓄積部。此外，距離影像感測器32係輸出與分配給電荷蓄積部的電荷量相應的像素信號。在距離影像感測器32係有複數個像素配置成二維矩陣狀，係輸出各個像素相對應的1幀份的像素信號。
距離影像處理部4係控制距離影像攝像裝置1，演算到被攝體S的距離。距離影像處理部4係具備時序控制部41、距離演算部42及量測控制部43。
時序控制部41係相應於量測控制部43的控制而控制將進行量測所需的各種控制信號予以輸出的時序。此處的各種控制信號，係例如指控制光脈衝PO的照射的信號和將反射光RL分配給複數個電荷蓄積部的信號、控制每單一幀的分配次數的信號等。所謂的分配次數，係指將電荷分配給電荷蓄積部CS(參照圖3)的處理的反覆進行次數。
距離演算部42係根據從距離影像感測器32輸出而來的像素信號，演算到被攝體S的距離，輸出所演算得的距離資訊。距離演算部42係根據蓄積在複數個電荷蓄積部的電荷量，算出照射光脈衝PO後到接收反射光RL為止的延遲時間Td(參照圖12A)。距離演算部42係相應於所算出的延遲時間Td而演算到被攝體S的距離。
量測控制部43係相應於量測環境而從複數個量測模式選擇一個量測模式。量測模式係按每一個進行量測的環境而設，以照射光脈衝PO的時序與將反射光RL分配給複數個電荷蓄積部的時序彼此間相異的關係訂定。進行量測的環境係相應於作為量測之對象的距離的範圍及是否要將成為量測精度惡化之要因的光斑光考量在內等而區分。針對量測模式的詳情，於後再詳細進行說明。
藉由如上述的構成，在距離影像攝像裝置1中，光接收部3係接收由光源部2照射至被攝體S的近紅外線波長帶的光脈衝PO被被攝體S反射的反射光RL，距離影像處理部4係輸出對與被攝體S的距離進行量測而得的距離資訊。
在圖1中係顯示在內部具備距離影像處理部4之構成的距離影像攝像裝置1，但距離影像處理部4係亦可為在距離影像攝像裝置1外部具備的構成要素。
接著，針對在距離影像攝像裝置1中作為攝像元件使用的距離影像感測器32的構成進行說明。圖2係顯示本發明第1實施形態的距離影像攝像裝置1所使用的攝像元件(距離影像感測器32)的概略構成之方塊圖。
如圖2所示，距離影像感測器32係例如具備配置有複數個像素321的光接收區域320、控制電路322、具有分配動作的垂直掃描電路323、水平掃描電路324、及像素信號處理電路325。
光接收區域320乃係配置有複數個像素321的區域，在圖2中係顯示配置成8列8行二維矩陣狀的例子。像素321係蓄積與所接收到的光量相當的電荷。控制電路322係統籌控制距離影像感測器32。控制電路322係例如相應於來自距離影像處理部4的時序控制部41的指示而控制距離影像感測器32的構成要素的動作。距離影像感測器32具備的構成要素的控制係亦可為由時序控制部41直接進行的構成，此時亦能夠省略控制電路322。
垂直掃描電路323乃係相應於來自控制電路322的控制而按行控制配置在光接收區域320的像素321之電路。垂直掃描電路323係令與蓄積在像素321的電荷蓄積部CS各者的電荷量相應的電壓信號輸出至像素信號處理電路325。此時，垂直掃描電路323係將藉由光電轉換元件所轉換出的電荷分配給像素321的電荷蓄積部各者。亦即，垂直掃描電路323乃係「像素驅動電路」的一例。
像素信號處理電路325乃係相應於來自控制電路322的控制而對從各個行的像素321輸出至相對應垂直信號線的電壓信號進行預先規定好的信號處理(例如，雜訊(noise)抑制處理和A/D轉換處理等)之電路。
水平掃描電路324乃係相應於來自控制電路322的控制而令從像素信號處理電路325輸出的信號依序輸出至水平信號線之電路。藉此，使與蓄積1幀份的電荷量相當的像素信號經由水平信號線依序輸出至距離影像處理部4。
在以下的說明中係以像素信號處理電路325進行A/D轉換處理、像素信號為數位(digital)信號來進行說明。
此處，針對距離影像感測器32具備的光接收區域320內所配置的像素321的構成進行說明。圖3係顯示本發明第1實施形態的距離影像攝像裝置1所使用的攝像元件(距離影像感測器32)的光接收區域320內所配置的像素321的構成的一例之電路圖。在圖3中係顯示配置在光接收區域320內的複數個像素321其中一個像素321的構成的一例。像素321乃係具備三個像素信號讀出部的構成的一例。
像素321係具備一個光電轉換元件PD、汲閘(drain gate)電晶體(transistor)GD、及從相對應的輸出端子O輸出電壓信號的三個像素信號讀出部RU。像素信號讀出部RU的各者係具備讀出閘電晶體G、浮動擴散(floating diffusion)FD、電荷蓄積電容C、重置(reset)閘電晶體RT、源極隨耦器閘(source follower gate)電晶體SF、及選擇閘電晶體SL。在各個像素信號讀出部RU中係藉由浮動擴散FD與電荷蓄積電容C構成電荷蓄積部CS。
在圖3中，係在三個像素信號讀出部RU的元件符號「RU」後面添加數字「1」、「2」或「3」，藉此區別各個像素信號讀出部RU。此外，同樣地，對於三個像素信號讀出部RU所具備的各個構成要素，亦在元件符號後面標示代表各個像素信號讀出部RU的數字，藉此區別表示各個構成要素所對應的像素信號讀出部RU。
在圖3所示的像素321中，從輸出端子O1輸出電壓信號的像素信號讀出部RU1係具備讀出閘電晶體G1、浮動擴散FD1、電荷蓄積電容C1、重置閘電晶體RT1、源極隨耦器閘電晶體SF1、及選擇閘電晶體SL1。在像素信號讀出部RU1中係藉由浮動擴散FD1與電荷蓄積電容C1構成電荷蓄積部CS1。像素信號讀出部RU2及像素信號讀出部RU3亦為相同的構成。電荷蓄積部CS1乃係「第1電荷蓄積部」的一例。電荷蓄積部CS2乃係「第2電荷蓄積部」的一例。電荷蓄積部CS3乃係「第3電荷蓄積部」的一例。
光電轉換元件PD乃係將射入的光進行光電轉換使電荷產生，將所產生的電荷予以蓄積之埋入型的光二極體(photo diode)。光電轉換元件PD的構造係可任意選擇。光電轉換元件PD係例如可為將P型半導體與N型半導體接合之構造的PN光二極體，亦可為在P型半導體與N型半導體之間隔著I型半導體之構造的PIN光二極體。此外，光電轉換元件PD並不限定為光二極體，例如亦可為光閘(photo gate)方式的光電轉換元件。
在像素321中，係將由光電轉換元件PD將射入的光進行光電轉換而產生的電荷分配給三個電荷蓄積部CS的各者，將與所分配到的電荷的電荷量相應的各自的電壓信號輸出至像素信號處理電路325。
配置在距離影像感測器32的像素的構成並不限定為如圖3所示的具備三個像素信號讀出部RU的構成，亦可為具備複數個像素信號讀出部RU的構成的像素。亦即，配置在距離影像感測器32的像素所具備的像素信號讀出部RU(電荷蓄積部CS)的數目亦可為2，亦可為4以上。
此外，在圖3所示構成的像素321中，係顯示藉由浮動擴散FD與電荷蓄積電容C來構成電荷蓄積部CS的一例。但電荷蓄積部CS係只要至少藉由浮動擴散FD構成即可，亦可為像素321並不具備電荷蓄積電容C的構成。
此外，在圖3所示構成的像素321中，係顯示具備汲閘電晶體GD的構成的一例，但在不需要將蓄積(殘餘)在光電轉換元件PD的電荷捨棄的情形中，亦可為不具備汲閘電晶體GD的構成。
接著，針對距離影像攝像裝置1的像素321的驅動(控制)方法，利用圖12A進行說明。圖12A係顯示習知技術的距離影像攝像裝置中驅動像素的驅動信號的時序之時序圖。
在圖12A中，係將照射光脈衝PO的時序以項目名稱「Light」表示，將接收反射光的時序以項目名稱「REFRECTION_B」表示，將驅動信號TX1的時序以項目名稱「G1」表示，將驅動信號TX2的時序以項目名稱「G2」表示，將驅動信號TX3的時序以項目名稱「G3」表示，將驅動信號RSTD的時序以項目名稱「GD」表示。此外，將距離影像攝像裝置中一連串的光接收動作時序以項目名稱「Camera」表示。在「Camera」中，係將讀出閘電晶體G1、G2、G3及汲閘電晶體GD變成導通狀態的時序分別以「G1」、「G2」、「G3」、及「GD」表示。驅動信號TX1乃係使讀出閘電晶體G1驅動的信號。針對驅動信號TX2、TX3亦同。
如圖12A所示，設光脈衝PO以照射時間To照射、反射光RL慢了延遲時間Td才被距離影像感測器32接收。垂直掃描電路323係同步於光脈衝PO的照射，依電荷蓄積部CS1、CS2、及CS3的順序使電荷蓄積。
首先，垂直掃描電路323係將讀出閘電晶體G1設為導通狀態。藉此，藉由光電轉換元件PD進行光電轉換所轉換出的電荷透過讀出閘電晶體G1蓄積至電荷蓄積部CS1。然後，垂直掃描電路323係將讀出閘電晶體G1設為關斷狀態。藉此，使電荷往電荷蓄積部CS1的轉送停止。如上述進行，垂直掃描電路323係使電荷蓄積至電荷蓄積部CS1。
接著，垂直掃描電路323係在使電荷往電荷蓄積部CS1的蓄積結束的時序，將讀出閘電晶體G2設為導通狀態，使電荷往電荷蓄積部CS2的蓄積開始。接下來的使電荷蓄積至電荷蓄積部CS2的處理的流程，由於與使電荷蓄積至電荷蓄積部CS1的處理的流程相同，故省略其說明。
另一方面，光源部2係在讀出閘電晶體G1成為關斷狀態的時序、亦即讀出閘電晶體G2成為導通狀態的時序，照射光脈衝PO。光源部2照射光脈衝PO的照射時間To為與蓄積期間Ta相同的長度。此處，讀出閘電晶體G1成為導通狀態，電荷蓄積在電荷蓄積部CS1的期間(蓄積期間Ta)乃係「外光蓄積期間」的一例。
接著，垂直掃描電路323係在使電荷往電荷蓄積部CS2的蓄積結束的時序，將讀出閘電晶體G3設為導通狀態，使電荷往電荷蓄積部CS3的蓄積開始。接下來的使電荷蓄積至電荷蓄積部CS3的處理的流程，由於與使電荷蓄積至電荷蓄積部CS1的處理的流程相同，故省略其說明。
接著，垂直掃描電路323係在使電荷往電荷蓄積部CS3的蓄積結束的時序，將汲閘電晶體GD設為導通狀態，進行電荷的排出。藉此，使藉由光電轉換元件PD進行光電轉換所轉換出的電荷透過汲閘電晶體GD捨棄。
將如上述的藉由垂直掃描電路323而進行的電荷往電荷蓄積部CS的蓄積與光電轉換元件PD進行光電轉換所轉換出的電荷的捨棄，反覆進行1整幀的期間。藉此，使與於預定的時間區間由距離影像攝像裝置1接收到的光量相當的電荷蓄積至電荷蓄積部CS的各者。水平掃描電路324係將與蓄積在電荷蓄積部CS的各者的1幀份的電荷量相當的電信號輸出至距離演算部42。
從照射光脈衝PO的時序與使電荷蓄積至電荷蓄積部CS的各者的時序之關係，在電荷蓄積部CS1係保持與照射光脈衝PO之前的背景光等外光成分相當的電荷量。此外，在電荷蓄積部CS2及CS3係分配保持與反射光RL及外光成分相當的電荷量。分配給電荷蓄積部CS2及CS3的電荷量的配分(分配比例)係成為與光脈衝PO受被攝體S反射射入距離影像攝像裝置1的延遲時間Td相應的比例。
距離演算部42係利用上述原理而藉由下式(1)算出延遲時間Td。
Td=To×(Q3-Q1)/(Q2+Q3-2×Q1) … (1)
式中，To係代表光脈衝PO照射的期間，Q1係代表蓄積在電荷蓄積部CS1的電荷量，Q2係代表蓄積在電荷蓄積部CS2的電荷量，Q3係代表蓄積在電荷蓄積部CS3的電荷量。在上述式(1)中係以蓄積至電荷蓄積部CS2及CS3的電荷量當中的與外光成分相當的成分是與蓄積在電荷蓄積部CS1的電荷量同量為前提。
距離演算部42係在以上述式(1)求出的延遲時間乘上光速(速度)，藉此算出到被攝體S的來回的距離。接著，距離演算部42係將上述所算出的來回的距離取1/2，藉此求取到被攝體S的距離。
此處，針對光斑光，利用圖12B、圖12C進行說明。 圖12B係說明光斑光的概念之圖。 如圖12B所示，設想存在於能夠照射光脈衝PO的作為量測對象的量測空間E中離距離影像攝像裝置1的距離比較遠之位置(以下，記載為遠距離存在等)的物體B為被攝體的情形。
當到被攝體的距離為遠距離時，相較於對存在於離距離影像攝像裝置1的距離比較近的位置的物體進行量測的情形，反射光RL的光量較低。當反射光RL的光量低，便成為進行量測的距離的精度惡化之要因。因此，當到被攝體的距離為遠距離時，可考慮增加分配次數使曝光量(距離影像感測器32接收的光量)增加，從而使量測精度提升。
然而，如圖12B的剖面放大圖所示，所接收到的光的一部分透過透鏡31到達距離影像感測器32時，會有在距離影像攝像裝置1內多重反射的情況。此時，會在與物體反射的反射光原本的成像位置不同的位置接收到光(光斑光)。如上述的光斑光可能會成為使量測精度惡化之要因。
具體而言，當在遠距離存在的被攝體(物體B)以外，在離距離影像攝像裝置1的距離比較近的位置(以下，稱為近距離等)另外有物體A時，當增加曝光量，物體A反射的反射光RL的光量便增大。此時，因物體A反射的反射光RL而致生的光斑光的光量變大，成為了使量測精度大幅惡化之要因。
圖12C係說明習知技術的量測中接收到光斑光時的情形之圖。圖12C中的「FLARE_A」係代表因物體A(近距離存在的物體)反射的反射光等而致生的光斑光。「REFRECTION_B」係代表物體B(遠距離存在的被攝體)反射的反射光。其餘的「Light」等項目係同圖12A，故省略其說明。
如圖12C所示，設光脈衝PO以照射時間To照射、光斑光慢了延遲時間Tb才被距離影像感測器32接收、反射光RL慢了延遲時間Td才被距離影像感測器32接收。此時，在電荷蓄積部CS2及CS3係除了蓄積與反射光RL及外光成分相當的電荷量之外，還蓄積與光斑光相當的電荷量。就算在如上述混合有光斑光的電荷量套用上述式(1)，也難以精度佳地演算距離。
就解決如上述問題點的對策而言，在本實施形態中係訂定複數個量測模式。量測模式的各者係針對光脈衝PO的照射時序，把將電荷分配給電荷蓄積部的時序採用彼此間相異的時序。
例如，量測模式係相應於作為量測對象的距離的範圍而訂定。所謂的作為量測對象的距離的範圍，係依相應於照射光脈衝PO後到接收反射光RL為止的延遲時間Td而演算的距離進行區分。距離的範圍係例如為依離距離影像攝像裝置1的距離所區分的遠距離、中距離、近距離三種範圍。例如，當光脈衝PO的照射時間To為10ns時，近距離大致為0cm至75cm的範圍，中距離大致為75cm至2.25m的範圍，遠距離大致為2.25m以上的範圍。
此外，量測模式係相應於是否建置抑制光斑光發生的對策(以下，稱為針對光斑光的對策)而訂定。當在近距離存在不同於被攝體的物體時，建置抑制光斑光發生的對策。另一方面，當在近距離並不存在不同於被攝體的物體時，不建置針對光斑光的對策。
在本實施形態中，就量測模式而言，例如分別訂定遠距離模式、中距離模式、中距離外光模式、通常模式1(第1通常模式)、通常模式2(第2通常模式)。
遠距離模式乃係在有可能在近距離存在有別於被攝體的物體的狀況中，對到遠距離存在的被攝體的距離精度佳地進行量測之模式。亦即，遠距離模式乃係對遠距離存在的被攝體，建置針對光斑光的對策而進行量測之模式。
中距離模式乃係在有可能在近距離存在有別於被攝體的物體的狀況中，對到中距離存在的被攝體的距離精度佳地進行量測之模式。亦即，中距離模式係對中距離存在的被攝體，建置針對光斑光的對策而進行量測之模式。
中距離外光模式乃係在中距離模式中進行量測時，對與外光相當的電荷量進行量測之模式。中距離外光模式乃係在以中距離模式進行量測時將外光考量在內時所使用之模式。
通常模式1乃係在預期在近距離沒有存在有別於被攝體的物體的狀況中，對到遠距離存在的被攝體的距離進行量測之模式。亦即，通常模式1乃係對遠距離存在的被攝體，在沒有建置針對光斑光的對策下進行量測之模式。通常模式1乃係進行習知技術的量測之模式。
通常模式2乃係對到近距離存在的物體的距離進行量測之模式。通常模式2乃係進行習知技術的量測之模式，且乃係將曝光量抑制得比通常模式1低(亦即，分配次數少)之模式。 以下，依序針對遠距離模式、中距離模式、及中距離外光模式進行說明。
(遠距離模式) 首先，針對遠距離模式，利用圖4進行說明。圖4係顯示第1實施形態的遠距離模式中驅動像素321的時序之時序圖。在圖4中的項目「Camera」中，係以「GD2」表示汲閘電晶體GD在「G1」到「G2」之間變成導通狀態的時序。關於其餘的「Light」等項目，由於同圖12C，故省略其說明。
如圖4的例子所示，設光脈衝PO以照射時間To照射、光斑光慢了延遲時間Tb才被距離影像感測器32接收、反射光RL慢了延遲時間Td才被距離影像感測器32接收。
遠距離模式係在預期被攝體即物體B與成為光斑光產生之要因的物體A兩者在離距離影像攝像裝置1的距離上有段差距的狀況中使用。亦即，係在延遲時間Td比延遲時間Tb大且光斑光與反射光RL不會同時接收為前提的狀況中使用遠距離模式。在遠距離模式中，係在以上述為前提的基礎上，以防止蓄積因光斑光而致生的電荷的方式調整光脈衝PO照射的時序與將電荷蓄積至電荷蓄積部CS的時序。
具體而言，首先，垂直掃描電路323係在光脈衝PO照射的時序之前先將讀出閘電晶體G1設成期間為蓄積期間Ta的導通狀態，使與外光相當的電荷蓄積至電荷蓄積部CS1。
接著，垂直掃描電路323係將汲閘電晶體GD設為導通狀態。藉此，使藉由光電轉換元件PD進行光電轉換所轉換出的電荷捨棄(排出)。因此，在汲閘電晶體GD成為導通狀態的期間接收到的光斑光經光電轉換所轉換出的電荷沒有蓄積至電荷蓄積部CS。
垂直掃描電路323係將至少接收光斑光的期間(光斑光接收期間)設為經光電轉換所轉換出的電荷捨棄(排出)的期間、亦即電荷沒有蓄積的「非蓄積期間」。 在遠距離模式中，「光斑光接收期間」與「反射光接收期間」乃係彼此不重疊的期間。 所謂的「光斑光接收期間」，係指從比光脈衝PO的照射開始的時間慢了達延遲時間Tb的時間起，到經過光脈衝照射時間To(照射期間)為止的期間。亦即，所謂的「光斑光接收期間」，係指比光脈衝PO的照射時間To慢了延遲時間Tb的期間。此處，延遲時間Tb乃係「脈衝光延遲時間」的一例。 「反射光接收期間」乃係從比光脈衝PO的照射開始的時間慢了達延遲時間Td的時間起，到光脈衝照射時間To(照射期間)為止的期間。亦即，所謂的「反射光接收期間」，係指比光脈衝PO的照射時間To慢了延遲時間Td的期間。此處，延遲時間Td乃係「反射光延遲時間」的一例。
接著，垂直掃描電路323係在將汲閘電晶體GD回復成關斷狀態的時序，依序將讀出閘電晶體G2及G3設成期間為蓄積期間Ta的導通狀態，使反射光RL分配蓄積至電荷蓄積部CS2、CS3。藉此，在電荷蓄積部CS1係蓄積與外光相當的電荷，在電荷蓄積部CS2、CS3係蓄積與反射光RL及外光相當的電荷。因此，在遠距離模式中，係在與電荷蓄積部CS1至CS3蓄積的電荷量相當的電信號套用上述式(1)，藉此，能夠在不受光斑光影響下演算距離。
在圖4的例子中，垂直掃描電路323係在從將讀出閘電晶體G1設成關斷狀態的時點到自光脈衝PO的照射開始的時點經過期間TX為止的期間，將汲閘電晶體GD設為導通狀態。期間TX乃係照射時間To與延遲時間Tb的合計值以上但延遲時間Td以下即((To+Tb)≦TX≦Td之期間。
如上述，在遠距離模式中，係以防止於接收光斑光的期間蓄積電荷但於接收反射光的期間蓄積電荷的方式控制蓄積時序。藉此，即使是有可能在近距離存在不同於被攝體的別的物體A的狀況，仍能夠對到遠距離存在的物體B的距離精度佳地進行量測。
(中距離模式) 接著，針對中距離模式，利用圖5A及圖5B進行說明。圖5A、圖5B係顯示第1實施形態的中距離模式中驅動像素321的時序之時序圖。關於圖5A、圖5B中的「Light」等項目，由於同圖12C，故省略其說明。
中距離模式係如後述，並不具有使僅與外光相當的電荷蓄積的電荷蓄積部CS。亦即，並無法在將蓄積在電荷蓄積部CS的各者的電荷量所含的外光成分抽出而去除掉外光成分的基礎上算出距離。因此，在外光成分對演算距離的結果造成的影響比較小的環境、例如外光的光量小的環境中，便能夠單獨以中距離模式進行量測。在外光的光量大，不去除外光成分的話距離的演算精度就會惡化的環境中，係必須在以後述的中距離外光模式或任意的方法接收外光另行將1幀份的與外光相當的電荷量求取出的基礎上算出距離。
如圖5A的例子所示，設光脈衝PO以照射時間To照射、光斑光慢了延遲時間Tb才被距離影像感測器32接收、反射光RL慢了延遲時間Td才被距離影像感測器32接收。
中距離模式係在預期被攝體即物體B與成為光斑光產生之要因的物體A兩者在離距離影像攝像裝置1的距離上比遠距離模式中近的狀況中使用。亦即，係在延遲時間Tb與延遲時間Td之差為比遠距離模式中所預期的差小的值且存在光斑光與反射光RL同時接收的期間為前提的狀況中使用中距離模式。在中距離模式中，係在以上述為前提的基礎上，以能夠將因光斑光而致生的電荷量抽出的方式調整光脈衝PO照射的時序與將電荷蓄積至電荷蓄積部CS的時序。
在垂直掃描電路323中，與光斑光相當的電荷分配至(遍及於)電荷蓄積部CS1及CS2而蓄積。此外，在垂直掃描電路323中，與反射光RL相當的電荷分配至電荷蓄積部CS2及CS3而蓄積。亦即，垂直掃描電路323係使與於「光斑光接收期間」射入光接收部3的光量相當的電荷分配蓄積至電荷蓄積部CS1及CS2。此外，垂直掃描電路323係使與於「反射光接收期間」射入光接收部3的光量相當的電荷分配蓄積至電荷蓄積部CS2及CS3。 在中距離模式中，「光斑光接收期間」與「反射光接收期間」係至少一部分彼此重疊。 所謂的「光斑光接收期間」，係指從比光脈衝PO的照射開始的時間慢了達延遲時間Tb的時間起，到經過光脈衝照射時間To(照射期間)為止的期間。亦即，所謂的「光斑光接收期間」，係指比光脈衝PO的照射時間To慢了延遲時間Tb的期間。此處，延遲時間Tb乃係「脈衝光延遲時間」的一例。 「反射光接收期間」乃係從比光脈衝PO的照射開始的時間慢了達延遲時間Td的時間起，到光脈衝照射時間To(照射期間)為止的期間。亦即，所謂的「反射光接收期間」，係指比光脈衝PO的照射時間To慢了延遲時間Td的期間。此處，延遲時間Td乃係「反射光延遲時間」的一例。
具體而言，垂直掃描電路323係首先將讀出閘電晶體G1設為導通狀態，進行電荷往電荷蓄積部CS1的蓄積。 光源部2係在自讀出閘電晶體G1變化成導通狀態的時點經過期間TY的時點開始光脈衝PO的照射。在自光脈衝PO的照射開始的時點(照射開始時)經過延遲時間Tb的時點，光斑光到達距離影像攝像裝置1，開始接收光斑光。
垂直掃描電路323係將讀出閘電晶體G1，到自光脈衝PO的照射開始的時點經過期間TZ為止設為導通狀態，進行電荷往電荷蓄積部CS1的蓄積。此處，期間TY與期間TZ的合計值乃係與蓄積期間Ta相當的期間。垂直掃描電路323係以使期間TZ成為延遲時間Tb以上(TZ≧Tb)的方式進行調整。藉此，能夠在電荷蓄積部CS1的蓄積期間Ta含有光斑光的接收開始的「光斑光接收開始時」，使與光斑光相當的電荷蓄積至電荷蓄積部CS1。
接著，垂直掃描電路323係在使電荷往電荷蓄積部CS1的蓄積結束的時序，依序將讀出閘電晶體G2、G3設成期間為蓄積期間Ta的導通狀態，使電荷蓄積至電荷蓄積部CS2、CS3。藉此，在電荷蓄積部CS1、CS2係分配蓄積與光斑光及外光相當的電荷。此外，在電荷蓄積部CS2、CS3係分配蓄積與反射光RL及外光相當的電荷。
距離演算部42係根據蓄積在電荷蓄積部CS1的與光斑光相當的電荷量，將蓄積在電荷蓄積部CS2的電荷量當中起因於光斑光的光斑光成分抽出。距離演算部42係藉由下式(2)，算出蓄積在電荷蓄積部CS2的電荷量的光斑光成分Q2f。
Q2f=K×Q1 … (2)
式中，Q2f係代表蓄積在電荷蓄積部CS2的電荷量當中與光斑光成分相當的電荷量，Q1係代表蓄積在電荷蓄積部CS1的電荷量，K係代表常數。常數K乃係相應於電荷蓄積部CS1的蓄積期間Ta結束的時序與光斑光的接收開始的時序在時期上的關係而唯一地決定之常數。
此處，針對決定常數K的方法，利用圖5B進行說明。在圖5B中係顯示蓄積期間Ta及照射時間To皆以13個時脈週期(clock)(13ck)構成時的例子。此外，在圖5B中係顯示在中距離模式中，在自讀出閘電晶體G1成為導通狀態的時點起10個時脈週期(10ck)後開始光脈衝PO的照射的例子。
在如圖5B所示在自光脈衝PO的照射開始的時點起1個時脈週期(Tb;1ck)後開始光斑光的接收的情形中，在電荷蓄積部CS1係蓄積與13個時脈週期份的光斑光當中的2個時脈週期份的光接收量相當的電荷。此外，在電荷蓄積部CS2係蓄積與13個時脈週期份的光斑光當中的11個時脈週期份的光接收量相當的電荷。此時，成立下式(3)。
Q2f=11/2×Q1f … (3)
式中，Q2f乃係蓄積在電荷蓄積部CS2的電荷量所含的光斑光成分的電荷量。Q1f乃係蓄積在電荷蓄積部CS1的電荷量所含的光斑光成分的電荷量。若為外光不會對所期望的距離的演算結果造成影響的環境(例如，外光的光量小的環境)，電荷量Q1f便能夠視為電荷蓄積部CS1蓄積的電荷量、亦即上述式(2)中的電荷量Q1。此外，上述式(3)中的「11/2」係相當於上述式(2)中的常數K。
如上述，常數K係藉由電荷蓄積部CS1的蓄積期間Ta結束的時序與光斑光的接收開始的時序在時間上的關係而決定。光斑光的接收開始的時序係相應於到近距離存在的成為光斑光產生之要因的物體A(近距離物體)的距離而決定。亦即，常數K乃係相應於到近距離物體的距離而決定之常數。
距離影像攝像裝置1係對到近距離物體的距離，例如以通常模式2進行量測。此時，距離影像攝像裝置1係在藉由中距離模式進行的量測之前或之後，以通常模式2對到近距離物體的距離進行量測。此外，此時，距離影像攝像裝置1係預先記憶有將到近距離物體的距離與常數K建立起對應關係的表(table)。
接著，距離演算部42係根據以通常模式2量測得到的到近距離物體的距離，參照表，取得與所量測得到的到近距離物體的距離對應的常數K。距離演算部42係將所取得的常數K及以中距離模式取得的電荷蓄積部CS1、CS2的電荷量代入至上述式(2)。藉此，距離演算部42係能夠將電荷蓄積部CS2蓄積的電荷量所含的光斑光成分抽出。
距離演算部42係從電荷蓄積部CS2蓄積的電荷量減去所抽出的光斑光成分，藉此而算出電荷蓄積部CS2蓄積的與反射光RL相當的電荷量。距離演算部42係將所算出的電荷量代入至上述式(1)的電荷量Q2，藉此而算出延遲時間Td，從而能夠使用所算出的延遲時間Td演算到物體B的距離。此時，與外光相當的電荷量(與上述式(1)中的電荷量Q1相當的電荷量)為0(zero)。如上述而求得的到物體B的距離係去除了光斑光成分的影響，故能夠抑制因光斑光而致生的距離的精度惡化。如上所述，在外光的光量大的環境係必須去掉與外光相當的電荷量來進行距離的演算，故必須以後述的中距離外光模式或任意的方法接收外光另行將1幀份的與外光相當的電荷量求取出。
(中距離外光模式) 接著，針對中距離外光模式，利用圖6進行說明。圖6係顯示第1實施形態的中距離模式中驅動像素321的時序之時序圖。關於圖6中的「Light」等項目，由於同圖12C，故省略其說明。此外，關於圖6中的光脈衝PO的照射、光斑光及反射光RL的接收各者的時序關係，由於同圖5A，故省略其說明。
在中距離外光模式中，係在將電荷蓄積部CS1設為導通狀態的時序提前了蓄積期間Ta這點不同於中距離模式。另一方面，在中距離外光模式中，照射光脈衝PO的時序及將電荷蓄積部CS2、CS3設為導通狀態的時序採用與中距離模式相同的時序。
藉由將電荷蓄積部CS1設為導通狀態的時序提前了蓄積期間Ta，在中距離外光模式中，係使與外光相當的電荷量蓄積至電荷蓄積部CS1。此外，照射光脈衝PO的時序及將電荷蓄積部CS2、CS3設為導通狀態的時序採用與中距離模式相同的時序。藉此，以與中距離模式相同的分配比例，使與光斑光及反射光RL相當的電荷蓄積至電荷蓄積部CS2，並且使與反射光RL相當的電荷蓄積至電荷蓄積部CS3。
(藉由中距離模式進行的距離算出方法) 此處，針對使用中距離模式及中距離外光模式的量測結果算出到中距離存在的作為被攝體的物體B的距離的方法，利用圖7進行說明。圖7係說明第1實施形態的距離影像攝像裝置1使用中距離模式及中距離外光模式的量測結果算出距離的處理之圖。
如圖7所示，距離影像攝像裝置1係交替反覆進行藉由中距離模式進行的1幀份的量測(處理F1)及藉由中距離外光模式進行的1幀份的量測(處理F2)。 距離影像攝像裝置1係令藉由處理F1而獲得的處理結果當中的至少電荷量Q1gf記憶至幀記憶體(memory)，將藉由中距離模式而獲得的量測結果暫時予以保持(處理F4)。藉由處理F1而獲得的處理結果係含有：1幀份的與相應於分配比例的光斑光及外光相當的電荷量Q1gf、1幀份的與相應於分配比例的光斑光及反射光RL及外光相當的電荷量Q2grf、及1幀份的與相應於分配比例的反射光RL及外光相當的電荷量Q3gr。
距離影像攝像裝置1係令藉由處理F2而獲得的處理結果當中的至少電荷量Q1g記憶至幀記憶體，將藉由中距離外光模式而獲得的量測結果暫時予以保持(處理F3)。藉由處理F2而獲得的處理結果係含有：1幀份的與外光相當的電荷量Q1g、1幀份的與相應於分配比例的光斑光及反射光RL及外光相當的電荷量Q2grf、及1幀份的與相應於分配比例的反射光RL及外光相當的電荷量Q3gr。
距離影像攝像裝置1係使用藉由處理F3而獲得的處理結果與藉由處理F1而獲得的處理結果，將中距離模式與中距離外光模式兩者的量測結果合成(處理F5)。 當在幀記憶體中僅記憶有藉由處理F3而獲得的處理結果當中的中距離外光模式的電荷量Q1g時，使用該電荷量Q1g與作為藉由處理F1而獲得的處理結果的中距離模式的電荷量Q1gf、電荷量Q2grf、及電荷量Q3gr進行合成。 當在幀記憶體中記憶有中距離外光模式的電荷量Q1g、電荷量Q2grf、及電荷量Q3gr時，係使用該電荷量Q1g、Q2grf、Q3gr、及中距離模式的電荷量Q1gf進行合成。 或者，亦可當在幀記憶體中記憶有中距離外光模式的電荷量Q1g、電荷量Q2grf、及電荷量Q3gr時，使用中距離模式的電荷量Q1gf、電荷Q2grf、及電荷量Q3gr進行合成。此時，藉由處理F5而獲得的合成結果係含有：藉由中距離外光模式而獲得的1幀份的與外光相當的電荷量Q1g、藉由中距離模式而獲得的1幀份的與相應於分配比例的光斑光及外光相當的電荷量Q1gf、及將藉由中距離模式及中距離外光模式而獲得的2幀份的與相應於分配比例的光斑光及反射光RL及外光相當的電荷量進行合成(例如，進行平均)而得的值、以及將中距離模式與中距離外光模式2幀份的與相應於分配比例的反射光RL及外光相當的電荷量進行合成(例如，進行平均)而得的值。
距離影像攝像裝置1係使用藉由處理F4而獲得的處理結果與藉由處理F2而獲得的處理結果，將中距離模式與中距離外光模式兩者的量測結果合成(處理F6)。藉由處理F6而獲得的合成結果係含有與藉由處理F5而獲得的合成結果相同的結果。
距離影像攝像裝置1係將藉由處理F5(或處理F6)而算出的合成結果套用下式(4)，藉此而算出光脈衝PO受物體B反射射入距離影像攝像裝置1的延遲時間Td。
Td=To×Q3r/(Q2r+Q3r) … (4)
式中，To乃係光脈衝PO照射的期間，Q3r乃係蓄積在電荷蓄積部CS3的電荷量Q3當中的反射光成分，Q2r係表示蓄積在電荷蓄積部CS2的電荷量Q2當中的反射光成分。
當設蓄積在電荷蓄積部CS3的電荷量Q3當中的外光成分的電荷量為Q3g，電荷量Q3r係以下式(5)表示。
Q3r=Q3-Q3g … (5)
當設蓄積在電荷蓄積部CS2的電荷量Q2當中的外光成分的電荷量為Q2g、設當中的光斑光成分為Q2f，電荷量Q2r係以下式(6)表示。
Q2r=Q2-Q2g-Q2f … (6)
電荷量Q2g及電荷量Q3g係與以中距離外光模式而蓄積在電荷蓄積部CS1的電荷量同量。此外，電荷量Q2f乃係以中距離模式而抽出的蓄積在電荷蓄積部CS1的電荷量當中的光斑光成分的常數K倍。
(中距離外光模式的變形例) 此處，針對中距離外光模式的變形例進行說明。在本變形例中，係以如圖12A所示的習知技術的量測時序，在不照射光脈衝PO下進行量測。藉此，能夠使與外光的光量相當的1幀份的電荷蓄積至在電荷蓄積部CS1至CS3的各者。當在室內等外光的光量的變化比戶外少的環境中進行量測時，較佳為進行藉由本變形例進行的量測。此外，較佳為定期反覆進行藉由本變形例進行的量測，更新外光的光量。
(常數K的算出方法的變形例) 此處，針對常數K的算出方法的變形例，利用圖8A及圖8B(以下，稱為圖8A等)進行說明。在本變形例中，係使用預先量測得的結果算出常數K。圖8A等乃係針對常數K的算出方法的變形例進行說明之圖。在圖8A等係以直方圖(histogram)顯示按每個像素的量測結果(距離)。圖8A等的橫軸係代表距離(Distance[m])，縱軸係代表像素的數目(Count)。在圖8A等係以物體B為牆，量測到牆的距離。 圖8A等係顯示對到物體B(記載為Wall)的距離，在近距離物體A(記載為Object)存在於量測區域時(Wall+Object)與不存在時(Wall)兩種情況進行量測的結果。圖8A係顯示去除光斑光前(無補正)的量測結果，圖8B係顯示去除光斑光後(光斑補正)的量測結果。
如圖8A所示，在僅存在物體B(Wall)的量測中係在距離1.2m附近出現直方圖的峰值(peak)。亦即，到物體B的距離為1.2m附近。 相對於此，在存在物體B及近距離物體A(Wall+Object)的量測中係出現表示到近距離物體A的距離(0.3m至0.4m)之峰值及距離1.0m附近的峰值。距離1.0m附近的峰值代表因為物體B的反射光摻混了因近距離物體A而致生的光斑光使得到物體B的距離測量得比實際的距離短。
在圖8B係顯示找尋使圖8A中的1.0m附近的峰值往1.2m附近移位(shift)的常數K，使用所找尋到的常數K去除光斑光成分後演算距離的結果。藉由如上述使用統計手法算出常數K，能夠精度更佳地演算距離。
此處，利用圖9A至圖9F說明藉由本變形例達到的效果。圖9A至圖9F係說明藉由中距離模式進行的量測的效果之圖。 圖9A、圖9B係顯示使用僅對物體B進行攝影所攝得的距離影像及對物體B與近距離物體A進行攝影所攝得的距離影像，以按每個像素的距離的差分作為像素值而得的影像(差分影像)。圖9A乃係去除光斑光成分前(無補正)的差分影像，圖9B乃係去除光斑光成分後(光斑補正)的差分影像。圖9A、圖9B的橫軸係代表水平方向的像素(Pixel(H))，縱軸係代表垂直方向的像素(Pixel(V))，在差分影像的右側係以灰度尺(gray scale)標示差分值的指標，表示灰色愈明亮，差分也愈大。 關於元件符號D1、D2，再以後述的圖說明。
如圖9A所示，當沒有進行補正時，物體B(牆)全體成為明亮的灰色，表示距離存在差分。具體而言，在近距離物體A周邊(近距離物體A的左右方向及下側)的區域形成較明亮的灰色，該區域的距離的差分算出了大的值。相對於此，如圖9B所示，當有進行光斑補正時，物體B(牆)全體成為灰暗的灰色，距離的差分整體而言接近0。
圖9C、圖9D係顯示圖9A、圖9B的垂直方向剖面(元件符號D1)的像素與距離之關係。圖9C係顯示使用去除光斑光成分前(無補正)的距離影像所得的結果，圖9D係顯示使用去除光斑光成分後(光斑補正)的距離影像所得的結果。圖9C、圖9D的橫軸係代表像素(Pixel)，縱軸係代表距離(Distance[m])。
如圖9C所示，當沒有進行補正時，在不存在近距離物體A時(虛線)與存在近距離物體A時(實線)產生了30cm至40cm的差分。相對於此，如圖9D所示，當有進行光斑補正時，不存在近距離物體A時(虛線)與存在近距離物體A時(實線)係在不存在近距離物體A的區域幾乎重疊，差分減小了。
圖9E、圖9F係顯示圖9A、圖9B的垂直方向剖面(元件符號D2)的像素與距離之關係。圖9E係顯示使用去除光斑光成分前(無補正)的距離影像所得的結果，圖9F係顯示使用去除光斑光成分後(光斑補正)的距離影像所得的結果。圖9E、圖9F的橫軸係代表像素(Pixel)，縱軸係代表距離(Distance[m])。
如圖9E所示，當沒有進行補正時，在不存在近距離物體A時(虛線)與存在近距離物體A時(實線)間產生了30cm至40cm的差分，具體而言，隨著往近距離物體A的位置(60Pixel附近)靠近，差分愈來愈大。相對於此，如圖9F所示，當有進行光斑補正時，不存在近距離物體A時(虛線)與存在近距離物體A時(實線)係幾乎重疊，即使是靠近近距離物體A的區域，差分也沒有變大。
此處，利用圖10說明第1實施形態的距離影像攝像裝置1的處理的流程。 步驟(step)S100： 距離影像攝像裝置1係首先以通常模式1進行量測。距離影像攝像裝置1係記憶量測結果(到被攝體即物體B的距離DB及蓄積在電荷蓄積部CS的電荷量等)。 步驟S101： 距離影像攝像裝置1係從通常模式1的量測結果，判定在蓄積在電荷蓄積部CS2的電荷量Q2是否有光斑光成分。距離影像攝像裝置1係當電荷量Q2(例如，全部像素的電荷量Q2的平均值)為預先規定好的預定的閾值以上時，判定為在電荷量Q2有光斑光成分。距離影像攝像裝置1係當判定為在電荷量Q2有光斑光成分時，進行步驟S102的處理。另一方面，距離影像攝像裝置1係當判定為在電荷量Q2沒有光斑光成分時，返回步驟S100，繼續進行藉由通常模式1進行的量測。
步驟S102： 距離影像攝像裝置1係以通常模式2進行量測。在通常模式2中，分配次數比通常模式1減少，抑制了曝光量，故遠距離的被攝體的距離並沒有獲得量測(無法量測)，只量測到近距離物體A的距離。距離影像攝像裝置1係令量測結果(到近距離物體A的距離DA等)記憶。
步驟S103： 距離影像攝像裝置1係判定以遠距離模式還是中距離模式進行供去除光斑光成分之用的再次量測。距離影像攝像裝置1係當距離DA與距離DB的距離的差分(絕對值)為預定的閾值以上時，將再次量測選用遠距離模式。另一方面，距離影像攝像裝置1係當距離DA與距離DB的距離的差分(絕對值)未達預定的閾值時，將再次量測選用中距離模式。距離影像攝像裝置1係當將再次量測選用遠距離模式時，進行步驟S104所示的處理。距離影像攝像裝置1係當將再次量測選用中距離模式時，進行步驟S106所示的處理。
步驟S104： 距離影像攝像裝置1係以遠距離模式進行量測。以遠距離模式進行的量測係例如以與通常模式1的分配次數相同的分配次數進行。 步驟S105： 距離影像攝像裝置1係在將遠距離模式反覆進行預定的幀數(例如，30幀份)後，判定近距離物體A是否仍存在。此乃係在近距離物體A為移動體等情形中，當近距離物體A與被攝體的關係發生變化時從遠距離模式回到通常模式1的處理。距離影像攝像裝置1係從通常模式1的量測結果，判定在蓄積在電荷蓄積部CS2的電荷量Q2是否有光斑光成分。是否有光斑光成分的判定係亦可為與步驟S101所示的處理相同的方法。距離影像攝像裝置1係當判定為在電荷量Q2有光斑光成分時，返回步驟S104的處理，繼續進行藉由遠距離模式進行的量測。另一方面，距離影像攝像裝置1係當判定為在電荷量Q2沒有光斑光成分時，返回步驟S100，回歸藉由通常模式1進行的量測。
步驟S106： 距離影像攝像裝置1係以中距離模式進行量測。以中距離模式進行的量測係例如以與通常模式1的分配次數相同的分配次數進行。距離影像攝像裝置1係記憶蓄積在電荷蓄積部CS1至CS3的電荷量，進行步驟S107所示的處理。
步驟S107： 距離影像攝像裝置1係從中距離模式的量測結果，判定在蓄積在電荷蓄積部CS2的電荷量Q2是否有光斑光成分。此乃係當在步驟S101判定為有光斑光成分時，但在近距離物體A為移動體且暫時穿越過量測區域等情形中，光斑光成分卻在以中距離模式進行再次量測時消失時的應變處理。判定在電荷量Q2是否有光斑光成分的方法係與步驟S101相同。距離影像攝像裝置1係當判定為在電荷量Q2有光斑光成分時，進行步驟S107的處理。另一方面，距離影像攝像裝置1係當判定為在電荷量Q2沒有光斑光成分時，進行步驟S108的處理。
步驟S108： 距離影像攝像裝置1係使用中距離模式的量測結果(蓄積在電荷蓄積部CS1至CS3的電荷量)，去除電荷量Q2所含的光斑光成分，算出到物體B的距離。在本流程圖中雖然省略了記載，但距離影像攝像裝置1係對中距離模式的量測結果使用以中距離外光模式量測得的外光成分來算出到物體B的距離。距離影像攝像裝置1係返回步驟S106的處理，繼續進行藉由中距離模式進行的量測。
步驟S109： 距離影像攝像裝置1係使用中距離模式的量測結果(蓄積在電荷蓄積部CS1至CS3的電荷量)，在不用去除光斑光的電荷量Q2的光斑光成分下算出到物體B的距離。此時的距離的算出方法係與習知技術的算出方法相同。距離影像攝像裝置1係返回步驟S100，回歸藉由通常模式1進行的量測。
在上述的流程圖中，各個量測模式的一次的量測係可為1幀份的量測結果，亦可為對複數幀份的量測結果取平均(例如，移動平均)。
如上述說明，第1實施形態的距離影像攝像裝置1係具備光源部2、光接收部3、及距離影像處理部4。光源部2係對量測空間E照射光脈衝PO。光接收部3係具有像素及垂直掃描電路323(像素驅動電路)，該像素係具備產生與射入的光相應之電荷的光電轉換元件PD及蓄積前述電荷的複數個電荷蓄積部CS，該垂直掃描電路323(像素驅動電路)係以同步於光脈衝PO的照射的預定的蓄積時序使電荷分配蓄積至電荷蓄積部CS的各者。距離影像處理部4係根據蓄積在電荷蓄積部CS的各者的電荷量，量測到存在於量測空間E的被攝體S的距離。距離影像處理部4係具有時序控制部41。時序控制部41係依相應於作為量測對象的距離的範圍而預先規定好的量測模式控制蓄積時序。藉此，在第1實施形態的距離影像攝像裝置1中，能夠相應於作為量測對象的距離的範圍而選擇量測模式。因此，在對遠距離存在的物體進行量測時，當有光斑光的影響時，能夠令蓄積時序變更使光斑光的影響減輕。因此，不用改變裝置內的光學構成且不用使用資料庫就能夠抑制光斑現象造成的影響。
此外，在第1實施形態的距離影像攝像裝置1中，時序控制部41係當量測模式為遠距離模式時，以不接收光斑光、防止蓄積與光斑光的光量相當的電荷的方式調整蓄積時序。藉此，能夠進行光斑光成分的排除，達到與上述效果相同的效果。
此外，在第1實施形態的距離影像攝像裝置1中，時序控制部41係當量測模式為中距離模式時，以使與光斑光相當的電荷分配蓄積至電荷蓄積部CS1與CS2的方式調整蓄積時序。藉此，能夠進行光斑光成分的去除，達到與上述效果相同的效果。
此外，在第1實施形態的距離影像攝像裝置1中，時序控制部41係當量測模式為中距離模式時，使用另行量測得的與外光相當的電荷量進行外光成分的去除。藉此，能夠進行光斑光成分的去除及外光成分的去除，達到與上述效果相同的效果。
此外，在第1實施形態的距離影像攝像裝置1中，時序控制部41係當量測模式為中距離模式時，以中距離外光模式以使與外光相當的電荷蓄積至電荷蓄積部CS的方式調整調整蓄積時序。藉此，藉由進行所謂的幀合成，能夠容易地進行光斑光成分的去除及外光成分的去除，達到與上述效果相同的效果。
此外，在第1實施形態的距離影像攝像裝置1中，距離演算部42係當量測模式為中距離模式時，以蓄積在電荷蓄積部CS1的電荷量乘上常數K所得的值作為蓄積在電荷蓄積部CS2的電荷量所含的光斑光成分。藉此，能夠進行光斑光成分的去除，達到與上述效果相同的效果。
此外，在第1實施形態的距離影像攝像裝置1中，例如，如圖10的流程所示，一邊相應於光斑光之有無的判定結果令量測模式動態地變化一邊進行量測。藉此，即使近距離物體暫時穿越過量測空間E，仍能夠切換量測模式進行再次量測，達到與上述效果相同的效果。
(第2實施形態) 接著，針對第2實施形態進行說明。在本實施形態中，係在像素具有四個電荷蓄積部CS1至CS4這點不同於上述的實施形態。 圖11係顯示第2實施形態中驅動像素321的時序之時序圖。關於圖11中的「Light」等項目，由於同圖12C，故省略其說明。此外，關於圖11中的光脈衝PO的照射、光斑光及反射光RL的接收各者的時序關係，由於同圖5A，故省略其說明。
如圖11所示，在本實施形態中係依序將電荷蓄積部CS1至CS4設為導通狀態，藉此而同時進行與中距離模式及中距離外光模式對應的動作。藉此，在電荷蓄積部CS1係蓄積與外光的光量相當的1幀份的電荷量。在電荷蓄積部CS2、CS3係分別相應於分配比例蓄積與光斑光的光量相當的1幀份的電荷量。在電荷蓄積部CS3、CS4係分別相應於分配比例蓄積與反射光RL的光量相當的1幀份的電荷量。
距離演算部42係根據蓄積在電荷蓄積部CS2的電荷量及到近距離物體A的距離決定常數K。距離演算部42係使用常數K將蓄積在電荷蓄積部CS3的電荷量當中的光斑光成分抽出。距離演算部42係將所抽出的光斑光成分從電荷蓄積部CS3去除，藉此算出蓄積在電荷蓄積部CS3的與反射光RL相當的電荷量。距離演算部42係使用蓄積在電荷蓄積部CS3的與反射光RL相當的電荷量及蓄積在電荷蓄積部CS1、CS4的電荷量，演算到物體的距離。
如上述說明，在第2實施形態的距離影像攝像裝置1中，像素321具備四個電荷蓄積部CS。藉此，能夠同時進行藉由中距離模式及中距離外光模式進行的量測，不用進行所謂的幀合成等複雜的處理就能夠精度佳地算出距離。
亦可構成為將上述實施形態的距離影像攝像裝置1的全部或一部分以電腦(computer)來實現。此時，可為將實現此功能之用的程式(program)記錄至電腦可讀取的記錄媒體，令電腦系統(system)讀入並執行記錄在該記錄媒體的程式來實現。此處所說的「電腦系統」係指含有OS(operating system；作業系統)和週邊設備等硬體(hardware)的系統。此外，所謂的「電腦可讀取的記錄媒體」係指軟碟(flexible disk)、磁光碟、ROM(Read Only Memory；唯讀記憶體)、CD-ROM(Compact Disc-ROM；唯讀光碟)等可移動性媒體、內建於電腦系統的硬碟(hard disk)等記憶裝置。此外，所謂的「電腦可讀取的記錄媒體」係亦可包括透過網際網路(Internet)等網路(network)和電話線路等通信線路發送程式時的通信線這類將程式動態地、保持短時間的期間的媒體、作為此時的伺服端(server)和用戶端(client)的電腦系統內部的揮發性記憶體這類將程式保持一定時間的媒體。此外，上述程式係可為供實現前述功能的一部分之用，此外，亦可藉與業已記錄在電腦系統的程式之組合來實現前述功能，亦可使用FPGA(Field Programmable Gate Array；可規劃邏輯閘陣列)等可程式邏輯元件(Programmable Logic Device)來實現前述功能。
以上，針對本發明實施形態，參照圖式進行了詳細說明，但本發明的具體構成並不限於該些實施形態，亦包含不脫離本發明主旨之範圍的設計等。 [產業上利用之可能性]
依據本發明，不用改變裝置內的光學構成且不用使用資料庫就能夠抑制光斑現象造成的影響。
1:距離影像攝像裝置 2:光源部 3:光接收部 4:距離影像處理部 32:距離影像感測器 41:時序控制部 42:距離演算部 43:量測控制部 321:像素 323:垂直掃描電路 CS:電荷蓄積部 PO:光脈衝
圖1係顯示第1實施形態的距離影像攝像裝置的概略構成之方塊圖(block diagram)。 圖2係顯示第1實施形態的距離影像攝像裝置所使用的攝像元件的概略構成之方塊圖。 圖3係顯示在第1實施形態的距離影像攝像裝置所使用的攝像元件的光接收區域所配置的像素的構成的一例之電路圖。 圖4係顯示第1實施形態的遠距離模式中驅動像素的時序之時序圖(timing chart)。 圖5A係顯示第1實施形態的中距離模式中驅動像素的時序之時序圖。 圖5B係顯示第1實施形態的中距離模式中驅動像素的時序之時序圖。 圖6係顯示第1實施形態的中距離外光模式中驅動像素的時序之時序圖。 圖7係說明第1實施形態的中距離模式與中距離外光模式的幀(frame)合成之圖。 圖8A係說明第1實施形態的中距離模式的變形例之圖。 圖8B係說明第1實施形態的中距離模式的變形例之圖。 圖9A係說明第1實施形態的中距離模式的效果之圖。 圖9B係說明第1實施形態的中距離模式的效果之圖。 圖9C係說明第1實施形態的中距離模式的效果之圖。 圖9D係說明第1實施形態的中距離模式的效果之圖。 圖9E係說明第1實施形態的中距離模式的效果之圖。 圖9F係說明第1實施形態的中距離模式的效果之圖。 圖10係顯示第1實施形態的距離影像攝像裝置1的處理的流程之流程圖(flowchart)。 圖11係顯示第2實施形態的距離影像攝像裝置1中驅動像素的時序之時序圖。 圖12A係顯示習知技術的量測中驅動像素的時序之時序圖。 圖12B係說明實施形態的光斑光的概念之圖。 圖12C係說明習知技術的量測中接收到光斑光時的精度的惡化之圖。
1:距離影像攝像裝置
2:光源部
3:光接收部
4:距離影像處理部
21:光源裝置
22:擴散板
31:透鏡
32:距離影像感測器
41:時序控制部
42:距離演算部
43:量測控制部
PO:光脈衝
RL:反射光
S:被攝體

Claims (10)

  1. 一種距離影像攝像裝置，係具備： 光源部，係對量測對象的空間即量測空間照射光脈衝； 光接收部，係具有像素及像素驅動電路，前述像素係具備產生與射入的光相應之電荷的光電轉換元件及蓄積前述電荷的複數個電荷蓄積部，前述像素驅動電路係以同步於前述光脈衝的照射的預定的蓄積時序令前述電荷分配蓄積至前述像素的電荷蓄積部的各者；及 距離影像處理部，係根據蓄積在前述電荷蓄積部的各者的電荷量，量測到存在於前述量測空間的被攝體的距離； 前述距離影像處理部係具有依相應於作為量測對象的距離的範圍而預先規定好的量測模式控制前述蓄積時序的時序控制部。
  2. 如請求項1之距離影像攝像裝置，其中前述像素的複數個前述電荷蓄積部係由第1電荷蓄積部、第2電荷蓄積部、及第3電荷蓄積部組成； 前述時序控制部係當前述量測模式為遠距離模式時，於沒有照射前述光脈衝的關斷狀態即外光蓄積期間使前述電荷蓄積至前述第1電荷蓄積部，將至少光斑光接收期間設為不使前述電荷蓄積至前述電荷蓄積部的任一者的非蓄積期間，在經過前述非蓄積期間後，使與於反射光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第2電荷蓄積部及第3電荷蓄積部； 前述光斑光接收期間乃係比照射前述光脈衝的期間即照射期間慢了預定的脈衝光延遲時間之期間； 前述反射光接收期間乃係比前述照射期間慢了比前述脈衝光延遲時間還大的反射光延遲時間之期間； 前述光斑光接收期間與前述反射光接收期間乃係彼此不重疊的期間。
  3. 如請求項1之距離影像攝像裝置，其中前述像素的複數個前述電荷蓄積部係由第1電荷蓄積部、第2電荷蓄積部、及第3電荷蓄積部組成； 前述時序控制部係當前述量測模式為中距離模式時，使與於光斑光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第1電荷蓄積部及第2電荷蓄積部，使與於反射光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第2電荷蓄積部及第3電荷蓄積部； 前述光斑光接收期間乃係比照射前述光脈衝的期間即照射期間慢了預定的脈衝光延遲時間之期間； 前述反射光接收期間乃係比前述照射期間慢了比前述脈衝光延遲時間還大的反射光延遲時間之期間； 前述光斑光接收期間與前述反射光接收期間乃係至少一部分彼此重疊的期間； 前述距離影像處理部係根據在前述中距離模式中蓄積在前述電荷蓄積部的各者的電荷量，從前述電荷量將起因於光斑光的光斑光成分抽出，根據從前述電荷量將所抽出的光斑光成分去除所得的值，量測到前述被攝體的距離。
  4. 如請求項3之距離影像攝像裝置，其中前述時序控制部係就前述量測模式而言以前述中距離模式及中距離外光模式進行量測，當前述量測模式為中距離外光模式時，於沒有照射前述光脈衝的關斷狀態即外光蓄積期間使前述電荷蓄積至前述第1電荷蓄積部； 前述距離影像處理部，係根據在前述中距離模式中蓄積在前述電荷蓄積部的各者的電荷量，將起因於光斑光的光斑光成分抽出； 根據在前述中距離外光模式中蓄積在前述電荷蓄積部的各者的電荷量，將起因於外光的外光成分抽出； 使用所抽出的前述光斑光成分及前述外光成分，量測到前述被攝體的距離。
  5. 如請求項4之距離影像攝像裝置，其中前述時序控制部係當前述量測模式為前述中距離外光模式時，於前述光脈衝為前述關斷狀態即外光蓄積期間使前述電荷蓄積至前述第1電荷蓄積部，將光斑光接收期間設為不使前述電荷蓄積至前述電荷蓄積部的任一者的非蓄積期間，使與於反射光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第2電荷蓄積部及第3電荷蓄積部； 前述距離影像處理部係將在前述中距離模式中蓄積在前述電荷蓄積部的各者的電荷量與在前述中距離外光模式中蓄積在前述電荷蓄積部的各者的電荷量合成，藉此，量測到存在於前述量測空間的被攝體的距離。
  6. 如請求項3至5中任一項之距離影像攝像裝置，其中前述距離影像處理部係以在前述中距離模式中蓄積在前述第1電荷蓄積部的電荷量乘以常數倍所得的值作為蓄積在前述第2電荷蓄積部的電荷量所含的起因於光斑光的光斑光成分而抽出。
  7. 如請求項1之距離影像攝像裝置，其中前述像素的複數個前述電荷蓄積部係由第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部及第4電荷蓄積部組成； 前述時序控制部，係於沒有照射前述光脈衝的關斷狀態即外光蓄積期間使前述電荷蓄積至前述第1電荷蓄積部； 使與於光斑光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第2電荷蓄積部及第3電荷蓄積部，使與於反射光接收期間射入前述光接收部的光量相當的電荷分配蓄積至前述第3電荷蓄積部及第4電荷蓄積部； 前述光斑光接收期間乃係比照射前述光脈衝的期間即照射期間慢了預定的脈衝光延遲時間之期間； 前述反射光接收期間乃係比前述照射期間慢了比前述脈衝光延遲時間還大的反射光延遲時間之期間。
  8. 如請求項1之距離影像攝像裝置，其中復具備控制量測的量測控制部； 前述量測控制部，係將前述量測模式採用第1通常模式來量測到前述被攝體的距離； 根據在前述第1通常模式中蓄積在電荷蓄積部的各者的電荷量，判定是否有存在於比前述被攝體更近距離的近距離物體存在於前述量測空間； 當前述近距離物體存在於前述量測空間時，變更前述量測模式，進行再次量測； 前述像素的複數個前述電荷蓄積部係由第1電荷蓄積部、第2電荷蓄積部、及第3電荷蓄積部組成； 前述時序控制部，係當前述量測模式為前述第1通常模式時，令於沒有照射前述光脈衝的關斷狀態即外光蓄積期間使前述電荷蓄積至前述第1電荷蓄積部、於成為照射前述光脈衝的導通狀態後的預定的反射光接收期間使前述電荷依序蓄積至前述第2電荷蓄積部及第3電荷蓄積部之蓄積週期反覆進行預定的累計次數。
  9. 如請求項8之距離影像攝像裝置，其中前述量測控制部係當在前述第1通常模式中蓄積在前述第2電荷蓄積部的電荷量為預定的閾值以上時，判定為前述近距離物體存在於前述量測空間。
  10. 一種距離影像攝像方法，係藉由距離影像攝像裝置進行的距離影像攝像方法； 前述距離影像攝像裝置係具備： 光源部，係對量測對象的空間即量測空間照射光脈衝； 光接收部，係具有像素及像素驅動電路，前述像素係具備產生與射入的光相應之電荷的光電轉換元件及蓄積前述電荷的複數個電荷蓄積部，前述像素驅動電路係以同步於前述光脈衝的照射的預定的蓄積時序令前述電荷分配蓄積至前述像素的電荷蓄積部的各者； 距離影像處理部，係根據蓄積在前述電荷蓄積部的各者的電荷量，量測到存在於前述量測空間的被攝體的距離；及 時序控制部，係控制前述蓄積時序； 前述距離影像攝像方法係含有： 前述時序控制部依相應於作為量測對象的距離的範圍而預先規定好的量測模式控制前述蓄積時序之步驟。
TW109125942A 2019-08-01 2020-07-31 距離影像攝像裝置及距離影像攝像方法 TWI780462B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019142536A JP7463671B2 (ja) 2019-08-01 2019-08-01 距離画像撮像装置、及び距離画像撮像方法
JP2019-142536 2019-08-01

Publications (2)

Publication Number Publication Date
TW202112122A true TW202112122A (zh) 2021-03-16
TWI780462B TWI780462B (zh) 2022-10-11

Family

ID=74230355

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109125942A TWI780462B (zh) 2019-08-01 2020-07-31 距離影像攝像裝置及距離影像攝像方法

Country Status (6)

Country Link
US (1) US11982750B2 (zh)
EP (1) EP4009073A4 (zh)
JP (1) JP7463671B2 (zh)
CN (1) CN114175618B (zh)
TW (1) TWI780462B (zh)
WO (1) WO2021020496A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4303533A4 (en) * 2021-03-05 2024-08-14 Toppan Inc DISTANCE IMAGE CAPTURE DEVICE AND DISTANCE IMAGE CAPTURE METHOD
DE112022001328T5 (de) * 2021-05-31 2024-01-04 Hitachi Astemo, Ltd. Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren
JP2022189184A (ja) * 2021-06-10 2022-12-22 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距装置及び測距方法
JPWO2023120012A1 (zh) 2021-12-24 2023-06-29
CN118575098A (zh) 2022-01-21 2024-08-30 株式会社小糸制作所 测量装置
WO2023149060A1 (ja) 2022-02-01 2023-08-10 株式会社小糸製作所 測定装置
WO2023171345A1 (ja) * 2022-03-11 2023-09-14 株式会社小糸製作所 光電変換回路、及び光電変換装置
JP2023172742A (ja) * 2022-05-24 2023-12-06 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5705807A (en) * 1994-10-24 1998-01-06 Nissan Motor Co., Ltd. Photo detecting apparatus for detecting reflected light from an object and excluding an external light componet from the reflected light
JP3820087B2 (ja) 1999-08-11 2006-09-13 ペンタックス株式会社 ３次元画像検出装置
EP1152261A1 (en) * 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
WO2008152647A2 (en) 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
JP4981780B2 (ja) 2008-10-20 2012-07-25 本田技研工業株式会社 測距システム及び測距方法
WO2010098454A1 (ja) 2009-02-27 2010-09-02 パナソニック電工株式会社 距離測定装置
JP5343055B2 (ja) * 2010-09-13 2013-11-13 本田技研工業株式会社 撮像装置および撮像方法
JP6298236B2 (ja) 2013-02-22 2018-03-20 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
CN105452807A (zh) * 2013-08-23 2016-03-30 松下知识产权经营株式会社 测距系统、以及信号产生装置
WO2015104870A1 (ja) * 2014-01-08 2015-07-16 三菱電機株式会社 画像生成装置
JP6587185B2 (ja) * 2014-01-14 2019-10-09 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
JP6675061B2 (ja) * 2014-11-11 2020-04-01 パナソニックＩｐマネジメント株式会社 距離検出装置及び距離検出方法
JP2016189557A (ja) * 2015-03-30 2016-11-04 ソニー株式会社 撮像素子およびその駆動方法、並びに電子機器
US10250833B2 (en) * 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
CN112969030B (zh) * 2015-06-17 2023-04-28 松下知识产权经营株式会社 摄像装置
CN107852470B (zh) * 2015-08-04 2020-11-03 松下半导体解决方案株式会社 固体摄像装置的驱动方法
JP2017133853A (ja) 2016-01-25 2017-08-03 株式会社リコー 測距装置
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
WO2017170568A1 (ja) 2016-03-30 2017-10-05 国立大学法人静岡大学 画素回路及び撮像素子
WO2017203777A1 (ja) * 2016-05-23 2017-11-30 ソニー株式会社 電子装置、電子装置の制御方法、および、プログラム
JP6834211B2 (ja) 2016-07-15 2021-02-24 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置及び測距方法
KR101832364B1 (ko) * 2017-02-22 2018-04-04 경희대학교 산학협력단 재귀 반사 필름을 이용한 거리 측정 장치 및 방법
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、３次元計測装置、移動体、ロボット及び測距方法
US11405577B2 (en) * 2017-10-20 2022-08-02 National University Corporation Shizuoka University Distance image measurement device and distance image measurement method
JPWO2019123831A1 (ja) * 2017-12-22 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 パルス生成器および信号生成装置
US11333763B2 (en) * 2017-12-22 2022-05-17 Sony Semiconductor Solutions Corporation Signal generation apparatus
JP2019142536A (ja) 2018-02-20 2019-08-29 レンゴー株式会社 トレイ
WO2020178920A1 (ja) * 2019-03-01 2020-09-10 株式会社ブルックマンテクノロジ 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法
JP7016183B2 (ja) * 2019-03-20 2022-02-04 株式会社ブルックマンテクノロジ 距離画像撮像装置、および距離画像撮像方法

Also Published As

Publication number Publication date
JP2021025833A (ja) 2021-02-22
EP4009073A1 (en) 2022-06-08
CN114175618B (zh) 2024-06-14
EP4009073A4 (en) 2023-07-12
JP7463671B2 (ja) 2024-04-09
US20220146684A1 (en) 2022-05-12
TWI780462B (zh) 2022-10-11
US11982750B2 (en) 2024-05-14
WO2021020496A1 (ja) 2021-02-04
CN114175618A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
TW202112122A (zh) 距離影像攝像裝置及距離影像攝像方法
US10764518B2 (en) Pixel structure
US8767189B2 (en) Solid state imaging device and distance image measurement device
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
CN110221274B (zh) 时间飞行深度相机及多频调制解调的距离测量方法
US20220043129A1 (en) Time flight depth camera and multi-frequency modulation and demodulation distance measuring method
US11626446B2 (en) Pixel circuit and method of operating the same in an always-on mode
US20220350024A1 (en) Distance image capturing device and distance image capturing method
JP2022188478A (ja) 距離画像撮像装置及び距離画像撮像方法
US20220191424A1 (en) Imaging device
WO2022158603A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022109077A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
US20230243928A1 (en) Overlapping sub-ranges with power stepping
JP2022191793A (ja) 距離画像撮像装置及び距離画像撮像方法
WO2023228981A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023080044A1 (ja) 撮像素子および測距装置
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2024078837A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022112388A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022135438A (ja) 距離画像撮像装置及び距離画像撮像方法
JP2024041961A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022176579A (ja) 距離画像撮像装置及び距離画像撮像方法
JP2024084686A (ja) 距離画像撮像装置、及び距離画像撮像方法
CN118056409A (zh) 成像元件及测距装置

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent