JPWO2019050024A1 - 距離測定方法および距離測定装置 - Google Patents

距離測定方法および距離測定装置 Download PDF

Info

Publication number
JPWO2019050024A1
JPWO2019050024A1 JP2019541042A JP2019541042A JPWO2019050024A1 JP WO2019050024 A1 JPWO2019050024 A1 JP WO2019050024A1 JP 2019541042 A JP2019541042 A JP 2019541042A JP 2019541042 A JP2019541042 A JP 2019541042A JP WO2019050024 A1 JPWO2019050024 A1 JP WO2019050024A1
Authority
JP
Japan
Prior art keywords
light
signal
distance
period
distance measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019541042A
Other languages
English (en)
Inventor
信三 香山
信三 香山
基範 石井
基範 石井
廣瀬 裕
裕 廣瀬
小田川 明弘
明弘 小田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2019050024A1 publication Critical patent/JPWO2019050024A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/14Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein a voltage or current pulse is initiated and terminated in accordance with the pulse transmission and echo reception respectively, e.g. using counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H01L27/14614Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor having a special gate structure

Abstract

距離測定方法では、背景光検知期間に、閾値が設定され、距離測定期間がN個の期間に分割され、背景光検知期間に、トランスファーゲートをONし、リセット信号をONし、トランスファーゲートがONしている期間にリセット信号をOFFし、距離測定期間において、トランスファーゲートをONし、リセット信号をONし、トランスファーゲートがONしている期間であってかつ光源からの光パルスの発射時刻に対し所定の時間だけ遅れた時間にリセット信号をOFFし、距離測定期間のN個の期間のそれぞれにおいて閾値とカウント値とを比較し、閾値よりもカウント値が大きくなった期間に時間信号を距離信号として記憶し、距離信号出力期間に距離信号を距離画像として出力する。

Description

本開示は、距離測定方法および距離測定装置に関する。
従来、固体撮像装置は画像を高感度、高精細に撮像することに注力されてきたが、それに加えて固体撮像装置からの距離情報も取得できる機能を併せ持つものも近年登場してきた。画像に距離情報が加われば固体撮像装置の撮影対象の三次元的な情報が感知できることになる。例えば、人物を撮影すれば、しぐさ(ジェスチャー)を三次元的に検知できるので、様々な機器の入力装置として使用できる。さらに例示すると、自動車に搭載すれば自車の周囲に存在する物体・人物との距離を認識できるので衝突防止や自動運転などに応用できる。
固体撮像装置から物体までの距離測定に使用される数々の方法の中に、光を固体撮像装置付近から物体に向けて照射されてから、物体により反射し固体撮像装置に帰還するまでの時間を測定するTOF(Time Of Flight)法がある。複眼方式などの他の方法と比較すれば、固体撮像装置の他に光源が必要になることが短所である。一方、光源を強くすれば、遠方の物体までの距離を高分解能で測定できることが長所である。固体撮像装置にTOF法を適用して三次元的な情報を得る方法としては、例えば特許文献1に掲載された技術がある。
特開2004−294420号公報
特許文献1において、受信光(物体で反射した光パルス)は投射光(光源から発射した光パルス)に対して物体までの距離に対応した遅れ時間Tdを持って固体撮像装置に到達する。受光素子、すなわちフォトダイオード(PD)に入射する受信光に応じて生成される電荷は、2つのトランスファゲートトランジスタTX1、TX2の駆動に応じて2つのノードに振り分けられ、信号A、Bを生成する。そのあと、投射光をOFFにした状態で同様の駆動により信号C、Dを得る。信号A、Bは背景光の成分が含まれているが、信号C、Dを差し引き、信号(A−C)、信号(B−D)を計算することにより受信光成分だけが含まれる信号が得られる。このとき信号(A−C)と信号(B−D)の比は遅れ時間Tdで決定されるので距離情報を得ることができる。
投射光はパルスであり、信号(A−C)と信号(B−D)の比はパルスの位相を表すので、この方法をパルス位相法と呼ぶことにする。パルス位相法は、背景光の比較的弱い室内で、比較的近距離(数m程度)に適用する場合にはよいが、背景光の強い野外や遠距離に適用する場合に対して問題となる以下の欠点が存在することに発明者らは気づいた。
欠点の1点目は、ダイナミックレンジが小さいことである。言い換えると、測定可能な距離のレンジが小さいことである。受信光の強度は、物体までの距離の二乗に比例する。例えば、距離1mの物体からの受信光と、それと同じ物体で距離100mの場合の受信光との強度比は10000:1になる。ところが、固体撮像装置の単一画素の飽和電子数は通常10000程度なので、距離100mが検知可能な光学条件に設定した場合、距離1mの物体からの受信光は飽和してしまい、パルスの位相情報が失われることになる。背景光が強い場合、さらに飽和しやすくなる。
欠点の2点目は、強い背景光に対する耐性が低いということである。以下説明すると、投射光のパルス幅Toは、距離測定レンジに応じて決定される。例えば距離測定レンジが100mの場合であれば、Toは667ナノ秒必要であり、これを小さくすることはできない。一方、背景光による信号C、DはToに比例して増加し、そのノイズ、すなわち光ショットノイズは信号C、Dの平方根に比例する。信号A、Bに対して信号C、Dがそれぞれほとんど等しい場合、上記光ショットノイズが極めて大きくなり、十分な精度をもって距離を測定できない。
上記課題に鑑み、本開示は、測定可能距離レンジが広い固体撮像装置、距離測定装置および距離測定方法および距離測定装置を提供することを目的とする。
また、強い背景光の環境下においても距離測定が可能である固体撮像装置、距離測定装置および距離測定方法および距離測定装置を提供することを目的とする。
その他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
本願において開示される実施の形態のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
一実施の形態である距離測定方法は、光源からのパルス光が対象物において反射して帰還する時間により距離を測定し、1フレーム期間内に距離画像を出力する距離測定方法であって、前記1フレーム期間には、背景光検知期間、距離測定期間および距離信号出力期間が含まれており、前記背景光検知期間において、閾値が設定され、前記距離測定期間は、N個の期間に分割され(Nは1以上の整数)、前記背景光検知期間において、トランスファーゲートをONし、リセット信号をONし、前記トランスファーゲートがONしている期間に、前記リセット信号をOFFし、前記距離測定期間において、トランスファーゲートをONし、リセット信号をONし、前記トランスファーゲートがONしている期間であって、かつ前記光源からの光パルスの発射時刻に対し所定の時間だけ遅れた時間に前記リセット信号をOFFし、前記距離測定期間の前記N個の期間のそれぞれにおいて前記閾値とカウント値とを比較し、前記閾値よりも前記カウント値が大きくなった期間において前記時間信号を距離信号として記憶し、前記距離信号出力期間において、前記距離信号を前記距離画像として出力する。
この構成によれば、測定可能距離レンジが広い距離測定を実現できる。
本開示において開示される一実施の形態によれば、測定可能距離レンジが広い距離測定方法を提供することができる。
実施の形態1にかかる固体撮像装置の構成を示す概略図 実施の形態1にかかる固体撮像装置に搭載する画素の構成を示すブロック図 実施の形態1にかかる固体撮像装置に搭載する画素の構成を示す回路図 実施の形態1にかかる固体撮像装置の1フレーム期間に含まれる動作期間を示す図 実施の形態1にかかる固体撮像装置の背景光検知期間の動作シーケンスについて説明するための図 実施の形態1にかかる固体撮像装置の距離測定期間の動作シーケンスについて説明するための図
以下、本開示にかかる実施の形態について、図面を参照しながら説明する。なお、実質的に同一の構成に対して同一の符号を付し、説明を省略する場合がある。また、以下で説明する実施の形態は、いずれも一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
[1.固体撮像装置の構成]
はじめに、本実施の形態にかかる距離測定装置1および固体撮像装置10の構成について説明する。図1は、本実施の形態にかかる固体撮像装置を含む距離測定装置の構成を示す概略図である。
図1に示すように、距離測定装置1は、固体撮像装置10と、信号処理装置20と、計算機30と、光源40とを備えている。
固体撮像装置10は、さらに以下のような構成となるが、これに限られるものではない。
図1に示すように、固体撮像装置10は、画素領域12と、垂直シフトレジスタ13と、画素駆動回路14と、CDS(Correllated Double Sampling)回路15と、水平シフトレジスタ16と、出力回路17とを備えている。
画素領域12は、図2に示すように、画素100が二次元状に配列されている。
垂直シフトレジスタ13は、画素領域12内のある特定の行の画素100を選択する。この機能は主に、ある特定の画素100から距離信号を順に出力するために使用する。
画素駆動回路14は、図2に示した画素100を、全画素同時に制御するために使用する。
CDS回路15は、図2に示した画素100からの出力に含まれる、各画素100で異なるオフセット成分を除去するための回路である。
水平シフトレジスタ16は、画素からの出力を列方向に順に選択するための回路である。
出力回路17は、垂直シフトレジスタ13および水平シフトレジスタ16によって選択された画素からの距離信号を、必要ならば増幅して出力する。この固体撮像装置10では、4つの出力回路17を搭載しているが、4つでない固体撮像装置も当然考えられる。
信号処理装置20は、図1に示すように、アナログフロントエンド21と、ロジック・メモリ22とを備えている。
アナログフロントエンド21は、固体撮像装置10からのアナログ出力信号をデジタル出力信号に変換して、必要ならば出力信号の順序を入れ替えてロジック・メモリ22に出力する。固体撮像装置10からの出力信号がもしデジタル出力信号である場合には、アナログ出力信号をデジタル出力信号に変換する機能は不要だが、出力信号の順序を入れ替える機能は必要になる。信号処理装置20からの出力信号(距離信号)は、計算機30に出力される。
計算機30は、例えばコンピュータであり、信号処理装置20からの出力信号(距離信号)に基づいて固体撮像装置10の周囲の三次元情報を構成する。
光源40は、三次元情報を得たい箇所に光を投射する。光源40には、必要に応じて光を拡散することにより三次元情報を得たい箇所全体に光を照射する機構が内蔵されている。光源40からは、時間方向にパルス状の光(パルス光)が出力される。パルス光の出力時刻や幅は、信号処理装置20によって制御される。また、信号処理装置20は、光源40の制御と同期させて固体撮像装置10を制御する。固体撮像装置10は、信号処理装置20からの信号に従って、搭載されている画素100を画素駆動回路14などを介して制御する。
図2は、本実施形態にかかる固体撮像装置10に搭載する画素100の構成を示すブロック図である。図3は、本実施形態にかかる固体撮像装置10に搭載する画素100の構成を示す回路図である。なお、以下に説明する各種の信号について、“ON”とはハイレベルの電圧値の信号のことをいい、“OFF”とはローレベルの電圧値の信号であることをいう。また、“ONする”とはハイレベルの電圧値の信号を印加することをいい、“OFFする”とはローレベルの電圧値の信号を印加することをいう。
図2に示す画素100内には、受光回路101、カウンタ回路102、比較回路103、記憶回路104の4つのブロックが内蔵されている。以下、各ブロックの構成および機能を説明する。ここで説明する機能を各ブロックに持たせる構成は、ある程度の変形が考えられるが、その場合も本開示と同等であることはいうまでもない。
受光回路101は、図3に示すように、受光素子105と、トランスファゲートトランジスタ106と、リセットトランジスタ107とを有している。受光素子105とトランスファゲートトランジスタ106とは直列に接続され、受光素子105とトランスファゲートトランジスタ106とが1つずつ組となっている。トランスファゲートトランジスタ106は、受光素子105とカウンタ回路102との間に接続されている。
受光素子105は、例えばフォトダイオードである。トランスファゲートトランジスタ106は、受光素子105において光電変換により発生した電荷を輸送する。よって、受光回路101は、入射光を受けて受光信号に変換する機能を内蔵している。受光信号は、入射光の強弱に応じて変化してもよいが、入射光の到達の有無により2値になることが望ましい。以下、2値である前提で説明するが、2値でなくても画素100は動作する。2値でない場合は、回路的に定めたある閾値に対する大小で2値になっているものとする。さらに、入力信号である露光信号に応じて、光電変換を行う時間を任意に設定できる。また、リセット信号を受けて、受光信号をリセットする機能が付加されていてもよい。受光した場合の受光信号を、“受光信号がある”、受光していない場合を“受光信号がない”、と呼ぶことにする。リセット機能が付加されていない場合は、受光信号を出力すると同時もしくは十分短い時間内に、電気信号をリセットする機能が付加されている。
図2に示す画素100は、さらに、受光回路101の出力に接続されているカウンタ回路102を備えている。
カウンタ回路102は、図3に示すように、電荷蓄積コンデンサ108と、カウンタトランジスタ109と、カウンタ容量110とを有している。カウンタ容量110を介して出力許可信号130が出力される。カウンタ回路102は、カウント値を保持、増加、リセットする機能が付加されている。カウンタ回路102は、カウント値のリセットを、リセット信号に応じて行う。また、カウンタ回路102は、入力であるカウント信号がONの期間、受光信号を検知する。受光信号を検知した場合、カウンタ回路102は、カウント値を1つ増加させる。すなわち、カウンタ回路102は、受光回路101への受光信号の到達回数をカウントする。
図2に示す画素100は、さらに、カウンタ回路102の出力に接続されている比較回路103を備えている。
比較回路103は、図3に示すように、直流カットコンデンサ111と、クランプトランジスタ112と、インバータ113とを有している。比較回路103には、カウンタ回路102が計数した回数値に対する閾値を任意に設定、保持する機能が搭載されている。入力である閾値設定信号がONしたとき、入力であるカウント値に応じた閾値が設定される。閾値設定信号がOFFのとき、設定した閾値に対しカウント値が大きい場合、比較信号をONさせる機能がさらに付加されている。また、比較回路103は、出力許可信号が入力されていてもよい。この場合は、出力許可信号がONの場合のみ、比較信号をONする。出力許可信号については、実施の形態2で説明する。
図2に示す画素100は、さらに、記憶回路104を備えている。
記憶回路104は、図3に示すように、入力トランジスタ114と、記憶コンデンサ115と、記憶ノードリセットトランジスタ116とを有している。記憶回路104の入力は2つであり、1つには比較信号が入力される。もう1つには、時間に対して変化する信号、すなわち時間信号が入力される。記憶回路104には、比較信号がONしたとき、このタイミングでの時間信号の値を記憶する機能が内蔵されている。さらに、記憶回路104には、当然ながら、記憶した時間信号(これを距離信号とする)を出力する機能も付加されている。
さらに、記憶回路104には、図3に示すように、増幅トランジスタ117と、選択トランジスタ118とが接続されている。
図2に示す画素100は、固体撮像装置10内に二次元状に配列した形で内蔵される。固体撮像装置10を含めた距離測定装置1は、上述した図1のような構成となるが、これに限られるものではない。
[2.固体撮像装置の動作]
次に、本実施の形態にかかる固体撮像装置10の動作について説明する。図4は、固体撮像装置10の1フレーム期間に含まれる動作期間を示す図である。
図4に示すように、1フレーム期間は、背景光検知期間、距離測定期間および距離信号出力期間に分けられる。固体撮像装置10は、背景光検知期間、距離測定期間および距離信号出力期間をこの順に繰り返す動作を行う。
図5は、本実施の形態にかかる固体撮像装置10の背景光検知期間の動作シーケンスについて説明するための図である。図6は、本実施の形態にかかる固体撮像装置10の距離測定期間の動作シーケンスについて説明するための図である。
図5に示すように、背景光検知期間では、光源40からの信号光をOFFする。背景光検知期間では、固体撮像装置10への入射光は、背景光によるものだけである。トランスファゲートパルスを露光信号によりONすることによって、トランスファゲートトランジスタ106をONする。なお、トランスファゲートトランジスタ106をONしているうち、測定を開始するまでの間は、リセットトランジスタ107をONする。このように設定することで、所定の信号検出期間以前に受光素子に到達した光は、電荷として電荷蓄積コンデンサ108に蓄積されることなく、リセットトランジスタを介して排出されることとなる。
なお、トランスファゲートトランジスタ106をONするタイミングとリセットトランジスタ107をONするタイミングとは必ずしも同時である必要はなく、所定の信号検出期間以前にリセットトランジスタ107がONすればよい。
測定を開始する直前に、トランスファゲートトランジスタ106をONにしたまま、リセットトランジスタ107をOFFする。その後、光が入射すれば、入射光に対応する電荷がトランスファゲートトランジスタ106を介して電荷蓄積コンデンサ108に蓄積される。
それから、トランスファゲートトランジスタ106をOFFする。続いてカウンタトランジスタ109のゲートに印加する電圧であるカウンタトリガをONし、その電荷をカウンタ容量110に転送する。
その後、カウンタトリガをOFFする。続いて再びトランスファゲートトランジスタ106をONし、合わせてリセットトランジスタ107をONすることで、電荷蓄積コンデンサ108の電荷をリセットする。この行程をb回繰り返す。
その後、比較回路103において閾値設定信号をONし、この信号をクランプトランジスタ112に印加することにより、背景光に対応するカウンタ容量110の電圧を、直流カットコンデンサ111の両端の電圧として記憶する。この間、出力許可信号の電圧は、電圧Eに設定する。
距離測定期間では、期間を複数の期間に分割する。図6は、距離測定期間での動作シーケンスを示しており、(a)は複数の期間に分割された距離測定期間、(b)は(a)における期間αの動作シーケンスを示している。
期間αでは、まず光源から信号光パルスを射出する。
射出した信号光パルスと同時、または、信号光パルスを射出した時間から所定の時間だけ遅れた時間にトランスファゲートトランジスタ106をONする。トランスファゲートトランジスタ106をONし、式1で表される時間が経過する以前までに、リセットトランジスタ107をONする。
それから、式1で表される時間が経過したとき、トランスファゲートトランジスタ106をONにしたまま、リセットトランジスタ107をOFFする。
ここで、リセットトランジスタ107がONしている期間に入射した光は、電荷として電荷蓄積コンデンサ108に蓄積されることなく、リセットトランジスタ107を介して排出される。すなわち、リセットトランジスタ107がONしている期間に入射した光は、測定に寄与しない。一方で、所定の信号検出期間(リセットトランジスタ107をOFFしてからトランスファーゲートがOFFされるまでの期間)に到達した光のみを精度よく信号として検出することができる。
さらに、トランスファゲートトランジスタ106を所定の期間ONしたあと、トランスファゲートトランジスタ106をOFFする。続いて、カウンタトリガをONし、受光素子105で生成した電荷を電荷蓄積コンデンサ108に転送する。このとき、受光信号がある場合は、カウンタ値が1つ増加する。この一連の行程をb回繰り返す。
カウンタ回路102では、上記b回の露光のうち、何回光が到達したかを計数し記憶することになる。ここでは、光がc回到達したとする。ただし、上記aが十分小さいか、入射光が十分小さく、入射光が光子数個に分解でき、断続的に入射するとみなせることを前提としている。通常は、aが数10ナノ以下であれば、この前提は十分成立する。
次に、比較回路103に対し、閾値設定信号をONし、カウンタ回路102の出力値であるc回に応じた閾値を設定する。閾値は、カウンタ回路102の出力値であるcそのものでもよいが、ここではd=c+e(eは任意の正の値)に設定する。
次に、距離測定期間の動作を行う。ここでは、距離測定レンジとして、固体撮像装置10の至近距離からRメートルまでの範囲にある物体を検出するとする。また、その分解能はR/Nメートル(Nは1以上の整数)とする。これを実現するため、図6の(a)および(b)に示すように、距離測定期間では以下のような行程とする。
まず、図6の(a)に示すように、距離測定期間をN個の期間にさらに分ける。分けられたそれぞれの区間は、0〜R/Nメートルを検知する期間1、R/N〜2R/Nメートルを検知する期間2、・・・、(α―1)R/N〜αR/Nメートルを検知する期間α(αは1以上N以下の整数)、・・・、(N−1)R/N〜Rメートルを検知する期間Nとする。距離測定期間の分け方はこの通りに限られるものでなく、例えば不等ピッチにしてもよいが、ここでは上記のように分けたとして説明する。
次に、期間α内での動作について説明する。まず、カウンタ回路リセット信号をONし、カウンタ値をリセットする。また、記憶回路104に入力する時間信号をαに設定する。記憶回路104に入力する時間信号の値は全くの任意であり、期間1〜期間Nで互いに異なっていればよい。さらに、連続的に変化してもよい。(図6の(b)では期間α内で一定値としている)。
さらに、光源40を制御し、a秒間の幅を持った光パルスを投射する。この光がもし、期間αで測定する距離に対応した物体、すなわち(α―1)R/N〜αR/Nメートル先にある物体に反射して固体撮像装置10内のある画素に入射する場合、物体で反射した光パルス(受信光と呼ぶことにする)は、光源から発射した光パルス(投射光と呼ぶことにする)が発射した時刻に対して、
Figure 2019050024
だけ遅れて固体撮像装置10に到達する。ここで、Vは光速である。したがって、トランスファゲートトランジスタ106と、リセットトランジスタ107とをそれぞれONした後、光パルスが固体撮像装置に到達する時刻において、リセットトランジスタを先にOFFし、そこからa秒間後にトランスファーゲートをOFFするように設定すれば、この距離範囲内にある物体からの受信光を検知することができる。このあと、カウンタ回路102において、カウント信号により受信光を検知した回数、すなわち光の到達回数のカウントを行う。
上述した手順で露光をb回繰り返し、カウンタ回路102で光の到達回数を計数する。もし、期間αに対応する距離範囲内に物体が存在しなければ、計数の期待値は、背景光成分であるc回であり、閾値dより小さいので、後段の比較回路103の動作は変化しない。期間αに対応する距離範囲内に物体が存在する場合、計数の期待値はc回を上回る値であるf回となる。すなわち、受信光強度が十分大きい場合、
f>d ・・・(式2)
を満たす。
その後、比較回路103の出力許可信号をONする。式2が満たされている場合は、比較信号がONし、時間信号が距離信号として記憶される。式2が満たされない場合は、記憶されている距離信号(あるいは初期値の場合もありえる)は変化しない。
その後、期間(α+1)が続き、期間Nで距離測定期間が終了する。このとき、各画素の記憶回路104には、各画素が撮影する物体までの距離に対応した信号、すなわち距離信号が記憶されている。
最後に、距離信号出力期間に、各画素に記憶された距離信号を出力する。図1に示した距離測定装置1内の固体撮像装置10の場合は、垂直シフトレジスタ13および水平シフトレジスタ16により、順に画素を選択し、距離信号を出力する。この距離信号を信号処理装置20などで処理することにより、三次元的な情報(すなわち距離画像)が得られる。以下、この距離画像を得るための固体撮像装置10からの信号を単に距離画像と呼ぶこともある。
ここまでは、背景光検知期間の露光時間と距離測定期間の露光時間は同じ、また背景光検知期間の光パルス数と距離測定期間の光パルス数も同じとしたが、これに限られるものではない。ただし、異ならせる場合は、式2の成立要件が異ならせた値に応じて変形することになる。
さらに、各期間の光パルスの発射時刻に対する露光信号の遅れ時間もこれに限られるものではなく、様々なバリエーションが容易に考えられる。
次に、先行技術文献で使用されているパルス位相法よりも、本実施の形態にかかる固体撮像装置10による距離測定のほうが、距離の測定ダイナミックレンジが広い理由を説明する。
パルス位相法の場合、簡単化して考えると、受信光の強度変化によって距離を測定する方式であるので、画素の飽和レベルを超えた場合には測定不能となる。ところで、受信光強度は物体までの距離の二乗に反比例し、また物体の反射率に比例する。例えば、最大測定距離を100メートル、測定対象の物体の反射率が10%〜100%であるとする。このとき、1メートルの距離にある反射率100%の物体からの受信光強度と、100メートルの距離にある反射率10%の物体からの受信光強度の比は100000:1に達する。一方、一般的な固体撮像装置の単一画素の飽和電子数は10000程度であるので、上記2つを同時に測定できないことを意味している。
一方、固体撮像装置10による距離測定の場合、測定可能か否かは式2が成立するほど受信光強度が大きいことだけが条件であり、物体までの距離と反射率による受信光強度の変化にはまったく左右されない。従って、固体撮像装置10による距離測定のほうが、パルス位相法よりも距離ダイナミックレンジが大きいといえる。
固体撮像装置10による距離測定のほうが、パルス位相法よりも背景光強度に対する耐性がよい理由を説明する。測定条件として、上述のように至近距離からRメートルまでの範囲にある物体を検出することにする。また測定精度はR/Nメートルを確保するものとする。
このとき、背景光の影響を最も受けるのは、最遠距離、すなわちRメートル先の物体を測定する場合である。なぜなら、背景光の物体からの反射光強度は、物体までの距離によらないのに対し、光源からの受信光は距離の2乗に反比例するからである。すなわち、受信光におけるSN比は、距離が遠いほど小さくなる。
以下、測定可能である受信光の条件を計算する。以下、エネルギーの単位は光子数であるとする。計算の仮定として、ノイズ成分は、背景光のショットノイズが支配的であるとし、受信光のショットノイズはそれに対し十分小さく無視できるとする。
単一画素への受信光の単位時間当たりの入射ピーク光子数をSとする(入射ピークパワーを光子数換算した値である)。Sは、光源のエネルギーおよび物体の反射率、距離で決定される。この受信光と同時に、背景光が物体に反射することによる成分が重畳する。背景光による入射光成分の単位時間当たりの光子数をBとする。パルス位相法の場合、パルス幅を
Figure 2019050024
にしなければならないから、パルス数をMとすると、単一画素への受信光の合計エネルギーTは、
Figure 2019050024
となる。一方、背景光の成分の合計エネルギーは、
Figure 2019050024
となるが、これに光ショットノイズ
Figure 2019050024
が重畳している。測定される受信光エネルギーTを用いて、精度R/Nメートルを算出するための必要条件は、TがT/N以下の精度を持って測定できることである。すなわち、
Figure 2019050024
が条件である。
それに対して、かかる固体撮像装置10による距離測定に対する式7に対応する式を以下導出する。まず、単一の光パルスの幅およびそれを検知するための露光時間は、期間一つに対応する距離範囲の2倍を光速で通過する時間、すなわち、
Figure 2019050024
以下であればよい。ここでは、単一の光パルスの幅およびそれを検知するための露光時間は、式8に等しいとする。また、期間一つに単一画素に入射する受信光の合計エネルギーは、
Figure 2019050024
となる。ただし、ここでは期間ごとのパルス数とピークエネルギーは等しいと仮定した。これと同時に、入射する背景光による光エネルギーは、
Figure 2019050024
であり、この光の光ショットノイズは、
Figure 2019050024
である。閾値dは、式10と式11の合計よりも大きいことが最低限必要である。加えて、受信光が到達しない期間において到達したと誤って判定することを避けるためには、さらに閾値dを大きくする必要がある。統計理論によれば、式11の光ショットノイズが、式11のγ倍よりも大きくなる確率は、γ=1のとき16%、γ=2のとき2.5%、γ=3のとき0.15%である。この確率が1/Nよりも小さければ、上記誤判定は生じない。例えばN=100の場合、γ=3であればよい。すなわち、閾値dは、
Figure 2019050024
であるから、誤判定を生じずに測定するための必要条件は、
Figure 2019050024
である。
簡単のために、固体撮像装置10による距離測定において、総パルス数をパルス位相法による測定の場合と一致させる場合を考える。すなわち、固体撮像装置10による距離測定において、パルス位相法のパルス数M、測定期間数N、各測定期間内でのパルス数bが、M=Nbを満たす場合を考えると、式13は、
Figure 2019050024
となる。式14と式7とを比較すると、少なくともN>γの場合には、かかる固体撮像装置10による距離測定方法の方が、パルス位相法よりも小さい光源エネルギーで測定を行うことができる、すなわち、背景光に対する耐性が高いことがわかる。ジェスチャー認識、自動車に搭載して障害物検知を行うなどの場合に、固体撮像装置10による距離測定を用いるのであれば、N>100は少なくとも要求されるため、実質的にパルス位相法よりも小さい光源エネルギーでよいことが分かる。
次に、背景光成分が小さい場合でも、測距精度が高い理由を説明する。ここではノイズの主成分が受信光成分の光ショットノイズであるとし、他のノイズは無視できるとする。
パルス位相法の場合、受信光成分の光ショットノイズ成分は、受信光エネルギーTに対する光ショットノイズに等しいと考えて、
Figure 2019050024
である。精度R/Nメートルを算出するための必要条件は、TがT/N以下の精度を持って測定できることである。すなわち、
Figure 2019050024
かかる固体撮像装置10による距離計測の場合、簡単のため、M=Nbを満たすとすると、単一の測定期間内の受信光子数は、
Figure 2019050024
である。精度R/Nメートルを得るための必要条件は、単一の測定期間内の受信光エネルギーが1光子以上であることである。すなわち、
Figure 2019050024
式16と式17を比較すれば、N>1の場合について、パルス位相法よりもかかる固体撮像装置10による距離測定の方が、小さい光エネルギーで行うことができることがわかる。逆に言うと、同一光エネルギーならば、かかる固体撮像装置10による距離測定の方が、高い測距精度が得られるといえる。
以上、本実施の形態にかかる固体撮像装置10によると、測定可能距離レンジが広い距離測定が可能である。
本発明にかかる固体撮像装置は、衝突防止または自動運転のための自動車用機器、距離測定装置などに応用できる。
1 距離測定装置
10 固体撮像装置
12 画素領域
13 垂直シフトレジスタ
14 画素駆動回路
15 CDS回路
16 水平シフトレジスタ
17 出力回路
20 信号処理装置
21 アナログフロントエンド
22 ロジック・メモリ
30 計算機
40 光源
100 画素
101 受光回路
102 カウンタ回路
103 比較回路
104 記憶回路
105 受光素子
106 トランスファゲートトランジスタ
107 リセットトランジスタ
108 電荷蓄積コンデンサ
109 カウンタトランジスタ
110 カウンタ容量
111 直流カットコンデンサ
112 クランプトランジスタ
113 インバータ
114 入力トランジスタ
115 記憶コンデンサ
116 記憶ノードリセットトランジスタ
117 増幅トランジスタ
118 選択トランジスタ
130 出力許可信号

Claims (11)

  1. 光源と、前記光源からの光が物体に反射して帰還した反射光を受光して電荷を生じる受光素子と、前記電荷を蓄積する第1および第2容量と、前記受光素子と前記第1容量とを接続するトランスファーゲートトランジスタと、前記第1容量と外部電圧とを接続するリセットトランジスタと、を備える距離測定装置において、前記光源からの光が対象物に反射して帰還するまでの時間により距離を測定する距離測定方法であって、
    前記トランスファーゲートトランジスタをONする第1ステップと、
    前記トランスファーゲートトランジスタがONしている期間に、前記リセットトランジスタをOFFする第2ステップと、を含む距離測定方法。
  2. 第2ステップが実行される前であって、かつ、前記期間に前記リセットトランジスタをONする第3ステップを更に含む請求項1に記載の距離測定方法。
  3. 前記第3ステップにおいて前記リセットトランジスタがONになるタイミングは、前記トランスファーゲートトランジスタがONになるタイミングに一致する請求項2に記載の距離測定方法。
  4. 前記第2ステップは、前記光の発射時刻に対し所定の時間だけ遅れた時間に前記リセットトランジスタをOFFする請求項1に記載の距離測定方法。
  5. 前記光はパルス光である請求項1に記載の距離測定方法。
  6. 光源と、
    前記光源からの光が物体に反射して帰還した反射光を受光して電荷を生じる受光素子と、
    前記電荷を蓄積する第1および第2容量と、
    前記受光素子と前記第1容量とを接続する第1トランジスタと、
    前記第1容量と外部電圧とを接続する第2トランジスタと、を備え、
    前記制御回路は、
    前記第1トランスジスタをONする信号を前記第1トランスジスタに送り、
    前記第1トランスジスタがONの期間において前記第2トランスジスタをOFFする信号を前記第2トランスジスタに送る、
    距離測定装置。
  7. 前記期間において、
    前記第2トランスジスタをONする信号を前記第2トランスジスタに送る請求項6に記載の距離測定装置。
  8. 前記制御回路は、前記第1トランスジスタをONする信号と、前記第2トランスジスタをONする信号と、を同時に送る請求項7に記載の距離測定装置。
  9. 前記制御回路は、
    前記光の発射時刻に対し所定の時間だけ遅れた時間に前記第2トランスジスタをOFFする信号を前記第2トランスジスタに送る請求項6に記載の距離測定装置。
  10. 前記光はパルス光である請求項6に記載の距離測定装置。
  11. 前記制御回路は、
    前記電荷に基づいて入射光の到達回数を計数し、カウント値として出力するカウンタ回路と、
    前記カウント値が所定の閾値よりも大きい場合にON状態となる比較信号を出力する比較回路と、を更に備える、
    請求項6に記載の距離測定装置。
JP2019541042A 2017-09-11 2018-09-10 距離測定方法および距離測定装置 Pending JPWO2019050024A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017173859 2017-09-11
JP2017173859 2017-09-11
PCT/JP2018/033363 WO2019050024A1 (ja) 2017-09-11 2018-09-10 距離測定方法および距離測定装置

Publications (1)

Publication Number Publication Date
JPWO2019050024A1 true JPWO2019050024A1 (ja) 2020-10-22

Family

ID=65633963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019541042A Pending JPWO2019050024A1 (ja) 2017-09-11 2018-09-10 距離測定方法および距離測定装置

Country Status (3)

Country Link
US (1) US20200408910A1 (ja)
JP (1) JPWO2019050024A1 (ja)
WO (1) WO2019050024A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735515B2 (ja) * 2017-03-29 2020-08-05 パナソニックIpマネジメント株式会社 固体撮像装置
CN112865862B (zh) * 2019-11-12 2022-05-13 Oppo广东移动通信有限公司 电子设备之间光通信的环境光检测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009041943A (ja) * 2007-08-06 2009-02-26 Denso Corp 計測装置
JP2011119710A (ja) * 2009-11-06 2011-06-16 Semiconductor Energy Lab Co Ltd 半導体装置及びその動作方法
US20140002636A1 (en) * 2012-06-29 2014-01-02 Han-Soo Lee Method and device of measuring the distance to an object
JP2016015485A (ja) * 2014-06-11 2016-01-28 株式会社半導体エネルギー研究所 撮像装置
WO2017141957A1 (ja) * 2016-02-17 2017-08-24 パナソニックIpマネジメント株式会社 距離測定装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5476190B2 (ja) * 2010-03-31 2014-04-23 本田技研工業株式会社 固体撮像装置
JP5675469B2 (ja) * 2011-03-31 2015-02-25 本田技研工業株式会社 測距システム
JP2013195344A (ja) * 2012-03-22 2013-09-30 Toshiba Corp 飛行時間型距離センサ
US10422879B2 (en) * 2014-11-14 2019-09-24 Denso Corporation Time-of-flight distance measuring device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009041943A (ja) * 2007-08-06 2009-02-26 Denso Corp 計測装置
JP2011119710A (ja) * 2009-11-06 2011-06-16 Semiconductor Energy Lab Co Ltd 半導体装置及びその動作方法
US20140002636A1 (en) * 2012-06-29 2014-01-02 Han-Soo Lee Method and device of measuring the distance to an object
JP2016015485A (ja) * 2014-06-11 2016-01-28 株式会社半導体エネルギー研究所 撮像装置
WO2017141957A1 (ja) * 2016-02-17 2017-08-24 パナソニックIpマネジメント株式会社 距離測定装置

Also Published As

Publication number Publication date
WO2019050024A1 (ja) 2019-03-14
US20200408910A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
JP6823815B2 (ja) 固体撮像装置、距離測定装置および距離測定方法
US11204421B2 (en) Distance measuring device
US20200217965A1 (en) High dynamic range direct time of flight sensor with signal-dependent effective readout rate
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
JP2016161438A (ja) 演算装置
TWI703340B (zh) 適用於遠程飛行時間應用的雙模堆疊式光倍增器
JP6665873B2 (ja) 光検出器
JP4321540B2 (ja) 物体検出装置
US20210302553A1 (en) Lidar systems with improved time-to-digital conversion circuitry
US20160097841A1 (en) Distance-measuring/imaging apparatus, distance measuring method of the same, and solid imaging element
JP2007170856A (ja) 距離データ生成方法、距離画像生成装置、光電センサ
US10971539B2 (en) Solid-state imaging device, method of driving solid-state imaging device, imaging system, and movable object
US11626446B2 (en) Pixel circuit and method of operating the same in an always-on mode
JP2020112443A (ja) 距離測定装置及び距離測定方法
JPWO2019050024A1 (ja) 距離測定方法および距離測定装置
JP6735515B2 (ja) 固体撮像装置
CN110895336B (zh) 基于雪崩二极管的物体检测装置
KR102198941B1 (ko) TOF(Time of Flight)를 이용한 거리 측정 장치 및 방법
US11768277B2 (en) Time-of-flight sensor and control method thereof
CN114829970A (zh) 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法
US11849229B2 (en) Image capturing apparatus having photon detection and control method therefor
JP2021076517A (ja) 距離測定装置
JP7281718B2 (ja) 光検出器、固体撮像装置、及び、距離測定装置
US20230221439A1 (en) Addressing redundant memory for lidar pixels
JP7384931B2 (ja) 分配された光電子倍増管を伴う高空間解像度の固体画像センサ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221115