JP7137735B1 - 測距装置および測距方法 - Google Patents

測距装置および測距方法 Download PDF

Info

Publication number
JP7137735B1
JP7137735B1 JP2022539660A JP2022539660A JP7137735B1 JP 7137735 B1 JP7137735 B1 JP 7137735B1 JP 2022539660 A JP2022539660 A JP 2022539660A JP 2022539660 A JP2022539660 A JP 2022539660A JP 7137735 B1 JP7137735 B1 JP 7137735B1
Authority
JP
Japan
Prior art keywords
pixel
packet
pixels
signal
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022539660A
Other languages
English (en)
Other versions
JPWO2023276594A1 (ja
JPWO2023276594A5 (ja
Inventor
朋史 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Priority claimed from PCT/JP2022/023093 external-priority patent/WO2023276594A1/ja
Application granted granted Critical
Publication of JP7137735B1 publication Critical patent/JP7137735B1/ja
Publication of JPWO2023276594A1 publication Critical patent/JPWO2023276594A1/ja
Publication of JPWO2023276594A5 publication Critical patent/JPWO2023276594A5/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

測距装置は、複数の画素は、読み出し対象の第1画素と、読み出し対象でない第2画素とを決定し、第1画素のそれぞれに対して、互いに異なるタイミングのn種類の露光動作(nは4以上の整数)を行い、n種類の露光動作に対応するn種類の信号電荷を垂直転送部のn個のパケットに読み出し、垂直転送部が配置される領域のうちn個のパケットが形成される第1領域は、垂直方向に連続するm個の画素(mは3以上の整数)が配置される画素領域と隣り合い、m個の画素は、第1の画素および第2画素を含む。

Description

本開示は、距離画像を生成する測距装置および測距方法に関する。
従来、測距装置として様々な技術が提案されている(特許文献1、2、3参照)。
国際公開第2014/002415号 国際公開第2016/189808号 国際公開第2018/101049号
しかしながら、従来の測距装置において発光および露光のためのパルス幅を大きくすれば測距レンジを拡大できるが測距バラツキが増大するという課題がある。ここでいう測距バラツキは、繰り返し測定において生じるバラツキをいい、パルス幅に比例して大きくなる。
そこで、本開示は、測距レンジの拡大と、測距バラツキの低減とを可能にする測距装置および測距方法を提供することを目的とする。
上記目的を達成するために、本開示の一態様に係る測距装置は、パルス光を発する光源部と、固体撮像装置と、制御回路と、を備え、固体撮像装置は、光電変換により信号電荷を生成する複数の画素と、信号電荷を保持および転送するパケットが形成される複数の垂直転送部と、垂直転送部を覆いパケットを形成する複数種類の垂直転送電極と、を有し、複数の画素は、所定フレームを構成する読み出し対象の第1画素と、所定フレームを構成しない読み出し対象でない第2画素とを含み、制御回路は、第1画素のそれぞれに対して、パルス光に対して互いに異なるタイミングのn種類の露光動作(nは4以上の整数)を制御し、n種類の露光動作に対応するn種類の信号電荷を垂直転送部のn個のパケットに読み出し、垂直転送部が配置される領域のうちn個のパケットが形成される第1領域は、垂直方向に連続するm個の画素(mは3以上の整数)が配置される画素領域と隣り合い、m個の画素は、第1画素及び第2画素を含む。
また、本開示の一態様に係る測距方法は、パルス光を発する光源部と、固体撮像装置とを有する測距装置における測距方法であって、読み出し対象の第1画素と、読み出し対象でない第2画素とを決定し、第1画素のそれぞれに対して、パルス光に対して互いに異なるタイミングのn種類の露光動作(nは4以上の整数)を制御し、n種類の露光動作に対応するn種類の信号電荷を、固体撮像装置内の垂直転送部のn個のパケットに読み出し、垂直転送部が配置される領域のうちn個のパケットが形成される第1領域は、垂直方向に連続するm個の画素(mは3以上の整数)が配置される画素領域と隣り合い、m個の画素は、第1画素及び第2画素を含む。
なお、これらの全般包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の測距装置および測距方法は、測距レンジの拡大と測距バラツキの低減とを可能にする。
図1は、実施の形態1に係る測距装置の構成例を示すブロック図である。 図2は、実施の形態1に係る固体撮像装置の構成例を示すブロック図である。 図3は、実施の形態1に係る測距動作時に形成される6種類のパケットの配置例を示す説明図である。 図4Aは、実施の形態1に係る測距装置5の動作例を示すタイムチャートである。 図4Bは、実施の形態1に係る測距装置5の他の動作例を示すタイムチャートである。 図5は、実施の形態1に係る測距装置の動作例を示すフローチャートである。 図6Aは、実施の形態1に係る反射光のタイミングの第1例を示す説明図である。 図6Bは、実施の形態1に係る反射光のタイミングの第2例を示す説明図である。 図6Cは、実施の形態1に係る反射光のタイミングの第3例を示す説明図である。 図7Aは、実施の形態2に係る測距装置5の動作例を示すタイムチャートである。 図7Bは、実施の形態2に係る測距装置5の他の動作例を示すタイムチャートである。 図8は、実施の形態2に係る測距装置の動作例を示すフローチャートである。 図9Aは、実施の形態2に係る反射光のタイミングの第1例を示す説明図である。 図9Bは、実施の形態2に係る反射光のタイミングの第2例を示す説明図である。 図9Cは、実施の形態2に係る反射光のタイミングの第3例を示す説明図である。 図10は、実施の形態3に係る固体撮像装置の構成例を示すブロック図である。 図11は、実施の形態3に係る測距動作時に形成される6種類のパケットの配置例を示す説明図である。
以下、本開示の一態様に係る測距装置および測距方法の実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本開示の一包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
[1.1 構成]
図1は、実施の形態1に係る測距装置5の構成例を示すブロック図である。
測距装置5は、距離画像と可視光画像とを生成する測距カメラである。そのため、測距装置5は、光源部20、固体撮像装置10、制御回路30及び信号処理回路40を備える。
光源部20は、制御回路30からの発光制御信号に従って被写体に向けて赤外光のパルス光を照射する光源である。光源部20は、例えば、レーザダイオード又は発光ダイオード等の発光素子を含む。
固体撮像装置10は、制御回路30からの露光制御信号に従って露光動作をし、露光動作により画素信号を生成するイメージセンサである。
図2は、固体撮像装置10の構成例を示す図である。同図のように、固体撮像装置10は、複数の画素と、複数の垂直転送部とを含む。
複数の画素は、行列状に配置される。各画素は、赤外光または可視光を光電変換して信号電荷を生成する。図2の複数の画素は、交互に配置された第1画素行と、第2画素行とを有する。第1画素行は、一次元配置された複数の赤外光画素13を有する。第2画素行は、一次元配置された複数の可視光画素12を有する。複数の画素は、距離画像用の読み出し対象の第1画素と、距離画像用の読み出し対象でない第2画素とを含む。赤外光画素13は第1画素の具体例であり、可視光画素12は第2画素の具体例である。第1画素は、距離画像を構成する画素に対応し、距離画像の生成動作で読み出される。また、第2画素は、距離画像の生成動作で読み出されないが、輝度画像の生成動作で読み出される。
複数の垂直転送部は、奇数列の垂直転送部14aと、偶数列の垂直転送部14bとを含む。以下では、垂直転送部14aと垂直転送部14bとを特に区別しない場合は、垂直転送部14と記す。垂直転送部14は、信号電荷を保持および転送するパケットが形成される。ここで、パケットとは、垂直転送電極V1~V10により形成されるポテンシャルの井戸であり、信号電荷の保持と、信号電荷の垂直転送とに用いられる。垂直転送は、垂直転送部14の長手方向にパケットを転送することであり、双方向に可能である。そのため、各垂直転送部14は、垂直転送部14を覆い、パケットを形成する複数種類の垂直転送電極V1~V10を有する。
複数種類の垂直転送電極V1~V10は、印加される電圧の組合せによりパケットを形成および転送する。図2では、垂直転送電極V1~V10のうちの垂直転送電極V4は、赤外光画素13から垂直転送部14に信号電荷を読み出すための読み出し電極を兼用している。読み出し電極を兼用する垂直転送電極V4は、上記の第1画素行のうち例えば奇数番目の第1画素行において、2つの赤外光画素13からの信号電荷を偶数列の垂直転送部14bに読み出して加算混合するように配置されている。また、読み出し電極を兼用する垂直転送電極V4は、上記の第1画素行のうち例えば偶数番目の第1画素行において、2つの赤外光画素13からの信号電荷を奇数列の垂直転送部14aに読み出して加算混合するように配置されている。
なお、垂直転送電極V1~V10のうちの垂直転送電極V9は、可視光画素12から垂直転送部14に信号電荷を読み出すための読み出し電極を兼用している。
図1における制御回路30は、制御回路30にパルス光の照射を指示する発光パルスを有する発光制御信号を出力し、固体撮像装置10に露光を指示する露光パルスを有する露光制御信号を出力する。より具体的には、制御回路30は、発光制御信号および露光制御信号によって、第1画素(つまり赤外光画素13)のそれぞれに対して、パルス光に対して互いに異なるタイミングのn種類の露光動作(nは4以上の整数)を制御する。このとき、制御回路30は、n種類の露光動作のそれぞれで生成される信号電荷を垂直転送部のパケットに読み出し、垂直方向に転送する。また、垂直転送部14が配置される領域のうちn個のパケットが形成される第1領域は、垂直方向に連続するm個の画素(mは3以上の整数)が配置される画素領域と隣り合う。m個の画素は、上記の第1画素と第2画素とを含む。なお、制御回路30は、専用の論理回路で構成されてもよいし、プログラムを格納するメモリ、プログラムを実行するプロセッサ、および、入出力ポート等を含む構成であってもよい。
図3は、n=6の場合のパケットの配置例を示す図である。垂直転送部14の両側の2つの赤外光画素13から読み出された信号電荷は、n種類の露光動作に対応してn個のパケットに読み出されて保持される。図3のパケットP1~P6は、露光、読み出しおよび垂直転送を6回実行することにより生成される。
図1における信号処理回路40は、固体撮像装置10からの出力されるn個のパケット信号に基づいて、第1画素毎に(図3では混合加算の赤外光画素13の2つ毎に)距離値を算出する。具体的には、信号処理回路40は、まず、n個のパケット信号のうち、反射光のうち先頭を含む第1部分に対応する第1パケット信号と、反射光のうち第1部分以外の部分に対応する第2パケットとを判別する。次に、信号処理回路40は、n個のパケット信号の中から背景光成分を示す第1背景光パケット信号および第2背景光パケット信号を選択する。第1背景光パケット信号は、第1パケット信号と同等の背景光の信号電荷BG0を含むとみなすことができるパケット信号である。第2背景光パケット信号は、第2パケット信号と同等の背景光の信号電荷BG1を含むとみなすことができるパケット信号である。さらに、信号処理回路40は、第1パケット信号から第1背景光パケット信号を減算し、第2パケット信号ら第2背景光パケット信号を減算し、減算後の前記第1パケットと、減算後の前記第2パケットとから距離値を算出する。なお、信号処理回路40は、パケット信号等のデータおよびプログラムを格納するメモリ、プログラムを実行するプロセッサ、および、入出力ポート等を含む構成であってもよい。
なお、測距装置5は、光学レンズ等の光学系、光学レンズを移動させる駆動機構、生成された可視光画像及び距離画像を表示するディスプレイ及び保存する補助メモリ、操作者からの指示を受け取る入力デバイス(ボタン、タッチパネル)等を備えてもよい。
[1.2 動作]
上記のようの構成された本実施の形態に係る測距装置5について、以下その動作を説明する。
まず、n種類の露光動作およびn個のパケットを生成する動作について説明する。
図4Aは、実施の形態1に係る測距装置5の動作例を示すタイムチャートである。同図の「L0」は、制御回路30から光源部20に出力される発光制御信号に含まれる、発光タイミングを指示する発光パルスを示す。この発光パルスL0は正論理であり、ハイレベルで発光を、ローレベルで非発光を指示する。発光パルスL0のパルス幅Tpは、例えば10nSである。
「E1」は、制御回路30から光源部20に出力される露光制御信号に含まれる、露光タイミングを示す第1露光パルスを示す。この第1露光パルスE1は正論理であり、ハイレベルで露光を、ローレベルで非露光を指示する。第1露光パルスのパルス幅は、発光パルスと同じパルス幅Tpである。なお、第1露光パルスのパルス幅は、発光パルスと異なっていてもよい。
第2露光パルスE2から第6露光パルスE6も、第1露光パルスE1と同様である。ただし、「E1」から「E6」は発光パルスL0対して互いに異なるタイミングで露光を指示する。
図4Aでは、6種類の異なるタイミングの露光動作を、便宜上1つのタイムチャートにまとめて図示してある。6種類の露光動作は、発光パルスL0と第1露光パルスE1の組(L0、E1)による露光動作、(L0、E2)、(L0、E3)、(L0、E4)、(L0、E5)、(L0、E6)による露光動作である。
制御回路30は、この順番に露光動作を実施するように光源部20および固体撮像装置10を制御する。その結果、図3に示すように、(L0、E1)による露光動作により生成される信号電荷は、パケットP1に転送される。同様に、(L0、E2)、(L0、E3)、(L0、E4)、(L0、E5)、(L0、E6)の露光動作によりで生成される信号電荷は、パケットP2からP6に転送される。
また、図4AのパケットP1からP3からなるパケットグループを第1グループと呼ぶ。パケットP4からP6からなるパケットグループを第2グループと呼ぶ。第1グループと第2グループとは、暗電流に関して次の差異がある。すなわち、第1グループは、n個のパケットのうち、垂直転送部14内で第1の所定の読み出し電極を通過したパケットからなる。また、第2グループは、第2の所定の読み出し電極を通過したパケットからなる。第1の所定の読み出し電極とは、図2では読み出し電極を兼用する垂直転送電極V4のうち、当該パケットP1~P3への読み出しを行っていない読み出し電極をいい、第2の所定の読み出し電極とは、図2では読み出し電極を兼用する垂直転送電極V4のうち、当該パケットP4~P6への読み出しを行っていない読み出し電極をいう。第1、第2の所定の読み出し電極にも読み出し用の高電圧が印加されるので、第1、第2の所定の読み出し電極を通過したパケットは、それぞれ異なる暗電流成分が含まれることになる。すなわち、第1グループのパケットは、第2グループのパケットとは異なる暗電流成分が含まれると考えられる。また、同じグループ内のパケットは、ほぼ同じくらいの暗電流成分を含むと考えられる。
ここで、図4Aの動作例を、n=3、m=2のケースを比較例として説明する。この比較例は、図4Aから、第4~第6露光パルスE4~E6を削除し、パケットP4~P6が形成されない動作に相当する。例えば、図4Aの動作例は、露光パルス幅が比較例と同じである場合には、測距レンジを2.5倍に拡大することができる。また、図4Bに示すように、露光パルス幅Tqが比較例のパルス幅Tp約半分である場合には、測距レンジが同じで、測距バラツキを約半分にすることができる。
次に、測距装置における露光から距離画像の生成までの動作について説明する。
図5は、実施の形態1に係る測距装置の動作例を示すフローチャートである。距離画像を生成する場合、測距装置5は、まず、距離画像に対応する画素を読み出し対象の第1画素と決定し、距離画像に対応しない画素を読み出し対象でない第2画素とを決定する(S100)。図2の例では、第1画素は赤外光画素13である。また、第2画素は可視光画素12である。
次に、測距装置5は、ループ1(S101~S106)におけるn回の処理によって画素毎にパケット1~パケットnを生成する。ここでいう画素は、距離画像の画素であり、図3の例では、混合加算される2つの赤外光画素13が距離画像の1画素に対応する。図5の制御変数iは1からnまでの整数である。nは4以上の整数であり、図3の例ではnは6である。
ループ1において、測距装置5は、パルス光に対して第i露光パルスにより露光し(S102)、露光により可視光画素12で発生した信号電荷を垂直転送部14に読み出す(S103)。これにより、垂直転送部14に第i露光パルスによるパケットiが形成される。さらに、測距装置5は、垂直転送部14の各パケットを1パケット分垂直方向に転送する(S104)。
ループ1の処理により、距離画像の1画素あたりn種類のパケットP1~Pnが生成される。
固体撮像装置10は、パケットP1~Pnの信号電荷量を示すn種類のパケット信号を信号処理回路40に出力する(S106)。パケット信号は、デジタル信号でもよいし、アナログ信号でもよい。
信号処理回路40は、ループ2(S107~S114)において、固体撮像装置10から出力されるn種類のパケット信号に基づいて距離値を算出する。ループ2は、距離画像の画素毎の繰り返し処理である。
ループ2において、信号処理回路40は、n個のパケット信号のうち、反射光のうち先頭を含む部分に対応する信号電荷S0を示す第1パケット信号と、反射光のうち先頭を含む部分以外の部分に対応する信号電荷S1を示す第2パケット信号とを判別する(S108)。
ここで信号電荷S0、信号電荷S1について図6A~図6Cを用いて説明する。図6A~図6C中のRA、RB、RCは対象物からの反射光のタイミングを例示している。
図6Aの例では反射光RAの先頭を含む部分は第1露光パルスE1で露光され、信号電荷S0を生成する。信号電荷S0はパケットP1に保持される。また、反射光RAの先頭を含む部分以外の部分は第2露光パルスE2で露光され、信号電荷S1を生成する。信号電荷S1は、パケットP2に保持される。反射光RAにより生成される全信号電荷は、S0+S1に相当する。
図6Bの例では反射光RBの先頭を含む部分は第3露光パルスE3で露光され、信号電荷S0を生成する。信号電荷S0はパケットP3に保持される。また、反射光RBの先頭を含む部分以外の部分は第4露光パルスE4で露光され、信号電荷S1を生成する。信号電荷S1は、パケットP4に保持される。反射光RBにより生成される全信号電荷は、S0+S1に相当する。
図6Cの例では反射光RCの先頭を含む部分は第5露光パルスE5で露光され、信号電荷S0を生成する。信号電荷S0はパケットP5に保持される。また、反射光RCの先頭を含む部分以外の部分は第6露光パルスE6で露光され、信号電荷S1を生成する。信号電荷S1は、パケットP6に保持される。反射光RBにより生成される全信号電荷は、S0+S1に相当する。
n種類のパケット信号うち信号電荷S0を保持するパケットに対応するパケット信号を第1パケット信号と呼ぶ。また、n種類のパケット信号うち信号電荷S1を保持するパケットに対応するパケット信号を第2パケット信号と呼ぶ。
次に、信号処理回路40は、判別した第1パケット信号が属するグループを特定し(S109)、特定したグループから第1背景光パケット信号を選択する(S110)。第1背景光パケット信号は、n個のパケット信号のうち、反射光による信号電荷を含まず、背景光による信号電荷を含むパケット信号をいう。図6Aでは、パケットP3~P6は反射光による信号電荷を含まず、背景光による信号電荷を含む。図6Aでは、第1パケット信号がパケットP1対応し、第1グループG1に含まれるので、パケットP3に対応するパケット信号が第1背景光パケット信号として選択される。また、図6Bでは、パケットP2に対応するパケット信号が第1背景光パケット信号として選択される。なお、図6Bでは、パケットP1に対応するパケット信号が第1背景光パケット信号として選択されてもよい。図6Cでは、パケットP4に対応するパケット信号が第1背景光パケット信号として選択される。
さらに、信号処理回路40は、判別した第2パケット信号が属するグループを特定し(S111)、特定したグループから第2背景光パケット信号を選択する(S112)。第1背景光パケット信号は、n個のパケット信号のうち、反射光による信号電荷を含まず、背景光による信号電荷を含むパケット信号をいう。図6Aでは、パケットP3~P6は反射光を含まず、背景光を含む。図6Aでは、第2パケット信号がパケットP2対応し、第1グループG1に含まれるので、パケットP3に対応するパケット信号が第2背景光パケット信号として選択される。また、図6Bでは、パケットP5対応するパケット信号が第2背景光パケット信号として選択される。なお、図6Bでは、パケットP6に対応するパケット信号が第2背景光パケット信号として選択されてもよい。図6Cでは、パケットP4に対応するパケット信号が第2背景光パケット信号として選択される。
さらに、信号処理回路40は、信号電荷S0を示す第1パケット信号から第1背景光パケット信号を減算し、信号電荷S1を示す第2パケット信号から第2背景光パケット信号を減算し、減算後の前記第1パケット信号と、減算後の前記第2パケット信号とから距離値を算出する(S113)。
距離値zは、例えば、式1により算出される。
z={c×(i-1)×Tp+c×((S1-BG1)/(S0-BG0+S1-BG1)) ×Tp}/2 ・・・(式1)
第1パケット信号と第1背景光パケット信号とは同じグループに属するので同じくらいの暗電流成分を含んでいる。よって、第1パケット信号と第1背景光パケット信号との減算により、背景光成分をキャンセルするだけでなく、暗電流成分もキャンセルすることがるできる。
同様に、第2パケット信号と第2背景光パケット信号とは同じグループに属するので同じくらいの暗電流成分を含んでいる。よって、第1パケット信号と第1背景光パケット信号との減算により、背景光成分をキャンセルするだけでなく、暗電流成分もキャンセルすることができる。
このように、図5の動作例によれば、第1背景光パケット信号および第2背景光パケット信号の選択候補をグループ内に限定するので、グループによって異なる暗電流成分の大きさを、距離値の演算において適切にキャンセルすることができる。
以上説明してきたように、実施の形態1に係る測距装置は、パルス光を発する光源部20と、固体撮像装置10と、制御回路30と、を備え、固体撮像装置10は、光電変換により信号電荷を生成する複数の画素と、信号電荷を保持および転送するパケットが形成される複数の垂直転送部14と、垂直転送部を覆いパケットを形成する複数種類の垂直転送電極V1~V10と、を有し、複数の画素は、所定フレームを構成する読み出し対象の第1画素(例えば赤外光画素13)と、所定フレームを構成しない読み出し対象でない第2画素(例えば可視光画素12)とを含み、制御回路30は、第1画素のそれぞれに対して、パルス光に対して互いに異なるタイミングのn種類の露光動作(nは4以上の整数)を制御し、n種類の露光動作に対応するn種類の信号電荷を垂直転送部14のn個のパケットに読み出し、垂直転送部14が配置される領域のうちn個のパケットが形成される第1領域は、垂直方向に連続するm個の画素(mは3以上の整数)が配置される画素領域と隣り合い、m個の画素は、第1画素及び第2画素を含む。
これによれば、測距レンジの拡大と測距バラツキの低減とを可能にする。具体的には、互いに異なるタイミングの4つ以上の露光動作で反射光を露光するので、測距レンジを拡大することを可能にする。また、4つ以上の露光動作における露光パルス幅を短くすれば、測距バラつきの低減することを可能にする。
ここで、nは6以上であり、mは4以上であってもよい。
これによれば、例えば、比較例としてn=3、m=2のケースと比較してみれば、露光パルス幅が同じ場合は測距レンジを2.5倍以上に拡大することができ、露光パルス幅を半分にした場合は測距バラツキを半分以下にすることがでできる。
ここで、制御回路30は、パルス光と1対1で組み合わされる第1露光パルスから第n露光パルスを生成し、パルス光と第1露光パルスから第n露光パルスのそれぞれとの時間差は、第1露光パルスから第nの露光パルスの順に大きく、制御回路は、n種類の露光動作において、第1露光パルスから第n露光パルスを、第1から第nの露光パルスの順に生成してもよい。
これによれば、垂直転送部におけるn個のパケットの並び順は、パルス光に対する時間差の順大きい順または小さい順と同じになる。言い換えれば、n個のパケットは、隣接する距離区間の順と同じ順に並ぶ。よって、反射光で生じる信号電荷は、n個のパケットの並びにおいて隣り合う2つのパケットに保持させることができる。
ここで、測距装置5は、固体撮像装置10から出力されるn個のパケットに対応するn個のパケット信号に基づいて距離値を算出する信号処理回路40を備え、信号処理回路40は、n個のパケット信号のうち、反射光のうち先頭を含む部分に対応する第1パケット信号と、反射光のうち先頭を含む部分以外の部分に対応する第2パケット信号と、を判別し、n個のパケット信号の中から背景光成分を示す第1背景光パケット信号と、第2背景光パケット信号とを選択し、第1パケット信号から第1背景光パケット信号を減算し、第2パケット信号から第2背景光パケット信号を減算し、減算後の第1パケット信号と、減算後の第2パケット信号とから距離値を算出してもよい。
これによれば、距離値に対する背景光および暗電流の影響を抑制することができる。
ここで、n(nは偶数)個のパケット信号は、所定の読み出し電極を通過したパケットに対応するパケット信号からなる第1グループと、所定の読み出し電極を通過していないパケットに対応するパケット信号からなる第2グループとを構成し、信号処理回路40は、第1背景光パケット信号を、第1パケット信号が属するグループから選択し、第2背景光パケット信号を、第2パケット信号が属するグループから選択してもよい。
これによれば、距離値に対する背景光の影響を抑制し、暗電流の影響をさらに効果的に抑制することができる。なぜなら、第1パケット信号および第1背景光パケットは同じグループに属するので、同程度の暗電流成分を含んでいるからである。また、第2パケット信号および第2背景光パケットは同じグループに属するので、同程度の暗電流成分を含んでいるからである。
ここで、第1画素は赤外光を光電変換する赤外光画素であり、第2画素(可視光画素12)は可視光を光電変換する可視光画素であってもよい。
これによれば、距離画像の他に可視光による輝度画像を生成することができる。
ここで、複数の画素は、交互に配置された第1画素行と、第2画素行とを有し、第1画素行は、一次元配置された複数の赤外光画素13を有し、第2画素行は、一次元配置された複数の可視光画素12を有していてもよい。
これによれば、測距レンジの拡大と測距バラツキの低減とを可能にする。
ここで、所定列の垂直転送部14のそれぞれは、第1画素の読み出し動作において、所定行の第1画素行における、行方向に隣り合う2つの赤外光画素からの信号電荷を混合し、所定列以外の垂直転送部14のそれぞれは、第1画素の読み出し動作において、所定行以外の第1画素行における、行方向に隣り合う2つの赤外光画素からの信号電荷を混合し、所定列は、奇数列または偶数列であり、所定行は、第1画素行の集まりのうちの奇数番目の第1画素行または偶数番目の第1画素行であってもよい。
これによれば、画素混合に伴い感度を向上させることができる。
また、実施の形態1に係る測距方法は、パルス光を発する光源部20と、固体撮像装置10とを有する測距装置における測距方法であって、読み出し対象の第1画素と、読み出し対象でない第2画素とを決定し、第1画素のそれぞれに対して、パルス光に対して互いに異なるタイミングのn種類の露光動作(nは4以上の整数)を制御し、n種類の露光動作に対応するn種類の信号電荷を、固体撮像装置内の垂直転送部14のn個のパケットに読み出し、垂直転送部14が配置される領域のうちn個のパケットが形成される第1領域は、垂直方向に連続するm個の画素(mは3以上の整数)が配置される画素領域と隣り合い、m個の画素は、第1画素及び第2画素を含む。
これによれば、測距レンジの拡大と測距バラツキの低減とを可能にする。具体的には、互いに異なるタイミングの4つ以上の露光動作で反射光を露光するので、3以上の距離区間の距離演算、または、4以上の距離区間の物体有無の判別が可能になり、測距レンジを拡大することを可能にする。また、4つ以上の露光動作における露光パルス幅を短くすれば、測距バラつきの低減することを可能にする。
ここで、測距方法において、さらに、n個のパケット信号のうち、反射光のうち先頭を含む部分に対応する第1パケット信号と、反射光のうち先頭を含む部分以外の部分に対応する第2パケット信号と、を判別し、n個のパケット信号の中から背景光成分を示す第1背景光パケット信号と、第2背景光パケット信号とを選択し、第1パケット信号から第1背景光パケット信号を減算し、第2パケット信号から第2背景光パケット信号を減算し、減算後の第1パケット信号と、減算後の第2パケット信号とから距離値を算出してもよい。
これによれば、距離値に対する背景光および暗電流の影響を抑制することができる。
(実施の形態2)
実施の形態1では、反射光で生じる全信号電荷(S0+S1)は、垂直転送部14のn個のパケットの並びにおいて隣り合う2つのパケットに保持される。これに対して、実施の形態2では、反射光で生じる全信号電荷(S0+S1)が、垂直転送部14のn個のパケットの並びにおいて隣り合わない2つのパケットに保持される構成例について説明する。
本実施の形態における測距装置5の構成は、図1~図3と同じでよい。ただし、制御回路30によるn種類の露光動作の順序が主に異なっている。以下、同じ点の説明の重複を避けて、異なっている点を中心に説明する。
図7Aは、実施の形態2に係る測距装置5の動作例を示すタイムチャートである。同図は、図4Aと比べて、第1露光パルスE1から第6露光パルスE6を出力する順序が異なっている。図7Aでは、6種類の露光動作は、(L0、E1)、(L0、E3)、(L0、E5)、(L0、E2)、(L0、E4)、(L0、E6)の順序で実行される。その結果、(L0、E1)、(L0、E3)、(L0、E5)の露光動作が順に実行され、第1グループのパケットP1、P2、P3が生成される。(L0、E2)、(L0、E4)、(L0、E6)露光動作が順に実行され、第2グループのパケットP4、P5、P6が生成される。また、図7Bも図7Aとパルス幅が異なる点以外同様である。
図8は、実施の形態2に係る測距装置の動作例を示すフローチャートである。同図は、図5と比べて、ループ1の代わりにループ1aを実行する点が異なっている。
ループ1a(S101a~S105a)は、図5のループ1(S101~S105)と比べて制御変数iが1、3、5、2、4、6の順になっている点が異なる。制御変数iは第i露光パルスに対応する。
次に、実施の形態2における、第1パケット信号、第2パケット信号、第1背景光パケット信号、第2背景光パケット信号について図6A~図6Cを用いて説明する。図9A~図9C中のRA、RB、RCは、図6A~6Cと同様に、対象物からの反射光のタイミングを例示している。
図9Aの例では反射光RAの先頭を含む部分は第1露光パルスE1で露光され、信号電荷S0を生成する。信号電荷S0はとしてパケットP1に保持される。また、反射光RAの先頭を含む部分以外の部分は第2露光パルスE2で露光され、信号電荷S1を生成する。信号電荷S1は、パケットP4に保持される。
反射光RAにより生成される全信号電荷(S0+S1)は、パケットP1とパケットP4に保持される。第1パケット信号はパケットP1に対応する。第2パケット信号はパケットP4に対応する。
また、第1背景光パケット信号は、第1パケット信号と同じグループから選択され、パケットP2に対応するパケット信号が選択される。なお、第1背景光パケット信号は、パケットP3に対応するパケット信号でもよい。第2背景光パケット信号は、第2パケット信号と同じグループから選択され、パケットP5に対応するパケット信号が選択される。なお、第2背景光パケット信号は、パケットP6に対応するパケット信号でもよい。
このように、図9Aでは、反射光で生じる全信号電荷(SO+S1)が、垂直転送部14のn個のパケットの並びにおいて隣り合わない2つのパケットP1、P4に保持される。これにより、第1背景光パケット信号の候補を2つ確保することができる。第1背景光パケット信号をより適切に選択すること可能になる。同様に、第2背景光パケット信号の候補も2つ確保することができる。この点、図6Aでは、第1背景光パケット信号の候補も、第2背景光パケット信号の候補も1つだけである。図9Aでは、図6Aよりも、背景光成分のキャンセルと暗電流成分のキャンセルとをより適切に行うことができる。
図9Bの例では反射光RBの先頭を含む部分は第3露光パルスE3で露光され、信号電荷S0を生成する。信号電荷S0はパケットP2に保持される。また、反射光RBの先頭を含む部分以外の部分は第4露光パルスE4で露光され、信号電荷S1を生成する。信号電荷S1は、パケットP5に保持される。
反射光RBにより生成される全信号電荷(S0+S1)は、パケットP2とパケットP5に保持される。第1パケット信号はパケットP2に対応する。第2パケット信号はパケットP5に対応する。
また、第1背景光パケット信号は、第1パケット信号と同じグループから選択され、パケットP3に対応するパケット信号が選択される。なお、第1背景光パケット信号は、パケットP1に対応するパケット信号でもよい。第2背景光パケット信号は、第2パケット信号と同じグループから選択され、パケットP6に対応するパケット信号が選択される。なお、第2背景光パケット信号は、パケットP4に対応するパケット信号でもよい。
このように、図9Bでは、反射光で生じる全信号電荷(SO+S1)が、垂直転送部14のn個のパケットの並びにおいて隣り合わない2つのパケットP2、P5に保持される。これにより、第1背景光パケット信号の候補を2つ確保することができる。第1背景光パケット信号をより適切に選択すること可能になる。同様に、第2背景光パケット信号の候補も2つ確保することができる。この点は、図6Bと同様である。
図9Cの例では反射光RCの先頭を含む部分は第5露光パルスE5で露光され、信号電荷S0を生成する。信号電荷S0はパケットP3に保持される。また、反射光RCの先頭を含む部分以外の部分は第6露光パルスE6で露光され、信号電荷S1を生成する。信号電荷S1は、パケットP6に保持される。
反射光RCにより生成される全信号電荷(S0+S1)は、パケットP3とパケットP6に保持される。第1パケット信号はパケットP3に対応する。第2パケット信号はパケットP6に対応する。
また、第1背景光パケット信号は、第1パケット信号と同じグループから選択され、パケットP2に対応するパケット信号が選択される。なお、第1背景光パケット信号は、パケットP1に対応するパケット信号でもよい。第2背景光パケット信号は、第2パケット信号と同じグループから選択され、パケットP5に対応するパケット信号が選択される。なお、第2背景光パケット信号は、パケットP4に対応するパケット信号でもよい。
このように、図9Cでは、反射光で生じる全信号電荷(SO+S1)が、垂直転送部14のn個のパケットの並びにおいて隣り合わない2つのパケットP3、P6に保持される。これにより、第1背景光パケット信号の候補を2つ確保することができる。第1背景光パケット信号をより適切に選択すること可能になる。同様に、第2背景光パケット信号の候補も2つ確保することができる。第1背景光パケット信号をより適切に選択すること可能になる。同様に、第2背景光パケット信号の候補も2つ確保することができる。この点、図6Cでは、第1背景光パケット信号の候補も、第2背景光パケット信号の候補も1つだけである。図9Cでは、図6Cよりも、背景光成分のキャンセルと暗電流成分のキャンセルとをより適切に行うことができる。
以上説明してきたように、実施の形態2に係る測距装置において、制御回路30は、パルス光と1対1で組み合わされる第1露光パルスから第n露光パルスを生成し、パルス光と第1露光パルスから第n露光パルスのそれぞれとの時間差は、第1露光パルスから第nの露光パルスの順に大きく、制御回路30は、n種類の露光動作において、第1露光パルスから第nの露光パルスを、第1から第nのうち奇数に対応する露光パルスを順に生成し、かつ、第1から第nのうち偶数に対応する露光パルスを順に生成する。
これによれば、垂直転送部におけるn個のパケットの並び順は、パルス光との時間差の順ではなく飛び飛びの順になる。これによれば、反射光で生じる信号電荷は、n個のパケットの並びにおいて、隣り合わない2つのパケットに保持させることができる。この場合、反射光に対応する2つのパケットが隣り合わないので、2つのパケットそれぞれに対応する背景光成分となるパケットの候補をより多く確保することができる。その結果、測距バラツキをより抑制することができる。
(実施の形態3)
実施の形態3では、図2の異なる画素配列を有する測距装置の構成例について説明する。
[3.1 構成]
本実施の形態における測距装置5の構成は、図1と同じでよい。ただし、固体撮像装置10の複数の画素の構成が異なっている。以下異なる点を中心に説明する。
図10は、実施の形態3に係る固体撮像装置の構成例を示すブロック図である。同図は、図2と比べて、可視光画素12代わりに赤外光画素13を備える点が異なっている。この固体撮像装置10は、距離画像と輝度画像とを生成する。輝度画像は赤外光による二次元画像である。距離画像は、実施の形態1、2と同様に生成する。
制御回路30は、距離画像の生成において、列方向の隣り合う4つの画素行のうちの2つの画素行を使用し、のこり2つの画素行を使用しない。つまり、距離画像用の読み出し対象の第1画素は、列方向の隣り合う4画素行のうちの2画素行に属する画素である。読み出し対象でない第2画素は、列方向の隣り合う4画素行のうちの残り2画素行に属する画素である。そのため、図10では、複数種類の垂直転送電極V1~V10のうちV5A、V5B、V7A、V7Bは読み出し電極を兼用している。読み出し電極と兼用の垂直転送電極V5AとV5Bは、独立して制御可能である。読み出し電極と兼用の垂直転送電極V7AとV7Bも、独立して制御可能である。距離画像の生成動作では、垂直転送電極V5AとV7Aを読み出し電極として使用し、垂直転送電極V5BとV7Bを読み出し電極として使用しない。これにより、4つの画素行のうちの2つの画素行を使用し、のこり2つの画素行を使用しないことになる。
図11は、図10においてn=6の場合のパケットの配置例を示す図である。垂直転送部14の両側の2つの赤外光画素13から読み出された信号電荷は、n種類の露光動作に対応して6個のパケットに読み出されて保持される。パケットP1~P6は、露光、読み出しおよび垂直転送を6回実行することにより生成される。
本実施の形態における測距動作は、実施の形態1の図5のフローチャートに従ってもよいし、実施の形態2の図8のフローチャートに従ってもよい。
以上説明してきたように、実施の形態3に係る測距装置において、複数の画素のそれぞれは、赤外光を光電変換する赤外光画素である。
これによれば、測距レンジの拡大と測距バラツキの低減とを可能にする。
ここで、第1画素は、列方向の隣り合う4画素行のうちの2画素行に属する画素であり、第2画素は、4画素行のうちの第1画素以外の画素であり、所定列の垂直転送部のそれぞれは、第1画素の読み出し動作において、第1所定画素行における、行方向に隣り合う2つの第1画素からの信号電荷を混合し、所定列以外の垂直転送部のそれぞれは、第1画素の読み出し動作において、第2所定画素行における、行方向に隣り合う2つの第1画素からの信号電荷を混合し、所定列は、奇数列または偶数列であり、第1所定画素行は、2画素行のうちの1画素行であり、第2所定画素行は、2画素行のうちの他の1画素行であってもよい。
これによれば、距離画像の他に可視光画像を生成することができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の測距装置5を実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、図5または図8に示した測距方法を実行させる。
以上、本開示の一つまたは複数の態様に係る測距装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、距離画像を生成する測距装置に利用可能である。
5 測距装置
10 固体撮像装置
12 可視光画素
13 赤外光画素
14、14a、14b 垂直転送部
20 光源部
30 制御回路
40 信号処理回路
V1~V10、V5A、V5B、V7A、V7B 垂直転送電極

Claims (13)

  1. パルス光を発する光源部と、
    固体撮像装置と、
    制御回路と、を備え、
    前記固体撮像装置は、
    光電変換により信号電荷を生成する複数の画素と、
    信号電荷を保持および転送するパケットが形成される複数の垂直転送部と、
    前記垂直転送部を覆い、前記パケットを形成する複数種類の垂直転送電極と、を有し、
    前記複数の画素は、読み出し対象の第1画素と、読み出し対象でない第2画素とを含み、
    前記制御回路は、
    前記第1画素のそれぞれに対して、パルス光に対して互いに異なるタイミングのn種類の露光動作(nは4以上の整数)を制御し、前記n種類の露光動作に対応するn種類の信号電荷を前記垂直転送部のn個のパケットに読み出し、
    前記垂直転送部が配置される領域のうち前記n個のパケットが形成される第1領域は、垂直方向に連続するm個の画素(mは3以上の整数)が配置される画素領域と隣り合い、
    前記m個の画素は、前記第1画素及び前記第2画素を含む
    測距装置。
  2. 前記nは6以上であり、
    前記mは4以上である
    請求項1に記載の測距装置。
  3. 前記制御回路は、前記パルス光と1対1で組み合わされる第1露光パルスから第n露光パルスを生成し、
    前記パルス光と前記第1露光パルスから第n露光パルスのそれぞれとの時間差は、前記第1露光パルスから第nの露光パルスの順に大きく、
    前記制御回路は、前記n種類の露光動作において、第1露光パルスから第n露光パルスを、前記第1から第nの露光パルスの順に生成する
    請求項1に記載の測距装置。
  4. 前記制御回路は、前記パルス光と1対1で組み合わされる第1露光パルスから第n露光パルスを生成し、
    前記パルス光と前記第1露光パルスから第n露光パルスのそれぞれとの時間差は、前記第1露光パルスから第nの露光パルスの順に大きく、
    前記制御回路は、前記n種類の露光動作において、第1露光パルスから第nの露光パルスを、第1から第nのうち奇数に対応する露光パルスを順に生成し、かつ、第1から第nのうち偶数に対応する露光パルスを順に生成する
    請求項1に記載の測距装置。
  5. 前記固体撮像装置から出力されるn個のパケットに対応するn個のパケット信号に基づいて距離値を算出する信号処理回路を備え、
    前記信号処理回路は、前記n個のパケット信号のうち、反射光のうち先頭を含む部分に対応する第1パケット信号と、反射光のうち先頭を含む部分以外の部分に対応する第2パケット信号と、を判別し、
    前記n個のパケット信号の中から背景光成分を示す第1背景光パケット信号と、第2背景光パケット信号とを選択し、
    前記第1パケット信号から第1背景光パケット信号を減算し、
    前記第2パケット信号から第2背景光パケット信号を減算し、
    減算後の前記第1パケット信号と、減算後の前記第2パケット信号とから距離値を算出する
    請求項1に記載の測距装置。
  6. 前記n(nは偶数)個のパケット信号は、所定の読み出し電極を通過したパケットに対応するパケット信号からなる第1グループと、所定の読み出し電極を通過していないパケットに対応するパケット信号からなる第2グループとを構成し、
    前記信号処理回路は、
    前記第1背景光パケット信号を、前記第1パケット信号が属するグループから選択し、
    前記第2背景光パケット信号を、前記第2パケット信号が属するグループから選択する請求項5に記載の測距装置。
  7. 前記第1画素は赤外光を光電変換する赤外光画素であり、
    前記第2画素は可視光を光電変換する可視光画素である
    請求項1から6のいずれか1項に記載の測距装置。
  8. 前記複数の画素は、交互に配置された第1画素行と、第2画素行とを有し、
    前記第1画素行は、一次元配置された複数の前記赤外光画素を有し、
    前記第2画素行は、一次元配置された複数の前記可視光画素を有する
    請求項7に記載の測距装置。
  9. 所定列の垂直転送部のそれぞれは、前記第1画素の読み出し動作において、所定行の前記第1画素行における、行方向に隣り合う2つの赤外光画素からの信号電荷を混合し、
    前記所定列以外の垂直転送部のそれぞれは、前記第1画素の読み出し動作において、所定行以外の前記第1画素行における、行方向に隣り合う2つの赤外光画素からの信号電荷を混合し、
    前記所定列は、奇数列または偶数列であり、
    前記所定行は、前記第1画素行の集まりのうちの奇数番目の第1画素行または偶数番目の第1画素行である
    請求項8に記載の測距装置。
  10. 前記複数の画素のそれぞれは、赤外光を光電変換する赤外光画素である
    請求項1から6のいずれか1項に記載の測距装置。
  11. 前記第1画素は、列方向の隣り合う4画素行のうちの2画素行に属する画素であり、
    前記第2画素は、前記4画素行のうちの前記第1画素以外の画素であり、
    所定列の垂直転送部のそれぞれは、前記第1画素の読み出し動作において、第1所定画素行における、行方向に隣り合う2つの第1画素からの信号電荷を混合し、
    前記所定列以外の垂直転送部のそれぞれは、前記第1画素の読み出し動作において、第2所定画素行における、行方向に隣り合う2つの第1画素からの信号電荷を混合し、
    前記所定列は、奇数列または偶数列であり、
    前記第1所定画素行は、前記2画素行のうちの1画素行であり、
    前記第2所定画素行は、前記2画素行のうちの他の1画素行である
    請求項10に記載の測距装置。
  12. パルス光を発する光源部と、固体撮像装置とを有する測距装置における測距方法であって、
    読み出し対象の第1画素と、読み出し対象でない第2画素とを決定し、
    前記第1画素のそれぞれに対して、パルス光に対して互いに異なるタイミングのn種類の露光動作(nは4以上の整数)を制御し、
    前記n種類の露光動作に対応するn種類の信号電荷を、前記固体撮像装置内の垂直転送部のn個のパケットに読み出し、
    前記垂直転送部が配置される領域のうち前記n個のパケットが形成される第1領域は、垂直方向に連続するm個の画素(mは3以上の整数)が配置される画素領域と隣り合い、
    前記m個の画素は、前記第1画素及び前記第2画素を含む
    測距方法。
  13. さらに、前記n個のパケットのうち、反射光のうち先頭を含む第1部分による信号電荷を保持する第1パケットと、反射光のうち前記第1部分以外の部分による信号電荷を保持する第2パケットと、を判別し、
    前記n個のパケットの中から背景光成分を示す第1背景光パケットと、第2背景光パケットとを選択し、
    前記第1パケットから第1背景光パケットを減算し、
    前記第2パケットから第2背景光パケットを減算し、
    減算後の前記第1パケットと、減算後の前記第2パケットとから距離値を算出する
    請求項12に記載の測距方法。
JP2022539660A 2021-06-30 2022-06-08 測距装置および測距方法 Active JP7137735B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021108613 2021-06-30
JP2021108613 2021-06-30
PCT/JP2022/023093 WO2023276594A1 (ja) 2021-06-30 2022-06-08 測距装置および測距方法

Publications (3)

Publication Number Publication Date
JP7137735B1 true JP7137735B1 (ja) 2022-09-14
JPWO2023276594A1 JPWO2023276594A1 (ja) 2023-01-05
JPWO2023276594A5 JPWO2023276594A5 (ja) 2023-06-06

Family

ID=83279970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539660A Active JP7137735B1 (ja) 2021-06-30 2022-06-08 測距装置および測距方法

Country Status (4)

Country Link
US (1) US20240125932A1 (ja)
EP (1) EP4365546A4 (ja)
JP (1) JP7137735B1 (ja)
CN (1) CN117561722A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
WO2016189808A1 (ja) * 2015-05-28 2016-12-01 パナソニックIpマネジメント株式会社 測距撮像装置、その測距方法及び固体撮像装置
WO2017150246A1 (ja) * 2016-02-29 2017-09-08 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
WO2018101049A1 (ja) * 2016-11-29 2018-06-07 パナソニックIpマネジメント株式会社 固体撮像装置及び測距撮像装置
WO2019054102A1 (ja) * 2017-09-14 2019-03-21 パナソニックIpマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112513671B (zh) * 2018-08-02 2024-09-06 新唐科技日本株式会社 摄像装置、在该摄像装置中使用的固体摄像元件及摄像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
WO2016189808A1 (ja) * 2015-05-28 2016-12-01 パナソニックIpマネジメント株式会社 測距撮像装置、その測距方法及び固体撮像装置
WO2017150246A1 (ja) * 2016-02-29 2017-09-08 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
WO2018101049A1 (ja) * 2016-11-29 2018-06-07 パナソニックIpマネジメント株式会社 固体撮像装置及び測距撮像装置
WO2019054102A1 (ja) * 2017-09-14 2019-03-21 パナソニックIpマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置

Also Published As

Publication number Publication date
JPWO2023276594A1 (ja) 2023-01-05
CN117561722A (zh) 2024-02-13
EP4365546A4 (en) 2024-09-18
US20240125932A1 (en) 2024-04-18
EP4365546A1 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
JP5635937B2 (ja) 固体撮像装置
WO2018101187A1 (ja) 距離測定装置
JP5698527B2 (ja) 深さセンサーの深さ推定方法及びその記録媒体
JP7018022B2 (ja) 固体撮像装置及び測距撮像装置
US9781366B2 (en) Image sensing system and method of driving the same
JP2014106476A (ja) 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体
JP2009047662A (ja) 固体撮像装置及び距離画像測定装置
JP2019140537A (ja) 固体撮像素子、撮像装置及び撮像方法
JP6498786B2 (ja) 荷電粒子線装置
JP7137735B1 (ja) 測距装置および測距方法
WO2023276594A1 (ja) 測距装置および測距方法
US20210011167A1 (en) Solid-state imaging device, solid-state imaging system, and method of driving the solid-state imaging device
KR20130134293A (ko) 이미지 센서, 이의 동작 방법, 및 이를 포함하는 시스템
JP6485675B1 (ja) 固体撮像装置、及びそれを備える撮像装置
EP3684051A1 (en) Solid-state imaging device, and imaging device equipped with same
US10057507B2 (en) Shifted binning in X-ray sensors
CN111885322B (zh) 具有距离感测功能的图像传感器及其操作方法
JP2017184181A (ja) 撮像素子
US20240159876A1 (en) Distance measuring device and distance measurement method
JP6366325B2 (ja) 撮像システム
US20230137640A1 (en) Imaging sensor and imaging apparatus
JP6980859B2 (ja) 撮像素子
WO2023199804A1 (ja) 測距装置および測距方法
US11659290B2 (en) Light detection system
US20220006941A1 (en) Solid-state imaging device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220628

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220902

R150 Certificate of patent or registration of utility model

Ref document number: 7137735

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150