JP7363899B2 - 距離画像撮像装置及び距離画像撮像方法 - Google Patents
距離画像撮像装置及び距離画像撮像方法 Download PDFInfo
- Publication number
- JP7363899B2 JP7363899B2 JP2021529640A JP2021529640A JP7363899B2 JP 7363899 B2 JP7363899 B2 JP 7363899B2 JP 2021529640 A JP2021529640 A JP 2021529640A JP 2021529640 A JP2021529640 A JP 2021529640A JP 7363899 B2 JP7363899 B2 JP 7363899B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- charge
- light
- amount
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
- G01S17/14—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein a voltage or current pulse is initiated and terminated in accordance with the pulse transmission and echo reception respectively, e.g. using counters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
そして、TOF方式の距離画像センサは、使用用途において、必要とする距離測定の範囲に対応して、光パルス幅を設定して用いている。
また、測定空間の環境における背景光の影響をキャンセルするため、常に光が照射されない期間を設定することで、背景光のみの受光量を蓄積するようにし、反射光の遅れの情報を含む信号から背景光による成分を差し引いて、背景光の影響を除去している。
しかしながら、広い距離範囲を測定するため、近距離及び遠距離の各々における領域における測定精度(距離分解能)を、近距離、遠距離のそれぞれの領域に対応して最適化することができない。
本発明の距離画像撮像方法は、測定対象の空間である測定空間に対して光源部から照射光を照射する過程と、前記照射光が前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を光電変換素子が発生する過程と、フレーム周期において前記照射光の照射に同期して前記反射光による前記電荷を電荷蓄積部に対して蓄積する過程と、前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定する過程と、前記通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相と幅を調整する過程とを含み、前記反射光の電荷を蓄積する2個の前記電荷蓄積部である第1振分電荷蓄積部及び第2振分電荷蓄積部の各々に積算される前記電荷の量である電荷量の比に基づいて前記対象物との距離を求める場合、前記通常モードによる距離の測定後、前記第1振分電荷蓄積部、前記第2振分電荷蓄積部のそれぞれ電荷量が同一となるように前記照射光の位相を調整し、当該電荷量と当該位相の調整量との各々に基づいて前記距離を求める。
以下、本発明の第1の実施形態について、図面を参照して説明する。図1は、本実施形態の距離画像撮像装置の概略構成を示したブロック図である。なお、図1には、距離画像撮像装置1において距離を測定する被写体である被写体Sも併せて示している。
図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備えている。
垂直走査回路323は、制御回路322からの制御に応じて、受光画素部320内に配置された画素回路321の各々を制御し、画素回路321それぞれから、入射した光を光電変換した電荷量に応じた電圧の信号(以下、「電圧信号」という)を対応する垂直信号線327に出力させる(読み出させる)駆動回路である。垂直走査回路323は、画素回路321を駆動(制御)して読み出すための制御信号(後述する選択駆動信号SEL1、SEL2、SEL3)を、受光画素部320内に格子状に配置された画素回路321の行単位に出力する。
これにより、画素回路321においてそれぞれの電荷蓄積部に振り分けられた電荷量に応じた電圧信号が、受光画素部320の行ごとに対応する垂直信号線327の各々に読み出され、画素信号処理回路325に出力される。
AD変換回路329は、画素信号処理回路325から、垂直信号線330を介して供給される列毎のアナログの電圧信号を、それぞれAD変換してデジタル値に変換する。
そして、AD変換回路329は、水平走査回路324の制御に応じて、受光画素部320の行ごとに水平信号線338に出力する。
ここで、画素信号読み出し部RU1において、読み出しゲートトランジスタG1は、ドレインが光電変換素子PDの第2の端子に接続され、ゲートが蓄積駆動信号TX1を伝搬する信号線LTX1に接続され、ソースがフローティングディフュージョンFD1及び電荷蓄積容量C1の第1の端子とに接続されている。
同様に、画素信号読み出し部RU2において、読み出しゲートトランジスタG2は、ドレインが光電変換素子PDの第2の端子に接続され、ゲートが蓄積駆動信号TX2を伝搬する信号線LTX2に接続され、ソースがフローティングディフュージョンFD2及び電荷蓄積容量C2の第1の端子とに接続されている。
また、同様に、画素信号読み出し部RU3において、読み出しゲートトランジスタG3は、ドレインが光電変換素子PDの第3の端子に接続され、ゲートが蓄積駆動信号TX3を伝搬する信号線LTX3に接続され、ソースがフローティングディフュージョンFD3及び電荷蓄積容量C3の第1の端子とに接続されている。
上述した蓄積駆動信号TX1、蓄積駆動信号TX2及び蓄積駆動信号TX3の各々は、画素駆動回路326から、信号線LTX1、信号線LTX2、信号線LTX3それぞれを介して供給される。
ここで、垂直走査回路323及び画素駆動回路326の各々が画素回路321を駆動(制御)する構成として説明する。以下の説明において、制御回路322は、画素駆動回路326に対して、蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDの各々を生成するクロック信号CK1、CK2、CK3、CKRSTDをそれぞれ出力する。また、制御回路322は、垂直走査回路323に対して、選択駆動信号SEL1、SEL2、SEL3、リセット信号RST1、RST2、RST3の各々を生成するクロック信号をそれぞれ出力する。
そして、時刻tR2~時刻tR3の期間において、垂直走査回路323は、リセット信号RST1(i)を供給して、画素回路321(i)に備えた電荷蓄積部CS1(i)の電荷を放電させ、リセットを行う。
また、垂直走査回路323は、画素信号読み出し部RUに備えた電荷蓄積部CSに蓄積(積算)された電荷量に応じた電圧信号を順次、垂直信号線を介して画素信号処理回路325に出力させる。
垂直走査回路323は、蓄積部CS1、CS2及びCS3の各々に蓄積された電荷の電荷量に対応した電圧を、ソースフォロアゲートトランジスタSF1、SF2、SF3から、画素信号処理回路325に出力させる。
垂直走査回路323は、選択駆動信号SEL1、SEL2及びSEL3の各々を出力することにより、選択ゲートトランジスタSL1、SL2、SL3それぞれを制御する。これにより、選択ゲートトランジスタSL1、SL2、SL3の各々は、蓄積部CS1、CS2、CS3に蓄積された電荷量に対応した電圧を、出力端子O1、O2、O3から距離画素電圧信号PS1、PS2、PS3(アナログ電圧であることを明確化するため、以下、入力電圧VA(CS1)、VA(CS2)、VA(CS3)と示す)として、画素信号処理回路325に出力する。
AD変換回路329は、格子状に配列された画素回路321における列j毎に、列AD変換部329jを有している。垂直信号線330(図2)は、3本の垂直信号線からなる。例えば、格子状に配列された画素回路321の列jに対応する垂直信号線330jは、垂直信号線330j(CS1)、330j(CS2)及び330j(CS3)の各々を有している。
列AD変換部329jは、列jにおける出力端子O1、O2及びO3の各々に対応して設けられ、垂直信号線330j(CS1)、330j(CS2)、330j(CS3)のそれぞれを介して接続された列AD変換回路329j(CS1)、329j(CS2)、329j(CS3)を備えている。
列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々には、垂直信号線330j(CS1)、330j(CS2)、330j(CS3)を介して、画素信号処理回路325から供給される信号処理後の電荷蓄積部CS1に蓄積された電荷量に応じたアナログ電圧がそれぞれ入力電圧VA(CS1)、VA(CS2)、VA(CS3)として供給される。垂直信号線330j(CS1)、330j(CS2)及び330j(CS3)の各々は、それぞれ図3の画素回路321における出力端子O1、O2、O3に接続されている。
そして、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々は、それぞれ入力電圧VA(CS1)、VA(CS2)、VA(CS3)を、AD変換により得られたデジタル値の変換電圧VD(CS1)、VD(CS2)、VD(CS3)を、それぞれ補正して、出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)の画素信号として出力する。
通常モードにおいて、測定したい被写体Sまでの距離Dが近距離の範囲に位置しているか、あるいは遠距離の範囲に位置しているかの判定を行う。
そして、距離画像センサ32の最大測定距離を2分割することにより、2つのサブ測定範囲を生成して、被写体Sとの距離が小さい方のサブ測定範囲を近距離範囲とし、被写体Sとの距離が大きい方のサブ測定範囲を遠距離範囲とする(後述する図9(a))。
上述した詳細測定モードは、近距離モードと遠距離モードとの2つがある。近距離モードは上記近距離範囲における被写体Sとの距離Dを測定する詳細測定モードである。また、遠距離モードは上記遠距離範囲における被写体Sとの距離Dを測定する詳細測定モードである。
距離算出部42は、、電荷量判定部420、距離算出部421、距離判定部422、モード設定部423、測定可否部424及びモードテーブル425の各々を備えている。
電荷量判定部420は、測定モードが近距離モードの場合、画素回路321毎に、出力デジタル値OD(CS2)を出力デジタル値OD(CS1)と比較し、出力デジタル値OD(CS2)が出力デジタル値OD(CS1)を超えているか否かの判定を行う。ここで、出力デジタル値OD(CS2)が出力デジタル値OD(CS1)を超えている場合、電荷量Q2が電荷量Q1に加えて反射光RLにより生成される電荷量が含まれている、すなわち電荷量Q2及びQ3により被写体Sまでの距離が測定可能であることを示している。一方、出力デジタル値OD(CS2)が出力デジタル値OD(CS1)と同一、または以下である場合、電荷量Q2が電荷量Q1に加えて反射光RLにより生成される電荷量を含んでいない、すなわち電荷量Q2及びQ3により被写体Sまでの距離が測定不可能であることを示している。この出力デジタル値OD(CS2)が出力デジタル値OD(CS1)以下である場合は、被写体Sが近距離のサブ測定範囲である近距離範囲ではなく、遠距離のサブ測定範囲である遠距離範囲に位置している。
一方、電荷量判定部420は、電荷量の判定結果が距離の測定が可能でない場合、距離算出部421に対して距離の算出を行わず、予め設定した数値を計算結果とする制御情報を出力する。このとき、例えば、距離算出部421は、計算結果として、近距離モードの場合に最大距離の数値を出力し、遠距離モードの場合に最小数値を出力する
また、電荷量判定部420は、測定モードが通常モードである場合には電荷量の判定処理を行わず、距離算出部421に対して所定の計算処理を行わせる制御情報を出力する。
また、距離算出部421は、電荷量判定部420から計算を行わない制御が行われた場合、対応する出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)を用いた計算を行わず、予め設定した数値を計算結果として出力する。
本実施形態においては、距離画像撮像装置1から、距離画像撮像装置1が測定可能とする最大測定距離(Dm)までの範囲である距離範囲を、同一幅の複数のサブ測定範囲に分割している。例えば、距離範囲が0mから4mまでの場合、距離範囲を2つのサブ測定範囲、すなわち0mを超えて2m未満の近距離範囲及び2m以上で4m未満の遠距離範囲に2分割している。本実施形態においては、距離範囲を2分割としているが、3分割以上として構成してもよい。
サブ測定範囲に対応して、光パルスPO、蓄積駆動信号TX1、TX2、TX3それぞれのパルス幅Tswが設定される。
そして、距離判定部422は、注目領域における画素の距離Dがいずれのサブ測定範囲に含まれているか、例えば、近距離範囲及び遠距離範囲のいずれに含まれているかの判定を行い、判定結果の測定範囲情報をモード設定部423に対して出力する。
また、距離判定部422は、距離Dが不明の場合、最大測定距離Dmに対応した距離範囲にであることを示す測定範囲情報を、モード設定部423に対して出力する。
D=(Q3-Q1)/(Q2+Q3-2Q1)×Dsm …(3)
D=Dsm+(Q3-Q1)/(Q2+Q3-2Q1)×Dsm …(4)
Dsm=(c/2)Tsw …(5)
ここで、本実施形態においては、測定モードとして、上述した通常モードと詳細測定モードとが設けられている。
モード設定部423は、最大測定距離Dmに対応した測定範囲の測定であることを示す測定範囲情報が距離判定部422から供給された場合、モードテーブル425から通常モードのモード設定値を読み出す。
モード設定値は、上述したパルス幅Twと、光パルスPOの位相(出力タイミング)との各々の組合せである。また、モード設定値は、距離範囲における通常モードと、各サブ測定範囲における詳細測定モードの各々とに対応して、モードテーブル425に設定されている。
測定可否部424は、注目領域における画素の距離が現在の詳細測定モードにより、すなわち近距離モードの場合に近距離範囲に含まれているか否か、また遠距離モードの場合に遠距離範囲に含まれているか否かの判定を行う。
図7(a)は、通常モードにおけるモード設定値のパルス幅Twと光パルスPOの位相とを示している。図7(b)は、近距離モードにおけるモード設定値のパルス幅Tswと光パルスPOの位相とを示している。図7(c)は、遠距離モードにおけるモード設定値のパルス幅Tswと光パルスPOの位相とを示している。
時刻tA1の直前まで、リセット駆動信号RSTDが画素回路321に対して供給されている。時刻tA1において、画素駆動回路326が蓄積駆動信号TX1により、背景光により光電変換素子PDが生成する電荷を電荷蓄積部CS1に振分ける。時刻tA2において、画素駆動回路326が蓄積駆動信号TX2により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS2に振分ける。時刻tA3において、画素駆動回路326が蓄積駆動信号TX3により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS3に振分ける。時刻tA4において、リセット駆動信号RSTDが供給されることにより、光電変換素子PDが生成する電荷が消去(リセット)される。
ここで、光パルスPOの位相を蓄積駆動信号TX2でなく、蓄積駆動信号TX1と等しくしたのは、遠距離モードにおけるサブ測定範囲L(遠距離範囲)が2(m)≦L<4(m)のためである。このため、2mの距離を光が往復する4m(=Dm)/cの時間分より前のタイミング、すなわち電荷を振分ける蓄積駆動信号TX2のタイミングにおいて、2m以上の距離に位置する被写体Sからの反射光RLが入射されるように、距離画像処理部4が蓄積駆動信号TX1のタイミングで光パルスPOを光源部2に照射させる。
ステップSA1:モード設定部423は、距離測定を行う測定モードを初期設定し、通常モードにおけるパルス幅Twと位相とをモードテーブル425から読出す。そして、モード設定部423は、読み出したパルス幅Tw及び位相をタイミング制御部41に対して出力する。これにより、タイミング制御部41は、蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDの各々を距離画像センサ32に供給し、光源装置21に光パルスPOを出射する駆動信号を出力する(図7(a)に示した波形)。
距離算出部421は、出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)の各々を、電荷量Q1、Q2、Q3それぞれとして、式(1)に代入し、距離画像センサ32から被写体Sまでの距離を算出する(距離計測)。
また、距離画像内における上記注目領域の情報を、予め距離画像撮像装置1に対して設定しておき、距離画像において設定された注目領域を枠画像で囲む構成としてもよい。この場合、ユーザは、自身が詳細に距離を計測する対象を、上記枠画像に入るように距離画像撮像装置1の撮像方向を調整する。
このとき、距離判定部422は、注目領域の画素の距離が近距離モードのサブ測定範囲である近距離範囲に含まれている場合、処理をステップSA4へ進める。
一方、距離判定部422は、注目領域の画素の距離が近距離モードの近距離範囲に含まれていない場合(遠距離モードのサブ測定範囲である遠距離範囲に含まれている場合)、処理をステップSA8へ進める。
これにより、距離算出部421は、近距離モードで取得された電荷量Q1、Q2、Q3に対応する出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)を入力する。
そして、電荷量判定部420は、電荷量Q2及びQ3により被写体Sまでの距離が測定可能である場合、距離算出部421に対して距離の算出を行わせる制御情報を出力する。
距離算出部421は、距離の算出を行わせる制御情報が入力された場合、入力される電荷量Q1、Q2及びQ3の各々を式(3)に代入して、算出した距離Dを出力する(近距離モードによる距離計測)。
距離算出部421は、入力される電荷量Q1、Q2及びQ3の各々を用いた距離Dの算出を行わず、予め設定した数値を算出結果として出力する。
撮像画像の全ての画素に対して、電荷量判定部420は電荷量Q1及びQ2の比較を行い、距離算出部421は比較結果に対応した距離Dの算出を行う。
このとき、測定可否部424は、距離Dが範囲外値で無い場合、注目領域の被写体Sが近距離範囲内の距離に含まれており、近距離モードにより測定が可能であるため、処理をステップSA5へ進める。
一方、測定可否部424は、距離Dが範囲外値である場合、注目領域の被写体Sが近距離範囲内の距離に含まれておらず、近距離モードにより測定が可能ではないため、処理をステップSA1へ進める。
これにより、距離算出部421は、遠距離モードで取得された電荷量Q1、Q2、Q3に対応する出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)の画素信号を距離画像センサ32から入力する。
そして、電荷量判定部420は、電荷量Q2及びQ3により被写体Sまでの距離が測定可能である場合、距離算出部421に対して距離の算出を行わせる制御情報を出力する。
距離算出部421は、距離の算出を行わせる制御情報が入力された場合、入力される電荷量Q1、Q2及びQ3の各々を式(4)に代入して、算出した距離Dを出力する(遠距離モードによる距離計測)。
距離算出部421は、入力される電荷量Q1、Q2及びQ3の各々を用いた距離Dの算出を行わず、予め設定した数値を算出結果として出力する。
撮像画像の全ての画素に対して、電荷量判定部420は電荷量Q1及びQ2の比較を行い、距離算出部421は比較結果に対応した距離Dの算出を行う。
このとき、測定可否部424は、距離Dが範囲外値で無い場合、注目領域の被写体Sが遠距離範囲内の距離に含まれており、遠距離モードにより測定が可能であるため、処理をステップSA9へ進める。
一方、測定可否部424は、距離Dが範囲外値である場合、注目領域の被写体Sが遠距離範囲内の距離に含まれておらず、遠距離モードにより測定が可能ではないため、処理をステップSA1へ進める。
本実施形態においては、一例として、通常モードにおける測定範囲Lである0.1mから4mまで(0.1[m]<L<4[m])を、0.1mから2mまで(0.1[m]<L<2[m])の近距離範囲と、2mから4mまで(2[m]≦L<4[m])の遠距離範囲とのサブ測定範囲に分割している。
そして、通常モードにおける測定範囲に対して、測定可能なサブ測定範囲を狭く設定し、このサブ測定範囲における距離の測定を行うため、パルス幅をTwからTswと短くし、光パルスPOの幅をサブ測定範囲における距離の測定に対応させるため短くしている。
しかしながら、遠距離範囲内における被写体Sからの反射光RLの電荷量Q2及びQ3とを用いて式(4)により算出するため、近距離における高い強度の反射光RLにより発生する電荷量を含まず、距離の測定の精度(分解能)を向上させることができる。
図9(b)に示すように、通常モードにおいては、近い距離、例えば、距離画像センサ32から0.1mの距離に位置する被写体Sからの反射光RLにより生成される電荷に対応して、電荷蓄積部CSの蓄積量が飽和しない振分け回数が設定されている。このため、距離画像センサ32からの距離、例えば2m及び4mの距離に位置する被写体Sからの反射光RLの強度が低いため、相対的に電荷量が小さな量に抑制されてしまい、距離が遠いほどS/N比が低下する。
本実施形態において、近距離範囲と遠距離範囲とに測定範囲を分割することにより、遠距離モードの測定の場合、近距離範囲内の被写体Sからの反射光RLにより生成される電荷が距離画像センサ32における電荷蓄積部CSに蓄積されないため、遠距離範囲内における強度の低い反射光RLにより発生する電荷のみを蓄積するために電荷蓄積部CSの蓄積量が抑制され、かつパルス幅Twを短くしてパルス幅Tswとするため、同じ1フレームの距離画像を撮像するフレーム期間における振分け回数を通常モードに比較して増加させることができる。これにより、遠距離範囲内における2mあるいは4mなどにおける反射光RLによる電荷量を増加させることができ、S/N比を向上させて、距離の測定の精度(分解能)を向上させることができる。
図10(a)は、図7(a)と同様であり、通常モードにおけるモード設定値のパルス幅Twと光パルスPOの位相とを示している。図10(b)は、近距離モードにおけるモード設定値のパルス幅Tswと光パルスPOの位相とを示している。図10(c)は、遠距離モードにおけるモード設定値のパルス幅Tswと光パルスPOの位相とを示している。
また、図10(a)は、図7(a)と同様のため、説明を省略する。
時刻tC1の直前まで、リセット駆動信号RSTDが画素回路321に対して供給されている。時刻tC1において、画素駆動回路326が蓄積駆動信号TX1により、背景光により光電変換素子PDが生成する電荷を電荷蓄積部CS1に振分ける。時刻tC2において、リセット駆動信号RSTDのパルス幅Tswのパルスが挿入されており、光電変換素子PDが生成する電荷が消去される。時刻tC3において、画素駆動回路326が蓄積駆動信号TX2により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS2に振分ける。時刻tC4において、画素駆動回路326が蓄積駆動信号TX3により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS3に振分ける。また、時刻tC5において、リセット駆動信号RSTDが供給されることにより、光電変換素子PDが生成する電荷が消去される。また、光パルスPOの位相は、時刻tC2におけるリセット駆動信号RSTDのパルスと同一である。
上述した処理により、画素回路321に対して2m以上の距離に位置する被写体Sからの反射光RLが蓄積駆動信号TX2及びTX3の各々により、電荷蓄積部CS2、CS3それぞれに電荷が振分けられて蓄積され、距離画像処理部4が式(4)により画素回路321と被写体Sとの距離Dを求める。
また、時刻tC2におけるリセット駆動信号RSTDのパルスを挿入したことにより、距離Dを求めるための電荷が生成される前に、背景光により生成された電荷が、光電変換素子PDから完全に消去される。これにより、電荷量Q2における背景光によるノイズとなる電荷量が低減され、電荷量Q2及びQ3により算出される距離Dの精度が向上する。
以下、本発明の第2の実施形態について、図面を参照して説明する。図11は、本実施形態による距離画像処理部4における距離算出部42Aの構成例を示すブロック図である。以下、第1の実施形態と異なる構成及び動作の説明を行う。
図11に示した距離算出部42Aは、電荷量比較部426と、距離算出部427と、変化量調整部428とを備えている。
電荷量比較部426は、電荷量Q2及びQ3の各々の差分を算出し、差分電荷量を求め、距離算出部427及び変化量調整部428の各々に対して出力する。
すなわち、電荷量比較部426は、距離画像センサ32から供給される電荷量Q1、Q2及びQ3の各々に対応する出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)において、出力デジタル値OD(CS2)及びOD(CS3)の差分電圧を求める。また、本実施形態においても、ユーザが距離画像において設定した抽象領域における所定の画素(例えば、抽象領域の中心や重心の画素)の画素信号における、または抽象領域における画素の画素信号の平均値における、出力デジタル値OD(CS2)及びOD(CS3)の差分電圧を求める。
D=(c/2)Tc+
(Q3’-Q1)/(Q2’+Q3’-2Q1)×Dm …(6)
距離算出部427は、電荷量比較部426から供給される差分電圧により、式(1)及び式(2)のいずれを距離Dの算出に用いるかを選択する。ここで、距離算出部427は、差分電圧が「0」である場合に距離Dの算出に式(6)を用い、差分電圧が「0」で無い場合に距離Dの算出に式(1)を用いる。
図12は、本実施形態における変化量調整部428により光パルスPOの出射する位相の調整を説明する図である。
図12(a)は、電荷量Q2及びQ3の各々を同一とする際、電荷量Q2が電荷量Q3未満である場合、電荷量Q2を増加させる必要がある。このため、電荷量Q2を増加させるためには、距離画像センサ32と被写体Sとの距離を短くさせることが考えられる。すなわち、光パルスPOを出射させるタイミングを、所定の時間早くする(位相を進める)ことにより、距離画像センサ32と被写体Sとの距離を実質的に短くすることに相当する。領域501において、タイミング調整を行う前の光パルスPOが出射される位相(時刻tD2-tD5、蓄積駆動信号TX2と同一位相)と、被写体Sからの反射光RLの位相(時刻tD4-tD7)とを示している。また、領域502において、タイミング調整を行った後の光パルスPOが出射される位相(時刻tD1)と、被写体Sからの反射光RLの位相(時刻tD3-tD6)とを示している。
これにより、タイミング制御部41は、光パルスPOを出力するタイミングを、時刻tD2から時刻tD1へと調整時間Tc進める。
上述したように位相を進めることにより、電荷量Q2を増加させ、電荷量Q3を減少させ、電荷量Q2及びQ3の各々を等しくした電荷量Q2’、Q3’それぞれが得られる。
電荷量Q2を増加させることで、式(1)を用いた場合には、相対的に被写体Sとの距離Dが小さく算出される。このため、光パルスPOの照射の位相を調整時間Tc進めた補正値として、式(6)において、調整時間Tcを光が往復する距離(c/2)Tcを加算している。このとき、調整時間Tcの極性は距離を増加する補正を行うため、「+」である。
上述した処理により、等しい電荷量Q2’及びQ3’を式(6)に代入することにより、光パルスPOの照射の位相を調整時間Tc進めた際における、被写体Sまでの距離Dを算出することができる。
これにより、タイミング制御部41は、光パルスPOを出力するタイミングを、時刻tE1から時刻tE2へと調整時間Tc遅らせる。
上述したように位相を進めることにより、電荷量Q2を減少させ、電荷量Q3を増加させ、電荷量Q2及びQ3の各々を等しくした電荷量Q2’、Q3’それぞれが得られる。
電荷量Q2を減少させることで、式(1)を用いた場合には、相対的に被写体Sとの距離Dが大きく算出される。このため、光パルスPOの照射の位相を調整時間Tc遅らせた補正値として、式(6)において、調整時間Tcを光が往復する距離(c/2)Tcを加算している。このとき、調整時間Tcの極性は距離を減少させる補正を行うため、「-」である。
上述した処理により、等しい電荷量Q2’及びQ3’を式(6)に代入することにより、光パルスPOの照射の位相を調整時間Tc遅らせた際における、被写体Sまでの距離Dを算出することができる。
電荷量の比が Q2:Q3=1:3の場合
Noise=(12+32)1/2=(10)1/2≒3.16
電荷量の比が Q2:Q3=2:2の場合
Noise=(22+22)1/2=(8)1/2≒2.83
このように、電荷量Q2及びQ3の各々を等しくすることにより、ノイズを低減させることができる。
また、本実施形態においては、電荷量Q2及びQ3を同一とするとして、すなわち差分電圧を0とするとして説明したが、許容できるノイズの大きさに対応させて、所定の幅の差分電圧範囲を設定し、この差分電圧範囲に差分電圧が入るように、調整時間Tcを生成する構成としてもよい。
また、距離画像内における上記注目領域の情報を、予め距離画像撮像装置1に対して設定しておき、距離画像において設定された注目領域を枠画像で囲む構成としてもよい。この場合、ユーザは、自身が詳細に距離を計測する対象(注目対象)を、上記枠画像に入るように距離画像撮像装置1の撮像方向を調整する。この構成の場合には、ユーザは注目対象を変更した際、変更したことを示す操作を行うことにより図13の処理が行われる。
そして、電荷量比較部426は、距離画像センサ32から供給される距離画像(1フレーム分の全ての画素回路321の画素信号)から、設定された注目領域に対応する画素信号を抽出する(画素信号の取得)。
このとき、電荷量比較部426は、出力デジタル値OD(CS2)が出力デジタル値OD(CS3)を超えている場合、処理をステップSB4へ進める。一方、電荷量比較部426は、出力デジタル値OD(CS2)が出力デジタル値OD(CS3)を超えていない場合(出力デジタル値OD(CS2)が出力デジタル値OD(CS3)と等しいか、あるいは出力デジタル値OD(CS2)が出力デジタル値OD(CS3)未満のいずれかの場合)、処理をステップSB5へ進める。
変化量調整部428は、例えば、差分電圧と調整時間Tcとの対応が記載されている対応テーブルを参照して、電荷量比較部426から供給される差分電圧に対応した調整時間Tcを抽出して求める。
また、予め差分電圧から調整時間Tcを算出する計算式を実験などから生成しておき、変化量調整部428は、この計算式に電荷量比較部426から供給される差分電圧を代入して調整時間Tcを算出する構成としてもよい。
このとき、変化量調整部428は、出力デジタル値OD(CS2)が出力デジタル値OD(CS3)を超えているため、差分電圧が正極性となり、調整時間Tcを光パルスPOの位相を遅らせる時間として求める。
そして、変化量調整部428は、光パルスPOの出射のタイミング制御を指示する制御信号に調整時間Tcを付加して、タイミング制御部41に出力する。
これにより、タイミング制御部41は、光源装置21から調整時間Tc遅らせて、パルス光POを出射させる。また、変化量調整部428は、調整時間Tcを距離算出部427に対して出力する。
このとき、電荷量比較部426は、出力デジタル値OD(CS3)が出力デジタル値OD(CS2)を超えている場合、処理をステップSB6へ進める。一方、電荷量比較部426は、出力デジタル値OD(CS3)が出力デジタル値OD(CS2)を超えていない場合(出力デジタル値OD(CS3)が出力デジタル値OD(CS2)と等しい場合)、処理をステップSB7へ進める。
変化量調整部428は、例えば、差分電圧と調整時間Tcとの対応が記載されている対応テーブルを参照して、電荷量比較部426から供給される差分電圧に対応した調整時間Tcを抽出して求める。
また、予め差分電圧から調整時間Tcを算出する計算式を実験などから生成しておき、変化量調整部428は、この計算式に電荷量比較部426から供給される差分電圧を代入して調整時間Tcを算出する構成としてもよい。
このとき、変化量調整部428は、出力デジタル値OD(CS3)が出力デジタル値OD(CS2)を超えているため、差分電圧が負極性となり、調整時間Tcを光パルスPOの位相を進める時間として求める。
そして、変化量調整部428は、光パルスPOの出射のタイミング制御を指示する制御信号に調整時間Tcを付加して、タイミング制御部41に出力する。
これにより、タイミング制御部41は、光源装置21から調整時間Tc進めさせて、パルス光POを出射させる。また、変化量調整部428は、調整時間Tcを距離算出部427に対して出力する。
すなわち、第1の実施形態における距離算出部42に対して、本実施形態における電荷量比較部426及び変化量調整部428を付加させる。
そして、第1の実施形態における距離算出部42の構成が、詳細測定モードとしてサブ計測範囲が選択され、近距離範囲及び遠距離範囲のいずれかの範囲に注目領域の被写体Sが位置することを計測する。
そしてた、電荷量比較部426は、電荷量Q2及びQ3の比較を行い、詳細測定モードに対応して光パルスPOの出射の位相を調整する。
例えば、図7(b)に示す近距離モードの場合には、光パルスPOの位相を、時刻tB2を起点にして調整時間Tc進めるあるいは遅らせる処理が行われる。また、図7(c)の遠距離モードの場合には、光パルスPOの位相を、時刻tB1を起点にして調整時間Tc進めるあるいは遅らせる処理が行われる。このとき、それぞれの詳細測定モードにおいて用いる式(3)及び式(4)の各々には、式(6)と同様に、補正距離として(c/2)Tcが加算される。
このように、第1の実施形態における距離算出部42に対して、第2の実施形態よる光パルスPOの位相を調節する構成を付加することにより、第1の実施形態より精度の高い分解能で、距離画像撮像装置1と被写体Sとの距離Dを計測することができる。
以下、本発明の第3の実施形態について、図面を参照して説明する。図14は、本実施形態による距離画像処理部4における距離算出部42Bの構成例を示すブロック図である。以下、第2の実施形態と異なる構成及び動作の説明を行う。
図14に示した距離算出部42Bは、電荷量比較部426と、距離算出部427と、変化量調整部428と、パルス幅調整部429とを備えている。ここで、電荷量比較部426、距離算出部427及び変化量調整部428の各々は、第2の実施形態における距離算出部42Aの構成と同様である。
パルス幅調整部429は、電荷量Q2及びQ3の比に対応して、蓄積駆動信号TX1、TX2、TX3のパルス幅(位相も含まれる)を調整する。また、光パルスPOの幅はパルス幅Twで固定である。
図15(a)は、電荷量Q2及びQ3の各々を同一とされた際における背景光により生成された電荷と反射光RLにより生成された電荷とを示している。
図15(b)は、蓄積駆動信号TX1、TX2、TX3のパルス幅の調整後における背景光により生成された電荷と反射光RLにより生成された電荷とを示している。
ここで、パルス幅調整部429は、電荷量Q2及びQ3の比、すなわち出力デジタル値OD(CS2)及びOD(CS3)の比により、反射パルスPLの位相(時刻tF2-tF4)が判る。これにより、時刻tF3を基準として、パルス幅TX1(時刻tF2-tF3)及びTX2(時刻tF3-tF4)の各々が求まる。ここで、Tw=Tw1+Tw2である。
これにより、パルス幅調整部429は、蓄積駆動信号TX1、TX2、TX3のパルス幅をTw/2とし、時刻tF3を基準として蓄積駆動信号TX1、TX2、TX3の各々の位相を調整する制御を、タイミング制御部41に対して行わせる制御信号を出力する。
これにより、タイミング制御部41は、距離画像センサ32に対して、蓄積駆動信号TX1、TX2、TX3のパルス幅をTw/2とし、蓄積駆動信号TX1が時刻tF1で立ち上がり、時刻tF2で立ち下がり、蓄積駆動信号TX2が時刻tF2で立ち上がり、時刻tF3で立ち下がり、蓄積駆動信号TX3が時刻tF3で立ち上がり、時刻tF4で立ち下がる制御を行う。
また、背景光により生成される電荷量を低減させることで電荷蓄積部CSの電荷の蓄積量に余裕を生じさせ、かつ蓄積駆動信号TX1、TX2、TX3のパルス幅を短くするため、フレーム周期を変えることなく、フレーム当たりの振分け回数を増加させることが可能となり、電荷量における反射光RLによる電荷量の比率を増加させ、S/N比を向上させて、距離Dの計測の精度を向上させることができる。
そして、パルス幅調整部429は、出力デジタル値OD(CS2)及びOD(CS3)の各々を比較し、すでに図15で説明したように、蓄積駆動信号TX1、TX2、TX3のパルス幅及び位相の調整の処理を行う。
そして、タイミング制御部41は、図15(b)に示す、反射光RLと同一の位相で、かつ反射光RLのパルス幅Twに、蓄積駆動信号TX2及びTX3が含まれるように、蓄積駆動信号TX1、TX2、TX3のパルス幅及び位相を、距離画像センサ32に調整させる。
これにより、距離算出部427は、距離画像センサ32から供給される距離画像(1フレーム分の全ての画素回路321の画素信号)を入力する(画素信号の取得)。
このとき、パルス幅調整部429は、変更する操作がなされた場合、処理をステップSB1へ進める。一方、パルス幅調整部429は、変更する操作がなされない場合、処理をステップSB9へ進める。
また、パルス幅調整部429は、測定された距離Dが直前に測定した距離Dと比較して、所定の閾値を超えた変化を有する場合、注目領域における被写体Sが移動したとして処理をステップSB1に戻す構成としてもよい。
2…光源部
3…受光部
4…距離画像処理部
21…光源装置
22…拡散板
31…レンズ
32…距離画像センサ
41…タイミング制御部
42,42A,42B…距離演算部
320…受光画素部
321…画素回路
322…制御回路
323…垂直走査回路
324…水平走査回路
325…画素信号処理回路
326…画素駆動回路
329…AD変換回路
329j…列AD変換部
329j(CS1),329j(CS2),329j(CS3)…列AD変換回路
420…電荷量判定部
421,427…距離算出部
422…距離判定部
423…モード設定部
424…測定可否部
425…モードテーブル
426…電荷量比較部
428…変化量調整部
429…パルス幅調整部
C…電荷蓄積容量
CS 電荷蓄積部
FD…フローティングディフュージョン
G…読み出しゲートトランジスタ
GD…ドレインゲートトランジスタ
O…出力端子
P…測定空間
PD…光電変換素子
PO…光パルス
RL…反射光
RT…リセットゲートトランジスタ
RU…画素信号読み出し部
S…対象物
SF…ソースフォロアゲートトランジスタ
SL…選択ゲートトランジスタ
Claims (10)
- 測定対象の空間である測定空間に対して照射光を照射する光源部と、
前記照射光が、前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を発生する光電変換素子と、フレーム周期において前記照射光が照射された際に前記電荷を蓄積する電荷蓄積部とを具備し、前記照射光の照射に同期して前記電荷を前記電荷蓄積部に蓄積する画素回路を有する受光画素部と、
前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定し、当該通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相と幅を調整する距離画像処理部と
を備え、
前記詳細測定モードにおいて、前記通常モードにおける測定可能な距離の範囲である距離範囲を、同一幅の複数のサブ測定範囲に分割し、当該サブ測定範囲に対応して照射光の幅が設定され、前記サブ測定範囲における最小の距離に対応して照射光の位相が設定されている
距離画像撮像装置。 - 前記距離画像処理部が、
前記通常モードによる距離の測定後、当該測定で求められた距離が含まれる前記サブ測定範囲に対応して設定された照射光の幅及び位相による前記詳細測定モードによる距離測定を行う
請求項1に記載の距離画像撮像装置。 - 前記距離画像処理部が、
前記通常モードにおいて、予め定めた固定の電荷振り分け回数で振り分けられて、前記電荷蓄積部における複数の振分電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定空間に存在する前記対象物との距離を求め、
前記通常モードにおける距離の測定後、当該測定で求められた距離が含まれる前記サブ測定範囲に対応して設定された電荷振り分け回数における電荷量に基づいて前記詳細測定モードによる距離測定を行う
請求項1または請求項2に記載の距離画像撮像装置。
- 前記距離画像処理部が、
前記対象物までの距離に対応して、前記光源部から照射する前記照射光の強度を調整する
請求項1から請求項3のいずれか一項に記載の距離画像撮像装置。 - 前記距離画像処理部が、
前記反射光の電荷を蓄積する2個の前記電荷蓄積部である第1振分電荷蓄積部及び第2振分電荷蓄積部の各々に積算される前記電荷の量である電荷量の比に基づいて前記対象物との距離を求める場合、
前記詳細測定モードに移行した後、前記第1振分電荷蓄積部あるいは前記第2振分電荷蓄積部のいずれかが前記反射光による電荷量が予め設定した電荷量閾値以下の場合、距離を求める処理を行わず、前記通常モードに移行する
請求項1から請求項4のいずれか一項に記載の距離画像撮像装置。 - 前記電荷量閾値が、背景光電荷蓄積部において背景光によって蓄積された電荷量である
請求項5に記載の距離画像撮像装置。 - 測定対象の空間である測定空間に対して照射光を照射する光源部と、
前記照射光が、前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を発生する光電変換素子と、フレーム周期において前記照射光が照射された際に前記電荷を蓄積する電荷蓄積部とを具備し、前記照射光の照射に同期して前記電荷を前記電荷蓄積部に蓄積する画素回路を有する受光画素部と、
前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定し、当該通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相を調整する距離画像処理部と
を備え、
前記距離画像処理部が、
前記反射光の電荷を蓄積する2個の前記電荷蓄積部である第1振分電荷蓄積部及び第2振分電荷蓄積部の各々に積算される前記電荷の量である電荷量の比に基づいて前記対象物との距離を求める場合、
前記通常モードによる距離の測定後、前記第1振分電荷蓄積部、前記第2振分電荷蓄積部のそれぞれ電荷量が同一となるように前記照射光の位相を調整し、当該電荷量と当該位相の調整量との各々に基づいて前記距離を求める
距離画像撮像装置。 - 前記距離画像処理部が、
前記照射光の位相の調整を行って前記電荷量を同一とした後、前記反射光による電荷が含まれない領域が無くなるように、前記第1振分電荷蓄積部、前記第2振分電荷蓄積部のそれぞれに電荷を振分ける蓄積駆動信号の幅を調整する
請求項7に記載の距離画像撮像装置。 - 測定対象の空間である測定空間に対して光源部から照射光を照射する過程と、
前記照射光が前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を光電変換素子が発生する過程と、
フレーム周期において前記照射光の照射に同期して前記反射光による前記電荷を電荷蓄積部に対して蓄積する過程と、
前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定する過程と、
前記通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相と幅を調整する過程と
を含み、
前記詳細測定モードにおいて、前記通常モードにおける測定可能な距離の範囲である距離範囲を、同一幅の複数のサブ測定範囲に分割し、当該サブ測定範囲に対応して照射光の幅が設定され、前記サブ測定範囲における最小の距離に対応して照射光の位相が設定されている
距離画像撮像方法。 - 測定対象の空間である測定空間に対して光源部から照射光を照射する過程と、
前記照射光が前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を光電変換素子が発生する過程と、
フレーム周期において前記照射光の照射に同期して前記反射光による前記電荷を電荷蓄積部に対して蓄積する過程と、
前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定する過程と、
前記通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相を調整する過程と
を含み、
前記反射光の電荷を蓄積する2個の前記電荷蓄積部である第1振分電荷蓄積部及び第2振分電荷蓄積部の各々に積算される前記電荷の量である電荷量の比に基づいて前記対象物との距離を求める場合、
前記通常モードによる距離の測定後、前記第1振分電荷蓄積部、前記第2振分電荷蓄積部のそれぞれ電荷量が同一となるように前記照射光の位相を調整し、当該電荷量と当該位相の調整量との各々に基づいて前記距離を求める
距離画像撮像方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/026560 WO2021001975A1 (ja) | 2019-07-04 | 2019-07-04 | 距離画像撮像装置及び距離画像撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021001975A1 JPWO2021001975A1 (ja) | 2021-01-07 |
JP7363899B2 true JP7363899B2 (ja) | 2023-10-18 |
Family
ID=74100765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021529640A Active JP7363899B2 (ja) | 2019-07-04 | 2019-07-04 | 距離画像撮像装置及び距離画像撮像方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220350024A1 (ja) |
JP (1) | JP7363899B2 (ja) |
CN (1) | CN114026460A (ja) |
WO (1) | WO2021001975A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022109077A (ja) * | 2021-01-14 | 2022-07-27 | 凸版印刷株式会社 | 距離画像撮像装置、及び距離画像撮像方法 |
WO2023100826A1 (ja) * | 2021-12-01 | 2023-06-08 | 株式会社 Rosnes | 距離測定装置 |
WO2023174646A1 (en) * | 2022-03-16 | 2023-09-21 | Sony Semiconductor Solutions Corporation | Time-of-flight demodulation circuitry and time-of-flight demodulation method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012159330A (ja) | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | レーザレーダ |
WO2017022152A1 (ja) | 2015-07-31 | 2017-02-09 | パナソニックIpマネジメント株式会社 | 測距撮像装置、及び、固体撮像装置 |
JP2019027937A (ja) | 2017-07-31 | 2019-02-21 | パナソニックIpマネジメント株式会社 | 測距制御装置および測距システム |
JP2019032206A (ja) | 2017-08-07 | 2019-02-28 | ソニーセミコンダクタソリューションズ株式会社 | 距離センサ、距離測定装置、および画像センサ |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4235729B2 (ja) * | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
JP6320154B2 (ja) * | 2014-04-25 | 2018-05-09 | キヤノン株式会社 | 撮像装置及び撮像装置の駆動方法 |
US10048357B2 (en) * | 2015-06-15 | 2018-08-14 | Microsoft Technology Licensing, Llc | Time-of-flight (TOF) system calibration |
-
2019
- 2019-07-04 US US17/621,459 patent/US20220350024A1/en active Pending
- 2019-07-04 WO PCT/JP2019/026560 patent/WO2021001975A1/ja active Application Filing
- 2019-07-04 CN CN201980097886.7A patent/CN114026460A/zh active Pending
- 2019-07-04 JP JP2021529640A patent/JP7363899B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012159330A (ja) | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | レーザレーダ |
WO2017022152A1 (ja) | 2015-07-31 | 2017-02-09 | パナソニックIpマネジメント株式会社 | 測距撮像装置、及び、固体撮像装置 |
JP2019027937A (ja) | 2017-07-31 | 2019-02-21 | パナソニックIpマネジメント株式会社 | 測距制御装置および測距システム |
JP2019032206A (ja) | 2017-08-07 | 2019-02-28 | ソニーセミコンダクタソリューションズ株式会社 | 距離センサ、距離測定装置、および画像センサ |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021001975A1 (ja) | 2021-01-07 |
WO2021001975A1 (ja) | 2021-01-07 |
CN114026460A (zh) | 2022-02-08 |
US20220350024A1 (en) | 2022-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114175618B (zh) | 距离图像摄像装置以及距离图像摄像方法 | |
JP7363899B2 (ja) | 距離画像撮像装置及び距離画像撮像方法 | |
JP7016183B2 (ja) | 距離画像撮像装置、および距離画像撮像方法 | |
JP6480712B2 (ja) | 撮像装置及びその制御方法 | |
US8446499B2 (en) | Image capturing apparatus, image capturing system, and processing method | |
CN113544544B (zh) | 距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像拍摄方法 | |
CN113518930B (zh) | 距离图像传感器以及距离图像拍摄装置 | |
JP2017083243A (ja) | 距離センサ及びそれを備えたシステム | |
WO2022154073A1 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP2022188478A (ja) | 距離画像撮像装置及び距離画像撮像方法 | |
JP7253846B2 (ja) | 距離画像センサ及び距離画像撮像装置 | |
WO2021070212A1 (ja) | 距離画像撮像装置及び距離画像撮像方法 | |
CN116710803A (zh) | 距离图像摄像装置以及距离图像摄像方法 | |
EP4400866A1 (en) | Distance image capturing device and distance image capturing method | |
WO2023234253A1 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
CN115667984A (zh) | 距离图像拍摄装置及距离图像拍摄方法 | |
US20230204727A1 (en) | Distance measurement device and distance measurement method | |
CN116745645A (zh) | 距离图像摄像装置以及距离图像摄像方法 | |
JP2022135438A (ja) | 距離画像撮像装置及び距離画像撮像方法 | |
JP2022191793A (ja) | 距離画像撮像装置及び距離画像撮像方法 | |
JP2022176579A (ja) | 距離画像撮像装置及び距離画像撮像方法 | |
JP2023147558A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
CN116671123A (zh) | 距离图像摄像装置以及距离图像摄像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20230529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7363899 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |