JP2023530194A - 画像化装置および方法 - Google Patents

画像化装置および方法 Download PDF

Info

Publication number
JP2023530194A
JP2023530194A JP2023501224A JP2023501224A JP2023530194A JP 2023530194 A JP2023530194 A JP 2023530194A JP 2023501224 A JP2023501224 A JP 2023501224A JP 2023501224 A JP2023501224 A JP 2023501224A JP 2023530194 A JP2023530194 A JP 2023530194A
Authority
JP
Japan
Prior art keywords
time
thermal
signal
detector
pxsmp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023501224A
Other languages
English (en)
Other versions
JP7389936B2 (ja
Inventor
フランク アミット
Original Assignee
タービジオ ３ディー リミティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by タービジオ ３ディー リミティド filed Critical タービジオ ３ディー リミティド
Publication of JP2023530194A publication Critical patent/JP2023530194A/ja
Application granted granted Critical
Publication of JP7389936B2 publication Critical patent/JP7389936B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Air Bags (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Studio Devices (AREA)
  • Radiation Pyrometers (AREA)

Abstract

３Ｄサーマルイメージャ、信号プロセッサ、レーザ、光学スキャナ、コントローラおよび、信号プロセッサへの入力として２Ｄ熱画像を生成するために複数の低速応答検出器を動作させる二峰性アレイを伴う画像化装置。コントローラは、２Ｄ熱画像を距離データとインタレースして３Ｄ熱画像化を生成する信号プロセッサに対して伝達するために距離データを導出するべく、予め定められた順序で二峰性アレイ、レーザ、光学スキャナおよびサーマルイメージャを動作させる。ターゲットから戻された発出済みレーザパルスから検出済みアナログ信号を導出するために低速応答熱検出器を使用し、検出済み信号を非同期的にサンプリングして、そこから検出済み信号の上昇部分および減衰部分に対応する２系列の時間事象、を導出する方法。飛行時間および距離は、２系列の時間事象を使用することにより計算される。【選択図】図１Ａ－１Ｂ

Description

本開示は、３Ｄカメラおよび距離測定方法に関し、詳細には、検分した景色から２Ｄ画像および３Ｄ画像化データを導出するために、熱画像化を実行し、距離を測定し、かつ距離と２Ｄ熱画像をインタレースする目的で、光学スペクトルの熱領域内で動作する低速応答検出器を利用する装置に関する。
画像化装置または画像化デバイスは、当該技術分野において周知であり、距離測定、２Ｄでの熱画像化および３Ｄ画像化データの獲得の分野などにおけるさまざまな目的のために広く動作させられている。利用可能な高度なデバイスの１つの欠点は、高品質の、ひいては高価な信号検出器を必要とするその構造にある。別の欠点は、その高いコストおよび低い信頼性に起因した、冷却式熱検出器の使用の必要性にある。さらなる欠点は、このようなデバイスが特定の用途専用であることにある。例えば、距離を測定するための１つのレンジファインダ、温度間で差別化するための１つの２Ｄサーマルイメージャ、そして３Ｄ画像化を得るための１つの３Ｄイメージャである。
したがって、単一の装置内に複数の画像化デバイスを組合せることのできる装置を提供することが有利であると思われる。例えばレンジファインダおよび２Ｄサーマルイメージャの特徴を包含し組み合わせ、さらに非冷却式低速応答検出器を使用することによって手頃な価格であるものの、トップランクの機器に等しい結果を提供する３Ｄ画像化カメラである。
関連技術の説明
光束φｅ（ｔ）の入射光放射に対する応答としての光検出器内の電荷担体の量の変化に関して以下で導出される等式は、以下でＤｅｒｅｎｉａｋと称する書籍「Ｉｎｆｒａｒｅｄ Ｄｅｔｅｃｔｏｒｓ ａｎｄ Ｓｙｓｔｅｍｓ」、Ｅ．Ｌ．ＤｅｒｅｎｉａｋおよびＧ．Ｄ．Ｂｏｒｅｍａｎ著、Ｃｈａｐｔｅｒ ５、ｐａｒａ．５．６、ｐｐ．１９０～１９２に基づくものである。
同様に関連するのは、気象現象を任意に検知するステップを含む物体検知用画像検出器について記述する２０２０年１月２３日付けのＭＡＩＭＯＮ Ｓｈｉｍｏｎに対する国際公開第２０２０／０１８６００号、およびＭａｒｇａｒｉｔ、Ｊｏｓｅｐ Ｍａｒｉａら、「Ａ ２ｋｆｐｓ ｓｕｂ－μ Ｗ／Ｐｉｘ ｕｎｃｏｏｌｅｄ－ＰｂＳｅ ｄｉｇｉｔａｌ ｉｍａｇｅｒ ｗｉｔｈ １０ｂｉｔ ＤＲ ａｄｊｕｓｔｍｅｎｔ ａｎｄ ＦＰＮ ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ ｈｉｇｈ－ｓｐｅｅｄ ａｎｄ ｌｏｗ－ｃｏｓｔ ＭＷＩＲ ａｐｐｌｉｃａｔｉｏｎｓ」、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ ５０．１０（２０１５）：２３９４～２４０５である。
国際公開第２０２０／０１８６００号
「Ｉｎｆｒａｒｅｄ Ｄｅｔｅｃｔｏｒｓ ａｎｄ Ｓｙｓｔｅｍｓ」、Ｅ．Ｌ．ＤｅｒｅｎｉａｋおよびＧ．Ｄ．Ｂｏｒｅｍａｎ著、Ｃｈａｐｔｅｒ ５、ｐａｒａ．５．６、ｐｐ．１９０～１９２ Ｍａｒｇａｒｉｔ、Ｊｏｓｅｐ Ｍａｒｉａら、「Ａ ２ｋｆｐｓ ｓｕｂｍｉｋｕｒｏｎ Ｗ／Ｐｉｘ ｕｎｃｏｏｌｅｄ－ＰｂＳｅ ｄｉｇｉｔａｌ ｉｍａｇｅｒ ｗｉｔｈ １０ｂｉｔ ＤＲ ａｄｊｕｓｔｍｅｎｔ ａｎｄ ＦＰＮ ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ ｈｉｇｈ－ｓｐｅｅｄ ａｎｄ ｌｏｗ－ｃｏｓｔ ＭＷＩＲ ａｐｐｌｉｃａｔｉｏｎｓ」、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ ５０．１０（２０１５）：２３９４～２４０５
本明細書で記載されている実施形態の目的は、２Ｄ熱画像と距離測定を組合わせる３Ｄ画像化用の装置およびその実装方法を開示することにある。この装置は、信号プロセッサ、レーザ装置、光学スキャナとおよびコントローラを備えている。
例示的実施形態に係る装置の１つの特徴は、高い距離分解能を伴う３Ｄ画像化のための低速応答熱検出器の使用にある。低速応答検出器は、一般的に入手可能であり、価格も有利である。この装置は、２Ｄ熱画像と距離データを組合せ、それから３Ｄ熱画像化を創出する。
例示的実施形態に係る装置のさらなる特徴は、標準的熱画像化または距離測定のための非同期的画素サンプリングのいずれかを生成する低速応答熱検出器ＴＨＲＤＴＣの二峰性アレイＢＭＤＡＲＲの使用にある。二峰性アレイは、コントローラによる指令を受け、複数の低速応答熱検出器を含む。さらに、二峰性アレイは、低速応答熱検出器の各々１つを使用することによって２Ｄ熱画像ならびに正確な距離データを生成するように設計されている。アレイ内の各々の低速応答熱検出器によって収集された２Ｄ熱画像および距離データの両方共が信号プロセッサに転送される。
コントローラはさらに、サーマルイメージャのレーザ、光学スキャナおよび各々１つの低速応答熱検出器を動作させるように構成されている。これにより、コントローラは、サーマルイメージャのレーザ、光学スキャナおよび熱検出器を動作させてそこから距離データを導出することができる。この距離データは、複数の時間事象対ｔ１ｉおよびｔ２ｉを導出するのに専用のものである画素サンプリング回路を使用することによって収集される。これらの時間事象対ｔ１ｉおよびｔ２ｉは、信号プロセッサに伝達されるサンプリングされた検出済み信号ＤＳから導出される。
最後に、信号プロセッサは、アレイ内の低速応答熱検出器の応答時間に関する正確さよりもはるかに高い確度で距離を計算するように構成されている。信号プロセッサは、２Ｄ熱画像を距離データとインタレースして、距離データと２Ｄ熱画像を組合わせた３Ｄ熱画像化を生成することができる。
二峰性アレイが複数の低速応答熱検出器を含むこと、そしてこれらの熱検出器の各々１つが、２Ｄ熱画像内および３Ｄ画像内で１つの画素を生成することが指摘される。
さらに、２Ｄ熱画像と距離測定を組合せた３Ｄ画像化用装置を構築し実装する方法が提供される。該装置は、３Ｄサーマルイメージャ、信号プロセッサ、レーザ、光学スキャナおよびコントローラを含む。該装置は、検出済みアナログ信号からデータを導出するために低速応答熱検出器ＴＨＲＤＴＣを使用する。アナログ信号は、ターゲットから戻される発出済みレーザパルスＬＰに対する応答であり得る。装置は、検出済み信号を非同期的にサンプリングしそこからデータを導出するように構成されている。このような導出されたデータは、それぞれｔ１ｉおよびｔ２ｉとマーキングされる２系列の時間事象を含み得る。
装置はさらに、数学的等式を使用することによって、飛行時間ＴＯＦに等しい時間的長さＴｂｇをデータから導出するように構成されている。これらの等式には、等式３および等式４．１～４．３のうちの１つが含まれる。その後、ターゲットＴＲＧＴまでの距離Ｒは、等式５を用いて計算される。
１つの問題は、低速応答検出器デバイスを利用する距離測定のための装置の実装に関するものであり、ここで、低速応答とは、光学スペクトルの熱領域内での動作のための比較的低速の応答を有する冷却式または非冷却式熱検出器の使用を意味する。低速時間応答は、距離測定の所望される時間依存型分解能に比べて低速であるものの、それでもなお、所望される距離測定分解能のためには正確であるレンジファインダとして機能していることを意味している。光学スペクトルの熱領域は、２μｍ～１４μｍの光学波長範囲として定義される。
別の問題は、景色全体またはその選択された部分の３Ｄ熱画像を得る目的で、検分した景色の３Ｄ画像化と２Ｄ熱画像の両方を３ＤサーマルイメージャＡＰＰ内でどのように統合するかという点にある。２Ｄは、２次元を意味し、３Ｄは３次元を意味する。
図１Ａは、一般的に使用されている距離測定デバイスの動作原理を例示する。一般的なレンジファインダは、レーザ発振デバイスＬＳＲによってターゲットＴＲＧＴに向かって発出されたレーザパルスＬＰがターゲットＴＲＧＴに当たってそこから光検出器ＤＴＣＴまで戻るのにかかる時間である飛行時間ＴＯＦを測定する。距離Ｒは、このとき、導出された飛行時間ＴＯＦの１／２に光の速度を乗じることによって計算され得る。
明白なことに、距離測定の正確さは、飛行時間ＴＯＦの測定の正確さによって左右される。
このためにこれらの一般的な正確なレンジファインダは、距離測定の分解能に左右される所望される時間分解能ｄｔよりも短い時定数τを有する高速応答検出器、および時定数τと同じ時間規模を有する図１Ｂに示された狭いパルス幅ＰＷを有するレーザパルスＬＰ、の両方を必要とする。
図１Ｂは、ターゲットＴＲＧＴに向かって発出されそこから戻った短いレーザパルスＬＰおよび一般的な距離測定デバイスとして動作する高速応答光検出器ＤＴＣＴによりレーザパルスＬＰから導出された検出済みアナログ信号ＤＳの時系列を描いている。飛行時間ＴＯＦも同様に、図１Ｂに示されている。
レンジファインダからターゲットＴＲＧＴを離隔する距離を導出するために概して用いられる等式は、
Figure 2023530194000002
 であり、式中Ｒは距離、ｃは光の速度、ＴＯＦ／２は、レーザパルスの発出時点から検出器信号ＤＳの生成開始まで測定された時間が、両方の方向、つまりターゲットＴＲＧＴへそして検出器ＤＴＣＴに戻る方向へ光が進むのにかかる時間と等しいことから、飛行時間ＴＯＦを２で除したものである。
例えば５ｍという正確さ距離測定を得るためには、所要時間分解能ｄｔは、光が前後に５ｍ進む時間であると考えられるおよそ３３ｎｓである。したがって、このような正確さで距離Ｒを測定するためには、１ｎｓ未満の時定数τを有する低速応答検出器ＤＴＣＴが必要とされると思われる。多くの低速応答検出器ＤＴＣＴそして具体的には低速応答熱検出器ＴＨＲＤＴＣは、数μｓから数ｍｓの範囲内の時定数τを有することから、これらの低速応答検出器ＤＴＣＴを用いて同じ距離測定の正確さを達成することができれば有利であると思われる。
さらに別の問題は、装置ＡＰＰをＬＩＤＡＲとして、つまり光画像化検出および距離測定デバイスとして使用し、かつＬＩＤＡＲにより測定された距離とインタレースするために、検分した景色から２Ｄ熱画像を導出する能力に関係するものである。換言すると、測定された距離を２Ｄ画像画素と組合わせてターゲティングされた物体の３Ｄ熱表現または３Ｄ熱画像を形成する装置ＡＰＰの能力である。３Ｄ熱表現は、物体の表面および／または長さ、幅および奥行きを含めた物体の寸法ならびにその相対的温度の数学的表現である。
一般的なＬＩＤＡＲシステムは、単一の検出器または検出器アレイのいずれかとしての高速応答検出器ＤＴＣＴ、および短パルスレーザＬＳＲを使用して、３Ｄ表現を生成する。光学スペクトルの近赤外線領域内で動作するＬＩＤＡＲが市販されているが、検分した景色の２Ｄ熱画像をその同じ景色の３Ｄ画像化と組合せた形で得ることを可能にするものではない。
画素間の相対的温度を表わす２Ｄ熱画像内に含まれるデータおよび各画素までの異なる距離を表わす３Ｄ画像内に含まれるデータは、互いに相補的である。高度画像処理、アルゴリズムおよび人工知能の目的のためには、両方を１つの熱表現または熱画像としてインタレースされた状態で表現できることが有利であると思われる。低速応答デュアルモード熱検出器アレイまたは略して二峰性アレイＢＭＤＡＲＲに基づいてこのような３Ｄ熱表現を得るための装置ＡＰＰが、費用効果性および設計の単純さのためにさらに有利であり得る。
第１の問題を解決するために、ここで低速応答熱検出器ＴＨＲＤＴＣを使用することによって距離Ｒを測定する方法について説明する。
図１は、時間ｔ＝０において発出されたレーザパルスＬＰの振幅と時間の関係を表わすグラフを概略的に描いている。レーザパルスＬＰの振幅は、立ち上がり時間ｔｒを通って平坦域まで立ち上がり、その後立ち下がり時間ｔｆを通って立ち下がり、低速応答検出器ＴＨＲＤＴＣの時定数τよりも長い時間持続するパルス幅ＰＷを有する。時定数τは、図中に示されていない。
図１はさらに、ターゲットＴＲＧＴに向けて発出されターゲットＴＲＧＴから戻されたレーザパルスＬＰから低速時間応答検出器ＴＨＲＤＴＣによって導出された検出済み信号ＤＳを描いている。検出済み信号ＤＳは飛行時間ＴＯＦの終りで開始することから、検出済み信号ＤＳの開始時間は、したがって時間Ｔｂｇである。定義上、時間Ｔｂｇは、飛行時間ＴＯＦ、すなわち、レーザ発振デバイスによりターゲットＴＲＧＴに向かって発出されたレーザパルスＬＰがターゲットＴＲＧＴに当たりそこから戻るのにかかる時間に等しい。したがって、
Figure 2023530194000003
 図１に示されているように、検出済み信号ＤＳは、検出済み信号ＤＳの最大強度に到達する時間Ｔｐｅａｋまで、飛行時間ＴＯＦの終りから指数関数的に上昇し、その後、検出済み信号ＤＳは指数関数的に減衰する。ここで、検出済み信号ＤＳのサンプリングそして詳細には非同期的サンプリング方法について言及する。
図２は、検出済み信号ＤＳの非同期的サンプリングを例示しており、図３は、このようなサンプリングプロセスの特定の結果を描いている。
定義上、非同期的サンプリング方法は、検出済み信号ＤＳの上昇部分ｔａおよび減衰部分ｔｄの両方をサンプリングし、サンプリングは、恒常で等しい振幅レベルＡＭＰＬＶＬｉの逐次的および連続的振幅ステップで進行する。
図２中、振幅レベルＡＭＰＬＶＬｉ間を離隔する振幅間隔は恒常であるが、非同期的サンプリングの連続する時間事象間を離隔する間隔は恒常ではない。各々１つの振幅レベルＡＭＰＬＶｉについて、非同期的サンプリング方法は、２つの時間事象に対応する２つのサンプリングされた信号を導出する。検出済み信号ＤＳの上昇部分ｔａについての第１の時間事象ｔ１ｉと、検出済み信号ＤＳの減衰部分ｔｄについての第２の時間事象ｔ２ｉである。したがって、１つの同じ振幅レベルＡＭＰＬＶＬｉについてのインデックスｉおよび、上昇部分中の時間事象の発生についてのインデックスｊ＝１およびサンプリングされた検出済み信号ＤＳの減衰部分についてのインデックスｊ＝２で、振幅レベルをＡＭＰＬＶＬｉそして非同期的時間サンプリングをｔｊｉとしてマーキングすることができる。インデックスｉは１～ｎの範囲内の整数であり、インデックスｊは１または２のいずれかである。例えば図２において、ｉ＝３の振幅レベルつまりＡＭＰＬＶＬ３について、時間事象ｔｊｉの対応する値はｔ１３およびｔ２３である。
図３は、振幅レベルＡＭＰＬＶＬｉ間を離隔する振幅間隔が恒常である一方で、２つの時間事象ｔｊｉ間を離隔する距離は、検出済み信号ＤＳの形状により左右されるということを明確に示している。さらに、図３は、サンプリングされた信号ＳＩＧＳＭＰが３つの異なる振幅レベルＡＭＰＬＶＬを有する特殊なケースを例示している。より一般的なケースでは、ターゲットの距離Ｒ、ターゲットの放射測定特性、例えば放射率そして振幅レベルＡＭＰＬＶＬｉ間を離隔する振幅間隔ＩＮＴＶＬに応じて、複数の振幅レベルＡＭＰＬＶＬを生成することができる。
２系列の時間事象、すなわちｔ１ｉおよびｔ２ｉは、以下の等式を使用することによって、図１、２、および３に示された検出済み信号ＤＳの開始時間を計算するために使用可能である。
立ち上がり時間ｔｒおよび立ち下がり時間ｔｆがおおよそゼロまたはゼロに近い場合、したがってｔｒ≒ｔｆ≒０について、検出済み信号ＤＳの開始時間Ｔｂｇは、以下の等式３を用いて計算可能である。
Figure 2023530194000004
 他のケースにおいて、検出器信号開始時間Ｔｂｇは、以下の３つの等式、すなわち等式４．１から等式４．３を用いて計算可能である。
時間Ｔｂｇは、特定の振幅レベルＡＭＰＬＶＬｉに対応する時間ｔ１ｉおよびｔ２ｉの１つの対を選択すること、あるいは、いくつかの振幅レベルＡＭＰＬＶＬｉに属するいくつかの時間事象ｔ１ｉおよびｔ２ｉを使用していくつかのＴｂｇ時間値にわたり平均化することのいずれかによって計算可能である。
ターゲットＴＲＧＴまでの距離Ｒは、このとき、等式２および等式５を使用することによって計算可能である。
Figure 2023530194000006
距離Ｒの計算における唯一の変数は時間事象系列ｔ１ｉおよびｔ２ｉであるということが指摘される。
したがって、結論として、低速応答検出器ＴＨＲＤＴＣすなわち比較的低速の時間応答を有する冷却式または非冷却式熱検出器が距離Ｒ測定のために使用可能であると言うことができる。距離測定Ｒの精度は、時間事象の系列ｔ１ｉおよびｔ２ｉの時間測定の正確さのみに左右される。
本明細書で説明されている装置ＡＰＰは、距離測定と２Ｄ熱画像を組合わせた３Ｄ熱画像化を導出するために低速応答検出器を使用するという技術的利点を有する。該説明は、多くの利用分野における多くの実践的利点の開示には不十分であり、示唆することさえできていない。
実際には、装置ＡＰＰの利点には、距離測定そして、景色の選択された２Ｄ熱画像と組合わせた３Ｄでの景色の提示が含まれる。
装置ＡＰＰの性能は、距離および幾何学的寸法測定値の較正による、および相対または絶対温度測定に対する特定的使用のために増強可能である。
公衆衛生目的のためには、該装置ＡＰＰは、事前に選択されたレベルより体温の高い個人を第１の人のグループの中から集合的に認識し、これらの個人は、個人的にターゲティングされ、距離毎に位置特定され、バイオメトリック特徴の測定により識別される。さらに、装置ＡＰＰは、第１の認識されたグループの個人に対して、具体的に選択された相互離隔距離範囲よりも短い距離だけさらに近い個人を認識し、第２の個人グループを、第１の識別されたグループによる感染のリスクがあるものとして識別する。これにより、装置ＡＰＰは、病人または感染者の逐次的検査および識別にとって替わる。例えば、疫病の場合に、装置ＡＰＰは、最低限の相互離隔距離を無視したために疫病に感染しているリスクのある特定の個人を群衆の中から自動的に指定し識別することを可能にする。これにより、リスクのあるこれらの個人を隔離することで、全住民に対する疫病の拡大を防止することができる。
本明細書で説明されている３重の技術的成果と、設計の単純さおよび低コスト生産というその経済的利点とを組合わせることにより、人命救助を実現することができる。したがって、例えば低い可視性条件下における人間または動物の検出および回避のため、および事故防止のために複雑な状況危険に対処する場合などに、高度運転者支援システム（ＡＤＡＳ）に対するこのような技術的特徴の組合せの応用が利用可能であり、現在のシステムに比べ費用効果が高い。
運転者のバイオメトリクスの検知のため、および駐車した車両内の幼児の置き去りを回避するべく警告を提供するために、車室内部に装置ＡＰＰを設置することによって、人命救助を実現することも可能である。
火事の場合、装置ＡＰＰは、炎の壁の向こうに人が隠れていても検出すること、そしてその人数および距離を認識することもできる。
例えば産業界では、一群の製品が該装置ＡＰＰの視野の中に配置されている状態で、既定の閾値寸法公差および／または温度範囲を超える製品が、別個の個別検査手順を用いる代りに、同時に検出され識別される。
例えばロボット工学では、装置ＡＰＰは、サーマルマッピングを含む正確な３Ｄ画像によりロボットに追加のデータを提供しこうして周囲部域の画像の正確さを高めることのできる改良型人工眼球として使用可能である。
装置ＡＰＰは同様に、制御センタの状況認識を改善し、費用効果的に公衆の安全性を高めるために既存の光学カメラに対して３Ｄ熱およびＬｉｄａｒ画像化を付加するために、居住者の経験および福利を改善するために高度の技術を包含する「スマートシティ」としても公知である都市内でも使用可能である。
図面中、同様の参照文字は、概して異なる図全体を通して同じ部品を意味する。同様に、図面は概略的であり、原寸に比例しておらず、その代わり概して本発明の原理を示すことに重点が置かれている。図と併せて以下の例示的実施形態の説明を参照して、本発明のさまざまな非限定的実施形態が記述される。
図１Ａは、一般的に使用される距離測定方法の動作原理を例示する。図１Ｂは、ターゲットに対して発出されターゲットから戻された短いレーザパルス、ならびに一般的距離測定方法で使用されるような高速応答光検出器によってそこから検出されたアナログ信号の時系列を描いている。 図１は、レーザパルスＬＰ、および低速応答熱検出器ＴＨＲＤＴＣによってキャプチャされた、このレーザパルスから導出された信号ＤＳのグラフである。 図２は、受信した長いレーザパルスに応答して低速応答検出器によって生成されたアナログ信号の恒常な振幅間隔ＩＮＴＶＬで進行する非同期的サンプリングを例示する。 図３は、３つの振幅レベルＡＭＰＬＶＬｉを有する信号ＳＺＧＳＭＰの例示的構造を例示する。 図４は、低速応答熱検出器ＴＨＲＤＴＣを使用して非同期的サンプリングによって距離を測定する装置ＡＰＰの電気的要素を示す主電気回路ＭＮＣＲＣＴのブロック図である。 図５は、非同期的サンプリングプロセスで使用するための、転移点ＴＲＰＮＴを中心にして対称であるデータ記憶パターンを例示する。 図６は、画素サンプリング回路ＰＸＳＭＰを例示する。 図７は、フォトアレイＰＨＴＡＲＲと呼ばれる標準的設計の熱画像化検出器アレイを描いている。 図８は、熱画像化および距離測定のための二峰性アレイＢＭＤＡＲＲを例示しており、選択されたラインｉが強調されている。 図９は、装置ＡＰＰの例示的実施形態のブロック図を例示する。 図１０は、二峰性アレイＢＭＤＡＲＲにより生成された２Ｄ画像の一部分、およびその上に投射されたレーザビームＬＳＲＢＭの走査パターンを例示する。 図１１は、３Ｄ画像とインタレースされた２Ｄ熱画像を生成するための装置ＡＰＰのコントローラＣＮＴＲＬの連続する動作段階を描いている。
低速応答熱検出器ＴＨＲＤＴＣを使用する上述の距離測定方法は、装置ＡＰＰ内で実装可能である。
図４は、低コスト検出器および非同期的サンプリングを使用することによる距離Ｒ測定のための装置ＡＰＰの電気的要素を示す主電気回路ＭＮＣＲＣＴの概略的ブロック図であり、その動作を例示している。低コスト検出器は、市販の高品質高速検出器のコストに比べて少なくとも１桁、さらには２桁廉価である。
時間ｔ＝０において、装置ＡＰＰの２つの要素すなわちレーザドライバＬＳＲＤＲおよびクロックＣＬＫ、または時間の計数を開始するタイムカウンタＣＬＫを同時に初期化する開始信号ＳＴＲＴが与えられる。開始信号ＳＴＲＴは同様に、それに結合された中間メモリＩＮＴＭＭをリセットする。開始信号ＳＴＲＴによってひとたび初期化されると、レーザドライバＬＳＲＤＲは、それに結合されたレーザ発振デバイスＬＳＲまたはレーザＬＳＲに第１のレーザパルスＬＰを発出するように指令する。その時からこの第１のレーザパルスＬＰはターゲットＴＲＧＴに送信され、そこから装置ＡＰＰに戻される。ターゲットＴＲＧＴから戻った時点で、レーザパルスＬＰは、低速応答熱検出器ＴＨＲＤＴＣであり得る検出器ＴＨＲＤＴＣによって受信される。
冷に、熱検出器は、レーザパルスＬＰから収集した光を、検出済み信号ＤＳと呼ばれる電気信号に変換する。熱検出器ＴＨＲＤＴＣは、図１Ｂに関連して以上で例示した通り時間ｔ＝Ｔｂｇで開始するその発出時間から、ｔ＝ＴＯＦ＋ＰＷにおける第１のレーザパルスＬＰの終りの戻り時点まで、第１のレーザパルスＬＰを受信する。図１Ｂに示されているように、ＴＯＦはレーザパルスＬＰの飛行時間であり、ＰＷはパルス幅であり、ｔｒは立ち上がり時間であり、ｔｆは立ち下がり時間である。低速応答熱検出器ＴＨＲＤＴＣは、単一の検出器ＴＨＲＤＴＣ、あるいは以下で説明する低速応答二峰性アレイＢＭＤＡＲＲの１つの画素ＰＸＬであり得る。第１のレーザパルスＬＰＬＰに応答して、低速応答熱検出器ＴＨＲＤＴＣは、前置増幅器ＰＡに対して検出済み信号ＤＳを出力する。前置増幅器ＰＡは、一般的な前置増幅器回路である。
前置増幅器ＰＡは、それ自体画素サンプリング回路ＰＸＳＭＰへの入力として役立つアナログ電力信号Ｖｏ（ｔ）まで検出済み信号ＤＳＤＳを増幅するために使用される。画素サンプリング回路ＰＸＳＭＰの機能性は２重である。画素サンプリング回路ＰＸＳＭＰの第１の機能は、電圧信号Ｖｏ（ｔ）が立ち上がっているか立ち下がっているかを決定し標示することである。Ｒ／Ｆとマーキングされたフラグ信号が、電圧信号Ｖｏ（ｔ）が立ち上がっている場合にはＬＯＧＩＣ１にセットされ、あるいは電圧信号Ｖｏ（ｔ）が立ち下がっている場合にはＬＯＧＩＣ０にセットされる。画素サンプリング回路ＰＸＳＭＰの第２の機能は、信号Ｖｏ（ｔ）が次の振幅レベルＡＭＰＬＶＬｉに達したか否かを決定することにある。達した場合には、画素サンプリング回路ＰＸＳＭＰは、クロックサンプリング信号ＣＬＫＳＭＰを中間メモリＩＮＴＭＭに送信し、これが、中間メモリＩＮＴＭＭに、フラグ信号Ｒ／ＦおよびクロックＣＬＫの現在の読取り値をセーブさせることになる。クロックＣＬＫは、所要距離測定分解能から導出される分解能を有する標準的時間計数コンポーネントである。
例えば、所要距離分解能が５ｍである場合、図１Ａに関連して以上で説明したように、クロックＣＬＫの時間計数分解能は３３ｎｓとして選択されなければならない。中間メモリＩＮＴＭＭに結合されたこの画素サンプリング回路ＰＸＳＭＰは、図２および３に関連して上述した２系列の時間事象ｔ１ｉおよびｔ２ｉを創出するプロセスを実行する。このプロセスは、中間メモリＩＮＴＭＭ内での記憶のための２系列の時間事象ｔ１ｉおよびｔ２ｉを創出し、ここで各々のサンプリングされたクロック時間ＣＬＫについて、フラグ信号Ｒ／Ｆは、その時間事象がサンプリングされた信号ＳＩＧＳＭＰの立ち上がり部分の系列ｔ１ｉに属するかあるいはその立ち下がり部分の系列ｔ２ｉに属するかを示す。中間メモリＩＮＴＭＭは、標準的フィールドプログラマブルゲートアレイＦＰＧＡまたは略してゲートコンポーネントＦＰＧＡにさらに結合されているゲートＧ１に結合される。
図８に示されている信号プロセッサＳＧＮＰＲＣによって送信された信号は、ゲートＧ１を開放し、これにより、２系列の時間事象ｔ１ｉおよびｔ２ｉは、データファイルＴＭＦＬとしてゲートコンポーネントＦＰＧＡに転送される。ゲートコンポーネントＦＲＧＡはまず、フラグ信号Ｒ／ＦがＬＯＧＩＣ１からＬＯＧＩＣ０に変化するファイル内の場所を位置特定することによりデータファイルＴＭＦＬ内の転移点ＴＲＰＮＴを位置特定する。
したがって、図５は、ＬＯＧＩＣ１がＬＯＧＩＣ０に切り替わる場所またはＬＯＧＩＣ０がＬＯＧＩＣ１に変化する場所についてのデータファイルＴＭＦＬを検索することによって、転移点ＴＲＰＮＴが発見されるということを例示している。
図５に描かれているように、データファイルＴＭＦＬは、時間事象系列ｔ１ｉおよびｔ２ｉの転移点ＴＲＰＮＴを中心として対称である記憶パターンを有する。したがって、いずれかの側で転移点ＴＲＰＮＴに最も近い２つの時間事象ｔ１１およびｔ２１は、最大の増幅レベルＡＭＰＬＶＬ１に属する。転移点ＴＲＰＮＴを中心として対称に配置された次の２つの第２の時間事象は、次の振幅レベルＡＭＰＬＶＬ２に属し、以下同様である。これらの時間事象対ｔ１ｉおよびｔ２ｉはその後、図１および３に関連して上述した通り、検出済み信号ＤＳの時間ＴｂｇおよびターゲットＴＲＧＴまでの距離を計算するために、等式３、等式４．１～４．３および等式５と共にゲートコンポーネントＦＰＧＡによって使用される。これらの等式、すなわち等式３、４．１～４．３および５のゲートコンポーネントＦＰＧＡ内での実装は、一般的な工学的実践方法である。レーザパルスＬＰの幅ＰＷ、立ち上がり時間ｔｒおよび立ち下がり時間ｔｆ、検出器の時定数τおよび光の速度ｃを含めた、距離の計算のために必要とされる他のパラメータは、工場における組立ての間ゲートコンポーネントのメモリ内に事前に記憶され得るシステム定数または物理的定数のいずれかである。
画素サンプリング回路の実装
画素サンプリング回路ＰＸＳＭＰの例示的な概略的実施形態が図６に例示されている。
図６中の第１の段階において、第１の比較器ＣＯＭＰ１が、図４中に描かれている前置増幅器ＰＡから受信したアナログ増幅済み電圧信号Ｖｏ（ｔ）と、直前の振幅レベルＡＭＰＬＶＬｉとの間の瞬間的差異を計算する。サンプリングプロセスの第１のサンプルについて、第１のサンプリング振幅ＡＭＰＬＶＬｉはゼロにセットされる。
その後、第２段階において、一対の比較器すなわち、すなわち第１の比較器ＣＯＭＰ１に結合された第２の比較器ＣＯＭＰ２と第３の比較器ＣＯＭＰ３が、第１の比較器ＣＯＭＰ１の出力を受信し、第１の比較器ＣＯＭＰ１の出力瞬間的差異を正および負の定電圧、それぞれ＋ＩＮＴＶＬと－ＩＮＴＶＬと比較する。信号Ｖｏ（ｔ）と振幅レベルＡＭＰＬＶＬｉの間の瞬間的差異が＋ＩＮＴＶＬに等しい場合、比較器ＣＯＭＰ２の出力は、ＬＯＧＩＣ１として定義された電圧レベルまで立ち上がり、したがって、先行する振幅レベルＡＭＰＬＶＬｉと比較して１振幅レベルだけの電圧Ｖｏ（ｔ）の立ち上がりが標示される。信号Ｖｏ（ｔ）と振幅レベルＡＭＰＬＶＬｉの間の瞬間的差異が－ＩＮＴＶＬに等しい場合、第３の比較器ＣＯＭＰ３の出力はＬＯＧＩＣ１として定義された電圧レベルまで立ち上がり、したがって、先行する振幅レベルＡＭＰＬＶＬｉと比較して１振幅レベルだけの電圧Ｖｏ（ｔ）の減衰が標示される。したがって第２の比較器ＣＯＭＰ２の出力は、図４を参照して以上で説明されている通り、画素サンプリング回路ＰＸＳＭＰの出力フラグ信号Ｒ／Ｆとしての役割を果たすことができる。
次に、第３段階において、論理ＸＯＲゲートＬＸＯＲが、比較器対すなわち第２段階の第２の比較器ＣＯＭＰ２と第３の比較器ＣＯＭＰ３の出力を受信する。第２の比較器ＣＯＰＭ２または第３のＣＯＰＭ３両方のうちのいずれか一方のものの出力がＬＯＧＩＣ１にセットされるもののそれら両方の出力を一緒にセットすることがない場合、論理ＸＯＲゲートＬＸＯＲは第２の論理出力クロックサンプリング信号ＣＬＫＳＭＰを出力することになる。第２の論理出力クロックサンプリング信号ＣＬＫＳＭＰは、図４に関連して以上で説明した通り、フラグ信号Ｒ／ＦおよびクロックＣＬＫの現在の読取り値を中間メモリＩＮＴＭＭにセーブすることになる。さらに、クロックサンプリング信号ＣＬＫＳＭＰがＬＯＧＩＣ１である場合、論理ＸＯＲゲートＬＸＯＲの出力端に結合された標準的サンプルホールド回路ＳＭＰＨＯＬが、信号Ｖｏ（ｔ）の現在値をサンプリングすることになる。信号Ｖｏ（ｔ）のこの最後の現在値が、画素サンプリング回路ＰＸＳＭＰの次の反復のための基準として、新しい直前の振幅レベルＡＭＰＬＶＬｉとして受諾されることになる。第１段階の比較器ＣＯＭＰ１に対するこの新しい振幅レベルＡＭＰＬＶＬｉの入力を遅延させて、このプロセスの非同期性に起因して考えられる内部衝突の発生を回避するために、標準的遅延ラインＤＬが使用される。
画像化検出器の実装
図７は、低速応答熱画像化光検出器アレイＰＨＴＡＲＲ、または略してフォトアレイＰＨＴＡＲＲの標準的設計の例示的な概略的実施形態を示す。図７は、熱画像化フォトアレイＰＨＴＡＲＲの画素ＰＸＬｉｊの２本の任意のライン、すなわちラインＬＮＯＡｉおよびＬＮＯＡｉ＋１の一部分を示す。これら２本のライン内の各々１つの画素ＰＸＬｉｊは、光スペクトルの熱波長内の入射光に対して感応性を有する材料で構成された光検出器を含む。フォトアレイＰＨＴＡＲＲの基板内で実装される読出し電子回路ＲＯＩＣがゲートを格納し、この回路が、各ラインについて別個に、かつフォトアレイＲＨＴＡＲＲ全体について別個に、画素ＰＸＬをライン内へ、そしてラインをフレームへと結合する。電子機器全体は、略して集積回路ＲＯＩＣと呼ばれる。この集積回路ＲＯＩＣの主要な目的は、熱フォトアレイＰＨＴＡＲＲの信号を増幅された電圧信号へと変換し、これらの増幅された電圧信号を同期的に標準国際映像フォーマットで伝送することにある。
熱フォトアレイＰＨＴＡＲＲは、熱波長に対して感応性を有する材料で構成されている。低速応答性であると同時に非冷却式画像化に好適でもあるこのような材料のいくつかの例としては、ＰｂＳｅ、ＶＯｘ、および非晶質シリコンが含まれる。
図８は、図６に関連して以上で説明された画素サンプリング回路ＰＸＳＭＰをどのように標準的低速応答二峰性アレイＢＭＤＡＲＲ内に組込むことができるかを示す、例示的な概略的実施形態を例示している。この二峰性アレイＢＭＤＡＲＲは、図４に関連して説明されている通り、距離測定を目的とした標準的熱画像化または非同期的画素サンプリングのいずれかを実行することができる。
図８において、ラインＬＮＯＡｉは、二峰性アレイＢＭＤＡＲＲの１つの任意に選択されたラインｉ、したがって二峰性アレイＢＭＤＡＲＲの複数のラインＬＮＯＡのうちの１本のラインＬＮＯＡｉの例示的実施形態を描いている。
図８において、二峰性アレイＢＭＤＡＲＲの各々１つの画素ＰＸＬｉｊには、標準的な画像化を目的としてかまたは距離測定のため、のいずれかに使用可能である熱検出器ＴＨＲＤＴＣおよび前置増幅器ＰＡが含まれる。二峰性アレイＢＭＤＡＲＲの画素ＰＸＬｉｊがセットされる選択された動作モード、つまり画像化または距離測定は、モードスイッチＰＸＭＯＤによって指令され、図９および１１に関連して以下で記述されている外部源から受信される。モードスイッチＰＸＭＯＤの動作モードが、ＬＯＧＩＣ０として選択される場合、前置増幅器ＰＡの出力信号は、標準的画像化のために二峰性アレイＢＭＤＡＲＲの出力端に直接接続されることになる。しかしながら、モードスイッチＰＸＭＯＤの選択された動作モードがＬＯＧＩＣ１として選択される場合、前置増幅器ＰＡの出力信号は、図６に関連して説明された通り、距離測定のために画素サンプリング回路ＰＸＳＭＰに接続されることになる。画素サンプリング回路ＰＸＳＭＰが単純であることにより、その実装を各画素ＰＸＬｉｊ内に含めることが可能である。
次に、ラインＬＮＯＡｉの画素ＰＸＬは、標準的に使用される画像化モードの場合と同じ形で、ゲートを介して集積回路ＲＯＩＣの出力端に接続される。図４に描かれている他のコンポーネント、すなわち中間メモリＩＮＴＭＭ、クロックＣＬＫ、およびゲートコンポーネントＦＰＧＡ含めたコンポーネントは、二峰性アレイＢＭＤＡＲＲとは異なりこれとは別個である信号プロセッサＳＧＮＰＲＣ上に組立てられる。
代替的には、これらのコンポーネントのいくつかを、二峰性アレイＢＭＤＡＲＲの一部として実装することができる。
３Ｄ熱画像化の実装
図９に例示されているように、装置ＡＰＰは、二峰性アレイＢＭＤＡＲＲを利用するサーマルイメージャＣ１またはカメラＣ１、および信号プロセッサＳＧＮＰＲＣを含む。信号プロセッサＳＧＮＰＲＣは、図８に描かれているように、クロックＣＬＫ、中間メモリＩＮＴＭＭおよびフィールドプログラマブルゲートコンポーネントＦＰＧＡを含む。装置ＡＰＰは、さらに、レーザドライバＬＳＲＤＲによって制御されるレーザＬＳＲを含む。レーザＬＳＲは、二峰性アレイＢＭＤＡＲＲが感応性を有する波長でレーザビームＬＳＲＢＭを発出し、カメラＣ１の視野ＦＯＶよりもはるかに狭いビーム発散を有する。
装置ＡＰＰの追加のコンポーネントとしては、光学スキャナＯＰＴＳＣＮおよび、装置ＡＰＰおよびその異なるコンポーネントを動作させるコントローラＣＮＴＲＬが含まれる。
光学スキャナＯＰＴＳＣＮは、カメラＣ１が検分する景色の選択された部域上にレーザビームＬＳＲＢＭを誘導する。一般的な工学的実践方法によると、光学スキャナＯＰＴＳＣＮはカメラＣ１と整列させられると仮定される。さらに、カメラＣ１および光学スキャナＯＰＴＳＣＮに結合されているコントローラＣＮＴＲＬは、カメラＣ１が検分する景色の特定的に選択された部域にレーザビームＬＳＲＢＭを誘導し得ることが仮定される。これは、特定の予め定義されたスキャン角度にシフトするように光学スキャナＯＰＴＳＣＮに指令することによって達成可能である。すなわち、カメラＣ１の視野ＦＯＶ内で選択された部域は、光学スキャナＯＰＴＳＣＮの１つの特定のスキャン角度によって一意的にマッピングされ得る。
図１０は、２Ｄ画像とインタレースされた３Ｄ画像化を生成するために実装され得る装置ＡＰＰのコントローラＣＮＴＲＬの例示的動作シーケンスを示している。説明を明瞭にするため、二峰性アレイＢＭＤＡＲＲが１００×１００の画素ＰＸＬｉｊ、すなわち各々１００個の画素ＰＸＬの１００本のラインＬＮＯＡを有することが認められている。同様に、装置ＡＰＰが１０秒の時系列と等価である０．１ＨＺの速度で画像を生成することも認められている。
第１の動作段階ＳＴＧ１において、コントローラＣＮＴＲＬは、景色の選択された一部分の２Ｄ熱画像を生成するように二峰性アレイＢＭＤＡＲＲを動作させる。このために、二峰性アレイＢＭＤＡＲＲは、コントローラＣＮＴＲＬにより、二峰性アレイＢＭＤＡＲＲの画素に対して送信されるＬＯＧＩＣ０へのモードスイッチＰＸＭＯＤの動作を指令することによって、画像化モードにセットされる。その後、２Ｄ画像が、一般的な標準的方法を用いてキャプチャされ、図８に描かれているように、低速応答二峰性アレイＢＭＤＡＲＲによって、信号プロセッサＳＧＮＰＲＣ内に含まれているゲートコンポーネントＦＰＧＡに伝送される。当該実施例の場合、図１０で「キャプチャ」および「伝送」と標示されている２Ｄ画像をキャプチャし伝送するのに必要とされる時間的広がりは３．４ｍｓである。この時間的広がりは、景色に対する二峰性アレイＢＭＤＡＲＲの３ｍｓの露出時間とそれに続く画素値の４００μｓの読取り時間およびこれらの値のゲートコンポーネントＦＰＧＡへの伝送時間という仮定に基づくものである。
先行する第１の段階ＳＴＧ１に後続する第２の動作段階ＳＴＧ２では、コントローラＣＮＴＲＬは、二峰性アレイＢＭＤＡＲＲ、レーザドライバＬＳＲＤＲを介したレーザＬＳＲ、光学スキャナＯＰＴＳＣＮおよび信号プロセッサＳＧＮＰＲＣという３Ｄ画像を生成するための装置ＡＰＰのコンポーネントを動作させる。
さらに第２の動作段階ＳＴＧ２において、図１１は、第１段階ＳＴＧ１で二峰性アレイＢＭＤＡＲＲにより生成された２Ｄ画像のうちの２１×２０個の画素の例示的部分を示している。さらに図１１では、二峰性アレイＢＭＤＡＲＲ上で投射されるレーザビームＬＳＲＢＭの走査パターンが、Ａとマーキングされた矢印によって標示されている。この実施例においては、レーザビームＬＳＲＢＭの幅は、景色からまたはターゲットＴＲＧＴから反射されそしてカメラＣ１に戻る時に二峰性アレイＢＭＤＡＲＲの２つの画素が各々の瞬間的時点で照明されるようなものである、ということが仮定される。
コントローラＣＮＴＲＬは、特定の走査パターンにしたがって光学スキャナＯＰＴＳＣＮの走査角度を調整することによって、一度に２つの画素ＰＸＬｉｊで、カメラＣ１が検分した選択された景色の部分を走査するように、レーザビームＬＳＲＢＭに指令する。
第１のステップとして、図９に示されているコントローラＣＮＴＲＬは、光学スキャナＯＰＴＳＣＮの走査パターンひいては走査角度をセットすることによって２つの画素ＰＸＬｉｊの第１のセットＳＥＴ１の照明を開始する。図１１において、第１のセットＳＥＴ１は、第１および第２の縦列、それぞれＬＮＯＡ１およびＬＮＯＡ２の頂部において、最上横列内に配置されている。その後、コントローラＣＮＴＲＬは、モードスイッチＰＸＭＯＤをＬＯＧＩＣ「１」にセットすることによって、距離測定モードに入るよう第１のセットＳＥＴ１に指令する。第２のステップにおいて、コントローラＣＮＴＲＬは、クロックＣＬＫおよび信号プロセッサＳＧＮＰＲＣの中間メモリＩＮＴＭＭに対して、およびレーザドライバＬＳＲＤＲに対して開始指令を送信することによって、距離測定プロセスを開始する。この後に、図４～６に関連して以上で説明したプロセスが続く。この実施例において、このプロセス全体の持続時間は２ｍｓである。
次に、第３段階ＳＴＧ３において、コントローラＣＮＴＲＬは、処理のためにゲートコンポーネントＦＲＧＡにファイルＴＭＦＬを送出するべく図４に示されているゲートＧ１を開く信号を発出する。これに応答して、ゲートコンポーネントＦＲＧＡは、図１１に関連して説明されたように、第１の画素セットＳＥＴ１に関係する景色の部分までの距離を計算する。並行して、コントローラＣＮＴＲＬは光学スキャナＯＰＴＳＣをシフトさせて、第２の横列内で第１のセットＳＥＴ１の直下かつこれに隣接して配置されている２つの画素ＰＸＬの第２のセットＳＥＴ２を照明し、その後、ＳＥＴ２のこれら２つの画素ＰＸＬについての距離測定が繰返される。この距離測定プロセスはさらに、レーザビームＬＳＲＢＭが最下横列上の最初の２本のライン、それぞれＬＮＯＡ１およびＬＮＯＡ２の終りに達するまで、反復的に繰り返される。
その後、レーザビームＬＳＲＢＭは、コントローラＣＮＴＲＬによって、次の２本のライン、それぞれＬＮＯＡ３およびＬＮＯＡ４の最初の２つの画素へと誘導される。この同じ走査パターンは、レーザビームＬＳＲＢＭが景色の部分全体の走査を完了して、この景色のその部分の各々全ての画素ＰＸＬｉｊまでの距離を生成するまで、反復的に繰り返される。この実施例において、二峰性アレイＢＭＤＡＲＲの動作全体について、持続時間はおよそ１０ｓである。画像生成の持続時間全体に対して３．４ｍｓである２Ｄ画像生成の持続時間を加えると、１０ｓという結果がもたらされ、これは、０．１Ｈｚの速度に対する要件と相関関係を有する。
本明細書で提供されているさまざまな数値例は、例示向けに提示されており、装置ＡＰＰの動作によって達成できる最良の獲得可能な性能を示すこととは程遠いものである、ということを指摘しておかなければならない。最終段階において、ゲートコンポーネントＦＰＧＡは、各画素ＰＸＬの距離データを記憶された２Ｄ熱画像データに加えることによって、画素フォーマットでそのメモリ内に記憶された熱２Ｄ画像を、距離データとインタレースする。これにより、景色の３Ｄ熱表現が創出される。
コントローラＣＮＴＲＬの３つの動作段階ＳＴＧの結果は、３ＤサーマルイメージャＣ１を動作させてその視野内にキャプチャされた景色を画像化し、この視野内の選択された物体までの距離を測定し、２Ｄ熱画像を距離データとインタレースして、距離と２Ｄ熱画像を組合わせた３Ｄ熱画像化を生成する能力である。
図面中にはそのように描かれてはいないものの、他の例示的実施形態が異なる形で動作し得る、すなわち説明された段階の動作シーケンスが異なるものであり得、瞬間的に照明される画素の数そして走査パターンも異なるものであり得るということが指摘される。
こうして、３Ｄサーマルイメージャ１Ｃ、信号プロセッサＳＧＮＰＲＣ、レーザＬＳＲ、光学スキャナＯＰＴＳＣＮおよびコントローラＣＮＴＲＬを含む画像化装置ＡＰＰが記述されてきた。
例示的実施形態に係る装置の１つの特徴は、高い距離分解能を伴う３Ｄ画像化のための低速応答熱検出器の使用にある。低速応答検出器は、一般的に入手可能であり、価格も有利である。この装置は、２Ｄ熱画像と距離データを組合せ、それから３Ｄ熱画像化を創出する。
装置ＡＰＰは、複数の低速応答熱検出器ＴＨＲＤＴＣを動作させる電子回路である二峰性アレイＢＭＤＡＲＲを含む。使用中、二峰性アレイＢＭＤＡＲＲは、標準的熱画像化または距離測定のための非同期的画素サンプリングのいずれかを実行する。二峰性アレイは、コントローラによる指令を受け、複数の低速応答熱検出器を含む。さらに、二峰性アレイは、低速応答熱検出器を使用することによって２Ｄ熱画像ならびに正確な距離データを生成するように設計されている。アレイ内の各々の低速応答熱検出器によって収集された２Ｄ熱画像および距離データの両方共が信号プロセッサに転送される。
コントローラはさらに、サーマルイメージャのレーザ、光学スキャナおよび各々１つの低速応答熱検出器を動作させるように構成されている。これにより、コントローラは、サーマルイメージャのレーザ、光学スキャナおよび熱検出器を動作させてそこから距離データを導出することができる。この距離データは、複数の時間事象対ｔ１ｉおよびｔ２ｉを導出するのに専用のものである画素サンプリング回路を使用することによって収集される。これらの時間事象対ｔ１ｉおよびｔ２ｉは、信号プロセッサに伝達されるサンプリングされた検出済み信号ＤＳから導出される。
最後に、信号プロセッサは、アレイ内の低速応答熱検出器に対応する正確さよりも高い確度で距離を計算するように構成されている。こうして信号プロセッサは、２Ｄ熱画像を距離データとインタレースして、距離データと２Ｄ熱画像を組合わせた３Ｄ熱画像化を生成することができる。
二峰性アレイが複数の低速応答熱検出器を含むこと、そしてこれらの熱検出器の各々１つが、２Ｄ熱画像内および／または３Ｄ画像化において１つの画素を生成することが指摘される。
検出器ＴＨＲＤＴＣの各々１つは、モードスイッチＰＸＭＯＤに結合されている。モードスイッチＰＸＭＯＤは、２つの動作モード、すなわち画像化モードという１つの動作モードと距離測定モードである第２のモードのうちの一方に二峰性アレイＢＭＤＡＲＲをセットするように構成されている。
二峰性アレイＢＭＤＡＲＲはさらに、複数の画素サンプリング回路ＰＸＳＭＰを含む。各々１つの画素サンプリング回路ＰＸＳＭＰは、検出済み信号ＤＳの上昇部分ｔａおよび検出済み信号ＤＳの減衰部分ｔｄを認識するように構成されている。
信号プロセッサＳＧＮＰＲＣはさらに、クロックＣＬＫを含み、このクロックＣＬＫは中間メモリＩＮＴＭＭに結合されている。画素サンプリング回路ＰＸＳＭＰは中間メモリＩＮＴＭＭに結合されている。画素サンプリング回路ＰＸＳＭＰは、信号プロセッサＳＧＮＰＲＣに対してクロックサンプリング信号ＣＬＫＳＭＰおよびフラグ信号Ｒ／Ｆを送信するように構成されている。これら２つの信号に応答して、信号プロセッサＳＧＮＰＲＣは、中間メモリＩＮＴＭＭに、クロックＣＬＫおよびフラグ信号Ｒ／Ｆの現在の読取り値を記憶するよう指令する。
各々１つの画素サンプリング回路ＰＸＳＭＰは、中間メモリＩＮＴＭＭに結合され、少なくとも２つの動作を行なうように構成されている。画素サンプリング回路ＰＸＳＭＰの最初の動作は、２系列の時間事象、すなわち第１の時間事象系列ｔ１ｉおよび第２の時間事象系列ｔ２ｉを創出することにある。時間事象ｔ１ｉは、検出済み信号ＤＳの上昇部分ｔａに属し、時間事象ｔ２ｉは、同じ検出済み信号ＤＳの減衰部分ｔｄに属する。画素サンプリング回路ＰＸＳＭＰが実行する第２の動作は、上昇部分ｔａと減衰部分ｔｄの両方のうちのいずれに、時間事象の各々が関連しているかを標示することにある。
中間メモリＩＮＴＭＭは、ゲートＧ１を介してコンポーネントＦＰＧＡに結合されている。ゲートＧ１の開放は、そのように構成された信号プロセッサＳＧＮＰＲＣによって指令される。これにより、中間メモリＩＮＴＭＭ中に記憶されている２系列の時間事象ｔ１ｉおよびｔ２ｉを、データファイルＴＭＦＬとしてコンポーネントＦＰＧＡに対し転送することが可能となる。
ゲートコンポーネントＦＰＧＡは、データファイルＴＭＦＬ内で転移点ＴＲＰＮＴを位置特定するように構成されている。転移点ＴＲＰＮＴは、２系列の時間事象ｔ１ｉとｔ２ｉを離隔させる。転移点ＴＲＰＮＴを見つけるには、フラグ信号Ｒ／ＦがＬＯＧＩＣ１へのセッティングからＬＯＧＩＣ０へのセッティングへ切り替わるデータファイルＴＭＦＬ内の場所、または逆に、フラグ信号Ｒ／ＦがＬＯＧＩＣ０へのセッティングからＬＯＧＩＣ１へのセッティングへと切り替わる場所を位置特定するだけでよい。
以上で説明した通り、画素サンプリング回路ＰＸＳＭＰは、サンプリングされた検出済み信号ＤＳから複数の時間事象対ｔ１ｉおよびｔ２ｉを導出するように構成されている。これらの時間事象対ｔ１ｉおよびｔ２ｉは、ターゲットＴＲＧＴまでの距離を計算するために使用可能である。
画素サンプリング回路ＰＸＳＭＰはさらに、フラグ信号Ｒ／Ｆを送出することおよび複数の時間事象対ｔ１ｉおよびｔ２ｉを導出することの両方のために構成されている。これらは両方共、検出済み信号ＤＳの非同期的サンプリングによって収集されるものである。検出済み信号ＤＳは、上昇部分ｔａと減衰部分ｔｄを有する。フラグ信号Ｒ／Ｆは、時間事象ｔ１ｉおよびｔ２ｉの各々１つが、上昇部分ｔａと減衰部分ｔｄのいずれに関係しているかを標示するように構成されている。
画素サンプリング回路ＰＸＳＭＰは、さらに、少なくとも２つ以上の動作を行なうように構成されている。さらに１つの動作は、サンプリングされた検出済み信号ＤＳの上昇部分ｔａと減衰部分ｔｄを非同期的にサンプリングすることにある。非同期的サンプリングの目的は、間隔ＩＮＴＶＬの恒常で等しいスパンの逐次的ステップで、かつ連続する振幅レベルＡＭＰＬＶＬｉで、２つの時間事象の対を導出することにある。
第２の動作は、各々の時間事象が２つの時間事象ｔ１ｉおよびｔ２ｉのいずれに属するかを標示する目的でフラグ信号Ｒ／Ｆを送出することにある。次に、時間事象対ｔ１ｉおよびｔ２ｉおよびフラグ信号Ｒ／Ｆを格納するデータファイルＴＭＦＬが、クロックサンプリング信号ＣＬＫＳＭＰの送出時点で中間メモリＩＮＴＭＭ内に記憶される。
時間事象ｔ１ｉおよびｔ２ｉの各々の対には、第１の時間事象ｔ１ｉおよび第２の時間事象ｔ２ｉが含まれる。第１の時間事象ｔ１ｉにおいて、第１のインデックスは１と標示される。第２の時間事象ｔ２ｉにおいて、第１のインデックスはτと標示される。第１のインデックスおよび第２のインデックスは、フラグ信号Ｒ／Ｆと相関される。各々１つの時間事象ｔ１ｉおよびｔ２ｉは、第２のインデックスｉによって識別される。この第２のインデックスｉは、振幅レベルＡＭＰＬＶＬｉｊに関係する。時間事象ｔ１ｉおよびｔ２ｉの各々１つは、２つの側を有する転移点ＴＲＰＮＴの相対する側にセーブされる。時間事象ｔ１ｉは、転移点ＴＲＰＮＴの第１の側で時間ファイルＴＭＦＬ内にセーブされ、時間事象ｔ２ｉは、転移点ＴＲＰＮＴの第２の側で時間ファイルＴＭＦＬ内にセーブされる。数値的に下位のインデックスｉを有する時間事象は、転移点ＴＲＰＮＴにより近いところに記憶され、一方数値的に上位のインデックスｉを有する時間事象は、転移点ＴＲＰＮＴからより遠いところに記憶される。
熱検出器ＴＨＲＤＴＣは、非冷却式検出器としてかあるいは冷却式検出器として選択されてよい。
こうして、画像化装置ＡＰＰを構築し実装するための方法も同様に説明されてきた。画像化装置ＡＰＰは、３ＤサーマルイメージャＣ１、信号プロセッサＳＧＮＰＲＣ、レーザＬＳＲ、光学スキャナＯＰＴＳＣＮおよびコントローラＣＮＴＲＬを含む。該方法は、低速応答熱検出器ＴＨＲＤＴＣを使用して、ターゲットＴＲＧＴから戻された発出済みレーザパルスＬＰから検出済みアナログ信号ＤＳを導出する。該方法は、検出済み信号ＤＳを非同期的にサンプリングして、そこから２系列の時間事象、それぞれｔ１ｉおよびｔ２ｉを導出する。さらに、該方法は、等式（ｅｑｕ．３）および等式（ｅｑｕ．４．１）、（ｅｑｕ．４．２）および（ｅｑｕ．４．３）を使用することによって時間Ｔｂｇを導出する。その後該方法は、（ｅｑｕ．５）を用いてターゲットＴＲＧＴまでの距離Ｒを計算する。
該方法は、非冷却式検出器または冷却式検出のいずれかとして選択され得る熱検出器ＴＨＲＤＴＣを使用する。
該方法では、検出済み信号ＤＳは、上昇部分ｔａおよび減衰部分ｔｄを有する。検出済み信号ＤＳは、その上昇部分ｔａおよびその減衰部分ｔｄについて非同期的にサンプリングされる。
さらに、検出済み信号ＤＳは、恒常で等しい振幅間隔ＩＮＴＶＬの逐次的および連続的振幅ステップで非同期的にサンプリングされる。
該方法では、サンプリングされた信号ＳＩＧＳＭＰは、時間ファイルＴＭＦＬ内にセーブされる。サンプリングされた信号ＳＩＧＳＭＰは、時間ファイルＴＭＦＬ内で、転移点ＴＲＰＮＴを中心として対称であるパターンでリストされている。
検出済み信号ＤＳは、画素サンプリング回路ＰＸＳＭＰ内への入力の前にアナログ電圧信号Ｖｏ（ｔ）へと増幅され得る。画素サンプリング回路ＰＸＳＭＰは、２重の機能性を有する。
検出済み信号ＤＳは、画素サンプリング回路ＰＸＳＭＰへの入力のために、アナログ電圧信号Ｖｏ（ｔ）へと増幅される。画素サンプリング回路ＰＸＳＭＰは少なくとも２つの機能を有する。画素サンプリング回路ＰＸＳＭＰの第１の機能は、電圧信号Ｖｏ（ｔ）が立ち上がり中か減衰中かの決定および標示を扱う。画素サンプリング回路ＰＸＳＭＰの第２の機能は、信号Ｖｏ（ｔ）が次の振幅レベルＡＭＰＬＶＬｉに達したか否かの決定を扱う。
画素サンプリング回路ＰＸＳＭＰは、主電気回路ＭＮＣＲＣＴの一要素である。画素サンプリング回路ＰＸＳＭＰは、非同期的画素サンプリングプロセスを動作させるように構成されている。
主電気回路ＭＮＣＲＣＴは、標準的サンプルホールド回路ＳＭＰＨＯＬを含む。サンプルホールド回路ＳＭＰＨＯＬは、遅延ラインＤＬに結合される。遅延ラインとサンプルホールド回路ＳＭＰＨＯＬは、導出されたデータの考えられる内部衝突を防止するように構成されている。
以上で説明された装置および方法の例示的実施形態は、例えば、公衆衛生、市民の安全および保護、ロボット工学そして車両の誘導およびナビゲーションなどを含めた、カメラを使用する産業および器具において応用可能である。
ＡＰＰ 装置
ＢＭＤＡＲＲ 二峰性アレイ
Ｃ１ カメラ
ＣＬＫ クロックまたはタイムカウンタ
ＣＬＫＳＭＰ クロックサンプリング信号
ＣＮＴＲＬ コントローラ
ＣＯＭＰ 比較器
ＤＬ 遅延ライン
ＤＳ 検出済み信号
ＤＴＣＴ 低速応答レーザパルス検出器
ＦＰＧＡ ＦＰＧＡコンポーネント
ＦＰＧＡＭＭ ゲートコンポーネントメモリ
Ｇ１ ゲートＧ１
ＩＮＴＭＭ 中間メモリ
ＩＮＴＶＬ 振幅間隔
ＬＮＯＡ アレイライン
ＬＰ レーザパルス
ＬＳＲ レーザ
ＬＳＲＢＭ レーザビーム
ＬＳＲＤＲ レーザドライバ
ＬＸＯＲ 論理ＸＯＲゲート
ＭＮＣＲＣＴ 主電気回路
ＯＰＴＣＯＭ 光学コンポーネント
ＯＰＴＳＣＮ 光学スキャナ
ＰＡ 前置増幅器
ＰＨＴＡＲＲ フォトアレイ
ＰＸＬ 画素
ＰＸＭＯＤ モードスイッチ
ＰＸＳＭＰＬ 画素サンプリング回路
Ｒ 距離
Ｒ／Ｆ 出力フラグ
ＲＯＩＣ 読出し集積回路
ＳＧＮＰＲＣ 信号プロセッサ
ＳＩＧＳＭＰ サンプリングされた信号
ＳＬＲＤＣＴ 低速応答熱検出器
ＳＴＲＴ 開始信号
ＴＩＤ 熱画像化デバイス
ＴＨＲＡＲＲ 熱画像化検出器アレイ
ＴＨＲＤＣＴ 低速応答熱光検出器ＴＣ
ＴＭＦＬ データファイル
Ｔｐｅａｋ 最大強度の時間
ＴＲＧＴ ターゲット
主電気回路ＭＮＣＲＣＴは、標準的サンプルホールド回路ＳＭＰＨＯＬを含む。サンプルホールド回路ＳＭＰＨＯＬは、遅延ラインＤＬに結合される。遅延ラインとサンプルホールド回路ＳＭＰＨＯＬは、導出されたデータの考えられる内部衝突を防止するように構成されている。
上述の実施形態は下記の例のように記載され得るが、下記の例に限定されない。
［例１］
３ＤサーマルイメージャＣ１、信号プロセッサＳＧＮＰＲＣ、レーザＬＳＲ、光学スキャナＯＰＴＳＣＮおよびコントローラＣＮＴＲＬを含む画像化装置ＡＰＰにおいて、
二峰性アレイＢＭＤＡＲＲが、ｉ）標準的熱画像化およびｉｉ）距離測定のための非同期的画素サンプリングのうちの１つにおいて実行しかつコントローラＣＮＴＲＬによる指令を受け、前記二峰性アレイＢＭＤＡＲＲが複数の低速応答熱検出器ＴＨＲＤＴＣを含み、前記低速応答熱検出器ＴＨＲＤＴＣを使用することによって２Ｄ熱画像および正確な距離データを生成するように構成されており、前記２Ｄ熱画像および距離データが信号プロセッサＳＧＮＰＲＣへと転送され、
ここで、前記コントローラＣＮＴＲＬがさらに、信号プロセッサＳＧＮＰＲＣに伝達されるサンプリングされた検出済み信号ＤＳから複数の時間事象対ｔ１ｉおよびｔ２ｉを導出するように構成されている画素サンプリング回路ＰＸＳＭＰを使用することによって距離データを導出するために、前記レーザＬＳＲ、前記光学スキャナＯＰＴＳＣＮおよび前記サーマルイメージャＣ１を動作させるように構成されており、かつ
前記信号プロセッサＳＧＮＰＲＣが、前記検出器の時間応答に対応しこの応答に関する正確さよりも高い正確さで前記距離を計算し、かつ前記距離データと前記２Ｄ熱画像をインタレースして３Ｄ熱画像を生成するように構成されている、ことを特徴とする画像化装置ＡＰＰ。
［例２］
前記二峰性アレイＢＭＤＡＲＲが複数の低速応答熱検出器ＴＨＲＤＴＣを含み、この低速応答熱検出器ＴＨＲＤＴＣの各々が２Ｄ熱画像内および３Ｄ熱画像内で１つの画素を生成する、例１に記載の装置ＡＰＰ。
［例３］
前記画素サンプリング回路ＰＸＳＭＰが、
サンプリングされた検出済み信号ＤＳの上昇部分ｔａおよび減衰部分ｔｄを非同期的にサンプリングして、間隔ＩＮＴＶＬの恒常かつ等しいスパンの逐次的ステップでかつ振幅ＡＭＰＬＶＬｉの連続的レベルで２つの時間事象対を導出し、
各々１つの時間事象が前記２つの時間事象ｔ１ｉおよびｔ２ｉのうちのいずれに関連しているかを標示するべく、フラグ信号Ｒ／Ｆを送出する、ように構成されており、
前記時間事象対ｔ１ｉおよびｔ２ｉおよびフラグ信号Ｒ／Ｆを格納するデータファイルＴＭＦＬが、クロックサンプリング信号ＣＬＫＳＭＰの送出時点で中間メモリＩＮＴＭＭ内に記憶される、例２に記載の装置ＡＰＰ。
［例４］
前記時間事象ｔ１ｉおよびｔ２ｉの各々１つの対は、第１のインデックスが１として標示される第１の時間事象ｔ１ｉ、および前記第１のインデックスが２として標示される第２の時間事象ｔ２ｉを含み、これらのインデックス１および２が前記フラグ信号Ｒ／Ｆと相関されており、
各々１つの時間事象ｔ１ｉおよびｔ２ｉが第２のインデックスｉによって識別され、ここで第２のインデックスｉは振幅レベルＡＭＰＬＶＬｉに関係しており、
前記時間事象ｔ１ｉが、２つの側を有する転移点ＴＲＰＮＴの第１の側で前記時間ファイルＴＭＦＬ内にセーブされており、前記時間事象ｔ２ｉが前記転移点ＴＲＰＮＴの第２の側に記憶されており、
比較的低い数値的インデックスｉを有する時間事象が、前記転移点ＴＲＰＮＴに対してより近くに記憶される、例３に記載の装置ＡＰＰ。
［例５］
前記熱検出器ＴＨＲＤＴＣが、非冷却式検出器および冷却式検出器のうちの一つである、例１に記載の装置ＡＰＰ。
［例６］
３ＤサーマルイメージャＣ１、信号プロセッサＳＧＮＰＲＣ、レーザＬＳＲ、光学スキャナＯＰＴＳＣＮおよびコントローラＣＮＴＲＬを含む画像化装置ＡＰＰを実装するための方法において、
低速応答熱検出器ＴＨＲＤＴＣを使用して、ターゲットＴＲＧＴから戻された発出済みレーザパルスＬＰから検出済みアナログ信号ＤＳを導出するステップ、
前記検出済み信号ＤＳを非同期的にサンプリングして、そこから２系列の時間事象、それぞれｔ１ｉおよびｔ２ｉを導出するステップ、
Figure 2023530194000028
 および
Figure 2023530194000029
 のうちの１つを使用することによって時間Ｔｂｇを導出するステップであって、ここでτは前記低速応答熱検出器ＤＴＣＴの時定数であり、ｔ１ｉは第１の時間事象であり、ＰＷは前記レーザパルスＬＰのパルス幅であり、ｔ２ｉは第２の時間事象であり、ｔｒは前記レーザパルスＬＰの立ち上がり時間であり、ｔｆは前記レーザパルスＬＰの立ち下がり時間であるステップ、および、
Figure 2023530194000030
 を用いてターゲットＴＲＧＴまでの距離Ｒを計算するステップであって、ここでＴｂｇが飛行時間ＴＯＦに等しいステップ、を特徴とする方法。
［例７］
例１にしたがって、前記検出器ＴＨＲＤＴＣが、市販の高品質の高速検出器のコストよりも少なくとも１ケタ廉価である低速応答熱検出器ＴＨＲＤＴＣである、例６に記載の方法。
［例８］
前記検出器ＴＨＲＤＴＣが、非冷却式検出器である、例６に記載の方法。
［例９］
前記検出済み信号ＤＳが、上昇部分ｔａおよび減衰部分ｔｄを有し、前記その上昇部分ｔａおよび前記減衰部分ｔｄの両方について非同期的にサンプリングされる、例６に記載の方法。
［例１０］
前記検出済み信号ＤＳが、恒常で等しい振幅間隔ＩＮＴＶＬの逐次的および連続的振幅ステップで非同期的にサンプリングされる、例６に記載の方法。
［例１１］
サンプリングされた信号ＳＩＧＳＭＰが、時間ファイルＴＭＦＬ内にセーブされ、その内部で、転移点ＴＲＰＮＴを中心として対称であるパターンでリストされている、例６に記載の方法。
［例１２］
前記検出済み信号ＤＳが、２重の機能性を有する画素サンプリング回路ＰＸＳＭＰ内への入力の前にアナログ電圧信号Ｖｏ（ｔ）へと増幅される、例６に記載の方法。
［例１３］
画素サンプリング回路ＰＸＳＭＰへの入力のために、前記検出済み信号ＤＳがアナログ電圧信号Ｖｏ（ｔ）へ増幅される方法であって、画素サンプリング回路ＰＸＳＭＰが、
前記電圧信号Ｖｏ（ｔ）が立ち上がり中か減衰中かを決定し標示するための第１の機能と、
前記信号Ｖｏ（ｔ）が次の振幅レベルＡＭＰＬＶＬｉに達したか否かを決定するための第２の機能と、を有する、例６に記載の方法。
［例１４］
前記画素サンプリング回路ＰＸＳＭＰが、距離測定のために熱画像化および非同期的画素サンプリングを行なうように構成されている二峰性アレイＢＭＤＡＲＲである、例１３に記載の方法。
［例１５］
前記画素サンプリング回路ＰＸＳＭＰが、主電気回路ＭＮＣＲＣＴの一要素であり、非同期的画素サンプリングプロセスを動作させるように構成されており、
前記主電気回路ＭＮＣＲＣＴが、遅延ラインＤＬに結合された標準的サンプルホールド回路ＳＭＰＨＯＬを含み、後者２つが、導出されたデータの考えられる内部衝突を防止するように構成されている、例１４に記載の方法。

Claims (15)

  1. ３ＤサーマルイメージャＣ１、信号プロセッサＳＧＮＰＲＣ、レーザＬＳＲ、光学スキャナＯＰＴＳＣＮおよびコントローラＣＮＴＲＬを含む画像化装置ＡＰＰにおいて、
    二峰性アレイＢＭＤＡＲＲが、ｉ）標準的熱画像化およびｉｉ）距離測定のための非同期的画素サンプリングのうちの１つにおいて実行しかつコントローラＣＮＴＲＬによる指令を受け、前記二峰性アレイＢＭＤＡＲＲが複数の低速応答熱検出器ＴＨＲＤＴＣを含み、前記低速応答熱検出器ＴＨＲＤＴＣを使用することによって２Ｄ熱画像および正確な距離データを生成するように構成されており、前記２Ｄ熱画像および距離データが信号プロセッサＳＧＮＰＲＣへと転送され、
    ここで、前記コントローラＣＮＴＲＬがさらに、信号プロセッサＳＧＮＰＲＣに伝達されるサンプリングされた検出済み信号ＤＳから複数の時間事象対ｔ１ｉおよびｔ２ｉを導出するように構成されている画素サンプリング回路ＰＸＳＭＰを使用することによって距離データを導出するために、前記レーザＬＳＲ、前記光学スキャナＯＰＴＳＣＮおよび前記サーマルイメージャＣ１を動作させるように構成されており、かつ
    前記信号プロセッサＳＧＮＰＲＣが、前記検出器の時間応答に対応しこの応答に関する正確さよりも高い正確さで前記距離を計算し、かつ前記距離データと前記２Ｄ熱画像をインタレースして３Ｄ熱画像を生成するように構成されている、ことを特徴とする画像化装置ＡＰＰ。
  2. 前記二峰性アレイＢＭＤＡＲＲが複数の低速応答熱検出器ＴＨＲＤＴＣを含み、この低速応答熱検出器ＴＨＲＤＴＣの各々が２Ｄ熱画像内および３Ｄ熱画像内で１つの画素を生成する、請求項１に記載の装置ＡＰＰ。
  3. 前記画素サンプリング回路ＰＸＳＭＰが、
    サンプリングされた検出済み信号ＤＳの上昇部分ｔａおよび減衰部分ｔｄを非同期的にサンプリングして、間隔ＩＮＴＶＬの恒常かつ等しいスパンの逐次的ステップでかつ振幅ＡＭＰＬＶＬｉの連続的レベルで２つの時間事象対を導出し、
    各々１つの時間事象が前記２つの時間事象ｔ１ｉおよびｔ２ｉのうちのいずれに関連しているかを標示するべく、フラグ信号Ｒ／Ｆを送出する、ように構成されており、
    前記時間事象対ｔ１ｉおよびｔ２ｉおよびフラグ信号Ｒ／Ｆを格納するデータファイルＴＭＦＬが、クロックサンプリング信号ＣＬＫＳＭＰの送出時点で中間メモリＩＮＴＭＭ内に記憶される、請求項２に記載の装置ＡＰＰ。
  4. 前記時間事象ｔ１ｉおよびｔ２ｉの各々１つの対は、第１のインデックスが１として標示される第１の時間事象ｔ１ｉ、および前記第１のインデックスが２として標示される第２の時間事象ｔ２ｉを含み、これらのインデックス１および２が前記フラグ信号Ｒ／Ｆと相関されており、
    各々１つの時間事象ｔ１ｉおよびｔ２ｉが第２のインデックスｉによって識別され、ここで第２のインデックスｉは振幅レベルＡＭＰＬＶＬｉに関係しており、
    前記時間事象ｔ１ｉが、２つの側を有する転移点ＴＲＰＮＴの第１の側で前記時間ファイルＴＭＦＬ内にセーブされており、前記時間事象ｔ２ｉが前記転移点ＴＲＰＮＴの第２の側に記憶されており、
    比較的低い数値的インデックスｉを有する時間事象が、前記転移点ＴＲＰＮＴに対してより近くに記憶される、請求項３に記載の装置ＡＰＰ。
  5. 前記熱検出器ＴＨＲＤＴＣが、非冷却式検出器および冷却式検出器のうちの一つである、請求項１に記載の装置ＡＰＰ。
  6. ３ＤサーマルイメージャＣ１、信号プロセッサＳＧＮＰＲＣ、レーザＬＳＲ、光学スキャナＯＰＴＳＣＮおよびコントローラＣＮＴＲＬを含む画像化装置ＡＰＰを実装するための方法において、
    低速応答熱検出器ＴＨＲＤＴＣを使用して、ターゲットＴＲＧＴから戻された発出済みレーザパルスＬＰから検出済みアナログ信号ＤＳを導出するステップ、
    前記検出済み信号ＤＳを非同期的にサンプリングして、そこから２系列の時間事象、それぞれｔ１ｉおよびｔ２ｉを導出するステップ、
    Figure 2023530194000007
     および
    Figure 2023530194000008
     のうちの１つを使用することによって時間Ｔｂｇを導出するステップであって、ここでτは前記低速応答熱検出器ＤＴＣＴの時定数であり、ｔ１ｉは第１の時間事象であり、ＰＷは前記レーザパルスＬＰのパルス幅であり、ｔ２ｉは第２の時間事象であり、ｔｒは前記レーザパルスＬＰの立ち上がり時間であり、ｔｆは前記レーザパルスＬＰの立ち下がり時間であるステップ、および、
    Figure 2023530194000009
     を用いてターゲットＴＲＧＴまでの距離Ｒを計算するステップであって、ここでＴｂｇが飛行時間ＴＯＦに等しいステップ、を特徴とする方法。
  7. 請求項１にしたがって、前記検出器ＴＨＲＤＴＣが、市販の高品質の高速検出器のコストよりも少なくとも１ケタ廉価である低速応答熱検出器ＴＨＲＤＴＣである、請求項６に記載の方法。
  8. 前記検出器ＴＨＲＤＴＣが、非冷却式検出器である、請求項６に記載の方法。
  9. 前記検出済み信号ＤＳが、上昇部分ｔａおよび減衰部分ｔｄを有し、前記その上昇部分ｔａおよび前記減衰部分ｔｄの両方について非同期的にサンプリングされる、請求項６に記載の方法。
  10. 前記検出済み信号ＤＳが、恒常で等しい振幅間隔ＩＮＴＶＬの逐次的および連続的振幅ステップで非同期的にサンプリングされる、請求項６に記載の方法。
  11. サンプリングされた信号ＳＩＧＳＭＰが、時間ファイルＴＭＦＬ内にセーブされ、その内部で、転移点ＴＲＰＮＴを中心として対称であるパターンでリストされている、請求項６に記載の方法。
  12. 前記検出済み信号ＤＳが、２重の機能性を有する画素サンプリング回路ＰＸＳＭＰ内への入力の前にアナログ電圧信号Ｖｏ（ｔ）へと増幅される、請求項６に記載の方法。
  13. 画素サンプリング回路ＰＸＳＭＰへの入力のために、前記検出済み信号ＤＳがアナログ電圧信号Ｖｏ（ｔ）へ増幅される方法であって、画素サンプリング回路ＰＸＳＭＰが、
    前記電圧信号Ｖｏ（ｔ）が立ち上がり中か減衰中かを決定し標示するための第１の機能と、
    前記信号Ｖｏ（ｔ）が次の振幅レベルＡＭＰＬＶＬｉに達したか否かを決定するための第２の機能と、を有する、請求項６に記載の方法。
  14. 前記画素サンプリング回路ＰＸＳＭＰが、距離測定のために熱画像化および非同期的画素サンプリングを行なうように構成されている二峰性アレイＢＭＤＡＲＲである、請求項１３に記載の方法。
  15. 前記画素サンプリング回路ＰＸＳＭＰが、主電気回路ＭＮＣＲＣＴの一要素であり、非同期的画素サンプリングプロセスを動作させるように構成されており、
    前記主電気回路ＭＮＣＲＣＴが、遅延ラインＤＬに結合された標準的サンプルホールド回路ＳＭＰＨＯＬを含み、後者２つが、導出されたデータの考えられる内部衝突を防止するように構成されている、請求項１４に記載の方法。
JP2023501224A 2020-07-07 2021-07-06 画像化装置および方法 Active JP7389936B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL275896A IL275896B (en) 2020-07-07 2020-07-07 Imaging device and method
IL275896 2020-07-07
PCT/IL2021/050829 WO2022009202A1 (en) 2020-07-07 2021-07-06 Imaging apparatus and method

Publications (2)

Publication Number Publication Date
JP2023530194A true JP2023530194A (ja) 2023-07-13
JP7389936B2 JP7389936B2 (ja) 2023-11-30

Family

ID=79552936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023501224A Active JP7389936B2 (ja) 2020-07-07 2021-07-06 画像化装置および方法

Country Status (9)

Country Link
US (1) US20230273316A1 (ja)
EP (1) EP4118690A4 (ja)
JP (1) JP7389936B2 (ja)
KR (1) KR20220164774A (ja)
CN (1) CN115769103A (ja)
AU (1) AU2021303821B2 (ja)
CA (1) CA3178864C (ja)
IL (2) IL275896B (ja)
WO (1) WO2022009202A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018535402A (ja) * 2016-01-12 2018-11-29 三菱電機株式会社 異なる分解能を有するセンサーの出力を融合するシステム及び方法
WO2020018600A1 (en) * 2018-07-17 2020-01-23 Shimon Maimon Multi-wavelength lidar and thermal imager
JP2020503500A (ja) * 2016-11-17 2020-01-30 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１つの物体を光学的に検出するための検出器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2918449B1 (fr) * 2007-07-02 2010-05-21 Ulis Dispositif de detection de rayonnement infrarouge a detecteurs bolometriques
FI20085665A0 (fi) * 2008-06-27 2008-06-27 Oulun Yliopisto Menetelmä ja laite etäisyyden mittaamiseen
IL212289A (en) * 2011-04-13 2016-08-31 Semi-Conductor Devices - An Elbit Systems - Rafael Partnership Circuit and method for reading image signals
DE102014106463A1 (de) 2014-05-08 2015-11-12 Sick Ag Entfernungsmessender Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten
KR102496245B1 (ko) * 2015-01-30 2023-02-06 트리나미엑스 게엠베하 하나 이상의 물체의 광학적 검출을 위한 검출기

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018535402A (ja) * 2016-01-12 2018-11-29 三菱電機株式会社 異なる分解能を有するセンサーの出力を融合するシステム及び方法
JP2020503500A (ja) * 2016-11-17 2020-01-30 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１つの物体を光学的に検出するための検出器
WO2020018600A1 (en) * 2018-07-17 2020-01-23 Shimon Maimon Multi-wavelength lidar and thermal imager

Also Published As

Publication number Publication date
IL275896A (en) 2022-02-01
EP4118690A4 (en) 2023-08-23
IL299675A (en) 2023-06-01
AU2021303821B2 (en) 2024-07-25
WO2022009202A1 (en) 2022-01-13
CA3178864A1 (en) 2022-01-13
CN115769103A (zh) 2023-03-07
IL275896B (en) 2022-07-01
KR20220164774A (ko) 2022-12-13
JP7389936B2 (ja) 2023-11-30
US20230273316A1 (en) 2023-08-31
EP4118690A1 (en) 2023-01-18
CA3178864C (en) 2023-11-28
AU2021303821A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US20210088633A1 (en) Apparatus for and method of range sensor based on direct time-of-flight and triangulation
JP7388720B2 (ja) ノイズ適応ソリッドステートｌｉｄａｒシステム
EP3789792B1 (en) Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
US7834985B2 (en) Surface profile measurement
KR101942103B1 (ko) 검출기 픽셀 신호 리드아웃 회로
JP2004538491A (ja) 三次元距離画像を記録するための方法及び装置
EP3602110B1 (en) Time of flight distance measurement system and method
CN111103057B (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
De Borniol et al. A 320x256 HgCdTe avalanche photodiode focal plane array for passive and active 2D and 3D imaging
US20120069321A1 (en) Imaging device and circuit for same
US20200355806A1 (en) Electronic apparatus and distance measuring method
JP7389936B2 (ja) 画像化装置および方法
US20230078063A1 (en) Distance measurement device and distance measurement system
EP3358367B1 (en) Event-triggered imaging pixels
CN113597534A (zh) 测距成像系统、测距成像方法和程序
US20220299645A1 (en) Remote visualization apparatus comprising a borescope and methods of use thereof
WO2021002822A1 (en) Movable object detection device and method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230105

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A525

Effective date: 20230105

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20230105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230105

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231117

R150 Certificate of patent or registration of utility model

Ref document number: 7389936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150