KR20220164774A - 화상화 장치 및 방법 - Google Patents

화상화 장치 및 방법 Download PDF

Info

Publication number
KR20220164774A
KR20220164774A KR1020227038737A KR20227038737A KR20220164774A KR 20220164774 A KR20220164774 A KR 20220164774A KR 1020227038737 A KR1020227038737 A KR 1020227038737A KR 20227038737 A KR20227038737 A KR 20227038737A KR 20220164774 A KR20220164774 A KR 20220164774A
Authority
KR
South Korea
Prior art keywords
thermal
time
signal
detector
time event
Prior art date
Application number
KR1020227038737A
Other languages
English (en)
Inventor
아미트 프랭크
Original Assignee
테르비지오 3디 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테르비지오 3디 리미티드 filed Critical 테르비지오 3디 리미티드
Publication of KR20220164774A publication Critical patent/KR20220164774A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Air Bags (AREA)
  • Radiation Pyrometers (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Studio Devices (AREA)

Abstract

3D 열 화상기, 신호 프로세서, 레이저, 광학 스캐너, 컨트롤러 및 신호 프로세서에 대한 입력으로서 2D 열화상을 생성하기 위해 복수의 저속 열 검출기를 작동시키는 바이모달 어레이를 포함하는 화상화 장치. 컨트롤러는 바이모달 어레이, 레이저, 광학 스캐너 및 열화상 카메라를 미리 결정된 순서로 작동시켜 3D 열 화상화를 생성하기 위하여 2D 열화상을 거리 데이터와 인터레이싱하는 신호 프로세서로의 전달을 위해 거리 데이터를 도출한다. 방법은, 타겟으로부터 복귀된 방출 레이저 펄스로부터 검출되는 아날로그 신호를 도출하기 위해 저속 응답 열 검출기를 사용하고, 검출 신호를 비동기식으로 샘플링하여 검출 신호의 상승 및 감쇠 부분에 대응하는 2개의 시간 이벤트 시리즈를 도출한다. 비행 시간 및 거리는 2개의 시간 이벤트 시리즈를 이용함으로써 계산된다.

Description

화상화 장치 및 방법
본 개시 내용은 3D 카메라 및 거리 측정(range finding)을 위한 방법에 관한 것으로, 특히, 열 화상화(thermal imaging)을 수행하고, 거리를 측정하고, 거리를 2D 열화상과 인터레이싱하여, 관찰된 풍경으로부터 2D 화상 및 3D 화상화 데이터를 도출하기 위하여 광학 스펙트럼의 열 범위 내에서 저속 응답 검출기(slow response detectors)를 활용하는 장치에 관한 것이다.
화상화 장치 또는 화상화 디바이스는 업계에 잘 알려져 있으며, 2D에서의 열 화상화를 위해 그리고 3D 화상화 데이터를 획득하기 위해, 예를 들어 거리 측정의 분야에서 다양한 목적을 위해 광범위하게 작동된다. 사용 가능한 정교한 디바이스에 따른 하나의 단점은 고품질을 필요로 하고 이에 따라 고가의 신호 검출기를 필요로 하는 이의 구성이다. 다른 단점은 높은 비용과 낮은 신뢰성으로 인하여 냉각식(cooled) 열 검출기를 사용해야할 필요가 있다는 것이다. 또 다른 단점은 이러한 디바이스가 특정 용도에 전용이라는 점이다. 예를 들어, 거리를 측정하기 위한 하나의 거리 측정기, 온도를 구별하기 위한 하나의 2D 열 화상기(imager) 및 3D 화상화를 획득하기 위한 하나의 3D 화상기가 그 예이다.
따라서, 하나의 장치 내에 복수의 화상화 디바이스를 결합할 수 있는 장치를 제공하는 것이 유리할 것이다. 예를 들어, 거리 측정기의 특징과 2D 열 화상기의 특징을 통합하고 결합하며, 또한 비냉각식(uncooled) 저속 응답 검출기를 사용함으로써 감당할 수 있지만, 최고급 장비와 동일한 결과를 제공하는 3D 화상화 카메라를 제공하는 것이 유리할 것이다.
[관련 기술에 대한 설명]
플럭스 φe(t)의 입사광 복사에 대한 응답으로서의 광 검출기 상의 전하 캐리어의 양에서의 변화에 관하여 아래에서 도출되는 수학식은, 아래에서 Dereniak이라고 하는, E.L. Dereniak 및 G.D. Boreman의 "Infrared Detectors and Systems", Chapter 5, para. 5.6 pp.190-192에 기초한다.
또한, 기상 현상을 선택적으로 감지하는 것을 포함하여 대상을 감지하기 위한 화상 검출기를 언급하는 2020년 1월 23일자 MAIMON Shimon의 W02020/018600와, Margarit, Josep Maria, et al. 등의 "A 2 kfps sub-μ W/Pix uncooled-PbSe digital imager with 10 bit DR adjustment and FPN correction for high-speed and low-cost MWIR applications." IEEE Journal of Solid-State Circuits 50.10 (2015): 2394-2405가 관련된다.
본 명세서에서 설명되는 실시예들의 과제는 거리 측정을 2D 열화상과 결합하는 3D 화상화를 위한 장치 및 장치의 구현 방법을 개시하는 것이다. 장치는 신호 프로세서, 레이저 디바이스, 광학 스캐너 및 컨트롤러를 포함한다.
예시적인 실시예에 따른 장치의 특성은 높은 거리 해상도를 갖는 3D 화상화를 위한 저속 응답 열 검출기의 사용이다. 저속 응답 검출기는 일반적으로 사용 가능하며 유리하게 가격이 책정된다. 장치는 2D 열화상을 거리 데이터와 결합하고 그로부터 3D 열화상을 생성한다.
예시적인 실시예에 따른 장치의 추가 특성은 표준 열화상화 또는 거리 측정을 위한 비동기 픽셀 샘플링을 생성하는 저속 응답 열 검출기(THRDTC)의 바이모달 어레이(bimodal array)(BMDARR)의 사용이다. 바이모달 어레이는 컨트롤러에 의해 명령되며 복수의 저속 응답 열 검출기를 포함한다. 또한, 바이모달 어레이는 각각의 저속 응답 열 검출기의 사용에 의해 2D 열화상 및 정확한 거리 데이터를 생성하도록 설계된다. 어레이 내의 각각의 저속 응답 열 검출기에 의해 수집된 2D 열화상과 거리 데이터는 모두 신호 프로세서로 전달된다.
컨트롤러는 레이저, 광학 스캐너 및 열 화상기의 각각의 저속 응답 열 검출기를 작동시키도록 더 구성된다. 이에 의해, 컨트롤러는 레이저, 광학 스캐너 및 열 화상기의 열 검출기를 작동시켜 그로부터 거리 데이터를 도출할 수 있다. 그 거리 데이터는 복수의 시간 이벤트 커플(t1i, t2i)을 도출하는 데 전용인 픽셀 샘플링 회로의 사용에 의해 수집된다. 이러한 시간 이벤트 커플(t1i, t2i)은 신호 프로세서에 전달되는 샘플링된 검출 신호(DS)로부터 도출된다.
마지막으로, 신호 프로세서는 어레이 내의 저속 응답 열 검출기의 응답 시간에 비해 정확도가 훨씬 더 우수한 정확도로 거리를 계산하도록 구성된다. 신호 프로세서는 2D 열화상을 거리 데이터와 인터레이싱하여 거리 데이터를 2D 열화상과 조합한 3D 열 화상화를 생성할 수 있다.
바이모달 어레이가 복수의 저속 응답 열 검출기를 포함하고, 이러한 열 검출기 각각은 2D 열화상 및 3D 화상에서 하나의 픽셀을 생성한다는 것이 주목된다.
또한, 거리 측정을 2D 열화상과 조합한 3차원 화상화를 위한 장치를 구성하고 구현하기 위한 방법이 제공된다. 장치는 3D 열 화상기, 신호 프로세서, 레이저, 광학 스캐너 및 컨트롤러를 포함한다. 장치는 검출된 아날로그 신호로부터 데이터를 도출하기 위해 저속 응답 열 검출기(THRDTC)를 사용한다. 아날로그 신호는 타겟으로부터 복귀된 방출 레이저 펄스(LP)에 대한 응답일 수 있다. 장치는 검출 신호를 비동기식으로 샘플링하고 그로부터 데이터를 도출하도록 구성된다. 이러한 도출된 데이터는 각각 t1i 및 t2i로 표시된 2개의 시리즈의 시간 이벤트를 포함할 수 있다.
장치는 수학식의 사용에 의해 비행 시간(time of flight)(TOF)과 동일한 시간 길이(Tbg)를 데이터로부터 도출하도록 더 구성된다. 이러한 수학식은 수학식 3 및 수학식 4.1 내지 4.3 중 하나를 포함한다. 그 후, 타겟(TRGT)까지의 거리(R)가 수학식 5의 사용에 의해 계산된다.
[기술적 문제]
하나의 문제는 저속 응답 검출기 디바이스를 사용하는 거리 측정을 위한 장치의 구현에 관한 것으로, 저속 응답은 광학 스펙트럼의 열 영역에서의 작동에 대해 상대적으로 저속 시간 응답을 갖는 냉각식(cooled) 또는 비냉각식(uncooled) 열 검출기의 사용을 의미한다. 저속 시간 응답은 거리 측정의 원하는 시간 종속 해상도에 비해 느리다는 것을 의미하지만, 원하는 거리 측정 해상도에 대하여 정확한 거리 측정기로서 기능한다. 광학 스펙트럼의 열 영역은 2㎛ 내지 14㎛의 광학 파장 범위로서 정의된다.
다른 문제는 전체 풍경 또는 이의 선택된 부분의 3D 열화상을 획득하기 위해, 장치(APP)에서 관찰된 풍경의 3D 화상화를 2D 열화상과 어떻게 통합하는지 이다. 2D는 2차원을 의미하고, 3D는 3차원을 의미한다.
도 1a는 일반적으로 사용되는 거리 측정 디바이스의 작동 원리를 도시한다. 일반적인 거리 측정기는 레이저 생성 디바이스(lasing device)(LSR)에 의해 타겟(TRGT)을 향하여 방출된 레이저 펄스(LP)가 타겟(TRGT)에 부딪히고 그로부터 광 검출기(DTCT)(또는 짧게는 검출기(DTCT))로 복귀하는 데 걸리는 시간인 비행 시간(TOF)을 측정한다. 그 다음, 거리(R)는 도출된 비행 시간(TOF)의 절반에 광속을 곱하여 계산될 수 있다.
명백하게, 거리 측정의 정확도는 비행 시간(TOF)의 측정 정확도에 따라 달라진다.
이를 위해, 이러한 일반적인 정확한 거리 측정기는 거리 측정의 해상도에 종속하는 원하는 시간 해상도(dt)보다 짧은 시정수(τ)와, 시정수(τ)와 동일한 차수의 시간 크기를 갖는 도 1b에 도시된 좁은 펄스 폭(PW)을 갖는 레이저 펄스(LP)를 모두 필요로 한다.
도 1b는 타겟(TRGT)을 향해 방출되고 그로부터 복귀되는 짧은 레이저 펄스(LP)의 시간 시퀀스와, 종래 기술에 따른 거리 측정 디바이스로 작동하는 고속 응답 광 검출기(DTCT)에 의해 레이저 펄스(LP)로부터 도출된 검출 아날로그 신호(DS)를 도시한다. 비행 시간(TOF)도 도 1b에 도시된다.
거리 측정기로부터 멀리 타겟(TRGT)을 분리하는 거리를 도출하는 데 일반적으로 사용되는 수학식은 다음과 같다:
R = c*TOF/2 (수학식 1)
여기서, R은 거리이고, c는 광속이고, 레이저 펄스의 방출 시간으로부터 검출기 신호(DS)의 생성 시작까지 측정된 시간이 양방향으로 타겟(TRGT)으로 이동하고 그리고 검출기(DTCT)로 다시 이동하는 데 빛이 걸린 시간과 동일하기 때문에, TOF/2는 비행 시간(TOF)을 2로 나눈 것이다.
예를 들어, 5 m의 거리 정확도 측정값을 획득하기 위하여, 필요한 시간 해상도(dt)는 빛이 5m 왔다 갔다 이동하는 시간이며, 이는 약 33 ns이다. 따라서, 1 ns 미만의 시정수(τ)를 갖는 저속 응답 검출기(DTCT)가 이러한 정확도로 거리(R)를 측정하는데 필요하다. 많은 저속 응답 검출기(DTCT), 특히 저속 응답 열 검출기(THRDTC)는 몇 ㎲ 내지 몇 ms 범위의 시정수(τ)를 갖기 때문에, 동일한 거리 측정 정확도가 저속 응답 검출기(DTCT)로 성취될 수 있다면, 유리할 것이다.
또 다른 문제는 장치(APP)를 LIDAR(Light Imaging Detection And Ranging device)로서 사용하고 LIDAR에 의해 측정된 거리와의 인터레이싱을 위해 관찰된 풍경으로부터 2D 열화상을 도출하는 능력에 관한 것이다. 다시 말해, 측정된 거리를 2D 화상 픽셀과 조합하여 타겟이 된 대상(object)의 3D 열 표현 또는 3D 열화상을 형성하는 장치(APP)의 능력이다. 3D 열 표현은 대상의 길이, 폭 및 깊이뿐만 아니라 이의 상대 온도를 포함하는 대상의 표면 및/또는 치수의 수학적 표현이다.
일반적인 LIDAR 시스템은 3D 표현을 생성하기 위하여 단일 검출기 또는 검출기 어레이로서의 고속 응답 검출기(DTCT)와 단펄스(short-pulse) 레이저(LSR)를 사용한다. 광학 스펙트럼의 근적외선 영역에서 작동하는 LIDAR는 상업적으로 이용 가능하지만, 동일한 풍경의 3D 화상화와 조합하여 관찰된 풍경의 2D 열화상을 획득할 수 없다.
픽셀 사이의 상대 온도를 나타내는 2D 열화상에 포함된 데이터와, 각각의 픽셀까지의 상이한 거리를 나타내는 3D 화상에 포함된 데이터는 서로를 보완한다. 고급 화상 처리, 알고리즘 및 인공 지능을 위해, 양자가 하나의 3D 열 표현 또는 열화상으로서 인터레이싱되어 표현된다면 유리할 것이다. 저속 응답 듀얼 모드 열 검출기 어레이(또는 짧게는 바이모달 어레이(BMDARR))에 기초하는 이러한 3D 열 표현을 획득하기 위한 장치(APP)는 비용 효율성 및 설계의 단순성을 위해 더 유리할 수 있다.
첫 번째 문제를 해결하기 위해, 저속 응답 열 검출기(THRDTC)의 사용에 의해 거리(R)를 측정하는 방법이 이제 설명된다.
도 1은 시간 t = 0에서 방출된 레이저 펄스(LP)의 진폭 대 시간의 그래프를 개략적으로 도시한다. 레이저 펄스(LP)의 진폭은 상승 시간(tr)을 통해 안정기(plateau)까지 상승한 다음, 하강 시간(tf)을 통해 하강하고, 저속 응답 검출기(THRDTC)의 시정수(τ)보다 시간적으로 더 오래 지속되는 펄스 폭(PW)을 갖는다. 시정수(τ)는 도면 도시되지 않는다.
도 1은 타겟(TRGT)을 향하여 방출되고 그로부터 복귀되는 레이저
Figure pct00001
펄스(LP)로부터 저속 시간 응답 검출기(THRDTC)에 의해 도출된 검출 신호(DS)를 더 도시한다. 검출 신호(DS)가 비행 시간(TOF)의 마지막에서 시작하기 때문에, 검출 신호(DS)의 시작 시간은 이에 따라 시간 Tbg이다. 정의에 따르면, 시간 Tbg는 비행 시간(TOF), 즉 레이저 디바이스(LSR)에 의해 타겟(TRGT)을 향해 방출된 레이저 펄스(LP)가 타겟(TRGT)에 부딪히고 그로부터 복귀하는 데 걸리는 시간과 같다. 따라서 다음과 같다:
TOF = Tbg (수학식 2)
도 1에 도시된 바와 같이, 검출 신호(DS)는 비행 시간(TOF)의 마지막으로부터 검출 신호(DS)의 최대 세기에 도달하는 시간 Tpeak까지 기하급수적으로 상승하고, 이후 검출 신호(DS)는 기하급수적으로 감소한다. 이제 검출 신호(DS)의 샘플링, 특히 비동기 샘플링 방법이 참조된다.
도 2는 검출 신호(DS)의 비동기 샘플링을 도시하고, 도 3은 이러한 샘플링 프로세스의 특정 결과를 도시한다.
정의에 따르면, 비동기 샘플링 방법은 검출 신호(DS)의 상승 부분(ta) 및 감쇠 부분(td) 모두를 샘플링하고, 샘플링은 일정하고 동일한 진폭 레벨(AMPLVLi)의 순차적이고 연속적인 진폭 단계로 진행한다.
도 2에서, 진폭 레벨(AMPLVLi) 사이를 분리하는 진폭 간격은 일정하지만, 비동기 샘플링의 연속적인 시간 이벤트 사이를 분리하는 시간 간격에 대해서는 그렇지 않다. 각각의 진폭 레벨(AMPLVi)에 대해, 비동기 샘플링 방법은 2개의 시간 이벤트에 대응하는 2개의 샘플링된 신호를 도출한다. 제1 시간 이벤트(t1i)는 검출 신호(DS)의 상승 부분(ta)은 대한 것이고, 제2 시간 이벤트(t2i)는 검출 신호(DS)의 감쇠 부분(td) 대한 것이다. 따라서 하나의 동일한 진폭 레벨(AMPLVLi)에 대한 인덱스 i, 상승 부분 동안 시간 이벤트의 발생에 대한 인덱스 j = 1 및 샘플링된 검출 신호(DS)의 감쇠 부분에 대한 인덱스 j = 2에 따라, 진폭 레벨은 AMPLVLi로 표시될 수 있고, 비동기 시간 샘플링은 tji로 표시될 수 있다. 인덱스 i는 1 내지 n의 정수이고, 인덱스 j는 1 또는 2이다. 도 2에서, 예를 들어, i = 3인 진폭 레벨 또는 AMPLVL3의 경우, 시간 이벤트 tji의 대응하는 값은 tl3 및 t23이다.
도 3은 진폭 레벨(AMPLVLi) 사이를 분리하는 진폭 간격이 일정한 반면, 2개의 시간 이벤트(tji) 사이를 분리하는 거리는 검출 신호(DS)의 형태에 의존한다는 것을 명확하게 도시한다. 또한, 도 3은 샘플링된 신호(SIGSMP)가 3개의 상이한 진폭 레벨(AMPLVL)을 갖는 특정 경우를 예시한다. 더욱 일반적인 경우에, 타겟의 거리(R), 방사율과 같은 타겟의 방사 특성(radiometric property) 및 진폭 레벨(AMPLVLi) 사이를 분리하는 진폭 간격(INTVL)에 따라 복수의 진폭 레벨(AMPLVLi)이 생성될 수 있다.
2개의 시간 이벤트 시리즈, 즉 t1i 및 t2i는, 다음의 수학식들의 사용에 의해, 도 1, 2 및 3에 도시된 검출 신호(DS)의 시작 시간(Tbg)을 계산하는 데 사용될 수 있다.
상승 시간(tr) 및 하강 시간(tf)이 약 0이거나 0에 가까워 이에 따라 tr
Figure pct00002
tf
Figure pct00003
0일 때, 검출 신호(DS)의 시작 시간(Tbg)은 다음의 수학식 3을 사용하여 계산될 수 있다:
Figure pct00004
(수학식 3)
다른 경우에, 검출 신호 시작 시간(Tbg)은 다음의 3개의 수학식, 즉 수학식 4.1 내지 수학식 4.3의 사용에 의해 계산될 수 있다:
Figure pct00005
(수학식 4.1)
Figure pct00006
(수학식 4.2)
Figure pct00007
(수학식 4.3)
시간 Tbg는 특정 진폭 레벨(AMPLVLi)에 대응하는 한 쌍의 시간(t1i, t2i)의 선택에 의해 또는 대안적으로 여러 진폭 레벨(AMPLVLi)에 속하는 여러 시간 이벤트(t1i, t2i)의 사용에 의해 여러 Tbg 시간 값을 평균화함으로써 계산될 수 있다.
이제, 타겟(TRGT)까지의 거리(R)는 수학식 2 및 수학식 5의 사용에 의해 계산될 수 있다:
R = c*Tbg/2 (수학식 5)
거리(R)의 계산에서의 유일한 변형은 일련의 시간 이벤트(t1i, t2i)이라는 것이 주목된다.
따라서, 저속 응답 검출기(THRDTC), 즉 상대적으로 느린 시간 응답을 갖는 냉각식 또는 비냉각식 열 검출기가 거리(R) 측정에 사용될 수 있다고 결론지을 수 있다. 거리 측정값(R)의 정확도는 시간 이벤트 시리즈(t1i, t2i)의 시간 측정 정확도에만 의존한다.
본 명세서에 설명된 장치(APP)는 거리 측정과 2D 열화상을 조합한 3D 열 화상화를 도출하기 위한 저속 응답 검출기의 사용이라는 기술적 이점을 가진다. 그 설명은 많은 사용 분야에서 많은 실질적인 이점을 개시하거나 암시하기에는 부족하다.
실제로, 장치(APP)의 이점은 거리 측정 및 풍경의 선택된 2D 열화상과 조합한 3D로의 풍경의 표현을 포함한다.
장치(APP)의 성능은 거리 및 기하학적 치수 측정의 캘리브레이션과, 상대 또는 절대 온도 측정에 대한 캘리브레이션에 의해 특정 사용을 위해 향상될 수 있다.
공중 보건 목적을 위해, 장치(APP)는 개인이 개인적으로 타겟화되고, 거리에 의해 위치가 찾아지고, 생체 인식 특징의 측정에 의해 식별되는 선험적으로 선택된 레벨 이상의 체온을 갖는 제1 그룹의 사람들 중에서 해당 개인을 집합적으로 인식한다. 또한, 장치(APP)는 상호 분리 거리 중 구체적으로 선택된 범위 미만으로 제1의 인식된 그룹 중의 개인과 더 가까운 개인을 인식하고, 제2 그룹의 개인을 제1의 식별된 그룹에 의해 감염될 위험이 있는 것으로 식별한다. 이에 의해, 장치(APP)는 아프거나 오염된 사람의 순차적 테스트 및 식별을 대체한다. 예를 들어, 전염병의 경우, 장치(APP)는 군중에서 최소한의 상호 분리 거리를 무시하는 것으로 인해 전염병에 감염될 위험이 있는 특정 개인을 자동으로 지정하고 식별할 수 있도록 한다. 이에 의해, 위험에 처한 개인의 격리는 전염병이 사람들로 확산되는 것을 방지할 수 있다.
인명 구조는 본 명세서에서 설명된 3가지 기술 성취와 설계의 단순성 및 저비용 생산이라는 경제적 이점의 조합으로 실현될 수 있다. 예를 들어, 가시성이 좋지 않은 상황에서 사람과 동물을 감지 및 회피하고 사고 예방을 위해 복잡한 상황 위험을 처리할 때와 같이 첨단 운전자 지원 시스템(advanced driver assistance system(ADAS))에 이러한 기술 기능 조합을 적용하는 것은 기존 시스템에 비하여 상대적으로 이용 가능하고 비용 효율적이다.
또한, 운전자의 생체 정보를 감지하고 주차된 차량에서 유아를 잊어버리지 않도록 경고를 제공하기 위한 장치(APP)를 차량 실내에 설치함으로써 인명 구조가 실현될 수 있다.
화재의 경우, 장치(APP)는 화염의 벽 너머 시야에 숨겨져 있어도 사람을 검출하고 그들의 수와 거리를 인식할 수 있다.
예를 들어 제조업에서, 장치(APP)의 시야 내에 배치된 제품 그룹의 경우, 미리 결정된 임계 치수 허용 오차 및/또는 온도 범위를 초과하는 제품이 별도의 개별 검사 절차 대신에 동시에 검출 및 식별된다.
예를 들어 로봇 공학에서, 장치(APP)는 개선된 인공 눈으로 사용될 수 있어, 이에 의해 열 매핑(thermal mapping)을 포함하는 정확한 3D 화상이 로봇에 추가 데이터를 제공하여 이에 따라 주변 영역의 화상의 정확도를 높일 수 있다.
또한, 장치(APP)는 제어 센터의 상황 인식을 개선하고, 비용 효율적인 방식으로 증가된 공중 안전을 위한 기존의 광학 카메라가 3D 열 및 라이다(Lidar) 화상화를 추가하기 위하여, "스마트 시트(smart city)"로도 알려진 거주민의 경험 및 웰빙을 개선하기 위한 진보된 기술을 통합한 도시에서 사용될 수 있다.
도면에서, 유사한 참조 문자는 일반적으로 상이한 도면 전체에 걸쳐 동일한 부분을 지칭한다. 또한, 도면은 개략적이고 배율에 맞지 않으며, 대신 일반적으로 본 발명의 원리를 설명하는 데 중점을 둔다. 본 발명의 다양한 비제한적인 실시예는 다음과 같은 도면과 함께 예시적인 실시예에 대한 이어지는 설명을 참조하여 설명된다:
도 1a는 일반적으로 사용되는 거리 측정 방법의 작동 원리를 도시하고,
도 1b는 종래 기술에 따른 거리 측정 방법과 함께 사용되는, 타겟으로 방출되고 타겟으로부터 복귀된 짧은 레이저 펄스의 시간 시퀀스와 고속 응답 광 검출기에 의해 그로부터 검출된 아날로그 신호를 도시하고,
도 1은 레이저 펄스(LP) 및 저속 응답 열 검출기(THRDTC)에 의해 캡처된 그로부터 도출된 신호(DS)의 그래프를 도시하고,
도 2는 수신된 긴 레이저 펄스에 응답하여 저속 응답 검출기에 의해 생성된 아날로그 신호의 일정한 진폭 간격(INTVL)으로 진행되는 비동기 샘플링을 도시하고,
도 3은 3개의 진폭 레벨(AMPLVLi)을 갖는 신호(SIGSMP)의 예시적인 구조를 도시하고,
도 4는 저속 응답 열 검출기(THRDTC)의 사용 및 비동기 샘플링에 의해 거리를 측정하는 장치(APP)의 전기 요소를 나타내는 주요 전기 회로(MNCRCT)의 블록도이고,
도 5는 비동기식 샘플링 프로세스와 함께 사용하기 위한 전이점(TRPNT)에 대해 대칭인 데이터 저장 패턴을 도시하고,
도 6은 픽셀 샘플링 회로(PXSMP)를 도시하고,
도 7은 포토 어레이(PHTARR)로 지칭되는 표준 설계의 열 화상화 검출기 어레이를 도시하고,
도 8은 선택된 라인 i를 강조하는 열 화상화 및 거리 측정을 위한 바이모달 어레이(BMDARR)를 도시하고,
도 9는 장치(APP)의 예시적인 실시예의 블록도를 도시하고,
도 10은 바이모달 어레이(BMDARR)에 의해 생성된 2D 화상의 일부와 이에 투영된 레이저 빔(LSRBM)의 스캐닝 패턴을 도시하고,
도 11은 3D 화상과 인터레이싱된 2D 열화상의 생성을 위한 장치(APP)의 컨트롤러(CNTRL)의 연속적인 동작 스테이지를 도시한다.
저속 응답 열 검출기(THRDTC)를 사용하는 위에서 설명된 거리 측정 방법은 장치(APP)에서 구현될 수 있다.
도 4는 저비용 검출기 및 비동기 샘플링의 사용에 의한 거리(R) 측정을 위한 장치(APP)의 전기 요소를 도시하는 주요 전기 회로(MNCRCT)의 개략적인 블록도이며, 이의 동작을 도시한다. 저비용 검출기는 상업적으로 이용 가능한 고품질 및 고속 검출기의 비용보다 적어도 한 차수 또는 심지어 두 차수 적은 비용이 들 수 있다.
시간 t = 0에서, 장치(APP)의 2개의 요소, 즉 레이저 드라이버(LSRDR) 및 클록(CLK)(또는 시간을 카운트하기 시작하는 시간 카운터(CLK))를 동시에 초기화하는 시작 신호(STRT)가 제공된다. 또한, 시작 신호(STRT)는 그에 결합된 중간 메모리(INTMM)를 리셋한다. 시작 신호(STRT)에 의해 초기화되면, 레이저 드라이버(LSRDR)는 그에 결합된 레이저 생성 디바이스(LSR)(또는 레이저(LSR))에 제1 레이저 펄스(LP)를 방출하도록 명령한다. 그 뒤에 이 제1 레이저 펄스(LP)는 타겟(TRGT)으로 전송되고, 그로부터 장치(APP)로 복귀된다. 타겟(TRGT)으로부터의 복귀 시, 레이저 펄스(LP)는 저속 응답 열 검출기(THRDTC)일 수 있는 검출기(THRDTC)에 의해 수신된다.
다음으로, 열 검출기(THRDTC)는 레이저 펄스(LP)로부터 수집된 광을 검출 신호(DS)로 지칭되는 전기 신호로 변환한다. 열 검출기(THRDTC)는, 도 1b와 관련하여 위에서 도시된 바와 같이, 시간 t = Tbg에서 시작하는 레이저 펄스(LP)의 방출 시간으로부터 시간 t = TOF + PW에서의 제1 레이저 펄스(LP)의 마지막의 복귀 시까지, 제1 레이저 펄스(LP)를 수신한다. 도 1b에 도시된 바와 같이, TOF는 비행 시간(time of flight)이고, PW는 펄스 폭(pulse width)이고, tr은 상승 시간이고, tf는 레이저 펄스(LP)의 하강 시간이다. 저속 응답 열 검출기(THRDTC)는 단일 검출기(THRDTC)이거나, 아래에서 설명되는 저속 바이모달 어레이(BMDARR)의 하나의 픽셀(PXL)일 수 있다. 제1 레이저 펄스(LP)에 응답하여, 저속 응답 열 검출기(THRDTC)는 검출 신호(DS)를 전치 증폭기(PA)로 출력한다. 전치 증폭기(PA)는 종래 기술에 따른 전치 증폭기 회로이다.
전치 증폭기(PA)는 검출 신호(DS)를 결과적으로 픽셀 샘플링 회로(PXSMP)에 대한 입력 역할을 하는 아날로그 전압 신호 Vo(t)로 증폭하는 데 사용된다. 픽셀 샘플링 회로(PXSMP)의 기능은 이중적(twofold)이다. 픽셀 샘플링 회로(PXSMP)의 제1 기능은 전압 신호(Vo(t))가 상승하고 있는지 또는 하강하고 있는지 여부를 결정하고 표시하는 것이다. R/F로 표시된 플래그 신호는, 전압 신호 Vo(t)가 상승하고 있으면 LOGIC1로 설정되고, 전압 신호 Vo(t)가 하강하고 있으면 LOGIC0로 설정된다. 픽셀 샘플링 회로(PXSMP)의 제2 기능은 신호 Vo(t)가 다음 진폭 레벨(AMPLVLi)에 도달했는지 여부를 결정하는 것이다. 도달했다면, 픽셀 샘플링 회로(PXSMP)는 클록 샘플링 신호(CLKSMP)를 중간 메모리(INTMM)로 전송하고, 이는 중간 메모리(INTMM)가 플래그 신호(R/F) 및 클록(CLK)의 현재 판독값을 저장하게 한다. 클록(CLK)은 필요한 거리 측정 해상도로부터 도출된 해상도를 갖는 표준 시간 계수 컴포넌트이다.
예를 들어, 필요한 범위 해상도가 5 m인 경우, 도 1a를 참조하여 위에서 설명한 바와 같이, 클록(CLK)의 시간 계수 해상도는 33 ns로 선택되어야 한다. 중간 메모리(INTMM)에 결합된 이 픽셀 샘플링 회로(PXSMP)는, 도 2 및 3과 관련하여 위에서 설명된 2개의 시간 이벤트 시리즈(t1i, t2i)를 생성하는 프로세스를 실행한다. 이 프로세스는 중간 메모리(INTMM)에서의 저장을 위해 2개의 시간 이벤트 시리즈(t1i, t2i)를 생성하고, 각각의 샘플링된 클록 시간(CLK)에 대해 플래그 신호(R/F)는 시간 이벤트가 샘플링된 신호(SIGSMP)의 상승 부분에 대한 시리즈 t1i에 속하는지 이의 하강 부분에 대한 시리즈 t2i에 속하는지 여부를 나타낸다. 중간 메모리(INTMM)는 표준 필드 프로그래머블 게이트 어레이(FPGA)(또는 짧게는 게이트 컴포넌트(FPGA))에 추가로 결합되는 게이트(G1)에 결합된다.
도 8에 도시된 신호 프로세서(SGNPRC)에 의해 전송된 신호는 게이트(G1)를 개방시키고, 이에 의해 2개의 시간 이벤트 시리즈(t1i, t2i)가 데이터 파일(TMFL)로서 게이트 컴포넌트(FPGA)에 전달된다. 게이트 컴포넌트(FPGA)는 먼저 플래그 신호(R/F)가 LOGIC1로부터 LOGICO로 변경되는 파일 내의 위치를 찾는 것으로 데이터 파일(TMFL)에서 전이점(TRPNT)의 위치를 찾는다.
따라서, 도 5는 LOGIC1이 LOGICO로 전환되는 위치 또는 LOGICO가 LOGIC1로 변경되는 위치에 대해 데이터 파일(TMFL)을 검색함으로써 전이점(TRPNT)이 발견되는 것을 도시한다.
도 5에 도시된 바와 같이, 데이터 파일(TMFL)은 시간 이벤트 시리즈(t1i, t2i)의 전이점(TRPNT)에 대해 대칭인 저장 패턴을 갖는다. 따라서, 그 양측에서 전이점(TRPNT)에 가장 가까운 2개의 시간 이벤트(t1i, t2i)는 최대 진폭 레벨(AMPLVL1)에 속한다. 전이점(TRPNT)에 대해 대칭으로 배치된 다음의 2개의 제2 시간 이벤트는 다음 진폭 레벨(AMPLVL2)에 속하고, 기타 등등이다. 그 다음, 이러한 시간 이벤트 쌍(t1i, t2i)은 도 1 및 3에 관하여 위에서 설명된 바와 같이, 검출 신호(DS)의 시간 Tbg 및 타겟(TRGT)까지의 거리를 계산하기 위하여, 수학식 3, 수학식 4.1 내지 4.3 및 수학식 5와 함께 게이트 컴포넌트(FPGA)에 의해 사용된다. 게이트 컴포넌트(FPGA)에서의 이러한 수학식, 즉 수학식 3, 4.1 내지 4.3 및 5의 구현은 일반적인 엔지니어링 관례이다. 레이저 펄스(LP)의 폭(PW), 상승 시간(tr)과 하강 시간(tf), 검출기의 시정수(τ) 및 광속(c)을 포함하는 거리(R)의 계산에 필요한 다른 파라미터는 공장에서의 조립 동안 게이트 컴포넌트의 메모리에 사전에 저장될 수 있는 시스템 상수 또는 물리적 상수이다.
픽셀 샘플링 회로 구현
픽셀 샘플링 회로(PXSMP)의 예시적이고 개략적인 실시예가 도 6에 도시된다.
도 6의 제1 스테이지에서, 제1 비교기(COMP1)는 도 4에 도시된 바와 같은 전치 증폭기(PA)로부터 수신된 아날로그 증폭 전압 신호(Vo(t))와 직전 진폭 레벨(AMPLVLi) 사이의 순시 차이를 계산한다. 샘플링 프로세스의 제1 샘플에 대해, 제1 샘플링 진폭(AMPLVLi)은 0으로 설정된다.
그 후, 제2 스테이지에서, 제1 비교기(COMP1)에 결합된 한 쌍의 비교기, 즉 제2 비교기(COMP2)와 제3 비교기(COMP3)는 제1 비교기(COMP1)의 출력을 수신하고, 제1 비교기(COMP1)의 출력의 순시 차이를 각각 +INTVL 및 -INTVL인 양의 정전압 및 음의 정전압과 비교한다. 신호 Vo(t)와 진폭 레벨(AMPLVLi) 사이의의 순시 차이가 +INTVL과 같을 때, 비교기(COMP2)의 출력은 LOGIC1로 정의된 전압 레벨까지 상승하고, 따라서 이전 진폭 레벨(AMPLVLi)에 비교하여 진폭 레벨만큼의 전압 Vo(t)의 상승을 나타낸다. 신호 Vo(t)와 진폭 레벨(AMPLVLi) 사이의의 순시 차이가 -INTVL과 같을 때, 비교기(COMP3)의 출력은 LOGIC1로 정의된 전압 레벨까지 상승하고, 따라서 이전 진폭 레벨(AMPLVLi)에 비교하여 진폭 레벨만큼의 전압 Vo(t)의 감소를 나타낸다. 따라서, 제2 비교기(COMP2)의 출력은, 도 4를 참조하여 위에서 설명된 바와 같이, 픽셀 샘플링 회로(PXSMP)의 출력 플래그 신호(R/F) 역할을 할 수 있다.
다음으로, 제3 스테이지에서, 논리 XOR 게이트(LXOR)는 한 쌍의 비교기, 즉 제2 스테이지의 제2 비교기(COMP2) 및 제3 비교기(COMP3)의 출력을 수신한다. 제2 비교기(COPM2) 또는 제3 비교기(COPM3) 중 하나의 출력이 LOGIC1로 설정되지만 둘 모두의 출력이 LOGIC1로 설정되지 않는 경우, 논리 XOR 게이트(LXOR)는 논리 출력 클록 샘플링 신호(CLKSMP)를 생성할 것이다. 제2 논리 출력 클록 샘플링 신호(CLKSMP)는, 도 4를 참조하여 위에서 설명한 바와 같이, 플래그 신호(R/F) 및 클록(CLK)의 현재 판독값을 중간 메모리(INTMM)에 저장할 것이다. 또한, 클록 샘플링 신호(CLKSMP)가 LOGIC1일 때, 논리 XOR 게이트(LXOR)의 출력에 결합된 표준 샘플 및 홀드 회로(SMPHOL)는 신호 Vo(t)의 현재 값을 샘플링할 것이다. 신호 Vo(t)의 이러한 마지막 현재 값은 픽셀 샘플링 회로(PXSMP)의 다음 반복을 위한 기준으로서 새로운 직전 진폭 레벨(AMPLVLi)로 받아들여질 것이다. 표준 지연 라인(DL)은, 이 프로세스의 비동기 특성으로 인한 가능성 있는 내부 충돌의 발생을 피하기 위해, 이 새로운 진폭 레벨(AMPLVLi)의 입력을 제1 스테이지 비교기(COMP1)로 지연시키는 데 사용된다.
화상화 검출기 구현
도 7은 저속 응답 열 화상화 광 검출기 어레이(PHTARR)(또는 짧게는 광 어레이(PHTARR))의 표준 설계의 예시적이고 개략적인 실시예를 도시한다. 도 7은 열화상화 광 어레이(PHTARR)의 2개의 임의의 픽셀 라인(PXLij)의 일부, 즉 라인 LNOAi 및 LNOAi+1를 도시한다. 이 두 라인에서의 각각의 픽셀(PXLij)은 광 스펙트럼의 열 파장에서의 입사광에 민감한 물질로 구성된 광 검출기를 포함한다. 광 어레이(PHTARR)의 기판에 구현된 판독 전자 회로(ROIC)는, 각각의 라인에 대해 개별적으로 그리고 전체 광 어레이(PHTARR)에 대해 개별적으로, 픽셀(PXL)을 라인으로 그리고 라인을 프레임으로 연결하는 게이트를 포함한다. 전자 장치 전체는 줄여서 집적 회로(ROIC)라고 한다. 이 집적 회로(ROIC)의 주요 목적은 열 광 어레이(PHTARR)의 신호를 증폭된 전압 신호로 변환하고, 이러한 증폭된 전압 신호를 표준 국제 비디오 포맷으로 동기식으로 전송하는 것이다.
열 광 어레이(PHTARR)는 열 파장에 민감한 재료로 구성된다. 느리게 반응하고 비냉각식 화상화에도 적합한 이러한 재료의 몇 가지 예는 PbSe, VOx 및 비정질 실리콘을 포함한다.
도 8은 도 6과 관련하여 위에서 설명된 픽셀 샘플링 회로(PXSMP)가 표준 저속 응답 바이모달 어레이(BMDARR)에 어떻게 통합될 수 있는지를 보여주는 예시적이고 개략적인 실시예를 도시한다. 이 바이모달 어레이(BMDARR)는 도 4와 관련하여 설명된 바와 같이 거리 측정 목적을 위해 표준 열 화상화 또는 비동기식 픽셀 샘플링을 수행할 수 있다.
도 8에서, 라인(LNOAi)은 바이모달 어레이(BMDARR)의 하나의 임의로 선택된 라인 i, 따라서 바이모달 어레이(BMDARR)의 복수의 라인 LNOA 중 하나의 라인 LNOAi의 예시적인 실시예를 도시한다.
도 8에서, 바이모달 어레이(BMDARR)의 각각의 픽셀(PXLij)은 표준 화상화 목적을 위해 또는 거리 측정을 위해 사용될 수 있는 열 검출기(THRDTC) 및 전치 증폭기(PA)를 포함한다. 바이모달 어레이(BMDARR)의 픽셀(PXLij)이 설정되는 선택된 동작인 화상화 또는 거리 측정 중 하나인 선택된 모드는 모드 스위치(PXMOD)에 의해 명령되고, 도 9 및 11과 관련하여 아래에서 설명되는 바와 같이 외부 소스로부터 수신된다. 모드 스위치(PXMOD)의 동적 모드가 LOGICO로서 선택될 때, 전치 증폭기(PA)의 출력 신호는 표준 화상화를 위해 바이모달 어레이(BMDARR)의 출력에 직접 연결될 것이다. 그러나, 모드 스위치(PXMOD)의 선택된 동작 모드가 LOGIC1로서 선택될 때, 전치 증폭기(PA)의 출력 신호는 도 6과 관련하여 설명된 거리 측정을 위해 픽셀 샘플링 회로(PXSMP)에 연결될 것이다. 픽셀 샘플링 회로(PXSMP)의 단순성은 이의 구현이 각각의 픽셀(PXLij)에 포함될 수 있게 한다.
다음으로, 라인 LNOAi의 픽셀(PXL)은 표준적으로 사용되는 화상화 모드에서와 동일한 방식으로, 게이트를 통해, 집적 회로(ROIC)의 출력에 연결된다. 중간 메모리(INTMM), 클록(CLK) 및 게이트 컴포넌트(FPGA)를 포함하는 도 4에 표시된 다른 컴포넌트는 바이모달 어레이(BMDARR)와 다르고 그로부터 분리된 신호 프로세서(SGNPRC)에 조립된다.
대안적으로, 이 컴포넌트들 중 일부는 바이모달 어레이(BMDARR)의 일부로서 구현될 수 있다.
3D 열 화상화 구현
도 9에 도시된 바와 같이, 장치(APP)는 바이모달 어레이(BMDARR) 및 신호 프로세서(SGNPRC)를 활용하는 열 화상기(C1)(또는 카메라(C1))를 포함한다. 신호 프로세서(SGNPRC)는, 도 8에 도시된 바와 같이, 클록(CLK), 중간 메모리(INTMM) 및 필드 프로그래머블 게이트 컴포넌트(FPGA)를 포함한다. 장치(APP)는 레이저 드라이버(LSRDR)에 의해 제어되는 레이저(LSR)를 더 포함한다. 레이저(LSR)는 바이모달 어레이(BMDARR)가 민감한 파장의 레이저 빔(LSRBM)을 방출하며, 카메라(C1)의 시야(FOV)보다 훨씬 좁은 빔 발산을 갖는다.
장치(APP)의 추가 컴포넌트는 광학 스캐너(OPTSCN)와, 장치(APP) 및 이의 다른 컴포넌트를 작동시키는 컨트롤러(CNTRL)를 포함한다.
광학 스캐너(OPTSCN)는 레이저 빔(LSRBM)을 카메라(C1)가 보는 풍경의 선택된 영역으로 지향시킨다. 일반적인 엔지니어링 관례에 따라 광학 스캐너(OPTSCN)가 카메라(C1)와 정렬된다고 가정한다. 카메라(C1) 및 광학 스캐너(OPTSCN)에 결합된 컨트롤러(CNTRL)는 카메라(C1)가 보는 풍경의 특정하게 선택된 영역으로 레이저 빔(LSRBM)을 지향시킬 수 있다고 더 가정한다. 이것은 사전 정의된 특정 스캔 각도로 이동하도록 광학 스캐너(OPTSCN)에 명령함으로써 성취될 수 있다. 즉, 카메라(C1)의 시야(FOV) 내에서 선택된 영역은 광학 스캐너(OPTSCN)의 특정 스캔 각도에 의해 고유하게 매핑될 수 있다.
도 10은 2D 화상과 인터레이싱된 3D 화상화를 생성하도록 구현될 수 있는 장치(APP)의 컨트롤러(CNTRL)의 예시적인 동작 시퀀스를 도시한다. 설명의 명료함을 위해, 바이모달 어레이(BMDARR)는 100 x 100 픽셀(PXLij), 즉 각각 100 픽셀(PXL)의 100 라인(LNOA)을 갖는 것이 인정된다. 또한, 장치(APP)가 10초의 시간 시퀀스와 동일한 0.1 HZ의 속도로 화상을 생성한다는 것도 인정된다.
동작의 제1 스테이지(STG1)에서, 컨트롤러(CNTRL)는 풍경의 선택된 부분의 2D 열화상을 생성하기 위해 바이모달 어레이(BMDARR)를 작동시킨다. 이를 위해, 바이모달 어레이(BMDARR)는 모드 스위치(PXMOD)의 작동을 바이모달 어레이(BMDARR)의 픽셀로 전송되는 LOGICO로 명령함으로써 컨트롤러(CNTRL)에 의해 화상화 모드로 설정된다. 그 후, 2D 화상은 일반적인 표준 방법의 사용에 의해 캡처되고, 도 8에 도시된 바와 같이, 저속 응답 바이모달 어레이(BMDARR)에 의해 신호 프로세서(SGNPRC)에 포함된 게이트 컴포넌트(FPGA)로 전송된다. 도 10에서 "캡처(capture)"와 "전송(transmit)"으로 표시되는 2D 영상을 캡쳐하여 전송하는데 필요한 시간 범위는 3.4 ms이다. 이 시간 범위는 풍경에 대한 바이모달 어레이(BMDARR)의 3 ms의 노출 시간과, 이를 뒤따르는 픽셀 값의 400 ㎲의 판독 시간 및 게이트 컴포넌트(FPGA)로의 이 값들의 전송 시간에 기초한다.
이전의 제1 스테이지(STG1)에 이어지는 제2 동작 스테이지(STG)에서, 컨트롤러(CNTRL)는 3D 화상을 생성하기 위하여 장치(APP)의 다음과 같은 컴포넌트를 작동시킬 것이다: 바이모달 어레이(BMDARR), 레이저 드라이버(LSRDR)를 통한 레이저(LSR), 광학 스캐너(OPTSCN) 및 신호 프로세서(SGNPRC).
여전히 제2 동작 스테이지(STG)에서, 도 11은 제1 스테이지(STG1)에서 바이모달 어레이(BMDARR)에 의해 생성된 2D 화상 중 21 x 20 픽셀의 예시적인 부분을 도시한다. 또한, 도 11에서, 바이모달 어레이(BMDARR)에 투영된 레이저 빔(LSRBM)의 스캐닝 패턴은 A로 표시된 화살표로 표시된다. 본 예에서, 레이저 빔(LSRBM)의 폭은 풍경 또는 타겟(TRGT)으로부터 카메라(C1)로 다시 반사될 때 바이모달 어레이(BMDARR)의 2개 픽셀이 각각의 순간에 조명된다고 가정된다.
컨트롤러(CNTRL)는, 특정 스캐닝 패턴에 따라 광학 스캐너(OPTSCN)의 스캐닝 각도를 조정함으로써, 레이저 빔(LSRBM)이 카메라(C1)가 보는 선택된 풍경의 부분을 한 번에 2개의 픽셀(PXLij)로 스캐닝하도록 명령한다.
제1 단계로서, 2개의 픽셀(PXLij)의 제1 세트(SET1)를 조명하기 위하여 도 9에 도시된 컨트롤러(CNTRL)는 스캐닝 패턴 및 이에 따른 광학 스캐너(OPTSCN)의 스캔 각도를 설정함으로써 시작한다. 도 11에서, 제1 세트(SET1)는 각각 LNOA1 및 LNOA2인 제1 및 제2 열의 최상단에 있는 최상위 행에 배치된다. 그 후, 컨트롤러(CNTRL)는 모드 스위치(PXMOD)를 LOGIC"1"로 설정한다. 제2 단계에서, 컨트롤러(CNTRL)는 클록(CLK), 신호 프로세서(SGNPRC)의 중간 메모리(INTMM) 및 레이저 드라이버(LSRDR)에 시작 명령을 전송함으로써 거리 측정 프로세스를 시작한다. 그 다음에는 도 4 내지 6을 참조하여 위에서 설명된 프로세스가 뒤따른다. 본 예에서, 이 전체 프로세스의 지속 시간은 2 ms이다.
다음으로, 제3 스테이지(STG3)에서, 처리를 위해 파일(TMFL)을 게이트 컴포넌트(FPGA)로 전달하기 위하여, 컨트롤러(CNTRL)는 도 4에 도시된 게이트(G1)를 개방하는 신호를 방출한다. 이에 응답하여, 게이트 컴포넌트(FPGA)는 도 11과 관련하여 설명된 바와 같이 제1 픽셀 세트(SET1)와 관련된 풍경의 부분까지의 거리를 계산한다. 병행하여, 컨트롤러(CNTRL)는 광학 스캐너(OPTSC)를 이동시켜 제1 세트(SET1) 바로 아래에 그에 인접한 제2 행에 배치된 2개의 픽셀(PXL)의 제2 세트(SET2)를 조명하고, 그 후 SET2의 이러한 2개의 픽셀(PXL)에 대한 거리 측정 프로세스가 반복된다. 이 거리 측정 프로세스는 레이저 빔(LSRBM)이 맨 아래 행의 처음 두 라인(각각 LNOA1 및 LNOA2)의 마지막에 도달할 때까지 반복적으로 더 반복된다.
그 후, 레이저 빔(LSRBM)은 컨트롤러(CNTRL)에 의해 다음 두 라인(각각 LNOA3 및 LNOA4)의 처음 2개의 픽셀로 지향될 것이다. 이러한 동일한 스캐닝 패턴은 레이저 빔(LSRBM)이 풍경의 전체 부분의 스캐닝을 완료할 때까지 반복적으로 반복되고, 이에 의해 풍경의 해당 부분의 각각의 모든 픽셀(PXLij)까지의 거리를 생성할 것이다. 본 예에서, 바이모달 어레이(BMDARR)의 전체 동작에 대해 지속 시간은 대략 10초이다. 화상 생성의 전체 지속 시간에 3.4 ms인 2D 화상 생성의 지속 시간을 더하면, 0.1 HZ의 속도에 대한 요건과 상관 관계가 있는 10초가 된다.
본 명세서에 제공된 다양한 수치적 예는 설명을 위해 제공되며, 장치(APP)의 작동에 의해 성취할 수 있는 최상의 획득 가능한 성능을 나타내지 않는다는 점이 주목되어야 한다. 마지막 스테이지에서, 게이트 컴포넌트(FPGA)는, 각각의 픽셀(PXL)의 거리 데이터를 저장된 2D 열화상 데이터에 추가함으로써, 픽셀 포맷으로 이의 메모리 내에 저장된 2D 열화상을 거리 데이터와 인터레이싱한다. 이에 의해, 풍경의 3D 열 표현이 생성된다.
컨트롤러(CNTRL)의 3개의 스테이지(STG)의 결과는 시야 내에서 캡처된 풍경을 화상화하도록 3D 열화상 카메라(C1)를 작동시키고, 그 시야 내에서 선택된 대상까지의 거리를 측정하고, 거리를 2D 열화상과 조합하는 3D 열 화상화를 생성하기 위하여 2D 열화상을 거리 데이터와 인터레이싱하는 능력이다.
도면에서 그와 같이 도시되지는 않았지만, 다른 예시적인 실시예는 상이하게 동작할 수 있다는 것(설명된 스테이지의 동작 시퀀스가 상이할 수 있고, 순간적으로 조명되는 픽셀의 수 및 스캐닝 패턴이 상이할 수 있다는 것을 의미함)이 주목되어야 한다.
따라서, 3D 열화상 카메라(C1), 신호 프로세서(SGNPRC), 레이저(LSR), 광학 스캐너(OPTSCN) 및 컨트롤러(CNTRL)를 포함하는 화상화 장치(APP)가 설명되었다.
예시적인 실시예에 따른 장치의 특성은 높은 거리 해상도를 갖는 3D 화상화를 위한 저속 응답 열 검출기의 사용이다. 저속 응답 검출기는 일반적으로 사용 가능하며 유리하게 가격이 책정된다. 장치는 2D 열화상을 거리 데이터와 결합하고 그로부터 3D 열화상을 생성한다.
장치(APP)는 복수의 저속 열 검출기(THRDTC)를 작동시키는 전자 회로인 바이모달 어레이(BMDARR)를 포함한다. 사용 시 바이모달 어레이(BMDARR)는 표준 열 화상화 또는 거리 측정을 위한 비동기 픽셀 샘플링을 수행한다. 바이모달 어레이는 컨트롤러에 의해 명령되며 복수의 저속 응답 열 검출기를 포함한다. 또한, 바이모달 어레이는 저속 응답 열 검출기의 사용에 의해 2D 열화상 및 정확한 거리 데이터를 생성하도록 설계된다. 어레이 내의 각각의 저속 응답 열 검출기에 의해 수집된 2D 열화상과 거리 데이터는 모두 신호 프로세서로 전달된다.
컨트롤러는 레이저, 광학 스캐너 및 열 화상기의 각각의 저속 응답 열 검출기를 작동시키도록 더 구성된다. 이에 의해, 컨트롤러는 레이저, 광학 스캐너 및 열 화상기의 열 검출기를 작동시켜 그로부터 거리 데이터를 도출할 수 있다. 그 거리 데이터는 복수의 시간 이벤트 커플(t1i, t2i)을 도출하는 데 전용인 픽셀 샘플링 회로의 사용에 의해 수집된다. 이러한 시간 이벤트 커플(t1i, t2i)은 신호 프로세서에 전달되는 샘플링된 검출 신호(DS)로부터 도출된다.
마지막으로, 신호 프로세서는 어레이 내의 저속 응답 열 검출기에 대응하는 응답 시간에 비해 더 우수한 정확도로 거리를 계산하도록 구성된다. 이에 의해, 신호 프로세서는 2D 열화상을 거리 데이터와 인터레이싱하여 거리 데이터를 2D 열화상과 조합한 3D 열 화상을 생성할 수 있다.
바이모달 어레이가 복수의 저속 응답 열 검출기를 포함하고, 이러한 열 검출기 각각은 2D 열화상 및/또는 3D 열 화상화에서 하나의 픽셀을 생성한다는 것이 주목된다.
검출기(THRDTC) 각각은 모드 스위치(PXMOD)에 결합된다. 모드 스위치(PXMOD)는 바이모달 어레이(BMDARR)를 2가지 동작 모드, 즉 화상화 모드 중 하나인 동작 모드 및 거리 측정 모드인 제2 모드 중 하나로 설정하도록 구성된다.
바이모달 어레이(BMDARR)는 복수의 픽셀 샘플링 회로(PXSMP)를 더 포함한다. 픽셀 샘플링 회로(PXSMP) 각각은 검출 신호(DS)의 상승 부분(ta) 및 검출 신호(DS)의 감쇠 부분(td)을 인식하도록 구성된다.
신호 프로세서(SGNPRC)는 클록(CLK)을 더 포함하고, 클록(CLK)은 중간 메모리(INTMM)에 결합된다. 픽셀 샘플링 회로(PXSMP)는 중간 메모리(INTMM)에 결합된다. 픽셀 샘플링 회로(PXSMP)는 클록 샘플링 신호(CLKSMP) 및 플래그 신호(R/F)를 신호 프로세서(SGNPRC)에 전송하도록 구성된다. 이 2개의 신호에 응답하여, 신호 프로세서(SGNPRC)는 클록(CLK) 및 플래그 신호(R/F)의 현재 판독값을 저장하도록 중간 메모리(INTMM)에 명령한다.
픽셀 샘플링 회로(PXSMP) 각각은 중간 메모리(INTMM)에 결합되고, 적어도 두 가지 동작을 수행하도록 구성된다. 픽셀 샘플링 회로(PXSMP)의 제1 동작은 2개의 시간 이벤트 시리즈, 즉 제1 시간 이벤트 시리즈(t1i) 및 제2 시간 이벤트 시리즈(t2i)를 생성하는 것이다. 시간 이벤트(t1i)는 검출 신호(DS)의 상승 부분(ta)에 속하고, 시간 이벤트(t2i)는 동일한 검출 신호(DS)의 감쇠 부분(td)에 속한다. 픽셀 샘플링 회로(PXSMP)가 수행하는 제2 동작은 상승 부분(ta) 및 감쇠 부분(td) 중 어느 것에 각각의 시간 이벤트가 속하는지를 표시하는 것이다.
중간 메모리(INTMM)는 게이트(G1)를 컴포넌트(FPGA)에 결합된다. 게이트(G1)의 개방은 그에 구성된 신호 프로세서(SGNPRC)에 의해 명령된다. 이에 의해, 중간 메모리(INTMM)에 저장된 2개의 시간 이벤트 시리즈(t1i, t2i)는 데이터 파일(TMFL)로서 컴포넌트(FPGA)에 전달될 수 있다.
게이트 컴포넌트(FPGA)는 데이터 파일(TMFL)에서 전이점(TRPNT)의 위치를 찾도록 구성된다. 전이점(TRPNT)은 2개의 시간 이벤트 시리즈(t1i, t2i) 사이를 분리한다. 전이점(TRPNT)을 찾기 위하여, 플래그 신호(R/F)가 LOGIC1로의 설정으로부터 LOGIC0으로의 설정으로 전환되는 위치 또는 그 반대로 플래그 신호(R/F)가 LOGIC0로의 설정으로부터 LOGIC1으로의 설정으로 전환되는 위치를 찾는 것으로 충분하다.
위에서 설명된 바와 같이, 픽셀 샘플링 회로(PXSMP)는 샘플링된 검출 신호(DS)로부터 복수의 시간 이벤트 커플(t1i, t2i)을 도출하도록 구성된다. 이러한 시간 이벤트 커플(t1i, t2i)은 타겟(TRGT)까지의 거리를 계산하는 데 사용될 수 있다.
픽셀 샘플링 회로(PXSMP)는 플래그 신호(R/F)를 전달하고 복수의 시간 이벤트 커플(t1i, t2i)을 도출하도록 추가로 구성된다. 이들 모두는 검출 신호(DS)의 비동기 샘플링에 의해 수집된다. 검출 신호(DS)는 상승 부분(ta) 및 감쇠 부분(td)을 갖는다. 플래그 신호(R/F)는 시간 이벤트(t1i, t2i) 각각이 상승 부분(ta) 및 감쇠 부분(td) 중 어느 것에 관련되는지를 나타내도록 구성된다.
픽셀 샘플링 회로(PXSMP)는 적어도 2개 이상의 동작을 더 수행하도록 더 구성된다. 하나 이상의 동작은 샘플링된 검출 신호(DS)의 상승 부분(ta) 및 감쇠 부분(td)을 비동기식으로 샘플링하는 것이다. 비동기 샘플링의 목적은 간격(INTVL)의 일정하고 동일한 범위의 순차적 단계와 연속적인 진폭 레벨(AMPLVLi)에서 2개의 시간 이벤트 커플을 도출하는 것이다. 제2 동작은 각각의 시간 이벤트가 2개의 시간 이벤트(t1i, t2i) 중 어느 것에 속하는지를 표시하기 위한 목적으로 플래그 신호(R/F)를 전달하는 것이다. 다음으로, 시간 이벤트 커플(t1i, t2i)과 플래그 신호(R/F)를 포함하는 데이터 파일(TMFL)은 클록 샘플링 신호(CLKSMP)의 전달에 따라 중간 메모리(INTMM)에 저장된다.
각각의 시간 이벤트 커플(t1i, t2i)은 제1 시간 이벤트(t1i)와 제2 시간 이벤트(t2i)를 가진다. 제1 시간 이벤트(t1i)에서, 제1 인덱스는 1로서 표시된다. 제2 시간 이벤트(t2i)에서, 제1 인덱스는 2로서 표시된다. 제1 인덱스 및 제2 인덱스는 플래그 신호(R/F)와 상관된다. 각각의 시간 이벤트(t1i, t2i)는 제2 인덱스 i에 의해 식별된다. 그 제2 인덱스 i는 진폭 레벨 AMPLVLij에 관련된다. 시간 이벤트(t1i, t2i) 각각은 2개의 측을 갖는 전이점(TRPNT)의 반대 측에서 저장된다. 시간 이벤트(t1i)는 전이점(TRPNT)의 제1 측에서 시간 파일(TMFL)에 저장되고, 시간 이벤트(t2i)는 전이점(TRPNT)의 제2 측에서 시간 파일(TMFL)에 저장된다. 수치적으로 더 낮은 인덱스 i를 갖는 시간 이벤트는 전이점(TRPNT)에 더 가까이 저장되는 반면, 수치적으로 더 높은 인덱스 i를 갖는 시간 이벤트는 전이점(TRPNT)에 더 멀리 저장된다.
열 검출기(THRDTC)는 비냉각식(uncooled) 검출기로서 또는 냉각식(cooled) 검출기로서 선택될 수 있다.
따라서, 화상화 장치(APP)를 구성하고 구현하기 위한 방법이 또한 설명되었다. 화상화 장치(APP)는 3D 열 화상기(C1), 신호 프로세서(SGNPRC), 레이저(LSR), 광학 스캐너(OPTSCN) 및 컨트롤러(CNTRL)를 포함한다. 방법은, 타겟(TRGT)으로부터 복귀된 방출 레이저 펄스(LP)로부터 아날로그 검출 신호(DS)를 도출하기 위해 저속 응답 열 검출기(THRDCT)를 사용한다. 방법은 검출 신호(DS)를 비동기식으로 샘플링하여 그로부터 각각 t1i 및 t2i인 2개의 시간 이벤트 시리즈를 도출한다. 또한, 방법은 (수학식 3)의 사용 및 (수학식 4.1), (수학식 4.2) 및 (수학식 4.3)의 사용에 의해 시간 Tbg을 도출한다. 그 후, 방법은 (수학식 5)의 사용에 의해 타겟(TRGT)까지의 거리(R)를 계산한다.
방법은 비냉각식 검출기 또는 냉각식 검출기로서 선택될 수 있는 열 검출기(THRDTC)를 사용한다.
이 방법에서, 검출 신호(DS)는 상승 부분(ta) 및 감쇠 부분(td)을 가진다. 검출 신호(DS)는 이의 상승 부분(ta) 및 상기 감쇠 부분(td)에서 비동기식으로 샘플링된다.
또한, 검출 신호(DS)는 일정하고 동일한 진폭 간격(INTVL)의 순차적이고 연속적인 진폭 단계에서 비동기식으로 샘플링된다.
이 방법에서, 샘플링된 신호(SIGSMP)는 시간 파일(TMFL)에 저장된다. 샘플링된 신호(SIGSMP)는 전이점(TRPNT)에 대하여 대칭적인 패턴으로 시간 파일(TMFL) 내에 나열된다.
검출 신호(DS)는 픽셀 샘플링 회로(PXSMP)에 입력되기 전에 아날로그 전압 신호(Vo(t))로 증폭된다. 픽셀 샘플링 회로(PXSMP)는 이중적(twofold) 기능을 갖는다.
검출 신호(DS)는 픽셀 샘플링 회로(PXSMP)로의 입력을 위하여 아날로그 전압 신호(Vo(t))로 증폭된다. 픽셀 샘플링 회로(PXSMP)는 적어도 2개의 기능을 갖는다. 픽셀 샘플링 회로(PXSMP)의 제1 기능은 전압 신호(Vo(t))가 상승하고 있는지 또는 감쇠하고 있는지 여부에 대한 결정 및 표시를 다룬다. 픽셀 샘플링 회로(PXSMP)의 제2 기능은 신호(Vo(t))가 다음 진폭 레벨(AMPLVLi)에 도달했는지 여부에 대한 결정을 다룬다.
픽셀 샘플링 회로(PXSMP)는 주요 전기 회로(MNCRCT)의 요소이다. 픽셀 샘플링 회로(PXSMP)는 비동기 픽셀 샘플링 프로세스를 작동시키도록 구성된다.
주요 전기 회로(MNCRCT)는 표준 샘플 및 홀드 회로(SMPHOL)를 포함한다. 샘플 및 홀드 회로(SMPHOL)는 지연 라인(DL)에 결합된다. 지연 라인(DL)과 샘플 및 홀드 회로(SMPHOL)는 도출된 데이터의 가능성 있는 내부 충돌을 방지하도록 구성된다.
위에서 설명된 장치 및 방법의 예시적인 실시예는, 예를 들어, 공중 보건, 시민 안전 및 보호, 로봇 공학 및 차량의 안내와 내비게이션을 포함하는 카메라를 사용하는 산업 및 기기에 적용 가능하다.
Figure pct00008

Claims (15)

  1. 3D 카메라(C1), 신호 프로세서(SGNPRC), 레이저(LSR), 광학 스캐너(OPTSCN) 및 컨트롤러(CNTRL)를 포함하는 화상화 장치(APP)에 있어서,
    상기 장치(APP)는, i) 표준 열 화상화(thermal imaging) 및 ii) 거리 측정(range finding)을 위한 비동기 픽셀 샘플링 중 하나를 수행하고 상기 컨트롤러(CNTRL)에 의해 명령되는 바이모달 어레이(BMDARR)를 포함하고,
    상기 바이모달 어레이(BMDARR)는 복수의 저속 응답 열 검출기(slow response thermal detector)(THRDTC)를 포함하고, 상기 저속 응답 열 검출기(THRDTC)의 사용에 의해 2D 열화상 및 정확한 거리 데이터를 생성하도록 구성되고, 상기 2D 열화상 및 거리 데이터는 상기 신호 프로세서(SGNPRC)로 전달되고,
    상기 컨트롤러(CNTRL)는 상기 신호 프로세서(SGNPRC)로 전달되는 샘플링된 검출 신호(DS)로부터 복수의 시간 이벤트 커플(t1i, t2i)을 도출하도록 구성된 픽셀 샘플링 회로(PXSMP)의 사용에 의해 거리 데이터를 도출하기 위하여, 상기 레이저(LSR), 상기 광학 스캐너(OPTSCN) 및 상기 열 화상기(C1)를 작동시키도록 더 구성되고,
    상기 신호 프로세서(SGNPRC)는 상기 검출기 시간 응답에 대응하고 상기 검출기 시간 응답보다 우수한 정확도로 상기 거리를 계산하고 상기 2D 열화상을 상기 거리 데이터와 인터레이싱하여 3D 열화상을 생성하도록 구성되는 것을 특징으로 하는, 장치(APP).
  2. 제1항에 있어서,
    상기 바이모달 어레이(BMDARR)는 각각 2D 열화상 및 3D 화상에서 하나의 픽셀을 생성하는 복수의 저속 응답 열 검출기(THRDTC)를 포함하는, 장치(APP).
  3. 제2항에 있어서,
    상기 픽셀 샘플링 회로(PXSMP)는,
    간격(INTVL)의 일정하고 동일한 범위의 순차적 단계와 연속적인 진폭 레벨(AMPLVLi)에서 2개의 상기 시간 이벤트 커플을 도출하기 위하여 샘플링된 상기 검출 신호(DS)의 상승 부분(ta) 및 감쇠 부분(td)을 비동기식으로 샘플링하고,
    각각의 시간 이벤트가 상기 2개의 시간 이벤트(t1i, t2i) 중 어느 것에 관한 것인지 나타내기 위하여 플래그 신호(R/F)를 도출
    하도록 구성되고,
    상기 시간 이벤트 커플(t1i, t2i) 및 상기 플래그 신호(R/F)를 포함하는 데이터 파일(TMFL)이 클록 샘플링 신호(CLKSMP)의 전달에 따라 중간 메모리(INTMM)에 저장되는, 장치(APP).
  4. 제3항에 있어서,
    상기 시간 이벤트 커플(t1i, t2i) 각각은 제1 인덱스가 1로 표시되는 제1 시간 이벤트(t1i) 및 상기 제1 인덱스가 2로 표시되는 제2 시간 이벤트(t2i)를 포함하고, 인덱스 1 및 2는 상기 플래그 신호(R/F)와 상관되고,
    각각의 시간 이벤트(t1i, t2i)는 제2 인덱스 i에 의해 식별되며, 상기 제2 인덱스 i가 진폭 레벨(AMPLVLi)과 관련되고,
    상기 시간 이벤트(t1i)는 2개의 측을 갖는 전이점(TRPNT)의 제1 측에서 상기 시간 파일(TMFL)에 저장되고, 상기 시간 이벤트(t2i)는 상기 전이점(TRPNT)의 제2 측에서 저장되고,
    수치적으로 더 낮은 인덱스 i를 갖는 시간 이벤트는 상기 전이점(TRPNT)에 더 가까이 저장되는, 장치(APP).
  5. 제1항에 있어서,
    상기 열 검출기(THRDTC)는 비냉각식(uncooled) 검출기 및 냉각식(cooled) 검출기 중 하나인, 장치(APP).
  6. 3D 카메라(C1), 신호 프로세서(SGNPRC), 레이저(LSR), 광학 스캐너(OPTSCN) 및 컨트롤러(CNTRL)를 포함하는 화상화 장치(APP)를 구현하는 방법에 있어서,
    타겟(TRGT)으로부터 복귀된 방출 레이저 펄스(LP)로부터 아날로그 검출 신호(DS)를 도출하기 위해 저속 응답 열 검출기(THRDCT)를 사용하는 단계;
    상기 검출 신호(DS)를 비동기식으로 샘플링하여 그로부터 각각 t1i 및 t2i인 2개의 시간 이벤트 시리즈를 도출하는 단계;
    Figure pct00009
    (수학식 3)
    및
    Figure pct00010
    (수학식 4.1),
    Figure pct00011
    (수학식 4.2),
    Figure pct00012
    (수학식 4.3)
    중 하나의 사용에 의해 시간 Tbg를 도출하는 단계 - τ는 상기 저속 응답 검출기(DTCT)의 시정수이고, t1i는 제1 시간 이벤트이고, PW는 상기 레이저 펄스(LP)의 펄스 폭이고, t2i는 제2 시간 이벤트이고, tr은 상기 레이저 펄스(LP)의 상승 시간이고, tf는 상기 레이저 펄스(LP)의 하강 시간임 -;
    R = c*Tbg/2 (수학식 5)
    를 사용하여 상기 타겟(TRGT)까지의 거리(R)를 계산하는 단계 - Tbg는 비행 시간(time of flight)(TOF)임 -
    를 포함하는 것을 특징으로 하는, 방법.
  7. 제6항에 있어서,
    상기 검출기(THRDTC)는 상업적으로 이용 가능한 고품질 및 고속 검출기의 비용보다 적어도 한 차수의 비용이 드는 저속 응답 열 검출기(THRDTC)인, 방법.
  8. 제6항에 있어서,
    상기 검출기(THRDTC)는 비냉각식 검출기인, 방법.
  9. 제6항에 있어서,
    상기 검출 신호(DS)는 상승 부분(ta) 및 감쇠 부분(td)을 가지며, 상기 상승 부분(ta) 및 상기 감쇠 부분(td) 모두에서 비동기식으로 샘플링되는, 방법.
  10. 제6항에 있어서,
    상기 검출 신호(DS)는 일정하고 동일한 진폭 간격(INTVL)의 순차적이고 연속적인 진폭 단계로 비동기식으로 샘플링되는, 방법.
  11. 제6항에 있어서,
    샘플링된 신호(SIGSMP)는 시간 파일(TMFL)에 저장되고, 전이점(TRPNT)에 대하여 대칭적인 패턴으로 그 내에 나열되는, 방법.
  12. 제6항에 있어서,
    상기 검출 신호(DS)는 이중적(twofold) 기능을 갖는 픽셀 샘플링 회로(PXSMP)에 입력되기 전에 아날로그 전압 신호(Vo(t))로 증폭되는, 방법.
  13. 제6항에 있어서,
    상기 검출 신호(DS)는 픽셀 샘플링 회로(PXSMP)로의 입력을 위하여 아날로그 전압 신호(Vo(t))로 증폭되고,
    상기 픽셀 샘플링 회로(PXSMP)는,
    상기 전압 신호(Vo(t))가 상승하고 있는지 또는 감쇠하고 있는지 여부에 대한 결정 및 표시를 위한 제1 기능, 및
    상기 신호(Vo(t))가 다음 진폭 레벨(AMPLVLi)에 도달했는지 여부에 대한 결정을 위한 제2 기능
    을 갖는, 방법.
  14. 제13항에 있어서,
    상기 픽셀 샘플링 회로(PXSMP)는 열 화상화 및 거리 측정을 위한 비동기 픽셀 샘플링을 수행하도록 구성된 바이모달 어레이(BMDARR)에 통합되는, 방법.
  15. 제14항에 있어서,
    상기 픽셀 샘플링 회로(PXSMP)는 주요 전기 회로(MNCRCT)의 요소이고, 상기 비동기 픽셀 샘플링 프로세스를 작동하도록 구성되며,
    상기 주요 전기 회로(MNCRCT)는 지연 라인(DL)에 결합된 표준 샘플 및 홀드 회로(SMPHOL)를 포함하고, 마지막 2개는 도출된 데이터의 가능한 내부 충돌을 방지하도록 구성되는, 방법.
KR1020227038737A 2020-07-07 2021-07-06 화상화 장치 및 방법 KR20220164774A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL275896A IL275896B (en) 2020-07-07 2020-07-07 Imaging device and method
IL275896 2020-07-07
PCT/IL2021/050829 WO2022009202A1 (en) 2020-07-07 2021-07-06 Imaging apparatus and method

Publications (1)

Publication Number Publication Date
KR20220164774A true KR20220164774A (ko) 2022-12-13

Family

ID=79552936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227038737A KR20220164774A (ko) 2020-07-07 2021-07-06 화상화 장치 및 방법

Country Status (9)

Country Link
US (1) US20230273316A1 (ko)
EP (1) EP4118690A4 (ko)
JP (1) JP7389936B2 (ko)
KR (1) KR20220164774A (ko)
CN (1) CN115769103A (ko)
AU (1) AU2021303821A1 (ko)
CA (1) CA3178864C (ko)
IL (2) IL275896B (ko)
WO (1) WO2022009202A1 (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2918449B1 (fr) * 2007-07-02 2010-05-21 Ulis Dispositif de detection de rayonnement infrarouge a detecteurs bolometriques
FI20085665A0 (fi) * 2008-06-27 2008-06-27 Oulun Yliopisto Menetelmä ja laite etäisyyden mittaamiseen
IL212289A (en) * 2011-04-13 2016-08-31 Semi-Conductor Devices - An Elbit Systems - Rafael Partnership Circuit and method for reading image signals
DE102014106463A1 (de) 2014-05-08 2015-11-12 Sick Ag Entfernungsmessender Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten
WO2016120392A1 (en) * 2015-01-30 2016-08-04 Trinamix Gmbh Detector for an optical detection of at least one object
US10582121B2 (en) 2016-01-12 2020-03-03 Mitsubishi Electric Research Laboratories, Inc. System and method for fusing outputs of sensors having different resolutions
JP7215996B2 (ja) 2016-11-17 2023-01-31 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１つの物体を光学的に検出するための検出器
WO2020018600A1 (en) * 2018-07-17 2020-01-23 Shimon Maimon Multi-wavelength lidar and thermal imager

Also Published As

Publication number Publication date
EP4118690A1 (en) 2023-01-18
CA3178864C (en) 2023-11-28
JP2023530194A (ja) 2023-07-13
CA3178864A1 (en) 2022-01-13
EP4118690A4 (en) 2023-08-23
WO2022009202A1 (en) 2022-01-13
CN115769103A (zh) 2023-03-07
IL299675A (en) 2023-06-01
JP7389936B2 (ja) 2023-11-30
IL275896B (en) 2022-07-01
US20230273316A1 (en) 2023-08-31
AU2021303821A1 (en) 2023-02-09
IL275896A (en) 2022-02-01

Similar Documents

Publication Publication Date Title
US11448757B2 (en) Distance measuring device
CN108474849B (zh) 距离测量装置
JP7183046B2 (ja) 可変照射強度を有するｌｉｄａｒに基づく三次元撮像
US11543501B2 (en) Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
CN107615093B (zh) 测距摄像装置、其测距方法以及固体摄像装置
JP2022188162A (ja) 可変パルス繰返し数を有するｌｉｄａｒに基づく三次元撮像
US7834985B2 (en) Surface profile measurement
EP3182156B1 (en) Ranging apparatus
US6535275B2 (en) High resolution 3-D imaging range finder
JP2004538491A (ja) 三次元距離画像を記録するための方法及び装置
CN110988842A (zh) 激光雷达2d接收器阵列架构
JP6304567B2 (ja) 測距装置及び測距方法
EP2530442A1 (en) Methods and apparatus for thermographic measurements.
CN111751842B (zh) 用于光检测和测距（lidar）系统的过采样和发射器拍摄模式
AU2007251977A1 (en) Distance measuring method and distance measuring element for detecting the spatial dimension of a target
EP3602110B1 (en) Time of flight distance measurement system and method
US20210270969A1 (en) Enhanced depth mapping using visual inertial odometry
JP7389936B2 (ja) 画像化装置および方法
US20230078063A1 (en) Distance measurement device and distance measurement system
US20220299645A1 (en) Remote visualization apparatus comprising a borescope and methods of use thereof
WO2021002822A1 (en) Movable object detection device and method thereof
WO2023161529A1 (en) Depth scanning image sensor