WO2022196779A1 - ３次元計測装置 - Google Patents

３次元計測装置 Download PDF

Info

Publication number
WO2022196779A1
WO2022196779A1 PCT/JP2022/012439 JP2022012439W WO2022196779A1 WO 2022196779 A1 WO2022196779 A1 WO 2022196779A1 JP 2022012439 W JP2022012439 W JP 2022012439W WO 2022196779 A1 WO2022196779 A1 WO 2022196779A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
measuring device
output
dimensional
imaging
Prior art date
Application number
PCT/JP2022/012439
Other languages
English (en)
French (fr)
Inventor
真人 佐々木
Original Assignee
国立大学法人 東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 東京大学 filed Critical 国立大学法人 東京大学
Priority to JP2023507191A priority Critical patent/JPWO2022196779A1/ja
Publication of WO2022196779A1 publication Critical patent/WO2022196779A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Definitions

  • the present invention relates to a three-dimensional measuring device that can accurately measure the distance to an object at high speed, and more particularly to a three-dimensional measuring device that uses an image conversion device that adjusts temporal elements.
  • Non-Patent Document 1 As a three-dimensional measurement device for self-driving cars, there is a device called LiDAR that sweeps a laser horizontally and vertically to measure surrounding objects in three dimensions (Non-Patent Document 1). As the scanner, for example, a two-axis scanning method is used (Patent Document 1). The two-axis scanning method is premised on a mechanical mechanism and has limitations in terms of durability and stability.
  • Flash LiDAR flash rider
  • the distance to each point of the object that is, the shape of the object
  • the flash lidar makes it possible to achieve a completely mechanical-less system, but it is not suitable for long-distance monitoring due to its low light-sensing efficiency.
  • a technique is known in which a flash lidar is incorporated in order to detect an object in front of the vehicle, and the light intensity is made different for each illuminated area (Patent Document 2).
  • Patent Document 2 a technique is known in which a flash lidar is incorporated in order to detect an object in front of the vehicle, and the light intensity is made different for each illuminated area
  • Patent Document 2 Even if the light intensity is different for each irradiation area, it is not easy to detect a distant object with high accuracy using a general light source that can be mounted on a vehicle.
  • lidars As described above, various lidars have been put into practical use, but conventional lidars are capable of high-precision measurement over a wide range from short to long distances while ensuring a wide angle of view while adopting a simple and stable mechanism. It is difficult to say that In particular, when applied to autonomous driving, from the perspective of ensuring safety, it is important to be able to measure distances with high accuracy in various situations, from long distances with a narrow angle of view to short distances with a wide angle of view.
  • An object of the present invention is to provide a three-dimensional measuring device capable of performing high-precision measurement from a long distance with a narrow angle of view to a short distance with a wide angle of view with a simple and stable configuration.
  • a three-dimensional measurement apparatus includes an irradiation imaging system that irradiates irradiation light and forms an image of observation light formed by reflection of the irradiation light, and an irradiation imaging system that forms an image.
  • an image detection unit that detects an observed image
  • an image output unit that displays an output image generated based on the observed image
  • an output image that is generated based on the observed image.
  • An image conversion device including a display control unit that performs image processing for adjusting temporal elements, an imaging device that captures an output image displayed on an image output unit of the image conversion device, and image information and images obtained by the imaging device a control device for determining three-dimensional information of the detected object based on the timing information obtained from the conversion device.
  • the control device determines the three-dimensional information of the detected object based on the image information obtained by the imaging device that captures the output image of the image conversion device and the timing information obtained from the image conversion device. Therefore, three-dimensional information can be obtained by extracting only the image corresponding to the object of interest that has been temporally filtered by the image conversion device. As a result, highly accurate three-dimensional measurement can be performed in a variety of situations, from the case of targeting a long distance with a narrow angle of view to the case of targeting a short distance with a wide angle of view.
  • the display control section displays the output image in a local area of the image output section.
  • three-dimensional information can be obtained by extracting only the local image corresponding to the object of interest, and the load of signal processing in the control device or the like can be reduced.
  • the display control unit displays the output image in the presentation area of the image output unit corresponding to the region of interest in which the observation image obtained by the image detection unit has signal significance equal to or greater than a predetermined value. It is also possible to display the output image in the presentation area when the spread in terms of area is not limited to the signal significance and is equal to or greater than a predetermined value.
  • control device tracks the behavior of the detected object over time.
  • a first measuring device includes an irradiation imaging system, an image conversion device, and an imaging device
  • a second measurement device includes an irradiation imaging system, an image conversion device, and an imaging device.
  • the first measuring device and the second measuring device are spaced apart in a predetermined direction
  • the control device obtains the first image information obtained by the imaging device of the first measuring device and the imaging device of the second measuring device. Based on the obtained second image information, the distance to the detected object is measured.
  • the first measuring device and the second measuring device measure the distance independently, but also the distance measurement using the parallax between the first measuring device and the second measuring device becomes possible. Accurate distance can be measured for
  • FIG. 2A is a conceptual cross-sectional view for explaining the image conversion device
  • FIG. 2B shows segmented areas on the detection surface of the image detector
  • FIG. 2C shows segmented areas on the display surface of the image output unit.
  • FIG. 3A is a functional block diagram explaining the display control unit
  • FIG. 3B is a diagram explaining the storage unit.
  • 4A to 4C are diagrams for explaining the operation of the three-dimensional measuring device.
  • It is a front view explaining the vehicle which mounts the three-dimensional measuring device which concerns on 2nd Embodiment.
  • It is a conceptual diagram explaining the structure of a three-dimensional measuring device.
  • It is a figure explaining complementary ranging by a three-dimensional measuring device.
  • It is a schematic diagram explaining a three-dimensional measuring device according to a third embodiment.
  • the three-dimensional measurement apparatus 10 of the first embodiment includes a light source device 21 that forms illumination light IL, an imaging system 23 that irradiates illumination light IL and forms an image of reflected light RL as observation light, and an imaging system 23
  • the light source device 21 and the imaging system 23 function as the irradiation imaging system 30, and the control circuit 81 synchronously operates the light source device 21, the image conversion device 40, and the imaging device 50 to obtain three-dimensional measurement information. It functions as a control device 80 that The imaging system 23, the image conversion device 40, the imaging device 50, and the control circuit 81 are accommodated in the case 10b and fixed in a mutually positioned state.
  • the light source device 21 is a high-intensity pulsed solid-state laser, and generates infrared light with a wavelength of 1550 nm, for example.
  • the light source device 21 emits illumination light IL having a repetition period of 0.1 to 1 MHz and an energy of 0.1 to 1 mJ.
  • the emission period of the illumination light IL is set according to the range of the measurement distance, and the energy of the illumination light IL is set in consideration of the detection level required for measuring the reflected light RL.
  • the imaging system 23 is a telescope-type imaging optical system that finely forms an image of an object that exists at a relatively far distance. It is composed of a half mirror 23f.
  • the narrow band optical filter 23d can be replaced with a polarizing filter or used in combination with a polarizing filter.
  • the half mirror 23f aligns the optical path of the illumination light IL and the optical path of the reflected light RL.
  • the imaging system 23 uniformly diverges the illumination light IL emitted from the light source device 21 over the angle range of the image, and the image conversion device 40 detects the reflected light RL from the object existing within the angle of view. An image is formed on the surface 42a.
  • the imaging system 23 is desirably a bright optical system with a small F-number from the viewpoint of sufficiently increasing the detection level of the reflected light RL. Especially from the viewpoint of detecting distant objects, it is necessary to have a bright optical system, and a high pixel density or resolution is desirable. On the other hand, from the viewpoint of detecting nearby objects, it is desirable to widen the angle of view rather than the brightness, and the pixel density or resolution can be lowered. In a specific fabrication example, the viewing angle of the imaging system 23 was set at 10 degrees and the resolution was set at 1 minute. The resolution of the imaging system 23 is set in consideration of the pixel pitch of the image conversion device 40 as well.
  • the image conversion device 40 has a structure in which an image detection section 42 is provided on one side of a substrate 41 and an image output section 43 is provided on the other side of the substrate 41 .
  • the image detection unit 42 takes in the observation image formed by the imaging system 23, and the image output unit 43 displays the output image obtained by signal processing the observation image.
  • the image conversion device 40 is, for example, an SOI (Silicon On Insulator) type stacked integrated circuit, and an image is formed as an SOI layer on a first surface 41a of a substrate 41 formed from a Si wafer.
  • a detection unit 42 and a first display control circuit 45a are formed, and an image output unit 43 and a second display control circuit 45b are formed on the second surface 41b of the substrate 41 as an SOI layer.
  • a combination of the first display control circuit 45 a and the second display control circuit 45 b is called a display control section 45 .
  • the image detection unit 42 is an InGaAs two-dimensional sensor. More specifically, the image detection unit 42 has an integrated circuit formed of an InGaAs active layer, electrodes, wiring, etc. InGaAs photodiodes (not shown) arranged in a matrix are formed as pixels. At the same time, a transistor or the like is formed in association with each photodiode, and a driver circuit is attached around these.
  • An InGaAs two-dimensional sensor can have a peak sensitivity at a wavelength of 1550 nm, and if the device is operated in the Geiger mode, it can also sense one photon.
  • the image detection unit 42 as an optical sensor capable of detecting light at the photon level, reflected light RL from a distance of 250 m can be detected with sufficient imaging sensitivity even with a transmittance of 1%.
  • the image output unit 43 is, for example, an organic EL display element, and displays a visible light image. More specifically, the image output unit 43 has an integrated circuit formed of organic EL layers, electrodes, wiring, etc., and organic EL light emitting elements (not shown) arranged in a matrix are formed as pixels. In addition, transistors and the like are formed in association with each organic EL light emitting element, and a driver circuit is attached around them.
  • the display surface 43a of the image output unit 43 has m (for example, 12) rows in the Y direction and n (for example, 12) columns in the X direction. 144) channel partition area AR2.
  • each segmented area AR1 and each segmented area AR2 have pixels arranged two-dimensionally in a matrix of i ⁇ j (where i and j are natural numbers, for example, 8 and 16, respectively) in the Y direction and the X direction. Consists of groups.
  • each segmented area AR1 forming the detection surface 42a of the image detection unit 42 a luminance signal is detected to set the start timing of image conversion.
  • the display control unit 45 controls each of the display surfaces 43a of the image output unit 43.
  • a detection trigger for displaying an output image corresponding to the observation image detected in each segmented area AR1 in the segmented area AR2 for a predetermined period like an afterimage is output to the image output unit 43 .
  • the detection trigger is for determining whether or not the observed image has signal significance equal to or greater than a predetermined value, and the segmented area AR1 for which the detection trigger is output and the segmented area AR2 opposite thereto are regions of interest, An output image is displayed in the segmented area AR2 set as the focused area.
  • signal significance means, for example, the S/N of the detection signal in the entire segmented area AR1, the S/N in units of clusters connecting images, etc., having reliability exceeding a predetermined standard. .
  • a detection trigger that specifies the region of interest and its occurrence time is also used as a timing signal for distance measurement.
  • the substrate 41 has a through hole 41h as a part of the display control unit 45, which connects the image detection unit 42 on the side of the first surface 41a and the image output unit 43 on the side of the second surface 41b. formed.
  • One or more through-holes 41h are provided in units of the divided areas AR1 and AR2 shown in FIGS. and enable high-speed signal processing. Circuit elements having various functions can be embedded in the substrate 41 in addition to the through holes 41h.
  • display control unit 45 includes detection drive unit 101 that operates image detection unit 42 shown in FIG. 2A, display drive unit 102 that operates image output unit 43 shown in FIG. It has a storage unit 103 that stores information such as parameters for performing signal processing on an output image, and a main control unit 105 that controls operations of the detection drive unit 101 , the display drive unit 102 , and the storage unit 103 .
  • Data of an image detected by the image detection unit 42 and data of an output image for the image output unit 43 are temporarily stored in a frame memory that constitutes the storage unit 103. Data relating to the output image are erased sequentially.
  • the main control unit 105 can display the image received by the detection surface 42a of the image detection unit 42 on the display surface 43a of the image output unit 43 while being delayed by a desired time.
  • the display surface 43a side facing this segmented area AR1 is detected.
  • the corresponding output image can be displayed in the segmented area AR2 with a predetermined delay time and time width. As a result, the image can be output at timing according to the performance of the imaging device 50 .
  • the main control unit 105 has a discrimination function for threshold determination, and discriminates the image received by the detection surface 42a of the image detection unit 42 on the spot to detect the reflected light RL, that is, the divided area AR1 ( That is, the output image is selectively displayed in the segmented area AR2 on the display surface 43a side corresponding to only the appearance area).
  • the reflected light RL is weak light that enters irregularly, and if the main control unit 105 does not have a discrimination function, it would be necessary to process the huge amount of image data detected by the image detection unit 42 at high speed. This increases the burden on the signal processing circuit such as the main control unit 105 .
  • the main control unit 105 may have advanced signal processing functions (specifically, signal detection algorithms, image processing functions, etc.). When the main control unit 105 has an advanced signal processing function, it is possible to remove the noise and background of the image signal obtained from the image received by the detection surface 42a of the image detection unit 42, and remove the weak signal that is easily buried in noise. Selective extraction is facilitated.
  • advanced signal processing functions specifically, signal detection algorithms, image processing functions, etc.
  • the storage unit 103 has an acquired image storage unit 103a, a parameter storage unit 103b, and a corrected image storage unit 103c.
  • the acquired image storage unit 103a stores a plurality of images or frames detected by the image detection unit 42 as data. This image is acquired, for example, every 10 ns, and a serial number is assigned to each image. For example, the number of images or the number of frames that can be stored is set in advance in the acquired image storage unit 103a, and old images that have not been extracted are deleted at regular intervals.
  • the main control unit 105 when the display control unit 45 receives a detection trigger from the image detection unit 42, the main control unit 105 stores address information (that is, positional information) of the segmented areas AR1 and AR2 corresponding to the detection trigger. is temporarily stored and reflected in the display position of the image displayed by the image output unit 43 .
  • the parameter storage unit 103b also stores display timing information that defines the delay time and duration of display by the image output unit 43 with respect to detection by the image detection unit 42.
  • the corrected image storage unit 103c temporarily stores the corrected image specified by the address information and the display timing information and corrected by the main control unit 105 so as to match the display operation of the image output unit 43. do.
  • the corrected image may have been subjected to image processing such as amplification and noise removal.
  • image processing such as amplification and noise removal.
  • the display timing information and parameters for correction processing can be modified by the control circuit 81 , and the operation of the image conversion device 40 can be managed by the control circuit 81 .
  • the imaging device 50 is a CMOS imaging camera.
  • the imaging device 50 operates under the control of the control circuit 81, captures an output image in the visible range formed on the display surface 43a of the image output unit 43, and can obtain a measurement image corresponding to the output image.
  • the imaging device 50 has a relay lens 51 and an image sensor 52 , but the relay lens 51 can be replaced with a fiber bundle, or the image sensor 52 can be brought close to the display surface 43 a of the image output unit 43 .
  • an FST Fluor with Trigger
  • FST Fluor with Trigger
  • the control circuit 81 is a computer or microprocessor, outputs a light emission trigger TG1 to the light source device 21, and controls the light emission timing of the light source device 21.
  • the control circuit 81 synchronously operates the imaging device 50 based on the detection trigger TG2 output from the image conversion device 40, and obtains a measurement image obtained by capturing an output image of the image conversion device 40 with high definition.
  • the light emission trigger TG1 is output at a frequency of kHz, for example, and periodically emits the illumination light IL from the light source device 21 to illuminate the target area in the front direction of the imaging system 23 .
  • the control circuit 81 detects, with an accuracy of about 10 ns, the detection trigger TG2 detected and output by the image conversion device 40 on which the reflected light RL from the object is incident.
  • the timing difference between the light emission trigger TG1 and the detection trigger TG2 corresponds to the distance to the object that produces the reflected light RL. Therefore, (1) the measurement image captured by the imaging device 50 from the output image output by the image conversion device 40 in association with the detection trigger TG2 and (2) the timing difference between the light emission trigger TG1 and the detection trigger TG2 are combined.
  • a distance image that is, three-dimensional measurement information
  • FIG. 4A illustrates the illumination light IL formed by the illumination imaging system 30 and the reflected light RL observed by the illumination imaging system 30
  • FIG. 4B illustrates processing by the image conversion device 40
  • FIG. The operation of the imaging device 50 is shown.
  • the light source device 21 periodically emits the illumination light IL in response to the light emission trigger TG1 from the control circuit 81 .
  • the illumination light IL illuminates the front of the imaging system 23, and when an object exists in front, the reflected light RL reflected by the object is imaged by the imaging system 23, and the image detection unit 42 of the image conversion device 40 , and the image conversion device 40 displays the output image I2 on the image output section 43 .
  • the output image I2 is delayed from the observation image I1 by a predetermined delay time DT and has a predetermined time width.
  • the output image I2 is an image obtained by spatially cutting out only an image corresponding to a specific segmented area AR1, which is a local area in which the reflected light RL is detected, from the observed image I1. Only the detected time zone is extracted.
  • the measurement image I3 captured by the imaging device 50 is temporally and spatially filtered by the image conversion device 40 and is suitable for general image processing.
  • the measurement image I3 functions as a distance image by adding the timing difference (timing information) ⁇ T between the light emission trigger TG1 and the detection trigger TG2 as distance information. That is, the image information captured by the imaging device 50 is combined with the timing information including the timing difference ⁇ T and the like to form the distance image.
  • a distance image provides information such as the contour, size, and moving speed of the object that generated the reflected light RL. This allows the control circuit 81 to track the temporal behavior of the object that generated the reflected light RL.
  • the measurement image I3 is processed for each segmented area AR2.
  • the information acquired by the imaging device 50 includes the delay time ⁇ T for each displayed segmented area AR2 and two-dimensional pixel information F(X, Y, I) in the displayed segmented area AR2.
  • X and Y indicate pixel positions
  • I indicates luminance for each pixel position. It is conceivable that multiple delay times ⁇ T are detected in any of the segmented areas AR2.
  • the pixel information F(X, Y, I) contains images corresponding to a plurality of objects.
  • the control circuit 81 of the control device 80 obtains the measurement image I3 and the image information obtained by the imaging device 50 that captures the output image I2 of the image conversion device 40 . Since the three-dimensional information of the detected object is determined based on the timing information obtained from the conversion device 40, only the image corresponding to the object of interest, which has been temporally filtered by the image conversion device 40, is extracted and 3D. Dimensional information can be obtained. As a result, highly accurate three-dimensional measurement can be performed in a variety of situations, from the case of targeting a long distance with a narrow angle of view to the case of targeting a short distance with a wide angle of view.
  • the three-dimensional measuring apparatus of the second embodiment is a modified example of the three-dimensional measuring apparatus of the first embodiment, and common parts are denoted by the same reference numerals and redundant explanations are omitted.
  • the three-dimensional measuring device 110 is mounted on the vehicle CA.
  • the three-dimensional measuring device 110 includes a first measuring device 110A and a second measuring device 110B. These measuring devices 110A and 110B are incorporated in the periphery of the headlight HL and are spaced apart in the lateral direction, which is a predetermined direction. are arranged as follows.
  • the three-dimensional measuring device 110 includes a first measuring device 110A, a second measuring device 110B, and an integrated control device 82.
  • the first measurement device 110A includes an irradiation imaging system 30, an image conversion device 40, and an imaging device 50.
  • the second measurement device 110B also includes an irradiation imaging system 30, an image conversion device 40, and an imaging device 50.
  • FIG. The first measurement device 110A and the second measurement device 110B have the same structure, and acquire range images independently.
  • the overall control device 82 as a control device, integrates and processes the first image information IG1 obtained from the first measuring device 110A and the second image information IG2 obtained from the second measuring device 110B.
  • the orientation ⁇ 1 of the object OB with respect to the optical axis AX of the first measuring device 110A gives the distance from the three-dimensional measuring device 110 to the object OB assuming that the distance between the measuring devices 110A and 110B is known.
  • the overall control device 82 extracts an object from the first image information IG1 obtained from the first measuring device 110A, extracts an object from the second image information IG2 obtained from the second measuring device 110B, and performs mutual object extraction.
  • a pair of object images having approximately the same distance and approximately the same contour shape is determined, and the distance to the object OB corresponding to the object image is determined from the relative positional relationship of these object images.
  • Parallax-based distance measurement between the first measurement device 110A and the second measurement device 110B complements object extraction or distance measurement in the range image obtained solely by the first measurement device 110A or the second measurement device 110B. It can be used as a thing. Distance measurement using parallax provides highly accurate measurements for objects OB at relatively short distances.
  • the integrated control device 82 which is a control device, controls the first image information IG1 obtained by the imaging device 50 of the first measuring device 110A and the second measuring device 110B.
  • the distance to the detected object is measured based on the second image information IG2 obtained by the imaging device 50 of .
  • the first measuring device 110A and the second measuring device 110B measure the distance independently, but also the distance measurement using the parallax between the first measuring device 110A and the second measuring device 110B is performed.
  • An accurate distance can be measured for a distance object OB.
  • a three-dimensional measurement apparatus according to the third embodiment will be described below.
  • the three-dimensional measuring apparatus of the third embodiment is a modified example of the three-dimensional measuring apparatus of the first embodiment, and common parts are denoted by the same reference numerals and redundant explanations are omitted.
  • the irradiation system 35 is independent from the imaging system 23, and the irradiation system 35 is fixed in the vicinity of the outside of the case 10b while being positioned with respect to the case 10b. It is A combination of the illumination system 35 and the imaging system 23 is called an illumination imaging system 330 .
  • the irradiation system 35 is coaxial with the imaging system 23 and includes a light source device 21 and a beam expander 35b. The beam expander 35b irradiates the forward target with the laser light emitted from the light source device 21 as uniform illumination light IL with a desired divergence angle.
  • the configuration of the irradiation imaging system 30 is merely an example, and each part can be replaced with various known optical systems and optical elements.
  • the image conversion device 40 has an image detection unit 42 and an image output unit 43, but these are not limited to being glued together, but can be arranged separately, and the observation image I1 and the output image I2 can be arranged. may differ in size from each other.
  • one three-dimensional measurement device 10 is configured with a high-definition imaging system and detection system for long distance
  • the other three-dimensional measurement device 10 is configured with a high-angle imaging system and a detection system for short distance. It consists of a detection system.
  • a three-dimensional measuring device that covers a wider angle of view can be realized by using a plurality of three-dimensional measuring devices 10 that individually share a plurality of azimuth regions.
  • the three-dimensional measurement device 110 is not limited to being mounted on the vehicle CA, and can be mounted on various devices.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

制御装置８０の制御回路８１が画像変換装置４０の出力画像Ｉ２を撮影する撮像装置５０によって得た画像情報である計測画像Ｉ３と画像変換装置４０から得たタイミング情報とに基づいて検出された対象の３次元情報を決定するので、画像変換装置４０によって時間的なフィルターをかけた着目する対象に対応する画像のみを抽出して３次元情報を得ることができる。

Description

３次元計測装置
　本発明は、対象までの距離を高速で精密に計測することができる３次元計測装置に関し、特に時間的要素を調整する画像変換装置を用いた３次元計測装置に関する。
　自動運転車用の３次元計測装置として、レーザーを水平及び垂直方向にスイープして周囲の対象物を３次元計測するＬｉＤＡＲ(ライダー)と呼ばれるものがある（非特許文献１）。なお、スキャナとして、例えば２軸走査方式が用いられる（特許文献１）。２軸走査方式は、機械機構が前提であり、耐久性や安定性の観点で限界がある。
　３次元計測装置として、Ｆｌａｓｈ　ＬｉＤＡＲ（フラッシュライダー）と呼ばれる技術も知られている。フラッシュライダーでは、視野全体に広い発散させた単一パルスのレーザー光を照射し、ＣＭＯＳカメラで反射光の到達時間を測定することにより、物体の各点までの距離すなわち物体の形状を測定する。フラッシュライダーは、完全なメカレスを実現可能にするが、光感受効率が低いため、遠方監視に適さない。例えば自動車において、前方物体を検出するためフラッシュライダーを組み込み、照射区域ごとに光強度を異なるものにする技術が公知となっている（特許文献２）。しかしながら、照射区域ごとに光強度を異なるものとしても、自動車に搭載可能な一般的な光源で遠方の物体を高精度で検出することは容易でない。
　以上のように様々なライダーが実用化されているが、従来のライダーは、簡易で安定した機構を採用しながら広い画角を確保しつつ近距離から遠距離まで広範囲に亘って高精度の計測を可能にするとは言い難いものである。特に自動運転に適用する場合、安全性確保の観点からは、狭い画角で遠距離から広い画角で近距離までといった多様な状況において高精度で距離計測できることが重要になってくる。
特開２０１４－８５６４６号公報 特開２０１９－９５４５２号公報
「自動運転のための高精度センシング技術：環境認識、運転者検知と画像認識ＡＩプロセッサの実際」、室英夫（監修）、株式会社エヌ・ティー・エス、２０２０年
　本発明は、簡易で安定した構成によって、狭い画角で遠距離から広い画角で近距離まで高精度の計測を可能にすることができる３次元計測装置を提供することを目的とする。
　上記課題を解決するため、本発明に係る３次元計測装置は、照射光を照射するとともに、照射光の反射によって形成される観察光を結像させる照射結像系と、照射結像系によって結像された観察画像を検出する画像検出部と、観察画像に基づいて生成された出力画像を表示する画像出力部と、観察画像に基づいて出力画像を生成するとともに、出力画像を生成する際に時間的要素を調整する画像処理を行う表示制御部とを備える画像変換装置と、画像変換装置の画像出力部に表示された出力画像を撮影する撮像装置と、撮像装置によって得た画像情報と画像変換装置から得たタイミング情報とに基づいて、検出された対象の３次元情報を決定する制御装置とを備える。
　上記３次元計測装置では、制御装置が画像変換装置の出力画像を撮影する撮像装置によって得た画像情報と画像変換装置から得たタイミング情報とに基づいて検出された対象の３次元情報を決定するので、画像変換装置によって時間的なフィルターをかけた着目する対象に対応する画像のみを抽出して３次元情報を得ることができる。これにより、狭い画角で遠距離を対象とする場合から、広い画角で近距離を対象とする場合までの多様な状況において、高精度の３次元計測が可能になる。
　本発明の具体的な側面又は態様では、上記３次元計測装置において、表示制御部は、画像出力部の局所的な領域において出力画像を表示させる。この場合、着目する対象に対応する局所的な画像のみを抽出して３次元情報を得ることができ、制御装置等における信号処理の負担を低減することができる。
　本発明の別の側面では、表示制御部は、画像検出部によって得た観察画像が所定以上の信号有為性を有する着目領域に対応する画像出力部の提示領域において出力画像を表示させる。信号有為性に限らず面積的な広がりが所定以上の場合に提示領域において出力画像を表示させることもできる。
　本発明のさらに別の側面では、制御装置は、検出された対象について、経時的な挙動を追跡する。
　本発明のさらに別の側面では、照射結像系と画像変換装置と撮像装置とを備える第１計測装置と、照射結像系と画像変換装置と撮像装置とを備える第２計測装置とを備え、第１計測装置と第２計測装置とは、所定方向に離間して配置され、制御装置は、第１計測装置の撮像装置によって得た第１画像情報と、第２計測装置の撮像装置によって得た第２画像情報とに基づいて、検出された対象までの距離を計測する。この場合、第１計測装置及び第２計測装置が単独で距離計測を行うだけでなく、第１計測装置及び第２計測装置間の視差を利用した距離計測が可能になり、特に近距離の物体について正確な距離を計測することができる。
本発明の第１実施形態に係る３次元計測装置を説明する概略図である。 図２Ａは、画像変換装置を説明する概念的な断面図であり、図２Ｂは、画像検出部の検出面における区分領域を示し、図２Ｃは、画像出力部の表示面における区分領域を示す。 図３Ａは、表示制御部を説明する機能的なブロック図であり、図３Ｂは、記憶部を説明する図である。 図４Ａ～図４Ｃは、３次元計測装置の動作を説明する図である。 第２実施形態に係る３次元計測装置を搭載した車両を説明する正面図である。 ３次元計測装置の構造を説明する概念図である。 ３次元計測装置による補完的な測距を説明する図である。 第３実施形態に係る３次元計測装置を説明する概略図である。
〔第１実施形態〕
　以下、図１等を参照しつつ、本発明の第１実施形態に係る３次元計測装置について説明する。
　第１実施形態の３次元計測装置１０は、照明光ＩＬを形成する光源装置２１と、照明光ＩＬを照射し観察光としての反射光ＲＬを結像させる結像系２３と、結像系２３によって形成された観察画像から出力画像を形成する画像変換装置４０と、出力画像を撮影して計測画像を取得する撮像装置５０と、同期制御及び信号処理を行う制御回路８１とを備える。ここで、光源装置２１及び結像系２３は、照射結像系３０として機能し、制御回路８１は、光源装置２１、画像変換装置４０、及び撮像装置５０を同期動作させ３次元計測情報を取得する制御装置８０として機能する。結像系２３と画像変換装置４０と撮像装置５０と制御回路８１とは、ケース１０ｂに収納されて相互に位置決めされた状態で固定されている。
　光源装置２１は、高輝度パルス固体レーザーであり、例えば波長１５５０ｎｍの赤外光を発生する。光源装置２１は、繰り返し周期が０．１～１ＭＨｚで、エネルギーが０．１～１ｍＪの照明光ＩＬを射出する。照明光ＩＬの射出周期は、計測距離のレンジに応じて設定され、照明光ＩＬのエネルギーは、反射光ＲＬの計測に必要となる検出レベルを考慮して設定される。
　結像系２３は、比較的遠方に存在する対象の像を精細に結像させる望遠鏡タイプの結像光学系であり、主鏡２３ａ、副鏡２３ｂ、補正レンズ２３ｃ、狭帯域光学フィルター２３ｄ、及びハーフミラー２３ｆで構成される。狭帯域光学フィルター２３ｄは、偏光フィルターに置き換えることができ、或いは偏光フィルターと組み合わせて使用することができる。ハーフミラー２３ｆにより、照明光ＩＬの光路と反射光ＲＬの光路とが同軸に配置される。結像系２３は、光源装置２１から射出された照明光ＩＬを画画の角度範囲に亘って均等に発散させ、画角内に存在する対象物からの反射光ＲＬを画像変換装置４０の検出面４２ａに結像させる。結像系２３は、反射光ＲＬの検出レベルを十分高くする観点からは、Ｆ値の小さな明るい光学系であることが望ましい。特に遠方の物体を検出する観点からすると、明るい光学系とする必要があり、画素密度又は分解能が高いこと望ましい。一方、近隣の物体を検出する観点からすると、明るさよりも画角を広くすることが望ましく、画素密度又は分解能を下げることができる。具体的な作製例では、結像系２３の視野角を１０度とし解像度を１分とした。結像系２３の解像度は、画像変換装置４０の画素ピッチも考慮して設定される。
　画像変換装置４０は、基板４１の一方面上に画像検出部４２を設け、基板４１の他方面上に画像出力部４３を設けた構造を有する。画像検出部４２は、結像系２３によって形成された観察画像を取り込み、画像出力部４３は、観察画像に対する信号処理によって得た出力画像を表示する。
　図２Ａに示すように、画像変換装置４０は、例えばＳＯＩ（Silicon On Insulator）タイプの積層型集積回路であり、Ｓｉウェハから形成された基板４１の第１面４１ａ上に、ＳＯＩ層として、画像検出部４２と第１表示制御回路４５ａとが形成され、基板４１の第２面４１ｂ上にＳＯＩ層として、画像出力部４３と第２表示制御回路４５ｂとが形成されている。第１表示制御回路４５ａと第２表示制御回路４５ｂとを組み合わせて表示制御部４５と呼ぶ。
　画像検出部４２は、ＩｎＧａＡｓ系の２次元センサーである。より詳細には、画像検出部４２は、ＩｎＧａＡｓ能動層、電極、配線その他で形成された集積回路を有しており、マトリックス状に配列されたＩｎＧａＡｓフォトダイオード（不図示）が画素として形成されるとともに、各フォトダイオードに付随してトランジスター等も形成され、これらの周囲にドライバー回路を付随させたものとなっている。ＩｎＧａＡｓ２次元センサーは、波長１５５０ｎｍにピーク感度を持たせることができ、ガイガーモードで動作させるデバイスとすれば、１光子感受も可能である。画像検出部４２をフォトンレベルでの光検出を可能にする光センサーとして用いることにより、２５０ｍ遠方からの反射光ＲＬであって透過率１％としても十分な撮像感度で検出可能となる。
　画像出力部４３は、例えば有機ＥＬ型表示素子であり、可視光画像を表示する。より詳細には、画像出力部４３は、有機ＥＬ層、電極、配線その他で形成された集積回路を有しており、マトリックス状に配列された有機ＥＬ発光素子（不図示）が画素として形成されるとともに、各有機ＥＬ発光素子に付随してトランジスター等も形成され、これらの周囲にドライバー回路を付随させたものとなっている。
　図２Ｂに示すように、画像検出部４２の検出面４２ａは、Ｙ方向にｍ（ｍは、自然数で、例えば１２）行で、Ｘ方向にｎ（ｎは、自然数で、例えば１２）列で、全体としてｍ行×ｎ列＝Ａ（例えば１４４個）チャンネルの区分領域ＡＲ１を有する。つまり、画像検出部４２は、Ａチャンネルの区分領域ＡＲ１単位で画像を検出する。図２Ｃに示すように、画像出力部４３の表示面４３ａは、Ｙ方向にｍ（例えば１２）行で、Ｘ方向にｎ（例えば１２）列で、全体としてｍ行×ｎ列＝Ａ（例えば１４４個）チャンネルの区分領域ＡＲ２を有する。つまり、画像出力部４３は、Ａチャンネルの区分領域ＡＲ２単位で画像を出力する。以上において、各区分領域ＡＲ１や各区分領域ＡＲ２は、Ｙ方向及びＸ方向についてｉ×ｊ（ｉ、ｊは、それぞれ自然数で、例えば８，１６である。）の行列で２次元配列された画素群で構成されている。
　詳細は後述するが、画像検出部４２の検出面４２ａを構成する各区分領域ＡＲ１において、画像変換の開始タイミングを設定するべく輝度信号が検出される。表示制御部４５は、画像検出部４２の各区分領域ＡＲ１において検出された輝度信号がいずれかの画素又は領域全体で所定の閾値以上である場合、画像出力部４３の表示面４３ａを構成する各区分領域ＡＲ２において各区分領域ＡＲ１で検出された観察画像に対応する出力画像を残像のように所定期間だけ表示させるための検出トリガーを画像出力部４３に対して出力する。検出トリガーは、観察画像が所定以上の信号有為性を有するか否かを判断するものであり、検出トリガーが出力された区分領域ＡＲ１やこれに対向する区分領域ＡＲ２は、着目領域であり、着目領域とされた区分領域ＡＲ２には、出力画像が表示される。ここで信号有為性とは、例えば区分領域ＡＲ１全体での検出信号のＳ／Ｎや画像を連結したクラスタ単位でのＳ／Ｎなどが所定の基準を超えて信頼性を持つことを意味する。着目領域とその発生時刻とを特定する検出トリガーは、測距のためのタイミング信号としても利用される。
　図２Ａを参照して、基板４１には、表示制御部４５の一部として、第１面４１ａ側の画像検出部４２と、第２面４１ｂ側の画像出力部４３とを繋ぐスルーホール４１ｈが形成されている。スルーホール４１ｈは、図２Ｂ及び２Ｃに示す区分領域ＡＲ１，ＡＲ２単位で１以上設けられており、画像検出部４２及び画像出力部４３の対向する区分領域ＡＲ１，ＡＲ２間で直接的にデータの授受を行うことができるようにし、信号の高速処理を可能にしている。なお、基板４１には、スルーホール４１ｈに限らず、各種機能を有する回路素子を埋め込むことができる。
　図３Ａを参照して、表示制御部４５は、図２Ａに示す画像検出部４２を動作させる検出駆動部１０１と、図２Ａに示す画像出力部４３を動作させる表示駆動部１０２と、観察画像や出力画像について信号処理を行うためのパラメータ等の情報を記憶する記憶部１０３と、検出駆動部１０１、表示駆動部１０２、及び記憶部１０３の動作を制御する主制御部１０５とを有する。画像検出部４２による検出画像のデータや、画像出力部４３のための出力画像のデータは、記憶部１０３を構成するフレームメモリーに一時的に蓄えられるが、利用されなかった検出画像や表示済みの出力画像に関するデータは順次消去される。
　主制御部１０５は、画像検出部４２の検出面４２ａで受けた画像を、所望の時間だけ遅延させた状態で画像出力部４３の表示面４３ａに表示させることができ、区分領域ＡＲ１，ＡＲ２のアドレスを指定することにより、目的とする区分領域ＡＲ１，ＡＲ２、具体的には検出面４２ａのいずれかの区分領域ＡＲ１によって観察画像が検出されると、この区分領域ＡＲ１に対向する表示面４３ａ側の区分領域ＡＲ２において対応する出力画像の表示を所定の遅延時間及び時間幅で行うことができる。これにより、撮像装置５０の性能に応じたタイミングでイメージ出力が可能になる。
　主制御部１０５は、閾値判定の弁別機能を有し、画像検出部４２の検出面４２ａで受けた画像をその場で弁別して、反射光ＲＬを検出した、つまり信号判定された区分領域ＡＲ１（つまり現出領域）のみに対応して、表示面４３ａ側の区分領域ＡＲ２において出力画像を選択的に表示させる。なお、反射光ＲＬは、不定期に入射する微弱な光であり、主制御部１０５が仮に弁別機能を有していなければ、画像検出部４２で検出した膨大な画像データを高速処理する必要が生じ、主制御部１０５等の信号処理回路の負担が大きくなる。
　主制御部１０５は、高度の信号処理機能（具体的には、信号検出アルゴリズム、画像処理機能等）を有していてもよい。主制御部１０５が高度の信号処理機能を有する場合、画像検出部４２の検出面４２ａで受けた画像から得た画像信号のノイズやバックグラウンドを除去することができ、ノイズに埋もれやすい微弱信号の選択的な抽出が容易になる。
　なお、区分領域ＡＲ１，ＡＲ２を構成する画素単位で閾値による弁別を行ったり、ノイズフィルタリングを行ったりすることもできるが、信号処理の負担軽減の観点からは、区分領域ＡＲ１，ＡＲ２単位で、閾値による弁別を行ったり、ノイズフィルタリングを行ったりすることが望ましい。
　図３Ｂに示すように、記憶部１０３は、取得画像記憶部１０３ａと、パラメータ記憶部１０３ｂと、補正画像記憶部１０３ｃとを有する。取得画像記憶部１０３ａは、画像検出部４２で検出した複数の画像又はフレームをデータとして記憶する。この画像は、例えば１０ｎｓ毎に取得され、各画像に通し番号が付与される。取得画像記憶部１０３ａには、例えば保存可能な画像数又はフレーム数が予め設定されており、抽出されなかった古い画像は一定期間毎に削除される。パラメータ記憶部１０３ｂには、表示制御部４５が画像検出部４２から検出トリガーを受け取った際に、主制御部１０５によって、検出トリガーに対応する区分領域ＡＲ１，ＡＲ２のアドレス情報（すなわち位置的情報）が一時的に保管され、画像出力部４３で表示される画像の表示位置に反映される。また、パラメータ記憶部１０３ｂは、アドレス情報の他に、画像検出部４２による検出に対する画像出力部４３による表示の遅延時間や時間幅を規定する表示タイミング情報も保管される。補正画像記憶部１０３ｃは、アドレス情報及び表示タイミング情報によって特定された出力画像であって画像出力部４３での表示動作に適合するように主制御部１０５によって補正処理がなされた補正画像を一時記憶する。この際、補正画像は、増幅、ノイズ除去等の画像処理が行われたものであってもよい。なお、表示タイミング情報や補正処理のパラメータについては、制御回路８１から修正を加えることもでき、制御回路８１によって画像変換装置４０の動作を管理することができる。
　図１に戻って、撮像装置５０は、ＣＭＯＳ型の撮像カメラである。撮像装置５０は、制御回路８１の制御下で動作し、画像出力部４３の表示面４３ａに形成された可視域の出力画像を撮影し出力画像に対応する計測画像を得ることができる。撮像装置５０は、リレーレンズ５１と画像センサー５２とを有するが、リレーレンズ５１は、ファイバーバンドルに置き換えることができ、或いは画像出力部４３の表示面４３ａに画像センサー５２を近接させることもできる。撮像装置５０としては、例えば信号判定された画素領域のみ独立に露光読出しできるＦＳＴ（Fine Sensor with Trigger; FST）を用いることができ、この場合、画像変換装置４０又は画像出力部４３と同期した出力画像の高精細な撮影が可能になる。
　制御回路８１は、コンピュータ又はマイクロプロセッサであり、光源装置２１に対して発光トリガーＴＧ１を出力し、光源装置２１の発光タイミングを制御する。制御回路８１は、画像変換装置４０から出力される検出トリガーＴＧ２に基づいて撮像装置５０を同期動作させ画像変換装置４０の出力画像を高精細で撮影した計測画像を取得する。発光トリガーＴＧ１は、例えばｋＨｚ頻度で出力され、光源装置２１から照明光ＩＬを周期的に射出させ、結像系２３の正面方向の対象エリアを照明する。制御回路８１は、対象からの反射光ＲＬが入射する画像変換装置４０によって検出され出力される検出トリガーＴＧ２を１０ｎｓ程度の精度で検出する。発光トリガーＴＧ１と検出トリガーＴＧ２とのタイミング差は、反射光ＲＬを生じさせる対象までの距離に対応する。ゆえに、（１）画像変換装置４０によって検出トリガーＴＧ２に関連させて出力される出力画像を撮像装置５０によって取り込んだ計測画像と、（２）発光トリガーＴＧ１と検出トリガーＴＧ２とのタイミング差とを組み合わせることにより、検出パターンと検出パターンまでの距離とを要素とする距離画像（つまり３次元計測情報）を得ることができる。
　図４Ａ～４Ｂを参照して、図１等に示す３次元計測装置１０の動作について説明する。図４Ａは、照射結像系３０によって形成される照明光ＩＬや照射結像系３０によって観測される反射光ＲＬを例示し、図４Ｂは、画像変換装置４０による処理を示し、図４Ｃは、撮像装置５０の動作を示す。光源装置２１は、制御回路８１からの発光トリガーＴＧ１に応じて照明光ＩＬを周期的に射出する。照明光ＩＬは、結像系２３の前方を照明し、前方に物体が存在する場合、物体で反射された反射光ＲＬが結像系２３によって結像され、画像変換装置４０の画像検出部４２に観察画像Ｉ１を形成し、画像変換装置４０は、画像出力部４３に出力画像Ｉ２を表示する。この際、出力画像Ｉ２は、観察画像Ｉ１に対して所定の遅延時間ＤＴだけ遅延し所定の時間幅を有するものとなる。また、出力画像Ｉ２は、観察画像Ｉ１から反射光ＲＬを検出した局所的な領域である特定の区分領域ＡＲ１に対応する画像だけを空間的に切り出したものとなり、観察画像Ｉ１から反射光ＲＬを検出した時間帯だけを抽出したものとなる。撮像装置５０によって撮影される計測画像Ｉ３は、画像変換装置４０によって時間的及び空間的なフィルターがかけられ、一般的な画像処理に適合するものとなる。この計測画像Ｉ３は、発光トリガーＴＧ１と検出トリガーＴＧ２とのタイミング差（タイミング情報）ΔＴが距離情報として付帯されることで距離画像として機能する。つまり、撮像装置５０によって撮影される画像情報は、タイミング差ΔＴ等を含むタイミング情報と組み合わせることによって距離画像となる。かかる距離画像は、反射光ＲＬを発生させた物体の輪郭、サイズ、移動速度等の情報を与える。これにより、制御回路８１は、反射光ＲＬを発生させた物体の経時的な挙動を追跡することができる。
　計測画像Ｉ３は、区分領域ＡＲ２ごとに処理される。この際、撮像装置５０によって取得される情報は、表示される区分領域ＡＲ２ごとの遅延時間ΔＴと、表示される区分領域ＡＲ２における２次元的な画素情報Ｆ（Ｘ，Ｙ，Ｉ）とを含む。ここで、Ｘ，Ｙは画素位置を示し、Ｉは画素位置ごとの輝度を示す。いずれかの区分領域ＡＲ２において、複数の遅延時間ΔＴが検出される場合も想定される。この場合、画素情報Ｆ（Ｘ，Ｙ，Ｉ）中に複数の物体に対応する画像が含まれていることになる。取得した画像において、複数のオブジェクト（特異的な画素群）として区別することができる領域がある場合であって、複数のオブジェクト間に十分な輝度差がある場合、輝度Ｉが大きいオブジェクトは、遅延時間ΔＴが小さい近方の物体に相当し、輝度Ｉが小さいオブジェクトは、遅延時間ΔＴが大きい遠方の物体に相当する、と判断される。このように、遅延時間ΔＴと画素情報Ｆ（Ｘ，Ｙ，Ｉ）とを組み合わせることによって、前方物体に関する詳細な情報を取得することができる。
　以上で説明した第１実施形態の３次元計測装置１０では、制御装置８０の制御回路８１が画像変換装置４０の出力画像Ｉ２を撮影する撮像装置５０によって得た画像情報である計測画像Ｉ３と画像変換装置４０から得たタイミング情報とに基づいて検出された対象の３次元情報を決定するので、画像変換装置４０によって時間的なフィルターをかけた着目する対象に対応する画像のみを抽出して３次元情報を得ることができる。これにより、狭い画角で遠距離を対象とする場合から、広い画角で近距離を対象とする場合までの多様な状況において、高精度の３次元計測が可能になる。
〔第２実施形態〕
　以下、第２実施形態に係る３次元計測装置について説明する。第２実施形態の３次元計測装置は、第１実施形態の３次元計測装置の変形例であり、共通する部分については同一の符号を付して重複説明を省略する。
　図５を参照して、３次元計測装置１１０は、車両ＣＡに搭載される。３次元計測装置１１０は、第１計測装置１１０Ａと第２計測装置１１０Ｂとを含み、これらの計測装置１１０Ａ，１１０Ｂは、ヘッドライトＨＬの周辺に組み込まれており、所定方向である横方向に離間して配置されている。
　図６に示すように、３次元計測装置１１０は、第１計測装置１１０Ａと、第２計測装置１１０Ｂと、統括制御装置８２とを備える。第１計測装置１１０Ａは、照射結像系３０と画像変換装置４０と撮像装置５０とを含む。第２計測装置１１０Ｂも、照射結像系３０と画像変換装置４０と撮像装置５０とを含む。第１計測装置１１０Ａと第２計測装置１１０Ｂとは、同一の構造を有し、独立して距離画像を取得する。統括制御装置８２は、制御装置として、第１計測装置１１０Ａから得た第１画像情報ＩＧ１と第２計測装置１１０Ｂから得た第２画像情報ＩＧ２とを統合して処理する。
　図７に示すように、第１計測装置１１０Ａと第２計測装置１１０Ｂとの前方に人のような物体ＯＢが存在するとして、第１計測装置１１０Ａの光軸ＡＸに対する物体ＯＢの方位θ１と、第２計測装置１１０Ｂの光軸ＡＸに対する物体ＯＢの方位θ２との差である視差θは、計測装置１１０Ａ，１１０Ｂの間隔が既知として、３次元計測装置１１０から物体ＯＢまでの距離を与える。このため、統括制御装置８２は、第１計測装置１１０Ａから得た第１画像情報ＩＧ１からオブジェクト抽出を行い、第２計測装置１１０Ｂから得た第２画像情報ＩＧ２からオブジェクト抽出を行い、相互間で距離が略一致し、かつ、相互間で輪郭形状も略一致する一対のオブジェクト画像を決定し、これらのオブジェクト画像の相対的配置関係から、オブジェクト画像に対応する物体ＯＢまでの距離を決定する。
　第１計測装置１１０Ａと第２計測装置１１０Ｂとの視差を利用する距離測定は、第１計測装置１１０Ａ又は第２計測装置１１０Ｂにおいて単独で取得される距離画像中のオブジェクト抽出又は距離測定を補完するものとして利用することができる。視差を利用する距離測定は、比較的近距離にある物体ＯＢに対しての高精度の計測値を与える。
　以上で説明した第２実施形態の３次元計測装置１１０では、制御装置である統括制御装置８２が、第１計測装置１１０Ａの撮像装置５０によって得た第１画像情報ＩＧ１と、第２計測装置１１０Ｂの撮像装置５０によって得た第２画像情報ＩＧ２とに基づいて、検出された対象までの距離を計測する。この場合、第１計測装置１１０Ａ及び第２計測装置１１０Ｂが単独で距離計測を行うだけでなく、第１計測装置１１０Ａ及び第２計測装置１１０Ｂ間の視差を利用した距離計測を行うので、特に近距離の物体ＯＢについて正確な距離を計測することができる。
〔第３実施形態〕
　以下、第３実施形態に係る３次元計測装置について説明する。第３実施形態の３次元計測装置は、第１実施形態の３次元計測装置の変形例であり、共通する部分については同一の符号を付して重複説明を省略する。
　図８に示すように、第３実施形態の場合、照射系３５が結像系２３から独立しており、照射系３５は、ケース１０ｂの外側近傍にケース１０ｂに対して位置決めされた状態で固定されている。照射系３５と結像系２３とを組み合わせたものを照射結像系３３０と呼ぶ。照射系３５は、結像系２３と同軸で、光源装置２１とビームエキスパンダ３５ｂとを備える。ビームエキスパンダ３５ｂは、光源装置２１から射出されたレーザー光を所望の発散角の均一な照明光ＩＬとして前方の対象に照射する。
　以上実施形態に即して本発明を説明したが、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
　上記実施形態において、照射結像系３０の構成は単なる例示であり、各部を様々な公知の光学系、光学素子に置き換えることができる。
　画像変換装置４０は、画像検出部４２や画像出力部４３を有するが、これらは張り合わせるように接合されるものに限らず、分離して配置することができ、観察画像Ｉ１と出力画像Ｉ２とは、互いにサイズが異なるものであってもよい。
　３次元計測装置１０を複数組み合わせる場合には、視差測距可能性を持たせることを目的とするものに限らず、例えば中距離と遠距離とに役割分担を持たせることもできる。この場合、一方の３次元計測装置１０を、遠距離用の高精細な結像系や検出系で構成し、他方の３次元計測装置１０を、近距離用の高画角の結像系や検出系で構成する。また、複数の方位領域を個々に分担する複数の３次元計測装置１０によってより広画角をカバーする３次元計測装置を実現することもできる。
　３次元計測装置１１０は、車両ＣＡに搭載されるものに限らず、様々な装置に搭載することができる。

Claims (5)

  1. 　照射光を照射するとともに、前記照射光の反射によって形成される観察光を結像させる照射結像系と、
    　前記照射結像系によって結像された観察画像を検出する画像検出部と、前記観察画像に基づいて生成された出力画像を表示する画像出力部と、前記観察画像に基づいて前記出力画像を生成するとともに、前記出力画像を生成する際に時間的要素を調整する画像処理を行う表示制御部とを備える画像変換装置と、
    　前記画像変換装置の前記画像出力部に表示された前記出力画像を撮影する撮像装置と、
    　前記撮像装置によって得た画像情報と前記画像変換装置から得たタイミング情報とに基づいて、検出された対象の３次元情報を決定する制御装置と
    を備える３次元計測装置。
  2. 　前記表示制御部は、前記画像出力部の局所的な領域において前記出力画像を表示させる、請求項１に記載の３次元計測装置。
  3. 　前記表示制御部は、前記画像検出部によって得た前記観察画像が所定以上の信号有為性を有する着目領域に対応する前記画像出力部の提示領域において前記出力画像を表示させる、請求項２に記載の３次元計測装置。
  4. 　前記制御装置は、前記検出された対象について、経時的な挙動を追跡する、請求項１～３のいずれか一項に記載の３次元計測装置。
  5. 　前記照射結像系と前記画像変換装置と前記撮像装置とを備える第１計測装置と、前記照射結像系と前記画像変換装置と前記撮像装置とを備える第２計測装置とを備え、
    　前記第１計測装置と前記第２計測装置とは、所定方向に離間して配置され、
    　前記制御装置は、前記第１計測装置の前記撮像装置によって得た第１画像情報と、前記第２計測装置の前記撮像装置によって得た第２画像情報とに基づいて、検出された対象までの距離を計測する、請求項１～４のいずれか一項に記載の３次元計測装置。
PCT/JP2022/012439 2021-03-17 2022-03-17 ３次元計測装置 WO2022196779A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023507191A JPWO2022196779A1 (ja) 2021-03-17 2022-03-17

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021044179 2021-03-17
JP2021-044179 2021-03-17

Publications (1)

Publication Number Publication Date
WO2022196779A1 true WO2022196779A1 (ja) 2022-09-22

Family

ID=83321097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012439 WO2022196779A1 (ja) 2021-03-17 2022-03-17 ３次元計測装置

Country Status (2)

Country Link
JP (1) JPWO2022196779A1 (ja)
WO (1) WO2022196779A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016080572A (ja) * 2014-10-20 2016-05-16 朝日航洋株式会社 レーザ計測システム
JP2017121061A (ja) * 2015-12-30 2017-07-06 真人 佐々木 画像変換装置及び撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016080572A (ja) * 2014-10-20 2016-05-16 朝日航洋株式会社 レーザ計測システム
JP2017121061A (ja) * 2015-12-30 2017-07-06 真人 佐々木 画像変換装置及び撮像装置

Also Published As

Publication number Publication date
JPWO2022196779A1 (ja) 2022-09-22

Similar Documents

Publication Publication Date Title
US11940535B2 (en) Multi-pulse LIDAR system for multi-dimensional detection of objects
US10884129B2 (en) Detecting system fusing lidar point cloud and image
JP4405154B2 (ja) イメージングシステムおよび物体の画像を取得する方法
JP2021105611A (ja) 同期スピニングｌｉｄａｒおよびローリングシャッターカメラシステム
KR102020037B1 (ko) 하이브리드 라이다 스캐너
US20150204977A1 (en) Object detection device and sensing apparatus
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
KR20180073571A (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
CN111465819B (zh) 借助伪随机图案序列的投射以及立体摄像模块的三维环境感测
IL266025A (en) Vehicle environment modulation system
JP2002139304A (ja) 距離測定装置、及び距離測定方法
US8547531B2 (en) Imaging device
GB2374743A (en) Surface profile measurement
JP7348414B2 (ja) ライダー計測においてブルーミングを認識するための方法及び装置
US20200241140A1 (en) Apparatus and method
WO2022196779A1 (ja) ３次元計測装置
CN108885260B (zh) 具有单轴扫描的渡越时间探测器
JPH11280378A (ja) シールド掘進機におけるテール部のクリアランス計測方法および計測装置
US20220091236A1 (en) Techniques for detecting and mitigating interference among multiple lidar sensors
WO2015145599A1 (ja) 映像投影装置
US20240019244A1 (en) Shape measuring system
CN216211121U (zh) 深度信息测量装置以及电子设备
JPH04110706A (ja) 三次元形状データ取込み装置
US20240061090A1 (en) Time-of-flight demodulation circuitry, time-of-flight demodulation method, time-of-flight imaging apparatus, time-of-flight imaging apparatus control method
CN220584396U (zh) 一种固态激光雷达测量系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22771524

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023507191

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22771524

Country of ref document: EP

Kind code of ref document: A1