WO2021006338A1 - 3次元センシングシステム - Google Patents

3次元センシングシステム Download PDF

Info

Publication number
WO2021006338A1
WO2021006338A1 PCT/JP2020/027059 JP2020027059W WO2021006338A1 WO 2021006338 A1 WO2021006338 A1 WO 2021006338A1 JP 2020027059 W JP2020027059 W JP 2020027059W WO 2021006338 A1 WO2021006338 A1 WO 2021006338A1
Authority
WO
WIPO (PCT)
Prior art keywords
operation mode
unit
sensing system
photonic crystal
light
Prior art date
Application number
PCT/JP2020/027059
Other languages
English (en)
French (fr)
Inventor
野田 進
琢也 久志本
ゾイサ メーナカ デ
田中 良典
賢司 石崎
宮井 英次
渡 國師
Original Assignee
ローム株式会社
国立大学法人京都大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020059842A external-priority patent/JP2021015113A/ja
Application filed by ローム株式会社, 国立大学法人京都大学 filed Critical ローム株式会社
Priority to DE112020003295.7T priority Critical patent/DE112020003295T5/de
Publication of WO2021006338A1 publication Critical patent/WO2021006338A1/ja
Priority to US17/569,922 priority patent/US20220128696A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/10Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
    • H01S5/12Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region the resonator having a periodic structure, e.g. in distributed feedback [DFB] lasers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/10Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
    • H01S5/18Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • This embodiment relates to a three-dimensional sensing system.
  • a radar device has been proposed that detects the distance and shape of the object to be measured that exists around the vehicle.
  • a conventional radar device using a LiDAR (Light Detection and Ringing) method involves a mechanical moving part for beam scanning, and therefore has problems in size, weight, accuracy, reliability, life, and the like.
  • LiDAR Light Detection and Ringing
  • a mechanical moving part for beam scanning and therefore has problems in size, weight, accuracy, reliability, life, and the like.
  • size and weight are often imposed due to the space that can be mounted, and it is not possible to meet all the requirements at the same time. difficult.
  • a drive circuit for beam scanning and its control circuit are required.
  • a mechanism / circuit for monitoring the beam emission direction is also required.
  • the beam arrival time density at both ends of the scan is high, and the time density at the central part, which is of great interest in sensing, is low. Further, it is desirable that the detection area can be changed according to the movement situation and the environment, and only that area can be scanned, or a plurality of areas can be scanned at the same time, but it is difficult to cope with it by a simple beam scanning technique.
  • flash lidar Flash Lidar
  • flash Lidar flash Lidar
  • the structured light method that uses light pattern projection is also not suitable for long-distance sensing. Although they are common in that they use a light source and an image sensor, they cannot be shared because the requirements for the light source are different.
  • a photonic crystal plane emitting laser has been proposed as a next-generation semiconductor laser light source.
  • This embodiment provides a three-dimensional sensing system that has high accuracy, high output, miniaturization, and robustness, is highly adaptable to a sensing area and a sensing target, and can support a plurality of sensing modes.
  • the photonic crystal laser array in which the photonic crystal laser element is arranged on a plane a control unit that controls the operation mode of the laser light source, and the control unit controlled by the control unit.
  • a drive unit that controls the drive of the photonic crystal laser array according to the operation mode a light receiving unit that receives the reflected light reflected by the laser light emitted from the photonic crystal laser array, and the operation mode.
  • the signal processing unit that processes the reflected light received by the light receiving unit and the signal processed by the signal processing unit according to the operation mode the distance to the measurement target is calculated.
  • a three-dimensional sensing system including a distance calculation unit that outputs the calculation result as distance data is provided.
  • a signal transmission unit including a two-dimensional photonic crystal surface emitting laser cell array that emits laser light to the measurement object and the measurement object that is emitted from the signal transmission unit.
  • a signal receiving unit including an optical system and an image sensor for receiving the reflected light reflected by the laser beam, a control unit for controlling the operation mode of the laser light source, and the two-dimensional photonic crystal surface emitting laser cell array emitted from the laser array.
  • the drive control of the two-dimensional photonic crystal surface emitting laser cell array is performed based on the transmission direction recognition unit that recognizes the emission direction of the laser light and the emission direction of the laser light recognized by the transmission direction recognition unit according to the operation mode.
  • a three-dimensional sensing system including a signal processing unit is provided.
  • a flash light source that emits laser light to the entire surface of a specific region and a two-dimensional photonic that emits laser light to a target region of the specific region.
  • Crystal plane light emitting laser cell array a control unit that controls the operation mode of the laser light source, a flash drive unit that controls the drive of the flash light source according to the operation mode controlled by the control unit, and the two-dimensional photonic crystal plane.
  • the two-dimensional photonic crystal cell array drive unit that controls the drive of the light emitting laser cell array and the laser light emitted from the flash light source receive the reflected light reflected by the measurement object included in the specific region, and the above 2
  • a signal receiving unit that receives the reflected light emitted from the dimensional photonic crystal plane emitting laser cell array and reflected by the measurement object included in the target region, and the signal receiving unit receives the light according to the operation mode.
  • a signal processing unit that processes the reflected light as a signal, and a distance detection unit that calculates the distance to the measurement target for the signal processed by the signal processing unit according to the operation mode.
  • the signal processing unit determines whether or not there is a region in the specific region where the signal-to-noise ratio of the reflected light emitted from the flash light source and reflected is lower than a predetermined threshold value, and the signal-to-noise ratio.
  • the signal processing unit aims at only a region where the signal-to-noise ratio is lower than the predetermined threshold, and spots the two-dimensional photonic crystal plane emitting laser cell array.
  • a three-dimensional sensing system that controls the two-dimensional photonic crystal cell array driving unit so as to irradiate the laser beam is provided.
  • a three-dimensional sensing system having high accuracy, high output, miniaturization, and robustness, highly adaptable to a sensing area and a sensing target, and capable of supporting a plurality of sensing modes is provided. be able to.
  • FIG. 6 is a schematic bird's-eye view of a two-dimensional photonic crystal plane emitting laser cell applicable to the three-dimensional sensing system according to the present embodiment.
  • FB laser light C
  • Diagram In the two-dimensional photonic crystal surface emitting laser cell applicable to the three-dimensional sensing system according to the present embodiment, (a) as lattice points in which pores (different refractive index regions) are arranged in the two-dimensional photonic crystal layer.
  • FIG. (a) a schematic output characteristic showing the relationship between the laser light intensity L of the emitted lights A and B and the injection current I.
  • FIG. (B) is a schematic configuration diagram of a configuration including a transparent electrode (or DBR layer) that transmits laser light C (FB) for feedback and a photodiode 118PD that detects laser light C (FB) on the back surface.
  • FIG. 6 is a schematic block configuration diagram illustrating a feedback control mechanism in which a two-dimensional photonic crystal plane emitting laser cell array and a two-dimensional photodiode cell array are combined in the three-dimensional sensing system according to the present embodiment.
  • FIG. 6 is a schematic configuration diagram illustrating a feedback control mechanism in which a two-dimensional photonic crystal plane emitting laser cell array and a two-dimensional photodiode cell array are laminated and combined via a transparent electrode in the three-dimensional sensing system according to the present embodiment.
  • an operation flowchart illustrating a distance calculation procedure for three operation modes.
  • FIG. 3 is an operation flowchart illustrating three operation modes in the three-dimensional sensing system according to the present embodiment.
  • the LiDAR operation mode of the three-dimensional sensing system according to the present embodiment (a) a schematic diagram illustrating an operation principle of detecting reflected light RA and RB with respect to emitted light A and B by an image sensor, and (b) reflected light RA. , Conceptual diagram of an image sensor that detects RB.
  • the flash LiDAR operation mode of the three-dimensional sensing system according to the present embodiment (a) a schematic diagram illustrating an operation principle of detecting reflected light RFL with respect to emitted light FL with an image sensor, and (b) detecting reflected light RFL.
  • the image sensor (a) a schematic diagram illustrating an operation principle of detecting reflected light RFL with respect to emitted light FL with an image sensor, and (b) detecting reflected light RFL.
  • FIG. 5 is a flowchart of a LiDAR operation mode in the three-dimensional sensing system according to the present embodiment.
  • FIG. 5 is a flowchart of a flash LiDAR operation mode in the three-dimensional sensing system according to the present embodiment.
  • FIG. 5 is a flowchart of an optical cutting method operation mode in the three-dimensional sensing system according to the present embodiment.
  • the schematic block block diagram of the 3D sensing system which concerns on this embodiment.
  • FIG. 6 is a schematic block configuration diagram of a three-dimensional sensing system according to the first modification of the present embodiment.
  • FIG. 6 is a schematic block configuration diagram of a two-dimensional photonic crystal cell array drive unit applicable to the three-dimensional sensing system according to the present embodiment.
  • FIG. 6 is a schematic block configuration diagram of a three-dimensional sensing system according to the second modification of the present embodiment. Another schematic block configuration diagram of the three-dimensional sensing system according to the second modification of the present embodiment.
  • FIG. 6 is a schematic block configuration diagram of a time-of-flight (TOF) ranging system according to a modification 3 of the present embodiment.
  • FIG. 6 is a schematic block configuration diagram of an image sensor (area) applicable to the three-dimensional sensing system according to the present embodiment.
  • A Schematic diagram of a twin beam arrangement example emitted from a two-dimensional photonic crystal plane emitting laser cell array applicable to the three-dimensional sensing system according to the present embodiment
  • FIG. 1 Schematic diagram of a beam arrangement example using a most densely packed circle pattern, which is a dual beam arrangement example emitted from a two-dimensional photonic crystal plane emitting laser cell array applicable to the three-dimensional sensing system according to the present embodiment. ..
  • a dual beam example using the densest packing pattern of a circle emitted from a two-dimensional photonic crystal plane emitting laser cell array applicable to the three-dimensional sensing system according to the present embodiment (a) a spherical surface representing a sensing range. Explanatory drawing of maximum horizontal angle MHD and maximum vertical angle MVD in some parts, (b) explanatory view of equilateral triangle arrangement representing beam divergence angle BDA and beam center position, (c) example of laser beam arrangement.
  • FIG. 30 (a) a schematic diagram of a light receiving system (16, 18) that receives reflected light R, and (b) a schematic diagram of an image sensor of FIG. 30 (a). It is a schematic diagram explaining an example in which the light intensity differs depending on the direction (position) even if the equal current value is injected into each cell of the 2D photonic crystal plane emission laser cell array in the 3D sensing system which concerns on the comparative example.
  • B Another configuration example of the electrode arrangement that realizes scanning in the uniaxial direction.
  • An example of emission beam control of a two-dimensional photonic crystal plane emitting laser cell array applicable to the three-dimensional sensing system according to the present embodiment (a) a configuration example of an electrode arrangement that realizes biaxial scanning, ( b) Schematic diagram of the scanning direction.
  • An example of emission beam control of a two-dimensional photonic crystal plane emitting laser cell array applicable to the three-dimensional sensing system according to the present embodiment wherein (a) a configuration example of an electrode arrangement that realizes rotational scanning, and (b) scanning. Schematic diagram of the direction.
  • a plan view showing a state in which the optical resonance state forming lattice 212A is arranged (b) a plan view showing a state in which the light emitting lattice 212B is arranged, and (c) a plan view showing a state in which the upper electrode 252 is arranged.
  • a conceptual diagram of a combined operation mode of a flash operation mode and a LiDAR operation mode The operation flowchart of the flash LiDAR system which concerns on a comparative example.
  • the operation flowchart of the combined operation mode of the flash operation mode and the LiDAR operation mode In the three-dimensional sensing system according to the present embodiment, it is an example of a photonic crystal laser light source for full-scale irradiation, and is a schematic view of a cross section of an example of an irradiation pattern.
  • the three-dimensional sensing system it is an example of a photonic crystal laser light source for full-scale irradiation, and is a schematic view of an irradiation surface of an irradiation pattern example.
  • a schematic block configuration diagram of a combined operation mode of a flash operation mode and a LiDAR operation mode In the 3D sensing system according to the present embodiment, another schematic block configuration diagram of a combined operation mode of a flash operation mode and a LiDAR operation mode.
  • FIG. 6 is a schematic block configuration diagram of a combined operation mode of a flash operation mode and a LiDAR operation mode in the three-dimensional sensing system according to the fourth modification of the present embodiment.
  • FIG. 3 is another schematic block configuration diagram of a combined operation mode of a flash operation mode and a LiDAR operation mode in the three-dimensional sensing system according to the fourth modification of the present embodiment.
  • FIG. 6 is a schematic block configuration diagram of a combined operation mode of a flash operation mode and a LiDAR operation mode in the three-dimensional sensing system according to the fifth modification of the present embodiment.
  • FIG. 3 is another schematic block configuration diagram of a combined operation mode of a flash operation mode and a LiDAR operation mode in the three-dimensional sensing system according to the fifth modification of the present embodiment.
  • FIG. 6 is a schematic block configuration diagram of a time-of-flight (TOF) ranging system in a combined operation mode of a flash operation mode and a LiDAR operation mode in the three-dimensional sensing system according to the sixth modification of the present embodiment.
  • TOF time-of-flight
  • the present embodiment discloses a two-dimensional photonic crystal plane emitting laser element and a three-dimensional sensing system by combining the two-dimensional arraying element and the image pickup element.
  • the three-dimensional sensing system calculates the distance and the direction by irradiating the laser beam radially and receiving the scattered light from the measurement object.
  • the photonic crystal has a flexible controllability of the laser beam, and therefore, the beam direction (the emission direction of the laser beam) can be freely controlled without providing a mechanical operating unit (solid state).
  • photonic crystals such as flexible light emission control function (time, intensity, direction), high output, high quality beam, small size, robustness (hard to break), and low cost. It makes it possible to realize a light source for dimensional sensing.
  • a symmetrical emission beam control method (a beam arrangement design method for satisfying the region to be sensed and a corresponding emission pattern control (single emission in the normal direction of the device), which is a feature of the photonic crystal laser. (Including the case of the beam of)))
  • the following three sensing modes (1) to (3) can be configured by one three-dimensional sensing system by changing the operation mode of the laser light source.
  • LiDAR A sensing mode (beam scanning type) that emits laser light in a certain direction, captures reflected light from a measurement target, and calculates the distance to the measurement target for each beam.
  • Flash LiDAR A certain area (sensing space) is irradiated with light for a certain period of time, scattered light from an object to be measured is received by an image sensor, and the irradiation area is set based on the return time of each pixel of the image sensor. Sensing mode (flash type) that calculates the distance to the object to be measured.
  • Sensing mode flash type
  • Structured Light projection A certain light pattern is irradiated on the measurement object, matching is performed between the image of the pattern and the image obtained by the image sensor, and the distance of the measurement object is calculated. Sensing mode.
  • the beam (transmitted signal) is scanned within the range to detect the object to be measured, the scattered reflected light (reflected signal) from the object to be measured is captured, and the light emitted in which direction is not reflected.
  • the direction is calculated by recognizing the light, and the distance is calculated from the time until it reflects and returns (TOF (Time of Flight)).
  • Various technologies related to laser radar are devised for signal processing logic for calculating distance and direction, beam scanning method corresponding to it, and spatial modulation method for realizing the scanning.
  • a method such as a polygon mirror, a galvano mirror, a MEMS (Micro Electro Mechanical Systems), an array of laser light sources (such as a Vertical Cavity Surface Emitting Laser (VCSEL)), and lighting control of them.
  • VCSEL Vertical Cavity Surface Emitting Laser
  • there is a method such as an optical phased array.
  • the array-shaped light receiving elements can distinguish the reflected light from a plurality of laser beams, and also function as a flashrider. Further, even in the flash type sensing mode, it is possible to sense only a certain area.
  • the light emission control function of the three-dimensional sensing system has a high affinity with software control (program control) (sensing area, cooperative operation of multiple systems, learning control), and therefore is adapted by incorporating the learning function and the like. It can easily handle type sensing. With these features, it is possible to easily support applications such as coding of an emitted beam and linked operation of a plurality of systems.
  • the three-dimensional sensing system according to this embodiment is a solid-state type, is small and hard to break, and has a wide range of installation locations. In addition, it is resistant to noise and interference (utilizes excellent controllability in hardware and software).
  • the light emitting portion of the three-dimensional sensing system does not require a beam scanning mechanism, it is as large as a semiconductor package and also requires an optical system (colimating optical system) for converging the emitted beam. Absent. Therefore, it is possible to emit light in any direction under independent driving conditions, and it is also possible to cooperate with a plurality of devices. Further, since a beam scanning mechanism such as a rotating mirror or a MEMS mirror required for LiDAR application is not required, a system that is ultra-compact, robust, and can be installed anywhere can be realized.
  • FIG. 1 illustrates a schematic bird's-eye view configuration of a two-dimensional photonic crystal surface emitting laser 120 applicable to the three-dimensional sensing system according to the present embodiment
  • FIG. 2 shows the two-dimensional photonic crystal surface emitting laser 120.
  • a schematic bird's-eye view configuration is illustrated in which a transparent electrode 251T that transmits a laser beam C (FB) for feedback is provided on the back surface of the laser 120.
  • FB laser beam C
  • FIGS. 1 and 2 schematically explain how laser light A and B are emitted from the front surface and laser light C (FB) for feedback is emitted from the back surface.
  • FB laser light C
  • the photonic crystal laser applicable to the three-dimensional sensing system according to the present embodiment includes a transparent electrode 251T, a lower substrate 241, a first clad layer 231 and a two-dimensional photonic crystal layer 221 and an active layer 222. , The second clad layer 232, the upper substrate 242, and the window-shaped electrode 252 are laminated in this order.
  • the laser beam (laser light A, B) passes through the cavity (window) provided in the central portion of the window electrode 252 and is on the window electrode 252 side of the upper substrate 242. The laser is emitted in a direction inclined by the emission angle ⁇ from the perpendicular to the surface of the.
  • the order of the two-dimensional photonic crystal layer 221 and the active layer 222 may be reversed from the above. Further, in the present embodiment, the terms “upper” and “lower” are used for convenience, but these terms do not define the orientation (up and down) when the photonic crystal laser is actually used.
  • the lower substrate 241 is a p-type semiconductor gallium arsenide (GaAs)
  • the upper substrate 242 is an n-type GaAs
  • the first clad layer 231 is a p-type semiconductor aluminum gallium arsenide (AlGaAs).
  • AlGaAs p-type semiconductor aluminum gallium arsenide
  • n-type AlGaAs is used for the second clad layer 232, respectively.
  • the active layer 222 a layer having a multiple-quantum well (MQW) composed of indium gallium arsenide / gallium arsenide (InGaAs / GaAs) is used.
  • MQW multiple-quantum well
  • Gold is used as the material for the window electrode 252.
  • SnO 2 , In 2 O 3 and the like are used as the material of the transparent electrode 251T.
  • a DBR (Distributed Bragg Reflector) layer capable of transmitting laser light, which has a multilayer structure of an insulating layer, can also be used.
  • the material of each of these layers is not limited to the above, and the material of each layer used in the conventional photonic crystal surface emitting laser can be used as it is. Further, another layer such as a spacer layer may be interposed between the above layers.
  • the two-dimensional photonic crystal layer 221 is formed by periodically arranging pores (different refractive index regions) 211 in a plate-shaped base material (slab) 214 on lattice points described later.
  • p-type GaAs was used as the material of the slab 214.
  • the shape of the holes 211 is an equilateral triangle in the present embodiment, but other shapes such as a circle may be used.
  • the material of the slab 214 is not limited to the above, and the material used in the conventional photonic crystal laser can be used.
  • a member having a different refractive index from that of the slab 214 may be used instead of the pores 211. While the pores are excellent in that they can be easily processed, the different refractive index member is advantageous when the base material may be deformed due to heating during processing or the like.
  • FIG. 3A shows a two-dimensional photonic crystal surface emitting laser cell 120 applicable to the three-dimensional sensing system according to the present embodiment, in which pores (different refractive index regions) are arranged in the two-dimensional photonic crystal layer 221.
  • FIG. 3B is a plan view illustrating a state in which the optical resonance state forming lattice 212A is arranged as the lattice points to be formed, and FIG. 3B is a plan view illustrating a state in which the light emitting lattice 212B is arranged.
  • 3 (c) is a plan view illustrating a state in which the optical resonance state forming lattice 212A + the light emitting lattice 212B are arranged, and
  • FIG. 3 (d) illustrates a state in which the holes 211 are arranged. It is a plan view.
  • the two-dimensional photonic crystal layer 221 of the present embodiment has an optical resonance state forming lattice 212A (FIG. 3A) for forming a photonic crystal structure for forming an optical resonance state and a photonic crystal structure for emitting light. It has a light emitting lattice 212B (FIG. 3B) to be formed.
  • the optical resonance state forming lattice 212A is composed of a square lattice having a lattice constant a.
  • a one of the two directions in which the lattice points 213A are arranged at the interval a
  • the y direction is referred to as the y direction. Therefore, the xy coordinates of the grid point 213A are represented as (ma, na) using the integers m and n.
  • the lattice constants c 1 and c 2 of this orthorhombic lattice are (r 1 0.5 +1) a and (r 2 0.5 +1) a, which are the magnitudes of the basic translation vectors c 1 ⁇ and c 2 ⁇ , respectively, and c 1
  • the lattice points 213B are arranged in the y direction at intervals a of both the optical resonance state forming lattice 212A and the light emitting lattice 212B.
  • the emission wavelength ⁇ is set to 980 nm.
  • the effective refractive index n eff of the two-dimensional photonic crystal layer 221 is the refractive index (3.55) of p-type GaAs, which is the material of the slab 214, and the ratio of the pores 211 (refractive index 1) in the slab 214. Determined by.
  • the effective refractive index n eff of the two-dimensional photonic crystal layer 221 is set to 3.5 by adjusting the area of the pores 211. Therefore, the lattice constant a in the present embodiment is set to 2-0.5 ⁇ 980 nm / 3.4 ⁇ 200 nm according to the formula (3) described later.
  • the holes 211 are arranged at the lattice points of the lattice 212C (FIG. 3C) in which the light resonance state forming lattice 212A and the light emitting lattice 212B are overlapped. By doing so, a photonic crystal structure is formed (FIG. 3 (d)).
  • the laser beam is emitted in a direction in which the parameters r 1 and r 2 indicating the positions of the lattice points 213B satisfy the equations (1) and (2) described later. Will be done.
  • FIG. 4A is a schematic view of emitted light (beams) A and B in the two-dimensional photonic crystal plane emitting laser cell 120 applicable to the three-dimensional sensing system according to the present embodiment
  • FIG. 4B Is a schematic diagram illustrating how the emitted lights A and B existing on the same plane rotate.
  • the two basic beams A and B (also referred to as twin beams) emitted from the origin O are emitted at the same time.
  • the two beams A and B exist in the same plane PS.
  • the directions of the beams A and B can be arbitrarily changed in the range of inclination angles ⁇ and + ⁇ from the 90 ° direction, respectively.
  • the emission directions of the beams A and B are symmetrical with respect to the inclination angle ⁇ , and the two beams ⁇ and ⁇ are emitted at the same time and with the same output. It is possible to reduce the output of one beam (beam ⁇ or beam ⁇ ) relatively by introducing asymmetry with respect to the tilt angle ⁇ , but it cannot be completely reduced to zero.
  • the plane PS can be arbitrarily rotated around the origin O (for example, in the direction of PS0 ⁇ PS1 ⁇ PS2). Therefore, by combining scanning in the plane PS and rotation of the plane PS, beam scanning in the cone centered on the origin O becomes possible. Further, by performing simultaneous scanning, it is possible to draw an arbitrary trajectory with two beams ⁇ and ⁇ whose origin O is symmetrical in the cone. Further, a plurality of twin beams (A, B) in a plurality of element arrays can be controlled independently (for example, the beams ⁇ , ⁇ in the plane PS1 and the plane PS2 illustrated in FIG. 4 (b) are simultaneously emitted. , The inclination angle ⁇ and rotation can be controlled independently.
  • the spread angle of one beam (A or ⁇ ) is 0.34 °
  • the output of the twin beams A and B is 1 to 10 W
  • the modulated frequency is several hundred MHz.
  • FIG. 5A shows a two-dimensional photonic crystal surface emitting laser cell 120 applicable to the three-dimensional sensing system according to the present embodiment, in which pores (different refractive index regions) are arranged in the two-dimensional photonic crystal layer 221.
  • pores different refractive index regions
  • FIG. 5 (b) shows a state in which a light emitting lattice 212B composed of an oblique lattice is arranged.
  • FIG. 5C illustrates a state in which the optical resonance state forming lattice 212A + the light emitting lattice 212B are arranged.
  • FIG. 5 (c) in which a light resonance state forming lattice composed of a square lattice as illustrated in FIG. 5 (a) and a light emitting lattice composed of an orthorhombic lattice as illustrated in FIG. 5 (b) are superposed.
  • a photonic crystal for beam scanning as illustrated in the above is used.
  • the laser beam is emitted in a direction in which the parameters r 1 and r 2 indicating the positions of the lattice points satisfy the following equations (1) and (2).
  • is the inclination angle with respect to the normal of the photonic crystal layer
  • is the azimuth angle with respect to the x direction
  • n eff is the effective refractive index
  • the lattice constant a in the two-dimensional photonic crystal layer 221 of the present embodiment is obtained by the following equation (3).
  • is the emission wavelength
  • the two-dimensional photonic crystal layer 221 of the present embodiment designed in this way enables the beams A and B to be emitted in the biaxial directions.
  • FIG. 6 (a) an example of output characteristics showing the relationship between the laser light intensity L of the emitted lights A and B and the injection current I is shown in FIG. It is schematically represented as shown in 6 (a). Further, a two-dimensional photonic crystal surface emitting laser cell 120 having a transparent electrode (or DBR layer) 251T that transmits laser light C (FB) for feedback on the back surface and a photodiode 118PD that detects laser light C (FB). The configuration example of is schematically represented as shown in FIG. 6 (b).
  • FIG. 7 schematically shows a block configuration example of a feedback control mechanism in which a two-dimensional photonic crystal plane emitting laser cell array 120AR and a two-dimensional photodiode cell array 118PDAR are combined in the three-dimensional sensing system according to the present embodiment. ing.
  • This feedback control mechanism detects the two-dimensional photonic crystal surface emitting laser cell array 120AR and the laser beam C (FB) for feedback from each cell emitted from the back surface of the two-dimensional photonic crystal surface emitting laser cell array 120AR.
  • a two-dimensional photonic crystal according to the control of the two-dimensional photodiode array 118PPAR, the feedback control unit 130 that controls the two-dimensional photodiode array drive unit 140AR based on the detection result by the two-dimensional photodiode array 118PPAR, and the feedback control unit 130. It includes a two-dimensional photonic crystal array drive unit 140AR that drives the surface emitting laser cell array 120AR.
  • the light intensity L may differ depending on the direction (position).
  • the variation in the light intensity L in the two-dimensional photonic crystal plane emitting laser cell array 120AR is detected from the feedback laser light C (FB), and 2
  • the light intensity L can be made uniform by driving and controlling the injection current I for each cell of the dimensional photonic crystal plane emitting laser cell array 120AR.
  • FIG. 8 schematically shows another configuration example of the feedback control mechanism in the three-dimensional sensing system according to the present embodiment.
  • the feedback control mechanism illustrated in FIG. 8 is laminated by interposing a transparent electrode (or DBR layer + transparent electrode) 251T between the two-dimensional photonic crystal plane emitting laser cell array 120AR and the two-dimensional photodiode (2DPD) cell array 118PDAR. An example of combining them is shown.
  • a transparent electrode or DBR layer + transparent electrode
  • FIG. 9 A planar configuration example of the two-dimensional photonic crystal plane emitting laser cell array 120AR applicable to the three-dimensional sensing system according to the present embodiment is schematically shown as shown in FIG. 9, and the two-dimensional photodiox cell array 118PDAR An example of the plane configuration of is schematically represented as shown in FIG.
  • the two-dimensional photonic crystal plane emitting laser cell array 120AR is composed of a two-dimensional photonic crystal plane emitting laser cell having n columns ⁇ m rows.
  • n two-dimensional photonic crystal surface emitting laser cells C 11 to C 1n are arranged in the first row
  • n two-dimensional photonic crystal surface emitting laser cells C 21 to C 2 n are arranged in the second row.
  • n two-dimensional photonic crystal plane emitting laser cells C m1 to C mn are arranged.
  • the two-dimensional photodiode cell array 118PPAR is composed of two-dimensional photodiode cells in n columns ⁇ m rows.
  • n two-dimensional photodiode cells PD 11 to PD 1n are arranged in the first row
  • n two-dimensional photodiode cells PD 21 to PD 2n are arranged in the second row, ..., m rows.
  • N two-dimensional photodiode cells PD m1 to PD mn are arranged in the eyes.
  • the three-dimensional sensing system includes a photonic crystal laser array 10 in which photonic crystal laser elements are arranged on a plane, and a control unit that controls an operation mode of the laser light source. 14 and the drive unit 12 that controls the drive of the photonic crystal laser array 10 according to the operation mode controlled by the control unit 14, and the scattered reflected light emitted from the photonic crystal laser array 10 and reflected by the measurement object is received. Controlled by a light receiving unit (an image sensor 16 and an image sensor for TOF (or an array-shaped light receiving element having a TOF measurement function, hereinafter simply referred to as an image sensor or an array-shaped light receiving element) 18) and a control unit 14.
  • a light receiving unit an image sensor 16 and an image sensor for TOF (or an array-shaped light receiving element having a TOF measurement function, hereinafter simply referred to as an image sensor or an array-shaped light receiving element) 18
  • a control unit Controlled by a light receiving unit (an image sensor 16 and an image sensor for TOF (or an array
  • the signal processing unit 20 that processes the reflected light received by the light receiving unit according to the operation mode, and the signal processed by the signal processing unit 20 according to the operation mode controlled by the control unit 14 up to the measurement target. It is provided with a distance calculation unit 22 that performs distance calculation processing and outputs the calculation result as distance data DM.
  • the photonic crystal laser array 10 is a device in which photonic crystal laser elements as illustrated in FIGS. 1 to 5 are arranged on a plane.
  • the control unit 14 controls the operation of each unit based on three operation modes (that is, LiDAR operation mode, flash LiDAR operation mode, and optical cutting method operation mode).
  • the drive unit 12 controls the drive of the beam emitted from the photonic crystal laser array 10 according to the operation mode (LiDAR operation mode / flash LiDAR operation mode / optical cutting method operation mode) controlled by the control unit 14.
  • the operation mode LiDAR operation mode / flash LiDAR operation mode / optical cutting method operation mode
  • the drive control by the drive unit 12 includes the feedback control illustrated in FIGS. 6 to 10. That is, the drive unit 12 is further provided with a transparent electrode or DBR layer (251T) that transmits the laser light C (FB) for feedback and a photodiode (118PD) that detects the laser light C (FB) for feedback.
  • a transparent electrode or DBR layer (251T) that transmits the laser light C (FB) for feedback
  • a photodiode (118PD) that detects the laser light C (FB) for feedback.
  • the light receiving unit including the image pickup lens 16 and the image sensor (or array-shaped light receiving element) 18 transmits the scattered reflected light emitted from the photonic crystal laser array 10 and reflected by the object through the image sensor (or the image sensor 16). Alternatively, the light is received by the array-shaped light receiving element) 18.
  • the signal processing unit 20 processes the reflected laser light received by the light receiving unit in accordance with the operation mode (LiDAR operation mode / flash LiDAR operation mode / optical cutting method operation mode) controlled by the control unit 14 to process the distance calculation unit 22.
  • the LiDAR operation mode and the flash LiDAR operation mode have the same measurement principle in capturing reflections from a plurality of beams emitted from the photonic crystal laser array 10 with an image sensor and calculating the distance by the time measurement function. The difference is the resolution (positional accuracy) of the space to be measured. The resolution depends on the emission direction accuracy of the emitted beam in the LiDAR mode and the number of pixels for a certain angle of view in the flash LiDAR operation mode.
  • the distance calculation unit 22 determines the light receiving position on the imaging surface of the image sensor 18 and the time from emission to light reception according to the operation mode controlled by the control unit 14 (LiDAR operation mode / flash LiDAR operation mode / optical cutting method operation mode). The distance from (arrival time) to the object to be measured is calculated, and the calculation result is output as distance data DM.
  • step S0 the distance calculation process is started.
  • step S1 the drive unit 12 controls the drive of the photonic crystal laser array 10 according to the operation mode controlled by the control unit 14, and the laser beam is emitted from the photonic crystal laser array 10. More specifically, according to three operation modes (LiDAR operation mode (M1) / flash LiDAR operation mode (M2) / optical cutting method operation mode (M3)), the twin beam is emitted / regionally emitted / optical pattern is generated. One of the emissions is selected and the emission is emitted from the photonic crystal laser array 10.
  • M1 LiDAR operation mode
  • M2 flash LiDAR operation mode
  • M3 optical cutting method operation mode
  • the operation mode is the LiDAR operation mode
  • one laser element is driven to emit twin beams (A, B) in a certain direction
  • the operation mode is the flash LiDAR operation mode
  • a certain region is irradiated with light for a certain period of time
  • the operation mode is the optical cutting method operation mode
  • a striped pattern light is projected onto the measurement object.
  • step S2 the light receiving units (16, 18) transmit the scattered reflected light emitted from the photonic crystal laser array 10 and reflected by the measurement object through the image pickup lens 16 to the image sensor (or array-shaped light receiving element) 18 Receive light with.
  • step S3 the control unit 14 allocates the process to any one of step S4, step S5, or step S6 according to the operation mode. More specifically, when the operation mode is the LiDAR operation mode (M1) (exit the twin beam), the process proceeds to step S4, and the operation mode is the flash LiDAR operation mode (M2) (emission in a region). In the case, the process transitions to step S5, and when the operation mode is the optical cutting method operation mode (M3) (light emission), the process proceeds to step S6.
  • the operation mode is the LiDAR operation mode (M1) (exit the twin beam)
  • M2 flash LiDAR operation mode
  • M3 optical cutting method operation mode
  • step S4 the distance calculation unit 22 separates and reflects the reflected light emitted from each beam and reflected by the measurement object. Calculate the distance from the light arrival time to the object to be measured (TOF). As a result, information on the direction and distance to the measurement target existing in the direction in which the beam is emitted is obtained, and the distance calculation unit 22 outputs the distance data DM1 (FIG. 13) in step S5.
  • the reflected light is separated by detecting which pixel of the image sensor 18 received the light.
  • the arrival directions of the reflected light due to them can also be identified. If there is any reflected light, it can be determined whether or not the pixels in the image sensor 18 corresponding to the arrival direction of the reflected light have received light, and the arrival time can also be measured. If the image sensor can separate, multiple twin beams can be emitted at the same time.
  • step S5 the distance calculation unit 22 calculates the distance for each pixel from the pixel position for each pixel and the reflected light arrival time. As a result, the distance information for each pixel of the distance to the measurement object existing in the emission region is obtained, and the distance calculation unit 22 outputs the distance data DM2 (FIG. 13) in step S5.
  • M2 flash LiDAR
  • step S6 the distance calculation unit 22 performs triangular distance measurement using the striped imaging pattern projected on the measurement object, and performs triangular distance measurement on the measurement object. Calculate the distance to.
  • the distance information along the projected striped pattern light and the three-dimensional data of the measurement object can be obtained by moving the line, and the distance calculation unit 22 performs the distance data DM3 (FIG. Output as 13).
  • step S11 the control unit 14 controls the operation of the drive unit 12 and the distance calculation unit 22 based on the three operation modes (that is, the LiDAR operation mode, the flash LiDAR operation mode, and the optical cutting method operation mode).
  • step S12 the drive unit 12 controls the drive of the photonic crystal laser array 10 according to the following three operation modes.
  • LiDAR operation mode M1: One laser element is driven to emit twin beams (A, B) in a certain direction.
  • Flash LiDAR operation mode M2): Irradiates a region with light for a certain period of time (simultaneously drives a plurality of elements emitting two beams, or controls a single or a plurality of elements with a controlled spread angle. Simultaneously emit).
  • Optical cutting method operation mode M3: A plurality of elements are simultaneously driven to project a striped pattern light onto a measurement object.
  • the signal processing unit 20 and the distance calculation unit 22 execute the processing according to the operation mode. To do.
  • the distance calculation unit 22 measures the arrival time of the reflected light for each pixel in step S14, and further, in step S16, the operation mode is M1. In some cases, the distance calculation unit 22 performs the corresponding processing with the emitted beam in step S17, calculates the distance from the emission arrival time to the measurement target, and outputs the distance data DM1. On the contrary, when the operation mode is M2 in step S16, the distance calculation unit 22 outputs the information obtained based on the arrival time of the reflected light measured in step S14 as the distance data DM2.
  • the distance calculation unit 22 acquires the reflected light image (imaging pattern) in step S15 (pixels), and the distance calculation unit 22 in step S18. Triangular distance measurement is performed according to the imaging pattern, the distance to the measurement target is calculated, and the distance data DM3 is output.
  • FIG. 14A The conceptual diagram of the image sensor 18 for detecting the reflected lights RA and RB is shown as illustrated in FIG. 14 (b).
  • Two beams (double beams) A and B are emitted from one element of the photonic crystal laser array 10 according to the angle specifications based on the design.
  • the emitted light A is reflected by the measurement object 24T1
  • the image sensor 18 is received by the image sensor 18 as the reflected light RA through the image pickup lens 16
  • the emitted light B is the measurement object.
  • It is reflected by 24T2 and received as reflected light RB by the image sensor 18 via the image pickup lens 16.
  • the object measured object
  • the distance calculation unit 22 determines from the light receiving position (x, y) on the image pickup surface of the image sensor 18 which beam of the emitted light A or B is the reflected light. Measure the time from emission to reception.
  • the light receiving position 24I1 of the image sensor 18 illustrated in FIG. 14B corresponds to the light receiving position of the reflected light RA from the measurement object 24T1
  • the light receiving position 24I2 is the light receiving position RB of the reflected light RB from the measurement object 24T2.
  • the image sensor 18 Since it is possible to identify that it corresponds to the light receiving position, which direction of the emitted light A or B corresponds to the reflected light RA or RB depending on the light receiving position (x, y) on the imaging surface of the image sensor 18. Can be identified. If the image sensor 18 has a resolution sufficient to cover the angular resolutions of the twin beams A and B, it is possible to separate the imaging positions (x, y) for each beam.
  • the distance calculation unit 22 calculates the distance to the measurement objects 24T1, 24T2 existing in the emission directions of the twin beams A and B.
  • the distance to the objects to be measured 24T1, 24T2 the speed of light ⁇ the arrival time / 2.
  • the above distance calculation is repeatedly executed for different emission directions.
  • FIG. 15A A conceptual diagram of an image sensor that detects reflected light RFL is shown as illustrated in FIG. 15 (b).
  • Laser light FL is simultaneously emitted from a plurality of elements of the photonic crystal laser array 10 to a specific region.
  • the emitted light FL is reflected by the measurement objects 24T1 and 24T2, and is received by the image sensor 18 as the reflected light RFL through the image pickup lens 16.
  • the object measured object
  • the distance calculation unit 22 measures the arrival time of the reflected light (time from emission to reception) in each pixel.
  • the light receiving position 24I1 in the illumination area ILL of the image sensor 18 illustrated in FIG. 15B corresponds to the light receiving position of the reflected light RFL from the measurement object 24T1
  • the light receiving position 24I2 is from the measurement object 24T2. It is possible to identify that it corresponds to the light receiving position of the reflected light RFL.
  • the distance calculation unit 22 calculates the distance to the measurement objects 24T1, 24T2 existing in the imaging range for each pixel.
  • distance information corresponding to the number of pixels in the illumination area ILL can be acquired at one time.
  • optical cutting method structured optical throw operation mode (M3) operation principle
  • the optical cutting method operation mode also referred to as structured light projection operation mode
  • the operation principle of detecting the reflected light RST with respect to the rotating striped emitted light ST by the image sensor is shown in FIG.
  • the conceptual diagram of the image sensor for detecting the reflected light RST is represented as exemplified in FIG. 16 (a), and is represented as illustrated in FIG. 16 (b).
  • FIG. 16 a detailed example of the operation of detecting the reflected light RST with respect to the rotating striped emitted light ST by the image sensor is illustrated in FIG. expressed.
  • the optical cutting method can also be applied to a method of comparing a light receiving pattern of striped light or a random dot pattern light with respect to a reference shape with an actual light receiving pattern and calculating the shape from the deviation (for example, a mobile phone). Face recognition function).
  • the striped laser beam ST generated by the photonic crystal laser array 10 is applied to the measurement object 24T.
  • the emitted light ST is reflected by the measurement object 24T, and is received by the image sensor 18 as the reflected light RST through the image pickup lens 16 (24I).
  • the distance calculation unit 22 detects the reflected light RST, it acquires the reflected light image (imaging pattern) (pixels), performs triangular distance measurement according to the imaging pattern, calculates the distance to the measurement object 24T, and stripes. Acquires three-dimensional distance data for one optical line.
  • the three-dimensional data of the entire 24T of the measurement target can be acquired by rotationally scanning the stripe light ST (ROT).
  • D is the baseline length
  • f the focal length of the image pickup lens 16
  • X a and Y a are the positions of the spot light images on the image sensor 18.
  • step S101 the twin beams A and B are emitted from one element (specific element) of the photonic crystal laser array 10 in a specific direction.
  • step S102 the reflected lights RA and RB emitted from the photonic crystal laser array 10 and reflected by the measurement objects 24T1 and 24T2 are captured by the image sensor 18 via the image pickup lens 16.
  • the object measured object
  • step S103 the distance calculation unit 22 distinguishes from the light receiving position (pixel position) on the image pickup surface of the image sensor 18 which beam of the emitted light A or B is the reflected light.
  • step S104 the distance calculation unit 22 measures the arrival time of the reflected light from the measurement objects 24T1, 24T2 to the pixels of the image sensor 18.
  • step S105 the distance calculation unit 22 displays information on the emitted lights A and B distinguished by the positions of the pixels of the image sensor 18 and the reflected lights RA and RB from the object to be measured on the pixels of the image sensor 18. From the arrival time information, the distances to the measurement objects 24T1 and 24T2 existing in the emission directions of the laser beams A and B are calculated, respectively.
  • the above distance calculation is repeatedly executed for different emission directions (step S106).
  • step S201 laser light FL is simultaneously emitted from a plurality of elements of the photonic crystal laser array 10 to a specific region.
  • step S202 the reflected light RFL emitted from the photonic crystal laser array 10 and reflected by the measurement objects 24T1, 24T2 is captured by the image sensor 18 via the image pickup lens 16.
  • the object measured object
  • the distance calculation unit 22 measures the arrival time of the reflected light (time from emission to reception) in each pixel.
  • step S204 the distance calculation unit 22 calculates the distance to the measurement objects 24T1, 24T2 existing in the imaging range for each pixel.
  • distance information corresponding to the number of pixels in the illumination area ILL can be acquired at one time.
  • step S301 the measurement object 24T is irradiated with the striped light ST generated by the photonic crystal laser array 10.
  • step S302 the reflected light RST emitted from the photonic crystal laser array 10 and reflected by the measurement object 24T is received by the image sensor 18 via the image pickup lens 16.
  • the distance calculation unit 22 acquires a reflected light image (imaging pattern) (pixels), performs triangular distance measurement based on the imaging pattern, calculates the distance to the object to be measured 24T, and has a three-dimensional distance equivalent to one line of striped light. Get the data.
  • step S303 the three-dimensional data of the entire measurement object 24T is acquired by rotationally scanning the striped light ST (ROT).
  • FIG. 21A An example of the block configuration of the three-dimensional sensing system 100 according to the present embodiment is shown schematically in FIG. 21A. Further, another block configuration example of the three-dimensional sensing system according to the present embodiment is shown schematically in FIG. 21B.
  • the signal transmitter 200 includes a feedback photodiode (FBPD) array 204, whereas in FIG. 21B, it includes a feedback photodiode (FBPD) array 204.
  • FBPD feedback photodiode
  • the feedback photodiode (FBPD) array 204 may be provided or omitted. Since the feedback operation can also be performed by the camera, the feedback photodiode (FBPD) array 204 may be omitted.
  • the three-dimensional sensing system 100 includes a signal transmission unit 200 including a two-dimensional photonic crystal (2DPC) cell array 202 that emits a laser beam to a measurement object.
  • a signal receiving unit 300 including an optical system 304 and an image sensor 302 that receive the reflected light emitted from the signal transmitting unit 200 and reflected by the measurement object, a control unit (CPU) 408 that controls the operation mode of the laser light source, and a 2DPC.
  • CPU control unit
  • the transmission direction recognition unit 404 that recognizes the emission direction of the laser light emitted from the cell array 202, and the 2DPC cell array 202 based on the emission direction of the laser light recognized by the transmission direction recognition unit 404 according to the operation mode controlled by the CPU 408.
  • Distance detection that calculates the distance to the object to be measured from the light receiving position on the imaging surface of the image sensor 18 and the time from light emission to light reception according to the operation mode controlled by the 2DPC cell array drive unit 402 that performs drive control and the CPU 408.
  • a signal transmission unit 200 including a unit (TOF) 412 is provided.
  • the signal transmission unit 200 further includes a feedback photodiode (FBPD) array 204 that controls the feedback of the emitted laser light, and the transmission direction recognition unit 404 is emitted from the signal transmission unit 200 according to the feedback information from the FBPD array 204. Recognize the emission direction of the laser beam.
  • FBPD feedback photodiode
  • the signal transmission unit 200 may also include a reception direction recognition unit 406 that recognizes the reception direction of the reflected light from the light reception position on the image pickup surface of the image sensor 18, and the transmission direction recognition unit 404 recognizes the 2DPC cell array drive unit 402.
  • the drive control of the 2DPC cell array 202 is performed based on the emission direction of the laser beam and the reception direction of the reflected light recognized by the reception direction recognition unit 406.
  • the signal transmission unit 200 further includes an object recognition logic 414 that identifies the measurement object based on the calculation result of the distance detection unit (TOF) 412.
  • TOF distance detection unit
  • the three-dimensional sensing system 100 has a signal transmission unit 200, a signal reception unit 300, a signal processing unit 400, and a main control unit (MCPU) as illustrated in FIG. 21A. ) 500 and an artificial intelligence (AI) unit 502.
  • a signal transmission unit 200 a signal reception unit 300, a signal processing unit 400, and a main control unit (MCPU) as illustrated in FIG. 21A.
  • MCPU main control unit
  • AI artificial intelligence
  • the signal transmission unit 200 includes a 2DPC cell array 202 that emits laser light to an object to be measured, and a feedback photodiode (FBPD) array 204 that controls feedback of the emitted laser light.
  • the 2DPC cell array 202 corresponds to, for example, the photonic crystal laser array 10 illustrated in FIG. 11, and the FBPD array 204 corresponds to the photodiode 118PD exemplified in FIG. 6 and the 2DPC 118PPAR illustrated in FIG.
  • the signal receiving unit 300 includes an optical system 304 and an image sensor (line / area) 302 that receive scattered reflected light emitted from the signal transmitting unit 200 and reflected by the measurement object.
  • the optical system 304 and the image sensor 302 correspond to the image pickup lens 16 and the image sensor 18 illustrated in FIG. 11, respectively.
  • the signal processing unit 400 includes a 2DPC cell array drive unit 402, a transmission direction recognition unit 404, a reception direction recognition unit 406, a CPU 408, a 3D image storage unit 410, a distance detection unit (TOF) 412, and an object recognition logic. It includes 414.
  • the CPU 408 controls the operation of each part based on three operation modes (that is, a LiDAR operation mode, a flash LiDAR operation mode, and an optical cutting method operation mode).
  • the CPU 408 corresponds to the control unit 14 illustrated in FIG.
  • the 2DPC cell array drive unit 402 recognizes the emission direction and reception direction of the laser light recognized by the transmission direction recognition unit 404 according to the operation mode (LiDAR operation mode / flash LiDAR operation mode / optical disconnection method operation mode) controlled by the CPU 408.
  • the drive control of the 2DPC cell array 202 is performed based on the reception direction of the reflected light recognized by the 406. Drive control of the beam emitted from the 2DPC cell array 202 is performed.
  • the transmission direction recognition unit 404 recognizes the emission direction of the laser beam emitted from the signal transmission unit 200 according to the feedback information from the FBPD array 204, and provides the recognition result to the CPU 408 and the 2DPC cell array drive unit 402.
  • the reception direction recognition unit 406 recognizes the reception direction of the reflected light from the light receiving position on the image pickup surface of the image sensor 18, and provides the recognition result to the CPU 408.
  • the 3D image storage unit 410 stores the image data captured by the image sensor 18 and provides it to the distance detection unit (TOF) 412 or the like.
  • the distance detection unit (TOF) 412 follows the operation mode (LiDAR operation mode / flash LiDAR operation mode / optical cutting method operation mode) controlled by the CPU 408, and the light receiving position on the imaging surface of the image sensor 18 and from the light emission to the light reception. Calculate the distance from the time (arrival time) to the object to be measured.
  • the distance detection unit (TOF) 412 corresponds to the distance calculation unit 22 illustrated in FIG.
  • the object recognition logic 414 identifies the object to be measured based on the calculation result of the distance detection unit (TOF) 412.
  • the MCPU 500 controls the entire main system on which the three-dimensional sensing system 100 according to the present embodiment is mounted. For example, when the three-dimensional sensing system 100 is mounted on a vehicle, the MCPU 500 corresponds to the main CPU on the vehicle side.
  • the user interface (I / F) unit 504 is connected to the MCPU 500.
  • the user I / F unit 504 includes an input unit 506 for the user to input an instruction to the three-dimensional sensing system 100 (for example, start / end of sensing processing, selection of an operation mode, etc.), and the three-dimensional sensing system 100. It is provided with an output unit 508 for presenting the detected sensing information to the user.
  • the sensing information detected by the three-dimensional sensing system 100 may be output as an image depicting the object to be measured, or may be output as sound information such as a warning sound.
  • the AI unit 502 learns the sensing result of the 3D sensing system 100 based on the image data stored and accumulated in the 3D image storage unit 410, and more appropriately supports the sensing process by the 3D sensing system 100.
  • FIG. 22A An example of the block configuration of the three-dimensional sensing system 100 according to the first modification of the present embodiment is shown schematically in FIG. 22A. Further, another block configuration example of the three-dimensional sensing system according to the first modification of the present embodiment is shown schematically in FIG. 22B.
  • the signal transmitter 200 includes a feedback photodiode (FBPD) array 204, whereas in FIG. 22B, it includes a feedback photodiode (FBPD) array 204. There is no point.
  • the feedback photodiode (FBPD) array 204 may be provided or omitted. Since the feedback operation can also be performed by the camera, the feedback photodiode (FBPD) array 204 may be omitted.
  • the difference between the three-dimensional sensing system 100 according to the first modification and the three-dimensional sensing system 100 illustrated in FIG. 21A is that the signal processing unit 400 does not include the receiving direction recognition unit 406, as illustrated in FIG. 22A. Is.
  • the 2DPC cell array drive unit 402 controls the drive of the 2DPC cell array 202 based on the emission direction of the laser beam recognized by the transmission / reception direction recognition unit 405.
  • the block configuration example of the three-dimensional sensing system 100 according to the modified example 1 is the same as the block configuration example of the three-dimensional sensing system 100 according to the present embodiment illustrated in FIG. 21A, except for the above differences.
  • Block configuration of 2DPC cell array drive unit An example of the block configuration of the 2DPC cell array drive unit 402 applicable to the three-dimensional sensing system according to the present embodiment is shown schematically in FIG. 23.
  • the 2DPC cell array drive unit 402 includes an operation selection unit 4022, a rider operation control unit 4024, a flash rider control unit 4026, and a structured optical cutting control unit 4028.
  • the operation selection unit 4022 has a lidar operation control unit 4024 and a flash lidar control unit according to an operation mode (LiDAR operation mode (M1) / flash LiDAR operation mode (M2) / optical disconnection method operation mode (M3)) controlled by the CPU 408.
  • M1 LiDAR operation mode
  • M2 flash LiDAR operation mode
  • M3 optical disconnection method operation mode
  • the lidar operation control unit 4024 drives one laser element to emit a double beam (A, B) so that the 2DPC cell array 202 is emitted. Is driven and controlled.
  • the operation mode is the flash LiDAR operation mode (M2)
  • the flash lidar control unit 4026 drives and controls the 2DPC cell array 202 so as to irradiate a certain area (sensing space) with light for a certain period of time.
  • the operation mode is the optical cutting method operation mode (M3)
  • the structured optical cutting control unit 4028 drives and controls the 2DPC cell array 202 so as to project the striped pattern light onto the measurement object.
  • the operation selection unit 4022 selects and controls three operation modes as follows, for example.
  • the flash lidar control unit 4026 is made to execute drive control by the flash lidar operation mode (M2) (for example, a high output of about several hundred watts).
  • the lidar motion control unit 4024 is made to execute the drive control in the LiDAR operation mode (M1) (for example, an output of about several watts to several tens of watts).
  • the structured optical cutting control unit 4028 is made to execute the drive control by the optical cutting method operation mode (M3).
  • the operation selection unit 4022 may return the operation mode to the first flash LiDAR operation mode (M2), or may end the process. Further, the order of processing of the flash LiDAR operation mode (M2) and the optical cutting method operation mode (M3) may be reversed. Further, one or two operation modes among the three operation modes may be combined.
  • the combination of the three operation modes can be arbitrarily selected, but in principle, the process does not shift to the next operation mode until the sensing process in one operation mode is completed.
  • FIG. 24A An example of the block configuration of the three-dimensional sensing system 100 according to the second modification of the present embodiment is shown schematically in FIG. 24A. Further, another schematic block configuration example of the three-dimensional sensing system according to the second modification of the present embodiment is shown schematically in FIG. 24B.
  • the signal transmitter 200 includes a feedback photodiode (FBPD) array 204, whereas in FIG. 24B, it includes a feedback photodiode (FBPD) array 204. There is no point.
  • the feedback photodiode (FBPD) array 204 may be provided or omitted. Since the feedback operation can also be performed by the camera, the feedback photodiode (FBPD) array 204 may be omitted.
  • the difference between the three-dimensional sensing system 100 according to the second modification and the three-dimensional sensing system 100 (FIG. 22A) according to the first modification is that the AI unit 407 is provided in the signal processing unit 400 as illustrated in FIG. 24A. It is a point to be done.
  • the AI unit 407 learns the sensing result of the 3D sensing system 100 based on the image data stored and accumulated in the 3D image storage unit 410. Then, the next and subsequent sensing processes (particularly, the transmission / reception direction recognition unit 405 and the distance detection unit (TOF) 412) by the three-dimensional sensing system 100 are controlled more appropriately.
  • the block configuration example of the 3D sensing system 100 according to the modification 2 is the same as the block configuration example of the 3D sensing system 100 according to the modification 1 illustrated in FIG. 22A, except for the above differences.
  • a block configuration example of the time-of-flight (TOF) ranging system 600 which is a three-dimensional sensing system according to the third modification of the present embodiment, is shown schematically in FIG.
  • TOF time-of-flight
  • the TOF distance measuring system 600 measures the distance to the measurement target 700 by irradiating the measurement target 700 with laser beams A and B and measuring the time until the reflected light RA and RB are reflected and returned. Measure.
  • the TOF ranging system 600 includes a 2DPC cell array 202, a PWM modulation control unit 203, a phase difference detection unit 205, an image sensor 302, an optical system 304, and a distance detection unit 412. Since the application of the present application uses the same time measurement principle as the flash LiDAR, a certain pulse width may be required, but an operation in which the pulse width is not changed is also possible. Usually, in the application for such a measurement, pulses of several ns to a dozen ns are repeatedly generated as short as possible. The repetition frequency is determined according to the detection distance. After the reflection from the set distance of the first pulse is returned and the processing is completed, the next pulse is output.
  • the 2DPC cell array 202 emits twin beams A and B whose amplitude is modulated to a fundamental frequency (for example, several hundred MHz) by the PWM modulation control unit 203.
  • the emitted lights A and B are reflected by the object to be measured 700 and are received as reflected lights RA and RB by the image sensor 302 via the optical system 304.
  • a fundamental frequency for example, several hundred MHz
  • the phase difference detection unit 205 detects the phase difference in frequency between the emitted lights A and B and the reflected lights RA and RB.
  • the distance detection unit 412 detects the distance to the object to be measured 700 by multiplying the time obtained by the distance calculation circuit 4121 and the distance calculation circuit 4121 that obtains the time from the phase difference detected by the phase difference detection unit 205 by the light speed. It is provided with a distance data detection unit 4122.
  • the above distance calculation is repeatedly executed for different emission directions.
  • the AI unit 502 the 3D image storage unit 410, the object recognition logic 414, the input unit 506, and the output unit 508 illustrated in FIG. 21A and the like are also used.
  • the user I / F unit 504 including the above may be provided.
  • FIG. 1 An example of the block configuration of the image sensor (area) 302 applicable to the three-dimensional sensing system according to the present embodiment is shown schematically in FIG.
  • the image sensor (area) 302 is an image sensor that measures the distance to the object to be measured by the TOF method, and uses PWM-modulated laser light to output phase difference information of light emission / light reception timing.
  • the image sensor (area) 302 includes a light receiving unit 3021, a vertical shift register 3022, a bias generation circuit 3023, a timing circuit 3024, a sample / hold circuit 3025, and a horizontal shift register 3026.
  • the buffer amplifiers 3027A and 3027B are provided.
  • the signal output from the light receiving unit 3021 is subjected to necessary signal processing by the sample / hold circuit 3025, sequentially scanned by the horizontal shift register 3026, and read out as a voltage output.
  • Two phase signals corresponding to distance information are output from the output terminals V out 1 and V out 2.
  • FIG. 27 (a) An example of the arrangement of the twin beams emitted from the two-dimensional photonic crystal plane emitting laser cell array 10 applicable to the three-dimensional sensing system according to the present embodiment is shown schematically in FIG. 27 (a) and is shown in the center. An enlarged view of the beam and the beam adjacent thereto is shown schematically in FIG. 27 (b).
  • a cone of a dual beam arrangement (scanning surface, emission angle) 0.34 ° beam is arranged in consideration of the scanning surface (closest filling of a circle), and the diameter (resolution) of the beam is 200 m. : 1.19 m, 100 m: 0.59 m, 50 m: 0.29 m, 10 m: 0.06 m.
  • the arrangement method illustrated in FIG. 27 (b) is an example of beam arrangement, and it is actually necessary to consider a beam arrangement that does not leak to the sensing space.
  • a beam arrangement that does not leak to the sensing space.
  • the optimum beam arrangement is designed by controlling the overlap of these circular regions according to the intensity distribution of the laser beam.
  • FIG. 28 is an example of a twin beam arrangement emitted from a two-dimensional photonic crystal plane emitting laser cell array applicable to the three-dimensional sensing system according to the present embodiment, and a beam arrangement using the most dense filling pattern of a circle is shown in FIG. 28. It is represented as schematically shown in. In FIG. 28, the corresponding numbers represent a set of twin beams.
  • FIG. 28 shows an example of beam arrangement using the densest filling pattern of a circle, and the beam spread angle of the photonic crystal laser so that the twin beams are arranged at point-symmetrical positions centered on the beam position 0. And design the plane containing the beam.
  • the beam scanning at the time of actual sensing by the three-dimensional sensing system according to the present embodiment is different from the conventional method such as raster scan, and it is also possible to scan in completely different directions in order. If the adjacent regions are scanned in order, the order of beam positions 0 ⁇ 1 ⁇ 5 ⁇ 8 ⁇ 2 ⁇ 11 ⁇ 6 ⁇ 4 ⁇ 9 ⁇ 13 ⁇ 2 ⁇ ... Can be considered.
  • the degree of freedom of control according to the driving scene is high, such as scanning only the vicinity of the center when traveling on a highway. Further, if the beam positions 0, 1, 2, and 3 are emitted at the same time, a line-shaped pattern projection is performed, and if the beam positions 0, 1, 5, and 8 are emitted, the central region is illuminated.
  • a twin beam example using the densest packing pattern of a circle emitted from a two-dimensional photonic crystal plane emitting laser cell array applicable to the three-dimensional sensing system according to the present embodiment a part of a spherical surface representing a sensing range is used.
  • An explanatory diagram of the maximum horizontal angle MHD and a maximum vertical angle MVD is shown as illustrated in FIG. 29 (a)
  • an explanatory diagram of an equilateral triangle arrangement representing the beam divergence angle BDA and the center position of the beam is shown in FIG. 29 (b).
  • an example of the arrangement of the laser beam is shown as illustrated in FIG. 29 (c).
  • the beam arrangement for sensing is drawn as a plurality of circles on a plane for the sake of clarity. Strictly speaking, as illustrated in FIG. 29, a spherical surface and a beam having a radius at a certain distance. It is the line of intersection with the cone formed by the eggplant. As shown in FIG. 29B, if it is drawn as a line of intersection with a plane at a certain distance, all the beams except the "0" th beam position are elliptical, and the distance is not the case when the beam position is "0".
  • FIG. 29A exemplifies a part of a spherical surface representing a sensing range (a spherical surface obtained by cutting a spherical surface having a radius at a certain distance from the origin O in an angular range representing the sensing range) SF, and MHD (1 /). 2) is the maximum horizontal angle range (1/2), and MVD (1/2) is the maximum vertical angle range (1/2).
  • FIG. 29 (b) ⁇ h is a horizontal angle, ⁇ v is a vertical angle, and BDA is a beam divergence angle.
  • FIG. 29B illustrates an equilateral triangle arrangement (polar coordinates) representing the center position of the beam, with the apex being the center of the beam and one side of the triangle corresponding to the divergence angle of the beam. The number of required beams can be calculated by defining the horizontal and vertical angular range.
  • FIG. 29 (c) is a coordinate system in which an example of laser beam arrangement is represented by an angle, and the length represents an angle and does not correspond to the length on the projection plane at a certain distance.
  • the beam specifications of individual PCSELs (Photonic Crystal Surface Emitting Lasers) forming a two-dimensional array are determined by selecting a pair of vertex symmetry of origin, as in the corresponding number of the laser beam arrangement example in FIG. 29 (c). ..
  • the opening angle of the twin beam is calculated from the length between the vertices (the length of one side of the equilateral triangle corresponds to the divergence angle of the beam), and the rotation angle of the beam is the angle formed by the line segment connecting the pair of vertices. It is decided by. For example, in the No. 5 twin beam, the beam opening angle is twice the divergence angle, and the rotation angle is 60 ° counterclockwise with respect to the horizontal axis.
  • FIG. 30 (a) the schematic diagram of the light receiving system (16, 18) that receives the reflected light R is shown as illustrated in FIG. 30 (a), and is an image of FIG. 30 (a).
  • FIG. 30 (b) A schematic diagram of the sensor is shown as illustrated in FIG. 30 (b).
  • the light receiving system in the three-dimensional sensing system includes an image pickup lens 16 and an image sensor (or an array-shaped light receiving element) 18 to receive reflected light R. To do.
  • the light receiving system in the present embodiment can distinguish the reflected light from the two laser beams emitted to the central object, which is a feature of the photonic crystal laser. Further, by utilizing the characteristics of the photonic crystal and simultaneously emitting a large number of laser beams as illumination light for a certain area, it can also function as a flash LiDAR.
  • FIG. 31A represents a two-dimensional photonic crystal plane emitting laser cell array 120AR and cells 121, 122, 123, 124, and a beam when a current value I equal to each cell 121, 122, 123, 124 is injected.
  • the state of BM radiation is schematically shown. Further, FIG.
  • FFP at the time of
  • equal current values I are injected into the cells 121, 122, 123, 124 of the two-dimensional photonic crystal plane emitting laser cell array 120AR.
  • the light intensity L may differ depending on the angle ⁇ .
  • the current values I1, I2, I3, I4 are different for each position in the cells 121, 122, 123, 124 of the two-dimensional photonic crystal plane emitting laser cell array 120AR.
  • FIGS. 32 (a) to 32 (e) An example in which the light intensity is made uniform according to the direction (position) by injecting the laser is shown as illustrated in FIGS. 32 (a) to 32 (e).
  • FIG. 32 (a) represents the two-dimensional photonic crystal plane emitting laser cell array 120AR and the cells 121, 122, 123, 124, and different current values I1, I2, I3, I4 are shown in the cells 121, 122, 123, 124.
  • the state of radiation of the beam BM when the above is injected is schematically shown.
  • FFP at the time of
  • the variation in light intensity in the two-dimensional photonic crystal surface emitting laser cell array 120AR is detected, and the cell 121 of the two-dimensional photonic crystal surface emitting laser cell array 120AR is detected.
  • the light intensity can be made uniform. it can.
  • the feedback control mechanism as illustrated in FIG. 7, it is possible to detect variations in light intensity in the two-dimensional photonic crystal plane emitting laser cell array 120AR from the feedback laser light C (FB). ..
  • the arranged state is represented as illustrated in FIG. 33 (a)
  • the schematic plan view of one cell is represented as illustrated in FIG. 33 (b)
  • the electrode arrangement realizes scanning in the uniaxial direction.
  • a configuration example of the above is shown as illustrated in FIG. 33 (c).
  • the example of the arrangement state of the optical resonance state forming lattice 212A + the light emission lattice 212B illustrated in FIG. 33A corresponds to the arrangement state example shown in FIG. 5, and is a parameter indicating the position of the lattice point ( r 1, r 2), shown above formula (1) and (2) of the laser beam in a direction that satisfies emitted.
  • an exit beam control example of the two-dimensional photonic crystal surface emitting laser cell array 120AR applicable to three-dimensional sensing system of the present embodiment, the relationship between r 1, r 2 and the angle ⁇ is 34
  • FIG. 35 (a) the configuration example of the electrode arrangement that realizes scanning in the biaxial direction is FIG. 35 (b). Scanning is performed in the biaxial directions (SV1, SV2 and SH1, SH2) illustrated in FIG. 35 (b).
  • FIG. 36 (b) An example of emission beam control of the two-dimensional photonic crystal plane emitting laser cell array 120AR applicable to the three-dimensional sensing system according to the present embodiment, and a configuration example of an electrode arrangement for realizing rotational scanning is shown in FIG.
  • the schematic diagram of the scanning direction shown in a) is shown as illustrated in FIG. 36 (b).
  • Rotational scanning is performed in the scanning directions (SV1, SV2, SC, and SH1, SH3) illustrated in FIG. 36 (b).
  • a light resonance state is used as a lattice point in which pores (different refractive index regions) are arranged in the two-dimensional photonic crystal layer.
  • a plan view showing a state in which the forming grid 212A is arranged is shown as illustrated in FIG. 37 (a), and a plan view showing a state in which the light emitting lattice 212B is arranged is shown in FIG. 37 (b).
  • a plan view showing a state in which the strip-shaped upper electrode 252 is arranged as illustrated is shown as illustrated in FIG. 37 (c), and another state in which the strip-shaped upper electrode 252 is arranged is shown.
  • the plan view showing the above is represented as illustrated in FIG. 37 (d).
  • the strip-shaped electrodes E1 to E19 described below are used as the lower electrodes.
  • the configuration of the photonic crystal laser is the same as the configuration of the photonic crystal laser illustrated in FIGS. 1 and 2.
  • the two-dimensional photonic crystal layer illustrated in FIG. 37 is a lattice (shown) in which a light resonance state forming lattice 212A (FIG. 37 (a)) and a light emitting lattice 212B (FIG. 37 (b)) are combined and superposed. Pore (different refractive index region) is arranged on the lattice point.
  • the optical resonance state forming lattice 212A is a square lattice having a lattice constant a.
  • lattice points are arranged at intervals a in the y direction, and in the x direction, a plurality of regions 66 (referred to as different period regions) in which the light emitting lattice 212B is virtually divided. Is different from the different refractive index region.)
  • the grid points are arranged at different intervals for each.
  • strip-shaped electrodes (E1 to E5), (E6 to E12), and (E13 to E19) are provided as upper electrodes 252 on the upper surface of the upper substrate 242.
  • These strip-shaped electrodes (E1 to E5), (E6 to E12), and (E13 to E19) have a large number of electrodes whose width in the x direction is narrower than the width of the different period region 66, and are arranged in the X direction. There is (Fig. 37 (c)).
  • FIG. 37 (d) illustrates a state in which the strip-shaped electrodes (E1, E3, E5), (E7, E10), and (E13, E16, E19) are arranged in the x direction.
  • a current is applied to the active layer 222 only from a large number of electrodes E1 to E19 provided as upper electrodes 252 directly above and / or directly below one different period region 66. inject.
  • light in a wavelength range including light having a predetermined wavelength is emitted in the active layer 222 immediately below the different period region 66, and the light having the predetermined wavelength resonates in the different cycle region 66, so that the inclined beam is generated.
  • the different period regions 66 in which the light resonates are switched, that is, the individual electrodes E1 to E19 in which the current is injected. By switching the electrodes, the laser oscillation position can be gradually changed and the beam tilt angle can be continuously changed.
  • FIG. 38 a conceptual diagram of an operation mode (hereinafter, also simply referred to as “combination operation mode”) by combining a flash operation mode and a LiDAR operation mode is shown as shown in FIG. 38.
  • combination operation mode an operation mode by combining a flash operation mode and a LiDAR operation mode
  • a flash (FL) light source 250 for full-scale irradiation and a two-dimensional photonic crystal (2DPC) surface emitting laser cell array for target area irradiation are used as light sources. It includes 202.
  • the FL light source 250 emits laser light FL to the entire surface of a specific region (sensing region). In the example shown in FIG. 38, it is assumed that there are three measurement objects of vehicle VH, vehicle VB, and pedestrian (person) HM in the area.
  • the reflected light RVH, RVB, and RHM emitted from the FL light source 250 and reflected by the measurement objects VH, VB, and HM are observed by the time-of-flight (TOF) camera 350 to reach the measurement objects VH, VB, and HM. Measure the distance of.
  • TOF time-of-flight
  • the body color of the vehicle VH and the clothing of the pedestrian HM are relatively bright colors (for example, white, yellow, etc.), and the body color of the vehicle VB is relatively dark (for example, black, etc.). Navy blue, brown, etc.).
  • the reflectance of the vehicle VH and the pedestrian HM having a relatively bright color is relatively high and the signal-to-noise ratio (S / N) is also high, observation with the TOF camera 350 is possible.
  • the reflectance of the vehicle VB having a relatively dark color is relatively low and the S / N is also low, it is difficult to observe with the TOF camera 350.
  • the object to be measured (in this case, the vehicle VB) having low reflectance and insufficient S / N is irradiated with a beam in a spot manner only in the target region from the 2DPC surface emitting laser cell array 202, and this reflected light is emitted.
  • the distance is measured with high sensitivity even for a measurement object such as a vehicle VB.
  • step S400 the entire surface of the specific region is irradiated with the laser light FL from the FL light source 250.
  • step S401 the reflected light RVH, RVB, and RHM emitted from the FL light source 250 and reflected by the measurement objects VH, VB, and HM are observed by the TOF camera 350.
  • the object measured object
  • step S402 it is determined whether or not there is a region where the S / N of the reflected light is lower than the predetermined threshold value T. As a result of the determination in step S402, if there is no region where the S / N of the reflected light is lower than the predetermined threshold value T (NO in step S402), the distance image (three-dimensional image) is output in step S403.
  • step S402 when there is a region where the S / N of the reflected light is lower than the predetermined threshold value T (YES in step S402), the distance of the region is calculated and the distance image is output. Therefore, in step S404, the irradiation intensity from the FL light source 250 is increased, and the entire surface of the specific region is irradiated with the laser beam FL again.
  • step S405 the reflected light emitted from the FL light source 250 and reflected by the measurement object is observed by the TOF camera 350.
  • the region other than the region where the S / N is lower than the predetermined threshold value T is saturated by noise, and the distance image cannot be output.
  • the decrease in S / N makes distance measurement difficult.
  • step S500 the FL light source 250 irradiates the entire surface of a specific region with laser light FL (flash type).
  • step S501 the reflected light RVH, RVB, and RHM emitted from the FL light source 250 and reflected by the measurement objects VH, VB, and HM are observed by the TOF camera 350.
  • the object measured object
  • step S502 it is determined whether or not there is a region where the S / N of the reflected light is lower than the predetermined threshold value T. As a result of the determination in step S502, if there is no region where the S / N of the reflected light is lower than the predetermined threshold value T (NO in step S502), the distance image (three-dimensional image) is output in step S503.
  • step S502 when there is a region where the S / N of the reflected light is lower than the predetermined threshold value T (YES in step S502), for example, the reflectance is relatively low and the S / N is also In the case of a low vehicle VB, the distance of the region cannot be calculated and the distance image cannot be output. Therefore, in step S504, the beam is spot-irradiated from the 2DPC cell array 202 only to the region where the S / N is lower than the predetermined threshold value T (beam scanning type).
  • step S505 the reflected light emitted from the 2DPC surface emitting laser cell array 202 and reflected by the measurement object is observed by the TOF camera 350, and in step S506, the S / N of the reflected light is from a predetermined threshold value T. Determines if there is a low area.
  • step S506 if there is no region where the S / N of the reflected light is lower than the predetermined threshold value T (NO in step S506), a distance image (three-dimensional image) is output in step S507.
  • step S506 when there is a region where the S / N of the reflected light is lower than the predetermined threshold value T (YES in step S506), it is presumed that some object to be measured exists, but the said It is not possible to calculate the distance of the area and output the distance image.
  • step S508 the intensity of the light emitted from the 2DPC cell array 202 is increased, and the process returns to step S504 to irradiate the region with a spot-like beam from the 2DPC surface emitting laser cell array 202.
  • an adjustment method for increasing the light intensity in step S508 for example, a method of increasing the voltage supplied to the light emitting portion of the 2DPC surface emitting laser cell array 202 can be applied.
  • steps S504 to S508 are repeated until there is no region where the S / N of the reflected light is lower than the predetermined threshold value T, that is, until all the measurement objects in the region are detected.
  • the three-dimensional sensing system by introducing the combined operation mode of the flash operation mode and the LiDAR operation mode, even when a measurement object having a low reflectance is included in the sensing region. , It is possible to measure the distance of a measurement object with low reflectance.
  • the entire surface of the specific region is irradiated with the laser light FL from the FL light source 250, and the measurement target contained in the entire specific region is detected (flash operation mode), and the detection can be performed at that time.
  • flash operation mode Only the objects to be measured that did not exist are configured to be detected by irradiating a beam from the 2DPC surface emitting laser cell array 202 in a spot (LiDAR operation mode), so that the operation is performed in the LiDAR operation mode from the beginning to the end.
  • the processing can be performed more efficiently than the processing.
  • FIG. 41 is an example of a photonic crystal laser light source for full-scale irradiation in the three-dimensional sensing system according to the present embodiment, and schematically shows a cross section of an example irradiation pattern.
  • FIG. 42 is an example of a photonic crystal laser light source for full-scale irradiation in the three-dimensional sensing system according to the present embodiment, and schematically shows the irradiation surface of the irradiation pattern example.
  • FIGS. 41 and 42 show an example of a modulated photonic crystal laser light source (2DPC surface emitting laser cell array 202) for irradiating a region targeted in a spot in the three-dimensional sensing system according to the present embodiment.
  • the targeted area irradiation modulated photonic crystal laser light source (2DPC surface emitting laser cell array 202) is, for example, a laser at a designated position (for example, a target irradiation position in FIG. 42) of ⁇ 60 ° in the horizontal direction and ⁇ 60 ° in the vertical direction. Irradiate light.
  • One of the twin beams A and B emitted from the targeted region irradiation modulated photonic crystal laser light source, for example, beam B is used, but both beams A and B may be used.
  • the emission angle is, for example, about 2 ° per point in the specified direction, and ⁇ about 60 ° in the horizontal direction and ⁇ about 60 ° in the vertical direction for the entire array.
  • the output is, for example, more than about 0.2 W per point.
  • FIG. 41 is an example of a photonic crystal laser light source (FL light source 250) for full-scale irradiation in the three-dimensional sensing system according to the present embodiment, and schematically shows a cross section of an irradiation pattern example.
  • FIG. 42 is an example of a photonic crystal laser light source (FL light source 250) for full-scale irradiation in the three-dimensional sensing system according to the present embodiment, and schematically shows the irradiation surface of the irradiation pattern example.
  • the laser used as the FL light source 250 is, for example, a plane-vertical PCSEL or VCSEL, and the emitted laser light is appropriately spread by a lens, a diffuser, or the like to irradiate a range of ⁇ 60 °.
  • the lens used here is, for example, a ball lens, a graded index lens (GI (Graded Index) lens), or a lens in which a plurality of lenses are combined. More developmentally, it is possible to irradiate in the ⁇ 60 ° range without using a lens or a diffuser.
  • GI Graded Index
  • the photonic crystal laser light source for full-scale irradiation is, for example, a full-face irradiation type with a horizontal direction of ⁇ 60 ° and a vertical direction of ⁇ 60 °.
  • a laser is applied to the entire surface of the sensing region. Irradiate with light FL.
  • the emission angle is, for example, about 2 ° for the element alone, and more developmentally, it uniformly irradiates a range of ⁇ about 60 ° in the horizontal direction and ⁇ about 60 ° in the vertical direction.
  • the output is, for example, over about 5W.
  • the package used is, for example, a 5.6 mm ⁇ stem.
  • FIG. 43A Block configuration of 3D sensing system by combined operation mode
  • the block configuration according to the combined operation mode of the flash operation mode and the LiDAR operation mode is schematically shown in FIG. 43A.
  • the same or similar parts as those shown in FIG. 21A are designated by the same or similar reference numerals, and the description thereof will be omitted or simplified.
  • FIG. 43A the schematic block configuration of the combined operation mode of the flash operation mode and the LiDAR operation mode is shown as shown in FIG. 43A.
  • FIG. 43B another schematic block configuration of the combined operation mode of the flash operation mode and the LiDAR operation mode is shown as shown in FIG. 43B.
  • the signal transmitter 200 includes a feedback photodiode (FBPD) array 204
  • FBPD feedback photodiode
  • FIG. 43B it includes a feedback photodiode (FBPD) array 204.
  • FBPD feedback photodiode
  • the feedback photodiode (FBPD) array 204 may be provided or omitted. Since the feedback operation can also be performed by the camera, the feedback photodiode (FBPD) array 204 may be omitted.
  • the three-dimensional sensing system 100 includes a flash light source 250 for full-scale irradiation that emits laser light to the entire surface of a specific region (sensing region), and a specific region.
  • a flash light source 250 for full-scale irradiation that emits laser light to the entire surface of a specific region (sensing region), and a specific region.
  • the 2DPC surface emitting laser cell array 202 that emits laser light to the target area
  • the control unit (CPU) 408 that controls the operation mode of the laser light source (202, 250), and the operation mode controlled by the control unit 408.
  • the flash drive unit 415 that controls the drive of the flash light source 250, the 2DPC cell array drive unit 402 that controls the drive of the 2DPC surface emitting laser cell array 202, and the laser light emitted from the flash light source 250 are included in the specific region.
  • the signal processing unit 400 determines whether or not there is a region in the specific region where the S / N of the reflected light emitted from the flash light source 250 and reflected is lower than a predetermined threshold value, and the S / N is predetermined. When there is a region lower than the threshold value, the signal processing unit 400 aims at only the region where the S / N is lower than the predetermined threshold value, and irradiates the laser light from the 2DPC surface emitting laser cell array 202 in a spot manner. Controls the drive unit 402.
  • the signal processing unit 400 determines whether or not there is a region where the S / N of the reflected light that is spot-emitted from the 2DPC surface emitting laser cell array 202 and reflected is lower than the predetermined threshold value T. As a result of the determination, when there is a region where the S / N is lower than the predetermined threshold value T, the signal processing unit 400 raises the intensity of the light emitted from the 2DPC surface emitting laser cell array 202 and aims only at the region.
  • the 2DPC cell array drive unit 402 is controlled so as to irradiate the laser beam from the 2DPC surface emitting laser cell array 202 in a spot manner.
  • the operation mode includes a flash operation mode and a LiDAR operation mode
  • the flash drive unit 415 controls the drive of the flash light source 250 when the operation mode is the flash operation mode
  • the 2DPC cell array drive unit 402. Controls the drive of the 2DPC surface emitting laser cell array 202 when the operation mode is the LiDAR operation mode.
  • the three-dimensional sensing system 100 will be described in more detail.
  • the three-dimensional sensing system 100 includes a signal transmitting unit 200, a signal receiving unit 300, and a signal processing unit 400.
  • the signal transmission unit 200 includes a flash (FL) light source 250 for full-scale irradiation that emits laser light FL to the entire surface of a specific region, and a 2DPC surface that emits laser light to a target region of the specific region.
  • FL flash
  • a light emitting laser cell array 202 is provided.
  • the signal receiving unit 300 includes an optical system 304 and an image sensor 302 that receive the reflected light emitted from the signal transmitting unit 200 and reflected by the measurement object.
  • the signal processing unit 400 is controlled by a control unit (CPU) 408 that controls the operation mode of the laser light source, a transmission direction recognition unit 404 that recognizes the emission direction of the laser light emitted from the 2DPC surface emitting laser cell array 202, and the CPU 408.
  • the 2DPC cell array drive unit 402 that controls the drive of the 2DPC surface emitting laser cell array 202 based on the laser beam emission direction recognized by the transmission direction recognition unit 404 and the FL drive that controls the drive of the FL light source 250 according to the operation mode to be performed.
  • a unit 415 and a distance detection unit (TOF) 412 that calculates the distance to the measurement target from the light receiving position on the imaging surface of the image sensor 18 and the time from emission to light reception according to the operation mode controlled by the CPU 408. Be prepared.
  • TOF distance detection unit
  • the FL light source 250 first emits a laser beam FL to the entire surface of a specific region.
  • the signal receiving unit 300 receives the reflected light emitted from the FL light source 250 and reflected from the measurement object, and the distance detection unit 412 of the signal processing unit 400 measures the distance to the measurement object.
  • the signal processing unit 400 determines whether or not there is a region where the S / N of the reflected light is lower than the predetermined threshold value T, and as a result of the determination, the S / N of the reflected light is higher than the predetermined threshold value T. If there is no low area, a distance image is output. On the other hand, when there is a region where the S / N of the reflected light is lower than the predetermined threshold value T, the signal processing unit 400 aims at only the region where the S / N is lower than the predetermined threshold value T, and the 2DPC surface emitting laser cell array The 2DPC cell array drive unit 402 is controlled so as to irradiate the beam in a spot from 202.
  • the reflected light emitted from the 2DPC surface emitting laser cell array 202 and reflected by the measurement object is received by the signal receiving unit 300.
  • the signal processing unit 400 determines whether or not there is a region where the S / N of the reflected light is lower than the predetermined threshold value T, and as a result of the determination, the region where the S / N of the reflected light is lower than the predetermined threshold value T is determined. If not, output a distance image.
  • the signal processing unit 400 raises the intensity of the light emitted from the 2DPC surface emitting laser cell array 202 and aims only at that region. Therefore, the 2DPC cell array driving unit 402 is controlled so as to irradiate a beam from the 2DPC surface emitting laser cell array 202 in a spot manner.
  • the signal transmission unit 200 further includes a feedback photodiode (FBPD) array 204 that controls the feedback of the emitted laser light, and the transmission direction recognition unit 404 is emitted from the signal transmission unit 200 according to the feedback information from the FBPD array 204. Recognize the emission direction of the laser beam.
  • FBPD feedback photodiode
  • the signal transmission unit 200 may also include a reception direction recognition unit 406 that recognizes the reception direction of the reflected light from the light reception position on the image pickup surface of the image sensor 18, and the transmission direction recognition unit 404 recognizes the 2DPC cell array drive unit 402.
  • the drive control of the 2DPC cell array 202 is performed based on the emission direction of the laser beam and the reception direction of the reflected light recognized by the reception direction recognition unit 406.
  • the signal processing unit 400 further includes an object recognition logic 414 that identifies the object to be measured based on the calculation result of the distance detection unit (TOF) 412.
  • object recognition logic 414 that identifies the object to be measured based on the calculation result of the distance detection unit (TOF) 412.
  • the three-dimensional sensing system 100 includes a signal transmitting unit 200, a signal receiving unit 300, a signal processing unit 400, and a main control unit (MCPU). ) 500 and an artificial intelligence (AI) unit 502.
  • the signal transmission unit 200 emits an FL light source 250 for full-scale irradiation that emits laser light FL to the entire surface of a specific region, and a 2DPC surface-emitting laser cell array 202 that emits laser light to the object to be measured. It is provided with an FBPD array 204 that controls feedback of laser light.
  • the FBPD array 204 corresponds to the photodiode 118PD shown in FIG. 6 and the 2DPC 118PPAR shown in FIG.
  • the signal receiving unit 300 includes an optical system 304 and an image sensor (line / area) 302 that receive scattered reflected light emitted from the signal transmitting unit 200 and reflected by the measurement object.
  • the signal processing unit 400 includes a 2DPC cell array drive unit 402, a transmission direction recognition unit 404, a reception direction recognition unit 406, a CPU 408, a 3D image storage unit 410, a distance detection unit (TOF) 412, and an object recognition logic. It includes 414.
  • the CPU 408 controls the operation of each part based on three operation modes (that is, a LiDAR operation mode, a flash LiDAR operation mode, and an optical cutting method operation mode).
  • the CPU 408 corresponds to the control unit 14 illustrated in FIG.
  • the 2DPC cell array drive unit 402 recognizes the emission direction and reception direction of the laser light recognized by the transmission direction recognition unit 404 according to the operation mode (LiDAR operation mode / flash LiDAR operation mode / optical disconnection method operation mode) controlled by the CPU 408.
  • the drive control of the 2DPC surface emitting laser cell array 202 is performed based on the reception direction of the reflected light recognized by the 406, and the FL drive unit 415 controls the drive of the FL light source 250.
  • the transmission direction recognition unit 404 recognizes the emission direction of the laser beam emitted from the signal transmission unit 200 according to the feedback information from the FBPD array 204, and provides the recognition result to the CPU 408, the 2DPC cell array drive unit 402, and the FL drive unit 415. To do.
  • the reception direction recognition unit 406 recognizes the reception direction of the reflected light from the light receiving position on the image pickup surface of the image sensor 18, and provides the recognition result to the CPU 408.
  • the 3D image storage unit 410 stores the image data captured by the image sensor 18 and provides it to the distance detection unit (TOF) 412 or the like.
  • the distance detection unit (TOF) 412 follows the operation mode (LiDAR operation mode / flash LiDAR operation mode / optical cutting method operation mode) controlled by the CPU 408, and the light receiving position on the imaging surface of the image sensor 18 and from the light emission to the light reception. Calculate the distance from the time (arrival time) to the object to be measured.
  • the distance detection unit (TOF) 412 corresponds to the distance calculation unit 22 illustrated in FIG.
  • the object recognition logic 414 identifies the object to be measured based on the calculation result of the distance detection unit (TOF) 412.
  • the MCPU 500 controls the entire main system on which the three-dimensional sensing system 100 according to the present embodiment is mounted. For example, when the three-dimensional sensing system 100 is mounted on a vehicle, the MCPU 500 corresponds to the main CPU on the vehicle side.
  • the user interface (I / F) unit 504 is connected to the MCPU 500.
  • the user I / F unit 504 includes an input unit 506 for the user to input an instruction to the three-dimensional sensing system 100 (for example, start / end of sensing processing, selection of an operation mode, etc.), and the three-dimensional sensing system 100. It is provided with an output unit 508 for presenting the detected sensing information to the user.
  • the sensing information detected by the three-dimensional sensing system 100 may be output as an image depicting the object to be measured, or may be output as sound information such as a warning sound.
  • the AI unit 502 learns the sensing result of the 3D sensing system 100 based on the image data stored and accumulated in the 3D image storage unit 410, and more appropriately supports the sensing process by the 3D sensing system 100.
  • FIG. 44A the schematic block configuration of the combined operation mode of the flash operation mode and the LiDAR operation mode is shown as shown in FIG. 44A.
  • FIG. 44B another schematic block configuration of the combined operation mode of the flash operation mode and the LiDAR operation mode is shown as shown in FIG. 44B.
  • FIGS. 44A and 44B The difference between FIGS. 44A and 44B is that in FIG. 44A, the signal transmitter 200 includes a feedback photodiode (FBPD) array 204, whereas in FIG. 44B, the feedback photodiode (FBPD) array 204 is provided. There is no point. As described above, the feedback photodiode (FBPD) array 204 may be provided or omitted. Since the feedback operation can also be performed by the camera, the feedback photodiode (FBPD) array 204 may be omitted.
  • FBPD feedback photodiode
  • the difference between the three-dimensional sensing system 100 according to the modified example 4 and the three-dimensional sensing system 100 illustrated in FIG. 43A is that the signal processing unit 400 does not include the receiving direction recognition unit 406.
  • the 2DPC cell array drive unit 402 controls the drive of the 2DPC surface emitting laser cell array 202 based on the laser beam emission direction recognized by the transmission / reception direction recognition unit 405. I do.
  • the block configuration example of the three-dimensional sensing system 100 according to the modified example 4 is the same as the block configuration example of the three-dimensional sensing system 100 according to the present embodiment illustrated in FIG. 43A, except for the above differences.
  • FIG. 45 An example of the block configuration of the 2DPC cell array drive unit 402 and the FL drive unit 415 applicable to the three-dimensional sensing system according to the present embodiment is shown schematically in FIG. 45.
  • the same or similar parts in the block configuration shown in FIG. 23 are designated by the same or similar reference numerals, and the description thereof will be omitted or simplified.
  • the 2DPC cell array drive unit 402 includes an operation selection unit 4022, a rider operation control unit 4024, a flash rider control unit 4026, and a structured optical disconnection control unit 4028, and is controlled by the CPU 408 to be a 2DPC. Drive control of the cell array 202 is performed.
  • the FL drive unit 415 controls the drive of the FL light source 250 according to the control by the CPU 408.
  • FIG. 46A the schematic block configuration of the combined operation mode of the flash operation mode and the LiDAR operation mode is shown as shown in FIG. 46A.
  • FIG. 46B another schematic block configuration of the combined operation mode of the flash operation mode and the LiDAR operation mode is shown as shown in FIG. 46B.
  • FIGS. 46A and 46B The difference between FIGS. 46A and 46B is that in FIG. 46A, the signal transmitter 200 includes a feedback photodiode (FBPD) array 204, whereas in FIG. 46B, it includes a feedback photodiode (FBPD) array 204. There is no point. As described above, the feedback photodiode (FBPD) array 204 may be provided or omitted. Since the feedback operation can also be performed by the camera, the feedback photodiode (FBPD) array 204 may be omitted.
  • FBPD feedback photodiode
  • the difference between the three-dimensional sensing system 100 according to the modified example 5 and the three-dimensional sensing system 100 (FIG. 44A) according to the modified example 4 is that the AI unit 407 is provided in the signal processing unit 400.
  • the AI unit 407 learns the sensing result of the three-dimensional sensing system 100 based on the image data stored and accumulated in the 3D image storage unit 410. Then, the next and subsequent sensing processes (particularly, the transmission / reception direction recognition unit 405 and the distance detection unit (TOF) 412) by the three-dimensional sensing system 100 are controlled more appropriately.
  • the block configuration example of the three-dimensional sensing system 100 according to the modification 5 is the same as the block configuration example of the three-dimensional sensing system 100 according to the modification 4 illustrated in FIG. 44A, except for the above differences.
  • a block configuration example of the time-of-flight (TOF) ranging system 600 which is a three-dimensional sensing system based on the combined operation mode according to the modified example 6 of the present embodiment, is shown schematically in FIG. 47. ..
  • TOF time-of-flight
  • the TOF ranging system 600 irradiates the measurement object 700 with the laser beam FL and measures the time until the reflected light is reflected and returns to measure the distance to the measurement object 700. Measure. Further, in the LiDAR operation mode, the TOF distance measuring system 600 measures by irradiating the measurement object 700 with laser beams A and B and measuring the time until the reflected lights RA and RB are reflected and returned. Measure the distance to the object 700.
  • the TOF ranging system 600 includes an FL light source 250, a 2DPC cell array 202, a PWM modulation control unit 203, a phase difference detection unit 205, an image sensor 302, an optical system 304, and a distance detection unit 412.
  • a certain pulse width may be required, but the operation without changing the pulse width is also possible.
  • pulses of several ns to a dozen ns are repeatedly generated as short as possible. The repetition frequency is determined according to the detection distance. After the reflection from the set distance of the first pulse is returned and the processing is completed, the next pulse is output.
  • the 2DPC surface emitting laser cell array 202 emits twin beams A and B amplitude-modulated to a fundamental frequency (for example, several hundred MHz) by the PWM modulation control unit 203.
  • the emitted lights A and B are reflected by the object to be measured 700 and are received as reflected lights RA and RB by the image sensor 302 via the optical system 304.
  • the object measured object
  • the phase difference detection unit 205 detects the phase difference in frequency between the emitted lights A and B and the reflected lights RA and RB.
  • the distance detection unit 412 detects the distance to the object to be measured 700 by multiplying the time obtained by the distance calculation circuit 4121 and the distance calculation circuit 4121 that obtains the time from the phase difference detected by the phase difference detection unit 205 by the light speed. It is provided with a distance data detection unit 4122.
  • the above distance calculation is repeatedly executed for different emission directions.
  • the AI unit 502 the 3D image storage unit 410, the object recognition logic 414, the input unit 506, and the output unit 508 illustrated in FIG. 21A and the like are also used.
  • the user I / F unit 504 including the above may be provided.
  • the present embodiment has high accuracy, high output, miniaturization, and robustness, is highly adaptable to the sensing area and the sensing target, and can support a plurality of sensing modes.
  • a dimensional sensing system can be provided.
  • this embodiment includes various embodiments not described here.
  • the three-dimensional sensing system according to the present embodiment can be used as a sensing technology that supports safe driving of a vehicle, such as an in-vehicle sensor that detects the distance and shape to a measurement object existing around the vehicle or the like.
  • a vehicle such as an in-vehicle sensor that detects the distance and shape to a measurement object existing around the vehicle or the like.
  • it can also be used as a sensing technology to realize an advanced automatic driving system.
  • it can be applied not only to vehicles but also to aircraft, artificial satellites, spacecraft, ships and the like.
  • it can be applied to a wide range of fields such as geology, seismology, and oceanography.
  • Flash light source (FL light source) 251T ... Transparent electrode 252 ... Window electrode (upper electrode) 300 ... Signal receiving unit 304 ... Optical system 350 ... Time of flight (TOF) camera 402 ... 2DPC cell array driving unit 404 ... Transmission direction recognition unit 405 ... Transmission / reception direction recognition unit 406 ... Reception direction recognition unit 407, 502 ... Artificial intelligence (AI) ) Unit 408 ... Control unit (CPU) 410 ... 3D image storage unit 412 ... Distance detection unit 414 ... Object recognition logic 415 ... Flash light source drive unit (FL drive unit) 500 ... Main control unit (MCPU) 504 ... User I / F unit 506 ... Input unit 508 ... Output unit 600 ...
  • TOF Time of flight
  • 2DPC cell array driving unit 404 ... Transmission direction recognition unit 405 ... Transmission / reception direction recognition unit 406 ... Reception direction recognition unit 407, 502 ... Artificial intelligence (AI) ) Unit 408 ... Control

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

3次元センシングシステムは、フォトニック結晶レーザー素子が平面上に配置されたフォトニック結晶レーザーアレイ(10)と、レーザー光源の動作モードを制御する制御部(14)と、制御部によって制御される動作モードに従って、フォトニック結晶レーザーアレイの駆動制御を行う駆動部(12)と、フォトニック結晶レーザーアレイから出射されたレーザー光が測定対象物で反射した反射光を受光する受光部(16、18)と、動作モードに従って、受光部が受光した反射光を信号処理する信号処理部(20)と、動作モードに従って、信号処理部が処理した信号に対して、測定対象物までの距離の算定処理を行い、距離データして出力する距離演算部(22)とを備える。高精度、高出力、小型化、堅牢性を有するとともに、センシング領域やセンシング対象への適応性が高く、複数のセンシングモードに対応可能な3次元センシングシステムを提供する。

Description

3次元センシングシステム
 本実施の形態は、3次元センシングシステムに関する。
 車両等の周囲に存在する測定対象物までの距離や形状を検出するレーダ装置が提案されている。
 例えば、LiDAR(Light Detection and Ranging)方式を用いた従来のレーダ装置は、ビーム走査に機械可動部を伴うため、大きさや重量、精度、信頼性、寿命などに課題がある。特に、車両に搭載する場合には、精度や信頼性、寿命はもちろんのこと、実装できるスペースの関係で大きさや重量にも厳しい制約が課せられることが多く、すべての要求を同時に達成することは難しい。
 また、レーザー光源の駆動・制御に加え、ビーム走査のための駆動回路やその制御回路が必要となる。場合によっては、ビームの出射方向を監視するための機構・回路も必要となる。
 レーザー光源から出たビームは、ある角度の広がりを持つので、ビーム走査部分へ入射させる前にレンズなどの何らかの集光光学系が必要であり、その大きさ・重量・取り付け精度などが問題となる。
 単純なラスター方式の操作では、走査両端部のビーム到来時間密度が高く、センシングの関心度の高い中央部分の時間密度は低下する。さらに、移動状況や環境に応じて検知領域を変化させ、そこだけ走査したり、同時に複数の領域を走査したりできることが望ましいが、単純なビーム走査技術で対応するのは難しい。
 センシング空間全域に向けてパルス状の照明光を放射しその反射光をイメージセンサで受光することで画素毎に距離を算定するいわゆるフラッシュLidar(Flash Lidar)方式も、センシング方法としては有望であるが、例えば自動運転時のセンシングに必要とされるような遠距離には対応できない。また、光パターン投影を用いる構造化光(Structured Light)方式も、遠距離でのセンシングには向かない。それぞれ光源と撮像素子を用いる点では共通しているが、光源に対する要求が異なるので共用はできない。
 どの方式にもそれぞれ利点と欠点があり、状況に合わせて適切な方式を選ぶのが現実的である。
 その一方で、次世代型の半導体レーザー光源として、フォトニック結晶面発光レーザーが提案されている。
特許第3659239号公報 特許第6080941号公報 特許第6083703号公報 特許第5794687号公報 特許第6305056号公報
Velodyne,"High Definition Lidar"、インターネット<URL:http://www.velodynelidar.com/lidar/lidar.aspx>
 本実施の形態は、高精度、高出力、小型化、堅牢性を有するとともに、センシング領域やセンシング対象への適応性が高く、複数のセンシングモードに対応可能な3次元センシングシステムを提供する。
 本実施の形態の一態様によれば、フォトニック結晶レーザー素子が平面上に配置されたフォトニック結晶レーザーアレイと、レーザー光源の動作モードを制御する制御部と、前記制御部によって制御される前記動作モードに従って、前記フォトニック結晶レーザーアレイの駆動制御を行う駆動部と、前記フォトニック結晶レーザーアレイから出射されたレーザー光が測定対象物で反射した反射光を受光する受光部と、前記動作モードに従って、前記受光部が受光した前記反射光を信号処理する信号処理部と、前記動作モードに従って、前記信号処理部が処理した信号に対して、前記測定対象物までの距離の算定処理を行い、算定結果を距離データして出力する距離演算部とを備える、3次元センシングシステムが提供される。
 本実施の形態の他の態様によれば、測定対象物に対してレーザー光を出射する2次元フォトニック結晶面発光レーザセルアレイを備える信号送信部と、前記信号送信部から出射され前記測定対象物で反射した反射光を受光する光学系およびイメージセンサを備える信号受信部と、前記レーザー光の光源の動作モードを制御する制御部と、前記2次元フォトニック結晶面発光レーザセルアレイから出射された前記レーザー光の出射方向を認識する送信方向認識部と、前記動作モードに従って、前記送信方向認識部が認識した前記レーザー光の出射方向を基に前記2次元フォトニック結晶面発光レーザセルアレイの駆動制御を行う2次元フォトニック結晶セルアレイ駆動部と、前記動作モードに従って、前記イメージセンサの撮像面での受光位置と出射から受光までの時間とから前記測定対象物までの距離を算定する距離検出部とを備える信号処理部とを備える、3次元センシングシステムが提供される。
 本実施の形態の他の態様によれば、特定の領域の全面に対してレーザー光を出射するフラッシュ光源と、前記特定の領域のうち狙った領域に対してレーザー光を出射する2次元フォトニック結晶面発光レーザセルアレイと、レーザー光源の動作モードを制御する制御部と、前記制御部によって制御される前記動作モードに従って、前記フラッシュ光源の駆動制御を行うフラッシュ駆動部および前記2次元フォトニック結晶面発光レーザセルアレイの駆動制御を行う2次元フォトニック結晶セルアレイ駆動部と、前記フラッシュ光源から出射されたレーザー光が前記特定の領域内に含まれる測定対象物で反射した反射光を受信し、前記2次元フォトニック結晶面発光レーザセルアレイから出射されたレーザー光が前記狙った領域内に含まれる測定対象物で反射した反射光を受信する信号受信部と、前記動作モードに従って、前記信号受信部が受信した前記反射光を信号処理する信号処理部と、前記動作モードに従って、前記信号処理部が処理した信号に対して、前記測定対象物までの距離の算定処理を行う距離検出部とを備え、前記信号処理部は、前記フラッシュ光源から出射されて反射してきた反射光の信号対雑音比が所定の閾値よりも低い領域が前記特定の領域内にあるか否かを判定し、前記信号対雑音比が所定の閾値よりも低い領域がある場合、前記信号処理部は、前記信号対雑音比が所定の閾値よりも低い領域のみを狙って、前記2次元フォトニック結晶面発光レーザセルアレイからスポット的に前記レーザー光を照射するように前記2次元フォトニック結晶セルアレイ駆動部を制御する、3次元センシングシステムが提供される。
 本実施の形態によれば、高精度、高出力、小型化、堅牢性を有するとともに、センシング領域やセンシング対象への適応性が高く、複数のセンシングモードに対応可能な3次元センシングシステムを提供することができる。
本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルの模式的鳥瞰構成図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルにおいて、裏面にフィードバック用のレーザー光C(FB)を透過する透明電極若しくはDBR層を備える構成の模式的鳥瞰構成図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルにおいて、(a)2次元フォトニック結晶層に空孔(異屈折率領域)が配置される格子点として、光共振状態形成用格子212Aが配置された状態を示す平面図、(b)光出射用格子212Bが配置された状態を示す平面図、(c)光共振状態形成用格子212A+光出射用格子212Bが配置された状態を示す平面図、(d)空孔211が配置された状態を示す平面図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルにおいて、(a)出射光A,Bの模式図、(b)同一平面上に存在する出射光A,Bが回転する様子を説明する模式図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルにおいて、(a)2次元フォトニック結晶層に空孔(異屈折率領域)が配置される格子点として、正方格子からなる光共振状態形成用格子212Aが配置された状態を示す平面図、(b)斜方格子からなる光出射用格子212Bが配置された状態を示す平面図、(c)光共振状態形成用格子212A+光出射用格子212Bが配置された状態を示す平面図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルにおいて、(a)出射光A,Bのレーザー光強度Lと注入電流Iとの関係を示す出力特性の模式図、(b)裏面にフィードバック用のレーザー光C(FB)を透過する透明電極(若しくはDBR層)およびレーザー光C(FB)を検出するフォトダイオード118PDを備える構成の模式的構成図。 本実施の形態に係る3次元センシングシステムにおいて、2次元フォトニック結晶面発光レーザセルアレイと、2次元フォトダイオードセルアレイとを組み合わせたフィードバック制御機構を説明する模式的ブロック構成図。 本実施の形態に係る3次元センシングシステムにおいて、2次元フォトニック結晶面発光レーザセルアレイと、2次元フォトダイオードセルアレイとを透明電極を介して積層化し組み合わせたフィードバック制御機構を説明する模式的構成図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイの模式的平面構成図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトダイオードセルアレイの模式的平面構成図。 本実施の形態に係る3次元センシングシステムの概要を説明する模式的ブロック構成図。 本実施の形態に係る3次元センシングシステムにおいて、3つの動作モードの距離算定手順を説明する動作フローチャート図。 本実施の形態に係る3次元センシングシステムにおいて、3つの動作モードを説明する動作フローチャート図。 本実施の形態に係る3次元センシングシステムのLiDAR動作モードにおいて、(a)出射光A,Bに対する反射光RA,RBをイメージセンサで検出する動作原理を説明する模式図、(b)反射光RA,RBを検出するイメージセンサの概念図。 本実施の形態に係る3次元センシングシステムのフラッシュLiDAR動作モードにおいて、(a)出射光FLに対する反射光RFLをイメージセンサで検出する動作原理を説明する模式図、(b)反射光RFLを検出するイメージセンサの概念図。 本実施の形態に係る3次元センシングシステムの光切断法動作モードにおいて、(a)回転するストライプ状出射光STに対する反射光RSTをイメージセンサで検出する動作原理を説明する模式図、(b)反射光RSTを検出するイメージセンサの概念図。 本実施の形態に係る3次元センシングシステムの光切断法動作モードにおいて、回転するストライプ状出射光STに対する反射光RSTをイメージセンサで検出する動作の詳細を説明する図。 本実施の形態に係る3次元センシングシステムにおいて、LiDAR動作モードのフローチャート図。 本実施の形態に係る3次元センシングシステムにおいて、フラッシュLiDAR動作モードのフローチャート図。 本実施の形態に係る3次元センシングシステムにおいて、光切断法動作モードのフローチャート図。 本実施の形態に係る3次元センシングシステムの模式的ブロック構成図。 本実施の形態に係る3次元センシングシステムの別の模式的ブロック構成図。 本実施の形態の変形例1に係る3次元センシングシステムの模式的ブロック構成図。 本実施の形態の変形例1に係る3次元センシングシステムの別の模式的ブロック構成図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶セルアレイ駆動部の模式的ブロック構成図。 本実施の形態の変形例2に係る3次元センシングシステムの模式的ブロック構成図。 本実施の形態の変形例2に係る3次元センシングシステムの別の模式的ブロック構成図。 本実施の形態の変形例3に係る3次元センシングシステムであって、タイムオブフライト(TOF)測距システムの模式的ブロック構成図。 本実施の形態に係る3次元センシングシステムに適用可能なイメージセンサ(エリア)の模式的ブロック構成図。 (a)本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイから出射される双ビーム配置例の模式図、(b)中央ビームとそれに隣接するビームの模式的拡大図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイから出射される双ビーム配置例であって、円の最稠密充填パターンを利用するビーム配置例の模式図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイから出射される円の最稠密充填パターンを利用する双ビーム例において、(a)センシング範囲を表す球面の一部における最大水平角度MHD、最大垂直角度MVDの説明図、(b)ビーム発散角BDAおよびビームの中心位置を表す正三角形配置の説明図、(c)レーザービームの配置の例。 本実施の形態に係る3次元センシングシステムにおいて、(a)反射光Rを受光する受光システム(16、18)の模式図、(b)図30(a)のイメージセンサの模式図。 比較例に係る3次元センシングシステムにおいて、2次元フォトニック結晶面発光レーザセルアレイの各セルに等しい電流値を注入しても方向(位置)によって光強度に差が生じる例を説明する模式図であって、(a)各セル121,122,123,124に等しい電流値Iを注入した場合のビームBMの放射の様子を示す図、(b)ビームBMの放射角度θ=0度のときのFFPの様子を示す図、(c)θ=20度のときのFFPの様子を示す図、(d)θ=40度のときのFFPの様子を示す図、(e)θ=60度のときのFFPの様子を示す図。 本実施の形態に係る3次元センシングシステムにおいて、2次元フォトニック結晶面発光レーザセルアレイの各セルに位置毎に異なる電流値を注入して、方向(位置)によって光強度を均一化した例を説明する模式図であって、(a)各セル121,122,123,124に異なる電流値I1,I2,I3,I4を注入した場合のビームBMの放射の様子を示す図、(b)ビームBMの放射角度θ=0度のときのFFPの様子を示す図、(c)θ=20度のときのFFPの様子を示す図、(d)θ=40度のときのFFPの様子を示す図、(e)θ=60度のときのFFPの様子を示す図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイの出射ビーム制御例であって、(a)1セル内に光共振状態形成用格子212A+光出射用格子212Bが配置された状態を示す平面図、(b)1セルの模式的平面図、(c)一軸方向の走査を実現する電極配置の構成例。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイの出射ビーム制御例であって、(a)位置を示すパラメータr1,r2と角度θとの関係を示す図、(b)一軸方向の走査を実現する電極配置の別の構成例。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイの出射ビーム制御例であって、(a)二軸方向の走査を実現する電極配置の構成例、(b)走査方向の模式図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイの出射ビーム制御例であって、(a)回転走査を実現する電極配置の構成例、(b)走査方向の模式図。 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルにおいて、(a)2次元フォトニック結晶層に空孔(異屈折率領域)が配置される格子点として、光共振状態形成用格子212Aが配置された状態を示す平面図、(b)光出射用格子212Bが配置された状態を示す平面図、(c)上部電極252が配置された状態を示す平面図、(d)上部電極252が配置された別の状態を示す平面図。 本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの概念図。 比較例に係るフラッシュLiDARシステムの動作フローチャート。 本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの動作フローチャート。 本実施の形態に係る3次元センシングシステムにおいて、全面照射用フォトニック結晶レーザー光源の例であって、照射パターン例の断面の模式図。 本実施の形態に係る3次元センシングシステムにおいて、全面照射用フォトニック結晶レーザー光源の例であって、照射パターン例の照射面の模式図。 本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの模式的ブロック構成図。 本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの別の模式的ブロック構成図。 本実施の形態の変形例4に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの模式的ブロック構成図。 本実施の形態の変形例4に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの別の模式的ブロック構成図。 本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードに適用可能な2次元フォトニック結晶セルアレイ駆動部とフラッシュ光源駆動部(FL駆動部)の模式的ブロック構成図。 本実施の形態の変形例5に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの模式的ブロック構成図。 本実施の形態の変形例5に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの別の模式的ブロック構成図。 本実施の形態の変形例6に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードのタイムオブフライト(TOF)測距システムの模式的ブロック構成図。
 次に、図面を参照して、実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なることに留意すべきである。従って、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。
 又、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の実施の形態は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の実施の形態は、特許請求の範囲において、種々の変更を加えることができる。
 [実施の形態]
 本実施の形態は、2次元フォトニック結晶面発光レーザー素子並びにその2次元アレイ化素子と撮像素子との組み合わせによる3次元センシングシステムを開示する。
 本実施の形態に係る3次元センシングシステムは、レーザー光を放射状に照射し、測定対象物からの散乱光を受光することで距離と方位を算定する。フォトニック結晶は、レーザービームの自在な制御性を有し、そのため、機械稼働部を設けなくても(ソリッドステート)ビーム方向(レーザー光の出射方向)を自在に制御できる。
 特に、フォトニック結晶の持つ、自在な発光制御機能(時間、強度、方向)、高出力、高品質ビーム、小型、堅牢(壊れにくい)、安価などの特徴を活用した複数の動作モードを有する3次元センシング用光源を実現可能とする。
 また、フォトニック結晶レーザーの特徴である対称的な出射ビームの制御方法(センシング対象となる領域を満たすためのビーム配置設計方法とそれに対応した発光パターン制御(デバイスの法線方向に出射する単一のビームの場合も含む))を実現可能とする。
本実施の形態に係る3次元センシングシステムは、レーザー光源の動作モードを変化させることで、1つの3次元センシングシステムで次の(1)~(3)の3つのセンシングモードを構成可能である。
(1)LiDAR:ある方向にレーザー光を出射し、測定対象物からの反射光を捉え、ビーム毎に測定対象物までの距離を算定するセンシングモード(ビーム走査型)。
(2)フラッシュLiDAR:ある領域(センシング空間)に対し一定時間光を照射し、測定対象物からの散乱光を撮像素子で受光し、その撮像素子の画素毎の戻り時間を基に照射領域に測定対象物までの距離を算定するセンシングモード(フラッシュ型)。
(3)構造化光(Structured Light)投影:ある光パターンを測定対象物に照射し、そのパターンの画像と撮像素子で得られた画像との間でマッチングを行い、測定対象物の距離を算定するセンシングモード。
 ビームスキャン型LiDARでは、測定対象物を検知する範囲内にビーム(送出信号)を走査し、測定対象物からの散乱反射光(反射信号)を捉え、どの方向に向けて出した光に対する反射なのかを認識することで方位を算定し、反射して戻ってくるまでの時間から距離を算定する(TOF(Time of Flight))。
 レーザレーダーに関する種々の技術は、距離や方位を算定する信号処理のロジックとそれに対応するビームの走査方法、そしてその走査を実現するための空間変調の方法への工夫である。空間変調の手段としては、ポリゴンミラー、ガルバノミラー、MEMS(Micro Electro Mechanical Systems)、レーザー光源をアレイ化して(面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)など)それらを点灯制御するなどの方法、或いは、光フェーズドアレイなどの方法がある。
 本実施の形態に係る3次元センシングシステムでは、ビーム走査型のセンシングモードにおいても従来のラスター走査とは異なる走査(回転走査等)が可能である。また、アレイ状の受光素子により、複数のレーザービームからの反射光を区別でき、フラッシュライダーとしても機能する。また、フラッシュ型のセンシングモードにおいても、ある領域のみのセンシングも可能である。
 本実施の形態に係る3次元センシングシステムの発光制御機能は、ソフトウェア制御(プログラム制御)との親和性(センシング領域、複数システムの連携動作、学習制御)が高いので、学習機能などを取り込んだ適応型センシングへも容易に対応できる。これらの特徴により、出射ビームの符号化や複数のシステムの連係動作などの応用にも容易に対応できる。
 本実施の形態に係る3次元センシングシステムは、ソリッドステート式であり、小型で壊れにくく、設置場所の自由度が広がる。また、雑音、干渉への耐性を有する(ハードやソフトで優れた制御性を活用)。
 本実施の形態に係る3次元センシングシステムの発光部は、ビーム走査機構が不要であるため、半導体パッケージレベルの大きさであり、しかも出射ビームを収束させるための光学系(コリメート光学系)も必要ない。従って、自在な方向に独立した駆動条件で出射が可能であり、複数デバイスの連携動作も可能である。また、LiDAR応用に必要な回転ミラーやMEMSミラーのようなビーム走査機構も必要としないので、超小型で堅牢かつ設置場所の自由なシステムが実現できる。
 [3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザー]
 ここでは、特許文献3に記載の2次元フォトニック結晶面発光レーザーを用いて説明するが、代わりに特許文献2に記載の変調フォトニック結晶レーザーを用いてもよい。いずれもビーム制御原理は同じであり、本実施形態において、いずれを用いても良い。図1は、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザー120の模式的鳥瞰構成を例示しており、図2は、該2次元フォトニック結晶面発光レーザー120の裏面にフィードバック用のレーザー光C(FB)を透過する透明電極251Tを備える模式的鳥瞰構成を例示している。
 図1および図2は、表面からレーザー光A,Bを出射し、裏面からフィードバック用のレーザー光C(FB)を出射する様子を模式的に説明している。
 本実施の形態に係る3次元センシングシステムに適用可能なフォトニック結晶レーザーは、透明電極251Tと、下部基板241と、第1クラッド層231と、2次元フォトニック結晶層221と、活性層222と、第2クラッド層232と、上部基板242と、窓状電極252とをこの順に積層したものである。本実施の形態におけるフォトニック結晶レーザーでは、レーザービーム(レーザー光A,B)は、窓状電極252の中央部に設けられた空洞(窓)を通って、上部基板242の窓状電極252側の表面に対する垂線から出射角θだけ傾斜した方向に出射される。尚、2次元フォトニック結晶層221と、活性層222の順番は上記のものとは逆であってもよい。また、本実施の形態では便宜上、「上」および「下」という語を用いるが、これらの語は実際にフォトニック結晶レーザーを使用する際の向き(上下)を規定するものではない。
 本実施の形態では、下部基板241にはp型半導体のガリウムヒ素(GaAs)を、上部基板242にはn型GaAsを、第1クラッド層231にはp型半導体のアルミニウム・ガリウム砒素(AlGaAs)を、第2クラッド層232にはn型AlGaAsを、それぞれ用いる。活性層222には、インジウム・ガリウム砒素/ガリウムヒ素(InGaAs/GaAs)から成る多重量子井戸(Multiple-Quantum Well; MQW)を有するものを用いる。窓状電極252の材料には金を用いる。また、透明電極251Tの材料には、SnO2、In23などを用いる。透明電極251Tの代わりに、絶縁層の多層構造で、レーザー光を透過可能なDBR(Distributed Bragg Reflector)層を用いることもできる。尚、これら各層の材料は上記のものには限定されず、従来のフォトニック結晶面発光レーザーで用いられている各層の材料をそのまま用いることができる。また、上記各層の間には、スペーサ層などの他の層が介挿されていてもよい。
 2次元フォトニック結晶層221は、板状の母材(スラブ)214内に空孔(異屈折率領域)211を、後述の格子点上に周期的に配置したものである。本実施の形態では、スラブ214の材料にはp型GaAsを用いた。空孔211の形状は、本実施の形態では正三角形であるが、円形などの他の形状を用いてもよい。尚、スラブ214の材料は上記のものには限られず、従来のフォトニック結晶レーザーで用いられているものを用いることができる。また、異屈折率領域には、空孔211の代わりに、スラブ214とは屈折率が異なる部材(異屈折率部材)を用いてもよい。空孔は容易に加工することができるという点において優れているのに対して、異屈折率部材は加工時の加熱などにより母材が変形するおそれがある場合に有利である。
 図3(a)は、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセル120において、2次元フォトニック結晶層221に空孔(異屈折率領域)が配置される格子点として、光共振状態形成用格子212Aが配置された状態を例示する平面図であり、図3(b)は、光出射用格子212Bが配置された状態を例示する平面図であり、図3(c)は、光共振状態形成用格子212A+光出射用格子212Bが配置された状態を例示する平面図であり、図3(d)は、空孔211が配置された状態を例示する平面図である。
 図3を用いて、2次元フォトニック結晶層221において空孔211が配置される格子点について説明する。本実施の形態の2次元フォトニック結晶層221は、光共振状態形成用フォトニック結晶構造を形成する光共振状態形成用格子212A(図3(a))と、光出射用フォトニック結晶構造を形成する光出射用格子212B(図3(b))を有する。
 光共振状態形成用格子212Aは、格子定数aを有する正方格子から成る。以下、この正方格子において、格子点213Aが間隔aで並ぶ2方向のうちの一方をx方向と呼び、他方をy方向と呼ぶ。従って、格子点213Aのx-y座標は、整数mおよびnを用いて(ma,na)と表される。
 それに対して光出射用格子212Bでは、c1↑=(r1,1)aおよびc2↑=(r2,1)aの基本並進ベクトルを有する斜方格子が構成される。この斜方格子の格子定数c1、c2はそれぞれ、基本並進ベクトルc1↑およびc2↑の大きさである(r1 0.5+1)aおよび(r2 0.5+1)aであり、c1↑とc2↑のなす角度αはcosα=(r12+1)×(r1 2+1)-0.5×(r2 2+1)-0.5の関係を満たす。格子点213Bは、y方向には、光共振状態形成用格子212Aおよび光出射用格子212Bともに、間隔aで並ぶ。
 本実施の形態では、出射波長λは980nmとした。また、2次元フォトニック結晶層221の有効屈折率neffは、スラブ214の材料であるp型GaAsの屈折率(3.55)およびスラブ214中で空孔211(屈折率1)の占める割合により定まる。本実施の形態では空孔211の面積を調整することにより、2次元フォトニック結晶層221の有効屈折率neffは3.5とした。従って、本実施の形態における格子定数aは、後述する式(3)より2-0.5×980nm/3.4≒200nmとする。
 本実施の形態の2次元フォトニック結晶層221では、これら光共振状態形成用格子212Aおよび光出射用格子212Bを重ね合わせた格子212C(図3(c))の格子点に空孔211を配置することにより、フォトニック結晶構造が形成されている(図3(d))。
 本実施の形態の2次元フォトニック結晶層221では、格子点213Bの位置を示すパラメータであるr1およびr2が、後述する式(1),式(2)を満たす方向にレーザービームが出射される。
 図4(a)は、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセル120において、出射光(ビーム)A,Bの模式図であり、図4(b)は、同一平面上に存在する出射光A,Bが回転する様子を説明する模式図である。
 フォトニック結晶構造に周期的な駆動変調を与え、共振作用に加え上方への回折効果も持たせることで、2軸方向の範囲にわたるビーム出射方向制御(ビーム走査)を行うことができる。
 図4(a)に例示するように、原点Oから出射される基本の2つのビームA,B(双ビームともいう)は、同時に出射される。2つのビームA,Bは、同一の平面PSに存在する。ビームA,Bは、それぞれ、90°方向から傾斜角-θおよび+θの範囲でビームA,Bの方向を任意に変化させることができる。但し、ビームA,Bの出射方向は、傾斜角θに関して対称であり、2つのビームΑおよびΒは同時に且つ同出力で出射される。傾斜角θに関して非対称性を導入することで一方のビーム(ビームΑまたはビームΒ)の出力を相対的に減少させることも可能だが、完全に零にまで減少させることはできない。
 図4(b)に例示するように、平面PSは、原点Oを中心に任意に(例えば、PS0→PS1→PS2の方向に)回転(rotation)することができる。従って、平面PS内の走査と平面PSの回転とを組み合わせることで、原点Oを中心とする円錐内のビーム走査が可能となる。また、同時走査を行うことにより、円錐内で原点Oを対称とする2つのビームΑおよびΒで任意の軌跡を描くことができる。さらに、複数の素子アレイにおける複数の双ビーム(A,B)を独立して制御することができる(例えば、図4(b)に例示した平面PS1や平面PS2におけるビームΑ,Βを同時に出射し、それぞれ傾斜角θや回転(rotation)を独立して制御することができる。
 具体的な双ビームA,Bの例としては、1つのビーム(ΑまたはΒ)の広がり角は0.34°、双ビームA,Bの出力は1~10W、変調可能周波数は数百MHz、|θ|<50°である。厳密には、すべてのビームが原点Oから出射されるわけではないが、多くてもμm程度の推移であるので、数メートルから数百メートルのセンシング向けのLiDAR応用においては、同一点からの出射と見做してよい。
 図5(a)は、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセル120において、2次元フォトニック結晶層221に空孔(異屈折率領域)が配置される格子点として、正方格子からなる光共振状態形成用格子212Aが配置された状態を例示しており、図5(b)は、斜方格子からなる光出射用格子212Bが配置された状態を示す平面図、図5(c)は、光共振状態形成用格子212A+光出射用格子212Bが配置された状態を例示している。
 図5(a)に例示するような正方格子からなる光共振状態形成用格子と図5(b)に例示するような斜方格子からなる光出射用格子とを重ねあわせた図5(c)に例示するようなビーム走査用フォトニック結晶を用いる。
 本実施の形態の2次元フォトニック結晶層221では、格子点の位置を示すパラメータであるr1およびr2が、次式(1)および(2)を満たす方向にレーザービームが出射される。
Figure JPOXMLDOC01-appb-M000001
 ここで、θはフォトニック結晶層の法線に対する傾斜角であり、φはx方向を基準とする方位角であり、neffは有効屈折率である。
 また、本実施の形態の2次元フォトニック結晶層221における格子定数aは、次式(3)により求められる。
Figure JPOXMLDOC01-appb-M000002
 ここで、λは出射波長である。
 このように設計された本実施の形態の2次元フォトニック結晶層221により、ビームA,Bの2軸方向への出射が可能になる。
 [2次元フォトニック結晶面発光レーザーのフィードバック制御]
 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセル120において、出射光A,Bのレーザー光強度Lと注入電流Iとの関係を示す出力特性例は、図6(a)に示すように模式的に表される。また、裏面にフィードバック用のレーザー光C(FB)を透過する透明電極(若しくはDBR層)251Tと、レーザー光C(FB)を検出するフォトダイオード118PDとを備える2次元フォトニック結晶面発光レーザセル120の構成例は、図6(b)に示すように模式的に表される。
 図7は、本実施の形態に係る3次元センシングシステムにおいて、2次元フォトニック結晶面発光レーザセルアレイ120ARと、2次元フォトダイオードセルアレイ118PDARとを組み合わせたフィードバック制御機構のブロック構成例を模式的に示している。
 このフィードバック制御機構は、2次元フォトニック結晶面発光レーザセルアレイ120ARと、2次元フォトニック結晶面発光レーザセルアレイ120ARの裏面から出射される各セルからのフィードバック用のレーザー光C(FB)を検出する2次元フォトダイオードセルアレイ118PDARと、2次元フォトダイオードセルアレイ118PDARによる検出結果に基づいて2次元フォトダイオードアレイ駆動部140ARを制御するフィードバック制御部130と、フィードバック制御部130による制御に従って、2次元フォトニック結晶面発光レーザセルアレイ120ARを駆動する2次元フォトダイオードアレイ駆動部140ARとを備える。
 例えば、2次元フォトニック結晶面発光レーザセルアレイ120ARの各セルに同じ電流Iを注入しても、方向(位置)によって光強度Lに差が生じる場合がある。しかし、図7に例示するようなフィードバック制御機構を構成することで、フィードバック用のレーザー光C(FB)から2次元フォトニック結晶面発光レーザセルアレイ120AR内の光強度Lのばらつきを検出し、2次元フォトニック結晶面発光レーザセルアレイ120ARのセル毎に注入電流Iを変えるように駆動制御することで、光強度Lを均一化することができる。
 図8は、本実施の形態に係る3次元センシングシステムにおける、フィードバック制御機構の別の構成例を模式的に示す。図8に例示するフィードバック制御機構は、2次元フォトニック結晶面発光レーザセルアレイ120ARと2次元フォトダイオード(2DPD)セルアレイ118PDARとの間に透明電極(若しくはDBR層+透明電極)251Tを介入して積層化し組み合わせた例を示している。
 尚、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ120ARの平面構成例は、図9に示すように模式的に表され、2次元フォトダイオードセルアレイ118PDARの平面構成例は、図10に示すように模式的に表される。
 図9に例示するように、2次元フォトニック結晶面発光レーザセルアレイ120ARは、n列×m行の2次元フォトニック結晶面発光レーザセルから構成される。例えば、1行目にはn個の2次元フォトニック結晶面発光レーザセルC11~C1nが配置され、2行目にはn個の2次元フォトニック結晶面発光レーザセルC21~C2nが配置され、…、m行目にはn個の2次元フォトニック結晶面発光レーザセルCm1~Cmnが配置される。
 また、図10に例示するように、2次元フォトダイオードセルアレイ118PDARは、n列×m行の2次元フォトダイオードセルから構成される。例えば、1行目にはn個の2次元フォトダイオードセルPD11~PD1nが配置され、2行目にはn個の2次元フォトダイオードセルPD21~PD2nが配置され、…、m行目にはn個の2次元フォトダイオードセルPDm1~PDmnが配置される。
 [実施の形態に係る3次元センシングシステム]
 (3次元センシングシステムの概略構成)
 本実施の形態に係る3次元センシングシステムの概略構成例は、図11に模式的に示すように表される。
 本実施の形態に係る3次元センシングシステムは、図11に例示するように、フォトニック結晶レーザー素子が平面上に配置されたフォトニック結晶レーザーアレイ10と、レーザー光源の動作モードを制御する制御部14と、制御部14によって制御される動作モードに従って、フォトニック結晶レーザーアレイ10の駆動制御を行う駆動部12と、フォトニック結晶レーザーアレイ10から出射され測定対象物で反射した散乱反射光を受光する受光部(撮像レンズ16およびTOF用イメージセンサ(或いはTOF計測の機能を有するアレイ状の受光素子、これ以降単にイメージセンサ、アレイ状の受光素子と記す)18)と、制御部14によって制御される動作モードに従って、受光部が受光した反射光を信号処理する信号処理部20と、制御部14によって制御される動作モードに従って、信号処理部20が処理した信号に対して、測定対象物までの距離の算定処理を行い、算定結果を距離データDMとして出力する距離演算部22とを備える。
 フォトニック結晶レーザーアレイ10は、図1~図5に例示したようなフォトニック結晶レーザー素子が平面上に配置されたデバイスである。
 制御部14は、3つの動作モード(すなわち、LiDAR動作モード、フラッシュLiDAR動作モード、光切断法動作モード)に基づいて、各部の動作制御を行う。
 駆動部12は、制御部14によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、フォトニック結晶レーザーアレイ10から出射されるビームの駆動制御を行う。
 尚、駆動部12による駆動制御には、図6~10に例示したフィードバック制御を含む。すなわち、フィードバック用のレーザー光C(FB)を透過する透明電極若しくはDBR層(251T)と、フィードバック用のレーザー光C(FB)を検出するフォトダイオード(118PD)とをさらに備え、駆動部12は、フィードバック用のレーザー光C(FB)からフォトニック結晶レーザーアレイ10内の光強度Lのばらつきを検出し、フォトニック結晶レーザーアレイ10のセル毎に注入電流Iを変えるように駆動制御することで、光強度Lを均一化することができる。
 撮像レンズ16とイメージセンサ(或いはアレイ状の受光素子)18とを備える受光部は、フォトニック結晶レーザーアレイ10から出射され対象物で反射した散乱反射光を、撮像レンズ16を介してイメージセンサ(或いはアレイ状の受光素子)18で受光する。
 信号処理部20は、制御部14によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、受光部が受光した反射レーザー光を信号処理して距離演算部22に送る。LiDAR動作モードとフラッシュLiDAR動作モードはフォトニック結晶レーザーアレイ10から出射された複数のビームからの反射をイメージセンサで捉えその時間計測機能によって距離を算定することにおいて計測原理は等しい。違いは、測定する空間の分解能(位置精度)である。分解能はLiDARモードは出射ビームの出射方向精度、フラッシュLiDAR動作モードはある画角に対する画素の数に依存する。
 距離演算部22は、制御部14によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、イメージセンサ18の撮像面での受光位置と出射から受光までの時間(到達時間)とから測定対象物までの距離を算定し、算定結果を距離データDMとして出力する。
 (距離算定処理)
 本実施の形態に係る3次元センシングシステムにおける3つの動作モードの距離算定手順の例は、図12に示すように表される。
 ステップS0において、距離算定処理が開始される。
 ステップS1において、制御部14によって制御される動作モードに従って、駆動部12がフォトニック結晶レーザーアレイ10の駆動制御を行い、フォトニック結晶レーザーアレイ10からレーザービームが出射される。より具体的には、3つの動作モード(LiDAR動作モード(M1)/フラッシュLiDAR動作モード(M2)/光切断法動作モード(M3))に従って、双ビームを出射/領域状に出射/光パターンを出射のいずれかが選択されて、フォトニック結晶レーザーアレイ10から出射される。すなわち、動作モードがLiDAR動作モードである場合には1つのレーザー素子を駆動して双ビーム(A,B)をある方向に出射し、動作モードがフラッシュLiDAR動作モードである場合にはある領域(センシング空間)に対し一定時間光を照射し、動作モードが光切断法動作モードである場合には測定対象物にストライプ状のパターン光を投影する。
 ステップS2において、受光部(16、18)は、フォトニック結晶レーザーアレイ10から出射され測定対象物で反射した散乱反射光を、撮像レンズ16を介してイメージセンサ(或いはアレイ状の受光素子)18で受光する。
 ステップS3において、制御部14は、動作モードに従って、ステップS4、ステップS5、若しくはステップS6のいずれかに処理を振り分ける。より具体的には、動作モードがLiDAR動作モード(M1)(双ビームを出射)である場合にはステップS4に遷移し、動作モードがフラッシュLiDAR動作モード(M2)(領域状に出射)である場合にはステップS5に遷移し、動作モードが光切断法動作モード(M3)(光パターンを出射)である場合にはステップS6に遷移する。
 動作モードがLiDAR動作モード(M1)(双ビームを出射)である場合、ステップS4において、距離演算部22は、各ビームから出射されて測定対象物にて反射された反射光を分離し、反射光到達時間から測定対象物までの距離を算定する(TOF)。その結果として、ビームの出射された方向に存在する測定対象物までの方向と距離の情報が得られ、距離演算部22は、ステップS5において、距離データDM1(図13)として出力する。ここで、反射光の分離処理においては、イメージセンサ18のどのピクセル(画素)で受光したのかを検知することによって反射光を分離する。フォトニック結晶レーザーアレイ10からの双ビームの出射方向は明らかであるため、それらによる反射光の到来方向も識別可能である。もし何らかの反射光があったとすれば、反射光の到来方向に対応するイメージセンサ18内のピクセルが受光したか否かを判断し、その到来時間も計測することができる。イメージセンサで分離が可能であれば複数の双ビームを同時に出射することもできる。
 動作モードがフラッシュLiDAR(M2)(領域状に出射)である場合、ステップS5において、距離演算部22は、画素毎の画素位置と反射光到達時間から、画素毎に距離を算定する。その結果として、出射領域に存在する測定対象物までの距離の画素毎の距離情報が得られ、距離演算部22は、ステップS5において、距離データDM2(図13)として出力する。
 動作モードが光切断法(M3)(光パターンを出射)である場合、ステップS6において、距離演算部22は、測定対象物に投影したストライプ状の撮像パターンにより三角測距を行い、測定対象物までの距離を算定する。その結果として、投影したストライプ状のパターン光に沿った距離情報、ラインを移動させることで測定対象物の立体的なデータが得られ、距離演算部22は、ステップS5において、距離データDM3(図13)として出力する。
 (3次元センシングシステムにおける動作モード)
 本実施の形態に係る3次元センシングシステムにおいて、3つの動作モードの動作フローチャートの例は、図13に示すように表される。
 ステップS11において、制御部14は、3つの動作モード(すなわち、LiDAR動作モード、フラッシュLiDAR動作モード、光切断法動作モード)に基づいて、駆動部12および距離演算部22の動作制御を行う。
 ステップS12において、駆動部12は、以下の3つの動作モードに従って、フォトニック結晶レーザーアレイ10の駆動制御を行う。
(1)LiDAR動作モード(M1):1つのレーザー素子を駆動して双ビーム(A,B)を、ある方向に出射させる。
(2)フラッシュLiDAR動作モード(M2):領域に対し一定時間光を照射させる(2つのビームを出射する複数の素子を同時に駆動するか、若しくは、広がり角を制御した単一・複数の素子を同時に出射させる)。
(3)光切断法動作モード(M3):複数の素子を同時に駆動して、測定対象物にストライプ状のパターン光を投影させる。
 その後、受光部(16、18)が、フォトニック結晶レーザーアレイ10から出射され測定対象物で反射した散乱反射光を受光すると、信号処理部20および距離演算部22は、動作モードに従って処理を実行する。
 具体的には、ステップS13において動作モードがM1若しくはM2である場合、距離演算部22は、ステップS14において、画素毎に反射光の到達時間を計測し、さらに、ステップS16において動作モードがM1である場合には、距離演算部22は、ステップS17において、出射ビームとの対応処理を行い、射光到達時間から測定対象物までの距離を算定して距離データDM1として出力する。逆に、ステップS16において動作モードがM2である場合には、距離演算部22は、ステップS14において計測した反射光の到達時間に基づいて求められた情報を距離データDM2として出力する。
 一方で、ステップS13において動作モードがM3である場合には、距離演算部22は、ステップS15において、反射光像(撮像パターン)を取得し(画素)、ステップS18において、距離演算部22は、撮像パターンにより三角測距を行い、測定対象物までの距離を算定し、距離データDM3として出力する。
 (LiDAR動作モード(M1)の動作原理)
 本実施の形態に係る3次元センシングシステムのLiDAR動作モードにおいて、出射光A,Bに対する反射光RA,RBをイメージセンサ18で検出する動作原理は、図14(a)に模式的に例示するように表され、反射光RA,RBを検出するイメージセンサ18の概念図は、図14(b)に例示するように表される。
 フォトニック結晶レーザーアレイ10の1つの素子から、その設計に基づく角度仕様に従って2つのビーム(双ビーム)A,Bを出射する。図14(a)の例では、出射光Aは、測定対象物24T1にて反射し、反射光RAとして、撮像レンズ16を介してイメージセンサ18にて受光され、出射光Bは、測定対象物24T2にて反射し、反射光RBとして、撮像レンズ16を介してイメージセンサ18にて受光される。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
 反射光RA,RBを検出した場合、距離演算部22はイメージセンサ18の撮像面での受光位置(x、y)から出射光A,Bのどちらのビームに対する反射光であるのかを判定し、出射から受光までの時間を計測する。例えば、図14(b)に例示したイメージセンサ18の受光位置24I1は、測定対象物24T1からの反射光RAの受光位置に対応し、受光位置24I2は、測定対象物24T2からの反射光RBの受光位置に対応することを識別可能であることから、イメージセンサ18の撮像面での受光位置(x、y)によって出射光A,Bのどの方向に対応する反射光RA,RBであるかを識別することができる。双ビームA,Bの角度分解能をカバーするのに十分な解像度を備えるイメージセンサ18であれば、ビーム毎の撮像位置(x、y)の分離は可能である。
 距離演算部22は、以上の情報に基づいて、双ビームA,Bの出射方向に存在する測定対象物24T1,24T2までの距離を算定する。ここで、測定対象物24T1,24T2までの距離=光速×到達時間/2である。
 本実施の形態に係る3次元センシングシステムのLiDAR動作モードにおいては、以上の距離算定を、異なる出射方向に対して繰り返し実行する。
 (フラッシュLiDAR動作モード(M2)の動作原理)
 本実施の形態に係る3次元センシングシステムのフラッシュLiDAR動作モードにおいて、出射光FLに対する反射光RFLをイメージセンサで検出する動作原理は、図15(a)に模式的に例示するように表され、反射光RFLを検出するイメージセンサの概念図は、図15(b)に例示するように表される。
 フォトニック結晶レーザーアレイ10の複数の素子から、特定の領域に対して、レーザー光FLを同時に出射する。図15(a)の例では、出射光FLは、測定対象物24T1,24T2にて反射し、反射光RFLとして、撮像レンズ16を介してイメージセンサ18にて受光される。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
 距離演算部22は、反射光RFLを検出した場合、各画素における反射光の到達時間(出射から受光までの時間)を計測する。例えば、図15(b)に例示したイメージセンサ18の照明エリアILL内の受光位置24I1は、測定対象物24T1からの反射光RFLの受光位置に対応し、受光位置24I2は、測定対象物24T2からの反射光RFLの受光位置に対応することを識別可能である。
 距離演算部22は、以上の情報に基づいて、撮像範囲に存在する測定対象物24T1,24T2までの距離を画素毎に算定する。フラッシュLiDAR動作モードにおいては、照明エリアILL内の画素の数に応じた距離情報を一度に獲得することができる。
 (光切断法(構造化光投)動作モード(M3)の動作原理)
 本実施の形態に係る3次元センシングシステムの光切断法動作モード(構造化光投動作モードともいう)において、回転するストライプ状出射光STに対する反射光RSTをイメージセンサで検出する動作原理は、図16(a)に模式的に例示するように表され、反射光RSTを検出するイメージセンサの概念図は、図16(b)に例示するように表される。また、本実施の形態に係る3次元センシングシステムの光切断法動作モードにおいて、回転するストライプ状出射光STに対する反射光RSTをイメージセンサで検出する動作の詳細例は、図17に例示するように表される。
 構造化光投影による3次元計測の例を、図16~図17を参照しながら、光切断法の動作で説明する。この方法だけでなく、パターン照明を利用した、いくつかの計測にも対応できる。光切断法では、基準となる形状に対するストライプ光やドランダムなドットパターン光の受光パターンと実際の受光パターンとを比較し、そのズレから形状を算定する方法などへも適用できる(例えば、携帯電話の顔認証機能)。
 光切断法動作モードでは、フォトニック結晶レーザーアレイ10で生成したストライプ状のレーザー光STを測定対象物24Tに照射する。図16(a)の例では、出射光STは、測定対象物24Tにて反射し、反射光RSTとして、撮像レンズ16を介してイメージセンサ18にて受光される(24I)。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
 距離演算部22は、反射光RSTを検出した場合、反射光像(撮像パターン)を取得し(画素)、撮像パターンにより三角測距を行い、測定対象物24Tまでの距離を算定して、ストライプ光1ライン分の3次元距離データを取得する。
 さらに、図16(a)に例示するように、ストライプ光STを回転走査することで(ROT)、測定対象物24T全体の3次元データを取得することができる。
 また、図17に例示する、フォトニック結晶レーザーアレイ10と測定対象物24Tと撮像レンズ16およびイメージセンサ18との位置関係は、次式により求められる。
 
  X=Dcosθsinθb/sin(θa+θb)            (4)
  Y=Dsinθsinθb/sin(θa+θb)            (5)
  Z=Dtanφ/sinθ                            (6)
 
 但し、θa=tan-1(f/Xa)であり、φ=tan-1(Yacosθa/Xa)である。また、Dは基線長、fは撮像レンズ16の焦点距離、Xa,Yaはイメージセンサ18上のスポット光像の位置である。
 (LiDAR動作モード(M1)の動作フロー)
 本実施の形態に係る3次元センシングシステムにおいて、LiDAR動作モードのフローチャートは、図18に例示するように表される。
 まず、ステップS101において、フォトニック結晶レーザーアレイ10の1つの素子(特定素子)から、特定の方向に双ビームA,Bを出射する。
 次に、ステップS102において、フォトニック結晶レーザーアレイ10から出射されて測定対象物24T1,24T2にて反射した反射光RA,RBを、撮像レンズ16を介してイメージセンサ18で捉える。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
 次に、ステップS103において、距離演算部22は、イメージセンサ18の撮像面での受光位置(画素の位置)から出射光A,Bのどちらのビームに対する反射光であるのかを区別する。
 次に、ステップS104において、距離演算部22は、測定対象物24T1,24T2からイメージセンサ18の画素への反射光の到達時間を測定する。
 次に、ステップS105において、距離演算部22は、イメージセンサ18の画素の位置で区別された出射光A,Bの情報とイメージセンサ18の画素への測定対象物からの反射光RA,RBの到達時間の情報から、レーザー光A,Bの出射方向に存在する測定対象物24T1,24T2までの距離をそれぞれ算定する。
 以上の距離算定を、異なる出射方向に対して繰り返し実行する(ステップS106)。
 (フラッシュLiDAR動作モード(M2)の動作フロー)
 本実施の形態に係る3次元センシングシステムにおいて、フラッシュLiDAR動作モードのフローチャートは、図19に例示するように表される。
 まず、ステップS201において、フォトニック結晶レーザーアレイ10の複数の素子から、特定の領域に対して、レーザー光FLを同時に出射する。
 次に、ステップS202において、フォトニック結晶レーザーアレイ10から出射されて測定対象物24T1,24T2にて反射した反射光RFLを、撮像レンズ16を介してイメージセンサ18で捉える。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
 次に、ステップS203において、反射光RFLを検出した場合、距離演算部22は、各画素における反射光の到達時間(出射から受光までの時間)を計測する。
 次に、ステップS204において、距離演算部22は、撮像範囲に存在する測定対象物24T1,24T2までの距離を画素毎に算定する。フラッシュLiDAR動作モードにおいては、照明エリアILL内の画素の数に応じた距離情報を一度に獲得することができる。
 (光切断法(構造化光投)動作モード(M3)の動作フロー)
 本実施の形態に係る3次元センシングシステムにおいて、光切断法動作モードのフローチャートは、図20に例示するように表される。
 まず、ステップS301において、フォトニック結晶レーザーアレイ10で生成したストライプ状の光STを測定対象物24Tに照射する。
 次に、ステップS302において、フォトニック結晶レーザーアレイ10から出射されて測定対象物24Tにて反射した反射光RSTを、撮像レンズ16を介してイメージセンサ18にて受光する。距離演算部22は、反射光像(撮像パターン)を取得し(画素)、撮像パターンにより三角測距を行い、測定対象物24Tまでの距離を算定して、ストライプ光1ライン分の3次元距離データを取得する。
 次に、ステップS303において、ストライプ光STを回転走査することで(ROT)、測定対象物24T全体の3次元データを取得する。
 (3次元センシングシステムのブロック構成)
 本実施の形態に係る3次元センシングシステム100のブロック構成例は、図21Aに模式的に示すように表される。また、本実施の形態に係る3次元センシングシステムの別のブロック構成例は、図21Bに模式的に示すように表される。図21Aと図21Bとの違いは、図21Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図21Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
 本実施の形態に係る3次元センシングシステム100は、図21Aに例示するように、測定対象物に対してレーザー光を出射する2次元フォトニック結晶(2DPC)セルアレイ202を備える信号送信部200と、信号送信部200から出射され測定対象物で反射した反射光を受光する光学系304およびイメージセンサ302を備える信号受信部300と、レーザー光源の動作モードを制御する制御部(CPU)408と、2DPCセルアレイ202から出射されたレーザー光の出射方向を認識する送信方向認識部404と、CPU408によって制御される動作モードに従って、送信方向認識部404が認識したレーザー光の出射方向を基に2DPCセルアレイ202の駆動制御を行う2DPCセルアレイ駆動部402と、CPU408によって制御される動作モードに従って、イメージセンサ18の撮像面での受光位置と出射から受光までの時間とから測定対象物までの距離を算定する距離検出部(TOF)412とを備える信号送信部200と、を備える。
 信号送信部200は、出射したレーザー光のフィードバック制御を行うフィードバックフォトダイオード(FBPD)アレイ204をさらに備え、送信方向認識部404は、FBPDアレイ204からのフィードバック情報に従って、信号送信部200から出射されたレーザー光の出射方向を認識する。
 信号送信部200は、イメージセンサ18の撮像面での受光位置から反射光の受信方向を認識する受信方向認識部406を備えることもでき、2DPCセルアレイ駆動部402は、送信方向認識部404が認識したレーザー光の出射方向と受信方向認識部406が認識した反射光の受信方向とを基に2DPCセルアレイ202の駆動制御を行う。
 信号送信部200は、距離検出部(TOF)412の算定結果に基づいて、測定対象物の同定を行う対象物認識ロジック414をさらに備える。
 より具体的には、本実施の形態に係る3次元センシングシステム100は、図21Aに例示するように、信号送信部200と、信号受信部300と、信号処理部400と、メイン制御部(MCPU)500と、人工知能(AI)部502とを備える。
 信号送信部200は、測定対象物に対してレーザー光を出射する2DPCセルアレイ202と、出射したレーザー光のフィードバック制御を行うフィードバックフォトダイオード(FBPD)アレイ204とを備える。2DPCセルアレイ202は、例えば、図11に例示したフォトニック結晶レーザーアレイ10に対応し、FBPDアレイ204は、図6に例示したフォトダイオード118PDや図8に例示した2DPC118PDARに対応する。
 信号受信部300は、信号送信部200から出射され測定対象物で反射した散乱反射光を受光する光学系304およびイメージセンサ(ライン/エリア)302を備える。光学系304、イメージセンサ302は、図11に例示した撮像レンズ16およびイメージセンサ18にそれぞれ対応する。
 信号処理部400は、2DPCセルアレイ駆動部402と、送信方向認識部404と、受信方向認識部406と、CPU408と、3Dイメージ記憶部410と、距離検出部(TOF)412と、対象物認識ロジック414とを備える。CPU408は、3つの動作モード(すなわち、LiDAR動作モード、フラッシュLiDAR動作モード、光切断法動作モード)に基づいて各部の動作制御を行う。CPU408は、図11に例示した制御部14に対応する。
 2DPCセルアレイ駆動部402は、CPU408によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、送信方向認識部404が認識したレーザー光の出射方向と受信方向認識部406が認識した反射光の受信方向とを基に2DPCセルアレイ202の駆動制御を行う。2DPCセルアレイ202から出射されるビームの駆動制御を行う。
 送信方向認識部404は、FBPDアレイ204からのフィードバック情報に従って、信号送信部200から出射されたレーザー光の出射方向を認識し、認識結果をCPU408や2DPCセルアレイ駆動部402に提供する。受信方向認識部406は、イメージセンサ18の撮像面での受光位置から反射光の受信方向を認識し、認識結果をCPU408に提供する。3Dイメージ記憶部410は、イメージセンサ18が撮像したイメージデータを記憶し、距離検出部(TOF)412などに提供する。
 距離検出部(TOF)412は、CPU408によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、イメージセンサ18の撮像面での受光位置と出射から受光までの時間(到達時間)とから測定対象物までの距離を算定する。距離検出部(TOF)412は、図11に例示した距離演算部22に対応する。
 対象物認識ロジック414は、距離検出部(TOF)412の算定結果に基づいて、測定対象物の同定を行う。
 MCPU500は、本実施の形態に係る3次元センシングシステム100が搭載されるメインシステム全体を制御する。例えば、3次元センシングシステム100が車両に搭載される場合には、MCPU500は、車両側のメインCPUに相当する。
 MCPU500には、ユーザインタフェース(I/F)部504が接続される。ユーザI/F部504は、ユーザが3次元センシングシステム100に対する指示(例えば、センシング処理の開始/終了や、動作モードの選択など)を入力するための入力部506と、3次元センシングシステム100が検知したセンシング情報をユーザに提示するための出力部508とを備える。3次元センシングシステム100が検知したセンシング情報は、測定対象物を描いた画像として出力しても良いし、警告音などの音情報として出力しても良い。
 AI部502は、3Dイメージ記憶部410に記憶され蓄積されたイメージデータを基に、3次元センシングシステム100のセンシング結果を学習し、3次元センシングシステム100によるセンシング処理をより適切に支援する。
 (3次元センシングシステムの変形例1)
 本実施の形態の変形例1に係る3次元センシングシステム100のブロック構成例は、図22Aに模式的に示すように表される。また、本実施の形態の変形例1に係る3次元センシングシステムの別のブロック構成例は、図22Bに模式的に示すように表される。図22Aと図22Bとの違いは、図22Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図22Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
 変形例1に係る3次元センシングシステム100の図21Aに例示した3次元センシングシステム100との相違点は、図22Aに例示するように、信号処理部400が受信方向認識部406を備えていない点である。
 本実施の形態の変形例1に係る3次元センシングシステム100においては、2DPCセルアレイ駆動部402は、送受信方向認識部405が認識したレーザー光の出射方向を基に2DPCセルアレイ202の駆動制御を行う。
 変形例1に係る3次元センシングシステム100のブロック構成例は、上記相違点以外は、図21Aに例示した本実施の形態に係る3次元センシングシステム100のブロック構成例と同様である。
 (2DPCセルアレイ駆動部のブロック構成)
 本実施の形態に係る3次元センシングシステムに適用可能な2DPCセルアレイ駆動部402のブロック構成例は、図23に模式的に示すように表される。
 2DPCセルアレイ駆動部402は、図23に例示するように、動作選択部4022と、ライダー動作制御部4024と、フラッシュライダー制御部4026と、構造化光切断制御部4028とを備える。
 動作選択部4022は、CPU408によって制御される動作モード(LiDAR動作モード(M1)/フラッシュLiDAR動作モード(M2)/光切断法動作モード(M3))に従って、ライダー動作制御部4024、フラッシュライダー制御部4026、および構造化光切断制御部4028を制御する。
 具体的には、動作モードがLiDAR動作モード(M1)である場合には、ライダー動作制御部4024は、1つのレーザー素子を駆動して双ビーム(A,B)を出射するように2DPCセルアレイ202を駆動制御する。動作モードがフラッシュLiDAR動作モード(M2)である場合には、フラッシュライダー制御部4026は、ある領域(センシング空間)に対し一定時間光を照射するように2DPCセルアレイ202を駆動制御する。動作モードが光切断法動作モード(M3)である場合には、構造化光切断制御部4028は、測定対象物にストライプ状のパターン光を投影するように2DPCセルアレイ202を駆動制御する。
 動作選択部4022は、例えば、3つの動作モードを以下のように選択制御する。
 最初に、フラッシュライダー制御部4026に、フラッシュLiDAR動作モード(M2)による駆動制御を実行させる(例えば数100W程度の高出力)。次に、ライダー動作制御部4024に、LiDAR動作モード(M1)による駆動制御を実行させる(例えば数W~数10W程度の出力)。次に、構造化光切断制御部4028に、光切断法動作モード(M3)による駆動制御を実行させる。
 その後、動作選択部4022は、動作モードを、最初のフラッシュLiDAR動作モード(M2)に戻しても良いし、或いは処理を終了しても良い。また、フラッシュLiDAR動作モード(M2)と光切断法動作モード(M3)との処理の順番を逆にしても良い。また、3つの動作モードのうち、1つ若しくは2つの動作モードも組み合わせても良い。
 このように、3つの動作モードの組み合わせ方は任意に選択することができるが、原則的には1つの動作モードでのセンシング処理が終わるまでは、次の動作モードには移行しない。
 (3次元センシングシステムの変形例2)
 本実施の形態の変形例2に係る3次元センシングシステム100のブロック構成例は、図24Aに模式的に示すように表される。また、本実施の形態の変形例2に係る3次元センシングシステムの別の模式的ブロック構成例は、図24Bに模式的に示すように表される。図24Aと図24Bとの違いは、図24Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図24Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
 変形例2に係る3次元センシングシステム100の変形例1に係る3次元センシングシステム100(図22A)との相違点は、図24Aに例示するように、AI部407が信号処理部400内に設けられる点である。
 本実施の形態の変形例2に係る3次元センシングシステム100においては、AI部407は、3Dイメージ記憶部410に記憶され蓄積されたイメージデータを基に、3次元センシングシステム100のセンシング結果を学習し、3次元センシングシステム100による次回以降のセンシング処理(特に、送受信方向認識部405や距離検出部(TOF)412)を、より適切に制御する。
 変形例2に係る3次元センシングシステム100のブロック構成例は、上記相違点以外は、図22Aに例示した変形例1に係る3次元センシングシステム100のブロック構成例と同様である。
 (3次元センシングシステムの変形例3)
 本実施の形態の変形例3に係る3次元センシングシステムであって、タイムオブフライト(TOF)測距システム600のブロック構成例は、図25に模式的に示すように表される。尚、ここでは、主にLiDAR動作モードによるセンシング例を説明する。
 TOF測距システム600は、測定対象物700にレーザー光A,Bを照射し、反射光RA,RBが反射して戻ってくるまでの時間を計測することで、測定対象物700までの距離を測定する。
 TOF測距システム600は、2DPCセルアレイ202と、PWM変調制御部203と、位相差検出部205と、イメージセンサ302と、光学系304と、距離検出部412とを備える。尚、本出願の応用ではフラッシュLiDARと同じ時間計測原理を使うため、ある程度のパルス幅が必要となる可能性があるが、パルス幅は変化させない動作も可能である。通常こうした測定のための応用では、なるべく時間の短い数nsから十数nsのパルスを繰り返し発生させる。繰り返し周波数は検出距離に応じて決める。最初のパルスの設定した距離からの反射が戻ってきて処理が完了した後に次のパルスを出す動作を行っている。
 2DPCセルアレイ202は、PWM変調制御部203によって基本周波数(例えば数100MHz)に振幅変調された双ビームA,Bを出射する。出射光A,Bは、測定対象物700にて反射し、反射光RA,RBとして、光学系304を介してイメージセンサ302にて受光される。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
 位相差検出部205は、出射光A,Bと反射光RA,RBとの間の周波数の位相差を検出する。
 距離検出部412は、位相差検出部205が検出した位相差から時間を求める距離演算回路4121と、距離演算回路4121が求めた時間に光速を乗算することで測定対象物700までの距離を検出する距離データ検出部4122とを備える。
 変形例3に係るTOF測距システム600のLiDAR動作モードでは、以上の距離算定を、異なる出射方向に対して繰り返し実行する。
 尚、図示していないが、変形例3に係るTOF測距システム600においても、図21Aなどに例示したAI部502や3Dイメージ記憶部410、対象物認識ロジック414、入力部506と出力部508を含むユーザI/F部504などを備えても良い。
 (3次元センシングシステム適用可能なイメージセンサ(エリア))
 本実施の形態に係る3次元センシングシステムに適用可能なイメージセンサ(エリア)302のブロック構成例は、図26に模式的に示すように表される。
 イメージセンサ(エリア)302は、TOF方式で測定対象物までの距離を測定するイメージセンサであり、PWM変調されたレーザー光を用い、発光/受光タイミングの位相差情報を出力する。イメージセンサ(エリア)302は、図26に例示するように、受光部3021と、垂直シフトレジスタ3022と、バイアス発生回路3023と、タイミング回路3024と、サンプル/ホールド回路3025と、水平シフトレジスタ3026と、バッファアンプ3027A,3027Bとを備える。受光部3021からの出力される信号は、サンプル/ホールド回路3025で必要な信号処理が行われ、水平シフトレジスタ3026で順次走査されて電圧出力として読み出される。出力端子Vout1,Vout2から距離情報に相当する2つの位相信号が出力される。
 (ビーム配置)
 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ10から出射される双ビーム配置例は、図27(a)に模式的に示すように表され、中央ビームとそれに隣接するビームの拡大図は、図27(b)に模式的に示すように表される。
 3次元センシングシステムのセンシング時には以下の機能を有する。
(1)同時に生じる2つのビーム(双ビーム)を扱う。そのため、センシングのための双ビームの発光と受光の扱いが重要になる。
(2)発光では、ビーム走査面を回転系(点対称)で構成する。
(3)受光では、回転系で走査される2つのビームからの反射光を区別可能とする。
(4)同時に任意の双ビームを出射可能とする。
 図27(a)において、双ビーム配置(走査面、出射角度)0.34°ビームの円錐を、走査面を考慮して配置する(円の最稠密充填)ビームの直径(解像度)は、200m:1.19m、100m:0.59m、50m:0.29m、10m:0.06mである。
 図27(b)に例示する配置の仕方は、ビーム配置の一例であり、実際には、センシング空間に対し漏れのないビーム配置を考える必要がある。1つの例として、無限平面への円の最稠密充填を利用する。レーザービームの強度分布に応じてこれらの円領域の重なりを制御して最適なビーム配置を設計する。
 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイから出射される双ビーム配置例であって、円の最稠密充填パターンを利用するビーム配置は、図28に模式的に示すように表される。図28において、対応する番号が1組の双ビームを表す。
 図28では、円の最稠密充填パターンを利用したビーム配置の例を示しており、ビーム位置0を中心とする点対称の位置に双ビームが配置されるようにフォトニック結晶レーザーのビーム広がり角度とビームを含む平面を設計する。本実施の形態に係る3次元センシングシステムによる実際のセンシング時のビーム走査は、従来のラスタースキャンのような方式とは異なり、全く異なる方向を順番に走査することも可能である。隣接する領域を順に走査するのであれば、ビーム位置0→1→5→8→2→11→6→4→9→13→2→・・・といった順序が考えられる。例えば自動車に搭載するケースでは、高速道路を走行するような場合は中央付近だけを走査するなど、走行場面に応じた制御の自由度が高い。また、ビーム位置0,1,2,3を同時に出射すればライン状のパターン投影となり、ビーム位置0,1,5,8を出射すれば中心領域への照明となる。
 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイから出射される円の最稠密充填パターンを利用する双ビーム例において、センシング範囲を表す球面の一部における最大水平角度MHD、最大垂直角度MVDの説明図は、図29(a)に例示するように表され、ビーム発散角BDAおよびビームの中心位置を表す正三角形配置の説明図は、図29(b)に例示するように表され、レーザービームの配置の例は、図29(c)に例示するように表される。
 図28では、センシングのためのビーム配置を、わかりやすさのために平面上での複数の円として描いているが、厳密には、図29に例示するように、ある距離を半径とする球面とビームのなす円錐との交線である。図29(b)のように、ある距離にある平面との交線として描けば「0」番目のビーム位置を除きすべて楕円となり、ビーム位置「0」の場合の距離とはならない。
 図29(a)は、センシング範囲を表す球面(原点Oからある距離を半径とする球面を、センシング範囲を表す角度範囲で切り取った球面)SFの一部を例示しており、MHD(1/2)は、最大水平角度範囲(1/2)であり、MVD(1/2)は、最大垂直角度範囲(1/2)である。
 図29(b)において、θhは水平方向の角度であり、θvは垂直方向の角度であり、BDAはビームの発散角である。図29(b)は、ビームの中心位置を表す正三角形配置(極座標)を例示しており、頂点がビーム中心となり、三角形の一辺がビームの発散角に相当する。水平垂直方向の角度範囲を定めれば、必要なビームの数を算定することができる。
 図29(c)は、レーザービームの配置の例を角度で表現した座標系であり、長さは角度を表し、ある距離における投影面での長さには対応しない。以下のように具体的な条件を定め、必要なビームの数を試算する。すなわち、水平角度範囲:-50°~50°、垂直角度範囲:-10°~10°、ビームの発散角度:0.34°、100m先で水平方向238m、垂直方向35mの範囲(25mなら水平60m、垂直9m)、水平方向のビーム数:100/0.34+1=295、垂直方向のビーム数:20/(0.34×0.87)+1=69(垂直方向は重なりがあるため水平方向のsin60°に短縮)、総ビーム数:20,355、総PCSEL数:10,178である。
 2次元アレイをなす個々のPCSEL(Photonic Crystal Surface Emitting Laser)のビームの仕様は、図29(c)のレーザービームの配置例の対応する番号のように、原点対称の頂点対を選ぶことで定まる。双ビームの開き角度は、頂点間の長さから算定され(正三角形の一辺の長さはビームの発散角度に対応する)、ビームの回転角度は、頂点対を結ぶ線分が軸となす角度で定まる。
例えば、5番の双ビームでは、ビームの開き角度は発散角度の2倍、回転角度は水平軸に対して反時計方向に60°である。
 (受光システム)
 本実施の形態に係る3次元センシングシステムにおいて、反射光Rを受光する受光システム(16、18)の模式図は、図30(a)に例示するように表され、図30(a)のイメージセンサの模式図は、図30(b)に例示するように表される。
 本実施の形態に係る3次元センシングシステムにおける受光システムは、図30(a)に例示するように、撮像レンズ16とイメージセンサ(或いはアレイ状の受光素子)18とを備え、反射光Rを受光する。本実施の形態における受光システムは、フォトニック結晶レーザーの特徴である中心対象に出射される2つのレーザービームからの反射光をそれぞれ区別可能である。さらにフォトニック結晶の特徴を利用し、同時に多数のレーザービームを、ある領域に対する照明光として出射することでフラッシュLiDARとしても機能させることができる。
 (レーザー光強度と注入電流との関係)
 比較例に係る3次元センシングシステムにおいて、2次元フォトニック結晶面発光レーザセルアレイ120ARの各セル121,122,123,124に等しい電流値Iを注入しても方向(位置)によって光強度に差が生じる例は、図31(a)~図31(e)に例示するように表される。図31(a)は、2次元フォトニック結晶面発光レーザセルアレイ120AR及び各セル121,122,123,124を表し、各セル121,122,123,124に等しい電流値Iを注入した場合のビームBMの放射の様子を模式的に示す。また、図31(b)は、ビームBMの放射角度θ=0度のときのFFP、図31(c)は、θ=20度のときのFFP、図31(d)は、θ=40度のときのFFP、図31(e)は、θ=60度のときのFFPの様子を模式的に示す。
 図31(a)~図31(e)の比較例に示すように、例えば、2次元フォトニック結晶面発光レーザセルアレイ120ARの各セル121,122,123,124に、等しい電流値Iを注入しても、角度θによって、光強度Lに差が生じる場合がある。
 一方で、本実施の形態に係る3次元センシングシステムにおいて、2次元フォトニック結晶面発光レーザセルアレイ120ARの各セル121,122,123,124に位置毎にそれぞれ異なる電流値I1,I2,I3,I4を注入して、方向(位置)によって光強度を均一化した例は、図32(a)~図32(e)に例示するように表される。図32(a)は、2次元フォトニック結晶面発光レーザセルアレイ120AR及び各セル121,122,123,124を表し、各セル121,122,123,124に異なる電流値I1,I2,I3,I4を注入した場合のビームBMの放射の様子を模式的に示す。また、図32(b)は、ビームBMの放射角度θ=0度のときのFFP、図32(c)は、θ=20度のときのFFP、図32(d)は、θ=40度のときのFFP、図32(e)は、θ=60度のときのFFPの様子を模式的に示す。
 図32(a)~図32(e)に例示するように、2次元フォトニック結晶面発光レーザセルアレイ120AR内の光強度のばらつきを検出し、2次元フォトニック結晶面発光レーザセルアレイ120ARのセル121,122,123,124毎にそれぞれ異なる電流値I1,I2,I3,I4を注入するように、2次元フォトニック結晶面発光レーザセルアレイ120ARを駆動制御することで、光強度を均一化することができる。例えば、図7に例示したようなフィードバック制御機構を構成することで、フィードバック用のレーザー光C(FB)から2次元フォトニック結晶面発光レーザセルアレイ120AR内の光強度のばらつきを検出することができる。
 (2次元フォトニック結晶面発光レーザセルアレイの出射ビーム制御)
 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ120ARの出射ビーム制御例であって、1セル内に光共振状態形成用格子212A+光出射用格子212Bが配置された状態は、図33(a)に例示するように表され、1セルの模式的平面図は、図33(b)に例示するように表され、一軸方向の走査を実現する電極配置の構成例は、図33(c)に例示するように表される。
 図33(a)に例示する光共振状態形成用格子212A+光出射用格子212Bの配置状態例は、図5に示した配置状態例に対応しており、格子点の位置を示すパラメータである(r1,r2)が、先に示した式(1)および(2)を満たす方向にレーザービームが出射される。
 図33(c)に例示するように、電極E1~E4に向かい格子点の位置を示すパラメータである(r1,r2)を連続的に変化させる。例えば、電極E2にのみ電流を流すと(θ,φ)=(20,0)方向にビームが出射する。隣接する電極(E1~E4)に与える電流バランスにより、連続的に角度を振ることが可能となる。
 また、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ120ARの出射ビーム制御例であって、r1,r2と角度θとの関係は、図34(a)に例示するように表され、一軸方向の走査を実現する電極配置の別の構成例は、図34(b)に例示するように表される。図34(b)においても、電極E1~E4にかけて、r1,r2を連続的に変化させている。図34(b)に例示した一軸方向に走査が行われる。
 また、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ120ARの出射ビーム制御例であって、二軸方向の走査を実現する電極配置の構成例は、図35(a)に表され、走査方向の模式図は、図35(b)に例示するように表される。図35(b)に例示した二軸方向(SV1,SV2およびSH1,SH2)に走査が行われる。
 また、本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルアレイ120ARの出射ビーム制御例であって、回転走査を実現する電極配置の構成例は、図36(a)に表され、走査方向の模式図は、図36(b)に例示するように表される。図36(b)に例示した走査方向(SV1,SV2,SC,およびSH1,SH3)に回転走査が行われる。
 (短冊状の電極配置)
 本実施の形態に係る3次元センシングシステムに適用可能な2次元フォトニック結晶面発光レーザセルにおいて、2次元フォトニック結晶層に空孔(異屈折率領域)が配置される格子点として、光共振状態形成用格子212Aが配置された状態を示す平面図は、図37(a)に例示するように表され、光出射用格子212Bが配置された状態を示す平面図は、図37(b)に例示するように表され、短冊状の上部電極252が配置された状態を示す平面図は、図37(c)に例示するように表され、短冊状の上部電極252が配置された別の状態を示す平面図は、図37(d)に例示するように表される。
 ここでは、図1や図2などに図示されていない下部電極の代わりに、以下に述べる短冊状の電極E1~E19を下部電極として用いる。それ以外のフォトニック結晶レーザーの構成は、図1や図2などに例示したフォトニック結晶レーザーの構成と同様である。
 図37に例示する2次元フォトニック結晶層は、光共振状態形成用格子212A(図37(a))と光出射用格子212B(図37(b))とを組み合わせ重ね合わせた格子(図示せず)の格子点上に空孔(異屈折率領域)が配置されたものである。光共振状態形成用格子212Aは、格子定数aの正方格子である。光出射用格子212Bは、y方向には格子点が間隔aで並んでおり、x方向には、光出射用格子212Bが仮想的に分割された複数の領域66(異周期領域と呼ぶ。これは、異屈折率領域とは異なるものである。)毎に異なる間隔で格子点が並んでいる。
 上部基板242の上面には、図37(c)に例示するように、上部電極252として短冊状の電極(E1~E5)、(E6~E12)、(E13~E19)が設けられている。これら短冊状の電極(E1~E5)、(E6~E12)、(E13~E19)は、x方向の幅が異周期領域66の幅よりも狭い電極が多数、X方向に並べられたものである(図37(c))。
 また、図37(d)では、短冊状の電極(E1,E3,E5)、(E7,E10)、(E13,E16,E19)がx方向に配置された状態を例示している。
 図37に例示するフォトニック結晶レーザーでは、上部電極252として設けられた多数の電極E1~E19のうち、1つの異周期領域66の直上および/または直下にあるもののみから電流を活性層222に注入する。これにより、その異周期領域66の直下にある活性層222において所定の波長の光を含む波長域の光が発光し、その所定波長の光がその異周期領域66において共振を起こし、傾斜ビームが出射する。ここで、異周期領域66毎に光出射用格子212Bの構造が異なるため、光が共振を起こす異周期領域66を切り替える、すなわち、電流を注入する上短冊状の電極E1~E19中の個別の電極を切り替えることにより、レーザー発振位置を徐々に変化させ、ビーム傾斜角を連続的に変化させることができる。
 以上、2次元のPCSELアレイ及びイメージセンサと、2次元のPCSELアレイ及びイメージセンサの駆動、制御について説明し、フラッシュを含む複数の動作モードに対応する点も説明した。
 特定の領域全面に対するフラッシュ動作を常時固定的に用いるようなシステムの場合は、PCSELアレイのほかに、レーザーやLEDなどを用いたフラッシュ専用の光源を用いることも本実施の他の様態に含まれる。以下に詳述する。
 (フラッシュ動作モードとLiDAR動作モードとの組み合わせ動作モードによる3次元センシングシステム)
 本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードとLiDAR動作モードとの組み合わせによる動作モード(以降、単に「組み合わせ動作モード」ともいう)の概念図は、図38に示すように表される。
 本実施の形態に係る組み合わせ動作モードによる3次元センシングシステムにおいては、光源として、全面照射用のフラッシュ(FL)光源250と、狙った領域照射用の2次元フォトニック結晶(2DPC)面発光レーザセルアレイ202とを備える。
 FL光源250は、特定の領域(センシング領域)の全面に対してレーザー光FLを出射する。図38に示す例では、領域内に、車両VH、車両VB、および歩行者(人)HMの3つの測定対象物が存在するものとする。
 FL光源250から出射されて測定対象物VH、VB、HMにてそれぞれ反射した反射光RVH、RVB、RHMを、タイムオブフライト(TOF)カメラ350で観測し、測定対象物VH、VB、HMまでの距離を測定する。
 このとき、車両VHのボディカラーと歩行者HMの服装の色合いが比較的明るい色(例えば、白色系、黄色系など)であり、車両VBのボディカラーが比較的暗い色(例えば、黒色系、紺色系、茶色系など)であるとする。そうすると、比較的明るい色をもつ車両VHや歩行者HMの反射率は比較的高く、信号対雑音比(S/N)も高いため、TOFカメラ350での観測が可能である。ところが、比較的暗い色をもつ車両VBの反射率は比較的低く、S/Nも低いため、TOFカメラ350での観測が難しい。
 そこで、反射率が低くS/Nが十分でない測定対象物(この場合、車両VB)に対して、2DPC面発光レーザセルアレイ202から狙った領域のみにスポット的にビームを照射し、この反射光を観測することで、車両VBのような測定対象物についても、高感度での距離の測定を可能にする。
 (比較例)
 ここで、図39を参照しながら、比較例に係るフラッシュLiDARシステムの動作フローについて説明する。比較例に係るフラッシュLiDARシステムでは、図38に示した3次元センシングシステムにおいて、フラッシュLiDAR動作モードのみを用いる。
 ステップS400において、FL光源250から、特定の領域の全面に対して、レーザー光FLを照射する。
 次に、ステップS401において、FL光源250から出射されて測定対象物VH、VB、HMにて反射した反射光RVH、RVB、RHMを、TOFカメラ350で観測する。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
 次に、ステップS402において、反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定する。ステップS402の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がない場合(ステップS402でNOの場合)、ステップS403において、距離画像(3次元画像)を出力する。
 一方で、ステップS402の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がある場合(ステップS402でYESの場合)、当該領域の距離を算定して距離画像を出力することができないため、ステップS404において、FL光源250からの照射強度を引き上げて、再度、特定の領域の全面に対してレーザー光FLを照射する。
 次に、ステップS405において、FL光源250から出射されて測定対象物にて反射した反射光を、TOFカメラ350で観測する。しかしながら、S/Nが所定の閾値Tよりも低い領域以外の領域は、雑音により飽和してしまい、距離画像を出力することができない。このように、反射率が低い測定対象物が含まれる場合、S/Nの低下により、距離測定が困難になる。
 (組み合わせ動作モードによる3次元センシングシステムの動作フロー)
 図40を参照しながら、図38に示した3次元センシングシステムの動作フローについて説明する。
 ステップS500において、FL光源250から、特定の領域の全面に対して、レーザー光FLを照射する(フラッシュ型)。
 次に、ステップS501において、FL光源250から出射されて測定対象物VH、VB、HMにて反射した反射光RVH、RVB、RHMを、TOFカメラ350で観測する。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
 次に、ステップS502において、反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定する。ステップS502の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がない場合(ステップS502でNOの場合)、ステップS503において、距離画像(3次元画像)を出力する。
 一方で、ステップS502の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がある場合(ステップS502でYESの場合)、例えば、反射率が比較的低くてS/Nも低い車両VBのような場合、当該領域の距離を算定して距離画像を出力することができない。そこで、ステップS504において、S/Nが所定の閾値Tよりも低い領域に対してのみ、2DPCセルアレイ202からスポット的にビームを照射する(ビーム走査型)。
 次に、ステップS505において、2DPC面発光レーザセルアレイ202から出射されて測定対象物にて反射した反射光をTOFカメラ350で観測し、ステップS506において、反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定する。
 ステップS506の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がない場合(ステップS506でNOの場合)、ステップS507において、距離画像(3次元画像)を出力する。
 一方で、ステップS506の判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がある場合(ステップS506でYESの場合)、何らかの測定対象物が存在すると推測されるものの、当該領域の距離を算定して距離画像を出力することができない。
 そこで、ステップS508において、2DPCセルアレイ202から出射される光の強度を引き上げて、ステップS504に戻って、当該領域に対してのみ、2DPC面発光レーザセルアレイ202からスポット的にビームを照射する。ここで、ステップS508における光の強度を引き上げるための調整方法としては、例えば、2DPC面発光レーザセルアレイ202の発光部に供給する電圧を上げる方法などを適用することができる。
 そして、反射光のS/Nが所定の閾値Tよりも低い領域がなくなるまで、すなわち、領域内のすべての測定対象物を検知するまで、ステップS504~S508の処理を繰り返す。
 このように、本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードとLiDAR動作モードとの組み合わせ動作モードを導入することにより、センシング領域内に反射率が低い測定対象物が含まれる場合でも、反射率が低い測定対象物の距離の測定が可能になる。
 また、予め最初に、特定の領域の全面に対してFL光源250からレーザー光FLを照射して、特定の領域全体に含まれる測定対象物を検知し(フラッシュ動作モード)、その際に検知できなかった測定対象物のみについて、次に、2DPC面発光レーザセルアレイ202からスポット的にビームを照射して検知する(LiDAR動作モード)ように構成しているため、最初から最後までLiDAR動作モードで動作するよりも効率的に処理を行うことができる。
 (狙った領域照射用変調フォトニック結晶レーザー光源)
 図41は、本実施の形態に係る3次元センシングシステムにおいて、全面照射用フォトニック結晶レーザー光源の例であって、照射パターン例の断面を模式的に示している。また、図42は、本実施の形態に係る3次元センシングシステムにおいて、全面照射用フォトニック結晶レーザー光源の例であって、照射パターン例の照射面を模式的に示している。
 図41及び図42は、本実施の形態に係る3次元センシングシステムにおいて、スポット的に狙った領域への照射用変調フォトニック結晶レーザー光源(2DPC面発光レーザセルアレイ202)の例を示している。狙った領域照射用変調フォトニック結晶レーザー光源(2DPC面発光レーザセルアレイ202)は、例えば、水平方向±60°、垂直方向±60°の指定位置(例えば図42における狙って照射する位置)にレーザー光を照射する。狙った領域照射用変調フォトニック結晶レーザー光源から出射される双ビームA,Bのうちの片方、例えばビームBを用いるが、ビームA,Bの双方を用いても良い。
 出射角度は、例えば、指定した方向の1点当たり約2°であり、アレイ全体で水平方向±約60°、垂直方向±約60°である。
 出力は、例えば、1点あたり約0.2W超である。複数の光源Bを並べることで、高出力化も可能となるが、パルス幅が長い場合や、繰り返し周波数が高い場合においては、放熱の工夫が必要となる場合がある。
 (全面照射用フォトニック結晶レーザー光源)
 図41は、本実施の形態に係る3次元センシングシステムにおいて、全面照射用フォトニック結晶レーザー光源(FL光源250)の例であって、照射パターン例の断面を模式的に表している。図42は、本実施の形態に係る3次元センシングシステムにおいて、全面照射用フォトニック結晶レーザー光源(FL光源250)の例であって、照射パターン例の照射面を模式的に表している。
 FL光源250として用いるレーザーは、例えば、面垂直型PCSEL若しくはVCSELであり、出射されるレーザー光をレンズ若しくは拡散板等で適宜拡げて、±60°範囲を照射する。ここで用いるレンズとしては、例えば、ボールレンズ、グレーテッドインデックスレンズ(GI(Graded Index)レンズ)又は複数レンズを組み合わせたレンズなどである。より発展的には、レンズや拡散板を用いずに±60°範囲の照射が可能となる。
 全面照射用フォトニック結晶レーザー光源は、例えば、水平方向±60°、垂直方向±60°の全面照射型であり、単体素子の発光を広げて照射することにより、センシング領域の全面に対してレーザー光FLを照射する。出射角度は、例えば、素子単体で約2°であり、より発展的には、水平方向±約60°、垂直方向±約60°の範囲を一様に照射する。
 出力は、例えば、約5W超である。長いパルス幅と高繰り返しにおいては、放熱の工夫が必要な場合がある。また、使用するパッケージは、例えば、5.6mmφステムである。
 (組み合わせ動作モードによる3次元センシングシステムのブロック構成)
 本実施の形態に係る組み合わせ動作モードによる3次元センシングシステムにおいて、フラッシュ動作モードとLiDAR動作モードとの組み合わせ動作モードによるブロック構成は、図43Aに模式的に示すように表される。尚、図21Aに示したブロック構成と同一又は類似の部分には同一又は類似の符号を付して、その説明を省略若しくは簡略化する。
 本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの模式的ブロック構成は、図43Aに示すように表される。また、本実施の形態に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの別の模式的ブロック構成は、図43Bに示すように表される。図43Aと図43Bとの違いは、図43Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図43Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
 本実施の形態に係る3次元センシングシステム100は、図43Aに示すように、特定の領域(センシング領域)の全面に対してレーザー光を出射する全面照射用のフラッシュ光源250と、特定の領域のうち狙った領域に対してレーザー光を出射する2DPC面発光レーザセルアレイ202と、レーザー光源(202,250)の動作モードを制御する制御部(CPU)408と、制御部408によって制御される動作モードに従って、フラッシュ光源250の駆動制御を行うフラッシュ駆動部415および2DPC面発光レーザセルアレイ202の駆動制御を行う2DPCセルアレイ駆動部402と、フラッシュ光源250から出射されたレーザー光が特定の領域内に含まれる測定対象物で反射した反射光を受信し、2DPC面発光レーザセルアレイ202から出射されたレーザー光が狙った領域内に含まれる測定対象物で反射した反射光を受信する信号受信部300と、動作モードに従って、信号受信部300が受信した反射光を信号処理する信号処理部400と、動作モードに従って、信号処理部400が処理した信号に対して、測定対象物までの距離の算定処理を行う距離検出部412とを備える。
 信号処理部400は、フラッシュ光源250から出射されて反射してきた反射光のS/Nが所定の閾値よりも低い領域が特定の領域内にあるか否かを判定し、S/Nが所定の閾値よりも低い領域がある場合、信号処理部400は、S/Nが所定の閾値よりも低い領域のみを狙って、2DPC面発光レーザセルアレイ202からスポット的にレーザー光を照射するように2DPCセルアレイ駆動部402を制御する。
 また、信号処理部400は、2DPC面発光レーザセルアレイ202からスポット的に出射されて反射してきた反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定する。判定の結果、S/Nが所定の閾値Tよりも低い領域がある場合、信号処理部400は、2DPC面発光レーザセルアレイ202から出射される光の強度を引き上げて、当該領域のみを狙って、2DPC面発光レーザセルアレイ202からスポット的にレーザー光を照射するように2DPCセルアレイ駆動部402を制御する。
 ここで、動作モードには、フラッシュ動作モードと、LiDAR動作モードとがあり、フラッシュ駆動部415は、動作モードがフラッシュ動作モードである場合にフラッシュ光源250の駆動制御を行い、2DPCセルアレイ駆動部402は、動作モードがLiDAR動作モードである場合に2DPC面発光レーザセルアレイ202の駆動制御を行う。
 より詳細に本実施の形態に係る3次元センシングシステム100を説明する。
 本実施の形態に係る3次元センシングシステム100は、図43Aに示すように、信号送信部200と、信号受信部300と、信号処理部400とを備える。
 信号送信部200は、特定の領域の全面に対してレーザー光FLを出射する全面照射用のフラッシュ(FL)光源250と、特定の領域のうち狙った領域に対してレーザー光を出射する2DPC面発光レーザセルアレイ202を備える。
 信号受信部300は、信号送信部200から出射され測定対象物で反射した反射光を受光する光学系304およびイメージセンサ302を備える。
 信号処理部400は、レーザー光源の動作モードを制御する制御部(CPU)408と、2DPC面発光レーザセルアレイ202から出射されたレーザー光の出射方向を認識する送信方向認識部404と、CPU408によって制御される動作モードに従って、送信方向認識部404が認識したレーザー光の出射方向を基に2DPC面発光レーザセルアレイ202の駆動制御を行う2DPCセルアレイ駆動部402と、FL光源250の駆動制御を行うFL駆動部415と、CPU408によって制御される動作モードに従って、イメージセンサ18の撮像面での受光位置と出射から受光までの時間とから測定対象物までの距離を算定する距離検出部(TOF)412とを備える。
 FL光源250は、まず、特定の領域の全面に対してレーザー光FLを出射する。FL光源250から出射されて測定対象物から反射した反射光を、信号受信部300で受信し、信号処理部400の距離検出部412にて測定対象物までの距離を測定する。
 このとき、信号処理部400は、反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定し、判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がない場合には、距離画像を出力する。一方で、反射光のS/Nが所定の閾値Tよりも低い領域がある場合、信号処理部400は、S/Nが所定の閾値Tよりも低い領域のみを狙って、2DPC面発光レーザセルアレイ202からスポット的にビームを照射するように2DPCセルアレイ駆動部402を制御する。
 2DPC面発光レーザセルアレイ202から出射されて測定対象物にて反射した反射光は、信号受信部300にて受信される。信号処理部400は、反射光のS/Nが所定の閾値Tよりも低い領域があるか否かを判定し、判定の結果、反射光のS/Nが所定の閾値Tよりも低い領域がない場合、距離画像を出力する。一方で、反射光のS/Nが所定の閾値Tよりも低い領域がある場合、信号処理部400は、2DPC面発光レーザセルアレイ202から出射される光の強度を引き上げて、当該領域のみを狙って、2DPC面発光レーザセルアレイ202からスポット的にビームを照射するように2DPCセルアレイ駆動部402を制御する。
 信号送信部200は、出射したレーザー光のフィードバック制御を行うフィードバックフォトダイオード(FBPD)アレイ204をさらに備え、送信方向認識部404は、FBPDアレイ204からのフィードバック情報に従って、信号送信部200から出射されたレーザー光の出射方向を認識する。
 信号送信部200は、イメージセンサ18の撮像面での受光位置から反射光の受信方向を認識する受信方向認識部406を備えることもでき、2DPCセルアレイ駆動部402は、送信方向認識部404が認識したレーザー光の出射方向と受信方向認識部406が認識した反射光の受信方向とを基に2DPCセルアレイ202の駆動制御を行う。
 信号処理部400は、距離検出部(TOF)412の算定結果に基づいて、測定対象物の同定を行う対象物認識ロジック414をさらに備える。
 本実施の形態に係る3次元センシングシステム100は、より具体的には、図43Aに例示するように、信号送信部200と、信号受信部300と、信号処理部400と、メイン制御部(MCPU)500と、人工知能(AI)部502とを備える。
 信号送信部200は、特定の領域の全面に対してレーザー光FLを出射する全面照射用のFL光源250と、測定対象物に対してレーザー光を出射する2DPC面発光レーザセルアレイ202と、出射したレーザー光のフィードバック制御を行うFBPDアレイ204とを備える。FBPDアレイ204は、図6に示したフォトダイオード118PDや図8に示した2DPC118PDARに対応する。
 信号受信部300は、信号送信部200から出射され測定対象物で反射した散乱反射光を受光する光学系304およびイメージセンサ(ライン/エリア)302を備える。
 信号処理部400は、2DPCセルアレイ駆動部402と、送信方向認識部404と、受信方向認識部406と、CPU408と、3Dイメージ記憶部410と、距離検出部(TOF)412と、対象物認識ロジック414とを備える。CPU408は、3つの動作モード(すなわち、LiDAR動作モード、フラッシュLiDAR動作モード、光切断法動作モード)に基づいて各部の動作制御を行う。CPU408は、図11に例示した制御部14に対応する。
 2DPCセルアレイ駆動部402は、CPU408によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、送信方向認識部404が認識したレーザー光の出射方向と受信方向認識部406が認識した反射光の受信方向とを基に2DPC面発光レーザセルアレイ202の駆動制御を行い、FL駆動部415は、FL光源250の駆動制御を行う。
 送信方向認識部404は、FBPDアレイ204からのフィードバック情報に従って、信号送信部200から出射されたレーザー光の出射方向を認識し、認識結果をCPU408や2DPCセルアレイ駆動部402およびFL駆動部415に提供する。受信方向認識部406は、イメージセンサ18の撮像面での受光位置から反射光の受信方向を認識し、認識結果をCPU408に提供する。3Dイメージ記憶部410は、イメージセンサ18が撮像したイメージデータを記憶し、距離検出部(TOF)412などに提供する。
 距離検出部(TOF)412は、CPU408によって制御される動作モード(LiDAR動作モード/フラッシュLiDAR動作モード/光切断法動作モード)に従って、イメージセンサ18の撮像面での受光位置と出射から受光までの時間(到達時間)とから測定対象物までの距離を算定する。距離検出部(TOF)412は、図11に例示した距離演算部22に対応する。
 対象物認識ロジック414は、距離検出部(TOF)412の算定結果に基づいて、測定対象物の同定を行う。
 MCPU500は、本実施の形態に係る3次元センシングシステム100が搭載されるメインシステム全体を制御する。例えば、3次元センシングシステム100が車両に搭載される場合には、MCPU500は、車両側のメインCPUに相当する。
 MCPU500には、ユーザインタフェース(I/F)部504が接続される。ユーザI/F部504は、ユーザが3次元センシングシステム100に対する指示(例えば、センシング処理の開始/終了や、動作モードの選択など)を入力するための入力部506と、3次元センシングシステム100が検知したセンシング情報をユーザに提示するための出力部508とを備える。3次元センシングシステム100が検知したセンシング情報は、測定対象物を描いた画像として出力しても良いし、警告音などの音情報として出力しても良い。
 AI部502は、3Dイメージ記憶部410に記憶され蓄積されたイメージデータを基に、3次元センシングシステム100のセンシング結果を学習し、3次元センシングシステム100によるセンシング処理をより適切に支援する。
 (組み合わせ動作モードによる3次元センシングシステムの変形例4)
 本実施の形態の変形例4に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの模式的ブロック構成は、図44Aに示すように表される。また、本実施の形態の変形例4に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの別の模式的ブロック構成は、図44Bに示すように表される。図44Aと図44Bとの違いは、図44Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図44Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
 変形例4に係る3次元センシングシステム100と、図43Aに例示した3次元センシングシステム100との相違点は、信号処理部400が受信方向認識部406を備えていない点である。
 本実施の形態の変形例4に係る3次元センシングシステム100においては、2DPCセルアレイ駆動部402は、送受信方向認識部405が認識したレーザー光の出射方向を基に2DPC面発光レーザセルアレイ202の駆動制御を行う。
 変形例4に係る3次元センシングシステム100のブロック構成例は、上記相違点以外は、図43Aに例示した本実施の形態に係る3次元センシングシステム100のブロック構成例と同様である。
 (2DPCセルアレイ駆動部とFL駆動部のブロック構成)
 本実施の形態に係る3次元センシングシステムに適用可能な2DPCセルアレイ駆動部402とFL駆動部415のブロック構成例は、図45に模式的に示すように表される。尚、図23に示したブロック構成内の同一又は類似の部分には同一又は類似の符号を付して、その説明を省略若しくは簡略化する。
 2DPCセルアレイ駆動部402は、図23と同様に、動作選択部4022と、ライダー動作制御部4024と、フラッシュライダー制御部4026と、構造化光切断制御部4028とを備え、CPU408による制御に従って、2DPCセルアレイ202の駆動制御を行う。
 FL駆動部415は、CPU408による制御に従って、FL光源250の駆動制御を行う。
 (組み合わせ動作モードによる3次元センシングシステムの変形例5)
 本実施の形態の変形例5に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの模式的ブロック構成は、図46Aに示すように表される。また、本実施の形態の変形例5に係る3次元センシングシステムにおいて、フラッシュ動作モードと、LiDAR動作モードの組み合わせ動作モードの別の模式的ブロック構成は、図46Bに示すように表される。図46Aと図46Bとの違いは、図46Aでは、信号送信部200はフィードバックフォトダイオード(FBPD)アレイ204を備えているのに対して、図46Bでは、フィードバックフォトダイオード(FBPD)アレイ204を備えない点である。このようにフィードバックフォトダイオード(FBPD)アレイ204を備えていても良いし省略しても良い。フィードバック動作は、カメラでも対応できるため、フィードバックフォトダイオード(FBPD)アレイ204を省略しても良い。
 変形例5に係る3次元センシングシステム100と、変形例4に係る3次元センシングシステム100(図44A)との相違点は、AI部407が信号処理部400内に設けられる点である。
 本実施の形態の変形例5に係る3次元センシングシステム100においては、AI部407は、3Dイメージ記憶部410に記憶され蓄積されたイメージデータを基に、3次元センシングシステム100のセンシング結果を学習し、3次元センシングシステム100による次回以降のセンシング処理(特に、送受信方向認識部405や距離検出部(TOF)412)を、より適切に制御する。
 変形例5に係る3次元センシングシステム100のブロック構成例は、上記相違点以外は、図44Aに例示した変形例4に係る3次元センシングシステム100のブロック構成例と同様である。
 (組み合わせ動作モードによる3次元センシングシステムの変形例6)
 本実施の形態の変形例6に係る組み合わせ動作モードによる3次元センシングシステムであって、タイムオブフライト(TOF)測距システム600のブロック構成例は、図47に模式的に示すように表される。尚、ここでは、主にLiDAR動作モードによるセンシング例を説明する。
 フラッシュ動作モードでは、TOF測距システム600は、測定対象物700にレーザー光FLを照射し、反射光が反射して戻ってくるまでの時間を計測することで、測定対象物700までの距離を測定する。また、LiDAR動作モードでは、TOF測距システム600は、測定対象物700にレーザー光A,Bを照射し、反射光RA,RBが反射して戻ってくるまでの時間を計測することで、測定対象物700までの距離を測定する。
 TOF測距システム600は、FL光源250と、2DPCセルアレイ202と、PWM変調制御部203と、位相差検出部205と、イメージセンサ302と、光学系304と、距離検出部412とを備える。尚、本出願の応用では、LiDAR動作モードにおいても、フラッシュLiDARと同じ時間計測原理を使うため、ある程度のパルス幅が必要となる可能性があるが、パルス幅は変化させない動作も可能である。通常こうした測定のための応用では、なるべく時間の短い数nsから十数nsのパルスを繰り返し発生させる。繰り返し周波数は検出距離に応じて決める。最初のパルスの設定した距離からの反射が戻ってきて処理が完了した後に次のパルスを出す動作を行っている。
 LiDAR動作モードでは、2DPC面発光レーザセルアレイ202は、PWM変調制御部203によって基本周波数(例えば数100MHz)に振幅変調された双ビームA,Bを出射する。出射光A,Bは、測定対象物700にて反射し、反射光RA,RBとして、光学系304を介してイメージセンサ302にて受光される。ここで、反射光がなければ、該当する方向に物体(測定対象物)が存在しないものと認識することができる。
 位相差検出部205は、出射光A,Bと反射光RA,RBとの間の周波数の位相差を検出する。
 距離検出部412は、位相差検出部205が検出した位相差から時間を求める距離演算回路4121と、距離演算回路4121が求めた時間に光速を乗算することで測定対象物700までの距離を検出する距離データ検出部4122とを備える。
 変形例6に係るTOF測距システム600のLiDAR動作モードでは、以上の距離算定を、異なる出射方向に対して繰り返し実行する。
 尚、図示していないが、変形例6に係るTOF測距システム600においても、図21Aなどに例示したAI部502や3Dイメージ記憶部410、対象物認識ロジック414、入力部506と出力部508を含むユーザI/F部504などを備えても良い。
 以上説明したように、本実施の形態によれば、高精度、高出力、小型化、堅牢性を有するとともに、センシング領域やセンシング対象への適応性が高く、複数のセンシングモードに対応可能な3次元センシングシステムを提供することができる。
 [その他の実施の形態]
 上記のように、実施の形態によって記載したが、この開示の一部をなす論述および図面は例示的なものであり、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなろう。
 このように、本実施の形態はここでは記載していない様々な実施の形態などを含む。
 本実施の形態に係る3次元センシングシステムは、例えば、車両等の周囲に存在する測定対象物までの距離や形状を検出する車載センサーなど、車両の安全運転を支援するセンシング技術として利用可能である他、高度な自動運転システムを実現するためのセンシング技術としても利用可能である。また、車両に限らず、航空機、人工衛星、宇宙船、船舶などにも適用可能である。さらに、地質学、地震学、海洋学など、幅広い分野に適用できる。
10、120AR、202…2次元フォトニック結晶(2DPC)面発光レーザセルアレイ
12…駆動部
14…制御部
16…撮像レンズ
18、302…イメージセンサ
20、400…信号処理部
22…距離演算部
24I1,24I2…受光位置
24T,24T1,24T2、700…測定対象物
100…3次元センシングシステム
118PD…フォトダイオード
118PDAR…2次元フォトダイオードセルアレイ
120…2次元フォトニック結晶面発光レーザセル
130…フィードバック制御部
140AR…2次元フォトダイオードアレイ駆動部
200…信号送信部
203…PWM変調制御部
204…FBPDアレイ
205…位相差検出部
250…フラッシュ光源(FL光源)
251T…透明電極
252…窓状電極(上部電極)
300…信号受信部
304…光学系
350…タイムオブフライト(TOF)カメラ
402…2DPCセルアレイ駆動部
404…送信方向認識部
405…送受信方向認識部
406…受信方向認識部
407、502…人工知能(AI)部
408…制御部(CPU)
410…3Dイメージ記憶部
412…距離検出部
414…対象物認識ロジック
415…フラッシュ光源駆動部(FL駆動部)
500…メイン制御部(MCPU)
504…ユーザI/F部
506…入力部
508…出力部
600…タイムオブフライト(TOF)測距システム
3021…受光部
3022…垂直シフトレジスタ
3023…バイアス発生回路
3024…タイミング回路
3025…サンプル/ホールド回路
3026…水平シフトレジスタ
3027A,3027B…バッファアンプ
4022…動作選択部
4024…ライダー動作制御部
4026…フラッシュライダー制御部
4028…構造化光切断制御部
4121…距離演算回路
4122…距離データ検出部

Claims (31)

  1.  フォトニック結晶レーザー素子が平面上に配置されたフォトニック結晶レーザーアレイと、
     レーザー光源の動作モードを制御する制御部と、
     前記制御部によって制御される前記動作モードに従って、前記フォトニック結晶レーザーアレイの駆動制御を行う駆動部と、
     前記フォトニック結晶レーザーアレイから出射されたレーザー光が測定対象物で反射した反射光を受光する受光部と、
     前記動作モードに従って、前記受光部が受光した前記反射光を信号処理する信号処理部と、
     前記動作モードに従って、前記信号処理部が処理した信号に対して、前記測定対象物までの距離の算定処理を行い、算定結果を距離データして出力する距離演算部と
     を備える、3次元センシングシステム。
  2.  フィードバック用のレーザー光を透過する透明電極若しくはDBR層と、前記フィードバック用のレーザー光を検出するフォトダイオードとをさらに備え、
     前記駆動部は、前記フィードバック用のレーザー光から前記フォトニック結晶レーザーアレイ内の光強度のばらつきを検出し、前記フォトニック結晶レーザーアレイのセル毎に注入電流を変えるように駆動制御する、請求項1に記載の3次元センシングシステム。
  3.  前記受光部は、撮像レンズとイメージセンサとを備え、
     前記距離演算部は、前記制御部によって制御される前記動作モードに従って、前記イメージセンサの撮像面での受光位置と前記フォトニック結晶レーザーアレイから出射されたレーザー光の出射から受光までの時間とから前記測定対象物までの距離を算定し、算定結果を距離データとして出力する、請求項1または2に記載の3次元センシングシステム。
  4.  前記動作モードは、LiDAR動作モードと、フラッシュLiDAR動作モードと、光切断法動作モードとを備える、請求項3に記載の3次元センシングシステム。
  5.  前記動作モードが前記LiDAR動作モードである場合、前記駆動部は、前記フォトニック結晶レーザーアレイの1つの素子から双ビームを出射するように前記フォトニック結晶レーザーアレイを駆動制御する、請求項4に記載の3次元センシングシステム。
  6.  前記距離演算部は、前記反射光を検出した場合、前記イメージセンサの撮像面での前記受光位置から前記出射されたレーザー光のどちらのビームに対する反射光であるのかを判定し、前記レーザー光の前記出射から前記受光までの時間を計測する、請求項5に記載の3次元センシングシステム。
  7.  前記動作モードが前記フラッシュLiDAR動作モードである場合、前記駆動部は、前記フォトニック結晶レーザーアレイの複数の素子から特定の領域に対して前記レーザー光を同時に出射するように前記フォトニック結晶レーザーアレイを駆動制御する、請求項4に記載の3次元センシングシステム。
  8.  前記距離演算部は、前記反射光を検出した場合、前記イメージセンサの各画素における前記出射から前記受光までの時間を計測する、請求項7に記載の3次元センシングシステム。
  9.  前記動作モードが前記光切断法動作モードである場合、前記駆動部は、前記フォトニック結晶レーザーアレイで生成したストライプ状のレーザー光を照射するように前記フォトニック結晶レーザーアレイを駆動制御する、請求項4に記載の3次元センシングシステム。
  10.  前記距離演算部は、前記反射光を検出した場合、反射光像を撮像パターンとして取得し、前記撮像パターンにより三角測距を行い、前記測定対象物までの距離を算定して、ストライプ光1ライン分の3次元距離データを取得する、請求項9に記載の3次元センシングシステム。
  11.  測定対象物に対してレーザー光を出射する2次元フォトニック結晶面発光レーザセルアレイを備える信号送信部と、
     前記信号送信部から出射され前記測定対象物で反射した反射光を受光する光学系およびイメージセンサを備える信号受信部と、
     前記レーザー光の光源の動作モードを制御する制御部と、前記2次元フォトニック結晶面発光レーザセルアレイから出射された前記レーザー光の出射方向を認識する送信方向認識部と、前記動作モードに従って、前記送信方向認識部が認識した前記レーザー光の出射方向を基に前記2次元フォトニック結晶面発光レーザセルアレイの駆動制御を行う2次元フォトニック結晶セルアレイ駆動部と、前記動作モードに従って、前記イメージセンサの撮像面での受光位置と出射から受光までの時間とから前記測定対象物までの距離を算定する距離検出部とを備える信号処理部と
     を備える、3次元センシングシステム。
  12.  前記信号送信部は、出射した前記レーザー光のフィードバック制御を行うフィードバックフォトダイオードアレイをさらに備え、
     前記送信方向認識部は、前記フィードバックフォトダイオードアレイからのフィードバック情報に従って、前記信号送信部から出射された前記レーザー光の出射方向を認識する、請求項11に記載の3次元センシングシステム。
  13.  前記信号処理部は、前記イメージセンサの撮像面での受光位置から前記反射光の受信方向を認識する受信方向認識部をさらに備え、
     前記2次元フォトニック結晶セルアレイ駆動部は、前記送信方向認識部が認識した前記レーザー光の出射方向と前記受信方向認識部が認識した前記反射光の受信方向とを基に前記2次元フォトニック結晶面発光レーザセルアレイの駆動制御を行う、請求項12に記載の3次元センシングシステム。
  14.  前記信号処理部は、前記距離検出部の算定結果に基づいて、前記測定対象物の同定を行う対象物認識ロジックをさらに備える、請求項11~13のいずれか1項に記載の3次元センシングシステム。
  15.  前記3次元センシングシステムが搭載されるメインシステム全体を制御するメイン制御部をさらに備える、請求項11~14のいずれか1項に記載の3次元センシングシステム。
  16.  前記信号処理部は、前記イメージセンサが撮像したイメージデータを記憶する3Dイメージ記憶部を備え、
     前記3次元センシングシステムは、前記3Dイメージ記憶部に記憶され蓄積された前記イメージデータを基に、前記3次元センシングシステムのセンシング結果を学習し、前記3次元センシングシステムによるセンシング処理を支援する人工知能部をさらに備える、請求項15に記載の3次元センシングシステム。
  17.  前記メイン制御部に接続されるユーザインタフェース部をさらに備え、
     前記ユーザインタフェース部は、ユーザが前記3次元センシングシステムに対する指示を入力するための入力部と、前記3次元センシングシステムが検知したセンシング情報を前記ユーザに提示するための出力部とを備える、請求項15または16に記載の3次元センシングシステム。
  18.  前記動作モードは、LiDAR動作モードと、フラッシュLiDAR動作モードと、光切断法動作モードとを備える、請求項11~17のいずれか1項に記載の3次元センシングシステム。
  19.  前記動作モードが前記LiDAR動作モードである場合、前記2次元フォトニック結晶セルアレイ駆動部は、前記2次元フォトニック結晶セルアレイ駆動部の1つの素子から双ビームを出射するように前記2次元フォトニック結晶セルアレイ駆動部を駆動制御する、請求項18に記載の3次元センシングシステム。
  20.  前記距離検出部は、前記反射光を検出した場合、前記イメージセンサの撮像面での前記受光位置から前記出射されたレーザー光のどちらのビームに対する反射光であるのかを判定し、前記レーザー光の前記出射から前記受光までの時間を計測する、請求項19に記載の3次元センシングシステム。
  21.  前記動作モードが前記フラッシュLiDAR動作モードである場合、前記2次元フォトニック結晶セルアレイ駆動部は、前記2次元フォトニック結晶面発光レーザセルアレイの複数の素子から特定の領域に対して前記レーザー光を同時に出射するように前記2次元フォトニック結晶面発光レーザセルアレイを駆動制御する、請求項18に記載の3次元センシングシステム。
  22.  前記距離検出部は、前記反射光を検出した場合、前記イメージセンサの各画素における前記出射から前記受光までの時間を計測する、請求項21に記載の3次元センシングシステム。
  23.  前記動作モードが前記光切断法動作モードである場合、前記2次元フォトニック結晶セルアレイ駆動部は、前記2次元フォトニック結晶面発光レーザセルアレイで生成したストライプ状のレーザー光を照射するように前記2次元フォトニック結晶面発光レーザセルアレイを駆動制御する、請求項18に記載の3次元センシングシステム。
  24.  前記距離検出部は、前記反射光を検出した場合、反射光像を撮像パターンとして取得し、前記撮像パターンにより三角測距を行い、前記測定対象物までの距離を算定して、ストライプ光1ライン分の3次元距離データを取得する、請求項23に記載の3次元センシングシステム。
  25.  特定の領域の全面に対してレーザー光を出射するフラッシュ光源と、
     前記特定の領域のうち狙った領域に対してレーザー光を出射する2次元フォトニック結晶面発光レーザセルアレイと、
     レーザー光源の動作モードを制御する制御部と、
     前記制御部によって制御される前記動作モードに従って、前記フラッシュ光源の駆動制御を行うフラッシュ駆動部および前記2次元フォトニック結晶面発光レーザセルアレイの駆動制御を行う2次元フォトニック結晶セルアレイ駆動部と、
     前記フラッシュ光源から出射されたレーザー光が前記特定の領域内に含まれる測定対象物で反射した反射光を受信し、前記2次元フォトニック結晶面発光レーザセルアレイから出射されたレーザー光が前記狙った領域内に含まれる測定対象物で反射した反射光を受信する信号受信部と、
     前記動作モードに従って、前記信号受信部が受信した前記反射光を信号処理する信号処理部と、
     前記動作モードに従って、前記信号処理部が処理した信号に対して、前記測定対象物までの距離の算定処理を行う距離検出部と
     を備え、
     前記信号処理部は、前記フラッシュ光源から出射されて反射してきた反射光の信号対雑音比が所定の閾値よりも低い領域が前記特定の領域内にあるか否かを判定し、前記信号対雑音比が所定の閾値よりも低い領域がある場合、前記信号処理部は、前記信号対雑音比が所定の閾値よりも低い領域のみを狙って、前記2次元フォトニック結晶面発光レーザセルアレイからスポット的に前記レーザー光を照射するように前記2次元フォトニック結晶セルアレイ駆動部を制御する、3次元センシングシステム。
  26.  前記信号処理部は、前記2次元フォトニック結晶面発光レーザセルアレイからスポット的に出射されて反射してきた反射光の信号対雑音比が前記所定の閾値よりも低い領域があるか否かを判定し、判定の結果、前記反射光の信号対雑音比が所定の閾値よりも低い領域がある場合、前記信号処理部は、前記2次元フォトニック結晶面発光レーザセルアレイから出射される光の強度を引き上げて、当該領域のみを狙って、前記2次元フォトニック結晶面発光レーザセルアレイからスポット的に前記レーザー光を照射するように前記2次元フォトニック結晶セルアレイ駆動部を制御する、請求項25に記載の3次元センシングシステム。
  27.  前記動作モードは、フラッシュ動作モードと、LiDAR動作モードとを備える、請求項25または26に記載の3次元センシングシステム。
  28.  前記フラッシュ駆動部は、前記動作モードが前記フラッシュ動作モードである場合に前記フラッシュ光源の駆動制御を行う、請求項27に記載の3次元センシングシステム。
  29.  前記2次元フォトニック結晶セルアレイ駆動部は、前記動作モードが前記LiDAR動作モードである場合に前記2次元フォトニック結晶面発光レーザセルアレイの駆動制御を行う、請求項27に記載の3次元センシングシステム。
  30.  前記フラッシュ光源から出射されるレーザー光を拡げるためのレンズ、若しくは拡散板を備える、請求項25~29のいずれか1項に記載の3次元センシングシステム。
  31.  前記レンズは、ボールレンズ、グレーテッドインデックスレンズ又は複数レンズを組み合わせたレンズのいずれかを備える、請求項30に記載の3次元センシングシステム。
PCT/JP2020/027059 2019-07-11 2020-07-10 3次元センシングシステム WO2021006338A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112020003295.7T DE112020003295T5 (de) 2019-07-11 2020-07-10 Dreidimensionales erfassungssystem
US17/569,922 US20220128696A1 (en) 2019-07-11 2022-01-06 Three-dimensional sensing system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019129075 2019-07-11
JP2019-129075 2019-07-11
JP2020-059842 2020-03-30
JP2020059842A JP2021015113A (ja) 2019-07-11 2020-03-30 3次元センシングシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/569,922 Continuation US20220128696A1 (en) 2019-07-11 2022-01-06 Three-dimensional sensing system

Publications (1)

Publication Number Publication Date
WO2021006338A1 true WO2021006338A1 (ja) 2021-01-14

Family

ID=74115249

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027059 WO2021006338A1 (ja) 2019-07-11 2020-07-10 3次元センシングシステム

Country Status (3)

Country Link
US (1) US20220128696A1 (ja)
DE (1) DE112020003295T5 (ja)
WO (1) WO2021006338A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114296094A (zh) * 2021-12-31 2022-04-08 探维科技(苏州)有限公司 一种雷达检测方法、装置、系统及介质
WO2023181308A1 (ja) * 2022-03-24 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント コンピュータシステム、方法およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022127877A1 (de) 2022-10-21 2024-05-02 Ams-Osram International Gmbh Oszillatorschaltung und verfahren

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006278662A (ja) * 2005-03-29 2006-10-12 Nec Corp 光通信用光源
JP2012088169A (ja) * 2010-10-19 2012-05-10 Nikon Corp 距離情報取得装置および撮像装置
US20140211193A1 (en) * 2012-09-24 2014-07-31 Alces Technology, Inc. Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator
WO2018168959A1 (ja) * 2017-03-17 2018-09-20 スタンレー電気株式会社 レーザーレーダー装置
JP2018529124A (ja) * 2015-09-08 2018-10-04 マイクロビジョン,インク. 混合モードの深度検出
WO2018213410A1 (en) * 2017-05-16 2018-11-22 The Regents Of The University Of California Photonic generation and steering of coherent vortex beams
WO2019020395A1 (en) * 2017-07-24 2019-01-31 Lumileds Holding B.V. VCSEL SET

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006278662A (ja) * 2005-03-29 2006-10-12 Nec Corp 光通信用光源
JP2012088169A (ja) * 2010-10-19 2012-05-10 Nikon Corp 距離情報取得装置および撮像装置
US20140211193A1 (en) * 2012-09-24 2014-07-31 Alces Technology, Inc. Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator
JP2018529124A (ja) * 2015-09-08 2018-10-04 マイクロビジョン,インク. 混合モードの深度検出
WO2018168959A1 (ja) * 2017-03-17 2018-09-20 スタンレー電気株式会社 レーザーレーダー装置
WO2018213410A1 (en) * 2017-05-16 2018-11-22 The Regents Of The University Of California Photonic generation and steering of coherent vortex beams
WO2019020395A1 (en) * 2017-07-24 2019-01-31 Lumileds Holding B.V. VCSEL SET

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114296094A (zh) * 2021-12-31 2022-04-08 探维科技(苏州)有限公司 一种雷达检测方法、装置、系统及介质
CN114296094B (zh) * 2021-12-31 2023-07-14 探维科技(苏州)有限公司 一种雷达检测方法、装置、系统及介质
WO2023181308A1 (ja) * 2022-03-24 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント コンピュータシステム、方法およびプログラム

Also Published As

Publication number Publication date
US20220128696A1 (en) 2022-04-28
DE112020003295T5 (de) 2022-04-07

Similar Documents

Publication Publication Date Title
WO2021006338A1 (ja) 3次元センシングシステム
CN107209265B (zh) 光探测和测距装置
US10782392B2 (en) Scanning optical system and light projecting and receiving apparatus
JP6025014B2 (ja) 距離測定装置
KR20200067748A (ko) 라이다 장치
JP2021532368A (ja) 分散型モジュール式ソリッドステートlidarシステム
US11422239B2 (en) Lidar sensor for a lidar system
JP2015111090A (ja) 物体検出装置
KR102607187B1 (ko) 라이다 장치
US11971488B2 (en) LIDAR system with variable resolution multi-beam scanning
KR20160113794A (ko) 전방향 라이다 장치
KR20210059645A (ko) 레이저 출력 어레이 및 이를 이용한 라이다 장치
KR20230067621A (ko) 가변 분해능 멀티-빔 스캐닝 기능이 있는 lidar 시스템
US20220229161A1 (en) Electro-optical systems for scanning illumination onto a field of view and methods
KR102633680B1 (ko) 라이다 장치
JP2007139648A (ja) 被測定物検出装置
TW202119058A (zh) 深度感測裝置及方法
JP2024014877A (ja) Lidarの視野を変更するためのシステムおよび方法
US20230176219A1 (en) Lidar and ambience signal fusion in lidar receiver
JP2021015113A (ja) 3次元センシングシステム
US20230138819A1 (en) Compact lidar systems for detecting objects in blind-spot areas
US20220206121A1 (en) Mems actuated vibratory risley prism for lidar
CN115989427A (zh) 在确保眼睛安全的同时进行多个同时激光束的发射和照明
US20240159518A1 (en) Unevenly distributed illumination for depth sensor
US20230072058A1 (en) Omni-view peripheral scanning system with integrated mems spiral scanner

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20837818

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20837818

Country of ref document: EP

Kind code of ref document: A1