WO2022102775A1 - センシング装置、車両用灯具、車両 - Google Patents

センシング装置、車両用灯具、車両 Download PDF

Info

Publication number
WO2022102775A1
WO2022102775A1 PCT/JP2021/041926 JP2021041926W WO2022102775A1 WO 2022102775 A1 WO2022102775 A1 WO 2022102775A1 JP 2021041926 W JP2021041926 W JP 2021041926W WO 2022102775 A1 WO2022102775 A1 WO 2022102775A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
cells
light receiving
sensing device
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/041926
Other languages
English (en)
French (fr)
Inventor
真太郎 杉本
祐太 春瀬
輝明 鳥居
幸雄 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Priority to CN202180075232.1A priority Critical patent/CN116457700A/zh
Priority to JP2022562223A priority patent/JPWO2022102775A1/ja
Publication of WO2022102775A1 publication Critical patent/WO2022102775A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • This disclosure relates to a sensing device.
  • an object identification system that senses the position and type of objects existing around the vehicle.
  • the object identification system includes a sensor and an arithmetic processing device that analyzes the output of the sensor.
  • the sensor is selected from among cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
  • ADAS advanced driver-assistance systems
  • millimeter-wave radar and camera were the main sensing devices, but in the level 4 or higher automatic driving system, the city area.
  • LiDAR is regarded as promising because it is necessary to detect and identify various objects existing in the system.
  • the point cloud data generated by LiDAR includes not only the shape of the object but also the distance information to the object, but the resolution is lower than that of a general camera.
  • the present disclosure has been made in such circumstances, and one of the exemplary purposes of that aspect is to provide a sensing device capable of obtaining more information.
  • the sensing device of one aspect of the present disclosure includes a lighting device capable of irradiating a plurality of cells having a divided field of view with spatially patterned illumination light, and a plurality of light receiving elements corresponding to the plurality of cells. It includes a light receiving element array and an arithmetic processing device that generates distance information for each of a plurality of cells based on the ToF (flight time) method and also generates image data of the plurality of cells based on the correlation method.
  • a lighting device capable of irradiating a plurality of cells having a divided field of view with spatially patterned illumination light, and a plurality of light receiving elements corresponding to the plurality of cells. It includes a light receiving element array and an arithmetic processing device that generates distance information for each of a plurality of cells based on the ToF (flight time) method and also generates image data of the plurality of cells based on the correlation method.
  • ToF light time
  • the sensing device of one aspect of the present disclosure includes a lighting device capable of irradiating each of a plurality of N (N ⁇ 2) cells having a divided field of view with spatially patterned illumination light, and a binary value of each.
  • a light receiving element array including K (K ⁇ 2) ⁇ N light receiving elements for outputting a detection signal and K light receiving elements assigned to each of a plurality of N cells, and (i) ToF ( By the (flight time) method, distance information is generated for each of the plurality of N cells based on the output of at least one of the K light receiving elements corresponding to each cell, and (ii) for each of the plurality of N cells. It is provided with an arithmetic processing device that generates a multi-valued detection intensity based on the outputs of K light receiving elements corresponding to each cell and generates image data of each cell by a correlation method.
  • This device corresponds to a lighting device capable of irradiating spatially patterned illumination light to each of a plurality of N cells (N ⁇ 2) having a divided field, and a plurality of N cells, each of which corresponds to a plurality of cells.
  • a light receiving element array containing a plurality of N light receiving elements that output a binary detection signal, and (i) for each of the plurality of N cells, based on the detection signal output by the corresponding one of the N light receiving elements.
  • a histogram with the distance as a class is generated, the distance information of each cell is generated based on the histogram, and (ii) the detection intensity is generated based on the histogram, and the detection intensity is used. It is provided with an arithmetic processing device that generates image data of each cell by the above-mentioned correlation method.
  • distance information and image information can be obtained.
  • FIG. 9 (a) is a time chart of distance measurement by the sensing device of FIG. 7, and FIG. 9 (b) is a histogram in which the distance is a class.
  • FIG. 1 It is a figure explaining the generation of the histogram which concerns on the modification 1. It is a figure explaining the generation of the histogram which concerns on the modification 2. It is a time chart of the generation of one image data in the sensing apparatus of FIG. It is a figure which shows the sensing apparatus which concerns on Embodiment 3.
  • FIG. It is a figure which shows the relationship between the histogram HIST ij and the detection intensity bij .
  • the sensing device is a light receiving device including a lighting device capable of irradiating a plurality of cells having a divided field of view with spatially patterned illumination light and a plurality of light receiving elements corresponding to the plurality of cells. It includes an element array and an arithmetic processing device that generates distance information for each of a plurality of cells based on the ToF (flight time) method and also generates image data of the plurality of cells based on the correlation method.
  • ToF light time
  • the image information for each cell can be acquired.
  • the illuminating device may sequentially irradiate each cell with a plurality of illuminating lights having a random intensity distribution.
  • the arithmetic processing apparatus may acquire the distance information of the corresponding cell by the ToF method based on the output of each light receiving element, and may generate the image data of the corresponding cell by the correlation method. As a result, both distance information and image information can be obtained by one operation of the lighting device.
  • the lighting device may sequentially irradiate each cell with a plurality of illumination lights having a random intensity distribution.
  • the illuminating device may irradiate each cell with uniform illumination light.
  • the illuminating device may irradiate a part of each cell with the illuminating light.
  • the sensing device is a lighting device capable of irradiating each of a plurality of N cells (N ⁇ 2) having a divided field of view with spatially patterned illumination light, and detection of binary values for each.
  • a light receiving element array that includes K (K ⁇ 2) ⁇ N light receiving elements that output signals and K light receiving elements are assigned to each of a plurality of N cells, and (i) ToF (flying).
  • ToF ToF
  • distance information can be acquired for each of a plurality of cells. Further, the outputs of a plurality of K binary sensors can be multivalued, and the image data can be restored by the correlation calculation based on the multivalued detection intensity.
  • the lighting device when generating image data by the correlation method, may sequentially irradiate a region including K cells with a plurality of illumination lights having a random intensity distribution.
  • the illuminating device may irradiate each cell with uniform illumination light.
  • the lighting device may irradiate a part of each cell with illumination light when generating distance information by the ToF method.
  • the distance information generated by the ToF method may be generated by using a plurality of illumination lights generated by the lighting device when the image data is generated by the correlation method.
  • the sensing device includes a lighting device capable of irradiating spatially patterned illumination light to each of a plurality of N cells (N ⁇ 2) having a divided field of view, and a plurality of N cells.
  • Corresponding light receiving element arrays including multiple N light receiving elements, each of which outputs a binary detection signal, and (i) detection of each of the plurality of N cells, output by the corresponding one of the N light receiving elements.
  • the ToF (flight time) method is used to generate a histogram with the distance as a class, the distance information of each cell is generated based on the histogram, and (ii) the detection intensity is generated based on the histogram. It is provided with an arithmetic processing device that generates image data of each cell by a correlation method using the detection intensity.
  • image data can be generated while performing distance measurement.
  • the arithmetic processing apparatus may use the frequency at the mode of the histogram as the detection intensity.
  • the intensity distribution is random in the present specification does not mean that it is completely random, but it may be random enough to reconstruct an image in ghost imaging. Therefore, “random” in the present specification can include some regularity in it. Also, “random” does not require to be completely unpredictable, but may be predictable and reproducible.
  • FIG. 1 is a diagram showing a sensing device 100 according to the first embodiment.
  • the sensing device 100 includes a lighting device 110, a light receiving element array 120, and an arithmetic processing device 130.
  • the sensing device 100 divides the visual field FOV into a plurality of N cells CELL 1 to CELL N and performs sensing.
  • the lighting device 110 is configured to be capable of irradiating a spatially patterned illumination light Sref 1 to Sref N to each of a plurality of cells CELL 1 to CELL N having a divided visual field FOV. Patterning also includes a uniform intensity distribution.
  • the visual field FOV is divided into matrix-shaped cells CELL 1 to CELL N having 3 rows ⁇ 4 columns, and the number N of cells is 12.
  • the number N and arrangement of the plurality of cells are not limited thereto.
  • the illumination lights Sref 1 to Sref N may be irradiated at the same time or may be irradiated in a time-division manner, but in the following, they are simultaneously irradiated.
  • the lighting device 110 includes a light source 112, a patterning device 114, and a pattern generator 116.
  • An optical system such as a floodlight lens (collimating lens) or a mirror is provided at the emission end of the lighting device 110, but the illustration is omitted.
  • the light source 112 produces a light beam S0 having a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used as the light source 112.
  • the wavelength and spectrum of the illumination light Sref are not particularly limited, but are infrared in the present embodiment.
  • the patterning device 114 has a plurality of pixels arranged in a matrix, and is configured so that the light intensity distribution I (x, y) can be spatially modulated based on a combination of on and off of the plurality of pixels.
  • the pixel in the on state is referred to as an on pixel
  • the pixel in the off state is referred to as an off pixel.
  • each pixel takes only two values (1,0) of on and off, but it is not limited to this, and an intermediate gradation may be taken.
  • An optical system including a lens or the like may be inserted between the patterning device 114 and the light source 112.
  • the patterning device 114 As the patterning device 114, a reflective DMD (Digital Micromirror Device) or a transmissive liquid crystal device can be used.
  • the patterning device 114 is provided with patterning data PTN (image data) generated by the pattern generator 116.
  • the pattern generator 116 may be mounted inside the arithmetic processing apparatus 130.
  • the light receiving element array 120 includes a plurality of light receiving elements (phototransducer) PT 1 to PTN corresponding to the plurality of cells CELL 1 to CELL N.
  • the structure and type of the light receiving element PT are not particularly limited, but a photodiode, a photomultiplier tube, a photoelectric guide element, and the like can be used. Further, an optical system including a condenser lens and the like is arranged on the front surface of the light receiving element array 120, but the illustration is omitted.
  • Each light receiving element PT has sensitivity to the same wavelength as the illumination light S1 generated by the illumination device 110.
  • the i -th light receiving element PT i receives the light from the corresponding cell CELL i , more specifically, the reflected light reflected by the object OBJ existing in the cell CELL i , and is increased according to the amount of light. Generates a value or analog detection signal.
  • Each light receiving element PT constituting the light receiving element array 120 may be a photodetector (photodetector).
  • the arithmetic processing apparatus 130 receives the output of the light receiving element array 120, that is, the detection signals Sp 1 to Sp N of the plurality of light receiving elements PT 1 to PT N.
  • the arithmetic processing apparatus 130 includes a ToF processing unit 132 and an SPI (Single Pixel Imaging) processing unit 134.
  • the ToF processing unit 132 calculates the distance information for each of the plurality of cells CELL 1 to CELL N. Specifically, the ToF processing unit 132 has distance information to the cell CELL corresponding to the light receiving element PT i based on the detection signal Sp i which is the output of the i-th (1 ⁇ i ⁇ N) light receiving element PT i . Is obtained by the ToF method. For example, the ToF processing unit 132 acquires the delay time ⁇ i from the irradiation start time of the illumination light Sref i by the lighting device 110 until the corresponding detection signal Spi changes, and sets the delay time ⁇ i as the distance information Di. do. From the arithmetic processing device 130, distance information D 1 to DN of each of the plurality of cells CELL 1 to CELL N is output. This set of distance information D 1 to DN can be regarded as corresponding to the point cloud data in LiDAR.
  • the SPI processing unit 134 calculates image data Gi (x, y ) for each of the plurality of cells CELL 1 to CELL N.
  • the SPI processing unit 134 is based on the detection signal Sp i which is the output of the i-th light receiving element PT i , and the image data (also referred to as a restored image ) of the cell CELL i corresponding to the light receiving element PT i (x, y) is acquired based on the correlation method (also referred to as single pixel imaging).
  • the lighting device 110 sequentially irradiates M random patterns PTN i1 to PTN iM with respect to the i-th (1 ⁇ i ⁇ N) cell CELL i .
  • the j-th (1 ⁇ j ⁇ M) patterns PTN 1j to PTN Nj irradiated to a plurality of cells CELL 1 to CELL N may be the same or different.
  • the detection signal Sp i obtained while irradiating the j-th random pattern PTN ij is referred to as Sp i j .
  • the arithmetic processing apparatus 130 acquires the detection intensity bij according to the detection signal Spij .
  • the detection signal Spij is sampled only once during the irradiation of one pattern, the value may be set as the detection intensity bij .
  • the average value of the plurality of sampling values may be the detection intensity bij , or some of the total sampling values may be selected.
  • the integrated value, the average value, and the maximum value of the selected sampling values may be used.
  • the xth to yth ranks may be extracted counting from the maximum value, digital values lower than an arbitrary threshold value may be excluded, and the magnitude of signal fluctuation may be excluded. Sampling values in a small range may be extracted.
  • M detection intensities bi1 to biM When M random patterns are irradiated, M detection intensities bi1 to biM can be obtained.
  • the arithmetic processing device 130 performs a correlation calculation between M detection intensities bi1 to biM and M patterning data PTN i1 to PTN iM , and generates a restored image Gi (x, y ) of the cell CELL i . ..
  • I ij is the intensity distribution of the j-th illumination light Sref ij , that is, the random pattern PTN ij , which is applied to the i-th cell CELL i .
  • the arithmetic processing apparatus 130 may output the images G1 to GN of each of the plurality of cells CELL 1 to CELL N individually, or combine them and output them as one image of the entire cell. May be good.
  • the plurality of cells CELL are a matrix of horizontal u ⁇ vertical v and the resolution of the pattern PTN is X ⁇ Y
  • the resolution of the final image is horizontal X ⁇ u and vertical Y ⁇ v.
  • the arithmetic processing unit 130 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcontroller, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcontroller
  • the arithmetic processing unit 130 may be a combination of a plurality of processors. Alternatively, the arithmetic processing apparatus 130 may be configured only by hardware.
  • the above is the configuration of the sensing device 100. Next, the operation will be described.
  • FIG. 2 is a diagram illustrating distance measurement in the sensing device 100 of FIG.
  • set N 4 and focus on the four cells CELL 1 to CELL 4 .
  • the lighting device 110 irradiates each of the plurality of cells CELL 1 to CELL 4 with illumination lights Sref 1 to Sref 4 for distance measurement.
  • the illumination lights Sref 1 to Sref 4 at this time may also serve as illumination light for generating image data, or may be other light dedicated to distance measurement. In the case of light dedicated to distance measurement, the intensity distribution of each of the illumination lights Sref 1 to Sref 4 can be made uniform.
  • the delay time ⁇ i until the change is set with c as the speed of light.
  • ⁇ i 2 ⁇ di / c Will be. That is, the delay time ⁇ i is proportional to the distance di .
  • the arithmetic processing apparatus 130 can obtain the distance information Di indicating the distance di by acquiring the delay time ⁇ i from the light emission timing to the change of the detection signal Spi.
  • the method for measuring the delay time ⁇ is not particularly limited.
  • the detection signal Spi when the detection signal Spi is output at a predetermined sampling rate (or a predetermined frame rate as one pixel of image data), the detection signal Spi changes at which sampling from the light emission of the lighting device 110. Depending on what you did, you can get the delay time ⁇ i .
  • the delay time ⁇ i may be measured by using a timer resource.
  • distance information D 1 to DN indicating the distances d 1 to d N to the objects existing in the plurality of cells CELL 1 to CELL N can be obtained. That is, N point cloud data can be obtained by the sensing device 100.
  • FIG. 3 is a time chart of distance measurement by the sensing device 100 of FIG.
  • the plurality of illumination lights Sref 1 to Sref 4 may be emitted at the same time as shown in FIG.
  • a plurality of illumination lights Sref 1 to Sref 4 may be emitted in a time-division manner.
  • the distance may be measured by simultaneously irradiating each row.
  • the distance may be measured by simultaneously irradiating each row.
  • FIG. 4 is a diagram illustrating the generation of image data in the sensing device 100 of FIG.
  • the illumination light Sref i irradiated to each cell CELL i is randomly patterned at a resolution of XY, and M patterns PTN i1 to PTN iM are sequentially patterned. Can be switched.
  • the detection intensity bij based on the output Sp ij of the corresponding light receiving element PT i when the j-th pattern PTN ij is irradiated depends on the pattern PTN ij , the shape of the object OBJ i , and the reflectance of each part.
  • the arithmetic processing device 130 calculates the correlation between the M detection intensities bi 1 to bi M obtained for the cell CELL i and the intensity distributions I i 1 (x, y) to I i M (x, y) of the corresponding patterns. Based on this, the image data Gi (x, y ) is restored. The resolution of the image data Gi (x, y ) is equal to the resolution of the pattern PTN.
  • FIG. 5 is a time chart for generating image data G1 to GN in the sensing device 100 of FIG.
  • the spatial intensity distribution of the illumination light Sref i applied to the cell CELL i is sequentially modulated by M patterns PTN i1 to PTN iM .
  • the output Sp i of the light receiving element PT i indicates the intensity of the reflected light from the object OBJ i existing in the cell CELL i , and changes every time the pattern PTN ij is switched.
  • the detection signal Sp i changes to Sp i1 , Sp i 2, ... Sp iM corresponding to a plurality of patterns PTN i1 to PTN iM , and a plurality of detection intensities bi1 to biM are generated . ..
  • the image data Gi (x, y ) is restored by using the plurality of detection intensities bi1 to biM thus obtained.
  • FIG. 6 is a time chart for generating image data based on the correlation method.
  • FIG. 6 shows image restoration of one cell CELL. Illumination light Sref having M random intensity distributions I 1 to IM is sequentially irradiated to generate an image of one frame. In FIG. 6, the illumination light is patterned with a resolution of 4 ⁇ 4. Then, the detection intensity b is generated for each intensity distribution, and the correlation calculation is performed.
  • the above is the configuration of the sensing device 100. According to this sensing device 100, it is possible to obtain distance information of a point cloud corresponding to a plurality of cells CELL 1 to CELL N , and it is possible to operate as a LiDAR.
  • a plurality of cells CELL 1 to CELL N are arranged in a matrix, but they may be arranged in a one-dimensional manner in the horizontal direction in one row and N columns.
  • Image data generation and distance measurement may be performed separately, but distance measurement may be performed at the same time as image data generation.
  • the delay time ⁇ i of the timing at which the output Sp ij of the light receiving element PT i changes and the emission timing of the corresponding illumination light Sref ij is proportional to the distance di to the object OBJ i . Therefore, the delay time may be measured and the distance may be acquired by using the patterned illumination light for generating the image data.
  • the lighting device 110 is composed of a combination of the light source 112 and the patterning device 114, but the present invention is not limited to this.
  • the lighting device 110 is composed of an array of a plurality of semiconductor light sources (LED (light emitting diode) and LD (laser diode)) arranged in a matrix, and can control on / off (or brightness) of each semiconductor light source. It may be configured as.
  • the lighting device 110 may irradiate a part of each cell (for example, only the center) in a spot shape.
  • a method using correlation calculation has been described as a method of ghost imaging (or single pixel imaging), but the method of image reconstruction is not limited thereto.
  • an analytical method using Fourier transform or Hadamard transform instead of correlation calculation, a method for solving an optimization problem such as sparse modeling, and an algorithm using AI / machine learning are used. The image may be reconstructed.
  • FIG. 7 is a diagram showing a sensing device 100A according to the second embodiment.
  • the sensing device 100A divides the visual field FOV into a plurality of N cells CELL 1 to CELL N and performs sensing.
  • the sensing device 100A includes a lighting device 110, a light receiving element array 120A, and an arithmetic processing device 130A.
  • the lighting device 110 is configured to be capable of irradiating spatially patterned illumination lights Sref 1 to Sref N to each of a plurality of N cells CELL 1 to CELL N having a divided visual field FOV. Patterning also includes a uniform intensity distribution.
  • the visual field FOV is divided into matrix-shaped cells CELL 1 to CELL N having 6 rows ⁇ 8 columns, and the number N of cells is 48, but in reality, the number N of cells is It may be hundreds to millions.
  • the number N and arrangement of the plurality of cells are not limited thereto.
  • the illumination lights Sref 1 to Sref N may be irradiated at the same time or may be irradiated in a time-division manner, but in the following, they are simultaneously irradiated.
  • the lighting device 110 includes a light source 112, a patterning device 114, and a pattern generator 116.
  • An optical system such as a floodlight lens (collimating lens) or a mirror is provided at the emission end of the lighting device 110, but the illustration is omitted.
  • the light source 112 produces a light beam S0 having a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used as the light source 112.
  • the wavelength and spectrum of the illumination light Sref are not particularly limited, but are infrared in the present embodiment.
  • the patterning device 114 has a plurality of pixels arranged in a matrix, and is configured so that the light intensity distribution I (x, y) can be spatially modulated based on a combination of on and off of the plurality of pixels.
  • the pixel in the on state is referred to as an on pixel
  • the pixel in the off state is referred to as an off pixel.
  • each pixel takes only two values (1,0) of on and off, but it is not limited to this, and an intermediate gradation may be taken.
  • An optical system including a lens or the like may be inserted between the patterning device 114 and the light source 112.
  • the patterning device 114 As the patterning device 114, a reflective DMD (Digital Micromirror Device) or a transmissive liquid crystal device can be used.
  • the patterning device 114 is provided with patterning data PTN (image data) generated by the pattern generator 116.
  • the pattern generator 116 generates patterning data PTN i that specifies the intensity distribution I i of the illumination light Sref i .
  • the pattern generator 116 may be mounted inside the arithmetic processing apparatus 130A.
  • the light receiving element array 120A includes a plurality of N ⁇ K light receiving elements (phototransducer) PT 11 ... PT 1K , PT 21 ... PT 2K , ..., PT N1 ... PT NK . However, K ⁇ 2.
  • the light receiving element PT outputs a binary detection signal and has sensitivity to the same wavelength as the illumination light S1 generated by the illumination device 110.
  • the structure and type of the light receiving element PT are not particularly limited, but SPAD (Single Photon Avalanche Diode) is suitable, and therefore the light receiving element array 120A can be a SPAD image sensor.
  • SPAD image sensor a sensor having several hundred thousand pixels to one million pixels is commercially available.
  • an optical system including a condenser lens and the like is arranged on the front surface of the light receiving element array 120, but the illustration is omitted.
  • K light receiving elements PTs are assigned to each of the plurality of N cells CELLs.
  • the K light receiving elements PT i1 to PT iK corresponding to one cell CELL i reflect the light from the corresponding cell CELL i , more specifically, the object OBJ existing in the cell CELL i reflects the illumination light Sref i .
  • the reflected light Sback i is received, and the detection signals Sp i1 to Sp iK , which are 1 or 0, are output based on the photon detection probability of the light receiving element.
  • K 4.
  • the arithmetic processing apparatus 130A is the output of the light receiving element array 120A, that is, the detection signals Sp 11 to Sp 1K, Sp 21 to a plurality of light receiving elements PT 11 to PT 1K , PT 21 to PT 2K, ..., PT N1 to PT NK . Receive Sp 2K, ..., Sp N1 to Sp NK .
  • the arithmetic processing apparatus 130A includes a ToF processing unit 132 and an SPI (Single Pixel Imaging) processing unit 134.
  • the ToF processing unit 132 calculates the distance information for each of the plurality of cells CELL 1 to CELL N. Specifically, the ToF processing unit 132 is one or a plurality of detection signals Sp i1 to Sp iK which are outputs of K light receiving elements PT i1 to PT iK corresponding to the i-th (1 ⁇ i ⁇ N) cell. Based on this, the distance information to the cell CELL i is acquired by the ToF method.
  • the ToF processing unit 132 acquires the delay time ⁇ i until one or more of the corresponding detection signals Sp i1 to Sp iK change from the irradiation timing of the illumination light Sref i by the lighting device 110, and the delay time ⁇ i .
  • the distance information Di is generated based on this. From the arithmetic processing device 130A, the distance information D 1 to DN of each of the plurality of cells CELL 1 to CELL N is output. This set of distance information D 1 to DN can be regarded as corresponding to the point cloud data in LiDAR.
  • the SPI processing unit 134 calculates image data G 1 (x, y ) to GN (x, y) for each of the plurality of cells CELL 1 to CELL N.
  • the SPI processing unit 134 outputs the K light receiving elements PT i1 to PT iK corresponding to the cell CELL i Sp i1 to Sp iK . Based on this, a multi-valued detection intensity bi is generated. Then, the image data Gi (x, y ) is generated by the correlation method (also referred to as single pixel imaging ) using the detection intensity bi. That is, when x out of K Sp i1 to Sp iK become 1 in a predetermined time window after irradiation with the illumination light Sref i , the value of the detection intensity bi is defined as x. x can take 0 to K.
  • the lighting device 110 sequentially irradiates M random patterns PTN i1 to PTN iM with respect to the i-th (1 ⁇ i ⁇ N) cell CELL i .
  • the j-th (1 ⁇ j ⁇ M) patterns PTN 1j to PTN Nj irradiated to a plurality of cells CELL 1 to CELL N may be the same or different.
  • the arithmetic processing device 130A performs a correlation calculation between M detection intensities bi1 to biM and M patterning data PTN i1 to PTN iM , and generates a restored image Gi (x, y ) of the cell CELL i . ..
  • I ij is the intensity distribution of the j-th illumination light Sref ij , that is, the random pattern PTN ij , which is applied to the i-th cell CELL i .
  • the arithmetic processing apparatus 130A may output the image data G1 to GN of each of the plurality of cells CELL 1 to CELL N individually, or combine them and output them as one image of the entire visual field FOV. You may.
  • the plurality of cells CELL are a matrix of horizontal u ⁇ vertical v and the resolution of the pattern PTN is X ⁇ Y, the resolution of the final image is horizontal X ⁇ u and vertical Y ⁇ v.
  • the arithmetic processing unit 130A can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcontroller, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcontroller
  • the arithmetic processing unit 130A may be a combination of a plurality of processors.
  • the arithmetic processing device 130A may be configured by only hardware.
  • the above is the configuration of the sensing device 100A. Next, the operation will be described.
  • FIG. 8 is a diagram illustrating distance measurement in the sensing device 100A of FIG. 7.
  • the lighting device 110 irradiates each of the plurality of cells CELL 1 to CELL N with illumination light Sref 1 to Sref N for distance measurement.
  • the illumination lights Sref 1 to Sref N at this time may also serve as illumination light for generating image data, or may be other light dedicated to distance measurement. In the case of light dedicated to distance measurement, the intensity distribution of each of the illumination lights Sref 1 to Sref N can be made uniform.
  • the arithmetic processing apparatus 130A can obtain the distance information Di indicating the round trip time Tdi and thus the distance di by acquiring the delay time ⁇ ij from the emission timing of the illumination light Sref i to the change of the detection signal Sp ij . can.
  • the method for measuring the delay time ⁇ is not particularly limited.
  • the detection signal Spij when the detection signal Spij is output at a predetermined sampling rate (or a predetermined frame rate as one pixel of image data), the detection signal Spij changes at the sampling number from the light emission of the lighting device 110. Depending on what you did, you can get the delay time ⁇ i .
  • the delay time ⁇ ij may be measured by using a timer resource.
  • One cell CELL corresponds to a point in LiDAR with SPAD. Similar to LiDAR using SPAD, in the distance measurement of one cell CELL i , the illumination light Sref i is irradiated multiple times, the delay time ⁇ ij is measured for each irradiation, and the delay time ⁇ ij , that is, the distance idi. It is possible to generate a histogram with the class as, and to generate the distance information Di based on the histogram. For example, the mode value of the histogram may be used as distance information, or the average value of the histogram may be used as distance information.
  • distance information D 1 to DN indicating the distances d 1 to d N to the objects existing in the plurality of cells CELL 1 to CELL N can be obtained. That is, N point cloud data can be obtained by the sensing device 100A.
  • FIG. 9 (a) is a time chart of distance measurement by the sensing device 100A of FIG. 7, and FIG. 9 (b) is a histogram in which the distance is a class. Only one of the K light receiving elements PT i1 to PT iK may be used to generate the histogram. That is, only one of the K detection signals Sp i1 to Sp iK may be monitored, and the delay time ⁇ ij of one detection signal Sp ij may be measured a plurality of times to generate a histogram.
  • the lighting device 110 repeatedly irradiates the illumination light Sref i .
  • the output Sp i1 of the light receiving element PTi i1 responds only to the return light Sback i , and the delay time ⁇ i1 coincides with the round trip time Tdi .
  • the detection signal Sp may behave statistically due to the influence of disturbance, and may change at a timing different from the light reception timing of the return light Sback i . Therefore, in order to obtain the round trip time Tdi, it is necessary to statistically process the delay time ⁇ i1 .
  • the arithmetic processing device 130A repeatedly measures the time ⁇ i1 from the light emission to the change of the detection signal Spi 1 , and generates a histogram having the time ⁇ i1 (in other words, the distance) as a class. Then, as shown in FIG. 9B, the mode value of this histogram is acquired as the delay time ⁇ i according to the actual distance, that is, the round trip time Tdi .
  • the average value may be used instead of the mode value.
  • FIG. 10 is a diagram illustrating the generation of the histogram according to the first modification.
  • all of K light receiving elements PT i1 to PT iK may be used to generate the histogram. That is, the delay times ⁇ i1 to ⁇ iK of each of the K detection signals Sp i1 to Sp iK may be measured a plurality of times to generate a histogram.
  • FIG. 11 is a diagram illustrating the generation of the histogram according to the modified example 2.
  • all of K light receiving elements PT i1 to PT iK may be used to generate the histogram.
  • a histogram may be generated by monitoring K detection signals Sp i1 to Sp iK and measuring the delay time ⁇ i multiple times with the time until a predetermined number of them change as the delay time ⁇ i . .. In FIG. 11, the time until the two detection signals change is defined as the delay time ⁇ i .
  • the accuracy of the time measurement can be improved.
  • a plurality of illumination lights Sref 1 to Sref N may be emitted at the same time.
  • a plurality of illumination lights Sref 1 to Sref N may be emitted in a time-division manner.
  • the distance may be measured by simultaneously irradiating each row. Alternatively, the distance may be measured by simultaneously irradiating each row.
  • FIG. 11 is a diagram illustrating the generation of image data in the sensing device 100A of FIG. 7. As described above, the image data is generated cell by cell.
  • the illumination light Sref i irradiated to each cell CELL i is randomly patterned at a resolution of XY, and M patterns PTN i1 to PTN iM are sequentially patterned. Can be switched.
  • the detection intensity bi based on the outputs Sp i1 to Sp iK of the corresponding light receiving elements PT i1 to PT iK when the j -th pattern PTN ij is irradiated is referred to as bij .
  • the detection intensity bij is the number of detection signals Sp i1 to Sp iK having a value of 1 when the j-th pattern PTN ij is irradiated.
  • the arithmetic processing apparatus 130A has a detection intensity bi1 to biM obtained as a result of irradiation of M patterns with respect to the cell CELL i , and an intensity distribution Ii1 (x, y) to IiM (x,,) of the corresponding patterns.
  • the image data Gi (x, y ) is restored based on the correlation calculation with y).
  • the resolution of the image data Gi (x, y ) is equal to the resolution of the pattern PTN.
  • FIG. 12 is a time chart for generating one image data Gi in the sensing device 100A of FIG. 7.
  • the spatial intensity distribution of the illumination light Sref i applied to the cell CELL i is sequentially modulated by M patterns PTN i1 to PTN iM .
  • the detection signals Sp i1 to Sp iK which are the outputs of the K light receiving elements PT i1 to PT iK , respond to the reflected light from the object OBJ i existing in the cell CELL i , and are based on the detection signals Sp i1 to Sp iK . Therefore, a multi-valued detection intensity bi is generated.
  • one pattern PTN ij may be irradiated for a long time to some extent, and the detection signals Sp i1 to Sp ik may be sampled a plurality of times during that time to generate a detection intensity bij .
  • the above is the configuration of the sensing device 100A. According to this sensing device 100A, it is possible to obtain distance information of a point cloud corresponding to a plurality of cells CELL 1 to CELL N , and it can be operated as LiDAR.
  • the image data generation and the distance measurement may be performed separately, but the distance measurement may be performed at the same time as the image data generation.
  • the delay time ⁇ i of the timing at which the output Sp ij of the light receiving element PT i changes and the emission timing of the corresponding illumination light Sref ij is proportional to the distance di to the object OBJ i . Therefore, the delay time may be measured and the distance may be acquired by using the patterned illumination light for generating the image data.
  • FIG. 13 is a diagram showing a sensing device 100B according to the third embodiment.
  • the sensing device 100B divides the visual field FOV into a plurality of N cells CELL 1 to CELL N and performs sensing.
  • the sensing device 100B includes a lighting device 110, a light receiving element array 120B, and an arithmetic processing device 130B.
  • the lighting device 110 is configured to be capable of irradiating spatially patterned illumination lights Sref 1 to Sref N to each of a plurality of N cells CELL 1 to CELL N having a divided visual field FOV.
  • the light receiving element array 120B includes a plurality of N light receiving elements PT 1 to PTN.
  • the light receiving element PT outputs a binary detection signal as in the second embodiment, and has sensitivity to the same wavelength as the illumination light S1 generated by the illumination device 110.
  • One of the N light receiving elements PT 1 to PT N , PT i receives the reflected light Sback i in which the object OBJ existing in the corresponding cell CELL i reflects the illumination light Sref i , and 1 based on the photon detection probability. Or, the detection signal Spi of 0 is output.
  • the arithmetic processing apparatus 130B receives the output of the light receiving element array 120B, that is, a plurality of detection signals Sp 1 to Sp N.
  • the arithmetic processing apparatus 130B includes a ToF processing unit 132 and a GI (Ghost Imaging) processing unit 134.
  • the lighting device 110 sequentially irradiates each cell CELL i with a plurality of M illumination light Sref i having a random intensity distribution.
  • the illumination light Sref ij of the j-th (1 ⁇ j ⁇ M) pattern PTN ij is irradiated a plurality of L times (L ⁇ 2).
  • the ToF processing unit 132 calculates the distance information D 1 to DN for each of the plurality of cells CELL 1 to CELL N. Specifically, the ToF processing unit 132 outputs the distance information to the cell CELL i based on the detection signal Sp i which is the output of the light receiving element PT i corresponding to the i-th (1 ⁇ i ⁇ N) cell. Obtained by law. Distance measurement can be performed, for example, by irradiating the same pattern PTN ij L times as a cycle.
  • the ToF processing unit 132 acquires the delay time ⁇ i from the light emission timing until the corresponding detection signal Sp ij changes for each irradiation of the pattern PTN ij L times, and the histogram HIST having the delay time ⁇ i as a class. Generate ij . Then, the ToF processing unit 132 determines the mode as the round trip time Td ij based on the histogram HIST ij , and outputs the round trip time Td ij as the distance information Di. From the arithmetic processing device 130B, distance information D 1 to DN of each of the plurality of cells CELL 1 to CELL N is output. This set of distance information D 1 to DN can be regarded as corresponding to the point cloud data in LiDAR.
  • the histogram HIST ij generated by the ToF processing unit 132 is also used to generate the image data G i .
  • the SPI processing unit 134 generates the detection intensity bij based on the histogram HIST ij .
  • FIG. 14 is a diagram showing the relationship between the histogram HIST ij and the detection intensity bij .
  • the SPI processing unit 134 can set the frequency (or frequency at the average value) of the histogram HIST ij at the mode to be the detection intensity bij ((i) in FIG. 14).
  • the integrated value (area) of the frequencies in a predetermined class range including the mode (or average value) of the histogram HIST ij may be used as the detection intensity bij (FIG. 14 (ii)).
  • the arithmetic processing apparatus 130B may output the image data G1 to GN of each of the plurality of cells CELL 1 to CELL N individually, or combine them and output them as one image of the entire visual field FOV. You may.
  • the plurality of cells CELL are a matrix of horizontal u ⁇ vertical v and the resolution of the pattern PTN is X ⁇ Y, the resolution of the final image is horizontal X ⁇ u and vertical Y ⁇ v.
  • FIG. 15 is a flowchart of distance measurement and image data generation in the sensing device 100B of FIG.
  • the variable i is initialized (S100), and then the variable j is initialized (S102).
  • the cell CELL i is repeatedly irradiated with the illumination light Sref ij of the pattern PTN ij L times, and the delay time ⁇ ij of the output Sp ij of the light receiving element PT i is acquired for each irradiation (S104).
  • a histogram HIST ij is generated based on the measurement results of L delay times ⁇ ij (S106).
  • the distance information Di of the cell CELL i is generated based on the histogram HIST ij (S108). Further, the detection intensity bij is generated based on the histogram HIST ij (S110).
  • variable j is incremented (S112), and the illumination light pattern PTN ij is updated.
  • the process returns to process S104.
  • j> M (Y in S114) the image data Gi (x, y ) is generated by the correlation method (S116).
  • variable i is incremented (S118), and the measurement proceeds to the next cell CELL i .
  • i> N is not (N in S120), that is, when the processing of all N cells is not completed, the process returns to processing S102.
  • i> N (Y in S120)
  • the above is the operation of the sensing device 100B.
  • this sensing device 100B it was decided to pattern the illumination light used in the ToF method and generate a histogram for distance measurement.
  • distance information can be acquired using the histogram, and the output signal of the light receiving element with binary output can be converted into multi-valued detection intensity, and image data can be generated based on the correlation method. Become.
  • a plurality of cells are sequentially time-divisioned, but they may be processed in parallel.
  • a plurality of cells CELL 1 to CELL N are arranged in a matrix, but they may be arranged in a one-dimensional manner in the horizontal direction in one row and N columns.
  • the lighting device 110 is composed of a combination of the light source 112 and the patterning device 114, but the present invention is not limited to this.
  • the lighting device 110 is composed of an array of a plurality of semiconductor light sources (LED (light emitting diode) and LD (laser diode)) arranged in a matrix, and can control on / off (or brightness) of each semiconductor light source. It may be configured as.
  • the lighting device 110 may irradiate a part of each cell (for example, only the center) in a spot shape.
  • a method using correlation calculation has been described as a method of ghost imaging (or single pixel imaging), but the method of image reconstruction is not limited thereto.
  • an analytical method using Fourier transform or Hadamard transform instead of correlation calculation, a method for solving an optimization problem such as sparse modeling, and an algorithm using AI / machine learning are used. The image may be reconstructed.
  • FIG. 16 is a block diagram of the object identification system 10.
  • This object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (category) of the object OBJ existing around the vehicle.
  • the object identification system 10 includes any of the sensing devices 100, 100A, and 100B (simply referred to as 100) described in the first to third embodiments, and the arithmetic processing device 40. As described above, the sensing device 100 irradiates the object OBJ with the illumination light Sref and measures the reflected light S2 to generate the restored image G of the object OBJ.
  • the arithmetic processing device 40 processes the output image G of the sensing device 100, and determines the position and type (category) of the object OBJ.
  • the classifier 42 of the arithmetic processing device 40 receives the image G as an input and determines the position and type of the object OBJ included in the image G.
  • the classifier 42 is implemented based on the model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, but is YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution-SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • FIG. 17 is a diagram showing an automobile equipped with a sensing device 100.
  • the automobile 300 includes headlights 302L and 302R.
  • the sensing device 100 is built in at least one of the headlights 302L and 302R.
  • the headlight 302 is located at the tip of the vehicle body, and is the most advantageous as an installation location of the sensing device 100 in detecting surrounding objects.
  • FIG. 18 is a block diagram showing a vehicle lamp 200 provided with an object detection system 210.
  • the vehicle lamp 200 constitutes the lamp system 310 together with the vehicle side ECU 304.
  • the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object detection system 210.
  • the object detection system 210 corresponds to the above-mentioned object identification system 10, and includes a sensing device 100 and an arithmetic processing device 40.
  • the information about the object OBJ detected by the arithmetic processing device 40 may be used for the light distribution control of the vehicle lamp 200.
  • the lamp side ECU 208 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the arithmetic processing device 40 and its position.
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
  • the information about the object OBJ detected by the arithmetic processing device 40 may be transmitted to the vehicle side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • the application of the sensing device 100 is not limited to in-vehicle use, and can be applied to other applications.
  • This disclosure relates to a sensing device.
  • OBJ object 10 object identification system, 40 arithmetic processing device, 42 classifier, 100 sensing device, 110 lighting device, 112 light source, 114 patterning device, 116 pattern generator, 120 light receiving element array, 130 arithmetic processing device, 132 ToF processing Unit, 134 SPI processing unit, 200 vehicle lighting, 202 light source, 204 lighting circuit, 206 optical system, 300 automobile, 302 headlight, 310 lighting system, 304 vehicle side ECU

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

照明装置１１０は、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれに、空間的にパターニングされた照明光Ｓｒｅｆ１～ＳｒｅｆＮを照射可能である。受光素子アレイ１２０は、複数のセルＣＥＬＬ１～ＣＥＬＬＮに対応する複数の受光素子ＰＴ１～ＰＴＮを含む。演算処理装置は、ＴｏＦ（飛行時間）法にもとづいて、複数のセルＣＥＬＬ１～ＣＥＬＬＮごとの距離情報Ｄ１～ＤＮを生成するとともに、相関法にもとづいて、複数のセルＣＥＬＬ１～ＣＥＬＬＮの画像データＧ１～ＧＮを生成する。

Description

センシング装置、車両用灯具、車両
　本開示は、センシング装置に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　現状の自動ブレーキや車線維持支援などの先進運転支援システム（ＡＤＡＳ：Advanced Driver-Assistance Systems）では、ミリ波レーダとカメラが主なセンシングデバイスであったが、レベル４以上の自動運転システムでは、市街地に存在する様々な物体を検出、識別する必要があるため、ＬｉＤＡＲが有力視されている。
特許第６４１２６７３号公報
　ＬｉＤＡＲが生成する点群データは、物体の形状のみでなく、物体までの距離情報を含んでいるが、一般的なカメラと比べると解像度が低い。
　本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、より多くの情報を得ることが可能なセンシング装置の提供にある。
１．　本開示のある態様のセンシング装置は、視野を分割してなる複数のセルそれぞれに、空間的にパターニングされた照明光を照射可能な照明装置と、複数のセルに対応する複数の受光素子を含む受光素子アレイと、ＴｏＦ（飛行時間）法にもとづいて、複数のセルごとの距離情報を生成するとともに、相関法にもとづいて、複数のセルの画像データを生成する演算処理装置と、を備える。
２．　本開示のある態様のセンシング装置は、視野を分割してなる複数Ｎ個（Ｎ≧２）のセルそれぞれに、空間的にパターニングされた照明光を照射可能な照明装置と、それぞれが２値の検出信号を出力するＫ（Ｋ≧２）×Ｎ個の受光素子を含み、複数Ｎ個のセルそれぞれに対して、Ｋ個の受光素子が割り当てられている受光素子アレイと、（i）ＴｏＦ（飛行時間）法により、複数Ｎ個のセルそれぞれについて、各セルに対応するＫ個の受光素子の少なくともひとつの出力にもとづいて距離情報を生成するとともに、（ii）複数Ｎ個のセルそれぞれについて、各セルに対応するＫ個の受光素子の出力にもとづいて、多値の検出強度を生成し、相関法により、各セルの画像データを生成する演算処理装置と、を備える。
　本開示の別の態様もまた、センシング装置である。この装置は、視野を分割してなる複数Ｎ個（Ｎ≧２）のセルそれぞれに、空間的にパターニングされた照明光を照射可能な照明装置と、複数Ｎ個のセルに対応し、それぞれが２値の検出信号を出力する複数Ｎ個の受光素子を含む受光素子アレイと、（i）複数Ｎ個のセルそれぞれについて、Ｎ個の受光素子の対応するひとつが出力する検出信号にもとづいて、ＴｏＦ（飛行時間）法により、距離を階級とするヒストグラムを生成し、ヒストグラムにもとづいて各セルの距離情報を生成するとともに、（ii）ヒストグラムにもとづいて検出強度を生成し、当該検出強度を利用した相関法により、各セルの画像データを生成する演算処理装置と、を備える。
　本開示のある態様によれば、距離情報と画像情報を得ることができる。
実施形態１に係るセンシング装置を示す図である。 図１のイメージング装置における測距を説明する図である。 図１のイメージング装置による測距のタイムチャートである。 図１のイメージング装置における画像データの生成を説明する図である。 図１のイメージング装置における画像データの生成のタイムチャートである。 相関法にもとづく画像データの生成を説明する図である。 実施形態２に係るセンシング装置を示す図である。 図７のセンシング装置における測距を説明する図である。 図９（ａ）は、図７のセンシング装置による測距のタイムチャートであり、図９（ｂ）は、距離を階級とするヒストグラムである。 変形例１に係るヒストグラムの生成を説明する図である。 変形例２に係るヒストグラムの生成を説明する図である。 図７のセンシング装置におけるひとつの画像データの生成のタイムチャートである。 実施形態３に係るセンシング装置を示す図である。 ヒストグラムＨＩＳＴｉｊと検出強度ｂｉｊの関係を示す図である。 図１３のセンシング装置における測距および画像データ生成のフローチャートである。 物体識別システムのブロック図である。 センシング装置を備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
１．　一実施形態に係るセンシング装置は、視野を分割してなる複数のセルそれぞれに、空間的にパターニングされた照明光を照射可能な照明装置と、複数のセルに対応する複数の受光素子を含む受光素子アレイと、ＴｏＦ（飛行時間）法にもとづいて、複数のセルごとの距離情報を生成するとともに、相関法にもとづいて、複数のセルの画像データを生成する演算処理装置と、を備える。
　この構成によれば、セルごとの距離情報に加えて、セルごとの画像情報を取得できる。
　一実施形態において、照明装置は、各セルに、強度分布がランダムな複数個の照明光をシーケンシャルに照射してもよい。演算処理装置は、各受光素子の出力にもとづいて、対応するセルの距離情報をＴｏＦ法により取得するとともに、対応するセルの画像データを相関法により生成してもよい。これにより、照明装置の１回の動作で、距離情報と画像情報の両方を得ることができる。
　相関法にもとづいて画像データを生成する際に、照明装置は、各セルに強度分布がランダムな複数個の照明光をシーケンシャルに照射してもよい。一方、ＴｏＦ法にもとづいて距離情報を生成する際に、照明装置は、各セルに均一な照明光を照射してもよい。あるいは、ＴｏＦ法にもとづいて距離情報を生成する際に、照明装置は、各セルの一部分に照明光を照射してもよい。
　一実施形態に係るセンシング装置は、視野を分割してなる複数Ｎ個（Ｎ≧２）のセルそれぞれに、空間的にパターニングされた照明光を照射可能な照明装置と、それぞれが２値の検出信号を出力するＫ（Ｋ≧２）×Ｎ個の受光素子を含み、複数Ｎ個のセルそれぞれに対して、Ｋ個の受光素子が割り当てられている受光素子アレイと、（i）ＴｏＦ（飛行時間）法により、複数Ｎ個のセルそれぞれについて、各セルに対応するＫ個の受光素子の少なくともひとつの出力にもとづいて距離情報を生成するとともに、（ii）複数Ｎ個のセルそれぞれについて、各セルに対応するＫ個の受光素子の出力にもとづいて、多値の検出強度を生成し、相関法により、各セルの画像データを生成する演算処理装置と、を備える。
　この構成によると、複数のセルそれぞれについて、距離情報を取得することができる。さらに、複数Ｋ個の２値センサの出力をまとめることにより多値化し、多値化された検出強度にもとづく相関計算により、画像データを復元することができる。
　一実施形態において、相関法による画像データの生成の際に、照明装置は、Ｋ個のセルを含む領域に、強度分布がランダムな複数個の照明光をシーケンシャルに照射してもよい。
　一実施形態において、ＴｏＦ法による距離情報の生成の際に、照明装置は、各セルに均一な照明光を照射してもよい。
　一実施形態において、ＴｏＦ法による距離情報の生成の際に、照明装置は、各セルの一部分に照明光を照射してもよい。
　一実施形態において、ＴｏＦ法による距離情報の生成は、相関法による画像データの生成の際に照明装置が生成する複数個の照明光を利用して行ってもよい。
　一実施形態に係るセンシング装置は、視野を分割してなる複数Ｎ個（Ｎ≧２）のセルそれぞれに、空間的にパターニングされた照明光を照射可能な照明装置と、複数Ｎ個のセルに対応し、それぞれが２値の検出信号を出力する複数Ｎ個の受光素子を含む受光素子アレイと、（i）複数Ｎ個のセルそれぞれについて、Ｎ個の受光素子の対応するひとつが出力する検出信号にもとづいて、ＴｏＦ（飛行時間）法により、距離を階級とするヒストグラムを生成し、ヒストグラムにもとづいて各セルの距離情報を生成するとともに、（ii）ヒストグラムにもとづいて検出強度を生成し、当該検出強度を利用した相関法により、各セルの画像データを生成する演算処理装置と、を備える。
　この構成によると、測距を行いながら、画像データを生成することができる。
　一実施形態において、演算処理装置は、ヒストグラムの最頻値における度数を、検出強度としてもよい。
（実施形態）
　以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、完全に予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
　図１は、実施形態１に係るセンシング装置１００を示す図である。センシング装置１００は、照明装置１１０、受光素子アレイ１２０、演算処理装置１３０を備える。
　センシング装置１００は、視野ＦＯＶを複数Ｎ個のセルＣＥＬＬ１～ＣＥＬＬＮに分割してセンシングを行う。照明装置１１０は、視野ＦＯＶを分割してなる複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれに、空間的にパターニングされた照明光Ｓｒｅｆ１～ＳｒｅｆＮを照射可能に構成される。パターニングには、均一な強度分布も含まれる。
　図１では、視野ＦＯＶは、３行×４列のマトリクス状のセルＣＥＬＬ１～ＣＥＬＬＮに分割されており、セルの個数Ｎは１２である。なお、複数のセルの個数Ｎおよび配置はそれに限定されない。照明光Ｓｒｅｆ１～ＳｒｅｆＮは、同時に照射してもよいし、時分割で照射してもよいが、以下では同時照射するものとする。
　たとえば照明装置１１０は、光源１１２、パターニングデバイス１１４およびパターン発生器１１６を含む。照明装置１１０の出射端には、投光レンズ（コリメートレンズ）やミラーなどの光学系が設けられるが、図示は省略している。光源１１２は、均一な強度分布を有する光ビームＳ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。照明光Ｓｒｅｆの波長やスペクトルは特に限定されないが、本実施形態において赤外である。
　パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Ｉ（ｘ，ｙ）を空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、中間的な階調をとってもよい。パターニングデバイス１１４と光源１１２の間には、レンズなどを含む光学系を挿入してもよい。
　パターニングデバイス１１４としては、反射型のＤＭＤ（Digital Micromirror Device）や透過型の液晶デバイスを用いることができる。パターニングデバイス１１４には、パターン発生器１１６が発生するパターニングデータＰＴＮ（画像データ）が与えられている。
　パターン発生器１１６は、照明光Ｓｒｅｆｉの強度分布Ｉｉを指定するパターニングデータＰＴＮｉを発生し、タイムスロットごとに、パターン信号ＰＴＮｒを切り替える（ｒ＝１，２，…Ｍ）。これにより、光Ｓ０がタイムスロットごとに異なるパターンで空間的に変調され、照明光Ｓ１が生成される。センサユニット１００によるセンシングは、Ｍ個のパターン照射を１セットとして行われ、Ｍ個のパターン照射に対応して１個の復元画像が生成される。Ｍ個のパターン照射にもとづく１回のセンシングを１フレームと称する。つまり１フレームは、Ｍ個のタイムスロットを含む。パターン発生器１１６は、演算処理装置１３０の内部に実装してもよい。
　受光素子アレイ１２０は、複数のセルＣＥＬＬ１～ＣＥＬＬＮに対応する複数の受光素子（光電変換素子：Photo Transducer）ＰＴ１～ＰＴＮを含む。受光素子ＰＴの構造や種類は特に限定されないが、フォトダイオード、光電子増倍管、光電導素子などを用いることができる。また受光素子アレイ１２０の前面には、集光レンズなどを含む光学系が配置されるが、図示は省略している。
　各受光素子ＰＴは、照明装置１１０が生成する照明光Ｓ１と同じ波長に感度を有する。ｉ番目の受光素子ＰＴｉは、対応するセルＣＥＬＬｉからの光、より詳しくは、当該セルＣＥＬＬｉに存在する物体ＯＢＪが照明光Ｓｒｅｆｉを反射した反射光を受光し、光量に応じた多値の、あるいはアナログの検出信号を生成する。受光素子アレイ１２０を構成する各受光素子ＰＴは光検出器（フォトディテクタ）であってもよい。
　演算処理装置１３０は、受光素子アレイ１２０の出力、すなわち、複数の受光素子ＰＴ１～ＰＴＮの検出信号Ｓｐ１～ＳｐＮを受ける。演算処理装置１３０は、ＴｏＦ処理部１３２と、ＳＰＩ（Single Pixel Imaging）処理部１３４を含む。
　ＴｏＦ処理部１３２は、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれについて距離情報を算出する。具体的にはＴｏＦ処理部１３２は、ｉ番目（１≦ｉ≦Ｎ）の受光素子ＰＴｉの出力である検出信号Ｓｐｉにもとづいて、当該受光素子ＰＴｉに対応するセルＣＥＬＬまでの距離情報を、ＴｏＦ法により取得する。たとえばＴｏＦ処理部１３２は、照明装置１１０による照明光Ｓｒｅｆｉの照射開始時刻から、対応する検出信号Ｓｐｉが変化するまでの遅延時間τｉを取得し、遅延時間τｉを距離情報Ｄｉとする。演算処理装置１３０からは、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれの距離情報Ｄ１～ＤＮが出力される。この距離情報Ｄ１～ＤＮのセットは、ＬｉＤＡＲにおける点群データに対応するものと捉えることができる。
　またＳＰＩ処理部１３４は、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれについて、画像データＧｉ（ｘ，ｙ）を算出する。ＳＰＩ処理部１３４は、ｉ番目の受光素子ＰＴｉの出力である検出信号Ｓｐｉにもとづいて、当該受光素子ＰＴｉに対応するセルＣＥＬＬｉの画像データ（復元画像ともいう）Ｇｉ（ｘ，ｙ）を相関法（シングルピクセルイメージングともいう）にもとづいて取得する。
　相関法にもとづく画像復元としては、ゴーストイメージングを用いることができる。ｉ番目（１≦ｉ≦Ｎ）のセルＣＥＬＬｉに対して、照明装置１１０は、Ｍ個のランダムパターンＰＴＮｉ１～ＰＴＮｉＭをシーケンシャルに照射する。複数のセルＣＥＬＬ１～ＣＥＬＬＮに照射されるｊ番目（１≦ｊ≦Ｍ）のパターンＰＴＮ１ｊ～ＰＴＮＮｊは同一としてもよいし異なっていてもよい。
　ｊ番目のランダムパターンＰＴＮｉｊを照射しているときに得られる検出信号Ｓｐｉを、Ｓｐｉｊと表記する。演算処理装置１３０は、検出信号Ｓｐｉｊに応じた検出強度ｂｉｊを取得する。１パターンの照射中に、検出信号Ｓｐｉｊが１回だけサンプリングされる場合、その値を検出強度ｂｉｊとすればよい。１パターンの照射中に、検出信号Ｓｐｉｊが複数回、サンプリングされる場合、複数のサンプリング値の平均値を、検出強度ｂｉｊとしてもよいし、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列ｘ番目からｙ番目を抽出してもよいし、任意のしきい値より低いデジタル値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
　Ｍ個のランダムパターンを照射すると、Ｍ個の検出強度ｂｉ１～ｂｉＭが得られる。演算処理装置１３０は、Ｍ個の検出強度ｂｉ１～ｂｉＭとＭ個のパターニングデータＰＴＮｉ１～ＰＴＮｉＭとの相関計算を行い、セルＣＥＬＬｉの復元画像Ｇｉ（ｘ，ｙ）を生成する。
　相関計算には、式（１）の相関関数が用いられる。Ｉｉｊは、ｉ番目のセルＣＥＬＬｉに照射されるｊ番目の照明光Ｓｒｅｆｉｊ、すなわちランダムパターンＰＴＮｉｊの強度分布である。
Figure JPOXMLDOC01-appb-M000001
　演算処理装置１３０は、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれの画像Ｇ１～ＧＮを、個別に出力してもよいし、それらを合成して、セル全体の１枚の画像として出力してもよい。複数のセルＣＥＬＬが横ｕ×縦ｖのマトリクスであり、パターンＰＴＮの解像度がＸ×Ｙであるとき、最終画像の解像度は、横Ｘ×ｕ、縦Ｙ×ｖとなる。
　演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイクロコントローラなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。
　以上がセンシング装置１００の構成である。続いてその動作を説明する。
　図２は、図１のセンシング装置１００における測距を説明する図である。理解の容易化のため、Ｎ＝４とし、４個のセルＣＥＬＬ１～ＣＥＬＬ４に着目する。
　照明装置１１０は、複数のセルＣＥＬＬ１～ＣＥＬＬ４それぞれに対して、測距のための照明光Ｓｒｅｆ１～Ｓｒｅｆ４を照射する。このときの照明光Ｓｒｅｆ１～Ｓｒｅｆ４は、画像データの生成のための照明光を兼ねていてもよいし、それとは別の測距専用の光であってもよい。測距専用の光の場合、照明光Ｓｒｅｆ１～Ｓｒｅｆ４それぞれの強度分布は均一とすることができる。
　セルＣＥＬＬ１とＣＥＬＬ４に、物体ＯＢＪ１、ＯＢＪ４が存在する走行シーンを考える。照明光Ｓｒｅｆ１は、物体ＯＢＪ１により反射され、その戻り光Ｓｂａｃｋ１が受光素子アレイ１２０の受光素子ＰＴ１により検出される。同様に、照明光Ｓｒｅｆ４は、物体ＯＢＪ４により反射され、その戻り光Ｓｂａｃｋ４が受光素子アレイ１２０の受光素子ＰＴ４により検出される。センシング装置１００から、ｉ番目のセルＣＥＬＬｉに存在する物体ＯＢＪｉまでの距離がｄｉであるとき、照明装置１１０が照明光Ｓｒｅｆｉを出射してから、受光素子ＰＴ１の出力Ｓｐｉが変化するまでの遅延時間τｉは、ｃを光速として、
　τｉ＝２×ｄｉ／ｃ
となる。つまり遅延時間τｉは距離ｄｉに比例する。演算処理装置１３０は、発光タイミングから検出信号Ｓｐｉの変化までの遅延時間τｉを取得することで、距離ｄｉを示す距離情報Ｄｉを得ることができる。
　遅延時間τの測定方法は特に限定されない。たとえば、検出信号Ｓｐｉが、所定のサンプリングレート（あるいは画像データの一画素として、所定のフレームレート）で出力される場合、照明装置１１０の発光から何番目のサンプリングにおいて、検出信号Ｓｐｉが変化したかによって、遅延時間τｉを取得できる。サンプリング周期がＴＳＭＰであるときに、ｘ番目のサンプリングにおいて検出信号Ｓｐｉが変化した場合、遅延時間τｉは、τｉ＝ｘ×ＴＳＭＰとして得ることができる。
　あるいは遅延時間τｉは、タイマーリソースを利用して測定してもよい。
　すべてのセルＣＥＬＬについて同様の処理を行うことで、複数のセルＣＥＬＬ１～ＣＥＬＬＮに存在する物体までの距離ｄ１～ｄＮを示す距離情報Ｄ１～ＤＮが得られる。つまり、センシング装置１００により、Ｎ個の点群データを得ることができる。
　図３は、図１のセンシング装置１００による測距のタイムチャートである。複数の遅延時間τを同時に取得するハードウェアリソース（カウンタやタイマーリソース）が複数個、存在する場合、図３に示すように、複数の照明光Ｓｒｅｆ１～Ｓｒｅｆ４は同時に出射してもよい。反対に、時間測定のためのハードウェアリソースの個数が少ない場合には、複数の照明光Ｓｒｅｆ１～Ｓｒｅｆ４を時分割で出射してもよい。複数のセルＣＥＬＬ１～ＣＥＬＬＮが、図１に示すようにマトリクス状に規定される場合には、行ごとに同時照射して測距しもよい。あるいは列ごとに同時照射して測距してもよい。
　図４は、図１のセンシング装置１００における画像データの生成を説明する図である。画像データＧｉ（ｘ，ｙ）の生成に際して、各セルＣＥＬＬｉに照射される照明光Ｓｒｅｆｉは、Ｘ×Ｙの解像度でランダムにパターニングされ、Ｍ個のパターンＰＴＮｉ１～ＰＴＮｉＭがシーケンシャルに切りかえられる。ｊ番目のパターンＰＴＮｉｊを照射したときの、対応する受光素子ＰＴｉの出力Ｓｐｉｊにもとづく検出強度ｂｉｊは、パターンＰＴＮｉｊと、物体ＯＢＪｉの形状および各部分の反射率に依存する。演算処理装置１３０は、セルＣＥＬＬｉに関して得られたＭ個の検出強度ｂｉ１～ｂｉＭと、対応するパターンの強度分布Ｉｉ１（ｘ，ｙ）～ＩｉＭ（ｘ，ｙ）との相関計算にもとづいて、画像データＧｉ（ｘ，ｙ）を復元する。画像データＧｉ（ｘ，ｙ）の解像度は、パターンＰＴＮの解像度と等しい。
　図５は、図１のセンシング装置１００における画像データＧ１～ＧＮの生成のタイムチャートである。セルＣＥＬＬｉに照射される照明光Ｓｒｅｆｉの空間強度分布は、Ｍ個のパターンＰＴＮｉ１～ＰＴＮｉＭで順に変調される。受光素子ＰＴｉの出力Ｓｐｉは、セルＣＥＬＬｉに存在する物体ＯＢＪｉからの反射光の強度を示しており、パターンＰＴＮｉｊを切りかえるごとに変化する。具体的には複数のパターンＰＴＮｉ１～ＰＴＮｉＭに対応して、検出信号ＳｐｉはＳｐｉ１，Ｓｐｉ２，…ＳｐｉＭと変化していき、複数の検出強度ｂｉ１～ｂｉＭが生成される。こうして得られる複数の検出強度ｂｉ１～ｂｉＭを利用して、画像データＧｉ（ｘ，ｙ）が復元される。
　図６は、相関法にもとづく画像データの生成のタイムチャートである。図６には１個のセルＣＥＬＬの画像復元が示される。１フレームの画像生成に、Ｍ個のランダムな強度分布Ｉ１～ＩＭを有する照明光Ｓｒｅｆがシーケンシャルに照射される。図６では、照明光は、４×４の分解能でパターニングされる。そして、強度分布ごとに、検出強度ｂが生成され、相関計算が行われる。
　以上がセンシング装置１００の構成である。このセンシング装置１００によれば、複数のセルＣＥＬＬ１～ＣＥＬＬＮに対応する点群の距離情報を得ることができ、ＬｉＤＡＲとして動作させることができる。
　一般的なＬｉＤＡＲでは、物体までの距離が近ければ、同じ物体が複数の点で表されるため、点群データから物体の形状や種類を取得することができるが、物体までの距離が遠くなると、物体を表現する点の数が減るため、物体の形状を判別できなくなる。従来の技術では、遠方の物体の点数を増やすためには、ＬｉＤＡＲの点群の個数（本明細書におけるＮ）を増加させる必要があり、コストアップの要因となる。これに対して本実施形態によれば、Ｎを大きくしなくても、相関計算によって、各セルの画像データを復元できるという利点がある。
　実施形態１に関連する変形例を説明する。
（変形例１）
　図１では、複数のセルＣＥＬＬ１～ＣＥＬＬＮがマトリクス状に配置されたが、１行Ｎ列の横方向の一次元の配置としてもよい。
（変形例２）
　画像データの生成と測距は、別々に行ってもよいが、画像データの生成と同時に、測距を行ってもよい。図５に示すように、受光素子ＰＴｉの出力Ｓｐｉｊが変化するタイミングと、対応する照明光Ｓｒｅｆｉｊの発光タイミングの遅延時間τｉは物体ＯＢＪｉまでの距離ｄｉに比例する。そこで、画像データの生成のためのパターニングされた照明光を利用して、遅延時間を測定し、距離を取得してもよい。
（変形例３）
　実施形態では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。たとえば照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
（変形例４）
　ＴｏＦ法にもとづいて距離情報を生成する際に、照明装置１１０は、各セルの一部分（たとえば中央のみ）にスポット状に照明光を照射してもよい。
（変形例５）
　実施の形態において、ゴーストイメージング（あるいはシングルピクセルイメージング）の手法として、相関計算を用いた手法を説明したが、画像の再構築の手法はそれに限定されない。いくつかの実施の形態では、相関計算に変えて、フーリエ変換やアダマール逆変換を使用した解析的手法や、スパースモデリングなどの最適化問題を解く手法、およびＡＩ・機械学習を利用したアルゴリズムによって、画像を再構築してもよい。
（実施形態２）
　図７は、実施形態２に係るセンシング装置１００Ａを示す図である。センシング装置１００Ａは、視野ＦＯＶを複数Ｎ個のセルＣＥＬＬ１～ＣＥＬＬＮに分割してセンシングを行う。
　センシング装置１００Ａは、照明装置１１０、受光素子アレイ１２０Ａ、演算処理装置１３０Ａを備える。照明装置１１０は、視野ＦＯＶを分割してなる複数Ｎ個のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれに、空間的にパターニングされた照明光Ｓｒｅｆ１～ＳｒｅｆＮを照射可能に構成される。パターニングには、均一な強度分布も含まれる。
　図７の例では、視野ＦＯＶが６行×８列のマトリクス状のセルＣＥＬＬ１～ＣＥＬＬＮに分割され、セルの個数Ｎは４８であるものとしているが、実際には、セルの個数Ｎは数百～数百万であってもよい。なお、複数のセルの個数Ｎおよび配置はそれに限定されない。照明光Ｓｒｅｆ１～ＳｒｅｆＮは、同時に照射してもよいし、時分割で照射してもよいが、以下では同時照射するものとする。
　たとえば照明装置１１０は、光源１１２、パターニングデバイス１１４およびパターン発生器１１６を含む。照明装置１１０の出射端には、投光レンズ（コリメートレンズ）やミラーなどの光学系が設けられるが、図示は省略している。光源１１２は、均一な強度分布を有する光ビームＳ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。照明光Ｓｒｅｆの波長やスペクトルは特に限定されないが、本実施の形態において赤外である。
　パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Ｉ（ｘ，ｙ）を空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、中間的な階調をとってもよい。パターニングデバイス１１４と光源１１２の間には、レンズなどを含む光学系を挿入してもよい。
　パターニングデバイス１１４としては、反射型のＤＭＤ（Digital Micromirror Device）や透過型の液晶デバイスを用いることができる。パターニングデバイス１１４には、パターン発生器１１６が発生するパターニングデータＰＴＮ（画像データ）が与えられている。
　パターン発生器１１６は、照明光Ｓｒｅｆｉの強度分布Ｉｉを指定するパターニングデータＰＴＮｉを発生する。パターン発生器１１６は、演算処理装置１３０Ａの内部に実装してもよい。
　受光素子アレイ１２０Ａは、複数Ｎ×Ｋ個の受光素子（光電変換素子：Photo Transducer）ＰＴ１１…ＰＴ１Ｋ，ＰＴ２１…ＰＴ２Ｋ，…，ＰＴＮ１…ＰＴＮＫを含む。ただしＫ≧２である。受光素子ＰＴは、２値の検出信号を出力するものであり、照明装置１１０が生成する照明光Ｓ１と同じ波長に感度を有する。受光素子ＰＴの構造や種類は特に限定されないが、ＳＰＡＤ（Single Photon Avalanche Diode）が好適であり、したがって受光素子アレイ１２０Ａは、ＳＰＡＤイメージセンサであり得る。ＳＰＡＤイメージセンサは、数十万画素から１００万画素程度のものが市販されている。また受光素子アレイ１２０の前面には、集光レンズなどを含む光学系が配置されるが、図示は省略している。
　複数Ｎ個のセルＣＥＬＬそれぞれに対して、Ｋ個の受光素子ＰＴが割り当てられている。１個のセルＣＥＬＬｉに対応するＫ個の受光素子ＰＴｉ１～ＰＴｉＫは、対応するセルＣＥＬＬｉからの光、より詳しくは、当該セルＣＥＬＬｉに存在する物体ＯＢＪが照明光Ｓｒｅｆｉを反射した反射光Ｓｂａｃｋｉを受光し、受光素子が有する光子検出確率にもとづいて、１または０となる検出信号Ｓｐｉ１～ＳｐｉＫを出力する。この例ではＫ＝４とする。
　演算処理装置１３０Ａは、受光素子アレイ１２０Ａの出力、すなわち、複数の受光素子ＰＴ１１～ＰＴ１Ｋ，ＰＴ２１～ＰＴ２Ｋ、…，ＰＴＮ１～ＰＴＮＫの検出信号Ｓｐ１１～Ｓｐ１Ｋ、Ｓｐ２１～Ｓｐ２Ｋ、…，ＳｐＮ１～ＳｐＮＫを受ける。演算処理装置１３０Ａは、ＴｏＦ処理部１３２と、ＳＰＩ（Single Pixel Imaging）処理部１３４を含む。
　ＴｏＦ処理部１３２は、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれについて距離情報を算出する。具体的にはＴｏＦ処理部１３２は、ｉ番目（１≦ｉ≦Ｎ）のセルに対応するＫ個の受光素子ＰＴｉ１～ＰＴｉＫの出力である検出信号Ｓｐｉ１～ＳｐｉＫのひとつ、もしくは複数にもとづいて、セルＣＥＬＬｉまでの距離情報を、ＴｏＦ法により取得する。
　たとえばＴｏＦ処理部１３２は、照明装置１１０による照明光Ｓｒｅｆｉの照射タイミングから、対応する検出信号Ｓｐｉ１～ＳｐｉＫのひとつまたは複数が変化するまでの遅延時間τｉを取得し、遅延時間τｉにもとづいて距離情報Ｄｉを生成する。演算処理装置１３０Ａからは、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれの距離情報Ｄ１～ＤＮが出力される。この距離情報Ｄ１～ＤＮのセットは、ＬｉＤＡＲにおける点群データに対応するものと捉えることができる。
　またＳＰＩ処理部１３４は、複数のセルＣＥＬＬ１～ＣＥＬＬＮごとに、画像データＧ１（ｘ，ｙ）～ＧＮ（ｘ，ｙ）を算出する。
　ＳＰＩ処理部１３４は、ｉ番目のセルＣＥＬＬｉの画像データＧｉ（ｘ，ｙ）の生成に関して、そのセルＣＥＬＬｉに対応するＫ個の受光素子ＰＴｉ１～ＰＴｉＫの出力Ｓｐｉ１～ＳｐｉＫにもとづいて、多値の検出強度ｂｉを生成する。そして検出強度ｂｉを利用して、相関法（シングルピクセルイメージングともいう）により、画像データＧｉ（ｘ，ｙ）を生成する。すなわち、照明光Ｓｒｅｆｉの照射後、所定の時間ウィンドウの中で、Ｋ個のＳｐｉ１～ＳｐｉＫのうち、ｘ個が１となったとき、検出強度ｂｉの値をｘとする。ｘは、０～Ｋを取り得る。
　相関法にもとづく画像復元としては、ゴーストイメージングを用いることができる。ｉ番目（１≦ｉ≦Ｎ）のセルＣＥＬＬｉに対して、照明装置１１０は、Ｍ個のランダムパターンＰＴＮｉ１～ＰＴＮｉＭをシーケンシャルに照射する。複数のセルＣＥＬＬ１～ＣＥＬＬＮに照射されるｊ番目（１≦ｊ≦Ｍ）のパターンＰＴＮ１ｊ～ＰＴＮＮｊは同一としてもよいし異なっていてもよい。
　ｊ番目のランダムパターンＰＴＮｉｊを照射しているときに得られる検出強度ｂｉｊと表記する。Ｍ個のランダムパターンを照射すると、Ｍ個の検出強度ｂｉ１～ｂｉＭが得られる。演算処理装置１３０Ａは、Ｍ個の検出強度ｂｉ１～ｂｉＭとＭ個のパターニングデータＰＴＮｉ１～ＰＴＮｉＭとの相関計算を行い、セルＣＥＬＬｉの復元画像Ｇｉ（ｘ，ｙ）を生成する。
　相関計算には、式（１）の相関関数が用いられる。Ｉｉｊは、ｉ番目のセルＣＥＬＬｉに照射されるｊ番目の照明光Ｓｒｅｆｉｊ、すなわちランダムパターンＰＴＮｉｊの強度分布である。
Figure JPOXMLDOC01-appb-M000002
　演算処理装置１３０Ａは、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれの画像データＧ１～ＧＮを、個別に出力してもよいし、それらを合成して、視野ＦＯＶ全体の１枚の画像として出力してもよい。複数のセルＣＥＬＬが横ｕ×縦ｖのマトリクスであり、パターンＰＴＮの解像度がＸ×Ｙであるとき、最終画像の解像度は、横Ｘ×ｕ、縦Ｙ×ｖとなる。
　演算処理装置１３０Ａは、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイクロコントローラなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０Ａは、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０Ａはハードウェアのみで構成してもよい。
　以上がセンシング装置１００Ａの構成である。続いてその動作を説明する。
　図８は、図７のセンシング装置１００Ａにおける測距を説明する図である。
　照明装置１１０は、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれに対して、測距のための照明光Ｓｒｅｆ１～ＳｒｅｆＮを照射する。このときの照明光Ｓｒｅｆ１～ＳｒｅｆＮは、画像データの生成のための照明光を兼ねていてもよいし、それとは別の測距専用の光であってもよい。測距専用の光の場合、照明光Ｓｒｅｆ１～ＳｒｅｆＮそれぞれの強度分布は均一とすることができる。
　セルＣＥＬＬ１とＣＥＬＬＮに、物体ＯＢＪ１，ＯＢＪＮが存在する走行シーンを考える。照明光Ｓｒｅｆ１は、物体ＯＢＪ１により反射され、その戻り光Ｓｂａｃｋ１が受光素子アレイ１２０Ａの受光素子ＰＴ１１～ＰＴ１Ｋに入射する。同様に、照明光ＳｒｅｆＮは、物体ＯＢＪＮにより反射され、その戻り光ＳｂａｃｋＮが受光素子アレイ１２０Ａの受光素子ＰＴＮ１～ＰＴＮＫに入射する。センシング装置１００Ａから、ｉ番目のセルＣＥＬＬｉに存在する物体ＯＢＪｉまでの距離がｄｉであるとき、照明装置１１０が照明光Ｓｒｅｆｉを出射してから、受光素子アレイ１２０に入射するまでのラウンドトリップ時間Ｔｄｉは、ｃを光速として、
　Ｔｄｉ＝２×ｄｉ／ｃ
となる。つまりラウンドトリップ時間Ｔｄｉは距離ｄｉに比例する。
　演算処理装置１３０Ａは、照明光Ｓｒｅｆｉの発光タイミングから検出信号Ｓｐｉｊの変化までの遅延時間τｉｊ取得することで、ラウンドトリップ時間Ｔｄｉひいては距離ｄｉを示す距離情報Ｄｉを得ることができる。
　遅延時間τの測定方法は特に限定されない。たとえば、検出信号Ｓｐｉｊが、所定のサンプリングレート（あるいは画像データの一画素として、所定のフレームレート）で出力される場合、照明装置１１０の発光から何番目のサンプリングにおいて、検出信号Ｓｐｉｊが変化したかによって、遅延時間τｉを取得できる。サンプリング周期がＴＳＭＰであるときに、ｘ番目のサンプリングにおいて検出信号Ｓｐｉｊが変化した場合、遅延時間τｉは、τｉｊ＝ｘ×ＴＳＭＰとして得ることができる。あるいは遅延時間τｉｊは、タイマーリソースを利用して測定してもよい。
　１つのセルＣＥＬＬは、ＳＰＡＤを用いたＬｉＤＡＲにおける点に相当する。ＳＰＡＤを用いたＬｉＤＡＲと同様に、１つのセルＣＥＬＬｉの測距において、照明光Ｓｒｅｆｉを複数回、照射し、照射毎に遅延時間τｉｊを測定し、遅延時間τｉｊ、すなわち距離ｄｉを階級とするヒストグラムを生成し、ヒストグラムにもとづいて距離情報Ｄｉを生成することができる。たとえばヒストグラムの最頻値を距離情報としてもよいし、ヒストグラムの平均値を距離情報としてもよい。
　すべてのセルＣＥＬＬについて同様の処理を行うことで、複数のセルＣＥＬＬ１～ＣＥＬＬＮに存在する物体までの距離ｄ１～ｄＮを示す距離情報Ｄ１～ＤＮが得られる。つまり、センシング装置１００Ａにより、Ｎ個の点群データを得ることができる。
　図９（ａ）は、図７のセンシング装置１００Ａによる測距のタイムチャートであり、図９（ｂ）は、距離を階級とするヒストグラムである。ヒストグラムの生成には、Ｋ個の受光素子ＰＴｉ１～ＰＴｉＫのうち、ひとつのみを利用してもよい。すなわちＫ個の検出信号Ｓｐｉ１～ＳｐｉＫのうちのひとつのみを監視し、ひとつの検出信号Ｓｐｉｊの遅延時間τｉｊを、複数回測定して、ヒストグラムを生成してもよい。ここではｉ番目のセルＣＥＬＬｉの測距に、１個の検出信号Ｓｐｉ１のみを使用する場合を説明する。照明装置１１０は、照明光Ｓｒｅｆｉを繰り返し照射する。ｉ番目のセルＣＥＬＬｉに、センシング装置１００Ａからの距離ｄｉの位置に物体ＯＢＪｉが存在するとき、発光からラウンドトリップ時間Ｔｄｉ＝２×ｄ／ｃの経過後に、受光素子ＰＴｉ１は戻り光Ｓｂａｃｋｉを受ける。理想的には、受光素子ＰＴｉｉ１の出力Ｓｐｉ１は、戻り光Ｓｂａｃｋｉのみに応答するものであり、遅延時間τｉ１は、ラウンドトリップ時間Ｔｄｉと一致する。しかしながら実際には、外乱の影響によって、検出信号Ｓｐは統計的な振る舞いをみせ、戻り光Ｓｂａｃｋｉの受光タイミングとは異なるタイミングで変化する場合もある。したがって、ラウンドトリップ時間Ｔｄｉを取得するためには、遅延時間τｉ１を統計的に処理する必要がある。
　演算処理装置１３０Ａは、発光から、検出信号Ｓｐｉ１が変化するまでの時間τｉ１を繰り返し測定し、時間τｉ１（言い換えると距離）を階級とするヒストグラムを生成する。そして、図９（ｂ）に示すように、このヒストグラムの最頻値を、実際の距離に応じた遅延時間τｉ、すなわちラウンドトリップ時間Ｔｄｉとして取得する。なお、最頻値ではなく、平均値を用いてもよい。
　図１０は、変形例１に係るヒストグラムの生成を説明する図である。この変形例において、ヒストグラムの生成には、Ｋ個の受光素子ＰＴｉ１～ＰＴｉＫすべて（あるいはそれより少ない複数個）を利用してもよい。すなわちＫ個の検出信号Ｓｐｉ１～ＳｐｉＫそれぞれの遅延時間τｉ１～τｉＫを、複数回測定して、ヒストグラムを生成してもよい。
　図１１は、変形例２に係るヒストグラムの生成を説明する図である。この変形例において、ヒストグラムの生成には、Ｋ個の受光素子ＰＴｉ１～ＰＴｉＫすべて（あるいはそれより少ない複数個）を利用してもよい。Ｋ個の検出信号Ｓｐｉ１～ＳｐｉＫを監視し、そのうちの所定数個が変化するまでの時間を遅延時間τｉとして、遅延時間τｉを複数回測定して、ヒストグラムを生成してもよい。図１１では、２個の検出信号が変化するまでの時間を、遅延時間τｉとしている。
　変形例１あるいは２の測定によれば、時間測定の精度を高めることができる。
　複数の遅延時間τを同時に取得するハードウェアリソース（カウンタやタイマーリソース）が複数個、存在する場合には、複数の照明光Ｓｒｅｆ１～ＳｒｅｆＮを同時に出射してもよい。反対に、時間測定のためのハードウェアリソースの個数が少ない場合には、複数の照明光Ｓｒｅｆ１～ＳｒｅｆＮを時分割で出射してもよい。複数のセルＣＥＬＬ１～ＣＥＬＬＮが、図７に示すようにマトリクス状に規定される場合には、行ごとに同時照射して測距しもよい。あるいは列ごとに同時照射して測距してもよい。
　図１１は、図７のセンシング装置１００Ａにおける画像データの生成を説明する図である。上述のように、画像データの生成は、セルごとに行われる。
　画像データＧｉ（ｘ，ｙ）の生成に際して、各セルＣＥＬＬｉに照射される照明光Ｓｒｅｆｉは、Ｘ×Ｙの解像度でランダムにパターニングされ、Ｍ個のパターンＰＴＮｉ１～ＰＴＮｉＭがシーケンシャルに切りかえられる。ｊ番目のパターンＰＴＮｉｊを照射したときの、対応する受光素子ＰＴｉ１～ＰＴｉＫの出力Ｓｐｉ１～ＳｐｉＫにもとづく検出強度ｂｉを、ｂｉｊと表記する。検出強度ｂｉｊは、ｊ番目のパターンＰＴＮｉｊを照射したときの、Ｋ個の検出信号Ｓｐｉ１～ＳｐｉＫのうち、値が１である個数である。
　演算処理装置１３０Ａは、セルＣＥＬＬｉに関して、Ｍ個のパターンの照射の結果得られた検出強度ｂｉ１～ｂｉＭと、対応するパターンの強度分布Ｉｉ１（ｘ，ｙ）～ＩｉＭ（ｘ，ｙ）との相関計算にもとづいて、画像データＧｉ（ｘ，ｙ）を復元する。画像データＧｉ（ｘ，ｙ）の解像度は、パターンＰＴＮの解像度と等しい。
　図１２は、図７のセンシング装置１００Ａにおけるひとつの画像データＧｉの生成のタイムチャートである。セルＣＥＬＬｉに照射される照明光Ｓｒｅｆｉの空間強度分布は、Ｍ個のパターンＰＴＮｉ１～ＰＴＮｉＭで順に変調される。Ｋ個の受光素子ＰＴｉ１～ＰＴｉＫの出力である検出信号Ｓｐｉ１～ＳｐｉＫは、セルＣＥＬＬｉに存在する物体ＯＢＪｉからの反射光に応じており、検出信号Ｓｐｉ１～ＳｐｉＫにもとづいて、多値の検出強度ｂｉが生成される。照明光ＳｒｅｆｉのパターンをＰＴＮｉ１，ＰＴＮｉ２…，ＰＴＮｉＭと変化させると、複数の検出強度ｂｉ１，ｂｉ２，…，ｂｉＭが生成される。こうして得られる複数の検出強度ｂｉ１～ｂｉＭを利用して、画像データＧｉ（ｘ，ｙ）が復元される。
　なお、１個のパターンＰＴＮｉｊをある程度長い時間に渡り照射し、その間に、検出信号Ｓｐｉ１～Ｓｐｉｋを複数回サンプリングし、検出強度ｂｉｊを生成してもよい。
　以上がセンシング装置１００Ａの構成である。このセンシング装置１００Ａによれば、複数のセルＣＥＬＬ１～ＣＥＬＬＮに対応する点群の距離情報を得ることができ、ＬｉＤＡＲとして動作させることができる。
　一般的なＬｉＤＡＲでは、物体までの距離が近ければ、同じ物体が複数の点で表されるため、点群データから物体の形状や種類を取得することができるが、物体までの距離が遠くなると、物体を表現する点の数が減るため、物体の形状を判別できなくなる。従来の技術では、遠方の物体の点数を増やすためには、ＬｉＤＡＲの点群の個数（本明細書におけるＮ）を増加させる必要があり、コストアップの要因となる。これに対して本実施形態によれば、Ｎを大きくしなくても、相関計算によって、各セルの画像データを復元できるという利点がある。
　実施形態２において、画像データの生成と測距は、別々に行ってもよいが、画像データの生成と同時に、測距を行ってもよい。図１２に示すように、受光素子ＰＴｉの出力Ｓｐｉｊが変化するタイミングと、対応する照明光Ｓｒｅｆｉｊの発光タイミングの遅延時間τｉは物体ＯＢＪｉまでの距離ｄｉに比例する。そこで、画像データの生成のためのパターニングされた照明光を利用して、遅延時間を測定し、距離を取得してもよい。
（実施形態３）
　図１３は、実施形態３に係るセンシング装置１００Ｂを示す図である。センシング装置１００Ｂは、視野ＦＯＶを複数Ｎ個のセルＣＥＬＬ１～ＣＥＬＬＮに分割してセンシングを行う。
　センシング装置１００Ｂは、照明装置１１０、受光素子アレイ１２０Ｂ、演算処理装置１３０Ｂを備える。照明装置１１０は、視野ＦＯＶを分割してなる複数Ｎ個のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれに、空間的にパターニングされた照明光Ｓｒｅｆ１～ＳｒｅｆＮを照射可能に構成される。
　受光素子アレイ１２０Ｂは、複数Ｎ個の受光素子ＰＴ１～ＰＴＮを含む。受光素子ＰＴは、実施形態２と同様に、２値の検出信号を出力するものであり、照明装置１１０が生成する照明光Ｓ１と同じ波長に感度を有する。
　Ｎ個の受光素子ＰＴ１～ＰＴＮのひとつＰＴｉは、対応するセルＣＥＬＬｉに存在する物体ＯＢＪが照明光Ｓｒｅｆｉを反射した反射光Ｓｂａｃｋｉを受光し、光子検出確率にもとづいて、１または０の検出信号Ｓｐｉを出力する。
　演算処理装置１３０Ｂは、受光素子アレイ１２０Ｂの出力、すなわち、複数の検出信号Ｓｐ１～ＳｐＮを受ける。演算処理装置１３０Ｂは、ＴｏＦ処理部１３２と、ＧＩ（Ghost Imaging）処理部１３４を含む。
　本実施形態において、照明装置１１０は、各セルＣＥＬＬｉに対して、強度分布がランダムな複数Ｍ個の照明光Ｓｒｅｆｉをシーケンシャルに照射する。ｊ番目（１≦ｊ≦Ｍ）のパターンＰＴＮｉｊの照明光Ｓｒｅｆｉｊは、複数Ｌ回（Ｌ≧２）、照射される。
　ＴｏＦ処理部１３２は、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれについて距離情報Ｄ１～ＤＮを算出する。具体的にはＴｏＦ処理部１３２は、ｉ番目（１≦ｉ≦Ｎ）のセルに対応する受光素子ＰＴｉの出力である検出信号Ｓｐｉにもとづいて、セルＣＥＬＬｉまでの距離情報を、ＴｏＦ法により取得する。測距は、たとえば同じパターンＰＴＮｉｊのＬ回の照射をサイクルとして実行することができる。
　ＴｏＦ処理部１３２は、Ｌ回のパターンＰＴＮｉｊの照射ごとに、発光タイミングから、対応する検出信号Ｓｐｉｊが変化するまでの遅延時間τｉを取得し、遅延時間τｉを階級とするヒストグラムＨＩＳＴｉｊを生成する。そしてＴｏＦ処理部１３２は、ヒストグラムＨＩＳＴｉｊにもとづいて、その最頻値をラウンドトリップ時間Ｔｄｉｊとして決定し、ラウンドトリップ時間Ｔｄｉｊを距離情報Ｄｉとして出力する。演算処理装置１３０Ｂからは、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれの距離情報Ｄ１～ＤＮが出力される。この距離情報Ｄ１～ＤＮのセットは、ＬｉＤＡＲにおける点群データに対応するものと捉えることができる。
　ＴｏＦ処理部１３２が生成するヒストグラムＨＩＳＴｉｊは、画像データＧｉの生成にも利用される。ＳＰＩ処理部１３４は、ヒストグラムＨＩＳＴｉｊにもとづいて、検出強度ｂｉｊを生成する。図１４は、ヒストグラムＨＩＳＴｉｊと検出強度ｂｉｊの関係を示す図である。たとえばＳＰＩ処理部１３４は、ヒストグラムＨＩＳＴｉｊの最頻値における度数（あるいは平均値における度数）を、検出強度ｂｉｊとすることができる（図１４の（i））。あるいはヒストグラムＨＩＳＴｉｊの最頻値（または平均値）を含む所定の階級範囲の度数の積分値（面積）を検出強度ｂｉｊとしてもよい（図１４(ii)）。
　各セルＣＥＬＬｉに照射する照明光Ｓｒｅｆｉのパターンを、ＰＴＮｉ１，ＰＴＮｉ２，…ＰＴＮｉＭと変化させていくと、ヒストグラムＨＩＳＴｉ１，ＨＩＳＴｉ２，…ＨＩＳＴｉＭが生成され、検出強度ｂｉ１，ｂｉ２，…ｂｉＭが生成される。ＳＰＩ処理部１３４は、検出強度ｂｉ１，ｂｉ２，…ｂｉＭとパターンの強度分布Ｉｉ１（ｘ，ｙ），Ｉｉ２（ｘ，ｙ），…ＩｉＭ（ｘ，ｙ）にもとづいて、相関計算を行い、画像データＧｉ（ｘ，ｙ）を復元する。
　演算処理装置１３０Ｂは、複数のセルＣＥＬＬ１～ＣＥＬＬＮそれぞれの画像データＧ１～ＧＮを、個別に出力してもよいし、それらを合成して、視野ＦＯＶ全体の１枚の画像として出力してもよい。複数のセルＣＥＬＬが横ｕ×縦ｖのマトリクスであり、パターンＰＴＮの解像度がＸ×Ｙであるとき、最終画像の解像度は、横Ｘ×ｕ、縦Ｙ×ｖとなる。
　以上がセンシング装置１００Ｂの構成である。続いてその動作を説明する。図１５は、図１３のセンシング装置１００Ｂにおける測距および画像データ生成のフローチャートである。
　変数ｉが初期化され（Ｓ１００）、続いて変数ｊが初期化される（Ｓ１０２）。セルＣＥＬＬｉに対して、パターンＰＴＮｉｊの照明光ＳｒｅｆｉｊをＬ回、繰り返し照射し、照射ごとに、受光素子ＰＴｉの出力Ｓｐｉｊの遅延時間τｉｊを取得する（Ｓ１０４）。Ｌ個の遅延時間τｉｊの測定結果にもとづいて、ヒストグラムＨＩＳＴｉｊを生成する（Ｓ１０６）。
　そしてヒストグラムＨＩＳＴｉｊにもとづいて、セルＣＥＬＬｉの距離情報Ｄｉを生成する（Ｓ１０８）。またヒストグラムＨＩＳＴｉｊにもとづいて、検出強度ｂｉｊが生成される（Ｓ１１０）。
　続いて変数ｊがインクリメントされ（Ｓ１１２）、照明光のパターンＰＴＮｉｊが更新される。ｊ＞Ｍでないとき（Ｓ１１４のＮ）、つまりＭ個すべてのパターンの照射が完了していない場合、処理Ｓ１０４に戻る。ｊ＞Ｍであるとき（Ｓ１１４のＹ）、相関法により画像データＧｉ（ｘ，ｙ）を生成する（Ｓ１１６）。
　続いて変数ｉがインクリメントされ（Ｓ１１８）、次のセルＣＥＬＬｉの測定に移る。
ｉ＞Ｎでないとき（Ｓ１２０のＮ）、つまりＮ個すべてのセルの処理が完了していない場合、処理Ｓ１０２に戻る。ｉ＞Ｎであるとき（Ｓ１２０のＹ）、処理を終了する。
　以上がセンシング装置１００Ｂの動作である。このセンシング装置１００Ｂによれば、ＴｏＦ法で使用する照明光をパターニングしておき、測距のためのヒストグラムを生成することとした。これにより、ヒストグラムを利用して、距離情報が取得できるとともに、２値出力の受光素子の出力信号を、多値の検出強度に変換することができ、相関法にもとづく画像データの生成が可能となる。
　なお、図１５のフローチャートでは、複数のセルを順に時分割処理したが、それらを並列に処理してもよい。
　実施形態２あるいは実施形態３に関連する変形例を説明する。
（変形例１）
　図７では、複数のセルＣＥＬＬ１～ＣＥＬＬＮがマトリクス状に配置されたが、１行Ｎ列の横方向の一次元の配置としてもよい。
（変形例２）
　実施の形態では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。たとえば照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
（変形例３）
　実施形態２において、ＴｏＦ法にもとづいて距離情報を生成する際に、照明装置１１０は、各セルの一部分（たとえば中央のみ）にスポット状に照明光を照射してもよい。
（変形例４）
　実施の形態において、ゴーストイメージング（あるいはシングルピクセルイメージング）の手法として、相関計算を用いた手法を説明したが、画像の再構築の手法はそれに限定されない。いくつかの実施の形態では、相関計算に変えて、フーリエ変換やアダマール逆変換を使用した解析的手法や、スパースモデリングなどの最適化問題を解く手法、およびＡＩ・機械学習を利用したアルゴリズムによって、画像を再構築してもよい。
（用途）
　続いてセンシング装置１００の用途を説明する。図１６は、物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
　物体識別システム１０は、実施形態１から実施形態３で説明したセンシング装置１００，１００Ａ，１００Ｂのいずれか（単に１００と表記する）と、演算処理装置４０を備える。センシング装置１００は、上述のように、物体ＯＢＪに照明光Ｓｒｅｆを照射し、反射光Ｓ２を測定することにより、物体ＯＢＪの復元画像Ｇを生成する。
　演算処理装置４０は、センシング装置１００の出力画像Ｇを処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。
　演算処理装置４０の分類器４２は、画像Ｇを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　図１７は、センシング装置１００を備える自動車を示す図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。センシング装置１００は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、センシング装置１００の設置箇所として最も有利である。
　図１８は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、センシング装置１００および演算処理装置４０を含む。
　演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　なおセンシング装置１００の用途は車載に限定されず、その他の用途にも適用できる。
　実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本開示は、センシング装置に関する。
　ＯＢＪ　物体、１０　物体識別システム、４０　演算処理装置、４２　分類器、１００　センシング装置、１１０　照明装置、１１２　光源、１１４　パターニングデバイス、１１６　パターン発生器、１２０　受光素子アレイ、１３０　演算処理装置、１３２　ＴｏＦ処理部、１３４　ＳＰＩ処理部、２００　車両用灯具、２０２　光源、２０４　点灯回路、２０６　光学系、３００　自動車、３０２　前照灯、３１０　灯具システム、３０４　車両側ＥＣＵ

Claims (14)

  1. 　視野を分割してなる複数のセルそれぞれに、空間的にパターニングされた照明光を照射可能な照明装置と、
    　前記複数のセルに対応する複数の受光素子を含む受光素子アレイと、
    　ＴｏＦ（飛行時間）法にもとづいて、前記複数のセルごとの距離情報を生成するとともに、相関法にもとづいて、前記複数のセルの画像データを生成する演算処理装置と、
    　を備えることを特徴とするセンシング装置。
  2. 　前記照明装置は、各セルに、強度分布がランダムな複数個の照明光をシーケンシャルに照射し、
    　前記演算処理装置は、各受光素子の出力にもとづいて、対応するセルの前記距離情報をＴｏＦ法により取得するとともに、対応するセルの前記画像データを相関法により生成することを特徴とする請求項１に記載のセンシング装置。
  3. 　前記相関法にもとづいて前記画像データを生成する際に、前記照明装置は、各セルに、強度分布がランダムな複数個の照明光をシーケンシャルに照射することを特徴とする請求項１に記載のセンシング装置。
  4. 　前記ＴｏＦ法にもとづいて前記距離情報を生成する際に、前記照明装置は、各セルに均一な照明光を照射することを特徴とする請求項３に記載のセンシング装置。
  5. 　前記ＴｏＦ法にもとづいて前記距離情報を生成する際に、前記照明装置は、各セルの一部分に照明光を照射することを特徴とする請求項３に記載のセンシング装置。
  6. 　視野を分割してなる複数Ｎ個（Ｎ≧２）のセルそれぞれに、空間的にパターニングされた照明光を照射可能な照明装置と、
    　それぞれが２値の検出信号を出力するＫ（Ｋ≧２）×Ｎ個の受光素子を含み、前記複数Ｎ個のセルそれぞれに対して、Ｋ個の受光素子が割り当てられている受光素子アレイと、
    　（i）ＴｏＦ（飛行時間）法により、前記複数Ｎ個のセルそれぞれについて、各セルに対応するＫ個の受光素子の少なくともひとつの出力にもとづいて距離情報を生成するとともに、（ii）前記複数Ｎ個のセルそれぞれについて、各セルに対応するＫ個の受光素子の出力にもとづいて、多値の検出強度を生成し、相関法により、各セルの画像データを生成する演算処理装置と、
    　を備えることを特徴とするセンシング装置。
  7. 　前記相関法による前記画像データの生成の際に、前記照明装置は、各セルに、強度分布がランダムな複数個の照明光をシーケンシャルに照射することを特徴とする請求項６に記載のセンシング装置。
  8. 　前記ＴｏＦ法による前記距離情報の生成の際に、前記照明装置は、各セルに均一な照明光を照射することを特徴とする請求項７に記載のセンシング装置。
  9. 　前記ＴｏＦ法による前記距離情報の生成の際に、前記照明装置は、各セルの一部分に照明光を照射することを特徴とする請求項７に記載のセンシング装置。
  10. 　前記ＴｏＦ法による前記距離情報の生成は、前記相関法による前記画像データの生成の際に前記照明装置が生成する前記複数個の照明光を利用して行うことを特徴とする請求項７に記載のセンシング装置。
  11. 　視野を分割してなる複数Ｎ個（Ｎ≧２）のセルそれぞれに、空間的にパターニングされた照明光を照射可能な照明装置と、
    　前記複数Ｎ個のセルに対応し、それぞれが２値の検出信号を出力する複数Ｎ個の受光素子を含む受光素子アレイと、
    　（i）前記複数Ｎ個のセルそれぞれについて、前記Ｎ個の受光素子の対応するひとつが出力する前記検出信号にもとづいて、ＴｏＦ（飛行時間）法により、距離を階級とするヒストグラムを生成し、前記ヒストグラムにもとづいて各セルの距離情報を生成するとともに、（ii）前記ヒストグラムにもとづいて検出強度を生成し、当該検出強度を利用した相関法により、各セルの画像データを生成する演算処理装置と、
    　を備えることを特徴とするセンシング装置。
  12. 　前記演算処理装置は、前記ヒストグラムの最頻値における度数を、前記検出強度とすることを特徴とする請求項１１に記載のセンシング装置。
  13. 　請求項１から１２のいずれかに記載のセンシング装置を備えることを特徴とする車両用灯具。
  14. 　請求項１から１２のいずれかに記載のセンシング装置を備えることを特徴とする車両。
PCT/JP2021/041926 2020-11-16 2021-11-15 センシング装置、車両用灯具、車両 Ceased WO2022102775A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180075232.1A CN116457700A (zh) 2020-11-16 2021-11-15 感测装置、车辆用灯具、车辆
JP2022562223A JPWO2022102775A1 (ja) 2020-11-16 2021-11-15

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020190201 2020-11-16
JP2020-190200 2020-11-16
JP2020-190201 2020-11-16
JP2020190200 2020-11-16

Publications (1)

Publication Number Publication Date
WO2022102775A1 true WO2022102775A1 (ja) 2022-05-19

Family

ID=81601358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/041926 Ceased WO2022102775A1 (ja) 2020-11-16 2021-11-15 センシング装置、車両用灯具、車両

Country Status (2)

Country Link
JP (1) JPWO2022102775A1 (ja)
WO (1) WO2022102775A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8242428B2 (en) * 2007-12-06 2012-08-14 The United States Of America As Represented By The Secretary Of The Army Method and system for lidar using spatial information from a light source in combination with nonspatial information influenced by the subject to derive an image
WO2017187484A1 (ja) * 2016-04-25 2017-11-02 株式会社日立製作所 物体撮像装置
JP2019060652A (ja) * 2017-09-25 2019-04-18 シャープ株式会社 測距センサ
WO2020149140A1 (ja) * 2019-01-17 2020-07-23 株式会社小糸製作所 車載用イメージング装置、車両用灯具、自動車
JP2020136837A (ja) * 2019-02-15 2020-08-31 日本放送協会 ３次元画像用の撮像装置および３次元画像用の撮像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8242428B2 (en) * 2007-12-06 2012-08-14 The United States Of America As Represented By The Secretary Of The Army Method and system for lidar using spatial information from a light source in combination with nonspatial information influenced by the subject to derive an image
WO2017187484A1 (ja) * 2016-04-25 2017-11-02 株式会社日立製作所 物体撮像装置
JP2019060652A (ja) * 2017-09-25 2019-04-18 シャープ株式会社 測距センサ
WO2020149140A1 (ja) * 2019-01-17 2020-07-23 株式会社小糸製作所 車載用イメージング装置、車両用灯具、自動車
JP2020136837A (ja) * 2019-02-15 2020-08-31 日本放送協会 ３次元画像用の撮像装置および３次元画像用の撮像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CAO JIE; ZHANG FANGHUA; ZHANG KAIYU; WANG FEI; HAO QUN; FANG YAMI; LUO QIANG: "Three-dimensional ghost imaging based on differential optical path", SPIE PROCEEDINGS, SPIE, US, vol. 10997, 14 May 2019 (2019-05-14), US , pages 109970T - 109970T-7, XP060121892, ISBN: 978-1-5106-3673-6, DOI: 10.1117/12.2523306 *

Also Published As

Publication number Publication date
JPWO2022102775A1 (ja) 2022-05-19

Similar Documents

Publication Publication Date Title
JP5938125B2 (ja) Ｉｒ画像内の生物の数を決定するための方法
US11009592B2 (en) LiDAR system and method
CN113227838B (zh) 车辆用灯具及车辆
US12135394B2 (en) Gating camera
EP3998767B1 (en) Imaging device, lighting device for same, vehicle, and lamp fitting for vehicle
JP7463297B2 (ja) 車載用イメージング装置、車両用灯具、自動車
US20230179841A1 (en) Gating camera
WO2021193646A1 (ja) イメージング装置および車両用灯具、車両
CN119716845B (zh) 远距离快照式光谱成像雷达系统及其应用
WO2022102775A1 (ja) センシング装置、車両用灯具、車両
JP7395511B2 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
CN116457700A (zh) 感测装置、车辆用灯具、车辆
JP7608353B2 (ja) イメージング装置、車両用灯具、車両、イメージング方法
US20240067094A1 (en) Gating camera, vehicle sensing system, and vehicle lamp
JP7804684B2 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
US12517251B2 (en) Imaging apparatus
US20250095106A1 (en) Gating camera, sensing system for vehicle, vehicle lamp
WO2023085329A1 (ja) イメージングシステム、センサユニット、車両用灯具、車両
JP2025166703A (ja) 光学装置および移動装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21892020

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180075232.1

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022562223

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21892020

Country of ref document: EP

Kind code of ref document: A1