WO2020075525A1 - センサフュージョンシステム、同期制御装置、及び同期制御方法 - Google Patents

センサフュージョンシステム、同期制御装置、及び同期制御方法 Download PDF

Info

Publication number
WO2020075525A1
WO2020075525A1 PCT/JP2019/038088 JP2019038088W WO2020075525A1 WO 2020075525 A1 WO2020075525 A1 WO 2020075525A1 JP 2019038088 W JP2019038088 W JP 2019038088W WO 2020075525 A1 WO2020075525 A1 WO 2020075525A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
light
light source
pixel
timing
Prior art date
Application number
PCT/JP2019/038088
Other languages
English (en)
French (fr)
Inventor
斉藤　正剛
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP19870087.4A priority Critical patent/EP3865911B1/en
Priority to US17/282,986 priority patent/US20210341616A1/en
Publication of WO2020075525A1 publication Critical patent/WO2020075525A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers

Definitions

  • the present disclosure relates to a sensor fusion system, a synchronization control device, and a synchronization control method, and more particularly, to a sensor fusion system, a synchronization control device, and a synchronization control method in which a distance measuring device and an imaging device are synchronized to improve fusion recognition performance.
  • the present disclosure has been made in view of such circumstances, and is to enable the distance recognition device and the imaging device to be synchronized to improve fusion recognition performance.
  • a sensor fusion system includes a light source unit that emits light that extends in a first direction, and a drive unit that drives the emission direction of the light in a second direction orthogonal to the first direction.
  • a light source module that has, a light source control unit that controls the timing at which the light source unit emits the light, and a light receiving unit that has a predetermined light receiving range and receives the light emitted from the light source unit and reflected by an object.
  • a time measuring unit that measures the time from the light source unit emitting the light to the light receiving unit receiving the light reflected by the object; and the light receiving unit based on the measured time.
  • a distance measuring device including a distance calculation unit that calculates a distance from the light source module to the object, and a plurality of pixels that are arranged two-dimensionally, and at least an emission range in which the light source unit emits light Shooting including a part A pixel section having a range, an AD conversion section that is arranged side by side in the first direction and AD-converts a signal output from a pixel group that is arranged in the first direction in the pixel section, and the plurality of pixels
  • An image pickup apparatus that includes an exposure control unit that controls exposure of the plurality of pixels so that the light source unit emits the light to a predetermined area, and the predetermined number of pixels.
  • the sensor fusion system includes a synchronization control unit that controls the light source control unit and the exposure control unit so that the timing of exposing the pixel group corresponding to the area is synchronized.
  • a drive for driving a light emitting portion that emits light in a first direction and a light emitting direction in a second direction orthogonal to the first direction by a distance measuring device.
  • a light source module in a light source module having a light emitting section is controlled in timing, light having a predetermined light receiving range, emitted from the light source section and reflected by an object is received, and the light source section emits light.
  • the time from when the light receiving unit receives the light reflected by the object is measured, and the distance from the light receiving unit or the light source module to the object is calculated based on the measured time.
  • a pixel unit having a plurality of pixels arranged side by side in the first direction and arranged two-dimensionally by the imaging device, and having an imaging range including at least a part of an emission range from which the light source unit emits light.
  • the signals output from the pixel groups arranged in the first direction are AD-converted, and the exposure of the plurality of pixels is controlled so that the plurality of pixels are scanned in the second direction.
  • the synchronization control unit controls the light source control unit and the exposure control unit so that the timing at which the light source unit emits light to a predetermined region and the timing at which the pixel group corresponding to the predetermined region is exposed are synchronized. To be done.
  • a synchronization control device is a synchronization control device that controls synchronization between a distance measuring device and an imaging device, wherein the distance measuring device includes a light source unit that emits light extending in a first direction, and A light source module having a drive unit that drives the light emission direction in a second direction orthogonal to the first direction; a light source control unit that controls the timing at which the light source unit emits the light; and a predetermined light receiving range.
  • a light-receiving unit that receives the light emitted from the light source unit and reflected by an object; and a light-receiving unit that receives the light reflected by the object after the light source unit emits the light And a distance calculation unit that calculates a distance from the light receiving unit or the light source module to the object based on the measured time, and the imaging device is two-dimensional. Pixels arranged in a line And a pixel unit having an imaging range including at least a part of an emission range in which the light source unit emits light, the pixel unit is arranged side by side in the first direction, and is arranged in the pixel unit in the first direction.
  • the light source includes: an AD conversion unit that AD-converts signals output from the pixel group; and an exposure control unit that controls exposure of the plurality of pixels so that the plurality of pixels are scanned in the second direction.
  • Control for controlling the light source control unit and the exposure control unit so that the timing at which a unit emits the light to a predetermined region and the timing at which the pixel group corresponding to the predetermined region is exposed are synchronized. It is a synchronous control device having a unit.
  • the synchronization control method according to one aspect of the present disclosure is a synchronization control method corresponding to the above-described synchronization control device according to one aspect of the present disclosure.
  • the light source is configured so that the timing at which the light source unit emits light to a predetermined region and the timing at which the pixel group corresponding to the predetermined region is exposed are synchronized.
  • the control unit and the exposure control unit are controlled.
  • the distance measuring device, the image pickup device, and the synchronization control device may be independent devices, or may be internal blocks forming one device.
  • 7 is a timing chart showing an example of exposure timing when scanning from the left to the right. 7 is a timing chart showing an example of exposure timing when scanning from right to left. 6 is a timing chart showing a first example of exposure timing switching in the case of using a time-division usage method that makes use of a blanking period. 9 is a timing chart showing a second example of exposure timing switching in the case of using a time-division usage method that makes use of a blanking period. It is a figure which shows the example of the position of the surplus pixel contained in the some pixel arrange
  • 9 is a timing chart showing a first example of exposure timing switching when the space division usage method is used.
  • 9 is a timing chart showing a second example of switching exposure timings when the space division usage method is used. It is a figure which shows the 1st example of use of a surplus pixel. It is a figure which shows the 2nd example of use of a surplus pixel.
  • It is a block diagram showing an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • Embodiment 2 of the present technology Modification 3.
  • FIG. 1 is a diagram illustrating an example of the configuration of a sensor fusion system to which the technology according to the present disclosure is applied.
  • the sensor fusion system 1 performs object recognition in which a distance image (distance information) and a captured image (two-dimensional image, hereinafter referred to as 2D image) are integrated by synchronizing the distance measuring device 10 and the image capturing device 20. It is possible system.
  • the sensor fusion system 1 includes a distance measuring device 10, an image pickup device 20, a synchronization control device 30, and an image fusion device 40. Further, the sensor fusion system 1 is connected to the object recognition device 2 via a predetermined interface.
  • the distance measuring device 10 is a device that irradiates the object 3 with light to measure the distance.
  • the range finder 10 is configured as a lidar (LiDAR: Light Detection and Ranging) or the like.
  • the distance measuring device 10 irradiates the object 3 with the light emitted from the light source unit, receives the reflected light by the light receiving unit, and emits the light according to the synchronization signal and the setting information from the synchronization control device 30. By measuring the time until the reflected light is received, the distance from the light source unit or the light receiving unit to the object 3 is calculated based on the measured time. The distance measuring device 10 outputs the calculated distance information (distance image) data to the image fusion device 40.
  • the imaging device 20 is a device that images the object 3.
  • the imaging device 20 is configured as an imager having an image sensor.
  • the image sensor for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a CCD (Charge Coupled Device) image sensor, or an image sensor using an organic photoelectric conversion film has a two-dimensional pixel including a photoelectric conversion element. It has a pixel section (pixel array section), an AD conversion section, and the like arranged in.
  • the imaging device 20 captures incident light (image light) from the object 3 via the optical lens system according to the synchronization signal and the setting information from the synchronization control device 30, and forms an image on the imaging surface of the image sensor.
  • a 2D image is generated by converting the amount of light into an electric signal on a pixel-by-pixel basis.
  • the imaging device 20 outputs the 2D image data to the image fusion device 40.
  • the synchronization control device 30 is a device that controls the synchronization between the operation of the distance measuring device 10 and the operation of the imaging device 20.
  • the synchronization control device 30 is configured to include a CPU (Central Processing Unit), a microcomputer, an FPGA (Field Programmable Gate Array), and the like.
  • the synchronization control device 30 synchronizes the timing at which the light source of the distance measuring device 10 emits light to a predetermined region of the object 3 with the timing at which the image pickup device 20 exposes a pixel group corresponding to the predetermined region.
  • the synchronization signal and the setting information are generated and output to the distance measuring device 10 and the image pickup device 20, respectively.
  • the image fusion device 40 fuses the distance image output from the distance measuring device 10 and the 2D image output from the imaging device 20, and outputs the fusion information (fusion image) obtained as a result to the object recognition device 2.
  • the image fusion device 40 is configured to include a CPU, a GPU (Graphics Processing Unit), a microcomputer, an FPGA, various memories, and the like.
  • the object recognition device 2 performs the object recognition process based on the fusion information output from (the image fusion device 40 of) the sensor fusion system 1 to recognize the object 3. For example, when the sensor fusion system 1 is mounted on a vehicle, pedestrians, other vehicles, obstacles, etc. are recognized as the objects 3 existing around the vehicle.
  • the distance image obtained by the distance measuring device 10 and the 2D image obtained by the imaging device 20 are fused to perform the object recognition processing.
  • the reason is as follows. For example, the following reasons can be cited.
  • the distance measuring device 10 such as a rider alone can obtain the distance information (distance image) to the object 3, but cannot obtain the information about the shape thereof. Further, the range image obtained by the distance measuring device 10 has a lower resolution than the 2D image obtained by the image pickup device 20, and it cannot be said that the recognition performance by the object recognition process using the range image is sufficient.
  • the 2D image of the object 3 can be obtained by the imaging device 20 such as an imager alone, the shape of the object 3 in the two-dimensional plane can be recognized, but the information regarding the depth cannot be obtained. Therefore, in the object recognition process using the 2D image, for example, a photographic signboard may be erroneously recognized.
  • the distance image obtained by the distance measuring device 10 and the 2D image obtained by the imaging device 20 are fused to perform the three-dimensional object recognition process.
  • the recognition performance (fusion recognition performance) is improved.
  • the three-dimensional recognition performance is improved by synchronizing the distance measuring device 10 and the imaging device 20.
  • a scanning method of the distance measuring apparatus 10 there is a beam scanning method which is a method of scanning the inside of a distance measurement target space using beam-shaped light.
  • This beam scanning method has a two-dimensional scanning method and a one-dimensional scanning method.
  • a laser beam at one point is used for scanning in the two-dimensional direction.
  • a plurality of laser beams are arranged in a straight line (one-dimensional direction), or a laser beam (single light source) at one point is linearly diffused to irradiate one-dimensionally and orthogonally intersect. It is scanned in one dimension.
  • Each scan axis has attributes related to speed and direction.
  • the one-dimensional scan method only the low-speed scan axis exists, and the scan pattern is either one-sided scan or reciprocal scan.
  • the high-speed scan axis is the direction axis that scans the laser beam at a high speed
  • the low-speed scan axis is the direction axis that scans the laser beam at a low speed. Both scan axes may be horizontal or vertical. Exists.
  • Uni-directional scan is a method that scans fixedly in the same direction with respect to the target scan axis.
  • the reciprocating scan is a method of alternately scanning in the reciprocating direction (one direction and the opposite direction) with respect to the target scan axis.
  • the high-speed scan axis in the two-dimensional scanning method is an example of one-sided scanning, and the high-speed scan axis in the vertical direction is fixed from top to bottom.
  • the horizontal low-speed scan axis shows a case where the scan direction is fixed to either the left-to-right direction or the right-to-left direction, and a case where the scan direction is reversed for each frame.
  • the high-speed scan axis in the two-dimensional scanning method is an example of reciprocal scanning, and the high-speed scan axis in the vertical direction is alternately inverted from top to bottom and from bottom to top.
  • the horizontal low-speed scan axis shows a case where the scan direction is fixed to either the left-to-right direction or the right-to-left direction, and a case where the scan direction is reversed for each frame.
  • FIG. 4 shows an example of the one-dimensional scanning method in the beam scanning method.
  • the low-speed scan axis in the one-dimensional scan method is one-sided scan
  • the horizontal low-speed scan axis is fixed to either the left-to-right direction or the right-to-left direction. Shows.
  • FIG. 4 illustrates a case where the low-speed scan axis in the one-dimensional scanning method is an example of reciprocal scanning, and the horizontal low-speed scan axis has the scan direction reversed for each frame.
  • FIG. 5 shows an example of the configuration in the case where the light source irradiation is performed by the reciprocal scan in which the low-speed scan axis is the horizontal direction in the one-dimensional scan method of the beam scan method.
  • the light source module of FIG. 5 includes a light source unit 161, a uniaxial galvanometer mirror 162, and a diffusion lens 163.
  • the laser light emitted from the light source unit 161 is reflected by the uniaxial galvanometer mirror 162 to be scanned in the horizontal direction and is incident on the diffusion lens 163.
  • the laser light scanned in the horizontal direction by the uniaxial galvanometer mirror 162 is diffused in the vertical direction, so that the uniaxial galvanometer mirror 162 makes a reciprocating swing scan.
  • FIG. 6 shows how the moving object (moving object 3) expands and contracts in the range image when the scanning direction is reversed for each frame using the light source module including the uniaxial galvanometer mirror 162 and the like. ing.
  • an object 3 including a square lattice pattern in the drawing moves in the direction of arrow A1. If there is a vertical line in the center of the image, the distance between the vertical line on the left side of the image and the vertical line on the right side of the image is reduced. That is, in this case, it can be said that the object 3 moving in the direction opposite to the scan direction is opposite to the direction of the left-right scan and the direction of the arrow A1.
  • the object 3 including the square lattice pattern in the figure is moving in the direction of arrow A2.
  • the distance between the vertical line on the left side of the image and the vertical line on the right side of the image extends with respect to the vertical line at the center of the image. That is, in this case, it can be said that the right-left scanning direction and the direction of the arrow A2 are the same direction, and the object 3 moving in the same direction as the scanning direction extends.
  • an example of the configuration of the light source module including the uniaxial galvanometer mirror 162 and the like is shown as the configuration for performing light source irradiation by reciprocal scanning.
  • a light source module including a uniaxial polygon mirror can be used.
  • the light source irradiation is performed by the reciprocal direction scanning
  • the light source module including the biaxial galvanometer mirror is used and the light source irradiation is performed by the one-sided scanning
  • a light source module including a biaxial polygon mirror can be used.
  • the distance measuring device 10 adopting this scanning method is also referred to as a horizontal reciprocating scan type distance measuring device 10.
  • the technique according to the present disclosure can be applied not only to the horizontal reciprocating scan type, but also to other light source irradiation type distance measuring devices 10.
  • the “frame” and the “field” are not distinguished from each other and are collectively described as the “frame”.
  • the “field” may be used instead of the “frame”. is there.
  • the “frame” is often referred to as the “field”.
  • FIG. 7 shows an example of the configuration of the image sensor 211 having the ADC unit 222 adopting the column parallel ADC method.
  • the ADC is shared in the row direction of the pixel portion 221 in a time-sharing manner, so the exposure timing can be controlled only for each row. Therefore, in the image pickup apparatus 20, the column parallel ADC method can be adopted in the image sensor 211 because the distance measuring apparatus 10 to be synchronized is the beam scanning method as the light source irradiation method and the slow scan axis is vertical. This is the case when it becomes a direction.
  • FIG. 8 shows an example of the configuration of the image sensor 211 having the ADC unit 222 adopting the row parallel ADC method.
  • the ADC is shared in the column direction of the pixel portion 221 in a time-sharing manner, so the exposure timing can be controlled only for each column. Therefore, in the image pickup apparatus 20, the image sensor 211 can adopt the row parallel ADC method because the distance measuring apparatus 10 to be synchronized is the beam scanning method as the light source irradiation method and the low speed scanning axis is horizontal. This is the case when it becomes a direction.
  • FIG. 9 shows an example of the configuration of an image sensor 211 having an ADC unit 222 that adopts the pixel parallel ADC method.
  • a signal obtained by photoelectric conversion by each pixel 231 is provided by providing a pixel parallel ADC unit 222C in which an ADC unit corresponding to the pixel 231 arranged in the pixel unit 221 is two-dimensionally arranged.
  • the value is input to the ADC section provided for each pixel 231 via the signal line, and the ADC is processed in parallel for each pixel of the pixel section 221.
  • the pixel parallel ADC system when sharing a DAC (Digital to Analog Converter) for the reference voltage during AD conversion, the exposure timing can be controlled only for each frame. Therefore, in the imaging device 20, the pixel parallel ADC system can be adopted in the image sensor 211 when the distance measuring device 10 to be synchronized is the flash system as the light source irradiation system.
  • DAC Digital to Analog Converter
  • the flash method is a method in which the distance measuring device 10 diffuses and irradiates a laser beam over a wide range of the distance measurement target space.
  • the synchronization method that can be supported on the imaging device 20 side differs depending on the laser light source irradiation method on the distance measuring device 10 side, but in the present disclosure, as a scanning method of the distance measuring device 10 to be synchronized.
  • the row parallel ADC method is adopted as the ADC method of the imaging device 20, and the rolling shutter method is adopted.
  • a case where exposure is performed will be described as an example.
  • the image pickup apparatus 20 adopting this method is also referred to as a row-parallel ADC type image pickup apparatus 20 in particular. Note that the technique of the technology according to the present disclosure can be applied not only to the row-parallel ADC system but also to the imaging device 20 of another ADC system.
  • FIG. 10 is a diagram showing an example of a detailed configuration of a sensor fusion system to which the technology according to the present disclosure is applied.
  • the sensor fusion system 1 of FIG. 10 includes a horizontal reciprocating scan type distance measuring device 10, a row-parallel ADC type image pickup device 20, a timing generator 30A and a setting register unit 30B, and an image fusion device 40.
  • the timing generator 30A and the setting register unit 30B are included in the synchronization control device 30 (FIG. 1).
  • the timing generator 30A generates a common clock and a synchronization signal that serve as a timing reference, and supplies them to the distance measuring device 10 and the imaging device 20, respectively.
  • the sync signals include, for example, a frame sync signal (Fsync), a vertical sync signal (Vsync), and a horizontal sync signal (Hsync).
  • the setting register unit 30B holds various setting registers (setting information) and supplies them to the distance measuring device 10 and the imaging device 20, respectively.
  • the setting register includes, for example, parameters related to synchronous timing control (for example, various parameters for laser irradiation control and exposure timing control).
  • the distance measuring device 10 generates (acquires) a distance image whose timing is controlled.
  • the distance measuring device 10 includes a laser light source unit 111, a register 112, a laser driver 113, a laser light receiving unit 114, a signal processing unit 115, and the like.
  • the laser light source unit 111 is configured as a light source module including, for example, the uniaxial galvanometer mirror 162 shown in FIG.
  • the laser light receiving unit 114 includes a SPAD (Single Photon Avalanche Diode) unit 121, a TDC (Time to Digital Converter) unit 122, a frame memory 123, and the like.
  • SPAD Single Photon Avalanche Diode
  • TDC Time to Digital Converter
  • the register 112 holds various parameters such as parameters for laser irradiation control and parameters for signal processing for range images. More specifically, for example, when the ranging device 10 is a lidar (LiDAR), the register 112 has a series of setting register groups (Voffset_lidar, Vsize_lidar, Vstep_lidar, Hoffset_lidar, Hoffset_lidar, The setting registers (setting information) supplied from the setting register unit 30B such as Hsize_lidar and Hstep_lidar) are held.
  • the setting registers (setting information) supplied from the setting register unit 30B such as Hsize_lidar and Hstep_lidar
  • the laser driver 113 controls the irradiation direction and timing of the laser light emitted from the laser light source unit 111, based on the laser irradiation control parameter acquired from the register 112 and the synchronization signal from the timing generator 30A.
  • the laser light source unit 111 emits laser light and irradiates the object 3 through the lens 101 according to the control from the laser driver 113. Then, the laser light emitted from the laser light source unit 111 is reflected by the object 3, and the reflected light is received by the laser light receiving unit 114 via the lens 102.
  • the reflected light from the object 3 is received by the SPAD and converted into an electric pulse, and the signal value thereof is measured by the TDC unit 122.
  • the laser reflected light from a long-distance object is weak, and it is difficult to obtain a stable distance measurement result by one measurement. Therefore, measurement is performed multiple times for each point and the distance measurement result is obtained by signal processing.
  • the measured signal values are supplied to the signal processing unit 115 on a frame-by-frame basis after the frame memory 123 absorbs the measurement data of each point in the point cloud and the timing shift between the points.
  • the signal processing unit 115 performs distance image signal processing on a signal value input from the laser light receiving unit 114 on a frame-by-frame basis based on the signal processing parameter for the distance image acquired from the register 112.
  • this distance image signal processing for example, the distance from the laser light receiving unit 114 or the laser light source unit 111 to the object 3 is calculated based on the signal value (time) measured by the TDC unit 122, and the distance image (distance information) is obtained. Is generated.
  • the signal processing unit 115 outputs the generated distance image to the image fusion device 40.
  • the image pickup device 20 generates (acquires) a timing-controlled 2D image.
  • the imaging device 20 includes an image sensor 211, a register 212, a line driver 213, a signal processing unit 214, and the like. Further, the image sensor 211 includes a pixel unit 221, a row parallel AD conversion unit 222, a frame memory 223, and the like.
  • the register 212 holds various parameters such as exposure timing control parameters and signal processing parameters for 2D images. More specifically, for example, when the imaging device 20 is an imager, the register 212 includes a series of setting register groups (Voffset_imager, Vsize_imager, Vstep_imager, Hoffset_imager, Hsize_imager) indicating the effective area of the imager with respect to the entire virtual area. , Hstep_imager) and the setting register (setting information) supplied from the setting register unit 30B such as the number of exposure lines.
  • the line driver 213 generates an exposure timing control signal for each line of the pixel unit 221 of the image sensor 211 based on the exposure timing control parameter acquired from the register 212 and the synchronization signal from the timing generator 30A, and the pixel unit 221 (each pixel 231 arranged in 221).
  • the image sensor 211 includes the row-parallel AD converter 222. Therefore, the line driver 213 controls the exposure timing of the plurality of pixels 231 arranged in the pixel portion 221 to a line. The exposure is performed by the rolling shutter method by controlling each time. Therefore, the control line from the line driver 213 to the pixel portion 221 is arranged in the vertical direction (column direction in the pixel portion 221).
  • each pixel 231 arranged two-dimensionally is exposed and photoelectrically converted by the photoelectric conversion element according to the exposure timing control signal from the line driver 213, and by the row parallel AD conversion unit 222.
  • the ADCs are processed in parallel in the row direction to obtain the signal value of the digital signal.
  • This signal value is supplied to the signal processing unit 214 on a frame-by-frame basis after the frame memory 223 absorbs the shift in the read timing between pixels.
  • the signal processing unit 214 performs 2D image signal processing on the signal value input from the image sensor 211 in frame units based on the processing parameters for the 2D image signal acquired from the register 212.
  • the 2D image obtained by this 2D image signal processing is output to the image fusion device 40.
  • a distance image from the distance measuring device 10 and a 2D image from the imaging device 20 are input to the image fusion device 40 in synchronization.
  • the image fusion device 40 fuses the distance image and the 2D image, and outputs the resulting fusion image to the object recognition device 2 (FIG. 1).
  • FIG. 11 shows an example of parameters related to the synchronization timing control set in the register 112 of the distance measuring device 10 and the register 212 of the imaging device 20 by the setting register unit 30B.
  • ⁇ Set the imager effective area and the virtual area containing the LiDAR effective area in the entire virtual area.
  • the size of the entire virtual region in the vertical and horizontal directions is set by, for example, Vsize_whole, Hsize_whole.
  • the LiDAR effective area represents an effective area when the range finder 10 is a lidar (LiDAR).
  • the LiDAR effective area sets the position and size of the LiDAR effective area in the entire virtual area.
  • the LiDAR effective area is set by vertical and horizontal positions and sizes by, for example, Voffset_lidar, Hoffset_lidar, Vsize_lidar, and Hsize_lidar.
  • the LiDAR point cloud interval sets the interval between each point in the LiDAR point cloud based on the coordinate system of the entire virtual area.
  • This LiDAR point cloud interval is set as an interval in the vertical direction and the horizontal direction, for example, by Vstep_lidar, Hstep_lidar.
  • the LiDAR point group is a point group in which the laser light receiving unit 114 (the SPAD unit 121 thereof) receives the reflected light from the object 3.
  • the Imager effective area represents an effective area when the imaging device 20 is an imager.
  • the imager effective area sets the position and size of the imager effective area in the entire virtual area.
  • the imager effective area is set as the position and size in the horizontal and vertical directions by, for example, Voffset_imager, Hoffset_imager, Vsize_imager, and Hsize_imager.
  • Imager pixel spacing sets the spacing between pixels 231 based on the coordinate system of the entire virtual area. This Imager pixel interval is set as an interval in the vertical direction and the horizontal direction by, for example, Vstep_imager and Hstep_imager.
  • FIG. 12 shows an example of setting values of the setting register of the synchronous timing control system when the distance measuring device 10 and the imaging device 20 have different effective areas.
  • the exposure period T2 by the imaging device 20 is shorter than the laser light emission period T1 of (the laser light source unit 111 of) the distance measuring device 10 by It is usually longer.
  • the center C of the exposure period T2 can be set to be within the light emission period T1.
  • the exposure period of the image pickup device 20 can be set by, for example, a parameter of the number of exposure lines.
  • the predetermined row is a row corresponding to the laser light emitted from the laser light source unit 111 of the distance measuring apparatus 10 in the area (for example, the area A) where the LiDAR effective area and the Imager effective area overlap each other, and It is included in a region corresponding to the exposed pixel group in the plurality of pixels 231 arranged in the pixel portion 221 in the twenty image sensors 211.
  • the image pickup device 20 in the image sensor 211, a plurality of pixels 231 arranged two-dimensionally in the pixel portion 221 are exposed for each column by the rolling shutter method, and a signal value photoelectrically converted by the photoelectric conversion element of each pixel 231.
  • the row parallel AD conversion unit 222 performs parallel processing of ADCs in the row direction, thereby converting an analog signal into a digital signal.
  • a one-side ADC configuration in which the row-parallel AD conversion unit 222 is provided on one side of the pixel unit 221 (FIG. 15) or the row-parallel AD conversion units 222-1 and 222-
  • a double-sided ADC configuration Fig. 16
  • throughput decreases if the number of ADCs is small.However, for example, use a double-sided ADC configuration to increase the parallelism of ADCs. Thus, it is possible to suppress the decrease in throughput.
  • ADCs are processed in parallel in the row direction by the one-sided row parallel AD conversion unit 222 for the pixels 231 in all columns arranged in the pixel unit 221.
  • the pixels 231 in the first column for example, even columns
  • the ADCs are processed in parallel in the row direction by the AD conversion unit 222-1, and the pixels 231 in the second column (for example, an odd number column) excluding the first column are ADCs in the row direction by the other AD conversion unit 222-2.
  • the plurality of pixels 231 arranged in the pixel unit 221 share the ADC in the column direction, and therefore the ADC cannot be used simultaneously between different columns. That is, as shown in the timing chart of FIG. 17, in the row parallel ADC method, when performing AD conversion of each pixel 231 in each column of the pixel portion 221, time-division exclusive control is required for each column.
  • the row-parallel AD conversion unit 222 sequentially reads out the reset component and the signal component of each pixel 231, performs AD conversion on each of them, and subtracts the reset component from the signal component, thereby performing the correlated double conversion.
  • Sampling (CDS: Correlated Double Sample) is performed and kTC noise is canceled.
  • the row-parallel ADC type image pickup device 20 is synchronized with the horizontal reciprocating scan type distance measuring device 10, when the blanking period between frames is shorter than the accumulation time, and when left-right scan Since the exposure timings of the pixels 231 partially overlap each other in the right-left scan, the same pixel 231 cannot be used continuously in the reciprocating scan.
  • FIG. 18 shows a timing chart of the exposure timing in the row-parallel ADC type image pickup device 20 synchronized with the distance measuring device 10 in which the scan direction is fixed to the left-right scan.
  • FIG. 19 is a timing chart of the exposure timing in the row-parallel ADC type image pickup device 20 synchronized with the distance measuring device 10 in which the scan direction is fixed to the right-left scan.
  • the timing charts of FIGS. 18 and 19 both show the case where there is no blanking period between frames.
  • Hoffset_L_imager left-side blanking period
  • Hoffset_R_imager right-side blanking period
  • Hoffset_L_imager Hoffset_imager
  • Hoffset_R_imager Hsize_whole-(Hoffset_imager + Hsize_imager)
  • FIG. 18 and FIG. 19 show each column Column [0] to [[] in an arbitrary row of the pixel unit 221 at the time of capturing (generating) a temporally continuous 1st frame and 2nd frame as an image frame of a 2D image.
  • m] (FIG. 15 or FIG. 16) shows the timing of discharging the electric charge during the shutter operation of the pixel 231 and the timing of reading the signal during the read operation.
  • the time from the shutter operation to the read operation is the charge accumulation time (the arrow pointing to the right in the figure).
  • the time division usage method is a method of switching the exposure timing between left-right scanning and right-left scanning.
  • the timing chart of FIG. 20 shows, as an image frame of a 2D image, an arbitrary row (each column Column [0] of the pixel section 221 at the time of imaging (generation) of 1st frame, 2nd frame, and 3rd frame that are temporally continuous. The timings of discharge of electric charges at the time of shutter operation and reading of signals at the time of read operation in the pixel 231 of [m]) are shown.
  • Hoffset_imager Hoffset_R_imager: right blanking period
  • Hoffset_L_imager left blanking period
  • the accumulation times in the 1st frame and the 2nd frame do not overlap at the time of returning in the scanning direction.
  • the left end column Column [0] which is the last column of the right-left scan in the 2nd frame.
  • the left end column Column [0] which is the last column of the right-left scan in the 2nd frame.
  • the accumulation time in the 2nd frame and the accumulation time in the 3rd frame do not overlap at the time of folding in the scanning direction.
  • FIG. 20 shows an example in which the time phase is adjusted.
  • the distance measurement timing corresponding to the distance measuring device 10 is represented by a dotted square. Then, in the example of FIG. 21, the timing of discharging the electric charge during the shutter operation and the timing of reading out the signal during the read operation are adjusted so that the time phase of the imaging device 20 matches the distance measurement timing.
  • the distance measurement timing of the distance measuring device 10 is set. The time phase can be adjusted so that the centers of the accumulation times of the imaging device 20 are aligned. By this adjustment, the accuracy of synchronization between the distance measuring device 10 and the imaging device 20 can be further improved.
  • the rightmost column Column [m] which is the last column of the left-right scan in the 1st frame.
  • the pixel 231 of the rightmost column Column [m] is reciprocally scanned. It can be used continuously.
  • the time corresponding to the right-side blanking period of the 1st frame and the right-side blanking period of the 2nd frame is sufficiently long (more than a predetermined period) with respect to the accumulation time, and further, the charge discharge and signal The timing of reading is delayed by a time corresponding to approximately half the accumulation time. As a result, the time phase is adjusted so that the center of the accumulation time of the imaging device 20 matches the distance measurement timing of the distance measurement device 10.
  • the leftmost column Column [0] which is the last column of the right-left scan in the 2nd frame.
  • the leftmost column Column [0] which is the last column of the right-left scan in the 2nd frame.
  • the pixel 231 of the leftmost column Column [0] is reciprocally scanned. It can be used continuously.
  • the time corresponding to the left-side blanking period of the 2nd frame and the left-side blanking period of the 3rd frame is sufficiently long (more than a predetermined period) with respect to the accumulation time, and further, the charge discharge and signal Since the timing of reading is delayed by a time corresponding to approximately half of the accumulation time, the center of the accumulation time of the imaging device 20 is aligned with the distance measurement timing of the distance measurement device 10.
  • the horizontal reciprocating scan type distance measuring device 10 and the row-parallel ADC type image pickup device 20 are synchronized by using the time division use method, when the distance measuring device 10 makes a reciprocating scan.
  • the arbitrary pixels 231 arranged in the pixel portion 221 of the image sensor 211 in the imaging device 20 (for example, the pixels 231 in the leftmost column Column [0] or the rightmost column Column [m] of any row) are continuously used. be able to.
  • the time phase is adjusted so that the center of the accumulation time of the image pickup device 20 matches the distance measurement timing of the distance measurement device 10.
  • a plurality of pixels 231 arranged in the pixel portion 221 are space-divided into left-right scan pixels and right-left scan pixels, and read pixels and exposure are performed according to the scan direction. This is a method of switching the timing.
  • the number of pixels that can be acquired by the imaging device 20 is larger than the number of point groups acquired by the distance measuring device 10 in the target area of the object 3.
  • the plurality of pixels 231 arranged two-dimensionally in the pixel portion 221 of the image sensor 211 have a correspondence relationship as shown in FIG. 22, for example. That is, in FIG. 22, among the plurality of pixels 231 arranged in the pixel portion 221, the pixel 231 corresponding to the point group position acquired by the distance measuring device 10 is referred to as “LiDAR-compatible pixel”, and the distance measurement is performed. Pixels 231 that do not correspond to the point cloud positions acquired by the device 10 are described as “LiDAR non-compatible pixels”.
  • the pixel unit 221 has redundant pixels in the vertical direction ( "LiDAR non-compatible pixels") are occurring more frequently. Then, among the plurality of pixels 231 arranged in the pixel portion 221, the exposure timing of the pixel 231 (“LiDAR corresponding pixel”) corresponding to the point group position acquired by the distance measuring device 10 is ( There are various cases in which the surplus pixel (“LiDAR non-corresponding pixel”) that is synchronized with the distance measurement timing) but does not correspond to the point group position acquired by the distance measuring device 10 is used. Normally, since the recognition performance is not sufficient only with the number of point groups acquired by the distance measuring device 10, some or all of the surplus pixels of the imaging device 20 are synchronized with the distance measuring device 10 to improve the fusion recognition rate. It is possible to
  • the horizontal reciprocating scan type distance measuring apparatus 10 and the row-parallel ADC type image pickup apparatus 20 are synchronized, the excess pixels of the image pickup apparatus 20 are scanned for left-right scanning.
  • an image synchronized with left-right scan (left-right scan synchronized image) and an image synchronized with right-left scan (right-left scan synchronized image) Images should be taken simultaneously and in parallel.
  • the hardware circuit is designed in advance so that the exposure time and the read timing can be controlled separately for the left-right scan synchronized image and the right-left scan synchronized image. Need to be kept.
  • FIG. 23 shows an example of simultaneous parallel imaging of images corresponding to different scan directions using the space division usage method.
  • the surplus pixels that are frequently generated in the vertical direction are utilized to perform space division in the vertical direction into pixels for left-right scanning and pixels for right-left scanning.
  • “Pixel_LiDAR_LR (m, n)” indicated by a square corresponding to the plurality of pixels 231 arranged two-dimensionally in the pixel unit 221 of the image sensor 211 in the imaging device 20 is the left-right scan synchronization.
  • the pixel 231 used for the image is represented, and “Pixel_LiDAR_RL (m, n)” represents the pixel 231 used for the right-left scan synchronization image.
  • a region for the left-right scan synchronized image and a region for the right-left scan synchronized image are repeated every two lines in the horizontal direction.
  • the area for the left-right scan synchronized image includes the pixels 231 for the left-right scan synchronized image (pixels corresponding to surplus pixels and pixels corresponding to “LiDAR compatible pixels” indicated by the thick frame in the figure). Be done.
  • the area for the right-left scan sync image includes pixels 231 for the right-left scan sync image (pixels corresponding to surplus pixels).
  • the timing chart of FIG. 24 shows a region of the pixel unit 221 for the left-right scan synchronization image at the time of capturing (generating) a temporally continuous 1st frame and 2nd frame as image frames of a 2D image by the imaging device 20.
  • the exposure timing of the pixel 231 (Pixel_LiDAR_LR (m, n)) is shown.
  • the read signal value is AD-converted by the row-parallel AD conversion unit 222, and the 1st frame (the signal value thereof) is stored in the frame memory 223. Is stored.
  • the row parallel ADC type image pickup device 20 is synchronized with the left-right scan at the time of image pickup of the 1st frame. After the operation is performed, when the 2nd frame is imaged, the operation synchronized with the right-left scan is performed.
  • the 1st frame (the signal value thereof) stored in the frame memory 223 at the time of capturing the 1st frame is read out to the external signal processing unit 214 at the timing of capturing the 2nd frame. Then, the signal processing unit 214 performs 2D image signal processing to generate an image frame of 1st frame, and this image frame (2D image) is a left-right scan synchronization image.
  • the timing chart of FIG. 25 shows a region of the pixel unit 221 for the right-to-left scan synchronization image at the time of capturing (generating) a temporally continuous 1st frame and 2nd frame as image frames of a 2D image by the imaging device 20.
  • the exposure timing of the pixel 231 (Pixel_LiDAR_RL (m, n)) is shown.
  • the read signal value is AD-converted by the row-parallel AD conversion unit 222, and the 2nd frame (the signal value thereof) is stored in the frame memory 223. Is stored. Then, the 2nd frame (the signal value thereof) is read from the frame memory 223 at the timing of capturing the 3rd frame. Then, the signal processing unit 214 performs 2D image signal processing to generate an image frame of 2nd frame, and this image frame (2D image) is a right-left scan synchronization image.
  • the description is omitted for the third and subsequent frames, the description thereof will be omitted.
  • the imaging device 20 when imaging an odd frame such as the third frame, as illustrated in the timing chart of FIG. -Using the pixels 231 (Pixel_LiDAR_LR (m, n)) in the area for the right-scan synchronized image, imaging is performed in synchronization with the left-right scan by the distance measuring device 10, and the signal value of the left-right scan synchronized image Is obtained.
  • the imaging device 20 when an even frame such as a 4th frame is imaged, as illustrated in the timing chart of FIG. 25, the pixel 231 (Pixel_LiDAR_RL (m, n )) Is used, imaging is performed in synchronization with the right-left scan by the distance measuring device 10, and the signal value of the right-left scan synchronized image is obtained.
  • the horizontal reciprocating scan type distance measuring device 10 and the row-parallel ADC type image pickup device 20 are synchronized, during the reciprocating scanning by the distance measuring device 10.
  • the imaging device 20 depending on the scanning direction, a pixel group in the area for the left-right scan synchronized image in the pixel portion 221 (a group of pixels including surplus pixels) and a pixel group in the area for the right-left scan synchronized image
  • the read pixel and the exposure timing can be switched with the pixel group (pixel group including surplus pixels).
  • the sensor fusion system of the present disclosure has been described. According to the present disclosure, the sensor fusion system has the following configuration.
  • the sensor fusion system (sensor fusion system 1 of FIG. 10) of the present disclosure includes a distance measuring device (distance measuring device 10 of FIG. 10), an imaging device (imaging device 20 of FIG. 10), a distance measuring device and imaging.
  • a synchronization control unit (timing generator 30A in FIG. 10) that controls synchronization with the device is included.
  • This distance measuring device includes a light source unit (light source unit 161 and diffusion lens 163 in FIG. 5) that emits light (laser light) extending in a first direction (vertical direction), and A light source module (laser light source unit 111 in FIG. 10) having a drive unit (uniaxial galvanometer mirror 162 in FIG. 5) that drives the light emission direction in a second direction (horizontal direction) orthogonal to the direction 1; A light source control unit (laser driver 113 in FIG. 10) that controls the timing at which the light source unit emits light, and a predetermined light receiving range, is emitted from the light source unit and reflected by an object (object 3 in FIG. 10).
  • a light source unit light source unit 161 and diffusion lens 163 in FIG. 5
  • a light source module laser light source unit 111 in FIG. 10) having a drive unit (uniaxial galvanometer mirror 162 in FIG. 5) that drives the light emission direction in a second direction (horizontal direction) orthogonal to
  • a light receiving unit (a laser light receiving unit 114 in FIG. 10) that receives light and a time measuring unit (FIG. 10) that measures the time from when the light source unit emits light to when the light receiving unit receives the light reflected by the object.
  • TDC unit 122 The distance calculation unit that calculates a distance to the object from the parts or the light source module and a (signal processing unit 115 in FIG. 10).
  • the imaging device (imaging device 20 in FIG. 10) has a plurality of pixels (pixels 231 in FIG. 8) arranged two-dimensionally, and the light source section emits light (the LiDAR in FIG. 11).
  • Pixel unit pixel unit 221 in FIG. 8, FIG. 10, etc.
  • An AD conversion unit (row parallel ADC unit 222 in FIGS. 8 and 10) that AD-converts signals output from the pixel group arranged in the first direction in the pixel unit, and a plurality of pixels in the second direction
  • An exposure control unit (line driver 213 in FIG. 10) that controls the exposure of a plurality of pixels so as to be scanned in the horizontal direction.
  • the synchronization control unit includes a timing at which the light source unit (light source unit 161 in FIG. 5) emits light to a predetermined region (a region in a region A in FIG. 14) and a predetermined region.
  • the light source control unit (the laser driver in FIG. 10) is synchronized with the exposure timing of the pixel group (pixels 231 arranged in the pixel unit 221 in FIG. 10 and the like) corresponding to (the region in the region A in FIG. 14). 113) and the exposure controller (line driver 213 in FIG. 10).
  • the sensor fusion system (sensor fusion system 1 in FIG. 10) of the present disclosure has the above-described configuration, so that the distance measurement device (distance measurement device 10 in FIG. 10) and the imaging device (imaging device 20 in FIG. 10) are combined.
  • the fusion recognition performance can be improved by synchronizing them.
  • the horizontal reciprocating scan of the one-dimensional scanning method in the beam scanning method is adopted as the scanning method of the distance measuring device 10.
  • the row-parallel ADC method is adopted as the ADC method in (1) to perform the exposure by the rolling shutter method, but the combination of these methods is an example. That is, since there are many combinations of the scan method and the ADC method, a method other than the above-mentioned combination may be adopted.
  • the range finder 10 is described as a TOF (Time Of Flight) system lidar (LiDAR), but a range image sensor adopting another system may be used.
  • case A when the depth resolution (depth information) required for the object recognition processing is not sufficient with the number of point clouds acquired by the distance measuring device 10, all the two-dimensional resolution (2D resolution) of the image capturing device 20 is measured.
  • 2D resolution two-dimensional resolution
  • the point group position acquired by the distance measuring device 10 does not correspond.
  • the exposure timing of the surplus pixel (“LiDAR semi-corresponding pixel”) is spatially interpolated from the exposure timing of the pixel 231 (“LiDAR corresponding pixel”) corresponding to the point group position that is close (obtained by the distance measuring device 10).
  • the exposure timings of the hatched surplus pixels (“LiDAR quasi-corresponding pixels”) are four at the upper left, upper right, lower left, and lower right indicated by the arrows in the figure. It is spatially interpolated from the exposure timing of the pixel 231 (“LiDAR compatible pixel”).
  • the exposure timing of the pixels 231 arranged in the pixel unit 221 in the imaging device 20 can be made coarser than that in the distance measuring device 10, a signal line for timing control is provided for each pixel region having the same timing. Can be shared.
  • the depth resolution required for the object recognition processing is sufficient to some extent by the number of point groups acquired by the distance measuring device 10, and a part of the 2D resolution of the imaging device 20 is synchronized with the distance measuring device 10.
  • a case (hereinafter, referred to as case B) that is not used for some time is assumed.
  • the exposure timings of some of the surplus pixels correspond to the neighboring point group positions.
  • Pixels 231 (“LiDAR compatible pixels”) are spatially interpolated at the exposure timing, and the remaining surplus pixels (“pixels for still images”) are separately captured by, for example, the global shutter method, and still images without focal plane distortion.
  • the surplus pixels on the first, second, fifth, and sixth rows are used as the former “LiDAR semi-corresponding pixels”, while on the third, fourth, seventh, and eighth rows.
  • the surplus pixel of is used as the latter "pixel for still image”.
  • a hardware circuit must be installed in advance so that the exposure time and readout timing can be controlled separately for the former "LiDAR semi-corresponding pixel” and the latter "still image pixel”. It needs to be designed.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 28 is a block diagram showing a schematic configuration example of a vehicle control system that is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, a voice image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generating device for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting driving force to wheels, and a steering angle of the vehicle. It functions as a control mechanism such as a steering mechanism for adjusting and a braking device for generating a braking force of the vehicle.
  • the body control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a blinker, and a fog lamp.
  • a radio wave or various switch signals transmitted from a portable device replacing the key may be input to the body control unit 12020.
  • the body control unit 12020 receives the input of these radio waves or signals and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • Out-of-vehicle information detection unit 12030 detects information external to the vehicle on which vehicle control system 12000 is mounted.
  • an imaging unit 12031 is connected to the outside-of-vehicle information detection unit 12030.
  • the out-of-vehicle information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle, and receives the captured image.
  • the out-of-vehicle information detection unit 12030 may perform an object detection process or a distance detection process of a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output an electric signal as an image or can output the information as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects information in the vehicle.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver status detection unit 12041 that detects the status of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 determines the degree of driver fatigue or concentration based on the detection information input from the driver state detection unit 12041. The calculation may be performed, or it may be determined whether the driver has fallen asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 implements an ADAS (Advanced Driver Assistance System) function including a vehicle collision avoidance or impact mitigation, a following operation based on an inter-vehicle distance, a vehicle speed maintaining operation, a vehicle collision warning, or a vehicle lane departure warning. Cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, and the like based on the information about the surroundings of the vehicle obtained by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver 120 It is possible to perform cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information on the outside of the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of preventing glare such as switching a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits at least one of a sound signal and an image signal to an output device capable of visually or audibly notifying a passenger of the vehicle or the outside of the vehicle of information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 29 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the image capturing unit 12031 includes image capturing units 12101, 12102, 12103, 12104, and 12105.
  • the image capturing units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield inside the vehicle.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided above the windshield in the passenger compartment mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, and the like.
  • FIG. 29 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates 13 shows an imaging range of an imaging unit 12104 provided in a rear bumper or a back door.
  • a bird's-eye view image of the vehicle 12100 viewed from above is obtained by superimposing image data captured by the imaging units 12101 to 12104.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements or an imaging element having pixels for detecting a phase difference.
  • the microcomputer 12051 calculates a distance to each three-dimensional object in the imaging ranges 12111 to 12114 and a temporal change of the distance (relative speed with respect to the vehicle 12100).
  • a distance to each three-dimensional object in the imaging ranges 12111 to 12114 and a temporal change of the distance (relative speed with respect to the vehicle 12100).
  • microcomputer 12051 can set an inter-vehicle distance to be secured before the preceding vehicle and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts the three-dimensional object data relating to the three-dimensional object into other three-dimensional objects such as a motorcycle, a normal vehicle, a large vehicle, a pedestrian, a telephone pole, and the like based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating a risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver through forced driving and avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian exists in the captured images of the imaging units 12101 to 12104. The recognition of such a pedestrian is performed by, for example, extracting a feature point in an image captured by the imaging units 12101 to 12104 as an infrared camera, and performing a pattern matching process on a series of feature points indicating the outline of the object to determine whether the object is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so that is superimposed. Further, the sound image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12101 among the configurations described above.
  • the sensor fusion system 1 of FIG. 10 can be applied to the imaging unit 12031.
  • the distance measuring device 10 and the image capturing device 20 can be synchronized in the sensor fusion system 1. Therefore, for example, a distance image and a 2D image are fused to form a three-dimensional image. It is possible to improve the object recognition performance (fusion recognition performance) by performing object recognition in. As a result, for example, it becomes possible to more accurately recognize an object such as a vehicle, a pedestrian, an obstacle, a traffic signal, a traffic sign, or a lane.
  • the distance measuring device 10 such as a lidar (LiDAR)
  • LiDAR lidar
  • the imaging device 20 including an image sensor since it mainly captures visible light, it tends to be inferior in robustness to the distance measuring device 10, but the resolution of a 2D image is higher than other images. Become.
  • the reliability and effectiveness of the distance measuring device 10 and the imaging device 20 dynamically change, it is necessary to optimally control the fusion method and proportion in accordance with the road environment.
  • the fusion control may be significantly difficult.
  • the sensor fusion system 1 of FIG. 10 it is possible to facilitate the control of the fusion and improve the robustness as a whole through the synchronization of the distance measuring device 10 and the imaging device 20.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the technology according to the present disclosure can have the following configurations.
  • a light source module having a light source section that emits light that extends in a first direction, and a drive section that drives the light emission direction in a second direction orthogonal to the first direction;
  • a light source control unit that controls the timing at which the light source unit emits the light;
  • a light receiving unit having a predetermined light receiving range, which receives the light emitted from the light source unit and reflected by an object,
  • a time measuring unit that measures the time from the light source unit emitting the light to the light receiving unit receiving the light reflected by the object,
  • a distance measuring device including a distance calculating unit that calculates a distance from the light receiving unit or the light source module to the object based on the measured time,
  • a pixel section having a plurality of pixels arranged two-dimensionally and having an imaging range including at least a part of an emission range from which the light source section emits light;
  • An AD conversion unit that is arranged side by side in the first direction and AD converts signals output from the pixel group arranged in the first direction
  • a sensor fusion system including a synchronization control unit.
  • the first direction is a vertical direction
  • the setting unit Setting a virtual area including the first effective area and the second effective area, Setting the position and size of the first effective area in the virtual area, The sensor fusion system according to (3), wherein the position and size of the second effective area in the virtual area are set.
  • the setting unit With reference to the coordinate system of the virtual region, set the interval of the point group that receives the light in the light receiving unit,
  • the sensor fusion system according to (4) wherein the interval between the plurality of pixels arranged in the pixel unit is set with reference to the coordinate system of the virtual region.
  • the sensor fusion system according to (5) wherein the interval between the point groups is wider than the interval between the plurality of pixels.
  • the driving unit drives the light so that the light emitting directions are fixed in the same direction or drives the light emitting directions so as to alternate in the reciprocating direction.
  • the exposure control unit controls the exposure timing when driven in one direction and the exposure timing when driven in the opposite direction.
  • the sensor fusion system according to (7) above. Since the emission range and the imaging range are different, the blanking period is longer than or equal to a predetermined period with respect to the imaging range, and at the time of turning back from the one direction to the opposite direction, the same in the pixel unit.
  • the exposure control unit supports the exposure timing of the first region corresponding to the driving in one direction and the driving in the opposite direction.
  • the first region includes a surplus pixel that becomes a surplus because the number of the plurality of pixels arranged in the pixel unit is larger than the number of point groups that receive the light in the light receiving unit,
  • the sensor fusion system according to any one of (1) to (14), wherein a control line from the exposure control unit to the pixel unit is wired in the first direction.
  • the scanning method of the range finder is a horizontal reciprocating scan, The sensor fusion system according to any one of (1) to (15), wherein the ADC system of the imaging device is a row parallel ADC system.
  • the said exposure control part is a sensor fusion system in any one of said (1) thru
  • the distance measuring device is a rider,
  • the said image pick-up device is a sensor fusion system in any one of said (1) thru
  • the distance measuring device A light source module having a light source section that emits light that extends in a first direction, and a drive section that drives the light emission direction in a second direction orthogonal to the first direction; A light source control unit that controls the timing at which the light source unit emits the light; A light receiving unit having a predetermined light receiving range, which receives the light emitted from the light source unit and reflected by an object, A time measuring unit that measures the time from the light source unit emitting the light to the light receiving unit receiving the light reflected by the object, A distance calculation unit that calculates a distance from the light receiving unit or the light source module to the object based on the measured time, The imaging device, A pixel section having a plurality of pixels arranged two-dimensionally and having an imaging range including at least a part of an emission range from which the light source section emits light; An AD conversion unit that is arranged side by side in the first direction and AD convert
  • a synchronization control device including a synchronization control unit.
  • a light source module having a light source section that emits light that extends in a first direction, and a drive section that drives the light emission direction in a second direction orthogonal to the first direction;
  • a light source control unit that controls the timing at which the light source unit emits the light;
  • a light receiving unit having a predetermined light receiving range, which receives the light emitted from the light source unit and reflected by an object,
  • a time measuring unit that measures the time from the light source unit emitting the light to the light receiving unit receiving the light reflected by the object,
  • a distance measuring device including a distance calculating unit that calculates a distance from the light receiving unit or the light source module to the object based on the measured time,
  • a pixel section having a plurality of pixels arranged two-dimensionally and having an imaging range including at least a part of an emission range from which the light source section emits light;
  • An AD conversion unit that is arranged side by side in the first direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示は、測距装置と撮像装置とを同期させてフュージョン認識性能を向上させることができるようにするセンサフュージョンシステム、同期制御装置、及び同期制御方法に関する。 光源部を含む光源モジュールと光源制御部と受光部とを備える測距装置と、画素部とAD変換部と露光制御部とを備える撮像装置と、光源部が所定の領域へ光を出射するタイミングと、所定の領域に対応する画素群が露光するタイミングとが同期するように、光源制御部と露光制御部とを制御する同期制御部とを具備するセンサフュージョンシステムが提供される。本開示は、例えば、ライダとイメージャとを同期させて使用するセンサフュージョンシステムに適用することができる。

Description

センサフュージョンシステム、同期制御装置、及び同期制御方法
　本開示は、センサフュージョンシステム、同期制御装置、及び同期制御方法に関し、特に、測距装置と撮像装置とを同期させてフュージョン認識性能を向上させたセンサフュージョンシステム、同期制御装置、及び同期制御方法に関する。
　近年、様々な種類のセンサが普及しており、複数の種類のセンサを組み合わせた技術の開発も行われている（例えば、特許文献１参照）。
特開2015-212941号公報
　ところで、複数の種類のセンサの組み合わせとして、測距装置と撮像装置との組み合わせがある。しかしながら、測距装置と撮像装置とを同期させてフュージョン認識性能を向上させるための技術の方式は確立されておらず、測距装置と撮像装置とを同期させるための技術が求められていた。
　本開示はこのような状況に鑑みてなされたものであり、測距装置と撮像装置とを同期させてフュージョン認識性能を向上させることができるようにするものである。
　本開示の一側面のセンサフュージョンシステムは、第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、前記光源部が前記光を出射するタイミングを制御する光源制御部と、所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部とを備える測距装置と、２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部とを備える撮像装置と、前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部とを具備するセンサフュージョンシステムである。
　本開示の一側面のセンサフュージョンシステムにおいては、測距装置によって、第１の方向に延びる光を出射する光源部と第１の方向と直交する第２の方向へ光の出射方向を駆動する駆動部とを有する光源モジュールにおける光源部が光を出射するタイミングが制御され、所定の受光範囲を有して光源部から出射されて物体で反射された光が受光され、光源部が光を出射してから受光部が物体で反射された光を受光するまでの時間が計測され、計測された時間に基づいて、受光部又は光源モジュールから物体までの距離が算出される。また、撮像装置によって、第１の方向に並べて配置され、２次元状に配置される複数の画素を有し、光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部にて第１の方向に並んだ画素群から出力された信号がAD変換され、複数の画素が第２の方向へ走査されるように複数の画素の露光が制御される。そして、同期制御部によって、光源部が所定の領域へ光を出射するタイミングと、所定の領域に対応する画素群が露光するタイミングとが同期するように、光源制御部と露光制御部とが制御される。
　本開示の一側面の同期制御装置は、測距装置と撮像装置との同期を制御する同期制御装置において、前記測距装置は、第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、前記光源部が前記光を出射するタイミングを制御する光源制御部と、所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部とを備え、前記撮像装置は、２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部とを備え、前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部を具備する同期制御装置である。
　本開示の一側面の同期制御方法は、上述した本開示の一側面の同期制御装置に対応する同期制御方法である。
　本開示の一側面の同期制御装置及び同期制御方法においては、光源部が所定の領域へ光を出射するタイミングと、所定の領域に対応する画素群が露光するタイミングとが同期するように、光源制御部と露光制御部とが制御される。
　なお、測距装置、撮像装置、及び同期制御装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本開示に係る技術を適用したセンサフュージョンシステムの構成の例を示す図である。 測距装置による２次元スキャン方式の光源制御の第１の例を示す図である。 測距装置による２次元スキャン方式の光源制御の第２の例を示す図である。 測距装置による１次元スキャン方式の光源制御の例を示す図である。 １次元スキャン方式として往復方向スキャンで光源照射を行う場合の機構の例を示す図である。 １次元スキャン方式として往復方向スキャンで光源照射を行う場合の移動物体の伸縮の例を示す図である。 撮像装置におけるイメージセンサの構成の第１の例を示す図である。 撮像装置におけるイメージセンサの構成の第２の例を示す図である。 撮像装置におけるイメージセンサの構成の第３の例を示す図である。 本開示に係る技術を適用したセンサフュージョンシステムの詳細な構成の例を示す図である。 同期制御装置における設定レジスタ部による設定レジスタの例を示す図である。 設定レジスタの具体的な例を示す図である。 イメージセンサの画素部に配置された複数の画素における、レーザ受光部の受光面におけるレーザ光を受光する点群との関係の例を示す図である。 露光ライン数の設定の例を示す図である。 行並列ADC方式を用いたイメージセンサの構成の第１の例を示す図である。 行並列ADC方式を用いたイメージセンサの構成の第２の例を示す図である。 行並列ADC方式を用いたイメージセンサにおけるリセット成分と信号成分の読み出しの例を示すタイミングチャートである。 左から右方向へのスキャン時の露光タイミングの例を示すタイミングチャートである。 右から左方向へのスキャン時の露光タイミングの例を示すタイミングチャートである。 ブランキング期間を活かした時分割使用方式を用いた場合における露光タイミングの切り替えの第１の例を示すタイミングチャートである。 ブランキング期間を活かした時分割使用方式を用いた場合における露光タイミングの切り替えの第２の例を示すタイミングチャートである。 イメージセンサの画素部に配置された複数の画素に含まれる余剰画素の位置の例を示す図である。 空間分割使用方式を用いた異なるスキャン方向に対応した画像の同時並列撮像の例を示す図である。 空間分割使用方式を用いた場合における露光タイミングの切り替えの第１の例を示すタイミングチャートである。 空間分割使用方式を用いた場合における露光タイミングの切り替えの第２の例を示すタイミングチャートである。 余剰画素の使用の第１の例を示す図である。 余剰画素の使用の第２の例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、図面を参照しながら本開示に係る技術（本技術）の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．本技術の実施の形態
２．変形例
３．移動体への応用例
＜１．本技術の実施の形態＞
（センサフュージョンシステムの構成）
　図１は、本開示に係る技術を適用したセンサフュージョンシステムの構成の例を示す図である。
　センサフュージョンシステム１は、測距装置１０と撮像装置２０とを同期させて、距離画像（距離情報）と撮像画像（２次元画像、以下、２Ｄ画像と記述する）とを融合した物体認識を行うことが可能なシステムである。
　図１において、センサフュージョンシステム１は、測距装置１０、撮像装置２０、同期制御装置３０、及び画像フュージョン装置４０から構成される。また、センサフュージョンシステム１は、所定のインターフェースを介して物体認識装置２と接続される。
　測距装置１０は、物体３に光を照射して距離を測定する装置である。例えば、測距装置１０は、ライダ（LiDAR：Light Detection and Ranging）などとして構成される。
　測距装置１０は、同期制御装置３０からの同期信号及び設定情報に従い、光源部から出射される光を物体３に照射してその反射光を受光部により受光して、光を出射してから反射光を受光するまでの時間を計測することで、計測した時間に基づき、光源部又は受光部から物体３までの距離を算出する。測距装置１０は、算出した距離情報（距離画像）のデータを、画像フュージョン装置４０に出力する。
　撮像装置２０は、物体３を撮像する装置である。例えば、撮像装置２０は、イメージセンサを有するイメージャ（Imager）などとして構成される。ここで、イメージセンサは、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ、又は有機光電変換膜を用いたイメージセンサなど、光電変換素子を含む画素が２次元状に配置された画素部（画素アレイ部）やAD変換部などを有している。
　撮像装置２０は、同期制御装置３０からの同期信号及び設定情報に従い、光学レンズ系を介して物体３からの入射光（像光）を取り込んで、イメージセンサの撮像面上に結像された入射光の光量を画素単位で電気信号に変換することで、２Ｄ画像を生成する。撮像装置２０は、２Ｄ画像のデータを、画像フュージョン装置４０に出力する。
　同期制御装置３０は、測距装置１０の動作と撮像装置２０の動作との同期を制御する装置である。例えば、同期制御装置３０は、CPU(Central Processing Unit)、マイクロコンピュータ、FPGA(Field Programmable Gate Array)などを含んで構成される。
　同期制御装置３０は、測距装置１０の光源が物体３の所定の領域に光を出射するタイミングと、撮像装置２０にて所定の領域に対応する画素群が露光するタイミングとが同期するための同期信号及び設定情報を生成し、測距装置１０と撮像装置２０にそれぞれ出力する。
　画像フュージョン装置４０は、測距装置１０から出力される距離画像と、撮像装置２０から出力される２Ｄ画像とをフュージョンし、その結果得られるフュージョン情報（フュージョン画像）を、物体認識装置２に出力する。例えば、画像フュージョン装置４０は、CPUやGPU(Graphics Processing Unit)、マイクロコンピュータ、FPGAや各種のメモリなどを含んで構成される。
　なお、物体認識装置２では、センサフュージョンシステム１（の画像フュージョン装置４０）から出力されるフュージョン情報に基づき、物体認識処理が行われ、物体３が認識される。例えば、センサフュージョンシステム１が車両に搭載される場合、当該車両の周辺に存在する物体３として、歩行者や他の車両、障害物などが認識される。
　以上のように構成されるセンサフュージョンシステム１では、測距装置１０で得られる距離画像と、撮像装置２０で得られる２Ｄ画像とをフュージョンして物体認識処理を行っているが、その理由としては、例えば、次のような理由を挙げることができる。
　すなわち、ライダ等の測距装置１０単体では、物体３までの距離情報（距離画像）を得ることができるが、その形状に関する情報を得ることはできない。また、測距装置１０で得られる距離画像は、撮像装置２０で得られる２Ｄ画像と比べてその解像度が低く、距離画像を用いた物体認識処理による認識性能は十分であるとは言い難い。
　一方で、イメージャ等の撮像装置２０単体では、物体３の２Ｄ画像が得られるため、２次元の面内での物体３の形状を認識することができるが、奥行きに関する情報を得ることはできない。そのため、２Ｄ画像を用いた物体認識処理では、例えば写真の看板などを誤認識する可能性がある。
　そこで、センサフュージョンシステム１においては、測距装置１０で得られる距離画像と、撮像装置２０で得られる２Ｄ画像とをフュージョンして、３次元での物体認識処理が行われるようにすることで、その認識性能（フュージョン認識性能）を向上させるようにしている。
　その際に、距離画像と２Ｄ画像との同期がとれた状態でフュージョンしないと、時間ずれや位置ずれのために、３次元の認識性能を十分に向上させることができない。そこで、センサフュージョンシステム１では、測距装置１０と撮像装置２０との同期を通じて、３次元の認識性能が向上するようにする。
（測距装置のスキャン方式）
　ここで、測距装置１０のスキャン方式としては、ビーム状の光を用いて測距対象空間内を走査する方式であるビームスキャン方式がある。
　このビームスキャン方式には、２次元スキャン方式と１次元スキャン方式がある。２次元スキャン方式では、１点のレーザビームを使用して２次元方向にスキャンされる。１次元スキャン方式では、複数のレーザビームを直線状（１次元方向）に並べるか、又は１点のレーザビーム（単一の光源）を直線状に拡散することで１次元に照射し、直交する１次元方向にスキャンされる。
　各スキャン軸には、速度と方向に関する属性がある。２次元スキャン方式においては、高速スキャン軸と低速スキャン軸という直交する２つのスキャン軸が存在し、各スキャン軸は片側方向スキャン又は往復方向スキャンのいずれかのスキャンパターンとなる。一方、１次元スキャン方式においては、低速スキャン軸のみが存在し、片側方向スキャン又は往復方向スキャンのいずれかのスキャンパターンとなる。
　ただし、高速スキャン軸はレーザビームを高速にスキャンする方向軸であり、低速スキャン軸はレーザビームを低速にスキャンする方向軸であって、いずれのスキャン軸も水平方向の場合と垂直方向の場合が存在する。
　また、片側方向スキャンは、対象スキャン軸に対して同一方向に固定でスキャンする方式である。一方で、往復方向スキャンは、対象スキャン軸に対して往復方向（一方の方向とその反対の方向）に交互にスキャンする方式である。
　ここで、図２ないし図４を参照して、測距装置１０におけるスキャン方式の具体的な例を説明する。
　図２，図３は、ビームスキャン方式における２次元スキャン方式の例を示している。図２は、２次元スキャン方式における高速スキャン軸が片側方向スキャンの例として、垂直方向の高速スキャン軸が上から下方向に固定されている。このとき、水平方向の低速スキャン軸は、左から右方向又は右から左方向のどちらかにスキャン方向を固定した場合と、フレーム毎にスキャン方向を反転した場合を示している。また、図３は、２次元スキャン方式における高速スキャン軸が往復方向スキャンの例として、垂直方向の高速スキャン軸が上から下方向と下から上方向に交互に反転する。このとき、水平方向の低速スキャン軸は、左から右方向又は右から左方向のどちらかにスキャン方向を固定した場合と、フレーム毎にスキャン方向を反転した場合を示している。
　図４は、ビームスキャン方式における１次元スキャン方式の例を示している。図４においては、１次元スキャン方式における低速スキャン軸が片側方向スキャンの例として、水平方向の低速スキャン軸は、左から右方向又は右から左方向からのどちらかにスキャン方向を固定した場合を示している。また、図４においては、１次元スキャン方式における低速スキャン軸が往復方向スキャンの例として、水平方向の低速スキャン軸はフレーム毎にスキャン方向を反転した場合を示している。
　ここで、図５，図６を参照して、ビームスキャン方式の１次元スキャン方式において、低速スキャン軸が水平方向の往復方向スキャンによって光源照射を行う場合の構成の例として、図５に示した光源モジュールを用いた構成を説明する。図５の光源モジュールは、光源部１６１、１軸ガルバノミラー１６２、及び拡散レンズ１６３を含む。
　図５において、光源部１６１から出射されたレーザ光は、１軸ガルバノミラー１６２により反射されることで水平方向に走査され、拡散レンズ１６３に入射される。拡散レンズ１６３では、１軸ガルバノミラー１６２によって水平方向に走査されたレーザ光が、垂直方向に拡散されることで、１軸ガルバノミラー１６２による往復揺動スキャンがなされる。
　このように、測距装置１０においては、１軸ガルバノミラー１６２等を含む光源モジュールを用いることで、各フレーム内を、左から右方向への第１の方向と、右から左方向への第２の方向（第１の方向と反対の向きの方向）のように、交互に往復スキャンすることができる。ここで、図６には、１軸ガルバノミラー１６２等を含む光源モジュールを用い、フレーム毎にスキャン方向を反転させた場合における距離画像内の移動物体（移動する物体３）の伸縮の様子を示している。
　図６において、左から右方向へのスキャン（以下、左－右スキャンとも記述する）が行われるフレームでは、図中の正方形の格子状の模様を含む物体３が矢印Ａ１の方向に移動している場合、その画像中央の縦線に対する画像左側と画像右側の縦線の間隔が縮んでいる。すなわち、この場合、左－右スキャンの方向と矢印Ａ１の方向とは反対の方向であり、スキャン方向と反対方向に移動する物体３は縮むと言える。
　一方で、右から左方向へのスキャン（以下、右－左スキャンとも記述する）が行われるフレームでは、図中の正方形の格子状の模様を含む物体３が矢印Ａ２の方向に移動している場合、その画像中央の縦線に対する画像左側と画像右側の縦線の間隔が伸びている。すなわち、この場合、右－左スキャンの方向と矢印Ａ２の方向とは同一の方向であり、スキャン方向と同一の方向に移動する物体３は伸びると言える。
　なお、ここでは、ビームスキャン方式の１次元スキャン方式において、往復方向スキャンによって光源照射を行う場合の構成として、１軸ガルバノミラー１６２等を含む光源モジュールの構成の例を示したが、１次元スキャン方式において、片側方向スキャンによって光源照射を行う場合には、例えば、１軸ポリゴンミラーを含む光源モジュールを用いることができる。
　また、ビームスキャン方式の２次元スキャン方式において、往復方向スキャンによって光源照射を行う場合には、例えば、２軸ガルバノミラーを含む光源モジュールを用い、片側方向スキャンによって光源照射を行う場合には、例えば、２軸ポリゴンミラーを含む光源モジュールを用いることができる。
　以上のように、測距装置１０のスキャン方式としては様々な方式があるが、本開示では、ビームスキャン方式における１次元スキャン方式として、水平方向の往復方向スキャンを採用した場合を一例に説明する。以下の説明では、このスキャン方式を採用した測距装置１０のことを、特に、水平方向の往復スキャン型の測距装置１０とも称する。なお、本開示に係る技術の手法は、水平方向の往復スキャン型のみならず、他の光源照射方式の測距装置１０にも適用可能である。また、本開示においては、「フレーム」と「フィールド」を区別せずに、「フレーム」の表記に統一して説明しているが、「フレーム」の代わりに、「フィールド」が用いられる場合がある。特に、測距装置１０のスキャン方式として往復方向スキャンが行われる場合には、「フレーム」を、「フィールド」と称することが多い。
（撮像装置のイメージセンサの構成）
　ところで、撮像装置２０に搭載されるイメージセンサ２１１としては、その露光タイミングを、測距装置１０に同期させるために、例えば、図７ないし図９に示すようなADC(Analog to Digital Converter)部２２２の構成を採用することが想定される。
　図７は、列並列ADC方式を採用したADC部２２２を有するイメージセンサ２１１の構成の例を示している。
　図７において、イメージセンサ２１１では、画素部２２１に２次元状に配置された複数の画素２３１による光電変換で得られる信号値が、垂直信号線を介して列並列ADC部２２２Ａにそれぞれ入力され、画素部２２１の列方向でADCを並列処理する。なお、列並列ADC方式を採用した場合、画素部２２１の行方向については、時分割で処理する。
　ここで、列並列ADC方式においては、画素部２２１の行方向にADCを時分割で共有するため、露光タイミングは、行毎にしか制御できない。そのため、撮像装置２０において、イメージセンサ２１１で列並列ADC方式を採用できるのは、同期の対象となる測距装置１０が、その光源照射方式として、ビームスキャン方式で、かつ、低速スキャン軸が垂直方向となる場合が該当する。
　図８は、行並列ADC方式を採用したADC部２２２を有するイメージセンサ２１１の構成の例を示している。
　図８において、イメージセンサ２１１では、画素部２２１に２次元状に配置された複数の画素２３１による光電変換で得られる信号値が、水平信号線を介して行並列ADC部２２２Ｂにそれぞれ入力され、画素部２２１の行方向でADCを並列処理する。なお、行並列ADC方式を採用した場合、画素部２２１の列方向については、時分割で処理する。
　ここで、行並列ADC方式においては、画素部２２１の列方向にADCを時分割で共有するため、露光タイミングは、列毎にしか制御できない。そのため、撮像装置２０において、イメージセンサ２１１で行並列ADC方式を採用できるのは、同期の対象となる測距装置１０が、その光源照射方式として、ビームスキャン方式で、かつ、低速スキャン軸が水平方向となる場合が該当する。
　図９は、画素並列ADC方式を採用したADC部２２２を有するイメージセンサ２１１の構成の例を示している。
　図９において、イメージセンサ２１１では、画素部２２１に配置された画素２３１に対応したADC部を２次元状に配置した画素並列ADC部２２２Ｃを設けることで、各画素２３１による光電変換で得られる信号値が、信号線を介して画素２３１毎に設けられたADC部にそれぞれ入力され、画素部２２１の各画素毎にADCを並列処理する。
　このように、画素並列ADC方式においては、AD変換時の参照電圧用のDAC(Digital to Analog Converter)を共有している場合、露光のタイミングをフレーム毎にしか制御できない。そのため、撮像装置２０において、イメージセンサ２１１で画素並列ADC方式を採用できるのは、同期の対象となる測距装置１０が、その光源照射方式として、フラッシュ方式となる場合が該当する。
　なお、イメージセンサ２１１において、グローバルシャッタ方式での露光が行われる場合には、同一のタイミングで、すべての画素２３１をAD変換するため、DACを共通化することができる。また、フラッシュ方式は、測距装置１０において、レーザ光を測距対象空間に対して広範囲に拡散照射する方式である。
　以上のように、測距装置１０側のレーザ光原の照射方式により、撮像装置２０側で対応可能な同期手法は異なるが、本開示では、同期の対象となる測距装置１０のスキャン方式として、ビームスキャン方式における１次元スキャン方式の水平方向の往復方向スキャンを採用した場合を一例に説明するため、撮像装置２０のADC方式としては、行並列ADC方式を採用して、ローリングシャッタ方式での露光が行われるようにした場合を一例に説明する。以下の説明では、この方式を採用した撮像装置２０のことを、特に、行並列ADC方式の撮像装置２０とも称する。なお、本開示に係る技術の手法は、行並列ADC方式のみならず、他のADC方式の撮像装置２０にも適用可能である。
（センサフュージョンシステムの詳細な構成）
　図１０は、本開示に係る技術を適用したセンサフュージョンシステムの詳細な構成の例を示す図である。
　図１０のセンサフュージョンシステム１は、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０と、タイミングジェネレータ３０Ａ及び設定レジスタ部３０Ｂと、画像フュージョン装置４０とを含む。なお、タイミングジェネレータ３０Ａ及び設定レジスタ部３０Ｂは、同期制御装置３０（図１）に含まれる。
　タイミングジェネレータ３０Ａは、タイミングの基準となる共通のクロックと同期信号を生成し、測距装置１０と撮像装置２０にそれぞれ供給する。この同期信号としては、例えば、フレーム同期信号（Fsync）、垂直同期信号（Vsync）、及び水平同期信号（Hsync）を含む。
　設定レジスタ部３０Ｂは、各種の設定レジスタ（設定情報）を保持し、測距装置１０と撮像装置２０にそれぞれ供給する。この設定レジスタとしては、例えば、同期タイミング制御に関するパラメータ（例えば、レーザ照射制御用や露光タイミング制御用の各種パラメータ）を含む。
　測距装置１０は、タイミング制御された距離画像を生成（取得）する。測距装置１０は、レーザ光源部１１１、レジスタ１１２、レーザドライバ１１３、レーザ受光部１１４、及び信号処理部１１５などを含んで構成される。
　なお、レーザ光源部１１１は、例えば、図５に示した１軸ガルバノミラー１６２等を含む光源モジュールとして構成される。また、レーザ受光部１１４は、SPAD(Single Photon Avalanche Diode)部１２１、TDC(Time to Digital Converter)部１２２、及びフレームメモリ１２３などから構成される。
　レジスタ１１２は、例えばレーザ照射制御用のパラメータや、距離画像に対する信号処理用のパラメータなどの各種のパラメータを保持する。より具体的には、例えば、測距装置１０がライダ（LiDAR）である場合、レジスタ１１２には、全体仮想領域に対するライダの有効領域を示す一連の設定レジスタ群（Voffset_lidar，Vsize_lidar，Vstep_lidar，Hoffset_lidar，Hsize_lidar，Hstep_lidar）等の設定レジスタ部３０Ｂから供給される設定レジスタ（設定情報）が保持される。
　レーザドライバ１１３は、レジスタ１１２から取得したレーザ照射制御用のパラメータ、及びタイミングジェネレータ３０Ａからの同期信号に基づいて、レーザ光源部１１１により照射されるレーザ光の照射の方向とタイミングを制御する。
　レーザ光源部１１１は、レーザドライバ１１３からの制御に従い、レーザ光を出射してレンズ１０１を介して物体３に照射する。そして、レーザ光源部１１１から出射されたレーザ光は、物体３で反射され、その反射光が、レンズ１０２を介してレーザ受光部１１４により受光される。
　レーザ受光部１１４において、SPAD部１２１では、SPADによって物体３からの反射光が受光されて電気的なパルスに変換され、その信号値がTDC部１２２により計測される。ここで、長距離物体からのレーザ反射光は微弱であり、１回の計測で安定した測距結果を得ることは難しいため、各点毎に複数回計測を行い、信号処理により測距結果を安定化させる手法がある。計測された信号値は、フレームメモリ１２３により点群内の各点の計測データ及び各点間のタイミングのずれが吸収され、フレーム単位で信号処理部１１５に供給される。
　信号処理部１１５は、レジスタ１１２から取得した距離画像に対する信号処理用のパラメータに基づいて、レーザ受光部１１４からフレーム単位で入力される信号値に対する距離画像信号処理を行う。この距離画像信号処理では、例えば、TDC部１２２により計測された信号値（時間）に基づき、レーザ受光部１１４又はレーザ光源部１１１から物体３までの距離が算出され、距離画像（距離情報）が生成される。信号処理部１１５は、生成した距離画像を、画像フュージョン装置４０に出力する。
　撮像装置２０は、タイミング制御された２Ｄ画像を生成（取得）する。撮像装置２０は、イメージセンサ２１１、レジスタ２１２、ラインドライバ２１３、及び信号処理部２１４などを含んで構成される。また、イメージセンサ２１１は、画素部２２１、行並列AD変換部２２２、及びフレームメモリ２２３などから構成される。
　レジスタ２１２は、例えば露光タイミング制御用のパラメータや、２Ｄ画像に対する信号処理用のパラメータなどの各種のパラメータを保持する。より具体的には、例えば、撮像装置２０がイメージャ（Imager）である場合、レジスタ２１２には、全体仮想領域に対するイメージャの有効領域を示す一連の設定レジスタ群（Voffset_imager，Vsize_imager，Vstep_imager，Hoffset_imager，Hsize_imager，Hstep_imager）や露光ライン数等の設定レジスタ部３０Ｂから供給される設定レジスタ（設定情報）が保持される。
　ラインドライバ２１３は、レジスタ２１２から取得した露光タイミング制御用のパラメータ、及びタイミングジェネレータ３０Ａからの同期信号に基づいて、イメージセンサ２１１の画素部２２１の各ラインの露光タイミング制御信号を生成し、画素部２２１（に配置された各画素２３１）に供給する。
　なお、行並列ADC方式の撮像装置２０では、イメージセンサ２１１にて、行並列AD変換部２２２が設けられるため、ラインドライバ２１３によって、画素部２２１に配置された複数の画素２３１の露光タイミングを列毎に制御して、ローリングシャッタ方式での露光が行われるようにしている。そのため、ラインドライバ２１３から画素部２２１への制御線は、垂直方向（画素部２２１における列方向）に配置される。
　イメージセンサ２１１において、画素部２２１では、ラインドライバ２１３からの露光タイミング制御信号に従い、２次元状に配置された各画素２３１が露光されて光電変換素子により光電変換され、行並列AD変換部２２２により行方向でADCが並列処理され、デジタル信号の信号値が得られる。この信号値は、フレームメモリ２２３により画素間の読み出しタイミングのずれが吸収され、フレーム単位で信号処理部２１４に供給される。
　信号処理部２１４は、レジスタ２１２から取得した２Ｄ画像信号に対する処理用のパラメータに基づいて、イメージセンサ２１１からフレーム単位で入力される信号値に対する２Ｄ画像信号処理を行う。この２Ｄ画像信号処理で得られる２Ｄ画像は、画像フュージョン装置４０に出力される。
　画像フュージョン装置４０には、測距装置１０からの距離画像と、撮像装置２０からの２Ｄ画像とが同期して入力される。画像フュージョン装置４０は、距離画像と２Ｄ画像とをフュージョンし、その結果得られるフュージョン画像を、物体認識装置２（図１）に出力する。
（設定レジスタの例）
　次に、図１１ないし図１４を参照して、設定レジスタの詳細について説明する。
　図１１は、設定レジスタ部３０Ｂによって、測距装置１０のレジスタ１１２と、撮像装置２０のレジスタ２１２にそれぞれ設定される同期タイミング制御に関するパラメータの例を示している。
　全体仮想領域には、Imager有効領域と、LiDAR有効領域を内包する仮想領域を設定する。この全体仮想領域は、垂直方向と水平方向の大きさとして、例えばVsize_whole，Hsize_wholeにより設定される。
　LiDAR有効領域は、測距装置１０がライダ（LiDAR）である場合における有効な領域を表している。LiDAR有効領域は、全体仮想領域内におけるLiDAR有効領域の位置と大きさを設定する。このLiDAR有効領域は、垂直方向と水平方向の位置と大きさとして、例えばVoffset_lidar，Hoffset_lidar，Vsize_lidar，Hsize_lidarにより設定される。
　LiDAR点群間隔は、LiDAR点群内の各点の間隔を、全体仮想領域の座標系を基準に設定する。このLiDAR点群間隔は、垂直方向と水平方向の間隔として、例えばVstep_lidar，Hstep_lidarにより設定される。なお、LiDAR点群は、レーザ受光部１１４（のSPAD部１２１）にて物体３からの反射光を受光する点群である。
　Imager有効領域は、撮像装置２０がイメージャ（Imager）である場合における有効な領域を表している。Imager有効領域は、全体仮想領域内におけるImager有効領域の位置と大きさを設定する。このImager有効領域は、水平方向と垂直方向の位置と大きさとして、例えばVoffset_imager，Hoffset_imager，Vsize_imager，Hsize_imagerにより設定される。
　Imager画素間隔は、画素２３１間の間隔を、全体仮想領域の座標系を基準に設定する。このImager画素間隔は、垂直方向と水平方向の間隔として、例えばVstep_imager，Hstep_imagerにより設定される。
　図１２は、測距装置１０と撮像装置２０が異なる有効領域を有する場合における同期タイミング制御系の設定レジスタの設定値の例を示している。
　図１２において、測距装置１０のLiDAR有効領域は、有効点群数が垂直方向と水平方向で、Vnum_lidar = 64，Hnum_lidar = 1280に設定される一方で、撮像装置２０のImager有効領域は、有効画素数が垂直方向と水平方向で、Vnum_imager = 1080，Hnum_imager = 1920に設定される。この場合、撮像装置２０の有効画素間隔がVstep_imager = 1，Hstep_imager = 1となるときに測距装置１０の有効点群間隔は、Vstep_lidar = 8，Hstep_lidar = 2となる（図１３）。
　すなわち、図１２の例では、Imager有効領域が、Vsize_imager = 1080，Hsize_imager = 1920に設定されるとき、LiDAR有効領域は、Vsize_lidar = 512(64×8)，Hsize_lidar = 2560(1280×2)に設定される。また、全体仮想領域は、LiDAR有効領域とImager有効領域を内包するように適宜設定され、図１２の例では、Vsize_whole = 1080，Hsize_whole = 2700に設定される。
　さらに、図１２の例では、LiDAR有効領域として、Voffset_lidar = 284，Hoffset_lidar = 70が設定され、Imager有効領域として、Voffset_imager = 0，Hoffset_imager = 390が設定される。
　ここで、図１４に示すように、所定の列において、測距装置１０（のレーザ光源部１１１）によるレーザ光の発光期間Ｔ１よりも、撮像装置２０（のイメージセンサ２１１）による露光期間Ｔ２のほうが通常は長くなる。その場合、露光期間Ｔ２の中心Ｃが、発光期間Ｔ１内となるように設定することができる。これにより、測距装置１０と撮像装置２０との同期の精度をさらに向上させることができる。なお、撮像装置２０の露光期間の設定は、例えば露光ライン数のパラメータにより設定可能となる。
　この所定の列は、LiDAR有効領域とImager有効領域とが重なる領域（例えば領域Ａ）内において、測距装置１０のレーザ光源部１１１から出射されたレーザ光に対応する列であって、撮像装置２０のイメージセンサ２１１における画素部２２１に配置された複数の画素２３１の中の露光された画素群に対応する領域に含まれる。
（測距装置と撮像装置の同期の例）
　次に、図１５ないし図２５を参照して、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０との同期の詳細について説明する。
　撮像装置２０において、イメージセンサ２１１では、画素部２２１に２次元状に配置された複数の画素２３１がローリングシャッタ方式により列毎に露光され、各画素２３１の光電変換素子により光電変換された信号値に対し、行並列AD変換部２２２により行方向でADCの並列処理がなされることで、アナログ信号からデジタル信号に変換される。
　ここで、行並列ADC方式の構成としては、画素部２２１に対して、行並列AD変換部２２２を片側に設けた片側ADC構成（図１５）や、行並列AD変換部２２２－１，２２２－２を両側に設けた両側ADC構成（図１６）などがある。ここで、ローリングシャッタ方式では異なるライン間でADCを時分割で共有するため、ADCの数が少ないとスループットが低下してしまうが、例えば、両側ADC構成などを用いてADCの並列度を増すことで、スループットの低下を抑制することが可能となる。
　図１５に示すように、片側ADC構成を用いた場合、画素部２２１に配置されたすべての列の画素２３１に対し、片側の行並列AD変換部２２２によって行方向でADCが並列処理される。一方で、図１６に示すように、両側ADC構成を用いた場合、画素部２２１に配置された複数の画素２３１のうち、第１の列（例えば偶数列）の画素２３１は、一方の行並列AD変換部２２２－１によって行方向でADCが並列処理され、第１の列を除いた第２の列（例えば奇数列）の画素２３１は、他方のAD変換部２２２－２によって行方向でADCが並列処理される。
　また、行並列ADC方式では、画素部２２１に配置された複数の画素２３１が、列方向にADCを共有するため、異なる列間でADCを同時に使用することはできない。すなわち、図１７のタイミングチャートに示すように、行並列ADC方式では、画素部２２１の各列において、各画素２３１のAD変換を行う際には列毎に時分割の排他制御が必要になる。
　なお、図１７に示すように、行並列AD変換部２２２では、各画素２３１のリセット成分と信号成分を順に読み出して、それぞれをAD変換し、信号成分からリセット成分を差し引くことで、相関二重サンプリング（CDS：Correlated Double Sample）の動作が行われ、kTCノイズがキャンセルされる。
　ここで、行並列ADC方式の撮像装置２０が、水平方向の往復スキャン型の測距装置１０と同期する場合において、フレーム間のブランキング期間が蓄積時間よりも短い場合、左－右スキャン時と右－左スキャン時において、画素２３１毎の露光のタイミングが一部で重なるため、同一の画素２３１を、往復スキャン時に連続して使用することができない。
　具体的には、図１８は、左－右スキャンにスキャン方向を固定した測距装置１０と同期する行並列ADC方式の撮像装置２０における露光タイミングのタイミングチャートを示している。一方で、図１９は、右－左スキャンにスキャン方向を固定した測距装置１０と同期する行並列ADC方式の撮像装置２０における露光タイミングのタイミングチャートを示している。ただし、図１８及び図１９のタイミングチャートにおいては、いずれもフレーム間のブランキング期間がない場合を図示している。また、このブランキング期間（Hoffset_L_imager：左側ブランキング期間，Hoffset_R_imager：右側ブランキング期間）は、Hoffset_L_imager = Hoffset_imager，Hoffset_R_imager = Hsize_whole - (Hoffset_imager + Hsize_imager)により表され、設定レジスタにより任意のライン数を設定可能である。
　図１８及び図１９のタイミングチャートは、２Ｄ画像の画像フレームとして、時間的に連続した1stフレームと2ndフレームの撮像（生成）時における画素部２２１の任意の行における各列Column[0]～[m]（図１５又は図１６）の画素２３１のシャッタ動作時の電荷の排出と、リード動作時の信号の読み出しのタイミングを示している。ここでは、各画素２３１において、シャッタ動作が行われてからリード動作が行われるまでの時間が、電荷の蓄積時間となる（図中の右方向の矢印）。
　図１８では、測距装置１０において左から右方向へのスキャンが行われているため、任意の行における各列Column[0]～[m]の画素２３１に対応して、シャッタ動作や読み出し動作を表す四角が、右斜め下方向に向かって列番号の昇順に連続している。一方で、図１９では、測距装置１０において右から左方向へのスキャンが行われているため、任意の行における各列Column[m]～[0]の画素２３１に対応して、シャッタ動作や読み出し動作を表す四角が、右斜め上方向に向かって列番号の降順に連続している。
　ここで、図１８及び図１９において、任意の行の左端列Column[0]の画素２３１における1stフレームと2ndフレームの境界付近に注目すれば、図１９の1stフレームにおいて右－左スキャンの最後列である左端列Column[0]の蓄積時間Ａ１２と、図１８の2ndフレームにおいて左－右スキャンの最前列である左端列Column[0]の蓄積時間Ａ１１とが重なっている。そのため、画素部２２１において、同一の画素２３１（任意の行の左端列Column[0]の画素２３１）を、往復スキャン時に連続して使用することはできない。
　そこで、本開示に係る技術では、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０との同期を行うに際して、時分割使用方式と空間分割使用方式の２方式を提案する。
（時分割使用方式）
　まず、図２０及び図２１を参照して、時分割使用方式について説明する。
　時分割使用方式は、左－右スキャン時と右－左スキャン時とで、露光のタイミングを切り替える方式である。ここでは、例えば、図１１に示したように、LiDAR有効領域とImager有効領域とは水平方向のサイズ（例えば、Hsize_lidar = 2560，Hsize_imager = 1920）が異なるため、時分割使用方式では、そのブランキング期間（例えば、Hoffset_imager = 390）を利用して左右端列の画素２３１においても蓄積時間を確保するようにする。
　図２０のタイミングチャートは、２Ｄ画像の画像フレームとして、時間的に連続した1stフレームと2ndフレームと3rdフレームの撮像（生成）時における画素部２２１の任意の行（の各列Column[0]～[m]）の画素２３１における、シャッタ動作時の電荷の排出と、リード動作時の信号の読み出しのタイミングを示している。
　図２０において、1stフレームと3rdフレームでは、測距装置１０において左から右方向へのスキャンが行われているため、任意の行における各列Column[0]～[m]の画素２３１に対応して、シャッタ動作と読み出し動作を表す四角が、右斜め下方向に向かって列番号の昇順に連続している。一方で、2ndフレームでは、測距装置１０において右から左方向へのスキャンが行われているため、任意の行における各列Column[m]～[0]の画素２３１に対応して、シャッタ動作と読み出し動作を表す四角が、右斜め上に向かって列番号の降順に連続している。
　ここで、各フレームのスキャンフレームのうち、Hsize_imagerを除いたHoffset_imager（Hoffset_R_imager：右側ブランキング期間，Hoffset_L_imager：左側ブランキング期間）の領域に注目すれば、蓄積時間に対してHoffset_imagerの期間（ブランキング期間）が十分に長く、スキャン方向の折り返し時に前後のフレームでの蓄積時間が重ならない場合には、同一の画素２３１を、往復スキャン時に連続して使用することが可能となる。
　すなわち、図２０において、任意の行の右端列Column[m]の画素２３１における1stフレームと2ndフレームの境界付近に注目すれば、1stフレームにおいて左－右スキャンの最後列である右端列Column[m]の蓄積時間Ａ２１と、2ndフレームにおいて右－左スキャンの最前列である右端列Column[m]の蓄積時間Ａ２２とは重なっていないため、右端列Column[m]の画素２３１を、往復スキャン時に連続して使用可能である。このとき、蓄積時間に対して、左－右スキャン時に生じる1stフレームの右側ブランキング期間と、それに続く右－左スキャン時に生じる2ndフレームの右側の右側ブランキング期間に相当する時間が十分に長ければ（所定の期間以上であれば）、スキャン方向の折り返し時に1stフレームと2ndフレームでの蓄積時間は重ならない。
　また、図２０において、任意の行の左端列Column[0]の画素２３１における2ndフレームと3rdフレームの境界付近に注目すれば、2ndフレームにおいて右－左スキャンの最後列である左端列Column[0]の蓄積時間Ａ２３と、3rdフレームにおいて左－右スキャンの最前列である左端列Column[0]の蓄積時間Ａ２４とは重なっていないため、左端列Column[0]の画素２３１を、往復スキャン時に連続して使用可能である。このとき、蓄積時間に対して、右－左スキャン時に生じる2ndフレームの左側ブランキング時間と、それに続く左－右スキャン時に生じる3rdフレームの左側ブランキング期間に相当する時間が十分に長ければ（所定の期間以上であれば）、スキャン方向の折り返し時に2ndフレームと3rdフレームでの蓄積時間は重ならない。
　なお、図２０の例において、左側ブランキング期間は、Hoffset_L_imager = Hoffset_imagerの関係を有する。また、右側ブランキング期間は、Hoffset_R_imager = Hsize_whole - (Hoffset_imager + Hsize_imager)の関係を有する。
　また、図２０の例では、測距装置１０の測距タイミング（不図示）に、撮像装置２０の読み出しタイミングを同期させる例として、時間位相を調整していない場合を示したが、実際には、撮像装置２０の蓄積時間は読み出し時刻に対して過去方向に伸びているため、測距装置１０の測距タイミングに撮像装置２０の読み出しタイミングを合わせてしまうと、測距装置１０に対して撮像装置２０の時間位相が過去方向にずれてしまう。そこで、図２１には、時間位相の調整を行った場合の例を示している。
　図２１の例では、図２０の例と比べて、測距装置１０による測距タイミング相当を点線の四角により表している。そして、図２１の例では、この測距タイミングに、撮像装置２０の時間位相が合うように、シャッタ動作時の電荷の排出と、リード動作時の信号の読み出しのタイミングを調整する。ここでは、撮像装置２０において、例えば、電荷の排出と信号の読み出しのタイミングを蓄積時間の半分（略半分）に相当する時間だけ遅れるように制御することで、測距装置１０による測距タイミングに撮像装置２０の蓄積時間の中央が合うように時間位相の調整を行うことができる。この調整により、測距装置１０と撮像装置２０との同期の精度をさらに向上させることができる。
　すなわち、図２１において、任意の行の右端列Column[m]の画素２３１における1stフレームと2ndフレームの境界付近に注目すれば、1stフレームにおいて左－右スキャンの最後列である右端列Column[m]の蓄積時間Ａ３１と、2ndフレームにおいて右－左スキャンの最前列である右端列Column[m]の蓄積時間Ａ３２とは重なっていないため、右端列Column[m]の画素２３１を、往復スキャン時に連続して使用可能である。また、ここでは、蓄積時間に対して、1stフレームの右側ブランキング期間と2ndフレームの右側ブランキング期間に相当する時間が十分に長く（所定の期間以上であり）、さらに、電荷の排出と信号の読み出しのタイミングが、蓄積時間の略半分に相当する時間だけ遅らされている。これにより、測距装置１０による測距タイミングに対して、撮像装置２０の蓄積時間の中央が合うように時間位相が調整されている。
　また、図２１において、任意の行の左端列Column[0]の画素２３１における2ndフレームと3rdフレームの境界付近に注目すれば、2ndフレームにおいて右－左スキャンの最後列である左端列Column[0]の蓄積時間Ａ３３と、3rdフレームにおいて左－右スキャンの最前列である左端列Column[0]の蓄積時間Ａ３４とは重なっていないため、左端列Column[0]の画素２３１を、往復スキャン時に連続して使用可能である。また、ここでは、蓄積時間に対して、2ndフレームの左側ブランキング期間と3rdフレームの左側ブランキング期間に相当する時間が十分に長く（所定の期間以上であり）、さらに、電荷の排出と信号の読み出しのタイミングが、蓄積時間の略半分に相当する時間だけ遅らされているため、測距装置１０による測距タイミングに対して撮像装置２０の蓄積時間の中央が合っている。
　以上のように、時分割使用方式を用いることで、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０との同期を行うに際して、測距装置１０による往復スキャン時に、撮像装置２０においてイメージセンサ２１１の画素部２２１に配置された任意の画素２３１（例えば、任意の行の左端列Column[0]又は右端列Column[m]の画素２３１）を連続して使用することができる。このとき、撮像装置２０においては、測距装置１０による測距タイミングに対して、撮像装置２０の蓄積時間の中央が合うように時間位相が調整されていることが望ましい。
（空間分割使用方式）
　次に、図２２ないし図２５を参照して、空間分割使用方式について説明する。
　空間分割使用方式は、画素部２２１に配置される複数の画素２３１を、左－右スキャン用の画素と、右－左スキャン用の画素に空間分割して、スキャン方向に応じて読み出し画素と露光タイミングを切り替える方式である。
　ここで、一般的に、物体３の対象領域内において、測距装置１０で取得される点群数よりも撮像装置２０で取得可能な画素数のほうが多いのは先に述べた通りである。
　このとき、撮像装置２０において、イメージセンサ２１１の画素部２２１に２次元状に配置される複数の画素２３１は、例えば、図２２に示すような対応関係を有する。すなわち、図２２においては、画素部２２１に配置される複数の画素２３１のうち、測距装置１０で取得される点群位置に対応する画素２３１を、「LiDAR対応画素」と表記し、測距装置１０で取得される点群位置に対応しない画素２３１を、「LiDAR非対応画素」と表記している。例えば、図２２においては、撮像装置２０の有効画素間隔がVstep_imager = 1，Hstep_imager = 1であるのに対し、測距装置１０の有効点群間隔は、Vstep_lidar = 4，Hstep_lidar = 2となる場合を例示している。
　図２２に示すように、測距装置１０で取得される点群位置は、水平方向に密で、かつ、垂直方向に疎であることが多いため、画素部２２１では、垂直方向に余剰画素（「LiDAR非対応画素」）がより多く発生している。そして、画素部２２１に配置される複数の画素２３１のうち、測距装置１０で取得される点群位置に対応する画素２３１（「LiDAR対応画素」）の露光タイミングは、測距装置１０（の測距タイミング）に同期させるが、測距装置１０で取得される点群位置に対応しない余剰画素（「LiDAR非対応画素」）の使い方には様々なケースが想定される。通常は、測距装置１０で取得される点群数だけでは認識性能が十分ではないため、撮像装置２０の余剰画素の一部又は全部を測距装置１０に同期させて、フュージョン認識率の向上を図ることが考えられる。
　そこで、空間分割使用方式では、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０との同期の際に、撮像装置２０の余剰画素を、左－右スキャン用の画素、又は右－左スキャン用の画素として利用して、左－右スキャンに同期した画像（左－右スキャン同期画像）と、右－左スキャンに同期した画像（右－左スキャン同期画像）を同時並行して撮像するようにする。なお、空間分割使用方式を実現するためには、左－右スキャン同期画像と右－左スキャン同期画像とで、露光時間や読み出しタイミングなどが別々に制御できるように、予めハードウェア回路を設計しておく必要がある。
　図２３は、空間分割使用方式を用いた異なるスキャン方向に対応した画像の同時並列撮像の例を示している。ここでは、垂直方向に多く発生している余剰画素を活かして、左－右スキャン用の画素と右－左スキャン用の画素に垂直方向に空間分割した例を示す。
　図２３において、撮像装置２０におけるイメージセンサ２１１の画素部２２１に２次元状に配置される複数の画素２３１に対応する四角に表記された「Pixel_LiDAR_LR(m, n)」は、左－右スキャン同期画像用に使用する画素２３１を表し、「Pixel_LiDAR_RL(m, n)」は、右－左スキャン同期画像用に使用する画素２３１を表す。
　図２３においては、水平方向の２行毎に、左－右スキャン同期画像用の領域と、右－左スキャン同期画像用の領域とが繰り返されている。左－右スキャン同期画像用の領域には、左－右スキャン同期画像用の画素２３１（余剰画素に相当する画素と図中の太枠で示した「LiDAR対応画素」に相当する画素）が含まれる。右－左スキャン同期画像用の領域には、右－左スキャン同期画像用の画素２３１（余剰画素に相当する画素）が含まれる。
　図２４のタイミングチャートは、撮像装置２０による２Ｄ画像の画像フレームとして、時間的に連続した1stフレームと2ndフレームの撮像（生成）時において、画素部２２１における左－右スキャン同期画像用の領域の画素２３１（Pixel_LiDAR_LR(m, n)）の露光タイミングを示している。
　図２４において、1stフレームでは、測距装置１０による左－右スキャンに同期した露光が行われるため、左－右スキャン同期画像用の任意の行の画素２３１（Pixel_LiDAR_LR(m, n)）に対応して、シャッタ動作と読み出し動作を表す四角が、1stフレーム内で読み出し動作が行われるように、右斜め下方向に向かって列番号の昇順に連続している。なお、ここでも、シャッタ動作が行われてからリード動作が行われるまでの時間が、電荷の蓄積時間となる（図中の右方向の矢印）。
　このようにして、撮像装置２０においては、シャッタ動作と読み出し動作が行われ、読み出された信号値が行並列AD変換部２２２によりAD変換され、1stフレーム（の信号値）がフレームメモリ２２３に格納される。
　ここで、水平方向の往復スキャン型の測距装置１０では、フレーム毎にスキャン方向が反転するため、行並列ADC方式の撮像装置２０においては、1stフレームの撮像時に、左－右スキャンに同期した動作が行われた後、2ndフレームの撮像時には、右－左スキャンに同期した動作が行われる。
　なお、1stフレームの撮像時にフレームメモリ２２３に格納された1stフレーム（の信号値）は、2ndフレームの撮像時のタイミングで、外部の信号処理部２１４へ読み出される。そして、信号処理部２１４により２Ｄ画像信号処理が行われ、1stフレームの画像フレームが生成されるが、この画像フレーム（２Ｄ画像）は、左－右スキャン同期画像である。
　図２５のタイミングチャートは、撮像装置２０による２Ｄ画像の画像フレームとして、時間的に連続した1stフレームと2ndフレームの撮像（生成）時において、画素部２２１における右－左スキャン同期画像用の領域の画素２３１（Pixel_LiDAR_RL(m, n)）の露光タイミングを示している。
　図２５において、2ndフレームでは、測距装置１０による右－左スキャンに同期した露光が行われるため、右－左スキャン同期画像用の任意の行の画素２３１（Pixel_LiDAR_RL(m, n)）に対応して、シャッタ動作と読み出し動作を表す四角が、2ndフレーム内で読み出し動作が行われるように、右斜め上方向に向かって列番号の降順に連続している。
　このようにして、撮像装置２０においては、シャッタ動作と読み出し動作が行われ、読み出された信号値が行並列AD変換部２２２によりAD変換され、2ndフレーム（の信号値）がフレームメモリ２２３に格納される。そして、3rdフレームの撮像時のタイミングで、フレームメモリ２２３から2ndフレーム（の信号値）が読み出される。そして、信号処理部２１４により２Ｄ画像信号処理が行われ、2ndフレームの画像フレームが生成されるが、この画像フレーム（２Ｄ画像）は、右－左スキャン同期画像である。
　なお、3rdフレーム以降については繰り返しになるので、その説明は省略するが、撮像装置２０では、3rdフレーム等の奇数フレームの撮像時には、図２４のタイミングチャートに示したように、画素部２２１における左－右スキャン同期画像用の領域の画素２３１（Pixel_LiDAR_LR(m, n)）を利用して、測距装置１０による左－右スキャンに同期した撮像が行われ、左－右スキャン同期画像の信号値が得られる。
　また、撮像装置２０では、4thフレーム等の偶数フレームの撮像時には、図２５のタイミングチャートに示したように、画素部２２１における右－左スキャン同期画像用の領域の画素２３１（Pixel_LiDAR_RL(m, n)）を利用して、測距装置１０による右－左スキャンに同期した撮像が行われ、右－左スキャン同期画像の信号値が得られる。
　以上のように、空間分割使用方式を用いることで、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０との同期を行うに際して、測距装置１０による往復スキャン時に、撮像装置２０において、そのスキャン方向に応じて、画素部２２１における左－右スキャン同期画像用の領域内の画素群（余剰画素を含む画素群）と、右－左スキャン同期画像用の領域内の画素群（余剰画素を含む画素群）とで、読み出し画素と露光タイミングを切り替えることができる。これにより、行並列ADC方式の撮像装置２０において、水平方向の往復スキャン型の測距装置１０と同期する場合に、左－右スキャン時と右－左スキャン時において、画素２３１毎の露光のタイミングが一部で重なるという事象（図１８，図１９）を回避することができる。なお、空間分割使用方式においては、フレーム間のブランキング期間の長さによらずに、交互に繰り返される左－右スキャン同期画像と右－左スキャン同期画像の連続取得が可能となる。
　以上、本開示のセンサフュージョンシステムについて説明した。本開示によれば、センサフュージョンシステムは、次のような構成を有している。
　すなわち、本開示のセンサフュージョンシステム（図１０のセンサフュージョンシステム１）は、測距装置（図１０の測距装置１０）と、撮像装置（図１０の撮像装置２０）と、測距装置と撮像装置との同期を制御する同期制御部（図１０のタイミングジェネレータ３０Ａ）とを含む。
　この測距装置（図１０の測距装置１０）は、第１の方向（垂直方向）に延びる光（レーザ光）を出射する光源部（図５の光源部１６１と拡散レンズ１６３）と、第１の方向と直交する第２の方向（水平方向）へ光の出射方向を駆動する駆動部（図５の１軸ガルバノミラー１６２）とを有する光源モジュール（図１０のレーザ光源部１１１）と、光源部が光を出射するタイミングを制御する光源制御部（図１０のレーザドライバ１１３）と、所定の受光範囲を有し、光源部から出射されて物体（図１０の物体３）で反射された光を受光する受光部（図１０のレーザ受光部１１４）と、光源部が光を出射してから受光部が物体で反射された光を受光するまでの時間を計測する時間計測部（図１０のTDC部１２２）と、計測した時間に基づいて、受光部又は光源モジュールから物体までの距離を算出する距離算出部（図１０の信号処理部１１５）とを備える。
　また、撮像装置（図１０の撮像装置２０）は、２次元状に配置される複数の画素（図８等の画素２３１）を有し、光源部が光を出射する出射範囲（図１１のLiDAR有効領域）の少なくとも一部を含む撮像範囲（図１１のImager有効領域）を有する画素部（図８，図１０等の画素部２２１）と、第１の方向（垂直方向）に並べて配置され、画素部にて第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部（図８，図１０等の行並列ADC部２２２）と、複数の画素が第２の方向（水平方向）へ走査されるように複数の画素の露光を制御する露光制御部（図１０のラインドライバ２１３）とを備える。
　さらに、同期制御部（図１０のタイミングジェネレータ３０Ａ）は、光源部（図５の光源部１６１）が所定の領域（図１４の領域Ａ内の領域）へ光を出射するタイミングと、所定の領域（図１４の領域Ａ内の領域）に対応する画素群（図１０等の画素部２２１に配置される画素２３１）が露光するタイミングとが同期するように、光源制御部（図１０のレーザドライバ１１３）と露光制御部（図１０のラインドライバ２１３）とを制御する。
　本開示のセンサフュージョンシステム（図１０のセンサフュージョンシステム１）は、以上の構成を有することで、測距装置（図１０の測距装置１０）と撮像装置（図１０の撮像装置２０）とを同期させてフュージョン認識性能を向上させることができる。
＜２．変形例＞
　上述した説明では、測距装置１０と撮像装置２０とを同期させる場合に、測距装置１０のスキャン方式としてビームスキャン方式における１次元スキャン方式の水平方向の往復方向スキャンを採用し、撮像装置２０のADC方式としては、行並列ADC方式を採用して、ローリングシャッタ方式での露光が行われるようにした場合を説明したが、それらの方式の組み合わせは一例である。すなわち、スキャン方式やADC方式の組み合わせは、多数存在するため、上述した組み合わせ以外の方式を採用するようにしてもよい。なお、上述した説明では、測距装置１０は、TOF(Time Of Flight)方式のライダ（LiDAR）であるとして説明したが、他の方式を採用した距離画像センサを用いるようにしてもよい。
　また、上述した説明では、空間分割使用方式で、余剰画素を利用した例を説明したが、この余剰画素の使い方は様々である。以下、余剰画素の使い方の他の例を示す。
　例えば、物体認識処理に必要なデプス解像度（奥行き情報）が、測距装置１０で取得される点群数では十分ではない場合に、撮像装置２０での２次元解像度（２Ｄ解像度）をすべて、測距装置１０に同期させることで、フュージョン認識率の向上を図るケース（以下、ケースＡという）が想定される。
　このケースＡの場合、図２６に示すように、撮像装置２０において、イメージセンサ２１１の画素部２２１に配置される複数の画素２３１のうち、測距装置１０で取得される点群位置に対応しない余剰画素（「LiDAR準対応画素」）の露光タイミングは、近接する（測距装置１０で取得される）点群位置に対応する画素２３１（「LiDAR対応画素」）の露光タイミングから空間的に補間して制御する。具体的には、図２６の例では、ハッチングが施された余剰画素（「LiDAR準対応画素」）の露光タイミングが、図中の矢印で示した左上、右上、左下、及び右下の４つの画素２３１（「LiDAR対応画素」）の露光タイミングから空間的に補間されている。
　ただし、撮像装置２０における画素部２２１に配置された画素２３１の露光タイミングは、測距装置１０に比べて粗くすることができるため、同一のタイミングとなる画素領域単位でタイミング制御用の信号線を共通化することができる。
　また、例えば、物体認識処理に必要なデプス解像度が、測距装置１０で取得される点群数である程度十分であり、撮像装置２０での２Ｄ解像度の一部を、測距装置１０に同期して使用しないケース（以下、ケースＢという）が想定される。
　このケースＢの場合、図２７に示すように、点群位置に対応しない余剰画素のうち、一部の余剰画素（「LiDAR準対応画素」）の露光タイミングは、近接の点群位置に対応する画素２３１（「LiDAR対応画素」）の露光タイミングにより空間的に補間され、残りの余剰画素（「静止画用画素」）は、例えば、グローバルシャッタ方式で別に撮像してフォーカルプレーン歪のない静止画像をも同時に取得できるようにする。具体的には、図２７の例では、１，２，５，６行目の余剰画素は、前者の「LiDAR準対応画素」として使用されている一方で、３，４，７，８行目の余剰画素は、後者の「静止画用画素」として使用されている。なお、ケースＢを実現するためには、前者の「LiDAR準対応画素」と後者の「静止画用画素」とで、露光時間や読み出しタイミングなどが別々に制御できるように、予めハードウェア回路を設計しておく必要がある。
　なお、ここで示したケースＡとケースＢの余剰画素の使い方の他の例は、上述した実施の形態と組み合わせて使用するようにしてもよい。
　また、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
＜３．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２９は、撮像部１２０３１の設置位置の例を示す図である。
　図２９では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２１０１に適用され得る。具体的には、図１０のセンサフュージョンシステム１は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、センサフュージョンシステム１において測距装置１０と撮像装置２０とを同期させることができるため、例えば、距離画像と２Ｄ画像をフュージョンして３次元での物体認識を行い、物体の認識性能（フュージョン認識性能）を向上させることができる。その結果として、例えば、より正確に、車両、歩行者、障害物、信号機、交通標識又は車線等の物体を認識することが可能になる。
　また、ライダ（LiDAR）等の測距装置１０の特徴として、近赤外線を使用するのが一般的であるため、夜間でも測距が可能であり、光環境の急激な変化にも強いが、距離画像の解像度は、２Ｄ画像よりも低くなる。一方で、イメージセンサを含む撮像装置２０の特徴として、主に可視光線を撮像するため、測距装置１０に対してロバスト性は劣る傾向があるが、２Ｄ画像の解像度は他の画像よりも高くなる。ところで、様々な道路環境において、測距装置１０と撮像装置２０の信頼性及び有効性はダイナミックに変化するため、道路環境に適応してフュージョンの仕方や割合を最適に制御する必要があるが、測距装置１０と撮像装置２０との同期がとれていないと、フュージョンの制御を著しく困難にする可能性がある。図１０のセンサフュージョンシステム１では、測距装置１０と撮像装置２０との同期を通じて、フュージョンの制御を容易にし、全体としてのロバスト性を向上させることができる。
　なお、上述した実施の形態において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
　さらに、本開示に係る技術は、以下のような構成をとることができる。
（１）
　　第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
　　前記光源部が前記光を出射するタイミングを制御する光源制御部と、
　　所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
　　前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
　　計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
　を備える測距装置と、
　　２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
　　前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
　　前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
　を備える撮像装置と、
　前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部と
　を具備するセンサフュージョンシステム。
（２）
　前記第１の方向は、垂直方向であり、
　前記第２の方向は、水平方向である
　前記（１）に記載のセンサフュージョンシステム。
（３）
　前記光源部が光を出射する前記出射範囲の第１の有効領域、及び前記画素部が有する前記撮像範囲の第２の有効領域を設定する設定部をさらに具備する
　前記（１）又は（２）に記載のセンサフュージョンシステム。
（４）
　前記設定部は、
　　前記第１の有効領域及び前記第２の有効領域を含む仮想領域を設定し、
　　前記仮想領域内の前記第１の有効領域の位置と大きさを設定し、
　　前記仮想領域内の前記第２の有効領域の位置と大きさを設定する
　前記（３）に記載のセンサフュージョンシステム。
（５）
　前記設定部は、
　　前記仮想領域の座標系を基準にして、前記受光部における前記光を受光する点群の間隔を設定し、
　　前記仮想領域の座標系を基準にして、前記画素部に配置された前記複数の画素の間隔を設定する
　前記（４）に記載のセンサフュージョンシステム。
（６）
　前記点群の間隔は、前記複数の画素の間隔よりも広い
　前記（５）に記載のセンサフュージョンシステム。
（７）
　前記駆動部は、前記光の出射方向が同一方向に固定されるように駆動するか、又は前記光の出射方向が往復方向に交互になるように駆動する
　前記（１）ないし（６）のいずれかに記載のセンサフュージョンシステム。
（８）
　前記露光制御部は、前記光の出射方向が往復方向に交互になるように駆動される場合、一方の方向に駆動されるときの露光タイミングと、その反対の方向に駆動されるときの露光タイミングとを切り替える
　前記（７）に記載のセンサフュージョンシステム。
（９）
　前記出射範囲と前記撮像範囲とが異なることで、前記撮像範囲に対してブランキング期間が所定の期間以上であるとともに、前記一方の方向から前記反対の方向への折り返し時に、前記画素部における同一の画素で電荷の蓄積時間が重ならない場合、前記同一の画素を連続して使用する
　前記（８）に記載のセンサフュージョンシステム。
（１０）
　前記同一の画素は、時間位相が調整される
　前記（９）に記載のセンサフュージョンシステム。
（１１）
　前記露光制御部は、前記光の出射方向が往復方向に交互になるように駆動される場合、一方の方向の駆動に対応した第１の領域の露光タイミングと、その反対の方向の駆動に対応した前記第１の領域と異なる第２の領域の露光タイミングとを切り替える
　前記（７）に記載のセンサフュージョンシステム。
（１２）
　前記第１の領域は、前記画素部に配置された前記複数の画素の数が、前記受光部における前記光を受光する点群数よりも多いことで余剰となる余剰画素を含み、
　前記第２の領域は、前記余剰画素を含む
　前記（１１）に記載のセンサフュージョンシステム。
（１３）
　前記第１の領域及び前記第２の領域の少なくとも一方の領域は、前記受光部における前記光を受光する点群に対応した画素を含む
　前記（１１）又は（１２）に記載のセンサフュージョンシステム。
（１４）
　前記光源部は、単一の光源を１次元方向に拡散照射するか、又は複数の光源を１次元方向に並列に配置している
　前記（１）ないし（１３）のいずれかに記載のセンサフュージョンシステム。
（１５）
　前記露光制御部から前記画素部への制御線は、前記第１の方向に配線される
　前記（１）ないし（１４）のいずれかに記載のセンサフュージョンシステム。
（１６）
　前記測距装置のスキャン方式は、水平方向の往復方向スキャンであり、
　前記撮像装置のADC方式は、行並列ADC方式である
　前記（１）ないし（１５）のいずれかに記載のセンサフュージョンシステム。
（１７）
　前記露光制御部は、ローリングシャッタ方式での露光を制御する
　前記（１）ないし（１６）のいずれかに記載のセンサフュージョンシステム。
（１８）
　前記測距装置は、ライダであり、
　前記撮像装置は、イメージセンサを含む
　前記（１）ないし（１７）のいずれかに記載のセンサフュージョンシステム。
（１９）
　測距装置と撮像装置との同期を制御する同期制御装置において、
　前記測距装置は、
　　第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
　　前記光源部が前記光を出射するタイミングを制御する光源制御部と、
　　所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
　　前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
　　計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
　を備え、
　前記撮像装置は、
　　２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
　　前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
　　前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
　を備え、
　前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部を具備する
　同期制御装置。
（２０）
　　第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
　　前記光源部が前記光を出射するタイミングを制御する光源制御部と、
　　所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
　　前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
　　計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
　を備える測距装置と、
　　２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
　　前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
　　前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
　を備える撮像装置と
　の同期を制御する同期制御装置が、
　前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する
　同期制御方法。
　１　センサフュージョンシステム，　２　物体認識装置，　３　物体，　１０　測距装置，　２０　撮像装置，　３０　同期制御装置，　３０Ａ　タイミングジェネレータ，　３０Ｂ　設定レジスタ部，　４０　画像フュージョン装置，　１１１　レーザ光源部，　１１２　レジスタ，　１１３　レーザドライバ，　１１４　レーザ受光部，　１１５　信号処理部，　１２１　SPAD部，　１２２　TDC部，　１２３　フレームメモリ，　１６１　光源部，　１６２　１軸ガルバノミラー，　１６３　拡散レンズ，　２１１　イメージセンサ，　２１２　レジスタ，　２１３　ラインドライバ，　２１４　信号処理部，　２２１　画素部，　２３１　画素，　２２２　ADC部，２２２Ｂ　行並列ADC部，　２２３　フレームメモリ，　１２０３１　撮像部

Claims (20)

  1. 　　第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
    　　前記光源部が前記光を出射するタイミングを制御する光源制御部と、
    　　所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
    　　前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
    　　計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
    　を備える測距装置と、
    　　２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
    　　前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
    　　前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
    　を備える撮像装置と、
    　前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部と
    　を具備するセンサフュージョンシステム。
  2. 　前記第１の方向は、垂直方向であり、
    　前記第２の方向は、水平方向である
    　請求項１に記載のセンサフュージョンシステム。
  3. 　前記光源部が光を出射する前記出射範囲の第１の有効領域、及び前記画素部が有する前記撮像範囲の第２の有効領域を設定する設定部をさらに具備する
    　請求項１に記載のセンサフュージョンシステム。
  4. 　前記設定部は、
    　　前記第１の有効領域及び前記第２の有効領域を含む仮想領域を設定し、
    　　前記仮想領域内の前記第１の有効領域の位置と大きさを設定し、
    　　前記仮想領域内の前記第２の有効領域の位置と大きさを設定する
    　請求項３に記載のセンサフュージョンシステム。
  5. 　前記設定部は、
    　　前記仮想領域の座標系を基準にして、前記受光部における前記光を受光する点群の間隔を設定し、
    　　前記仮想領域の座標系を基準にして、前記画素部に配置された前記複数の画素の間隔を設定する
    　請求項４に記載のセンサフュージョンシステム。
  6. 　前記点群の間隔は、前記複数の画素の間隔よりも広い
    　請求項５に記載のセンサフュージョンシステム。
  7. 　前記駆動部は、前記光の出射方向が同一方向に固定されるように駆動するか、又は前記光の出射方向が往復方向に交互になるように駆動する
    　請求項１に記載のセンサフュージョンシステム。
  8. 　前記露光制御部は、前記光の出射方向が往復方向に交互になるように駆動される場合、一方の方向に駆動されるときの露光タイミングと、その反対の方向に駆動されるときの露光タイミングとを切り替える
    　請求項７に記載のセンサフュージョンシステム。
  9. 　前記出射範囲と前記撮像範囲とが異なることで、前記撮像範囲に対してブランキング期間が所定の期間以上であるとともに、前記一方の方向から前記反対の方向への折り返し時に、前記画素部における同一の画素で電荷の蓄積時間が重ならない場合、前記同一の画素を連続して使用する
    　請求項８に記載のセンサフュージョンシステム。
  10. 　前記同一の画素は、時間位相が調整される
    　請求項９に記載のセンサフュージョンシステム。
  11. 　前記露光制御部は、前記光の出射方向が往復方向に交互になるように駆動される場合、一方の方向の駆動に対応した第１の領域の露光タイミングと、その反対の方向の駆動に対応した前記第１の領域と異なる第２の領域の露光タイミングとを切り替える
    　請求項７に記載のセンサフュージョンシステム。
  12. 　前記第１の領域は、前記画素部に配置された前記複数の画素の数が、前記受光部における前記光を受光する点群数よりも多いことで余剰となる余剰画素を含み、
    　前記第２の領域は、前記余剰画素を含む
    　請求項１１に記載のセンサフュージョンシステム。
  13. 　前記第１の領域及び前記第２の領域の少なくとも一方の領域は、前記受光部における前記光を受光する点群に対応した画素を含む
    　請求項１２に記載のセンサフュージョンシステム。
  14. 　前記光源部は、単一の光源を１次元方向に拡散照射するか、又は複数の光源を１次元方向に並列に配置している
    　請求項１に記載のセンサフュージョンシステム。
  15. 　前記露光制御部から前記画素部への制御線は、前記第１の方向に配線される
    　請求項１に記載のセンサフュージョンシステム。
  16. 　前記測距装置のスキャン方式は、水平方向の往復方向スキャンであり、
    　前記撮像装置のADC方式は、行並列ADC方式である
    　請求項１に記載のセンサフュージョンシステム。
  17. 　前記露光制御部は、ローリングシャッタ方式での露光を制御する
    　請求項１６に記載のセンサフュージョンシステム。
  18. 　前記測距装置は、ライダであり、
    　前記撮像装置は、イメージセンサを含む
    　請求項１に記載のセンサフュージョンシステム。
  19. 　測距装置と撮像装置との同期を制御する同期制御装置において、
    　前記測距装置は、
    　　第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
    　　前記光源部が前記光を出射するタイミングを制御する光源制御部と、
    　　所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
    　　前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
    　　計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
    　を備え、
    　前記撮像装置は、
    　　２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
    　　前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
    　　前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
    　を備え、
    　前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部を具備する
    　同期制御装置。
  20. 　　第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
    　　前記光源部が前記光を出射するタイミングを制御する光源制御部と、
    　　所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
    　　前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
    　　計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
    　を備える測距装置と、
    　　２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
    　　前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
    　　前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
    　を備える撮像装置と
    　の同期を制御する同期制御装置が、
    　前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する
    　同期制御方法。
PCT/JP2019/038088 2018-10-12 2019-09-27 センサフュージョンシステム、同期制御装置、及び同期制御方法 WO2020075525A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19870087.4A EP3865911B1 (en) 2018-10-12 2019-09-27 Sensor fusion system, synchronization control device, and synchronization control method
US17/282,986 US20210341616A1 (en) 2018-10-12 2019-09-27 Sensor fusion system, synchronization control apparatus, and synchronization control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018193152A JP2022036339A (ja) 2018-10-12 2018-10-12 センサフュージョンシステム、同期制御装置、及び同期制御方法
JP2018-193152 2018-10-12

Publications (1)

Publication Number Publication Date
WO2020075525A1 true WO2020075525A1 (ja) 2020-04-16

Family

ID=70164535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038088 WO2020075525A1 (ja) 2018-10-12 2019-09-27 センサフュージョンシステム、同期制御装置、及び同期制御方法

Country Status (4)

Country Link
US (1) US20210341616A1 (ja)
EP (1) EP3865911B1 (ja)
JP (1) JP2022036339A (ja)
WO (1) WO2020075525A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7140229B1 (ja) 2021-04-28 2022-09-21 沖電気工業株式会社 推定装置、推定方法およびプログラム
DE102021118427A1 (de) 2021-07-16 2023-01-19 Schölly Fiberoptic GmbH Bildaufnahmevorrichtung für verbesserte Bildgebung bei schwacher Lichtintensität sowie zugehöriges Bildaufnahmeverfahren
TWI799894B (zh) * 2020-07-16 2023-04-21 美商葵欣實驗室股份有限公司 視覺優先光達系統與其距離偵測方法及非暫時性電腦可讀取儲存媒體指令
WO2024106375A1 (ja) * 2022-11-15 2024-05-23 ヌヴォトンテクノロジージャパン株式会社 画像センシング装置、画像センシング方法およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102615478B1 (ko) * 2019-10-24 2023-12-19 현대모비스 주식회사 자동차용 센서 통합 모듈
KR20210150765A (ko) * 2020-06-04 2021-12-13 에스케이하이닉스 주식회사 이미지 센싱 장치 및 이를 포함하는 촬영 장치
CN114063111A (zh) * 2022-01-14 2022-02-18 探维科技(北京)有限公司 图像融合激光的雷达探测系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333339A (ja) * 1994-06-03 1995-12-22 Mitsubishi Electric Corp 自動車用障害物検知装置
JP2005114542A (ja) * 2003-10-08 2005-04-28 Hitachi Ltd 障害物検知装置及びそれを用いた障害物警報装置
US20070055446A1 (en) * 2005-09-02 2007-03-08 Schiffmann Jan K Method for estimating unknown parameters for a vehicle object detection system
JP2008172441A (ja) * 2007-01-10 2008-07-24 Omron Corp 検出装置および方法、並びに、プログラム
JP2011227029A (ja) * 2010-04-23 2011-11-10 Honda Motor Co Ltd 車両の周辺監視装置
JP2015212941A (ja) 2014-04-25 2015-11-26 グーグル インコーポレイテッド 複数のセンサーを用いる物体検出方法及びシステム
JP2016211881A (ja) * 2015-04-30 2016-12-15 株式会社デンソー 光飛行時間測定装置及び光学的測距装置
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665567B1 (ko) * 2010-05-20 2016-10-12 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333339A (ja) * 1994-06-03 1995-12-22 Mitsubishi Electric Corp 自動車用障害物検知装置
JP2005114542A (ja) * 2003-10-08 2005-04-28 Hitachi Ltd 障害物検知装置及びそれを用いた障害物警報装置
US20070055446A1 (en) * 2005-09-02 2007-03-08 Schiffmann Jan K Method for estimating unknown parameters for a vehicle object detection system
JP2008172441A (ja) * 2007-01-10 2008-07-24 Omron Corp 検出装置および方法、並びに、プログラム
JP2011227029A (ja) * 2010-04-23 2011-11-10 Honda Motor Co Ltd 車両の周辺監視装置
JP2015212941A (ja) 2014-04-25 2015-11-26 グーグル インコーポレイテッド 複数のセンサーを用いる物体検出方法及びシステム
JP2016211881A (ja) * 2015-04-30 2016-12-15 株式会社デンソー 光飛行時間測定装置及び光学的測距装置
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3865911A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI799894B (zh) * 2020-07-16 2023-04-21 美商葵欣實驗室股份有限公司 視覺優先光達系統與其距離偵測方法及非暫時性電腦可讀取儲存媒體指令
JP7140229B1 (ja) 2021-04-28 2022-09-21 沖電気工業株式会社 推定装置、推定方法およびプログラム
JP2022170241A (ja) * 2021-04-28 2022-11-10 沖電気工業株式会社 推定装置、推定方法およびプログラム
DE102021118427A1 (de) 2021-07-16 2023-01-19 Schölly Fiberoptic GmbH Bildaufnahmevorrichtung für verbesserte Bildgebung bei schwacher Lichtintensität sowie zugehöriges Bildaufnahmeverfahren
WO2024106375A1 (ja) * 2022-11-15 2024-05-23 ヌヴォトンテクノロジージャパン株式会社 画像センシング装置、画像センシング方法およびプログラム

Also Published As

Publication number Publication date
EP3865911A4 (en) 2021-11-17
JP2022036339A (ja) 2022-03-08
US20210341616A1 (en) 2021-11-04
EP3865911A1 (en) 2021-08-18
EP3865911B1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
WO2020075525A1 (ja) センサフュージョンシステム、同期制御装置、及び同期制御方法
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2018042887A1 (ja) 測距装置、および、測距装置の制御方法
JP7044107B2 (ja) 光センサ、及び、電子機器
EP3654063B1 (en) Electronic device and method for controlling electronic device
US11454723B2 (en) Distance measuring device and distance measuring device control method
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
CN111434105A (zh) 固态成像元件、成像装置和固态成像元件的控制方法
TW202101960A (zh) 圖像辨識裝置、固體攝像裝置及圖像辨識方法
US20210297589A1 (en) Imaging device and method of controlling imaging device
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
WO2020175117A1 (ja) 測距装置、測距方法、並びにプログラム
WO2017195459A1 (ja) 撮像装置、および撮像方法
JP2018064257A (ja) 撮像システム
WO2020175118A1 (ja) 測距装置、測距方法、並びにプログラム
WO2020137318A1 (ja) 測定装置、測距装置および測定方法
US20220113410A1 (en) Distance measuring device, distance measuring method, and program
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
WO2021039458A1 (ja) 測距センサおよびその駆動方法、並びに、測距モジュール
US11851007B2 (en) Vehicle-mounted camera and drive control system using vehicle-mounted camera
WO2021235033A1 (ja) センシングシステム
WO2024004519A1 (ja) 情報処理装置及び情報処理方法
WO2021166344A1 (ja) センシングシステム、および、測距システム
WO2021100593A1 (ja) 測距装置及び測距方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19870087

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019870087

Country of ref document: EP

Effective date: 20210512

NENP Non-entry into the national phase

Ref country code: JP