WO2020255589A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020255589A1
WO2020255589A1 PCT/JP2020/019054 JP2020019054W WO2020255589A1 WO 2020255589 A1 WO2020255589 A1 WO 2020255589A1 JP 2020019054 W JP2020019054 W JP 2020019054W WO 2020255589 A1 WO2020255589 A1 WO 2020255589A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
target
image
optical system
vehicle
Prior art date
Application number
PCT/JP2020/019054
Other languages
English (en)
French (fr)
Inventor
諭志 河田
神尾　和憲
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2020255589A1 publication Critical patent/WO2020255589A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Definitions

  • This disclosure relates to information processing devices, information processing methods and programs.
  • Sensor fusion that accurately recognizes the surrounding situation by integrating the information acquired by multiple sensors is drawing attention.
  • Sensor fusion is applied, for example, as a core technology for realizing autonomous driving of automobiles.
  • it is necessary to calibrate between the sensors.
  • Patent Documents 1 and 2 describe techniques related to such calibration.
  • the present disclosure has been made in view of the above points, and one of the purposes of the present disclosure is to provide an information processing device, an information processing method, and a program capable of making the calibration system compact.
  • the present disclosure is, for example, An information processing apparatus having a calibration processing unit that calibrates the sensor based on a plurality of images of the target acquired by each of the plurality of sensors via an optical system having at least a concave mirror and a target. ..
  • the present disclosure is, for example, This is an information processing method in which a calibration processing unit calibrates the sensor based on a plurality of images of the target acquired by each of the plurality of sensors via an optical system having at least a concave mirror and a target. ..
  • a computer performs an information processing method in which a calibration processing unit calibrates the sensor based on a plurality of images of the target acquired by each of the plurality of sensors via an optical system having at least a concave mirror and a target. It is a program to be executed by.
  • LiDAR capable of measuring a distance of several hundred meters (meters) has also been developed.
  • calibration including a distance of several hundred meters is required, for example.
  • a vast facility for securing the distance is required, and a huge calibration target covering a wide field of view in the distance is required. Therefore, a system that can perform calibration compactly is desired.
  • FIG. 5 is a diagram showing a configuration example of a system (hereinafter, appropriately referred to as a calibration system 10) for which calibration according to the present embodiment is performed.
  • the calibration system 10 includes, for example, an optical system 100, a sensor group 200 including a plurality of sensors, and an information processing device 300.
  • the sensor group 200 according to the present embodiment includes a camera (visible light camera) 201A which is an example of an imaging sensor and LiDAR201B which is an example of a distance measuring sensor.
  • the optical system has at least a concave mirror (a mirror in which light rays passing through the focal point become parallel light) and a calibration target.
  • the optical system 100 according to the present embodiment has a calibration target 101, a plane mirror 102, a concave mirror 103A, and a concave mirror 103B.
  • the calibration target 101 is arranged on the right front side of the sensor group 200
  • the plane mirror 102 is arranged on the left front side of the sensor group 200
  • the calibration target 101 and the plane mirror 102 are arranged so as to face each other.
  • the concave mirror 103A is arranged in front of the camera 201A
  • the concave mirror 103B is arranged in front of the LiDAR 201B.
  • the optical system 100 is an optical system adjusted so that the appearance of the calibration target 101 from a predetermined sensor matches as a virtual image as if the calibration target 101 was placed at a predetermined distance.
  • the optical system 100 is an optical system set so as to be able to express a virtual image from the sensor group 200 to a predetermined distant destination (distance L (m)).
  • the distance L can be appropriately set according to the type of application and the like. For example, when a plurality of sensor groups 200 are applied to the sensor fusion related to automatic driving, the distance L is set to about several hundred meters.
  • the sensor group 200 may have three or more sensors. Examples of the sensors constituting the sensor group 200 include a stereo camera, a ToF (Time of Flight), a radar, and the like, in addition to the camera 201A and LiDAR201B.
  • the camera 201A is arranged so as to acquire an image of the image of the calibration target 101 projected on the concave mirror 103A.
  • the LiDAR201B is arranged so as to acquire an image of the image of the calibration target 101 projected on the concave mirror 103B.
  • the information processing device 300 calibrates the sensors constituting the sensor group 200.
  • the information processing device 300 can be configured as, for example, a desktop personal computer, a notebook personal computer, a mobile device such as a smartphone, a server device on a cloud network, or the like.
  • FIG. 6 is a diagram for explaining a configuration example of the information processing device 300 according to the embodiment.
  • the information processing device 300 includes an image acquisition unit 301, an image determination unit 302, an optical system adjustment unit 303, a deterioration parameter acquisition unit 304, a deterioration correction processing unit 305, and a calibration processing unit 306. ..
  • the image acquisition unit 301 acquires an image taken by each sensor constituting the sensor group 200.
  • the sensors used in the above-mentioned processes related to each phase do not necessarily have to be the same. Therefore, the image acquisition unit 301 may acquire an image captured by a sensor other than the camera 201A or LiDAR201B.
  • the plurality of images acquired by the image acquisition unit 301 are appropriately supplied to the image determination unit 302, the deterioration parameter acquisition unit 304, and the deterioration correction processing unit 305.
  • the image determination unit 302 and the optical system adjustment unit 303 are functional blocks that mainly operate in the processing related to the optical system design phase.
  • the image determination unit 302 determines whether or not the appearances of the plurality of images acquired by the image acquisition unit 301 match.
  • the appearance of a plurality of images is the center position of the image, the angle of view (image acquisition range), the size of the image, and the like.
  • the image determination unit 302 determines that the appearances of the plurality of images do not match, the image determination unit 302 outputs the determination result to the optical system adjustment unit 303.
  • the optical system adjustment unit 303 acquires parameters for optical system adjustment for adjusting the optical system 100 based on the degree of agreement (deviation) in the appearance of a plurality of images.
  • the parameter for adjusting the optical system is a parameter for adjusting the position and orientation of the calibration target 101 constituting the optical system 100, the position and orientation of the concave mirrors 103A, 103B, and the like.
  • the physical position, orientation, and the like of each configuration of the optical system 100 are adjusted based on the parameters acquired by the optical system adjusting unit 303. Such adjustment may be performed manually or automatically by using an appropriate moving mechanism.
  • the deterioration parameter acquisition unit 304 is a functional block that mainly operates in the processing related to the image deterioration parameter acquisition phase.
  • the deterioration parameter acquisition unit 304 acquires a parameter indicating deterioration of the image obtained through the optical system 100 adjusted based on the parameter for optical system adjustment. Even if adjustments are made to the optical system 100, it is difficult to realize ideal parallel light due to the accuracy of the concave mirrors 103A and 103B, the size of the optical system 100, manufacturing errors, and the like. These errors occur as non-uniform deterioration in the captured image.
  • Image degradation is at least one of pixel-by-pixel blurring in an image, image distortion and curvature, and dimming around the image.
  • the deterioration parameter acquisition unit 304 acquires the parameter indicating the deterioration of the above-mentioned image. For example, regarding the blur for each pixel, the deterioration parameter acquisition unit 304 photographs the dot pattern, measures the PSF (Point Spread Function) of each pixel, and acquires the PSF map as a result. Regarding the distortion and curvature of the image, the deterioration parameter acquisition unit 304 photographs the calibration target 101 (or a checkerboard pattern different from the calibration target 101) and measures the distortion model near the corner of the image. Further, regarding the dimming around the image, the deterioration parameter acquisition unit 304 captures a white pattern and measures the degree of dimming of each pixel.
  • PSF Point Spread Function
  • the deterioration parameter acquisition unit 304 outputs the PSF map, the distortion model, and the dimming map indicating the degree of dimming of each pixel, which are acquired as parameters indicating the deterioration of the image, to the deterioration correction processing unit 305.
  • the deterioration correction processing unit 305 and the calibration processing unit 306 are functional blocks that mainly operate in the processing related to the calibration phase.
  • the deterioration correction processing unit 305 performs correction processing on a plurality of images supplied from the image acquisition unit 301 based on the parameters indicating the deterioration of the image supplied from the deterioration parameter acquisition unit 304.
  • the correction process is a process for correcting the deterioration of the image.
  • the deterioration correction processing unit 305 removes the blur by Deconvolution (reverse convolution) using, for example, the PSF map supplied from the deterioration parameter acquisition unit 304.
  • the deterioration correction processing unit 305 corrects the distortion and curvature of the image by performing geometric correction by projective transformation using, for example, the coefficient of the distortion model supplied from the deterioration parameter acquisition unit 304.
  • the deterioration correction processing unit 305 corrects the dimming of each pixel by, for example, performing a gain correction on the brightness using a dimming map.
  • the calibration processing unit 306 calibrates the plurality of sensors based on the plurality of images related to the calibration target acquired by each of the plurality of sensors constituting the sensor group 200 via the optical system 100.
  • Calibration for a plurality of sensors specifically means acquiring parameters for alignment between a plurality of images acquired by each of the plurality of sensors, and more specifically, projective transformation. It is a process to acquire the parameters for. Further, as long as the above-mentioned parameters for projective transformation are applied to the calibration according to the present embodiment, the appearance of each of the plurality of sensors for the same target becomes the same (the deviation is less than a predetermined value). Including adjusting the physical arrangement of multiple sensors.
  • FIG. 7 is a flowchart showing a processing flow related to the optical system design phase of the present embodiment.
  • step ST11 the optical design sensor is installed at a predetermined position.
  • the sensor for optical design may be the same sensor as the camera 201A and LiDAR201B, or may be a different sensor. Then, the process proceeds to step ST12.
  • step ST12 the optical system design target is installed at a predetermined position. An appropriate target for optical system design can be used. Then, the process proceeds to step ST13.
  • step ST13 the optical system 100 including the concave mirror is adjusted.
  • the positions and orientations of the concave mirrors 103A and 103B, the plane mirror 102, and the like are appropriately adjusted. Then, the process proceeds to step ST14.
  • step ST14 the optical system design target is photographed by each of the plurality of sensors, and the target image obtained by the photographing is acquired by the image acquisition unit 301.
  • the plurality of sensors may be cameras 201A and LiDAR201B, or other sensors (for example, a stereo camera). Then, the process proceeds to step ST15.
  • step ST15 a plurality of target images acquired by the image acquisition unit 301 are supplied to the image determination unit 302. Then, the image determination unit 302 determines whether or not the appearances of the plurality of target images match.
  • the image determination unit 302 determines whether or not the appearances of the plurality of target images match.
  • step ST15 if the appearances of the plurality of target images do not match, the optical system adjustment unit 303 acquires the parameters for optical system adjustment. Then, the process returns to step ST13, and the optical system 100 is adjusted based on the parameters for adjusting the optical system. Then, the processes after step ST13 are repeated.
  • FIG. 8 is a flowchart showing the flow of processing related to the image deterioration parameter acquisition phase of the present embodiment.
  • step ST21 a deterioration acquisition sensor for acquiring image deterioration is installed at a predetermined position.
  • the deterioration acquisition sensor an appropriate sensor can be used. Then, the process proceeds to step ST22.
  • a deterioration acquisition target for acquiring image deterioration is installed at a predetermined position.
  • a target for example, a point light source
  • the process proceeds to step ST23.
  • step ST23 the deterioration acquisition target is photographed by each of the plurality of deterioration acquisition sensors, and the target image obtained by the imaging is acquired by the image acquisition unit 301. Then, the process proceeds to step ST24.
  • step ST24 a plurality of target images acquired by the image acquisition unit 301 are supplied to the deterioration parameter acquisition unit 304.
  • the deterioration parameter acquisition unit 304 calculates the deterioration parameter based on at least one target image among the plurality of target images. Then, the deterioration parameter acquisition unit 304 supplies the calculated deterioration parameter to the deterioration correction processing unit 305. Then, the process related to the image deterioration parameter acquisition phase is completed.
  • FIG. 9 is a flowchart showing a flow of processing related to the calibration phase of the present embodiment.
  • step ST31 the calibration target 101 is installed at a predetermined position.
  • the predetermined position where the calibration target 101 is installed is the arrangement position of the optical system design target adjusted in the optical system adjustment phase. Then, the process proceeds to step ST32.
  • step ST32 sensors to be calibrated (for example, cameras 201A and LiDAR201B) are installed at predetermined positions. Then, the process proceeds to step ST33.
  • sensors to be calibrated for example, cameras 201A and LiDAR201B
  • step ST33 each sensor is calibrated. The calibration is not performed at the first time. Then, the process proceeds to step ST34.
  • step ST34 the calibration target 101 is photographed by each sensor, and the target image obtained by the photographing is acquired by the image acquisition unit 301. Then, the process proceeds to step ST35.
  • step ST35 a plurality of target images acquired by the image acquisition unit 301 are supplied to the deterioration correction processing unit 305.
  • the deterioration correction processing unit 305 performs deterioration correction processing based on the deterioration parameters supplied from the deterioration parameter acquisition unit 304. By the deterioration correction processing, the deterioration of the image included in each target image is corrected. Then, the process proceeds to step ST36.
  • step ST36 a plurality of images that have undergone deterioration correction processing are supplied to the calibration processing unit 306.
  • the calibration processing unit 306 determines whether or not the appearances of the plurality of target images match. Here, when the appearances of the plurality of target images match, it is assumed that appropriate calibration has been performed, and the processing related to the calibration phase ends. If the appearances of the plurality of target images do not match, the process returns to step ST33.
  • step ST33 the calibration processing unit 306 calibrates each sensor.
  • the calibration processing unit 306 adjusts, for example, parameters for projective transformation.
  • the physical positions of each sensor (camera 201A and LiDAR201B in this example) (for example, the relative positions of both sensors and 3) so that the appearance of the target image matches when the parameters for projective conversion are applied. Position on the axis) is adjusted. Such adjustment may be performed manually or automatically using an appropriate moving mechanism.
  • the processes of steps ST33 to ST36 are repeated until the appearances of the target images acquired by each sensor match.
  • the present embodiment described above by concentrating the light rays emitted from the calibration target on the sensor using a concave mirror, it is possible to take a picture as if a huge calibration target is installed in the distance. Can be done. Therefore, since the calibration target and the like can be miniaturized, the entire calibration system can be made compact. Further, since the deterioration of the image is corrected by performing the image deterioration correction, it becomes possible to appropriately perform the calibration based on the image.
  • the arrangement mode of each configuration in the optical system can be changed as appropriate.
  • the optical system may have only a concave mirror without having a plane mirror.
  • the optical system includes a calibration target 101 arranged between the camera 201A and the LiDAR201B, a concave mirror 401A arranged in front of the camera 201A, and a concave mirror arranged in front of the LiDAR201B.
  • a configuration having 401B may be used.
  • the arrangement position and orientation of the concave mirrors 401A and 401B may be the arrangement position shown in FIG. 11 in addition to FIG. As described above, as long as the calibration target can be imaged, the arrangement position of the calibration target, the concave mirror, and the like can be appropriately changed.
  • the calibration target 101 may be arranged behind the sensor group 200.
  • a plane mirror 102 and a plane mirror 102A are arranged in front of the left and right sides of the sensor group 200, respectively.
  • the calibration target 101 is imaged on the concave mirror 103A via the plane mirror 102.
  • the calibration target 101 is imaged on the concave mirror 103B via the plane mirror 102A.
  • the optical system can be composed of N concave mirrors (where N is an arbitrary integer of 1 or more) and M plane mirrors (where M is an arbitrary integer of 0 or more).
  • the optical system may have a lens arranged in front of the concave mirror (incident direction). Further, in the above-described embodiment, the calibration using the calibration target arranged at a predetermined position from the sensor group has been described, but the location of the calibration target is appropriately changed, and the location of the calibration target is changed as appropriate. Calibration The calibration is performed so that the appearance of the target matches.
  • This disclosure can also be realized by devices, methods, programs, systems, etc.
  • a program that performs the functions described in the above-described embodiment can be downloaded, and a device that does not have the functions described in the above-described embodiment downloads and installs the program, thereby performing the control described in the embodiment in the device. It becomes possible to do.
  • the present disclosure can also be realized by a server that distributes such a program.
  • the items described in each embodiment and modification can be combined as appropriate.
  • the present disclosure may also adopt the following configuration.
  • An information processing device having a calibration processing unit that calibrates the sensors based on a plurality of images of the target acquired by each of the plurality of sensors via an optical system having at least a concave mirror and a target.
  • the information processing apparatus according to (1) wherein the calibration processing unit acquires parameters for aligning between the plurality of images.
  • the information processing apparatus according to (1) or (2) which has a deterioration parameter acquisition unit that acquires a parameter indicating deterioration of an image obtained via the optical system.
  • the parameter is a parameter relating to at least one of pixel-by-pixel blur in the image, distortion and curvature of the image, and dimming around the image.
  • the information processing apparatus which has a deterioration correction processing unit that corrects the deterioration of each of the plurality of images based on the parameters acquired by the deterioration parameter acquisition unit.
  • the information processing apparatus which has a deterioration correction processing unit that corrects the deterioration of each of the plurality of images based on the parameters acquired by the deterioration parameter acquisition unit.
  • the calibration processing unit acquires parameters for aligning between the plurality of images based on the corrected images.
  • the optical system is an optical system adjusted so that the appearance of the target from a predetermined sensor matches as a virtual image as if the target was placed at a predetermined distance (1) to (6).
  • the information processing device according to any one of.
  • (8) The information processing apparatus according to any one of (1) to (7), wherein the optical system has a plurality of concave mirrors.
  • the information processing apparatus according to (8), wherein the optical system includes one or a plurality of plane mirrors.
  • the sensor is either an imaging sensor or a distance measuring sensor.
  • a computer performs an information processing method in which a calibration processing unit calibrates the sensor based on a plurality of images of the target acquired by each of the plurality of sensors via an optical system having at least a concave mirror and a target. Program to be executed by.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure includes any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), and the like. It may be realized as a device mounted on the body.
  • FIG. 13 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via the communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an external information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these plurality of control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various arithmetics, and a drive circuit that drives various control target devices. To be equipped.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside or outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • control unit 7600 As the functional configuration of the integrated control unit 7600, the microcomputer 7610, the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, the audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are shown.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle condition detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. Includes at least one of the sensors for detecting angular velocity, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using signals input from the vehicle state detection unit 7110 to control an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as head lamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 7200 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the vehicle outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle exterior information detection unit 7420 is used, for example, to detect the current weather or an environment sensor for detecting the weather, or to detect other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 14 shows an example of the installation positions of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided on the front nose and the image pickup section 7918 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the imaging unit 7916 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 14 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 as viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle exterior information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives the detection information from the connected vehicle exterior information detection unit 7420. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives the received reflected wave information.
  • the vehicle outside information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes the image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is dozing or not. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device such as a touch panel, a button, a microphone, a switch or a lever, which can be input-operated by a passenger. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • Bluetooth® may be implemented.
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a terminal of a driver, a pedestrian or a store, or an MTC (Machine Type Communication) terminal). You may connect with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 uses standard protocols such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of lower layer IEEE802.11p and upper layer IEEE1609. May be implemented.
  • Dedicated communication I / F7630 typically includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-pedestrian (Vehicle to Pedestrian) communication. ) Perform V2X communication, which is a concept that includes one or more of communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic congestion, road closure, or required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobile High-Definition Multimedia Interface
  • a wired connection such as -definition Link
  • the in-vehicle device 7760 includes, for example, at least one of a mobile device or a wearable device owned by a passenger, or an information device carried in or attached to a vehicle. Further, the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 is a control signal to and from these in-vehicle devices 7760. Or exchange the data signal.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits and receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
  • the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control for the purpose of driving or the like may be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 has information acquired via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict a danger such as a vehicle collision, a pedestrian or the like approaching or entering a closed road based on the acquired information, and may generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or turning on a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices other than these devices, such as headphones, wearable devices such as eyeglass-type displays worn by passengers, and projectors or lamps.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs it audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any control unit.
  • a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • a computer program for realizing each function of the information processing apparatus 300 according to the present embodiment described with reference to FIG. 6 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the information processing device 300 can be applied to the integrated control unit 7600 of the application example shown in FIG. More specifically, the calibrated sensor group 200 can be applied to the vehicle exterior information detection unit 7400. Since the calibration has been performed, it is possible to realize an appropriate sensor fusion in the vehicle exterior information detection unit 7400.
  • the components of the information processing apparatus 300 described with reference to FIG. 6 are included in the module for the integrated control unit 7600 shown in FIG. 13 (for example, an integrated circuit module composed of one die). It may be realized. Alternatively, the information processing device 300 described with reference to FIG. 6 may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

少なくとも凹面鏡とターゲットとを有する光学系を介して、複数のセンサのそれぞれにより取得されるターゲットに関する複数の画像に基づいて、センサに対するキャリブレーションを行うキャリブレーション処理部を有する情報処理装置である。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　複数のセンサにより取得される情報を統合することで周囲の状況を正確に認識するセンサフュージョンが注目されている。センサフュージョンは、例えば、自動車の自動運転を実現するコアな技術として適用される。センサフュージョンを実現するためには、センサ間でのキャリブレーションを行う必要がある。下記特許文献１、２には、係るキャリブレーションに関する技術が記載されている。
特開２００４－１９１３５４号公報
特開２０１８－１６３１１１号公報
　このような分野では、キャリブレーションを行うシステムをコンパクトにすることが望まれる。
　本開示は、上述した点に鑑みてなされたものであり、キャリブレーションを行うシステムをコンパクトにすることができる情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。
　本開示は、例えば、
　少なくとも凹面鏡とターゲットとを有する光学系を介して、複数のセンサのそれぞれにより取得される前記ターゲットに関する複数の画像に基づいて、前記センサに対するキャリブレーションを行うキャリブレーション処理部を有する
　情報処理装置である。
　本開示は、例えば、
　キャリブレーション処理部が、少なくとも凹面鏡とターゲットとを有する光学系を介して、複数のセンサのそれぞれにより取得される前記ターゲットに関する複数の画像に基づいて、前記センサに対するキャリブレーションを行う
　情報処理方法である。
　本開示は、例えば、
　キャリブレーション処理部が、少なくとも凹面鏡とターゲットとを有する光学系を介して、複数のセンサのそれぞれにより取得される前記ターゲットに関する複数の画像に基づいて、前記センサに対するキャリブレーションを行う
　情報処理方法をコンピュータに実行させるプログラムである。
本開示において考慮すべき問題を説明する際に参照される図である。 本開示において考慮すべき問題を説明する際に参照される図である。 本開示において考慮すべき問題を説明する際に参照される図である。 本開示において考慮すべき問題を説明する際に参照される図である。 一実施形態に係るキャリブレーションが行われるシステムの構成例を示す図である。 一実施形態に係る情報処理装置の構成例を説明するための図である。 一実施形態の光学系設計フェーズに係る処理の流れを示すフローチャートである。 一実施形態の画像劣化パラメータ取得フェーズに係る処理の流れを示すフローチャートである。 一実施形態のキャリブレーションフェーズに係る処理の流れを示すフローチャートである。 変形例を説明するための図である。 変形例を説明するための図である。 変形例を説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示の実施形態等について図面を参照した説明がなされる。なお、説明は以下の順序で行われる。
＜考慮すべき問題＞
＜一実施形態＞
＜変形例＞
＜応用例＞
　以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
＜考慮すべき問題＞
　始めに、本開示の理解を容易とするために、本開示において考慮すべき問題についての説明がなされる。上述したように、センサフュージョンを実現する上で、複数のセンサ間でキャリブレーションが行われる必要がある。一般的には、図１に模式的に示すように、複数のセンサ（図示の例では、カメラ１Ａ及びＬｉＤＡＲ(Light Detection and Ranging)１Ｂ）で同一のキャリブレーションターゲット１Ｃを撮影し、複数のセンサ間でキャリブレーションターゲット１Ｃの見え方が一致するようにキャリブレーションが行われる。キャリブレーションターゲット１Ｃは、例えば、所定のチェッカパターンが付された板状のものである。勿論、キャリブレーションターゲット１Ｃは、適宜なものを使用することができる。
　ところで、近年、センサそのものの性能が向上している。具体例としては、数百ｍ（メートル）の遠方まで測距可能なＬｉＤＡＲも開発されている。広範囲のセンサフュージョンを実現するためには、例えば数百ｍの遠方まで含めたキャリブレーションが必要とされる。しかしながら、数百ｍ先にキャリブレーションターゲット１Ｃを配置するためには当該距離を確保する広大な施設が必要となる他、遠方の広い視界をカバーする巨大なキャリブレーションターゲットが必要となってしまう。そこで、キャリブレーションをコンパクトに行うことができるシステムが望まれる。
　上述した特許文献１、２に記載の技術では、光路長の短縮が困難であることから、キャリブレーションを行う環境をコンパクトにすることができない。また、広い画角を網羅的にカバーするには大きな鏡が必要となる。また、特許文献２に記載されているように、合わせ鏡を用いる技術（図２における合わせ鏡１Ｄ、１Ｅ参照）では、キャリブレーションターゲット１Ｃを小さくしたり、キャリブレーションターゲット１Ｃまでの距離を小さくするためには大きな合わせ鏡が必要となってしまう。
　また、キャリブレーションターゲット１Ｃを平面鏡に映し出して、映し出された虚像をセンサにより撮影することも考えられる。しかしながら、平面鏡は対象物（本例におけるキャリブレーションターゲット１Ｃ）の拡大／縮小効果がないため、光路長やキャリブレーションターゲット１Ｃのサイズを実際よりも小さくすることができない。また、図３に示すように、平面鏡１Ｆにカメラ１ＡやＬｉＤＡＲ１Ｂが映り込まないような配置が必要になる。また、図４に示すように、カメラ１Ａの前に平面鏡１Ｇを配置し、ＬｉＤＡＲ１Ｂの前に平面鏡１Ｈを配置する態様も考えられる。しかしながら、図示の配置態様では、それぞれの平面鏡にキャリブレーションターゲット１Ｃを映し出す必要があるため、場合によってはキャリブレーションターゲット１Ｃを複数、用意する必要が生じる。このように、平面鏡を用いてキャリブレーションを行うシステムでは、各構成の配置の自由度が低下してしまうという問題がある。以上の点を踏まえつつ、本開示の一実施形態に関する説明がなされる。
＜一実施形態＞
［キャリブレーションが行われるシステム］
（システムの構成例）
　図５は、本実施形態に係るキャリブレーションが行われるシステム（以下、キャリブレーションシステム１０と適宜、称される）の構成例を示す図である。キャリブレーションシステム１０は、例えば、光学系１００と、複数のセンサを含むセンサ群２００と、情報処理装置３００とを有している。本実施形態に係るセンサ群２００は、撮像センサの一例であるカメラ（可視光カメラ）２０１Ａと、測距センサの一例であるＬｉＤＡＲ２０１Ｂを有している。
　光学系は、少なくとも凹面鏡（焦点を通る光線が平行光になる鏡）とキャリブレーションターゲットを有している。本実施形態に係る光学系１００は、キャリブレーションターゲット１０１と、平面鏡１０２と、凹面鏡１０３Ａと、凹面鏡１０３Ｂとを有している。本実施形態では、センサ群２００の右前方にキャリブレーションターゲット１０１が配置され、センサ群２００の左前方に平面鏡１０２が配置されており、更に、キャリブレーションターゲット１０１と平面鏡１０２とが対向して配置されている。凹面鏡１０３Ａはカメラ２０１Ａの前方に、凹面鏡１０３ＢはＬｉＤＡＲ２０１Ｂの前方にそれぞれ配置されている。
　キャリブレーションターゲット１０１の像が平面鏡１０２に映し出され、平面鏡１０２に映し出された像が凹面鏡１０３Ａに映し出される。また、キャリブレーションターゲット１０１の像が凹面鏡１０３Ｂに映し出される。光学系１００は、所定のセンサからのキャリブレーションターゲット１０１の見え方が、所定の遠方にキャリブレーションターゲット１０１を置いたかのような虚像として一致するように調整がなされた光学系である。換言すれば、光学系１００は、センサ群２００から所定の遠方の先（距離Ｌ（ｍ））までの虚像を表現できるように設定される光学系である。距離Ｌは、アプリケーションの種類等に応じて適宜、設定することができる。例えば、自動運転に係るセンサフュージョンに複数のセンサ群２００が適用される場合には、距離Ｌは数百ｍ程度に設定される。
　センサ群２００は、３個以上のセンサを有していても良い。センサ群２００を構成するセンサとしては、カメラ２０１Ａ及びＬｉＤＡＲ２０１Ｂの他に、ステレオカメラ、ＴｏＦ(Time of Flight)、レーダ等を挙げることができる。カメラ２０１Ａは、凹面鏡１０３Ａに映し出されたキャリブレーションターゲット１０１の像の画像を取得するように配置される。ＬｉＤＡＲ２０１Ｂは、凹面鏡１０３Ｂに映し出されたキャリブレーションターゲット１０１の像の画像を取得するように配置される。
　情報処理装置３００は、センサ群２００を構成するセンサに対するキャリブレーションを行う。情報処理装置３００は、例えば、デスクトップ型のパーソナルコンピュータ、ノート型のパーソナルコンピュータ、スマートフォン等のモバイル機器、クラウドネットワーク上のサーバ装置等として構成され得る。
（キャリブレーションシステムで行われる処理の概略）
　ここで、キャリブレーションシステム１０で行われる処理の概略についての説明がなされる。キャリブレーションシステム１０では、光学系１００を設計する光学系設計フェーズに係る処理、設計された光学系１００を介して取得される画像を劣化させるパラメータが取得される画像劣化パラメータ取得フェーズに係る処理、及び、取得された劣化パラメータを用いてキャリブレーション対象のセンサ（本例では、カメラ２０１Ａ及びＬｉＤＡＲ２０１Ｂ）により撮影された撮影画像に対して劣化補正処理を施しながら、それぞれのセンサをキャリブレーションするキャリブレーションフェーズに係る処理が行われる。各フェーズに係る処理の詳細については後述される。
（情報処理装置の構成例）
　図６は、一実施形態に係る情報処理装置３００の構成例を説明するための図である。情報処理装置３００は、画像取得部３０１と、画像判断部３０２と、光学系調整部３０３と、劣化パラメータ取得部３０４と、劣化補正処理部３０５と、キャリブレーション処理部３０６とを有している。
　画像取得部３０１は、センサ群２００を構成する各センサにより撮影された画像を取得する。なお、上述した各フェーズに係る処理で用いられるセンサは、必ずしも同一である必要は無い。従って、画像取得部３０１は、カメラ２０１ＡやＬｉＤＡＲ２０１Ｂ以外のセンサによって撮影された画像を取得する場合もあり得る。画像取得部３０１により取得された複数の画像は、画像判断部３０２、劣化パラメータ取得部３０４、及び、劣化補正処理部３０５に適宜、供給される。
　画像判断部３０２及び光学系調整部３０３は、主に、光学系設計フェーズに係る処理で動作する機能ブロックである。画像判断部３０２は、画像取得部３０１で取得された複数の画像の見え方が一致しているか否かを判断する。複数の画像の見え方とは、画像の中心位置、画角（画像の取得範囲）、画像の大きさ等である。画像判断部３０２は、複数の画像の見え方が一致していないと判断した場合には、その判断結果を光学系調整部３０３に出力する。
　光学系調整部３０３は、複数の画像の見え方の一致度合い（ずれ）に基づいて、光学系１００を調整する光学系調整用のパラメータを取得する。光学系調整用のパラメータとは、光学系１００を構成するキャリブレーションターゲット１０１の位置や向き、凹面鏡１０３Ａ、１０３Ｂ等の位置や向き等を調整するパラメータである。光学系調整部３０３により取得されたパラメータに基づいて、光学系１００の各構成の物理的な位置、向き等が調整される。係る調整は、人手で行われても良いし、適宜な移動機構を用いて自動で行われても良い。
　劣化パラメータ取得部３０４は、主に、画像劣化パラメータ取得フェーズに係る処理で動作する機能ブロックである。劣化パラメータ取得部３０４は、光学系調整用のパラメータに基づいて調整がなされた光学系１００を介して得られる画像の劣化を示すパラメータを取得する。光学系１００に対する調整がなされたとしても、凹面鏡１０３Ａ、１０３Ｂ等の精度や光学系１００のサイズ、製造誤差等から理想的な平行光を実現することは困難である。これらの誤差は、撮影された像において、不均一な劣化として生じる。画像の劣化は、画像内の画素毎のぼけ、画像の歪み及び湾曲、及び、画像の周辺の減光の少なくとも一つである。
　劣化パラメータ取得部３０４は、上述した画像の劣化を示すパラメータを取得する。例えば、画素毎のボケに関しては、劣化パラメータ取得部３０４は、ドットパターンを撮影して、各画素のＰＳＦ(Point Spread Function)を計測し、その結果であるＰＳＦマップを取得する。画像の歪及び湾曲に関しては、劣化パラメータ取得部３０４は、キャリブレーションターゲット１０１（若しくは、キャリブレーションターゲット１０１と異なるチェッカーボードパターンでも良い）を撮影し、画像のコーナ付近の歪モデルを計測する。また、画像の周辺の減光に関しては、劣化パラメータ取得部３０４は、白色パターンを撮影して各画素の減光度合いを計測する。勿論、上述した方法は一例であり、異なる方法に基づいて、画像の劣化を示すパラメータが取得されても良い。劣化パラメータ取得部３０４は、画像の劣化を示すパラメータとして取得した、ＰＳＦマップ、歪モデル、各画素の減光度合いを示す減光マップを劣化補正処理部３０５に出力する。
　劣化補正処理部３０５及びキャリブレーション処理部３０６は、主に、キャリブレーションフェーズに係る処理で動作する機能ブロックである。劣化補正処理部３０５は、劣化パラメータ取得部３０４から供給された画像の劣化を示すパラメータに基づいて、画像取得部３０１から供給される複数の画像に対する補正処理を行う。補正処理は、画像の劣化を補正する処理である。劣化補正処理部３０５は、例えば、劣化パラメータ取得部３０４から供給されたＰＳＦマップを用いて、Ｄｅｃｏｎｖｏｌｕｔｉｏｎ（逆畳み込み）によるボケ除去を行う。劣化補正処理部３０５は、例えば、劣化パラメータ取得部３０４から供給された歪みモデルの係数を用いて、射影変換による幾何補正を行うことで画像の歪及び湾曲を補正する。劣化補正処理部３０５は、例えば、減光マップを用いて輝度に対するゲイン補正を行うことにより各画素の減光を補正する。
　キャリブレーション処理部３０６は、光学系１００を介して、センサ群２００を構成する複数のセンサのそれぞれにより取得される、キャリブレーションターゲットに関する複数の画像に基づいて、複数のセンサに対するキャリブレーションを行う。複数のセンサに対するキャリブレーションとは、具体的には、複数のセンサのそれぞれにより取得される複数の画像間で位置合わせを行うためのパラメータを取得することであり、より具体的には、射影変換用のパラメータを取得する処理である。また、本実施形態に係るキャリブレーションには、上述した射影変換用のパラメータを適用さえすれば、同一のターゲットに対する複数のセンサのそれぞれによる見え方が同一となる（所定以下のずれとなる）程度に、複数のセンサの物理的な配置が調整されることを含む。
［キャリブレーションシステムで行われる処理］
（光学系設計フェーズに係る処理）
　続いて、図７～図９のフローチャートを参照して、キャリブレーションシステム１０で行われる処理についての説明がなされる。図７は、本実施形態の光学系設計フェーズに係る処理の流れを示すフローチャートである。以下に説明する処理が行われることで、上述した距離Ｌまでの虚像を表現できる光学系が構築される。
　ステップＳＴ１１では、光学設計用センサが所定位置に設置される。光学設計用センサは、カメラ２０１Ａ及びＬｉＤＡＲ２０１Ｂと同じセンサでも良いし、異なるセンサでも良い。そして、処理がステップＳＴ１２に進む。
　ステップＳＴ１２では、光学系設計用ターゲットが所定位置に設置される。光学系設計用ターゲットは、適宜なものを使用することができる。そして、処理がステップＳＴ１３に進む。
　ステップＳＴ１３では、凹面鏡を含む光学系１００の調整がなされる。例えば、凹面鏡１０３Ａ、１０３Ｂや平面鏡１０２等の位置や向き等が適宜、調整される。そして、処理がステップＳＴ１４に進む。
　ステップＳＴ１４では、複数のセンサのそれぞれにより光学系設計用ターゲットの撮影がなされ、撮影により得られたターゲット画像が画像取得部３０１により取得される。なお、複数のセンサは、カメラ２０１Ａ及びＬｉＤＡＲ２０１Ｂでも良いし、それ以外のセンサ（例えば、ステレオカメラ）であっても良い。そして、処理がステップＳＴ１５に進む。
　ステップＳＴ１５では、画像取得部３０１により取得された複数のターゲット画像が、画像判断部３０２に供給される。そして、画像判断部３０２により、複数のターゲット画像の見え方が一致するか否かが判断される。ここで、複数のターゲット画像の見え方が一致する場合には、適切な光学系１００が設計されたものとして、光学系設計フェーズに係る処理が終了する。
　ステップＳＴ１５に係る判断処理において、複数のターゲット画像の見え方が一致しない場合には、光学系調整部３０３により光学系調整用のパラメータが取得される。そして、処理がステップＳＴ１３に戻り、光学系調整用のパラメータに基づいて、光学系１００の調整がなされる。そして、ステップＳＴ１３以降の処理が繰り返される。
（画像劣化パラメータ取得フェーズに係る処理）
　図８は、本実施形態の画像劣化パラメータ取得フェーズに係る処理の流れを示すフローチャートである。
　ステップＳＴ２１では、画像の劣化を取得するための劣化取得用センサが所定位置に設置される。劣化取得用センサは、適宜なセンサを使用することができる。そして、処理がステップＳＴ２２に進む。
　ステップＳＴ２２では、画像の劣化を取得するための劣化取得用ターゲットが所定位置に設置される。劣化取得用ターゲットとしては、画像の劣化を検出し易いターゲット（例えば、点光源）が用いられる。そして、処理がステップＳＴ２３に進む。
　ステップＳＴ２３では、複数の劣化取得用センサのそれぞれにより劣化取得用ターゲットの撮影がなされ、撮影により得られたターゲット画像が画像取得部３０１により取得される。そして、処理がステップＳＴ２４に進む。
　ステップＳＴ２４では、画像取得部３０１により取得された複数のターゲット画像が、劣化パラメータ取得部３０４に供給される。劣化パラメータ取得部３０４は、複数のターゲット画像のうちの少なくとも一つのターゲット画像に基づいて、劣化パラメータを計算する。そして、劣化パラメータ取得部３０４は、計算した劣化パラメータを劣化補正処理部３０５に供給する。そして、画像劣化パラメータ取得フェーズに係る処理が終了する。
（キャリブレーションフェーズに係る処理）
　図９は、本実施形態のキャリブレーションフェーズに係る処理の流れを示すフローチャートである。
　ステップＳＴ３１では、キャリブレーションターゲット１０１が所定位置に設置される。キャリブレーションターゲット１０１が設置される所定位置は、光学系調整フェーズで調整がなされた光学系設計用ターゲットの配置位置である。そして、処理がステップＳＴ３２に進む。
　ステップＳＴ３２では、キャリブレーションの対象となるセンサ（例えば、カメラ２０１Ａ及びＬｉＤＡＲ２０１Ｂ）が所定位置に設置される。そして、処理がステップＳＴ３３に進む。
　ステップＳＴ３３では、各センサにキャリブレーションが行われる。なお、初回は、キャリブレーションは行われない。そして、処理がステップＳＴ３４に進む。
　ステップＳＴ３４では、各センサによりキャリブレーションターゲット１０１の撮影がなされ、撮影により得られたターゲット画像が画像取得部３０１により取得される。そして、処理がステップＳＴ３５に進む。
　ステップＳＴ３５では、画像取得部３０１により取得された複数のターゲット画像が、劣化補正処理部３０５に供給される。ステップＳＴ３５では、劣化補正処理部３０５が、劣化パラメータ取得部３０４から供給された劣化パラメータに基づいた劣化補正処理を行う。係る劣化補正処理により、それぞれのターゲット画像に含まれる画像の劣化が補正される。そして、処理がステップＳＴ３６に進む。
　ステップＳＴ３６では、劣化補正処理がなされた複数の画像がキャリブレーション処理部３０６に供給される。キャリブレーション処理部３０６は、複数のターゲット画像の見え方が一致するか否かが判断される。ここで、複数のターゲット画像の見え方が一致する場合には、適切なキャリブレーションが行われたものとして、キャリブレーションフェーズに係る処理が終了する。複数のターゲット画像の見え方が一致しない場合には、処理がステップＳＴ３３に戻る。
　ステップＳＴ３３では、キャリブレーション処理部３０６が各センサにキャリブレーションを行う。キャリブレーション処理部３０６は、例えば、射影変換用のパラメータを調整する。また、射影変換用のパラメータを適用すればターゲット画像の見え方が一致するように、各センサ（本例におけるカメラ２０１Ａ及びＬｉＤＡＲ２０１Ｂ）の物理的な位置（例えば、両センサの相対的な位置や３軸上の位置）が調整される。かかる調整は、人手で行われても良いし、適宜な移動機構を用いて自動で行われても良い。各センサにより取得されるターゲット画像の見え方が一致するまで、ステップＳＴ３３～ＳＴ３６までの処理が繰り返される。
　以上説明した本実施形態によれば、凹面鏡を用いてキャリブレーションターゲットから発する光線をセンサに集光することにより、あたかも遠方に巨大なキャリブレーションターゲットを設置したかのような撮影を可能とすることができる。従って、キャリブレーションターゲット等を小型化できるのでキャリブレーションシステム全体をコンパクトにすることができる。また、画像劣化補正が行われることにより、画像の劣化が補正されるので、画像に基づくキャリブレーションを適切に行うことが可能となる。
＜変形例＞
　以上、本開示の一実施形態について具体的に説明したが、本開示の内容は上述した一実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
　光学系における各構成の配置態様は、適宜、変更可能である。光学系は平面鏡を有さずに凹面鏡のみを有するものであっても良い。例えば、図１０に示すように、光学系は、カメラ２０１ＡとＬｉＤＡＲ２０１Ｂとの間に配置されたキャリブレーションターゲット１０１と、カメラ２０１Ａの前方に配置された凹面鏡４０１Ａと、ＬｉＤＡＲ２０１Ｂの前方に配置された凹面鏡４０１Ｂとを有する構成でも良い。凹面鏡４０１Ａ、４０１Ｂの配置位置や向きは、図１０の他に図１１に示す配置位置等であっても良い。このように、キャリブレーションターゲットを結像できる位置であれば、キャリブレーションターゲットや凹面鏡等の配置位置等は適宜、変更可能である。
　図１２に示すように、キャリブレーションターゲット１０１がセンサ群２００の後方に配置されても良い。センサ群２００の左右前方に平面鏡１０２及び平面鏡１０２Ａがそれぞれ配置される。平面鏡１０２を介して凹面鏡１０３Ａにキャリブレーションターゲット１０１が結像する。平面鏡１０２Ａを介して凹面鏡１０３Ｂにキャリブレーションターゲット１０１が結像する。このように、光学系は、Ｎ個の凹面鏡（但し、Ｎは１以上の任意の整数）と、Ｍ個の平面鏡（但し、Ｍは０以上の任意の整数）とにより構成することができる。
　光学系は、凹面鏡の前（入射方向）に配置されたレンズを有していても良い。また、上述した一実施形態では、センサ群から所定の位置に配置されたキャリブレーションターゲットを使用したキャリブレーションに関する説明がなされたが、キャリブレーションターゲットの場所が適宜、変更され、それぞれの場所でのキャリブレーションターゲットの見え方が一致するように、キャリブレーションがなされる。
　本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施形態で説明した機能を行うプログラムをダウンロード可能とし、実施形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施形態、変形例で説明した事項は、適宜組み合わせることが可能である。
　なお、本開示中に例示された効果により本開示の内容が限定して解釈されるものではない。
　本開示は、以下の構成も採ることができる。
（１）
　少なくとも凹面鏡とターゲットとを有する光学系を介して、複数のセンサのそれぞれにより取得される前記ターゲットに関する複数の画像に基づいて、前記センサに対するキャリブレーションを行うキャリブレーション処理部を有する
　情報処理装置。
（２）
　前記キャリブレーション処理部は、前記複数の画像間で位置合わせを行うためのパラメータを取得する
　（１）に記載の情報処理装置。
（３）
　前記光学系を介して得られる画像の劣化を示すパラメータを取得する劣化パラメータ取得部を有する
　（１）又は（２）に記載の情報処理装置。
（４）
　前記パラメータは、前記画像内の画素毎のぼけ、前記画像の歪み及び湾曲、及び、前記画像の周辺の減光の少なくとも一つに関するパラメータである
　（３）に記載の情報処理装置。
（５）
　前記劣化パラメータ取得部により取得されたパラメータに基づいて、前記複数の画像のそれぞれの劣化を補正する劣化補正処理部を有する
　（３）又は（４）に記載の情報処理装置。
（６）
　前記キャリブレーション処理部は、前記補正がなされた前記複数の画像に基づいて、当該複数の画像間で位置合わせを行うためのパラメータを取得する
　（５）に記載の情報処理装置。
（７）
　前記光学系は、所定のセンサからの前記ターゲットの見え方が、所定の遠方に前記ターゲットを置いたかのような虚像として一致するように調整がなされた光学系である
　（１）から（６）までの何れかに記載の情報処理装置。
（８）
　前記光学系は、複数の凹面鏡を有する
　（１）から（７）までの何れかに記載の情報処理装置。
（９）
　前記光学系は、１又は複数の平面鏡を含む
　（８）に記載の情報処理装置。
（１０）
　前記センサは、撮像センサ及び測距センサの何れかである
　（１）から（９）までの何れかに記載の情報処理装置。
（１１）
　キャリブレーション処理部が、少なくとも凹面鏡とターゲットとを有する光学系を介して、複数のセンサのそれぞれにより取得される前記ターゲットに関する複数の画像に基づいて、前記センサに対するキャリブレーションを行う
　情報処理方法。
（１２）
　キャリブレーション処理部が、少なくとも凹面鏡とターゲットとを有する光学系を介して、複数のセンサのそれぞれにより取得される前記ターゲットに関する複数の画像に基づいて、前記センサに対するキャリブレーションを行う
　情報処理方法をコンピュータに実行させるプログラム。
　＜応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１３に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１３では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１４は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１４には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１３に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１３の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１３に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図６を用いて説明した本実施形態に係る情報処理装置３００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図６を用いて説明した本実施形態に係る情報処理装置３００は、図１３に示した応用例の統合制御ユニット７６００に適用することができる。より具体的には、キャリブレーションがなされたセンサ群２００は、車外情報検出ユニット７４００に適用することができる。キャリブレーションがなされているので、車外情報検出ユニット７４００における適切なセンサフュージョンを実現することができる。
　また、図６を用いて説明した情報処理装置３００の少なくとも一部の構成要素は、図１３に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図６を用いて説明した情報処理装置３００が、図１３に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
１０・・・キャリブレーションシステム
１００・・・光学系
１０３Ａ，１０３Ｂ・・・凹面鏡
２００・・・センサ群
２０１Ａ・・・カメラ
２０１Ｂ・・・ＬｉＤＡＲ
３００・・・情報処理装置
３０４・・・劣化パラメータ取得部
３０５・・・劣化補正処理部
３０６・・・キャリブレーション処理部

Claims (12)

  1. 　少なくとも凹面鏡とターゲットとを有する光学系を介して、複数のセンサのそれぞれにより取得される前記ターゲットに関する複数の画像に基づいて、前記センサに対するキャリブレーションを行うキャリブレーション処理部を有する
    　情報処理装置。
  2. 　前記キャリブレーション処理部は、前記複数の画像間で位置合わせを行うためのパラメータを取得する
    　請求項１に記載の情報処理装置。
  3. 　前記光学系を介して得られる画像の劣化を示すパラメータを取得する劣化パラメータ取得部を有する
    　請求項１に記載の情報処理装置。
  4. 　前記パラメータは、前記画像内の画素毎のぼけ、前記画像の歪み及び湾曲、及び、前記画像の周辺の減光の少なくとも一つに関するパラメータである
    　請求項３に記載の情報処理装置。
  5. 　前記劣化パラメータ取得部により取得されたパラメータに基づいて、前記複数の画像のそれぞれの劣化を補正する劣化補正処理部を有する
    　請求項３に記載の情報処理装置。
  6. 　前記キャリブレーション処理部は、前記補正がなされた前記複数の画像に基づいて、当該複数の画像間で位置合わせを行うためのパラメータを取得する
    　請求項５に記載の情報処理装置。
  7. 　前記光学系は、所定のセンサからの前記ターゲットの見え方が、所定の遠方に前記ターゲットを置いたかのような虚像として一致するように調整がなされた光学系である
    　請求項１に記載の情報処理装置。
  8. 　前記光学系は、複数の凹面鏡を有する
    　請求項１に記載の情報処理装置。
  9. 　前記光学系は、１又は複数の平面鏡を含む
    　請求項８に記載の情報処理装置。
  10. 　前記センサは、撮像センサ及び測距センサの何れかである
    　請求項１に記載の情報処理装置。
  11. 　キャリブレーション処理部が、少なくとも凹面鏡とターゲットとを有する光学系を介して、複数のセンサのそれぞれにより取得される前記ターゲットに関する複数の画像に基づいて、前記センサに対するキャリブレーションを行う
    　情報処理方法。
  12. 　キャリブレーション処理部が、少なくとも凹面鏡とターゲットとを有する光学系を介して、複数のセンサのそれぞれにより取得される前記ターゲットに関する複数の画像に基づいて、前記センサに対するキャリブレーションを行う
    　情報処理方法をコンピュータに実行させるプログラム。
PCT/JP2020/019054 2019-06-17 2020-05-13 情報処理装置、情報処理方法及びプログラム WO2020255589A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019111820 2019-06-17
JP2019-111820 2019-06-17

Publications (1)

Publication Number Publication Date
WO2020255589A1 true WO2020255589A1 (ja) 2020-12-24

Family

ID=74040777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019054 WO2020255589A1 (ja) 2019-06-17 2020-05-13 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2020255589A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012132739A (ja) * 2010-12-21 2012-07-12 Ricoh Co Ltd ステレオカメラの校正装置および校正方法
US20170067995A1 (en) * 2014-04-10 2017-03-09 Zoller + Fröhlich GmbH Laser scanner and method
CN108759862A (zh) * 2018-04-16 2018-11-06 西安微普光电技术有限公司 一种多光轴自动校准系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012132739A (ja) * 2010-12-21 2012-07-12 Ricoh Co Ltd ステレオカメラの校正装置および校正方法
US20170067995A1 (en) * 2014-04-10 2017-03-09 Zoller + Fröhlich GmbH Laser scanner and method
CN108759862A (zh) * 2018-04-16 2018-11-06 西安微普光电技术有限公司 一种多光轴自动校准系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOJIMA, Y. ET AL.: "Omnidirectional Stereo with Compound Convex Mirrors", TRANSACTIONS ON COMPUTER VISION AND IMAGE MEDIA, vol. 47, no. 10, 15 July 2006 (2006-07-15), pages 152 - 161, XP055773254, ISSN: 0387-5806, Retrieved from the Internet <URL:http://id.nii.ac.jp/1001/00017986> *

Similar Documents

Publication Publication Date Title
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11076141B2 (en) Image processing device, image processing method, and vehicle
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
JP7059522B2 (ja) 制御装置、制御方法、プログラム及び撮像システム
US20240075866A1 (en) Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body
WO2019155719A1 (ja) キャリブレーション装置とキャリブレーション方法およびプログラム
WO2018180579A1 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
US11585898B2 (en) Signal processing device, signal processing method, and program
JPWO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
WO2020085101A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP2019036862A (ja) サーバ装置、記録方法、およびプログラム、並びに情報処理装置
WO2021256483A1 (ja) 制御装置、投影システム、制御方法及びプログラム
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
CN111868778A (zh) 图像处理装置、图像处理方法、以及程序
WO2022097470A1 (ja) 信号処理装置、撮像装置及び信号処理方法
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20826347

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20826347

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP