WO2020189081A1 - カメラシステムの評価装置及び評価方法 - Google Patents

カメラシステムの評価装置及び評価方法 Download PDF

Info

Publication number
WO2020189081A1
WO2020189081A1 PCT/JP2020/004733 JP2020004733W WO2020189081A1 WO 2020189081 A1 WO2020189081 A1 WO 2020189081A1 JP 2020004733 W JP2020004733 W JP 2020004733W WO 2020189081 A1 WO2020189081 A1 WO 2020189081A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
evaluation device
unit
viewpoint
Prior art date
Application number
PCT/JP2020/004733
Other languages
English (en)
French (fr)
Inventor
隆良 千代田
中田　啓明
道雄 森岡
雅之 金井
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US17/426,969 priority Critical patent/US20220101500A1/en
Priority to DE112020000836.3T priority patent/DE112020000836T5/de
Priority to JP2021506232A priority patent/JP7245318B2/ja
Publication of WO2020189081A1 publication Critical patent/WO2020189081A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23446—HIL hardware in the loop, simulates equipment to which a control module is fixed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2637—Vehicle, car, auto, wheelchair
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals

Definitions

  • the present invention relates to an evaluation device that simulates a state in which a vehicle travels on a road and evaluates a camera system mounted on the vehicle.
  • HILS Hardware In the Loop Simulator
  • a simulator is an actual control system by using an actual object as an evaluation target, modeling other vehicle elements, and constructing an evaluation device by combining these. It is a tool to virtually evaluate.
  • a simulator for example, the one described in Patent Document 1 is known.
  • HILS When constructing HILS using an evaluation target that executes arithmetic processing based on various sensor information, it is necessary to provide sensor information at the timing requested by the evaluation target. For example, it is necessary to input an image to the evaluation target at the timing when the camera to be evaluated releases the shutter. In HILS, since the actual image cannot be input to the evaluation target, the virtual image of the outside world created by CG (Computer Graphics) is input. Originally, the evaluation target adjusts the brightness of the lens and the image sensor every moment, and it is desired that the virtual image input to the evaluation target is also changed based on the instruction from the evaluation target.
  • CG Computer Graphics
  • Patent Document 1 Japanese Patent Laid-Open No. 2010-26845
  • the evaluation target camera control ECU
  • the evaluation target since there is no function of feeding back the timing signal from the evaluation target (camera control ECU) to the camera model, it is not possible to input the necessary image according to the control of the evaluation target, and the evaluation There is a problem that the target can correctly recognize the image and cannot control the vehicle based on the recognition result.
  • an object of the present invention is to use the information output from the evaluation target when evaluating the evaluation target in the HILS environment using the CG image, and to use the information output from the evaluation target to optically perform the brightness and distortion required by the evaluation target. Evaluation is performed using a virtual image that has undergone various image processing.
  • a typical example of the invention disclosed in the present application is as follows. That is, it is an evaluation device of a camera system including a camera that captures the outside world, and simulates an image generation unit that generates a simulation image that simulates an image of the outside world taken by the camera and an image that is output from the camera. An optical filter unit that performs optical image processing for the simulation image, and a camera image processing unit that performs recognition processing using the image after the image processing to generate a signal for vehicle control. To be equipped.
  • the camera image processing unit can be appropriately evaluated using a virtual image that has undergone optical image processing such as brightness and distortion required by the evaluation target. Issues, configurations and effects other than those mentioned above will be clarified by the description of the following examples.
  • FIG. 1 It is a figure which shows the structural example of HILS which used the optical filter function which concerns on Example of this invention. It is a figure which shows the structure of the vehicle behavior simulator which concerns on Example 1.
  • FIG. It is a figure which shows the structure of the viewpoint image generation function which concerns on Example 1.
  • FIG. It is a figure which shows the structure of the optical filter function which concerns on Example 1.
  • FIG. It is a conceptual diagram of the gain adjustment part which concerns on Example 1.
  • FIG. It is a figure which shows the structure of the camera format conversion function which concerns on Example 1.
  • FIG. It is a figure which shows the structure of the stereo camera ECU which concerns on Example 1.
  • FIG. It is a sequence diagram which shows the operation of each function constituting HILS which concerns on Example 1.
  • FIG. 1 It is a figure which shows the structural example of HILS which controlled the optical filter function which concerns on Example 2 to the image generation function. It is a figure which shows the structure of the viewpoint image generation function including the optical filter function which concerns on Example 2.
  • FIG. It is a sequence diagram which shows the operation of each function constituting HILS which concerns on Example 2.
  • FIG. It is a figure which shows the structural example of SILS using the optical filter function which concerns on Example 3.
  • FIG. It is a figure which shows the structural example of HILS of the monocular camera which concerns on Example 4.
  • FIG. It is a figure which shows the structure of the viewpoint image CG image part which concerns on Example 5.
  • FIG. 1 is a diagram showing a configuration example of HILS using the optical filter function according to the embodiment of the present invention.
  • the evaluation environment for evaluating the stereo camera ECU 6 to which the CG image S7 is input is the vehicle behavior simulator 1, the left viewpoint image generation function 2, the right viewpoint image generation function 3, the optical filter function 4, and the camera format conversion function 5. It is composed of and.
  • the vehicle behavior simulator 1 calculates the behavior of the vehicle at predetermined time (for example, 1 millisecond) intervals, and calculates the left and right camera coordinates and posture of the own vehicle in the simulation space.
  • the calculated camera coordinates and posture may be a relative change amount of the coordinates and the posture angle at a certain time, or may be an absolute coordinate and an absolute posture angle based on a predetermined position or direction.
  • the behavior of the vehicle is calculated by using the vehicle control information S10 such as the accelerator, the brake, and the steering angle input from the stereo camera ECU 6 in addition to the information that the driver operates the accelerator, the brake, and the steering.
  • the calculated left viewpoint coordinate / posture S1 is transmitted to the left viewpoint image generation function 2, and the right viewpoint coordinate / posture S2 is transmitted to the right viewpoint image generation function 3.
  • vehicle information S11 such as vehicle speed is transmitted to the stereo camera ECU 6.
  • the left viewpoint image generation function 2 generates the left viewpoint image S3 from the left viewpoint coordinates / posture S1 calculated by the vehicle behavior simulator 1 and transmits it to the optical filter function 4.
  • the right viewpoint image generation function 3 generates a right viewpoint image S4 from the right viewpoint coordinates / posture S2 calculated by the vehicle behavior simulator 1 and transmits it to the optical filter function 4.
  • the optical filter function 4 displays the left-viewpoint image S5 and the right-viewpoint image S6 in which the left and right viewpoint images S3 and S4 are subjected to optical image processing such as brightness and noise according to the optical processing information S8 output from the stereo camera ECU 6. It is generated and transmitted to the camera format conversion function 5 at the timing of the shutter signal S9.
  • the camera format conversion function 5 converts the input optical processed left-viewpoint image S5 and right-viewpoint image S6 into a CG image S7 suitable for a hard and soft camera I / F that can be received by the stereo camera ECU6. ..
  • the stereo camera ECU 6 receives the input of the CG image S7 suitable for the camera I / F and the vehicle information S11 such as the vehicle speed, and supplies the vehicle control information S10 such as the accelerator, the brake, and the steering angle to the vehicle behavior simulator 1 as needed. Output. Further, the stereo camera ECU 6 outputs the optical processing information S8 including the exposure information required by the stereo camera ECU 6 and the shutter signal S9 indicating the timing of requesting the image to the optical filter function 4 at the timing of requesting the image. .. The shutter signal S9 is also output to the vehicle behavior simulator 1.
  • FIG. 2 is a diagram showing a configuration of a vehicle behavior simulator 1 according to this embodiment.
  • the vehicle behavior simulator 1 is composed of a simulation model 101, viewpoint information I / F105, and CAN I / F106. Further, the simulation model 101 has a sensor model 102, an environment model 103, and a vehicle model 104.
  • the simulation model 101 calculates the behavior (position and posture) of the vehicle at predetermined time (for example, 1 millisecond) intervals, and outputs the calculated left and right viewpoint coordinates / postures S1 and S2 at the timing of the shutter signal S9. ..
  • the vehicle model 104 runs on the virtual road of the environment model 103, the behavior of the vehicle equivalent to that of the actual vehicle is calculated.
  • the vehicle model 104 acquires vehicle control information S10 such as accelerator, brake, and steering angle input from the stereo camera ECU 6 via CAN I / F 106 and reflects it in the vehicle behavior. Further, the vehicle information S11 simulated by the vehicle model 104 is converted by CAN I / F 106 and transmitted to the stereo camera EUC6.
  • the evaluation environment of this embodiment is composed of a processor (CPU), a memory, an auxiliary storage device, and a computer having a communication interface.
  • the evaluation environment may have an input interface and an output interface.
  • the memory includes a ROM which is a non-volatile storage element and a RAM which is a volatile storage element.
  • the ROM stores an invariant program (for example, BIOS) and the like.
  • RAM is a high-speed and volatile storage element such as DRAM (Dynamic Random Access Memory), and temporarily stores a program executed by a processor and data used when executing the program.
  • the auxiliary storage device is, for example, a large-capacity non-volatile storage device such as a magnetic storage device (HDD) or a flash memory (SSD).
  • the auxiliary storage device stores the data used by the processor when executing the program and the program executed by the processor. That is, the program is read from the auxiliary storage device, loaded into the memory, and executed by the processor to realize each function of the evaluation environment.
  • the communication interface is a network interface device that controls communication with other devices according to a predetermined protocol.
  • the input interface is an interface to which input devices such as a keyboard and mouse are connected and receives input from the operator.
  • the output interface is an interface to which an output device such as a display device or a printer (not shown) is connected and outputs a program execution result in a format that can be visually recognized by an operator.
  • a user terminal connected to the evaluation environment via a network may provide an input device and an output device.
  • the evaluation environment may have the function of a web server, and the user terminal may access the evaluation environment by a predetermined protocol.
  • the program executed by the processor is provided to the evaluation environment via removable media (CD-ROM, flash memory, etc.) or a network, and is stored in a non-volatile auxiliary storage device which is a non-temporary storage medium. Therefore, the evaluation environment may have an interface for reading data from removable media.
  • the evaluation environment is a computer system composed of one computer physically or a plurality of computers logically or physically configured, and a virtual computer constructed on a plurality of physical computer resources. May work on.
  • the vehicle behavior simulator 1, the left viewpoint image generation function 2, the right viewpoint image generation function 3, the optical filter function 4, and the camera format conversion function 5 may be operated on separate physical or logical computers. May be combined to operate on one physical or logical computer.
  • FIG. 3 is a diagram showing the configuration of the viewpoint image generation functions 2 and 3 according to this embodiment. Although FIG. 3 shows the configuration of the left viewpoint image generation function 2, the right viewpoint image generation function 3 also has the same configuration.
  • the left viewpoint image generation function 2 is composed of a CG environment information 201, a coordinate information receiving unit 202, a viewpoint image CG generation unit 203, and a CG image transmitting unit 204.
  • the coordinate information receiving unit 202 converts the viewpoint coordinates / posture S1 calculated by the vehicle behavior simulator 1 into a format that can be processed by the viewpoint image CG generation unit 203, and transmits the viewpoint image CG generation unit 203 to the viewpoint image CG generation unit 203.
  • the viewpoint image CG generation unit 203 generates a CG image according to the viewpoint coordinates / posture S1 converted by the coordinate information receiving unit 202 in the virtual space designated by the CG environment information 201, and causes the CG image transmitting unit 204 to generate the CG image. Send.
  • the CG image transmission unit 204 Upon receiving the image generated by the viewpoint image CG generation unit 203, the CG image transmission unit 204 immediately transmits the left viewpoint image S3 to the optical filter function 4.
  • the CG video transmission unit 204 may have a buffer for storing the video.
  • FIG. 4 is a diagram showing the configuration of the optical filter function 4 according to this embodiment.
  • the optical filter function 4 includes a CG image receiving unit 401, a gain adjusting unit 402, a blur processing unit 403, a noise processing unit 404, a distortion processing unit 405, and a CG image transmitting unit 406.
  • the CG image receiving unit 401 receives the left viewpoint image S3 or the right viewpoint image S4 and transmits the gain adjusting unit 402, the blur processing unit 403, the noise processing unit 404, and the distortion processing unit 405.
  • the CG image receiving unit 401 may have a buffer for storing the received image.
  • the optical filter function 4 may have a configuration in which the gain adjustment adjustment unit 402, the blur processing 403, the noise processing 404, and the distortion processing 405 are changed in any order.
  • the gain adjusting unit 402, the blur processing unit 403, the noise processing unit 404, and the distortion processing unit 405 perform a process of simulating the optical system of the camera based on the optical processing information S8 input from the stereo camera ECU 6.
  • One or more of these processes may be selectively executed according to the characteristics of the simulated optical system (lens and image sensor).
  • the gain adjusting unit 402 is a process for simulating the brightness of an image by adjusting the gain of the image sensor of the camera.
  • the blur processing unit 403 is a process for simulating the optical blur inherent in the lens.
  • the noise processing unit 404 is a process for simulating the noise included in the image captured by the camera.
  • the distortion processing unit 405 is a process for simulating the optical distortion inherent in the lens.
  • the optical filter function 4 stores the viewpoint image subjected to optical image processing in the CG image transmission unit 406, and transmits the left and right viewpoint images S5 and S6 to the camera format conversion function 5 at the timing of the shutter signal S9. To do.
  • the CG image transmission unit 406 may have a buffer for storing the image.
  • FIG. 5 is a conceptual diagram of the gain adjusting unit 402 according to this embodiment.
  • FIG. 6 is a diagram showing the configuration of the camera format conversion function 5 according to this embodiment.
  • the CG image receiving unit 501 inputs the left and right viewpoint images S5 and S6 optically processed by the optical filter function 4, and converts the left and right viewpoint images S5 and S6 into a color pattern such as an RGGB format or an RCC format that can be recognized by the camera ECU. Send.
  • the CG video transmission I / F 504 outputs the CG video S7 converted into a format according to the camera format by the transmission format conversion unit 503 to the stereo camera ECU 6.
  • the stereo camera ECU 6 is composed of a CG image receiving I / F601, an image recognition unit 602, and a vehicle control unit 603.
  • the vehicle control unit 603 outputs the vehicle control information S10.
  • the vehicle control information S10 includes an accelerator, a brake, a steering angle, and the like, which are control feedback information for vehicle control generated based on the recognition result by the image recognition unit 602 and the vehicle information S11. Further, the vehicle control unit 603 outputs optical processing information S8 required by the stereo camera ECU 6 such as an exposure time for determining the brightness of the image, and a shutter signal S9 indicating the timing when the stereo camera ECU 6 requests the image.
  • the optical filter function 4 transmits the optically processed image S5 to the camera format conversion function 5 in a signal format that can be processed by the stereo camera ECU 6 at the timing requested by the stereo camera ECU 6 in the next shutter signal S9.
  • the camera format conversion function 5 converts the received video S5 after optical processing into a camera format and transmits the video to the stereo camera ECU 6.
  • the image generation functions 2 and 3 for generating a simulation image that simulates the image of the outside world taken by the camera, and the optical image for simulating the image output from the camera.
  • a camera image processing unit stereo camera ECU 6, stereo camera model
  • the camera image processing unit can be appropriately evaluated using a virtual image that has undergone optical image processing such as brightness and distortion required by the evaluation target.
  • the optical filter function 4 optics the simulation image generated by the image generation functions 2 and 3. Image processing can be performed to generate a simulation image according to the requirements of the stereo camera ECU 6 while suppressing the system load.
  • the operation of the stereo camera ECU 6 may differ depending on the brightness, and when learning the stereo camera ECU 6, images of the same subject having only different brightness are effective.
  • the live-action video and the CG video generated under the specified conditions have only one brightness, and it is difficult to learn in different brightness states.
  • the stereo camera ECU 6 can be sufficiently learned by specifying the brightness more finely than the live-action image.
  • the vehicle behavior simulator 1 that simulates the behavior of the vehicle on which the camera is mounted and the surrounding environment, and the image generation functions 2 and 3 generate a CG image based on the output of the vehicle behavior simulator 1, the vehicle travels. It is possible to generate a CG image according to the above.
  • the stereo camera ECU 6 since it has a camera format conversion function 5 that converts the data format of the image processed by the optical filter function 4 into an image in a format suitable for input to the stereo camera ECU 6, the format input to the stereo camera ECU 6 when mounted on an actual vehicle. (For example, RGGB pixel data output by the image pickup element) can be input to the stereo camera ECU 6, and the stereo camera ECU 6 can be appropriately evaluated.
  • the camera is a compound eye camera that captures at least a left-viewpoint image and a right-viewpoint image
  • the camera is a monocular camera that captures one image. It can also be used with cameras (imaging elements).
  • the optical filter function 4 executes at least one process of gain adjustment processing, blurring processing, noise processing, and distortion processing, the image is taken by the image sensor through an optical system such as an actual lens. It is possible to generate an image equivalent to the image.
  • FIG. 9 is a diagram showing a configuration example of HILS in which the optical filter function 4 is controlled by the image generation function as an embodiment according to the present invention.
  • the left viewpoint image generation function 2 and the right viewpoint image generation function 3 execute optical image processing when generating a CG image.
  • the parts different from the first embodiment will be mainly described, the same functional configurations as those of the first embodiment will be designated by the same reference numerals, and the description thereof will be omitted.
  • the evaluation environment for evaluating the stereo camera ECU 6 to which the CG image S7 is input is composed of a vehicle behavior simulator 1, a left viewpoint image generation function 2, a right viewpoint image generation function 3, and a camera format conversion function 5.
  • the left viewpoint image generation function 2 generates an optically processed left viewpoint image S5 from the left viewpoint coordinates / posture S1 calculated by the vehicle behavior simulator 1 and the optical processing information S8 output from the stereo camera ECU 6. ,
  • the shutter signal S9 is transmitted to the camera format conversion function 5 at the timing of input.
  • the right viewpoint image generation function 3 generates an optically processed right viewpoint image S6 from the right viewpoint coordinates / posture S2 calculated by the vehicle behavior simulator 1 and the optical processing information S8 output from the stereo camera ECU 6. ,
  • the shutter signal S9 is transmitted to the camera format conversion function 5 at the timing of input.
  • the camera format conversion function 5 converts the input optical processed left-viewpoint image S5 and right-viewpoint image S6 into a CG image S7 suitable for a hard and soft camera I / F that can be received by the stereo camera ECU6. ..
  • the stereo camera ECU 6 receives the input of the CG image S7 suitable for the camera I / F and the vehicle information S11 such as the vehicle speed, and supplies the vehicle control information S10 such as the accelerator, the brake, and the steering angle to the vehicle behavior simulator 1 as needed. Output. Further, the stereo camera ECU 6 outputs optical processing information S8 including exposure information required by the stereo camera ECU 6 to the left viewpoint image generation function 2 and the right viewpoint image generation function 3. Further, the stereo camera ECU 6 controls the timing of requesting an image, and outputs a shutter signal S9 indicating the timing of requesting an image to the left viewpoint image generation function 2, the right viewpoint image generation function 3, and the vehicle behavior simulator 1. ..
  • FIG. 10 is a diagram showing the configuration of viewpoint image generation functions 2 and 3 including the optical filter function 4 according to the present embodiment. Although FIG. 10 shows the configuration of the left viewpoint image generation function 2, the right viewpoint image generation function 3 has the same configuration.
  • the left viewpoint image generation function 2 is composed of a CG environment information 201, a coordinate information receiving unit 202, a viewpoint image CG generation unit 203, and a CG image transmitting unit 204.
  • the viewpoint image CG generation unit 203 has an optical filter function 4, and based on the optical processing information S8, the gain adjusting unit 402, the blur processing 403 unit, the noise processing 404 unit, and the distortion processing 405 unit perform image processing. To generate a CG image.
  • the coordinate information receiving unit 202 receives the viewpoint coordinates / posture S1 calculated by the vehicle behavior simulator 1, it transmits the viewpoint video CG generation unit 203.
  • the viewpoint image CG generation unit 203 generates a CG image corresponding to the viewpoint coordinates / posture S1 converted by the coordinate information receiving unit 202 in the virtual space designated by the CG environment information 201, and inputs the CG image from the stereo camera ECU 6. Based on the optical processing information S8, the gain adjusting unit 402, the blur processing unit 403, the noise processing unit 404, and the distortion processing unit 405 perform processing to generate an optically processed CG image, and CG. It is transmitted to the video transmission unit 204.
  • the CG video transmission unit 204 may have a buffer for storing the video.
  • the CG image transmission unit 204 transmits the left viewpoint image S5 after optical image processing to the camera format conversion function 5 at the timing of the shutter signal S9 input from the stereo camera ECU 6.
  • FIG. 11 is a sequence diagram showing the operation of each function constituting the HILS according to this embodiment.
  • the stereo camera ECU 6 transmits the shutter signal S9 and the optical processing information S8 at each timing when the image is requested.
  • the vehicle behavior simulator 1 receives the shutter signal S9, it calculates the camera viewpoint coordinates / posture S1 at the received timing and transmits it to the viewpoint image generation functions 2 and 3.
  • the viewpoint image generation functions 2 and 3 generate a CG image of the notified camera viewpoint coordinates / posture S1 and receive it according to the optical processing information S8 received from the stereo camera EUC6.
  • a CG image S5 that has undergone optical image processing for output to the stereo camera ECU 6 is generated from the CG image S3. The generated image is held by the viewpoint image generation functions 2 and 3.
  • the optical filter function 4 is provided in the image generation functions 2 and 3
  • the processing time for generating the CG image is longer than that in the first embodiment, but the buffer is supplied. It is possible to reduce the number of processes around video generation such as input / output and data transfer. Therefore, the stereo camera ECU 6 can be evaluated in a short time.
  • FIG. 12 is a diagram showing a configuration example of SILS using the optical filter function 4 as a configuration example according to this embodiment.
  • the stereo camera model 7 configured by the software executes the function of the stereo camera ECU 6 of the first embodiment, it is not necessary to convert the format of the data input to the stereo camera model 7, and the camera format conversion is performed. Function 5 becomes unnecessary.
  • the parts different from the first embodiment will be mainly described, the same reference numerals will be given to the configurations of the same functions as those of the first embodiment, and the description thereof will be omitted.
  • the vehicle behavior simulator 1 calculates the behavior of the vehicle at predetermined time (for example, 1 millisecond) intervals, and calculates the left and right camera coordinates and posture of the own vehicle in the simulation space. Further, the behavior of the vehicle is calculated by using the vehicle control information S10 such as the accelerator, the brake, and the steering angle input from the stereo camera ECU 6 in addition to the information operated by the driver.
  • the calculated left viewpoint coordinate / posture S1 is transmitted to the left viewpoint image generation function 2, and the right viewpoint coordinate / posture S2 is transmitted to the right viewpoint image generation function 3. Further, vehicle information S11 such as vehicle speed is transmitted to the stereo camera ECU 6.
  • the left viewpoint image generation function 2 generates the left viewpoint image S3 from the left viewpoint coordinates / posture S1 calculated by the vehicle behavior simulator 1 and transmits it to the optical filter function 4.
  • the right viewpoint image generation function 3 generates the right viewpoint image S4 from the right viewpoint coordinates / posture S2 calculated by the vehicle behavior simulator 1 and transmits it to the optical filter function 4.
  • the optical filter function 4 displays the left-viewpoint image S5 and the right-viewpoint image S6 in which the left and right viewpoint images S3 and S4 are subjected to optical image processing such as brightness and noise according to the optical processing information S8 output from the stereo camera ECU 6. It is generated and transmitted to the camera format conversion function 5 at the timing of the shutter signal S9.
  • the configuration for simulating a stereo camera which is one of the external world recognition sensors, is configured by hardware (HiLS) as in Examples 1 and 2, but is configured by software (SiLS) as in Example 3. You may.
  • the stereo camera ECU composed of hardware is simulated by software, it is not affected by the hardware specifications (for example, signal level) of the stereo camera ECU.
  • the control logic of the stereo camera ECU can be verified.
  • FIG. 13 is a diagram showing a configuration example of HILS of a monocular camera as a configuration example according to this embodiment.
  • the parts different from the first embodiment will be mainly described, the same reference numerals will be given to the configurations of the same functions as those of the first embodiment, and the description thereof will be omitted.
  • the evaluation environment for evaluating the stereo camera ECU 6 to which the CG image S7 is input is composed of a vehicle behavior simulator 1, a viewpoint image generation function 2, an optical filter function 4, and a camera format conversion function 5.
  • the processing of each function is the same as that of the first embodiment described above.
  • the camera which is one of the external world recognition sensors may be a compound eye camera (for example, a stereo camera) as in Examples 1 to 3 or a monocular camera as in Example 4, and the present invention has the number of image pickup elements of the camera. Is not limited to.
  • the present invention can also be applied to a compound eye camera having three or more eyes (a system that generates an ambient image from a viewpoint looking down from above).
  • each of the above-described configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit, and the processor realizes each function. It may be realized by software by interpreting and executing the program to be processed.
  • Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive
  • a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all the control lines and information lines necessary for implementation. In practice, it can be considered that almost all configurations are interconnected.
  • FIG. 14 shows a viewpoint image CG image unit as an example of an embodiment.
  • an RGB image is drawn from a light source existing in the virtual space.
  • Luminance information is included as information on the light emitted by the light source, and is included in the optical processing information S8.
  • the RGB image to be created has a color depth and has a plurality of color information. This color depth can be set arbitrarily and is set to Xbit. Further, the color depth information is associated with the luminance information, and the luminance information and the color depth can be set arbitrarily, and argument references such as one-dimensional and two-dimensional can be made.
  • Vehicle behavior simulator 2 Left viewpoint image generation function 3: Right viewpoint image generation function 4: Optical filter function 5: Camera format conversion function 6: Stereo camera ECU 7: Stereo camera model 101: Simulation model 102: Sensor model 103: Environmental model 104: Vehicle model 105: Viewpoint information I / F 106: CAN I / F 201: CG environment information 202: Coordinate information receiving unit 203: CG generation unit for viewpoint image 204: CG image transmitting unit 401: CG image receiving unit 402: Gain adjustment processing unit 403: Blur processing unit 404: Noise processing unit 405: Distortion Processing unit 406: CG video transmission unit 501: CG video reception unit 502: Color filter conversion unit 503: Video format conversion unit 504: CG video transmission I / F 6011: CG video reception I / F 602: Image recognition unit 603: Vehicle control unit S1: Left viewpoint coordinate / posture S2: Right viewpoint coordinate / posture S3: Left viewpoint image S4: Right viewpoint image S5: Left viewpoint image after optical processing S1:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

評価対象が必要とする明るさや歪みなどの光学的な画像処理を行った仮想映像を用いて評価を行う、外界を撮像するカメラを含むカメラシステムの評価装置であって、前記カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成部と、前記カメラから出力される映像を模擬するための光学的な画像処理を、前記シミュレーション用映像に行う光学フィルタ部と、前記画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理部とを備える。

Description

カメラシステムの評価装置及び評価方法
　本発明は、車両が道路を走行する状態をシミュレートして、該車両に搭載されたカメラシステムを評価する評価装置に関する。
　近年、安全かつ快適な車社会を実現するために運転支援システムや自動運転システムが研究されている。今後、自動運転のレベルが向上するに従って、高速道路の合流地点や交差点における右左折など、周辺環境を含めた複雑な制御ロジックの開発が必要になる。また、これらの機能の複雑な制御ロジックを検証し、評価するために膨大なテストケースが必要になると予想されている。現状の検証・評価は、実車走行評価を中心に実施されているが、今後テスト工数が膨大になり、実車を走行させるだけでは評価が困難であり、シミュレータの活用が一般的である。
　このようなシミュレータとしてのＨＩＬＳ（Ｈａｒｄｗａｒｅ　Ｉｎ　ｔｈｅ　Ｌｏｏｐ　Ｓｉｍｕｌａｔｏｒ）は、評価対象には実物を用い、それ以外の車両要素をモデル化して、これらを組み合わせて評価装置を構築することによって、実際の制御システムを仮想的に評価するツールである。このようなシミュレータとしては、例えば特許文献１に記載のものが知られている。
特開２０１０－２６８４５号公報
　各種センサ情報に基づいて演算処理を実行する評価対象を用いてＨＩＬＳを構築する場合、評価対象が要求するタイミングでセンサ情報を提供する必要がある。例えば、評価対象であるカメラがシャッタを切るタイミングで、評価対象に映像を入力する必要がある。ＨＩＬＳでは、実際の映像を評価対象に入力できないため、ＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）で作成した仮想的な外界の映像を入力する。本来、評価対象はレンズや撮像素子に対して時々刻々と明るさなどを調整しており、評価対象に入力される仮想映像も評価対象からの指示に基づいて変化させることが望まれている。
　前述した特許文献１（特開２０１０－２６８４５号）では、評価対象（カメラ制御ＥＣＵ）からカメラモデルにタイミング信号をフィードバックする機能が無いため、評価対象の制御に従って必要な映像を入力できず、評価対象が映像を正しく認識したり認識結果に基づく車両の制御が不可能となる問題がある。
　以上のことから、本発明の目的は、ＣＧ映像を用いたＨＩＬＳ環境で評価対象を評価する際に、評価対象から出力された情報を用い、評価対象が必要とする明るさや歪みなどの光学的な画像処理を行った仮想映像を用いて評価を行うことである。
　本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、外界を撮像するカメラを含むカメラシステムの評価装置であって、前記カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成部と、前記カメラから出力される映像を模擬するための光学的な画像処理を、前記シミュレーション用映像に行う光学フィルタ部と、前記画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理部とを備える。
　本発明の一態様によれば、評価対象が必要とする明るさや歪みなどの光学的な画像処理を行った仮想映像を用いてカメラ画像処理部を適切に評価できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
本発明の実施例に係る光学フィルタ機能を用いたＨＩＬＳの構成例を示す図である。 実施例１に係る車両挙動シミュレータの構成を示す図である。 実施例１に係る視点映像生成機能の構成を示す図である。 実施例１に係る光学フィルタ機能の構成を示す図である。 実施例１に係るゲイン調整部の概念図である。 実施例１に係るカメラフォーマット変換機能の構成を示す図である。 実施例１に係るステレオカメラＥＣＵの構成を示す図である。 実施例１に係るＨＩＬＳを構成する各機能の動作を示すシーケンス図である。 実施例２に係る光学フィルタ機能を映像生成機能に統轄したＨＩＬＳの構成例を示す図である。 実施例２に係る光学フィルタ機能を含む視点映像生成機能の構成を示す図である。 実施例２に係るＨＩＬＳを構成する各機能の動作を示すシーケンス図である。 実施例３に係る光学フィルタ機能を用いたＳＩＬＳの構成例を示す図である。 実施例４に係る単眼カメラのＨＩＬＳの構成例を示す図である。 実施例５に係る視点映像ＣＧ映像部の構成を示す図である。 実施例５に係るゲイン調整処理部の構成を示す図である。
　以下、本発明の実施例を図面を用いて説明する。
　［実施例１］
　図１は、本発明の実施例に係る光学フィルタ機能を用いたＨＩＬＳの構成例を示す図である。ＣＧ映像Ｓ７が入力されるステレオカメラＥＣＵ６を評価する評価環境は、車両挙動シミュレータ１と、左視点映像生成機能２と、右視点映像生成機能３と、光学フィルタ機能４と、カメラフォーマット変換機能５とから構成される。
　車両挙動シミュレータ１は、所定の時間（例えば、１ミリ秒）間隔で車両の挙動を計算し、シミュレーション空間内にいる自車両の左右のカメラ座標と姿勢を計算する。計算されるカメラ座標と姿勢は、ある時間における座標と姿勢角の相対的な変化量でも、所定の位置や方向を基準とした絶対的な座標と絶対的な姿勢角でもよい。また、車両の挙動は、アクセル、ブレーキ、ステアリングをドライバーが操作する情報の他に、ステレオカメラＥＣＵ６から入力されるアクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を用いて計算する。計算された左視点座標・姿勢Ｓ１を左視点映像生成機能２に送信し、右視点座標・姿勢Ｓ２を右視点映像生成機能３に送信する。また、車速などの車両情報Ｓ１１をステレオカメラＥＣＵ６に送信する。
　左視点映像生成機能２は、車両挙動シミュレータ１によって計算された左視点座標・姿勢Ｓ１から左視点映像Ｓ３を生成し、光学フィルタ機能４に送信する。
　右視点映像生成機能３は、車両挙動シミュレータ１によって計算された右視点座標・姿勢Ｓ２から右視点映像Ｓ４を生成し、光学フィルタ機能４に送信する。
　光学フィルタ機能４は、ステレオカメラＥＣＵ６から出力された光学処理情報Ｓ８に従って、左右の視点映像Ｓ３、Ｓ４に明るさやノイズなどの光学的な画像処理を行った左視点映像Ｓ５、右視点映像Ｓ６を生成し、シャッタ信号Ｓ９のタイミングでカメラフォーマット変換機能５に送信する。
　カメラフォーマット変換機能５は、入力された光学処理後の左視点映像Ｓ５と右視点映像Ｓ６とを、ステレオカメラＥＣＵ６が受信できるハード的かつソフト的カメラＩ／Ｆに適合したＣＧ映像Ｓ７に変換する。
　ステレオカメラＥＣＵ６は、カメラＩ／Ｆに適合したＣＧ映像Ｓ７と、車速などの車両情報Ｓ１１の入力を受け、アクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を必要に応じて車両挙動シミュレータ１に出力する。また、ステレオカメラＥＣＵ６は、ステレオカメラＥＣＵ６が要求する露光情報などを含む光学処理情報Ｓ８と、映像を要求するタイミングを示すシャッタ信号Ｓ９とを、映像を要求するタイミングで光学フィルタ機能４に出力する。また、シャッタ信号Ｓ９は、車両挙動シミュレータ１にも出力される。
　以下の説明において、左右ともに同じ動作をする場合は、左映像について説明する。右映像についての説明は省略するが、左映像と同様の処理が行われる。
　図２は、本実施例に係る車両挙動シミュレータ１の構成を示す図である。
　車両挙動シミュレータ１は、シミュレーションモデル１０１と、視点情報Ｉ／Ｆ１０５と、ＣＡＮ　Ｉ／Ｆ１０６とから構成される。また、シミュレーションモデル１０１は、センサモデル１０２と、環境モデル１０３と、車両モデル１０４とを有する。
　シミュレーションモデル１０１は、所定の時間（例えば、１ミリ秒）間隔で車両の挙動（位置及び姿勢）を計算し、計算された左右の視点座標・姿勢Ｓ１、Ｓ２をシャッタ信号Ｓ９のタイミングで出力する。環境モデル１０３が持つ仮想道路上を車両モデル１０４が走行することによって、実車両と同等の車両の挙動を計算する。車両モデル１０４は、ステレオカメラＥＣＵ６から入力されるアクセル、ブレーキ、舵角などの車両制御情報Ｓ１０をＣＡＮ　Ｉ／Ｆ１０６を介して取得し、車両挙動に反映する。また、車両モデル１０４で模擬した車両情報Ｓ１１はＣＡＮ　Ｉ／Ｆ１０６で変換され、ステレオカメラＥＵＣ６に送信される。
　センサモデル１０２は、車両モデル１０４が模擬する車両に搭載されている外界認識センサの設定を行っており、本実施例ではステレオカメラの車両への取り付け位置が設定される。この外界認識センサの設定は、左右の視点座標・姿勢Ｓ１、Ｓ２の計算に用いられる。計算された左右の視点座標・姿勢Ｓ１、Ｓ２は、視点情報Ｉ／Ｆ１０５を介し、左右それぞれの視点映像生成機能２、３に送信される。
　ここで、本実施例の評価環境を構成する計算機の物理的な構成を説明する。
　本実施例の評価環境は、プロセッサ（ＣＰＵ）、メモリ、補助記憶装置及び通信インターフェースを有する計算機によって構成される。評価環境は、入力インターフェース及び出力インターフェースを有してもよい。
　プロセッサは、メモリに格納されたプログラムを実行する演算装置である。プロセッサが、各種プログラムを実行することによって、評価環境の各部（例えば、車両挙動シミュレータ１、左視点映像生成機能２、右視点映像生成機能３、光学フィルタ機能４、カメラフォーマット変換機能５など）による機能が実現される。なお、プロセッサがプログラムを実行して行う処理の一部を、他の演算装置（例えば、ＡＳＩＣ、ＦＰＧＡ等のハードウエアウェア）で実行してもよい。
　メモリは、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
　補助記憶装置は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置である。また、補助記憶装置は、プロセッサがプログラムの実行時に使用するデータ、及びプロセッサが実行するプログラムを格納する。すなわち、プログラムは、補助記憶装置から読み出されて、メモリにロードされて、プロセッサによって実行されることによって、評価環境の各機能を実現する。
　通信インターフェースは、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。
　入力インターフェースは、キーボードやマウスなどの入力装置が接続され、オペレータからの入力を受けるインターフェースである。出力インターフェースは、ディスプレイ装置やプリンタ（図示省略）などの出力装置が接続され、プログラムの実行結果をオペレータが視認可能な形式で出力するインターフェースである。なお、評価環境にネットワークを介して接続されたユーザ端末が入力装置及び出力装置を提供してもよい。この場合、評価環境がウェブサーバの機能を有し、ユーザ端末が評価環境に所定のプロトコルでアクセスしてもよい。
　プロセッサが実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワークを介して評価環境に提供され、非一時的記憶媒体である不揮発性の補助記憶装置に格納される。このため、評価環境は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
　評価環境は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。例えば、車両挙動シミュレータ１、左視点映像生成機能２、右視点映像生成機能３、光学フィルタ機能４及びカメラフォーマット変換機能５は、各々別個の物理的又は論理的計算機上で動作するものでも、複数が組み合わされて一つの物理的又は論理的計算機上で動作するものでもよい。
　図３は、本実施例に係る視点映像生成機能２、３の構成を示す図である。なお、図３には、左視点映像生成機能２の構成を示すが、右視点映像生成機能３も同じ構成である。
　左視点映像生成機能２は、ＣＧ環境情報２０１と、座標情報受信部２０２と、視点映像ＣＧ生成部２０３と、ＣＧ映像送信部２０４とから構成される。座標情報受信部２０２は、車両挙動シミュレータ１によって計算された視点座標・姿勢Ｓ１を、視点映像ＣＧ生成部２０３が処理できる形式に変換し、視点映像ＣＧ生成部２０３に送信する。
　視点映像ＣＧ生成部２０３は、ＣＧ環境情報２０１で指定された仮想空間上において、座標情報受信部２０２で変換された視点座標・姿勢Ｓ１に応じたＣＧ映像を生成し、ＣＧ映像送信部２０４に送信する。
　ＣＧ映像送信部２０４は、視点映像ＣＧ生成部２０３によって生成された映像を受信すると、すぐに光学フィルタ機能４に左視点映像Ｓ３を送信する。ＣＧ映像送信部２０４は、映像を格納するバッファを有してもよい。
　図４は、本実施例に係る光学フィルタ機能４の構成を示す図である。
　光学フィルタ機能４は、ＣＧ映像受信部４０１と、ゲイン調整部４０２と、ぼかし処理部４０３と、ノイズ処理部４０４と、歪み処理部４０５と、ＣＧ映像送信部４０６とから構成される。ＣＧ映像受信部４０１は、左視点映像Ｓ３又は右視点映像Ｓ４を受信し、ゲイン調整部４０２、ぼかし処理部４０３、ノイズ処理部４０４、歪み処理部４０５に送信する。ＣＧ映像受信部４０１は、受信した映像を格納するバッファを有してもよい。なお、光学フィルタ機能４は、ゲイン調整調整部４０２と、ぼかし処理４０３と、ノイズ処理４０４と、歪み処理４０５を任意の順に変更する構成であってもよい。
　ゲイン調整部４０２、ぼかし処理部４０３、ノイズ処理部４０４、歪み処理部４０５は、ステレオカメラＥＣＵ６から入力される光学処理情報Ｓ８に基づいてカメラの光学系を模擬する処理を行う。これらの処理は、模擬される光学系（レンズ及び撮像素子）の特性に応じて、一つ以上が選択的に実行されればよい。具体的には、ゲイン調整部４０２は、カメラの撮像素子のゲイン調整により映像の明るさを模擬するための処理である。ぼかし処理部４０３は、レンズが固有に有する光学的なボケを模擬するための処理である。ノイズ処理部４０４は、カメラが撮影した映像に含まれるノイズを模擬するための処理である。歪み処理部４０５は、レンズが固有に有する光学的な歪みを模擬するための処理である。
　そして、光学フィルタ機能４は、光学的な画像処理を行った視点映像をＣＧ映像送信部４０６に格納し、シャッタ信号Ｓ９のタイミングで、左右の視点映像Ｓ５、Ｓ６をカメラフォーマット変換機能５に送信する。ＣＧ映像送信部４０６は、映像を格納するバッファを有してもよい。
　図５は、本実施例に係るゲイン調整部４０２の概念図である。
　左視点映像生成機能２で生成される左視点映像Ｓ３は、複数画素の集合から構成されている。例えば、各画素をＲＧＢの各値で表した場合、ＲＧＢの各値に明度情報が含まれることから、ＲＧＢの各値を決定する。ステレオカメラＥＣＵ６は、周辺の明るさに応じてカメラの露光時間を調整しており、光学処理情報Ｓ８を出力する。この光学処理情報Ｓ８に含まれる露光情報が全体を１／２の明るさにする指令である場合、各画素の明度を１／２にする処理を行う。これにより、実際のレンズなどの光学系を通過して撮像素子で撮影された映像と同等の映像を生成できる。
　図６は、本実施例に係るカメラフォーマット変換機能５の構成を示す図である。
　カメラフォーマット変換機能５は、データ情報である左右の視点映像Ｓ５、Ｓ６を、ハードウェアと接続するためのインターフェースであり、ＣＧ映像受信部５０１と、カラーフィルタ変換部５０２と、伝送形式変換部５０３と、ＣＧ映像送信Ｉ／Ｆ５０４とから構成される。
　ＣＧ映像受信部５０１は、光学フィルタ機能４によって光学処理された左右の視点映像Ｓ５、Ｓ６を入力し、カメラＥＣＵが認識できるＲＧＧＢ形式やＲＣＣ形式などのカラーパターンへ変換するカラーフィルタ変換部５０２に送信する。
　カラーフィルタ変換部５０２は、ステレオカメラＥＣＵ６に適したカラーパターン（例えば、撮像素子から出力されるものと同じ形式（ＲＧＧＢなど）の）に変換されたＣＧ映像を、カメラへの送信Ｉ／Ｆに従った映像形式に変更をする伝送形式変換部５０３に送信する。
　ＣＧ映像送信Ｉ／Ｆ５０４は、伝送形式変換部５０３によってカメラフォーマットに従った形式に変換されたＣＧ映像Ｓ７を、ステレオカメラＥＣＵ６に出力する。
　図７は、本実施例に係るステレオカメラＥＣＵ６の構成を示す図である。
　ステレオカメラＥＣＵ６は、ＣＧ映像受信Ｉ／Ｆ６０１と、画像認識部６０２と、車両制御部６０３とから構成される。
　ＣＧ映像受信Ｉ／Ｆ６０１は、カメラフォーマットで入力されるＣＧ映像を受信し、画像認識部６０２に送信する。
　画像認識部６０２は、入力されるＣＧ映像を用いて外界認識処理を実行し、認識された物体の速度や距離などの認識結果を出力する。
　車両制御部６０３は、車両制御情報Ｓ１０を出力する。車両制御情報Ｓ１０は、画像認識部６０２による認識結果と、車両情報Ｓ１１とに基づいて生成される、車両制御のための制御フィードバック情報であるアクセル、ブレーキ、舵角などを含む。また、車両制御部６０３は、映像の明るさを決める露光時間などのステレオカメラＥＣＵ６が要求する光学処理情報Ｓ８と、ステレオカメラＥＣＵ６が映像を要求するタイミングを示すシャッタ信号Ｓ９を出力する。
　図８は、本実施例に係るＨＩＬＳを構成する各機能の動作を示すシーケンス図である。なお、図８には左視点映像を生成する処理を示すが、右視点映像も同様の処理で生成される。
　ステレオカメラＥＵＣ６は、映像を要求するタイミング毎にシャッタ信号Ｓ９と光学処理情報Ｓ８とを送信する。車両挙動シミュレータ１は、シャッタ信号Ｓ９を受信すると、受信したタイミングのカメラ視点座標・姿勢Ｓ１を計算し、視点映像生成機能２、３に通知する。視点映像生成機能２、３は、カメラ視点座標・姿勢Ｓ１が通知されると、通知されたカメラ視点座標・姿勢Ｓ１のＣＧ映像Ｓ３を生成し、光学フィルタ機能４へ送信する。光学フィルタ機能４は、ステレオカメラＥＣＵ６から受信する光学処理情報Ｓ８に従って、受信したＣＧ映像Ｓ３に、ステレオカメラＥＣＵ６に出力するための光学的な画像処理を行い、画像処理された映像を保持する。光学フィルタ機能４は、ステレオカメラＥＣＵ６が次のシャッタ信号Ｓ９で要求するタイミングにおいて、光学処理された映像Ｓ５をステレオカメラＥＣＵ６が処理可能な信号形式にカメラフォーマット変換機能５に送信する。カメラフォーマット変換機能５は、受信した光学処理後の映像Ｓ５をカメラフォーマットに変換し、ステレオカメラＥＣＵ６に映像を送信する。
　シャッタタイミング内で左右カメラの処理を終え、次のシャッタタイミングでデータを送信することによって、左右でずれがない光学処理を含んだＣＧ映像を提供することが可能となる。
　以上に説明したように実施例１によると、カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成機能２、３と、カメラから出力される映像を模擬するための光学的な画像処理をシミュレーション用映像に行う光学フィルタ機能４と、画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理部（ステレオカメラＥＣＵ６、ステレオカメラモデル７）とを備えるので、評価対象が必要とする明るさや歪みなどの光学的な画像処理を行った仮想映像を用いてカメラ画像処理部を適切に評価できる。
　すなわち、ステレオカメラＥＣＵ６からの情報に基づいて明るさを変更したＣＧ映像を描画するとシステムの負荷が高くなることから、映像生成機能２、３が生成したシミュレーション用映像に、光学フィルタ機能４が光学的な画像処理を行うことによって、システム負荷を抑制しつつ、ステレオカメラＥＣＵ６の要求に従ったシミュレーション用映像を生成できる。
　また、ステレオカメラＥＣＵ６は明るさによって動作が異なる場合があり、ステレオカメラＥＣＵ６の学習時に、明るさだけが異なる同一被写体の映像が有効である。しかし、実写映像や指定された条件で生成されたＣＧ映像は一つの明るさでしかなく、異なる明るさ状態での学習が困難である。しかし、本実施例ではＣＧ環境によって映像を生成するので、異なる条件で同一被写体の映像を生成でき、実写映像より細かな明るさ指定によって、ステレオカメラＥＣＵ６に十分な学習をさせることができる。
　また、カメラが搭載される車両の挙動及び周辺環境を模擬する車両挙動シミュレータ１を有し、映像生成機能２、３が車両挙動シミュレータ１の出力に基づいてＣＧ映像を生成するので、車両の走行に合わせたＣＧ映像を生成できる。
　また、光学フィルタ機能４によって画像処理された映像をステレオカメラＥＣＵ６への入力に適する形式の映像にデータフォーマットを変換するカメラフォーマット変換機能５を有するので、実車搭載時にステレオカメラＥＣＵ６に入力されるフォーマットの映像データ（例えば、撮像素子が出力するＲＧＧＢの画素データ）をステレオカメラＥＣＵ６に入力でき、ステレオカメラＥＣＵ６を適切に評価できる。
　また、実施例１では、カメラは少なくとも左視点映像と右視点映像とを撮影する複眼カメラであって、実施例４では、カメラは一つの映像とを撮影する単眼カメラとしたので、様々な数のカメラ（撮像素子）にも対応できる。
　また、光学フィルタ機能４は、ゲイン調整処理と、ぼかし処理と、ノイズ処理と、歪み処理との少なくとも一つの処理を実行するので、実際のレンズなどの光学系を通過して撮像素子で撮影された映像と同等の映像を生成できる。
　［実施例２］
　図９は、本発明に係る一実施例として光学フィルタ機能４を映像生成機能に統轄したＨＩＬＳの構成例を示す図である。実施例２では、左視点映像生成機能２及び右視点映像生成機能３が、ＣＧ映像を生成する際に光学的な画像処理を実行する。以下の実施例２の説明において、実施例１と異なる箇所を主に説明し、実施例１と同じ機能の構成には同じ符号を付し、それらの説明は省略する。
　ＣＧ映像Ｓ７が入力されるステレオカメラＥＣＵ６を評価する評価環境は、車両挙動シミュレータ１と、左視点映像生成機能２と、右視点映像生成機能３と、カメラフォーマット変換機能５とから構成される。
　車両挙動シミュレータ１は、所定の時間（例えば、１ミリ秒）間隔で車両の挙動を計算し、シミュレーション空間内にいる自車両の左右のカメラ座標と姿勢を計算する。また、車両の挙動は、ドライバーが操作する情報の他に、ステレオカメラＥＣＵ６から入力されるアクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を用いて計算する。計算された左視点座標・姿勢Ｓ１を左視点映像生成機能２に送信し、右視点座標・姿勢Ｓ２を右視点映像生成機能３に送信する。また、車速などの車両情報Ｓ１１をステレオカメラＥＣＵ６に送信する。
　左視点映像生成機能２は、車両挙動シミュレータ１によって計算された左視点座標・姿勢Ｓ１と、ステレオカメラＥＣＵ６から出力された光学処理情報Ｓ８とから、光学処理された左視点の映像Ｓ５を生成し、シャッタ信号Ｓ９が入力されたタイミングでカメラフォーマット変換機能５に送信する。
　右視点映像生成機能３は、車両挙動シミュレータ１によって計算された右視点座標・姿勢Ｓ２と、ステレオカメラＥＣＵ６から出力された光学処理情報Ｓ８とから、光学処理された右視点の映像Ｓ６を生成し、シャッタ信号Ｓ９が入力されたタイミングでカメラフォーマット変換機能５に送信する。
　カメラフォーマット変換機能５は、入力された光学処理後の左視点映像Ｓ５と右視点映像Ｓ６とを、ステレオカメラＥＣＵ６が受信できるハード的かつソフト的カメラＩ／Ｆに適合したＣＧ映像Ｓ７に変換する。
　ステレオカメラＥＣＵ６は、カメラＩ／Ｆに適合したＣＧ映像Ｓ７と、車速などの車両情報Ｓ１１の入力を受け、アクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を必要に応じて車両挙動シミュレータ１に出力する。また、ステレオカメラＥＣＵ６は、ステレオカメラＥＣＵ６が要求する露光情報などを含む光学処理情報Ｓ８を、左視点映像生成機能２と右視点映像生成機能３とに出力する。また、ステレオカメラＥＣＵ６は、映像を要求するタイミングを制御し、映像を要求するタイミングを示すシャッタ信号Ｓ９を、左視点映像生成機能２と右視点映像生成機能３と車両挙動シミュレータ１とに出力する。
　以下の説明において、左右ともに同じ動作をする場合は、左映像について説明する。右映像についての説明は省略するが、左映像と同様の処理が行われる。
　図１０は、本実施例に係る光学フィルタ機能４を含む視点映像生成機能２、３の構成を示す図である。なお、図１０には、左視点映像生成機能２の構成を示すが、右視点映像生成機能３も同じ構成である。
　左視点映像生成機能２は、ＣＧ環境情報２０１と、座標情報受信部２０２と、視点映像ＣＧ生成部２０３と、ＣＧ映像送信部２０４とから構成される。視点映像ＣＧ生成部２０３は、光学フィルタ機能４を有し、光学処理情報Ｓ８に基づいてゲイン調整部４０２と、ぼかし処理４０３部と、ノイズ処理４０４部と、歪み処理４０５部とで画像処理を行って、ＣＧ映像を生成する。
　座標情報受信部２０２は、車両挙動シミュレータ１によって計算された視点座標・姿勢Ｓ１を受信すると視点映像ＣＧ生成部２０３に送信する。
　視点映像ＣＧ生成部２０３は、ＣＧ環境情報２０１で指定された仮想空間上において、座標情報受信部２０２で変換された視点座標・姿勢Ｓ１に応じたＣＧ映像を生成し、ステレオカメラＥＣＵ６から入力された光学処理情報Ｓ８に基づいて、ゲイン調整部４０２と、ぼかし処理部４０３と、ノイズ処理部４０４と、歪み処理部４０５とで処理を行って、光学処理を行ったＣＧ映像を生成し、ＣＧ映像送信部２０４に送信する。ＣＧ映像送信部２０４は、映像を格納するバッファを有してもよい。
　ＣＧ映像送信部２０４は、ステレオカメラＥＣＵ６から入力されるシャッタ信号Ｓ９のタイミングで、光学的な画像処理後の左視点映像Ｓ５をカメラフォーマット変換機能５に送信する。
　図１１は、本実施例に係るＨＩＬＳを構成する各機能の動作を示すシーケンス図である。
　ステレオカメラＥＣＵ６は、映像を要求するタイミング毎にシャッタ信号Ｓ９と光学処理情報Ｓ８とを送信する。車両挙動シミュレータ１は、シャッタ信号Ｓ９を受信すると、受信したタイミングのカメラ視点座標・姿勢Ｓ１を計算し、視点映像生成機能２、３に送信する。視点映像生成機能２、３は、カメラ視点座標・姿勢Ｓ１が通知されると、通知されたカメラ視点座標・姿勢Ｓ１のＣＧ映像を生成し、ステレオカメラＥＵＣ６から受信する光学処理情報Ｓ８に従って、受信したＣＧ映像Ｓ３に、ステレオカメラＥＣＵ６に出力するための光学的な画像処理を行ったＣＧ映像Ｓ５を生成する。生成された映像は視点映像生成機能２、３で保持される。視点映像生成機能２、３は、ステレオカメラＥＣＵ６が次のシャッタ信号Ｓ９で要求するタイミングにおいて、光学処理された映像Ｓ５をステレオカメラＥＣＵ６が処理可能な信号形式にカメラフォーマット変換機能５に送信する。カメラフォーマット変換機能５は、受信した光学処理後の映像Ｓ５をカメラフォーマットに変換し、ステレオカメラＥＣＵ６に映像を送信する。
　以上に説明したように実施例２によると、光学フィルタ機能４を映像生成機能２、３に設けたので、実施例１と比べてＣＧ映像を生成する処理の時間が長くなるが、バッファへの入出力やデータ転送などの映像生成の周辺の処理回数を低減できる。このため、ステレオカメラＥＣＵ６を短時間で評価できる。
　［実施例３］
　図１２は、本実施例に係る一構成例として光学フィルタ機能４を用いたＳＩＬＳの構成例を示す図である。実施例３では、実施例１のステレオカメラＥＣＵ６の機能をソフトウェアで構成されたステレオカメラモデル７が実行するので、ステレオカメラモデル７に入力されるデータは形式を変換する必要がなく、カメラフォーマット変換機能５が不要となる。以下の実施例３の説明において、実施例１と異なる箇所を主に説明し、実施例１と同じ機能の構成には同じ符号を付し、それらの説明は省略する。
　ＣＧ映像Ｓ７が入力されるステレオカメラモデル７を評価する評価環境は、車両挙動シミュレータ１と、左視点映像生成機能２と、右視点映像生成機能３と、光学フィルタ機能４とから構成される。
　車両挙動シミュレータ１は、所定の時間（例えば、１ミリ秒）間隔で車両の挙動を計算し、シミュレーション空間内にいる自車両の左右のカメラ座標と姿勢を計算する。また、車両の挙動は、ドライバーが操作する情報の他に、ステレオカメラＥＣＵ６から入力されるアクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を用いて計算する。計算された左視点座標・姿勢Ｓ１を左視点映像生成機能２に送信し、右視点座標・姿勢Ｓ２を右視点映像生成機能３に送信する。また、車速などの車両情報Ｓ１１をステレオカメラＥＣＵ６に送信している。
　左視点映像生成機能２は、車両挙動シミュレータ１によって計算された左視点座標・姿勢Ｓ１から左視点映像Ｓ３を生成し、光学フィルタ機能４に送信する。
　右視点映像生成機能３は、車両挙動シミュレータ１によって計算された右視点座標・姿勢Ｓ２から右視点映像Ｓ４を生成し、光学フィルタ機能４に送信する。
　光学フィルタ機能４は、ステレオカメラＥＣＵ６から出力された光学処理情報Ｓ８に従って、左右の視点映像Ｓ３、Ｓ４に明るさやノイズなどの光学的な画像処理を行った左視点映像Ｓ５、右視点映像Ｓ６を生成し、シャッタ信号Ｓ９のタイミングでカメラフォーマット変換機能５に送信する。
　ステレオカメラモデル７は、光学処理された左右の視点映像Ｓ５、Ｓ６と、車速などの車両情報Ｓ１１が入力され、アクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を必要に応じて車両挙動シミュレータ１に出力する。また、ステレオカメラモデル７は、ステレオカメラＥＣＵ６が要求する露光情報などを含む光学処理情報Ｓ８と、映像を要求するタイミングを示すシャッタ信号Ｓ９とを、映像を要求するタイミングで光学フィルタ機能４に出力する。また、シャッタ信号Ｓ９は、車両挙動シミュレータ１にも出力される。
　すなわち、外界認識センサの一つであるステレオカメラを模擬する構成は、実施例１、２のようにハードウェア（ＨｉＬＳ）で構成しても、実施例３のようにソフトウェア（ＳｉＬＳ）で構成してもよい。
　以上に説明したように実施例３によると、ハードウェアで構成されるステレオカメラＥＣＵをソフトウェアで模擬するので、ステレオカメラＥＣＵのハードウェア的な仕様（例えば、信号レベル）に左右されることなく、ステレオカメラＥＣＵの制御ロジックを検証できる。
　［実施例４］
　図１３は、本実施例に係る一構成例として単眼カメラのＨＩＬＳの構成例を示す図である。以下の実施例４の説明において、実施例１と異なる箇所を主に説明し、実施例１と同じ機能の構成には同じ符号を付し、それらの説明は省略する。
　ＣＧ映像Ｓ７が入力されるステレオカメラＥＣＵ６を評価する評価環境は、車両挙動シミュレータ１と、視点映像生成機能２と、光学フィルタ機能４と、カメラフォーマット変換機能５から構成される。各機能の処理は前述した実施例１と同じである。
　すなわち、外界認識センサの一つであるカメラは、実施例１～３のように複眼カメラ（例えばステレオカメラ）でも、実施例４のように単眼カメラでもよく、本発明はカメラの撮像素子の数を限定するものではない。また、３眼以上の複眼カメラ（上方から見下ろす視点で周囲映像を生成するシステム）にも、本発明を適用できる。
　なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
　また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
　各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
　[実施例５]
　図１４は、実施例の一例として視点映像ＣＧ映像部を示す。本実施例では、実際のレンズのようにＣＧ映像を作成する場合、仮想空間上に存在する光源からＲＧＢ映像を描画する。光源が発する光の情報として輝度情報があり、光学処理情報Ｓ８に含まれる。作成するＲＧＢ映像には色深度が存在し、複数の色情報を有している。この色深度は任意に設定可能であり、Ｘｂｉｔとする。また、この色深度の情報は、輝度情報から関連付けられ、輝度情報と色深度の設定は任意に設定可能とし、１次元や２次元などの引数参照も可能とする。
図１５は、ＣＧ映像を光学処理するゲイン調整処理部４０２を示す。図１４に示すＲＧＢデータを受領し、実際のカメラのようなＣＭＯＳ特性を考慮した光学処理を行う。ゲイン調整処理部４０２は、ＲＧＢデータを受領しＣＭＯＳ特性などを考慮したゲイン調整を行う。このゲイン調整は１次元や２次元などの引数参照も可能とする。このことで実際のＣＭＯＳ特性を再現するものである。
　すなわち本実施例は、映像生成部がカメラ画像処理部からの輝度情報に基づいて、任意の映像データを作成する。
　また、輝度情報から映像データへの生成は、任意に設定可能な変数により変換する。
　また、映像生成部で作成された映像データから、光学センサを模擬した映像データに変換する。
　また、映像生成部で作成された映像データは、任意に設定可能な変数を用いて光学センサを模擬した映像データへ変換する。
１：車両挙動シミュレータ
２：左視点映像生成機能
３：右視点映像生成機能
４：光学フィルタ機能
５：カメラフォーマット変換機能
６：ステレオカメラＥＣＵ
７：ステレオカメラモデル
１０１：シミュレーションモデル
１０２：センサモデル
１０３：環境モデル
１０４：車両モデル
１０５：視点情報Ｉ／Ｆ
１０６：ＣＡＮ　Ｉ／Ｆ
２０１：ＣＧ環境情報
２０２：座標情報受信部
２０３：視点映像用ＣＧ生成部
２０４：ＣＧ映像送信部
４０１：ＣＧ映像受信部
４０２：ゲイン調整 処理部
４０３：ぼかし処理部
４０４：ノイズ処理部
４０５：歪み処理部
４０６：ＣＧ映像送信部
５０１：ＣＧ映像受信部
５０２：カラーフィルタ変換部
５０３：映像形式変換部
５０４：ＣＧ映像送信Ｉ／Ｆ
６０１：ＣＧ映像受信Ｉ／Ｆ
６０２：画像認識部
６０３：車両制御部
Ｓ１：左視点座標・姿勢
Ｓ２：右視点座標・姿勢
Ｓ３：左視点映像
Ｓ４：右視点映像
Ｓ５：光学処理後の左視点映像
Ｓ６：光学処理後の右視点映像
Ｓ７：カメラＩ／Ｆに適合した視点映像
Ｓ８：光学処理情報
Ｓ９：シャッタ信号
Ｓ１０：アクセル、ブレーキ、舵角などの車両制御情報
Ｓ１１：車両情報

Claims (14)

  1. 　外界を撮像するカメラを含むカメラシステムの評価装置であって、
    　前記カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成部と、
    　前記カメラから出力される映像を模擬するための光学的な画像処理を、前記シミュレーション用映像に行う光学フィルタ部と、
    　前記画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理部とを備える評価装置。
  2. 　請求項１に記載の評価装置であって、
    　前記カメラが搭載される車両の挙動及び周辺環境を模擬するシミュレータと、
    　映像の形式を変換する変換部とを備え、
    　前記映像生成部は、前記シミュレータの出力に基づいて、前記シミュレーション用映像を生成し、
    　前記変換部は、前記画像処理された映像を前記カメラ画像処理部への入力に適する形式の映像に変換し、
    　前記カメラ画像処理部は、前記画像処理された後に、前記形式が変換された映像を用いて認識処理を行って、車両制御用の信号を生成することを特徴とする評価装置。
  3. 　請求項２に記載の評価装置であって、
    　前記光学フィルタ部は、前記映像生成部に設けられることを特徴とする評価装置。
  4. 　請求項２に記載の評価装置であって、
    　前記カメラは、少なくとも左視点映像と右視点映像とを撮影する複眼カメラであって、
    　前記映像生成部は、前記シミュレータの出力に基づいて、左視点シミュレーション用映像と右視点シミュレーション用映像とを生成し、
    　前記光学フィルタ部は、前記カメラ画像処理部からの出力に基づいて、前記左視点シミュレーション用映像と前記右視点シミュレーション用映像とのそれぞれに前記光学的な画像処理を行い、前記カメラ画像処理部からのタイミング信号に従って前記光学処理された左視点シミュレーション用映像と右視点シミュレーション用映像とを同期して出力し、
    　前記変換部は、前記画像処理された左視点シミュレーション用映像と右視点シミュレーション用映像とを前記カメラ画像処理部に入力可能な形式の映像に変換し、
    　前記カメラ画像処理部は、前記画像処理された後に、前記形式が変換された映像を用いて認識処理を行って、車両制御用の信号を生成することを特徴とする評価装置。
  5. 　請求項４に記載の評価装置であって、
    　前記光学フィルタ部は、前記映像生成部に設けられることを特徴とする評価装置。
  6. 　請求項１から５のいずれか一つに記載の評価装置であって、
    　前記光学フィルタ部は、ゲイン調整処理と、ぼかし処理と、ノイズ処理と、歪み処理との少なくとも一つの処理を行うことを特徴とする評価装置。
  7. 　請求項１から５のいずれか一つに記載の評価装置であって、
    　前記カメラ画像処理部は、前記カメラシステムに実装される電子制御装置であることを特徴とする評価装置。
  8. 　請求項１から５のいずれか一つに記載の評価装置であって、
    　前記カメラ画像処理部は、ソフトウェアによるカメラ機能シミュレータであることを特徴とする評価装置。
  9. 　外界を撮像するカメラを含むカメラシステムの評価を演算装置が行う方法であって、
    　前記演算装置が、前記カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成手順と、
    　前記演算装置が、前記カメラから出力される映像を模擬するための光学的な画像処理を、前記シミュレーション用映像に行う光学フィルタ手順と、
    　前記演算装置が、前記画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理手順とを備える方法。
  10. 　請求項１から５のいずれか一つに記載の評価装置であって、
    　前記光学フィルタ部は、ゲイン調整処理と、ぼかし処理と、ノイズ処理と、歪み処理を任意の順に変更することを特徴とする評価装置。
  11. 　請求項２に記載の評価装置であって、
    　前記映像生成部は、前記カメラ画像処理部からの輝度情報に基づいて、任意の映像データを作成する評価装置。
  12. 　請求項１１に記載の評価装置であって、
    　前記輝度情報から前記映像データへの生成は、任意に設定可能な変数により変換することを特徴とする評価装置。
  13. 　請求項６に記載の評価装置であって、
    　前記映像生成部で作成された映像データから、光学センサを模擬した映像データに変換することを特徴とする評価装置。
  14. 　請求項１３に記載の評価装置であって、
    　前記映像生成部で作成された映像データは、任意に設定可能な変数を用いて光学センサを模擬した映像データへ変換することを特徴とする評価装置。
PCT/JP2020/004733 2019-03-19 2020-02-07 カメラシステムの評価装置及び評価方法 WO2020189081A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/426,969 US20220101500A1 (en) 2019-03-19 2020-02-07 Evaluation apparatus for camera system and evaluation method
DE112020000836.3T DE112020000836T5 (de) 2019-03-19 2020-02-07 Auswertungseinrichtung für ein Kamerasystem und Auswertungsverfahren
JP2021506232A JP7245318B2 (ja) 2019-03-19 2020-02-07 カメラシステムの評価装置及び評価方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-051526 2019-03-19
JP2019051526 2019-03-19

Publications (1)

Publication Number Publication Date
WO2020189081A1 true WO2020189081A1 (ja) 2020-09-24

Family

ID=72520611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004733 WO2020189081A1 (ja) 2019-03-19 2020-02-07 カメラシステムの評価装置及び評価方法

Country Status (4)

Country Link
US (1) US20220101500A1 (ja)
JP (1) JP7245318B2 (ja)
DE (1) DE112020000836T5 (ja)
WO (1) WO2020189081A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149411A1 (ja) * 2021-01-07 2022-07-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、シミュレーションシステム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008069189A1 (ja) * 2006-12-04 2008-06-12 Fujitsu Limited 運転模擬評価方法、運転模擬評価装置及びコンピュータプログラム
JP2009265915A (ja) * 2008-04-24 2009-11-12 Toyota Central R&D Labs Inc シミュレーション装置及びプログラム
JP2010026845A (ja) * 2008-07-22 2010-02-04 Yokogawa Electric Corp 車載カメラ用電子ユニットの評価システム
WO2017171005A1 (ja) * 2016-04-01 2017-10-05 株式会社ｗｉｓｅ ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法
JP2018060511A (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101272571B1 (ko) * 2011-11-11 2013-06-10 재단법인대구경북과학기술원 지능형 자동차의 스테레오 비전 시스템에 대한 시뮬레이션 장치 및 이를 이용한 카메라 교정 방법
JP6310652B2 (ja) * 2013-07-03 2018-04-11 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008069189A1 (ja) * 2006-12-04 2008-06-12 Fujitsu Limited 運転模擬評価方法、運転模擬評価装置及びコンピュータプログラム
JP2009265915A (ja) * 2008-04-24 2009-11-12 Toyota Central R&D Labs Inc シミュレーション装置及びプログラム
JP2010026845A (ja) * 2008-07-22 2010-02-04 Yokogawa Electric Corp 車載カメラ用電子ユニットの評価システム
WO2017171005A1 (ja) * 2016-04-01 2017-10-05 株式会社ｗｉｓｅ ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法
JP2018060511A (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149411A1 (ja) * 2021-01-07 2022-07-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、シミュレーションシステム

Also Published As

Publication number Publication date
JPWO2020189081A1 (ja) 2021-10-28
DE112020000836T5 (de) 2022-01-05
JP7245318B2 (ja) 2023-03-23
US20220101500A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
US11092966B2 (en) Building an artificial-intelligence system for an autonomous vehicle
JP7011711B2 (ja) カメラおよび回折光学要素の外因性較正のためのシステムおよび方法
JP7481790B2 (ja) 強化された高ダイナミック・レンジ画像化及びトーン・マッピング
US11663691B2 (en) Method and apparatus for restoring image
TWI705417B (zh) 深度資料處理系統的操作方法
JP7064257B2 (ja) 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
US20220319145A1 (en) Image processing device, image processing method, moving device, and storage medium
JP2022506061A (ja) ローリングシャッター画像／ビデオのｓｆｍ／ｓｌａｍに対するアプリケーションで畳み込みニューラルネットワークを用いる画像／ビデオにおけるローリングシャッター補正
WO2020189081A1 (ja) カメラシステムの評価装置及び評価方法
GB2564866A (en) Method of and data processing system for providing an output surface
CN113246858B (zh) 车辆行驶状态图像生成方法、设备和系统
US10382679B2 (en) Drawing apparatus, drawing method, and drawing program
US11823353B2 (en) System and method for generating bokeh image for DSLR quality depth-of-field rendering and refinement and training method for the same
US20230276020A1 (en) Image processing device, image processing method, and image processing program
Pfeffer et al. Video injection methods in a real-world vehicle for increasing test efficiency
CN114585487A (zh) 通过使用基于视觉的机器人任务模型训练模拟到真实模型来减轻现实差距
KR20230078502A (ko) 이미지 처리 장치 및 방법
US20210374543A1 (en) System, training device, training method, and predicting device
KR102438490B1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
KR20220127642A (ko) 전자 장치 및 그 제어 방법
WO2020067204A1 (ja) 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム
JP6838725B2 (ja) カメラ装置
KR102445874B1 (ko) 멀티 카메라 시스템을 보정하기 위한 전자 장치 및 이의 제어 방법
Rebling et al. Development and testing of driver assistance systems with unity
US20230281354A1 (en) System and method for providing autonomous driving simulation architecture with switchable models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20772546

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021506232

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20772546

Country of ref document: EP

Kind code of ref document: A1