WO2020137503A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2020137503A1
WO2020137503A1 PCT/JP2019/048187 JP2019048187W WO2020137503A1 WO 2020137503 A1 WO2020137503 A1 WO 2020137503A1 JP 2019048187 W JP2019048187 W JP 2019048187W WO 2020137503 A1 WO2020137503 A1 WO 2020137503A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correction
processing
unit
processing apparatus
Prior art date
Application number
PCT/JP2019/048187
Other languages
English (en)
French (fr)
Inventor
大太 小林
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP19901428.3A priority Critical patent/EP3905656A4/en
Publication of WO2020137503A1 publication Critical patent/WO2020137503A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present disclosure relates to an image processing device that performs correction processing on a captured image.
  • EIS electronic image stabilization
  • continuous shooting is performed at a frame rate that is N times higher than normal
  • camera shake correction is performed on each of a plurality of captured images that are N times higher than normal
  • addition processing is performed to superimpose N captured images.
  • a technique has been proposed in which moving images are acquired by suppressing blurring (see Patent Document 1).
  • the correction load for multiple captured images acquired with a high frame rate has a high processing load, and it is difficult to process in real time because the processing in the processor of the image processing apparatus cannot keep up.
  • An image processing apparatus performs a first correction process on each of a plurality of captured images captured by an image capturing apparatus, based on orientation information of the image capturing apparatus, 1st correction processing part which produces
  • An addition processing unit that generates an addition image, and a second correction process that has a higher processing load than the first correction process based on the posture information for the addition image that is generated by the addition processing unit, And a second correction processing unit that generates a second corrected image.
  • An image processing apparatus executes an addition process on at least two first correction images of a plurality of first correction images generated by a first correction processing unit. After the addition image is generated, the second correction process having a higher processing load than the first correction process is executed on the addition image.
  • FIG. 1 is a block diagram schematically showing a configuration example of an imaging system including an image processing device according to a first embodiment of the present disclosure.
  • 3 is a flowchart showing an outline of the operation of the imaging system according to the first embodiment.
  • FIG. 6 is an explanatory diagram schematically showing an outline of image correction processing in the image processing apparatus according to the first embodiment.
  • FIG. 6 is an explanatory diagram schematically showing an outline of image parallel movement processing in the image processing apparatus according to the first embodiment.
  • FIG. 6 is an explanatory diagram schematically showing an outline of image distortion correction processing and rotation correction processing in the image processing apparatus according to the first embodiment.
  • It is a block diagram which shows roughly the example of 1 structure of the imaging system containing the image processing apparatus which concerns on 2nd Embodiment.
  • 9 is a flowchart showing an outline of the operation of the imaging system according to the second embodiment. It is a block diagram which shows roughly the 1st structural example of the imaging system containing the image processing apparatus which concerns on 3rd Embodiment.
  • FIG. 1 schematically shows an outline of general electronic image stabilization.
  • a correction process is performed on each of a plurality of captured images 200 ((A) in FIG. 1) obtained by capturing an image at a normal frame rate (for example, 30 fps) in an image capturing apparatus.
  • the mapping conversion processing including cropping, distortion correction processing and rotation correction processing is executed.
  • a plurality of corrected images 201 having a normal frame rate are generated ((B) in FIG. 1).
  • FIG. 2 shows an outline of the operation of the imaging system according to the comparative example in which the blurring in the frame is suppressed as compared with the general electronic image stabilization.
  • FIG. 3 schematically shows an outline of image correction processing in the image processing apparatus of the imaging system according to the comparative example.
  • An imaging system includes, for example, an imaging device, a gyro sensor that outputs gyro information of the imaging device, an image processing device that performs correction processing on an image captured by the imaging device, and a correction image by the image processing device. And a storage device for storing.
  • shooting is started by, for example, pressing the shooting button of the imaging device (step S100), and the imaging device performs continuous shooting at a high frame rate (step S101).
  • the imaging apparatus performs continuous shooting at a frame rate of Na (fps) that is N times higher.
  • Perform ((A) of FIG. 3). For example, when N 4 and the desired frame rate is 30 fps, continuous shooting is performed at a high frame rate of 120 fps.
  • mapping conversion is executed as a correction process for each (every frame) of the plurality of captured images 200 obtained by continuous shooting at a high frame rate.
  • Step S102 mapping conversion is executed as a correction process for each (every frame) of the plurality of captured images 200 obtained by continuous shooting at a high frame rate.
  • Step S102 a plurality of mapping-corrected corrected images 201 are generated ((B) of FIG. 3 ).
  • addition processing is executed for a predetermined number of consecutive frames in the plurality of mapping-corrected images 201 (step S103).
  • the corrected image 202 having a desired frame rate for example, 30 fps
  • the image after the correction processing by the image processing device is output to, for example, a storage device and stored (step S104).
  • FIG. 4 schematically shows pixel coordinates (X, Y) when the camera shake occurs in the image pickup apparatus 100.
  • the pixel movement amount ( ⁇ X, ⁇ Y) due to the triaxial rotation in the image pickup apparatus 100 can be expressed by the equation (1).
  • the mapping conversion in the image processing apparatus according to the above comparative example can be performed based on, for example, Expression (1).
  • the gyro information includes information about a yaw (Yaw) angle ⁇ y, a pitch ( ⁇ ) angle ⁇ p, and a roll ( ⁇ ) angle ⁇ r, which are rotation angles of three axes. From Expression (1), the pixel movement amounts ( ⁇ X, ⁇ Y) are uniquely obtained based on the information about the rotation angles of the three axes.
  • mapping conversion requires a three-dimensional geometric calculation for each pixel (or each predetermined pixel block), and is often a heavy process.
  • FIG. 5 schematically shows a configuration example of an imaging system including the image processing device 1 according to the first embodiment of the present disclosure.
  • the image pickup system includes an image processing device 1, an image sensor 2, an IMU (Inertial Measurement Unit, inertial measurement device) 3, a display device 4, and a storage device 5.
  • image processing device 1 an image sensor 2
  • IMU Inertial Measurement Unit, inertial measurement device 3
  • display device 4 a display device 4
  • storage device 5 a storage device 5.
  • the image sensor 2 is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and is capable of performing continuous shooting at a high frame rate (for example, 120 fps). A plurality of picked-up images 20 obtained by continuous shooting at a high frame rate in the image sensor 2 are output to the image processing apparatus 1.
  • the image sensor 2 corresponds to a specific but not limitative example of “imaging device” in the technology according to the present disclosure.
  • the IMU3 includes a gyro sensor and an acceleration sensor.
  • the IMU 3 outputs the gyro information 31 by the gyro sensor as one of the posture information.
  • the gyro information 31 is added to each of the plurality of captured images 20 obtained by the image sensor 2, and is output to the image processing device 1 together with the captured images 20.
  • Each of the plurality of captured images 20 has a plurality of pixel lines.
  • the gyro information 31 is associated with, for example, a predetermined pixel line of the plurality of pixel lines in each of the plurality of captured images 20.
  • the gyro information 31 can be converted into gyro information for each pixel line of the captured image 20 on the image processing device 1 side, for example.
  • the display device 4 displays an image based on the image data output from the image processing device 1.
  • the storage device 5 has a storage medium such as a semiconductor memory, and stores the image data output from the image processing device 1.
  • the image processing apparatus 1 is composed of, for example, an AP (Application Processor).
  • the image processing apparatus 1 includes a pre-processing unit 11, a data conversion unit 12, a post-processing unit 13, a shake correction unit 14, and an encoder 18.
  • the pre-processing unit 11 performs processing such as defective pixel correction and NR (Noise Reduction) on RAW (Raw image format) image signals corresponding to the plurality of captured images 20 output from the image sensor 2 and performs data conversion. Output to the unit 12.
  • processing such as defective pixel correction and NR (Noise Reduction) on RAW (Raw image format) image signals corresponding to the plurality of captured images 20 output from the image sensor 2 and performs data conversion.
  • the data conversion unit 12 converts the RAW image into an RGB image by demosaic processing, further converts the color space into a YUV image, and outputs the YUV image to the post-processing unit 13.
  • the post-processing unit 13 performs processes such as NR, color enhancement, and edge enhancement on the YUV image output from the data conversion unit 12.
  • the data of the plurality of captured images 20 processed by the post-processing unit 13 are output to the blur correction unit 14.
  • the encoder 18 converts the image data after the correction processing by the blur correction unit 14 into image data in a data format suitable for image output to the display device 4 or the storage device 5, and outputs the image data.
  • the blur correction unit 14 includes a screen batch correction unit 15, an addition processing unit 16, and a local correction unit 17.
  • the screen batch correction unit 15 corresponds to a specific but not limitative example of “first correction processing unit” in the technology according to the present disclosure.
  • the screen collective correction unit 15 executes a first correction process on each of the plurality of captured images 20 captured by the image sensor 2 based on the gyro information 31, and generates a plurality of first corrected images. ..
  • the first correction process is a process for the entire image and includes, for example, a parallel movement process of the image.
  • the screen collective correction unit 15 generates and outputs, for example, the parallel movement image 21 as the first correction image.
  • the addition processing unit 16 performs addition processing on at least two first correction images of the plurality of first correction images generated by the screen collective correction unit 15, and generates an addition image 22.
  • the local correction unit 17 corresponds to a specific example of “a second correction processing unit” in the technology according to the present disclosure.
  • the local correction unit 17 executes the second correction process, which has a higher processing load than the first correction process, on the addition image 22 generated by the addition processing unit 16 based on the gyro information 31, and then executes the second correction process.
  • the second correction process includes, for example, a process for each local portion of the image.
  • the second correction processing includes, for example, image distortion correction processing and rotation correction processing.
  • the local correction unit 17 generates and outputs, for example, a distortion correction/rotation correction image 23 as the second correction image.
  • FIG. 6 shows an outline of the operation of the imaging system according to the first embodiment.
  • FIG. 7 schematically shows an outline of image correction processing in the image processing apparatus 1.
  • shooting is started, for example, by pressing a shooting button (not shown) (step S10), and continuous shooting at a high frame rate is performed by the image sensor 2 (step S11).
  • the screen collective correction unit 15 based on the gyro information 31 from the IMU 3, for each of the plurality of captured images 20 (each frame) obtained by continuous shooting at a high frame rate, the first The parallel movement process is executed as the correction process (step S12).
  • a plurality of parallel movement images 21 are generated at a high frame rate of 120 fps, for example, which are subjected to the parallel movement processing so that the center positions of the plurality of captured images 20 coincide with each other ((B) of FIG. 7).
  • the addition processing unit 16 executes the addition processing on a predetermined number of consecutive frames in the plurality of parallel moving images 21 (step S13).
  • the added image 22 having a desired frame rate for example, 30 fps
  • the parallel movement component is dominant as the difference between adjacent frames in the plurality of captured images 20, the added image 22 after superimposing the plurality of parallel movement images 21 does not become an unnatural image.
  • the local correction unit 17 performs distortion correction processing and rotation as second correction processing on each of the plurality of addition images 22 generated by the addition processing unit 16 (each frame) based on the gyro information 31.
  • Correction processing is executed (step S14).
  • the distortion-corrected/rotation-corrected image 23 having a desired frame rate for example, 30 fps
  • the processing load can be reduced by performing the heaviest distortion correction processing and rotation correction processing as the processing on the added image 22 after the addition processing having a low frame rate (for example, 30 fps).
  • the distortion correction/rotation correction image 23 is output to the encoder 18 as the final image after the correction processing by the blur correction unit 14.
  • the final image after the correction processing is output to and stored in the storage device 5, for example, via the encoder 18 (step S15).
  • FIG. 8 schematically shows an outline of image parallel movement processing by the screen collective correction unit 15 of the image processing apparatus 1.
  • FIG. 9 schematically shows an outline of image distortion correction processing and rotation correction processing by the local correction unit 17 of the image processing apparatus 1.
  • the distortion correction processing and the rotation correction processing are executed for each predetermined pixel block 22A including a plurality of pixels, for example.
  • the movement amounts ⁇ X and ⁇ Y for each pixel block 22A by the distortion correction process and the rotation correction process can be expressed by Expression (3) as shown in FIG.
  • the parameters used in equation (3) are as shown in FIG.
  • Expression (3) the mapping transformation calculation is performed for each pixel block 22A and the parallel movement subtraction is performed to obtain the movement amounts ⁇ X and ⁇ Y for each pixel block 22A.
  • the mapping conversion is performed in parallel with the correction processing (FIGS. 2 and 3) in the image processing apparatus according to the comparative example.
  • the processing is divided into a heavy processing distortion correction processing and a rotation correction processing. Only the distortion correction processing and the rotation correction processing are executed at the frame rate which is 1/N after the addition processing. At this time, since the distortion rotation information between the consecutive frames before the addition processing is similar, there is no problem even if the distortion rotation correction is performed on the added image using the average value of the correction amounts of the images to be added. ..
  • addition is performed on at least two parallel-moving images 21 of the plurality of parallel-moving images 21 generated by the screen batch correction unit 15.
  • the local correction processing disortion correction processing and rotation correction processing
  • the time required for the entire correction process is N times shorter than that of the image processing apparatus according to the comparative example.
  • the image processing apparatus 1 it is possible to significantly reduce the processing time of the correction process while maintaining the blur suppression performance, so that the correction process can be performed in real time.
  • FIG. 10 schematically shows a configuration example of an imaging system including the image processing device 1A according to the second embodiment.
  • the IMU 3 outputs gyro information 31 by the gyro sensor and acceleration information 32 by the acceleration sensor as the posture information.
  • the acceleration information 32 is added to each of the plurality of captured images 20 obtained by the image sensor 2 and is output to the image processing apparatus 1 together with the captured image 20. Similar to the gyro information 31, the acceleration information 32 is associated with a predetermined pixel line of the plurality of pixel lines in each of the plurality of captured images 20, for example. Similar to the gyro information 31, the acceleration information 32 can be converted into acceleration information for each pixel line of the captured image 20 on the image processing device 1 side, for example.
  • the image processing apparatus 1A according to the second embodiment further includes an enlargement/reduction correction unit 19 in the shake correction unit 14A in addition to the configuration of the image processing apparatus 1 shown in FIG.
  • the local correction unit 17 and the enlargement/reduction correction unit 19 correspond to a specific example of “second correction processing unit” in the technology according to the present disclosure.
  • the second correction processing the distortion correction processing and the rotation correction processing by the local correction unit 17 and the enlargement/reduction correction processing by the enlargement/reduction correction unit 19 are executed.
  • the scaling correction unit 19 generates and outputs a scaling corrected image 24 as the second corrected image.
  • the scaling correction processing by the scaling correction unit 19 is executed based on the acceleration information 32.
  • FIG. 11 shows an outline of the operation of the imaging system according to the second embodiment.
  • step S10 to step S14 is substantially the same as the processing (FIG. 6) by the imaging system according to the first embodiment.
  • step S14A scaling correction processing is performed on each of the plurality of distortion correction/rotation correction images 23 (each frame) obtained by the processing of step S14 based on the acceleration information 32. Is executed (step S14A). As a result, the enlargement/reduction correction image 24 having a desired frame rate (for example, 30 fps) is obtained.
  • the enlargement/reduction correction image 24 is output to the encoder 18 as the final image after the correction processing by the blur correction unit 14A.
  • the final image after the correction processing is output to and stored in the storage device 5, for example, via the encoder 18 (step S15).
  • the enlargement/reduction correction unit 19 is provided before the local correction unit 17, and the enlargement/reduction correction process is executed before the distortion correction process and the rotation correction process by the local correction unit 17. May be.
  • the final image after the correction processing by the blur correction unit 14A is the distortion correction/rotation correction image 23 generated after the enlargement/reduction correction processing is executed.
  • FIG. 12 schematically shows a first configuration example of an imaging system including the image processing device 1B according to the third embodiment.
  • the image processing apparatus 1B includes a blur correction unit 14B.
  • the gyro information 31 from the IMU 3 is added to each of the plurality of captured images 20 obtained by the image sensor 2, and the image processing device together with the captured image 20. It is output to 1.
  • the gyro information 31 from the IMU 3 is output to the image processing apparatus 1B separately from the plurality of captured images 20 obtained by the image sensor 2.
  • a time stamp is given to each of the plurality of pixel lines in each of the plurality of captured images 20.
  • the gyro information 31 is provided with a time stamp corresponding to each of the plurality of pixel lines.
  • FIG. 13 schematically shows a second configuration example of the imaging system including the image processing device 1C according to the third embodiment.
  • the image processing apparatus 1C includes a blur correction unit 14C.
  • the gyro information 31 and the acceleration information 32 from the IMU 3 are added to each of the plurality of captured images 20 obtained by the image sensor 2, and the captured image is obtained. It is output together with 20 to the image processing apparatus 1A.
  • the gyro information 31 and the acceleration information 32 from the IMU 3 are output to the image processing apparatus 1C separately from the plurality of captured images 20 obtained by the image sensor 2.
  • a time stamp is given to each of the plurality of pixel lines in each of the plurality of captured images 20.
  • the gyro information 31 and the acceleration information 32 are provided with time stamps corresponding to each of the plurality of pixel lines. Thereby, on the image processing apparatus 1C side, it is possible to associate the gyro information 31 and the acceleration information 32 with each pixel line of the captured image 20 based on the time stamp.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 14 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (Interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjusting and a control device such as a braking device for generating a braking force of the vehicle.
  • the body system control unit 12020 controls operations of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • radio waves or signals of various switches transmitted from a portable device that substitutes for a key can be input to the body system control unit 12020.
  • the body system control unit 12020 accepts the input of these radio waves or signals and controls the vehicle door lock device, the power window device, the lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected with, for example, a driver state detection unit 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether or not the driver is asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes functions of ADAS (Advanced Driver Assistance System) including avoidance or impact mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a vehicle collision warning, or a vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, thereby It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information on the outside of the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to an occupant of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an onboard display and a head-up display, for example.
  • FIG. 15 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the image capturing units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper portion of the windshield inside the vehicle.
  • the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the image capturing unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield inside the vehicle is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 15 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown.
  • a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements, or may be an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100). By determining, the closest three-dimensional object on the traveling path of the vehicle 12100, which is traveling in the substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), can be extracted as the preceding vehicle. it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object to other three-dimensional objects such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified, extracted, and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062. A driver can be assisted for avoiding a collision by outputting an alarm to the driver and performing forced deceleration or avoidance steering through the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the images captured by the imaging units 12101 to 12104. To recognize such a pedestrian, for example, a procedure of extracting a feature point in an image captured by the image capturing units 12101 to 12104 as an infrared camera, and a pattern matching process on a series of feature points indicating an outline of an object are performed to determine whether the pedestrian is a pedestrian. It is performed by the procedure of determining.
  • the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 to display an icon indicating a pedestrian or the like at a desired position.
  • the image processing device of the present disclosure can be applied to, for example, the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 By applying the technology according to the present disclosure to the vehicle exterior information detection unit 12030, it is possible to perform real-time processing of blur correction of an image captured by the image capturing unit 12031. As a result, it is possible to improve the processing speed such as the object detection processing outside the vehicle.
  • the present technology may have the following configurations. According to the present technology having the following configuration, it is possible to reduce the load of correction processing on a plurality of captured images.
  • a first correction processing unit that executes a first correction process on each of the plurality of captured images captured by the image capturing device based on the orientation information of the image capturing device to generate a plurality of first corrected images.
  • An addition processing unit that performs addition processing on at least two first correction images of the plurality of first correction images generated by the first correction processing unit, and generates an addition image;
  • a second correction image which has a higher processing load than the first correction process, is executed on the addition image generated by the addition processing unit based on the posture information, and a second correction image is generated.
  • a second correction processing unit that performs (2) The image processing device according to (1), wherein the first correction process is a process for the entire image.
  • the image processing apparatus according to (1) or (2) above, wherein the first correction processing includes image parallel processing.
  • the second correction process includes a process for each local portion of an image.
  • the second correction processing includes image distortion correction processing and rotation correction processing.
  • the second correction processing includes image enlargement/reduction correction processing.
  • the posture information is added to each of the plurality of captured images.
  • Each of the plurality of captured images has a plurality of pixel lines
  • Each of the plurality of captured images has a plurality of pixel lines
  • a time stamp is given to each of the plurality of pixel lines

Abstract

本開示の画像処理装置は、撮像装置によって撮像された複数の撮像画像のそれぞれに対して、撮像装置の姿勢情報に基づいて第１の補正処理を実行し、複数の第１の補正画像を生成する第１の補正処理部と、第１の補正処理部によって生成された複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行し、加算画像を生成する加算処理部と、加算処理部によって生成された加算画像に対して、姿勢情報に基づいて、第１の補正処理よりも処理負荷の高い第２の補正処理を実行し、第２の補正画像を生成する第２の補正処理部とを備える。

Description

画像処理装置
　本開示は、撮像画像に対して補正処理を行う画像処理装置に関する。
　撮像画像に対して画像処理によって手ブレ補正を行う電子式手ブレ補正(ＥＩＳ：Electronic Image Stabilization)の技術がある。動画に対する一般的な電子式手ブレ補正では、複数の撮像画像に対するフレーム間のブレは補正可能であるが、フレーム内のブレ（ブラー）の補正は困難である。そこで、例えば通常よりもＮ倍高いフレームレートで連続撮影し、通常よりもＮ倍多い複数の撮像画像のそれぞれに対して手ブレ補正を行った後、Ｎ枚の撮像画像を重ね合わせる加算処理を行うことでブラーを抑制した動画像を取得する技術が提案されている（特許文献１参照）。
特開２００９－１０５５３３号公報
　高いフレームレートによって取得した複数の撮像画像に対する補正処理は処理負荷が高く、画像処理装置におけるプロセッサでの処理が間に合わずに、リアルタイムで処理することが困難である。
　複数の撮像画像に対する補正処理の負荷を低減することが可能な画像処理装置を提供することが望ましい。
　本開示の一実施の形態に係る画像処理装置は、撮像装置によって撮像された複数の撮像画像のそれぞれに対して、撮像装置の姿勢情報に基づいて第１の補正処理を実行し、複数の第１の補正画像を生成する第１の補正処理部と、第１の補正処理部によって生成された複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行し、加算画像を生成する加算処理部と、加算処理部によって生成された加算画像に対して、姿勢情報に基づいて、第１の補正処理よりも処理負荷の高い第２の補正処理を実行し、第２の補正画像を生成する第２の補正処理部とを備える。
　本開示の一実施の形態に係る画像処理装置では、第１の補正処理部によって生成された複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行して加算画像を生成した後、その加算画像に対して、第１の補正処理よりも処理負荷の高い第２の補正処理が実行される。
一般的な電子式手ブレ補正の概要を模式的に示す説明図である。 比較例に係る撮像システムの動作の概要を示す流れ図である。 比較例に係る画像処理装置における画像の補正処理の概要を模式的に示す説明図である。 撮像装置における手ブレ発生時の画素座標を模式的に示す説明図である。 本開示の第１の実施の形態に係る画像処理装置を含む撮像システムの一構成例を概略的に示すブロック図である。 第１の実施の形態に係る撮像システムの動作の概要を示す流れ図である。 第１の実施の形態に係る画像処理装置における画像の補正処理の概要を模式的に示す説明図である。 第１の実施の形態に係る画像処理装置における画像の平行移動処理の概要を模式的に示す説明図である。 第１の実施の形態に係る画像処理装置における画像の歪補正処理および回転補正処理の概要を模式的に示す説明図である。 第２の実施の形態に係る画像処理装置を含む撮像システムの一構成例を概略的に示すブロック図である。 第２の実施の形態に係る撮像システムの動作の概要を示す流れ図である。 第３の実施の形態に係る画像処理装置を含む撮像システムの第１の構成例を概略的に示すブロック図である。 第３の実施の形態に係る画像処理装置を含む撮像システムの第２の構成例を概略的に示すブロック図である。 車両制御システムの概略的な構成例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　０．比較例（図１～図４）
　１．第１の実施の形態（図５～図９）
　　１．１　構成
　　１．２　動作
　　１．３　効果
　２．第２の実施の形態（図１０～図１１）
　３．第３の実施の形態（図１２～図１３）
　４．移動体への応用例（図１４～図１５）
　５．その他の実施の形態
＜０．比較例＞
（比較例に係る画像処理装置の概要と課題）
　図１は、一般的な電子式手ブレ補正の概要を模式的に示している。
　一般的な電子式手ブレ補正では、撮像装置において通常のフレームレート（例えば３０ｆｐｓ）で撮影することによって得られた複数の撮像画像２００（図１の（Ａ））のそれぞれに対して、補正処理として、クロッピング、歪補正処理および回転補正処理を含む写像変換処理を実行する。これにより、通常のフレームレートの複数の補正画像２０１を生成する（図１の（Ｂ））。
　このような一般的な電子式手ブレ補正では、フレーム間のブレは補正可能であるが、動きが大きいフレームでは、フレーム内のブレ（ブラー）が残ってしまう。特に１フレーム毎の露光時間が長くなる暗所で顕著となり、例えば露光時間が１０ｍｓ位からブラーが目立ち始める。
　図２は、一般的な電子式手ブレ補正に対してフレーム内のブレを抑制した、比較例に係る撮像システムの動作の概要を示している。図３は、比較例に係る撮像システムの画像処理装置における画像の補正処理の概要を模式的に示している。
　比較例に係る撮像システムは、例えば、撮像装置と、撮像装置のジャイロ情報を出力するジャイロセンサと、撮像装置による撮像画像に対して補正処理を行う画像処理装置と、画像処理装置による補正画像を保存する記憶装置とを備えている。
　比較例に係る撮像システムでは、例えば撮像装置の撮影ボタンを押下することにより撮影が開始され（ステップＳ１００）、撮像装置において高速フレームレートでの連続撮影が行われる（ステップＳ１０１）。例えば、画像処理装置において最終的に出力したい所望のフレームレートをａ（ｆｐｓ）とした場合（図３の（Ｃ））、撮像装置では、Ｎ倍高いＮａ（ｆｐｓ）のフレームレートで連続撮影を行う（図３の（Ａ））。例えばＮ＝４、所望のフレームレートが３０ｆｐｓである場合、１２０ｆｐｓの高速フレームレートでの連続撮影が行われる。
　次に、ジャイロセンサからのジャイロ情報に基づいて、高速フレームレートでの連続撮影することによって得られた複数の撮像画像２００のそれぞれ（毎フレーム）に対して、補正処理として写像変換が実行される（ステップＳ１０２）。これにより、写像変換された複数の補正画像２０１が生成される（図３の（Ｂ））。
　次に、画像処理装置において、写像変換された複数の補正画像２０１における連続した所定数のフレームに対して加算処理が実行される（ステップＳ１０３）。加算処理は、連続した所定数のフレームの加算平均を求めることにより行われる。例えばＮ＝４とした場合、４フレームごとに加算処理が実行される。これにより、所望のフレームレート（例えば３０ｆｐｓ）の補正画像２０２が得られる（図３の（Ｃ））。画像処理装置による補正処理後の画像は、例えば記憶装置に出力され、保存される（ステップＳ１０４）。
　このように、所望のフレームレートよりもＮ倍高いフレームレートで連続撮影し、通常よりもＮ倍多い複数の撮像画像のそれぞれに対して手ブレ補正を行った後、Ｎ枚の撮像画像を重ね合わせる加算処理を行うことでブラーを抑制した動画像を取得することが可能となる。しかしながら、この技術は理論的には可能であるが、処理時間がＮに比例して大きくなるので、画像処理装置におけるプロセッサへの負担が大きく現実的ではない。
　図４は、撮像装置１００における手ブレ発生時の画素座標（Ｘ，Ｙ）を模式的に示している。撮像装置１００における３軸回転による画素の移動量（ΔＸ，ΔＹ）は、式（１）により表すことができる。上記比較例に係る画像処理装置における写像変換は、例えば式（１）に基づいて行うことができる。この場合、ジャイロ情報は、３軸の回転角である、ヨー（Ｙａｗ）角θｙ、ピッチ（Ｐｉｔｃｈ）角θｐ、およびロール（Ｒｏｌｌ）角θｒの情報を含む。式（１）より、３軸の回転角の情報に基づき、画素の移動量（ΔＸ，ΔＹ）は一意に求まる。
Figure JPOXMLDOC01-appb-M000001
　一般的に、このような写像変換は３次元の幾何計算を画素毎（もしくは所定の画素ブロック毎）に行う必要があり、重い処理であることが多い。
＜１．第１の実施の形態＞
［１．１　構成］
　図５は、本開示の第１の実施の形態に係る画像処理装置１を含む撮像システムの一構成例を概略的に示している。
　この撮像システムは、画像処理装置１と、イメージセンサ２と、ＩＭＵ（Inertial Measurement Unit、慣性計測装置）３と、表示装置４と、記憶装置５とを備えている。
　イメージセンサ２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサで構成され、高速フレームレート（例えば１２０ｆｐｓ）での連続撮影を実行することが可能となっている。イメージセンサ２において高速フレームレートでの連続撮影することによって得られた複数の撮像画像２０は、画像処理装置１に出力される。イメージセンサ２は、本開示による技術における「撮像装置」の一具体例に相当する。
　ＩＭＵ３は、ジャイロセンサと加速度センサとを含んでいる。ＩＭＵ３は、姿勢情報の１つとして、ジャイロセンサによるジャイロ情報３１を出力する。
　ジャイロ情報３１は、イメージセンサ２によって得られる複数の撮像画像２０のそれぞれに対して付加され、撮像画像２０と共に画像処理装置１に出力される。複数の撮像画像２０はそれぞれ複数の画素ラインを有している。ジャイロ情報３１は、例えば、複数の撮像画像２０のそれぞれにおいて、複数の画素ラインのうち所定の画素ラインに対して対応付けられている。ジャイロ情報３１は、例えば、画像処理装置１側において、撮像画像２０の各画素ラインに対するジャイロ情報に変換可能となっている。
　表示装置４は、画像処理装置１から出力された画像データに基づく画像表示を行う。
　記憶装置５は、例えば半導体メモリ等の記憶媒体を有し、画像処理装置１から出力された画像データを記憶する。
　画像処理装置１は、例えばＡＰ（Application Processor）により構成されている。画像処理装置１は、前処理部１１と、データ変換部１２と、後処理部１３と、ブレ補正部１４と、エンコーダ１８とを備えている。
　前処理部１１は、イメージセンサ２から出力された複数の撮像画像２０に相当するＲＡＷ（Raw image format）画像信号に対して、欠陥画素補正やＮＲ（Noise Reduction）等の処理を行ってデータ変換部１２に出力する。
　データ変換部１２は、デモザイク処理によりＲＡＷ画像をＲＧＢ画像に変換し、さらに色空間を変換してＹＵＶ画像に変換して後処理部１３に出力する。
　後処理部１３は、データ変換部１２から出力されたＹＵＶ画像に対してＮＲ、色強調、およびエッジ強調等の処理を行う。後処理部１３による処理後の複数の撮像画像２０のデータはブレ補正部１４に出力される。
　エンコーダ１８は、ブレ補正部１４による補正処理後の画像データを表示装置４または記憶装置５への画像出力に適したデータ形式の画像データに変換して出力する。
　ブレ補正部１４は、画面一括補正部１５と、加算処理部１６と、局所補正部１７とを有している。
　画面一括補正部１５は、本開示による技術における「第１の補正処理部」の一具体例に相当する。画面一括補正部１５は、イメージセンサ２によって撮像された複数の撮像画像２０のそれぞれに対して、ジャイロ情報３１に基づいて第１の補正処理を実行し、複数の第１の補正画像を生成する。ここで、第１の補正処理は、画像全体に対する処理であり、例えば画像の平行移動処理を含む。画面一括補正部１５は、第１の補正画像として、例えば平行移動画像２１を生成して出力する。
　加算処理部１６は、画面一括補正部１５によって生成された複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行し、加算画像２２を生成する。
　局所補正部１７は、本開示による技術における「第２の補正処理部」の一具体例に相当する。局所補正部１７は、加算処理部１６によって生成された加算画像２２に対して、ジャイロ情報３１に基づいて、第１の補正処理よりも処理負荷の高い第２の補正処理を実行し、第２の補正画像を生成する。ここで、第２の補正処理は、例えば画像の局所ごとに対する処理を含む。第２の補正処理は、例えば、画像の歪補正処理および回転補正処理を含む。局所補正部１７は、第２の補正画像として、例えば歪補正・回転補正画像２３を生成して出力する。
［１．２　動作］
　図６は、第１の実施の形態に係る撮像システムの動作の概要を示している。図７は、画像処理装置１における画像の補正処理の概要を模式的に示している。
　第１の実施の形態に係る撮像システムでは、例えば図示しない撮影ボタンを押下することにより撮影が開始され（ステップＳ１０）、イメージセンサ２において高速フレームレートでの連続撮影が行われる（ステップＳ１１）。例えば、画像処理装置１において最終的に出力したい所望のフレームレートをａ（ｆｐｓ）とした場合、イメージセンサ２では、Ｎ倍高いＮａ（ｆｐｓ）のフレームレートで連続撮影を行う。例えばＮ＝４、所望のフレームレートが３０ｆｐｓである場合、１２０ｆｐｓの高速フレームレートでの連続撮影が行われる（図７の（Ａ））。
　次に、画面一括補正部１５において、ＩＭＵ３からのジャイロ情報３１に基づいて、高速フレームレートでの連続撮影することによって得られた複数の撮像画像２０のそれぞれ（毎フレーム）に対して、第１の補正処理として平行移動処理が実行される（ステップＳ１２）。これにより、複数の撮像画像２０の中心位置が一致するように平行移動処理された、例えば１２０ｆｐｓの高速フレームレートでの複数の平行移動画像２１が生成される（図７の（Ｂ））。
　次に、加算処理部１６において、複数の平行移動画像２１における連続した所定数のフレームに対して加算処理が実行される（ステップＳ１３）。加算処理は、連続した所定数のフレームの加算平均を求めることにより行われる。例えばＮ＝４とした場合、４フレームごとに加算処理が実行される。これにより、所望のフレームレート（例えば３０ｆｐｓ）の加算画像２２が得られる（図７の（Ｃ））。なお、複数の撮像画像２０における隣接フレーム間の差分として支配的なのは平行移動成分なので、複数の平行移動画像２１を重ね合わせた後の加算画像２２は不自然な画像にはならない。
　次に、局所補正部１７において、加算処理部１６によって生成された複数の加算画像２２のそれぞれ（毎フレーム）に対して、ジャイロ情報３１に基づいて、第２の補正処理として歪補正処理および回転補正処理が実行される（ステップＳ１４）。これにより、所望のフレームレート（例えば３０ｆｐｓ）の歪補正・回転補正画像２３が得られる（図７の（Ｄ））。このように、処理として最も重い歪補正処理および回転補正処理を、フレームレートの低い（例えば３０ｆｐｓ）、加算処理後の加算画像２２に対して行うことにより、処理負荷を軽減することができる。
　歪補正・回転補正画像２３は、ブレ補正部１４による補正処理後の最終画像としてエンコーダ１８に出力される。補正処理後の最終画像は、エンコーダ１８を介して、例えば記憶装置５に出力され、保存される（ステップＳ１５）。
　図８は、画像処理装置１の画面一括補正部１５による画像の平行移動処理の概要を模式的に示している。
　平行移動処理は、例えば、画面中心（Ｘ，Ｙ）＝（０，０）の移動量ΔＸ，ΔＹに基づいて実行される。画面中心（Ｘ，Ｙ）＝（０，０）の移動量ΔＸ，ΔＹは、Ｌ値、およびジャイロ情報３１に含まれるヨー角θｙ、ピッチ角θｐ（図４参照）を用いて、図８に示したように式（２）で表される。
　図９は、画像処理装置１の局所補正部１７による画像の歪補正処理および回転補正処理の概要を模式的に示している。
　歪補正処理および回転補正処理は、例えば複数の画素を含む所定の画素ブロック２２Ａ毎に実行される。歪補正処理および回転補正処理による画素ブロック２２Ａ毎の移動量ΔＸ，ΔＹは、図９に示したように式（３）で表すことができる。式（３）で用いられているパラメータは図４に示した通りである。式（３）のように、画素ブロック２２Ａ毎に写像変換計算し、平行移動分の減算を行うことで、画素ブロック２２Ａ毎の移動量ΔＸ，ΔＹが求められる。
　以上のように、第１の実施の形態に係る画像処理装置１では、上記比較例に係る画像処理装置における補正処理（図２、図３）に対して、写像変換を、処理の軽い平行移動処理と処理の重い歪補正処理および回転補正処理とに分けて実行する。歪補正処理および回転補正処理のみを、加算処理後の１／Ｎになったフレームレートで実行する。このとき、加算処理前の連続するフレーム間の歪回転情報は似通っているため、加算対象の画像の補正量の平均値を用いて加算後の画像に対して歪回転補正を行っても問題ない。
［１．３　効果］
　以上説明したように、第１の実施の形態に係る画像処理装置１によれば、画面一括補正部１５によって生成された複数の平行移動画像２１のうち少なくとも２つの平行移動画像２１に対して加算処理を実行して加算画像２２を生成した後、その加算画像２２に対して、平行移動処理よりも処理負荷の高い局所補正処理（歪補正処理および回転補正処理）を実行するようにしたので、複数の撮像画像２０に対する補正処理の負荷を低減することが可能となる。例えば、所望のフレームレートに対してＮ倍高いフレームレートで連続撮影を行っても、補正処理の全体に要する時間は、上記比較例に係る画像処理装置に比べてＮ倍より短くなるため、プロセッサへの負担を軽減することができる。
　第１の実施の形態に係る画像処理装置１によれば、ブラー抑制性能を保ちつつ、補正処理の処理時間を大幅に短縮できるのでリアルタイムでの補正処理が可能となる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．第２の実施の形態＞
　次に、本開示の第２の実施の形態に係る撮像システムについて説明する。なお、以下では、上記第１の実施の形態に係る撮像システムの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　図１０は、第２の実施の形態に係る画像処理装置１Ａを含む撮像システムの一構成例を概略的に示している。
　この撮像システムでは、ＩＭＵ３は、姿勢情報として、ジャイロセンサによるジャイロ情報３１と、加速度センサによる加速度情報３２とを出力する。
　加速度情報３２は、ジャイロ情報３１と同様に、イメージセンサ２によって得られる複数の撮像画像２０のそれぞれに対して付加され、撮像画像２０と共に画像処理装置１に出力される。加速度情報３２は、ジャイロ情報３１と同様に、例えば、複数の撮像画像２０のそれぞれにおいて、複数の画素ラインのうち所定の画素ラインに対して対応付けられている。加速度情報３２は、ジャイロ情報３１と同様に、例えば、画像処理装置１側において、撮像画像２０の各画素ラインに対する加速度情報に変換可能となっている。
　第２の実施の形態に係る画像処理装置１Ａは、図５に示した画像処理装置１の構成に対して、ブレ補正部１４Ａにおいて、拡大縮小補正部１９をさらに備えている。
　第２の実施の形態に係る画像処理装置１Ａにおいて、局所補正部１７および拡大縮小補正部１９は、本開示による技術における「第２の補正処理部」の一具体例に相当する。画像処理装置１Ａでは、第２の補正処理として、局所補正部１７による歪補正処理および回転補正処理と、拡大縮小補正部１９による拡大縮小補正処理とを実行する。拡大縮小補正部１９は、第２の補正画像として、拡大縮小補正画像２４を生成して出力する。拡大縮小補正部１９による拡大縮小補正処理は、加速度情報３２に基づいて実行される。
　図１１は、第２の実施の形態に係る撮像システムの動作の概要を示している。
　図１１において、ステップＳ１０～ステップＳ１４までの処理は、第１の実施の形態に係る撮像システムによる処理（図６）と略同様である。
　第２の実施の形態に係る撮像システムでは、ステップＳ１４の処理によって得られた複数の歪補正・回転補正画像２３のそれぞれ（毎フレーム）に対して、加速度情報３２に基づいて、拡大縮小補正処理が実行される（ステップＳ１４Ａ）。これにより、所望のフレームレート（例えば３０ｆｐｓ）の拡大縮小補正画像２４が得られる。
　拡大縮小補正画像２４は、ブレ補正部１４Ａによる補正処理後の最終画像としてエンコーダ１８に出力される。補正処理後の最終画像は、エンコーダ１８を介して、例えば記憶装置５に出力され、保存される（ステップＳ１５）。
（変形例）
　図１０に示した構成に対して、拡大縮小補正部１９を局所補正部１７の前段に設け、拡大縮小補正処理を局所補正部１７による歪補正処理および回転補正処理よりも先に実行するようにしてもよい。この場合、ブレ補正部１４Ａによる補正処理後の最終画像は、拡大縮小補正処理が実行された後に生成された歪補正・回転補正画像２３となる。
　その他の構成、動作および効果は、上記第１の実施の形態に係る撮像システムと略同様であってもよい。
＜３．第３の実施の形態＞
　次に、本開示の第３の実施の形態に係る撮像システムについて説明する。なお、以下では、上記第１または第２の実施の形態に係る撮像システムの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
（第１の構成例）
　図１２は、第３の実施の形態に係る画像処理装置１Ｂを含む撮像システムの第１の構成例を概略的に示している。画像処理装置１Ｂは、ブレ補正部１４Ｂを備えている。
　第１の実施の形態に係る撮像システム（図５）では、ＩＭＵ３からのジャイロ情報３１は、イメージセンサ２によって得られる複数の撮像画像２０のそれぞれに対して付加され、撮像画像２０と共に画像処理装置１に出力される。これに対し、図１２に示す撮像システムでは、ＩＭＵ３からのジャイロ情報３１は、イメージセンサ２によって得られる複数の撮像画像２０とは別々に画像処理装置１Ｂに出力される。図１２に示す撮像システムでは、複数の撮像画像２０のそれぞれにおいて、複数の画素ラインのそれぞれに対してタイムスタンプが付与されている。同様にして、ジャイロ情報３１には、複数の画素ラインのそれぞれに対応するタイムスタンプが付与されている。これにより、画像処理装置１Ｂ側では、タイムスタンプに基づいて、撮像画像２０の各画素ラインとジャイロ情報３１との関連付けが可能とされている。
　その他の構成、動作および効果は、上記第１の実施の形態に係る撮像システムと略同様であってもよい。
（第２の構成例）
　図１３は、第３の実施の形態に係る画像処理装置１Ｃを含む撮像システムの第２の構成例を概略的に示している。画像処理装置１Ｃは、ブレ補正部１４Ｃを備えている。
　第２の実施の形態に係る撮像システム（図１０）では、ＩＭＵ３からのジャイロ情報３１と加速度情報３２とが、イメージセンサ２によって得られる複数の撮像画像２０のそれぞれに対して付加され、撮像画像２０と共に画像処理装置１Ａに出力される。これに対し、図１３に示す撮像システムでは、ＩＭＵ３からのジャイロ情報３１と加速度情報３２とが、イメージセンサ２によって得られる複数の撮像画像２０とは別々に画像処理装置１Ｃに出力される。図１３に示す撮像システムでは、複数の撮像画像２０のそれぞれにおいて、複数の画素ラインのそれぞれに対してタイムスタンプが付与されている。同様にして、ジャイロ情報３１と加速度情報３２とには、複数の画素ラインのそれぞれに対応するタイムスタンプが付与されている。これにより、画像処理装置１Ｃ側では、タイムスタンプに基づいて、撮像画像２０の各画素ラインに対してジャイロ情報３１と加速度情報３２とを関連付けることが可能とされている。
　その他の構成、動作および効果は、上記第２の実施の形態に係る撮像システムと略同様であってもよい。
＜４．移動体への応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１５は、撮像部１２０３１の設置位置の例を示す図である。
　図１５では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上説明した車両制御システム１２０００において、本開示の画像処理装置は、例えば、車外情報検出ユニット１２０３０に適用することができる。車外情報検出ユニット１２０３０に本開示に係る技術を適用することにより、撮像部１２０３１で撮像された画像のブレ補正のリアルタイム処理が可能となる。これにより、車外の物体検出処理等の処理速度を向上させることが可能となる。
＜５．その他の実施の形態＞
　本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、複数の撮像画像に対する補正処理の負荷を低減することが可能となる。
（１）
　撮像装置によって撮像された複数の撮像画像のそれぞれに対して、前記撮像装置の姿勢情報に基づいて第１の補正処理を実行し、複数の第１の補正画像を生成する第１の補正処理部と、
　前記第１の補正処理部によって生成された前記複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行し、加算画像を生成する加算処理部と、
　前記加算処理部によって生成された前記加算画像に対して、前記姿勢情報に基づいて、前記第１の補正処理よりも処理負荷の高い第２の補正処理を実行し、第２の補正画像を生成する第２の補正処理部と
　を備える
　画像処理装置。
（２）
　前記第１の補正処理は、画像全体に対する処理である
　上記（１）に記載の画像処理装置。
（３）
　前記第１の補正処理は、画像の平行移動処理を含む
　上記（１）または（２）に記載の画像処理装置。
（４）
　前記第２の補正処理は、画像の局所ごとに対する処理を含む
　上記（１）ないし（３）のいずれか１つに記載の画像処理装置。
（５）
　前記第２の補正処理は、画像の歪補正処理および回転補正処理を含む
　上記（１）ないし（４）のいずれか１つに記載の画像処理装置。
（６）
　前記第２の補正処理は、画像の拡大縮小補正処理を含む
　上記（１）ないし（５）のいずれか１つに記載の画像処理装置。
（７）
　前記複数の撮像画像のそれぞれに対して前記姿勢情報が付加されている
　上記（１）ないし（６）のいずれか１つに記載の画像処理装置。
（８）
　前記複数の撮像画像はそれぞれ複数の画素ラインを有し、
　前記複数の撮像画像のそれぞれにおいて、前記複数の画素ラインのうち所定の画素ラインに対して前記姿勢情報が対応付けられている
　上記（１）ないし（７）のいずれか１つに記載の画像処理装置。
（９）
　前記複数の撮像画像はそれぞれ複数の画素ラインを有し、
　前記複数の撮像画像のそれぞれにおいて、前記複数の画素ラインのそれぞれに対してタイムスタンプが付与され、
　前記姿勢情報には、前記複数の画素ラインのそれぞれに対応するタイムスタンプが付与されている
　上記（１）ないし（６）のいずれか１つに記載の画像処理装置。
（１０）
　前記姿勢情報は、ジャイロセンサによるジャイロ情報および加速度センサによる加速度情報のうち少なくとも１つを含む
　上記（１）ないし（９）のいずれか１つに記載の画像処理装置。
　本出願は、日本国特許庁において２０１８年１２月２７日に出願された日本特許出願番号第２０１８－２４４５０７号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (10)

  1. 　撮像装置によって撮像された複数の撮像画像のそれぞれに対して、前記撮像装置の姿勢情報に基づいて第１の補正処理を実行し、複数の第１の補正画像を生成する第１の補正処理部と、
    　前記第１の補正処理部によって生成された前記複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行し、加算画像を生成する加算処理部と、
    　前記加算処理部によって生成された前記加算画像に対して、前記姿勢情報に基づいて、前記第１の補正処理よりも処理負荷の高い第２の補正処理を実行し、第２の補正画像を生成する第２の補正処理部と
    　を備える
    　画像処理装置。
  2. 　前記第１の補正処理は、画像全体に対する処理である
    　請求項１に記載の画像処理装置。
  3. 　前記第１の補正処理は、画像の平行移動処理を含む
    　請求項１に記載の画像処理装置。
  4. 　前記第２の補正処理は、画像の局所ごとに対する処理を含む
    　請求項１に記載の画像処理装置。
  5. 　前記第２の補正処理は、画像の歪補正処理および回転補正処理を含む
    　請求項１に記載の画像処理装置。
  6. 　前記第２の補正処理は、画像の拡大縮小補正処理を含む
    　請求項１に記載の画像処理装置。
  7. 　前記複数の撮像画像のそれぞれに対して前記姿勢情報が付加されている
    　請求項１に記載の画像処理装置。
  8. 　前記複数の撮像画像はそれぞれ複数の画素ラインを有し、
    　前記複数の撮像画像のそれぞれにおいて、前記複数の画素ラインのうち所定の画素ラインに対して前記姿勢情報が対応付けられている
    　請求項１に記載の画像処理装置。
  9. 　前記複数の撮像画像はそれぞれ複数の画素ラインを有し、
    　前記複数の撮像画像のそれぞれにおいて、前記複数の画素ラインのそれぞれに対してタイムスタンプが付与され、
    　前記姿勢情報には、前記複数の画素ラインのそれぞれに対応するタイムスタンプが付与されている
    　請求項１に記載の画像処理装置。
  10. 　前記姿勢情報は、ジャイロセンサによるジャイロ情報および加速度センサによる加速度情報のうち少なくとも１つを含む
    　請求項１に記載の画像処理装置。
PCT/JP2019/048187 2018-12-27 2019-12-10 画像処理装置 WO2020137503A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP19901428.3A EP3905656A4 (en) 2018-12-27 2019-12-10 IMAGE PROCESSING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018244507A JP2020107036A (ja) 2018-12-27 2018-12-27 画像処理装置
JP2018-244507 2018-12-27

Publications (1)

Publication Number Publication Date
WO2020137503A1 true WO2020137503A1 (ja) 2020-07-02

Family

ID=71128226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048187 WO2020137503A1 (ja) 2018-12-27 2019-12-10 画像処理装置

Country Status (3)

Country Link
EP (1) EP3905656A4 (ja)
JP (1) JP2020107036A (ja)
WO (1) WO2020137503A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116310A (ja) * 2005-10-19 2007-05-10 Seiko Epson Corp 画像情報再生装置
JP2009105533A (ja) 2007-10-22 2009-05-14 Sony Corp 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
JP2017058660A (ja) * 2015-09-15 2017-03-23 キヤノン株式会社 像振れ補正装置、傾き補正装置、像振れ補正装置の制御方法、傾き補正装置の制御方法
WO2017187691A1 (ja) * 2016-04-26 2017-11-02 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116310A (ja) * 2005-10-19 2007-05-10 Seiko Epson Corp 画像情報再生装置
JP2009105533A (ja) 2007-10-22 2009-05-14 Sony Corp 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
JP2017058660A (ja) * 2015-09-15 2017-03-23 キヤノン株式会社 像振れ補正装置、傾き補正装置、像振れ補正装置の制御方法、傾き補正装置の制御方法
WO2017187691A1 (ja) * 2016-04-26 2017-11-02 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Also Published As

Publication number Publication date
JP2020107036A (ja) 2020-07-09
EP3905656A1 (en) 2021-11-03
EP3905656A4 (en) 2022-02-23

Similar Documents

Publication Publication Date Title
JP6724982B2 (ja) 信号処理装置および撮像装置
JP7014218B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11082626B2 (en) Image processing device, imaging device, and image processing method
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP6977722B2 (ja) 撮像装置、および画像処理システム
US11553117B2 (en) Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium
WO2017195459A1 (ja) 撮像装置、および撮像方法
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
WO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
US11368620B2 (en) Image processing apparatus, image processing method, and electronic device
CN111345036A (zh) 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法
WO2019167363A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP6439233B2 (ja) 車両用画像表示装置及び画像処理方法
WO2020137503A1 (ja) 画像処理装置
TWI742636B (zh) 攝像裝置及攝像方法
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
WO2018220993A1 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
WO2021124921A1 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2021192682A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020166284A1 (ja) 撮像装置
JP6586972B2 (ja) 車両用画像表示装置及び画像処理方法
WO2019221150A1 (ja) 撮像装置および撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19901428

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019901428

Country of ref document: EP

Effective date: 20210727