WO2023002826A1 - 撮像システム、及び、それを備えた移動体 - Google Patents

撮像システム、及び、それを備えた移動体 Download PDF

Info

Publication number
WO2023002826A1
WO2023002826A1 PCT/JP2022/026044 JP2022026044W WO2023002826A1 WO 2023002826 A1 WO2023002826 A1 WO 2023002826A1 JP 2022026044 W JP2022026044 W JP 2022026044W WO 2023002826 A1 WO2023002826 A1 WO 2023002826A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
distance
blur correction
imaging system
Prior art date
Application number
PCT/JP2022/026044
Other languages
English (en)
French (fr)
Inventor
智司 松井
範一 勝山
祐輔 松本
祐介 足立
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023536671A priority Critical patent/JPWO2023002826A1/ja
Publication of WO2023002826A1 publication Critical patent/WO2023002826A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/04—Vertical adjustment of lens; Rising fronts

Definitions

  • the present disclosure relates to an imaging system that corrects blur according to the movement of a mobile object, and a mobile object equipped with the same.
  • Inspection efficiency can be greatly improved by capturing images of infrastructure equipment while moving by a mobile object and detecting defective locations by image processing of the captured images instead of visual inspection by humans.
  • image processing of the captured images instead of visual inspection by humans.
  • blurring occurs in the captured image.
  • Patent Document 1 uses a saccade mirror technique to correct blur caused by camera movement during exposure. Blurring is reduced by irradiating light on an object to be imaged, and reflecting the light reflected by the object by a mirror that rotates for a predetermined exposure time and making the reflected light enter the camera.
  • the present disclosure provides an imaging system that suppresses deterioration of blur correction even when imaging while moving, and a moving body equipped with the same.
  • An imaging system is an imaging system installed in a mobile body, and includes an imaging device that captures an image of at least a part of a structure around the mobile body as an imaging target, and an imaging device that captures images while the mobile body is moving. It has a blur correction amount setting unit that sets the blur correction amount based on the subject distance from the imaging device to the imaging target, and the blur during imaging is corrected using the set blur correction amount. and a blur correction device for correcting. A first image is acquired by the imaging device while being subjected to blur correction by the blur correction device with a blur correction amount set based on the first distance as the object distance.
  • the imaging device After the first image, the imaging device acquires a second image while performing blur correction by the blur correction device with a blur correction amount set based on the second distance as the object distance.
  • the imaging system includes an image processing device that calculates pixel shift amounts of common feature portions in the first image and the second image.
  • the image processing device calculates a third distance as the subject distance of a third image captured after the second image, based on the pixel movement amount and the movement amount of the moving body.
  • the mobile object of the present disclosure includes the imaging system described above.
  • the imaging system of the present disclosure and the moving body equipped with the same, it is possible to provide an imaging system and a moving body equipped with the same that suppress degradation of blur correction even in imaging while moving.
  • FIG. 1 shows a vehicle with an imaging system 1 is a diagram showing the configuration of an imaging system according to an embodiment;
  • FIG. Explanatory diagram for explaining blur correction of an imaging system Explanatory diagram explaining general subject distance
  • Explanatory diagram showing subject distance in the embodiment Explanatory diagram for explaining an image captured without blur correction during exposure
  • 4 is a flowchart showing blurring imaging processing according to the embodiment; Graph showing the relationship between movement speed change, exposure time timing, and movement blur correction angle Graph showing effect of embodiment
  • a moving object is a vehicle 3 such as an automobile, and a case where the imaging system 1 is attached to the top of the vehicle 3 will be described as an example.
  • FIG. 1 is a diagram for explaining an imaging system 1.
  • FIG. FIG. 2 is a block diagram showing the internal configuration of the imaging system 1.
  • a vehicle 3 is traveling in a tunnel 5, for example.
  • holes 5b and cracks 5c are generated in the wall surface 5a in the tunnel 5.
  • FIG. 1 is a diagram for explaining an imaging system 1.
  • FIG. 2 is a block diagram showing the internal configuration of the imaging system 1.
  • a vehicle 3 is traveling in a tunnel 5, for example.
  • holes 5b and cracks 5c are generated in the wall surface 5a in the tunnel 5.
  • the object to be imaged by the imaging system 1 is at least part of the structure around the vehicle 3, and is an object that moves relatively according to the movement speed of the vehicle 3 as the vehicle 3 moves.
  • the imaging target area 9 is an area to be acquired as an image in this imaging target.
  • the side surface and bottom surface of an overpass, a utility pole, and an electric wire may be captured. This makes it possible to detect holes, cracks, floats, peelings, seams, tilts of utility poles, and flexures of electric wires in the imaging target by image processing from the acquired images.
  • the vehicle 3 includes a speed detection device 3a that detects the moving speed of the vehicle 3.
  • the speed detection device 3a is, for example, a vehicle speed sensor that detects the moving speed from the rotation speed of the axle of the vehicle 3. As shown in FIG.
  • the imaging system 1 is installed on the upper surface of the vehicle 3.
  • the imaging system 1 is fixed so as to capture an image of a structure above the vehicle 3, for example, the wall surface 5a of the tunnel 5 in FIG. may be installed to capture the
  • the imaging system 1 includes an imaging device 11, a blur correction device 13, an image processing device 14, and a storage unit 15.
  • the imaging device 11 captures an image of structures around the vehicle 3 , and captures an image of the wall surface 5 a of the tunnel 5 when the vehicle 3 travels through the tunnel 5 , for example.
  • the imaging device 11 includes a camera body 21 , a lens 23 as an optical system lens, a shutter 24 , an imaging element 25 and a camera control section 27 .
  • the camera body 21 has a replaceable lens 23 attached thereto, and houses an imaging device 25 and a camera control section 27 .
  • An imaging element 25 is arranged at the position of the focal length F of the lens 23 .
  • the imaging device 25 is, for example, a solid-state imaging device such as a CCD image sensor, a CMOS image sensor, or an infrared image sensor.
  • the camera body 21 is arranged on the vehicle 3 so that the orientation of the lens 23 is parallel to the moving direction of the vehicle 3 .
  • the camera body 21 is arranged so that the lens 23 faces the front or rear of the vehicle 3 .
  • the camera body 21 and the lens 23 may be integrated, for example, like a video camera, and a blur correction mechanism 31 is arranged outside the camera body 21 and the lens 23 that are integrated.
  • the camera control unit 27 opens the shutter 24 while receiving the exposure instruction signal from the correction processing unit 33 .
  • the shutter 24 may be configured to open and close a plurality of blade diaphragms, or may be an electronic shutter.
  • the blur correction device 13 corrects the optical path of light incident on the imaging system 1 so that blurring of the image of the imaging target area 9 is reduced even if the imaging device 11 captures images while the vehicle 3 is moving.
  • the blur correction device 13 includes a blur correction mechanism 31 and a correction processing section 33 .
  • the blur correction mechanism 31 corrects the optical path of the reflected light L1 of ambient light reflected by the imaging target area 9 in accordance with the movement of the vehicle 3 .
  • the blur correction mechanism 31 includes a mirror 41 and a mirror driver 43 that drives the mirror 41 to rotate.
  • the blur correction mechanism 31 is a pan-tilt mechanism that drives a lens barrel, in which the lens 23 and the imaging element 25 are integrated, around a rotation axis, for example, in the pan direction and the tilt direction. good too.
  • the pan-tilt mechanism has a drive unit that rotates the integrated lens 23 and imaging element 25 .
  • the driving part is, for example, a motor.
  • the blur correction mechanism 31 may have a tilt function for vertically rotating the camera body 21 and the lens 23 and a pan function for horizontally rotating the camera body 21 and the lens 23 . Further, the blur correction mechanism 31 may be a mechanism that rotates the entire imaging device 11, or may have an optical system lens driving mechanism and an imaging device driving mechanism. In this way, when blur correction is performed without using a mirror, the lens 23 and the camera body 21 are installed so that the orientation of the lens 23 and the moving direction of the vehicle 3 are perpendicular.
  • the mirror 41 is rotatably arranged so as to face the lens 23 .
  • the mirror 41 is rotatable, for example, in both forward and reverse clockwise directions, and the rotatable angular range may be less than 360 degrees or greater than or equal to 360 degrees. good too.
  • the mirror 41 totally reflects ambient light reflected by the imaging target toward the imaging device 25 of the imaging device 11 .
  • the mirror drive unit 43 rotates the mirror 41 from the initial angle to the instructed angle for correcting the imaging blur, rotates the mirror 41 to the instructed angle, and then returns it to the initial angle.
  • the mirror driver 43 is, for example, a motor.
  • the rotation angle of the mirror 41 is limited by the mechanical restrictions of the mirror driving section 43, and the mirror 41 can be rotated up to the maximum swing angle of the mirror 41 determined by this restriction.
  • FIG. 3A is an explanatory diagram for explaining blur correction of the imaging system 1.
  • FIGS. 4A and 4B show images captured without blur correction
  • FIG. 4A shows an image at the start of imaging
  • FIG. 4B shows an image at the end of imaging.
  • the imaging system 1 located at position A moves to position B together with the vehicle 3 after the exposure time Tp.
  • Image pickup is started at position A, and an image ImA that can be acquired at this timing is shown in FIG. 4(a).
  • the hole 5b of the imaging target area 9 is imaged in the image ImA.
  • the image ImA is a dark image and not sharp because the exposure time is not long enough.
  • the imaging target area 9 will relatively move in the direction opposite to the moving direction of the vehicle 3. Therefore, the image ImAa in which the hole 5b relatively moves as shown in FIG. becomes.
  • the pixel movement amount P is detected as the amount of blurring.
  • the image captured by the imaging device 11 while the vehicle 3 is moving is a blurred image.
  • the moving direction side end of the mirror 41 rotates the mirror 41 in a direction that offsets the relative movement of the imaging target during the exposure time.
  • the system 1 can image the same imaging target area 9 in the captured image during the exposure time, and can acquire an image with significantly reduced blurring.
  • the mirror 41 is rotated clockwise in FIG. 1 so that the end portion of the mirror 41 on the moving direction side turns around the imaging target side during the exposure time. By rotating the mirror 41, the pixel movement amount P is corrected to zero in the image ImAa.
  • the blur correction amount during imaging changes according to the amount of pixel movement of the feature points included in the imaging target from the start to the end of imaging.
  • the pixel movement amount is proportional to the object magnification M in addition to the vehicle movement amount.
  • the subject magnification M is inversely proportional to the subject distance from the imaging device 25 to the imaging target. Therefore, when the object distance changes, the pixel movement amount P also changes. Unless the blur correction amount is set according to the change in the object distance, the accuracy of the blur correction during imaging decreases.
  • FIG. 3B is an explanatory diagram for explaining a general object distance D.
  • FIG. 3C is an explanatory diagram showing the subject distance D in the embodiment.
  • the subject distance D[m] is the distance from the principal point Lp of the lens Ln arranged between the imaging target Sb, which is the subject, and the imaging device 25 to the imaging target Sb. Also, the distance from the principal point Lp of the lens Ln to the imaging device 25 is the focal length F of the lens Ln.
  • the principal point Lp of the lens Ln is not necessarily positioned at the center of the lens Ln depending on the lens shape of the lens Ln, or if the lens Ln is composed of a plurality of lenses. may be located.
  • the imaging range Sa as the subject size that fits within the angle of view is determined by the ratio of similar shapes of the two triangular regions Sq1 and Sq2. .
  • the parallel light L from the shooting range a is incident on the lens Ln, it is condensed on the imaging device 25 .
  • the image movement distance for each imaging interval and the movement distance of the vehicle 3 for each imaging interval are used.
  • the imaging interval may be a time interval or a distance interval.
  • the image is captured by exposure in synchronization with the pulse update of the vehicle speed signal output from the speed detection device 3a, so the image is captured at equal distance intervals.
  • the image may be captured at a constant frame rate based on the moving speed output from the speed detection device 3a.
  • the correction processing unit 33 controls the blur correction mechanism 31 for blur correction.
  • the correction processing unit 33 includes a blur correction amount setting unit 51 , a vehicle movement amount calculation unit 53 , a pixel movement amount calculation unit 55 , a subject magnification calculation unit 57 , a subject distance calculation unit 59 , and a pixel resolution calculation unit 61 . , provided.
  • the correction processing unit 33 is a circuit that can be realized with a semiconductor element or the like.
  • the correction processing unit 33 can be configured by, for example, a microcomputer, CPU, MPU, GPU, DSP, FPGA, or ASIC.
  • the function of the correction processing unit 33 may be configured only by hardware, or may be realized by combining hardware and software.
  • the correction processing unit 33 reads data and programs stored in the storage unit 15 and performs various arithmetic processing, thereby realizing predetermined functions.
  • the blur correction amount setting unit 51 sets the mirror swing angle of the mirror 41 during imaging. ⁇ is calculated in the following flow.
  • a vehicle movement amount La of the vehicle 3 moving during the exposure time Tp from the start of imaging to the end of imaging is calculated from the moving speed V1 and the exposure time Tp by the following equation (1).
  • La [mm] V1 [km/h] x 106 x Tp [ms]/(602 x 103) ( 1 )
  • the movement amount P of pixels on the image sensor 25 during the exposure time Tp from the start of imaging to the end of imaging is calculated from the vehicle movement amount La of the vehicle 3 and the subject magnification M by the following equation (2).
  • P [mm] La [mm] x M (2) formula
  • the mirror swing angle ⁇ is half the size of the motion blur correction angle ⁇ , it is calculated by the following equation (4).
  • ⁇ ⁇ /k (4)
  • k is the mirror swing angle ⁇ as the mechanism swing angle of the driving mechanism and the movement blur correction angle as the optical correction angle for correcting the light incident on the lens 23
  • k 2
  • the conversion coefficient k 2.
  • the blur correction amount setting unit 51 calculates the mirror swing angle ⁇ of the mirror 41 .
  • the imaging device 11 can receive light from the same imaging target region 9 during the exposure time. It is possible to suppress the occurrence of movement blur in captured images.
  • the focal length F in formulas (2) and (3) is a value determined by the lens 23, and the subject magnification M is a value determined by the focal length F and the subject distance.
  • the pixel movement amount qa [px] in pixel unit and the pixel movement amount qb [mm] in length unit which is the pixel movement amount by which the feature point moves during the imaging interval, and the pixel movement amount qb [mm]
  • a distance D [m] a vehicle movement amount Lb [mm] by which the vehicle 3 moves during the imaging interval, a pixel pitch s [ ⁇ m/px] of the captured image, and a vertical pixel number Vpx [px] of the captured image.
  • the focal length F [mm] of the lens 23, the pixel pitch s [ ⁇ m/px] of the captured image, and the number of vertical pixels Vpx [px] of the captured image are predetermined values.
  • the pixel movement amount qa in pixel units and the pixel movement amount qb in length units are simply referred to as pixel movement amount q.
  • FIG. 4 shows feature points that move during imaging
  • FIG. 2 shows an image ImC of the points.
  • the image processing device 14 performs image matching processing on the two captured images ImB and ImC captured in different frames, for example, to calculate the pixel movement amount q of the feature point such as the hole 5b between the captured frames.
  • the pixel movement amount q may be one point in the captured images ImB and ImC, or may be an average value of respective pixel movement amounts q1, q2, . . . qn at a plurality of points.
  • the image processing device 14 is a circuit that can be realized with a semiconductor element or the like.
  • the image processing device 14 can be configured by, for example, a microcomputer, CPU, MPU, GPU, DSP, FPGA, or ASIC.
  • the functions of the image processing device 14 may be configured only by hardware, or may be realized by combining hardware and software.
  • the image processing device 14 reads data and programs stored in the storage unit 15 and performs various arithmetic processing, thereby realizing predetermined functions.
  • an image is captured by exposure in synchronization with the pulse update of the vehicle speed signal output from the speed detection device 3a. Accordingly, instead of detecting the moving speed of the vehicle 3, the moving amount of the vehicle 3 can be directly calculated from the vehicle speed signal.
  • the vehicle movement amount calculator 53 calculates the vehicle movement amount Lb of the vehicle 3 between the two captured images.
  • the subject magnification calculator 57 calculates the subject magnification M using the following equation (6).
  • the subject distance calculator 59 calculates the subject distance D2 using the following equation (7).
  • D F/M/10 3 (7)
  • the vertical imaging range R satisfies the following relational expression (8).
  • R Vpx ⁇ s/10 3 ⁇ D/F (8)
  • the pixel resolution calculator 61 can associate the pixel unit of the captured image with the length unit of the captured image from the calculated pixel resolution of the captured image, and may measure the length of the crack in the captured image.
  • the captured image converted into units may be stored in the storage unit 15 .
  • the storage unit 15 is a storage medium that stores programs and data necessary for realizing the functions of the correction processing unit 33 .
  • the storage unit 15 can be implemented by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • the operation unit 7 is an input device for the user to give instructions to the correction processing unit 33 .
  • the operation unit 7 may be an input device dedicated to the imaging system 1 or may be a mobile terminal such as a smartphone. When a mobile terminal is used as the operation unit 7, data is transmitted and received between the operation unit 7 and the correction processing unit 33 by wireless communication.
  • the user may use the operation unit 7 to indicate whether the imaging target area is an indoor dark area such as a tunnel or an outdoor bright area such as a slope of a mountain. In the case of capturing images at regular time intervals, the operation unit 7 may be used to instruct the frame rate Tf. Further, the operation unit 7 has a display unit, and displays a warning or the like from the imaging system 1 to notify the user.
  • FIG. 6 is a flowchart showing imaging processing performed by the imaging system 1 .
  • FIG. 7 is a graph showing the relationship between changes in moving speed, exposure time timing, captured images, and vehicle speed update flags.
  • FIG. 7(a) is a graph showing the moving speed of the vehicle 3 that changes over time.
  • FIG. 7B is a graph showing timing of exposure time for each frame.
  • FIG. 7(c) is an explanatory diagram showing an image captured for each frame.
  • FIG. 7(d) is a graph showing the timing at which the vehicle speed update flag rises.
  • the imaging process shown in FIG. 6 is started, for example, when an instruction to start imaging is given from the operation unit 7 while the vehicle 3 is moving.
  • a blur correction amount setting unit 51 of the correction processing unit 33 calculates a moving blur correction angle ⁇ , which is a blur correction amount, based on a predetermined distance da1 stored in the storage unit 15 as the subject distance D1.
  • Set (step S1) Since the subject distance D2 has not been calculated from the captured image immediately after the start of imaging, a predetermined distance da1 may be used or, for example, a value input from the operation unit 7 may be used.
  • the set or updated object distance value is D1
  • the calculated object distance value is D2.
  • the correction processing unit 33 calculates the mirror swing angle ⁇ based on the set motion blur correction angle ⁇ , and calculates the mirror rotation speed based on the calculated mirror swing angle ⁇ and the set exposure time Tp. .
  • the correction processing unit 33 further rotates the mirror 41 at the calculated mirror rotation speed, and the mirror 41 starts rotating from a predetermined initial angle. As a result, blur correction during imaging by the imaging device 11 is performed (step S2). At the same time, the correction processing section 33 continues to send a Hi signal instructing exposure to the camera control section 27 for the exposure time Tp.
  • the camera control unit 27 acquires the first frame image Im0 by opening the shutter 24 and exposing while receiving the Hi signal, and the correction processing unit 33 captures the image from the speed detection device 3a. Movement information of the vehicle 3 between frames is acquired (step S3).
  • the correction processing section 33 continues to send a Low signal instructing to stop exposure to the camera control section 27 . While the camera control unit 27 is receiving the Low signal, the shutter 24 is closed, and the correction processing unit 33 causes the mirror driving unit 43 to rotate the mirror 41 in the reverse direction to return the mirror 41 to the initial angle. Note that the mirror drive unit 43 may rotate the mirror 41 forward to return the mirror 41 to the initial angle.
  • the correction processing unit 33 determines whether or not the number of acquired captured images is two or more (step S4), and if it determines that the number of acquired captured images is not two or more (No in step S4). , the process returns to step S1, and the imaging process of the next frame, for example, the image Im1 of the second frame is started.
  • the blur correction amount setting unit 51 sets the moving blur correction angle ⁇ , which is the amount of blur correction, based on the same distance da1 as in the first frame as the subject distance D1. Thereafter, imaging processing similar to that for the first frame is performed, and the imaging device 11 captures the first image Im1 of the second frame shown in FIG.
  • the captured image Im ⁇ b>1 is stored in the storage unit 15 .
  • the pixel shift amount The calculation unit 55 calculates the pixel movement amount qb between two or more images, and the vehicle movement amount calculation unit 53 calculates the distance from the start of imaging of the current imaging frame to the start of imaging of the next imaging frame based on the acquired movement information.
  • a vehicle movement amount Lb by which the vehicle 3 has moved is calculated (step S5).
  • the calculated vehicle movement amount Lb is stored in the storage unit 15 in association with the captured image.
  • the subject distance calculator 59 calculates the subject distance D2 based on the pixel movement amount qb between two or more captured images and the vehicle movement amount Lb (step S6).
  • the image Im1 and the image Im0 each capture a common feature portion g1, and the image processing device 14 detects the pixel movement amount q1 between the image Im0 and the image Im1 by image matching processing. Based on this pixel movement amount q1, the subject distance calculator 59 calculates a distance ds2 as a new subject distance D2.
  • the subject distance calculator 59 updates the subject distance D1 to the subject distance D2 (step S7).
  • the subject distance D1 calculated based on the captured image of the nth frame is updated as the subject distance D1 of the (n+1)th frame.
  • step S8 the imaging system 1 finishes imaging while the vehicle 3 is moving.
  • step S8 the process returns to step S1 again to capture an image in the next frame.
  • the third frame image Im2 is captured as the next frame.
  • the blur correction amount setting unit 51 sets the movement blur correction angle ⁇ , which is the blur correction amount, based on the second distance ds2 different from that in the second frame as the subject distance D1.
  • the imaging process similar to that for the second frame is performed, and the imaging device 11 captures the second image Im2 of the third frame shown in FIG.
  • the captured image Im ⁇ b>2 is stored in the storage unit 15 .
  • the image processing device 14 captures a first image Im1 captured based on a first distance (eg, ds1) and a second image Im1 captured based on a second distance (eg, ds2).
  • a pixel movement amount q2 of a common characteristic portion g1 imaged with the second image Im2 is detected.
  • the subject distance calculator 59 calculates a distance ds3 as a new subject distance D2.
  • the movement blur correction angle ⁇ can be accurately set according to the changing subject distance, and the blur correction accuracy can be improved. can.
  • the subject distance D1 changes.
  • the blur correction accuracy of the captured image is reduced, so the movement amount calculation accuracy by image processing is also reduced, and the calculation accuracy of the subject distance D is also reduced.
  • the improvement of blur correction accuracy and the improvement of the calculation accuracy of the subject distance D are mutually related, so it is not possible to improve the accuracy of one after securing the accuracy of the other.
  • image processing it is possible to detect the pixel movement amount even if the blur does not become zero. Therefore, for example, as shown in FIG. Images Im1 and Im2 that have undergone blur correction are captured using .
  • a blur-corrected image Im3 is captured using the calculated second distance ds2, and a third distance ds3 as the subject distance is calculated by image processing based on the images Im2 and Im3.
  • the blur-corrected image Im4 with improved precision can be captured. Therefore, each time the subject distance D is updated, the calculated subject distance approaches the true value Dt, whereby an image with improved blur correction accuracy can be captured. Accuracy can also be improved.
  • the imaging system 1 includes the imaging device 11 having the imaging device 25 that captures an imaging target that is at least a part of the surroundings of the vehicle 3 away from the vehicle 3, and the vehicle that calculates the amount of movement of the vehicle 3.
  • a movement amount calculation unit 53 is provided, and a blur correction amount is set based on a subject distance D1 from the imaging device 11 to an imaging target for blurring in the moving direction when the imaging device 11 captures an image while the vehicle 3 is moving, and a blur correction device 13 that corrects blur during imaging using the set blur correction amount.
  • the image processing device 14 calculates the pixel movement amount q of the common characteristic portion g1 in the second image Im2 captured respectively.
  • the subject distance calculation unit 59 of the blur correction device 13 generates a first image Im1 with the pixel movement amount q and the first distance ds1 as the subject distance D1, and a second image Im2 with the second distance ds2 as the subject distance D1.
  • a third distance ds3 is calculated as the subject distance D2 of a third image Im3 captured after the second image Im2 based on the vehicle movement amount Lb of the vehicle 3 at the imaging interval of .
  • the blur correction device 13 updates the subject distance D1 to the third distance ds3, and sets the blur correction amount when capturing the third image Im3 based on the updated subject distance D1. Since the blur correction amount is updated based on the updated subject distance D1, the third image Im3 with improved blur correction can be captured.
  • the first distance ds1 and the second distance ds2, which are the subject distances when the first image Im1 and the second image Im2 are captured, are the pixels of the two previously captured images, respectively. It may be a value detected based on the amount of movement and the amount of movement of the moving object between the imaging intervals of the two images.
  • the subject distance D1 of the initial image Im0 and the subject distance D1 of the second image Im2 may be the same predetermined value ds1.
  • the first distance ds1 and the second distance ds2 are based on the pixel movement amounts q1 and q2 of the images Im1 and Im2 captured before the third image Im3 and the vehicle movement amount Lb of the vehicle 3. is the detected value.
  • the blur correction device 13 may update the average value of the object distance calculated two frames before and the object distance calculated one frame before as the object distance D1. For example, as the subject distance D2 when capturing the fourth image Im4, the average value of the distance ds2 calculated two frames before and the distance ds1 calculated one frame before is calculated, and the calculated subject distance D2 is the average value. may be updated as the object distance D1.
  • the amount of pixel movement of feature points obtained by image matching of two captured images is used to calculate the subject distance of the third image in three consecutive images, but the present invention is not limited to this. If the image matching processing of the two captured images is delayed from the imaging cycle, the object distance may be calculated with a delay of several frames.
  • the image processing device 14 outputs a warning signal to, for example, the operation unit 7, a speaker, or an image display device when the detected second distance exceeds a predetermined range. good too. This allows the driver of the vehicle 3 to recognize that the second distance exceeds the predetermined range.
  • a warning signal is output when the object distance is shorter or longer than expected.
  • the subject magnification M increases and the pixel movement amount also increases. As a result, the swing angle of the mirror required for blur correction increases, and may exceed the maximum swing angle. In addition, if the subject distance is longer than expected, the subject magnification M becomes small, and the pixel resolution [mm/px], which is the actual size per pixel, becomes rough, and the required inspection accuracy may not be obtained. As described above, if the second distance exceeds the predetermined range, deterioration of blur correction cannot be reduced or necessary inspection accuracy cannot be ensured. Can be retested. For example, if the cause is that the vehicle 3 meanders and the subject distance has changed, the vehicle 3 is re-traveled to perform the inspection again. Also, if there is no problem with the running of the vehicle 3 but the cause is a change on the subject side, replacement of the lens 23 can be urged.
  • the imaging device 11 and the blur correction mechanism 31 are separate bodies, but this is not the only option.
  • the imaging device 11 may have a housing 22 that connects a lens 23 and a camera body 21 , and the housing 22 may house the blur correction mechanism 31 .
  • the movement blur correction angle ⁇ corresponding to the movement amount P of the pixel is calculated for blur correction, and the mirror 41 is rotated by the mirror swing angle ⁇ corresponding to the movement blur correction angle ⁇ .
  • the imaging element 25 and the lens 23 may be driven in translation instead of the moving blur correction angle ⁇ .
  • the lens 23 of the imaging device 11 is directed directly toward the imaging target region 9 (see FIG. 1), and the blur correction mechanism 31B is directed toward the imaging target region 9 , an imaging device driving mechanism 71 for driving the imaging device 25 in translation, and an optical system lens driving mechanism 73 for driving the lens 23 in translation.
  • the imaging element drive mechanism 71 and the optical system lens drive mechanism 73 are, for example, translational drive mechanisms composed of pinion gears, racks, and motors.
  • the amount of translational driving by which the imaging element driving mechanism 71 drives the imaging element 25 is equal to the amount of movement P of the pixel
  • the amount of translational driving by which the optical system lens driving mechanism 73 drives the lens 23 is the amount of movement P of the pixel multiplied by a constant m. is the value
  • the constant m is a number of 0 or more.
  • the amount of translation changes with respect to the amount of lens driving. Further, instead of driving the lens 23 and the imaging element 25 individually, the imaging apparatus 11 as a whole may be driven translationally.
  • the imaging system 1 may include a speed detection device that detects the moving speed of the imaging system 1 .
  • the speed detection device may use a GPS (Global Positioning System) system or an acceleration sensor.
  • the imaging system 1 images the walls above and on the side of the vehicle 3, but the imaging system 1 is not limited to this.
  • the imaging system 1 may image the road surface below the vehicle 3 . Potholes, cracks, ruts, etc. occurring on the road surface can be detected by image processing from the captured image.
  • the mobile body is not limited to the vehicle 3, and may be a vehicle such as a train or a motorcycle that travels on the ground, a ship that travels on the sea, or an aircraft that flies in the sky, such as an airplane or a drone.
  • the imaging system 1 images the bottom of bridge piers and bridge girders, and structures constructed along the shore. If the moving object is a train, the deflection of the overhead wire can be detected by imaging the overhead wire.
  • the vehicle movement amount calculation unit 53 calculates the movement amount of the vehicle 3 as a moving object, when the moving object is something other than a vehicle, the vehicle movement amount calculation unit 53 calculates the movement amount of the moving object. .
  • an image is captured by light reflected by the imaging target area 9 from ambient light, but this is not the only option.
  • Light may be emitted from the moving object toward the imaging target region 9, and an image of the reflected light of the emitted light may be picked up.
  • An imaging system of the present disclosure is an imaging system installed in a mobile body, and is an imaging device having an imaging element that captures an image of an imaging target that is at least part of the surroundings of the mobile body and is remote from the mobile body. and a moving object movement amount calculating unit that calculates the amount of movement of the moving object, and the blur in the moving direction when the image capturing device captures an image while the moving object is moving is calculated based on the subject distance from the image capturing device to the image capturing object. and a blur correction device that sets a blur correction amount and corrects blur during imaging using the set blur correction amount.
  • the imaging system includes an image processing device that calculates a pixel shift amount of a characteristic portion common to each of the first image captured by the imaging device and the second image captured after the first image.
  • the blur correction device is based on a pixel shift amount and a shift amount of a moving object between imaging intervals of a first image with the first distance as the subject distance and a second image with the second distance as the subject distance. Based on this, the third distance is calculated as the subject distance of the third image captured after the second image.
  • the subject distance can be detected even while the moving object is moving, so blur correction can be performed according to changes in the subject distance, and the accuracy of blur correction can be improved.
  • the blur correction device updates the subject distance to the third distance, and sets the blur correction amount when capturing the third image based on the updated subject distance.
  • the first distance and the second distance which are the subject distances when the first image and the second image are captured, are respectively forward It is a value detected based on the amount of pixel movement between the two captured images and the amount of movement of the moving object between the two images.
  • the first distance and the second distance are the same predetermined value immediately after the start of imaging.
  • the blurring correction device uses the second distance calculated when capturing the second image and the third distance calculated when capturing the third image. is updated as the subject distance when capturing the third image.
  • the subject distance changes when the ratio between the pixel movement amount and the moving object movement amount changes.
  • the image processing device calculates the pixel resolution of the second image based on the second distance, and calculates the second image based on the calculated pixel resolution. converts the unit of the size of a predetermined pixel in the image from the pixel unit to the length unit.
  • the image processing device calculates the second pixel movement amount of the characteristic portion common to the second image and the third image.
  • the blur correction device calculates a fourth distance as the object distance based on the second pixel movement amount and the movement amount of the moving object between the imaging intervals of the second image and the third image.
  • the blur correction device updates the subject distance to a fourth distance, and sets a blur correction amount when capturing a fourth image to be captured after the third image based on the updated subject distance.
  • the image processing device outputs a warning signal when the detected second distance exceeds a predetermined range.
  • the blur correction device includes a mirror that totally reflects ambient light reflected by an image pickup target toward the image pickup device, and rotates the mirror. and a mirror drive unit, and the blur correction amount corresponds to the rotation angle of the mirror.
  • the imaging device has an optical system lens integrated with the imaging device
  • the blur correction device has an optical system lens integrated with the imaging device.
  • a drive unit for rotating the element, and the blur correction amount corresponds to the rotation angle of the drive unit.
  • the imaging device has an optical system lens focused on the imaging device, and the blur correction device combines the optical system lens and the imaging device.
  • a translational drive mechanism is provided for translational driving in a direction within the imaging plane of the imaging device, and the blur correction amount corresponds to the translational amount of the optical system lens.
  • a mobile object according to the present disclosure includes the imaging system according to any one of (1) to (13). As a result, while the mobile body is moving, the imaging system can capture an image of the surroundings of the mobile body with reduced blurring.
  • the imaging system described in the present disclosure is realized by hardware resources such as processors, memories, and cooperation with programs.
  • the present disclosure is applicable to an imaging system installed on a moving mobile object.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

移動体に設置される撮像システムであって、被写体距離として第１の距離に基づいて設定されたぶれ補正量でぶれ補正装置によりぶれ補正されながら撮像装置により第１の画像が取得され、第１の画像の後に、被写体距離として第２の距離に基づいて設定されたぶれ補正量でぶれ補正装置によりぶれ補正されながら撮像装置により第２の画像が取得される。画像処理装置が、第１の画像と第２の画像においてそれぞれ共通する特徴部分の画素移動量を算出する。画像処理装置は、画素移動量と移動体の移動量とに基づいて、被写体距離として第３の距離を検出する。

Description

撮像システム、及び、それを備えた移動体
　本開示は、移動体の移動に対応してぶれを補正する撮像システム、及び、それを備えた移動体に関する。
　交通インフラの老朽化に伴い、インフラ点検の需要が高まっている。人の目視による点検に代わって、移動体で移動しながらインフラ設備を撮像し、撮像した画像を画像処理によって欠陥箇所を検出することで、検査効率が格段に向上する。しかしながら、移動しながら撮像するので、撮像した画像にぶれが発生する。
　例えば、特許文献１は、露光中のカメラ移動によるぶれをサッカードミラーの技術を用いて補正している。撮像対象に光を照射して、撮像対象で反射した光を既定の露光時間の間回動するミラーに反射させてカメラに入射させることで、ぶれを低減している。
国際公開第２０１５／０６０１８１号
　しかしながら、移動体と共に移動する撮像装置と撮像対象との距離を一定に保つのは困難であり、撮像装置と撮像対象との距離が変化することでぶれ補正が劣化してしまう。
　本開示は、移動しながらの撮像においてもぶれ補正の劣化を抑制する撮像システム及びそれを備えた移動体を提供する。
　本開示の撮像システムは、移動体に設置される撮像システムであって、移動体の周囲の構造物の少なくとも一部を撮像対象として撮像する撮像装置と、移動体が移動中に撮像装置が撮像する際の移動方向のぶれを、撮像装置から撮像対象までの被写体距離に基づいてぶれ補正量を設定するぶれ補正量設定部を有し、設定されたぶれ補正量を用いて撮像中のぶれを補正するぶれ補正装置と、を備える。被写体距離として第１の距離に基づいて設定されたぶれ補正量でぶれ補正装置によりぶれ補正されながら撮像装置により第１の画像が取得される。第１の画像の後に、被写体距離として第２の距離に基づいて設定されたぶれ補正量でぶれ補正装置によりぶれ補正されながら撮像装置により第２の画像が取得される。撮像システムは、第１の画像と第２の画像においてそれぞれ共通する特徴部分の画素移動量を算出する画像処理装置を備える。画像処理装置は、画素移動量と移動体の移動量とに基づいて、第２の画像の後に撮像する第３の画像の被写体距離として第３の距離を算出する。
　また、本開示の移動体は、上述した撮像システムを備える。
　本開示の撮像システム、及びそれを備えた移動体によれば、移動しながらの撮像においてもぶれ補正の劣化を抑制する撮像システム及びそれを備えた移動体を提供することができる。
撮像システムを備える車両を示す図 実施形態における撮像システムの構成を示す図 撮像システムのぶれ補正を説明する説明図 一般的な被写体距離を説明する説明図 実施形態における被写体距離を示す説明図 露光中にぶれ補正をしないで撮像した画像を説明する説明図 連続する撮像フレームでそれぞれ撮像された画像において特徴部分の移動を説明する説明図 実施形態におけるぶれ撮像処理を示すフローチャート 移動速度の変化と露光時間のタイミングと移動ぶれ補正角との関係を示すグラフ 実施形態の効果を示すグラフ 撮像装置及びぶれ補正機構の変形例を示す図 変形例における撮像システムの構成を示す図
（実施形態）
　以下、実施形態について、図面を参照しながら説明する。実施形態では、移動体が自動車などの車両３であり、撮像システム１が車両３の上部に取り付けられている場合を例にして説明する。
［１．撮像システムの構成］
　図１及び図２を参照する。図１は、撮像システム１を説明するための図である。図２は、撮像システム１の内部構成を示すブロック図である。図１において、車両３は、例えば、トンネル５内を走行している。トンネル５内の壁面５ａには、例えば、穴５ｂやひび割れ５ｃが発生している。
　撮像システム１の撮像対象は、車両３の周囲の構造物の少なくとも一部であり、車両３が移動することにより、車両３の移動速度に応じて相対的に移動する対象である。撮像対象領域９は、この撮像対象において画像として取得する領域である。なお、トンネル５の内壁の他にも、跨道橋の側面や底面、電柱、電線を撮像対象としてもよい。これにより、取得した画像から画像処理により撮像対象の穴、ひび割れ、浮き、剥離、継ぎ目、電柱の傾き、及び電線のたわみを検出することができる。
　車両３は、車両３の移動速度を検出する速度検出装置３ａを備える。速度検出装置３ａは、例えば、車両３の車軸の回転速度から移動速度を検出する車速センサである。
　車両３の上面に撮像システム１が設置されている。撮像システム１は、図１において車両３の上方の構造物、例えば、トンネル５の壁面５ａの画像を撮像するように固定されているが、車両３の側方や斜め側方の壁面５ａの画像を撮像するように設置されてもよい。
　撮像システム１は、撮像装置１１と、ぶれ補正装置１３と、画像処理装置１４と、記憶部１５と、を備える。撮像装置１１は車両３の周囲の構造物の画像を撮像し、車両３が例えばトンネル５内を走行する場合、トンネル５の壁面５ａを撮像する。撮像装置１１は、カメラ本体２１と、光学系レンズとしてのレンズ２３と、シャッター２４と、撮像素子２５と、カメラ制御部２７とを備える。
　カメラ本体２１は、レンズ２３が交換可能に取り付けられ、撮像素子２５と、カメラ制御部２７とを収容する。レンズ２３の焦点距離Ｆの位置に撮像素子２５が配置されている。撮像素子２５は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、または、赤外線イメージセンサ等の固体撮像素子である。カメラ本体２１は、レンズ２３の向きが車両３の移動方向と平行になるように車両３に配置されている。例えば、レンズ２３が車両３の前方または後方に向くようにカメラ本体２１が配置されている。カメラ本体２１とレンズ２３は、例えばビデオカメラのように一体型でもよく、一体化されたカメラ本体２１とレンズ２３の外部にぶれ補正機構３１が配置される。カメラ制御部２７は、補正処理部３３から露光指示の信号を受信している間、シャッター２４を開ける。シャッター２４は、複数の羽根絞りが開閉する構成でもよいし、電子式シャッターでもよい。
　ぶれ補正装置１３は、車両３の移動中に撮像装置１１が撮像しても撮像対象領域９の画像のぶれが低減するように撮像システム１に入射する光の光路を補正する。ぶれ補正装置１３は、ぶれ補正機構３１と、補正処理部３３と、を備える。
　ぶれ補正機構３１は、車両３の移動に合わせて環境光が撮像対象領域９で反射した反射光Ｌ１の光路を補正する。ぶれ補正機構３１は、ミラー４１と、ミラー４１を回動駆動するミラー駆動部４３とを備える。なお、ぶれ補正機構３１は、ミラーを用いる代わりに、レンズ２３と撮像素子２５とが一体となった鏡筒を、回動軸周りに、例えばパン方向及びチルト方向に駆動するパンチルト機構であってもよい。パンチルト機構は、一体となったレンズ２３及び撮像素子２５とを回動駆動する駆動部を有する。駆動部は、例えば、モータである。ぶれ補正機構３１は、カメラ本体２１とレンズ２３とを縦方向に回動するチルト機能と、横方向に回動するパン機能とを有してもよい。また、ぶれ補正機構３１は、撮像装置１１全体を回転駆動する機構であってもよいし、光学系レンズ駆動機構と撮像素子駆動機構とを有してもよい。このように、ミラーを用いることなくぶれ補正を行う場合、レンズ２３の向きと車両３の移動方向とが垂直になるようにレンズ２３とカメラ本体２１とが設置される。
　ミラー４１は、レンズ２３と対向するように回動可能に配置されている。ミラー４１は、例えば、時計周りの正方向及び逆方向のいずれの方向にも回動可能であり、回動可能な角度範囲は、３６０度未満であってもよいし、３６０度以上であってもよい。ミラー４１は、環境光が撮像対象で反射した光を撮像装置１１の撮像素子２５の方向へ全反射する。ミラー駆動部４３は、ミラー４１を初期角度から撮像ぶれを補正するために指示された角度まで回動駆動し、指示された角度まで回動させた後に再び初期角度まで戻す。ミラー駆動部４３は、例えばモータである。ミラー４１の回動角度はミラー駆動部４３の機構上の制約により制限されており、この制限によって決まるミラー４１の最大振り角までミラー４１を回動させることができる。
　図３Ａ及び図４を参照して、ぶれ補正装置１３によるぶれ補正を説明する。図３Ａは、撮像システム１のぶれ補正を説明する説明図である。図４は、ぶれ補正をしないで撮像した画像を示し、図４（ａ）は撮像開始のタイミングでの画像を示し、図４（ｂ）は撮像終了のタイミングでの画像を示す。
　例えば、位置Ａに位置する撮像システム１は、車両３と共に露光時間Ｔｐ後に位置Ｂまで移動するとする。位置Ａで撮像開始し、このタイミングで取得できる画像ＩｍＡが図４（ａ）に示される。画像ＩｍＡには、例えば、撮像対象領域９の穴５ｂが撮像される。しかしながら、画像ＩｍＡは露光時間が十分ではないので暗い画像で鮮明ではない。
　そこで、車両３が位置Ｂに移動するまで露光を続ける。この場合、何のぶれ補正も実施しなければ、撮像対象領域９が車両３の移動方向と反対方向に相対移動するので、図４（ｂ）に示すような、穴５ｂが相対移動した画像ＩｍＡａとなる。画像ＩｍＡａにおいて、画素の移動量Ｐがぶれ量として検出される。このように、車両３の移動中に撮像装置１１が撮像した画像は、ぶれた画像となる。
　そこで、撮像システム１及び車両３の移動速度に応じて、露光時間中にミラー４１の移動方向側端部が、撮像対象の相対移動を相殺する方向に、ミラー４１を回動させることで、撮像システム１は露光時間中に同じ撮像対象領域９を撮像画像内に撮像することができ、ぶれを大幅に低減した画像を取得することができる。露光時間中にミラー４１の移動方向側端部が、撮像対象側を回るように、図１においては時計周りにミラー４１を回動させている。ミラー４１を回動させることで、画像ＩｍＡａにおいて、画素の移動量Ｐがゼロに補正される。
　次に、本実施形態の概略を説明する。後述するように、撮像中のぶれ補正量は、撮像対象に含まれる特徴点の、撮像開始から終了までの画素移動量の大きさに応じて変化する。画素移動量は、車両移動量の他にも被写体倍率Ｍに比例する。被写体倍率Ｍは、撮像素子２５から撮像対象までの被写体距離に反比例する。したがって、被写体距離が変動すると、画素の移動量Ｐも変動し、被写体距離の変動に応じてぶれ補正量を設定しなければ、撮像中のぶれ補正の精度が低下する。
　ここで、図３Ｂ及び図３Ｃを参照して、撮像素子２５から撮像対象までの被写体距離について詳細に説明する。図３Ｂは、一般的な被写体距離Ｄを説明する説明図である。図３Ｃは、実施形態における被写体距離Ｄを示す説明図である。
　図３Ｂに示すように、被写体距離Ｄ[m]は、被写体である撮像対象Ｓｂと撮像素子２５との間に配置されたレンズＬｎの主点Ｌｐから撮像対象Ｓｂまでの距離である。また、レンズＬｎの主点Ｌｐから撮像素子２５までの距離がレンズＬｎの焦点距離Ｆとなる。レンズＬｎの主点Ｌｐは、レンズＬｎのレンズ形状によって、または、レンズＬｎが複数レンズで構成されている場合には、レンズＬｎの中心に位置しているとは限らず、レンズＬｎの外部に位置する場合もある。
　被写体距離Ｄ、焦点距離Ｆ、撮像素子２５の縦方向のサイズＳｃ[mm]により、画角に収まる被写体サイズとしての撮像範囲Ｓａが、２つの三角形の領域Ｓｑ１、Ｓｑ２の相似形の比により決まる。撮影範囲ａからの平行光ＬがレンズＬｎに入射すると、撮像素子２５上に集光される。
　図３Ｃを参照する。実施形態における被写体距離Ｄは、撮像対象領域９からミラー４１までの距離Ｄｋと、ミラー４１からレンズ２３の主点Ｌｐまでの距離Ｄｍである。したがって、Ｄ＝Ｄｋ＋Ｄｍの関係が成立する。
　被写体距離Ｄが車両３の移動に伴って変動するので、車両移動中も被写体距離を検出し、被写体距離を更新することで、被写体距離の変動に対応して撮像中のぶれ補正の精度の低下を抑制する。この被写体距離の検出のために、例えば、撮像間隔ごとの画像移動距離と撮像間隔ごとの車両３の移動距離を利用する。撮像間隔は、時間間隔でもよいし、距離間隔でもよい。本実施形態では、速度検出装置３ａから出力される車速信号のパルス更新に同期して露光して撮像するので、等距離間隔で撮像が行われる。なお、車速信号のパルス更新に同期する代わりに、速度検出装置３ａから出力される移動速度を基に、一定のフレームレートで撮像してもよい。
　図２を参照する。補正処理部３３は、ぶれの補正のためにぶれ補正機構３１を制御する。補正処理部３３は、ぶれ補正量設定部５１と、車両移動量算出部５３と、画素移動量算出部５５と、被写体倍率算出部５７と、被写体距離算出部５９と、画素分解能算出部６１と、を備える。
　補正処理部３３は、半導体素子などで実現可能な回路である。補正処理部３３は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣで構成することができる。補正処理部３３の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。補正処理部３３は、記憶部１５に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。
　ぶれ補正量設定部５１は、車両３の移動速度Ｖ１と、設定された露光時間Ｔｐと、被写体倍率Ｍと、レンズ２３の焦点距離Ｆと、を基に、撮像中のミラー４１のミラー振り角αを以下の流れで算出する。
　撮像開始から撮像終了までの露光時間Ｔｐの間に移動した車両３の車両移動量Ｌａは、移動速度Ｖ１と露光時間Ｔｐとから以下の（１）式により算出される。
　Ｌａ［mm］＝Ｖ１［km/h］×１０６×Ｔｐ［ms］／（６０２×１０３）・・・（１）式
　撮像開始から撮像終了までの露光時間Ｔｐの間に撮像素子２５上の画素の移動量Ｐは、車両３の車両移動量Ｌａと被写体倍率Ｍとから、以下の（２）式により算出される。
　Ｐ［mm］＝Ｌａ［mm］×Ｍ・・・（２）式
　この、画素の移動量Ｐがぶれの原因となるので、ぶれが発生しないように、画素の移動量Ｐに対応して移動ぶれ補正角θだけレンズ２３に入射する光の光路を変更する。移動ぶれ補正角θは、画素の移動量Ｐと焦点距離Ｆとから、以下の（３）式により算出される。
　θ［deg］＝arctan（Ｐ／Ｆ）・・・（３）式
　ミラー振り角αは、移動ぶれ補正角θの半分の大きさであるので、以下の（４）式により算出される。
　α＝θ／ｋ・・・（４）式
　ここで、ｋは、駆動機構の機構振り角としてのミラー振り角αとレンズ２３に入射する光が補正される光学補正角としての移動ぶれ補正角θとの変換係数である。図１の実施形態のように、撮像対象からの光がミラー４１、レンズ２３、撮像素子２５の順に進行する構成の場合、変換係数ｋ＝２である。また、撮像装置１１とぶれ補正機構３１とが一体となったパンチルト機構またはカメラ全体駆動の構成の場合、変換係数ｋ＝１である。
　このようにして、ぶれ補正量設定部５１は、ミラー４１のミラー振り角αを算出する。
　したがって、露光している間、ミラー４１を移動方向とは逆方向に回動させることで、撮像装置１１は、露光時間中は、同一の撮像対象領域９からの光を受光することができ、撮像した画像に移動ぶれが発生するのを抑制することができる。ここで、（２）式及び（３）式の焦点距離Ｆは、レンズ２３で決まる値であり、被写体倍率Ｍは、焦点距離Ｆと被写体距離とで決まる値である。
　また、ぶれ補正に用いるパラメータとして、撮像間隔の間に特徴点が移動する画素移動量であって、ピクセル単位の画素移動量ｑａ［px］及び長さ単位の画素移動量ｑｂ［mm］、被写体距離Ｄ［m］、撮像間隔の間に車両３が移動する車両移動量Ｌｂ［mm］、撮像画像の画素ピッチｓ［μm/px］、撮像画像の縦画素数Ｖｐｘ［px］とする。レンズ２３の焦点距離Ｆ［mm］、撮像画像の画素ピッチｓ［μm/px］、撮像画像の縦画素数Ｖｐｘ［px］は予め決まっている値である。また、本実施形態において、ピクセル単位の画素移動量ｑａ及び長さ単位の画素移動量ｑｂの両方を意味する場合、単に画素移動量ｑと記載する。
　図５を参照する。図４が撮像中に移動する特徴点を示していたのに対して、図５は、あるタイミングの撮像フレームの最初に撮像した特徴点の画像ＩｍＢと、次の撮像フレームの最初に撮像した特徴点の画像ＩｍＣとを示している。
　画像処理装置１４は、異なるフレームで撮像した２枚の撮像画像ＩｍＢ及びＩｍＣを画像マッチング処理により、例えば、穴５ｂ等の特徴点の撮像フレーム間における画素移動量ｑを算出する。画素移動量ｑは、撮像画像ＩｍＢ及びＩｍＣ内の１点でもよいし、複数点におけるそれぞれの画素移動量ｑ１、ｑ２、・・・ｑｎの平均値でもよい。
　画像処理装置１４は、半導体素子などで実現可能な回路である。画像処理装置１４は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣで構成することができる。画像処理装置１４の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。画像処理装置１４は、記憶部１５に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。
　本実施形態では、速度検出装置３ａから出力される車速信号のパルス更新に同期して露光して撮像する。これにより、車両３の移動速度を検出する代わりに、車速信号から車両３の移動量を直接算出することができる。車両移動量算出部５３は、速度検出装置３ａから受け取った車速信号を基に、２枚の撮像画像の撮像間隔の車両３の車両移動量Ｌｂを算出する。車両移動量Ｌｂは、Ｌｂ＝ａとなる。ａは一定の値で、パルス更新の間に車両３が移動する距離である。
　画素移動量算出部５５は、長さ単位の画素移動量ｑｂを以下の（５）式により算出する。
　ｑｂ＝ｑａ×ｓ／１０３・・・（５）
　被写体倍率算出部５７は、被写体倍率Ｍを以下の（６）式により算出する。
　Ｍ＝ｑｂ／Ｌｂ＝ｑａ×ｓ／１０３／ａ・・・（６）
　被写体距離算出部５９は、被写体距離Ｄ２を以下の（７）式により算出する。
　Ｄ＝Ｆ／Ｍ／１０３・・・（７）
　ここで、縦撮像範囲Ｒは、以下の関係式（８）を満たす。
　Ｒ＝Ｖｐｘ×ｓ／１０３×Ｄ／Ｆ・・・（８）
　したがって、画素分解能算出部６１は、画素分解能Ｘを以下の（９）式により算出する。
　Ｘ＝Ｒ／Ｖｐｘ×１０３・・・（９）
　画素分解能算出部６１は、算出した撮像画像の画素分解能から撮像画像のピクセル単位と長さ単位とが対応づけることができ、撮像画像中のクラックの長さを測定してもよいし、長さ単位に変換した撮像画像を記憶部１５に保管してもよい。
　記憶部１５は、補正処理部３３の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部１５は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
　操作部７は、補正処理部３３にユーザーが指示をするための入力装置である。操作部７は、撮像システム１専用の入力装置でもよいし、スマートフォンなどの携帯端末でもよい。操作部７として携帯端末を用いる場合、操作部７と補正処理部３３とは無線通信によりデータの送受信を行う。ユーザーは、操作部７を用いて、撮像対象領域がトンネルなどの屋内の暗い領域か、山の斜面などの屋外の明るい領域かを指示してもよい。一定の時間間隔で撮像する場合、操作部７によりフレームレートＴｆを指示してもよい。また、操作部７は表示部を有し、撮像システム１からの警告などを表示してユーザーに知らせる。
［２．撮像システムの動作］
　次に、図６、図７を参照して撮像システム１の動作を説明する。図６は、撮像システム１が行う撮像処理を示すフローチャートである。図７は、移動速度の変化と露光時間のタイミングと撮像された画像と車速更新フラグとの関係を示すグラフである。図７（ａ）は、時間の経過とともに変化する車両３の移動速度を示すグラフである。図７（ｂ）は、フレームごとの露光時間のタイミングを示すグラフである。図７（ｃ）は、フレームごとに撮像された画像を示す説明図である。図７（ｄ）は、車速更新フラグが立ち上がるタイミングを示すグラフである。図６に示す撮像処理は、例えば、車両３の移動中に操作部７から撮像開始を指示されたときなどに開始される。
　操作部７より撮像開始を指示されると、１フレーム目の画像Ｉｍ０の撮像処理が開始される。補正処理部３３のぶれ補正量設定部５１は、被写体距離Ｄ１として、記憶部１５に記憶された、予め定められた距離ｄａ１に基づいて、ぶれ補正量である移動ぶれ補正角θを算出して設定する（ステップＳ１）。撮像開始直後において、撮像画像から被写体距離Ｄ２が算出されていないので、予め定められた距離ｄａ１を用いるか、例えば、操作部７から入力された値を用いてもよい。以下、設定または更新した被写体距離の値をＤ１とし、算出した被写体距離の値をＤ２とする。
　補正処理部３３は、設定された移動ぶれ補正角θに基づいてミラー振り角αを算出し、算出したミラー振り角αと設定された露光時間Ｔｐとに基づいて、ミラー回動速度を算出する。補正処理部３３は、さらに、算出したミラー回動速度でミラー４１を回動させて、ミラー４１が予め定められた初期角度から回動し始める。これにより、撮像装置１１の撮像中のぶれ補正が実施される（ステップＳ２）。また、補正処理部３３は、これと同時に、露光を指示するＨｉ信号をカメラ制御部２７へ露光時間Ｔｐの間送り続ける。
　撮像装置１１において、カメラ制御部２７は、Ｈｉ信号を受信している間シャッター２４を開けて露光することで１フレーム目の画像Ｉｍ０を取得し、補正処理部３３は、速度検出装置３ａから撮像フレーム間の車両３の移動情報を取得する（ステップＳ３）。
　露光時間Ｔｐが経過すると、補正処理部３３は、露光停止を指示するＬｏｗ信号をカメラ制御部２７へ送り続ける。カメラ制御部２７はＬｏｗ信号を受信している間は、シャッター２４を閉じ、補正処理部３３は、ミラー駆動部４３にミラー４１を逆回動させてミラー４１を初期角度に戻す。なお、ミラー駆動部４３は、ミラー４１を正回動させてミラー４１を初期の角度に戻してもよい。
　補正処理部３３は、取得済みの撮像画像の枚数が２枚以上か否かを判定し（ステップＳ４）、取得済みの撮像画像の枚数が２枚以上ではないと判定すると（ステップＳ４のＮｏ）、ステップＳ１に戻り、次フレーム、例えば、２フレーム目の画像Ｉｍ１の撮像処理が開始される。
　２フレーム目の撮像処理において、ぶれ補正量設定部５１は、被写体距離Ｄ１として１フレーム目と同じ距離ｄａ１に基づいて、ぶれ補正量である移動ぶれ補正角θを設定する。この後、１フレーム目と同様の撮像処理が実施され、撮像装置１１は、図７に示す、２フレーム目の第１の画像Ｉｍ１を撮像する。撮像した画像Ｉｍ１は記憶部１５に記憶される。
　記憶部１５に２枚の画像Ｉｍ０及びＩｍ１が記憶されているので、補正処理部３３は、取得済みの撮像画像の枚数が２枚以上であると判定すると（ステップＳ４のＹｅｓ）、画素移動量算出部５５は２枚以上の撮像間の画素移動量ｑｂを算出し、車両移動量算出部５３が、取得した移動情報から今の撮像フレームの撮像開始から次の撮像フレームの撮像開始までの間に車両３が移動した車両移動量Ｌｂを算出する（ステップＳ５）。算出された車両移動量Ｌｂは、撮像画像と関連づけられて記憶部１５に記憶される。被写体距離算出部５９は、２枚以上の撮像画像間の画素移動量ｑｂと車両移動量Ｌｂとに基づいて、被写体距離Ｄ２を算出する（ステップＳ６）。
　画像Ｉｍ１及び画像Ｉｍ０には、それぞれ共通する特徴部分ｇ１が撮像されており、画像処理装置１４が、画像マッチング処理により画像Ｉｍ０と画像Ｉｍ１との間の画素移動量ｑ１を検出する。この画素移動量ｑ１を基に、被写体距離算出部５９は、新たな被写体距離Ｄ２として、距離ｄｓ２を算出する。
　被写体距離算出部５９は、新たな被写体距離Ｄ２を算出すると、被写体距離Ｄ１を被写体距離Ｄ２に更新する（ステップＳ７）。例えば、ｎフレーム目の撮像画像を基に算出された被写体距離Ｄ１がｎ＋１フレーム目の被写体距離Ｄ１として更新される。ここでは、更新された被写体距離Ｄ１（＝ｄｓ２）が、次のフレームの画像を撮像する際のぶれ補正量を設定するときに用いられる。
　補正処理部３３は、撮像が終了したと判定すると（ステップＳ８のＹｅｓ）、車両３が移動しながらの撮像システム１による撮像を終了する。補正処理部３３は、撮像が終了していないと判定すると（ステップＳ８のＮｏ）、次のフレームで画像を撮像するために再びステップＳ１に戻る。
　ステップＳ１に戻り、次フレームとして、例えば、３フレーム目の画像Ｉｍ２を撮像する。３フレーム目の撮像処理において、ぶれ補正量設定部５１は、被写体距離Ｄ１として２フレーム目とは異なる第２の距離ｄｓ２に基づいて、ぶれ補正量である移動ぶれ補正角θを設定する。この後、２フレーム目と同様の撮像処理が実施され、撮像装置１１は、図７に示す、３フレーム目の第２の画像Ｉｍ２を撮像する。撮像した画像Ｉｍ２は記憶部１５に記憶される。
　連続して撮像する場合、画像処理装置１４は、第１の距離（例えば、ｄｓ１）に基づいて撮像された第１の画像Ｉｍ１と、第２の距離（例えば、ｄｓ２）に基づいて撮像された第２の画像Ｉｍ２とに撮像された共通の特徴部分ｇ１の画素移動量ｑ２を検出する。この画素移動量ｑ２を基に、被写体距離算出部５９は、新たな被写体距離Ｄ２として、距離ｄｓ３を算出する。さらに、次の撮像画像Ｉｍ３の被写体距離Ｄ１として更新して撮像することで、変化する被写体距離に応じて移動ぶれ補正角θを精度よく設定することができ、ぶれ補正の精度を向上させることができる。また、画素移動量ｑと車両３の車両移動量Ｌｂの比が変化した場合に、被写体距離Ｄ１が変化する。
　このようにして、被写体距離を更新する実施形態の撮像システム１の２つの効果を説明する。２つの効果として、被写体距離Ｄの算出精度を向上する効果と、被写体距離Ｄの変動に対応する効果と、を得ることができる。被写体距離Ｄの算出精度を向上する効果は、例えば、連続する２枚の画像を１度だけ処理して、被写体距離Ｄを一度更新するだけでは、十分な精度が得られるとは限らない。したがって、被写体距離Ｄの変動が小さい状況でも更新することが必要な場合がある。
　被写体距離Ｄが正確に設定できない場合、撮像画像のぶれ補正精度が低下するので、画像処理による移動量算出精度も低下し、被写体距離Ｄの算出精度も低下する。このようにぶれ補正精度の向上と被写体距離Ｄの算出精度の向上は、相互に関係しているので、片方の精度を確保した後にもう片方を改善ということができない。しかしながら、一方で画像処理に関してはぶれがゼロにならなくても画素移動量を検出することが可能であるので、例えば、図８に示すように、仮に設定した被写体距離としての第１の距離ｄｓ１を用いてぶれ補正した画像Ｉｍ１及びＩｍ２を撮像し、これらを基に画像処理により被写体距離としての第２の距離ｄｓ２を算出する。算出した第２の距離ｄｓ２を用いてぶれ補正した画像Ｉｍ３を撮像し、画像Ｉｍ２と画像Ｉｍ３を基に画像処理により被写体距離としての第３の距離ｄｓ３を算出する。算出した第３の距離ｄｓ３を用いることで、さらに精度が向上したぶれ補正した画像Ｉｍ４を撮像することができる。したがって、被写体距離Ｄを更新するごとに、算出された被写体距離は真値Ｄｔに近づいていき、これにより、ぶれ補正精度を向上した画像を撮像することができ、さらに、画像処理による移動量算出精度も向上させることができる。
　また、被写体距離Ｄの変動に対応する効果は、既に上述したように、被写体距離の真値Ｄｔが変化しても、それに対応して、算出する被写体距離が更新するごとに近づいていくので、被写体距離の変化にも対応してぶれ補正をすることができる。
［３．効果等］
　このように、撮像システム１は、車両３から離れた、車両３の周囲の少なくとも一部である撮像対象を撮像する撮像素子２５を有する、撮像装置１１と、車両３の移動量を算出する車両移動量算出部５３を有し、車両３が移動中に撮像装置１１が撮像する際の移動方向のぶれを、撮像装置１１から撮像対象までの被写体距離Ｄ１に基づいてぶれ補正量を設定し、設定されたぶれ補正量を用いて撮像中のぶれを補正するぶれ補正装置１３と、を備える。撮像装置１１に撮像された第１の画像Ｉｍ１と第１の画像Ｉｍ１の後に、撮像された第２の画像Ｉｍ２において、それぞれ共通する特徴部分ｇ１の画素移動量ｑを算出する画像処理装置１４をさらに備える。ぶれ補正装置１３の被写体距離算出部５９は、画素移動量ｑと第１の距離ｄｓ１を被写体距離Ｄ１とした第１の画像Ｉｍ１と第２の距離ｄｓ２を被写体距離Ｄ１とした第２の画像Ｉｍ２の撮像間隔での車両３の車両移動量Ｌｂとに基づいて、第２の画像Ｉｍ２の後に撮像する第３の画像Ｉｍ３の被写体距離Ｄ２として第３の距離ｄｓ３を算出する。
　車両３の移動により真値としての実際の被写体距離Ｄｔが変化する場合においても、車両３の移動中においても被写体距離Ｄ１を検出し、被写体距離Ｄ２を算出することで、ぶれ補正の精度を向上させることができる。
　また、ぶれ補正装置１３は、被写体距離Ｄ１を第３の距離ｄｓ３に更新し、第３の画像Ｉｍ３を撮像する際のぶれ補正量を更新された被写体距離Ｄ１に基づいて設定する。更新された被写体距離Ｄ１に基づいてぶれ補正量が更新されるので、ぶれ補正が向上された第３の画像Ｉｍ３を撮像することができる。
　また、第１の画像Ｉｍ１及び第２の画像Ｉｍ２を撮像するときのそれぞれの被写体距離である、第１の距離ｄｓ１及び第２の距離ｄｓ２は、それぞれ前に撮像された２枚の画像の画素移動量と２枚の画像の撮像間隔での移動体の移動量とに基づいて検出された値でもよい。
　また、撮像開始直後において、初期画像Ｉｍ０の被写体距離Ｄ１と、第２の画像Ｉｍ２の被写体距離Ｄ１とが予め定められた同じ値ｄｓ１であってもよい。
　また、第１の距離ｄｓ１及び第２の距離ｄｓ２は、それぞれ第３の画像Ｉｍ３より前に撮像された画像Ｉｍ１及びＩｍ２の画素移動量ｑ１、ｑ２と車両３の車両移動量Ｌｂとに基づいて検出された値である。
　また、ぶれ補正装置１３は、２フレーム前で算出した被写体距離と１フレーム前で算出した被写体距離との平均値を被写体距離Ｄ１として更新してもよい。例えば、第４の画像Ｉｍ４を撮像する際の被写体距離Ｄ２として、２フレーム前で算出した距離ｄｓ２と１フレーム前で算出した距離ｄｓ１との平均値を算出し、平均値として算出した被写体距離Ｄ２を被写体距離Ｄ１として更新してもよい。
（他の実施形態）
　以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。
　上記実施形態では、連続する３枚の撮像において、２枚の撮像画像の画像マッチングによる特徴点の画素移動量を３枚目の被写体距離の算出に用いていたがこれに限らない。２枚の撮像画像の画像マッチング処理が撮像周期より遅れる場合は、数フレーム遅れて被写体距離を算出してもよい。
　上記実施形態において、画像処理装置１４は、検出した第２の距離が予め定められた範囲を超えている場合に警告信号を、例えば、操作部７、スピーカ、または、画像表示装置に出力してもよい。これにより、車両３の運転者が第２の距離が予め定められた範囲を超えていることを認識することができる。警告信号が出力されるのは、被写体距離が想定よりも短い場合と長い場合である。
　被写体距離が想定より短い場合、被写体倍率Ｍが大きくなり、画素移動量も大きくなる。これにより、ぶれ補正に必要なミラーの振り角が大きくなり、振れる最大角を超える場合がある。また、被写体距離が想定より長い場合、被写体倍率Ｍが小さくなり、１画素当たりの実際の大きさである画素分解能［ｍｍ／ｐｘ］が粗くなるので、必要な検査精度が出せない場合がある。このように、第２の距離が予め定められた範囲を超えていると、ぶれ補正の劣化が低減できなくなったり必要な検査精度が確保できなくなったりするので、ユーザーに警告することで、ユーザーは再検査することができる。例えば、車両３が蛇行して被写体距離が変化したことが原因の場合、再走行により再検査する。また、車両３の走行に問題はないが被写体側の変化が原因の場合、レンズ２３の交換を促すことができる。
　上記実施形態において、撮像装置１１とぶれ補正機構３１とは別体であったがこれに限らない。図９に示す様に、撮像装置１１は、レンズ２３とカメラ本体２１とを接続する筐体２２を有し、筐体２２の中にぶれ補正機構３１を収納してもよい。
　上記実施形態において、ぶれ補正のために画素の移動量Ｐに対応する移動ぶれ補正角θを算出し、ミラー４１を移動ぶれ補正角θに対応するミラー振り角α回動して撮像していたがこれに限らない。ぶれ補正のために移動ぶれ補正角θの代わりに撮像素子２５及びレンズ２３を並進駆動してもよい。この場合、図１０に示す撮像システム１Ｂのように、撮像装置１１のレンズ２３は撮像対象領域９（図１参照）に直接向けられており、ぶれ補正機構３１Ｂは、撮像対象領域９に対して、撮像素子２５を並進駆動する撮像素子駆動機構７１と、レンズ２３を並進駆動する光学系レンズ駆動機構７３とを有する。撮像素子駆動機構７１と光学系レンズ駆動機構７３とは、例えば、ピニオンギアとラックとモータとで構成される並進駆動機構である。撮像素子駆動機構７１が撮像素子２５を駆動する並進駆動量は画素の移動量Ｐと等しく、光学系レンズ駆動機構７３がレンズ２３を駆動する並進駆動量は画素の移動量Ｐに定数ｍを乗算した値である。定数ｍは０以上の数である。光学系によって、レンズ駆動量に対する並進量が変化する。また、レンズ２３及び撮像素子２５を個別に並進駆動する代わりに、撮像装置１１全体を並進駆動してもよい。
　上記実施形態では、車両３の速度検出装置３ａからの移動速度Ｖ１の情報を利用していたがこれに限らない。また、撮像システム１が撮像システム１の移動速度を検出する速度検出装置を備えてもよい。また、速度検出装置は、ＧＰＳ（Global Positioning System）システムまたは加速度センサを利用したものでもよい。
　上記実施形態では、撮像システム１は車両３の上方及び側方の壁面を撮像していたがこれに限らない。撮像システム１は、車両３の下方の路面を撮像してもよい。撮像した画像から、路面に発生したポットホール、ひび割れ、わだち掘れ等を画像処理により検出することができる。
　上記実施形態では、移動体が、自動車などの車両３である場合について説明した。しかし、移動体は車両３に限らず、列車又はオートバイなどの地上を走行する乗り物や、海上を進む船、空を飛ぶ飛行機やドローンなどの飛行体であってもよい。移動体が船の場合、撮像システム１は橋脚や橋桁の底面や、岸沿いに建設された構造物を撮像する。移動体が列車の場合、架線を撮像することで架線のたわみを検出することができる。また、車両移動量算出部５３は、移動体としての車両３の移動量を算出するので、移動体が車両以外のものである場合、車両移動量算出部５３は移動体の移動量を算出する。
　上記実施形態では、環境光が撮像対象領域９に反射した光による画像を撮像していたがこれに限らない。移動体から撮像対象領域９に向けて光を照射し、照射した光の反射光による画像を撮像してもよい。
（実施形態の概要）
　（１）本開示の撮像システムは、移動体に設置される撮像システムであって、移動体から離れた、移動体の周囲の少なくとも一部である撮像対象を撮像する撮像素子を有する、撮像装置と、移動体の移動量を算出する移動体移動量算出部を有し、移動体が移動中に撮像装置が撮像する際の移動方向のぶれを、撮像装置から撮像対象までの被写体距離に基づいてぶれ補正量を設定し、設定されたぶれ補正量を用いて撮像中のぶれを補正するぶれ補正装置と、を備える。撮像システムは、撮像装置に撮像された第１の画像と第１の画像の後に、撮像された第２の画像においてそれぞれ共通する特徴部分の画素移動量を算出する画像処理装置を備える。ぶれ補正装置は、画素移動量と、第１の距離を被写体距離とした第１の画像と第２の距離を被写体距離とした第２の画像の撮像間隔での移動体の移動量と、に基づいて、第２の画像の後に撮像する第３の画像の被写体距離として第３の距離を算出する。
　これにより、移動体が移動中においても被写体距離を検出することができるので、被写体距離の変化に応じてぶれ補正を実施することができ、ぶれ補正の精度を向上させることができる。
　（２）（１）の撮像システムにおいて、ぶれ補正装置は、被写体距離を第３の距離に更新し、第３の画像を撮像する際のぶれ補正量を更新された被写体距離に基づいて設定する。
　（３）（１）または（２）の撮像システムにおいて、第１の画像及び第２の画像を撮像するときのそれぞれの被写体距離である、第１の距離及び第２の距離は、それぞれ前に撮像された２枚の画像の画素移動量と２枚の画像の撮像間隔での移動体の移動量とに基づいて検出された値である。
　（４）（１）または（２）の撮像システムにおいて、撮像開始直後において、第１の距離と第２の距離とが予め定められた同じ値である。
　（５）（２）の撮像システムにおいて、ぶれ補正装置は、第２の画像を撮像するときに算出された第２の距離と、第３の画像を撮像するときに算出された第３の距離との平均値を第３の画像を撮像するときの被写体距離として更新する。
　（６）（１）から（５）のいずれかの撮像システムにおいて、画素移動量と移動体の移動量の比が変化した場合に、被写体距離が変化する。
　（７）（１）から（６）のいずれかの撮像システムにおいて、画像処理装置は、第２の距離に基づいて第２の画像の画素分解能を算出し、算出した画素分解能に基づいて第２の画像における予め定められた画素の大きさの単位を画素単位から長さ単位に変換する。
　（８）（２）または（５）の撮像システムにおいて、画像処理装置は、第２の画像と第３の画像においてそれぞれ共通する特徴部分の第２の画素移動量を算出する。ぶれ補正装置は、第２の画素移動量と、第２の画像と第３の画像の撮像間隔での移動体の移動量と、に基づいて、被写体距離として第４の距離を算出する。ぶれ補正装置は、被写体距離を第４の距離に更新し、第３の画像の後に撮像する第４の画像を撮像する際のぶれ補正量を、更新された被写体距離に基づいて設定する。このように、繰り返し、被写体距離を更新することで、算出された被写体距離の精度を向上することができ、より、ぶれ補正の精度を向上することができる。
　（９）（１）から（８）のいずれかの撮像システムにおいて、画像処理装置は、検出した第２の距離が予め定められた範囲を超えている場合に警告信号を出力する。
　（１０）（１）から（９）のいずれかの撮像システムにおいて、撮像システムの移動速度を検出する速度検出装置を備える。
　（１１）（１）から（１０）のいずれかの撮像システムにおいて、ぶれ補正装置は、環境光が撮像対象で反射した光を撮像装置の方向へ全反射するミラーと、ミラーを回動駆動するミラー駆動部と、を備え、ぶれ補正量はミラーの回動角度に対応する。
　（１２）（１）から（１０）のいずれかの撮像システムにおいて、撮像装置は、撮像素子と一体化された光学系レンズを有し、ぶれ補正装置は、一体化された光学系レンズと撮像素子とを回動駆動する駆動部を備え、ぶれ補正量は、前記駆動部の回動角度に対応する。
　（１３）（１）から（１０）のいずれかの撮像システムにおいて、撮像装置は、撮像素子に焦点が合わせられた光学系レンズを有し、ぶれ補正装置は、光学系レンズ及び前記撮像素子を撮像素子の撮像面内の方向に並進駆動する並進駆動機構を備え、ぶれ補正量は光学系レンズの並進量に対応する。
　（１４）本開示の移動体は、（１）から（１３）のいずれかの撮像システムを備える。これにより、移動体が移動しながら、撮像システムは移動体の周囲の画像をぶれを低減して撮像することができる。
　本開示に記載の撮像システムは、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
　本開示は、移動する移動体に設置される撮像システムに適用可能である。
　　　１　　撮像システム
　　　３　　車両
　　　３ａ　速度検出装置
　　　５　　トンネル
　　　５ａ　壁面
　　　５ｂ　穴
　　　５ｃ　クラック
　　　７　　操作部
　　　９　　撮像対象領域
　　１１　　撮像装置
　　１３　　ぶれ補正装置
　　１４　　画像処理装置
　　１５　　記憶部
　　１７　　補正処理部
　　２１　　カメラ本体
　　２３　　レンズ
　　２４　　シャッター
　　２５　　撮像素子
　　２７　　カメラ制御部
　　３１　　ぶれ補正機構
　　３３　　補正処理部
　　４１　　ミラー
　　４３　　ミラー駆動部
　　５１　　ぶれ補正量設定部
　　５３　　車両移動量算出部
　　５５　　画素移動量算出部
　　５７　　被写体倍率算出部
　　５９　　被写体距離算出部
　　６１　　画素分解能算出部
　　７１　　撮像素子駆動機構
　　７３　　光学系レンズ駆動機構
　　α　　　ミラー振り角
　　Ｆ　　　焦点距離
　　Ｍ　　　被写体倍率
　　Ｖ１　　移動速度

Claims (14)

  1. 　移動体に設置される撮像システムであって、
    　前記移動体から離れた、前記移動体の周囲の少なくとも一部である撮像対象を撮像する撮像素子を有する、撮像装置と、
    　前記移動体の移動量を算出する移動体移動量算出部を有し、前記移動体が移動中に前記撮像装置が撮像する際の移動方向のぶれを、前記撮像装置から前記撮像対象までの被写体距離に基づいてぶれ補正量を設定し、設定されたぶれ補正量を用いて撮像中のぶれを補正するぶれ補正装置と、
    　前記撮像装置に撮像された第１の画像と前記第１の画像の後に、撮像された第２の画像においてそれぞれ共通する特徴部分の画素移動量を算出する画像処理装置と、を備え、
    　前記ぶれ補正装置は、前記画素移動量と、第１の距離を前記被写体距離とした前記第１の画像と第２の距離を前記被写体距離とした前記第２の画像の撮像間隔での前記移動体の移動量と、に基づいて、前記第２の画像の後に撮像する第３の画像の前記被写体距離として第３の距離を算出する、
    　撮像システム。
  2. 　前記ぶれ補正装置は、前記被写体距離を前記第３の距離に更新し、前記第３の画像を撮像する際のぶれ補正量を更新された前記被写体距離に基づいて設定する、
    　請求項１に記載の撮像システム。
  3. 　前記第１の画像及び前記第２の画像を撮像するときのそれぞれの被写体距離である、前記第１の距離及び前記第２の距離は、それぞれ前に撮像された２枚の画像の画素移動量と前記２枚の画像の撮像間隔での前記移動体の移動量とに基づいて検出された値である、
    　請求項１または２に記載の撮像システム。
  4. 　撮像開始直後において、前記第１の距離と前記第２の距離とが予め定められた同じ値である、
    　請求項１または２に記載の撮像システム。
  5. 　前記ぶれ補正装置は、前記第１の画像を撮像するときに算出された第１の距離と、前記第２の画像を撮像するときに算出された第２の距離との平均値を第３の画像を撮像するときの前記被写体距離として更新する、
    　請求項２に記載の撮像システム。
  6. 　前記画素移動量と前記移動体の移動量の比が変化した場合に、前記被写体距離が変化する、
    　請求項１から５のいずれか１つに記載の撮像システム。
  7. 　前記画像処理装置は、前記第２の距離に基づいて第２の画像の画素分解能を算出し、
    　算出した画素分解能に基づいて前記第２の画像における予め定められた画素の大きさの単位を画素単位から長さ単位に変換する、
    　請求項１から６のいずれか１つに記載の撮像システム。
  8. 　前記画像処理装置は、前記第２の画像と前記第３の画像においてそれぞれ共通する特徴部分の第２の画素移動量を算出し、
    　前記ぶれ補正装置は、前記第２の画素移動量と、前記第２の画像と前記第３の画像の撮像間隔での前記移動体の移動量と、に基づいて、前記被写体距離として第４の距離を算出し、
    　前記ぶれ補正装置は、前記被写体距離を前記第４の距離に更新し、前記第３の画像の後に撮像する第４の画像を撮像する際のぶれ補正量を、更新された前記被写体距離に基づいて設定する、
    　請求項２または５に記載の撮像システム。
  9. 　前記画像処理装置は、検出した前記第２の距離が予め定められた範囲を超えている場合に警告信号を出力する、
    　請求項１から８のいずれか１つに記載の撮像システム。
  10. 　前記撮像システムの移動速度を検出する速度検出装置を備える、
    　請求項１から９のいずれか１つに記載の撮像システム。
  11. 　前記ぶれ補正装置は、
    　　環境光が撮像対象で反射した光を撮像装置の方向へ全反射するミラーと、
    　　前記ミラーを回動駆動するミラー駆動部と、を備え、
    　前記ぶれ補正量は、前記ミラーの回動角度に対応する、
    　請求項１から１０のいずれか１つに記載の撮像システム。
  12. 　前記撮像装置は、前記撮像素子と一体化された光学系レンズを有し、
    　前記ぶれ補正装置は、一体化された前記光学系レンズと前記撮像素子とを回動駆動する駆動部を備え、
    　前記ぶれ補正量は、前記駆動部の回動角度に対応する、
    　請求項１から１１のいずれか１つに記載の撮像システム。
  13. 　前記撮像装置は、前記撮像素子に焦点が合わせられた光学系レンズを有し、
    　前記ぶれ補正装置は、前記光学系レンズ及び前記撮像素子を前記撮像素子の撮像面内の方向に並進駆動する並進駆動機構を備え、
    　前記ぶれ補正量は前記光学系レンズの並進量に対応する、
    　請求項１から１１のいずれか１つに記載の撮像システム。
  14. 　請求項１から１３のいずれか１つの撮像システムを備える、移動体。
PCT/JP2022/026044 2021-07-21 2022-06-29 撮像システム、及び、それを備えた移動体 WO2023002826A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023536671A JPWO2023002826A1 (ja) 2021-07-21 2022-06-29

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021120716 2021-07-21
JP2021-120716 2021-07-21

Publications (1)

Publication Number Publication Date
WO2023002826A1 true WO2023002826A1 (ja) 2023-01-26

Family

ID=84979972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026044 WO2023002826A1 (ja) 2021-07-21 2022-06-29 撮像システム、及び、それを備えた移動体

Country Status (2)

Country Link
JP (1) JPWO2023002826A1 (ja)
WO (1) WO2023002826A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003207813A (ja) * 2002-01-16 2003-07-25 Ricoh Co Ltd 撮像装置
JP2005318568A (ja) * 2004-03-30 2005-11-10 Fuji Photo Film Co Ltd 画像補正装置、および画像補正方法
JP2007020109A (ja) * 2005-07-11 2007-01-25 Olympus Imaging Corp 電子的ぶれ補正装置
JP2012128356A (ja) * 2010-12-17 2012-07-05 Nikon Corp ブレ補正装置及び光学機器
WO2020189224A1 (ja) * 2019-03-15 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003207813A (ja) * 2002-01-16 2003-07-25 Ricoh Co Ltd 撮像装置
JP2005318568A (ja) * 2004-03-30 2005-11-10 Fuji Photo Film Co Ltd 画像補正装置、および画像補正方法
JP2007020109A (ja) * 2005-07-11 2007-01-25 Olympus Imaging Corp 電子的ぶれ補正装置
JP2012128356A (ja) * 2010-12-17 2012-07-05 Nikon Corp ブレ補正装置及び光学機器
WO2020189224A1 (ja) * 2019-03-15 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Also Published As

Publication number Publication date
JPWO2023002826A1 (ja) 2023-01-26

Similar Documents

Publication Publication Date Title
US7664293B2 (en) Image sensing apparatus and control method thereof
CN106998413B (zh) 图像处理设备、摄像设备、图像处理方法和介质
KR102640227B1 (ko) 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
WO2019129061A1 (zh) 一种镜头模组和镜头模组的控制方法
US20100295961A1 (en) Imaging apparatus and image composition method
JP2006179966A (ja) 動画撮像装置及び動画撮像方法
US10827124B2 (en) Shake correction device, imaging apparatus, and shake correction method
US20220180484A1 (en) Image processing method, electronic device, and computer-readable storage medium
CN105704393A (zh) 摄影装置以及摄影方向的控制方法
JP2010250156A (ja) 電子カメラ
JP6250446B2 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
WO2023002826A1 (ja) 撮像システム、及び、それを備えた移動体
JP4639278B2 (ja) ジンバルを用いたディジタルカメラによる撮影方法
US20220174217A1 (en) Image processing method and device, electronic device, and computer-readable storage medium
JP2019092036A (ja) 撮像装置及び制御方法
US20150168739A1 (en) Image stabilizer, camera system, and imaging method
JP4064001B2 (ja) カメラ
WO2023002724A1 (ja) 撮像システム、及び、それを備えた移動体
WO2023243656A1 (ja) 撮像システム、及び、それを備えた移動体
JP4134869B2 (ja) 撮像装置
WO2023234356A1 (ja) 撮像システム、及び、それを備えた移動体
WO2023234360A1 (ja) 撮像システム、及び、それを備えた移動体
JP3929778B2 (ja) 撮像装置
JP7017961B2 (ja) ぶれ補正装置及びぶれ補正方法
JP2003209736A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023536671

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE