WO2015029443A1 - 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム - Google Patents

舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム Download PDF

Info

Publication number
WO2015029443A1
WO2015029443A1 PCT/JP2014/004437 JP2014004437W WO2015029443A1 WO 2015029443 A1 WO2015029443 A1 WO 2015029443A1 JP 2014004437 W JP2014004437 W JP 2014004437W WO 2015029443 A1 WO2015029443 A1 WO 2015029443A1
Authority
WO
WIPO (PCT)
Prior art keywords
steering angle
steering
image
degree
unit
Prior art date
Application number
PCT/JP2014/004437
Other languages
English (en)
French (fr)
Inventor
貴裕 岡田
圭俊 中田
隆一 澤田
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013177189A external-priority patent/JP6023025B2/ja
Priority claimed from JP2013200569A external-priority patent/JP6023030B2/ja
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US14/915,620 priority Critical patent/US9862417B2/en
Priority to EP14839821.7A priority patent/EP3040254B1/en
Publication of WO2015029443A1 publication Critical patent/WO2015029443A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a steering angle correction method, a steering angle correction device, an imaging device, and a steering angle correction system that correct the steering angle of a moving body.
  • An object of the present invention made in view of such circumstances is to provide a rudder angle correction method, a rudder angle correction device, an imaging device, and a rudder angle correction system that can correct the rudder angle by reducing the complexity of operation. is there.
  • the rudder angle correction method Obtaining a measurement image obtained by imaging a steered wheel and a steering angle of a moving body at the time of imaging the measurement image in association with each other; Calculating a degree of coincidence between the steered wheel on the measurement image and the steered wheel on a reference image obtained by imaging the steered wheel at a reference steering angle; Calculating a correction value for correcting the steering angle based on the degree of coincidence.
  • the rudder angle correction method includes: Acquiring a plurality of said measurement images at different steering angles; In the step of calculating the correction value, it is preferable to calculate the correction value based on the distribution of the degree of coincidence with respect to the steering angle.
  • the rudder angle correction method includes: Extracting at least the steering wheel on the measurement image by ellipse detection; In the step of calculating the degree of coincidence, it is preferable to calculate the degree of coincidence using a parameter of an ellipse to be detected.
  • the rudder angle correction method includes: In the step of calculating the degree of coincidence, it is preferable to calculate the degree of coincidence by assigning a greater weight to the parameter indicating at least one of the short side and the inclination of the ellipse than the other parameters.
  • the rudder angle correction method includes: In the step of calculating the degree of coincidence, it is preferable that a degree of correlation by image matching based on the measurement image and the reference image is calculated as the degree of coincidence.
  • the rudder angle correction method includes: Obtaining a set of images obtained by simultaneously imaging the left and right steered wheels and the steering angle of the moving body at the time of capturing the set of images in association with each other; Calculating the degree of symmetry of the left and right steered wheels on the set of images; Calculating a correction value for correcting the steering angle based on the degree of symmetry.
  • the rudder angle correction method includes: Acquiring the set of images at different steering angles; In the step of calculating the correction value, the correction value is preferably calculated based on the distribution of the symmetry with respect to the steering angle.
  • the rudder angle correction method includes: Extracting the left and right steered wheels on the set of images by ellipse detection; In the step of calculating the degree of symmetry, it is preferable to calculate the degree of symmetry using a parameter of an ellipse to be detected.
  • the rudder angle correction method includes: In the step of calculating the degree of symmetry, it is preferable to calculate the degree of symmetry by assigning more weight to the parameter indicating at least one of the short side and the inclination of the ellipse than the other parameters.
  • the rudder angle correction method includes: In the step of calculating the degree of symmetry, the degree of symmetry is preferably calculated using a degree of correlation based on image matching based on the set of images.
  • the rudder angle correction device In addition, the rudder angle correction device according to the present invention, An acquisition unit that acquires a measurement image obtained by imaging a steered wheel and a steering rudder angle of a moving object at the time of imaging; A calculation unit that calculates a correction value for correcting the steering angle based on a degree of coincidence between the steering wheel on the measurement image and the steering wheel on the reference image obtained by imaging the steering wheel at a reference steering angle; It is characterized by providing.
  • an imaging apparatus includes: An acquisition unit that acquires a measurement image obtained by imaging a steered wheel in association with a steering rudder angle of a moving object at the time of image capturing, the steered wheel on the measurement image, and a reference image obtained by photographing the steered wheel at a reference rudder angle
  • a steering angle correction device comprising: an arithmetic unit that calculates a correction value for correcting the steering angle based on the degree of coincidence with the steering wheel above; A first imaging unit for generating the measurement image; A second imaging unit for generating a peripheral image of the moving body; An image superimposing unit that superimposes an index on the peripheral image based on the correction value is provided.
  • a first imaging unit that generates a measurement image obtained by imaging the steering wheel;
  • An acquisition unit that acquires the measurement image in association with the steering angle of the moving body at the time of imaging;
  • a calculation unit that calculates a correction value for correcting the steering angle based on a degree of coincidence between the steering wheel on the measurement image and the steering wheel on a reference image obtained by imaging the steering wheel at a reference steering angle;
  • a second imaging unit for generating a peripheral image of the moving body;
  • An image superimposing unit that superimposes an index on the peripheral image based on the correction value;
  • a display unit that displays a peripheral image on which the index is superimposed.
  • the rudder angle correction device In addition, the rudder angle correction device according to the present invention, An acquisition unit that acquires a set of images obtained by simultaneously imaging the left and right steering wheels, and a steering angle of a moving body when the set of images is captured; And an arithmetic unit that calculates a correction value for correcting the steering angle based on the symmetry of the left and right steering wheels on the set of images.
  • an imaging apparatus includes: An acquisition unit that acquires a set of images obtained by simultaneously imaging the left and right steering wheels and a steering angle of the moving body at the time of imaging the set of images, and the left and right steering on the set of images
  • a rudder angle correction device comprising a calculation unit that calculates a correction value for correcting the rudder angle based on the degree of symmetry of the wheel;
  • a first imaging unit that generates the set of images;
  • An image superimposing unit that superimposes an index on the peripheral image based on the correction value is provided.
  • a first imaging unit that generates a set of images obtained by simultaneously imaging the left and right steering wheels;
  • An acquisition unit that associates and acquires the set of images and the steering angle of the moving body at the time of capturing the set of images;
  • An arithmetic unit that calculates a correction value for correcting the steering angle based on the symmetry of the left and right steering wheels on the set of images;
  • a second imaging unit for generating a peripheral image of the moving body;
  • An image superimposing unit that superimposes an index on the peripheral image based on the correction value;
  • a display unit that displays a peripheral image on which the index is superimposed.
  • the steering angle correction device According to the steering angle correction method, the steering angle correction device, the imaging device, and the steering angle correction system according to the present invention, the steering angle can be corrected while reducing the complexity of the operation.
  • FIG. 1 is a schematic diagram illustrating an arrangement of components of a steering angle correction system A according to the first embodiment on a moving body 10.
  • the moving body 10 is a vehicle, for example.
  • the steering angle correction system A includes an imaging device including a side camera 11 and a rear camera 12, and a display unit 13.
  • the side cameras 11 are disposed symmetrically on the left and right sides of the moving body 10.
  • the side camera 11 provided on the right side of the moving body 10 will be described unless otherwise specified.
  • the side camera 11 is arranged on the door mirror 15 so that the periphery of the moving body 10 including the steering wheel 14 of the moving body 10 can be imaged.
  • the rear camera 12 is arranged so that the rear periphery of the moving body 10 can be imaged.
  • the display part 13 is arrange
  • the side camera 11 includes an optical system 16, a side camera imaging unit (first imaging unit) 17, a steering angle determination unit 18, a side camera control unit 19, and a steering angle correction device 20. And comprising.
  • the optical system 16 has a plurality of lenses.
  • the optical system 16 forms a subject image.
  • the side camera imaging unit 17 is, for example, a CMOS imaging device, and generates an image obtained by imaging a subject image formed by an optical system as a measurement image.
  • the side camera 11 is disposed so as to be able to image the periphery of the moving body 10 including the steering wheel 14.
  • the measurement image may include images of the steered wheels 14 having various steered wheel steering angles ⁇ R.
  • the steered wheel steering angle ⁇ R is a turning angle of the steered wheel 14 with the steering angle neutral point in the steerable range of the steered wheel 14 being 0 °.
  • the steering wheel steering angle ⁇ R is increased by the rightward rotation of the steering.
  • FIG. 3 shows examples of measurement images at different steering wheel steering angles ⁇ R
  • FIG. R 30 °
  • the steering angle determination unit 18 obtains the steering angle ⁇ m detected by the steering angle sensor when the measurement image is captured, for example, via the in-vehicle network 100 such as CAN.
  • the steering angle ⁇ m is a steering angle where the steering angle neutral point in the steerable range of the steering is 0 °.
  • the steering angle ⁇ m detected by the steering angle sensor is increased by the clockwise rotation of the steering.
  • the steering angle ⁇ m and the steering wheel angle ⁇ R detected by the steering angle sensor have a one-to-one correspondence.
  • the side camera control unit 19 controls the operation of each part of the side camera 11. For example, the side camera control unit 19 causes the side camera imaging unit 17 to periodically generate measurement images. Further, the side camera control unit 19 transmits and receives information via the in-vehicle network 100.
  • the steering angle correction device 20 calculates a correction value for correcting the steering angle ⁇ m detected by the steering angle sensor so as to coincide with the actual steering angle ⁇ t of the steering. Details of the calculation of the correction value will be described later.
  • the steering angle correction device 20 includes an acquisition unit 21, a correction device storage unit 22, an extraction unit 23, and a calculation unit 24.
  • the acquisition unit 21 acquires from the side camera imaging unit 17 and the steering angle determination unit 18 in association with the measurement image and the steering angle ⁇ m detected by the steering angle sensor when the measurement image was captured.
  • the correction device storage unit 22 stores in advance an image (hereinafter referred to as a reference image) obtained by imaging the steered wheels 14 with the side steering imaging unit 17 in a state where the actual steering angle ⁇ t of the steering is the reference steering angle ⁇ 0 .
  • a reference image an image obtained by imaging the steered wheels 14 with the side steering imaging unit 17 in a state where the actual steering angle ⁇ t of the steering is the reference steering angle ⁇ 0 .
  • the reference rudder angle ⁇ 0 is described as 0 °, but may be any rudder angle.
  • the correction device storage unit 22 calculates the degree of coincidence between the steering wheel 14 on the measurement image calculated by the calculation unit 24 and the steering wheel 14 on the reference image by the steering angle sensor detected by the steering angle sensor when the measurement image is captured. Store in association with m . Further, the correction device storage unit 22 stores the correction value ⁇ a calculated by the calculation unit 24. Coincidence degree and will be described in detail later correction value theta a.
  • the extraction unit 23 extracts the steering wheel 14 on the measurement image and the steering wheel 14 on the reference image.
  • the extraction unit 23 extracts the steered wheels 14 on the image by edge detection and ellipse detection (approximation).
  • edge detection for example, an edge part on an image is detected using a canny filter.
  • ellipse detection for example, the Hough transform is used to calculate an ellipse shape approximating the steered wheel 14 and its ellipse parameters.
  • the ellipse parameters are the center coordinates (x, y) of the ellipse, the length a of the long side, the length b of the short side, and the inclination ⁇ formed by the horizontal axis on the image and the long axis of the ellipse.
  • the extraction unit 23 extracts the steering wheel 14 on the image in a predetermined region on the image where the steering wheel 14 can be included.
  • the predetermined region on the image in which the steering wheel 14 can be included may be determined in advance in consideration of, for example, variations in the mounting angle of the side camera 11, or may be automatically determined by the extraction unit 23 by an arbitrary method. .
  • FIG. 4 shows an example of an ellipse (thick line in FIG. 4) detected for measurement images at different steering wheel steering angles ⁇ R ,
  • FIG. 4 shows an example in which ellipse detection is performed on the wheel portion of the steered wheel 14.
  • ellipse detection may be performed on the tire portion of the steered wheel 14.
  • the wheel portion of the steered wheel 14 has a shape with a portion of the ellipse missing (see FIGS. 3B to 3D). Is detected (see FIGS. 4B-4D).
  • the shape of the detected ellipse differs depending on the steering wheel steering angle ⁇ R at the time of imaging. Specifically, in the detected ellipse, when the steering wheel steering angle ⁇ R increases, the inclination ⁇ formed by the horizontal axis on the image and the long axis of the ellipse decreases, and the short side length b increases. On the other hand, even if the steered wheel steering angle ⁇ R is increased, changes in other elliptical parameters, that is, the central coordinates (x, y) and the long side length a are relatively small (see FIG. 4).
  • the computing unit 24 calculates the degree of coincidence between the steered wheel 14 on the measurement image and the steered wheel 14 on the reference image.
  • the degree of coincidence is an index indicating the degree of coincidence of the shape of the steering wheel 14 on both images.
  • the calculation unit 24 performs image matching using the measurement image obtained by extracting the steered wheel 14 by the extraction unit 23 and the reference image, and calculates the degree of correlation of image matching as the degree of coincidence.
  • the calculation unit 24 corrects data that associates the calculated degree of coincidence (correlation degree) with the steering angle ⁇ m detected by the rudder angle sensor when the measurement image used for calculating the degree of coincidence is captured.
  • the data is stored in the storage unit 22.
  • the calculation unit 24 calculates a probability distribution of the degree of coincidence (correlation degree) with respect to the steering angle ⁇ m detected by the steering angle sensor, based on a plurality of data stored in the correction device storage unit 22 (FIG. 5). reference). Any probability distribution model can be used for the probability distribution. Further, the calculation unit 24 calculates the steering angle ⁇ p at the peak position of the calculated probability distribution. Preferably, the calculation unit 24 calculates the steering angle ⁇ p when data sufficient to calculate the probability distribution is accumulated.
  • the calculation unit 24 determines the steering angle ⁇ p May be calculated.
  • detection deviation a deviation (hereinafter referred to as detection deviation) exists between the steering angle ⁇ m detected by the steering angle sensor and the actual steering angle ⁇ t of the steering
  • the actual steering angle ⁇ t of the steering is 0 °.
  • the steering angle ⁇ m detected by the rudder angle sensor is equal to the detection deviation of the rudder angle sensor.
  • the calculation unit 24 calculates the detection deviation ⁇ of the steering angle sensor by the following equation.
  • the arithmetic unit 24 when the correcting device storage unit 22 has already stored the correction values theta a is the absolute value of a value obtained by subtracting the correction value theta a from detecting deviation ⁇ predetermined threshold th 3 or more At some time, the detected deviation ⁇ is updated as a new correction value ⁇ a and stored in the correction device storage unit 22. And the calculating part 24 transmits correction value (theta) a to another component via the vehicle-mounted network 100.
  • the rear camera 12 includes an optical system 25, a rear camera imaging unit (second imaging unit) 26, a rear camera storage unit 27, an image superimposing unit 28, and a rear camera control unit 29. .
  • the optical system 25 has a plurality of lenses, like the optical system 16 of the side camera 11, and forms a subject image.
  • the rear camera imaging unit 26 images (generates) a peripheral image formed by the optical system 25 in the same manner as the side camera imaging unit 17.
  • the rear camera storage unit 27 stores a correction value ⁇ a acquired from the side camera 11 via the in-vehicle network 100.
  • the image superimposing unit 28 acquires the steering angle ⁇ m detected by the steering angle sensor via the in-vehicle network 100. Further, the image superimposing unit 28 uses the correction value ⁇ a to correct the steering angle ⁇ m detected by the steering angle sensor, that is, the value obtained by subtracting the correction value ⁇ a from the steering angle ⁇ m , An index for driving support is superimposed on a predetermined position on the peripheral image captured by the rear camera imaging unit 26.
  • the indicator 30 for driving support is, for example, a vehicle width extension line 31 and a distance guide line 32 as shown in FIG.
  • the vehicle width extension line 31 is a trajectory passing through both ends of the moving body 10 during reverse travel, and the shape and the display position differ depending on the steering angle of the steering.
  • the distance reference line 32 indicates a predetermined distance from the current moving body 10, for example, a distance of 1 m and 3 m. The driver can recognize the predicted traveling direction when the mobile object 10 moves backward by the index 30.
  • the rear camera control unit 29 controls the operation of each part of the rear camera 12.
  • the rear camera control unit 29 transmits and receives information via the in-vehicle network 100.
  • correction value calculation processing executed by the steering angle correction system A according to the first embodiment will be described with reference to the flowchart of FIG. This process is executed, for example, when the moving body 10 starts traveling.
  • the side camera imaging unit 17 captures a peripheral image (measurement image) of the moving body 10 including the steered wheels 14 (step S100).
  • the rudder angle determination unit 18 acquires the steering rudder angle ⁇ m detected by the rudder angle sensor simultaneously with the imaging of the measurement image in step S100 via the in-vehicle network 100 (step S101).
  • the acquisition unit 21 acquires associates the steering angle theta m of measure images and step S101 in step S100 (step S102).
  • the extraction unit 23 performs edge detection on the measurement image in step S102 and the reference image stored in advance in the correction device storage unit 22 (step S103). In addition, when the side surface of the steered wheel 14 is not included in the measurement image, the extraction unit 23 uses the measurement image captured by the side camera 11 on the opposite side of the moving body 10.
  • the extraction unit 23 performs ellipse detection on the measurement image and the reference image for which edge detection has been performed in step S103 (step S104).
  • the calculation unit 24 calculates the degree of coincidence between the steering wheel 14 on the measurement image and the steering wheel 14 on the reference image (step S105). For example, the calculation unit 24 calculates the correlation degree of image matching as the coincidence degree.
  • the calculation unit 24 stores, in the correction device storage unit 22, data in which the degree of coincidence calculated in step S105 is associated with the steering angle ⁇ m detected by the steering angle sensor when the measurement image is captured (step S22). S106).
  • the calculation unit 24 calculates a probability distribution of the degree of coincidence (correlation degree) with respect to the steering angle ⁇ m detected by the steering angle sensor, based on the data stored in the correction device storage unit 22 in step S106 ( Step S107).
  • the computing unit 24 determines whether or not sufficient data has been accumulated to calculate the probability distribution (step S108). For example, when the number of data stored in the correction device storage unit 22 is equal to or greater than the predetermined threshold th 1 and the calculated probability distribution variance ⁇ 2 is less than the predetermined threshold th 2 In addition, it is determined that sufficient data has been accumulated. When sufficient data is accumulated (step S108—Yes), the process proceeds to step S109. On the other hand, when sufficient data is not accumulated (step S108-No), the process returns to step S100 to repeat the process and accumulate data.
  • step S108 when enough data has been accumulated (step S108-Yes), the arithmetic unit 24 calculates a steering angle theta p at the peak position of the probability distribution calculated in step S107 (step S109).
  • the calculation unit 24 calculates the absolute value of the detection deviation ⁇ calculated by subtracting the reference steering angle ⁇ 0 from the steering steering angle ⁇ p at the peak position of the probability distribution calculated in step S109 to be equal to or greater than a predetermined threshold th 3. It is determined whether or not (step S110).
  • step S110 the absolute value of the detection deviation ⁇ is equal to or greater than the threshold th 3 (step S110—Yes)
  • step S111 the absolute value of the detection deviation ⁇ is less than the threshold th 3 (step S110—No)
  • the process is terminated.
  • step S110 when the absolute value of the detected deviation ⁇ is the threshold value th 3 or more (step S110-Yes), the arithmetic unit 24 stores the correction device storing unit 22 detects deviation ⁇ as a correction value theta a (step S111 ).
  • the steering angle correction system of the first embodiment based on the coincidence of the measurement and reference images, calculates a correction value theta a. For this reason, for example, the steering rudder angle ⁇ m detected by the rudder angle sensor during the traveling of the moving body 10 can be automatically corrected, and the complexity of the operation by the operator can be reduced.
  • the correction value ⁇ a is calculated based on the probability distribution of the degree of coincidence with the steering rudder angle ⁇ m detected by the rudder angle sensor.
  • the steering angle ⁇ m detected by the steering angle sensor can be accurately estimated, and the calculation accuracy of the correction value ⁇ a can be improved. Further, it is possible to reduce the influence of the measurement error of the steering angle ⁇ m detected by the steering angle sensor and improve the calculation accuracy of the correction value ⁇ a .
  • the steering angle correction system of the first embodiment when sufficient data is calculated to calculate the probability distribution of the degree of coincidence with respect to the steering angle ⁇ m detected by the steering angle sensor, the probability distribution The steering angle ⁇ p at the peak position is calculated, and the correction value ⁇ a is calculated using ⁇ p .
  • the correction value ⁇ a is calculated using ⁇ p .
  • the absolute value of the deviation ⁇ between the steering angle ⁇ m detected by the steering angle sensor and the actual steering angle ⁇ t of the steering is greater than or equal to the threshold th 3. when it is, stores ⁇ as the correction value theta a. Therefore, to suppress the calculation and update of the correction value theta a by slight shift caused by the influence of the measurement error of the steering angle theta m which the steering angle sensor detects, it can improve the calculation accuracy of the correction value theta a.
  • the rudder angle correction system of the first embodiment since edge detection is performed on the measurement image and the reference image, changes in the environment such as weather and outside brightness during the traveling of the moving body 10 are performed. Can reduce the influence on the measurement image and improve the accuracy of calculating the degree of correlation by image matching.
  • the rudder angle correction apparatus 20 includes an acquisition unit 21, a correction device storage unit 22, an extraction unit 23, and a calculation unit 24, as in the first embodiment. Since the acquisition unit 21, the correction device storage unit 22, and the extraction unit 23 are the same as those in the first embodiment, description thereof is omitted.
  • the calculation unit 24 calculates the degree of coincidence between the steering wheel 14 on the measurement image and the steering wheel 14 on the reference image, as in the first embodiment.
  • the calculation unit 24 calculates the distance d on the parameter space calculated using the ellipse parameter as the degree of coincidence. At this time, generally, the smaller the value of the distance d, the higher the coincidence.
  • the calculation unit 24 calculates the degree of coincidence using values obtained by weighting a plurality of ellipse parameters.
  • the detected ellipse has a different shape depending on the steering wheel steering angle ⁇ R (see FIG. 4).
  • the change amount of the ellipse inclination ⁇ and the short side length b is large with respect to the change of the steered wheel steering angle ⁇ R
  • the other ellipse parameters that is, the center coordinates and the long side length are small.
  • the inclination ⁇ of the ellipse and the length b of the short side are highly sensitive to changes in the steering wheel steering angle ⁇ R.
  • At least one of the inclination ⁇ and the short side length b among the ellipse parameters is weighted more than the other parameters, that is, the coordinates (x, y) and the long side length a, and points on the parameter space t and point a are determined, and the distance d between the two points is calculated as the degree of coincidence.
  • the calculation unit 24 calculates the probability distribution of the degree of coincidence (distance d), and calculates the correction value ⁇ a based on the steering angle ⁇ p at the peak position of the calculated probability distribution. calculate.
  • distance d the distance on the parameter space calculated using the ellipse parameter is used as the degree of coincidence, the probability distribution peak appears downward (see FIG. 8).
  • the distance d on the parameter space calculated based on the ellipse parameters detected from the measurement image and the reference image is set to the steering wheel 14 on the measurement image.
  • the degree of coincidence with the steered wheel 14 on the reference image is calculated. For this reason, the processing load can be reduced as compared with the first embodiment in which the degree of coincidence is calculated by image matching.
  • the degree of coincidence calculation is improved, and the correction value It can be improved calculation accuracy of theta a.
  • the rudder angle correction device 20 includes an acquisition unit 21, a correction device storage unit 22, an extraction unit 23, and a calculation unit 24, as in the first embodiment. Since the acquisition unit 21 and the extraction unit 23 are the same as those in the first embodiment, description thereof is omitted.
  • the correction device storage unit 22 stores a reference image in advance. Further, the correction device storage unit 22 stores the correction value ⁇ a calculated by the calculation unit 24.
  • the calculation unit 24 calculates the degree of coincidence between the steering wheel 14 on the measurement image and the steering wheel 14 on the reference image.
  • any one of the degree of correlation by image matching or the distance d between two points on the ellipse parameter space may be adopted as the degree of coincidence.
  • the degree of correlation by image matching using the measurement image and the reference image is calculated will be described.
  • the computing unit 24 determines whether or not the shapes of the steered wheels 14 on the measurement image and the steered wheels 14 on the reference image match based on the calculated degree of coincidence (correlation degree).
  • the determination as to whether or not the shapes match is, for example, determined that the shapes match when the degree of correlation, which is the degree of matching, is equal to or greater than a predetermined threshold th 4 .
  • the calculation unit 24 determines that the shapes of the steered wheels 14 match, the deviation (detection deviation) between the steering rudder angle ⁇ m detected by the rudder angle sensor and the actual steering angle ⁇ t of the steering is calculated by the following formula. ) Calculate ⁇ .
  • ⁇ ⁇ m ⁇ 0 (2)
  • ⁇ m a steering angle detected by the steering angle sensor when the measurement image used for calculating the degree of coincidence is captured
  • ⁇ 0 is a reference steering angle.
  • the calculation unit 24 stores the detection deviation ⁇ in the correction device storage unit 22 as a correction value ⁇ a.
  • the side camera imaging unit 17 captures a peripheral image (measurement image) of the moving body 10 including the steered wheels 14 (step S200).
  • the steering angle determination unit 18 acquires the steering angle ⁇ m detected by the steering angle sensor simultaneously with the imaging of the measurement image in step S200 via the in-vehicle network 100 (step S201).
  • the acquisition unit 21 acquires associates the steering angle theta m of measure images and step S201 in step S200 (step S202).
  • the extraction unit 23 performs edge detection on the measurement image in step S202 and the reference image stored in advance in the correction device storage unit 22 (step S203). In addition, when the side surface of the steered wheel 14 is not included in the measurement image, the extraction unit 23 uses the measurement image captured by the side camera 11 on the opposite side of the moving body 10.
  • the extraction unit 23 performs ellipse detection on the measurement image and the reference image that have been subjected to edge detection in step S203 (step S204).
  • the calculation unit 24 calculates the degree of coincidence between the steering wheel 14 on the measurement image and the steering wheel 14 on the reference image (step S205). For example, the calculation unit 24 calculates the correlation degree of image matching as the coincidence degree.
  • the calculation unit 24 determines whether or not the shapes of the steered wheels 14 on the measurement image and the steered wheels 14 on the reference image match (step S206). For example, the computing unit 24 determines that the shapes match when the degree of correlation, which is the degree of coincidence, is equal to or greater than a predetermined threshold th 4 . When it is determined that the shapes match (step S206—Yes), the process proceeds to step S207. On the other hand, when it is determined that the shapes do not match (step S206—No), the process returns to step S200.
  • step S206 when determining the shape match (step S206-Yes), the arithmetic unit 24, the detected shift ⁇ that is calculated by subtracting the reference steering angle theta 0 from the steering angle theta m in step S202 It is determined whether or not the absolute value is greater than or equal to a predetermined threshold th 3 (step S207).
  • the absolute value of the detection deviation ⁇ is greater than or equal to the threshold th 3 (step S207—Yes)
  • the process proceeds to step S208.
  • step S207—No when the absolute value of the detection deviation ⁇ is less than the threshold th 3 (step S207—No), the process is terminated.
  • step S207 when the absolute value of the detected deviation ⁇ is the threshold value th 3 or more (step S207-Yes), the arithmetic unit 24 stores the correction device storing unit 22 detects deviation ⁇ as a correction value theta a (step S208 ).
  • the steering angle correction system of the present modification each time the measurement image and the steering steering angle ⁇ m detected by the steering angle sensor are acquired in association with each other, the images on both images are calculated based on the calculated degree of coincidence. It is determined whether or not the shapes of the steered wheels 14 match. Then, when determining the shape match, the correction value is calculated theta a. For this reason, unlike the first embodiment, there is no need to store data in which the steering rudder angle ⁇ m detected by the rudder angle sensor is associated with the degree of coincidence in the correction device storage unit 22, and the data capacity to be stored is reduced. it can.
  • each component in the steering angle correction system can be divided and rearranged.
  • the steering angle correction system may further include a navigation device that supports the driver, and the navigation device may include the calculation unit 24 of the steering angle correction device 20 and the image superimposing unit 28 of the rear camera 12.
  • the correction device storage unit 22 stores a reference image in advance.
  • a reference image obtained by performing edge detection and ellipse detection on the reference image may be stored in advance.
  • the extraction unit 23 does not need to perform edge detection and ellipse detection on the reference image, and can reduce the processing load.
  • the steering angle correction device 20 stores the calculated correction value ⁇ a in the correction device storage unit 22, but transmits the correction value ⁇ a to the steering steering angle sensor, and the steering steering angle sensor.
  • the output value may be corrected.
  • the image superimposing unit 28 does not need to correct the steering angle obtained through the in-vehicle network 100, and thus the processing burden can be reduced.
  • the image superimposing unit 28 superimposes the index 30 on the captured image of the rear camera 12.
  • the image superimposing unit 28 superimposes the index 30 on the captured image of the front camera that captures the peripheral image in front of the moving body 10. May be.
  • the distance between two points on the parameter space based on the degree of correlation by image matching or the elliptic parameter is used as the degree of coincidence, but the steering wheel 14 on the measurement image and the steering wheel 14 on the reference image Any index can be adopted as long as it indicates the degree of coincidence of the shapes.
  • the side camera control unit 19 causes the side camera imaging unit 17 to periodically generate measurement images.
  • measurement is performed under predetermined conditions.
  • An image may be generated.
  • data at a wide range of steering angles can be used to calculate the probability distribution of the degree of coincidence, and the accuracy of calculating the correction value ⁇ a is improved by improving the accuracy of calculating the probability distribution of the degree of coincidence. it can.
  • the correction device storage unit 22 may store in advance the ellipse parameters detected from the reference image. In this case, the correction device storage unit 22 does not need to store the reference image, and can reduce the data capacity to be stored.
  • FIG. 10 is a schematic diagram showing the arrangement of the components of the steering angle correction system B according to the third embodiment on the moving body 10.
  • the moving body 10 is a vehicle, for example.
  • the two side cameras 111 of the steering angle correction system B are, for example, 45 ° from the center of the side surface of the steering wheel 115 toward the rear of the moving body 10 as viewed from the side of the moving body 10 with respect to the vertically upward direction (FIG. 10B). (Refer to FIG. 10C).
  • the mobile body 10 is disposed at a position that is 15 ° toward the left and right outer sides of the mobile body 10 when viewed from the rear.
  • the two side cameras 111 are respectively disposed on the left and right side mirrors 116, for example.
  • the left and right side cameras 111 can respectively image a peripheral area of the moving body 10 including one of the left and right steering wheels 115 of the moving body 10.
  • the rear camera 112 of the steering angle correction system B is arranged so as to be able to image the rear peripheral region of the moving body 10.
  • the steering angle correction device 113 of the steering angle correction system B is disposed at an arbitrary position of the moving body 10.
  • the display unit 114 of the steering angle correction system B is disposed at a position where it can be viewed from the driver's seat, and displays images output from the side camera 111 and the rear camera 112.
  • the steering angle correction system B includes a side camera 111, a rear camera 112, a steering angle correction device 113, and a display unit 114.
  • the side camera 111 includes an optical system 117, a side camera imaging unit (first imaging unit) 118, a steering angle determination unit 119, and a side camera control unit 120.
  • the optical system 117 includes a plurality of lenses and forms a subject image.
  • the side camera imaging unit 118 is, for example, a CMOS image sensor, and generates an image obtained by imaging a subject image formed by the optical system 117.
  • the left and right side cameras 111 are arranged so as to be able to image the peripheral area of the moving body 10 including one of the left and right steering wheels 115, and the generated images have various steering wheel steering angles.
  • An image of the steered wheel 115 that is ⁇ R may be included.
  • the steered wheel steering angle ⁇ R is a turning angle of the steered wheel 115 with the rudder angle neutral point in the steerable range of the steered wheel 115 being 0 °.
  • the steering wheel steering angle ⁇ R is increased by the rightward rotation of the steering.
  • the steered wheel steering angle ⁇ R becomes a positive value when the steering wheel rotates in the right direction from the steering angle neutral point, and becomes a negative value when the steering wheel rotates in the left direction from the steering angle neutral point.
  • the shape of the steered wheel 115 on the image varies depending on the steered wheel steering angle ⁇ R.
  • the shape of the steered wheel 115 on the image generated by the left side camera 111 varies depending on the steered wheel steering angle ⁇ R.
  • 13 shows examples of images generated by the right side camera 111 at different steering wheel steering angles ⁇ R
  • the steering angle determination unit 119 obtains the steering angle ⁇ m detected by the steering angle sensor during imaging by the side camera imaging unit 118 via the in-vehicle network 100 such as CAN, for example.
  • the steering angle ⁇ m is a steering angle where the steering angle neutral point in the steerable range of the steering is 0 °.
  • the steering angle ⁇ m detected by the steering angle sensor is increased by the clockwise rotation of the steering.
  • the steering angle ⁇ m and the steering wheel angle ⁇ R detected by the steering angle sensor have a one-to-one correspondence.
  • the side camera control unit 120 controls the operation of each part of the side camera 111.
  • the side camera control unit 120 causes each side camera imaging unit 118 of the left and right side cameras 111 to generate a set of images obtained by imaging the left and right steering wheels 115 at 30 fps periodically. Further, the side camera control unit 120 transmits and receives information via the in-vehicle network 100.
  • the rear camera 112 includes an optical system 121, a rear camera imaging unit (second imaging unit) 122, a rear camera storage unit 123, an image superimposing unit 124, and a rear camera control unit 125.
  • the optical system 121 includes a plurality of lenses and forms a subject image.
  • the rear camera imaging unit 122 images (generates) a peripheral image formed by the optical system 121 in the same manner as the side camera imaging unit 118.
  • Rear camera storage section 123 stores the correction values theta a to obtain the steering angle correction device 113. It will be described in detail later correction value theta a.
  • the image superimposing unit 124 acquires the steering angle ⁇ m detected by the steering angle sensor via the in-vehicle network 100. Further, the image superimposing unit 124 superimposes an index for driving assistance on a predetermined position on the peripheral image captured by the rear camera imaging unit 122 using the steering angle ⁇ m detected by the steering angle sensor. Preferably, the image superimposing unit 124 uses the steering angle ⁇ m detected by the steering angle sensor corrected by the correction value ⁇ a stored in the rear camera storage unit 123 to superimpose an indicator for driving assistance.
  • the indicator 30 for driving support is, for example, a vehicle width extension line 31 and a distance guide line 32 as shown in FIG.
  • the vehicle width extension line 31 is a trajectory passing through both ends of the moving body 10 during reverse travel, and the shape and the display position differ depending on the steering angle of the steering.
  • the distance reference line 32 indicates a predetermined distance from the current moving body 10, for example, a distance of 1 m and 3 m. The driver can recognize the predicted traveling direction when the mobile object 10 moves backward by the index 30.
  • the rear camera control unit 125 controls the operation of each part of the rear camera 112.
  • the rear camera control unit 125 is stored in the rear camera storage unit 123 receives the correction value theta a from the steering angle correction device 113.
  • the rear camera control unit 125 transmits and receives information via the in-vehicle network 100.
  • the steering angle correction device 113 calculates a correction value ⁇ a for correcting the steering angle ⁇ m detected by the steering angle sensor so as to coincide with the actual steering angle ⁇ t of the steering. It will be described in detail later calculation of the correction value theta a.
  • the steering angle correction device 113 includes an acquisition unit 126, a correction device storage unit 127, an extraction unit 128, and a calculation unit 129.
  • the acquisition unit 126 for example, a set of images obtained by simultaneously imaging the left and right steering wheels 115 from the left and right side cameras 111 via the in-vehicle network 100, and the steering rudder angle ⁇ m detected by the rudder angle sensor at the time of image capturing. Acquired in association.
  • the correction device storage unit 127 stores the degree of symmetry of the left and right steering wheels 115 on the set of images calculated by the calculation unit 129 in association with the steering angle ⁇ m detected by the steering angle sensor at the time of image capturing. Details of the degree of symmetry will be described later. In addition, the correction device storage unit 127 stores the correction value ⁇ a calculated by the calculation unit 129.
  • the extraction unit 128 extracts the steering wheel 115 on the set of images acquired by the acquisition unit 126.
  • the extraction unit 128 extracts the steering wheel 115 on the image by edge detection and ellipse detection (approximation).
  • edge detection for example, an edge part on an image is detected using a canny filter.
  • ellipse detection for example, an elliptical shape approximating the steered wheel 115 and an elliptical parameter thereof are calculated using Hough transform.
  • the ellipse parameters are the center coordinates (x, y) of the ellipse, the length a of the long side, the length b of the short side, and the inclination ⁇ formed by the horizontal axis on the image and the long axis of the ellipse.
  • the extraction unit 128 extracts the steering wheel 115 on the image in a predetermined region on the image where the steering wheel 115 can be included.
  • the predetermined area on the image in which the steered wheels 115 can be included may be determined in advance in consideration of, for example, variations in the mounting angle of the side camera 111, or may be automatically determined by the extraction unit 128 by any method. .
  • the wheel portion of the steered wheel 115 has a shape with a portion of the ellipse missing (see FIGS. 12B-12D), but the ellipse that fits the wheel portion of the steered wheel 115 by detecting the ellipse. Is detected (see FIGS. 14B-14D).
  • the shape of the detected ellipse differs depending on the steering wheel steering angle ⁇ R at the time of imaging. Specifically, in the detected ellipse, when the steering wheel steering angle ⁇ R increases from 0 °, the inclination ⁇ formed by the horizontal axis on the image and the long axis of the ellipse decreases, and the length b of the short side increases. To do. On the other hand, even if the steered wheel steering angle ⁇ R is increased, changes in other elliptical parameters, that is, the center coordinates (x, y) and the long side length a are relatively small (see FIG. 14).
  • the ellipse detected for the images generated by the left side camera 111 at different steering wheel steering angles ⁇ R is similar to the horizontal axis on the image and the major axis of the ellipse when the steering wheel steering angle ⁇ R decreases from 0 °. Is reduced, and the length b of the short side is increased.
  • the computing unit 129 calculates the symmetry degree of the left and right steered wheels 115 on a set of images.
  • the degree of symmetry is an index indicating the degree of left-right symmetry of the shape of the left and right steering wheels 115 on a set of images.
  • the degree of symmetry is the degree of correlation of image matching.
  • the calculation unit 129 performs image matching by horizontally inverting one of the set of ellipse images detected by the extraction unit 128, and calculates the degree of correlation of image matching as the degree of symmetry.
  • the calculation unit 129 associates the calculated degree of symmetry (correlation degree) with the steering angle ⁇ m detected by the steering angle sensor when the set of images used for calculating the degree of symmetry is captured, It is stored in the correction device storage unit 127.
  • the calculation unit 129 calculates a probability distribution of symmetry (correlation degree) with respect to the steering angle ⁇ m detected by the steering angle sensor based on a plurality of data stored in the correction device storage unit 127 (FIG. 5). reference). Any probability distribution model can be used for the probability distribution.
  • the calculation unit 129 calculates the steering angle ⁇ p at the peak position of the calculated probability distribution. Preferably, the calculation unit 129 calculates the steering angle ⁇ p at the peak position of the probability distribution when data sufficient to calculate the probability distribution is accumulated.
  • the calculation unit 129 determines the peak position of the probability distribution when the number of accumulated data is equal to or greater than the predetermined threshold th 1 and the calculated probability distribution variance ⁇ 2 is less than the predetermined threshold th 2. it may be configured to calculate the steering angle theta p in.
  • the steering angle ⁇ p at the peak position of the probability distribution calculated by the calculation unit 129 is estimated as the steering angle ⁇ m detected by the steering angle sensor when the actual steering angle ⁇ t of the steering is 0 °. Is done.
  • a deviation hereinafter referred to as detection deviation
  • the actual steering angle ⁇ t of the steering is 0 °.
  • the steering angle ⁇ m detected by the rudder angle sensor is equal to the detection deviation of the rudder angle sensor.
  • the computing unit 129 determines the steering angle ⁇ p at the peak position of the probability distribution as the detection deviation ⁇ of the steering angle sensor.
  • the arithmetic unit 129 detects a deviation between the steering angle ⁇ m detected by the steering angle sensor and the actual steering angle ⁇ t of the steering. big time, is stored in the correction device storage unit 127 detects deviation ⁇ as a correction value theta a.
  • the arithmetic unit 129 when the correcting device storage section 127 already stores the correction value theta a is the absolute value of a value obtained by subtracting the correction value theta a from detecting deviation ⁇ predetermined threshold th 3 or more At some time, the detection deviation ⁇ is updated as a new correction value ⁇ a and is stored in the correction device storage unit 127.
  • the calculation unit 129 transmits the correction value ⁇ a to other components via the in-vehicle network 100.
  • correction value calculation processing executed by the steering angle correction system B according to the third embodiment will be described with reference to the flowchart of FIG. This process is executed, for example, when the moving body 10 starts traveling.
  • the side camera imaging unit 118 of the left and right side cameras 111 generates a set of images obtained by simultaneously imaging the peripheral area of the moving body 10 including one of the left and right steering wheels 115 (step S300).
  • the rudder angle determination unit 119 acquires the steering rudder angle ⁇ m detected by the rudder angle sensor simultaneously with the capturing of a set of images in step S300 via the in-vehicle network 100 (step S301).
  • the acquisition unit 126 of the steering angle correction device 113 acquires the set of images in step S300 and the steering angle ⁇ m detected by the steering angle sensor in step S301 in association with each other via the in-vehicle network 100, for example. (Step S302).
  • the extraction unit 128 performs edge detection on the set of images in step S302 (step S303).
  • the extraction unit 128 performs ellipse detection on the set of images subjected to edge detection in step S303 (step S304).
  • the computing unit 129 calculates the degree of symmetry of the left and right steered wheels 115 on the set of images in step S302 (step S305). For example, the computing unit 129 performs image matching by horizontally inverting one of the set of images subjected to ellipse detection in step S304, and calculates the degree of correlation of image matching as the degree of symmetry.
  • the calculation unit 129 stores data in which the degree of symmetry calculated in step S305 and the steering angle ⁇ m detected by the steering angle sensor acquired in step S302 are associated with each other in the correction device storage unit 127 ( Step S306).
  • the calculation unit 129 calculates a probability distribution of symmetry (correlation degree) with respect to the steering angle ⁇ m detected by the steering angle sensor based on the data stored in the correction device storage unit 127 in step S306 ( Step S307).
  • the computing unit 129 determines whether or not sufficient data has been accumulated to calculate the probability distribution (step S308). For example, the calculation unit 129 has the number of data stored in the correction device storage unit 127 equal to or greater than a predetermined threshold th 1 and the variance ⁇ 2 of the probability distribution calculated in step S307 is less than the predetermined threshold th 2 When it is, it is determined that sufficient data has been accumulated. When sufficient data has been accumulated (step S308—Yes), the process proceeds to step S309. On the other hand, when sufficient data is not accumulated (step S308-No), the process returns to step S300 to repeat the process and accumulate data.
  • step S308 When sufficient data is accumulated in step S308 (step S308-Yes), the computing unit 129 calculates the steering angle ⁇ p at the peak position of the probability distribution calculated in step S307 (step S309).
  • the calculation unit 129 determines the steering angle ⁇ p at the peak position of the probability distribution calculated in step S309 as the detection deviation ⁇ . Further, the computing unit 129 determines whether or not the absolute value of the detection deviation ⁇ is greater than or equal to a predetermined threshold th 3 (step S310). When the absolute value of the detection deviation ⁇ is greater than or equal to the threshold th 3 (step S310—Yes), the process proceeds to step S311. On the other hand, when the absolute value of the detection deviation ⁇ is less than the threshold th 3 (step S310—No), the process is terminated.
  • step S310 the the absolute value of the detected deviation ⁇ is the threshold value th 3 or more (step S310-Yes), the arithmetic unit 129 is stored in the correction device storage unit 127 detects deviation ⁇ as a correction value theta a (step S311 ).
  • the correction value ⁇ a is calculated based on the symmetry of a set of images obtained by simultaneously imaging the left and right steering wheels 115. For this reason, for example, the steering rudder angle ⁇ m detected by the rudder angle sensor during traveling of the moving body 10 can be automatically corrected, and the complexity of the operation by the operator can be reduced. Further, for example, information in the initial state before the measurement deviation ⁇ occurs in the rudder angle sensor, such as the initial state, is not required.
  • the correction value ⁇ a is calculated based on the probability distribution of the symmetry with respect to the steering angle ⁇ m detected by the steering angle sensor,
  • the steering angle ⁇ m detected by the steering angle sensor when the angle ⁇ t is 0 ° can be accurately estimated, and the calculation accuracy of the correction value ⁇ a can be improved. Further, it is possible to reduce the influence of the measurement error of the steering angle ⁇ m detected by the steering angle sensor and improve the calculation accuracy of the correction value ⁇ a .
  • the steering angle correction system of the third embodiment when sufficient data is calculated to calculate the probability distribution of the symmetry with respect to the steering angle ⁇ m detected by the steering angle sensor, the probability distribution The steering angle ⁇ p at the peak position is calculated, and the correction value ⁇ a is calculated using ⁇ p .
  • the probability distribution The steering angle ⁇ p at the peak position is calculated, and the correction value ⁇ a is calculated using ⁇ p .
  • the absolute value of the deviation (detection deviation) ⁇ between the steering angle ⁇ m detected by the steering angle sensor and the actual steering angle ⁇ t of the steering is When it is equal to or greater than the threshold th 3 , the detection deviation ⁇ is stored as a correction value ⁇ a. Therefore, to suppress the calculation and update of the correction value theta a by slight shift caused by the influence of the measurement error of the steering angle theta m which the steering angle sensor detects, it can improve the calculation accuracy of the correction value theta a.
  • edge detection is performed on a set of images, so that, for example, due to changes in the environment such as weather and outside brightness while the mobile body 10 is traveling.
  • the influence on the measurement image can be reduced, and the calculation accuracy of the correlation degree by image matching can be improved.
  • the rudder angle correction apparatus 113 includes an acquisition unit 126, a correction device storage unit 127, an extraction unit 128, and a calculation unit 129, as in the third embodiment. Since the acquisition unit 126 and the correction device storage unit 127 are the same as those in the third embodiment, description thereof is omitted.
  • the extraction unit 128 extracts the steered wheels 115 on a set of images and calculates the ellipse parameters, as in the third embodiment.
  • the extraction unit 128 according to the fourth embodiment inverts one side of the set of images, extracts the steered wheels 115 on both images, and calculates the ellipse parameters.
  • the calculation unit 129 calculates the degree of symmetry of the left and right steering wheels 115 on a set of images, as in the third embodiment.
  • the computing unit 129 according to the fourth embodiment calculates the degree of symmetry using the ellipse parameter calculated by the extracting unit 128 through ellipse detection. Specifically, the calculation unit 129 calculates a point ⁇ on the five-dimensional parameter space determined by the elliptic parameter of the steered wheels 115 detected from one of the images reversed left and right by the extraction unit 128. Similarly, the calculation unit 129 calculates a point ⁇ on the five-dimensional parameter space determined by the elliptic parameter of the steering wheel 115 detected from the other image.
  • the calculation unit 129 calculates the distance d on the parameter space calculated using the ellipse parameter as the degree of symmetry. At this time, generally, the smaller the value of the distance d, the higher the symmetry.
  • the calculation unit 129 calculates the degree of symmetry using a value obtained by weighting a plurality of ellipse parameters.
  • the detected ellipse has a different shape depending on the steering wheel steering angle ⁇ R (see FIG. 14).
  • the change amount of the ellipse inclination ⁇ and the short side length b is large with respect to the change of the steered wheel steering angle ⁇ R
  • the other ellipse parameters that is, the center coordinates and the long side length are small.
  • the inclination ⁇ of the ellipse and the length b of the short side are highly sensitive to changes in the steering wheel steering angle ⁇ R.
  • At least one of the inclination ⁇ and the short side length b among the ellipse parameters is weighted more than the other parameters, that is, the coordinates (x, y) and the long side length a, and points on the parameter space a and b are determined, and the distance d between the two points is calculated as the symmetry.
  • the calculation unit 129 calculates a probability distribution of symmetry (distance d), and calculates the correction value ⁇ a based on the steering angle ⁇ p at the peak position of the calculated probability distribution. calculate.
  • distance d the distance between the ellipse parameter and the degree of symmetry.
  • the distance d on the parameter space calculated based on the ellipse parameters detected by inverting one of the images in the left-right direction is set as one set. Is calculated as the degree of symmetry of the left and right steering wheels 115 on the image. For this reason, the processing load can be reduced as compared with the third embodiment in which the degree of symmetry is calculated by image matching. Also, by calculating the degree of symmetry by placing a large weight on the elliptical parameter that is highly sensitive to changes in the steering wheel steering angle ⁇ R among the plurality of elliptical parameters, the accuracy of calculating the degree of symmetry is improved, and the correction value It can be improved calculation accuracy of theta a.
  • the rudder angle correction device 113 includes an acquisition unit 126, a correction device storage unit 127, an extraction unit 128, and a calculation unit 129, as in the third embodiment. Since the acquisition unit 126 and the extraction unit 128 are the same as those in the third embodiment, description thereof is omitted.
  • the correction device storage unit 127 stores the correction value ⁇ a calculated by the calculation unit 129.
  • the calculation unit 129 calculates the degree of symmetry of the left and right steering wheels 115 on a set of images, as in the third embodiment.
  • any one of the correlation degree by image matching or the distance d between two points on the ellipse parameter space may be adopted as the symmetry degree.
  • the degree of correlation by image matching between an image obtained by horizontally inverting one of a set of images and the other image is calculated and adopted as the degree of symmetry.
  • the calculation unit 129 determines whether the shape of the left and right steering wheels 115 on the set of images is left-right symmetric. For example, when the correlation degree, which is the degree of symmetry, is greater than or equal to a predetermined threshold th 4 , the shape is determined to be bilaterally symmetric.
  • the rudder angle sensor detects the steering rudder angle ⁇ m detected by the rudder angle sensor when capturing a set of images used to calculate the degree of symmetry.
  • the arithmetic unit 129 similarly to the third embodiment, when the absolute value of the determined detection deviation ⁇ is the predetermined threshold th 3 or more, the correction device storage unit 127 detects deviation ⁇ as a correction value theta a Remember.
  • the side camera imaging unit 118 of the left and right side cameras 111 generates a set of images obtained by simultaneously imaging the peripheral area of the moving body 10 including one of the left and right steering wheels 115 (step S400).
  • the rudder angle determination unit 119 acquires the steering rudder angle ⁇ m detected by the rudder angle sensor simultaneously with the capturing of a set of images in step S400 via the in-vehicle network 100 (step S401).
  • the acquisition unit 126 of the steering angle correction device 113 acquires the set of images in step S400 and the steering angle ⁇ m detected by the steering angle sensor in step S401 in association with each other via the in-vehicle network 100, for example. (Step S402).
  • the extraction unit 128 performs edge detection on the set of images in step S402 (step S403).
  • the extraction unit 128 performs ellipse detection on the set of images subjected to edge detection in step S403 (step S404).
  • the computing unit 129 calculates the degree of symmetry of the left and right steered wheels 115 on the set of images in step S402 (step S405).
  • the calculation unit 129 performs image matching by horizontally inverting one of the set of images subjected to ellipse detection in step S404, and calculates the degree of correlation of image matching as the degree of symmetry.
  • the calculation unit 129 determines whether or not the shapes of the left and right steering wheels 115 on the set of images in step S402 are bilaterally symmetric (step S406). For example, the calculation unit 129 determines that the shape is bilaterally symmetric when the degree of correlation, which is the degree of symmetry, is equal to or greater than a predetermined threshold th 4 . When it is determined that the shape is symmetrical (step S406—Yes), the process proceeds to step S407. On the other hand, when it is determined that the shape is not symmetric (step S406—No), the process returns to step S400.
  • step S406 when the shape is determined to symmetric (step S406-Yes), the arithmetic unit 129 determines the steering angle theta m which the steering angle sensor has detected in step S402 as detected shift [Delta] [theta], the detected shift [Delta] [theta] It is determined whether or not the absolute value is greater than or equal to a predetermined threshold th 3 (step S407).
  • the absolute value of the detection deviation ⁇ is equal to or greater than the threshold th 3 (step S407—Yes) the process proceeds to step S408.
  • step S407—No when the absolute value of the detection deviation ⁇ is less than the threshold th 3 (step S407—No), the process is terminated.
  • step S407 when the absolute value of the detected deviation ⁇ is the threshold value th 3 or more (step S407-Yes), the arithmetic unit 129 is stored in the correction device storage unit 127 detects deviation ⁇ as a correction value theta a (step S408 ).
  • each image is obtained based on the degree of symmetry calculated each time a set of images and the steering steering angle ⁇ m detected by the steering angle sensor are acquired in association with each other. It is determined whether the shape of the upper left and right steering wheels 115 is symmetrical. When the shape is determined to symmetrical calculates a correction value theta a. For this reason, unlike the third embodiment, it is not necessary to store data in which the steering angle ⁇ m detected by the steering angle sensor is associated with the degree of symmetry in the correction device storage unit 127, and the data capacity to be stored is reduced. it can.
  • each component in the steering angle correction system can be divided and rearranged.
  • the steering angle correction device 113 may be included in the imaging device.
  • the steering angle correction system may further include a navigation device that supports the driver, and the navigation device may include a calculation unit 129 of the steering angle correction device 113 and an image superimposing unit 124 of the rear camera 112. .
  • the acquisition unit 126 of the rudder angle correction device 113 acquires the image of the side camera 111 via the in-vehicle network 100, but may be configured to acquire it via a dedicated line.
  • a configuration may be provided in which it is determined whether the ellipse detected by the extraction unit 128 has correctly extracted the steering wheel 115. For example, it is conceivable to determine whether or not the steered wheels 115 are extracted using the color information of the image before performing edge detection within the detected ellipse on the image. In this way, the accuracy of calculating the correction value ⁇ a can be improved by improving the accuracy of calculating the degree of symmetry by improving the accuracy of extracting the steering wheel 115 on the image.
  • the rudder angle correction device 113 stores the calculated correction value ⁇ a in the correction device storage unit 127, but transmits the correction value ⁇ a to the steering rudder angle sensor and the steering rudder angle sensor. You may comprise so that an output value may be correct
  • the image superimposing unit 124 superimposes the index 30 on the captured image of the rear camera 112.
  • the image superimposing unit 124 may superimpose the index 30 on the captured image of the front camera that captures the peripheral image in front of the moving body 10. It may be configured.
  • the distance between two points on the parameter space based on the degree of correlation by image matching or the ellipse parameter is used as the degree of symmetry.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　操作の煩雑さを低減して舵角を補正する。　舵角補正方法は、操舵輪（１４）を撮像した測定画像と測定画像の撮像時における移動体（１０）のステアリング舵角とを対応付けて取得するステップと、測定画像上の操舵輪（１４）と基準舵角において操舵輪（１４）を撮像した基準画像上の操舵輪（１４）との一致度を算出するステップと、一致度に基づいて前記ステアリング舵角を補正する補正値を算出するステップとを含む。

Description

舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１３－１７７１８９号（２０１３年８月２８日出願）及び日本国特許出願２０１３－２００５６９号（２０１３年９月２６日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取込む。
　本発明は、移動体のステアリングの舵角を補正する舵角補正方法、舵角補正装置、撮像装置、および舵角補正システムに関する。
　従来、自動車等の移動体に車載カメラを設置して、撮像した移動体の周辺画像に運転を支援するための指標となる画像を重畳して表示する技術が知られている。このような指標を周辺画像に重畳するために、舵角センサ等により検出されるステアリング舵角が用いられる。検出されるステアリング舵角は、経年使用やステアリング交換等により実際の舵角とずれが生じる場合があるため、ステアリング舵角の中立点補正が行われる（例えば、特許文献１）。
特許第４３２３４０２号明細書
　しかしながら、従来技術では、ステアリング舵角を補正するためにステアリングを最大舵角又は最小舵角に正確に操作する必要がある。このように、ステアリング舵角の中立点補正には特別な工程が必要であり、操作が煩雑となっていた。
　かかる事情に鑑みてなされた本発明の目的は、操作の煩雑さを低減して舵角を補正可能な舵角補正方法、舵角補正装置、撮像装置、および舵角補正システムを提供することにある。
　上記課題を解決するために本発明に係る舵角補正方法は、
　操舵輪を撮像した測定画像と、前記測定画像の撮像時における移動体のステアリング舵角と、を対応付けて取得するステップと、
　前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度を算出するステップと、
　前記一致度に基づいて前記ステアリング舵角を補正する補正値を算出するステップとを含むことを特徴とする。
　また、本発明に係る舵角補正方法は、
　異なるステアリング舵角において複数の前記測定画像を取得するステップを含み、
　前記補正値を算出するステップでは、ステアリング舵角に対する前記一致度の分布に基づいて前記補正値を算出することが好ましい。
　また、本発明に係る舵角補正方法は、
　少なくとも前記測定画像上の前記操舵輪を楕円検出により抽出するステップを含み、
　前記一致度を算出するステップでは、検出する楕円のパラメータを用いて前記一致度を算出することが好ましい。
　また、本発明に係る舵角補正方法は、
　前記一致度を算出するステップでは、楕円の短辺および傾きの少なくとも一方を示すパラメータに対して、他のパラメータよりも大きな重付けを施して前記一致度を算出することが好ましい。
　また、本発明に係る舵角補正方法は、
　前記一致度を算出するステップでは、前記測定画像および前記基準画像に基づく画像マッチングによる相関度を前記一致度として算出することが好ましい。
　また、本発明に係る舵角補正方法は、
　左右の操舵輪を同時にそれぞれ撮像した一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得するステップと、
　前記一組の画像上の前記左右の操舵輪の対称度を算出するステップと、
　前記対称度に基づいて前記ステアリング舵角を補正する補正値を算出するステップとを含む
　ことを特徴とする。
　また、本発明に係る舵角補正方法は、
　異なるステアリング舵角において前記一組の画像を取得するステップを含み、
　前記補正値を算出するステップでは、ステアリング舵角に対する前記対称度の分布に基づいて前記補正値を算出する
　ことが好ましい。
　また、本発明に係る舵角補正方法は、
　前記一組の画像上の前記左右の操舵輪を楕円検出により抽出するステップを含み、
　前記対称度を算出するステップでは、検出する楕円のパラメータを用いて前記対称度を算出する
　ことが好ましい。
　また、本発明に係る舵角補正方法は、
　前記対称度を算出するステップでは、楕円の短辺および傾きの少なくとも一方を示すパラメータに対して、他のパラメータよりも大きな重付けを施して前記対称度を算出する
　ことが好ましい。
　また、本発明に係る舵角補正方法は、
　前記対称度を算出するステップでは、前記一組の画像に基づく画像マッチングによる相関度を用いて前記対称度を算出する
　ことが好ましい。
　また、本発明に係る舵角補正装置は、
　操舵輪を撮像した測定画像と撮像時における移動体のステアリング舵角とを対応付けて取得する取得部と、
　前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度に基づいて前記舵角を補正する補正値を算出する演算部とを備えることを特徴とする。
　また、本発明に係る撮像装置は、
　操舵輪を撮像した測定画像と撮像時における移動体のステアリング舵角とを対応付けて取得する取得部と、前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度に基づいて前記舵角を補正する補正値を算出する演算部とを備える舵角補正装置と、
　前記測定画像を生成する第１の撮像部と、
　前記移動体の周辺画像を生成する第２の撮像部と、
　前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部とを備えることを特徴とする。
また、本発明に係る舵角補正システムは、
　操舵輪を撮像した測定画像を生成する第１の撮像部と、
　前記測定画像と撮像時における移動体のステアリング舵角とを対応付けて取得する取得部と、
　前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度に基づいて前記舵角を補正する補正値を算出する演算部と、
　前記移動体の周辺画像を生成する第２の撮像部と、
　前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部と、
　前記指標を重畳した周辺画像を表示する表示部とを備えることを特徴とする。
　また、本発明に係る舵角補正装置は、
　左右の操舵輪を同時にそれぞれ撮像した一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得する取得部と、
　前記一組の画像上の前記左右の操舵輪の対称度に基づいて前記舵角を補正する補正値を算出する演算部とを備える
　ことを特徴とする。
　また、本発明に係る撮像装置は、
　左右の操舵輪を同時にそれぞれ撮像した一組の画像および前記一組の画像の撮像時における移動体のステアリング舵角を対応付けて取得する取得部と、前記一組の画像上の前記左右の操舵輪の対称度に基づいて前記舵角を補正する補正値を算出する演算部とを備える舵角補正装置と、
　前記一組の画像を生成する第１の撮像部と、
　前記移動体の周辺画像を生成する第２の撮像部と、
　前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部とを備える
　ことを特徴とする。
　また、本発明に係る舵角補正システムは、
　左右の操舵輪を同時にそれぞれ撮像した一組の画像を生成する第１の撮像部と、
　前記一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得する取得部と、
　前記一組の画像上の前記左右の操舵輪の対称度に基づいて前記舵角を補正する補正値を算出する演算部と、
　前記移動体の周辺画像を生成する第２の撮像部と、
　前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部と、
　前記指標を重畳した周辺画像を表示する表示部とを備える
　ことを特徴とする。
　本発明に係る舵角補正方法、舵角補正装置、撮像装置、および舵角補正システムによれば、操作の煩雑さを低減して舵角を補正可能となる。
本発明の第１の実施形態に係る舵角補正システムの構成要素の配置を示す概略図である。 本発明の第１の実施形態に係る舵角補正システムの概略構成を示す機能ブロック図である。 図１のサイドカメラの撮像画像の例を示す図である。 図３のサイドカメラの撮像画像に対し楕円検出を施した例を示す図である。 本発明の第１の実施形態に係る一致度の確率分布又は第３の実施形態に係る対称度の確率分布を示す図である。 図１の表示部に表示される画像の例を示す図である。 本発明の第１の実施形態に係る舵角補正システムの動作を説明するフローチャートである。 本発明の第２の実施形態に係る一致度の確率分布又は第４の実施形態に係る対称度の確率分布を示す図である。 本発明の第１及び第２の実施形態の変形例による舵角補正システムの動作を説明するフローチャートである。 本発明の第３の実施形態に係る舵角補正システムの構成要素の配置を示す概略図である。 本発明の第３の実施形態に係る舵角補正システムの概略構成を示す機能ブロック図である。 図１０の右サイドカメラの撮像画像の例を示す図である。 図１０の左サイドカメラの撮像画像の例を示す図である。 図１２のサイドカメラの撮像画像に対し楕円検出を施した例を示す図である。 本発明の第３の実施形態に係る舵角補正システムの動作を説明するフローチャートである。 本発明の第３及び第４の実施形態の変形例による舵角補正システムの動作を説明するフローチャートである。
　以下、本発明の実施形態について、図面を参照して説明する。
（第１の実施形態）
　はじめに、本発明の第１の実施形態に係る舵角補正システムについて説明する。図１は、第１の実施形態に係る舵角補正システムＡの構成要素の移動体１０における配置を示す概略図である。移動体１０は、例えば車両である。
　図１に示すように、舵角補正システムＡは、サイドカメラ１１およびリアカメラ１２を含む撮像装置と、表示部１３と、を備える。サイドカメラ１１は、移動体１０の左右両側にそれぞれ対称に配置される。以下においては、特に言及しない限り移動体１０の右側に備えられるサイドカメラ１１について説明する。サイドカメラ１１は、例えばドアミラー１５に、移動体１０の操舵輪１４を含む移動体１０の周辺を撮像可能となるように配置される。また、リアカメラ１２は、移動体１０の後方周辺を撮像可能となるように配置される。表示部１３は、運転席から視認可能な位置に配置され、サイドカメラ１１およびリアカメラ１２が出力する画像を表示する。
　次に、サイドカメラ１１の構成について説明する。図２に示すように、サイドカメラ１１は、光学系１６と、サイドカメラ撮像部（第１の撮像部）１７と、舵角判断部１８と、サイドカメラ制御部１９と、舵角補正装置２０と、を備える。
　光学系１６は、複数のレンズを有する。光学系１６は、被写体像を結像させる。
　サイドカメラ撮像部１７は、例えばＣＭＯＳ撮像素子であって、光学系によって結像する被写体像を撮像した画像を、測定画像として生成する。前述のように、サイドカメラ１１は、操舵輪１４を含む移動体１０の周辺を撮像可能となるように配置される。測定画像は、多様な操舵輪舵角θRである操舵輪１４の画像を含み得る。ここで、操舵輪舵角θRとは、操舵輪１４の操舵可能範囲における舵角中立点を０°とする操舵輪１４の切れ角である。本実施形態では、ステアリングの右方向回転により操舵輪舵角θRが増加する。
　ここで、測定画像について説明する。測定画像上の操舵輪１４は、操舵輪舵角θRによって形状が異なる。図３は、異なる操舵輪舵角θRにおける測定画像の例を示し、図３ＡはθR＝０°、図３ＢはθR＝１０°、図３ＣはθR＝２０°、図３ＤはθR＝３０°、図３ＥはθR＝－３０°である。測定画像上の操舵輪１４の側面は、操舵輪１４の舵角中立点（θR＝０°）において楕円形状である（図３Ａ参照）。操舵輪舵角θRが増加すると、操舵輪１４の側面の一部が移動体１０の影に隠れ、楕円の一部が欠けた形状となる（図３Ｂ－３Ｄ参照）。一方、操舵輪舵角θRが減少すると、ある舵角以下で操舵輪１４の側面は画像上に写らなくなる（図３Ｅ参照）。
　舵角判断部１８は（図２参照）、例えばＣＡＮ等の車載ネットワーク１００を介して、測定画像の撮像時に舵角センサが検出するステアリング舵角θmを取得する。ステアリング舵角θmは、ステアリングの操舵可能範囲における舵角中立点を０°とするステアリングの切れ角である。本実施形態では、ステアリングの右方向回転により舵角センサが検出するステアリング舵角θmが増加する。一般に、舵角センサが検出するステアリング舵角θmおよび操舵輪舵角θRは、一対一の対応関係を有する。
　サイドカメラ制御部１９は、サイドカメラ１１の各部位の動作を制御する。例えば、サイドカメラ制御部１９は、サイドカメラ撮像部１７に周期的に測定画像を生成させる。また、サイドカメラ制御部１９は、車載ネットワーク１００を介して情報の送受信を行う。
　舵角補正装置２０は、舵角センサが検出するステアリング舵角θmをステアリングの実際の舵角θtと一致させるように補正するための補正値を算出する。補正値の算出の詳細については後述する。舵角補正装置２０は、取得部２１と、補正装置記憶部２２と、抽出部２３と、演算部２４と、を備える。
　取得部２１は、サイドカメラ撮像部１７および舵角判断部１８から、測定画像および測定画像撮像時に舵角センサが検出したステアリング舵角θmを対応付けて取得する。
　補正装置記憶部２２は、ステアリングの実際の舵角θtが基準舵角θ0である状態における操舵輪１４をサイドカメラ撮像部１７により撮像した画像（以下、基準画像という）を予め記憶する。以下において、基準舵角θ0は０°として説明するが、任意の舵角であってもよい。また、補正装置記憶部２２は、演算部２４が算出する測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を、測定画像撮像時に舵角センサが検出したステアリング舵角θmと対応付けて蓄積する。また、補正装置記憶部２２は、演算部２４が算出する補正値θaを記憶する。一致度および補正値θaの詳細については後述する。
　抽出部２３は、測定画像上の操舵輪１４および基準画像上の操舵輪１４をそれぞれ抽出する。例えば、抽出部２３は、エッジ検出および楕円検出（近似）により画像上の操舵輪１４を抽出する。エッジ検出には、例えばｃａｎｎｙフィルタを用いて、画像上のエッジ部分を検出する。楕円検出には、例えばＨｏｕｇｈ変換を用いて、操舵輪１４を近似した楕円形状およびその楕円パラメータを算出する。楕円パラメータは、楕円の中心座標（ｘ，ｙ）、長辺の長さａ、短辺の長さｂ、および画像上の水平軸と楕円の長軸とがなす傾きφである。好適には、抽出部２３は、操舵輪１４が含まれ得る画像上の所定領域において、画像上の操舵輪１４を抽出する。操舵輪１４が含まれ得る画像上の所定領域は、例えばサイドカメラ１１の取付け角度のばらつきを考慮して予め決定してもよく、抽出部２３が任意の方法により自動的に決定してもよい。
　ここで、楕円検出により検出される楕円について説明する。図４は、異なる操舵輪舵角θRにおける測定画像について検出する楕円（図４太線）の例を示し、図４ＡはθR＝０°、図４ＢはθR＝１０°、図４ＣはθR＝２０°、図４ＤはθR＝３０°である。また、図４は、操舵輪１４のホイール部分について楕円検出を施す例を示すが、例えば操舵輪１４のタイヤ部分について楕円検出を施してもよい。θRが１０°以上の例では、操舵輪１４のホイール部分は楕円の一部が欠けた形状であったが（図３Ｂ－３Ｄ参照）、楕円検出により操舵輪１４のホイール部分に適合する楕円が検出される（図４Ｂ－４Ｄ参照）。検出される楕円は、撮像時の操舵輪舵角θRによって形状が異なる。詳細には、検出される楕円は、操舵輪舵角θRが増加すると、画像上の水平軸と楕円の長軸とがなす傾きφが減少し、短辺の長さｂが増加する。一方、操舵輪舵角θRが増加しても、他の楕円パラメータ、すなわち中心座標（ｘ，ｙ）および長辺の長さａの変化が比較的小さい（図４参照）。
　演算部２４（図２参照）は、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を算出する。一致度は、両画像上の操舵輪１４の形状の一致性の度合いを示す指標である。本実施形態において、演算部２４は、抽出部２３により操舵輪１４を抽出した測定画像および基準画像を用いて画像マッチングを行ない、画像マッチングの相関度を一致度として算出する。また、演算部２４は、算出した一致度（相関度）と、一致度の算出に用いた測定画像の撮像時に舵角センサが検出したステアリング舵角θmとを対応づけたデータを、補正装置記憶部２２に記憶させる。
　また、演算部２４は、補正装置記憶部２２に記憶させた複数のデータに基づいて、舵角センサが検出したステアリング舵角θmに対する一致度（相関度）の確率分布を算出する（図５参照）。確率分布には、任意の確率分布モデルを用いることができる。また、演算部２４は、算出した確率分布のピーク位置におけるステアリング舵角θpを算出する。好適には、演算部２４は、確率分布を算出するのに十分なデータが蓄積されたときに、ステアリング舵角θpを算出する。例えば、演算部２４は、蓄積したデータの数が所定の閾値ｔｈ1以上であって、且つ、算出した確率分布の分散σ2が所定の閾値ｔｈ2未満であるときに、ステアリング舵角θpを算出するようにしてもよい。
　ここで、演算部２４が算出する確率分布のピーク位置におけるステアリング舵角θpは、ステアリングの実際の舵角θtが基準舵角θ0（＝０°）であるときに舵角センサが検出するステアリング舵角θmの推定値である。舵角センサが検出するステアリング舵角θmとステアリングの実際の舵角θtとの間にずれ（以下、検出ずれという）が存在する場合には、ステアリングの実際の舵角θtが０°であるときに舵角センサが検出するステアリング舵角θmは、舵角センサの検出ずれに等しい。演算部２４は、以下の式により、舵角センサの検出ずれΔθを算出する。
　　Δθ＝θp－θ0　　　　　　　　　　　　　　　　　　　　　（１）
　演算部２４は、算出した検出ずれΔθの絶対値が所定の閾値ｔｈ3以上であるとき、すなわち、舵角センサが検出するステアリング舵角θmとステアリングの実際の舵角θtとのずれが大きいとき、検出ずれΔθを補正値θaとして補正装置記憶部２２に記憶する。あるいは、演算部２４は、補正装置記憶部２２が既に補正値θaを記憶している場合には、検出ずれΔθから補正値θaを減算した値の絶対値が所定の閾値ｔｈ3以上であるとき、検出ずれΔθを新たな補正値θaとして更新し、補正装置記憶部２２に記憶する。そして、演算部２４は、車載ネットワーク１００を介して他の構成要素に補正値θaを送信する。
　次に、リアカメラ１２の構成について説明する。図２に示すように、リアカメラ１２は、光学系２５と、リアカメラ撮像部（第２の撮像部）２６と、リアカメラ記憶部２７と、画像重畳部２８と、リアカメラ制御部２９と、を備える。
　光学系２５は、サイドカメラ１１の光学系１６と同様に、複数のレンズを有し、被写体像を結像させる。
　リアカメラ撮像部２６は、サイドカメラ撮像部１７と同様に、光学系２５によって結像する周辺画像を撮像（生成）する。
　リアカメラ記憶部２７は、サイドカメラ１１から車載ネットワーク１００を介して取得する補正値θaを記憶する。
　画像重畳部２８は、車載ネットワーク１００を介して、舵角センサが検出するステアリング舵角θmを取得する。また、画像重畳部２８は、補正値θaを用いて舵角センサが検出するステアリング舵角θmを補正した値、すなわちステアリング舵角θmから補正値θaを減算した値を用いて、リアカメラ撮像部２６が撮像した周辺画像上の所定位置に運転支援のための指標を重畳する。
　運転支援のための指標３０とは、例えば図６に示すように、車幅延長線３１および距離目安線３２である。車幅延長線３１は、後進時の移動体１０の両端の通過する軌跡であり、ステアリングの舵角に応じて形状および表示位置が異なる。距離目安線３２は、現在の移動体１０から所定の距離、例えば１ｍおよび３ｍの距離を示す。運転者は、指標３０によって移動体１０の後進時の予測進行方向を認識可能となる。
　リアカメラ制御部２９（図２参照）は、リアカメラ１２の各部位の動作を制御する。また、リアカメラ制御部２９は、車載ネットワーク１００を介して情報の送受信を行う。
　次に、第１の実施形態に係る舵角補正システムＡが実行する補正値算出処理について、図７のフローチャートを用いて説明する。本処理は、例えば、移動体１０が走行を開始したときに実行される。
　はじめに、サイドカメラ撮像部１７は、操舵輪１４を含む移動体１０の周辺画像（測定画像）を撮像する（ステップＳ１００）。
　舵角判断部１８は、車載ネットワーク１００を介して、ステップＳ１００の測定画像の撮像と同時に舵角センサが検出したステアリング舵角θmを取得する（ステップＳ１０１）。
　次に、取得部２１は、ステップＳ１００の測定画像およびステップＳ１０１のステアリング舵角θmを対応付けて取得する（ステップＳ１０２）。
　次に、抽出部２３は、ステップＳ１０２の測定画像、および補正装置記憶部２２が予め記憶している基準画像に対してエッジ検出を施す（ステップＳ１０３）。また、抽出部２３は、測定画像上に操舵輪１４の側面が含まれないとき、移動体１０の左右反対側のサイドカメラ１１が撮像した測定画像を用いる。
　続いて、抽出部２３は、ステップＳ１０３においてエッジ検出を施した測定画像および基準画像に対して楕円検出を行う（ステップＳ１０４）。
　次に、演算部２４は、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を算出する（ステップＳ１０５）。例えば、演算部２４は、画像マッチングの相関度を一致度として算出する。
　続いて、演算部２４は、ステップＳ１０５で算出した一致度と、測定画像撮像時に舵角センサが検出したステアリング舵角θmとを対応づけたデータを、補正装置記憶部２２に記憶させる（ステップＳ１０６）。
　続いて、演算部２４は、ステップＳ１０６で補正装置記憶部２２に記憶させたデータに基づいて、舵角センサが検出するステアリング舵角θmに対する一致度（相関度）の確率分布を算出する（ステップＳ１０７）。
　続いて、演算部２４は、確率分布を算出するのに十分なデータが蓄積されたか否かを判定する（ステップＳ１０８）。例えば、演算部２４は、補正装置記憶部２２に記憶させたデータの数が所定の閾値ｔｈ1以上であって、且つ、算出した確率分布の分散σ2が所定の閾値ｔｈ2未満であるときに、十分なデータが蓄積されたと判定する。十分なデータが蓄積されたとき（ステップＳ１０８－Ｙｅｓ）、ステップＳ１０９に進む。一方、十分なデータが蓄積されていないとき（ステップＳ１０８－Ｎｏ）、ステップＳ１００に戻って処理を反復し、データを蓄積する。
　ステップＳ１０８において、十分なデータが蓄積されたとき（ステップＳ１０８－Ｙｅｓ）、演算部２４は、ステップＳ１０７で算出した確率分布のピーク位置におけるステアリング舵角θpを算出する（ステップＳ１０９）。
　続いて、演算部２４は、ステップＳ１０９において算出した確率分布のピーク位置におけるステアリング舵角θpから基準舵角θ0を減算して算出する検出ずれΔθの絶対値が、所定の閾値ｔｈ3以上であるか否かを判定する（ステップＳ１１０）。検出ずれΔθの絶対値が閾値ｔｈ3以上であるとき（ステップＳ１１０－Ｙｅｓ）、ステップＳ１１１に進む。一方、検出ずれΔθの絶対値が閾値ｔｈ3未満であるとき（ステップＳ１１０－Ｎｏ）、処理を終了する。
　ステップＳ１１０において、検出ずれΔθの絶対値が閾値ｔｈ3以上であるとき（ステップＳ１１０－Ｙｅｓ）、演算部２４は、検出ずれΔθを補正値θaとして補正装置記憶部２２に記憶する（ステップＳ１１１）。
　このように、第１の実施形態の舵角補正システムによれば、測定画像および基準画像の一致度に基づいて、補正値θaを算出する。このため、例えば移動体１０の走行中に舵角センサが検出するステアリング舵角θmの補正を自動的に行うことができ、操作者による操作の煩雑さを低減できる。
　また、第１の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θmに対する一致度の確率分布に基づいて補正値θaを算出するため、ステアリングの実際の舵角θtが基準舵角θ0（＝０°）であるときに舵角センサが検出するステアリング舵角θmを精度良く推定でき、補正値θaの算出精度を向上できる。また、舵角センサが検出するステアリング舵角θmの測定誤差の影響を低減し、補正値θaの算出精度を向上できる。
　また、第１の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θmに対する一致度の確率分布を算出するのに十分なデータが蓄積されているとき、確率分布のピーク位置におけるステアリング舵角θpを算出し、θpを用いて補正値θaを算出する。このため、例えばデータ数が少ない場合や分散が大きい場合等、ピークを正しく検出できていない場合に補正値θaの算出・更新を抑制し、補正値θaの安定性を向上できる。
　また、第１の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θmとステアリングの実際の舵角θtとの間のずれΔθの絶対値が閾値ｔｈ3以上であるときに、Δθを補正値θaとして記憶する。このため、舵角センサが検出するステアリング舵角θmの測定誤差等の影響で生じる微小なずれによる補正値θaの算出・更新を抑制し、補正値θaの算出精度を向上できる。
　また、第１の実施形態の舵角補正システムによれば、測定画像および基準画像に対してエッジ検出を施すため、移動体１０の走行中において、例えば天気や外の明るさ等の環境の変化による測定画像への影響を低減し、画像マッチングによる相関度の算出精度を向上できる。
（第２の実施形態）
　次に、本発明の第２の実施形態について説明する。第２の実施形態に係る舵角補正システムＡの構成は第１の実施形態と同様であるが、舵角補正装置２０が行う処理が異なる。
　第２の実施形態に係る舵角補正装置２０は、第１の実施形態と同様に、取得部２１と、補正装置記憶部２２と、抽出部２３と、演算部２４と、を備える。取得部２１、補正装置記憶部２２、および抽出部２３については、第１の実施形態と同様であるため、説明は省略する。
　演算部２４は、第１の実施形態と同様に、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を算出する。ここで、第２の実施形態に係る演算部２４は、抽出部２３が楕円検出により算出した楕円パラメータを用いて、一致度を算出する。詳細には、演算部２４は、測定画像から検出した操舵輪１４の楕円パラメータにより定まる５次元パラメータ空間上の点ｔを算出する。同様に、演算部２４は、基準画像から検出した操舵輪１４の楕円パラメータにより定まる５次元パラメータ空間上の点ａを算出する。パラメータ空間上の２点間の距離ｄは、ｄ＝|ｔ－ａ|により算出される。ここで、測定画像から検出した楕円形状と基準画像から検出した楕円形状との相関が高いとき、各楕円パラメータは互いに近い値をとるため、距離ｄは小さな値となる。一方、２つの楕円形状の相関が小さいとき、各楕円パラメータは互いに異なる値をとるため、距離ｄは大きな値となる。したがって、演算部２４は、楕円パラメータを用いて算出するパラメータ空間上の距離ｄを一致度として算出する。このとき、一般に、距離ｄの値が小さいほど一致性が高くなる。
　好適には、演算部２４は、複数の楕円パラメータに対して重付けを行った値を用いて一致度を算出する。前述のように、検出される楕円は、操舵輪舵角θRによって異なる形状となる（図４参照）。ここで、操舵輪舵角θRの変化に対し、楕円の傾きφおよび短辺の長さｂの変化量が大きく、他の楕円パラメータ、すなわち中心座標と長辺の長さは変化量が小さい。すなわち、楕円の傾きφおよび短辺の長さｂは、操舵輪舵角θRの変化に対し感度が高い。例えば、楕円パラメータのうち傾きφおよび短辺の長さｂの少なくとも一方に、他のパラメータ、すなわち座標（ｘ，ｙ）および長辺の長さａより大きな重付けを行ってパラメータ空間上の点ｔおよび点ａを決定し、２点間の距離ｄを一致度として算出する。
　また、演算部２４は、第１の実施形態と同様に、一致度（距離ｄ）の確率分布を算出し、算出した確率分布のピーク位置におけるステアリング舵角θpに基づいて補正値θaを算出する。本実施形態において、楕円パラメータを用いて算出するパラメータ空間上の距離ｄを一致度として用いるため、確率分布のピークは下向きにあらわれる（図８参照）。
　このように、第２の実施形態の舵角補正システムによれば、測定画像および基準画像から検出した楕円のパラメータに基づいて算出するパラメータ空間上の距離ｄを、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度として算出する。このため、画像マッチングにより一致度を算出する第１の実施形態と比較して処理負担を低減できる。また、複数の楕円パラメータのうち、操舵輪舵角θRの変化に対し感度が高い楕円パラメータに大きな重付けをして一致度を算出することにより、一致度の算出精度を向上し、補正値θaの算出精度を向上できる。
（第１及び第２の実施形態の変形例）
　次に、本発明の第１及び第２の実施形態の変形例に係る舵角補正システムについて説明する。本変形例に係る舵角補正システムＡの構成は第１の実施形態と同様であるが、一致度の確率分布を算出せず、測定画像と基準画像が一致するときに補正値θaを算出する点が異なる。
　本変形例に係る舵角補正装置２０は、第１の実施形態と同様に、取得部２１と、補正装置記憶部２２と、抽出部２３と、演算部２４と、を備える。取得部２１および抽出部２３については、第１の実施形態と同様であるため、説明は省略する。
　補正装置記憶部２２は、基準画像を予め記憶する。また、補正装置記憶部２２は、演算部２４が算出する補正値θaを記憶する。
　演算部２４は、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を算出する。本変形例において、画像マッチングによる相関度又は楕円パラメータ空間上の２点間距離ｄの何れを一致度として採用してもよい。以下においては、測定画像および基準画像を用いた画像マッチングによる相関度を算出する例について説明する。
　演算部２４は、算出した一致度（相関度）に基づいて、測定画像上の操舵輪１４および基準画像上の操舵輪１４の形状が一致しているか否かを判定する。形状が一致しているか否かの判定は、例えば、一致度である相関度が所定の閾値ｔｈ4以上であるとき、形状が一致していると判定する。演算部２４は、操舵輪１４の形状が一致すると判定するとき、以下の式により、舵角センサが検出するステアリング舵角θmとステアリングの実際の舵角θtとの間のずれ（検出ずれ）Δθを算出する。
　　Δθ＝θm－θ0　　　　　　　　　　　　　　　　　　　　　（２）
　ここで、θmは一致度の算出に用いた測定画像撮像時に舵角センサが検出したステアリング舵角、θ0は基準舵角である。また、演算部２４は、第１の実施形態と同様に、算出した検出ずれΔθの絶対値が所定の閾値ｔｈ3以上であるとき、検出ずれΔθを補正値θaとして補正装置記憶部２２に記憶する。
　次に、本変形例に係る舵角補正システムＡが実行する補正値算出処理について、図９のフローチャートを用いて説明する。
　はじめに、サイドカメラ撮像部１７は、操舵輪１４を含む移動体１０の周辺画像（測定画像）を撮像する（ステップＳ２００）。
　舵角判断部１８は、車載ネットワーク１００を介して、ステップＳ２００の測定画像の撮像と同時に舵角センサが検出したステアリング舵角θmを取得する（ステップＳ２０１）。
　次に、取得部２１は、ステップＳ２００の測定画像およびステップＳ２０１のステアリング舵角θmを対応付けて取得する（ステップＳ２０２）。
　次に、抽出部２３は、ステップＳ２０２の測定画像、および補正装置記憶部２２が予め記憶している基準画像に対してエッジ検出を施す（ステップＳ２０３）。また、抽出部２３は、測定画像上に操舵輪１４の側面が含まれないとき、移動体１０の左右反対側のサイドカメラ１１が撮像した測定画像を用いる。
　続いて、抽出部２３は、ステップＳ２０３においてエッジ検出を施した測定画像および基準画像に対して楕円検出を施す（ステップＳ２０４）。
　次に、演算部２４は、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を算出する（ステップＳ２０５）。例えば、演算部２４は、画像マッチングの相関度を一致度として算出する。
　続いて、演算部２４は、測定画像上の操舵輪１４および基準画像上の操舵輪１４の形状が一致しているか否かを判定する（ステップＳ２０６）。例えば、演算部２４は、一致度である相関度が所定の閾値ｔｈ4以上であるとき、形状が一致していると判定する。形状が一致していると判定するとき（ステップＳ２０６－Ｙｅｓ）、ステップＳ２０７に進む。一方、形状が一致していないと判定するとき（ステップＳ２０６－Ｎｏ）、ステップＳ２００に戻る。
　ステップＳ２０６において、形状が一致していると判定するとき（ステップＳ２０６－Ｙｅｓ）、演算部２４は、ステップＳ２０２のステアリング舵角θmから基準舵角θ0を減算して算出する検出ずれΔθの絶対値が、所定の閾値ｔｈ3以上であるか否かを判定する（ステップＳ２０７）。検出ずれΔθの絶対値が閾値ｔｈ3以上であるとき（ステップＳ２０７－Ｙｅｓ）、ステップＳ２０８に進む。一方、検出ずれΔθの絶対値が閾値ｔｈ3未満であるとき（ステップＳ２０７－Ｎｏ）、処理を終了する。
　ステップＳ２０７において、検出ずれΔθの絶対値が閾値ｔｈ3以上であるとき（ステップＳ２０７－Ｙｅｓ）、演算部２４は、検出ずれΔθを補正値θaとして補正装置記憶部２２に記憶する（ステップＳ２０８）。
　このように、本変形例の舵角補正システムによれば、測定画像と舵角センサが検出するステアリング舵角θmとを対応付けて取得するたび、算出する一致度に基づいて両画像上の操舵輪１４の形状が一致しているか否かを判定する。そして、形状が一致していると判定するとき、補正値θaを算出する。このため、第１の実施形態と異なり、舵角センサが検出するステアリング舵角θmと一致度とを対応付けたデータを補正装置記憶部２２に蓄積する必要がなく、記憶するデータ容量を低減できる。
　本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
　例えば、舵角補正システムにおける各構成要素は、分割および再配置が可能である。例えば、舵角補正システムは、運転者を支援するナビゲーション装置を更に備え、ナビゲーション装置が舵角補正装置２０の演算部２４や、リアカメラ１２の画像重畳部２８を備える構成であってもよい。
　また、抽出部２３が検出した楕円が正しく操舵輪１４を抽出しているか否かを判別する構成を備えてもよい。例えば、測定画像上の楕円内において、エッジ検出を施す前の測定画像の色情報を用いて操舵輪１４を抽出しているか否か判断することが考えられる。このようにして、測定画像上の操舵輪１４の抽出精度を向上して一致度の算出精度を向上することにより、補正値θaの算出精度を向上できる。
　また、上述の実施形態において、補正装置記憶部２２は基準画像を予め記憶するが、基準画像に対してエッジ検出および楕円検出を施した基準画像を予め記憶するようにしてもよい。この場合、抽出部２３は、基準画像に対してエッジ検出および楕円検出を施す必要がなく、処理負担を軽減できる。
　また、上述の実施形態において、舵角補正装置２０は、算出した補正値θaを補正装置記憶部２２に記憶させるが、ステアリング舵角センサに補正値θaを送信し、ステアリング舵角センサの出力値を補正するようにしてもよい。この場合、画像重畳部２８は、車載ネットワーク１００を介して取得するステアリング舵角を補正する必要がないため、処理負担を軽減できる。
　また、上述の実施形態において、画像重畳部２８はリアカメラ１２の撮像画像に指標３０を重畳するが、例えば、移動体１０の前方の周辺画像を撮像するフロントカメラの撮像画像に重畳するようにしてもよい。
　また、上述の実施形態において、画像マッチングによる相関度又は楕円パラメータに基づくパラメータ空間上の２点間距離を一致度として用いたが、測定画像上の操舵輪１４と基準画像上の操舵輪１４との形状の一致性の度合いを示す指標であれば任意の指標を採用可能である。
　また、第１の実施形態において、サイドカメラ制御部１９は、サイドカメラ撮像部１７に周期的に測定画像を生成させるようにしたが、周期的な撮像に加え又は替えて、所定の条件で測定画像を生成してもよい。例えば、舵角センサが検出するステアリング舵角θmが所定の舵角となったときに測定画像を生成することが考えられる。このようにして、一致度の確率分布を算出するのに広域な舵角におけるデータを用いることができ、一致度の確率分布の算出精度を向上することにより、補正値θaの算出精度を向上できる。
　また、第２の実施形態において、補正装置記憶部２２は、基準画像から検出した楕円のパラメータを予め記憶してもよい。この場合、補正装置記憶部２２は、基準画像を記憶する必要がなく、記憶するデータ容量を低減できる。
（第３の実施形態）
　次に、本発明の第３の実施形態に係る舵角補正システムについて説明する。図１０は、第３の実施形態に係る舵角補正システムＢの構成要素の移動体１０における配置を示す概略図である。移動体１０は、例えば車両である。
　舵角補正システムＢの２つのサイドカメラ１１１は、例えば、操舵輪１１５の側面中心から、鉛直上向きに対して、移動体１０の側方からみて移動体１０の後方に向かって４５°（図１０Ｂ参照）、後方からみて移動体１０の左右外側に向かって１５°となる位置に、移動体１０の左右対称に配置される（図１０Ｃ参照）。また、２つのサイドカメラ１１１は、例えば左右のサイドミラー１１６にそれぞれ配置される。左右のサイドカメラ１１１は、移動体１０の左右の操舵輪１１５の一方を含む移動体１０の周辺領域をそれぞれ撮像可能である。舵角補正システムＢのリアカメラ１１２は、移動体１０の後方周辺領域を撮像可能となるように配置される。舵角補正システムＢの舵角補正装置１１３は、移動体１０の任意の位置に配置される。舵角補正システムＢの表示部１１４は、運転席から視認可能な位置に配置され、サイドカメラ１１１およびリアカメラ１１２が出力する画像を表示する。
　次に、舵角補正システムＢの構成および機能を、図１１を用いて詳細に説明する。図１１に示すように、舵角補正システムＢは、サイドカメラ１１１、リアカメラ１１２、舵角補正装置１１３、および表示部１１４を備える。
　サイドカメラ１１１は、光学系１１７と、サイドカメラ撮像部（第１の撮像部）１１８と、舵角判断部１１９と、サイドカメラ制御部１２０と、を備える。
　光学系１１７は、複数のレンズを含んで構成され、被写体像を結像させる。
　サイドカメラ撮像部１１８は、例えばＣＭＯＳ撮像素子であって、光学系１１７によって結像する被写体像を撮像した画像を生成する。前述のように、左右のサイドカメラ１１１は、左右の操舵輪１１５の一方を含む移動体１０の周辺領域をそれぞれ撮像可能となるように配置され、生成される画像は、多様な操舵輪舵角θRである操舵輪１１５の画像を含み得る。ここで、操舵輪舵角θRとは、操舵輪１１５の操舵可能範囲における舵角中立点を０°とする操舵輪１１５の切れ角である。本実施形態では、ステアリングの右方向回転により操舵輪舵角θRが増加する。操舵輪舵角θＲは、舵角中立点からステアリングの右方向回転により正の値、舵角中立点からステアリングの左方向回転により負の値となる。
　ここで、サイドカメラ１１１が生成する画像について説明する。画像上の操舵輪１１５は、操舵輪舵角θRによって形状が異なる。図１２は、異なる操舵輪舵角θRにおいて右サイドカメラ１１１が生成する画像の例を示し、図１２ＡはθR＝０°、図１２ＢはθR＝１０°、図１２ＣはθR＝２０°、図１２ＤはθR＝３０°、図１２ＥはθR＝－３０°である。画像上の操舵輪１１５の側面は、操舵輪１１５の舵角中立点（θR＝０°）において楕円形状である（図１２Ａ参照）。操舵輪舵角θRが０°から増加すると、操舵輪１１５の側面の一部が移動体１０の影に隠れ、楕円の一部が欠けた形状となる（図１２Ｂ－１２Ｄ参照）。一方、操舵輪舵角θRが０°から減少すると、ある舵角以下で操舵輪１１５の側面は画像上に写らなくなる（図１２Ｅ参照）。
　左サイドカメラ１１１の生成する画像上の操舵輪１１５も同様に、操舵輪舵角θRによって形状が異なる。図１３は、異なる操舵輪舵角θRにおいて右サイドカメラ１１１が生成する画像の例を示し、図１３ＡはθR＝０°、図１３ＢはθR＝－３０°、図１３ＣはθR＝３０°である。操舵輪舵角θRが０°から減少すると、操舵輪１１５の側面の一部が移動体１０の影に隠れ、楕円の一部が欠けた形状となる（図１３Ｂ参照）。一方、操舵輪舵角θRが０°から増加すると、ある舵角以上で操舵輪１１５の側面は画像上に写らなくなる（図１３Ｃ参照）。操舵輪舵角θR＝０°であるとき、左右のサイドカメラ１１１がそれぞれ生成する画像上の操舵輪１１５は左右対称となる（図１２Ａ及び図１３Ａ参照）。
　舵角判断部１１９は（図１１参照）、例えばＣＡＮ等の車載ネットワーク１００を介して、サイドカメラ撮像部１１８による撮像時に舵角センサが検出するステアリング舵角θmを取得する。ステアリング舵角θmは、ステアリングの操舵可能範囲における舵角中立点を０°とするステアリングの切れ角である。本実施形態では、ステアリングの右方向回転により舵角センサが検出するステアリング舵角θmが増加する。一般に、舵角センサが検出するステアリング舵角θmおよび操舵輪舵角θRは、一対一の対応関係を有する。
　サイドカメラ制御部１２０は、サイドカメラ１１１の各部位の動作を制御する。例えば、サイドカメラ制御部１２０は、左右のサイドカメラ１１１の各サイドカメラ撮像部１１８に、周期的に、例えば３０ｆｐｓで、左右の操舵輪１１５を同時にそれぞれ撮像した一組の画像を生成させる。また、サイドカメラ制御部１２０は、車載ネットワーク１００を介して情報の送受信を行う。
　リアカメラ１１２は、光学系１２１と、リアカメラ撮像部（第２の撮像部）１２２と、リアカメラ記憶部１２３と、画像重畳部１２４と、リアカメラ制御部１２５と、を備える。
　光学系１２１は、サイドカメラ１１１の光学系１１７と同様に、複数のレンズを含んで構成され、被写体像を結像させる。
　リアカメラ撮像部１２２は、サイドカメラ撮像部１１８と同様に、光学系１２１によって結像する周辺画像を撮像（生成）する。
　リアカメラ記憶部１２３は、舵角補正装置１１３から取得する補正値θaを記憶する。補正値θaの詳細については後述する。
　画像重畳部１２４は、車載ネットワーク１００を介して、舵角センサが検出するステアリング舵角θmを取得する。また、画像重畳部１２４は、舵角センサが検出するステアリング舵角θmを用いて、リアカメラ撮像部１２２が撮像した周辺画像上の所定位置に運転支援のための指標を重畳する。好適には、画像重畳部１２４は、リアカメラ記憶部１２３が記憶する補正値θaにより補正した舵角センサが検出するステアリング舵角θmを用いて、運転支援のための指標を重畳する。
　運転支援のための指標３０とは、例えば図６に示すように、車幅延長線３１および距離目安線３２である。車幅延長線３１は、後進時の移動体１０の両端の通過する軌跡であり、ステアリングの舵角に応じて形状および表示位置が異なる。距離目安線３２は、現在の移動体１０から所定の距離、例えば１ｍおよび３ｍの距離を示す。運転者は、指標３０によって移動体１０の後進時の予測進行方向を認識可能となる。
　リアカメラ制御部１２５（図１１参照）は、リアカメラ１１２の各部位の動作を制御する。例えば、リアカメラ制御部１２５は、舵角補正装置１１３から補正値θaを受信してリアカメラ記憶部１２３に記憶させる。また、リアカメラ制御部１２５は、車載ネットワーク１００を介して情報の送受信を行う。
　舵角補正装置１１３は、舵角センサが検出するステアリング舵角θmをステアリングの実際の舵角θtと一致させるように補正するための補正値θaを算出する。補正値θaの算出の詳細については後述する。舵角補正装置１１３は、取得部１２６と、補正装置記憶部１２７と、抽出部１２８と、演算部１２９と、を備える。
　取得部１２６は、例えば車載ネットワーク１００を介して、左右のサイドカメラ１１１から、左右の操舵輪１１５を同時にそれぞれ撮像した一組の画像および画像撮像時に舵角センサが検出したステアリング舵角θmを対応付けて取得する。
　補正装置記憶部１２７は、演算部１２９が算出する一組の画像上の左右の操舵輪１１５の対称度を、画像撮像時に舵角センサが検出したステアリング舵角θmと対応付けて蓄積する。対称度の詳細については後述する。また、補正装置記憶部１２７は、演算部１２９が算出する補正値θaを記憶する。
　抽出部１２８は、取得部１２６が取得した一組の画像上の操舵輪１１５を抽出する。例えば、抽出部１２８は、エッジ検出および楕円検出（近似）により画像上の操舵輪１１５を抽出する。エッジ検出には、例えばｃａｎｎｙフィルタを用いて、画像上のエッジ部分を検出する。楕円検出には、例えばＨｏｕｇｈ変換を用いて、操舵輪１１５を近似した楕円形状およびその楕円パラメータを算出する。楕円パラメータは、楕円の中心座標（ｘ，ｙ）、長辺の長さａ、短辺の長さｂ、および画像上の水平軸と楕円の長軸とがなす傾きφである。
　好適には、抽出部１２８は、操舵輪１１５が含まれ得る画像上の所定領域において、画像上の操舵輪１１５を抽出する。操舵輪１１５が含まれ得る画像上の所定領域は、例えばサイドカメラ１１１の取付け角度のばらつきを考慮して予め決定してもよく、抽出部１２８が任意の方法により自動的に決定してもよい。
　ここで、楕円検出により検出される楕円について説明する。図１４は、異なる操舵輪舵角θRにおいて右サイドカメラ１１１が生成する画像について検出する楕円（図１４太線）の例を示し、図１４ＡはθR＝０°、図１４ＢはθR＝１０°、図１４ＣはθR＝２０°、図１４ＤはθR＝３０°である。また、図１４は、操舵輪１１５のホイール部分について楕円検出を施す例を示すが、例えば操舵輪１１５のタイヤ部分について楕円検出を施してもよい。θRが１０°以上の例では、操舵輪１１５のホイール部分は楕円の一部が欠けた形状であったが（図１２Ｂ－１２Ｄ参照）、楕円検出により操舵輪１１５のホイール部分に適合する楕円が検出される（図１４Ｂ－１４Ｄ参照）。
　検出される楕円は、撮像時の操舵輪舵角θRによって形状が異なる。詳細には、検出される楕円は、操舵輪舵角θRが０°から増加すると、画像上の水平軸と楕円の長軸とがなす傾きφが減少し、短辺の長さｂが増加する。一方、操舵輪舵角θRが増加しても、他の楕円パラメータ、すなわち中心座標（ｘ，ｙ）および長辺の長さａの変化が比較的小さい（図１４参照）。また、異なる操舵輪舵角θRにおいて左サイドカメラ１１１が生成する画像について検出する楕円も同様に、操舵輪舵角θRが０°から減少すると、画像上の水平軸と楕円の長軸とがなす傾きφが減少し、短辺の長さｂが増加する。
　演算部１２９（図１１参照）は、一組の画像上の左右の操舵輪１１５の対称度を算出する。対称度は、一組の画像上の左右の操舵輪１１５の形状の左右対称性の度合いを示す指標である。例えば、本実施形態において、対称度は、画像マッチングの相関度である。演算部１２９は、抽出部１２８が検出した一組の楕円画像のうち一方を左右反転させて画像マッチングを行い、画像マッチングの相関度を対称度として算出する。また、演算部１２９は、算出した対称度（相関度）と、対称度の算出に用いた一組の画像の撮像時に舵角センサが検出したステアリング舵角θmとを対応づけたデータを、補正装置記憶部１２７に記憶させる。
　また、演算部１２９は、補正装置記憶部１２７に記憶させた複数のデータに基づいて、舵角センサが検出したステアリング舵角θmに対する対称度（相関度）の確率分布を算出する（図５参照）。確率分布には、任意の確率分布モデルを用いることができる。また、演算部１２９は、算出した確率分布のピーク位置におけるステアリング舵角θpを算出する。好適には、演算部１２９は、確率分布を算出するのに十分なデータが蓄積されたときに、確率分布のピーク位置におけるステアリング舵角θpを算出する。例えば、演算部１２９は、蓄積したデータの数が所定の閾値ｔｈ1以上であって、且つ、算出した確率分布の分散σ2が所定の閾値ｔｈ2未満であるときに、確率分布のピーク位置におけるステアリング舵角θpを算出するように構成してもよい。
　ここで、演算部１２９が算出する確率分布のピーク位置におけるステアリング舵角θpは、ステアリングの実際の舵角θtが０°であるときに舵角センサが検出するステアリング舵角θmと推定される。舵角センサが検出するステアリング舵角θmとステアリングの実際の舵角θtとの間にずれ（以下、検出ずれという）が存在する場合には、ステアリングの実際の舵角θtが０°であるときに舵角センサが検出するステアリング舵角θmは、舵角センサの検出ずれに等しい。演算部１２９は、確率分布のピーク位置におけるステアリング舵角θpを舵角センサの検出ずれΔθとして決定する。
　演算部１２９は、決定した検出ずれΔθの絶対値が所定の閾値ｔｈ3以上であるとき、すなわち、舵角センサが検出するステアリング舵角θmとステアリングの実際の舵角θtとのずれが大きいとき、検出ずれΔθを補正値θaとして補正装置記憶部１２７に記憶させる。あるいは、演算部１２９は、補正装置記憶部１２７が既に補正値θaを記憶している場合には、検出ずれΔθから補正値θaを減算した値の絶対値が所定の閾値ｔｈ3以上であるとき、検出ずれΔθを新たな補正値θaとして更新し、補正装置記憶部１２７に記憶させる。演算部１２９は、車載ネットワーク１００を介して、他の構成要素に補正値θaを送信する。
　次に、第３の実施形態に係る舵角補正システムＢが実行する補正値算出処理について、図１５のフローチャートを用いて説明する。本処理は、例えば、移動体１０が走行を開始したときに実行される。
　はじめに、左右のサイドカメラ１１１のサイドカメラ撮像部１１８は、左右の操舵輪１１５の一方を含む移動体１０の周辺領域をそれぞれ同時に撮像した一組の画像を生成する（ステップＳ３００）。
　次に、舵角判断部１１９は、車載ネットワーク１００を介して、ステップＳ３００の一組の画像の撮像と同時に舵角センサが検出したステアリング舵角θmを取得する（ステップＳ３０１）。
　次に、舵角補正装置１１３の取得部１２６は、例えば車載ネットワーク１００を介して、ステップＳ３００の一組の画像およびステップＳ３０１の舵角センサが検出したステアリング舵角θmを対応付けて取得する（ステップＳ３０２）。
　次に、抽出部１２８は、ステップＳ３０２の一組の画像に対してエッジ検出を施す（ステップＳ３０３）。
　続いて、抽出部１２８は、ステップＳ３０３においてエッジ検出を施した一組の画像に対して楕円検出を施す（ステップＳ３０４）。
　次に、演算部１２９は、ステップＳ３０２の一組の画像上の左右の操舵輪１１５の対称度を算出する（ステップＳ３０５）。例えば、演算部１２９は、ステップＳ３０４において楕円検出を施した一組の画像のうち一方を左右反転させて画像マッチングを行ない、画像マッチングの相関度を対称度として算出する。
　続いて、演算部１２９は、ステップＳ３０５で算出した対称度と、ステップＳ３０２において取得した舵角センサが検出したステアリング舵角θmとを対応づけたデータを、補正装置記憶部１２７に記憶させる（ステップＳ３０６）。
　続いて、演算部１２９は、ステップＳ３０６において補正装置記憶部１２７に記憶させたデータに基づいて、舵角センサが検出するステアリング舵角θmに対する対称度（相関度）の確率分布を算出する（ステップＳ３０７）。
　続いて、演算部１２９は、確率分布を算出するのに十分なデータが蓄積されたか否かを判定する（ステップＳ３０８）。例えば、演算部１２９は、補正装置記憶部１２７に記憶させたデータの数が所定の閾値ｔｈ1以上であって、且つ、ステップＳ３０７で算出した確率分布の分散σ2が所定の閾値ｔｈ2未満であるときに、十分なデータが蓄積されたと判定する。十分なデータが蓄積されたとき（ステップＳ３０８－Ｙｅｓ）、ステップＳ３０９に進む。一方、十分なデータが蓄積されていないとき（ステップＳ３０８－Ｎｏ）、ステップＳ３００に戻って処理を反復し、データを蓄積する。
　ステップＳ３０８において、十分なデータが蓄積されたとき（ステップＳ３０８－Ｙｅｓ）、演算部１２９は、ステップＳ３０７で算出した確率分布のピーク位置におけるステアリング舵角θpを算出する（ステップＳ３０９）。
　続いて、演算部１２９は、ステップＳ３０９において算出した確率分布のピーク位置におけるステアリング舵角θpを検出ずれΔθとして決定する。さらに、演算部１２９は、検出ずれΔθの絶対値が、所定の閾値ｔｈ3以上であるか否かを判定する（ステップＳ３１０）。検出ずれΔθの絶対値が閾値ｔｈ3以上であるとき（ステップＳ３１０－Ｙｅｓ）、ステップＳ３１１に進む。一方、検出ずれΔθの絶対値が閾値ｔｈ3未満であるとき（ステップＳ３１０－Ｎｏ）、処理を終了する。
　ステップＳ３１０において、検出ずれΔθの絶対値が閾値ｔｈ3以上であるとき（ステップＳ３１０－Ｙｅｓ）、演算部１２９は、検出ずれΔθを補正値θaとして補正装置記憶部１２７に記憶させる（ステップＳ３１１）。
　このように、第３の実施形態の舵角補正システムによれば、左右の操舵輪１１５を同時にそれぞれ撮像した一組の画像の対称度に基づいて、補正値θaを算出する。このため、例えば移動体１０の走行中に舵角センサが検出するステアリング舵角θmの補正を自動的に行うことができ、操作者による操作の煩雑さを低減できる。また、例えば初期状態など、舵角センサに測定ずれΔθが発生する前の初期状態における情報を必要としないため、舵角補正システムを移動体１０に搭載する時期によらず補正が可能である。
　また、第３の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θmに対する対称度の確率分布に基づいて補正値θaを算出するため、ステアリングの実際の舵角θtが０°であるときに舵角センサが検出するステアリング舵角θmを精度良く推定でき、補正値θaの算出精度を向上できる。また、舵角センサが検出するステアリング舵角θmの測定誤差の影響を低減し、補正値θaの算出精度を向上できる。
　また、第３の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θmに対する対称度の確率分布を算出するのに十分なデータが蓄積されているとき、確率分布のピーク位置におけるステアリング舵角θpを算出し、θpを用いて補正値θaを算出する。このため、例えばデータ数が少ない場合や分散が大きい場合等、ピークを正しく検出できていない場合に補正値θaの算出・更新を抑制し、補正値θaの安定性を向上できる。
　また、第３の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θmとステアリングの実際の舵角θtとの間のずれ（検出ずれ）Δθの絶対値が閾値ｔｈ3以上であるときに、検出ずれΔθを補正値θaとして記憶する。このため、舵角センサが検出するステアリング舵角θmの測定誤差等の影響で生じる微小なずれによる補正値θaの算出・更新を抑制し、補正値θaの算出精度を向上できる。
　また、第３の実施形態の舵角補正システムによれば、一組の画像に対してエッジ検出を施すため、移動体１０の走行中において、例えば天気や外の明るさ等の環境の変化による測定画像への影響を低減し、画像マッチングによる相関度の算出精度を向上できる。
（第４の実施形態）
　次に、本発明の第４の実施形態について説明する。第４の実施形態に係る舵角補正システムＢの構成は第３の実施形態と同様であるが、舵角補正装置１１３が行う処理が異なる。
　第４の実施形態に係る舵角補正装置１１３は、第３の実施形態と同様に、取得部１２６と、補正装置記憶部１２７と、抽出部１２８と、演算部１２９と、を備える。取得部１２６および補正装置記憶部１２７については、第３の実施形態と同様であるため、説明は省略する。
　抽出部１２８は、第３の実施形態と同様に、一組の画像上の操舵輪１１５を抽出して楕円パラメータを算出する。第４の実施形態に係る抽出部１２８は、一組の画像のうち一方を左右反転させて、両画像上の操舵輪１１５を抽出し、楕円パラメータをそれぞれ算出する。
　演算部１２９は、第３の実施形態と同様に、一組の画像上の左右の操舵輪１１５の対称度を算出する。ここで、第４の実施形態に係る演算部１２９は、抽出部１２８が楕円検出により算出した楕円パラメータを用いて、対称度を算出する。詳細には、演算部１２９は、抽出部１２８が左右反転させた一方の画像から検出した操舵輪１１５の楕円パラメータにより定まる５次元パラメータ空間上の点αを算出する。同様に、演算部１２９は、他方の画像から検出した操舵輪１１５の楕円パラメータにより定まる５次元パラメータ空間上の点βを算出する。パラメータ空間上の２点間の距離ｄは、ｄ＝|α－β|により算出される。ここで、両画像からそれぞれ検出した楕円形状の相関が高いとき、各楕円パラメータは互いに近い値をとるため、距離ｄは小さな値となる。一方、２つの楕円形状の相関が小さいとき、各楕円パラメータは互いに異なる値をとるため、距離ｄは大きな値となる。演算部１２９は、楕円パラメータを用いて算出するパラメータ空間上の距離ｄを対称度として算出する。このとき、一般に、距離ｄの値が小さいほど対称性が高くなる。
　好適には、演算部１２９は、複数の楕円パラメータに対して重付けを行った値を用いて対称度を算出する。前述のように、検出される楕円は、操舵輪舵角θRによって異なる形状となる（図１４参照）。ここで、操舵輪舵角θRの変化に対し、楕円の傾きφおよび短辺の長さｂの変化量が大きく、他の楕円パラメータ、すなわち中心座標と長辺の長さは変化量が小さい。すなわち、楕円の傾きφおよび短辺の長さｂは、操舵輪舵角θRの変化に対し感度が高い。例えば、楕円パラメータのうち傾きφおよび短辺の長さｂの少なくとも一方に、他のパラメータ、すなわち座標（ｘ，ｙ）および長辺の長さａより大きな重付けを行ってパラメータ空間上の点ａおよび点ｂを決定し、２点間の距離ｄを対称度として算出する。
　また、演算部１２９は、第３の実施形態と同様に、対称度（距離ｄ）の確率分布を算出し、算出した確率分布のピーク位置におけるステアリング舵角θpに基づいて補正値θaを算出する。本実施形態において、楕円パラメータを用いて算出するパラメータ空間上の距離ｄを対称度として用いるため、確率分布のピークは下向きにあらわれる（図８参照）。
　このように、第４の実施形態の舵角補正システムによれば、一組の画像のうち一方を左右反転させて検出した楕円のパラメータに基づいて算出するパラメータ空間上の距離ｄを、一組の画像上の左右の操舵輪１１５の対称度として算出する。このため、画像マッチングにより対称度を算出する第３の実施形態と比較して処理負担を低減できる。また、複数の楕円パラメータのうち、操舵輪舵角θRの変化に対し感度が高い楕円パラメータに大きな重付けをして対称度を算出することにより、対称度の算出精度を向上し、補正値θaの算出精度を向上できる。
（第３及び第４の実施形態の変形例）
　次に、本発明の第３及び第４の実施形態の変形例に係る舵角補正システムについて説明する。本変形例に係る舵角補正システムＢの構成は第３の実施形態と同様であるが、対称度の確率分布を算出せず、一組の画像が左右対称であるときに補正値θaを算出する点が異なる。
　本変形例に係る舵角補正装置１１３は、第３の実施形態と同様に、取得部１２６と、補正装置記憶部１２７と、抽出部１２８と、演算部１２９と、を備える。取得部１２６および抽出部１２８については、第３の実施形態と同様であるため、説明は省略する。
　補正装置記憶部１２７は、演算部１２９が算出する補正値θaを記憶する。
　演算部１２９は、第３の実施形態と同様に、一組の画像上の左右の操舵輪１１５の対称度を算出する。本変形例において、画像マッチングによる相関度又は楕円パラメータ空間上の２点間距離ｄの何れを対称度として採用してもよい。以下においては、一組の画像のうち一方を左右反転させた画像と他方の画像との画像マッチングによる相関度を算出し、対称度として採用する例について説明する。
　演算部１２９は、算出した対称度（相関度）に基づいて、一組の画像上の左右の操舵輪１１５の形状が左右対称か否かを判定する。左右対称か否かの判定は、例えば、対称度である相関度が所定の閾値ｔｈ4以上であるとき、形状が左右対称と判定する。演算部１２９は、操舵輪１１５の形状が左右対称と判定するとき、対称度の算出に用いた一組の画像の撮像時に舵角センサが検出したステアリング舵角θmを、舵角センサが検出するステアリング舵角θmとステアリングの実際の舵角θtとの間のずれ（検出ずれ）Δθとして決定する。また、演算部１２９は、第３の実施形態と同様に、決定した検出ずれΔθの絶対値が所定の閾値ｔｈ3以上であるとき、検出ずれΔθを補正値θaとして補正装置記憶部１２７に記憶する。
　次に、本変形例に係る舵角補正システムＢが実行する補正値算出処理について、図１６のフローチャートを用いて説明する。
　はじめに、左右のサイドカメラ１１１のサイドカメラ撮像部１１８は、左右の操舵輪１１５の一方を含む移動体１０の周辺領域をそれぞれ同時に撮像した一組の画像を生成する（ステップＳ４００）。
　次に、舵角判断部１１９は、車載ネットワーク１００を介して、ステップＳ４００の一組の画像の撮像と同時に舵角センサが検出したステアリング舵角θmを取得する（ステップＳ４０１）。
　次に、舵角補正装置１１３の取得部１２６は、例えば車載ネットワーク１００を介して、ステップＳ４００の一組の画像およびステップＳ４０１の舵角センサが検出したステアリング舵角θmを対応付けて取得する（ステップＳ４０２）。
　次に、抽出部１２８は、ステップＳ４０２の一組の画像に対してエッジ検出を施す（ステップＳ４０３）。
　続いて、抽出部１２８は、ステップＳ４０３においてエッジ検出を施した一組の画像に対して楕円検出を施す（ステップＳ４０４）。
　次に、演算部１２９は、ステップＳ４０２の一組の画像上の左右の操舵輪１１５の対称度を算出する（ステップＳ４０５）。例えば、演算部１２９は、ステップＳ４０４において楕円検出を施した一組の画像のうち一方を左右反転させて画像マッチングを行ない、画像マッチングの相関度を対称度として算出する。
　続いて、演算部１２９は、ステップＳ４０２の一組の画像上の左右の操舵輪１１５の形状が左右対称か否かを判定する（ステップＳ４０６）。例えば、演算部１２９は、対称度である相関度が所定の閾値ｔｈ4以上であるとき、形状が左右対称と判定する。形状が左右対称と判定するとき（ステップＳ４０６－Ｙｅｓ）、ステップＳ４０７に進む。一方、形状が左右対称でないと判定するとき（ステップＳ４０６－Ｎｏ）、ステップＳ４００に戻る。
　ステップＳ４０６において、形状が左右対称と判定するとき（ステップＳ４０６－Ｙｅｓ）、演算部１２９は、ステップＳ４０２の舵角センサが検出したステアリング舵角θmを検出ずれΔθとして決定し、検出ずれΔθの絶対値が、所定の閾値ｔｈ3以上であるか否かを判定する（ステップＳ４０７）。検出ずれΔθの絶対値が閾値ｔｈ3以上であるとき（ステップＳ４０７－Ｙｅｓ）、ステップＳ４０８に進む。一方、検出ずれΔθの絶対値が閾値ｔｈ3未満であるとき（ステップＳ４０７－Ｎｏ）、処理を終了する。
　ステップＳ４０７において、検出ずれΔθの絶対値が閾値ｔｈ3以上であるとき（ステップＳ４０７－Ｙｅｓ）、演算部１２９は、検出ずれΔθを補正値θaとして補正装置記憶部１２７に記憶させる（ステップＳ４０８）。
　このように、本変形例の舵角補正システムによれば、一組の画像と舵角センサが検出するステアリング舵角θmとを対応付けて取得するたび、算出する対称度に基づいて両画像上の左右の操舵輪１１５の形状が左右対称か否かを判定する。そして、形状が左右対称と判定するとき、補正値θaを算出する。このため、第３の実施形態と異なり、舵角センサが検出するステアリング舵角θmと対称度とを対応付けたデータを補正装置記憶部１２７に蓄積する必要がなく、記憶するデータ容量を低減できる。
　本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
　例えば、舵角補正システムにおける各構成要素は、分割および再配置が可能である。例えば、舵角補正装置１１３を撮像装置に包含させてもよい。また例えば、舵角補正システムは、運転者を支援するナビゲーション装置を更に備え、ナビゲーション装置が舵角補正装置１１３の演算部１２９や、リアカメラ１１２の画像重畳部１２４を備える構成であってもよい。
　また、上述の実施形態において、舵角補正装置１１３の取得部１２６は、車載ネットワーク１００を介してサイドカメラ１１１の画像を取得するが、専用線を介して取得するように構成してもよい。
　また、抽出部１２８が検出した楕円が正しく操舵輪１１５を抽出しているか否かを判別する構成を備えてもよい。例えば、画像上の検出した楕円内において、エッジ検出を施す前の画像の色情報を用いて操舵輪１１５を抽出しているか否か判断することが考えられる。このようにして、画像上の操舵輪１１５の抽出精度を向上して対称度の算出精度を向上することにより、補正値θaの算出精度を向上できる。
　また、上述の実施形態において、舵角補正装置１１３は、算出した補正値θaを補正装置記憶部１２７に記憶させるが、ステアリング舵角センサに補正値θaを送信し、ステアリング舵角センサの出力値を補正するように構成してもよい。この場合、画像重畳部１２４は、車載ネットワーク１００を介して取得するステアリング舵角を補正する必要がないため、処理負担を軽減できる。
　また、上述の実施形態において、画像重畳部１２４はリアカメラ１１２の撮像画像に指標３０を重畳するが、例えば、移動体１０の前方の周辺画像を撮像するフロントカメラの撮像画像に重畳するように構成してもよい。
　また、上述の実施形態において、画像マッチングによる相関度又は楕円パラメータに基づくパラメータ空間上の２点間距離を対称度として用いたが、一組の画像上の左右の操舵輪１１５の形状の対称性の度合いを示す指標であれば任意の指標を採用可能である。
　１０　　移動体
　１１　　サイドカメラ
　１２　　リアカメラ
　１３　　表示部
　１４　　操舵輪
　１５　　ドアミラー
　１６　　光学系
　１７　　サイドカメラ撮像部
　１８　　舵角判断部
　１９　　サイドカメラ制御部
　２０　　舵角補正装置
　２１　　取得部
　２２　　補正装置記憶部
　２３　　抽出部
　２４　　演算部
　２５　　光学系
　２６　　リアカメラ撮像部
　２７　　リアカメラ記憶部
　２８　　画像重畳部
　２９　　リアカメラ制御部
　３０　　指標
　３１　　車幅延長線
　３２　　距離目安線
　１００　車載ネットワーク
　１１１　　サイドカメラ
　１１２　　リアカメラ
　１１３　　舵角補正装置
　１１４　　表示部
　１１５　　操舵輪
　１１６　　サイドミラー
　１１７　　光学系
　１１８　　サイドカメラ撮像部
　１１９　　舵角判断部
　１２０　　サイドカメラ制御部
　１２１　　光学系
　１２２　　リアカメラ撮像部
　１２３　　リアカメラ記憶部
　１２４　　画像重畳部
　１２５　　リアカメラ制御部
　１２６　　取得部
　１２７　　補正装置記憶部
　１２８　　抽出部
　１２９　　演算部

Claims (16)

  1. 　操舵輪を撮像した測定画像と、前記測定画像の撮像時における移動体のステアリング舵角と、を対応付けて取得するステップと、
    　前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度を算出するステップと、
    　前記一致度に基づいて前記ステアリング舵角を補正する補正値を算出するステップとを含む
    　ことを特徴とする舵角補正方法。
  2. 　請求項１に記載の舵角補正方法であって、
    　異なるステアリング舵角において複数の前記測定画像を取得するステップを含み、
    　前記補正値を算出するステップでは、ステアリング舵角に対する前記一致度の分布に基づいて前記補正値を算出する
    　ことを特徴とする舵角補正方法。
  3. 　請求項１に記載の舵角補正方法であって、
    　少なくとも前記測定画像上の前記操舵輪を楕円検出により抽出するステップを含み、
    　前記一致度を算出するステップでは、検出する楕円のパラメータを用いて前記一致度を算出する
    　ことを特徴とする舵角補正方法。
  4. 　請求項３に記載の舵角補正方法であって、
    　前記一致度を算出するステップでは、楕円の短辺および傾きの少なくとも一方を示すパラメータに対して、他のパラメータよりも大きな重付けを施して前記一致度を算出する
    　ことを特徴とする舵角補正方法。
  5. 　請求項１に記載の舵角補正方法であって、
    　前記一致度を算出するステップでは、前記測定画像および前記基準画像に基づく画像マッチングによる相関度を前記一致度として算出する
    　ことを特徴とする舵角補正方法。
  6. 　左右の操舵輪を同時にそれぞれ撮像した一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得するステップと、
    　前記一組の画像上の前記左右の操舵輪の対称度を算出するステップと、
    　前記対称度に基づいて前記ステアリング舵角を補正する補正値を算出するステップとを含む
    　ことを特徴とする舵角補正方法。
  7. 　請求項６に記載の舵角補正方法であって、
    　異なるステアリング舵角において前記一組の画像を取得するステップを含み、
    　前記補正値を算出するステップでは、ステアリング舵角に対する前記対称度の分布に基づいて前記補正値を算出する
    　ことを特徴とする舵角補正方法。
  8. 　請求項６に記載の舵角補正方法であって、
    　前記一組の画像上の前記左右の操舵輪を楕円検出により抽出するステップを含み、
    　前記対称度を算出するステップでは、検出する楕円のパラメータを用いて前記対称度を算出する
    　ことを特徴とする舵角補正方法。
  9. 　請求項８に記載の舵角補正方法であって、
    　前記対称度を算出するステップでは、楕円の短辺および傾きの少なくとも一方を示すパラメータに対して、他のパラメータよりも大きな重付けを施して前記対称度を算出する
    　ことを特徴とする舵角補正方法。
  10. 　請求項６に記載の舵角補正方法であって、
    　前記対称度を算出するステップでは、前記一組の画像に基づく画像マッチングによる相関度を用いて前記対称度を算出する
    　ことを特徴とする舵角補正方法。
  11. 　操舵輪を撮像した測定画像と撮像時における移動体のステアリング舵角とを対応付けて取得する取得部と、
    　前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度に基づいて前記舵角を補正する補正値を算出する演算部とを備える
    　ことを特徴とする舵角補正装置。
  12. 　請求項１１に記載の舵角補正装置と、
    　前記測定画像を生成する第１の撮像部と、
    　前記移動体の周辺画像を生成する第２の撮像部と、
    　前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部とを備える
    　ことを特徴とする撮像装置。
  13. 　操舵輪を撮像した測定画像を生成する第１の撮像部と、
    　前記測定画像と撮像時における移動体のステアリング舵角とを対応付けて取得する取得部と、
    　前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度に基づいて前記舵角を補正する補正値を算出する演算部と、
    　前記移動体の周辺画像を生成する第２の撮像部と、
    　前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部と、
    　前記指標を重畳した周辺画像を表示する表示部とを備える
    　ことを特徴とする舵角補正システム。　
  14. 　左右の操舵輪を同時にそれぞれ撮像した一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得する取得部と、
    　前記一組の画像上の前記左右の操舵輪の対称度に基づいて前記舵角を補正する補正値を算出する演算部とを備える
    　ことを特徴とする舵角補正装置。
  15. 　請求項１４に記載の舵角補正装置と、
    　前記一組の画像を生成する第１の撮像部と、
    　前記移動体の周辺画像を生成する第２の撮像部と、
    　前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部とを備える
    　ことを特徴とする撮像装置。
  16. 　左右の操舵輪を同時にそれぞれ撮像した一組の画像を生成する第１の撮像部と、
    　前記一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得する取得部と、
    　前記一組の画像上の前記左右の操舵輪の対称度に基づいて前記舵角を補正する補正値を算出する演算部と、
    　前記移動体の周辺画像を生成する第２の撮像部と、
    　前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部と、
    　前記指標を重畳した周辺画像を表示する表示部とを備える
    　ことを特徴とする舵角補正システム。
PCT/JP2014/004437 2013-08-28 2014-08-28 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム WO2015029443A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/915,620 US9862417B2 (en) 2013-08-28 2014-08-28 Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system
EP14839821.7A EP3040254B1 (en) 2013-08-28 2014-08-28 Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013177189A JP6023025B2 (ja) 2013-08-28 2013-08-28 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム
JP2013-177189 2013-08-28
JP2013200569A JP6023030B2 (ja) 2013-09-26 2013-09-26 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム
JP2013-200569 2013-09-26

Publications (1)

Publication Number Publication Date
WO2015029443A1 true WO2015029443A1 (ja) 2015-03-05

Family

ID=52586031

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004437 WO2015029443A1 (ja) 2013-08-28 2014-08-28 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム

Country Status (3)

Country Link
US (1) US9862417B2 (ja)
EP (1) EP3040254B1 (ja)
WO (1) WO2015029443A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9683861B2 (en) * 2013-09-27 2017-06-20 Nissan Motor Co., Ltd. Estimated route presentation apparatus and estimated route presentation method
JP6447060B2 (ja) * 2014-11-28 2019-01-09 アイシン精機株式会社 車両周辺監視装置
US20160353049A1 (en) * 2015-05-27 2016-12-01 Caterpillar Inc. Method and System for Displaying a Projected Path for a Machine
US20200041304A1 (en) * 2018-07-31 2020-02-06 GM Global Technology Operations LLC High resolution virtual wheel speed sensor
WO2020157683A1 (en) * 2019-01-29 2020-08-06 Aptiv Technologies Limited Electric power steering torque compensation
EP3719696A1 (en) 2019-04-04 2020-10-07 Aptiv Technologies Limited Method and device for localizing a sensor in a vehicle
JP7234968B2 (ja) * 2020-02-17 2023-03-08 トヨタ自動車株式会社 転舵装置
US11808578B2 (en) * 2020-05-29 2023-11-07 Aurora Flight Sciences Corporation Global positioning denied navigation
HUP2100215A1 (hu) 2021-06-07 2022-12-28 Vie Tech Europe Kft Javított eljárás és rendszer kerekek figyelésére
DE102021211326A1 (de) 2021-10-07 2023-04-13 Zf Friedrichshafen Ag Verfahren und Steuereinheit zum Erfassen einer Radstellung mindestens eines Rades eines Fahrzeugs und Fahrzeug
CN114771657A (zh) * 2022-06-02 2022-07-22 安徽安凯汽车股份有限公司 一种方向轮转角检测系统
US20230410527A1 (en) 2022-06-20 2023-12-21 Steering Solutions Ip Holding Corporation Roadwheel angle estimation based on camera input

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6015270A (ja) * 1983-07-06 1985-01-25 Toyota Motor Corp 車両の操舵角検出装置
JP2005001667A (ja) * 2000-01-14 2005-01-06 Aisin Seiki Co Ltd 舵角補正装置
JP2006208199A (ja) * 2005-01-28 2006-08-10 Nissan Motor Co Ltd 操舵角検出装置
JP2012224248A (ja) * 2011-04-20 2012-11-15 Isuzu Motors Ltd ステアリング制御装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4023311B2 (ja) 2002-12-20 2007-12-19 松下電器産業株式会社 車両周辺監視装置
JP4235026B2 (ja) * 2003-04-28 2009-03-04 トヨタ自動車株式会社 駐車支援装置
US7382913B2 (en) * 2003-08-22 2008-06-03 Hunter Engineering Company Method and apparatus for guiding placement of vehicle service fixtures
JP4900460B2 (ja) * 2009-12-14 2012-03-21 株式会社デンソー 操舵装置用車輪把持検出装置、プログラム
DE102011082364A1 (de) * 2010-09-09 2012-03-22 Continental Teves Ag & Co. Ohg Lenkwinkelbestimmung für ein Kraftfahrzeug
JP2012185808A (ja) * 2011-02-17 2012-09-27 Panasonic Corp 画像処理装置、画像処理方法、及びコンピュータプログラム、並びに撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6015270A (ja) * 1983-07-06 1985-01-25 Toyota Motor Corp 車両の操舵角検出装置
JP2005001667A (ja) * 2000-01-14 2005-01-06 Aisin Seiki Co Ltd 舵角補正装置
JP4323402B2 (ja) 2000-01-14 2009-09-02 アイシン精機株式会社 舵角補正装置
JP2006208199A (ja) * 2005-01-28 2006-08-10 Nissan Motor Co Ltd 操舵角検出装置
JP2012224248A (ja) * 2011-04-20 2012-11-15 Isuzu Motors Ltd ステアリング制御装置

Also Published As

Publication number Publication date
US9862417B2 (en) 2018-01-09
EP3040254A4 (en) 2017-04-05
EP3040254B1 (en) 2019-11-20
US20160251030A1 (en) 2016-09-01
EP3040254A1 (en) 2016-07-06

Similar Documents

Publication Publication Date Title
WO2015029443A1 (ja) 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
EP3416368B1 (en) Calibration system
KR101787304B1 (ko) 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품
JP5091902B2 (ja) 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム
US20120314073A1 (en) Apparatus and Method for Detecting Posture of Camera Mounted on Vehicle
US9202106B2 (en) Eyelid detection device
JP4670528B2 (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP6377970B2 (ja) 視差画像生成装置及び視差画像生成方法
CN112489136B (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
JP2017188738A (ja) 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム
CN108376384B (zh) 视差图的矫正方法、装置及存储介质
JP6669182B2 (ja) 乗員監視装置
JP4397573B2 (ja) 画像処理装置
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
JP5561469B2 (ja) ヨーレート補正装置、及びその方法
JP2014195170A (ja) 運転支援装置
JP6023030B2 (ja) 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム
JP6023025B2 (ja) 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム
JP2018136739A (ja) キャリブレーション装置
US11295429B2 (en) Imaging abnormality diagnosis device
US20190259179A1 (en) Image processing device and image processing method
JP2008042759A (ja) 画像処理装置
JP4040620B2 (ja) 車両周辺監視装置
JP2009264759A (ja) オフセット補正装置およびオフセット補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14839821

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014839821

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14915620

Country of ref document: US

Ref document number: 2014839821

Country of ref document: EP