WO2021044564A1 - 前方監視装置及び前方監視装置のキャリブレーション方法 - Google Patents

前方監視装置及び前方監視装置のキャリブレーション方法 Download PDF

Info

Publication number
WO2021044564A1
WO2021044564A1 PCT/JP2019/034902 JP2019034902W WO2021044564A1 WO 2021044564 A1 WO2021044564 A1 WO 2021044564A1 JP 2019034902 W JP2019034902 W JP 2019034902W WO 2021044564 A1 WO2021044564 A1 WO 2021044564A1
Authority
WO
WIPO (PCT)
Prior art keywords
train
binocular image
position information
landmark
image
Prior art date
Application number
PCT/JP2019/034902
Other languages
English (en)
French (fr)
Inventor
鹿毛　裕史
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2019/034902 priority Critical patent/WO2021044564A1/ja
Priority to JP2021543878A priority patent/JP7143956B2/ja
Publication of WO2021044564A1 publication Critical patent/WO2021044564A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61K—AUXILIARY EQUIPMENT SPECIALLY ADAPTED FOR RAILWAYS, NOT OTHERWISE PROVIDED FOR
    • B61K13/00—Other auxiliaries or accessories for railways
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to a forward monitoring device and a method for calibrating the forward monitoring device.
  • a three-dimensional measuring device that acquires three-dimensional distance information and recognizes the surrounding environment and self-position based on this information is known, and has been put into practical use, for example, by being installed in an automobile.
  • a correlation is obtained for a pair of images of the same object (hereinafter, "binocular image") taken by a pair of left and right cameras (hereinafter, "stereo camera”).
  • the distance to the object is calculated from the binocular parallax for the same object by the principle of triangular survey using camera parameters such as the mounting position of the stereo camera and the focal distance.
  • the stereo camera is installed, the optical axis of the stereo camera may shift while the vehicle is running, and the binocular parallax may shift over time.
  • the distance to an obstacle detected on the road can be accurately calculated, and the driver takes measures such as stepping on the brake and avoiding the obstacle. be able to.
  • This disclosure is made to solve the above-mentioned problems, and corrects a moving binocular image based on a detailed calibration calculation performed before the train runs by using a plurality of landmarks around the train. , By using one landmark around the train to correct the binocular image during running that has been corrected based on the simple calibration calculation, it is possible to improve the distance measurement accuracy when detecting obstacles and while running. It is an object of the present invention to provide a method for calibrating a front monitoring device and a front monitoring device that can improve the execution speed of correction for a binocular image.
  • the forward monitoring device includes a stereo camera that captures the traveling direction of the train, and the pre-travel binocular image captured before the train travel and the traveling binocular image captured during the travel by the stereo camera.
  • a landmark detection unit that detects a plurality of landmarks around the train from the image input unit into which an image is input and the binocular image before traveling, and also detects one landmark around the train from the binocular image during traveling.
  • the first calibration calculation is performed on the pre-travel binocular image based on the position information of the plurality of landmarks around the train, and the one land around the train is performed on the running binocular image.
  • the first calibration unit includes a calibration unit that performs a second calibration calculation faster than the first calibration calculation based on the position information of the mark, and the calibration unit is performed before the train travels.
  • Estimated position information of the one landmark around the train calculated from the running binocular image corrected based on the calibration calculation, and reference position information which is the reference position of the one landmark around the train. If the amount of deviation of the estimated position information with respect to the reference position information is equal to or greater than the threshold value, the traveling binocular image is corrected based on the second calibration calculation.
  • the calibration method of the forward monitoring device includes a step of capturing a pre-travel binocular image with a stereo camera before the train travels, and detecting a plurality of landmarks around the train from the pre-travel binocular image to detect the train.
  • the process of extracting includes a step of performing calibration calculation and a step of correcting a running binocular image based on the second calibration.
  • a plurality of landmarks around the train are used to correct a moving binocular image based on a detailed calibration calculation performed before the train travels, and one landmark around the train is used.
  • FIG. The block diagram which shows the forward monitoring apparatus which concerns on Embodiment 1.
  • FIG. The process chart which shows the calibration process of the forward monitoring apparatus which concerns on Embodiment 1.
  • FIG. The process chart which shows the calibration process of the forward monitoring apparatus which concerns on Embodiment 2.
  • FIG. The figure which shows the corrected running binocular image which concerns on Embodiment 2.
  • FIG. The process chart which shows the calibration process of the forward monitoring apparatus which concerns on Embodiment 3.
  • FIG. The block diagram which shows the forward monitoring apparatus which concerns on Embodiment 4.
  • FIG. The process chart which shows the calibration process of the forward monitoring apparatus which concerns on Embodiment 4.
  • FIG. The figure which shows the line detection method which concerns on Embodiment 4.
  • FIG. The figure which shows the method of setting the detection area which concerns on Embodiment 5.
  • the figure which shows the distance map of the forward monitoring apparatus which concerns on Embodiment 5. The enlarged view in the detection area of the forward monitoring apparatus which concerns on embodiment 5.
  • FIG. 1 is a block diagram showing a front monitoring device according to the first embodiment
  • FIG. 2 is a process diagram showing a calibration process of the front monitoring device according to the first embodiment.
  • the forward monitoring device 100 includes an image input unit 1 having a stereo camera 10, a landmark detection unit 2, a calibration unit 3, and a storage unit 4.
  • the stereo camera 10 includes two cameras. These cameras are installed, for example, on the left side and the right side in front of the train, respectively.
  • the left camera captures the left camera image and the right camera captures the right camera image.
  • the left camera image and the right camera image are collectively called a binocular image.
  • the camera on the left and the camera on the right are installed parallel to the track surface, that is, the ground on which the track is laid.
  • before the train runs means, for example, a case where the train runs on the same route as the commercial run as a test run before starting the run with passengers (commercial run), and the start of the commercial run. It refers to the case where the train is stopped at the station immediately before.
  • Before the train runs includes the case where the train is stopped in the garage before and after the business run.
  • “while the train is running” refers to commercial running.
  • the image input unit 1 inputs a binocular image captured by the stereo camera 10 before and during the running of the train.
  • the image input unit 1 is integrated with the stereo camera 10, but the image input unit 1 and the stereo camera 10 may be separated from each other.
  • the landmark detection unit 2 detects the landmark from the binocular images captured before and during the running of the train.
  • a railroad track is an example of a landmark.
  • the calibration unit 3 performs calibration calculation on the binocular images captured before and during the running of the train.
  • Calibration calculations performed before the train runs include all information around the train, such as the track on which the train is running, the distance between the rails that make up the track, overhead poles, signs, and signals placed on both sides of the track. This is a detailed calibration calculation (first calibration calculation) performed using information about the landmark.
  • the calibration calculation performed while the train is running is a simple calibration calculation (second calibration calculation) performed at a higher speed than the detailed calibration calculation using only the position information of the track. Details of the detailed calibration calculation and the simple calibration calculation will be described later.
  • the calibration unit 3 extracts various landmarks from the binocular image acquired before running, and performs detailed calibration calculation based on the extracted landmarks. Then, image correction information is obtained by detailed calibration calculation.
  • the image correction information is information related to the visual axis correction, the tilt correction, and the distortion correction of the camera. That is, the image correction information is a rotation matrix and a parallel traveling matrix in the three-dimensional space for eliminating the deviation, tilt, and distortion of the visual axis of the camera, which are calculated as a result of the detailed calibration calculation.
  • the calibration unit 3 corrects the binocular image captured before traveling based on the acquired image correction information.
  • the calibration unit 3 acquires the line position from the corrected binocular image and calculates the reference line position (described later) which is the reference position information.
  • the binocular image correction performed while the train is running is performed using the image correction information obtained by the detailed calibration calculation performed before the train is running.
  • the calibration unit 3 corrects the binocular image captured during traveling based on the image correction information acquired before traveling, acquires the track position from the corrected binocular image, and is the estimated position information. Calculate the estimated track position.
  • the storage unit 4 records the image correction information obtained by the detailed calibration calculation and the reference line position information calculated based on the image correction information.
  • FIG. 1 shows an example in which the forward monitoring device 100 includes the storage unit 4, it may be a separate body.
  • the image correction information and the reference line position information may be stored in the control unit on the ground, for example, acquired from the control unit when necessary, and input to the calibration unit 3.
  • the calibration process of the forward monitoring device 100 before and during the running of the train will be described with reference to FIG.
  • pre-travel binocular image A binocular image (hereinafter, referred to as “pre-travel binocular image”) captured by the stereo camera 10 before the train travels is input to the image input unit 1 (step S1).
  • the calibration unit 3 performs detailed calibration calculation on the binocular image before traveling, and calculates image correction information, that is, the calculation result of the calibration calculation (steps S2 and S3).
  • Detailed calibration calculation covers information on various landmarks existing in front of the train track, such as railroad tracks, distances between rails that make up the railroad tracks, overhead wire pillars, signs, and signals placed on both sides of the railroad tracks. It is a calibration calculation that is utilized effectively.
  • the calibration unit 3 corrects the pre-travel binocular image based on the image correction information obtained in step S3 (step S4).
  • Image correction is to eliminate the effects of the camera's visual axis deviation, tilt, and distortion on the pre-travel binocular image based on the image correction information calculated as a result of the detailed calibration calculation.
  • the landmark detection unit 2 detects and extracts the track position from the corrected pre-travel binocular image (step S5).
  • the extraction of the track position refers to performing edge extraction on the corrected pre-travel binocular image and specifying the track position in the corrected pre-travel binocular image based on the extracted edge.
  • the calibration unit 3 calculates the reference line position from the corrected pre-travel binocular image in which the image correction has been performed (step S6).
  • the reference line position is a reference line position in the simple calibration calculation performed during running, and is corrected by utilizing the fact that the geometrical positional relationship of the line surface with respect to the stereo camera 10 is fixed. Calculated from binocular images.
  • the image correction information and the reference line position are stored in the storage unit 4 (step S7).
  • a binocular image (hereinafter, referred to as “running binocular image”) captured by the stereo camera 10 while the train is running is input to the image input unit 1 (step S8).
  • the calibration unit 3 acquires the image correction information acquired before the train travels from the storage unit 4, corrects the traveling binocular image based on the acquired image correction information, and outputs the corrected traveling binocular image. (Steps S9 and S10).
  • the landmark detection unit 2 detects and extracts the track position from the output corrected binocular image during traveling (step S11).
  • the calibration unit 3 calculates the estimated line position from the extracted line position (step S12).
  • the calibration unit 3 compares the reference track position acquired before the train travels with the estimated track position acquired during the train travel, and calculates the amount of deviation of the estimated track position with respect to the reference track position (step S13).
  • the amount of deviation refers to a plurality of parameters, for example, the magnitude of deviation due to rotation of the stereo camera 10 and the magnitude of deviation due to translation in a three-dimensional space. These deviations can occur in the left and right cameras of the stereo camera 10.
  • step S14 it is determined whether or not there is a parameter whose deviation amount is equal to or greater than the threshold value (step S14), and if there is even one parameter whose deviation amount is equal to or greater than the threshold value, the calibration unit 3 performs a simple calibration calculation.
  • New image correction information is acquired, and the storage unit 4 stores the image correction information (steps S15, S16, S17). Then, based on the new image correction information, the running binocular image is corrected.
  • the simple calibration calculation a rotation matrix and a parallel traveling matrix in a three-dimensional space are calculated in order to eliminate the deviation of the estimated line position with respect to the reference line position, and the calculated result is used as image correction information.
  • step S14 If the deviation amount of any of the parameters is less than the threshold value (step S14), the process ends.
  • the forward monitoring device 100 has a stereo camera 10 that captures the traveling direction of the train, and the pre-travel binocular image captured by the stereo camera 10 before the train travels and the traveling image captured during the travel.
  • a plurality of landmarks around the train are detected from the image input unit 1 into which the binocular image is input and the binocular image before traveling, and one landmark around the train, that is, the track position is detected from the binocular image during traveling.
  • the first calibration calculation is performed on the landmark detection unit 2 and the pre-travel binocular image based on the position information of a plurality of landmarks around the train, and the 1 on the train periphery is performed on the running binocular image.
  • the calibration unit 3 includes a calibration unit 3 that performs a second calibration calculation faster than the first calibration calculation based on the position information of one landmark.
  • the calibration unit 3 includes estimated position information of one landmark around the train calculated from the running binocular image corrected based on the first calibration calculation performed before the train runs, and 1 around the train. Compare with the reference position information which is the reference position of one landmark, and if the deviation amount of the estimated position information with respect to the reference position information is equal to or more than the threshold value, correct the running binocular image based on the second calibration calculation. Is to do.
  • the binocular image during running is corrected based on the detailed calibration calculation performed before the train runs, and one landmark around the train is used.
  • the distance measurement accuracy when detecting obstacles can be improved, and the correction execution speed for the running binocular image can be improved. ..
  • FIG. 3 is a process diagram showing a calibration process of the forward monitoring device according to the second embodiment.
  • the forward monitoring device 110 includes an image input unit 1, a landmark detection unit 2, a calibration unit 3, and a storage unit 4.
  • the front monitoring device 110 is different from the front monitoring device 100 in that a simple calibration calculation is performed on a binocular image by utilizing the fact that the distance between two rails constituting the line, that is, the line width is known. Is different. Further, one landmark around the train in the forward monitoring device 110 refers to the track width. The details will be described below.
  • the calibration process of the front monitoring device 110 before the train travels is the same in that the image correction information is stored in the storage units 4 of steps S1 to S5 and step S7 of the front monitoring device 100. The detailed description of is omitted.
  • the height from the track surface to the position where the stereo camera 10 is installed and the depression angle of the stereo camera 10 with respect to the track surface are calculated (step S20).
  • the track width is calculated as the number of pixels based on the height, depression angle, and track position extracted from the corrected running binocular image in step S20 (step S21).
  • the line width calculated as the number of pixels is stored in the storage unit 4 as a reference line width (reference position information) (step S22).
  • FIG. 4 is a diagram showing a corrected running binocular image according to the second embodiment.
  • the height direction is the Y-axis direction and the width direction is the X-axis direction.
  • the broken line parallel to the X-axis in FIG. 4 indicates the scanning line 9.
  • the scanning line 9 indicates, for example, the braking distance of the train. Braking distance refers to the distance from when the driver actually starts to apply the brakes to when the train stops, out of the distance from when the driver applies the brakes to stop the train.
  • the left and right cameras may be fixed to the train by matching the scanning line 9 with the braking distance of the train. Scanning lines 9 on the left and right camera images may be set at the position of the braking distance.
  • the left camera image and the right camera image may be combined and referred to as the left and right camera images.
  • the rail on the left side of the left camera image is referred to as rail 7L
  • the rail on the right side is referred to as rail 8L
  • the rail on the left side of the right camera image is referred to as rail 7R
  • the rail on the right side is referred to as 8R.
  • the rail 7L and the rail 7R may be collectively referred to as the rail 7
  • the rail 8L and the rail 8R may be collectively referred to as the rail 8.
  • step S23 the intersection 7L 1 and the intersection 7R 1 between the respective scanning lines 9 on the left and right camera images and the rail 7 are calculated.
  • step S24 the intersection 8L 2 and the intersection 8R 2 with the scanning line 9 and the rail 8 are calculated.
  • the lengths of the intersection 7L 1 and the intersection 8L 2 shown in FIG. 4 are L 1 L 2
  • the lengths of the intersection 7R 1 and the intersection 8R 2 are R 1 R 2
  • L 1 L 2 and R 1 R 2 are estimated line widths (estimated position information), respectively.
  • the calibration unit 3 reads the intersections of the rails 7 and 8 and the scanning line 9 on the corrected traveling binocular image, that is, the X coordinates of the intersections 7L 1 and 8L 2 , the intersection 7R 1 and the intersection 8R 2.
  • the difference in the pixel positions of the X coordinates is calculated, and the estimated line width is calculated based on the triangulation (step S25).
  • the reference line width and the estimated line width are compared, and it is determined whether or not the difference between the reference line width and the estimated line width is equal to or greater than the threshold value (steps S26 and S27).
  • the simple calibration calculation in the forward monitoring device 110 will be described.
  • the simple calibration calculation the difference between the pixel position of the X coordinate of the reference line width and the estimated line width is calculated, and among the corrected running binocular images, for example, the left camera image is used as a reference, and the right camera image is set in the X-axis direction.
  • a SURF Speeded-Up Robot Features
  • the correspondence relationship regarding the same feature points of the left and right camera images can be acquired, and the translational movement amount in the Y-axis direction can be calculated.
  • the translational movement in the XY-axis direction calculated in this way corrects the traveling binocular image as image correction information.
  • the binocular parallax of the intersection 7L 1 of the left camera image and the intersection 7R 1 of the right camera image are equal values.
  • the lengths of the estimated line widths L 1 L 2 and R 1 R 2 are also equal.
  • the stereo camera 10 has not been calibrated correctly, that is, if the stereo camera 10 has a misalignment of the visual axis, etc., (1) both the intersection 7L 1 of the left camera image and the intersection 7R 1 of the right camera image.
  • the binocular parallax and the binocular parallax at the intersection 8R 1 of the left camera image and the intersection 8R 2 of the right camera image have different values, or (2) the lengths of the estimated line widths L 1 L 2 and R 1 R 2. Will be different values. That is, when (1) or (2) is obtained in the running binocular image, at least one of the visual axes of the left and right cameras of the stereo camera 10 is not parallelized, or the cameras are tilted and the track surface. It is determined that the stereo camera 10 has not been calibrated because the stereo camera 10 may not be kept horizontal.
  • the binocular image during running is corrected based on the detailed calibration calculation performed before the train runs, and one landmark around the train is used.
  • the distance measurement accuracy when detecting obstacles can be improved, and the correction execution speed for the running binocular image can be improved. ..
  • the left camera image is used as a reference, but the right camera image may be used as a reference.
  • FIG. 5 is a process diagram showing a calibration process of the forward monitoring device according to the third embodiment.
  • the forward monitoring device 120 includes an image input unit 1, a landmark detection unit 2, a calibration unit 3, and a storage unit 4.
  • the front monitoring device 120 is different from the front monitoring device 100 in that a simple calibration calculation is performed by utilizing the arrangement interval of the overhead wire pillars, that is, the distance between the overhead wire pillars is constant and known.
  • the overhead wire pillar distance refers to the arrangement distance of adjacent overhead wire pillars arranged at equal intervals on the side of the rail.
  • One landmark around the train in the forward monitoring device 120 refers to the placement distance of the overhead wire pillar. The details will be described below.
  • the calibration process of the front monitoring device 120 before the train travels includes steps S1 to S5 of the front monitoring device 100, a point of storing image correction information in the storage unit 4 of step S7, and steps S20 to S20 of the front monitoring device 110. Since it is the same as in 22, detailed description of these steps will be omitted.
  • the line width described in step S21 and step S22 in the front monitoring device 110 is read as a known overhead wire pillar distance in the front monitoring device 120. That is, the calculated position information, that is, the reference overhead wire pillar distance (reference position information) is stored in the storage unit 4.
  • the calibration process of the forward monitoring device 120 while the train is running will be described with reference to FIG. Since the calibration process of the front monitoring device 120 while the train is running is the same as the steps S8 to S11 and steps S15 to S17 of the front monitoring device 100, detailed description of these steps will be omitted.
  • a line segment detection algorithm for example, a Hough transform is performed on the corrected running binocular image output in step S10. Then, the vertical edge is detected and extracted from the corrected running binocular image (step S30).
  • the extracted vertical edges are connected, and the threshold value is determined for the length of the connected vertical edges. Since the overhead wire pillar extends longer in the vertical direction than other landmarks in the left and right camera images, the accuracy of extracting the overhead wire pillar candidate by setting a threshold value for the length of the connected vertical edges and performing the threshold value determination. Can be improved.
  • the threshold value determination overhead wire column candidates are extracted from the connected vertical edges (step S31).
  • the overhead wire pillar candidates for example, those other than those existing on the left side of the rail 7 are excluded (step S32), brute force matching of each overhead wire pillar candidate is performed in the left and right camera images, and binocular parallax as a pixel value is calculated (step S32). Step S33). Since the overhead wire pillars exist on both sides of the railroad track, the overhead wire pillar candidates can be extracted by limiting the range in which the overhead wire pillars are arranged based on the positions of the rails 7 and 8 of the railroad track detected and extracted in step S11. The accuracy can be improved.
  • the estimated overhead wire pillar distance (estimated position information) is calculated, and the reference overhead wire pillar distance and the estimated overhead wire pillar distance are compared (steps S34, S35, S36). It is determined whether or not the difference between the reference overhead wire pillar distance and the estimated overhead wire pillar distance is equal to or greater than the threshold value (step S37).
  • Pixel values for individual overhead wire pillars by analyzing the vertical edge correspondence (binocular matching) in the left and right camera images based on the respective X coordinates for the positions of the overhead wire pillar candidates detected in each of the left and right camera images. Binocular parallax can be calculated. In distance measurement using the stereo camera 10, since the binocular parallax as a pixel value has a one-to-one correspondence with the distance, the distance from the train of the overhead wire pillar within the range of the assumed distance can be calculated. ..
  • the focal length f of the left and right cameras constituting the stereo camera 10 is 75 mm
  • the distance (baseline) B between the imaging centers of the stereo camera 10 is 2 m
  • the binocular parallax Z of the object to be detected is 142 pixels.
  • the distance D is obtained by the following mathematical formula 1.
  • the distance D can be calculated as 300 m.
  • the binocular disparity of an obstacle existing at a limited distance from the train to the front in the traveling direction falls within the range of 213 pixels to 426 pixels. Therefore, when analyzing the vertical edge correspondence in the left and right camera images, it is sufficient to limit the vertical edge correspondence within this range, and thereby the accuracy of calculating the distance to the overhead wire pillar can be improved.
  • the binocular image during running is corrected based on the detailed calibration calculation performed before the train runs, and one landmark around the train is used.
  • the distance measurement accuracy when detecting obstacles can be improved, and the correction execution speed for the running binocular image can be improved. ..
  • FIG. 6 is a block diagram showing the front monitoring device according to the fourth embodiment
  • FIG. 7 is a process diagram showing a calibration process of the front monitoring device according to the fourth embodiment.
  • the forward monitoring device 130 includes an image input unit 1, a landmark detection unit 2, a calibration unit 3, a storage unit 4, and a map information acquisition unit 5.
  • the front monitoring device 130 is different from the front monitoring devices 100, 110, and 120 in that the map information acquisition unit 5 is provided. Further, the forward monitoring device 130 is provided with a map database 6 externally. The details will be described below.
  • the landmark detection unit 2 of the forward monitoring device 130 calculates a motion vector from the light flow pattern brought on the binocular image during traveling by the movement of the train itself, and moves the detection area 11 based on the motion vector. To calculate the estimated line position.
  • this process is referred to as an optical flow detection process (described later). Then, a simple calibration calculation is executed during traveling based on the amount of deviation between the reference line position and the estimated line position.
  • the map information acquisition unit 5 acquires geographical information around the area where the train travels, for example, the position on the map of the train and the track position on the map from the map database 6, and the calibration unit 3 Calculate the reference track position in the binocular image while driving.
  • the calibration process of the forward monitoring device 130 while the train is running will be described with reference to FIG. 7. Since the calibration process of the front monitoring device 130 while the train is running is the same as steps S8 to S10 and steps S15 to S17 of the front monitoring device 100, detailed description of these steps will be omitted.
  • the landmark detection unit 2 sets the detection area 11 for the traveling binocular image output in step S10, and applies the optical flow detection process to the set detection area 11 (steps S40 and S41). .. From the motion vectors constituting the detected optical flow, the motion vector around the line detected in the previous frame is extracted (step S42).
  • the front frame is, for example, a frame before the position of the track changes (for example, the train is running in a straight line) when the frame in which the position of the track changes in the left and right camera images is used as the rear frame when the train approaches a curve. Point to.
  • the landmark detection unit 2 calculates the sum of the motion vectors around the extracted track (step S43), and calculates the motion vector of the detection area 11 in the traveling binocular image from the sum of the motion vectors (step S44). .. Then, the track position in the detection area 11 after movement in the traveling binocular image is detected, and the estimated track position is acquired (step S45).
  • the current position and track position of the train on the map are acquired from the map information acquisition unit 5, and the spatial track position with respect to the traveling direction of the train is calculated based on these (step S46). From the calculated spatial track position, the reference track position in the running binocular image is calculated (step S47). The amount of deviation between the reference line position and the estimated line position is compared based on the plurality of parameters described above (step S48).
  • the optical flow detection process will be described.
  • the position of a track existing in front of a train traveling on a track in the traveling direction is not constant, and the position of the track is unknown except for a place where the train travels in a straight line, such as when approaching a curve.
  • the positional relationship between the imaging direction of the stereo camera 10 mounted on the train and the track surface is fixed, the track always exists at the lower end of the image in the binocular image.
  • the calculation amount of the calibration calculation can be reduced and the accuracy of obstacle detection can be improved.
  • the position where the railroad track exists in the binocular image moves not only to the center of the lower end of the image but also to the right and left sides of the lower end of the image, so it is necessary to move the detection area 11 accordingly. There is.
  • FIG. 8 is a diagram showing a line detection method according to the fourth embodiment.
  • a detection area 11L is provided at the lower end of the binocular image, and how the detection area 11L is moved to perform track detection when the train approaches a curve will be described with reference to FIG. 8 (a) to 8 (e) show left camera images.
  • the detection area 11L refers to the detection area 11 in the left camera image.
  • FIG. 8A shows the positions of the rails 7 and 8 acquired by applying a line segment detection algorithm, for example, the Hough transform.
  • FIG. 8B shows a motion vector of the light flow pattern at the time when the train is about to approach a curve that turns to the left from the state of FIG. 8A.
  • FIG. 8B shows that the rails 7L and 8L are moving to the left in the image.
  • FIG. 8C the amount of movement in pixel units is calculated based on the motion vector of FIG. 8B to determine how much the detection area 11L should be moved, and the detection area 11L is moved from the center of the lower end of the image to the left side. Shows what you have. As a result, the rails 7L and 8L can be detected within the detection area 11L.
  • FIG. 8D shows a motion vector showing the light flow pattern at the time when the train is about to approach a curve that turns to the left from the state of FIG. 8A.
  • the amount of movement in pixel units is calculated based on the motion vector of FIG. 8 (d) to determine how much the detection area 11L should be moved, and the detection area 11L is moved from the center of the lower end of the image to the right side. Shows what you have.
  • the rails 7L and 8L can be detected within the detection area 11L.
  • 8 (a) to 8 (e) show an example of the left camera image, but the same applies to the right camera image.
  • a method for calculating the light flow pattern brought about by the movement of the camera a general method may be used.
  • the landmark detection unit 2 of the forward monitoring device 130 provides the detection area 11 for detecting the landmark in the running binocular image, and the movement on the running binocular image generated by the running of the train. Is calculated as a light flow pattern from the change of the binocular image during traveling, the movement vector of the detection area 11 is calculated from the light flow pattern, and the detection area 11 is moved to detect the landmark.
  • the forward monitoring device 130 is at least one of the three-dimensional position of the running train, the two-dimensional map around the train, the position information on the map of the railroad track on which the train runs, and the position information of the landmarks existing around the railroad track. It is provided with a map information acquisition unit 5 that acquires a train as map information.
  • the track position in the binocular image while traveling due to a curve deviates from the reference track position, the track position can be detected accurately by moving the detection area.
  • the map database 6 contains, for example, map information possessed by the train system, location information on the map by the train itself by GPS (Global Positioning System), location information of landmarks existing around the railroad track, and the like, for example, a railway company. It can be obtained via the network using a computer such as a cloud server managed by. It may be configured by a system that acquires map information and landmark position information offline in advance and acquires its own position on the map using only GPS information.
  • GPS Global Positioning System
  • forward monitoring device 130 has shown an example in which both the optical flow detection process and the map information are provided, either one may be applied to the first to third embodiments.
  • Embodiment 5 The presence or absence of an obstacle that may exist in front of the train in the traveling direction is detected by using the traveling binocular image corrected by the forward monitoring devices 100 to 130.
  • a method of setting the detection area 11 for detecting an obstacle existing between the rails at the braking distance destination will be described from the position information of the track detected in the corrected traveling binocular image.
  • FIG. 9 is a diagram showing a method of setting the detection area according to the fifth embodiment.
  • the left side view is a left camera image and the right side view is a right camera image.
  • the corrected running binocular image refers to the left camera image and the right camera image of FIG.
  • the positions of the rail 7 and the rail 8 are detected from the left and right camera images, respectively.
  • the distance from the stereo camera 10 to the object is calculated by using the difference in the X coordinates at the corresponding points having the same Y coordinate between the left and right camera images as the binocular parallax.
  • the corresponding points having the same Y coordinate are specified as the pixel positions on the rails 7 and 8, and the binocular disparity in each of the left and right camera images is calculated to brake from the train. Specify the pixel position on the line separated by the distance.
  • the scanning line 9 in FIG. 9B shows the braking distance of the train.
  • the scanning line 9 detects a point having the same Y coordinate on the rails 7 and 8.
  • the difference between the X coordinate of the intersection of the scanning line 9 and the rail 7L in the left camera image and the X coordinate of the intersection of the scanning line 9 and the rail 7R in the right camera image are calculated as binocular parallax.
  • the estimated distance from the stereo camera 10 to each intersection is calculated from the calculated binocular parallax, and if the difference between the estimated distance and the braking distance corresponding to the binocular parallax is less than or equal to a preset threshold, the estimated distance is It can be judged that it is equal to the braking distance. Then, the intersections 7L 1 and 7R 1 of the scanning lines 9 and the rails 7 and 8 are calculated as pixel positions separated by the braking distance on the rail 7 in the left and right camera images. Similarly, for the right rail, the intersections 8L 1 and 8R 1 between the scanning lines 9 and the rails 7 and 8 are calculated as pixel positions separated by the braking distance from the stereo camera 10.
  • the calculated result is shown in FIG. 9 (c). If the pixel positions of the intersections 7L 1 , 7R 1 , 8L 1 and 8R 1 on the rails 7 and 8 at the braking distance can be calculated, as shown in FIG. 9D, based on the above four intersections, as shown in FIG.
  • the detection areas 11L and 11R can be set in the area on the track ahead of the braking distance.
  • the focal length f of the left and right cameras constituting the stereo camera 10 is 75 mm
  • the distance (baseline) B between the imaging centers of the stereo camera 10 is 2 m
  • the pixel pitch p of the image sensor mounted on the stereo camera 10 is 0.003516 mm.
  • the distance D from the object to be measured, that is, the stereo camera 10 to the braking distance is set to 300 m.
  • the binocular parallax Z possessed by the obstacle can be calculated by the above-mentioned mathematical formula 1 based on triangulation.
  • the binocular parallax Z can be calculated as 142.2 pixels.
  • the binocular parallax at the track position at the braking distance can be calculated. Based on this, the detection area 11 corresponding to the upper part of the area sandwiched between the rails 7 and 8 at the braking distance is included in the binocular image. Can be set.
  • Pattern matching of the left camera image and the right camera image at the same Y-axis position in the detection area 11 is performed, and the pixel position when the reference image successfully matched is used as the left camera image and the right camera corresponding to the pixel position.
  • the binocular parallax at this time is the difference between the X coordinate of the right camera image and the X coordinate of the left camera image.
  • the reference image may be used as the right camera image.
  • FIG. 10 is a diagram showing a pattern matching operation of the forward monitoring device according to the first embodiment.
  • the detection area 11L set on the left camera image and the detection area 11R installed on the right camera image are the same in the detection area 11 with reference to, for example, the upper left corner of each detection area 11.
  • the partial areas 11La and 11Ra are scanned from the upper left corner to the lower right corner.
  • the pattern matching may be pixel value matching or matching using a feature amount such as HOG (Histogram Of Gradient).
  • FIG. 11 is a diagram showing a left-right camera image and a distance map of the front monitoring device according to the first embodiment, and FIG. 11 (a) detects a person who is an obstacle 12 who has entered the railroad track near the braking distance.
  • FIG. 11B shows an example in which a tree, which is an obstacle 13, is detected on the side of the railroad track ahead of the braking distance.
  • 11 (a) and 11 (b) show a left-to-left camera image, a right-hand camera image, and a distance map, respectively, from left to right.
  • the distance map is an obstacle obtained by analyzing the correspondence (binocular matching) in the left and right camera images with reference to the respective X coordinates of the positions of obstacles 12 and 13 detected in the left and right camera images, respectively.
  • the results of binocular parallax relating to 12 and 13 are converted into a distance map in the form of an image.
  • FIG. 11A shows an example in which a massive obstacle 12M having a certain size and a distance value corresponding to the braking distance is detected in the detection area 11M.
  • FIG. 11B shows an example in which a vertically long obstacle 13M is detected on the side of a track having a distance value farther than the braking distance.
  • the pixel value When the calculated distance map is viewed as an image, the pixel value reflects the magnitude of the distance. That is, when the pixel value is large, the distance value is small (close), and when the pixel value is small, the distance value is large (far).
  • an obstacle having a large pixel value is shown by a solid line
  • an obstacle having a small pixel value is shown by a broken line.
  • the obstacle 12M is shown by a solid line
  • the obstacle 13M is shown by a broken line
  • the obstacle The distance value of 12M is smaller than the distance value of the obstacle 13M. That is, it can be estimated that the obstacle 12M is closer than the obstacle 13M when viewed from the train.
  • FIG. 12 is a diagram showing a distance map of the forward monitoring device according to the first embodiment, and shows an example of a distance map generated under various situations.
  • the forward monitoring device 100 determines only the case shown in FIG. 12A as a case with an obstacle.
  • FIG. 12A a person enters the vicinity of the braking distance between the rails 7M and 8M, is detected as an obstacle 12M in the detection area 11M, and the distance value of the detected block of the obstacle 12M is the braking distance.
  • 12 (b) shows a case in which an obstacle 13M is detected in the detection area 11M, but the distance value of the block of the obstacle 13M is farther than the braking distance, and FIG. In (c), although there are no obstacles in the vicinity of the braking distance, pattern matching happens to succeed discretely due to the influence of the background texture, and the calculated distance value is close to the braking distance. The case where it occurred sparsely in the detection area 11M is shown.
  • FIG. 13 is an enlarged view of the detection area of the forward monitoring device according to the first embodiment.
  • 13 (a), 13 (b), and 13 (c) show the respective detection areas 11M of the distance map in FIGS. 12 (a), 12 (b), and 12 (c), respectively. It is an enlarged view.
  • FIG. 13 as a result of specifying the spread of the distance map as a rectangle, the left end and the right end in the horizontal direction (X-axis direction) and the upper and lower ends in the vertical direction (Y-axis direction) are shown by auxiliary lines L.
  • the pixel values when the distance map is viewed as an image are scanned from the upper left end to the lower right for each column, and the difference between the distance corresponding to each pixel value and the braking distance calculated from the running speed of the train.
  • the count is +1. If the count value in each column is equal to or greater than a preset threshold value, scanning is stopped with the X coordinate as the left end.
  • the right end is scanned from the upper right end to the lower left end for each column to obtain the X coordinate of the right end.
  • the upper end is scanned line by line from the upper left end to the lower right to obtain the Y coordinate of the upper end.
  • the lower end is scanned line by line from the lower left to the upper right to obtain the Y coordinate of the lower end.
  • FIG. 14 is a process diagram showing an obstacle detection method of the forward monitoring device according to the fifth embodiment.
  • the forward monitoring devices 100 to 130 detect obstacles using the corrected corrected running binocular image.
  • the corrected running binocular image is acquired, and the track position information is acquired from the corrected running binocular image (steps S100 and S101).
  • a horizontal line scan is performed on the corrected binocular image, and the binocular parallax of the rail 7 and the binocular parallax of the rail 8 are calculated on each line (step S102).
  • step S103 Acquire the horizontal line position on the binocular image at the position where the distance corresponding to the calculated binocular parallax is equal to the braking distance (step S103).
  • a detection area 11 for detecting an obstacle is set on the track ahead of the braking distance in the corrected binocular image (step S104).
  • Pattern matching is performed between partial regions having the same Y coordinate in the detection area 11 on the corrected binocular image (step S105).
  • the difference in the X coordinates of the partial area in the detection area 11 where the matching is successful is calculated, and the binocular parallax is converted into the distance (step S106).
  • a threshold value is determined as to whether or not the pixel value has a binocular disparity close to the braking distance of the train, and the distance map is converted into a binary image (step S108). Pixel scanning is performed on the binary image in the X-axis direction and the Y-axis direction (step S109).
  • obstacle detection is performed based on the corrected binocular image during traveling that has been corrected with high accuracy and higher speed, it is possible to improve the distance measurement accuracy to the obstacle and to the braking distance ahead. It is possible to accurately determine whether or not there is an obstacle.
  • the forward monitoring devices 100 to 130 of the present disclosure may be applied to a monorail or the like, and the number of rails is two. Not limited to.
  • 1 image input unit 2 landmark detection unit, 2 calibration unit, 4 storage unit, 5 Map information acquisition unit, 6 Map database, 7, 8 rails, 9 scanning lines, 10 stereo camera, 11 detection area, 12, 13 obstacles, 100, 110, 120, 130 Forward monitoring device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本開示における前方監視装置は、列車の進行方向を撮像するステレオカメラを有し、ステレオカメラによって列車の走行前に撮像された走行前両眼画像及び走行中に撮像された走行中両眼画像が入力される画像入力部と、走行前両眼画像から列車周辺の複数のランドマークを検出するとともに、走行中両眼画像から列車周辺の１つのランドマークを検出するランドマーク検出部と、走行前両眼画像に対し、列車周辺の複数のランドマークの位置情報に基づき第１のキャリブレーション計算を行うとともに、走行中両眼画像に対し、列車周辺の１つのランドマークの位置情報に基づき第１のキャリブレーション計算よりも高速な第２のキャリブレーション計算を行うキャリブレーション部と、を備え、キャリブレーション部は、列車の走行前に実施した第１のキャリブレーション計算に基づき補正された走行中両眼画像から算出された列車周辺の１つのランドマークの推定位置情報と、列車周辺の１つのランドマークの基準の位置である基準位置情報とを比較するとともに、基準位置情報に対する推定位置情報のずれ量が閾値以上であれば、第２のキャリブレーション計算に基づき走行中両眼画像の補正を行うものである。

Description

前方監視装置及び前方監視装置のキャリブレーション方法
　本開示は、前方監視装置及び前方監視装置のキャリブレーション方法に関するものである。
　三次元の距離情報を取得し、この情報に基づいて周囲環境や自己位置を認識する三次元計測装置が知られており、例えば自動車に搭載されて実用化されている。この種の三次元計測装置は、例えば、左右一対のカメラ（以下、「ステレオカメラ」という）で撮影した同一対象物の一対の画像（以下、「両眼画像」という）についての相関を求め、同一物体に対する両眼視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により対象物までの距離を算出する。しかしながら、ステレオカメラの設置時、自動車の走行中等に、ステレオカメラの光軸がずれ、両眼視差が経時的にずれてしまう場合がある。
　このような光軸ずれを補正するため、例えば特許文献１では、ステレオカメラによる両眼画像の同一フレームから、自車両からの距離が異なる２つの対象物、例えば信号機のような停止物を検出するとともに、これらに対応する２つの停止物をナビゲーションシステムの地図情報から検出する技術が開示されている。
　画像情報から検出された２つの停止物間距離を第１の停止物間距離、地図情報から検出された２つの停止物間距離を第２の停止物間距離として算出し、第２の停止物間距離を真値として第１の停止物間距離が第２の停止物間距離に一致するように画像情報を補正する。
　このように、画像情報を補正することによって、例えば道路上に検出された障害物までの距離を正確に算出することができ、運転者は、ブレーキを踏む、障害物を避ける等の対応を行うことができる。
特開２０１７－３２３５６号公報
　しかしながら、線路上を走行する列車においては、障害物等を避けて走行することができないことから、自動車と比べてより高い測距精度が求められるが、ステレオカメラの視軸補正や傾き補正等に必要なキャリブレーション情報にずれが生じると、十分な測距精度が確保できないという課題があった。
　さらに、列車は自動車と比較して制動距離が長いため、測距精度を維持しながら安定的に障害物までの測距を行うために、両眼画像に対する補正の実行速度を高速化させる必要があるという課題があった。
　本開示は、上述の課題を解決するためになされたもので、列車周辺の複数のランドマークを用いて、列車の走行前に実施した詳細キャリブレーション計算に基づき走行中の両眼画像を補正し、列車周辺の１つのランドマークを用いて、簡易キャリブレーション計算に基づき補正された走行中の両眼画像を補正することによって、障害物検知を行う際の測距精度を向上できるとともに、走行中の両眼画像に対する補正の実行速度を向上できる前方監視装置及び前方監視装置のキャリブレーション方法を提供することを目的とする。
　本開示にかかる前方監視装置は、列車の進行方向を撮像するステレオカメラを有し、前記ステレオカメラによって列車の走行前に撮像された走行前両眼画像及び走行中に撮像された走行中両眼画像が入力される画像入力部と、前記走行前両眼画像から列車周辺の複数のランドマークを検出するとともに、前記走行中両眼画像から列車周辺の１つのランドマークを検出するランドマーク検出部と、前記走行前両眼画像に対し、列車周辺の前記複数のランドマークの位置情報に基づき第１のキャリブレーション計算を行うとともに、前記走行中両眼画像に対し、列車周辺の前記１つのランドマークの位置情報に基づき前記第１のキャリブレーション計算よりも高速な第２のキャリブレーション計算を行うキャリブレーション部と、を備え、前記キャリブレーション部は、列車の走行前に実施した前記第１のキャリブレーション計算に基づき補正された前記走行中両眼画像から算出された列車周辺の前記１つのランドマークの推定位置情報と、列車周辺の前記１つのランドマークの基準の位置である基準位置情報とを比較するとともに、前記基準位置情報に対する前記推定位置情報のずれ量が閾値以上であれば、前記第２のキャリブレーション計算に基づき前記走行中両眼画像の補正を行うものである。
　本開示にかかる前方監視装置のキャリブレーション方法は、列車の走行前にステレオカメラによって走行前両眼画像を撮像する工程と、走行前両眼画像から列車周辺の複数のランドマークを検出し、列車周辺の複数のランドマークに基づき第１のキャリブレーションを実施する工程と、第１のキャリブレーションに基づき、走行前両眼画像を補正する工程と、列車の走行中にステレオカメラによって走行中両眼画像を撮像する工程と、列車の走行前に実施した第１のキャリブレーションに基づき、走行中両眼画像を補正する工程と、補正された走行中両眼画像から列車周辺の１つのランドマークを抽出する工程と、抽出された列車周辺の１つのランドマークに基づき、列車周辺の１つのランドマークの推定位置情報を算出する工程と、推定位置情報及び列車周辺の１つのランドマークの基準の位置である基準位置情報を比較する工程と、基準位置情報及び推定位置情報の差が閾値以上であれば、列車周辺の１つのランドマークに基づき、第１のキャリブレーション計算よりも高速で第２のキャリブレーション計算を行う工程と、第２のキャリブレーションに基づき、走行中両眼画像を補正する工程とを備えるものである。
　本開示によれば、列車周辺の複数のランドマークを用いて、列車の走行前に実施した詳細キャリブレーション計算に基づき走行中の両眼画像を補正し、列車周辺の１つのランドマークを用いて、簡易キャリブレーション計算に基づき補正された走行中の両眼画像を補正することによって、障害物検知を行う際の測距精度を向上できるとともに、走行中の両眼画像に対する補正の実行速度を向上できる。
実施の形態１にかかる前方監視装置を示すブロック図。 実施の形態１にかかる前方監視装置のキャリブレーション処理を示す工程図。 実施の形態２にかかる前方監視装置のキャリブレーション処理を示す工程図。 実施の形態２にかかる補正済走行中両眼画像を示す図。 実施の形態３にかかる前方監視装置のキャリブレーション処理を示す工程図。 実施の形態４にかかる前方監視装置を示すブロック図。 実施の形態４にかかる前方監視装置のキャリブレーション処理を示す工程図。 実施の形態４にかかる線路検知方法を示す図。 実施の形態５にかかる検知エリアを設定する方法を示す図。 実施の形態５にかかる前方監視装置のパターンマッチング動作を示す図。 実施の形態５にかかる前方監視装置の左右カメラ画像及び距離マップを示す図。 実施の形態５にかかる前方監視装置の距離マップを示す図。 実施の形態５にかかる前方監視装置の検知エリア内の拡大図。 実施の形態５にかかる前方監視装置の障害物検知方法を示す工程図
実施の形態１．
　図１は、実施の形態１にかかる前方監視装置を示すブロック図であり、図２は、実施の形態１にかかる前方監視装置のキャリブレーション処理を示す工程図である。前方監視装置１００は、ステレオカメラ１０を有する画像入力部１、ランドマーク検出部２、キャリブレーション部３、及び記憶部４を備える。
　ステレオカメラ１０は、２台のカメラを備える。これらのカメラは、例えば列車前方の左側と右側にそれぞれ設置されている。左側のカメラによって左カメラ画像が撮像され、右側のカメラによって右カメラ画像が撮像される。左カメラ画像及び右カメラ画像を合わせて、両眼画像という。左側のカメラ及び右側のカメラは、線路面、すなわち線路が敷設されている地面と平行に設置される。
　以下の説明において、「列車の走行前」とは、例えば、乗客を乗せた走行（営業走行）を開始する前に、テスト走行として営業走行と同じルートを走行するケース、及び営業走行を開始する直前に、駅で停止しているケース等を指す。「列車の走行前」とは、営業走行の前後に列車が車庫で停車しているケースも含む。また、「列車の走行中」とは、営業走行を指す。
　画像入力部１は、列車の走行前及び走行中に、ステレオカメラ１０により撮像された両眼画像が入力される。図１において、画像入力部１は、ステレオカメラ１０と一体となった構成であるが、画像入力部１及びステレオカメラ１０を別体としてもよい。
　ランドマーク検出部２は、列車の走行前及び走行中に撮像された両眼画像から、ランドマークを検出する。ランドマークの一例としては、線路が該当する。
　キャリブレーション部３は、列車の走行前及び走行中に撮像された両眼画像に対し、キャリブレーション計算を行う。列車の走行前に行うキャリブレーション計算は、列車周辺のあらゆる情報、例えば列車が走行している線路、線路を構成するレール間距離、線路の両側に配置された架線柱、標識、及び信号等のランドマークに関する情報を用いて行う詳細キャリブレーション計算（第１のキャリブレーション計算）である。列車の走行中に行うキャリブレーション計算は、線路の位置情報のみを用いて、詳細キャリブレーション計算よりも高速に行う簡易キャリブレーション計算（第２のキャリブレーション計算）である。詳細キャリブレーション計算及び簡易キャリブレーション計算の詳細は後述する。
　また、キャリブレーション部３は、走行前に取得した両眼画像からさまざまなランドマークを抽出し、抽出されたランドマークに基づき詳細キャリブレーション計算を行う。そして、詳細キャリブレーション計算によって画像補正情報を得る。画像補正情報とは、カメラの視軸補正、傾き補正、及び歪み補正に関する情報である。すなわち、画像補正情報とは、詳細キャリブレーション計算の結果算出された、カメラの視軸のずれ、傾き、及び歪みを解消するための、三次元空間内での回転行列と並進行列である。
　また、キャリブレーション部３は、取得した画像補正情報に基づき、走行前に撮像された両眼画像を補正する。キャリブレーション部３は、補正された両眼画像から線路位置を取得し、基準位置情報である基準線路位置（後述）を算出する。列車の走行中に行われる両眼画像の補正は、列車の走行前に実施された詳細キャリブレーション計算によって得られた画像補正情報を用いて行われる。
　さらに、キャリブレーション部３は、走行中に撮像された両眼画像を走行前に取得した画像補正情報に基づき補正し、補正された両眼画像から線路位置を取得して、推定位置情報である推定線路位置を算出する。
　記憶部４は、詳細キャリブレーション計算によって得られた画像補正情報、及び画像補正情報に基づき算出された基準線路位置情報が記録される。図１では、前方監視装置１００が記憶部４を備えた例を示したが、別体としてもよい。この場合、画像補正情報及び基準線路位置情報は、例えば地上の制御部に記憶され、必要な時に制御部から取得して、キャリブレーション部３に入力されればよい。以下、図２を用いて、列車の走行前及び走行中における前方監視装置１００のキャリブレーション処理を説明する。
　まず、列車の走行前における前方監視装置１００のキャリブレーション処理について説明する。ステレオカメラ１０によって列車の走行前に撮像された両眼画像（以下、「走行前両眼画像」という）が、画像入力部１に入力される（ステップＳ１）。
　キャリブレーション部３は、走行前両眼画像に対して詳細キャリブレーション計算を行い、画像補正情報、すなわちキャリブレーション計算の計算結果を算出する（ステップＳ２、Ｓ３）。詳細キャリブレーション計算とは、列車の進路方向前方に存在するさまざまなランドマーク、例えば線路、線路を構成するレール間距離、線路の両側に配置された架線柱、標識、及び信号等に関する情報を網羅的に活用したキャリブレーション計算である。
　キャリブレーション部３は、ステップＳ３で得られた画像補正情報に基づき、走行前両眼画像の補正を実施する（ステップＳ４）。「画像の補正」とは、詳細キャリブレーション計算の結果算出された画像補正情報に基づき、走行前両眼画像に対するカメラの視軸のずれ、傾き、及び歪みの影響を解消することである。
　ランドマーク検出部２は、補正済走行前両眼画像から線路位置を検出し、抽出する（ステップＳ５）。ここで、線路位置の抽出とは、補正済走行前両眼画像に対してエッジ抽出を行い、抽出されたエッジに基づき補正済走行前両眼画像における線路位置を特定することを指す。
　キャリブレーション部３は、画像補正が実施された補正済走行前両眼画像から、基準線路位置を算出する（ステップＳ６）。基準線路位置は、走行中に行う簡易キャリブレーション計算において、基準となる線路位置であり、ステレオカメラ１０に対する線路面の幾何学的な位置関係が固定であることを利用して、補正済走行前両眼画像から算出される。画像補正情報及び基準線路位置は、記憶部４に記憶される（ステップＳ７）。
　次に、列車の走行中における前方監視装置１００のキャリブレーション処理について説明する。ステレオカメラ１０によって列車の走行中に撮像された両眼画像（以下、「走行中両眼画像」という）が画像入力部１に入力される（ステップＳ８）。
　キャリブレーション部３は、列車の走行前に取得した画像補正情報を記憶部４から取得し、取得した画像補正情報に基づき、走行中両眼画像を補正し、補正済走行中両眼画像を出力する（ステップＳ９、Ｓ１０）。ランドマーク検出部２は、出力された補正済走行中両眼画像から、線路位置を検出し、抽出する（ステップＳ１１）。キャリブレーション部３は、抽出された線路位置から、推定線路位置を算出する（ステップＳ１２）。
　キャリブレーション部３は、列車の走行前に取得した基準線路位置、及び列車の走行中に取得した推定線路位置を比較し、基準線路位置に対する推定線路位置のずれ量を算出する（ステップＳ１３）。ここで、ずれ量とは、複数のパラメータ、例えば三次元空間内における、ステレオカメラ１０の回転によるずれの大きさ及び併進によるずれの大きさを指す。これらのずれは、ステレオカメラ１０の左右のカメラそれぞれに起こりうる。
　複数のパラメータにおいて、ずれ量が閾値以上のパラメータがあるか否かを判定し（ステップＳ１４）、１つでもずれ量が閾値以上のパラメータがあれば、キャリブレーション部３は簡易キャリブレーション計算を行い、新たな画像補正情報を取得して、記憶部４に画像補正情報を記憶させる（ステップＳ１５、Ｓ１６、Ｓ１７）。そして、新たな画像補正情報に基づき、走行中両眼画像を補正する。簡易キャリブレーション計算は、基準線路位置に対する推定線路位置のずれを解消するための、三次元空間内での回転行列と並進行列を算出し、算出された結果を画像補正情報とする。
　また、いずれのパラメータもずれ量が閾値未満であれば（ステップＳ１４）、処理を終了する。
　このように、前方監視装置１００は、列車の進行方向を撮像するステレオカメラ１０を有し、ステレオカメラ１０によって列車の走行前に撮像された走行前両眼画像及び走行中に撮像された走行中両眼画像が入力される画像入力部１と、走行前両眼画像から列車周辺の複数のランドマークを検出するとともに、走行中両眼画像から列車周辺の１つのランドマーク、すなわち線路位置を検出するランドマーク検出部２と、走行前両眼画像に対し、列車周辺の複数のランドマークの位置情報に基づき第１のキャリブレーション計算を行うとともに、走行中両眼画像に対し、列車周辺の１つのランドマークの位置情報に基づき第１のキャリブレーション計算よりも高速な第２のキャリブレーション計算を行うキャリブレーション部３と、を備える。キャリブレーション部３は、列車の走行前に実施した第１のキャリブレーション計算に基づき補正された走行中両眼画像から算出された列車周辺の１つのランドマークの推定位置情報と、列車周辺の１つのランドマークの基準の位置である基準位置情報とを比較するとともに、基準位置情報に対する推定位置情報のずれ量が閾値以上であれば、第２のキャリブレーション計算に基づき走行中両眼画像の補正を行うものである。
　以上のように、列車周辺の複数のランドマークを用いて、列車の走行前に実施した詳細キャリブレーション計算に基づき走行中の両眼画像を補正し、列車周辺の１つのランドマークを用いて、簡易キャリブレーション計算に基づき補正された走行中の両眼画像を補正することによって、障害物検知を行う際の測距精度を向上できるとともに、走行中の両眼画像に対する補正の実行速度を向上できる。
実施の形態２．
　図３は、実施の形態２にかかる前方監視装置のキャリブレーション処理を示す工程図である。前方監視装置１１０は、画像入力部１、ランドマーク検出部２、キャリブレーション部３、及び記憶部４を備える。前方監視装置１１０は、線路を構成する２本のレール間距離、すなわち線路幅が既知であることを利用し、両眼画像に対して簡易キャリブレーション計算を実施する点で、前方監視装置１００とは異なる。また、前方監視装置１１０における、列車周辺の１つのランドマークとは、線路幅を指す。以下、詳細を説明する。
　まず、列車の走行前における前方監視装置１１０のキャリブレーション処理について説明する。前方監視装置１１０の列車の走行前におけるキャリブレーション処理は、前方監視装置１００におけるステップＳ１～ステップＳ５、及びステップＳ７の記憶部４に画像補正情報を記憶させる点は同様であるため、これらの工程の詳細な説明は省略する。
　線路面からステレオカメラ１０が設置されている位置までの高さと、線路面に対するステレオカメラ１０の俯角を算出する（ステップＳ２０）。ステップＳ２０で算出された高さ、俯角、及び補正済走行中両眼画像から抽出された線路位置に基づき、線路幅を画素数として算出する（ステップＳ２１）。画素数として算出された線路幅は、基準線路幅（基準位置情報）として記憶部４に記憶される（ステップＳ２２）。
　次に、列車の走行中における前方監視装置１１０のキャリブレーション処理について説明する。前方監視装置１１０の列車の走行中におけるキャリブレーション処理は、前方監視装置１００のステップＳ８～Ｓ１０、及びステップＳ１５～Ｓ１７と同様であるため、これらの工程の詳細な説明は省略する。
　ここで、図４は、実施の形態２にかかる補正済走行中両眼画像を示す図である。図４の左カメラ画像及び右カメラ画像において、高さ方向をＹ軸方向とし、幅方向をＸ軸方向とする。図４中のＸ軸に平行な破線は、走査線９を示す。走査線９は、例えば列車の制動距離を示す。制動距離とは、運転者がブレーキをかけて列車を停止させるまでの距離のうち、実際にブレーキがきき始めてから停まるまでの距離を指す。ステレオカメラ１０の設置時に、走査線９と列車の制動距離とを一致させて列車に左右カメラを固定すればよい。制動距離の位置に左右カメラ画像上の走査線９を設定してもよい。
　以下の説明において、左カメラ画像及び右カメラ画像を合わせて、左右カメラ画像と記す場合がある。
　図４において、左カメラ画像の左側のレールをレール７Ｌと記し、右側のレールをレール８Ｌと記す。また、右カメラ画像の左側のレールをレール７Ｒと記し、右側のレールを８Ｒと記す。以下の説明において、レール７Ｌ及びレール７Ｒを合わせてレール７と記し、レール８Ｌ及びレール８Ｒを合わせてレール８と記す場合がある。
　ステップＳ８からステップＳ１０の処理の後、左右カメラ画像上のそれぞれの走査線９と、レール７との交点７Ｌ１及び交点７Ｒ１を算出する（ステップＳ２３）。同様に、走査線９、レール８との交点８Ｌ２及び交点８Ｒ２を算出する（ステップＳ２４）。
　ここで、図４に示した交点７Ｌ１及び交点８Ｌ２の長さをＬ１Ｌ２とし、交点７Ｒ１及び交点８Ｒ２の長さをＲ１Ｒ２とする。Ｌ１Ｌ２及びＲ１Ｒ２は、それぞれ推定線路幅（推定位置情報）である。キャリブレーション部３は、補正済走行中両眼画像上でレール７、８と走査線９との交点、すなわち交点７Ｌ１及び交点８Ｌ２、交点７Ｒ１、及び交点８Ｒ２のＸ座標を読み取り、Ｘ座標の画素位置の差を計算し、三角測量に基づいて推定線路幅を算出する（ステップＳ２５）。
　基準線路幅と推定線路幅とを比較し、基準線路幅及び推定線路幅の差が閾値以上か否かを判定する（ステップＳ２６、Ｓ２７）。
　ここで、前方監視装置１１０における簡易キャリブレーション計算について説明する。簡易キャリブレーション計算では、基準線路幅及び推定線路幅のＸ座標の画素位置の差を算出し、補正済走行中両眼画像のうち、例えば左カメラ画像を基準として、右カメラ画像をＸ軸方向に並進移動させる。
　右カメラ画像のＹ軸方向への並進移動については、例えばＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ）特徴量等を用いればよい。これにより、左右カメラ画像の同じ特徴点に関する対応関係を取得することができ、Ｙ軸方向への並進移動分を算出することできる。このように算出されたＸＹ軸方向への併進移動分は、画像補正情報として走行中両眼画像の補正を行う。
　ステレオカメラ１０が正しくキャリブレーションできている場合、すなわちステレオカメラ１０に視軸のずれ等が生じていない場合には、左カメラ画像の交点７Ｌ１及び右カメラ画像の交点７Ｒ１の両眼視差、並びに左カメラ画像の交点８Ｌ１及び右カメラ画像の交点８Ｒ２の両眼視差は等しい値となる。推定線路幅であるＬ１Ｌ２及びＲ１Ｒ２の長さも等しい値となる。
　一方、ステレオカメラ１０が正しくキャリブレーションできていない場合、すなわちステレオカメラ１０に視軸のずれ等が生じている場合、（１）左カメラ画像の交点７Ｌ１及び右カメラ画像の交点７Ｒ１の両眼視差、並びに左カメラ画像の交点８Ｒ１及び右カメラ画像の交点８Ｒ２の両眼視差が異なる値となる、又は（２）推定線路幅であるＬ１Ｌ２及びＲ１Ｒ２の長さが異なる値となる。すなわち、走行中両眼画像において、（１）又は（２）となった場合、ステレオカメラ１０の左右のカメラの少なくともいずれかの視軸が平行化されていないか、カメラが傾いて、線路面に対して水平を保てていない可能性があり、ステレオカメラ１０がキャリブレーションできていないと判断する。
　以上のように、列車周辺の複数のランドマークを用いて、列車の走行前に実施した詳細キャリブレーション計算に基づき走行中の両眼画像を補正し、列車周辺の１つのランドマークを用いて、簡易キャリブレーション計算に基づき補正された走行中の両眼画像を補正することによって、障害物検知を行う際の測距精度を向上できるとともに、走行中の両眼画像に対する補正の実行速度を向上できる。
　なお、列車の走行前に基準線路幅を算出する例を示したが、既知の線路幅を画素数に換算し、その値を走行中に得られた推定線路幅と比較して、簡易キャリブレーション計算を行うか否かの判定を行ってもよい。
　また、簡易キャリブレーション計算において、左カメラ画像を基準とした例を示したが、右カメラ画像を基準としてもよい。
実施の形態３．
　図５は、実施の形態３にかかる前方監視装置のキャリブレーション処理を示す工程図である。前方監視装置１２０は、画像入力部１、ランドマーク検出部２、キャリブレーション部３、及び記憶部４を備える。前方監視装置１２０は、架線柱の配置間隔、すなわち架線柱距離が一定且つ既知であることを利用して簡易キャリブレーション計算を実施する点で、前方監視装置１００とは異なる。ここで、架線柱距離とは、レール脇に等間隔で配置された、隣接する架線柱の配置距離を指す。前方監視装置１２０における、列車周辺の１つのランドマークは、架線柱の配置距離を指す。以下、詳細を説明する。
　前方監視装置１２０の列車の走行前のキャリブレーション処理は、前方監視装置１００のステップＳ１～ステップＳ５、ステップＳ７の記憶部４に画像補正情報を記憶させる点、及び前方監視装置１１０のステップＳ２０～２２と同様であるため、これらの工程の詳細な説明は省略する。
　また、前方監視装置１１０におけるステップＳ２１及びステップＳ２２に記載の線路幅を、前方監視装置１２０では既知の架線柱距離と読み替える。すなわち、算出された位置情報である基準架線柱距離（基準位置情報）が記憶部４に記憶される。
　列車の走行中における前方監視装置１２０のキャリブレーション処理について、図５を用いて説明する。前方監視装置１２０の列車の走行中におけるキャリブレーション処理は、前方監視装置１００におけるステップＳ８～Ｓ１１、及びステップＳ１５～Ｓ１７と同様であるため、これらの工程の詳細な説明は省略する。
　架線柱は、左右カメラ画像中では鉛直方向、つまり線路面から上方に伸びているため、ステップＳ１０で出力された補正済走行中両眼画像に対して、線分検知アルゴリズム、例えばハフ変換を実施し、補正済走行中両眼画像から縦エッジを検出し、抽出する（ステップＳ３０）。
　抽出された縦エッジを連結し、連結された縦エッジの長さに対して閾値判定を行う。架線柱は、左右カメラ画像中の他のランドマークよりも縦方向に長く伸びているため、連結された縦エッジの長さに閾値を設け、閾値判定を行うことにより、架線柱候補抽出の精度を向上できる。閾値判定により、連結された縦エッジの中から架線柱候補を抽出する（ステップＳ３１）。
　架線柱候補のうち、例えばレール７の左側に存在するもの以外を排除し（ステップＳ３２）、左右カメラ画像において各架線柱候補の総当たりマッチングを行い、画素値としての両眼視差を算出する（ステップＳ３３）。架線柱は線路の両脇に存在するため、ステップＳ１１で検出及び抽出された線路のレール７、８の位置を基準に、架線柱が配置された範囲を限定することによって、架線柱候補抽出の精度を向上できる。
　画素値としての両眼視差と距離は１対１の対応関係を有することから、列車から架線柱までの想定距離外のマッチングペアを排除し、残ったマッチングペアに対応する距離から架線柱間の推定架線柱距離（推定位置情報）を算出して、基準架線柱距離及び推定架線柱距離を比較する（ステップＳ３４、Ｓ３５、Ｓ３６）。基準架線柱距離及び推定架線柱距離の差が閾値以上か否かを判定する（ステップＳ３７）。
　左右カメラ画像のそれぞれにおいて検出された架線柱候補の位置を、それぞれのＸ座標を基準に、左右カメラ画像における縦エッジの対応（両眼マッチング）を解析することにより、個々の架線柱に関する画素値としての両眼視差を算出することができる。ステレオカメラ１０を用いた測距において、画素値としての両眼視差は、距離と１対１の対応関係であるから、想定された距離の範囲内にある架線柱の列車からの距離が算出できる。
　ここで、左右カメラ画像の対応関係で算出された両眼視差から、対象物までの距離Ｄを算出する方法について説明する。それぞれのパラメータは、ステレオカメラ１０を構成する左右カメラの焦点距離ｆを７５ｍｍ、ステレオカメラ１０の撮像中心間の距離（ベースライン）Ｂを２ｍ、ステレオカメラ１０に搭載された画像センサの画素ピッチｐを０．００３５１６ｍｍ、検出すべき対象物が持つ両眼視差Ｚを１４２画素とする。このとき、距離Ｄは以下の数式１により求められる。
Figure JPOXMLDOC01-appb-M000001
　これにより、距離Ｄは３００ｍと算出できる。
　上述のパラメータにおいて、列車から進行方向前方への限定された距離、例えば列車から１００ｍ～２００ｍの間に存在する障害物が持つ両眼視差は、２１３画素から４２６画素の範囲に収まる。そのため、左右カメラ画像における縦エッジ対応を解析する際は、この範囲内の縦エッジ対応に限定すればよく、これにより架線柱までの距離算出の精度を向上できる。
　以上のように、列車周辺の複数のランドマークを用いて、列車の走行前に実施した詳細キャリブレーション計算に基づき走行中の両眼画像を補正し、列車周辺の１つのランドマークを用いて、簡易キャリブレーション計算に基づき補正された走行中の両眼画像を補正することによって、障害物検知を行う際の測距精度を向上できるとともに、走行中の両眼画像に対する補正の実行速度を向上できる。
　なお、列車の走行前に基準架線柱距離を算出する例を示したが、既知の架線柱距離を画素数に換算し、その値を走行中に得られた推定架線柱距離と比較して、簡易キャリブレーション計算を行うか否かの判定を行ってもよい。
実施の形態４．
　図６は、実施の形態４にかかる前方監視装置を示すブロック図であり、図７は、実施の形態４にかかる前方監視装置のキャリブレーション処理を示す工程図である。前方監視装置１３０は、画像入力部１、ランドマーク検出部２、キャリブレーション部３、記憶部４、及び地図情報取得部５を備える。前方監視装置１３０は、地図情報取得部５を備える点で、前方監視装置１００、１１０、１２０と異なる。さらに、前方監視装置１３０は、外部に地図データベース６を備える。以下、詳細を説明する。
　実施の１～３において、列車がカーブにさしかかった場合、走行中両眼画像中の線路位置は、基準線路位置からずれてしまう。そのため、前方監視装置１３０のランドマーク検出部２は、列車自身の動きによって走行中両眼画像上にもたらされる光流動パターンから動きベクトルを算出し、動きベクトルに基づいて検知エリア１１を移動させることにより、推定線路位置を算出する。以下、この処理をオプティカルフロー検出処理（後述）という。そして、基準線路位置と推定線路位置とのずれ量に基づき、走行中に簡易キャリブレーション計算を実行する
　さらに、前方監視装置１３０では、地図情報取得部５が、列車が走行する周辺の地理的情報、例えば列車の地図上の位置及び地図上の線路位置を地図データベース６から取得し、キャリブレーション部３で走行中両眼画像中の基準線路位置を算出する。
　列車の走行中における前方監視装置１３０のキャリブレーション処理について、図７を用いて説明する。前方監視装置１３０の列車の走行中におけるキャリブレーション処理は、前方監視装置１００のステップＳ８～Ｓ１０、及びステップＳ１５～Ｓ１７と同様であるため、これらの工程の詳細な説明は省略する。
　ランドマーク検出部２は、ステップＳ１０において出力された走行中両眼画像に対して検知エリア１１を設定し、設定された検知エリア１１に対してオプティカルフロー検出処理を適用する（ステップＳ４０、Ｓ４１）。検出されたオプティカルフローを構成する動きベクトルのうち、前フレームで検出された線路周辺の動きベクトルを抽出する（ステップＳ４２）。前フレームとは、例えば列車がカーブにさしかかり、左右カメラ画像内における線路の位置が変化したフレームを後フレームとした時、線路の位置が変化する前（列車が直線を走っている等）のフレームを指す。
　ランドマーク検出部２は、抽出された線路周辺の動きベクトルの総和を計算し（ステップＳ４３）、動きベクトルの総和から、走行中両眼画像における検知エリア１１の移動ベクトルを算出する（ステップＳ４４）。そして、走行中両眼画像における、移動後の検知エリア１１内での線路位置を検知し、推定線路位置取得する（ステップＳ４５）。
　地図情報取得部５から、地図上における列車の現在位置及び線路位置を取得して、これらに基づき列車の進行方向に対する空間的な線路位置を算出する（ステップＳ４６）。算出された空間的な線路位置から、走行中両眼画像中の基準線路位置を算出する（ステップＳ４７）。基準線路位置と推定線路位置とのずれ量を、上述した複数のパラメータに基づき比較する（ステップＳ４８）。
　ここで、オプティカルフロー検出処理について説明する。一般に、線路上を走行する列車の進行方向前方に存在する線路位置は一定ではなく、カーブにさしかかる場合等、一直線に進む箇所以外では、線路の存在位置は未知である。また、列車に搭載されたステレオカメラ１０の撮像方向と、線路面との位置関係は固定であるため、両眼画像中において、線路は必ず画像下端に存在する。
　これを前提に、例えば画像下端の中央に検知エリア１１を設けることにより、キャリブレーション計算の計算量を削減できるとともに、障害物検知の精度を向上できる。しかしながら、線路がカーブにさしかかる場合、両眼画像中の線路が存在する位置は、画像下端の中央だけではなく、画像下端の右側及び左側にも移動するため、それに伴い検知エリア１１も移動させる必要がある。
　図８は、実施の形態４にかかる線路検知方法を示す図である。両眼画像の下端に検知エリア１１Ｌを設け、列車がカーブにさしかかる際に、検知エリア１１Ｌをどのように移動させて線路検知を行うかについて、図８を用いて説明する。図８（ａ）～図８（ｅ）は、いずれも左カメラ画像を示す。検知エリア１１Ｌは、左カメラ画像での検知エリア１１を指す。
　図８（ａ）は、線分検知アルゴリズム、例えばハフ変換を適用し、取得されたレール７、８の位置を示す。図８（ｂ）は、図８（ａ）の状態から列車が左に曲がるカーブにさしかかろうとしている時点における光流動パターンを動きベクトルで示したものである。図８（ｂ）では、画像内においてレール７Ｌ、８Ｌが左に移動していることを示している。図８（ｃ）は、検知エリア１１Ｌをどれだけ移動させるべきか、図８（ｂ）の動きベクトルに基づき画素単位の移動量を算出し、検知エリア１１Ｌを画像下端の中央から左側に移動させたものを示す。これにより、レール７Ｌ、８Ｌを検知エリア１１Ｌ内で検出することができる。
　図８（ｄ）は、図８（ａ）の状態から列車が左に曲がるカーブにさしかかろうとしている時点の光流動パターンを動きベクトルで示したものである。図８（ｅ）は、検知エリア１１Ｌをどれだけ移動させるべきか、図８（ｄ）の動きベクトルに基づき画素単位の移動量を算出し、検知エリア１１Ｌを画像下端の中央から右側に移動させたものを示す。これにより、レール７Ｌ、８Ｌを検知エリア１１Ｌ内で検出することができる。図８（ａ）～図８（ｅ）では、左カメラ画像の例を示したが、右カメラ画像も同様である。カメラの動きによりもたらされる光流動パターンの算出方法については、一般的な方法を用いればよい。
　このように、前方監視装置１３０のランドマーク検出部２は、走行中両眼画像中にランドマークを検知する検知エリア１１を設け、列車が走行することにより発生する走行中両眼画像上の動きを、走行中両眼画像の変化から光流動パターンとして算出し、光流動パターンから検知エリア１１の移動ベクトルを算出し、検知エリア１１を移動させてランドマークを検知するものである。
　また、前方監視装置１３０は、走行中の列車の３次元位置、列車周辺の２次元地図、列車が走行する線路の地図上の位置情報、及び線路周辺に存在するランドマークの位置情報の少なくともいずれかを地図情報として取得する地図情報取得部５を備えるものである。
　以上のように、カーブにより走行中両眼画像中の線路位置が基準線路位置とずれた場合でも、検知エリアを移動させることにより、精度よく線路位置を検出することができる。
　なお、地図データベース６は、例えば、列車システムが持つ地図情報、列車自身が持つＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）による地図上の位置情報、又は線路周辺に存在するランドマークの位置情報等を、例えば鉄道会社が管理するクラウドサーバー等の計算機によりネットワーク経由で入手すればよい。事前にオフラインで地図情報とランドマークの位置情報とを取得し、ＧＰＳ情報のみ利用して地図上の自己位置を取得するシステムによって構成してもよい。
　また、前方監視装置１３０は、オプティカルフロー検出処理及び地図情報のいずれも備える例を示したが、いずれか一方を実施の形態１～３に適用してもよい。
実施の形態５．
　前方監視装置１００～１３０で補正された走行中両眼画像を用いて、列車の進行方向前方に存在しうる障害物の有無を検出する。以下、補正済走行中両眼画像において検出された線路の位置情報から、制動距離先のレール間に存在する障害物を検知する検知エリア１１を設定する方法について説明する。
　図９は、実施の形態５にかかる検知エリアを設定する方法を示す図である。図９（ａ）～図９（ｄ）において、それぞれ左側の図は左カメラ画像であり、右側の図は右カメラ画像である。補正済走行中両眼画像は、図９の左カメラ画像及び右カメラ画像を指す。
　図９（ａ）に示すように、左右カメラ画像のそれぞれからレール７及びレール８の位置を検出する。一般に、ステレオカメラ１０におけるステレオ視では、左右カメラ画像間で同じＹ座標を持つ対応点におけるＸ座標の差を両眼視差として、ステレオカメラ１０から対象物までの距離を算出する。
　左右カメラ画像におけるそれぞれのレール７、８について、同じＹ座標をもつ対応点を、レール７、８上の画素位置として特定し、左右カメラ画像のそれぞれにおける両眼視差を算出して、列車から制動距離だけ離れた線路上の画素位置を特定する。
　図９（ｂ）中の走査線９は、列車の制動距離を示す。走査線９は、レール７、８上で同じＹ座標を持つ点を検出する。走査線９と左カメラ画像におけるレール７Ｌとの交点のＸ座標、及び走査線９と右カメラ画像におけるレール７Ｒとの交点のＸ座標の差を、両眼視差として算出する。
　算出された両眼視差から、ステレオカメラ１０から各交点までの推定距離を算出し、推定距離と、両眼視差に相当する制動距離との差が予め設定した閾値以下であれば、推定距離は制動距離に等しいと判断できる。そして、左右カメラ画像におけるレール７上の制動距離だけ離れた画素位置として走査線９とレール７、８との交点７Ｌ１、７Ｒ１を算出する。同様に、右レールにおいても、走査線９とレール７、８との交点８Ｌ１、８Ｒ１を、ステレオカメラ１０から制動距離だけ離れた画素位置として算出する。
　算出した結果を図９（ｃ）に示す。制動距離先にあるレール７、８上の交点７Ｌ１、７Ｒ１、８Ｌ１、及び８Ｒ１の画素位置が算出できれば、図９（ｄ）に示すように、上述した４つの交点を基準に、制動距離先の線路上の領域に検知エリア１１Ｌ、１１Ｒを設定できる。
　ここで、上で述べた両眼視差の算出方法について説明する。ステレオカメラ１０を構成する左右カメラの焦点距離ｆを７５ｍｍ、ステレオカメラ１０の撮像中心間の距離（ベースライン）Ｂを２ｍ、ステレオカメラ１０に搭載された画像センサの画素ピッチｐを０．００３５１６ｍｍ、及び測距対象、すなわちステレオカメラ１０から制動距離までの距離Ｄを３００ｍとする。左右カメラ画像における距離Ｄの位置、すなわち列車の位置から３００ｍ先に障害物が存在するとき、三角測量に基づいて障害物が持つ両眼視差Ｚは、上述した数式１によって算出できる。これにより、両眼視差Ｚを１４２．２画素と算出できる。
　このように、制動距離先の線路位置における両眼視差を算出できるので、これに基づき制動距離先でのレール７、８に挟まれた領域の上方に相当する検知エリア１１を両眼画像中に設定できる。
　検知エリア１１内で左カメラ画像及び右カメラ画像の同じＹ軸位置でのパターンマッチングを行い、マッチングが成功した基準画像を左カメラ画像としたときの画素位置と、その画素位置に対応する右カメラ画像との両眼視差を記録する。このときの両眼視差は、右カメラ画像のＸ座標と左カメラ画像のＸ座標の差分である。なお、基準画像を左カメラ画像とする例を示したが、基準画像を右カメラ画像としてもよい。
　図１０は、実施の形態１にかかる前方監視装置のパターンマッチング動作を示す図である。図１０において、左カメラ画像上に設定された検知エリア１１Ｌ、及び右カメラ画像上に設置された検知エリア１１Ｒ内を、例えばそれぞれの検知エリア１１の左上隅を基準として、検知エリア１１内の同じ部分領域１１Ｌａ、１１Ｒａを左上隅から右下隅までスキャンする。パターンマッチングは、画素値マッチングでもよく、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ　Ｏｆ　Ｇｒａｄｉｅｎｔ）等の特徴量を用いたマッチングでもよい。
　図１１は、実施の形態１にかかる前方監視装置の左右カメラ画像及び距離マップを示す図であり、図１１（ａ）は、制動距離近辺の線路内に進入した障害物１２である人を検出した例を示し、図１１（ｂ）は、制動距離の先の線路脇に、障害物１３である樹木を検出した例を示す。図１１（ａ）及び図１１（ｂ）は、それぞれ左から左カメラ画像、右カメラ画像、距離マップを示す。距離マップとは、左右カメラ画像のそれぞれにおいて検出された障害物１２、１３の位置を、それぞれのＸ座標を基準に、左右カメラ画像における対応（両眼マッチング）を解析し、得られた障害物１２、１３に関する両眼視差の結果を画像の形式で距離マップ化したものである。
　図１１（ａ）の距離マップでは、検知エリア１１Ｍ内に、ある一定のサイズを持った、制動距離に相当する距離値を持った塊状の障害物１２Ｍが検出される。これに対し、図１１（ｂ）は制動距離よりも離れた距離値の線路脇に縦長の障害物１３Ｍが検出される例である。
　算出された距離マップを画像と見たとき、画素値は距離の大小を反映する。すなわち、画素値が大きい場合は距離値が小さく（近い）、画素値が小さい場合は距離値が大きい（遠い）と言える。
　図１１では、説明のために、画素値の大きな障害物を実線で示し、画素値の小さな障害物を破線で示す。図１１に示すように、障害物１２Ｍが実線で示され、障害物１３Ｍが破線で示されている場合、すなわち、障害物１２Ｍの画素値よりも障害物１３Ｍの画素値が大きい場合、障害物１２Ｍの距離値は、障害物１３Ｍの距離値よりも小さい。つまり、列車から見て、障害物１２Ｍは障害物１３Ｍよりも近距離にあると推定できる。
　図１２は、実施の形態１にかかる前方監視装置の距離マップを示す図であり、様々な状況下で生成された距離マップの例を示す。前方監視装置１００では、図１２（ａ）のケースのみを障害物ありのケースとして判定する。
　図１２（ａ）は、レール７Ｍ、８Ｍの間の制動距離近辺に人が進入し、検知エリア１１Ｍ内に障害物１２Ｍとして検知され、検知された障害物１２Ｍの塊が持つ距離値が制動距離と一致しているケースを示し、図１２（ｂ）は、検知エリア１１Ｍ内に障害物１３Ｍが検知されたが、障害物１３Ｍの塊が持つ距離値が制動距離より遠いケースを示し、図１２（ｃ）は、実際には制動距離近辺に障害物は存在しないが、背景のテクスチャの影響でたまたまパターンマッチングが離散的に成功し、算出された距離値が制動距離に近い粒状の塊が、検知エリア１１Ｍ内にまばらに発生したケースを示す。
　図１３は、実施の形態１にかかる前方監視装置の検知エリア内の拡大図である。図１３（ａ）、図１３（ｂ）、及び図１３（ｃ）は、それぞれ図１２（ａ）、図１２（ｂ）、及び図１２（ｃ）における、距離マップのそれぞれの検知エリア１１Ｍを拡大した図である。図１３は、距離マップの広がりを矩形として特定した結果の、水平方向（Ｘ軸方向）の左端及び右端と、垂直方向（Ｙ軸方向）の上端及び下端を補助線Ｌで示している。
　補助線Ｌで囲まれた距離マップの広がりの上下左右端の決め方を説明する。例えば左端は、距離マップを画像とみたときの画素値を左上端から右下端へ向かって列毎にスキャンし、各画素値に相当する距離と列車の走行速度から算出される制動距離との差が、予め設定した閾値以下であればカウント＋１とする。各列におけるカウント値が、予め設定した閾値以上であればそのＸ座標を左端としてスキャンを停止する。
　同様に右端は、右上端から左下端に向かって列毎にスキャンすることで右端のＸ座標を得る。上端は、左上端から右下端に向かって行毎にスキャンすることで上端のＹ座標を得る。下端は、左下端から右上端に向かって行毎にスキャンすることで下端のＹ座標を得る。このようにして、図１３において補助線で示した距離マップの広がりを矩形で取得することができる。
　図１４は、実施の形態５にかかる前方監視装置の障害物検知方法を示す工程図である。前方監視装置１００～１３０は、補正された補正済走行中両眼画像を用いて、障害物検知を行う。
　補正済走行中両眼画像を取得し、補正済走行中両眼画像から線路の位置情報を取得する（ステップＳ１００、Ｓ１０１）。補正済両眼画像上で水平ラインスキャンを行い、各ライン上でレール７の両眼視差及びレール８の両眼視差を算出する（ステップＳ１０２）。
　算出された両眼視差に相当する距離が制動距離に等しい位置の両眼画像上の水平ライン位置を取得する（ステップＳ１０３）。補正済両眼画像における制動距離先の線路上に障害物を検知する検知エリア１１を設定する（ステップＳ１０４）。
　補正済両眼画像上の検知エリア１１内で同じＹ座標を持つ部分領域同士のパターンマッチングを実施する（ステップＳ１０５）。マッチング成功した検知エリア１１内の部分領域のＸ座標の差を算出し、両眼視差から距離に変換する（ステップＳ１０６）。
　左右カメラ画像上で対応する画素値を算出された距離とする距離マップを生成する（ステップＳ１０７）。列車の制動距離に近い両眼視差を持つ画素値かどうかを閾値判定し、距離マップを二値画像化する（ステップＳ１０８）。二値画像に対してＸ軸方向およびＹ軸方向に画素スキャンを実施する（ステップＳ１０９）。
　検知エリア１１内に閾値以上のサイズを持つ塊領域の有無を判定し、閾値以上のサイズを持つ塊が存在すれば、制動距離先に障害物が存在すると判定し、閾値以上のサイズを持つ塊が存在しなければ、制動距離先に障害物はないと判定する（ステップＳ１１０～Ｓ１１３）。
　以上のように、本開示は、精度よく、より高速に補正された補正済走行中両眼画像に基づき障害物検知を行うため、障害物までの測距精度を向上できるとともに、制動距離先に障害物が存在するか否かを精度よく判定することができる。
　なお、本開示において、２本のレールから構成された線路を用いた例を示したが、本開示の前方監視装置１００～１３０は、モノレール等に適用してもよく、レールの数は２本に限定されない。
　また、本開示において、各実施の形態を自由に組み合わせることや、各実施の形態を適宜、変形、省略することも、本開示の範囲に含まれる。
１　画像入力部、２　ランドマーク検出部２　キャリブレーション部、４　記憶部、
５　地図情報取得部、６　地図データベース、７、８　レール、９　走査線、
１０　ステレオカメラ、１１　検知エリア、１２、１３　障害物、
１００、１１０、１２０、１３０　前方監視装置。

Claims (8)

  1. 　列車の進行方向を撮像するステレオカメラを有し、前記ステレオカメラによって列車の走行前に撮像された走行前両眼画像及び走行中に撮像された走行中両眼画像が入力される画像入力部と、
    　前記走行前両眼画像から列車周辺の複数のランドマークを検出するとともに、前記走行中両眼画像から列車周辺の１つのランドマークを検出するランドマーク検出部と、
    　前記走行前両眼画像に対し、列車周辺の前記複数のランドマークの位置情報に基づき第１のキャリブレーション計算を行うとともに、前記走行中両眼画像に対し、列車周辺の前記１つのランドマークの位置情報に基づき前記第１のキャリブレーション計算よりも高速な第２のキャリブレーション計算を行うキャリブレーション部と、を備え、
    　前記キャリブレーション部は、列車の走行前に実施した前記第１のキャリブレーション計算に基づき補正された前記走行中両眼画像から算出された列車周辺の前記１つのランドマークの推定位置情報と、列車周辺の前記１つのランドマークの基準の位置である基準位置情報とを比較するとともに、前記基準位置情報に対する前記推定位置情報のずれ量が閾値以上であれば、前記第２のキャリブレーション計算に基づき前記走行中両眼画像の補正を行う、
    前方監視装置。
  2. 　前記列車周辺の前記１つのランドマークは、線路位置であり、
    　前記基準位置情報は、補正された前記走行前両眼画像から算出された線路の位置情報であり、
    　前記推定位置情報は、補正された前記走行中両眼画像から算出された線路の位置情報である、
    請求項１に記載の前方監視装置。
  3. 　前記列車周辺の前記１つのランドマークは、線路幅であり、
    　前記基準位置情報は、既知の線路幅から算出された線路幅の情報であり、
    　前記推定位置情報は、補正された前記走行中両眼画像から算出された線路幅の情報である、
    請求項１に記載の前方監視装置。
  4. 　前記列車周辺の前記１つのランドマークは、架線柱の配置距離であり、
    　前記基準位置情報は、既知の架線柱の配置距離から算出された架線柱の配置距離の情報であり、
    　前記推定位置情報は、補正された前記走行中両眼画像から算出された架線柱の配置距離の情報である、
    請求項１に記載の前方監視装置。
  5. 　前記ランドマーク検出部は、前記走行中両眼画像中に前記ランドマークを検知する検知エリアを設け、前記列車が走行することにより発生する前記走行中両眼画像上の動きを、前記走行中両眼画像の時系列変化から光流動パターンとして算出し、前記光流動パターンから前記検知エリアの移動ベクトルを算出し、前記検知エリアを移動させて前記ランドマークを検知する、
    請求項１～４のいずれか一項に記載の前方監視装置。
  6. 　走行中の前記列車の３次元位置、前記列車周辺の２次元地図、前記列車が走行する線路の地図上の位置情報、及び前記列車周辺のランドマークの位置情報の少なくともいずれかを地図情報として取得する地図情報取得部を備える、
    請求項１～５のいずれか一項に記載の前方監視装置。
  7. 　列車の走行前にステレオカメラによって走行前両眼画像を撮像する工程と、
    　前記走行前両眼画像から列車周辺の複数のランドマークを検出し、列車周辺の前記複数のランドマークに基づき第１のキャリブレーションを実施する工程と、
    　前記第１のキャリブレーションに基づき、前記走行前両眼画像を補正する工程と、
    　列車の走行中にステレオカメラによって走行中両眼画像を撮像する工程と、
    　前記列車の走行前に実施した前記第１のキャリブレーションに基づき、前記走行中両眼画像を補正する工程と、
    　補正された前記走行中両眼画像から列車周辺の１つのランドマークを抽出する工程と、
    　抽出された列車周辺の前記１つのランドマークに基づき、列車周辺の前記１つのランドマークの推定位置情報を算出する工程と、
    　前記推定位置情報及び列車周辺の前記１つのランドマークの基準の位置である基準位置情報を比較する工程と、
    　前記基準位置情報及び前記推定位置情報の差が閾値以上であれば、列車周辺の前記１つのランドマークに基づき、前記第１のキャリブレーション計算よりも高速で第２のキャリブレーション計算を行う工程と、
    　前記第２のキャリブレーションに基づき、前記走行中両眼画像を補正する工程と
    を備える、前方監視装置のキャリブレーション方法。
  8. 　補正された前記走行前両眼画像から列車周辺の１つのランドマークを抽出する工程と、
    　抽出された列車周辺の前記１つのランドマークに基づき、前記基準位置情報を算出する工程と
    を備える、請求項７に記載の前方監視装置のキャリブレーション方法。
PCT/JP2019/034902 2019-09-05 2019-09-05 前方監視装置及び前方監視装置のキャリブレーション方法 WO2021044564A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/034902 WO2021044564A1 (ja) 2019-09-05 2019-09-05 前方監視装置及び前方監視装置のキャリブレーション方法
JP2021543878A JP7143956B2 (ja) 2019-09-05 2019-09-05 前方監視装置及び前方監視装置のキャリブレーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/034902 WO2021044564A1 (ja) 2019-09-05 2019-09-05 前方監視装置及び前方監視装置のキャリブレーション方法

Publications (1)

Publication Number Publication Date
WO2021044564A1 true WO2021044564A1 (ja) 2021-03-11

Family

ID=74853186

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034902 WO2021044564A1 (ja) 2019-09-05 2019-09-05 前方監視装置及び前方監視装置のキャリブレーション方法

Country Status (2)

Country Link
JP (1) JP7143956B2 (ja)
WO (1) WO2021044564A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024195207A1 (ja) * 2023-03-22 2024-09-26 株式会社日立製作所 補正装置および補正方法
WO2024201869A1 (ja) * 2023-03-30 2024-10-03 株式会社Subaru 計測システム、情報処理装置、情報処理方法及び記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015175635A (ja) * 2014-03-13 2015-10-05 ヤマハ発動機株式会社 距離推定装置およびそれを備えた車両
JP2018153375A (ja) * 2017-03-17 2018-10-04 日立アプライアンス株式会社 電気機器、電気機器としての自律走行型掃除機、及び、電気機器とベースとを有するシステム
JP2019078700A (ja) * 2017-10-27 2019-05-23 株式会社東芝 情報処理装置および情報処理システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6699323B2 (ja) * 2016-04-26 2020-05-27 株式会社明電舎 電車設備の三次元計測装置及び三次元計測方法
JP6903477B2 (ja) * 2017-04-21 2021-07-14 株式会社東芝 軌道識別装置、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015175635A (ja) * 2014-03-13 2015-10-05 ヤマハ発動機株式会社 距離推定装置およびそれを備えた車両
JP2018153375A (ja) * 2017-03-17 2018-10-04 日立アプライアンス株式会社 電気機器、電気機器としての自律走行型掃除機、及び、電気機器とベースとを有するシステム
JP2019078700A (ja) * 2017-10-27 2019-05-23 株式会社東芝 情報処理装置および情報処理システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024195207A1 (ja) * 2023-03-22 2024-09-26 株式会社日立製作所 補正装置および補正方法
WO2024201869A1 (ja) * 2023-03-30 2024-10-03 株式会社Subaru 計測システム、情報処理装置、情報処理方法及び記録媒体

Also Published As

Publication number Publication date
JP7143956B2 (ja) 2022-09-29
JPWO2021044564A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
JP6301828B2 (ja) 誘導用線路に沿って移動する車両の速度及び位置を測定する装置、並びに対応する方法及びコンピュータプログラム製品
US11085775B2 (en) Methods and systems for generating and using localisation reference data
US10589763B2 (en) Method and measuring system for registering a fixed point adjacent a track
CN102037735B (zh) 用于车辆照相机的照相机外在参数的自标定方法
WO2021128777A8 (en) Method, apparatus, device, and storage medium for detecting travelable region
CN108692719B (zh) 物体检测装置
US20090041337A1 (en) Image processing apparatus and method
US20170176998A1 (en) Method and system for determining the position of a vehicle
JP4363295B2 (ja) ステレオ画像による平面推定方法
KR102305328B1 (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
US12033400B2 (en) Overhead-view image generation device, overhead-view image generation system, and automatic parking device
JP2006053757A (ja) 平面検出装置及び検出方法
EP3282389B1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
JP6524529B2 (ja) 建築限界判定装置
JP7491844B2 (ja) 鉄道線路上の関心点または線を位置特定し、鉄道線路上に介入マシンを位置決めし、かつ駆動するための方法
CN110015304A (zh) 用于求取和提供地面特性的方法和系统
WO2018179281A1 (ja) 物体検出装置及び車両
WO2021044564A1 (ja) 前方監視装置及び前方監視装置のキャリブレーション方法
WO2019073772A1 (ja) 移動体の位置推定装置及び位置推定方法
KR20110060315A (ko) 도로주행 로봇의 자기 위치 인식방법
EP3287948B1 (en) Image processing apparatus, moving body apparatus control system, image processing method, and program
JP2006053754A (ja) 平面検出装置及び検出方法
JPH06225308A (ja) 走行路検出装置
JP2020006845A (ja) 線路曲率推定装置及び方法
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19944012

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021543878

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19944012

Country of ref document: EP

Kind code of ref document: A1