WO2019088021A1 - 軌道識別装置 - Google Patents

軌道識別装置 Download PDF

Info

Publication number
WO2019088021A1
WO2019088021A1 PCT/JP2018/040108 JP2018040108W WO2019088021A1 WO 2019088021 A1 WO2019088021 A1 WO 2019088021A1 JP 2018040108 W JP2018040108 W JP 2018040108W WO 2019088021 A1 WO2019088021 A1 WO 2019088021A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
feature amount
unit
captured image
feature
Prior art date
Application number
PCT/JP2018/040108
Other languages
English (en)
French (fr)
Inventor
拓也 二神
雄介 高橋
広幸 小林
雄史 鴨
高橋　功
陽平 服部
Original Assignee
株式会社東芝
東芝インフラシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝, 東芝インフラシステムズ株式会社 filed Critical 株式会社東芝
Priority to CN201880071035.0A priority Critical patent/CN111295320B/zh
Priority to SG11202003850UA priority patent/SG11202003850UA/en
Priority to EP18872317.5A priority patent/EP3705370A4/en
Publication of WO2019088021A1 publication Critical patent/WO2019088021A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20121—Active appearance model [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • Embodiments of the present invention relate to a trajectory identification device.
  • the trajectory identification apparatus includes an image acquisition unit, a feature amount selection unit, a feature data derivation unit, and a line detection unit.
  • the image acquisition unit acquires a captured image obtained by capturing an area in the traveling direction of the railway vehicle.
  • the feature amount selecting unit selects one feature amount to be used for line detection from a plurality of feature amounts that can be a scale representing a line likeness based on a predetermined reference for each of a plurality of pixel groups in a captured image.
  • the feature data derivation unit derives feature data based on one feature amount selected by the feature amount selection unit from each of the plurality of pixel groups.
  • the line detection unit detects the line from the captured image based on the result of the derivation of the feature data derivation unit.
  • FIG. 1 is an exemplary and schematic diagram showing a configuration of a vehicle system including a track identification apparatus according to a first embodiment.
  • FIG. 2 is an exemplary and schematic block diagram showing the function of the trajectory identification apparatus according to the first embodiment.
  • FIG. 3 is an exemplary schematic diagram showing an example of a captured image that can be acquired in the first embodiment.
  • FIG. 4 is an exemplary schematic diagram showing another example of a captured image that can be acquired in the first embodiment.
  • FIG. 5 is an exemplary and schematic view showing a bird's-eye view image generated by converting the captured image shown in FIG. 3 in the first embodiment.
  • FIG. 6 is an exemplary and schematic view showing a bird's-eye view image generated by converting the captured image shown in FIG. 4 in the first embodiment.
  • FIG. 1 is an exemplary and schematic diagram showing a configuration of a vehicle system including a track identification apparatus according to a first embodiment.
  • FIG. 2 is an exemplary and schematic block diagram showing the function of the trajectory identification apparatus according to the first embodiment.
  • FIG. 7 is an exemplary and schematic diagram for explaining feature data based on luminance values, which can be derived in the first embodiment.
  • FIG. 8 is an exemplary and schematic diagram for describing feature data based on a gradient in the X direction of luminance values, which can be derived in the first embodiment.
  • FIG. 9 is an exemplary and schematic diagram for describing feature data based on a gradient in the Y direction of luminance values, which can be derived in the first embodiment.
  • FIG. 10 is an exemplary and schematic diagram for describing an outline of a method of calculating the angle of (the part of) the already detected line that can be used in the first embodiment.
  • FIG. 11 is an exemplary and schematic diagram for describing a method for detecting (parts of) a line from an area after the initial area, which can be used in the first embodiment.
  • FIG. 12 is an exemplary and schematic diagram showing a captured image in which coordinate points constituting the line detected in the first embodiment are plotted.
  • FIG. 13 is an exemplary schematic diagram showing an example of an image output to the display unit when it is determined in the first embodiment that a focused object is present in the determination area.
  • FIG. 14 is an exemplary and schematic flowchart showing the flow of processing performed by the trajectory identification apparatus according to the first embodiment.
  • FIG. 15 is an exemplary and schematic flowchart showing the flow of processing executed when the trajectory identification apparatus according to the first embodiment selects a feature of an initial area.
  • FIG. 16 is an exemplary and schematic flowchart showing the flow of processing executed when the trajectory identification apparatus according to the first embodiment selects a feature of the next area.
  • FIG. 17 is an exemplary and schematic block diagram showing the function of the trajectory identification apparatus according to the second embodiment.
  • FIG. 18 is an exemplary and schematic flowchart showing the flow of processing executed when the trajectory identification apparatus according to the second embodiment selects a feature of the next area.
  • FIG. 19 is an exemplary and schematic block diagram showing the function of the trajectory identification apparatus according to the third embodiment.
  • FIG. 20 is an exemplary and schematic flowchart showing the flow of processing executed when the trajectory identification apparatus according to the third embodiment selects a feature of an initial area.
  • FIG. 21 is an exemplary and schematic flowchart showing the flow of processing executed when the trajectory identification apparatus according to the third embodiment selects a feature of the next area.
  • FIG. 1 is an exemplary and schematic diagram showing the configuration of a vehicle system 100 including a track identification device 20 according to the first embodiment.
  • a vehicle system 100 is mounted on a railway vehicle RV traveling along a direction D on a track R configured by a pair of rails.
  • the vehicle system 100 includes a camera 10 as an imaging unit, a display unit 15, and a track identification device 20.
  • the camera 10 is provided at an end (for example, a driver's seat) of the railway vehicle RV, and images a region in the traveling direction of the railway vehicle RV.
  • the captured image obtained by the camera 10 includes the line R.
  • the display unit 15 is a device that displays various images.
  • the display unit 15 is provided on the driver's seat or the like of the railway vehicle RV.
  • the trajectory identification device 20 is configured as, for example, a computer having hardware such as a processor and a memory.
  • the traveling direction of the railway vehicle RV is used for the purpose of inspection of the track R and detection of an obstacle (gaze object requiring a gaze) present in the track R.
  • Various techniques for detecting the line R are studied from the captured image obtained by imaging the area. In such a technique, it is desirable to detect the line R more accurately from the captured image.
  • the track identification device 20 is provided with the following functions, thereby realizing more accurate detection of the line R from the captured image.
  • FIG. 2 is an exemplary and schematic block diagram showing the function of the trajectory identification device 20 according to the first embodiment.
  • the trajectory identification device 20 includes an image acquisition unit 401, an image conversion unit 402, a feature amount selection unit 403, a feature data derivation unit 404, a line detection unit 405, and a determination area identification unit.
  • a gaze target monitoring unit 407, an output control unit 408, and a storage unit 409 are included.
  • One of functional modules such as an image acquisition unit 401, an image conversion unit 402, a feature amount selection unit 403, a feature data derivation unit 404, a line detection unit 405, a determination area identification unit 406, a gaze object monitoring unit 407, and an output control unit 408.
  • Part or all is realized by cooperation of hardware and software, more specifically, the processor of the trajectory identification device 20 reads out and executes a program stored in the memory.
  • some or all of the functional module groups may be realized by dedicated hardware (circuit).
  • the storage unit 409 is realized by various volatile or nonvolatile storage media including a memory provided in the trajectory identification device 20.
  • the storage unit 409 includes the program executed by the processor of the track identification device 20 and various information described later (detected line information 410, focused object information 411, and line width used for detection of the line R according to the program).
  • Information 412, initial area information 413, and track position information 414) are stored.
  • the image acquisition unit 401 acquires a captured image captured by the camera 10.
  • the captured image is, for example, a color image.
  • the reflection of the line R in the captured image changes in accordance with the imaging environment (for example, the brightness of the surroundings).
  • FIG. 3 is an exemplary schematic diagram showing an example of a captured image that can be acquired in the first embodiment.
  • the area 201 corresponding to the line R appears brighter than the surrounding area.
  • Such an image 200 may be acquired in an imaging environment where the line R is prone to light reflection.
  • FIG. 4 is an exemplary and schematic diagram showing another example of the captured image that can be acquired in the first embodiment. Unlike the image 200 shown in FIG. 3, in the image 300 shown in FIG. 4, the area 301 corresponding to the line R appears darker than the surrounding area. Such an image 300 may be acquired in an imaging environment where the line R is less likely to cause light reflection.
  • the curved line R is reflected on the back side (the side far from the camera 10), but in the first embodiment, only the straight line R is A captured image in which the image is captured may also be acquired.
  • the image conversion unit 402 performs a viewpoint conversion process and the like on the captured image acquired by the image acquisition unit 401 to generate a bird's-eye-view image in which the area captured by the camera 10 is viewed from above.
  • the way of capturing the width of a pair of rails constituting the track R is substantially on the near side (front side) and the far side (back side) with respect to the camera 10 It becomes the same.
  • FIG. 5 is an exemplary and schematic view showing a bird's-eye view image generated by converting the captured image shown in FIG. 3 in the first embodiment.
  • the area 501 corresponding to the line R appears brighter than the surrounding area.
  • an area A0 is an initial area (details will be described later) set in advance as an area serving as a starting point of detection of the line R (an area 501 corresponding to the line R).
  • FIG. 6 is an exemplary and schematic view showing a bird's-eye view image generated by converting the captured image shown in FIG. 4 in the first embodiment.
  • the area 601 corresponding to the line R appears darker than the surrounding area.
  • the reflection of the line R in the bird's-eye view image also changes in accordance with the imaging environment, as in the case of the captured image before conversion. Therefore, in order to detect the line R from a bird's-eye view image by image processing, it is necessary to appropriately select a feature amount as a scale representing the line R likeness according to the imaging environment.
  • the entire image 500 as a bird's-eye view image is an area where the luminance value is equal to or higher than the threshold value; If the feature data in which the luminance value is less than the threshold value and which is divided by 2 (binarized) is derived, it is possible to detect the region 501 corresponding to the line R with high accuracy.
  • This method is robust against noise because it is single as a feature amount, and it is easy to apply to a line detection algorithm using an existing line segment detection algorithm such as Hough transform or RANSAC. Because it is useful.
  • FIG. 7 is an exemplary and schematic diagram for explaining feature data based on luminance values, which can be derived in the first embodiment.
  • the image 700 shown in FIG. 7 is derived by binarizing the entire image 500 shown in FIG. 5 into a region where the luminance value is greater than or equal to the threshold and a region where the luminance value is less than the threshold.
  • Corresponding to the feature data In the image 700 shown in FIG. 7, a region 701 corresponding to the entire line R is clearly shown. Therefore, from the image 700 shown in FIG. 7, it is possible to detect the whole of the line R accurately.
  • the gradient of the luminance value can be calculated by the SOBEL filter, Laplacian filter, Robinson filter, Canny filter, or the like.
  • the line R extends from the front side to the back side at the viewpoint of the camera 10, so usually, the gradient in the horizontal axis (x axis) direction of the luminance value is focused on as the feature value.
  • the region 601 corresponding to the line R is curved on the way from the near side to the far side at the viewpoint of the camera 10. Therefore, in the image 600 shown in FIG. 6, the gradient in the vertical axis (y-axis) direction of the brightness value is larger than the gradient in the horizontal axis direction of the brightness value in the region on the back side.
  • FIG. 8 is an exemplary and schematic diagram for describing feature data based on a gradient in the X direction of luminance values, which can be derived in the first embodiment.
  • the image 800 shown in FIG. 8 focuses on the gradient in the horizontal axis direction of the luminance value, and the entire image 600 shown in FIG. 6 is divided into two regions: a region where the gradient is above the threshold and a region where the gradient is below the threshold. It corresponds to the feature data derived by (binarizing).
  • a region 801 corresponding to the line R (before curve) shown in the region on the front side of the image 600 shown in FIG. 6 is clearly shown.
  • An area corresponding to the track R (after being curved) shown in the area on the back side of the image 600 to be displayed does not appear at all. Therefore, from the image 800 shown in FIG. 8, it is possible to accurately detect only the line R before the curve.
  • FIG. 9 is an exemplary and schematic diagram for describing feature data based on the gradient of the luminance value in the Y direction, which can be derived in the first embodiment.
  • the image 900 shown in FIG. 9 focuses on the gradient in the vertical axis direction of the luminance value, and the entire image 600 shown in FIG. 6 is divided into two regions: a region where the gradient is above the threshold and a region where the gradient is below the threshold. It corresponds to the feature data derived by (binarizing).
  • a region 901 corresponding to the track R (after being curved) shown in the region on the back side of the image 600 shown in FIG. 6 is clearly shown.
  • the area corresponding to the line R (before the curve) shown in the area on the front side of the image 600 to be captured is not shown at all. Therefore, from the image 900 shown in FIG. 9, it is possible to accurately detect only the curved line R.
  • the feature amount to be focused on in order to detect the line R accurately varies depending on the situation, such as the imaging environment of a captured image (bird eye image) or the portion of the line R to be detected. Therefore, in order to accurately detect the line R from any captured image (bird's-eye view image), it is important to appropriately switch the feature amount used for detecting the line R according to the situation.
  • the feature selection unit 403 can be a scale representing the line R likeness based on a predetermined reference for each of a plurality of pixel groups (areas) in the bird's-eye view image generated by the image conversion unit 402. From a plurality of feature quantities, one feature quantity to be used for detection of the line R is selected. Then, the feature data derivation unit 404 derives feature data based on one feature amount selected by the feature amount selection unit 403 from each of the plurality of areas. Then, the line detection unit 405 detects the line R from the captured image (bird's eye view image) based on the derivation result of the feature data derivation unit 404.
  • the line detection unit 405 transmits the line from the initial area (the area A0 in the example shown in FIG. 5) to be detected first among the plurality of pixel groups (areas) described above. After detecting a part of R, the process of sequentially detecting a part of the line R from the next area based on the detected part of the line R is sequentially repeated to obtain a line from the entire captured image (bird's-eye view image) Detect R Then, each time the line detection unit 405 detects a part of the line R, the feature amount selection unit 403 relates at least a part of the line R already detected by the line detection unit 405 as the predetermined reference described above. Using the information, one feature amount corresponding to the next area is selected.
  • the feature quantity selection unit 403 performs image statistics on light and dark in a captured image (bird's-eye view image) of a part of the line R already detected by the line detection unit 405 as the predetermined reference described above. Using the quantities, one feature quantity corresponding to the next area is selected.
  • the image statistics relating to light and dark are, for example, average luminance values.
  • a bird's-eye image to be processed is based on a captured image acquired in an imaging environment where the line R is likely to cause light reflection (FIGS. 3 and 5 It can be determined whether or not the line R is based on a captured image acquired in an imaging environment where light is not easily reflected (see FIGS. 4 and 6).
  • the area corresponding to the part of the line R appears brighter than the other areas in the captured image (bird eye image) It can be said that In such a case, as described above, it is effective to focus on the luminance value itself as the feature amount corresponding to the next area.
  • the feature amount selection unit 403 sets the brightness value itself as the feature amount of the next area according to the magnitude relationship between the average brightness value of a part of the line R already detected and the threshold value. It is determined whether to select or to select the gradient of the luminance value.
  • the feature amount selection unit 403 starts from the next area based on the angle of the part of the line R already detected by the line detection unit 405 (the direction in which the part of the line R extends). Whether to select the gradient in the horizontal axis direction of the luminance value or to select the gradient in the vertical axis direction of the luminance value is determined as one feature quantity used to detect a part of the line R.
  • FIG. 10 is an exemplary schematic diagram for illustrating an outline of a method of calculating the angle of (the part of) the already detected line R that can be used in the first embodiment.
  • (xL1, yL1), (xR1, yR1), (xL2, yL2), (xR2, yR2), (xL3) are used as coordinate points that form a part of the line R.
  • YL3 and (xR3, yR3) have already been detected.
  • Information on these coordinate points is stored in the storage unit 409 as line position information 414.
  • the feature amount selecting unit 403 has already detected the line R based on the following equation (1). Calculate the angle of part of
  • the presence or absence of the curve of the line R can be determined. That is, when the calculation result of the equation (1) is equal to or more than the threshold value, it can be estimated that the line R has no curve in the line R and the line R extends in the vertical axis direction also in the next area A to be detected If the calculation result of the equation (1) is less than the threshold value, it can be estimated that the line R has a curve, and the line R extends in the horizontal axis direction in the next area A to be detected.
  • the threshold is determined in advance according to, for example, a change in aspect ratio after conversion from the captured image to the bird's-eye image.
  • the feature amount selecting unit 403 selects the gradient in the horizontal axis direction of the luminance value as the feature amount when the calculation result of the above equation (1) is equal to or more than the threshold, and the calculation result of the above equation (1) is If it is less than the threshold value, the gradient in the vertical axis direction of the luminance value is selected as the feature value.
  • the feature amount corresponding to the area A is selected as
  • the angle of a part of the line R already detected may be calculated based on the following equation (2) instead of the above equation (1).
  • the number of parameters used for the calculation is greater than that of the above equation (1), so that the direction in which the already-detected line R extends can be calculated more accurately.
  • the feature amount selection unit 403 corresponds to each of the plurality of areas using at least the position in each captured image (bird's-eye view image) of the plurality of areas as the predetermined reference described above One feature amount may be selected.
  • detection of a part of the line R from a part of the area of the captured image (bird eye image) while selectively switching the plurality of feature amounts is sequentially repeated.
  • a method of detecting the whole is adopted.
  • an intermediate result of the detection processing of the line R up to that point is considered.
  • the initial area is the area to be detected first, there is no intermediate result as described above. Therefore, in order to detect a part of the line R from the initial area, the detection result of the line R with respect to a past (for example, one frame before) captured image (bird's-eye view image) is used.
  • the image acquisition unit 401 acquires a captured image a plurality of times as the railway vehicle RV progresses. Then, when the feature amount selecting unit 403 selects one feature amount corresponding to the initial area in the captured image (bird's-eye view image) obtained at a certain timing, as a predetermined reference for selecting the one feature amount.
  • Information on a part of the line R detected from the initial area in at least a bird's-eye view image (a bird's-eye view image based on a captured image one frame before) obtained at a timing before a certain timing Image statistics are used. Information regarding the line R detected based on a captured image one frame before is assumed to be stored in the storage unit 409 as detected line information 410.
  • the initial area is set at a predetermined position as an area serving as the starting point of the detection of the line R.
  • the position of the initial area is stored in advance in the storage unit 409 as initial area information 413.
  • the line detection unit 405 first refers to the initial area information 413 of the storage unit 409 to obtain the initial area from the feature data derived based on the feature amount selected by the above method. Extract the data of the area corresponding to Then, the line detection unit 405 performs a process based on a line segment detection algorithm such as Hough transform or RANSAC on the extracted data, thereby extracting (possibly) line R candidate existing in the initial area Do.
  • a line segment detection algorithm such as Hough transform or RANSAC
  • the width of a pair of rails which constitutes regular track R is decided beforehand. Therefore, if information on the widths of the pair of rails constituting the normal line R is acquired, it is possible to identify (a part of) the normal line R from the candidates extracted as described above. Therefore, in the first embodiment, the widths of the pair of rails constituting the line R are stored in advance in the storage unit 409 as the line width information 412.
  • the line detection unit 405 refers to the line width information 412 of the storage unit 409, and further extracts a candidate having a width matching the width indicated by the line width information 412 from the candidates extracted as described above. Thus, the normal line R is identified (detected). Then, the line detection unit 405 stores a plurality of coordinate points that make up the specified line R as the line position information 414 in the storage unit 409. For example, in the example shown in FIG. 10, four coordinate points of (xL1, yL1), (xR1, yR1), (xL2, yL2), and (xR2, yR2) are stored in the storage unit 409.
  • FIG. 11 is an exemplary schematic diagram for illustrating an outline of a method for detecting (part of) the line R from the area after the initial area, which can be used in the first embodiment.
  • the line detection unit 405 first sets a predetermined fan-shaped area based on the two coordinate points detected most recently, as shown in FIG.
  • the fan-shaped area means the two coordinate points from the coordinate point (xLb, yLb) opposite to the initial area of the two coordinate points (xLa, yLa) and (xLb, yLb) detected most recently. It is a region divided by imaginary lines VR and VL extending so as to spread at the same angle ⁇ in the left and right around the connecting straight line L.
  • the angle ⁇ is a preset angle, for example, an angle covering the range of the maximum curvature defined by the standard of the line R and the like.
  • the lengths of the virtual lines VR and VL are preset lengths.
  • the line detection unit 405 sets one arbitrary point at the upper end of the fan-shaped area and a coordinate point serving as the starting point of the fan-shaped area.
  • a plurality of line segments connecting exhaustively with (xLa, xLb) are set.
  • the plurality of line segments are candidates for (parts of) the line R.
  • the line detection unit 405 applies the plurality of candidates extracted as described above to the bird's-eye view image, and among the plurality of candidates, the one with the largest average value of the feature amounts selected by the feature amount selection unit 403 is selected. Identify (detect) as (part of) the normal line R.
  • the line detection unit 405 identifies (detects) the normal line R for the other rail in the same manner as described above.
  • the above procedure is sequentially repeated to detect the entire line R from the entire captured image (bird eye image). Then, information related to (the entire) of the detected line R is stored in the storage unit 409 as detected line information 410, for example, in the following format.
  • FIG. 12 is an exemplary schematic diagram showing a captured image in which coordinate points constituting the line R detected in the first embodiment are plotted.
  • an image 1200 as shown in FIG. 12 is stored in the storage unit 409 as detected line information 410.
  • an area 1201 corresponding to the line R is obtained.
  • the determination area identification unit 406 determines the presence or absence of an obstacle (a gaze object that requires a gaze) in the area near the line R in the captured image based on the detection result of the line detection unit 405. Identify as the target judgment area.
  • the focused object monitoring unit 407 monitors whether or not the focused object exists in the determination area identified by the determination area identifying unit 406.
  • Information (template) for determining the presence or absence of a gaze object is stored in the storage unit 409 as gaze object information 411.
  • the focused object monitoring unit 407 determines, based on the focused object information 411 and the feature data derived by the feature data deriving unit 404, whether or not a pixel group matching the template of the focused object exists in the determination region. Do.
  • the output control unit 408 outputs an alarm by executing processing such as outputting an image described below to the display unit 15 when it is determined that the focused object exists by the focused object monitoring unit 407. Do.
  • FIG. 13 is an exemplary schematic diagram showing an example of an image output to the display unit 15 when it is determined in the first embodiment that a focused object is present in the determination area.
  • a human 1302 as a gaze object is present in the vicinity of the region 1301 corresponding to the line R. Therefore, the output control unit 408 superimposes an indicator (icon, symbol) 1303 for calling attention in the image 1300 in order to notify the driver of the railway vehicle RV of the presence of the human 1302 as a gaze object.
  • an indicator icon, symbol
  • FIG. 14 is an exemplary and schematic flowchart showing the flow of processing performed by the trajectory identification device 20 according to the first embodiment. The processing flow shown in FIG. 14 is repeatedly performed while the railway vehicle RV is traveling.
  • the image acquisition unit 401 of the trajectory identification device 20 acquires a captured image from the camera 10.
  • the image conversion unit 402 of the trajectory identification device 20 converts the captured image acquired in S1401 into a bird's-eye view image.
  • the feature amount selection unit 403 of the trajectory identification device 20 refers to the initial area information 413 and the like of the storage unit 409, and selects a feature amount corresponding to the initial area.
  • the flow of the process executed in S1403 will be described in detail later, and thus will not be described further.
  • the feature data derivation unit 404 of the trajectory identification device 20 derives feature data based on the feature amount selected in S1403 from the bird's-eye view image (of the regions corresponding to the initial area) obtained in S1402. .
  • the line detection unit 405 of the track identification apparatus 20 uses a line segment detection algorithm such as Hough transform or RANSAC based on the feature data derived in S1404 etc. Extract
  • the line detection unit 405 refers to the line width information 412 and the like of the storage unit 409, and identifies a part of the (normal) line R from the candidates extracted in S1405.
  • step S1407 the feature amount selection unit 403 selects the feature amount of the next area.
  • the flow of the process executed in step S1407 will be described in detail later, and thus will not be described further.
  • step S1408 the feature data derivation unit 404 derives feature data based on the feature amount selected in step S1407 from the bird's-eye view image (of the regions corresponding to the current processing target area) obtained in step S1402.
  • the line detection unit 405 extracts a part of the candidates of the line R by a method using the above fan-shaped area (see FIG. 11) and the like based on the feature data and the like derived in S1408. .
  • the line detection unit 405 specifies a part of the (normal) line R from the candidates extracted in S1409 by a method using the above-described average value of the feature amounts and the like.
  • the line detection unit 405 determines whether the end condition of the detection of the line R is satisfied.
  • the end condition is, for example, that the number of times of repetition of detection processing by the line detection unit 405 becomes a predetermined number or more, or the end of (a part of) the line R finally identified by the line detection unit 405 is a bird's eye view It can be considered to be located on the upper end side of the predetermined position.
  • the determination area specifying unit 406 of the track identification apparatus 20 determines the line R to be subjected to the determination of the presence or absence of an obstacle (a gaze object that requires a gaze) from the captured image based on the detection result of the line detection unit 405. Identify the judgment area in the vicinity of an obstacle (a gaze object that requires a gaze) from the captured image based on the detection result of the line detection unit 405. Identify the judgment area in the vicinity of an obstacle (a gaze object that requires a gaze) from the captured image based on the detection result of the line detection unit 405. Identify the judgment area in the vicinity of an obstacle (a gaze object that requires a gaze) from the captured image based on the detection result of the line detection unit 405. Identify the judgment area in the vicinity of an obstacle (a gaze object that requires a gaze) from the captured image based on the detection result of the line detection unit 405. Identify the judgment area in the vicinity of an obstacle (a gaze object that requires a gaze) from the captured image based on the detection result of the line detection unit 405. Identify
  • the focused object monitoring unit 407 of the trajectory identification device 20 determines whether or not the focused object exists in the determination area specified in S1402.
  • the output control unit 408 of the trajectory identification device 20 outputs an alarm by executing processing such as outputting the image 1300 shown in FIG. 13 described above to the display unit 15 in S1414. Then, the process ends.
  • FIG. 15 is an exemplary and schematic flowchart showing the flow of processing executed when the trajectory identification apparatus 20 according to the first embodiment selects the feature value of the initial area.
  • the process flow shown in FIG. 15 shows in more detail the flow of the process executed in S1403 of FIG. 14 described above.
  • the feature selection unit 403 detects (a region corresponding to) a part of the line R detected from the initial area of the bird's-eye view image based on the captured image one frame before It is determined whether the average luminance value is equal to or greater than a threshold.
  • the feature amount selecting unit 403 selects the luminance value itself as the feature amount. Then, the process ends.
  • step S1503 the feature amount selecting unit 403 selects the gradient in the horizontal axis direction of the luminance value as the feature amount corresponding to the initial area. Then, the process ends.
  • FIG. 16 is an exemplary and schematic flowchart showing the flow of processing executed when the trajectory identification apparatus 20 according to the first embodiment selects the feature of the next area.
  • the process flow shown in FIG. 16 shows in more detail the flow of the process executed in S1407 of FIG. 14 described above.
  • the feature quantity selecting unit 403 determines whether the average luminance value of a part (an area corresponding to the part) of the already detected line R is equal to or more than a threshold.
  • the feature amount selection unit 403 selects a luminance value as the feature amount in S1602. Then, the process ends.
  • the feature amount selecting unit 403 determines whether or not the angle of part of the line R already detected is equal to or more than a threshold.
  • a threshold As a method of calculating the angle, the above-mentioned equation (1) or equation (2) can be used.
  • the feature amount selecting unit 403 selects the gradient in the horizontal axis direction of the luminance value as the feature amount. Then, the process ends.
  • the feature amount selecting unit 403 selects a gradient in the vertical axis direction of the luminance value as the feature amount. Then, the process ends.
  • the trajectory identification apparatus 20 includes the image acquisition unit 401, the feature amount selection unit 403, the feature data derivation unit 404, and the line detection unit 405.
  • the image acquisition unit 401 acquires a captured image obtained by capturing an area in the traveling direction of the railway vehicle RV.
  • the feature amount selection unit 403 determines, based on a predetermined reference, a plurality of feature amounts that can be a measure representing the likelihood of the line R for each of a plurality of pixel groups (areas) in the captured image (a bird's-eye view image). One feature quantity to be used for detection is selected.
  • the feature data derivation unit 404 derives feature data based on one feature amount selected by the feature amount selection unit 403 from each of the plurality of pixel groups.
  • the line detection unit 405 detects the line R from the captured image based on the derivation result of the feature data derivation unit. According to this configuration, an appropriate feature amount is selected for each of a plurality of pixel groups (areas) in the captured image (a bird's-eye view image based on the image), so that the line can be detected more accurately from the captured image.
  • the presence or absence of the curve of the line R is determined by using the angle of the detected line R as one of the predetermined criteria, and based on the determination result, the next area after the initial area is determined.
  • the configuration for selecting the corresponding feature amount is illustrated.
  • the presence or absence of the curve of the track R is determined by directly detecting the traveling direction of the railway vehicle RV, and based on the determination result, the next area after the initial area is determined.
  • a configuration is also conceivable in which feature amounts corresponding to the area are selected.
  • FIG. 17 is an exemplary and schematic block diagram showing the function of the trajectory identification device 20a according to the second embodiment.
  • the description of parts common to the first embodiment and the second embodiment will be omitted as appropriate.
  • the track identification apparatus 20 a includes a traveling direction acquisition unit 415 that acquires the traveling direction of the railway vehicle RV based on the output value of the gyro sensor 16.
  • the traveling direction acquisition unit 415 calculates the longitudinal, lateral, and vertical speeds of the railway vehicle RV based on the output value of the gyro sensor 16, and (roughly) the traveling direction of the railway vehicle RV based on the calculation result. to decide.
  • the feature amount selection unit 403a of the track identification apparatus 20a uses the traveling direction of the railway vehicle RV acquired by the traveling direction acquisition unit 415 as one of the predetermined criteria, thereby setting the area after the initial area. The feature amount corresponding to the next area of is selected.
  • FIG. 18 is an exemplary and schematic flowchart showing the flow of processing executed when the trajectory identification apparatus 20 a according to the second embodiment selects the feature value of the next area.
  • the process flow shown in FIG. 18 is executed instead of the same process flow (see FIG. 16) executed in the first embodiment.
  • the feature quantity selection unit 403a of the trajectory identification device 20a determines whether the average luminance value of a part (the area corresponding to that) of the already detected line R is equal to or more than the threshold value. To judge.
  • the feature amount selecting unit 403a selects a luminance value as the feature amount. Then, the process ends.
  • the feature amount selecting unit 403a determines whether the railway vehicle RV is turning and the position of the current processing target area in the vertical axis direction is higher than a predetermined position. Do.
  • the former condition is determined based on the traveling direction of the rail vehicle RV acquired by the traveling direction acquisition unit 415, and the latter condition is determined based on the track position information 414 and the like stored in the storage unit 409.
  • the feature amount selecting unit 403a selects the gradient in the vertical axis direction of the luminance value as the feature amount. Then, the process ends.
  • the feature amount selecting unit 403a selects the gradient in the horizontal axis direction of the luminance value as the feature amount. Then, the process ends.
  • the track identification device 20a according to the second embodiment further includes a traveling direction acquisition unit 415 that acquires the traveling direction of the railway vehicle RV. .
  • the feature amount selecting unit 403a according to the second embodiment uses the traveling direction acquired by the traveling direction acquiring unit 415 as a predetermined reference, and one feature corresponding to each area to be detected after the initial area Choose an amount.
  • this configuration it is possible to easily determine the presence or absence of the curve of the line R based on the traveling direction acquired by the traveling direction acquisition unit 415. Therefore, using an appropriate feature amount according to the presence or absence of the curve
  • the line R can be detected more accurately from the captured image (bird eye image).
  • a GNSS Global Positioning Satellite System
  • the traveling direction of the railway vehicle RV is obtained by repeatedly acquiring the position information of latitude and longitude obtained by the GNSS in a predetermined cycle and taking the difference between the position information acquired this time and the position information acquired last time. Can be judged.
  • the luminance value itself is obtained by using, as one of the predetermined criteria, an image statistic (such as an average luminance value) relating to light and dark of the region corresponding to the line R in the captured image
  • an image statistic such as an average luminance value
  • the configuration for determining whether to select as the feature amount or to select the gradient of the luminance value as the feature amount has been illustrated.
  • a configuration may also be considered in which the selection of the feature amount is performed in consideration of the current position of the railway vehicle RV in addition to the image statistics.
  • FIG. 19 is an exemplary and schematic block diagram showing the configuration of a trajectory identification device 20b according to the third embodiment.
  • descriptions of parts common to the first embodiment and the third embodiment will be appropriately omitted.
  • the track identification device 20 b is a position acquisition unit that acquires the current position of the railway vehicle RV based on the output value of the tacho generator 17 provided on the axle of the railway vehicle RV. It has 416.
  • the position acquisition unit 416 calculates the travel distance of the rail vehicle RV based on the output value of the tacho generator 17, and based on the calculation result and the operation information 417 stored in the storage unit 409, the current position of the rail vehicle RV. Estimate (acquire) the position.
  • the estimation result of the current position by the position acquisition unit 416 can be used for determining whether the railway vehicle RV is traveling in a tunnel. Whether or not the railway vehicle RV is traveling in the tunnel relates to whether or not the area around the railway vehicle RV is dark, and therefore, relates to the imaging environment of the captured image. As described above, since the reflection of the line R in the captured image changes according to the imaging environment, the estimation result of the current position by the position acquisition unit 416 is used to select the feature amount for detecting the line R. It is useful to consider as one of the criteria for
  • the current position of the railway vehicle RV corresponds to a place in the tunnel, it is estimated that the periphery of the railway vehicle RV is relatively dark, so in the captured image (bird eye image) acquired in this situation It is considered that the area corresponding to R appears darker than the other areas. Therefore, in such a case, as described above, it is effective to focus on the gradient of the luminance value as the feature amount.
  • the method of determining which gradient in the vertical axis direction or horizontal axis direction to focus on as the gradient of the luminance value is, for example, the same as that in the first embodiment.
  • the feature quantity selection unit 403b of the track identification apparatus 20b uses the current position of the railway vehicle RV acquired by the position acquisition unit 416 as one of the predetermined criteria to obtain the feature quantity. select.
  • FIG. 20 is an exemplary and schematic flowchart showing the flow of processing executed when the trajectory identification apparatus 20 b according to the third embodiment selects a feature of the initial area.
  • the processing flow shown in FIG. 20 is executed instead of the same processing flow (see FIG. 15) executed in the first embodiment.
  • the feature amount selection unit 403b of the trajectory identification device 20b detects a part of the line R detected from the initial area of the bird's-eye view image based on the captured image one frame before It is determined whether the average luminance value of the corresponding region is equal to or higher than the threshold and the current position of the rail vehicle RV corresponds to a place other than the tunnel.
  • step S2002 the feature amount selecting unit 403b selects the luminance value itself as the feature amount. Then, the process ends.
  • the feature amount selecting unit 403b selects the gradient in the horizontal axis direction of the luminance value as the feature amount corresponding to the initial area. Then, the process ends.
  • FIG. 21 is an exemplary and schematic flowchart showing the flow of processing executed when the trajectory identification apparatus 20 b according to the third embodiment selects the feature value of the next area.
  • the processing flow shown in FIG. 21 is executed instead of the same processing flow (see FIG. 16) executed in the first embodiment.
  • the feature quantity selection unit 403 b of the trajectory identification device 20 b determines that the average luminance value of a part (area corresponding to) of the already detected line R is equal to or more than the threshold value. In addition, it is determined whether the current position of the railway vehicle RV corresponds to a place other than the tunnel.
  • the feature amount selection unit 403b selects a luminance value as the feature amount in S2102. Then, the process ends.
  • the feature amount selecting unit 403b determines whether or not the angle of part of the line R already detected is equal to or more than the threshold.
  • the above-mentioned equation (1) or equation (2) can be used.
  • the feature amount selecting unit 403b selects the gradient in the horizontal axis direction of the luminance value as the feature amount. Then, the process ends.
  • the feature amount selecting unit 403b selects the gradient in the vertical axis direction of the luminance value as the feature amount. Then, the process ends.
  • the track identification device 20b according to the third embodiment further includes a position acquisition unit 416 that acquires the current position of the railway vehicle RV. Then, the feature quantity selection unit 403b according to the third embodiment selects one feature quantity corresponding to each area using the current position acquired by the position acquisition unit 416 as one of the predetermined reference. According to this configuration, based on the current position acquired by the position acquisition unit 416, the imaging environment in which the captured image (a bird's eye view image) is obtained can be estimated. The line R can be detected more accurately from the captured image (bird's-eye view image).
  • the feature quantity selection unit 403b causes the railway vehicle RV to branch in the future. It is possible to determine whether or not it is near, and to select an appropriate feature amount according to the traveling direction of the railway vehicle RV beyond the branch based on the determination result.
  • the structure which acquires the current position of the rail vehicle RV based on the output value of the tachometer 17 (estimated) was illustrated.
  • the current position of the railway vehicle RV can also be estimated by means other than the tachometer 17.
  • the current position of the railway vehicle RV may be estimated based on the latitude and longitude position information obtained by the GNSS.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Processing (AREA)

Abstract

実施形態にかかる軌道識別装置は、画像取得部と、特徴量選択部と、特徴データ導出部と、線路検出部と、を備える。画像取得部は、鉄道車両の進行方向の領域を撮像することで得られる撮像画像を取得する。特徴量選択部は、撮像画像における複数の画素群ごとに、所定の基準に基づいて、線路らしさを表す尺度となりうる複数の特徴量から、線路の検出に用いる１つの特徴量を選択する。特徴データ導出部は、複数の画素群の各々から、特徴量選択部により選択された１つの特徴量に基づく特徴データを導出する。線路検出部は、特徴データ導出部の導出結果に基づいて、撮像画像から線路を検出する。

Description

軌道識別装置
　本発明の実施形態は、軌道識別装置に関する。
　従来から、鉄道車両の走行中に、線路の検査や、当該線路内に存在する障害物（注視が必要な注視物）の検出などを目的として、鉄道車両の進行方向の領域を撮像することで得られる撮像画像から線路（が写った領域）を検出する技術が種々検討されている。
特開２０１５－２１０３８８号公報
　上記のような従来の技術では、撮像画像から線路をより精度良く検出することが望まれる。
　実施形態にかかる軌道識別装置は、画像取得部と、特徴量選択部と、特徴データ導出部と、線路検出部と、を備える。画像取得部は、鉄道車両の進行方向の領域を撮像することで得られる撮像画像を取得する。特徴量選択部は、撮像画像における複数の画素群ごとに、所定の基準に基づいて、線路らしさを表す尺度となりうる複数の特徴量から、線路の検出に用いる１つの特徴量を選択する。特徴データ導出部は、複数の画素群の各々から、特徴量選択部により選択された１つの特徴量に基づく特徴データを導出する。線路検出部は、特徴データ導出部の導出結果に基づいて、撮像画像から線路を検出する。
図１は、第１実施形態にかかる軌道識別装置を含む車両システムの構成を示した例示的かつ模式的な図である。 図２は、第１実施形態にかかる軌道識別装置の機能を示した例示的かつ模式的なブロック図である。 図３は、第１実施形態において取得されうる撮像画像の一例を示した例示的かつ模式的な図である。 図４は、第１実施形態において取得されうる撮像画像の他の一例を示した例示的かつ模式的な図である。 図５は、第１実施形態において、図３に示される撮像画像が変換されることで生成された鳥瞰画像を示した例示的かつ模式的な図である。 図６は、第１実施形態において、図４に示される撮像画像が変換されることで生成された鳥瞰画像を示した例示的かつ模式的な図である。 図７は、第１実施形態において導出されうる、輝度値に基づく特徴データを説明するための例示的かつ模式的な図である。 図８は、第１実施形態において導出されうる、輝度値のＸ方向の勾配に基づく特徴データを説明するための例示的かつ模式的な図である。 図９は、第１実施形態において導出されうる、輝度値のＹ方向の勾配に基づく特徴データを説明するための例示的かつ模式的な図である。 図１０は、第１実施形態において用いられうる、既に検出済の線路（の一部）の角度の算出手法の概略を説明するための例示的かつ模式的な図である。 図１１は、第１実施形態において用いられうる、初期エリア以降のエリアから線路（の一部）を検出するための手法を説明するための例示的かつ模式的な図である。 図１２は、第１実施形態において検出された線路を構成する座標点がプロットされた撮像画像を示した例示的かつ模式的な図である。 図１３は、第１実施形態において判定領域内に注視物が存在すると判定された場合に表示部に出力される画像の一例を示した例示的かつ模式的な図である。 図１４は、第１実施形態にかかる軌道識別装置が実行する処理の流れを示した例示的かつ模式的なフローチャートである。 図１５は、第１実施形態にかかる軌道識別装置が初期エリアの特徴量を選択する場合に実行する処理の流れを示した例示的かつ模式的なフローチャートである。 図１６は、第１実施形態にかかる軌道識別装置が次のエリアの特徴量を選択する場合に実行する処理の流れを示した例示的かつ模式的なフローチャートである。 図１７は、第２実施形態にかかる軌道識別装置の機能を示した例示的かつ模式的なブロック図である。 図１８は、第２実施形態にかかる軌道識別装置が次のエリアの特徴量を選択する場合に実行する処理の流れを示した例示的かつ模式的なフローチャートである。 図１９は、第３実施形態にかかる軌道識別装置の機能を示した例示的かつ模式的なブロック図である。 図２０は、第３実施形態にかかる軌道識別装置が初期エリアの特徴量を選択する場合に実行する処理の流れを示した例示的かつ模式的なフローチャートである。 図２１は、第３実施形態にかかる軌道識別装置が次のエリアの特徴量を選択する場合に実行する処理の流れを示した例示的かつ模式的なフローチャートである。
　以下、実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、以下の記載内容に限られるものではない。
＜第１実施形態＞
　まず、第１実施形態の構成について説明する。
　図１は、第１実施形態にかかる軌道識別装置２０を含む車両システム１００の構成を示した例示的かつ模式的な図である。図１に示されるように、車両システム１００は、一対のレールにより構成される線路Ｒ上を方向Ｄに沿って走行する鉄道車両ＲＶに搭載されている。
　また、図１に示されるように、車両システム１００は、撮像部としてのカメラ１０と、表示部１５と、軌道識別装置２０と、を有している。
　カメラ１０は、鉄道車両ＲＶの端部（たとえば運転席）に設けられ、鉄道車両ＲＶの進行方向の領域を撮像する。カメラ１０によって得られる撮像画像には、線路Ｒが含まれる。
　表示部１５は、各種の画像を表示する装置である。表示部１５は、鉄道車両ＲＶの運転席などに設けられる。
　軌道識別装置２０は、たとえば、プロセッサやメモリなどといったハードウェアを有したコンピュータとして構成される。
　ところで、従来から、鉄道車両ＲＶの走行中に、線路Ｒの検査や、当該線路Ｒ内に存在する障害物（注視が必要な注視物）の検出などを目的として、鉄道車両ＲＶの進行方向の領域を撮像することで得られる撮像画像から線路Ｒ（が写った領域）を検出する技術が種々検討されている。このような技術では、撮像画像から線路Ｒをより精度良く検出することが望まれる。
　そこで、第１実施形態は、軌道識別装置２０に以下のような機能を持たせることで、撮像画像から線路Ｒをより精度良く検出することを実現する。
　図２は、第１実施形態にかかる軌道識別装置２０の機能を示した例示的かつ模式的なブロック図である。図２に示されるように、軌道識別装置２０は、画像取得部４０１と、画像変換部４０２と、特徴量選択部４０３と、特徴データ導出部４０４と、線路検出部４０５と、判定領域特定部４０６と、注視物監視部４０７と、出力制御部４０８と、記憶部４０９と、を有している。
　画像取得部４０１、画像変換部４０２、特徴量選択部４０３、特徴データ導出部４０４、線路検出部４０５、判定領域特定部４０６、注視物監視部４０７、および出力制御部４０８といった機能モジュール群の一部または全部は、ハードウェアとソフトウェアとの協働によって、より具体的には軌道識別装置２０のプロセッサがメモリに記憶されたプログラムを読み出して実行することによって実現される。なお、第１実施形態では、これらの機能モジュール群の一部または全部が、専用のハードウェア（回路）によって実現されてもよい。
　一方、記憶部４０９は、軌道識別装置２０に設けられるメモリを含む揮発性または不揮発性の様々な記憶媒体によって実現される。記憶部４０９は、軌道識別装置２０のプロセッサが実行する上記のプログラムや、当該プログラムに従った線路Ｒの検出に用いられる後述する様々な情報（検出済線路情報４１０、注視物情報４１１、線路幅情報４１２、初期エリア情報４１３、および線路位置情報４１４）などを記憶する。
　画像取得部４０１は、カメラ１０により撮像された撮像画像を取得する。撮像画像は、たとえばカラー画像である。以下に例示されるように、撮像画像における線路Ｒの写り込みは、撮像環境（たとえば周囲の明るさなど）に応じて変化する。
　図３は、第１実施形態において取得されうる撮像画像の一例を示した例示的かつ模式的な図である。図３に示される画像２００においては、線路Ｒに対応した領域２０１が、周囲の領域よりも明るく写り込んでいる。このような画像２００は、線路Ｒが光の反射を起こしやすい撮像環境において取得されうる。
　一方、図４は、第１実施形態において取得されうる撮像画像の他の一例を示した例示的かつ模式的な図である。図４に示される画像３００においては、図３に示される画像２００と異なり、線路Ｒに対応した領域３０１が、周囲の領域よりも暗く写り込んでいる。このような画像３００は、線路Ｒが光の反射を起こしにくい撮像環境において取得されうる。
　なお、図３および図４に示される撮像画像には、奥側（カメラ１０に対して遠い側）でカーブした線路Ｒが写り込んでいるが、第１実施形態では、直線状の線路Ｒのみが写り込んだ撮像画像も取得されうる。
　図２に戻り、画像変換部４０２は、画像取得部４０１により取得された撮像画像に視点変換処理などを施すことで、カメラ１０が撮像した領域を上方から俯瞰で見た鳥瞰画像を生成する。以下に例示されるように、鳥瞰画像においては、線路Ｒを構成する一対のレールの幅などの写り方が、カメラ１０に対して近い側（手前側）と遠い側（奥側）とで略同一になる。
　図５は、第１実施形態において、図３に示される撮像画像が変換されることで生成された鳥瞰画像を示した例示的かつ模式的な図である。図５に示される画像５００においては、図３に示される画像２００と同様に、線路Ｒに対応した領域５０１が、周囲の領域よりも明るく写り込んでいる。なお、図５に示される画像５００において、領域Ａ０は、線路Ｒ（に対応した領域５０１）の検出の起点となる領域として予め設定された初期エリア（詳細は後述する）である。
　一方、図６は、第１実施形態において、図４に示される撮像画像が変換されることで生成された鳥瞰画像を示した例示的かつ模式的な図である。図６に示される画像６００においては、図４に示される画像３００と同様に、線路Ｒに対応した領域６０１が、周囲の領域よりも暗く写り込んでいる。
　このように、鳥瞰画像における線路Ｒの写り込みも、変換前の撮像画像におけるそれと同様に、撮像環境に応じて変化する。したがって、画像処理によって鳥瞰画像から線路Ｒを検出するためには、線路Ｒらしさを表す尺度としての特徴量を、撮像環境に応じて適切に選択する必要がある。
　たとえば、図５に示される画像５００が得られるような撮像環境では、特徴量として、輝度値そのものに着目する手法が有効である。図５に示される例においては、線路Ｒに対応した領域５０１が他の領域よりも相対的に明るく写り込んでいるため、鳥瞰画像としての画像５００全体を、輝度値が閾値以上の領域と、輝度値が閾値未満の領域と、に２分（２値化）した特徴データを導出すれば、線路Ｒに対応した領域５０１を精度良く検出することが可能である。この手法は、特徴量として着目するものが単一であるのでノイズに対して頑健であり、また、ハフ変換やＲＡＮＳＡＣなどといった既存の線分検出アルゴリズムを利用した線路検出アルゴリズムへの適用が容易であるため、有用である。
　図７は、第１実施形態において導出されうる、輝度値に基づく特徴データを説明するための例示的かつ模式的な図である。図７に示される画像７００は、図５に示される画像５００全体を、輝度値が閾値以上の領域と、輝度値が閾値未満の領域と、に２分（２値化）することで導出された特徴データに対応する。図７に示される画像７００においては、線路Ｒの全体に対応した領域７０１が明確に表れている。したがって、図７に示される画像７００からは、線路Ｒの全体を精度良く検出することが可能である。
　一方、図６に示される画像６００が得られるような撮像環境では、特徴量として、輝度値の勾配（着目する画素と当該画素に隣接する画素との輝度値の差分）に着目する手法が有効である。なお、輝度値の勾配は、ＳＯＢＥＬフィルタや、Ｌａｐｌａｃｉａｎフィルタ、Ｒｏｂｉｎｓｏｎフィルタ、Ｃａｎｎｙフィルタなどによって算出可能である。
　ここで、一般に、線路Ｒは、カメラ１０の視点で手前側から奥側に向かって延びるため、通常は、輝度値の横軸（ｘ軸）方向の勾配が特徴量として着目される。しかしながら、図６に示される画像６００においては、線路Ｒに対応した領域６０１が、カメラ１０の視点で手前側から奥側に向かう途中でカーブしている。したがって、図６に示される画像６００においては、その奥側の領域で、輝度値の横軸方向の勾配よりも、輝度値の縦軸（ｙ軸）方向の勾配の方が大きくなる。
　そこで、図６に示される画像６００が得られるような撮像環境では、特徴量として、輝度値の横軸方向の勾配と縦軸方向の勾配との両方に着目し、検出対象となるエリア（画素群）に応じて着目する勾配を切り替えながら特徴データを導出する手法が有効である。この手法は、特徴量として着目するものが増加することでノイズが増加する可能性はあるものの、カーブした線路Ｒを当該線路Ｒの延びる方向に応じて適切に検出することが可能であるため、有用である。
　図８は、第１実施形態において導出されうる、輝度値のＸ方向の勾配に基づく特徴データを説明するための例示的かつ模式的な図である。図８に示される画像８００は、輝度値の横軸方向の勾配に着目し、図６に示される画像６００全体を、勾配が閾値以上の領域と、勾配が閾値未満の領域と、に２分（２値化）することで導出された特徴データに対応する。図８に示される画像８００においては、図６に示される画像６００の手前側の領域に写った（カーブする前の）線路Ｒに対応した領域８０１が明確に表れているが、図６に示される画像６００の奥側の領域に写った（カーブした後の）線路Ｒに対応した領域は全く表れていない。したがって、図８に示される画像８００からは、カーブする前の線路Ｒのみを精度良く検出することが可能である。
　一方、図９は、第１実施形態において導出されうる、輝度値のＹ方向の勾配に基づく特徴データを説明するための例示的かつ模式的な図である。図９に示される画像９００は、輝度値の縦軸方向の勾配に着目し、図６に示される画像６００全体を、勾配が閾値以上の領域と、勾配が閾値未満の領域と、に２分（２値化）することで導出された特徴データに対応する。図９に示される画像９００においては、図６に示される画像６００の奥側の領域に写った（カーブした後の）線路Ｒに対応した領域９０１は明確に表れているが、図６に示される画像６００の手前側の領域に写った（カーブする前の）線路Ｒに対応した領域は全く表れていない。したがって、図９に示される画像９００からは、カーブした後の線路Ｒのみを精度良く検出することが可能である。
　このように、線路Ｒを精度良く検出するために着目すべき特徴量は、撮像画像（鳥瞰画像）の撮像環境や、検出対象の線路Ｒの部位など、状況に応じて様々に異なる。したがって、どのような撮像画像（鳥瞰画像）からも線路Ｒを精度良く検出するためには、線路Ｒの検出に用いる特徴量を、状況に応じて適宜切り替えることが重要となる。
　そこで、図２に戻り、特徴量選択部４０３は、画像変換部４０２により生成された鳥瞰画像における複数の画素群（エリア）ごとに、所定の基準に基づいて、線路Ｒらしさを表す尺度となりうる複数の特徴量から、線路Ｒの検出に用いる１つの特徴量を選択する。そして、特徴データ導出部４０４は、複数のエリアの各々から、特徴量選択部４０３により選択された１つの特徴量に基づく特徴データを導出する。そして、線路検出部４０５は、特徴データ導出部４０４の導出結果に基づいて、撮像画像（鳥瞰画像）から線路Ｒを検出する。
　より具体的に、第１実施形態において、線路検出部４０５は、上述した複数の画素群（エリア）のうち、最初の検出対象となる初期エリア（図５に示される例では領域Ａ０）から線路Ｒの一部を検出した後、検出した線路Ｒの一部を基準とした次のエリアから線路Ｒの一部をさらに検出する処理を順次繰り返すことで、撮像画像（鳥瞰画像）の全体から線路Ｒを検出する。そして、特徴量選択部４０３は、線路検出部４０５により線路Ｒの一部が検出されるごとに、上述した所定の基準として、少なくとも、線路検出部４０５により既に検出済の線路Ｒの一部に関する情報を用いて、次のエリアに対応した１つの特徴量を選択する。
　まず、第１実施形態において、特徴量選択部４０３は、上述した所定の基準として、線路検出部４０５により既に検出済の線路Ｒの一部の撮像画像（鳥瞰画像）内での明暗に関する画像統計量を用いて、次のエリアに対応した１つの特徴量を選択する。明暗に関する画像統計量とは、たとえば平均輝度値である。
　既に検出済の線路Ｒの一部の平均輝度値に着目すると、処理対象の鳥瞰画像が、線路Ｒが光の反射を起こしやすい撮像環境で取得された撮像画像に基づくもの（図３および図５参照）か、または、線路Ｒが光の反射を起こしにくい撮像環境で取得された撮像画像に基づくもの（図４および図６参照）か、を判定することができる。
　たとえば、既に検出済の線路Ｒの一部の平均輝度値が閾値以上である場合、当該線路Ｒの一部に対応した領域は、撮像画像（鳥瞰画像）内で他の領域よりも明るく写り込んでいると言える。このような場合、前述したように、次のエリアに対応した特徴量としては、輝度値そのものに着目することが有効である。
　一方、既に検出済の線路Ｒの一部の平均輝度値が閾値未満である場合、当該線路Ｒの一部に対応した領域は、撮像画像（鳥瞰画像）内で他の領域よりも暗く写り込んでいると言える。このような場合、前述したように、次のエリアに対応した特徴量としては、輝度値そのものではなく、輝度値の勾配に着目することが有効である。
　したがって、第１実施形態において、特徴量選択部４０３は、既に検出済の線路Ｒの一部の平均輝度値と閾値との大小関係に応じて、次のエリアの特徴量として、輝度値そのものを選択するか、または、輝度値の勾配を選択するか、を決定する。
　ところで、前述したように、特徴量としての輝度値の勾配は、横軸方向の勾配と縦軸方向の勾配との２つが存在し、これら２つのいずれが適切であるかは、カーブの有無などに応じて異なる。
　そこで、特徴量選択部４０３は、以下に説明するように、線路検出部４０５により既に検出済の線路Ｒの一部の角度（線路Ｒの一部の延びる方向）に基づいて、次のエリアから線路Ｒの一部を検出するために用いる１つの特徴量として、輝度値の横軸方向の勾配を選択するか、または、輝度値の縦軸方向の勾配を選択するか、を決定する。
　図１０は、第１実施形態において用いられうる、既に検出済の線路Ｒ（の一部）の角度の算出手法の概略を説明するための例示的かつ模式的な図である。ここでは、図１０に示される画像１０００において、線路Ｒの一部を構成する座標点として、（ｘＬ１，ｙＬ１）、（ｘＲ１，ｙＲ１）、（ｘＬ２，ｙＬ２）、（ｘＲ２，ｙＲ２）、（ｘＬ３，ｙＬ３）、（ｘＲ３，ｙＲ３）の６つが既に検出済であるものとする。これらの座標点の情報は、線路位置情報４１４として記憶部４０９に記憶される。
　このような状況において、特徴量選択部４０３は、次の検出対象である領域Ａに対応した１つの特徴量を選択するために、下記の式（１）に基づいて、既に検出済の線路Ｒの一部の角度を算出する。
　既に検出済の線路Ｒの一部の角度＝ａｒｃｔａｎ（（ｙＬ３－ｙＬ２）／（ｘＬ３－ｘＬ２））　…（１）
　上記の式（１）の算出結果によれば、線路Ｒのカーブの有無を判定することができる。つまり、上記の式（１）の算出結果が閾値以上の場合、線路Ｒにカーブはなく、次の検出対象の領域Ａにおいても線路Ｒが縦軸方向に延びると推定することができ、上記の式（１）の算出結果が閾値未満の場合、線路Ｒにカーブがあり、次の検出対象の領域Ａにおいては線路Ｒが横軸方向に延びると推定することができる。なお、閾値は、たとえば撮像画像から鳥瞰画像への変換後の縦横比の変化などに応じて予め定められる。
　したがって、特徴量選択部４０３は、上記の式（１）の算出結果が閾値以上の場合、特徴量として、輝度値の横軸方向の勾配を選択し、上記の式（１）の算出結果が閾値未満の場合、特徴量として、輝度値の縦軸方向の勾配を選択する。なお、図１０に示される例では、既に検出済とされた６つの座標点が、領域Ａの手前でカーブした線路Ｒに対応しているため（領域１００１参照）、領域Ａに対応した特徴量として、輝度値の縦軸方向の勾配が選択される。
　なお、第１実施形態では、既に検出済の線路Ｒの一部の角度が、上記の式（１）ではなく、下記の式（２）に基づいて算出されてもよい。
　既に検出済の線路Ｒが延びる方向＝ａｒｃｔａｎ（（ｙＬ３－ｙＬ２）／（ｘＬ３－ｘＬ２））＋｛ａｒｃｔａｎ（（ｙＬ３－ｙＬ２）／（ｘＬ３－ｘＬ２））－ａｒｃｔａｎ（（ｙＬ２－ｙＬ１）／（ｘＬ２－ｘＬ１））｝　…（２）
　上記の式（２）は、計算に使用するパラメータが上記の式（１）よりも多いので、既に検出済の線路Ｒが延びる方向をより精度よく算出しうる。
　上記では、エリアに応じた特徴量を選択するための所定の基準として、既に検出済の線路Ｒが延びる方向のみを用いる例について説明した。しかしながら、第１実施形態では、既に検出済の線路Ｒが延びる方向に代えて（または加えて）、検出対象のエリアの撮像画像（鳥瞰画像）内における位置が用いられてもよい。
　たとえば、線路Ｒにカーブがあることが予め分かっている場合には、撮像画像（鳥瞰画像）の奥側の領域に写る線路Ｒが横軸方向に延びることも予め分かる。したがって、このような場合、特徴量選択部４０３は、上述した所定の基準として、少なくとも、複数のエリアの各々の撮像画像（鳥瞰画像）内での位置を用いて、複数のエリアの各々に対応した１つの特徴量を選択してもよい。
　このように、第１実施形態においては、複数の特徴量を選択的に切り替えながら撮像画像（鳥瞰画像）の一部のエリアから線路Ｒの一部を検出することを順次繰り返すことで線路Ｒの全体を検出する手法が採用される。そして、特徴量の選択には、それまでの線路Ｒの検出処理の途中結果が考慮される。
　ところで、初期エリアは、最初の検出対象となるエリアであるので、上述したような途中結果は存在しない。したがって、初期エリアからの線路Ｒの一部の検出には、過去（たとえば１フレーム前）の撮像画像（鳥瞰画像）に対する線路Ｒの検出結果が用いられる。
　すなわち、第１実施形態において、画像取得部４０１は、鉄道車両ＲＶの進行とともに撮像画像を複数回取得する。そして、特徴量選択部４０３は、あるタイミングで得られた撮像画像（鳥瞰画像）における初期エリアに対応した１つの特徴量を選択する場合、当該１つの特徴量を選択するための所定の基準として、少なくとも、あるタイミングよりも前のタイミングで得られた鳥瞰画像（１フレーム前の撮像画像に基づく鳥瞰画像）における初期エリアから検出された線路Ｒの一部に関する情報（上述した平均輝度値などといった画像統計量）を用いる。なお、１フレーム前の撮像画像に基づいて検出された線路Ｒに関する情報は、検出済線路情報４１０として記憶部４０９に記憶されているものとする。
　ここで、撮像画像（鳥瞰画像）における各エリアから線路Ｒ（の一部）を検出するための手法についてより具体的に説明する。
　まず、初期エリアから線路Ｒ（の一部）を検出するための手法について説明する。
　前述したように、初期エリアは、線路Ｒの検出の起点となる領域として予め決められた位置に設定されている。初期エリアの位置は、初期エリア情報４１３として記憶部４０９に予め記憶されている。
　したがって、第１実施形態において、線路検出部４０５は、まず、記憶部４０９の初期エリア情報４１３を参照することで、上記の手法で選択された特徴量に基づいて導出された特徴データから初期エリアに対応した領域のデータを抽出する。そして、線路検出部４０５は、抽出したデータに対してハフ変換やＲＡＮＳＡＣなどといった線分検出アルゴリズムに基づく処理を実行することで、初期エリア内に存在する線路Ｒ（の一部）の候補を抽出する。
　ところで、正規の線路Ｒを構成する一対のレールの幅は、予め決まっている。したがって、正規の線路Ｒを構成する一対のレールの幅に関する情報を取得すれば、上記のように抽出された候補から、正規の線路Ｒ（の一部）を特定することが可能である。そこで、第１実施形態では、線路Ｒを構成する一対のレールの幅が、線路幅情報４１２として記憶部４０９に予め記憶されている。
　そして、線路検出部４０５は、記憶部４０９の線路幅情報４１２を参照し、上記のように抽出された候補から、線路幅情報４１２で示された幅にマッチする幅を有する候補をさらに抽出することで、正規の線路Ｒを特定（検出）する。そして、線路検出部４０５は、特定した線路Ｒを構成する複数の座標点を、線路位置情報４１４として記憶部４０９に記憶する。たとえば、図１０に示される例では、（ｘＬ１，ｙＬ１）、（ｘＲ１，ｙＲ１）、（ｘＬ２，ｙＬ２）、（ｘＲ２，ｙＲ２）の４つの座標点が記憶部４０９に記憶される。
　次に、初期エリア以降のエリアから線路Ｒ（の一部）を検出するための手法について説明する。
　図１１は、第１実施形態において用いられうる、初期エリア以降のエリアから線路Ｒ（の一部）を検出するための手法の概略を説明するための例示的かつ模式的な図である。図１１に示される例では、直近の処理により、線路Ｒの一部として、（ｘＬａ，ｙＬａ）と（ｘＬｂ，ｙＬｂ）との２つの座標点が検出済となっているものとする。
　第１実施形態において、線路検出部４０５は、まず、図１１（Ａ）に示されるように、直近に検出された２つの座標点に基づく所定の扇形の領域を設定する。扇形の領域とは、直近に検出された２つの座標点（ｘＬａ，ｙＬａ）および（ｘＬｂ，ｙＬｂ）のうち初期エリアとは反対側の座標点（ｘＬｂ，ｙＬｂ）から、当該２つの座標点を結ぶ直線Ｌを中心として左右に同一の角度θで広がるように延びる仮想線ＶＲおよびＶＬで区画される領域である。なお、角度θは、予め設定された角度であって、たとえば、線路Ｒの規格などで規定された最大曲率の範囲をカバーする角度である。また、仮想線ＶＲおよびＶＬの長さは、予め設定された長さである。
　上記のような扇形の領域を設定すると、線路検出部４０５は、図１１（Ｂ）に示されるように、扇形の領域の上端の任意の一箇所と、当該扇形の領域の起点となる座標点（ｘＬａ，ｘＬｂ）とを網羅的に結ぶ複数の線分を設定する。第１実施形態では、これらの複数の線分が、線路Ｒ（の一部）の候補となる。
　そして、線路検出部４０５は、上記のように抽出した複数の候補を鳥瞰画像上にあてはめ、複数の候補のうち、特徴量選択部４０３により選択された特徴量の平均値が最も大きいものを、正規の線路Ｒ（の一部）として特定（検出）する。
　ところで、図１１に示された２つの座標点は、線路Ｒを構成する一対のレールのうちの一方のレールに沿ったものであり、実際には、他方のレールに沿った２つの座標点（図１１には不図示）も検出済である。したがって、線路検出部４０５は、他方のレールについても上記の同様の手法で正規の線路Ｒを特定（検出）する。
　第１実施形態では、上記の手順が順次繰り返されることにより、撮像画像（鳥瞰画像）の全体から線路Ｒの全体が検出される。そして、検出された線路Ｒ（の全体）に関する情報は、たとえば次のような形式で、検出済線路情報４１０として記憶部４０９に記憶される。
　図１２は、第１実施形態において検出された線路Ｒを構成する座標点がプロットされた撮像画像を示した例示的かつ模式的な図である。第１実施形態では、図１２に示されるような画像１２００が、検出済線路情報４１０として記憶部４０９に記憶される。図１２に示される画像１２００の座標点を適宜結ぶと、線路Ｒに対応した領域１２０１が得られる。
　図２に戻り、判定領域特定部４０６は、線路検出部４０５の検出結果に基づいて、撮像画像内における線路Ｒの付近の領域を、障害物（注視が必要な注視物）の有無の判定の対象となる判定領域として特定する。
　そして、注視物監視部４０７は、判定領域特定部４０６により特定された判定領域内に注視物が存在するか否かを監視する。注視物の有無を判定するための情報（テンプレート）は、注視物情報４１１として記憶部４０９に記憶されている。注視物監視部４０７は、注視物情報４１１と、特徴データ導出部４０４により導出された特徴データとに基づいて、注視物のテンプレートにマッチする画素群が判定領域内に存在するか否かを判定する。
　そして、出力制御部４０８は、注視物監視部４０７により注視物が存在すると判定された場合に、以下に説明するような画像を表示部１５に出力する処理などを実行することで、警報を出力する。
　図１３は、第１実施形態において判定領域内に注視物が存在すると判定された場合に表示部１５に出力される画像の一例を示した例示的かつ模式的な図である。図１３に示される画像１３００においては、線路Ｒに対応した領域１３０１の付近に、注視物としての人間１３０２が存在している。したがって、出力制御部４０８は、注視物としての人間１３０２の存在を鉄道車両ＲＶの運転者に通知するため、注意を喚起するための指標（アイコン、シンボル）１３０３を、画像１３００内に重畳して出力する。
　次に、実施形態の動作について説明する。
　図１４は、第１実施形態にかかる軌道識別装置２０が実行する処理の流れを示した例示的かつ模式的なフローチャートである。この図１４に示される処理フローは、鉄道車両ＲＶの走行中に繰り返し実行される。
　図１４に示される処理フローでは、まず、Ｓ１４０１において、軌道識別装置２０の画像取得部４０１は、カメラ１０から撮像画像を取得する。
　そして、Ｓ１４０２において、軌道識別装置２０の画像変換部４０２は、Ｓ１４０１で取得された撮像画像を鳥瞰画像に変換する。
　そして、Ｓ１４０３において、軌道識別装置２０の特徴量選択部４０３は、記憶部４０９の初期エリア情報４１３などを参照し、初期エリアに対応した特徴量を選択する。このＳ１４０３において実行される処理の流れについては、後で詳細に説明するため、ここではこれ以上の説明を省略する。
　そして、Ｓ１４０４において、軌道識別装置２０の特徴データ導出部４０４は、Ｓ１４０２で得られた鳥瞰画像（のうち初期エリアに対応した領域）から、Ｓ１４０３で選択された特徴量に基づく特徴データを導出する。
　そして、Ｓ１４０５において、軌道識別装置２０の線路検出部４０５は、Ｓ１４０４で導出された特徴データなどに基づいて、ハフ変換やＲＡＮＳＡＣなどといった線分検出アルゴリズムを利用して、線路Ｒの一部の候補を抽出する。
　そして、Ｓ１４０６において、線路検出部４０５は、記憶部４０９の線路幅情報４１２などを参照し、Ｓ１４０５で抽出された候補から、（正規の）線路Ｒの一部を特定する。
　そして、Ｓ１４０７において、特徴量選択部４０３は、次のエリアの特徴量を選択する。このＳ１４０７において実行される処理の流れについては、後で詳細に説明するため、ここではこれ以上の説明を省略する。
　そして、Ｓ１４０８において、特徴データ導出部４０４は、Ｓ１４０２で得られた鳥瞰画像（のうち現在の処理対象のエリアに対応した領域）から、Ｓ１４０７で選択された特徴量に基づく特徴データを導出する。
　そして、Ｓ１４０９において、線路検出部４０５は、Ｓ１４０８で導出された特徴データなどに基づいて、上述した扇形の領域（図１１参照）などを利用した手法で、線路Ｒの一部の候補を抽出する。
　そして、Ｓ１４１０において、線路検出部４０５は、上述した特徴量の平均値などを利用した手法で、Ｓ１４０９で抽出された候補から、（正規の）線路Ｒの一部を特定する。
　そして、Ｓ１４１１において、線路検出部４０５は、線路Ｒの検出の終了条件が満たされたか否かを判断する。終了条件とは、たとえば、線路検出部４０５による検出処理の繰り返しの回数が所定以上になることや、線路検出部４０５により最後に特定された線路Ｒ（の一部）の端部が鳥瞰画像において所定の位置よりも上端側に位置すること、などが考えられる。
　Ｓ１４１１において、終了条件が満たされていないと判断された場合、未検出の線路Ｒ（の一部）が残っている。したがって、この場合、Ｓ１４０７に処理が戻り、次のエリアからの線路Ｒ（の一部）の検出がさらに繰り返される。
　一方、Ｓ１４１１において、終了条件が満たされたと判断された場合、未検出の線路Ｒ（の一部）は残っていない。したがって、この場合、検出済の線路Ｒの全てが、上述した図１２に示される画像１２００のような形式で記憶され、次のＳ１４１２に処理が進む。
　Ｓ１４１２において、軌道識別装置２０の判定領域特定部４０６は、線路検出部４０５の検出結果に基づいて、撮像画像から、障害物（注視が必要な注視物）の有無の判定の対象となる線路Ｒの付近の判定領域を特定する。
　そして、Ｓ１４１３において、軌道識別装置２０の注視物監視部４０７は、Ｓ１４０２で特定された判定領域内に注視物が存在するか否かを判断する。
　Ｓ１４１３において、注視物が存在すると判断された場合、注視物の存在を鉄道車両ＲＶの運転者に通知し、注意喚起を行う必要がある。したがって、この場合、Ｓ１４１４において、軌道識別装置２０の出力制御部４０８は、上述した図１３に示される画像１３００を表示部１５に出力するなどの処理を実行することで、警報を出力する。そして、処理が終了する。
　一方、Ｓ１４１３において、注視物が存在しないと判断された場合、注意喚起を行う必要は特にない。したがって、この場合、Ｓ１４１４のような警報の出力は実行されず、そのまま処理が終了する。
　図１５は、第１実施形態にかかる軌道識別装置２０が初期エリアの特徴量を選択する場合に実行する処理の流れを示した例示的かつ模式的なフローチャートである。この図１５に示される処理フローは、上述した図１４のＳ１４０３において実行される処理の流れをより詳細に示したものである。
　図１５に示される処理フローでは、まず、Ｓ１５０１において、特徴量選択部４０３は、１フレーム前の撮像画像に基づく鳥瞰画像の初期エリアから検出された線路Ｒの一部（に対応した領域）の平均輝度値が閾値以上か否かを判断する。
　Ｓ１５０１において、平均輝度値が閾値以上であると判断された場合、前述したように、特徴量として、輝度値そのものに着目することが有効である。したがって、この場合、Ｓ１５０２において、特徴量選択部４０３は、特徴量として、輝度値そのものを選択する。そして、処理が終了する。
　一方、Ｓ１５０１において、平均輝度値が閾値未満であると判断された場合、前述したように、特徴量として、輝度値の勾配に着目することが有効である。また、初期エリアにおいては、通常、線路Ｒは縦軸方向に延びている。したがって、この場合、Ｓ１５０３において、特徴量選択部４０３は、初期エリアに対応した特徴量として、輝度値の横軸方向の勾配を選択する。そして、処理が終了する。
　図１６は、第１実施形態にかかる軌道識別装置２０が次のエリアの特徴量を選択する場合に実行する処理の流れを示した例示的かつ模式的なフローチャートである。この図１６に示される処理フローは、上述した図１４のＳ１４０７において実行される処理の流れをより詳細に示したものである。
　図１６に示される処理フローでは、まず、Ｓ１６０１において、特徴量選択部４０３は、既に検出済の線路Ｒの一部（に対応した領域）の平均輝度値が閾値以上か否かを判断する。
　Ｓ１６０１において、平均輝度値が閾値以上であると判断された場合、前述したように、特徴量として、輝度値そのものに着目することが有効である。したがって、この場合、Ｓ１６０２において、特徴量選択部４０３は、特徴量として輝度値を選択する。そして、処理が終了する。
　一方、Ｓ１６０１において、平均輝度値が閾値未満であると判断された場合、前述したように、特徴量として、輝度値の勾配に着目することが有効である。ただし、図１６に示される処理フローにおいて特徴量を選択する対象は初期エリアではないため、線路Ｒのカーブの有無などを考慮して、状況に応じた適切な特徴量を選択する必要がある。
　したがって、この場合、Ｓ１６０３において、特徴量選択部４０３は、既に検出済の線路Ｒの一部の角度が閾値以上か否かを判断する。角度の算出方法は、上述した式（１）や式（２）などが用いられうる。
　Ｓ１６０３において、角度が閾値以上であると判断された場合、線路Ｒが縦軸方向に延びていると判断できる。したがって、この場合、Ｓ１６０４において、特徴量選択部４０３は、特徴量として、輝度値の横軸方向の勾配を選択する。そして、処理が終了する。
　一方、Ｓ１６０３において、角度が閾値未満であると判断された場合、線路Ｒにカーブがあり、線路Ｒが横軸方向に延びていると判断できる。したがって、この場合、Ｓ１６０５において、特徴量選択部４０３は、特徴量として、輝度値の縦軸方向の勾配を選択する。そして、処理が終了する。
　以上説明したように、第１実施形態にかかる軌道識別装置２０は、画像取得部４０１と、特徴量選択部４０３と、特徴データ導出部４０４と、線路検出部４０５と、を有している。画像取得部４０１は、鉄道車両ＲＶの進行方向の領域を撮像することで得られる撮像画像を取得する。特徴量選択部４０３は、撮像画像（に基づく鳥瞰画像）における複数の画素群（エリア）ごとに、所定の基準に基づいて、線路Ｒらしさを表す尺度となりうる複数の特徴量から、線路Ｒの検出に用いる１つの特徴量を選択する。特徴データ導出部４０４は、複数の画素群の各々から、特徴量選択部４０３により選択された１つの特徴量に基づく特徴データを導出する。線路検出部４０５は、特徴データ導出部の導出結果に基づいて、撮像画像から線路Ｒを検出する。この構成によれば、撮像画像（に基づく鳥瞰画像）における複数の画素群（エリア）ごとに適切な特徴量が選択されるので、撮像画像から線路をより精度良く検出することができる。
＜第２実施形態＞
　上述した第１実施形態では、検出済の線路Ｒの角度を所定の基準の一つとして用いることで線路Ｒのカーブの有無を判定し、判定結果に基づいて、初期エリア以降の次のエリアに対応した特徴量を選択する構成を例示した。しかしながら、以下に説明する第２実施形態のように、鉄道車両ＲＶの進行方向を直接的に検出することで線路Ｒのカーブの有無を判定し、判定結果に基づいて、初期エリア以降の次のエリアに対応した特徴量を選択する構成も考えられる。
　図１７は、第２実施形態にかかる軌道識別装置２０ａの機能を示した例示的かつ模式的なブロック図である。なお、以下では、第１実施形態と第２実施形態とで共通する部分については適宜説明を省略する。
　図１７に示されるように、第２実施形態にかかる軌道識別装置２０ａは、ジャイロセンサ１６の出力値に基づいて鉄道車両ＲＶの進行方向を取得する進行方向取得部４１５を有している。進行方向取得部４１５は、ジャイロセンサ１６の出力値に基づいて鉄道車両ＲＶの前後、左右、および上下方向の速度を算出し、算出結果に基づいて、鉄道車両ＲＶの（大まかな）進行方向を判断する。
　そして、第２実施形態にかかる軌道識別装置２０ａの特徴量選択部４０３ａは、進行方向取得部４１５により取得された鉄道車両ＲＶの進行方向を所定の基準の一つとして用いることで、初期エリア以降の次のエリアに対応した特徴量を選択する。
　図１８は、第２実施形態にかかる軌道識別装置２０ａが次のエリアの特徴量を選択する場合に実行する処理の流れを示した例示的かつ模式的なフローチャートである。この図１８に示される処理フローは、第１実施形態において実行される同様の処理フロー（図１６参照）に代えて実行される。
　図１８に示される処理フローでは、まず、Ｓ１８０１において、軌道識別装置２０ａの特徴量選択部４０３ａは、既に検出済の線路Ｒの一部（に対応した領域）の平均輝度値が閾値以上か否かを判断する。
　Ｓ１８０１において、平均輝度値が閾値以上であると判断された場合、前述したように、特徴量として、輝度値そのものに着目することが有効である。したがって、この場合、Ｓ１８０２において、特徴量選択部４０３ａは、特徴量として輝度値を選択する。そして、処理が終了する。
　一方、Ｓ１８０１において、平均輝度値が閾値未満であると判断された場合、前述したように、特徴量として、輝度値の勾配に着目することが有効である。ただし、図１８に示される処理フローにおいて特徴量を選択する対象は初期エリアではないため、線路Ｒのカーブの有無などを考慮して、状況に応じた適切な特徴量を選択する必要がある。
　したがって、この場合、Ｓ１８０３において、特徴量選択部４０３ａは、鉄道車両ＲＶが旋回しており、かつ、現在の処理対象のエリアの縦軸方向の位置が所定以上高い位置にあるか否かを判断する。前者の条件は、進行方向取得部４１５により取得される鉄道車両ＲＶの進行方向に基づいて判断され、後者の条件は、記憶部４０９に記憶された線路位置情報４１４などに基づいて判断される。
　Ｓ１８０３において、上記の２つの条件が同時に成立すると判断された場合、線路Ｒにカーブがあり、処理対象のエリアに写り込んでいる線路Ｒ（の一部）が横軸方向に延びていると判断できる。したがって、この場合、Ｓ１８０４において、特徴量選択部４０３ａは、特徴量として、輝度値の縦軸方向の勾配を選択する。そして、処理が終了する。
　一方、Ｓ１８０３において、上記の２つの条件のうち少なくとも一方が成立しないと判断された場合、処理対象のエリアに写り込んでいる線路Ｒ（の一部）が縦軸方向に延びていると判断できる。したがって、この場合、Ｓ１８０５において、特徴量選択部４０３ａは、特徴量として、輝度値の横軸方向の勾配を選択する。そして、処理が終了する。
　なお、第２実施形態におけるその他の構成および動作は、第１実施形態と同様である。
　以上説明したように、第２実施形態にかかる軌道識別装置２０ａは、第１実施形態と同様の構成に加えて、鉄道車両ＲＶの進行方向を取得する進行方向取得部４１５をさらに有している。そして、第２実施形態にかかる特徴量選択部４０３ａは、進行方向取得部４１５により取得された進行方向を所定の基準として用いて、初期エリア以降に検出対象となる各エリアに対応した１つの特徴量を選択する。この構成によれば、進行方向取得部４１５により取得された進行方向に基づいて線路Ｒのカーブの有無を容易に判定することができるので、カーブの有無に応じた適切な特徴量を用いて、撮像画像（鳥瞰画像）から線路Ｒをより精度良く検出することができる。
　なお、第２実施形態では、鉄道車両ＲＶの進行方向を検出するための構成として、ジャイロセンサ１６に代えて、ＧＮＳＳ（全球測位衛星システム）の受信機が用いられてもよい。この構成によれば、ＧＮＳＳによって得られる緯度および経度の位置情報を所定の周期で繰り返し取得し、今回取得した位置情報と前回取得した位置情報との差分を取ることで、鉄道車両ＲＶの進行方向を判断することができる。
＜第３実施形態＞
　上述した第１実施形態では、撮像画像（鳥瞰画像）内における線路Ｒに対応した領域の明暗に関する画像統計量（平均輝度値など）を所定の基準の一つとして用いることで、輝度値そのものを特徴量として選択するか、または、輝度値の勾配を特徴量として選択するか、を決定する構成を例示した。しかしながら、以下に説明する第３実施形態のように、画像統計量に加えて、鉄道車両ＲＶの現在位置をさらに考慮して、特徴量の選択を行う構成も考えられる。
　図１９は、第３実施形態にかかる軌道識別装置２０ｂの構成を示した例示的かつ模式的なブロック図である。なお、以下では、第１実施形態と第３実施形態とで共通する部分については適宜説明を省略する。
　図１９に示されるように、第３実施形態にかかる軌道識別装置２０ｂは、鉄道車両ＲＶの車軸などに設けられるタコジェネレータ１７の出力値に基づいて鉄道車両ＲＶの現在位置を取得する位置取得部４１６を有している。位置取得部４１６は、タコジェネレータ１７の出力値に基づいて鉄道車両ＲＶの走行距離を算出し、算出結果と、記憶部４０９に記憶された運行情報４１７と、に基づいて、鉄道車両ＲＶの現在位置を推定（取得）する。
　ここで、位置取得部４１６による現在位置の推定結果は、鉄道車両ＲＶがトンネル内を走行しているか否かの判定に用いることができる。鉄道車両ＲＶがトンネル内を走行しているか否かは、鉄道車両ＲＶの周囲が暗くなっているか否かに関わるため、撮像画像の撮像環境に関わる。前述したように、撮像画像における線路Ｒの写り込みは、撮像環境に応じて変化するため、位置取得部４１６による現在位置の推定結果を、線路Ｒを検出するための特徴量の選択に用いる所定の基準の一つとして考慮すれば、有益である。
　たとえば、鉄道車両ＲＶの現在位置がトンネル以外の場所に対応する場合は、鉄道車両ＲＶの周囲が比較的明るいと推定されるため、この状況で取得される撮像画像（鳥瞰画像）においては、線路Ｒに対応した領域が他の領域よりも明るく写り込むと考えられる。したがって、このような場合、前述したように、特徴量として、輝度値そのものに着目するのが有効である。
　一方、鉄道車両ＲＶの現在位置がトンネル内の場所に対応する場合は、鉄道車両ＲＶの周囲が比較的暗いと推定されるため、この状況で取得される撮像画像（鳥瞰画像）においては、線路Ｒに対応した領域が他の領域よりも暗く写り込むと考えられる。したがって、このような場合、前述したように、特徴量として、輝度値の勾配に着目するのが有効である。なお、輝度値の勾配として縦軸方向または横軸方向のいずれの勾配に着目するかを決定する手法は、たとえば第１実施形態と同様である。
　このように、第３実施形態にかかる軌道識別装置２０ｂの特徴量選択部４０３ｂは、位置取得部４１６により取得される鉄道車両ＲＶの現在位置を所定の基準の一つとして用いて、特徴量を選択する。
　図２０は、第３実施形態にかかる軌道識別装置２０ｂが初期エリアの特徴量を選択する場合に実行する処理の流れを示した例示的かつ模式的なフローチャートである。この図２０に示される処理フローは、第１実施形態において実行される同様の処理フロー（図１５参照）に代えて実行される。
　図２０に示される処理フローでは、まず、Ｓ２００１において、軌道識別装置２０ｂの特徴量選択部４０３ｂは、１フレーム前の撮像画像に基づく鳥瞰画像の初期エリアから検出された線路Ｒの一部（に対応した領域）の平均輝度値が閾値以上で、かつ、鉄道車両ＲＶの現在位置がトンネル以外の場所に対応するか否かを判断する。
　Ｓ２００１において、上記の２つの条件の両方が成立すると判断された場合、前述したように、特徴量として、輝度値そのものに着目することが有効である。したがって、この場合、Ｓ２００２において、特徴量選択部４０３ｂは、特徴量として、輝度値そのものを選択する。そして、処理が終了する。
　一方、Ｓ２００１において、上記の２つの条件のうち少なくとも一方が成立しないと判断された場合、前述したように、特徴量として、輝度値の勾配に着目することが有効である。また、初期エリアにおいては、通常、線路Ｒは縦軸方向に延びている。したがって、この場合、Ｓ２００３において、特徴量選択部４０３ｂは、初期エリアに対応した特徴量として、輝度値の横軸方向の勾配を選択する。そして、処理が終了する。
　図２１は、第３実施形態にかかる軌道識別装置２０ｂが次のエリアの特徴量を選択する場合に実行する処理の流れを示した例示的かつ模式的なフローチャートである。この図２１に示される処理フローは、第１実施形態において実行される同様の処理フロー（図１６参照）に代えて実行される。
　図２１に示される処理フローでは、まず、Ｓ２１０１において、軌道識別装置２０ｂの特徴量選択部４０３ｂは、既に検出済の線路Ｒの一部（に対応した領域）の平均輝度値が閾値以上で、かつ、鉄道車両ＲＶの現在位置がトンネル以外の場所に対応するか否かを判断する。
　Ｓ２１０１において、上記の２つの条件の両方が成立すると判断された場合、前述したように、特徴量として、輝度値そのものに着目することが有効である。したがって、この場合、Ｓ２１０２において、特徴量選択部４０３ｂは、特徴量として輝度値を選択する。そして、処理が終了する。
　一方、Ｓ２１０１において、上記の２つの条件のうち少なくとも一方が成立しないと判断された場合、前述したように、特徴量として、輝度値の勾配に着目することが有効である。ただし、図２１に示される処理フローにおいて特徴量を選択する対象は初期エリアではないため、線路Ｒのカーブの有無などを考慮して、状況に応じた適切な特徴量を選択する必要がある。
　したがって、この場合、Ｓ２１０３において、特徴量選択部４０３ｂは、既に検出済の線路Ｒの一部の角度が閾値以上か否かを判断する。角度の算出方法は、上述した式（１）や式（２）などが用いられうる。
　Ｓ２１０３において、角度が閾値以上であると判断された場合、線路Ｒが縦軸方向に延びていると判断できる。したがって、この場合、Ｓ２１０４において、特徴量選択部４０３ｂは、特徴量として、輝度値の横軸方向の勾配を選択する。そして、処理が終了する。
　一方、Ｓ２１０３において、角度が閾値未満であると判断された場合、線路Ｒにカーブがあり、線路Ｒが横軸方向に延びていると判断できる。したがって、この場合、Ｓ２１０５において、特徴量選択部４０３ｂは、特徴量として、輝度値の縦軸方向の勾配を選択する。そして、処理が終了する。
　なお、第３実施形態におけるその他の構成および動作は、第１実施形態と同様である。
　以上説明したように、第３実施形態にかかる軌道識別装置２０ｂは、第１実施形態と同様の構成に加えて、鉄道車両ＲＶの現在位置を取得する位置取得部４１６をさらに有している。そして、第３実施形態にかかる特徴量選択部４０３ｂは、位置取得部４１６により取得された現在位置を所定の基準の一つとして用いて、各エリアに対応した１つの特徴量を選択する。この構成によれば、位置取得部４１６により取得された現在位置に基づいて、撮像画像（鳥瞰画像）が得られた撮像環境を推定することができるので、撮像環境に応じた適切な特徴量を用いて、撮像画像（鳥瞰画像）から線路Ｒをより精度良く検出することができる。
　なお、上述した第３実施形態の技術によれば、鉄道車両ＲＶの現在位置を利用して、線路Ｒの分岐を予測することも可能である。つまり、第３実施形態にかかる特徴量選択部４０３ｂは、位置取得部４１６により取得された現在位置と、記憶部４０９に記憶された運行情報４１７と、に基づいて、鉄道車両ＲＶが今後分岐に差し掛かるか否かを判定し、判定結果に基づいて、分岐を超えた鉄道車両ＲＶの進行方向に応じた適切な特徴量を選択することが可能である。
　また、上述した第３実施形態では、タコジェネレータ１７の出力値に基づいて鉄道車両ＲＶの現在位置を取得（推定）する構成を例示した。しかしながら、鉄道車両ＲＶの現在位置は、タコジェネレータ１７以外の手段によっても推定可能である。たとえば、鉄道車両ＲＶの現在位置は、ＧＮＳＳによって得られる緯度および経度の位置情報に基づいて推定されてもよい。
　以上、本発明のいくつかの実施形態を説明したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (7)

  1. 　鉄道車両の進行方向の領域を撮像することで得られる撮像画像を取得する画像取得部と、
    　前記撮像画像における複数の画素群ごとに、所定の基準に基づいて、線路らしさを表す尺度となりうる複数の特徴量から、前記線路の検出に用いる１つの特徴量を選択する特徴量選択部と、
    　前記複数の画素群の各々から、前記特徴量選択部により選択された前記１つの特徴量に基づく特徴データを導出する特徴データ導出部と、
    　前記特徴データ導出部の導出結果に基づいて、前記撮像画像から前記線路を検出する線路検出部と、
    　を備える、軌道識別装置。
  2. 　前記線路検出部は、前記複数の画素群のうち最初の検出対象となる初期エリアから前記線路の一部を検出した後、検出した前記線路の一部を基準とした次の画素群から前記線路の一部をさらに検出する処理を順次繰り返すことで、前記撮像画像の全体から前記線路を検出し、
    　前記特徴量選択部は、前記線路検出部により前記線路の一部が検出されるごとに、前記所定の基準として、少なくとも、前記線路検出部により既に検出済みの前記線路の一部に関する情報を用いて、前記次の画素群に対応した前記１つの特徴量を選択する、
    　請求項１に記載の軌道識別装置。
  3. 　前記画像取得部は、前記鉄道車両の進行とともに前記撮像画像を複数回取得し、
    　前記特徴量選択部は、あるタイミングで得られた前記撮像画像における前記複数の画素群のうちの前記初期エリアに対応した前記１つの特徴量を選択する場合、前記所定の基準として、少なくとも、前記あるタイミングよりも前のタイミングで得られた前記撮像画像における前記初期エリアから検出された前記線路の一部に関する情報を用いる、
    　請求項２に記載の軌道識別装置。
  4. 　前記特徴量選択部は、前記線路検出部により既に検出済みの前記線路の一部の前記撮像画像内での明暗に関する画像統計量を、前記線路検出部により既に検出済みの前記線路の一部に関する情報として用いる、
    　請求項２または３に記載の軌道識別装置。
  5. 　前記特徴量選択部は、前記所定の基準として、少なくとも、前記複数の画素群の各々の前記撮像画像内での位置を用いて、前記複数の画素群の各々に対応した前記１つの特徴量を選択する、
    　請求項１～４のいずれか１項に記載の軌道識別装置。
  6. 　前記鉄道車両の進行方向を取得する進行方向取得部をさらに備え、
    　前記特徴量選択部は、前記所定の基準として、少なくとも、前記進行方向取得部により取得された前記進行方向を用いて、前記１つの特徴量を選択する、
    　請求項１～５のいずれか１項に記載の軌道識別装置。
  7. 　前記鉄道車両の現在位置を取得する位置取得部をさらに備え、
    　前記特徴量選択部は、前記所定の基準として、少なくとも、前記位置取得部により取得された前記現在位置を用いて、前記１つの特徴量を選択する、
    　請求項１～６のいずれか１項に記載の軌道識別装置。
PCT/JP2018/040108 2017-11-01 2018-10-29 軌道識別装置 WO2019088021A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880071035.0A CN111295320B (zh) 2017-11-01 2018-10-29 轨道识别装置
SG11202003850UA SG11202003850UA (en) 2017-11-01 2018-10-29 Railway track detection device
EP18872317.5A EP3705370A4 (en) 2017-11-01 2018-10-29 TRAJECTORY DISCRIMINATION DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-212227 2017-11-01
JP2017212227A JP6776213B2 (ja) 2017-11-01 2017-11-01 軌道識別装置

Publications (1)

Publication Number Publication Date
WO2019088021A1 true WO2019088021A1 (ja) 2019-05-09

Family

ID=66333209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040108 WO2019088021A1 (ja) 2017-11-01 2018-10-29 軌道識別装置

Country Status (5)

Country Link
EP (1) EP3705370A4 (ja)
JP (1) JP6776213B2 (ja)
CN (1) CN111295320B (ja)
SG (1) SG11202003850UA (ja)
WO (1) WO2019088021A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017157A (ja) * 2007-07-04 2009-01-22 Omron Corp 画像処理装置および方法、並びに、プログラム
JP2014062415A (ja) * 2012-09-21 2014-04-10 Mitsubishi Electric Corp 軌道検出装置及び軌道監視装置
JP2015210388A (ja) 2014-04-25 2015-11-24 株式会社ジャパンディスプレイ 表示装置
JP2016091506A (ja) * 2014-11-11 2016-05-23 株式会社明電舎 レール検出装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3722485B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
CN101030256B (zh) * 2006-02-28 2010-05-12 东软集团股份有限公司 车辆图像分割方法和装置
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
US20090037039A1 (en) * 2007-08-01 2009-02-05 General Electric Company Method for locomotive navigation and track identification using video
JP2011160379A (ja) * 2010-02-04 2011-08-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP5716443B2 (ja) * 2011-02-16 2015-05-13 日産自動車株式会社 車線境界検出装置及び車線境界検出方法
BR112013019405B1 (pt) * 2011-04-13 2021-04-27 Nissan Motor Co., Ltd Dispositivo e método de assistência à direção
CN202243454U (zh) * 2011-09-26 2012-05-30 长安大学 基于灰度图像的智能车辆偏离车道预警装置
JP5937832B2 (ja) * 2012-01-30 2016-06-22 クラリオン株式会社 車載カメラ用露出制御装置
CN103287462B (zh) * 2012-03-01 2016-12-14 苏州华兴致远电子科技有限公司 机务调车信号检测方法和系统
CN104115203B (zh) * 2012-03-01 2016-10-19 日产自动车株式会社 立体物检测装置
US9469320B2 (en) * 2014-04-28 2016-10-18 General Electric Company Route feature identification system and method
JP6458439B2 (ja) * 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP6135637B2 (ja) * 2014-10-20 2017-05-31 村田機械株式会社 走行車システム
EP3048559A1 (en) * 2015-01-21 2016-07-27 RindInvest AB Method and system for detecting a rail track
JP6569280B2 (ja) * 2015-04-15 2019-09-04 日産自動車株式会社 路面標示検出装置及び路面標示検出方法
US9967523B2 (en) * 2015-12-16 2018-05-08 General Electric Company Locating systems and methods for components
CN105488492B (zh) * 2015-12-25 2019-09-13 北京大学深圳研究生院 一种彩色图像预处理方法、道路识别方法及相关装置
EP3408158A4 (en) * 2016-01-31 2019-09-25 Rail Vision Ltd SYSTEM AND METHOD FOR DETECTING DEFECTS IN AN ELECTRIC LADDER SYSTEM OF A TRAIN
CN106515742B (zh) * 2016-07-22 2019-04-26 北京兴科迪科技有限公司 一种车道偏离预警方法及系统
CN107169401B (zh) * 2017-02-10 2020-05-05 北京交通大学 基于轨道视觉特征谱的轨道入侵物检测方法
CN107180228A (zh) * 2017-05-02 2017-09-19 开易（北京）科技有限公司 一种用于车道线检测的梯度增强转换方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017157A (ja) * 2007-07-04 2009-01-22 Omron Corp 画像処理装置および方法、並びに、プログラム
JP2014062415A (ja) * 2012-09-21 2014-04-10 Mitsubishi Electric Corp 軌道検出装置及び軌道監視装置
JP2015210388A (ja) 2014-04-25 2015-11-24 株式会社ジャパンディスプレイ 表示装置
JP2016091506A (ja) * 2014-11-11 2016-05-23 株式会社明電舎 レール検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3705370A4

Also Published As

Publication number Publication date
EP3705370A4 (en) 2021-08-11
JP6776213B2 (ja) 2020-10-28
SG11202003850UA (en) 2020-05-28
CN111295320B (zh) 2023-03-07
EP3705370A1 (en) 2020-09-09
JP2019084857A (ja) 2019-06-06
CN111295320A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
JP4603970B2 (ja) 道路区画線検出装置
CN106575473B (zh) 用于对车辆进行非接触式计轴的方法、设备及计轴系统
CN108692719B (zh) 物体检测装置
CN104834889B (zh) 标志线检测系统和标志线检测方法
US10210404B2 (en) Vehicle vision system with vehicle detection
US9697421B2 (en) Stereoscopic camera apparatus
CN107527006B (zh) 用于检查机动车的介质损失的方法以及用于执行这样的方法的机动车和系统
JP4872769B2 (ja) 路面判別装置および路面判別方法
US11302020B2 (en) Stereo camera device
EP3082068A1 (en) Traveling road surface detection device and traveling road surface detection method
JP2014215719A (ja) 車種判定装置
JP5106771B2 (ja) 路面標示計測装置
CN109886064B (zh) 确定可驾驶空间的边界的方法
CN102694963B (zh) 一种获取无阴影目标图像的方法
EP3782871B1 (en) Trajectory discrimination device
Lion et al. Smart speed bump detection and estimation with kinect
JP3562250B2 (ja) 先行車両検出装置
JP2012198857A (ja) 接近物体検知装置及び接近物体検知方法
JP2015059768A (ja) 段差計測装置、段差計測方法及びプログラム
KR102065337B1 (ko) 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법
CN111998780B (zh) 目标测距方法、装置及系统
WO2019088021A1 (ja) 軌道識別装置
JP2002008019A (ja) 軌道認識装置及び軌道認識装置を用いた鉄道車両
WO2014050285A1 (ja) ステレオカメラ装置
JP2000032601A (ja) 軌道認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18872317

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018872317

Country of ref document: EP

Effective date: 20200602