WO2022018918A1 - 鉄道線路情報取得装置、及び鉄道線路情報取得方法 - Google Patents

鉄道線路情報取得装置、及び鉄道線路情報取得方法 Download PDF

Info

Publication number
WO2022018918A1
WO2022018918A1 PCT/JP2021/015949 JP2021015949W WO2022018918A1 WO 2022018918 A1 WO2022018918 A1 WO 2022018918A1 JP 2021015949 W JP2021015949 W JP 2021015949W WO 2022018918 A1 WO2022018918 A1 WO 2022018918A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
image
unit
coordinate system
track
Prior art date
Application number
PCT/JP2021/015949
Other languages
English (en)
French (fr)
Inventor
拓也 二神
雄介 高橋
達哉 大嶽
広幸 小林
世支明 山崎
義喜 間嶋
泰誠 瀬川
紀康 加藤
陽平 服部
Original Assignee
株式会社 東芝
東芝インフラシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝, 東芝インフラシステムズ株式会社 filed Critical 株式会社 東芝
Priority to CN202180039062.1A priority Critical patent/CN115916623A/zh
Priority to EP21846756.1A priority patent/EP4183660A4/en
Publication of WO2022018918A1 publication Critical patent/WO2022018918A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • An embodiment of the present invention relates to a railway track information acquisition device and a railway track information acquisition method.
  • a monitoring method for monitoring obstacles ahead by using an image captured by a camera mounted on a railroad vehicle is generally known.
  • it is determined whether or not an object in front of the object is an obstacle that may collide with the object. Therefore, it is necessary to perform a process of detecting a track to be traveled in the image. Since railroad vehicles have a long braking distance until they stop, it is required to detect a farther track with high accuracy and high speed.
  • a railway track information acquisition device capable of detecting track position information with higher accuracy, and a railway track information acquisition method.
  • the railway track information acquisition device includes an image acquisition unit, a track information acquisition unit, a conversion unit, and a control unit.
  • the image acquisition unit acquires a captured image of the traveling direction of the railway vehicle.
  • the track information acquisition unit acquires the position information of the first track in the direction in which the railway vehicle travels, based on the position of the railway vehicle.
  • the conversion unit converts the captured image and the first line into a common coordinate system.
  • the control unit acquires the position information of the first line corresponding to the second line in the captured image in the common coordinate system.
  • the image pickup device 10 can continuously capture R, G, and B images as an image pickup moving image.
  • the image pickup device 10 is fixed in front of, for example, a railroad vehicle 5. Therefore, each image constituting the captured moving image captured while the railway vehicle 5 is traveling on the railroad track is, for example, an image having the same angle and the same imaging magnification when captured at the same position. These images are stored in the storage unit 204 described later.
  • the notification unit 50 displays various information together with the image captured by the image pickup device 10. Further, the notification unit 50 notifies, for example, information about the obstacle detected by the obstacle detection device 40 to, for example, the central control room.
  • the image acquisition unit 201 of the railway track information acquisition device 20 acquires images captured in the traveling direction of the railway vehicle 5 in order from the image acquisition unit 101.
  • the planned traveling track position acquisition unit 202 acquires the position information of the track in the direction in which the railway vehicle 5 travels from the traveling position information collecting device 30.
  • the railway track information acquisition device 20 includes, for example, a CPU (Central Processing Unit).
  • the storage unit 204 stores various programs for executing the monitoring operation. As a result, the railway line information acquisition device 20 constitutes each unit by, for example, executing a program stored in the storage unit 204.
  • the traveling track output unit 302 outputs information on the track position in a predetermined range in the traveling direction of the railway vehicle 5 based on the current position of the railway vehicle 5 acquired by the current position collecting unit 301.
  • the predetermined range is, for example, 50 to 200 meters ahead in the direction of travel.
  • the range of 50 to 200 meters is an example and is not limited to this.
  • the track position / image acquisition unit 401 of the obstacle detection device 40 acquires the image captured by the image pickup unit 101 and the position information of the track in the captured image contrasted by the matching unit 205.
  • Homography matrices Hn and T are associated with and stored in each setting point (PnL, PnR), as will be described later.
  • the homography matrix H of the present embodiment is a matrix that associates the geographic coordinate system (X, Y) with the camera coordinate system (x, y) of the imaging unit 101.
  • FIG. 5 is a diagram schematically showing the positions where the setting points (PnL, PnR) are set on the lines R 0 and R 1. In this way, the latitude and longitude are associated with the set points (PnL, PnR) for the entire range of the railroad track on which the railroad vehicle 5 travels.
  • the line information indicated by the camera coordinates (x, y) in the image 808 is a homography matrix of the line information indicated by the geographic coordinate system (X, Y) in the image 802 corresponding to the setting point (P0L, P0R).
  • the line information converted into camera coordinates by H0 and T corresponds to the line information converted into camera coordinates by H0 and T. That is, the line information indicated by the camera coordinates (x, y) in the image 808 coincides with the position coordinates of the camera coordinate system of the line in the image captured by the image pickup unit 101 at the position indicated by T in the region corresponding to the image 802. do.
  • the matching unit 205 detects a line from the captured image 902 using, for example, templates (0, T) to (n, T) generated by coordinate transformation using the homography matrix H shown in FIG.
  • the matching unit 205 expresses, for example, a line in the captured image 902 as a line component connecting a short straight line and a curved line segment. Then, the matching unit 205 selects the template that best matches the line component and the template (0, T) to (n, T).
  • the line output unit 206 outputs the position information of the line in the most matching template as the line position information in the captured image 902.
  • FIG. 9 is a diagram showing a processing example of the line output unit 206.
  • Images 904b to 908b show templates that best match the captured images captured at time T1 to T3, respectively.
  • the image 904b corresponds to the set point (P0L, P0r) template the line information 904a corresponding to the generated converted by homography matrix H 0,0. That is, the line output unit 206 outputs the line information shown in the image 904b converted into the camera coordinate system (x, y) for the captured image captured at time T1.
  • the image 906b corresponds to a template generated by converting the line information 906a corresponding to the setting points (P3L, P3R) with the homography matrices H3 and T-1.
  • the parameter correction unit 210 outputs a signal including parameter information to the parameter setting unit 102 based on the current position of the railway vehicle 5 output by the current position detection unit 207.
  • the storage unit 204 also stores tunnel position information in association with the track information.
  • the parameter correction unit 210 determines whether or not the tunnel is imaged in the image captured by the image pickup unit 101 with respect to the current position of the railway vehicle 5.
  • the parameter correction unit 210 outputs a parameter for lowering the exposure to the parameter setting unit 102. More specifically, the parameter correction unit 210 corrects the contrast of the adjustment area A130 in the tunnel to a parameter having a predetermined contrast as an evaluation value.
  • the parameter correction unit 210 outputs a signal including parameter information to the parameter setting unit 102 based on the current position of the railway vehicle 5 output by the current position detection unit 207 (step S15), and ends the process.
  • FIG. 15 is a flowchart showing a detailed processing flow of the line detection process.
  • the image acquisition unit 201 acquires an image captured in the traveling direction of the railway vehicle 5 from the image acquisition unit 101. (Step S110).
  • the line output unit 206 outputs the position information of the line that matches the line in the captured image controlled by the matching unit 205 (step S115), and ends the process.
  • the traveling position information collecting device 30 calculates an error between the current position of the railway vehicle 5 output by the current position detection unit 207 and the current position of the railway vehicle 5 by GNSS (step S142). Then, when the error exceeds a predetermined value, the traveling position information collecting device 30 corrects the output value based on the current position of the railway vehicle 5 output by the current position detection unit 207, and corrects the correction information via the notification unit 50. Notify (step S143) and end the process.
  • FIG. 17 is a flowchart showing a detailed processing flow of the shooting parameter correction processing. Here, an example of parameter correction using the contrast in the captured image as an evaluation value will be described.
  • the parameter correction unit 210 acquires the information of the brightness adjustment area A130 associated with the position information of the tunnel (step S151).
  • the line coordinate conversion unit 203 has acquired the position information of the line of the geographic coordinate system in the predetermined range and the captured image of the camera coordinate system in which the predetermined range is captured. Is converted into a common coordinate system, and the matching unit 205 acquires the position information of the line of the geographic coordinate system corresponding to the line in the captured image.
  • This makes it possible to acquire the position information of the line in the captured image corresponding to the position information of the line of the geographic coordinate system acquired in advance. In this way, even if the line in the captured image of the camera coordinate system is not clearly captured, by converting it to a common coordinate system, the position information of the line in the geographic coordinate system that best matches the line in the captured image as a whole. Can be acquired, and the position information of the track in the captured image can be acquired more accurately.
  • the railroad track acquisition system 1 according to the second embodiment is different from the railroad track acquisition system 1 according to the first embodiment in that the image projection unit 203b converts the captured image of the camera coordinate system into the geographic coordinate system. ..
  • the differences from the railroad track acquisition system 1 according to the first embodiment will be described.
  • FIG. 18 is a block diagram showing the configuration of the railroad track acquisition system 1 according to the second embodiment.
  • the image projection unit 203b converts the captured image of the camera coordinate system into the geographic coordinate system.
  • the image projection unit 203b according to the present embodiment corresponds to the conversion unit.
  • FIG. 19 is a diagram showing inverse transformation matrices RH 0, 0 to RH 0, T of homography matrices H 0, 0 to H 0, T corresponding to setting points (P0L, P0R).
  • the image 192 of the camera coordinate system is an image taken at a reference position of a setting point (P0L, P0R). Therefore, when the image projection unit 203b reversely changes the image 192 with the inverse transformation matrix RH 0 , 0, it matches the image 194 of the geographic coordinate system corresponding to the set point (P0L, P0R).
  • the images 196 and 198 of the line information of the geographic coordinate system that do not actually exist are generated.
  • the inverse transformation matrix RH 0 that is inversely converted to the matched image. , 0 indicates that the region for image 194 was imaged from a distance corresponding to 0.
  • FIG. 20 is a diagram showing an example of an inverse template generated by the image projection unit 203b by performing inverse coordinate conversion.
  • An image obtained by inversely transforming the line information of the image 902 of the camera coordinate system by the inverse transformation matrix RH 0, 0 to RH n, T of the homography matrix H 0, 0 to H n, T is shown, respectively.
  • the line information converted into the geographic coordinate system (X, Y) by the inverse transformation matrix RH n, T of the homography matrix is referred to as an inverse template R (n, T).
  • the image projection unit 203b considers the range in which an error occurs in the position of the railroad vehicle 5, and considers the reverse template R for the setting points (P0L, P0R) to (PnL, PnR) in the range where the image of the railroad vehicle 5 is possible. (0, T) to R (n, T) are generated.
  • the matching unit 205 uses, for example, the inverse templates R (0, T) to R (n, T) generated by inverse coordinate conversion with the inverse transformation matrix RH of the homography matrix shown in FIG. 20, and the setting point (P0L, Select the inverse template that best matches the line information of the geographic coordinate system corresponding to P0R) to (PnL, PnR).
  • FIG. 21 is a diagram showing a processing example of the line output unit 206.
  • the images 904b to 908b are captured images taken at time T1 to T3, respectively, and the images 904c to 908c show the most matched inverse template.
  • the image 904c corresponds to the inverse template generated by converting with the inverse matrix RH 0 , 0 corresponding to the setting point (P0L, P0R). That is, the line output unit 206 outputs the line information of the geographic coordinate system (X, Y) corresponding to the set point (P0L, P0R) to the captured image 904b captured at the time T1.
  • the image 906c corresponds to the inverse template generated by conversion with the inverse matrices RH 3 and T-1 corresponding to the setting points (P3L, P3R). That is, the line output unit 206 outputs the geographic coordinate system (X, Y) line information corresponding to the set point (P3L, P3R) to the captured image 906b captured at time T2.
  • FIG. 22 is a flowchart showing a detailed processing flow of the current position detection processing according to the second embodiment.
  • the image acquisition unit 201 acquires an image captured in the traveling direction of the railway vehicle 5 from the image acquisition unit 101. (Step S220).
  • the planned traveling track position acquisition unit 202 acquires the position information of the track in the direction in which the railway vehicle 5 travels from the traveling position information collecting device 30. (Step S221).
  • the image projection unit 203b converts the captured image acquired by the image acquisition unit 20 and the position information of the track into a common coordinate system.
  • the inverse transformation matrix RH of the homography matrix is used for inverse transformation to the geographic coordinate system.
  • the matching unit 205 acquires the position information of the line corresponding to the line in the captured image in the common coordinate system (step S223).
  • the line output unit 206 outputs the position information of the line (step S223), and ends the whole process.
  • the image projection unit 203b converts the captured image of the camera coordinate system that captures a predetermined range into the geographic coordinate system, and the matching unit 205 corresponds to the line in the captured image. Moreover, the position information of the line in the geographic coordinate system acquired in advance is acquired. This makes it possible to acquire the position information of the line in the captured image corresponding to the position information of the line acquired in advance.
  • the railway track acquisition system 1 according to the third embodiment acquires the railway track according to the first embodiment in that the track information of the geographic coordinate system is stored in the coordinates of the three axes (X, Y, Z). Different from system 1.
  • the differences from the railroad track acquisition system 1 according to the first embodiment will be described.
  • FIG. 23 is a flowchart showing a detailed processing flow of the line detection processing according to the third embodiment.
  • the image acquisition unit 201 acquires a stereo image taken in the traveling direction of the railway vehicle 5 from the image acquisition unit 101. (Step S230).
  • the planned traveling track position acquisition unit 202 acquires the position information of the track in the direction in which the railway vehicle 5 travels from the traveling position information collecting device 30. (Step S231).
  • the line coordinate conversion unit 203 is limited to the position information of the line having the calculated inclination and the inclination within a predetermined range (step S234), and converts the captured image acquired by the image acquisition unit 20 and the position information of the line into a common coordinate system. do. (Step S113).
  • the elevation information which is a value in the Z-axis direction, is used to convert to the camera coordinate system in the horizontal plane.
  • the image converted by this camera coordinate system is a so-called bird's-eye view.
  • the matching unit 205 acquires the position information of the line corresponding to the line in the captured image in the common coordinate system (step S114).
  • the position information of the tracks having different inclinations into a bird's-eye view which is a horizontal plane, the influence of the inclination can be suppressed and matching in the matching unit 205 becomes possible with higher accuracy.
  • the line output unit 206 outputs the position information of the line that matches the line in the captured image controlled by the matching unit 205 (step S115), and ends the process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

［解決手段］本実施形態に係る鉄道線路情報取得装置は、画像取得部と、線路情報取得部と、変換部と、対照部と、を備える。画像取得部は、鉄道車両の進行方向の撮像画像を得る。線路情報取得部は、鉄道車両の位置に基づき、鉄道車両が進行する方向の第１線路の位置情報を取得する。変換部は、撮像画像と第１線路とを共通の座標系に変換する。対照部は、共通の座標系において、撮像画像内の第２線路が対応する第１線路の位置情報を取得する。

Description

鉄道線路情報取得装置、及び鉄道線路情報取得方法
　本発明の実施形態は、鉄道線路情報取得装置、及び鉄道線路情報取得方法に関する。
　鉄道車両に搭載したカメラにより撮像した画像を利用することで、前方障害物を監視する監視方法が一般に知られている。このような監視方法では、前方に存在する物体が衝突する可能性のある障害物であるか否かを判断する。このため、画像中に存在する走行予定の線路を検出する処理が必要である。鉄道車両は停止するまでの制動距離が長いため、より遠方の線路を高精度に、かつ高速に検出することが求められる。
　ところが、天候、時間帯、周囲の状況（トンネル等）によって線路が鮮明に撮像されないこともあり、遠方まで高精度に線路を検出することが困難となってしまう恐れがある。
特願２０１６－１７２８２４号公報 特開２０１９－２１８０２２号公報
Conference: 2016 12th World Congress on Intelligent Control and Automation (WCICA)、 "Geometry Constraints-based Visual Rail Track Extraction"
　より高精度に線路の位置情報を検出可能な鉄道線路情報取得装置、及び鉄道線路情報取得方法を提供する。
　本実施形態に係る鉄道線路情報取得装置は、画像取得部と、線路情報取得部と、変換部と、対照部と、を備える。画像取得部は、鉄道車両の進行方向の撮像画像を得る。線路情報取得部は、鉄道車両の位置に基づき、鉄道車両が進行する方向の第１線路の位置情報を取得する。変換部は、撮像画像と第１線路を共通の座標系に変換する。対照部は、共通の座標系において、撮像画像内の第２線路が対応する第１線路の位置情報を取得する。
鉄道線路情報取得装置の構成例を示すブロック図。 本実施形態に係る鉄道線路情報取得装置の詳細な構成例を示すブロック図。 水平面上に表示した線路を示す図。 線路間の中点における緯度、経度と、設定ポイントの関係を示す図。 設定ポイントが、線路に設定されている位置を模式的に示す図。 設定ポイントのホモグラフィ行列を模式的に説明する図。 設定ポイントに対応するホモグラフィ行列を用いた座標変換例を示す図。 線路座標変換部が座標変換して生成するテンプレート例を示す図。 線路出力部の処理例を示す図。 現在位置検出部の処理例を示す図。 トングレールを含む設定ポインを示す図。 設定ポインに対応する線路情報をカメラ座標系に変換した線路情報を示す図。 撮像部で撮像される画像にトンネルが撮像される例を示す図。 鉄道線路情報取得装置の全体の処理の流れを示すフローチャート。 線路検出処理の詳細な処理の流れを示すフローチャート。 現在位置補正処理の詳細な処理の流れを示すフローチャート。 撮影パラメータ補正処理の詳細な処理の流れを示すフローチャート。 第２実施形態に係る鉄道線路情報取得装置の構成を示すブロック図。 設定ポイントに対応するホモグラフィ行列の逆変換行列を示す図。 画像投影部が逆座標変換して生成する逆テンプレートの例をしめす図。 線路出力部の処理例を示す図。 第２実施形態に係る現在位置検出処理の詳細な処理の流れを示すフローチャート。 第３実施形態に係る線路検出処理の詳細な処理の流れを示すフローチャート。 鉄道車両が水平面と傾斜面を走行している例を模式的に示す図。
　以下、図面を参照して、本発明の実施形態について説明する。なお、本件明細書に添付する図面においては、図示と理解のしやすさの便宜上、適宜縮尺及び縦横の寸法比等を、実物のそれらから変更し誇張してある。
（第１実施形態）
　まず、図１は、本実施形態に係る鉄道走行線路取得システム１の構成例を示すブロック図である。図１に示すように、本実施形態に係る鉄道走行線路取得システム１は、鉄道走行線路の位置情報を取得可能なシステムであり、鉄道車両５に搭載される撮像装置１０と、鉄道線路情報取得装置２０と、走行位置情報収集装置３０と、障害物検出装置４０と、通知部５０とを備える。鉄道車両５は、固定された軌道である線路上を走行する。
　撮像装置１０は、Ｒ、Ｇ、Ｂ画像を撮像動画として連続的に撮像可能である。この撮像装置１０は、例えば鉄道車両５の前方に固定されている。このため、鉄道車両５が線路上を走行中に撮像した撮像動画を構成する各画像は、例えば同じ位置で撮像された場合には、同じアングル且つ同じ撮像倍率の画像となる。これらの画像は、後述する記憶部２０４に記憶される。
　鉄道線路情報取得装置２０は、撮像装置１０により撮像された撮像画像を、線路の位置情報に基づき照合し、撮像画像内の線路の位置情報を検出し、出力する。なお、鉄道線路情報取得装置２０の詳細は後述する。
　走行位置情報収集装置３０は、鉄道車両５の現在位置を取得し、鉄道車両５の進行方向における現在位置に対して所定の線路範囲の情報を出力する。
　障害物検出装置４０は、撮像装置１０により撮像された撮像画像、及び鉄道線路情報取得装置２０で検出された線路に基づき、鉄道車両５が進行する際に障害となる障害物を検出する。
　通知部５０は、撮像装置１０で撮像した撮像画像と共に各種の情報を表示する。また、通知部５０は、障害物検出装置４０で検出された障害物に関する情報を、例えば中央管理室等に通知する。
　図２は、本実施形態に係る鉄道走行線路取得システム１の詳細な構成例を示すブロック図である。図２に示すように、撮像装置１０は、撮像部１０１と、パラメータ設定部１０２とを有する。鉄道線路情報取得装置２０は、画像取得部２０１、進行予定線路位置取得部２０２、線路座標変換部２０３、記憶部２０４、マッチング部２０５、線路出力部２０６、現在位置検出部２０７、現在位置出力部２０８、トングレール状態監視部２０９、及び撮影パラメータ補正部２１０を、有する。走行位置情報収集装置３０は、現在位置収集部３０１、及び進行線路出力部３０２を、有する。障害物検出装置４０は、線路位置・画像取得部４０１、及び走行支障物検出部４０２を有する。通知部５０は、表示部５０１、及び異常通知部５０２を有する。
　図２に示すように、撮像装置１０の撮像部１０１は、例えばカメラであり、露出の制御が可能である。パラメータ設定部１０２は、撮像部１０１の撮影パラメータを設定する。また、撮像部１０１で撮像された画像の階調処理を行うことも可能である。
　鉄道線路情報取得装置２０の画像取得部２０１は、鉄道車両５の進行方向の撮像画像を撮像部１０１から順に取得する。進行予定線路位置取得部２０２は、鉄道車両５が進行する方向の線路の位置情報を走行位置情報収集装置３０から取得する。なお、鉄道線路情報取得装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を含んで構成される。記憶部２０４は、監視動作を実行するための各種のプログラムを記憶している。これにより、鉄道線路情報取得装置２０は、例えば記憶部２０４に記憶されるプログラムを実行することにより、各部を構成する。
　線路座標変換部２０３は、画像取得部２０が取得した撮像画像と線路の位置情報を共通の座標系に変換する。例えば、線路座標変換部２０３は、撮像画像を撮像した撮像部１０１のカメラ座標系に位置情報で示す線路の座標を変換する。なお、線路座標変換部２０３の詳細は後述する。また、本実施形態に係る線路座標変換部２０３が変換部に対応する。
　記憶部２０４は、例えばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等で構成される。記憶部２０４は、監視対象となる線路の位置情報、監視対象となる線路の座標変換マトリクス、撮像部１０１の各種の情報、例えば、撮影光学系の光軸の向き、撮影倍率などを、座標変換情報として記憶する。
　マッチング部２０５は、共通の座標系において、撮像画像内の線路が対応する線路の位置情報を取得する。なお、マッチング部２０５の詳細も後述する。また、本実施形態に係るマッチング部２０５が対照部に対応する。
　線路出力部２０６は、マッチング部２０５で対照した撮像画像中の線路と一致した線路の位置情報を出力する。
　現在位置検出部２０７は、マッチング部２０５で取得した線路の位置情報と、撮像部１０１の撮影光学系の情報を用いて、鉄道車両５の現在位置を算出する。なお、現在位置検出部２０７の詳細も後述する。現在位置出力部２０８は、現在位置検出部２０７が検出した現在位置を出力する。
　トングレール状態監視部２０９は、線路分岐部におけるトングレールの状態を監視して進行線路位置情報との照合を行うことで、トングレール状態の整合性を確認する。なお、トングレール状態監視部２０９の詳細も後述する。
　撮影パラメータ補正部２１０は、マッチング部２０５で取得した線路の位置情報を用いて、鉄道車両５の進行方向の撮影パラメータを補正する。なお、撮影パラメータ補正部２１０の詳細も後述する。
　走行位置情報収集装置３０の現在位置収集部３０１は、現在位置検出部２０７が出力する鉄道車両５の現在位置を取得する。また、現在位置収集部３０１は、ＧＮＳＳ（全球測位衛星システム：Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）により鉄道車両５の現在位置の情報を取得している。これにより、走行位置情報収集装置３０は、現在位置検出部２０７が出力する鉄道車両５の現在位置と、ＧＮＳＳによる鉄道車両５の現在位置とを相補的に用いて、鉄道車両５の現在位置の情報を含む信号を進行線路出力部３０２に出力する。
　進行線路出力部３０２は、現在位置収集部３０１が取得した鉄道車両５の現在位置に基づき、鉄道車両５の進行方向における所定範囲の線路位置の情報を出力する。所定範囲は、進行方向における前方の例えば５０～２００メートルの範囲である。なお、５０～２００メートルの範囲は、一例であり、これに限定されない。
　障害物検出装置４０の線路位置・画像取得部４０１は、撮像部１０１が撮像した撮像画像と、マッチング部２０５が対照したその撮像画像内の線路の位置情報を取得する。
　走行支障物検出部４０２は、撮像画像内の線路の位置情報に基づき、鉄道車両５の走行の障害となる障害物を検出する。走行支障物検出部４０２は、障害物を検出すると、撮像画像内の線路の位置情報に基づき、障害物の位置を通知部５０に通知する。
　通知部５０の表示部５０１は、例えばモニタであり、撮像部１０１が撮像した撮像画像を表示する。また、表示部５０１は、走行支障物検出部４０２が障害物を検知した際には、障害物の位置を示す、マークなどの表示形態を表示する。
　異常通知部５０２は、走行支障物検出部４０２が障害物を検知した際に、障害物の位置を示す情報などを、中央監視室などに通知する。
　ここで、線路座標変換部２０３の詳細を図３乃至図８に基づき説明する。図３は、水平面上、例えば鳥瞰図上に表示した線路Ｒ０、Ｒ１を示す図である。図３に示すように、線路Ｒ１、は線路Ｒ０と分岐している。記憶部２０４には、鉄道車両５が走行する全範囲の線路の位置情報が、例えば地理座標系（Ｘ、Ｙ）で記憶されている。
　図４は、線路間の中点における緯度、経度と、設定ポイント（ＰｎＬ、ＰｎＲ）の関係を示す図である。図４に示すように、例えば線路間の中点における緯度、経度と、設定ポイント（ＰｎＬ、ＰｎＲ）が対応付けられて記憶部２０４に記憶されている。ここで、ｎは自然数、Ｌは進行方向に対して線路の左側、Ｒは進行方向に対して線路の右側を示す。すなわち、ＰｎＬは、線路の左側の位置を示し、ＰｎＲは、ＰｎＬに対応する線路の右側の位置を示す。各設定ポイント（ＰｎＬ、ＰｎＲ）には、後述するように、ホモグラフィ行列Ｈｎ、Ｔが対応付けられ、記憶されている。本実施形態のホモグラフィ行列Ｈは、地理座標系（Ｘ、Ｙ）と撮像部１０１のカメラ座標系（ｘ、ｙ）を対応付ける行列である。
　図５は、設定ポイント（ＰｎＬ、ＰｎＲ）が、線路Ｒ０、Ｒ１に設定されている位置を模式的に示す図である。このように、鉄道車両５が走行する全範囲の線路に対して緯度、経度と、設定ポイント（ＰｎＬ、ＰｎＲ）が対応付けられている。
　図６は、設定ポイント（ＰｎＬ、ＰｎＲ）のホモグラフィ行列Ｈｎ、Ｔを模式的に説明する図である。これらのホモグラフィ行列Ｈは、各設定ポイント（ＰｎＬ、ＰｎＲ）に対して例えば非特許文献１の技術により演算可能である。Ｈｎ、Ｔのｎは、設定ポイント（ＰｎＬ、ＰｎＲ）を示している。例えば、ｎ＝３であれば設定ポイント（Ｐ３Ｌ、Ｐ３Ｒ）を示す。
　画像５００ａは、ホモグラフィ行列Ｈｎ、Ｔを計算する際に想定した鉄道車両５の位置から撮像部１０１が撮像した撮像画像である。また、画像５００ｂは、設定ポイント（ＰｎＬ、ＰｎＲ）のホモグラフィ行列Ｈｎ、Ｔで変換する線路情報の範囲を示している。また、Ｔは、設定ポイント（ＰｎＬ、ＰｎＲ）からの鉄道車両５の撮像部１０１までの距離を示している。例えば、０は、設定ポイント（ＰｎＬ、ＰｎＲ）からの鉄道車両５の撮像部１０１までの基準距離であり、例えば１００メートルである。例えば、Ｔ＝１は、設定ポイント（ＰｎＬ、ＰｎＲ）からの撮像部１０１までの距離が１０１メートルであり、例えばＴ＝５は、設定ポイント（ＰｎＬ、ＰｎＲ）からの撮像部１０１までの距離が１０５メートルである。一方で、例えばＴ＝－１は、設定ポイント（ＰｎＬ、ＰｎＲ）からの撮像部１０１までの距離が９９メートルであり、例えばＴ＝－５は、設定ポイント（ＰｎＬ、ＰｎＲ）からの撮像部１０１までの距離が９５メートルである。これらは、一例であり、Ｔの数、及び対応する距離は、これらに限定されない。
　上述のように記憶部２０４に記憶される線路情報には、地理座標系（Ｘ、Ｙ）が設定されている。また、撮像部１０１は、上述のように撮像系を固定して撮像している。このため、ホモグラフィ行列Ｈでカメラ座標（ｘ、ｙ）に変換した線路の地理座標系（Ｘ、Ｙ）は、ホモグラフィ行列Ｈｎ、Ｔを計算する際に想定した鉄道車両５の位置から撮像した画像５００ａ内の線路のカメラ座標系で示す位置に一致する。すなわち、ホモグラフィ行列Ｈｎ、Ｔで座標変換した線路の地理座標系（Ｘ、Ｙ）は、Ｔに対応する距離から撮像した画像５００ａ内の線路のカメラ座標系で示す位置座標（ｘ、ｙ）に変換される。
　図７は、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応するホモグラフィ行列Ｈ０、０～Ｈ０、Ｔを用いた線路座標変換部２０３による座標変換例を示す図である。画像８０２は、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応する画像領域であり、地理座標系（Ｘ、Ｙ）で示す線路情報を示す。画像８０４～８０８は、画像８０２内の地理座標系（Ｘ、Ｙ）で示す線路情報をホモグラフィ行列Ｈ０、０～Ｈ０、Ｔでカメラ座標系（ｘ、ｙ）に変換した線路情報を示す。
　より具体的には、Ｈ０、０は、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）から鉄道車両５の撮像部１０１までの距離が基準位置、例えば設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）から１００メートル手前の位置におけるホモグラフィ行列を示す。画像８０４におけるカメラ座標（ｘ、ｙ）で示す線路情報は、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応する画像８０２内の地理座標系（Ｘ、Ｙ）で示す線路情報を、ホモグラフィ行列Ｈ０、０でカメラ座標に変換した線路情報に対応する。すなわち、画像８０４におけるカメラ座標（ｘ、ｙ）で示す線路情報は、画像８０２に対応する領域を基準位置における撮像部１０１で撮像した画像内の線路のカメラ座標系の位置座標と一致する。
　同様に、画像８０６におけるカメラ座標（ｘ、ｙ）で示す線路情報は、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応する画像８０２内の地理座標系（Ｘ、Ｙ）で示す線路情報を、ホモグラフィ行列Ｈ０、Ｔ－１でカメラ座標に変換した線路情報に対応する。すなわち、画像８０６におけるカメラ座標（ｘ、ｙ）で示す線路情報は、画像８０２に対応する領域を、Ｔ－１で示す位置における撮像部１０１で撮像した画像内の線路のカメラ座標系の位置座標と一致する。同様に、画像８０８におけるカメラ座標（ｘ、ｙ）で示す線路情報は、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応する画像８０２内の地理座標系（Ｘ、Ｙ）で示す線路情報を、ホモグラフィ行列Ｈ０、Ｔでカメラ座標に変換した線路情報に対応する。すなわち、画像８０８におけるカメラ座標（ｘ、ｙ）で示す線路情報は、画像８０２に対応する領域を、Ｔで示す位置における撮像部１０１で撮像した画像内における線路のカメラ座標系の位置座標と一致する。このように、線路座標変換部２０３は、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応する画像８０２内の地理座標系（Ｘ、Ｙ）で示す線路情報を、各ホモグラフィ行列Ｈ０、Ｔで変換する。ここで、Ｔは、撮影状況合わせて設定された－ｎ≦Ｔ≦ｍの範囲の整数を示す。ｎ、ｍは自然数である。
　これにより、線路座標変換部２０３は、画像８０２に対応する領域を複数の撮像位置Ｔから撮像したカメラ座標系の線路の位置座標に変換可能である。なお、本実施形態では、設定ポイント（ＰｎＬ、ＰｎＲ）に対応する地理座標系（Ｘ、Ｙ）の線路情報を、ホモグラフィ行列Ｈｎ、Ｔでカメラ座標系（ｘ、ｙ）に変換し、変換後のカメラ座標系（ｘ、ｙ）の線路情報をテンプレート（ｎ、Ｔ）と称することとする。
　図８は、線路座標変換部２０３が座標変換して生成するテンプレート例を示す図である。走行位置情報収集装置３０が出力する鉄道車両５の位置は誤差が生じる場合がある。そこで、走行位置情報収集装置３０は、誤差が生じる範囲を考慮して、鉄道車両５の撮像の可能性のある範囲における設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）～（ＰｎＬ、ＰｎＲ）に対するテンプレート（０、０）～（ｎ、Ｔ）を生成する。
　ここで、撮像画像９０２を撮像した際の鉄道車両５の現在位置が設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）の基準位置であるとする。この場合、線路座標変換部２０３は、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応する地理座標系（Ｘ、Ｙ）の線路情報をホモグラフィ行列Ｈ０、Ｔそれぞれでカメラ座標系（ｘ、ｙ）に変換した線路情報を生成する。同様に、設定ポイント（Ｐ１Ｌ、Ｐ１Ｒ）～（ＰｎＬ、ＰｎＲ）に対応する地理座標系（Ｘ、Ｙ）の線路情報をホモグラフィ行列Ｈ１、０～Ｈｎ、Ｔそれぞれでカメラ座標系（ｘ、ｙ）に変換した線路情報を生成する。ｎ及びＴの範囲は、鉄道車両５の現在位置の測定精度から予め設定されている。
　マッチング部２０５は、例えば図８で示すホモグラフィ行列Ｈで座標変換して生成したテンプレート（０、Ｔ）～（ｎ、Ｔ）を用いて、撮像画像９０２内から線路を検出する。マッチング部２０５は、例えば撮像画像９０２内の線路を、短い直線と曲線セグメントを連結した線成分として表現する。そして、マッチング部２０５は、線成分とテンプレート（０、Ｔ）～（ｎ、Ｔ）と最もマッチングするテンプレートを選択する。
　線路出力部２０６は、最もマッチングするテンプレートにおける線路の位置情報を撮像画像９０２内における線路位置情報として出力する。
　図９は、線路出力部２０６の処理例を示す図である。画像９０４ｂ～９０８ｂはそれぞれ時間Ｔ１～Ｔ３で撮像された撮像画像に最もマッチしたテンプレート示している。例えば、画像９０４ｂは、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応する線路情報９０４ａをホモグラフィ行列Ｈ０、０で変換して生成したテンプレートに対応する。すなわち、線路出力部２０６は、時間Ｔ１で撮像された撮像画像に対しては、カメラ座標系（ｘ、ｙ）に変換した画像９０４ｂで示す線路情報を出力する。同様に、画像９０６ｂは、設定ポイント（Ｐ３Ｌ、Ｐ３Ｒ）に対応する線路情報９０６ａをホモグラフィ行列Ｈ３、Ｔ－１で変換して生成したテンプレートに対応する。すなわち、線路出力部２０６は、時間Ｔ２で撮像された撮像画像に対しては、カメラ座標系（ｘ、ｙ）に変換した画像９０６ｂで示す線路情報を出力する。同様に、画像９０８ｂは、設定ポイント（Ｐ６Ｌ、Ｐ６Ｒ）に対応する線路情報９０８ａをホモグラフィ行列Ｈ６、２で変換して生成したテンプレートに対応する。すなわち、線路出力部２０６は、時間Ｔ３で撮像された撮像画像に対しては、カメラ座標系（ｘ、ｙ）に変換した画像９０８ｂで示す線路情報を出力する。
　これらの、画像９０４ｂ～９０８ｂは、実際の線路情報９０４ａ～９０８ａを変換して生成した画像であるので、線路出力部２０６の出力するカメラ座標系（ｘ、ｙ）の線路情報は、実際の線路情報とほぼ一致する。このため、線路出力部２０６は、時間Ｔ１～Ｔ３で撮像された撮像画像内から実際の線路に対応する線路情報を出力可能となる。
　図１０は、現在位置検出部２０７の処理例を示す図である。画像１００ａは、撮像画像に対してマッチング部２０５での処理により最もマッチした画像を示す。また、画像１００ａは、ホモグラフィ行列Ｈ０、Ｔ－３で画像１００ｂを変換して得た画像である。ホモグラフィ行列Ｈ０、Ｔ－３は、画像１００ｂの設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）から予め定められた距離に対応するホモグラフィ行列である。すなわち、マッチング部２０５での処理により最もマッチした画像１００ａが選択されると、画像１００ａの生成に用いたホモグラフィ行列Ｈ０、Ｔ－３に対応する距離情報から画像１００ａを撮像した現在位置を正確に生成可能である。このように、現在位置検出部２０７は、マッチング部２０５での処理により最もマッチしたテンプレートへの変換に用いたホモグラフィ行列Ｈ０、Ｔ－３に対応する位置を現在位置として検出する。
　ここで、図１１及び図１２に基づき、トングレール状態監視部２０９の詳細を説明する。
　図１１は、トングレールを含む設定ポイン（ＰＴＬ、ＰＴＲ）を示す図である。画像１１０ａは、設定ポイン（ＰＴＬ、ＰＴＲ）に対応する画像範囲である。
　図１２は、設定ポイン（ＰＴＬ、ＰＴＲ）に対応する画像１１０ａ（図１１参照）内の線路情報をカメラ座標系に変換した線路情報を示す図である。すなわち、画像１１０ｂは、画像１１０ａ（図１１参照）に対応する。すなわち、画像１１０ｂは、マッチング部２０５で最もマッチしたテンプレートに対応する。
　トングレール状態監視部２０９は、マッチング部２０５で最もマッチしたテンプレートに対応する設定ポイン（ＰＴＬ、ＰＴＲ）がトングレールを含む場合、トングレールの状態判定を行う。より詳細には、トングレール状態監視部２０９は、例えば、トングレールに対応する設定ポイン（ＰＴＬ、ＰＴＲ）に関連付けられた分岐を含む画像領域Ｔ１の撮像画像における画像情報を解析する（特許文献２参照）。すなわち、トングレール状態監視部２０９は、分岐を含む画像領域Ｔ１に基いて、トングレールにおける２箇所の開閉部分における少なくともいずれかの開閉部分の開閉状態を撮像画像において判定することで、鉄道車両５が進行する線路を識別する。また、トングレール状態監視部２０９は、進行方向に関する情報を含む信号を、例えば中央監視室などから取得する。そして、トングレール状態監視部２０９は、開閉状態の識別結果と、進行方向が一致するか否かを判定する。トングレール状態監視部２０９は、一致しない場合には、通知部５０を介してトングレール状態の異常を通知する。
　ここで、図１３に基づいて、パラメータ補正部２１０の詳細を説明する。図１３は、撮像部１０１で撮像される画像にトンネルが撮像される例を示す図である。撮像部１０１の露光はトンネル外の明るさに調整されている。このため、トンネル内の画像は黒つぶれする恐れがある。
　パラメータ補正部２１０は、現在位置検出部２０７が出力する鉄道車両５の現在位置に基づき、パラメータ設定部１０２にパラメータの情報を含む信号を出力する。記憶部２０４には、線路情報に関連づけられてトンネルの位置情報も記憶されている。パラメータ補正部２１０は、鉄道車両５の現在位置に対して撮像部１０１で撮像される画像にトンネルが撮像されるか否かを判定する。パラメータ補正部２１０は、トンネルが撮像されると判定する場合に、露光を下げるパラメータをパラメータ設定部１０２に出力する。より詳細には、パラメータ補正部２１０は、トンネル内の調整エリアＡ１３０のコントラストを評価値として所定のコントラストになるパラメータに補正する。
　また、パラメータ補正部２１０は、トングレール状態監視部２０９の状態監視情報も取得しており、分岐線路の一方にはトンネルが有り、他方にはトンネルがない場合には、進行方向に応じてトンネル内の画像に対して露光制御が必要か否かを判定する。例えば、トンネル側に進行する場合には、露光を上げるパラメータをパラメータ設定部１０２に出力する。一方で、パラメータ補正部２１０は、撮像部１０１によりトンネルが撮像されても、トンネル側に進行しない場合には、露光パラメータを維持する。このように、トンネル側に進行する場合には、トンネル内の調整エリアＡ１３０の照度に露光を合わせることが可能となり、トンネル内の調整エリアＡ１３０における障害物の確認が容易となる。一方で、トンネル側に進行しない場合には、ンネルが撮像されても露光パラメータを維持するので、進行方向側の障害物の確認が容易となる。
　図１４は、鉄道走行線路取得システム１の全体の処理の流れを示すフローチャートである。図１４に示すように、先ず、鉄道線路情報取得装置２０は、撮像装置１０により撮像された撮像画像を、線路の位置情報に基づき照合し、撮像画像内の線路情報を検出する（ステップＳ１１）。
　次に、障害物検出装置４０は、鉄道線路情報取得装置２０で検出された線路、及び撮像装置１０により撮像された撮像画像に基づき、鉄道車両５が進行する際に障害となる障害物を検出する（ステップＳ１２）。
　次に、トングレール状態監視部２０９は、マッチング部２０５で最もマッチしたテンプレートに対応する設定ポインがトングレールを含む場合、トングレールの状態判定を行う（ステップＳ１３）。
　次に、走行位置情報収集装置３０は、現在位置検出部２０７が検出した鉄道車両５の現在位置を、正しい現在位置として、走行位置情報収集装置３０が出力する現在位置を補正する（ステップＳ１４）。
　そして、パラメータ補正部２１０は、現在位置検出部２０７が出力する鉄道車両５の現在位置に基づき、パラメータ設定部１０２にパラメータの情報を含む信号を出力し（ステップＳ１５）、処理を終了する
　図１５は、線路検出処理の詳細な処理の流れを示すフローチャートである。図１５に示すように、先ず、画像取得部２０１は、鉄道車両５の進行方向の撮像画像を撮像部１０１から取得する。（ステップＳ１１０）。
　次に、進行予定線路位置取得部２０２は、鉄道車両５が進行する方向の線路の位置情報を走行位置情報収集装置３０から取得する。（ステップＳ１１２）。
　次に、線路座標変換部２０３は、画像取得部２０が取得した撮像画像と線路の位置情報を共通の座標系に変換する。（ステップＳ１１３）。ここでは、カメラ座標系に変換する。
　次に、マッチング部２０５は、共通の座標系において、撮像画像内の線路が対応する線路の位置情報を取得する（ステップＳ１１４）。
　そして、線路出力部２０６は、マッチング部２０５で対照した撮像画像中の線路と一致した線路の位置情報を出力し（ステップＳ１１５）、処理を終了する。
　図１６は、現在位置補正処理の詳細な処理の流れを示すフローチャートである。図１６に示すように、先ず、現在位置収集部３０１は、現在位置検出部２０７が出力する鉄道車両５の現在位置を線路検出結果関連情報として取得する（ステップＳ１４０）。
　次に、現在位置収集部３０１は、ＧＮＳＳ（全球測位衛星システム：Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）により鉄道車両５の現在位置の情報取得する（ステップＳ１４１）。
　次に、走行位置情報収集装置３０は、現在位置検出部２０７が出力する鉄道車両５の現在位置と、ＧＮＳＳによる鉄道車両５の現在位置との誤差を算出する（ステップＳ１４２）。
　そして、走行位置情報収集装置３０は、誤差が所定値を超える場合に、出力値を現在位置検出部２０７が出力する鉄道車両５の現在位置に基づき補正し、通知部５０を介して補正情報を通知し（ステップＳ１４３）、処理を終了する。
　図１７は、撮影パラメータ補正処理の詳細な処理の流れを示すフローチャートである。ここでは、撮像画像内のコントラスを評価値としてパラメータ補正する例を説明する。
　図１７に示すように、先ず、パラメータ補正部２１０は、現在位置検出部２０７が出力する鉄道車両５の現在位置と、現在位置からの撮像範囲にあるトンネルの位置情報を線路検出結果関連情報として取得する（ステップＳ１５０）。
　次に、パラメータ補正部２１０は、トンネルの位置情報に関連づけられている明るさ調整エリアＡ１３０の情報を取得する（ステップＳ１５１）。
　次に、パラメータ補正部２１０は、撮像画像中の調整エリアＡ１３０のコントラストを評価する（ステップＳ１５１）。
　そして、パラメータ補正部２１０は、コントラストを所定値にする露光パラメータをパラメータ設定部１０２に出力し（ステップＳ１４３）、処理を終了する。
　以上説明したように、本実施形態によれば、線路座標変換部２０３が、予め取得してある所定範囲における地理座標系の線路の位置情報と、所定範囲を撮像したカメラ座標系の撮像画像とを共通の座標系に変換し、マッチィング部２０５が撮像画像内の線路が対応する地理座標系の線路の位置情報を取得する。これにより、予め取得してある地理座標系の線路の位置情報に対応する撮像画像内の線路の位置情報を取得可能となる。このように、カメラ座標系の撮像画像内の線路が鮮明に撮像されない場合にも、共通の座標系に変換することにより、撮像画像中の線路全体として最もマッチする地理座標系における線路の位置情報を取得することができ、より正確に撮像画像中の線路の位置情報を取得できる。
（第２実施形態）
　第２実施形態に係る鉄道走行線路取得システム１は、画像投影部２０３ｂが、カメラ座標系の撮像画像を地理座標系に変換する点で第１実施形態に係る鉄道走行線路取得システム１と相違する。以下では、第１実施形態に係る鉄道走行線路取得システム１と相違する点を説明する。
　図１８は、第２実施形態に係る鉄道走行線路取得システム１の構成を示すブロック図である。図１８に示すように、画像投影部２０３ｂは、カメラ座標系の撮像画像を地理座標系に変換する。なお、本実施形態に係る画像投影部２０３ｂが変換部に対応する。
　図１９は、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応するホモグラフィ行列Ｈ０、０～Ｈ０、Ｔの逆変換行列ＲＨ０、０～ＲＨ０、Ｔを示す図である。カメラ座標系の画像１９２は、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）の基準位置で撮像した画像である。このため、画像投影部２０３ｂが、画像１９２を逆変換行列ＲＨ０、０で逆変化すると、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応する地理座標系の画像１９４と一致する。一方で、画像１９２を逆変換行列ＲＨ０、１～ＲＨ０、Ｔで逆変化すると、実際には存在しない地理座標系の線路情報の画像１９６、１９８が生成される。換言すると、画像１９４、１９６、１９８の中に設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応する地理座標系の線路情報の画像と一致する画像があれば、一致した画像に逆変換した逆変換行列ＲＨ０、０に対応する距離から画像１９４に対する領域を撮像したことを示している。
　図２０は、画像投影部２０３ｂが逆座標変換して生成する逆テンプレートの例をしめす図である。ホモグラフィ行列Ｈ０、０～Ｈｎ、Ｔの逆変換行列ＲＨ０、０～ＲＨｎ、Ｔによりカメラ座標系の画像９０２の線路情報を逆変換した画像をそれぞれ示している。なお、本実施形態では、ホモグラフィ行列の逆変換行列ＲＨｎ、Ｔで地理座標系（Ｘ、Ｙ）に変換した線路情報を逆テンプレートＲ（ｎ、Ｔ）と称することとする。画像投影部２０３ｂは、鉄道車両５の位置に誤差が生じる範囲を考慮して、鉄道車両５の撮像の可能性のある範囲における設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）～（ＰｎＬ、ＰｎＲ）に対する逆テンプレートＲ（０、Ｔ）～Ｒ（ｎ、Ｔ）を生成する。
　マッチング部２０５は、例えば図２０で示すホモグラフィ行列の逆変換行列ＲＨで逆座標変換して生成した逆テンプレートＲ（０、Ｔ）～Ｒ（ｎ、Ｔ）を用いて、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）～（ＰｎＬ、ＰｎＲ）に対応する地理座標系の線路情報に最もマッチングする逆テンプレートを選択する。
　線路出力部２０６は、最もマッチングする逆テンプレートにおける地理座標系の線路の位置情報を撮像画像９０２内における線路位置情報として出力する
　図２１は、線路出力部２０６の処理例を示す図である。画像９０４ｂ～９０８ｂはそれぞれ時間Ｔ１～Ｔ３で撮像された撮像画像であり、画像９０４ｃ～９０８ｃは、最もマッチした逆テンプレートを示している。例えば、画像９０４ｃは、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応する逆行列ＲＨ０、０で変換して生成した逆テンプレートに対応する。すなわち、線路出力部２０６は、時間Ｔ１で撮像された撮像画像９０４ｂに対しては、設定ポイント（Ｐ０Ｌ、Ｐ０Ｒ）に対応する地理座標系（Ｘ、Ｙ）の線路情報を出力する。
　同様に、画像９０６ｃは、設定ポイント（Ｐ３Ｌ、Ｐ３Ｒ）に対応する逆行列ＲＨ３、Ｔ－１で変換して生成した逆テンプレートに対応する。すなわち、線路出力部２０６は、時間Ｔ２で撮像された撮像画像９０６ｂに対しては、設定ポイント（Ｐ３Ｌ、Ｐ３Ｒ）に対応する地理座標系（Ｘ、Ｙ）線路情報を出力する。
　同様に、画像９０８ｃは、設定ポイント（Ｐ６Ｌ、Ｐ６Ｒ）に対応する逆行列ＲＨ６、２で変換して生成した逆テンプレートに対応する。すなわち、線路出力部２０６は、時間Ｔ３で撮像された画像９０８ｂに対しては、設定ポイント（Ｐ６Ｌ、Ｐ６Ｒ）に対応する地理座標系（Ｘ、Ｙ）線路情報を出力する。
　現在位置検出部２０７は、マッチング部２０５での処理により最もマッチした逆テンプレートへの変換に用いた逆変換行列ＲＨｎ、Ｔに対応する位置を現在位置として検出する。例えば、逆行列ＲＨ２、Ｔ－１で変換して生成した逆テンプレートが最もマッチした場合、設定ポイント（Ｐ３Ｌ、Ｐ３Ｒ）に対してＴ－１に対応する距離を鉄道車両５の現在位置として検出する。
　図２２は、第２実施形態に係る現在位置検出処理の詳細な処理の流れを示すフローチャートである。図２１に示すように、先ず、画像取得部２０１は、鉄道車両５の進行方向の撮像画像を撮像部１０１から取得する。（ステップＳ２２０）。
　次に、進行予定線路位置取得部２０２は、鉄道車両５が進行する方向の線路の位置情報を走行位置情報収集装置３０から取得する。（ステップＳ２２１）。
　次に、画像投影部２０３ｂは、画像取得部２０が取得した撮像画像と線路の位置情報を共通の座標系に変換する。（ステップＳ２２２）。ここでは、ホモグラフィ行列の逆変換行列ＲＨで地理座標系に逆変換する。
　次に、マッチング部２０５は、共通の座標系において、撮像画像内の線路が対応する線路の位置情報を取得する（ステップＳ２２３）。
　そして、線路出力部２０６は、線路の位置情報を出力し（ステップＳ２２３）、全体処理を終了する。
　以上説明したように、本実施形態によれば、画像投影部２０３ｂが、所定範囲を撮像したカメラ座標系の撮像画像を地理座標系変換し、マッチィング部２０５が撮像画像内の線路が対応し、且つ予め取得してある地理座標系における線路の位置情報を取得する。これにより、予め取得してある線路の位置情報に対応する撮像画像内の線路の位置情報を取得可能となる。
（第３実施形態）
　第３実施形態に係る鉄道走行線路取得システム１は、地理座標系の線路情報が（Ｘ、Ｙ、Ｚ）の３軸の座標で保存されている点で第１実施形態に係る鉄道走行線路取得システム１と相違する。以下では、第１実施形態に係る鉄道走行線路取得システム１と相違する点を説明する。
　撮像部１０１（図２参照）で用いるカメラはステレオカメラであり、カメラ座標系の画像も（ｘ、ｙ、ｚ）の３軸の座標で生成される。
　図２３は、第３実施形態に係る線路検出処理の詳細な処理の流れを示すフローチャートである。図２３に示すように、先ず、画像取得部２０１は、鉄道車両５の進行方向のステレオの撮像画像を撮像部１０１から取得する。（ステップＳ２３０）。
　次に、進行予定線路位置取得部２０２は、鉄道車両５が進行する方向の線路の位置情報を走行位置情報収集装置３０から取得する。（ステップＳ２３１）。
　図２４は、鉄道車両５が水平面Ｆ１と傾斜θの傾斜面Ｆ２とを走行している例を模式的に示す図である。図２４に示すように、傾斜面Ｆ２を走行している鉄道車両５から撮像されたステレオ画像には、傾斜に応じたｚ座標の値が各画素に割振られている。これにより、線路座標変換部２０３は、ステレオの撮像画像の座標情報により、画像の手前側のｚ座標と奥手側のｚ座標の値から傾斜を演算することができる（ステップＳ２３２）。
　線路座標変換部２０３は、演算した傾斜と所定範囲の傾斜を有する線路の位置情報に限定し（ステップＳ２３４）、画像取得部２０が取得した撮像画像と線路の位置情報を共通の座標系に変換する。（ステップＳ１１３）。ここでは、Ｚ軸方向の値である標高情報を用いて水平面内のカメラ座標系に変換する。このカメラ座標系で変換された画像は、所謂鳥瞰図となる
　次に、マッチング部２０５は、共通の座標系において、撮像画像内の線路が対応する線路の位置情報を取得する（ステップＳ１１４）。傾斜の異なる線路の位置情報を水平面である鳥瞰図に変換することにより、傾斜の影響を抑制し、より高精度にマッチング部２０５におけるマッチングが可能となる。
　そして、線路出力部２０６は、マッチング部２０５で対照した撮像画像中の線路と一致した線路の位置情報を出力し（ステップＳ１１５）、処理を終了する。
　以上説明したように、３軸の地理座標系の線路情報が（Ｘ、Ｙ、Ｚ）と、３軸のカメラ座標系のステレオ撮像画像を用いることとした。これにより、線路座標変換部２０３が、予め取得してある所定範囲における線路の位置情報を、ステレオ撮像画像の傾斜情報により制限することが可能となる。このため、マッチィング部２０５が撮像画像内の線路が対応する線路の位置情報を取得する際に情報が制限され、より高速且つより高精度に、予め取得してある線路の位置情報に対応する撮像画像内の線路の位置情報を取得可能となる。
　これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (12)

  1. 　鉄道車両の進行方向の撮像画像を得る画像取得部と、
    　前記鉄道車両の位置に基づき、前記鉄道車両が進行する方向の第１線路の位置情報を取得する線路情報取得部と、
    　前記撮像画像と前記第１線路とを共通の座標系に変換する変換部と、
    　前記共通の座標系において、前記撮像画像内の第２線路が対応する前記第１線路の位置情報を取得する対照部と、
    　を備える鉄道線路情報取得装置。
  2. 　前記変換部は、前記撮像画像を撮像した撮像装置の座標系に前記位置情報で示す前記第１線路の座標を変換する、請求項１に記載の鉄道線路情報取得装置。
  3. 　前記変換部は、前記撮像画像の座標系を前記第１線路の座標系に変換する、請求項１に記載の鉄道線路情報取得装置。
  4. 　前記変換部は、前記撮像画像と前記第１線路の位置情報とを複数の距離に対応させた複数の座標系に変換する、請求項１乃至３のいずれか一項に記載の鉄道線路情報取得装置。
  5. 　前記撮像画像は、ステレオカメラで撮像した３次元座標が割振られた画像であり、
    　前記撮像画像の座標系と前記第１線路の座標系とに基づき、共通の座標系に変換する、請求項１乃至４のいずれか一項に記載の鉄道線路情報取得装置。
  6. 　３次元座標が割振られた画像を用いて、進行方向に対する傾斜を演算し、
    　前記傾斜に基づいて前記共通の座標系に変換する、請求項５に記載の鉄道線路情報取得装置。
  7. 　前記第１線路の前記位置情報は標高情報を有し、
    　前記変換部は、標高情報を利用して前記第１線路の位置と画像の座標系を水平座標系に変換する、請求項１乃至４のいずれか一項に記載の鉄道線路情報取得装置。
  8. 　線路分岐部におけるトングレールの状態を監視して進行線路位置情報との照合を行うことで、トングレール状態の整合性を確認するトングレール状態監視部を、
    　更に備える、請求項１乃至７のいずれか一項に記載の鉄道線路情報取得装置。
  9. 　前記対照部により得られた前記第１線路の位置情報に基づいて前記撮影装置の撮影パラメータを設定する設定部を、
    　更に備える、請求項２に記載の鉄道線路情報取得装置。
  10. 　前記設定部は、トンネル内の所定領域内のコントラストに基づき、撮影パラメータを設定する、請求項９に記載の鉄道線路情報取得装置。
  11. 　前記対照部により得られた前記線路位置に基づいて現在位置を検出する位置検出部を、
    　更に備える、請求項１乃至１０のいずれか一項に記載の鉄道線路情報取得装置。
  12. 　鉄道車両の進行方向の撮像画像を得る画像取得工程と、
    　前記鉄道車両の位置に基づき、前記鉄道車両が進行する方向の第１線路の位置情報を取得する線路情報取得工程と、
    　前記撮像画像と前記第１線路を共通の座標系に変換する変換工程と、
    　前記共通の座標系において、前記撮像画像内の線路が対応する前記第１線路の位置情報を取得する対照工程と、
    　を備える鉄道走行線路取得方法。
PCT/JP2021/015949 2020-07-20 2021-04-20 鉄道線路情報取得装置、及び鉄道線路情報取得方法 WO2022018918A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180039062.1A CN115916623A (zh) 2020-07-20 2021-04-20 铁道线路信息取得装置以及铁道线路信息取得方法
EP21846756.1A EP4183660A4 (en) 2020-07-20 2021-04-20 DEVICE FOR ACQUIRING RAILWAY LINE INFORMATION AND METHOD FOR ACQUIRING RAILWAY LINE INFORMATION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020123798A JP7455690B2 (ja) 2020-07-20 2020-07-20 鉄道線路情報取得装置、及び鉄道線路情報取得方法
JP2020-123798 2020-07-20

Publications (1)

Publication Number Publication Date
WO2022018918A1 true WO2022018918A1 (ja) 2022-01-27

Family

ID=79728596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015949 WO2022018918A1 (ja) 2020-07-20 2021-04-20 鉄道線路情報取得装置、及び鉄道線路情報取得方法

Country Status (4)

Country Link
EP (1) EP4183660A4 (ja)
JP (1) JP7455690B2 (ja)
CN (1) CN115916623A (ja)
WO (1) WO2022018918A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4286245A1 (en) * 2022-06-03 2023-12-06 Kabushiki Kaisha Toshiba Position information detection device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2016172824A (ja) 2015-03-17 2016-09-29 日本化薬株式会社 ポリイミド樹脂組成物、及びそれを用いた接着フィルム
JP2018039288A (ja) * 2016-09-05 2018-03-15 株式会社明電舎 分岐器進入可否判定装置及び分岐器進入可否判定方法
WO2018101455A1 (ja) * 2016-12-02 2018-06-07 東日本旅客鉄道株式会社 設備巡視システム及び設備巡視方法
JP2019218022A (ja) 2018-06-22 2019-12-26 株式会社東芝 線路検出装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018508418A (ja) * 2015-01-20 2018-03-29 ソルフィス リサーチ、インコーポレイテッド リモートセンシング及び車両制御のための実時間マシンビジョン並びに点群分析
EP3048559A1 (en) * 2015-01-21 2016-07-27 RindInvest AB Method and system for detecting a rail track

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2016172824A (ja) 2015-03-17 2016-09-29 日本化薬株式会社 ポリイミド樹脂組成物、及びそれを用いた接着フィルム
JP2018039288A (ja) * 2016-09-05 2018-03-15 株式会社明電舎 分岐器進入可否判定装置及び分岐器進入可否判定方法
WO2018101455A1 (ja) * 2016-12-02 2018-06-07 東日本旅客鉄道株式会社 設備巡視システム及び設備巡視方法
JP2019218022A (ja) 2018-06-22 2019-12-26 株式会社東芝 線路検出装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Geometry Constraints-based Visual Rail Track Extraction", CONFERENCE: 2016 12TH WORLD CONGRESS ON INTELLIGENT CONTROL AND AUTOMATION (WCICA
See also references of EP4183660A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4286245A1 (en) * 2022-06-03 2023-12-06 Kabushiki Kaisha Toshiba Position information detection device

Also Published As

Publication number Publication date
JP2022020355A (ja) 2022-02-01
EP4183660A4 (en) 2024-07-31
JP7455690B2 (ja) 2024-03-26
CN115916623A (zh) 2023-04-04
EP4183660A1 (en) 2023-05-24

Similar Documents

Publication Publication Date Title
JP6209141B2 (ja) 障害物検出装置及び方法
US8452467B2 (en) System and method for verifying track database information
CN109084782B (zh) 基于摄像头传感器的车道线地图构建方法以及构建系统
US8538609B2 (en) System, method, and computer readable memory medium for verifying track database information
JP4370869B2 (ja) 地図データ更新方法および地図データ更新装置
CN109478335B (zh) 驾驶辅助方法、驾驶辅助系统和车辆
JP7197282B2 (ja) 物体検知システム
CN110599853B (zh) 驾校智能教学系统及方法
CN103733077A (zh) 用于测量沿着导向轨道移动的车辆的速度和位置的装置、及其对应的方法和计算机程序产品
WO2014188536A1 (ja) ナビゲーション装置
CN109477728A (zh) 用于确定车辆相对于路面的车道的横向位置的方法、装置和带有指令的计算机可读存储介质
JP2021513481A (ja) 鉄道線路上の関心点または線を位置特定し、鉄道線路上に介入マシンを位置決めし、かつ駆動するための方法
KR102037129B1 (ko) 차량의 위치 보정 장치 및 방법과 이를 이용한 차량 위치 보정 시스템 및 무인 운행이 가능한 차량
JPH0710003A (ja) 鉄道車両用支障物検知装置
KR20200077426A (ko) 유도로 상의 항공기 포지셔닝
CN113316706A (zh) 路标位置估计设备和方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
WO2022018918A1 (ja) 鉄道線路情報取得装置、及び鉄道線路情報取得方法
CN104506821A (zh) 一种基于数字图像测量的渡口人员落水快速定位系统
Wang et al. An inverse projective mapping-based approach for robust rail track extraction
KR20060134719A (ko) 차량의 주차 구획 인식방법
JP2020006845A (ja) 線路曲率推定装置及び方法
JP4462533B2 (ja) 路面走行レーン検出装置
JP6308681B2 (ja) 渡り線設備監視装置及び方法
CN116402871B (zh) 一种基于场景平行要素的单目测距方法、系统及电子设备
Ristić-Durrant et al. Reliable Obstacle Detection for Smart Automation of Rail Transport

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21846756

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021846756

Country of ref document: EP

Effective date: 20230220