JP7170414B2 - Track identification device - Google Patents

Track identification device Download PDF

Info

Publication number
JP7170414B2
JP7170414B2 JP2018088340A JP2018088340A JP7170414B2 JP 7170414 B2 JP7170414 B2 JP 7170414B2 JP 2018088340 A JP2018088340 A JP 2018088340A JP 2018088340 A JP2018088340 A JP 2018088340A JP 7170414 B2 JP7170414 B2 JP 7170414B2
Authority
JP
Japan
Prior art keywords
track
detection unit
line
captured image
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018088340A
Other languages
Japanese (ja)
Other versions
JP2019194769A (en
Inventor
拓也 二神
雄介 高橋
勝大 堀江
広幸 小林
直人 瀬戸
陽平 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2018088340A priority Critical patent/JP7170414B2/en
Publication of JP2019194769A publication Critical patent/JP2019194769A/en
Application granted granted Critical
Publication of JP7170414B2 publication Critical patent/JP7170414B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は、軌道識別装置に関する。 Embodiments of the present invention relate to track identification devices.

従来、カメラによって得られた撮像画像に、所定のアルゴリズムの画像処理を施すことで、鉄道車両が走行する線路を撮像画像から検出する技術が知られている。このような従来のアルゴリズムとして、たとえば、予め設定された放物線状の複数の線路の候補から、線路らしさを表す尺度として設定された特徴量が最も大きい候補を、所定のエリアごとに順次探索することで、単一の経路を構成する線路を検出する、というアルゴリズムが知られている。 2. Description of the Related Art Conventionally, there is known a technique of detecting a track on which a railway vehicle travels from a captured image obtained by a camera by subjecting the captured image to image processing using a predetermined algorithm. As such a conventional algorithm, for example, among a plurality of preset parabolic railroad candidates, a candidate having the largest feature value set as a measure representing railroad-likeness is sequentially searched for each predetermined area. is known to detect tracks that form a single path.

“Rail Extraction for Driver Support in Railways”,Conference:Intelligent Vehicles Symposium(IV),2011 IEEE"Rail Extraction for Driver Support in Railways", Conference: Intelligent Vehicles Symposium (IV), 2011 IEEE

上記のような従来のアルゴリズムは、放物線状の複数の候補の全ての特徴量を計算し、比較を行うため、計算量が増大しやすく、処理に時間がかかりやすい。また、撮像画像の上側(奥側)の領域では、線路の幅が小さくなり、線路の候補の探索の対象となるエリアも小さくなるので、局所的なノイズなどの影響により、精度が低下しやすい。 The conventional algorithm as described above calculates and compares all the feature values of a plurality of parabolic candidates, so the amount of calculation tends to increase and the processing tends to take time. In addition, in the upper (deeper) region of the captured image, the width of the railroad track is smaller, and the area to be searched for railroad candidates is also smaller. .

実施形態にかかる軌道識別装置は、画像取得部と、特徴量抽出部と、線路検出部と、を備える。画像取得部は、鉄道車両の進行方向の領域を撮像することで得られる撮像画像を取得する。特徴量抽出部は、撮像画像から、線路らしさを表す特徴量を抽出する。線路検出部は、特徴量に基づいて撮像画像から線路を検出する。線路検出部は、初期検出部と、二次検出部と、を備える。初期検出部は、撮像画像の下端側に予め設定された初期エリアの下端と上端との間で延びる線路らしさが最も高い線分を特徴量に基づいて特定し、特定した線分を線路の一部の初期部分として検出する。二次検出部は、初期部分の上端を起点とし、当該起点よりも上側に設定された探索エリア内から選択される複数の候補点と、検出済みの線路の上端と、を結ぶ複数の線分候補のうち、線路らしさが最も高い1つの線分候補を特徴量に基づいて決定し、決定した1つの線分候補を線路の一部の途中部分として検出し、当該途中部分の上端を次の起点とする、という処理を繰り返し実行することで、検出済みの線路の上端が所定の位置に達するまで途中部分を繰り返し検出する。 A track identification device according to an embodiment includes an image acquisition unit, a feature amount extraction unit, and a track detection unit. The image acquisition unit acquires a captured image obtained by capturing an area in the traveling direction of the railway vehicle. The feature quantity extracting unit extracts a feature quantity representing the likeness of a railroad from the captured image. The track detection unit detects a track from the captured image based on the feature amount. The track detection section includes an initial detection section and a secondary detection section. The initial detection unit identifies, based on the feature amount, a line segment that is most likely to be a railway line extending between the lower end and the upper end of an initial area preset on the lower end side of the captured image, and identifies the identified line segment as one of the railway lines. detected as the initial part of the part. The secondary detection unit has the upper end of the initial portion as a starting point, and a plurality of line segments connecting a plurality of candidate points selected from within a search area set above the starting point and the upper end of the detected railroad track. Among the candidates, one line segment candidate with the highest railroad-likeness is determined based on the feature amount, the determined one line segment candidate is detected as a midway portion of a portion of the railroad, and the upper end of the midway portion is detected as follows. By repeatedly executing the process of setting the starting point, the midway portion is repeatedly detected until the upper end of the already detected track reaches a predetermined position.

図1は、実施形態にかかる軌道識別装置を含む車両システムの概略構成を示した例示的かつ模式的なブロック図である。FIG. 1 is an exemplary and schematic block diagram showing a schematic configuration of a vehicle system including a track identification device according to an embodiment. 図2は、実施形態にかかる軌道識別装置を含む車両システムが有する機能を示した例示的かつ模式的なブロック図である。FIG. 2 is an exemplary and schematic block diagram showing the functions of the vehicle system including the track identification device according to the embodiment. 図3は、実施形態にかかる撮像画像の例を示した例示的かつ模式的な図である。FIG. 3 is an exemplary schematic diagram showing an example of a captured image according to the embodiment; 図4は、実施形態にかかる初期検出部を説明するための例示的かつ模式的な図である。FIG. 4 is an exemplary schematic diagram for explaining an initial detection unit according to the embodiment; 図5は、実施形態にかかる二次検出部を説明するための例示的かつ模式的な図である。FIG. 5 is an exemplary and schematic diagram for explaining a secondary detection unit according to the embodiment; 図6は、実施形態にかかる補間検出部を説明するための例示的かつ模式的な図である。FIG. 6 is an exemplary schematic diagram for explaining an interpolation detection unit according to the embodiment; 図7は、実施形態にかかる補間検出部が実施しうる補間曲線の近似の例を説明するための例示的かつ模式的な図である。FIG. 7 is an exemplary schematic diagram for explaining an example of interpolation curve approximation that can be performed by the interpolation detection unit according to the embodiment; 図8は、実施形態にかかる近似された補間曲線の例を示した例示的かつ模式的な図である。FIG. 8 is an exemplary schematic diagram showing an example of approximated interpolation curves according to the embodiment. 図9は、実施形態にかかる軌道識別装置を含む車両システムが実行する一連の処理を示した例示的かつ模式的なフローチャートである。FIG. 9 is an exemplary and schematic flow chart showing a series of processes executed by the vehicle system including the track identification device according to the embodiment. 図10は、実施形態にかかる線路の検出処理の詳細を示した例示的かつ模式的なフローチャートである。FIG. 10 is an exemplary and schematic flow chart showing details of a track detection process according to the embodiment.

以下、実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果(効果)は、あくまで一例であって、以下の記載内容に制限されるものではない。 Hereinafter, embodiments will be described based on the drawings. The configurations of the embodiments described below and the actions and results (effects) brought about by the configurations are merely examples, and are not limited to the following descriptions.

<実施形態>
まず、実施形態の構成について説明する。
<Embodiment>
First, the configuration of the embodiment will be described.

図1は、実施形態にかかる軌道識別装置120を含む車両システム100の概略構成を示した例示的かつ模式的なブロック図である。車両システム100は、線路RLに沿って運行する鉄道車両RVの安全運転を実現するために鉄道車両RVに搭載されたシステムである。なお、図1では、鉄道車両RVの進行方向がDとして例示されている。 FIG. 1 is an exemplary and schematic block diagram showing a schematic configuration of a vehicle system 100 including a track identification device 120 according to an embodiment. The vehicle system 100 is a system installed in a railroad vehicle RV to realize safe driving of the railroad vehicle RV running along the railroad track RL. In addition, in FIG. 1, the traveling direction of the railway vehicle RV is illustrated as D. As shown in FIG.

図1に示されるように、車両システム100は、撮像装置110と、軌道識別装置120と、障害物検知装置130と、通知装置140と、を有している。撮像装置110は、軌道識別装置120と障害物検知装置130とに接続されている。また、障害物検知装置130は、軌道識別装置120と通知装置140とに接続されている。 As shown in FIG. 1 , the vehicle system 100 has an imaging device 110 , a track identification device 120 , an obstacle detection device 130 and a notification device 140 . The imaging device 110 is connected to the track identification device 120 and the obstacle detection device 130 . The obstacle detection device 130 is also connected to the track identification device 120 and the notification device 140 .

撮像装置110は、鉄道車両RVの進行方向Dの領域(R0で示される範囲)を撮像するカメラである。実施形態では、撮像装置110によって得られる撮像画像に線路RLが写り込むように、撮像装置110の設置位置および設置角度が設定されている。 The imaging device 110 is a camera that captures an area (a range indicated by R0) in the traveling direction D of the railroad vehicle RV. In the embodiment, the installation position and installation angle of the imaging device 110 are set so that the railroad RL is reflected in the captured image obtained by the imaging device 110 .

軌道識別装置120は、撮像装置110によって得られた撮像画像から線路RLを検出する(詳細は後述する)。 The track identification device 120 detects the track RL from the captured image obtained by the imaging device 110 (details will be described later).

障害物検知装置130は、撮像装置110によって得られた撮像画像と、軌道識別装置120の検出結果と、に基づいて、線路RLの周辺に存在する障害物(注視が必要な注視物)に関する情報(たとえば障害物の有無や当該障害物までの距離など)を検出する。 The obstacle detection device 130 obtains information about obstacles (observation objects that require attention) existing around the railroad RL based on the captured image obtained by the imaging device 110 and the detection result of the track identification device 120. (For example, the presence or absence of an obstacle, the distance to the obstacle, etc.) is detected.

通知装置140は、障害物検知装置130の検知結果を、鉄道車両RVの乗員(運転士など)に通知する。なお、通知の方法は、画像を用いた視覚に訴える方法であってもよいし、音声を用いた聴覚に訴える方法であってもよいし、振動などを用いた触覚に訴える方法であってもよいし、これらを併用した方法であってもよい。 The notification device 140 notifies the passenger (driver, etc.) of the railway vehicle RV of the detection result of the obstacle detection device 130 . The notification method may be a visual method using an image, a auditory method using voice, or a tactile method using vibration or the like. Alternatively, a combination of these methods may be used.

ここで、実施形態において、軌道識別装置120および障害物検知装置130は、いずれも、プロセッサやメモリなどといったハードウェアを有したコンピュータとして構成される。したがって、軌道識別装置120および障害物検知装置130は、それぞれのプロセッサによってメモリなどに記憶された所定のコンピュータプログラムを実行することで、以下に説明するような機能を実現することが可能である。 Here, in the embodiment, both the trajectory identification device 120 and the obstacle detection device 130 are configured as computers having hardware such as processors and memories. Therefore, the trajectory identification device 120 and the obstacle detection device 130 can realize functions as described below by executing a predetermined computer program stored in a memory or the like by their respective processors.

図2は、実施形態にかかる軌道識別装置120を含む車両システム100が有する機能を示した例示的かつ模式的なブロック図である。なお、実施形態では、図2に示される各機能が、専用のハードウェア(回路)のみによって実現されていてもよい。 FIG. 2 is an exemplary and schematic block diagram showing functions of the vehicle system 100 including the track identification device 120 according to the embodiment. In addition, in the embodiment, each function shown in FIG. 2 may be realized only by dedicated hardware (circuit).

図2に示されるように、軌道識別装置120は、画像取得部121と、特徴量抽出部122と、線路検出部123と、記憶部124と、を有している。また、障害物検知装置130は、機能的構成として、検知領域取得部131と、障害物検知部132と、を有している。 As shown in FIG. 2 , the track identification device 120 has an image acquisition section 121 , a feature amount extraction section 122 , a track detection section 123 and a storage section 124 . Further, the obstacle detection device 130 has a detection area acquisition section 131 and an obstacle detection section 132 as functional configurations.

画像取得部121は、撮像装置110によって得られた撮像画像を取得する。たとえば、画像取得部121は、次の図3に示されるような画像300を撮像画像として取得する。 The image acquisition unit 121 acquires the captured image obtained by the imaging device 110 . For example, the image acquisition unit 121 acquires an image 300 as shown in FIG. 3 below as a captured image.

図3は、実施形態にかかる撮像画像の例を示した例示的かつ模式的な図である。図3に示される画像300には、一例として、一対のレール301aおよび301bによって構成された線路301が写り込んでいる。図3に示されるように、画像300上においては、遠近法により、線路301の幅(一対のレール301aおよび301bの間の間隔)が、下側(手前側)から上側(奥側)に向かうにしたがって徐々に小さくなっていく。 FIG. 3 is an exemplary schematic diagram showing an example of a captured image according to the embodiment; An image 300 shown in FIG. 3 includes, as an example, a track 301 configured by a pair of rails 301a and 301b. As shown in FIG. 3, on the image 300, the width of the railroad track 301 (the distance between the pair of rails 301a and 301b) increases from the lower side (the near side) to the upper side (the far side) due to perspective. gradually becomes smaller.

図2に戻り、特徴量抽出部122は、画像取得部121により取得された撮像画像から、線路RLらしさを表す尺度として設定された特徴量を抽出する。特徴量としては、たとえば輝度に基づく所定方向における輝度の勾配を用いてもよい。所定方向とは、たとえば、撮像画像に写った線路RLの延びる方向と交差する方向(図3に示される例においてたとえば左右方向)である。 Returning to FIG. 2 , the feature quantity extraction unit 122 extracts a feature quantity set as a scale representing the railroad RL-likeness from the captured image acquired by the image acquisition unit 121 . As the feature amount, for example, a gradient of luminance in a predetermined direction based on luminance may be used. The predetermined direction is, for example, a direction that intersects the direction in which the line RL extends in the captured image (for example, the horizontal direction in the example shown in FIG. 3).

線路検出部123は、特徴量抽出部122により抽出された特徴量に基づいて、画像取得部121により取得された撮像画像から線路RLを検出する。 The track detection unit 123 detects the track RL from the captured image acquired by the image acquisition unit 121 based on the feature quantity extracted by the feature quantity extraction unit 122 .

ところで、従来、撮像画像から線路RLを検出するためのアルゴリズムとして、たとえば、予め設定された放物線状の複数の線路RLの候補から、線路RLらしさを表す尺度として設定された特徴量が最も大きい候補を、所定のエリアごとに順次探索することで、単一の経路を構成する線路RLを検出する、というアルゴリズムが知られている。 By the way, conventionally, as an algorithm for detecting a railroad track RL from a captured image, for example, among a plurality of preset parabolic railroad track candidates, a candidate having the largest feature value set as a measure representing the likelihood of a track RL is selected. is sequentially searched for each predetermined area to detect the line RL that constitutes a single route.

このような従来のアルゴリズムは、放物線状の複数の候補の全ての特徴量を計算し、比較を行うため、計算量が増大しやすく、処理に時間がかかりやすい。また、撮像画像の上側(奥側)の領域では、線路RLの幅が小さくなり、線路RLの候補の探索の対象となるエリアも小さくなるので、局所的なノイズなどの影響により、精度が低下しやすい。 Such a conventional algorithm calculates and compares all the feature values of a plurality of parabolic candidates, so the amount of calculation tends to increase and the processing tends to take a long time. In addition, in the upper (deeper) area of the captured image, the width of the line RL becomes smaller, and the area to be searched for the candidate for the line RL becomes smaller, so the accuracy decreases due to the influence of local noise and the like. It's easy to do.

そこで、実施形態にかかる線路検出部123は、以下に説明するような構成により、撮像画像から線路RLをより高速に、かつより精度よく検出する。 Therefore, the track detection unit 123 according to the embodiment detects the track RL from the captured image at a higher speed and with a higher accuracy by using a configuration described below.

すなわち、実施形態にかかる線路検出部123は、撮像画像から線路RLをより高速に、かつより精度よく検出するための構成として、線路RLのうち撮像画像の下端から当該下端よりも上方の所定位置までの部分を線分の集合として検出する初期検出部123aおよび二次検出部123bと、線路RLの残りの部分を後述する補間曲線に基づいて検出する補間検出部123cと、を有している。 That is, the track detection unit 123 according to the embodiment is configured to detect the track RL from the captured image at a higher speed and with higher accuracy. an initial detection unit 123a and a secondary detection unit 123b that detect the portion up to the line segment as a set of line segments, and an interpolation detection unit 123c that detects the remaining portion of the line RL based on an interpolation curve described later. .

図4は、実施形態にかかる初期検出部123aを説明するための例示的かつ模式的な図である。図4に示されるように、実施形態にかかる初期検出部123aは、撮像画像としての画像300の下端側に予め設定された初期エリアとしての領域401aおよび401bの下端と上端との間で延びる線路らしさが最も高い線分を特徴量に基づいて特定し、特定した線分(太線参照)を、線路301の一部の初期部分として検出する。なお、初期エリアに関する情報や、検出済みの線路RLに関する情報は、軌道識別装置120の記憶部124(図2参照)に記憶される。そして、実施形態では、初期部分として特定された線分の上端P1aおよびP1bを起点として、次に説明するような処理が二次検出部123bにより実行される。 FIG. 4 is an exemplary and schematic diagram for explaining the initial detection unit 123a according to the embodiment. As shown in FIG. 4, the initial detection unit 123a according to the embodiment includes a line extending between the lower end and the upper end of regions 401a and 401b as initial areas set in advance on the lower end side of an image 300 as a captured image. A line segment with the highest likelihood is specified based on the feature quantity, and the specified line segment (see the thick line) is detected as an initial part of the railroad track 301 . Information about the initial area and information about the detected track RL are stored in the storage unit 124 (see FIG. 2) of the track identification device 120 . Then, in the embodiment, starting from the upper ends P1a and P1b of the line segment specified as the initial portion, the secondary detection unit 123b performs the processing described below.

図5は、実施形態にかかる二次検出部123bを説明するための例示的かつ模式的な図である。図5に示されるように、実施形態にかかる二次検出部123bは、まず、上記の初期部分の上端P1aおよびP1bを起点とし、当該起点としての上端P1aよりも上側に設定された探索エリア501a内から、起点としての上端P1aに対する終点の候補としての複数の候補点P2a、P2a´、およびP2a´´を選択するとともに、起点としての上端P1bよりも上側に設定された探索エリア501b内から、起点としての上端P1bに対する終点の候補としての複数の候補点P2b、P2b´、およびP2b´´を選択する。 FIG. 5 is an exemplary and schematic diagram for explaining the secondary detection unit 123b according to the embodiment. As shown in FIG. 5, the secondary detection unit 123b according to the embodiment first uses the upper ends P1a and P1b of the initial portion as starting points, and a search area 501a set above the upper end P1a as the starting point. A plurality of candidate points P2a, P2a′, and P2a″ as candidates for the end point with respect to the upper end P1a as the starting point are selected from within the search area 501b set above the upper end P1b as the starting point, A plurality of candidate points P2b, P2b', and P2b'' are selected as end point candidates for the top edge P1b as the starting point.

そして、二次検出部123bは、上記のように選択した複数の候補点と、検出済みの線路RLの上端と、を結ぶ複数の線分候補のうち、線路RLらしさが最も高い1つの線分候補を特徴量に基づいて決定し、決定した1つの線分候補を、線路RLの一部の途中部分として検出する。たとえば、図5に示される例では、初期部分の上端P1aと探索エリア501aの上端の候補点P2aとの間で延びる太線と、初期部分の上端P1bと探索エリア501bの上端の候補点P2bとの間で延びる太線とが、線路RLらしさが最も高い線分候補として決定され、途中部分として検出される。 Then, the secondary detection unit 123b selects one line segment having the highest likelihood of the line RL among the plurality of line segment candidates connecting the plurality of candidate points selected as described above and the detected upper end of the line RL. Candidates are determined based on the feature amount, and one determined line segment candidate is detected as a part of the middle portion of the railroad RL. For example, in the example shown in FIG. 5, the thick line extending between the upper end P1a of the initial portion and the candidate point P2a at the upper end of the search area 501a and the upper end P1b of the initial portion and the candidate point P2b at the upper end of the search area 501b A thick line extending in between is determined as a line segment candidate having the highest likelihood of being on the railroad RL, and is detected as an intermediate portion.

そして、二次検出部123bは、上記で検出した途中部分の上端を次の起点として同様の処理を繰り返し実行する、つまり途中部分の上端を次の起点とした次の探索エリアの決定および当該次の探索エリアから選択される複数の候補点に基づく線路RLの一部(次の途中部分)の検出を繰り返し実行することで、検出済みの線路RLの上端が所定の位置に達するまで、途中部分を繰り返し検出する。なお、図5においては、簡単化のため、探索エリア501aおよび501b以降の探索エリアなどの図示が省略されている。 Then, the secondary detection unit 123b repeats the same process with the upper end of the midway portion detected above as the next starting point. By repeatedly executing the detection of a part (next middle part) of the railroad RL based on a plurality of candidate points selected from the search area, until the upper end of the detected railroad RL reaches a predetermined position, the middle part is repeatedly detected. In FIG. 5, illustration of the search areas after the search areas 501a and 501b is omitted for the sake of simplification.

ここで、実施形態において、線路RLらしさが最も高い点は、たとえば、検出済みの線路RLの一部(図5に示される例では初期部分)の特徴量と、探索エリア(図5に示される例では501aおよび501b)の特徴量(の平均値など)と、のうち少なくとも一方に基づいて特定される。このような構成によれば、検出済みの線路RLとの類似度と、探索エリア内における線路RLらしさと、のうち少なくとも一方を考慮して、線路RLらしさが最も高い点を適切に決定することができる。 Here, in the embodiment, the point with the highest likelihood of the railroad RL is, for example, the feature amount of a part of the railroad RL that has already been detected (initial part in the example shown in FIG. 5) and the search area (shown in FIG. In the example, it is identified based on at least one of (such as the average value of) the feature amount of 501a and 501b). According to such a configuration, considering at least one of the degree of similarity with the detected line RL and the line RL-likeness in the search area, it is possible to appropriately determine the point with the highest line-likeness. can be done.

また、実施形態において、探索エリア(図5に示される例では501aおよび501b)は、直近に検出された線路RLの一部(図5に示される例では初期部分)の撮像画像(図5に示される例では300)上での位置および角度のうち少なくとも一方に基づいて決定される。このような構成によれば、直近に検出された線路RLとの連続性を考慮して、次の線路RLの候補点を含んでいる可能性が高いエリアを、次の探索エリアとして精度良く決定することができる。 In addition, in the embodiment, the search areas (501a and 501b in the example shown in FIG. 5) are captured images (in the example shown in FIG. In the example shown, it is determined based on position and/or angle on 300). According to such a configuration, considering the continuity with the most recently detected railroad track RL, the area that is highly likely to contain the candidate point of the next railroad track RL is accurately determined as the next search area. can do.

また、実施形態において、探索エリア(図5に示される例では501aおよび501b)は、撮像画像(図5に示される例では300)の左右方向を長手方向とし、撮像画像(図5に示される例では300)の上下方向を短手方向とする長方形形状に設定される。このような構成によれば、線路RLがカーブしている場合でも線路RLの全体を含みやすく、かつ計算で扱いやすい形状の探索エリアを設定することができる。 In addition, in the embodiment, the search areas (501a and 501b in the example shown in FIG. 5) have the left-right direction of the captured image (300 in the example shown in FIG. 5) as the longitudinal direction. In the example, it is set in a rectangular shape with the vertical direction of 300) as the lateral direction. According to such a configuration, even when the track RL is curved, it is possible to set a search area having a shape that easily includes the entire track RL and that is easy to handle in calculation.

なお、二次検出部123bによる検出は、検出済みの線路RLの上端が撮像画像(図5に示される例では300)における線路RLの消失点の高さに到達するまで、すなわち線路RLの全体の検出が完了するまで繰り返されてもよいが、実施形態では、一例として、検出済みの線路RLの上端が所定の位置に達したタイミングで、二次検出部123bによる検出から、次に説明するような補間検出部123cによる検出に処理が切り替わるものとする。 Note that the detection by the secondary detection unit 123b is performed until the detected upper end of the railroad RL reaches the height of the vanishing point of the railroad RL in the captured image (300 in the example shown in FIG. 5), that is, the entire railroad RL. may be repeated until the detection of is completed, but in the embodiment, as an example, at the timing when the detected upper end of the line RL reaches a predetermined position, the detection by the secondary detection unit 123b is started. It is assumed that the processing is switched to detection by the interpolation detection unit 123c as described above.

図6は、実施形態にかかる補間検出部123cを説明するための例示的かつ模式的な図である。図6に示される例は、上端PNaおよびPNbの高さまでの線路RLが二次検出部124bにより検出済みになっており、当該上端PNaおよびPNbの高さ以降の線路RLが補間検出部123cにより検出されるという状況を表している。 FIG. 6 is an exemplary and schematic diagram for explaining the interpolation detection unit 123c according to the embodiment. In the example shown in FIG. 6, the line RL up to the height of the upper ends PNa and PNb has already been detected by the secondary detection unit 124b, and the line RL after the height of the upper ends PNa and PNb is detected by the interpolation detection unit 123c. It represents the situation of being detected.

図6に示されるように、補間検出部123cは、まず、撮像画像としての画像300の上端側に設定される消失点エリア600から、線路RLの消失点の候補としての点(消失点候補)P600~P602を、画像300の(消失点エリア600の)特徴量に基づいて特定する。 As shown in FIG. 6, the interpolation detection unit 123c first extracts points (vanishing point candidates) as vanishing point candidates of the railroad RL from a vanishing point area 600 set on the upper end side of an image 300 as a captured image. P600 to P602 are identified based on the feature amount of the image 300 (of the vanishing point area 600).

そして、補間検出部123cは、上記のように特定した複数の点P600~P602と、検出済みの線路RLの上端PNaおよびPNbと、の間の領域を補完する複数の補間曲線を取得する。図6に示される例では、消失点候補としての点P601を基準とした補間曲線としての曲線La1およびLa2と、消失点候補としての点P602を基準とした補間曲線としての曲線La2およびLb2とが例示されている。なお、図6に示される例において、点P601およびP602以外の消失点候補が存在しうるとともに、曲線La1、Lb1、La2、およびLb2以外の補間曲線が存在しうることは言うまでもない。 Then, the interpolation detection unit 123c acquires a plurality of interpolation curves that interpolate a region between the plurality of points P600 to P602 specified as described above and the detected upper ends PNa and PNb of the railroad RL. In the example shown in FIG. 6, curves La1 and La2 as interpolation curves based on point P601 as a vanishing point candidate, and curves La2 and Lb2 as interpolation curves based on point P602 as a vanishing point candidate. exemplified. In the example shown in FIG. 6, it goes without saying that there can be vanishing point candidates other than the points P601 and P602, and interpolation curves other than the curves La1, Lb1, La2, and Lb2.

そして、補間検出部123cは、上記のように取得した複数の補間曲線のうち、線路RLらしさが最も高い1つの補間曲線(図6には不図示の点P600を基準とした補間曲線)に基づいて、線路RLのうち未検出の部分を検出する。このような構成によれば、線路RLのうち初期検出部123aおよび二次検出部123bにより未検出の部分を、補間曲線に基づいて、より高速に、かつより精度良く検出することができる。 Then, the interpolation detection unit 123c selects one interpolation curve (an interpolation curve based on the point P600, not shown in FIG. 6) having the highest likelihood of being on the railway line among the plurality of interpolation curves acquired as described above. to detect the undetected portion of the line RL. According to such a configuration, a portion of the line RL that has not been detected by the initial detection section 123a and the secondary detection section 123b can be detected at higher speed and with higher accuracy based on the interpolation curve.

ここで、実施形態において、補間検出部123cは、計算をさらに高速化するため、上記の補間曲線をそのまま線路RL(の一部)として検出するのではなく、上記の補間曲線を計算で扱いやすい複数の線分で近似し、当該複数の線分を線路RL(の一部)として検出しうる。 Here, in the embodiment, in order to further speed up the calculation, the interpolation detection unit 123c does not detect the interpolation curve as it is as (a part of) the line RL, but the interpolation curve is easy to handle in calculation. A plurality of line segments can be approximated and the plurality of line segments can be detected as (part of) the line RL.

図7は、実施形態にかかる補間検出部123cが実施しうる補間曲線の近似の例を説明するための例示的かつ模式的な図であり、図8は、実施形態にかかる近似された補間曲線の例を示した例示的かつ模式的な図である。図7および図8に示される例では、線路RLらしさが最も高い補間曲線を構成可能な消失点候補としての点P701(図6に示される点P600に対応)を基準とした補間曲線としてのLaおよびLbが、所定の高さ(Lx参照)の点PxaおよびPxbで二分される。そして、図7および図8に示される例では、検出済みの線路RLの上端PNaおよびPNbよりも上側に位置する未検出の線路RLが、点PxaおよびPxbと上端PNaおよびPNbとを結ぶ線分と、点PxaおよびPxbと線路RLを構成するレール301aおよび301bの終端とをそれぞれ結ぶ線分と、の集合(折れ線)として検出される。 FIG. 7 is an exemplary and schematic diagram for explaining an example of interpolation curve approximation that can be performed by the interpolation detection unit 123c according to the embodiment, and FIG. 8 is an approximated interpolation curve according to the embodiment. 1 is an exemplary and schematic diagram showing an example of . In the examples shown in FIGS. 7 and 8, La and Lb are bisected at points Pxa and Pxb of a given height (reference Lx). In the examples shown in FIGS. 7 and 8, the undetected line RL located above the upper ends PNa and PNb of the detected line RL is the line segment connecting the points Pxa and Pxb and the upper ends PNa and PNb. , and line segments connecting the points Pxa and Pxb and the ends of the rails 301a and 301b forming the railroad track RL.

なお、図7および図8には、補間曲線を二分して近似する折れ線が未検出の線路RLとして検出される例が示されているが、実施形態では、補間曲線を3つ以上の区間に分けて近似する折れ線が未検出の線路RLとして検出されてもよい。また、図7および図8には、補間曲線を近似する複数の線分により折れ線が構成される例が示されているが、実施形態では、補間曲線を近似する複数の線分が直線状に並ぶこともありうる。 7 and 8 show an example in which a polygonal line approximated by halving the interpolation curve is detected as the undetected line RL. A polygonal line that divides and approximates may be detected as the undetected line RL. 7 and 8 show an example in which a polygonal line is formed by a plurality of line segments approximating an interpolation curve. You may have to line up.

また、図7および図8には、線路RLの消失点に対応した点P701と、二次検出部123bにより検出した線路RLの途中部分の上端PNaおよびPNbと、の間が補間曲線で補間される例が示されている。しかしながら、実施形態は、二次検出部123bによる途中部分の検出を実施せず、点P701と、初期検出部123aにより検出された初期部分の上端P1aおよびP1b(図5および図6参照)と、の間を補間曲線で補間する構成であってもよい。 7 and 8, the point P701 corresponding to the vanishing point of the line RL and the upper ends PNa and PNb of the middle portion of the line RL detected by the secondary detection unit 123b are interpolated by interpolation curves. Examples are given. However, the embodiment does not implement the detection of the middle portion by the secondary detection unit 123b, and the point P701, the upper ends P1a and P1b of the initial portion detected by the initial detection unit 123a (see FIGS. 5 and 6), may be interpolated using an interpolation curve.

このようにして、実施形態にかかる線路検出部123(初期検出部123a、二次検出部123b、および補間検出部123c)は、所定の画像処理により、撮像画像から線路RLを検出する。 Thus, the track detection unit 123 (the initial detection unit 123a, the secondary detection unit 123b, and the interpolation detection unit 123c) according to the embodiment detects the track RL from the captured image by predetermined image processing.

図2に戻り、検知領域取得部131は、撮像装置110によって得られた撮像画像と、軌道識別装置120の検出結果と、に基づいて、障害物を検知(監視)する対象となる検知領域を取得する。検知領域とは、たとえば、線路RLの周辺の予め設定された範囲の領域である。 Returning to FIG. 2, the detection area acquisition unit 131 determines a detection area to detect (monitor) an obstacle based on the captured image obtained by the imaging device 110 and the detection result of the track identification device 120. get. The detection area is, for example, a preset area around the railroad track RL.

そして、障害物検知部132は、検知領域取得部131により取得された検知領域を監視することで、当該検知領域から、障害物に関する情報(たとえば障害物の有無や障害物までの距離など)を検知する。 Then, the obstacle detection unit 132 monitors the detection area acquired by the detection area acquisition unit 131, and obtains information about the obstacle (for example, the presence or absence of the obstacle, the distance to the obstacle, etc.) from the detection area. detect.

次に、第1実施形態の制御動作について説明する。 Next, the control operation of the first embodiment will be explained.

図9は、実施形態にかかる軌道識別装置120を含む車両システム100が実行する一連の処理を示した例示的かつ模式的なフローチャートである。この図9に示される処理フローは、たとえば鉄道車両RVの走行中に所定の制御周期で繰り返し実行される。 FIG. 9 is an exemplary and schematic flow chart showing a series of processes executed by the vehicle system 100 including the track identification device 120 according to the embodiment. The processing flow shown in FIG. 9 is repeatedly executed at a predetermined control cycle while the railway vehicle RV is running, for example.

図9に示される処理フローでは、まず、S901において、軌道識別装置120の画像取得部121は、撮像装置110によって得られた撮像画像を取得する。前述したように、ここで取得される撮像画像には、線路RLが写り込んでいる。 In the processing flow shown in FIG. 9 , first, in S901, the image acquisition unit 121 of the track identification device 120 acquires the imaged image obtained by the imaging device 110 . As described above, the captured image obtained here includes the railroad track RL.

そして、S902において、軌道識別装置120の特徴量抽出部122および線路検出部123は、次の図10に示されるような処理を実行することで、S901で取得された撮像画像から、線路RLを検出する。 Then, in S902, the feature quantity extraction unit 122 and the track detection unit 123 of the track identification device 120 execute the processing shown in FIG. To detect.

図10は、実施形態にかかる線路RLの検出処理の詳細を示した例示的かつ模式的なフローチャートである。 FIG. 10 is an exemplary and schematic flow chart showing details of the detection process of the railroad track RL according to the embodiment.

図10に示される処理フローでは、まず、S1001において、特徴量抽出部122は、S901で取得された撮像画像から、線路RLらしさを表す尺度としての特徴量を抽出する。 In the processing flow shown in FIG. 10 , first, in S1001, the feature amount extraction unit 122 extracts a feature amount as a scale representing the railroad RL-likeness from the captured image acquired in S901.

そして、S1002において、線路検出部123の初期検出部123aは、S1001で抽出された特徴量に基づき、前述したようなアルゴリズムで、S901で取得された撮像画像の初期エリア内の線分を、線路RLの一部(初期部分)として検出する(図4参照)。 Then, in S1002, the initial detection unit 123a of the railroad detection unit 123 detects line segments in the initial area of the captured image acquired in S901 using the algorithm described above based on the feature amount extracted in S1001. It is detected as part of the RL (initial part) (see FIG. 4).

そして、S1003において、線路検出部123の二次検出部123bは、検出済みの線路RLの上端を起点とし、当該起点よりも上側に設定された次の探索エリアから、起点に対する終点の候補となる複数の候補点を、S1001で抽出された特徴量に基づいて選択する。 Then, in S1003, the secondary detection unit 123b of the line detection unit 123 uses the upper end of the detected line RL as a starting point, and selects the next search area set above the starting point as a candidate for the end point with respect to the starting point. A plurality of candidate points are selected based on the feature amount extracted in S1001.

そして、S1004において、二次検出部123bは、検出済みの線路RLの上端と、S1003で選択された複数の候補点と、を結ぶ複数の線分候補を取得する。 Then, in S1004, the secondary detection unit 123b acquires a plurality of line segment candidates connecting the detected upper end of the track RL and the plurality of candidate points selected in S1003.

そして、S1005において、二次検出部123bは、S1004で特定された複数の線分候補から、最も線路RLらしい1つの線分候補を、S1001で抽出された特徴量に基づいて決定し、決定した1つの線分候補を、線路RLの一部(途中部分)として検出する(図5参照)。 Then, in S1005, the secondary detection unit 123b determines one line segment candidate that most resembles the railroad RL from the plurality of line segment candidates identified in S1004 based on the feature amount extracted in S1001. One line segment candidate is detected as a part (middle part) of the line RL (see FIG. 5).

そして、S1006において、二次検出部123bは、S1005の処理により所定の位置まで線路RLの検出が完了したか否か、より具体的にはS1005で検出した途中部分の上端が所定の位置(高さ)に達したか否かを判断する。 In S1006, the secondary detection unit 123b determines whether or not the detection of the railroad RL has been completed up to a predetermined position by the processing in S1005. ) is reached.

S1006において、所定の位置まで線路RLの検出が完了していないと判断された場合、S1003に処理が戻る。一方、S1006において、所定の位置まで線路RLの検出が完了したと判断された場合、S1007に処理が進む。 If it is determined in S1006 that the detection of the railroad RL has not been completed up to the predetermined position, the process returns to S1003. On the other hand, if it is determined in S1006 that the detection of the railroad RL has been completed up to the predetermined position, the process proceeds to S1007.

S1007において、線路検出部123の補間検出部123cは、撮像画像の上端側に設定される消失点エリアから、撮像画像上における線路RLの消失点の候補としての複数の消失点候補を、S1001で抽出された特徴量に基づいて特定する(図6参照)。 In S1007, the interpolation detection unit 123c of the railroad detection unit 123 selects a plurality of vanishing point candidates as vanishing point candidates of the railroad RL on the captured image from the vanishing point area set on the upper end side of the captured image. It specifies based on the extracted feature amount (see FIG. 6).

そして、S1008において、補間検出部123cは、S1007で特定した複数の候補点の各々と、検出済みの線路(途中部分)の上端と、の間の領域を補完する複数の補間曲線を取得する(図6参照)。 Then, in S1008, the interpolation detection unit 123c acquires a plurality of interpolation curves that interpolate the area between each of the plurality of candidate points identified in S1007 and the upper end of the detected railroad track (middle portion) ( See Figure 6).

そして、S1009において、補間検出部123cは、S1001で抽出された特徴量に基づき、S1008で取得した複数の補間曲線のうち、最も線路RLらしい1つの補間曲線を決定し、決定した1つの補間曲線に基づいて、未検出の線路RLを検出する。この時、補間検出部123cは、線路RLらしさが最も高い補間曲線を複数の線分で近似し、当該複数の線分で構成される直線または折れ線を、未検出の線路RLとして検出してもよい(図7および図8参照)。 Then, in S1009, the interpolation detection unit 123c determines one interpolation curve that most resembles the railroad RL among the plurality of interpolation curves acquired in S1008 based on the feature amount extracted in S1001, and determines the determined one interpolation curve. , the undetected line RL is detected. At this time, the interpolation detecting unit 123c approximates the interpolated curve having the highest likelihood of the line RL with a plurality of line segments, and detects a straight line or polygonal line formed by the plurality of line segments as an undetected line RL. Good (see Figures 7 and 8).

S1009の処理が終了すると、図9に示される処理フローに処理が戻る。つまり、S1009の処理が終了すると、図9に示されるS902の処理が終了し、S903に処理が進む。 When the process of S1009 ends, the process returns to the process flow shown in FIG. That is, when the process of S1009 ends, the process of S902 shown in FIG. 9 ends, and the process proceeds to S903.

S903において、障害物検知装置130の検知領域取得部131は、S902の検出結果に基づき、障害物を検知する対象となる検知領域を取得する。前述したように、このS903で取得される検知領域は、たとえば、鉄道車両RVが走行する可能性のある全ての線路RLの周辺の予め設定された範囲の領域である。 In S903, the detection area acquisition unit 131 of the obstacle detection device 130 acquires a detection area to detect an obstacle based on the detection result of S902. As described above, the detection area acquired in this S903 is, for example, a preset range area around all the railroad tracks RL on which the railway vehicle RV may run.

そして、S904において、障害物検知装置130の障害物検知部132は、S903で取得された検知領域を監視することで、当該検知領域から、障害物に関する情報(たとえば障害物の有無や障害物までの距離など)を検知する。 Then, in S904, the obstacle detection unit 132 of the obstacle detection device 130 monitors the detection area acquired in S903, and obtains information about the obstacle (for example, whether or not there is an obstacle and whether or not the obstacle exists) from the detection area. distance, etc.).

そして、S905において、通知装置140は、S904での検知結果を、鉄道車両RVの乗員(運転士など)に通知する。なお、前述したように、通知の方法は、画像を用いた視覚に訴える方法であってもよいし、音声を用いた聴覚に訴える方法であってもよいし、振動などを用いた触覚に訴える方法であってもよいし、これらを併用した方法であってもよい。 Then, in S905, the notification device 140 notifies the passenger (driver, etc.) of the railway vehicle RV of the detection result in S904. As described above, the notification method may be a method that appeals to vision using an image, a method that appeals to hearing using sound, or a method that appeals to touch using vibration or the like. It may be a method, or a method in which these are used in combination.

以上説明したように、実施形態にかかる軌道識別装置120は、鉄道車両RVの進行方向の領域を撮像することで得られる撮像画像を取得する画像取得部121と、撮像画像から、線路RLらしさを表す特徴量を抽出する特徴量抽出部122と、特徴量に基づいて撮像画像から線路RLを検出する線路検出部123と、を有しており、線路検出部123は、初期検出部123aと、二次検出部123bと、を有している。初期検出部123aは、撮像画像の下端側に予め設定された初期エリアの下端と上端との間で延びる線路RLらしさが最も高い線分を特徴量に基づいて特定し、特定した線分を線路RLの一部の初期部分として検出する。二次検出部123bは、初期部分の上端を起点とし、当該起点よりも上側に設定された探索エリア内から選択される複数の候補点と、検出済みの線路RLの上端と、を結ぶ複数の線分候補のうち、線路RLらしさが最も高い1つの線分候補を特徴量に基づいて決定し、決定した1つの線分候補を線路RLの一部の途中部分として検出し、当該途中部分の上端を次の起点とする、という処理を繰り返し実行することで、検出済みの線路RLの上端が所定の位置に達するまで途中部分を繰り返し検出する。このような構成によれば、たとえば放物線の集合として線路RLを検出する従来のようなアルゴリズムに比べて、計算で扱いやすい線分の集合として線路RLを検出する分、撮像画像から線路RLをより高速に、かつより精度よく検出することができる。 As described above, the track identification device 120 according to the embodiment includes the image acquisition unit 121 that acquires a captured image obtained by capturing an image of the area in the traveling direction of the railway vehicle RV, and the track RL-likeness from the captured image. and a line detection unit 123 for detecting the line RL from the captured image based on the feature amount. The line detection unit 123 includes an initial detection unit 123a, and a secondary detection unit 123b. The initial detection unit 123a identifies, based on the feature amount, a line segment that extends between the lower end and the upper end of an initial area set in advance on the lower end side of the captured image and has the highest likelihood of being a line RL. Detect as an initial part of a part of RL. The secondary detection unit 123b uses the upper end of the initial portion as a starting point, and connects a plurality of candidate points selected from within a search area set above the starting point and the upper end of the detected track RL. Among the line segment candidates, one line segment candidate that is most likely to be on the railway RL is determined based on the feature amount, the determined one line segment candidate is detected as a middle portion of a part of the railway RL, and the middle portion of the middle portion is detected. By repeatedly executing the process of setting the upper end to the next starting point, the midway portion is repeatedly detected until the upper end of the detected line RL reaches a predetermined position. According to such a configuration, the line RL is detected as a set of line segments that are easy to handle in calculation, compared to the conventional algorithm that detects the line RL as a set of parabolas, for example. High-speed and more accurate detection is possible.

また、実施形態にかかる線路検出部123は、上記の初期検出部123aおよび二次検出部123bに加えて、撮像画像の上端側に設定される消失点エリアから、撮像画像上における線路RLの消失点の候補としての複数の消失点候補を特徴量に基づいて特定し、特定した複数の消失点候補と、検出済みの途中部分の上端と、の間の領域を補完する複数の補間曲線を取得し、取得した複数の補間曲線のうち、線路RLらしさが最も高い補間曲線に基づいて、線路RLのうち未検出の部分を検出する補間検出部123cをさらに有する。このような構成によれば、所定の補間曲線を計算により求めることで、撮像画像から線路RLをより高速に、かつより精度よく検出することができる。 In addition to the above-described initial detection unit 123a and secondary detection unit 123b, the track detection unit 123 according to the embodiment detects the disappearance of the track RL on the captured image from the vanishing point area set on the upper end side of the captured image. Identify multiple vanishing point candidates as point candidates based on the feature amount, and obtain multiple interpolation curves that interpolate the area between the identified multiple vanishing point candidates and the upper end of the detected middle part. and an interpolation detection unit 123c for detecting an undetected portion of the line RL based on the interpolation curve having the highest line RL-likeness among the acquired plurality of interpolation curves. According to such a configuration, by calculating a predetermined interpolation curve, it is possible to detect the railroad track RL from the captured image at a higher speed and with a higher degree of accuracy.

なお、実施形態にかかる線路検出部123は、二次検出部123bを含まない、初期検出部123aおよび補間検出部123cのみを含んだ構成であってもよい。この場合、補間検出部123cは、撮像画像の上端側に位置する、線路RLの消失点に対応した1つの点を特徴量に基づいて特定し、特定した1つの点と同じ高さの複数の候補点と、初期部分の上端と、の間の領域の少なくとも一部を補完する複数の補間曲線を取得し、取得した複数の補間曲線のうち、線路RLらしさが最も高い補間曲線に基づいて、線路RLのうち初期部分以外の残りの部分の少なくとも一部を検出する。このような構成によっても、撮像画像から線路RLをより高速に、かつより精度よく検出することができる。 Note that the line detection unit 123 according to the embodiment may have a configuration including only the initial detection unit 123a and the interpolation detection unit 123c, without including the secondary detection unit 123b. In this case, the interpolation detection unit 123c identifies one point corresponding to the vanishing point of the railroad RL located on the upper end side of the captured image based on the feature amount, and detects a plurality of points having the same height as the one identified point. Obtaining a plurality of interpolation curves that interpolate at least part of an area between the candidate point and the upper end of the initial portion, and based on the interpolation curve having the highest railway RL-likeness among the obtained plurality of interpolation curves, At least part of the rest of the line RL other than the initial part is detected. With such a configuration as well, it is possible to detect the line RL from the captured image at a higher speed and with a higher degree of accuracy.

以上、本発明の実施形態を説明したが、上記実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiment of the present invention has been described above, the above embodiment is merely an example and is not intended to limit the scope of the invention. The above embodiments can be implemented in various forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. The above embodiments and their modifications are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.

120 軌道識別装置
121 画像取得部
122 特徴量抽出部
123 線路検出部
123a 初期検出部
123b 二次検出部
123c 補間検出部
120 track identification device 121 image acquisition unit 122 feature amount extraction unit 123 track detection unit 123a initial detection unit 123b secondary detection unit 123c interpolation detection unit

Claims (6)

鉄道車両の進行方向の領域を撮像することで得られる撮像画像を取得する画像取得部と、
前記撮像画像から、線路らしさを表す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて前記撮像画像から前記線路を検出する線路検出部と、
を備え、
前記線路検出部は、
前記撮像画像の下端側に予め設定された初期エリアの下端と上端との間で延びる前記線路らしさが最も高い線分を前記特徴量に基づいて特定し、特定した前記線分を前記線路の一部の初期部分として検出する初期検出部と、
前記初期部分の上端を起点とし、当該起点よりも上側に設定された探索エリア内から選択される複数の候補点と、検出済みの前記線路の上端と、を結ぶ複数の線分候補のうち、前記線路らしさが最も高い1つの線分候補を前記特徴量に基づいて決定し、決定した前記1つの線分候補を前記線路の一部の途中部分として検出し、当該途中部分の上端を次の起点とする、という処理を繰り返し実行することで、検出済みの前記線路の上端が所定の位置に達するまで前記途中部分を繰り返し検出する二次検出部と、
を備える、軌道識別装置。
an image acquisition unit that acquires a captured image obtained by capturing an area in the traveling direction of the railway vehicle;
A feature quantity extracting unit that extracts a feature quantity representing railroad-likeness from the captured image;
a track detection unit that detects the track from the captured image based on the feature amount;
with
The line detection unit is
A line segment that extends between the lower end and the upper end of an initial area preset on the lower end side of the captured image and that has the highest likelihood of being a line is specified based on the feature amount, and the specified line segment is one of the lines. an initial detection unit that detects as an initial portion of the unit;
Using the upper end of the initial portion as a starting point, among a plurality of line segment candidates connecting a plurality of candidate points selected from within a search area set above the starting point and the detected upper end of the track, One line segment candidate having the highest rail-likeness is determined based on the feature amount, the determined one line segment candidate is detected as a midway portion of a portion of the railroad, and the upper end of the midway portion is detected as follows. a secondary detection unit that repeatedly detects the midway portion until the detected upper end of the track reaches a predetermined position by repeatedly executing the process of setting the line as a starting point;
a trajectory identifier.
前記二次検出部は、直近に検出された前記線路の一部の前記撮像画像上での位置および角度のうち少なくとも一方に基づいて、次の前記探索エリアを設定する、
請求項1に記載の軌道識別装置。
The secondary detection unit sets the next search area based on at least one of the most recently detected position and angle of the part of the railroad track on the captured image.
A track identification device according to claim 1.
前記二次検出部は、前記複数の線分候補上における前記特徴量の平均値に基づいて、前記探索エリア内で前記線路らしさが最も高い点を決定する、
請求項1または2に記載の軌道識別装置。
The secondary detection unit determines a point with the highest rail-likeness within the search area based on an average value of the feature values on the plurality of line segment candidates.
The track identification device according to claim 1 or 2.
前記探索エリアは、前記撮像画像の左右方向を長手方向とし、前記撮像画像の上下方向を短手方向とする長方形形状に設定される、
請求項1~3のいずれか1項に記載の軌道識別装置。
The search area is set in a rectangular shape with the horizontal direction of the captured image as the longitudinal direction and the vertical direction of the captured image as the lateral direction,
A track identification device according to any one of claims 1 to 3.
前記線路検出部は、
前記撮像画像の上端側に設定される消失点エリアから、前記撮像画像上における前記線路の消失点の候補としての複数の消失点候補を前記特徴量に基づいて特定し、特定した前記複数の消失点候補と、検出済みの前記線路の上端と、の間の領域を補完する複数の補間曲線を取得し、取得した前記複数の補間曲線のうち、前記線路らしさが最も高い補間曲線に基づいて、前記線路のうち未検出の部分を検出する補間検出部
をさらに備える、請求項1~4のいずれか1項に記載の軌道識別装置。
The line detection unit is
A plurality of vanishing point candidates as vanishing point candidates of the railroad track on the captured image are specified based on the feature quantity from the vanishing point area set on the upper end side of the captured image, and the specified vanishing points are specified. Obtaining a plurality of interpolation curves that interpolate the area between the point candidate and the upper end of the detected railroad track, and based on the interpolation curve having the highest rail-likeness among the plurality of obtained interpolation curves, The track identification device according to any one of claims 1 to 4, further comprising an interpolation detection unit that detects an undetected portion of the track.
前記補間検出部は、前記線路らしさが最も高い補間曲線を近似する複数の線分を、前記未検出の部分として検出する、
請求項5に記載の軌道識別装置。
The interpolation detection unit detects, as the undetected portions, a plurality of line segments that approximate the interpolation curve with the highest line-likeness.
A track identification device according to claim 5.
JP2018088340A 2018-05-01 2018-05-01 Track identification device Active JP7170414B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018088340A JP7170414B2 (en) 2018-05-01 2018-05-01 Track identification device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018088340A JP7170414B2 (en) 2018-05-01 2018-05-01 Track identification device

Publications (2)

Publication Number Publication Date
JP2019194769A JP2019194769A (en) 2019-11-07
JP7170414B2 true JP7170414B2 (en) 2022-11-14

Family

ID=68469389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018088340A Active JP7170414B2 (en) 2018-05-01 2018-05-01 Track identification device

Country Status (1)

Country Link
JP (1) JP7170414B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076147A (en) 1999-09-03 2001-03-23 Nec Corp System and method for detecting road white line and recording medium with program for road white line detection recorded thereon

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076147A (en) 1999-09-03 2001-03-23 Nec Corp System and method for detecting road white line and recording medium with program for road white line detection recorded thereon

Also Published As

Publication number Publication date
JP2019194769A (en) 2019-11-07

Similar Documents

Publication Publication Date Title
JP5407898B2 (en) Object detection apparatus and program
WO2010140578A1 (en) Image processing device, image processing method, and image processing program
JP6572411B2 (en) Rail detector
JP6547841B2 (en) Image processing apparatus, object recognition apparatus, device control system, image processing method and program
JP2014164601A (en) Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program
JP2016152027A (en) Image processing device, image processing method and program
KR101716973B1 (en) Apparatus and method for detecting vehicle on road using stereo image
JP2010079582A (en) Apparatus, method and program for detecting object
Wu et al. Real time railway extraction by angle alignment measure
JP4067340B2 (en) Object recognition device and object recognition method
JP2012073971A (en) Moving image object detection device, method and program
JP2016004446A (en) Motion estimation device
JP2004038624A (en) Vehicle recognition method, vehicle recognition device and vehicle recognition program
JP7170414B2 (en) Track identification device
JP2019066333A (en) Outside recognition device for vehicle
US20210142064A1 (en) Image processing apparatus, method of processing image, and storage medium
JP2019218022A (en) Rail track detection device
JP6699323B2 (en) Three-dimensional measuring device and three-dimensional measuring method for train equipment
JP3629935B2 (en) Speed measurement method for moving body and speed measurement device using the method
JP5715784B2 (en) Image contour detection method
JP4305073B2 (en) Pantograph obstacle detection method and apparatus
JPWO2017158982A1 (en) Image processing apparatus, image processing method, image processing program, object recognition apparatus, and device control system
JP2002008019A (en) Railway track recognition device and rolling stock using railway track recognition device
JP2002002485A (en) Track recognition device and railway rolling stock using track recognition device
JP2007233469A (en) Object-detecting device and method therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221101

R150 Certificate of patent or registration of utility model

Ref document number: 7170414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150