WO2022123641A1

WO2022123641A1 - レール検出装置及びレール検出方法

Info

Publication number: WO2022123641A1
Application number: PCT/JP2020/045568
Authority: WO
Inventors: 隼也大澤; 亮太関口
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2022-06-16
Anticipated expiration: 2023-06-08
Also published as: DE112020007667T5; JP7209916B2; US12417612B2; JPWO2022123641A1; US20230260246A1

Abstract

レール検出装置（１１０）は、画像から検出されたレール部分により二本のレールの両方の部分が検出されない場合に、レールを検出する開始領域を上方にずらして、修正開始領域を設定し、その修正開始領域の下辺に二本のレールの修正開始点を指定する開始領域レール開始点再指定部（１３７）と、修正開始領域において、二本のレールのエッジの候補となる複数の修正レール候補を検出するレール候補検出部（１３３）と、複数の修正レール候補の内、修正開始点と最下端が最も近い修正レール候補を仮修正レール部分として選定する開始領域レール選定部（１３５）と、仮修正レール部分の最下端と、修正開始点との間の距離が第一の閾値未満の場合に、その仮修正レール部分を修正レール部分として確定し、その修正レール部分により二本のレールの両方が検出されたか否かを判断する開始領域レール消失判断部（１３６）とを備える。

Description

レール検出装置及びレール検出方法

　本開示は、レール検出装置及びレール検出方法に関する。

　従来、鉄道のレールの検査、又は、レール内に存在する障害物を検出することを目的として、画像からレールを検出する装置が知られている。例えば、特許文献１に記載された装置は、まず、撮像画像から初期エリアと、その上部の探索エリアとを取り出し、初期エリアで特徴量からレールを検出する。そして、その装置は、上部の探索エリアにおいて、初期エリアで検出されたレールの上端からの線分から特徴量に基づいてレールを検出する処理を繰り返してレールを特定する。

　この装置は、カラー画像をグレースケール画像又は二値化画像に変換して、変換された画像の画素毎に、鉄道のレールらしさを示す指標を導出し、その指標に基づいてレールを特定する。ここでの指標は、着目する画素における隣接画素との間の輝度勾配に基づいて導出される。

特開２０１８－１８１２５４号公報

　しかしながら、従来の技術は、輝度勾配によりレールの絞り込みを行っているため、レール周辺の影等の障害物によりレールを誤検出することがある。

　そこで、本開示の一又は複数の態様は、レール周辺に影等の障害物があったとしても、レールを精度よく検出できるようにすることを目的とする。

　本開示の一態様に係るレール検出装置は、二本のレールを含む画像から、前記二本のレールが含まれている領域をレール検出領域として指定するレール検出領域指定部と、前記レール検出領域を上下方向において分割し、隣接する二つが重複するように複数のレール候補検出領域を生成するレール検出領域分割部と、前記複数のレール候補検出領域の内、最も下のレール候補検出領域を開始領域に設定し、前記開始領域の下辺の予め定められた位置の点を前記二本のレールの開始点として指定する開始領域レール開始点指定部と、前記開始領域において前記二本のレールのエッジの候補となる複数の線を複数のレール候補として検出するレール候補検出部と、前記複数のレール候補の内、前記開始点と最下端が最も近いレール候補を仮レール部分として選定する開始領域レール選定部と、前記仮レール部分の最下端と、前記開始点との間の距離が第一の閾値未満の場合に、前記仮レール部分をレール部分として確定し、前記レール部分により前記二本のレールの両方の部分が検出されたか否かを判断する開始領域レール消失判断部と、前記レール部分により前記二本のレールの両方の部分が検出されていない場合に、前記開始領域を上方にずらすことで、修正開始領域を設定し、前記修正開始領域の下辺の予め定められた位置の点を前記二本のレールの開始点である修正開始点として指定する開始領域レール開始点再指定部と、を備え、前記レール候補検出部は、前記修正開始領域において、前記二本のレールのエッジの候補となる複数の線を複数の修正レール候補として検出し、前記開始領域レール選定部は、前記複数の修正レール候補の内、前記修正開始点と最下端が最も近い修正レール候補を仮修正レール部分として選定し、前記開始領域レール消失判断部は、前記仮修正レール部分の最下端と、前記修正開始点との間の距離が前記第一の閾値未満の場合に、前記仮修正レール部分を修正レール部分として確定し、前記修正レール部分により前記二本のレールの両方の部分が検出されたか否かを判断することを特徴とする。

　本開示の一態様に係るレール検出方法は、二本のレールを含む画像から、前記二本のレールが含まれている領域をレール検出領域として指定し、前記レール検出領域を上下方向において分割し、隣接する二つが重複するように複数のレール候補検出領域を生成し、前記複数のレール候補検出領域の内、最も下のレール候補検出領域を開始領域に設定し、前記開始領域の下辺の予め定められた位置の点を前記二本のレールの開始点として指定し、前記開始領域において前記二本のレールのエッジの候補となる複数の線を複数のレール候補として検出し、前記複数のレール候補の内、前記開始点と最下端が最も近いレール候補を仮レール部分として選定し、前記仮レール部分の最下端と、前記開始点との間の距離が第一の閾値未満の場合に、前記仮レール部分をレール部分として確定し、前記レール部分により前記二本のレールの両方の部分が検出されたか否かを判断し、前記レール部分により前記二本のレールの両方の部分が検出されていない場合に、前記開始領域を上方にずらすことで、修正開始領域を設定し、前記修正開始領域の下辺の予め定められた位置の点を前記二本のレールの開始点である修正開始点として指定し、前記修正開始領域において、前記二本のレールのエッジの候補となる複数の線を複数の修正レール候補として検出し、前記複数の修正レール候補の内、前記修正開始点と最下端が最も近い修正レール候補を仮修正レール部分として選定し、前記仮修正レール部分の最下端と、前記修正開始点との間の距離が前記第一の閾値未満の場合に、前記仮修正レール部分を修正レール部分として確定し、前記修正レール部分により前記二本のレールの両方の部分が検出されたか否かを判断することを特徴とする。

　本開示の一又は複数の態様によれば、レール周辺に影等の障害物があったとしても、レールを精度よく検出することができる。

レール検出システムの構成を概略的に示すブロック図である。記憶部に記憶されているデータの一例を示す概略図である。レール候補検出領域を生成する処理を説明するための概略図である。レールとカメラとの関係を説明するための概略図である。開始領域においてレールが消失する例を説明するための概略図である。開始領域の仮レール部分が消失したか否かを判断する処理例を説明するための概略図である。開始領域の開始点を再指定する処理を説明するための概略図である。レール候補を絞り込む処理を説明するための概略図である。次領域で開始点を特定する処理を説明するための概略図である。次領域のレールが消失する例を説明するための概略図である。次領域と、前領域との間の重複領域を増やす処理を説明するための概略図である。レール検出装置のハードウェア構成を概略的に示すブロック図である。ある１フレームの画像において、レールを検出する処理を示す第一のフローチャートである。ある１フレームの画像において、レールを検出する処理を示す第二のフローチャートである。開始領域レール選定部での処理を示すフローチャートである。開始領域レール消失判断部での処理を示すフローチャートである。開始領域におけるレール再選定処理を示すフローチャートである。次領域レール選定部での処理を示すフローチャートである。次領域レール消失判断部での処理を示すフローチャートである。次領域におけるレール再選定処理を示すフローチャートである。

　図１は、実施の形態に係るレール検出装置を備えるレール検出システム１００の構成を概略的に示すブロック図である。
　レール検出システム１００は、撮像装置１０１と、表示装置１０２と、レール検出装置１１０とを備える。

　撮像装置１０１は、動画像を撮像して、その動画像を示す動画データをレール検出装置１１０に与える。撮像装置１０１を、以下、単にカメラともいう。
　表示装置１０２は、レール検出装置１１０での検出結果を示す画面画像を表示する。

　レール検出装置１１０は、撮像装置１０１から得られる動画データで示される画像から、レールを検出する装置である。例えば、レール検出装置１１０は、画像からレールの部分であるレール部分を検出して、そのレール部分をつなぎ合わせることで、レールを検出する。具体的には、レール検出装置１１０は、二本のレールを含む画像を複数の領域に分割し、その複数の領域から二本のレールの複数の部分である複数のレール部分を検出する。そして、レール検出装置１１０は、その複数のレール部分を連結することで二本のレールを検出する。

　レール検出装置１１０は、記憶部１２０と、動画像入力部１３０と、レール検出領域指定部１３１と、レール検出領域分割部１３２と、レール候補検出部１３３と、開始領域レール開始点指定部１３４と、開始領域レール選定部１３５と、開始領域レール消失判断部１３６と、開始領域レール開始点再指定部１３７と、次領域レール選定部１３８と、次領域レール消失判断部１３９と、次領域レール開始点再指定部１４０と、レール検出結果生成部１４１と、レール検出結果出力部１４２とを備える。

　記憶部１２０は、レール検出装置１１０での処理に必要なデータを記憶する。
　例えば、記憶部１２０は、レール検出領域指定部１３１及び開始領域レール開始点指定部１３４で用いるカメラ設置位置情報、カメラ内部パラメータ及びレール情報を記憶する。

　図２は、記憶部１２０に記憶されているデータの一例を示す概略図である。
　図２に示されているように、記憶部１２０は、レールから見たカメラ設置高さ（垂直）、レールから見たカメラ設置横幅（水平）、カメラ焦点距離（垂直）、カメラ焦点距離（水平）、レール軌間及びレール頭部幅を記憶している。これらの数値は、事前に取得されているものとする。
　ここで、レールから見たカメラ設置高さ（垂直）及びレールから見たカメラ設置横幅（水平）をカメラ設置位置ともいい、カメラ焦点距離（垂直）及びカメラ焦点距離（水平）を、単に、カメラ焦点距離ともいう。
　レール軌間は、二本のレールの間の幅であり、レール頭部幅は、一本のレールの頭部の幅である。

　図１に戻り、動画像入力部１３０は、撮像装置１０１からの動画データの入力を受け付ける。
　レール検出領域指定部１３１は、二本のレールを含む画像から、その二本のレールが含まれている領域をレール検出領域として指定する。
　例えば、レール検出領域指定部１３１は、動画データで示される一フレームの画像から、レール検出領域を指定する。ここでは、撮像装置１０１の位置が固定であるため、画像においてレールが含まれる領域はある程度決まっている。このため、レール検出領域指定部１３１は、画像の予め定められた領域をレール検出領域として指定する。例えば、撮像装置１０１の位置及び向きから、画像の上部にレールが存在することはないので、レール検出領域指定部１３１は、画像の下部のある一定領域を、レール検出領域に指定する。

　レール検出領域分割部１３２は、レール検出領域指定部１３１により指定されたレール検出領域を分割して、隣接する二つが重複するように複数のレール候補検出領域を生成する。これにより、レール検出装置１１０は、分割されたレール候補検出領域毎にレール候補を検出し、検出されたレール候補から確定されたレール部分をつなぎ合わせることで、レールを検出することができる。ここで、レール検出領域分割部１３２は、隣り合っている二つのレール候補検出領域が重複した領域を含むようにする。

　例えば、レール検出領域分割部１３２は、レール検出領域を上下方向において複数の分割領域に分割する。そして、レール検出領域分割部１３２は、連続する三つ以上の分割領域を含み、隣接する二つのレール候補検出領域が、少なくとも一つの分割領域において重複するように複数のレール候補検出領域を生成する。

　図３は、レール候補検出領域を生成する処理を説明するための概略図である。
　まず、レール検出領域分割部１３２は、一フレームの画像におけるレール検出領域ＤＡを、その上下方向において、予め定められた数の領域である分割領域Ｒ０１～Ｒ０７に分割する。ここでは、分割領域Ｒ０１～Ｒ０７の各々は、同じ大きさとする。

　そして、レール検出領域分割部１３２は、連続する複数の分割領域により、レール候補検出領域を生成する。
　図３では、レール検出領域分割部１３２は、三つの分割領域Ｒ０１～Ｒ０３により、レール候補検出領域Ｒ１１を生成し、三つの分割領域Ｒ０３～Ｒ０５により、レール候補検出領域Ｒ１２を生成し、三つの分割領域Ｒ０５～Ｒ０７により、レール候補検出領域Ｒ１３を生成する。

　ここで、レール検出領域分割部１３２は、隣り合っている二つのレール候補検出領域が互いに重複領域を備えるように、レール候補検出領域を生成する。例えば、図３では、レール候補検出領域Ｒ１１及びレール候補検出領域Ｒ１２は、分割領域Ｒ０３において重複している。また、レール候補検出領域Ｒ１２及びレール候補検出領域Ｒ１３は、分割領域Ｒ０５において重複している。

　以上から、レール検出領域分割部１３２は、レール検出領域を少なくとも六つ以上に分割することで、六つ以上の分割領域を生成する。そして、レール検出領域分割部１３２は、少なくとも一つの分割領域が重複するように、少なくとも三つ以上の分割領域により少なくとも二つ以上のレール候補検出領域を生成することが望ましい。

　図１に戻り、レール候補検出部１３３は、レール検出領域分割部１３２により生成されたレール候補検出領域の各々から、レール候補を検出する。レール候補は、例えば、Ｈｏｕｇｈ変換等の直線検出手法、又は、スプライン補間を用いた曲線検出手法等の線を検出する手法により検出される線である。
　これについては、例えば、下記の文献に詳細に記載されている。
　Ｒ．Ｏ．Ｄｕｄａ　ａｎｄ　Ｐ．　Ｅ．　Ｈａｒｔ，“Ｕｓｅ　ｏｆ　ｔｈｅ　Ｈｏｕｇｈ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ　ｔｏ　ｄｅｔｅｃｔ　ｌｉｎｅｓ　ａｎｄ　ｃｕｒｖｅｓ　ｉｎ　ｐｉｃｔｕｒｅｓ，”　Ｃｏｍｍ．Ａｓｓｏｃ．　Ｃｏｍｐｕｔ．Ｍａｒｃｈ．　１５，　１９７２，　ｐｐ．１１－１５

　例えば、レール候補検出部１３３は、レール候補検出領域において二本のレールのエッジの候補となる複数の線を複数のレール候補として検出する。

　開始領域レール開始点指定部１３４は、レール検出領域分割部１３２により生成された複数のレール候補検出領域の内、最も下に配置されているレール候補検出領域を開始領域として設定する。

　そして、開始領域レール開始点指定部１３４は、開始領域において、記憶部１２０に記憶されているカメラ設置位置、カメラ焦点距離、レール軌間及びレール頭部幅より、レールの開始点として４点を指定する。
　記憶部１２０に記憶されている情報を用いると、画像中のターゲットのｘｙ座標が以下（１）式及び（２）式で算出できる。

　ターゲット位置ｙ座標（ｐｉｘｅｌ）＝
垂直画角÷２－（（ターゲット高さ－カメラ高さ）÷ターゲット距離）×焦点距離（垂直）　　　　　　　　　　　　　　　　　　　　　　　　（１）

　ターゲット位置ｘ座標（ｐｉｘｅｌ）＝
水平画角÷２＋（（ターゲット水平位置－カメラ中心水平位置）÷ターゲット距離）×焦点距離（水平）　　　　　　　　　　　　　　　　　　（２）

　ここで、ターゲットがレールである場合の、これらの式で使用される変数を説明する。
　図４は、レールとカメラとの関係を説明するための概略図である。
　図４には、左レールＬＲと、右レールＲＲと、撮像装置１０１としてのカメラ１０１＃が示されている。

　図４に示されているカメラ高さｈは、記憶部１２０に記憶されているレールから見たカメラ設置高さ（垂直）である。
　ターゲット高さは、レールの高さで、ここでは、レールの頭部を基準にカメラ１０１＃の高さを決めているため、「０」となる。
　カメラ中心水平位置ｗ１は、記憶部１２０に記憶されているレールから見たカメラ設置横幅（水平）である。
　ターゲット水平位置ｗ２は、記憶部１２０に記憶されているレール頭部幅である。

　ここで、画像最下部のｙ座標（ｐｉｘｅｌ）は既知なので、左レールの左端をターゲットとすると、上記（１）式によりターゲット距離が算出できる。そして、（２）式により、ターゲット位置ｘ座標（ｐｉｘｅｌ）が算出できる。
　また、レール軌間、レール頭部幅も固定で既知であるため、開始領域のレールの開始点とする４点のｘ座標及びｙ座標が算出できる。

　開始点の算出については、例えば、下記の文献に詳細に記載されている。
　Ｇｉｄｅｏｎ　Ｐ．　Ｓｔｅｉｎ、“Ｖｉｓｉｏｎ－ｂａｓｅｄ　ＡＣＣ　ｗｉｔｈ　ａ　Ｓｉｎｇｌｅ　Ｃａｍｅｒａ：Ｂｏｕｎｄｓ　ｏｎ　Ｒａｎｇｅ　ａｎｄ　Ｒａｎｇ　Ｒａｔｅ　Ａｃｃｕｒａｃｙ，”　ＭｏｂｉｌｅＥｙｅ　２００３　ＩＥＥＥ，　２００３

　なお、動画像が入力される場合、フレーム間でのレールの変位は限りなく小さいため、開始領域レール開始点指定部１３４は、フレーム毎に、記憶部１２０に記憶されている情報から、開始領域における開始点を求めるのではなく、前フレームの開始領域の開始点を、次のフレームにおける開始点としてもよい。

　即ち、記憶部１２０に記憶されているデータは、予め取得されている情報であり、画角も固定であれば、開始領域レール開始点指定部１３４は、開始領域の下辺の予め定められた位置の点を二本のレールの開始点として指定することとなる。

　図１に戻り、開始領域レール選定部１３５は、開始領域レール開始点指定部１３４で指定した開始点と最下端が最も近いレール候補を、開始領域の仮のレール部分である仮レール部分として選定する。

　開始領域レール消失判断部１３６は、仮レール部分の最下端と、開始点との間の距離が第一の閾値未満の場合に、その仮レール部分をレール部分として確定する。そして、開始領域レール消失判断部１３６は、確定されたレール部分により二本のレールの両方の部分が検出されたか否かを判断する。

　具体的には、開始領域レール消失判断部１３６は、開始領域レール選定部１３５で選定された開始領域の仮レール部分が消失条件を満たすかどうかを判断する。
　図５は、開始領域においてレールが消失する例を説明するための概略図である。
　図５に示されているように、カメラ設置位置によって、開始領域ＳＲにおいて、開始領域レール開始点指定部１３４で指定した開始点Ｐ１～Ｐ４が、車体又は影等の障害物で隠れる場合がある。
　このような場合に、開始領域レール消失判断部１３６は、開始領域ＳＲの仮レール部分が消失したと判断する。

　図６は、開始領域の仮レール部分が消失したか否かを判断する処理例を説明するための概略図である。
　まず、開始領域レール消失判断部１３６は、四つの開始点Ｐ１～Ｐ４から順番に、一つの開始点を対象開始点ＴＰとして選択する。
　そして、対象開始点ＴＰに最も距離の近いレール候補である仮レール部分を、対象仮レール部分ＴＴとする。
　次に、開始領域レール消失判断部１３６は、対象開始点ＴＰと、対象仮レール部分ＴＴとの距離を、下記の（３）式で算出する。
　距離＝｜（対象仮レール部分の最下端のｘ座標）－（対象開始点のｘ座標）｜　　　　　　　　　　　　　　　　　　　　　　　　　（３）

　対象仮レール部分の最下端のｘ座標は、図６では、開始領域ＳＲの最下辺と、対象仮レール部分ＴＴとの交点Ｐのｘ座標になっている。
　なお、ここでは、開始点と、対象仮レール部分の最下端との距離を、ｘ座標だけを用いて簡略的に算出しているが、本実施の形態は、このような例に限定されない。例えば、ｘ座標及びｙ座標を用いて、２点間の距離が算出されてもよい。

　そして、開始領域レール消失判断部１３６は、以上のようにして算出された距離が、予め定められた閾値（第一の閾値）以上である場合には、その対象開始点においては、対象仮レール部分をレール部分として確定しない。ここでの閾値は、レール頭部の幅に基づいて定められてもよい。例えば、閾値は、レール頭部幅とすることで、このような幅以上の場合には、レール部分が適切に検出されていないものと判断することができる。
　これは、例えば、図６に示されているように、対象開始点ＴＰを中心として、閾値を示す円Ｃの内部に、対象仮レール部分ＴＴの最下端が存在しない場合には、そのような対象仮レール部分は、レール部分とはならないことを示している。

　そして、開始領域レール消失判断部１３６は、四つの開始点Ｐ１～Ｐ４から確定されたレール部分が以下の条件１又は２を満たす場合に、レール消失と判断する。条件１及び条件２が、消失条件となる。
　条件１：レール部分が一つ以下、言い換えると、レール部分の数が、０又は１であること。
　条件２：レール部分が二つの場合には、レール部分の最下端のｘ座標の間の距離が、予め定められた閾値（第三の閾値）未満であること。
　ここで、条件２の閾値（第三の閾値）は、レール軌間に基づいて、左右の二本のレールが検出されているか否かを判断できる値とすればよい。例えば、レール軌間又はレール軌間よりも予め定められた長さだけ短い値を閾値とすればよい。

　以上により、レール部分が三つ以上、言い換えると、レール部分の数が、３又は４の場合には、左右の二本のレールが検出されているため、レール消失とは判断されない。この場合には、上記の条件１及び条件２がともに満たされていないものと判断することができる。

　図１に戻り、開始領域レール開始点再指定部１３７は、開始領域レール消失判断部１３６がレール消失と判断した場合に、開始領域を次のレール候補検出領域にずらして、開始点を新たに指定する。

　例えば、開始領域レール開始点再指定部１３７は、レール部分により二本のレールの両方の部分が検出されていない場合に、開始領域を上方にずらす。ここで、上方にずらされた開始領域を、修正開始領域ともいう。そして、開始領域レール開始点再指定部１３７は、修正開始領域の下辺の予め定められた位置の点を、二本のレールの開始点として指定する。ここで指定される開始点を修正開始点ともいう。

　具体的には、開始領域レール開始点再指定部１３７は、開始領域の一つ上のレール候補検出領域を修正開始領域として設定する。

　図７は、開始領域の開始点を再指定する処理を説明するための概略図である。
　例えば、開始領域レール開始点再指定部１３７は、レール候補検出領域Ｒ１１を開始領域ＳＲに指定した場合に、レール消失と判断されたときには、次のレール候補検出領域Ｒ１２を開始領域に指定する。
　そして、開始領域レール開始点再指定部１３７は、指定した開始領域において、開始領域レール開始点指定部１３４と同様に、四つの開始点を指定する。

　修正開始点が指定されると、レール候補検出部１３３は、修正開始領域において、二本のレールのエッジの候補となる複数の線を複数のレール候補として検出する。ここで検出される複数のレール候補を、複数の修正レール候補ともいう。
　そして、開始領域レール選定部１３５は、複数の修正レール候補の内、修正開始点と最下端が最も近い修正レール候補をレール部分として選定する。ここで選定されるレール部分を仮修正レール部分ともいう。
　また、開始領域レール消失判断部１３６は、仮修正レール部分の最下端と、修正開始点との間の距離が第一の閾値未満の場合に、その仮修正レール部分をレール部分として確定する。ここで確定されるレール部分を修正レール部分ともいう。
　さらに、開始領域レール消失判断部１３６は、修正レール部分により二本のレールの両方の部分が検出されたか否かを判断する。

　以上のように、開始領域レール開始点再指定部１３７は、レール消失と判断されると、開始領域を、複数のレール候補検出領域の内、下から上に順番にずらしていく。これにより、障害物の影響を避けることができるようになる。
　なお、開始領域でレール部分が確定された場合、レール候補検出部１３３は、開始領域又は修正開始領域を前領域とし、その前領域の一つ上のレール候補検出領域を次領域とする。そして、レール候補検出部１３３は、次領域において二本のレールのエッジの候補となる複数の線を複数のレール候補として検出する。ここで検出されるレール候補を次レール候補ともいう。
　さらに、レール候補検出部１３３は、次領域でレール部分が確定した場合に、その次領域を前領域とするとともに、その次領域の一つ上のレール候補検出領域、言い換えると、その次領域と重複し、レール部分の確定が行われていないレール候補検出領域を、次領域とする。そして、レール候補検出部１３３は、次領域において二本のレールのエッジの候補となる複数の線を複数のレール候補として検出する。

　次領域レール選定部１３８は、次領域においてレール候補を選定する。
　例えば、次領域レール選定部１３８は、次領域の下辺と、レール部分又は修正レール部分との交点をレールの開始点として指定する。ここで指定された開始点を次開始点ともいう。
　そして、次領域レール選定部１３８は、複数の次レール候補の内、レール部分又は修正レール部分との傾きの差が第二の閾値未満の次レール候補を選択次レール候補とする。
　さらに、次領域レール選定部１３８は、選択次レール候補の内、次開始点と最下端が最も近い選択次レール候補を仮次レール部分として選定する。

　具体的には、次領域レール選定部１３８は、次領域で検出されたレール候補と、前領域で確定されたレール部分との傾き差を、閾値を用いて比較して、次領域のレール候補を絞り込む。ここで、絞り込まれたレール候補を選択レール候補又は選択次レール候補ともいう。
　例えば、次領域レール選定部１３８は、下記の（４）式のようにして算出される、前領域のレール部分に対応する直線と、レール候補に対応する直線との傾きの差である傾き差を、閾値と比較することで、レール候補を絞り込む。
　傾き差＝｜（前領域のレール部分の傾き）－（次領域でのレール候補の傾き）｜　　　　　　　　　　　　　　　　　　　　　　　　　（４）

　図８は、レール候補を絞り込む処理を説明するための概略図である。
　図８において、符号ＤＴは、前領域において確定されたレール部分を示している。符号ＣＴ１及びＣＴ２は、次領域において検出されているレール候補を示している。
　図８においては、レール部分ＤＴに対して、レール候補ＣＴ１及びレール候補ＣＴ２は、その傾き差が閾値以上であるため、選択レール候補又は選択次レール候補から除外される。この時の閾値は、レールのカーブの最大曲率（半径Ｒ：１６０ｍ）から算出されてもよい。

　そして、次領域レール選定部１３８は、前領域で確定されたレール部分と、次領域の最下辺との交点を開始点として、絞り込まれたレール候補の内、その開始点と最下端が最も距離の近いレール候補を、仮レール部分とする。

　図９は、次領域で開始点を特定する処理を説明するための概略図である。
　図９に示されているように、前領域ＲＴで確定されたレール部分ＤＴと、次領域ＮＲの最下端との交点Ｐが、開始点として特定される。

　図１に戻り、次領域レール消失判断部１３９は、仮次レール部分の最下端と、次開始点との間の距離が第一の閾値未満の場合に、仮次レール部分をレール部分として確定する。ここで確定されるレール部分を次レール部分ともいう。
　そして、次領域レール消失判断部１３９は、次レール部分により二本のレールの両方の部分が検出されたか否かを判断する。

　例えば、次領域レール消失判断部１３９は、次領域レール選定部１３８で選定された仮レール部分が消失条件を満たすかどうかを判断する。
　図１０は、次領域のレールが消失する例を説明するための概略図である。
　図１０に示されているように、前領域ＰＲで確定されたレール部分ＤＴ１～ＤＴ４と、次領域ＮＲの最下辺との交点を開始点とする場合、開始点が影又はレール周辺の電気設備等の障害物で隠れる場合がある。消失条件は、例えば、開始領域レール消失判断部１３６と同様に、開始点に対して予め定められた閾値の範囲内を仮レール部分が通るか否かを、距離差から判断すればよい。

　図１に戻り、次領域レール開始点再指定部１４０は、次レール部分により二本のレールの両方の部分が検出されていない場合に、次領域を下方にずらす。ここでずらされた次領域を修正次領域ともいう。例えば、次領域レール開始点再指定部１４０は、次領域の一つ下の分割領域が含まれるように修正次領域を設定すればよい。この場合、一つのレール候補検出領域が、一つの分割領域の分だけ下に移動してしまうため、レール検出領域分割部１３２は、再度、レール候補検出領域を設定し直す。
　そして、次領域レール開始点再指定部１４０は、修正次領域の下辺と、レール部分又は修正レール部分との交点を開始点として指定する。ここで指定される開始点を修正次開始点ともいう。

　例えば、次領域レール開始点再指定部１４０は、次領域レール消失判断部１３９でレールが消失したと判断された場合、次領域と、前領域との間の重複領域が増える様に次領域を再設定するとともに、開始点を再設定する。
　図１１は、次領域と、前領域との間の重複領域を増やす処理を説明するための概略図である。
　図１１に示されているように、前領域ＰＲに対して、一つの分割領域分（図１１では、分割領域Ｒ０２）、次領域ＮＲが前領域ＰＲ側にずらされている。これにより、前領域ＰＲと、次領域ＮＲと重複領域に障害物ＯＢがあったとしても、その障害物ＯＢを避けて、次領域の開始点を指定することができる。

　図１に戻り、次領域レール開始点再指定部１４０により、修正次領域が設定され、修正次開始点が制定されると、レール候補検出部１３３は、修正次領域において二本のレールのエッジの候補となる複数の線を複数のレール候補として検出する。ここで検出されるレール候補を修正次レール候補ともいう。
　また、次領域レール選定部１３８は、複数の修正次レール候補の内、レール部分又は修正レール部分との傾きの差が第二の閾値未満の修正次レール候補を選択レール候補として選択する。ここで選択される選択レール候補を選択修正次レール候補ともいう。
　さらに、次領域レール選定部１３８は、選択修正次レール候補の内、修正次開始点と最下端が最も近い選択修正次レール候補を仮レール部分として選定する。ここで選定される仮レール部分を仮修正次レール部分ともいう。
　そして、次領域レール消失判断部１３９は、仮修正次レール部分の最下端と、修正次開始点との間の距離が第一の閾値未満の場合に、仮修正次レール部分をレール部分として確定する。ここで確定されるレール部分を修正次レール部分ともいう。
　次領域レール消失判断部１３９は、修正次レール部分により二本のレールの両方の部分が検出されたか否かを判断する。

　レール検出結果生成部１４１は、以上のようにして検出されたレール部分をつなぎ合わせることでレールを検出し、検出されたレールを示すレール検出結果を生成する。
　レール検出結果出力部１４２は、レール検出結果を表示装置１０２に出力する。

　図１２は、レール検出装置１１０のハードウェア構成を概略的に示すブロック図である。
　レール検出装置１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ１５１と、メモリ１５２と、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の補助記憶装置１５３と、インターフェース（以下、Ｉ／Ｆという）１５４と、Ｉ／Ｆ１５５とを備えるコンピュータ１５０により実現することができる。

　例えば、レール検出領域指定部１３１、レール検出領域分割部１３２、レール候補検出部１３３、開始領域レール開始点指定部１３４、開始領域レール選定部１３５、開始領域レール消失判断部１３６、開始領域レール開始点再指定部１３７、次領域レール選定部１３８、次領域レール消失判断部１３９、次領域レール開始点再指定部１４０及びレール検出結果生成部１４１は、プロセッサ１５１が、補助記憶装置１５３に記憶されているプログラムをメモリ１５２に読み出して、その読み出されたプログラムを実行することで実現することができる。

　また、動画像入力部１３０は、Ｉ／Ｆ１５４により実現することができる。Ｉ／Ｆ１５４は、例えば、撮像装置１０１との間でデータをやりとりするインターフェースである。
　レール検出結果出力部１４２は、Ｉ／Ｆ１５５により実現することができる。Ｉ／Ｆ１５５は、例えば、表示装置１０２との間でデータをやりとりするインターフェースである。
　なお、記憶部１２０は、補助記憶装置１５３により実現することができる。

　なお、撮像装置１０１は、動画像を取得することのできるカメラにより、表示装置１０２は、動画像を表示することのできるディスプレイにより実現することができる。

　図１３及び図１４は、ある１フレームの画像において、レールを検出する処理を示すフローチャートである。
　動画像が入力される場合は、以下処理が繰り返し行われる。

　まず、動画像入力部１３０は、一フレームの画像の入力を受け付ける（Ｓ１０）。
　次に、レール検出領域指定部１３１は、入力された画像においてレール検出領域を指定する（Ｓ１１）。

　レール検出領域分割部１３２は、レール検出領域を複数の分割領域に分割して、予め定められた数の分割領域によりレール候補検出領域を生成する（Ｓ１２）。
　レール候補検出部１３３は、生成されたレール候補検出領域において、レール候補を検出する（Ｓ１３）。

　次に、開始領域レール開始点指定部１３４は、開始領域のレールの開始点を指定する（Ｓ１４）。
　開始領域レール選定部１３５は、指定された開始点に最も近いレール候補を、開始領域の仮レール部分として選定する（Ｓ１５）。

　開始領域レール消失判断部１３６は、仮レール部分の内、レール条件を満たすものを、レール部分として確定して、レールが消失したか否かを判断する（Ｓ１６）。レールが消失した場合（Ｓ１６でＮｏ）には、処理はステップＳ１７に進み、レールが消失していない場合には、処理は図１４のステップＳ２０に進む。

　ステップＳ１７では、開始領域レール開始点再指定部１３７は、開始領域及び開始点の再指定が可能か否かを判断する。例えば、開始領域が、レール検出領域において最も上方のレール候補検出領域となっている場合には、開始領域及び開始点の再指定が不可能と判断される。再指定が可能な場合（Ｓ１７でＹｅｓ）には、処理はステップＳ１８に進み、再指定が不可能な場合（Ｓ１７でＮｏ）には、処理は終了する。

　ステップＳ１８では、レール候補検出部１３３、開始領域レール選定部１３５及び開始領域レール開始点再指定部１３７により、開始領域におけるレール再選定処理が行われる。ここでの処理については、図１７を用いて詳細に説明する。

　図１４のステップＳ２０では、次領域レール選定部１３８は、前領域と次領域とを特定し、次領域のレール候補を選定して、次領域の仮レール部分を特定する。
　次に、次領域レール消失判断部１３９は、次領域のレール条件を満たす仮レール部分を特定し、仮レール部分に基づいて、次領域においてレールが消失したか否かを判断する（Ｓ２１）。レールが消失した場合（Ｓ２１でＹｅｓ）には、処理はステップＳ２２に進み、レールが消失していない場合（Ｓ２１でＮｏ）には、処理はステップＳ２４に進む。

　ステップＳ２２では、次領域レール開始点再指定部１４０は、次領域及び開始点の再指定が可能か否かを判断する。例えば、次領域をずらしてしまうと、前領域と重なってしまう場合には、次領域及び開始点の再指定が不可能と判断される。再指定が可能な場合（Ｓ２２でＹｅｓ）には、処理はステップＳ２３に進み、再指定が不可能な場合（Ｓ２２でＮｏ）には、処理はステップＳ２５に進む。

　ステップＳ２３では、レール候補検出部１３３、次領域レール選定部１３８、次領域レール消失判断部１３９及び次領域レール開始点再指定部１４０により、次領域におけるレール再選定処理が行われる。ここでの処理については、図２０を用いて詳細に説明する。

　ステップＳ２４では、レール検出結果生成部１４１は、終了条件が満たされるか否かを判断する。ここでの終了条件は、レール検出領域の最も上方のレール候補検出領域が次領域として指定されたことである。終了条件が満たされた場合（Ｓ２４でＹｅｓ）には、処理はステップＳ２５に進み、終了条件が満たされていない場合（Ｓ２４でＮｏ）には、処理はステップＳ２０に戻る。

　なお、以上に記載したフローチャートでは、レール候補検出部１３３は、レール検出領域分割部１３２がレール検出領域を分割した後にレール候補を検出しているが、本実施の形態は、このような例に限定されない。例えば、レール候補検出部１３３は、開始領域又は次領域が設定されてから、その開始領域又は次領域において、レール候補を検出してもよい。

　図１５は、開始領域レール選定部１３５での処理を示すフローチャートである。
　開始領域レール選定部１３５は、開始領域において、開始領域レール開始点指定部１３４で指定された開始領域の開始点を特定する（Ｓ３０）。
　次に、開始領域レール選定部１３５は、開始領域の開始点と、開始領域におけるレール候補とを比較する（Ｓ３１）。

　そして、開始領域レール選定部１３５は、開始領域の開始点に最も近いレール候補を、仮レール部分に選定する（Ｓ３２）。

　図１６は、開始領域レール消失判断部１３６での処理を示すフローチャートである。
　まず、開始領域レール消失判断部１３６は、開始領域レール選定部１３５で選定された仮レール部分を開始領域において特定する（Ｓ４０）。

　開始領域レール消失判断部１３６は、開始点と、その開始点に対応する仮レール部分の最下端との距離が、予め定められた閾値以上であるか否かを判断することで、その距離が閾値未満の仮レール部分をレール部分として特定する（Ｓ４１）。

　次に、開始領域レール消失判断部１３６は、消失条件が満たされるか否かを判断する（Ｓ４２）。消失条件が満たされる場合（Ｓ４２でＹｅｓ）には、処理はステップＳ４３に進み、消失条件が満たされない場合（Ｓ４２でＮｏ）には、処理はステップＳ４４に進む。

　ステップＳ４３では、開始領域レール消失判断部１３６は、開始領域においてレールが消失したと判断する。
　一方、ステップＳ４４では、開始領域レール消失判断部１３６は、開始領域においてレールが消失していないと判断する。

　図１７は、開始領域におけるレール再選定処理を示すフローチャートである。
　まず、開始領域レール開始点再指定部１３７は、開始領域を、一つ上のレール候補検出領域にずらし、ずらされた開始領域において、開始点を新たに指定する（Ｓ５０）。
　次に、レール候補検出部１３３は、開始領域においてレール候補を検出する（Ｓ５１）。

　次に、開始領域レール選定部１３５は、再指定された開始領域の開始点と、ずらされた開始領域におけるレール候補とを比較する（Ｓ５２）。

　そして、開始領域レール選定部１３５は、開始領域の開始点に最も近い点から上方に延びているレール候補を、仮レール部分に選定する（Ｓ５３）。

　図１８は、次領域レール選定部１３８での処理を示すフローチャートである。
　次領域レール選定部１３８は、前領域で確定されたレール部分を特定する（Ｓ６０）。
　次に、次領域レール選定部１３８は、前領域で確定されたレール部分の傾きと、次領域のレール候補の傾きとを比較する（Ｓ６１）。

　次領域レール選定部１３８は、前領域で確定されたレール部分の傾きと、次領域のレール候補の傾きとの傾き差が、予め定められた閾値以上のレール候補を、選択レール候補から除外する（Ｓ６２）。

　次領域レール選定部１３８は、次領域の開始点に最も近い点から上方に延びているレール候補を、仮レール部分に選定する（Ｓ６３）。

　図１９は、次領域レール消失判断部１３９での処理を示すフローチャートである。
　まず、次領域レール消失判断部１３９は、次領域レール選定部１３８で選定された仮レール部分を次領域において特定する（Ｓ７０）。

　次領域レール消失判断部１３９は、開始点と、その開始点に対応する仮レール部分の最下端との距離が、予め定められた閾値以上であるか否かを判断することで、その距離が閾値未満の仮レール部分をレール部分として特定する（Ｓ７１）。

　次に、次領域レール消失判断部１３９は、消失条件が満たされるか否かを判断する（Ｓ７２）。消失条件が満たされる場合（Ｓ７２でＹｅｓ）には、処理はステップＳ７３に進み、消失条件が満たされない場合（Ｓ７２でＮｏ）には、処理はステップＳ７４に進む。

　ステップＳ７３では、次領域レール消失判断部１３９は、次領域においてレールが消失したと判断する。
　一方、ステップＳ７４では、次領域レール消失判断部１３９は、次領域においてレールが消失していないと判断する。

　図２０は、次領域におけるレール再選定処理を示すフローチャートである。
　まず、次領域レール開始点再指定部１４０は、次領域を、一つ下の分割領域を含むようにずらし、ずらされた次領域において、開始点を新たに指定する（Ｓ８１）。
　次に、レール候補検出部１３３は、次領域においてレール候補を検出する（Ｓ８２）。

　次に、次領域レール選定部１３８は、前領域で確定されたレール部分の傾きと、次領域のレール候補の傾きとを比較する（Ｓ８３）。
　次領域レール選定部１３８は、前領域で確定されたレール部分の傾きと、次領域のレール候補の傾きとの傾き差が、予め定められた閾値以上のレール候補を、選択レール候補から除外する（Ｓ８４）。

　次領域レール選定部１３８は、次領域の開始点に最も近い点から上方に延びているレール候補を、仮レール部分に選定する（Ｓ８５）。

　以上のように、本実施の形態によれば、車両の影などにより、画像内にレールが鮮明に写っていない場合でも、その画像からレールを確実に検出することができる。

　１００　レール検出システム、　１０１　撮像装置、　１０２　表示装置、　１１０　レール検出装置、　１２０　記憶部、　１３０　動画像入力部、　１３１　レール検出領域指定部、　１３２　レール検出領域分割部、　１３３　レール候補検出部、　１３４　開始領域レール開始点指定部、　１３５　開始領域レール選定部、　１３６　開始領域レール消失判断部、　１３７　開始領域レール開始点再指定部、　１３８　次領域レール選定部、　１３９　次領域レール消失判断部、　１４０　次領域レール開始点再指定部、　１４１　レール検出結果生成部、　１４２　レール検出結果出力部。

Claims

　二本のレールを含む画像から、前記二本のレールが含まれている領域をレール検出領域として指定するレール検出領域指定部と、
　前記レール検出領域を上下方向において分割し、隣接する二つが重複するように複数のレール候補検出領域を生成するレール検出領域分割部と、
　前記複数のレール候補検出領域の内、最も下のレール候補検出領域を開始領域に設定し、前記開始領域の下辺の予め定められた位置の点を前記二本のレールの開始点として指定する開始領域レール開始点指定部と、
　前記開始領域において前記二本のレールのエッジの候補となる複数の線を複数のレール候補として検出するレール候補検出部と、
　前記複数のレール候補の内、前記開始点と最下端が最も近いレール候補を仮レール部分として選定する開始領域レール選定部と、
　前記仮レール部分の最下端と、前記開始点との間の距離が第一の閾値未満の場合に、前記仮レール部分をレール部分として確定し、前記レール部分により前記二本のレールの両方の部分が検出されたか否かを判断する開始領域レール消失判断部と、
　前記レール部分により前記二本のレールの両方の部分が検出されていない場合に、前記開始領域を上方にずらすことで、修正開始領域を設定し、前記修正開始領域の下辺の予め定められた位置の点を前記二本のレールの開始点である修正開始点として指定する開始領域レール開始点再指定部と、を備え、
　前記レール候補検出部は、前記修正開始領域において、前記二本のレールのエッジの候補となる複数の線を複数の修正レール候補として検出し、
　前記開始領域レール選定部は、前記複数の修正レール候補の内、前記修正開始点と最下端が最も近い修正レール候補を仮修正レール部分として選定し、
　前記開始領域レール消失判断部は、前記仮修正レール部分の最下端と、前記修正開始点との間の距離が前記第一の閾値未満の場合に、前記仮修正レール部分を修正レール部分として確定し、前記修正レール部分により前記二本のレールの両方の部分が検出されたか否かを判断すること
　を特徴とするレール検出装置。
　前記開始領域レール開始点再指定部は、前記複数のレール候補検出領域の内、前記開始領域の一つ上のレール候補検出領域を前記修正開始領域として設定すること
　を特徴とする請求項１に記載のレール検出装置。
　前記レール候補検出部は、前記レール部分又は前記修正レール部分により、前記二本のレールが検出された場合に、前記開始領域又は前記修正開始領域を前領域とし、前記複数のレール候補検出領域の内、前記前領域の一つ上のレール候補検出領域を次領域として、前記次領域において前記二本のレールのエッジの候補となる複数の線を複数の次レール候補として検出し、
　前記次領域の下辺と、前記レール部分又は前記修正レール部分との交点を次開始点として指定し、前記複数の次レール候補の内、前記レール部分又は前記修正レール部分との傾きの差が第二の閾値未満の次レール候補を選択次レール候補とし、前記選択次レール候補の内、前記次開始点と最下端が最も近い選択次レール候補を仮次レール部分として選定する次領域レール選定部と、
　前記仮次レール部分の最下端と、前記次開始点との間の距離が前記第一の閾値未満の場合に、前記仮次レール部分をレール部分である次レール部分として確定し、前記次レール部分により前記二本のレールの両方の部分が検出されたか否かを判断する次領域レール消失判断部と、
　前記次レール部分により前記二本のレールの両方の部分が検出されていない場合に、前記次領域を下方にずらすことで、修正次領域を設定し、前記修正次領域の下辺と、前記レール部分又は前記修正レール部分との交点を修正次開始点として指定する次領域レール開始点再指定部と、をさらに備え、
　前記レール候補検出部は、前記修正次領域において前記二本のレールのエッジの候補となる複数の線を複数の修正次レール候補として検出し、
　前記次領域レール選定部は、前記複数の修正次レール候補の内、前記レール部分又は前記修正レール部分との傾きの差が前記第二の閾値未満の修正次レール候補を選択修正次レール候補とし、前記選択修正次レール候補の内、前記修正次開始点と最下端が最も近い選択修正次レール候補を仮修正次レール部分として選定し、
　次領域レール消失判断部は、前記仮修正次レール部分の最下端と、前記修正次開始点との間の距離が前記第一の閾値未満の場合に、前記仮修正次レール部分をレール部分である修正次レール部分として確定し、前記修正次レール部分により前記二本のレールの両方の部分が検出されたか否かを判断すること
　を特徴とする請求項１又は２に記載のレール検出装置。
　前記レール検出領域分割部は、前記レール検出領域を上下方向において複数の分割領域に分割し、前記複数の分割領域から、連続する三つ以上の分割領域を含み、隣接する二つのレール候補検出領域が、少なくとも一つの分割領域において重複するように前記複数のレール候補検出領域を生成することを特徴とする請求項３に記載のレール検出装置。
　前記次領域レール開始点再指定部は、前記複数の分割領域の内、前記次領域の一つ下の分割領域が含まれるように前記修正次領域を設定すること
　を特徴とする請求項４に記載のレール検出装置。
　前記開始領域レール消失判断部は、
　二本以上の前記レール部分が確定し、二本の前記レール部分の間隔が第三の閾値以上である場合に、前記レール部分により前記二本のレールの両方の部分が検出されたと判断し、
　二本以上の前記修正レール部分が確定し、二本の前記修正レール部分の間隔が前記第三の閾値以上である場合に、前記修正レール部分により前記二本のレールの両方の部分が検出されたと判断すること
　を特徴とする請求項１又は２に記載のレール検出装置。
　前記次領域レール消失判断部は、
　二本以上の前記次レール部分が確定し、二本の前記次レール部分の間隔が第三の閾値以上である場合に、前記次レール部分により前記二本のレールの両方の部分が検出されたと判断し、
　二本以上の前記修正次レール部分が確定し、二本の前記修正次レール部分の間隔が前記第三の閾値以上である場合に、前記修正次レール部分により前記二本のレールの両方の部分が検出されたと判断すること
　を特徴とする請求項３から５の何れか一項に記載のレール検出装置。
　二本のレールを含む画像から、前記二本のレールが含まれている領域をレール検出領域として指定し、
　前記レール検出領域を上下方向において分割し、隣接する二つが重複するように複数のレール候補検出領域を生成し、
　前記複数のレール候補検出領域の内、最も下のレール候補検出領域を開始領域に設定し、前記開始領域の下辺の予め定められた位置の点を前記二本のレールの開始点として指定し、
　前記開始領域において前記二本のレールのエッジの候補となる複数の線を複数のレール候補として検出し、
　前記複数のレール候補の内、前記開始点と最下端が最も近いレール候補を仮レール部分として選定し、
　前記仮レール部分の最下端と、前記開始点との間の距離が第一の閾値未満の場合に、前記仮レール部分をレール部分として確定し、前記レール部分により前記二本のレールの両方の部分が検出されたか否かを判断し、
　前記レール部分により前記二本のレールの両方の部分が検出されていない場合に、前記開始領域を上方にずらすことで、修正開始領域を設定し、前記修正開始領域の下辺の予め定められた位置の点を前記二本のレールの開始点である修正開始点として指定し、
　前記修正開始領域において、前記二本のレールのエッジの候補となる複数の線を複数の修正レール候補として検出し、
　前記複数の修正レール候補の内、前記修正開始点と最下端が最も近い修正レール候補を仮修正レール部分として選定し、
　前記仮修正レール部分の最下端と、前記修正開始点との間の距離が前記第一の閾値未満の場合に、前記仮修正レール部分を修正レール部分として確定し、前記修正レール部分により前記二本のレールの両方の部分が検出されたか否かを判断すること
　を特徴とするレール検出方法。