JP6572411B2 - レール検出装置 - Google Patents

レール検出装置 Download PDF

Info

Publication number
JP6572411B2
JP6572411B2 JP2014228994A JP2014228994A JP6572411B2 JP 6572411 B2 JP6572411 B2 JP 6572411B2 JP 2014228994 A JP2014228994 A JP 2014228994A JP 2014228994 A JP2014228994 A JP 2014228994A JP 6572411 B2 JP6572411 B2 JP 6572411B2
Authority
JP
Japan
Prior art keywords
rail
image data
region
monitoring image
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014228994A
Other languages
English (en)
Other versions
JP2016091506A (ja
Inventor
寛修 深井
寛修 深井
庭川　誠
誠 庭川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Original Assignee
Meidensha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp filed Critical Meidensha Corp
Priority to JP2014228994A priority Critical patent/JP6572411B2/ja
Publication of JP2016091506A publication Critical patent/JP2016091506A/ja
Application granted granted Critical
Publication of JP6572411B2 publication Critical patent/JP6572411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、鉄道分野及び画像処理分野において、電車の監視カメラ画像から画像処理によりレールを検出する、レール検出装置に関する。
電車の監視カメラによる前方監視によって、電車の進行方向である線路（レール）を検出することは、建築限界領域での接触判定等において有用な技術である。
特許第４９９３６４４号公報 特許第４５９３２６５号公報
北川源四郎，"モンテカルロ・フィルタおよび平滑化について," 数理統計，第４４巻，第１号，ｐｐ.３１-４８，１９９６
しかしながら、従来の技術では、監視カメラの画像から判断するのではなく、車両のキロ程情報と線路情報に基づいて推測していた。
そこで、上記特許文献１では、監視カメラの画像から、Ｈｏｕｇｈ変換などの直線検出手法を用いて、電車の前方のレールの直線区間を検出する技術が開示されている。
また、上記特許文献２では、レールの上方から撮影されたレール領域からエッジ検出を行うことで、レールを検出する技術が開示されている。
しかしながら、上記特許文献１に開示された技術では、レールの直線区間のみしか対応できず、曲線区間など様々な変化をするレールの全区間に対応できるわけではない。
また、上記特許文献２に開示された技術では、エッジについては隣り合う（もしくは付近の）ピクセル情報を利用するが、光の当たり方などでピクセル値が偏位に合わせて徐々に変化する場合があり、さらにはノイズの影響も強く受けることから、精確にエッジを検出することができない。
さらに、監視カメラの画像から取得できる情報は、分解能の観点から原理的に数ミリの誤差範囲で判定できることや、毎回の運行で異なる列車の揺れなどを考慮できるという長所がある一方、影や反射の影響を受けやすく、検出が難しいという問題があった。
本発明では、レール固有の特徴を活用することで、これらの問題を解決することができる。すなわち、本発明では、監視カメラの画像を用いて、高精度にレールの検出を行うことができる、レール検出装置を提供することを目的とする。
上記課題を解決する第１の発明に係るレール検出装置は、
車両の前方又は後方のレールを、監視画像データとして撮像するカメラと、
前記監視画像データにおける所定位置にある枕木方向のライン領域について、予め用意された前記レールのテンプレート画像データを用いて、ラスタスキャンによるマッチング操作を行い、最もマッチング値の高い偏位をレール位置とする、画像処理部とを備え、
前記画像処理部は、
直前の時刻までの前記監視画像データの前記領域に対する、前記テンプレート画像データを用いた前記マッチング操作による前記レール位置の検出結果から、前記レールの存在確率である事前確率を求め、
現在時刻における前記監視画像データの前記領域に対する、前記テンプレート画像データを用いた前記マッチング操作による前記レール位置の検出結果を尤度とし、
前記事前確率に前記尤度を乗ずることで、現在時刻におけるまでの前記レールの存在確率である事後確率を求め、
前記事後確率から前記レール位置を求めるものであり、
前記画像処理部は、
前記監視画像データ上において、最も車両に近い前記領域からレールの消失点を含む前記領域までの複数個の前記領域に対し、前記事後確率を求め、
隣接する複数の各前記領域のそれぞれの前記事後確率を平均化し、前記レール位置を求める
ことを特徴とする。
上記課題を解決する第２の発明に係るレール検出装置は、
車両の前方又は後方のレールを、監視画像データとして撮像するカメラと、
前記監視画像データにおける所定位置にある枕木方向のライン領域について、予め用意された前記レールの輝度値の基準分布データである基準レール輝度分布データを用いて、ラスタスキャンによるマッチング操作を行い、最もマッチング値の高い偏位をレール位置とする、画像処理部とを備え、
前記画像処理部は、
直前の時刻までの前記監視画像データの前記領域に対する、前記基準レール輝度分布データを用いた前記マッチング操作による前記レール位置の検出結果から、前記レールの存在確率である事前確率を求め、
現在時刻における前記監視画像データの前記領域に対する、前記基準レール輝度分布データを用いた前記マッチング操作による前記レール位置の検出結果を尤度とし、
前記事前確率に前記尤度を乗ずることで、現在時刻におけるまでの前記レールの存在確率である事後確率を求め、
前記事後確率から前記レール位置を求めるものであり、
前記画像処理部は、
監視画像データ上において、最も車両に近い前記領域からレールの消失点を含む前記領域までの複数個の前記領域に対し、前記事後確率を求め、
隣接する複数の各前記領域のそれぞれの前記事後確率を平均化し、前記レール位置を求める
ことを特徴とする。
上記課題を解決する第３の発明に係るレール検出装置は、
上記第１の発明に係るレール検出装置において、
前記画像処理部は、
予め、基準とする前記領域である第１領域におけるレール位置と、その前後複数個ずつの前記領域である周辺領域におけるレール位置の関係より、前記第１領域の前記事後確率から前記周辺領域のレール位置を求めるモデル式であるレール形状モデルを作成し、
前記第１領域の前記事後確率から、該第１領域のレール位置を検出し、かつ、前記レールの中心座標を求め、
前記中心座標から、前記レール形状モデルを用いて、前記周辺領域のレール位置をまとめて検出する
ことを特徴とする。
上記課題を解決する第４の発明に係るレール検出装置は、
上記第２の発明に係るレール検出装置において、
前記画像処理部は、
予め、基準とする前記領域である第１領域におけるレール位置と、その前後複数個ずつの前記領域である周辺領域におけるレール位置の関係より、前記第１領域の前記事後確率から前記周辺領域のレール位置を求めるモデル式であるレール形状モデルを作成し、
前記第１領域の前記事後確率から、該第１領域のレール位置を検出し、かつ、前記レールの中心座標を求め、
前記中心座標から、前記レール形状モデルを用いて、前記周辺領域のレール位置をまとめて検出する
ことを特徴とする。
本発明に係るレール検出装置によれば、監視カメラの画像を用いて、高精度にレールの検出を行うことができる。
（ａ）は、本発明におけるカメラの配置を説明する概略図である。（ｂ）は、カメラによりレールを撮像した画像データのイメージ図である。 本発明の実施例１における画像処理部によるテンプレートマッチングのイメージ図である。 本発明の実施例１における画像処理部の構成を説明するブロック図である。 本発明の実施例１に係るレール検出装置の動作を説明するフローチャートである。 本発明の実施例２における画像処理部によるレール輝度分布判定を説明するイメージ図である。 本発明の実施例２における画像処理部の構成を説明するブロック図である。 本発明の実施例２に係るレール検出装置の動作を説明するフローチャートである。 本発明の実施例３におけるパーティクルフィルタのイメージ図である。（ａ）は、時刻ｔ‐１までで求められたレールの存在確率を表し、（ｂ）は、時刻ｔ‐１における監視画像データＭを表し、（ｃ）は尤度を表し、（ｄ）は、時刻ｔまでで求められたレールの存在確率を表す。 本発明の実施例３における画像処理部の構成を説明するブロック図である。 本発明の実施例３に係るレール検出装置の動作を説明するフローチャートである。 本発明の実施例４における画像処理部の構成を説明するブロック図である。 本発明の実施例４に係るレール検出装置の動作を説明するフローチャートである。 本発明の実施例４における画像処理部による監視画像データＭにおけるレール全領域の位置検出を説明するイメージ図である。 本発明の実施例５における画像処理部による拘束条件を用いたレール位置の検出を説明するイメージ図である。 本発明の実施例５における画像処理部の構成を説明するブロック図である。 本発明の実施例５に係るレール検出装置の動作を説明するフローチャートである。 本発明の実施例６における画像処理部の構成を説明するブロック図である。 本発明の実施例６に係るレール検出装置の動作を説明するフローチャートである。 （ａ）は、本発明の実施例７におけるレール中心座標とレール形状の関係を説明するイメージ図であり、（ｂ）は、レール形状モデルのイメージ図である。 本発明の実施例７における画像処理部の構成を説明するブロック図である。 本発明の実施例７に係るレール検出装置の動作を説明するフローチャートである。 本発明の実施例８における画像処理部の構成を説明するブロック図である。 本発明の実施例８に係るレール検出装置の動作を説明するフローチャートである。
以下、本発明に係るレール検出装置を、各実施例により図面を用いて説明する。
［実施例１］
本発明の実施例１に係るレール検出装置について、図１〜４を用いて説明する。
図１（ａ）は、（監視）カメラ１の配置を説明する概略図である。なお、図１（ａ）は、（電車）車両３を上方から見たものであり、図１（ａ）中の破線は、カメラ１の撮像範囲を示している。
本発明に係るレール検出装置は、図１（ａ）に示すように、車両３の先頭に設置されて車両３の前方のレール４を撮像可能な、カメラ１を備えている。カメラ１は車両３に固定されていることで、車両３の移動、動揺及び傾きに依存した撮像が可能である。
そして、カメラ１によりレール４を撮像した画像データ（以下、監視画像データ）Ｍは、一例として図１（ｂ）のイメージ図に示すようになる。
なお、図１（ａ）において、カメラ１は車両３の先頭に設置されて車両３の前方のレール４を監視する（撮像する）ものとしているが、車両３の末尾に設置されて車両３の後方のレール４を撮像するものとしてもよい。
また、本発明に係るレール検出装置は、監視画像データＭに基づき監視を行う計算機としての、画像処理部２を備えている。
ところで、一般的にレール４の実際の幅はほぼ固定されており（例えば１０６７ｍｍ等）、また、レール４において、車両３から一定距離先の局所的な領域であれば、進行方向によらずほぼ同じ幅としてカメラ１に撮像される。
したがって、本発明の実施例１に係るレール検出装置では、画像処理部２によって、監視画像データＭにおけるレール４の局所的な領域でのテンプレートマッチングを行うことで、レール４の局所的な領域の検出を行う。
レール４の局所的な領域の検出は「建築限界領域での接触判定は、判定を行う箇所（車両３から一定距離先の領域）でのレール位置が分かれば可能である」という特徴に注目したものである。そして、レール４の検出領域を絞り込む（局所的とする）ことによって、レール４の曲がり等を考慮しなくても良くなる。
図２は、画像処理部２によるテンプレートマッチングのイメージ図である。テンプレートマッチングでは、監視画像データＭにおける、レール４の局所的な領域、すなわち、車両３から一定距離先にある枕木方向のライン領域Ｒ（図２中の破線で囲われた部分）内で、レール４のテンプレート画像データ（以下、テンプレート画像データＴ）を用いてラスタスキャンを行い、最もマッチング値の高い箇所がレール４であると判断する。ちなみに、上記「一定距離」については任意であるものとする。
なお、ラスタスキャンは通常の画像処理におけるテンプレートマッチングと異なり、枕木方向における１ライン分の領域でのスキャンを行うものである。
ここで、画像処理部２の構成について説明する。図３は、画像処理部２の構成を説明するブロック図である。図３に示すように、画像処理部２は、テンプレート画像入力部１１、監視画像入力部１２、レール位置検出部１３、及び、記憶部１４を備える。
テンプレート画像入力部１１は、予めテンプレート画像データＴを入力しておくものである。テンプレート画像入力部１１に入力されたテンプレート画像データＴは、記憶部１４に保管される。
監視画像入力部１２は、カメラ１によって撮像した監視画像データＭを入力するものである。監視画像入力部１２に入力された監視画像データＭは、記憶部１４に保管される。
レール位置検出部１３は、記憶部１４に保管されたテンプレート画像データＴを用いて、記憶部１４に保管された監視画像データＭの領域Ｒについてラスタスキャンによるマッチング操作（以下、テンプレートマッチング）を行い、その際のマッチング値が最も高くなった偏位をレール４の位置（以下、レール位置）として検出する。該レール位置の情報は記憶部１４に保管される。
以上が画像処理部２の構成である。次に、本発明の実施例１に係るレール検出装置の動作について、図４のフローチャートを用いて説明する。
ステップＳ１では、予め、テンプレート画像データＴをテンプレート画像入力部１１に入力しておく。
ステップＳ２では、カメラ１により撮像された監視画像データＭを監視画像入力部１２に入力する。
ステップＳ３では、レール位置検出部１３において、テンプレート画像データＴをを用いて、領域Ｒついてラスタスキャンによるテンプレートマッチングを行い、レール位置を検出する。
ステップＳ４では、カメラ１による撮像が終了すれば画像処理部２の動作も終了し、カメラ１による撮像が行われていれば、ステップＳ５へ移行する。
ステップＳ５では、カメラ１により新たに撮像された監視画像データＭを監視画像入力部１２に入力し、ステップＳ３へ移行する。
以上が本発明の実施例１に係るレール検出装置の動作である。
換言すれば、本発明の実施例１に係るレール検出装置は、車両の前方又は後方のレールを、監視画像データとして撮像するカメラと、前記監視画像データにおける所定位置にある枕木方向のライン領域について、予め用意された前記レールのテンプレート画像データを用いて、ラスタスキャンによるマッチング操作を行い、最もマッチング値の高い偏位をレール位置とする、画像処理部とを備えるものである。
このようにして、本発明の実施例１に係るレール検出装置は、監視画像データＭから任意の枕木方向ライン（領域Ｒ）におけるレール位置の検出が可能となる。また、その際、テンプレートマッチングを用いた検出が可能となる。
［実施例２］
本発明の実施例２に係るレール検出装置は、本発明の実施例１に係るレール検出装置のうち、画像処理部２の構成を一部変更し、画像処理部２２としたものである。以下では、本発明の実施例１に係るレール検出装置と異なる点を中心に説明し、同一部分についてはなるべく説明を省略する。
本発明の実施例１に係るレール検出装置では、テンプレートマッチングを用いる事でレールの検出を行っていたが、本発明の実施例２に係るレール検出装置では、テンプレート画像データＴに依存せず、レール付近を重要視した処理を行い、高精度にレールを検出する。
より詳述すると、本発明の実施例２に係るレール検出装置では、画像処理部２２において、レール４の輝度分布を判定することにより、レール４の局所的な領域の検出を行う。なお、レール４の輝度分布については、レール４の幅方向両端部（以下、レール両端部）の輝度値は低く、レール４の上面（以下、レール面）の輝度値は光の反射によって高くなる。
また、画像処理部２２では、影や光の反射の影響を考慮し、レール面の輝度値に合わせて正規化を行うことで、より高精度なレール検出を可能にする。
レール４の輝度分布の判定（以下、レール輝度分布判定）は、基準となる画素から枕木方向に所定幅離間した画素に、レール両端部やレール面があると仮定し、その地点の輝度値の差分（レール面から両端部を減算）した際の値が大きい場合に、該画素の偏位がレール位置であると判定する。ちなみに、「基準となる画素」はパーティクルフィルタにより決定する。パーティクルフィルタでは、事前確率を近似するために確率分布に基づいたサンプリングを行う。そして、確率分布的に確率の高そうなところを何箇所か「基準となる画素」として指定する（上記非特許文献１中のモンテカルロ・フィルタを参照）。
すなわち、図５に示す、画像処理部２２によるレール輝度分布判定のイメージ図の如く、監視画像データＭにおいて領域Ｒを設定し、基準となる画素をラスタスキャンすることで、どの箇所が最もレールらしいかを判定し、最もレールらしいと判定した箇所をレール位置として検出する。
その際、レール間の距離（レール４の間の枕木方向の幅）、及び、レール面とレール両端部までの距離等の既知の情報に基づき、レール４の領域Ｒにおける画素毎の輝度値の分布の基準となる、基準レール輝度分布データＬを予め作成しておく。
そして、この基準レール輝度分布データＬと、実際の（カメラ１の撮像による監視画像データＭの）輝度分布データとをマッチング操作して、レール位置を検出することで、単純なエッジ検出よりも高精度にレール位置を検出する。
なお、レール面の輝度値によってレール両端部の輝度値も変化する場合もあるため、輝度値に合わせて正規化をかけることで検出性能を向上させることも可能である。
ここで、画像処理部２２の構成について説明する。図６は、画像処理部２２の構成を説明するブロック図である。図６に示すように、画像処理部２２は、レール輝度分布入力部２１、監視画像入力部１２、レール位置検出部２３、及び、記憶部２４を備える。
レール輝度分布入力部２１は、予め基準レール輝度分布データＬを入力しておくものである。レール輝度分布入力部２１に入力された基準レール輝度分布データＬは、記憶部２４に保管される。
監視画像入力部１２は、実施例１同様、カメラ１によって撮像した監視画像データＭを入力する。監視画像入力部１２に入力された監視画像データＭは、記憶部２４に保管される。
レール位置検出部２３は、記憶部２４に保管された基準レール輝度分布データＬを用いて、同じく記憶部２４に保管された監視画像データＭの領域Ｒの輝度分布データについてラスタスキャンによるマッチング操作（レール輝度分布判定）を行い、その際のマッチング値が最も高くなった偏位をレール位置として検出する。該レール位置の情報は記憶部２４へ保管される。
以上が画像処理部２２の構成である。次に、本発明の実施例２に係るレール検出装置の動作について、図７のフローチャートを用いて説明する。
ステップＳ１１では、予め、基準レール輝度分布データＬをレール輝度分布入力部２１に入力しておく。
ステップＳ１２では、カメラ１により撮像された監視画像データＭを監視画像入力部１２に入力する。
ステップＳ１３では、レール位置検出部２３において、基準レール輝度分布データＬを用いて、領域Ｒの輝度分布データついてラスタスキャンによるレール輝度分布判定を行い、レール位置を検出する。
ステップＳ１４では、カメラ１による撮像が終了すれば画像処理部２２の動作も終了し、カメラ１による撮像が行われていれば、ステップＳ１５へ移行する。
ステップＳ１５では、カメラ１により新たに撮像された監視画像データＭを監視画像入力部１２に入力し、ステップＳ１３へ移行する。
以上が本発明の実施例２に係るレール検出装置の動作である。
換言すれば、本発明の実施例２に係るレール検出装置は、車両の前方又は後方のレールを、監視画像データとして撮像するカメラと、前記監視画像データにおける所定位置にある枕木方向のライン領域について、予め用意された前記レールの輝度値の基準分布データである基準レール輝度分布データを用いて、ラスタスキャンによるマッチング操作を行い、最もマッチング値の高い偏位をレール位置とする、画像処理部とを備えるものである。
このようにして、本発明の実施例２に係るレール検出装置は、監視画像データＭから任意の枕木方向ライン（領域Ｒ）におけるレール位置の検出が可能となる。また、その際、レール輝度分布判定を用いた検出が可能となる。
［実施例３］
本発明の実施例３に係るレール検出装置は、本発明の実施例１に係るレール検出装置のうち、画像処理部２の構成を一部変更し、画像処理部３２としたものである。以下では、本発明の実施例１に係るレール検出装置と異なる点を中心に説明し、同一部分についてはなるべく説明を省略する。
本発明の実施例１に係るレール検出装置では、既に説明したように、図２の如くテンプレートマッチングのラスタスキャンによりレール位置を検出したが、その際、監視画像データＭ毎に独立してスキャンを行った。
本発明の実施例３に係るレール検出装置では、監視画像データＭを時系列で追った場合、現在時刻の監視画像データＭは、直前の時刻の監視画像データＭからレール位置が大幅には変わらないことを利用し、各監視画像データＭを切り離して互いに独立したラスタスキャンを行うのではなく、直前の時刻の監視画像データＭのレール位置情報に基づき現在時刻のレール位置を追跡するように検出することで、高精度かつ高効率化を図ることができる。
そして、本発明の実施例３に係るレール検出装置では、上記追跡の方法として、パーティクルフィルタ（上記非特許文献１中のモンテカルロ・フィルタを参照）を用いることによって、よりノイズに対し頑健で高精度なレール検出を行うことができるものである。
なお、上記パーティクルフィルタとは、ベイズ推定の理論を用いることでノイズにロバストな推定を行う枠組みである。
図８は、パーティクルフィルタのイメージ図である。図８（ａ）は、時刻ｔ‐１までで求められたレール４の存在確率を表し、図８（ｂ）は、時刻ｔ‐１における監視画像データＭを表し、図８（ｃ）は尤度を表し、図８（ｄ）は、時刻ｔまでで求められたレール４の存在確率を表す。
画像処理部３２では、パーティクルフィルタを用いて、レール位置を検出する。すなわち、まず、時刻ｔ‐１までの領域Ｒにおけるレール位置検出結果からレール４の存在確率を求め、このレール４の存在確率を事前確率とする（一番目の事前確率については、直前のデータがないため、一様分布とする）。事前確率は、例えば図８（ａ）に示すようなグラフとなる（実際には、完璧な確率密度分布を扱うのは計算量の観点から現実的ではないため、何点かのサンプリング点を取り扱うことで近似する）。
次に、図８（ｂ）に示すような時刻ｔにおける監視画像データＭに対する、実施例１のマッチング操作によるレール位置検出結果を、尤度とする。尤度は、例えば図８（ｃ）に示すようなグラフとなる。
さらに、図８（ａ）に示す事前確率に図８（ｃ）に示す尤度を乗ずることで、図８（ｄ）に示す如く、レール４の存在確率が求められる。この時刻ｔまでで求められたレール４の存在確率を事後確率とする。
そして、上記事後確率の高い箇所がレール位置であるとして、レール位置を検出する。なお、上記時刻ｔ‐１の「１」とは、カメラ１の撮像間隔の時間を表している。
本発明の実施例３に係るレール検出装置は、これによって、仮にテンプレート画像データＴとのマッチング値が最大となるノイズ（図８（ｂ）参照）が発生しても、事前確率が高かった箇所にレールがあるはずだという情報に基づき、誤認識なくレールの検出が可能である。
すなわち、図８（ｃ）に示すように、時刻ｔにおける監視画像データＭから求めた尤度を見ると、監視画像データＭのノイズ箇所ｘ1のレール存在確率が高くなっているが、該尤度と、図８（ａ）に示す事前確率との積から、図８（ｄ）に示す事後確率を求めることで、実際にレール４がある箇所ｘ2の確率値が最も高くなっていることが確認できる。
ここで、画像処理部３２の構成について説明する。図９は、画像処理部３２の構成を説明するブロック図である。図９に示すように、画像処理部３２は、テンプレート画像入力部１１、監視画像入力部１２、レール位置検出部３３、及び、記憶部３４を備える。
テンプレート画像入力部１１は、予めテンプレート画像データＴを入力しておくものである。テンプレート画像入力部１１に入力されたテンプレート画像データＴは、記憶部３４に保管される。
監視画像入力部１２は、実施例１同様、カメラ１によって撮像した監視画像データＭを入力する。監視画像入力部１２に入力された監視画像データＭは、記憶部３４に保管される。
レール位置検出部３３は、記憶部３４に保管されたテンプレート画像データＴを用いて、同じく記憶部３４に保管された監視画像データＭの領域Ｒについてパーティクル（所定時間範囲。例えば時刻０〜時刻ｔの範囲）毎にラスタスキャンによるテンプレートマッチングを行う。
すなわち、図８（ａ）に示す事前確率、図８（ｃ）に示す尤度を求め、この事前確率と尤度との積から、図８（ｄ）に示す事後確率を求める。
そして、事後確率の確率値が最も高くなった偏位をレール位置として検出する。該レール位置は記憶部３４に保管される。
以上が本発明の画像処理部３２の構成である。次に、本発明の実施例３に係るレール検出装置の動作について、図１０のフローチャートを用いて説明する。
ステップＳ２１では、予め、テンプレート画像データＴをテンプレート画像入力部１１に入力しておく。
ステップＳ２２では、カメラ１により撮像された監視画像データＭを監視画像入力部１２に入力する。
ステップＳ２３では、レール位置検出部３３において、テンプレート画像データＴを用いて、監視画像データＭの領域Ｒついてラスタスキャンによるテンプレートマッチング及び上述したパーティクルフィルタを用いて、レール位置を検出する。
ステップＳ２４では、カメラ１による撮像が終了すれば画像処理部２の動作も終了し、カメラ１による撮像が行われていれば、ステップＳ２５へ移行する。
ステップＳ２５では、カメラ１により新たに撮像された監視画像データＭを監視画像入力部１２に入力し、ステップＳ２３へ移行する。
以上が本発明の実施例３に係るレール検出装置の動作である。
換言すれば、本発明の実施例３に係るレール検出装置は、実施例１で説明した前記画像処理部が、さらに、直前の時刻までの前記監視画像データの前記領域に対する、前記テンプレート画像データを用いた前記マッチング操作による前記レール位置の検出結果から、前記レールの存在確率である事前確率を求め、現在時刻における前記監視画像データの前記領域に対する、前記テンプレート画像データを用いた前記マッチング操作による前記レール位置の検出結果を尤度とし、前記事前確率に前記尤度を乗ずることで、現在時刻におけるまでの前記レールの存在確率である事後確率を求め、前記事後確率から前記レール位置を求めるものである。
このようにして、本発明の実施例３に係るレール検出装置は、監視画像データＭから任意の枕木方向ライン（領域Ｒ）におけるレール位置の検出が可能となる。また、テンプレートマッチングを用いた検出が可能となる。さらに、直前の時刻のレール位置情報を使用した予測による検出が可能となる。そして、確率論に基づく予測を用いた検出が可能となる。
［実施例４］
本発明の実施例４に係るレール検出装置は、本発明の実施例３に係るレール検出装置のうち、画像処理部３２の構成を一部変更し、画像処理部４２としたものである。以下では、本発明の実施例３に係るレール検出装置と異なる点を中心に説明し、同一部分についてはなるべく説明を省略する（ただし、技術的には、実施例３が実施例１に基づくものであるのと同様に、本実施例は実施例２に基づいているものとも言える）。
本発明の実施例３に係るレール検出装置では、パーティクルフィルタの尤度評価にテンプレートマッチングを用いていたが、本発明の実施例４に係るレール検出装置では、パーティクルフィルタの尤度評価に、実施例２において説明したレール輝度分布判定を用いることで、高精度にレール位置を検出する。
ここで、画像処理部４２の構成について説明する。図１１は、画像処理部４２の構成を説明するブロック図である。図１１に示すように、画像処理部４２は、レール輝度分布入力部２１、監視画像入力部１２、レール位置検出部４３、及び、記憶部４４を備える。
レール輝度分布入力部２１は、実施例２同様、予め基準レール輝度分布データＬを入力しておくものである。レール輝度分布入力部２１に入力された基準レール輝度分布データＬは、記憶部４４に保管される。
監視画像入力部１２は、実施例１同様、カメラ１によって撮像した監視画像データＭを入力する。監視画像入力部１２に入力された監視画像データＭは、記憶部４４に保管される。
レール位置検出部４３は、記憶部４４に保管された基準レール輝度分布データＬを用いて、同じく記憶部４４に保管された監視画像データＭの領域Ｒの輝度分布データについてパーティクル毎にラスタスキャンによるレール輝度分布判定を行う。
すなわち、レール輝度分布判定を行うことで、実施例３で説明した如く、図８（ａ）に示す事前確率、図８（ｃ）に示す尤度を求め、この事前確率と尤度との積から、図８（ｄ）に示す事後確率を求める。
そして、事後確率の確率値が最も高くなった偏位をレール位置として検出する。該レール位置は記憶部４４に保管される。
以上が、画像処理部４２の構成である。次に、本発明の実施例４に係るレール検出装置の動作について、図１２のフローチャートを用いて説明する。
ステップＳ３１では、予め、基準レール輝度分布データＬをレール輝度分布入力部２１に入力しておく。
ステップＳ３２では、カメラ１により撮像された監視画像データＭを監視画像入力部１２に入力する。
ステップＳ３３では、レール位置検出部４３において、基準レール輝度分布データＬを用いて、領域Ｒｉの輝度分布データついてラスタスキャンによるレール輝度分布判定及び上述したパーティクルフィルタを用いて、レール位置を検出する。
ステップＳ３４では、カメラ１による撮像が終了すれば画像処理部２の動作も終了し、カメラ１による撮像が行われていれば、ステップＳ３５へ移行する。
ステップＳ３５では、カメラ１により新たに撮像された監視画像データＭを監視画像入力部１２に入力し、ステップＳ３３へ移行する。
以上が本発明の実施例４に係るレール検出装置の動作である。
換言すれば、本発明の実施例４に係るレール検出装置は、実施例２で説明した画像処理部が、さらに、直前の時刻までの前記監視画像データの前記領域に対する、前記基準レール輝度分布データを用いた前記マッチング操作による前記レール位置の検出結果から、前記レールの存在確率である事前確率を求め、現在時刻における前記監視画像データの前記領域に対する、前記基準レール輝度分布データを用いた前記マッチング操作による前記レール位置の検出結果を尤度とし、前記事前確率に前記尤度を乗ずることで、現在時刻におけるまでの前記レールの存在確率である事後確率を求め、前記事後確率から前記レール位置を求めるものである。
このようにして、本発明の実施例４に係るレール検出装置は、監視画像データＭから任意の枕木方向ライン（領域Ｒ）におけるレール位置の検出が可能となる。また、レール輝度分布判定を用いた検出が可能となる。さらに、直前の時刻のレール位置情報を使用した予測による検出が可能となる。そして、確率論に基づく予測を用いた検出が可能となる。
［実施例５］
本発明の実施例５に係るレール検出装置は、本発明の実施例３に係るレール検出装置のうち、画像処理部３２の構成を一部変更し、画像処理部５２としたものである。以下では、本発明の実施例３に係るレール検出装置と異なる点を中心に説明し、同一部分についてはなるべく説明を省略する。
本発明の実施例３に係るレール検出装置では、１ライン分の領域Ｒのみにおいてレール位置を検出していたが、本発明の実施例５に係るレール検出装置では、車両３からの距離毎に実施例３で説明したパーティクルフィルタを適用し、監視画像データＭ中の全てのレール位置を検出する。
図１３は、画像処理部５２による監視画像データＭにおけるレール全領域の位置検出を説明するイメージ図である。画像処理部５２では、図１３に示すように、監視画像データＭの下端の（すなわち、最も車両３に近い）領域Ｒ1からレール４の（監視画像データＭ上における）消失点ｖを含む領域ＲNまでのＮ個の検出を行う。
また、レール４は連続していることがわかっているため、この情報を拘束条件として用いることで、より高精度にレール４を検出することが可能となる。「拘束条件として用いる」とは、監視画像データＭ上の、領域Ｒi（ｉ＝１，２，…，Ｎ）におけるレール存在確率分布（実施例３で説明した事後確率）とその前後の領域Ｒi-1，Ｒi+1におけるレール存在確率分布（同前）との平均を求め、これを領域Ｒiのレール位置とし、同様の作業を各領域Ｒ1〜ＲNについて行うことを指す。なお、ここでは３つの領域（Ｒi，Ｒi-1，Ｒi+1）の平均を求めているが、実際には、対象となる領域（Ｒi）を中心として、前後に複数の領域を考慮すればよく、その際の領域の数は限定しなくてよい。
図１４は、画像処理部５２による拘束条件を用いたレール位置の検出を説明するイメージ図である。図１４（ａ）は、拘束条件適用前の各領域のレール存在確率分布を表すグラフであり、図１４（ｂ）は、拘束条件適用後の各領域のレール存在確率分布を表すグラフである。
図１４（ａ）に示すように、領域Ｒi-1，Ｒi，Ｒi+1のそれぞれのレール存在確率分布データのグラフにノイズが発生したとする。ここで、拘束条件を適用する、すなわち、領域Ｒi-1，Ｒi，Ｒi+1のそれぞれのレール存在確率分布データのグラフを平均化すると、図１４（ｂ）に示すように、領域Ｒi-1，Ｒi，Ｒi+1のそれぞれのレール存在確率分布のグラフに発生したノイズが低減する。これにより、本発明の実施例５に係るレール検出装置では、高精度にレール位置を検出することができる。
ここで、画像処理部５２の構成について説明する。図１５は、画像処理部５２の構成を説明するブロック図である。図１５に示すように、画像処理部５２は、テンプレート画像入力部１１、監視画像入力部１２、レール位置検出部５３、記憶部５４、及び、レール存在確率推定部５５を備える。
テンプレート画像入力部１１は、実施例１同様、予めテンプレート画像データＴを入力しておくものである。テンプレート画像入力部１１に入力されたテンプレート画像データＴは、記憶部５４に保管される。
監視画像入力部１２は、実施例１同様、カメラ１によって撮像した監視画像データＭを入力する。監視画像入力部１２に入力された監視画像データＭは、記憶部５４に保管される。
レール存在確率分布推定部５５は、記憶部５４に保管されたテンプレート画像データＴを用いて、同じく記憶部５４に保管された監視画像データＭの領域Ｒiについて、パーティクル毎のテンプレートマッチングを行い、各パーティクルの尤度を求め、また、事前確率を求め、この事前確率と尤度から、レール存在確率分布データ（事後確率）を求め、該レール存在確率分布データを記憶部５４へ保管する。
レール位置検出部５３は、拘束条件を適用してレール位置を検出する。すなわち、領域Ｒiのレール存在確率分布と、その前後の領域Ｒ1-i，Ｒi+1のレール存在確率分布を平均化することで、ノイズの影響を削減して、レール位置を検出する。該レール位置は記憶部５４に保管される。
以上が画像処理部５２の構成である。次に、本発明の実施例５に係るレール検出装置の動作について、図１６のフローチャートを用いて説明する。
ステップＳ４１では、予め、テンプレート画像データＴをテンプレート画像入力部１１に入力しておく。
ステップＳ４２では、カメラ１により撮像された監視画像データＭを監視画像入力部１２に入力する。
ステップＳ４３では、レール存在確率分布推定部５５により、テンプレート画像データＴを用いて、監視画像データＭの領域Ｒiについてテンプレートマッチング及びパーティクルフィルタを用いて、レール位置を検出し、レール存在確率分布を求める。
ステップＳ４４では、監視画像データＭ中におけるレール４の全領域、すなわち、領域Ｒ1〜ＲNについて検出が終了していれば、ステップＳ４６へ移行し、まだ検出していない領域があればステップＳ４５へ移行する。
ステップＳ４５では、監視画像データＭの中で、レール位置の検出を行う領域を次に移動する（例えば、領域Ｒi→Ｒi+1）。
ステップＳ４６では、レール位置検出部５３により、監視画像データＭ上のレール４の全領域におけるレール存在確率分布に対し、拘束条件を適用することで、消失点ｖまでの全領域Ｒ1〜ＲNのレール位置を検出する。
ステップＳ４７では、カメラ１による撮像が終了すれば画像処理部５２の動作も終了し、カメラ１による撮像が行われていれば、ステップＳ４８へ移行する。
ステップＳ４８では、カメラ１により新たに撮像された監視画像データＭを監視画像入力部１２に入力し、ステップＳ４３へ移行する。
以上が本発明の実施例５に係るレール検出装置の動作である。
換言すれば、本発明の実施例５に係るレール検出装置は、実施例３で説明した画像処理部が、さらに、前記監視画像データ上において、最も車両に近い前記領域からレールの消失点を含む前記領域までの複数個の前記領域に対し、前記事前確率を求め、隣接する各前記領域のそれぞれの前記事前確率のグラフを平均化するものである。
このようにして、本発明の実施例５に係るレール検出装置は、監視画像データＭ上の消失点ｖまでの全領域におけるレール位置の検出が可能となる。また、テンプレートマッチングを用いた検出が可能となる。さらに、直前の撮像におけるレール位置情報を使用した予測による検出が可能となる。そして、確率論に基づく予測を用いた検出が可能となる。
［実施例６］
本発明の実施例６に係るレール検出装置は、本発明の実施例５に係るレール検出装置のうち、画像処理部５２の構成を一部変更し、画像処理部６２としたものである。以下では、本発明の実施例５に係るレール検出装置と異なる点を中心に説明し、同一部分についてはなるべく説明を省略する（ただし、技術的には、実施例５が実施例３に基づくものであるのと同様に、本実施例は実施例４に基づいているものとも言える）。
本発明の実施例５に係るレール検出装置では、レール位置の検出にテンプレートマッチングを用いていたが、本発明の実施例６に係るレール検出装置では、レール検出に実施例２において説明したレール輝度分布判定を用いることで、高精度にレール位置を検出する。
ここで、画像処理部６２の構成について説明する。図１７は、画像処理部６２の構成を説明するブロック図である。図１７に示すように、画像処理部６２は、レール輝度分布入力部２１、監視画像入力部１２、レール位置検出部６３、記憶部６４、及び、レール存在確率分布推定部６５を備える。
レール輝度分布入力部２１は、実施例２同様、予め基準レール輝度分布データＬを入力しておくものである。レール輝度分布入力部２１に入力された基準レール輝度分布データＬは、記憶部６４に保管される。
監視画像入力部１２は、実施例１同様、カメラ１によって撮像した監視画像データＭを入力する。監視画像入力部１２に入力された監視画像データＭは、記憶部６４に保管される。
レール存在確率分布推定部６５は、記憶部６４に保管された基準レール輝度分布データＬを用いて、同じく記憶部６４に保管された監視画像データＭの領域Ｒiについて、パーティクル毎のテンプレートマッチングを行い、レール存在確率分布データ（事後確率）を求め、このレール存在確率分布データを記憶部６４へ保管する。
レール位置検出部６３は、拘束条件を適用してレール位置を検出する。すなわち、領域Ｒiのレール存在確率分布と、その前後の領域Ｒ1-i，Ｒi+1のレール存在確率分布を平均化することで、ノイズの影響を削減して、レール位置を検出する。該レール位置は記憶部６４に保管される。
以上が画像処理部６２の構成である。次に、本発明の実施例６に係るレール検出装置の動作について、図１８のフローチャートを用いて説明する。
ステップＳ５１では、予め、基準レール輝度分布データＬをレール輝度分布入力部２１に入力しておく。
ステップＳ５２では、カメラ１により撮像された監視画像データＭを監視画像入力部１２に入力する。
ステップＳ５３では、レール存在確率分布推定部６５により、基準レール輝度分布データＬを用いて、監視画像データＭの領域Ｒiについてレール輝度分布判定及びパーティクルフィルタを用いて、レール位置を検出し、レール存在確率分布を求める。
ステップＳ５４では、監視画像データＭ中におけるレール４の全領域、すなわち、領域Ｒ1〜ＲNについて検出が終了していれば、ステップＳ５６へ移行し、まだ検出していない領域があればステップＳ５５へ移行する。
ステップＳ５５では、監視画像データＭの中で、レール位置の検出を行う領域を次に移動する（例えば、領域Ｒi→Ｒi+1）。
ステップＳ５６では、レール位置検出部６３により、監視画像データＭ上のレール４の全領域におけるレール存在確率分布に対し、拘束条件を適用することで、消失点ｖまでの全領域Ｒ1〜ＲNのレール位置を検出する。
ステップＳ５７では、カメラ１による撮像が終了すれば画像処理部６２の動作も終了し、カメラ１による撮像が行われていれば、ステップＳ５８へ移行する。
ステップＳ５８では、カメラ１により新たに撮像された監視画像データＭを監視画像入力部１２に入力し、ステップＳ５３へ移行する。
以上が本発明の実施例６に係るレール検出装置の動作である。
換言すれば、本発明の実施例６に係るレール検出装置は、実施例４で説明した前記画像処理部が、さらに、監視画像データ上において、最も車両に近い前記領域からレールの消失点を含む前記領域までの複数個の前記領域に対し、前記事前確率を求め、隣接する各前記領域のそれぞれの前記事前確率のグラフを平均化するものである。
このようにして、本発明の実施例６に係るレール検出装置は、監視画像データＭ上の消失点ｖまでの全領域におけるレール位置の検出が可能となる。また、レール輝度分布判定を用いた検出が可能となる。さらに、直前の撮像におけるレール位置情報を使用した予測による検出が可能となる。そして、確率論に基づく予測を用いた検出が可能となる。
［実施例７］
本発明の実施例７に係るレール検出装置は、本発明の実施例５に係るレール検出装置のうち、画像処理部５２の構成を一部変更し、画像処理部７２としたものである。以下では、本発明の実施例５に係るレール検出装置と異なる点を中心に説明し、同一部分についてはなるべく説明を省略する。
本発明の実施例５に係るレール検出装置では、１ライン分の領域Ｒi毎にレール位置を検出し、その後、連続性を考慮した拘束条件を用いてレール４の監視画像データＭ上の全領域についてレール位置の検出を行っていた。
本発明の実施例７に係るレール検出装置では、１ライン分の領域Ｒi毎のレール位置の検出ではなく、複数（ｍ個）のライン分の領域のレール位置をまとめて検出することで、使用メモリ量及び計算コストを削減するものである。また、本発明の実施例７に係るレール検出装置では、複数ライン分の領域を考慮した検出を行うことから、ノイズの影響を受けにくい。
ｍ個の領域のレール位置を検出するには、まず注目する（すなわち基準となる）領域Ｒiを決め、事前にその領域Ｒiにおけるレール位置とその周辺のｍ−１個の領域におけるレール位置の関係を統計的に求めておく。
この関係を用いて、領域Ｒiのレール候補位置（事後確率の高い偏位に相当）から他のｍ−１個の領域のレール位置を求めるモデル式（以下、レール形状モデル）を作成することで、ｍ個の領域のレール位置を検出する。
ただし、ここでは、レール形状モデルに誤差があることを考慮して、レール形状モデルで大まかなレール位置を探索する。
上述のモデル式での大まかなレール位置の探索について説明する。図１９（ａ）は、レール中心座標とレール形状の関係を説明するイメージ図であり、図１９（ｂ）は、レール形状モデルのイメージ図である。なお、図１９（ａ）（ｂ）では、監視画像データＭ上の横方向（枕木方向）において異なる３箇所（画像横軸座標ｕ＝６００，７００，８００）について、それぞれ表している。また、図１９（ｂ）では、上記ｍ＝５として表している。
まず、図１９（ａ）に示すように、領域Ｒiのレール候補位置から、レール中心座標Ｏ600〜Ｏ800を求め、その後、レール中心座標Ｏ600〜Ｏ800を用いて、統計データの分布を考慮して、図１９（ｂ）に示すように、他のｍ個の領域について、画像横方向（すなわち枕木方向）に局所的にレールらしい範囲を探索する（図中の両矢印）ことで、誤差の問題を解決する。
領域Ｒiによってテンプレート画像データＴの形状が変わることが考えられるため、局所探索時に異なるテンプレート画像データＴが必要になるが、ここでは、テンプレート画像データＴの形状を左右に拡大縮小する（不図示）ことで対応する。
ここで、画像処理部７２の構成について説明する。図２０は、画像処理部７２の構成を説明するブロック図である。図２０に示すように、画像処理部７２は、テンプレート画像入力部１１、監視画像入力部１２、レール位置検出部７３、記憶部７４、及び、レール形状モデル構築部７５を備える。
テンプレート画像入力部１１は、実施例１同様、予めテンプレート画像データＴを入力しておくものである。テンプレート画像入力部１１に入力されたテンプレート画像データＴは、記憶部７４に保管される。
レール形状モデル構築部７５は、注目した領域Ｒiのレール位置及びその周辺のｍ−１個の領域のレール位置の関係を統計的に求め、これをレール形状モデルとする。そして、これを領域Ｒ1〜ＲN（図１３）の範囲においてｍ個の領域毎に行う。求めた複数のレール形状モデルは記憶部７４へ保管する。
監視画像入力部１２は、実施例１同様、カメラ１によって撮像した監視画像データＭを入力する。監視画像入力部１２に入力された監視画像データＭは、記憶部７４に保管される。
レール位置検出部７３は、記憶部７４に保管されたテンプレート画像データＴを用いて、同じく記憶部７４に保管された監視画像データＭの領域Ｒiを含むｍ個の領域について、パーティクル毎のテンプレートマッチングを行い、レール存在確率分布（事後確率）を求め、レール形状モデルを用いて、ｍ個の領域のレール位置をまとめて求める。該レール位置は記憶部７４へ保管する。
以上が画像処理部７２の構成である。次に、本発明の実施例７に係るレール検出装置の動作について、図２１のフローチャートを用いて説明する。
ステップＳ６１では、予め、テンプレート画像データＴをテンプレート画像入力部１１に入力しておく。
ステップＳ６２では、レール形状モデル構築部７５により、レール形状モデルを構築する。
ステップＳ６３では、カメラ１により撮像された監視画像データＭを監視画像入力部１２に入力する。
ステップＳ６４では、レール位置検出部７３により、あるｍ個の領域について、テンプレート画像データＴ及びレール形状モデルを用いた、テンプレートマッチング及びパーティクルフィルタにより、レール位置を検出する。
ステップＳ６５では、監視画像データＭ中におけるレール４の全領域（領域Ｒ1〜ＲN（図１３参照））について検出が終了していれば、ステップＳ６７へ移行し、まだ検出していない領域があればステップＳ６６へ移行する。
ステップＳ６６では、監視画像データＭの中で、レール位置の検出を行う領域を次のｍ個の領域に移動し、ステップＳ６４へ移行する。
ステップＳ６７では、カメラ１による撮像が終了すれば画像処理部７２の動作も終了し、カメラ１による撮像が行われていれば、ステップＳ６８へ移行する。
ステップＳ６８では、カメラ１により新たに撮像された監視画像データＭを監視画像入力部１２に入力し、ステップＳ６４へ移行する。
以上が本発明の実施例７に係るレール検出装置の動作である。
換言すれば、本発明の実施例７に係るレール検出装置は、前記画像処理部が、さらに、予め、基準とする前記領域である第１領域におけるレール位置と、その前後複数個ずつの前記領域である周辺領域におけるレール位置の関係より、前記第１領域の前記事後確率から前記周辺領域のレール位置を求めるモデル式であるレール形状モデルを作成し、前記第１領域の前記事後確率から、該第１領域のレール位置を検出し、かつ、前記レールの中心座標を求め、前記中心座標から、前記レール形状モデルを用いて、前記周辺領域のレール位置をまとめて検出するものである。
このようにして、本発明の実施例７に係るレール検出装置は、監視画像データＭ上において、ｍ個の領域毎に、消失点ｖまでの全領域におけるレール位置の検出が可能となる。また、テンプレートマッチングを用いた検出が可能となる。さらに、直前の撮像におけるレール位置情報を使用した予測による検出が可能となる。そして、確率論に基づく予測を用いた検出が可能となる。
［実施例８］
本発明の実施例８に係るレール検出装置は、本発明の実施例７に係るレール検出装置のうち、画像処理部７２の構成を一部変更し、画像処理部８２としたものである。以下では、本発明の実施例７に係るレール検出装置と異なる点を中心に説明し、同一部分についてはなるべく説明を省略する（ただし、技術的には、実施例７が実施例５に基づくものであるのと同様に、本実施例は実施例６に基づいているものとも言える）。
本発明の実施例７に係るレール検出装置では、テンプレートマッチングを用いてレール位置を検出していたが、本発明の実施例８に係るレール検出装置では、レール検出に実施例２において説明したレール輝度分布判定を用いることで、高精度にｍ個の領域毎にまとめてレール位置を検出する。
なお、本発明の実施例８に係るレール検出装置では、基準となる領域Ｒi以外での評価や局所的な探索においては、基準レール輝度分布データにおける画素位置を左右に動かすことで対応する。
ここで、画像処理部８２の構成について説明する。図２２は、画像処理部８２の構成を説明するブロック図である。図２２に示すように、画像処理部８２は、レール輝度分布入力部２１、監視画像入力部１２、レール位置検出部８３、記憶部８４、及び、レール形状モデル構築部８５を備える。
レール輝度分布入力部２１は、実施例２同様、予め基準レール輝度分布データＬを入力しておくものである。レール輝度分布入力部２１に入力された基準レール輝度分布データＬは、記憶部８４に保管される。
レール形状モデル構築部８５は、注目した領域Ｒiのレール位置及びその周辺のｍ−１個の領域のレール位置の関係を統計的に求め、これをレール形状モデルとする。そして、これを領域Ｒ1〜ＲN（図１３）の範囲においてｍ個の領域毎に行う。求めた複数のレール形状モデルは記憶部８４へ保管する。
監視画像入力部１２は、実施例１同様、カメラ１によって撮像した監視画像データＭを入力する。監視画像入力部１２に入力された監視画像データＭは、記憶部８４に保管される。
レール位置検出部８３は、記憶部８４に保管された基準レール輝度分布データＬを用いて、同じく記憶部８４に保管された監視画像データＭの領域Ｒiを含むｍ個の領域について、パーティクル毎のテンプレートマッチングを行い、レール存在確率分布（事後確率）を求め、ｍ個の領域のレール位置をまとめて求める。該レール位置は記憶部８４へ保管する。
以上が画像処理部８２の構成である。次に、本発明の実施例８に係るレール検出装置の動作について、図２２のフローチャートを用いて説明する。
ステップＳ７１では、予め、基準レール輝度分布データＬをレール輝度分布入力部２１に入力しておく。
ステップＳ７２では、レール形状モデル構築部８５により、レール形状モデルを構築する。
ステップＳ７３では、カメラ１により撮像された監視画像データＭを監視画像入力部１２に入力する。
ステップＳ７４では、レール位置検出部７３により、あるｍ個の領域について、基準レール輝度分布データＬ及びレール形状モデルを用いた、レール輝度分布判定及びパーティクルフィルタにより、レール位置を検出する。
ステップＳ７５では、監視画像データＭ中におけるレール４の全領域（領域Ｒ1〜ＲN（図１３参照））について検出が終了していれば、ステップＳ７７へ移行し、まだ検出していない領域があればステップＳ７６へ移行する。
ステップＳ７６では、監視画像データＭの中で、レール位置の検出を行う領域を次のｍ個の領域に移動し、ステップＳ７４へ移行する。
ステップＳ７７では、カメラ１による撮像が終了すれば画像処理部８２の動作も終了し、カメラ１による撮像が行われていれば、ステップＳ７８へ移行する。
ステップＳ７８では、カメラ１により新たに撮像された監視画像データＭを監視画像入力部１２に入力し、ステップＳ７４へ移行する。
以上が本発明の実施例８に係るレール検出装置の動作である。
換言すれば、本発明の実施例８に係るレール検出装置は、実施例６で説明した前記画像処理部が、さらに、予め、基準とする前記領域である第１領域におけるレール位置と、その前後複数個ずつの前記領域である周辺領域におけるレール位置の関係より、前記第１領域の前記事後確率から前記周辺領域のレール位置を求めるモデル式であるレール形状モデルを作成し、前記第１領域の前記事後確率から、該第１領域のレール位置を検出し、かつ、前記レールの中心座標を求め、前記中心座標から、前記レール形状モデルを用いて、前記周辺領域のレール位置をまとめて検出するものである。
このようにして、本発明の実施例８に係るレール検出装置は、監視画像データＭ上において、ｍ個の領域毎に、消失点ｖまでの全領域におけるレール位置の検出が可能となる。また、レール輝度分布判定を用いた検出が可能となる。さらに、直前の撮像におけるレール位置情報を使用した予測による検出が可能となる。そして、確率論に基づく予測を用いた検出が可能となる。
本発明は、レール検出装置として好適である。
１ （監視）カメラ
２，２２，３２，４２，５２，６２，７２，８２ 画像処理部
３ 車両
４ レール
１１ テンプレート画像入力部
１２ 監視画像入力部
１３，２３，３３，４３，５３，６３，７３，８３ レール位置検出部
１４，２４，３４，４４，５４，６４，７４，８４ 記憶部
２１ レール輝度分布入力部
５５，６５，７５，８５ レール存在確率推定部

Claims (4)

  1. 車両の前方又は後方のレールを、監視画像データとして撮像するカメラと、
    前記監視画像データにおける所定位置にある枕木方向のライン領域について、予め用意された前記レールのテンプレート画像データを用いて、ラスタスキャンによるマッチング操作を行い、最もマッチング値の高い偏位をレール位置とする、画像処理部とを備え、
    前記画像処理部は、
    直前の時刻までの前記監視画像データの前記領域に対する、前記テンプレート画像データを用いた前記マッチング操作による前記レール位置の検出結果から、前記レールの存在確率である事前確率を求め、
    現在時刻における前記監視画像データの前記領域に対する、前記テンプレート画像データを用いた前記マッチング操作による前記レール位置の検出結果を尤度とし、
    前記事前確率に前記尤度を乗ずることで、現在時刻におけるまでの前記レールの存在確率である事後確率を求め、
    前記事後確率から前記レール位置を求めるものであり、
    さらに、前記画像処理部は、
    前記監視画像データ上において、最も車両に近い前記領域からレールの消失点を含む前記領域までの複数個の前記領域に対し、前記事後確率を求め、
    隣接する複数の各前記領域のそれぞれの前記事後確率を平均化し、前記レール位置を求める
    ことを特徴とするレール検出装置。
  2. 車両の前方又は後方のレールを、監視画像データとして撮像するカメラと、
    前記監視画像データにおける所定位置にある枕木方向のライン領域について、予め用意された前記レールの輝度値の基準分布データである基準レール輝度分布データを用いて、ラスタスキャンによるマッチング操作を行い、最もマッチング値の高い偏位をレール位置とする、画像処理部とを備え、
    前記画像処理部は、
    直前の時刻までの前記監視画像データの前記領域に対する、前記基準レール輝度分布データを用いた前記マッチング操作による前記レール位置の検出結果から、前記レールの存在確率である事前確率を求め、
    現在時刻における前記監視画像データの前記領域に対する、前記基準レール輝度分布データを用いた前記マッチング操作による前記レール位置の検出結果を尤度とし、
    前記事前確率に前記尤度を乗ずることで、現在時刻におけるまでの前記レールの存在確率である事後確率を求め、
    前記事後確率から前記レール位置を求めるものであり、
    さらに、前記画像処理部は、
    監視画像データ上において、最も車両に近い前記領域からレールの消失点を含む前記領域までの複数個の前記領域に対し、前記事後確率を求め、
    隣接する複数の各前記領域のそれぞれの前記事後確率を平均化し、前記レール位置を求める
    ことを特徴とするレール検出装置。
  3. 前記画像処理部は、
    予め、基準とする前記領域である第１領域におけるレール位置と、その前後複数個ずつの前記領域である周辺領域におけるレール位置の関係より、前記第１領域の前記事後確率から前記周辺領域のレール位置を求めるモデル式であるレール形状モデルを作成し、
    前記第１領域の前記事後確率から、該第１領域のレール位置を検出し、かつ、前記レールの中心座標を求め、
    前記中心座標から、前記レール形状モデルを用いて、前記周辺領域のレール位置をまとめて検出する
    ことを特徴とする、請求項１に記載のレール検出装置。
  4. 前記画像処理部は、
    予め、基準とする前記領域である第１領域におけるレール位置と、その前後複数個ずつの前記領域である周辺領域におけるレール位置の関係より、前記第１領域の前記事後確率から前記周辺領域のレール位置を求めるモデル式であるレール形状モデルを作成し、
    前記第１領域の前記事後確率から、該第１領域のレール位置を検出し、かつ、前記レールの中心座標を求め、
    前記中心座標から、前記レール形状モデルを用いて、前記周辺領域のレール位置をまとめて検出する
    ことを特徴とする、請求項２に記載のレール検出装置。
JP2014228994A 2014-11-11 2014-11-11 レール検出装置 Active JP6572411B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014228994A JP6572411B2 (ja) 2014-11-11 2014-11-11 レール検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014228994A JP6572411B2 (ja) 2014-11-11 2014-11-11 レール検出装置

Publications (2)

Publication Number Publication Date
JP2016091506A JP2016091506A (ja) 2016-05-23
JP6572411B2 true JP6572411B2 (ja) 2019-09-11

Family

ID=56016281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014228994A Active JP6572411B2 (ja) 2014-11-11 2014-11-11 レール検出装置

Country Status (1)

Country Link
JP (1) JP6572411B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6855712B2 (ja) * 2016-09-05 2021-04-07 株式会社明電舎 分岐器進入可否判定装置及び分岐器進入可否判定方法
JP6903477B2 (ja) 2017-04-21 2021-07-14 株式会社東芝 軌道識別装置、およびプログラム
JP6776213B2 (ja) * 2017-11-01 2020-10-28 株式会社東芝 軌道識別装置
JP2019209734A (ja) * 2018-05-31 2019-12-12 株式会社東芝 軌道識別装置
JP7127607B2 (ja) * 2019-04-26 2022-08-30 株式会社明電舎 レール曲率推定装置
JP7316107B2 (ja) * 2019-06-19 2023-07-27 日本信号株式会社 監視装置
CN114084201B (zh) * 2021-12-28 2024-03-08 武汉烽理光电技术有限公司 基于光栅阵列的列车位置速度确定方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3625460B2 (ja) * 2002-09-27 2005-03-02 三菱電機株式会社 車載用走行車線認識装置
JP5516561B2 (ja) * 2011-12-08 2014-06-11 株式会社デンソーアイティーラボラトリ 車両用運転支援装置

Also Published As

Publication number Publication date
JP2016091506A (ja) 2016-05-23

Similar Documents

Publication Publication Date Title
JP6572411B2 (ja) レール検出装置
Pan et al. Robust occlusion handling in object tracking
KR101283262B1 (ko) 영상 처리 방법 및 장치
TWI520078B (zh) Optical flow tracking method and device
JP5421192B2 (ja) ひび割れ検出方法
EP3016076A1 (en) Method and apparatus for removing outliers from a main view of a scene during 3D scene reconstruction
US20120320162A1 (en) Video object localization method using multiple cameras
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
KR101885839B1 (ko) 객체추적을 위한 특징점 선별 장치 및 방법
JP5812705B2 (ja) ひび割れ検出方法
JP6642570B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP6346868B2 (ja) ステレオ画像処理方法およびその装置
KR101896307B1 (ko) 깊이 영상을 처리하는 방법 및 장치
JP6165513B2 (ja) ハンドジェスチャトラッキングシステム
JP2009223504A (ja) 車両検出装置および方法、並びに、プログラム
KR100994722B1 (ko) 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법
JP2013080389A (ja) 消失点推定方法、消失点推定装置及びコンピュータプログラム
JP4459162B2 (ja) 速度計測装置、方法及びプログラム
EP3127087B1 (en) Motion field estimation
KR101121777B1 (ko) 차선 감지 방법
WO2013152625A1 (zh) 用于去除附着噪声的方法和系统
KR20140045834A (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
EP4174770B1 (en) Monocular-vision-based detection of moving objects
JP6346869B2 (ja) ステレオ画像処理方法およびその装置
JP5773935B2 (ja) シーンにおけるオブジェクトを分類する方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190521

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190603

R150 Certificate of patent or registration of utility model

Ref document number: 6572411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150