JP4851364B2 - 列車前方鉄道信号・標識認識装置 - Google Patents

Description

本発明は、レールの近傍に設置された臨時信号機、速度制限標識、徐行予告信号機などの鉄道信号・標識を走行中の列車に搭載されたビデオカメラで撮影し、パターンマッチングによって鉄道信号・標識を認識する列車前方鉄道信号・標識認識装置に関する。

レールに臨時に工事などが発生すると、列車はその工事区間を徐行しなければならない。そこで、図２に示す如く、当該工事区間の始端のレール１の近傍には徐行信号機４を且つ終端のレールの近傍には徐行解除信号機５を設置して、列車Ｔの乗務員に工事区間の存在を報知する。ところで、徐行区間の始端のレールの近傍に設置されている徐行信号機４を乗務員が運転台から見つけることは極めて困難であるため、通常は工事区間の始端を予告する徐行予告信号機３を工事区間の始端から列車進入方向に所定距離離れた地点のレールの近傍に設置している。この徐行予告信号機３を列車に搭載された列車前方鉄道信号・標識認識装置が自動的に検知し、音声や画像表示などで警告を出し、乗務員に徐行を促すようになっている。

従来、いくつもの列車前方鉄道信号・標識認識装置が開発されているが、その一つに列車に搭載されたビデオカメラで撮影した列車前方画像からパターンマッチングによって鉄道信号・標識を認識する列車前方標識認識装置がある。前記パターンマッチングはテンプレートと呼ばれる参照画像を列車前方標識認識装置に予め登録しておき、列車に搭載されたビデオカメラで撮影した列車前方画像から前記参照画像とマッチングした対象物である鉄道信号・標識を探索する技術である。

対象物である鉄道信号・標識の画像の大きさが不明な場合には、参照画像の大きさ（スケール）を可変にし、変更したスケールの参照画像毎に鉄道信号・標識を探索する必要がある。そのため、実際に鉄道信号・標識を探索するためにはスケールの数に探索領域の数を乗じた数だけ探索しなければならないから、探索のための信号処理には膨大な計算量が必要となり、パターンパッチングに時間がかかる。ビデオ画像のフレームレートは通常は３０フレームであるから、全探索方式のパターンマッチングを行う従来の列車前方標識認識装置では、リアルタイムのパターンマッチングを行って鉄道信号・標識を認識することは不可能であった。

ところで、鉄道信号・標識ではないが、道路標識をパターンマッチングにより認識する装置は公知である。例えば特開２００３−１２３１９７号公報（特許文献１）には、カメラで撮影した任意の画像を選択して１枚のフレーム画像を得る画像処理基本部と、前記１枚のフレーム画像の一部の所定領域の画像から所定の画像を抽出処理する画像処理部と、複数枚のフレーム画像の前記画像処理部のデータを用いて前記抽出処理した画像に関する複合データを得る画像データ識別部と、撮影画像から認識すべき特定画像のデータとその画像データに関する情報を蓄積したデータベースと、前記画像データ識別部で得た抽出処理画像のデータと前記データベースの特定画像のデータとを比較し一致した特定画像に関する情報を出力する画像認識部とからなる道路標識等認識装置が開示されている。

また、特開２００６−３９９４号公報（特許文献２）には、自車前方を撮影する撮影手段と、撮影した画像を撮影対象までの距離を示す距離画像に変換する変換手段と、撮影した画像から道路標識部分を認識する手段と、複数の道路標識のデータを有するテンプレートデータと、画像の道路標識部分とテンプレートとのマッチングを行い道路標識を認識するマッチング手段とを備える道路標識認識装置において、自車と道路標識との距離により段階的に認識処理を行うことを特徴とする道路標識認識装置が開示されている。

上述の特許文献に開示されている道路標識認識装置はいずれもパターンマッチングの処理速度を上げるものであるが、リアルタイムのパターンマッチングを行って鉄道信号・標識を認識する列車前方鉄道信号・標識認識装置に応用するための実用的な処理速度のレベルには未だ到達していない。

ところで特開２００４−４２７３７号公報（特許文献３）には、周知の直線要素抽出技法を用いて画面平面において鉄道レールを有効に認識し、これによって監視領域内に踏切領域を自動的に設定できるようにしたステレオカメラを用いた踏切監視システムが記載されている。そして、代表的な直線要素抽出技法としてＨｏｕｇｈ変換（ハフ変換）が詳細に記述されている。
特開２００３−１２３１９７号公報 特開２００６−３９９４号公報 特開２００４−４２７３７号公報（以上）

本発明が解決しようとする課題は、パターンマッチングを行って列車前方のレールの近傍に設置されている鉄道信号・標識を認識する列車前方鉄道信号・標識認識装置において、列車前方の撮影画面の全領域の中からパターンマッチングのための探索エリアを確実に絞り込むことである。

上記課題を解決するために、列車前方の撮影画面の１フレームの画面である検索画面の中にパターンマッチングのための探索エリアを確実に絞り込むために、レール幅、建植ゲージ、建築限界などの鉄道固有の情報を利用した。

即ち、ビデオカメラと鉄道信号・標識認識装置を備え、パターンマッチングを行って列車前方のレールの近傍に設置されている鉄道信号・標識を認識する列車前方鉄道信号・標識認識装置において、列車前方の撮影画像データから取得した１フレームの画面の中にレールを抽出する手段と、段階的に変更したテンプレート画像のスケールに対応した大きさの探索エリアを特定する探索エリア特定手段と、探索エリア毎にパターンマッチングを行う手段と、最高のスコアを出したパターンマッチングに対応した探索エリアを決定し鉄道信号・標識を認識する手段とで構成したことを特徴とする。

本発明により、列車前方のレールの近傍に設置されている鉄道信号・標識をパターンマッチングによりリアルタイムで認識することができる列車前方鉄道信号・標識認識装置が提供された。従って、本発明により、列車情報を用いない臨時信号機や速度制限標識などのリアルタイムの認識システムの構築が可能となった。

本発明を実施する最良の形態の列車前方鉄道信号・標識認識装置、即ちパターンマッチングを行って列車前方のレールの近傍に設置されている鉄道信号・標識を認識する列車前方鉄道信号・標識認識装置は、ビデオカメラと鉄道信号・標識認識装置で構成されている。そして、前記鉄道信号・標識認識装置は、列車前方の撮影画像データから取得した１フレームの画面の中に直線抽出手法を用いてレールを抽出し、参照画像であるテンプレート画像のスケールに対応したレール幅を探索して求め、前記レール幅に対応した建築限界を求め、前記建築限界からの鉄道信号・標識の相対的な建植位置を特定し、前記建植位置に前記テンプレート画像に見合った探索エリアを設定し、この探索エリアについて前記テンプレート画像のパターンマッチングを行ってパターンマッチング結果をデータメモリに記憶させた。パターンマッチングは、テンプレート画像のスケールを段階的に変更し、変更したテンプレート画像に見合った探索エリアを設定しながら実行する。最後に、前記鉄道信号・標識認識装置は記憶させたパターンマッチング結果から最高のスコアのパターンマッチングを決定し、当該パターンマッチングに対応した探索エリアに鉄道信号・標識が存在すると判断する。

本発明の実施例の列車前方鉄道信号・標識認識装置は、図２に示す如く、工事区間の始端のレール１の近傍に徐行信号機４が且つ終端のレール１の近傍に徐行解除信号機５が設置され、更に徐行予告信号機３が工事区間の始端から列車進入方向に所定距離離れた地点のレール１の近傍に設置されているレール１を走行する列車Ｔに搭載され、ビデオカメラで列車前方のシーンを撮像した撮像画面を画像処理して徐行予告信号機３を認識するものである。なお、図２において、Ｌは前記ビデオカメラから徐行予告標識３までの距離、Ｌｘは列車前方鉄道信号・標識認識装置が鉄道信号・標識を認識できる仮想的な限界距離を示す。

即ち、本発明の実施例の列車前方鉄道信号・標識認識装置は、図１に示す如く、ビデオカメラ１１が撮像した列車前方のシーンの撮像画像をＡ／Ｄ変換部１２でアナログ・デジタル変換し画像データ蓄積部１３に蓄積する手段を備える。本発明の実施例の列車前方鉄道信号・標識認識装置は、更に、画像データ蓄積部１３に蓄積された画像データの中から１フレームの検索画像データを取得し、この検索画像データを画像処理し、認識対象である徐行予告信号機３を認識する鉄道信号・標識認識装置１０を備える。

鉄道信号・標識認識装置１０は、プログラムに従って演算制御を行う制御部１４、パターンマッチングの参照画像となるテンプレート画像データなどを入力する入力部１５、演算制御のための各種の設定を行う設定部１６、演算制御プログラムが格納されたプログラム記憶部１７、テンプレート画像データが記憶されるテンプレート記憶部１８、演算制御のための各種プログラムが記憶されるプログラム記憶部１９、液晶表示パネルの如き表示部２０、及びスピーカーの如き報知部２１とで構成されている。

以下、本発明の実施例の列車前方鉄道信号・標識認識装置の動作を、図３に示すフローチャートに従って詳細に説明する。

（テンプレート画像の登録）
テンプレート画像は認識すべき鉄道信号・標識をパターン化した画像であって、鉄道信号・標識認識装置１０のテンプレート記憶部１８に予め登録されている。前記登録は、例えば認識すべき鉄道信号・標識のパターンをＣＡＤで作図し、入力部１５からデジタルデータとして鉄道信号・標識認識装置１０に入力することによって行われる。なお、テンプレートのスケールは、格納されているプログラムの従って段階的に変更される。

（列車前方の撮影画像の取得）
先ず、鉄道信号・標識認識装置１０は、ビデオカメラ１１で列車前方の監視エリアを撮影し、撮影画像データを画像データ蓄積部１３に記憶する（１０１）。図４は、レール１以外の被写体を除外して模式的に示した検索画面、即ち、列車前方の撮影画像データから取得した１フレームの画面を示す。

（直線抽出手法によるレールを抽出）
続いて、鉄道信号・標識認識装置１０は、列車前方の撮影画像データから取得した１フレームの画面（検索画面）の中に、Ｈｏｕｇｈ変換（ハフ変換）などの直線要素抽出技法を利用してレール２を抽出し、直線抽出したレール２の画像データをデータ記憶部１９に記憶する（１０２）。 直線抽出したレール２の画像データには、検索画面上の座標位置（ｘ，ｙ）で特定されるレール位置とレール幅のデータが含まれている。図５は、レール１以外の被写体を除外して模式的に示した図４の検索画面上に、直線抽出したレール２を追加して示した画面である。

（初期値スケールのテンプレートの選択）
続いて、鉄道信号・標識認識装置１０は、テンプレートのスケールを初期値スケールと決定し、テンプレート記憶部１８からパターンマッチング処理の参照画像となるテンプレート画像を読み出し、そのスケールを初期値に設定する（１０３）。初期値スケールは、例えば、検索画面上で列車前方の最も遠方に列車から目視で認識できる鉄道信号・標識の大きさに対応したものである。換言すれば、図２において、Ｌｘは列車前方鉄道信号・標識認識装置が鉄道信号・標識を認識できる仮想的な限界距離Ｌｘに近い距離に存在する鉄道信号・標識の検索画面上の大きさであり、最適の初期値スケールは実験によって定められるものである。

（スケールに対応したレール幅の検索）
続いて、鉄道信号・標識認識装置１０は、テンプレートの初期値スケールに対応したレール幅を検索し、検索によって見つけたレール幅のレール位置（初期値レール位置）を特定する（１０４）。レール幅は標準軌で１４３５ｍｍ、狭軌では１０６７ｍｍ等と一定である。また、臨時信号機などの鉄道信号・標識もその形状とサイズは規定されて一定である。従って、レール幅と認識すべき鉄道信号・標識のサイズの比は一定である。換言すれば、検索画面上でレール幅と認識すべき鉄道信号・標識のスケールを表す値との比は一定である。この事実を利用して、鉄道信号・標識認識装置１０は初期値スケールのテンプレート画像データをテンプレート記憶部１８から読み出し、初期値スケールのテンプレート画像に対応したレール幅を検索する。そして、鉄道信号・標識認識装置１０は検索して見つけた初期値レール位置を、検索画面上の座標位置（ｘ，ｙ）で特定する。

（レール幅に対応した建築限界の算出）
続いて鉄道信号・標識認識装置１０は、検索画面上で初期値レール位置のレール幅に適したサイズの初期値建築限界を算出する（１０５）。建築限界は鉄道車両が安全に走行するための軌道上に確保された空間の限界であり、レール幅に基づいて予め規定されている。従って、検索画面上でレール幅が特定されれば、それに見合った検索画面上の建築限界は簡単に算出される。即ち、図６に示す如く検索画面上において列車側に近いレール位置のレール幅がＡｎであれば、このレール位置における建築限界はＢｎである。また、図７に示す如く検索画面上において列車側からかなり離れたレール位置のレール幅がＡ１であれば、このレール位置における建築限界はＢ１である。レール幅Ａ１が、初期値スケールのテンプレート画像に対応したレール幅であれば、これによって初期値レール位置が決定される。

（建築限界からの鉄道信号・標識の相対的な建植位置の決定）
続いて鉄道信号・標識認識装置１０は、ステップ１０５で決定した検索画面上でレール位置の近傍に存在する鉄道信号・標識の建植位置を算出して決定する（１０６）。建植位置は建植ケージに基づいて算出される。建植ゲージはレール中心から電柱内部までのまでの距離であって、その寸法は建築限界によって１９００ｍｍ以上と定められている。図７に示す如く、初期値レール位置のレール幅Ａ１に対応する建植ゲージはＣ１であって、この初期値レール位置における建植位置はＰ１とＱ１である。また、図６に示す如く検索画面上において列車側に近いレール位置のレール幅がＡｎであれば、このレール位置における建植ゲージはＣｎであって、建植位置はＰｎとＱｎである。

（探索エリアの決定）
続いて鉄道信号・標識認識装置１０は、建植位置に対応した探索エリアを決定する（１０７）。即ち、図７に示す如く、レール幅Ａ１の初期値レール位置においては、建植位置Ｐ１とＱ１に探索エリアＷ１がそれぞれ決定される。そして、初期値探索エリアＷ１は初期値スケールのテンプレート画像が過不足なくカバーされるサイズのエリアであって、ここでは横幅Ｄ１で縦幅Ｅ１の矩形のエリアである。また、図６に示す如く検索画面上において列車側に近いレール幅Ａｎのレール位置においては、建植位置ＰｎとＱｎに探索エリアＷｎがそれぞれ決定される。そして、探索エリアＷｎはレール幅Ａｎに対応するスケール画像が過不足なくカバーされるサイズのエリアであって、ここでは横幅Ｄｎで縦幅Ｅｎの矩形のエリアである。

（パターンマッチングの実行）
続いて鉄道信号・標識認識装置１０は、初期値探索エリアＷ１についてパターンマッチングを実行し、パターンマッチングのスコアをデータメモリに記憶する（１０８）。このステップにおけるパターンマッチングは特別なものではなく、周知のパターンマッチングである。

（スケールが終了条件まで達したか否かの判定）
ステップ１０８に続いて、鉄道信号・標識認識装置１０はパターンマッチングがテンプレートの全てのスケールについて終了したか否かを判定する（１０９）。

（変更したスケールに対応した探索エリアの決定とパターンマッチング）
ステップ１０９でＮＯと判定されたときには、鉄道信号・標識認識装置１０は、テンプレートのスケールを段階的に変更して（１１０）、ステップ１０４に戻り、変更したスケールに対応したレール幅の検索を行う。続いて、鉄道信号・標識認識装置１０は、レール幅に対応した建築限界の算出（１０５）、建築限界からの鉄道信号・標識の相対的な建植位置の決定（１０６）、探索エリアの決定（１０７）、パターンマッチングの実行とパターンマッチングのスコアのデータメモリへの記憶（１０８）を順に実行する。

テンプレートのスケールは、例えば、初期値を０．５、最終値を１．２と設定する。そして、パターンンマッチングのためのテンプレートのスケールの変更は、初期値と最終値の間を０．１間隔で段階的に行う。従って、初期値スケールのテンプレートのパターンマッチングが終了した後のステップ１０９の判定はＮＯであるから、ステップ１１０においてテンプレートのスケールは０．６となる。スケール０．６のテンプレートのパターンマッチングが終了した後のステップ１０９の判定はＮＯであるから、ステップ１１０においてテンプレートのスケールは０．７となる。以下同様にして、スケールを０．７から１．２まで変更し、それぞれのスケールのテンプレートのパターンマッチングを行う。スケール１．２のテンプレートのパターンマッチングが終了した後のステップ１０９の判定はＹＥＳであるから、処理の流れはステップ１１１に移行する。

（最高スコアのパターンマッチングの選定）
ステップ１１１において、鉄道信号・標識認識装置１０はデータ記憶部１９に記憶されているパターンマッチングのスコアを検索し、最高スコアのパターンマッチングを選定する。データ記憶部１９には、初期値を０．５、最終値を１．２と設定し、初期値と最終値の間を０．１間隔で段階的にスケールを変更してパターンマッチングを行った上述の実施例においては、８回のパターンマッチングのスコアが記憶されている。鉄道信号・標識認識装置１０は、これら８回のパターンマッチングの中から最高スコアのパターンマッチングを選定するのである。

（最高スコアのパターンマッチングの選定）
ステップ１１１に続いて、鉄道信号・標識認識装置１０は最高スコアのパターンマッチングから、当該パターンマッチングに対応したテンプレートのスケールを特定する。そして、鉄道信号・標識認識装置１０は特定したスケールに対応する検索エリアを特定する。即ち、鉄道信号・標識認識装置１０は特定したスケールに対応する検索エリアと特定するレール位置とカメラからの俯角を特定する。そして、鉄道信号・標識認識装置１０は、これら特定したレール位置、カメラからの俯角、テンプレートのスケール、及びパターンマッチングのスコアを出力する（１１２）。

（標識認識結果の報知）
最後に、鉄道信号・標識認識装置１０は、ステップ１１２で出力したレール位置、カメラからの俯角、テンプレートのスケール、及びパターンマッチングのスコアを表示部２０に画面表示し、或いは列車前方のどの位置に鉄道信号・標識が検出されたかを報知部２１で音声報知する。

上述の通り、それぞれのスケールのテンプレートのパターンマッチングを行う検索画面上の検索エリアは、スケールに対応したレール幅のレール位置の近傍に規定されるスケールに対応したサイズのエリアであるから、１フレームの検索画面に比べると非常に狭くなっている。しかも、初期値を０．５、最終値を１．２と設定し、初期値と最終値の間を０．１間隔で段階的にスケールの変更を行う場合、１フレームの検索画面においてはテンプレートのパターンマッチングは８回である。それ故、１フレームの検索画面全体を検索エリアとする従来の列車前方鉄道信号・標識認識装置におけるパターンマッチングと比べて、本発明に係る列車前方鉄道信号・標識認識装置におけるパターンマッチングはパターンマッチングの対象である検索エリアは狭く、しかもパターンマッチングの回数は格段に少なくなった。従って、列車前方鉄道信号・標識認識装置の画像処理量は従来に比較して非常に少なくなり、リアルタイムのパターンマッチングが可能になった。

本発明の列車前方鉄道信号・標識認識装置を搭載して列車と線路前方に設置された鉄道信号・標識との位置関係を示す図である。 本発明の実施例の列車前方鉄道信号・標識認識装置のブロック構成図である。 本発明の実施例の列車前方鉄道信号・標識認識装置の処理の流れを示すフローチャートである。 レール以外の被写体を除外して模式的に示した検索画面である。 直線抽出されたレールが示された検索画面である。 検索画面上において、列車側に近いレール位置と探索エリアとの関係を示す図である。 検索画面上において、テンプレートのスケールを初期値に設定したときのレール位置と探索エリアとの関係を示す図である。

符号の説明

１ レール
２ 直線抽出されたレール
３ 徐行予告信号機
４ 徐行信号機
５ 徐行解除信号機
１０ 鉄道信号・標識認識装置
１１ ビデオカメラ
１２ Ａ／Ｄ変換部
１３ 画像データ蓄積部
１４ 制御部
１５ 入力部
１６ 設定部
１７ プログラム記憶部
１８ テンプレート記憶部
１９ データ記憶部
２０ 表示部
２１ 報知部

Claims (3)

1. ビデオカメラと鉄道信号・標識認識装置とを備え、パターンマッチングを行って列車前方のレールの近傍に設置されている鉄道信号・標識を認識する列車前方鉄道信号・標識認識装置において、列車前方の撮影画像データから取得した１フレームの画面である検索画面の中にレールを抽出する手段と、段階的に変更したテンプレート画像のスケールに対応した探索エリアを鉄道固有の情報であるレール幅、建築限界及び建植ゲージを利用して前記検索画面上のレールの近傍に特定する探索エリア特定手段と、探索エリア毎にパターンマッチングを行う手段と、最高のスコアを出したパターンマッチングに対応した探索エリアを決定し鉄道信号・標識を認識する手段とで構成したことを特徴とする列車前方鉄道信号・標識認識装置。
2. 前記探索エリア特定手段は、テンプレート画像のスケールに対応したレール幅を探索して求める手段、前記レール幅に対応した建築限界を求める手段、及び前記建築限界からの鉄道信号・標識の相対的な建植位置を特定する手段で構成されていることを特徴とする請求項１に記載の列車前方鉄道信号・標識認識装置。
3. 前記テンプレート画像のスケールの段階的変更は、初期値から最終値まで複数段階に亘ってなされるものであることを特徴とする請求項１に記載の列車前方鉄道信号・標識認識装置。

Images