JP7734836B2 - 信号認識装置、信号認識方法およびプログラム - Google Patents

Description

本発明は、信号認識装置、信号認識方法、プログラムに関する。本発明は、特に、鉄道用の信号を認識するのに適した信号認識装置等に関する。

例えば、鉄道等の輸送事業において、コスト低減およびサービス向上の手段として、車両のドライバレス運行が注目されている。鉄道等の事業者にとって運転士の人件費や育成にかかるコストは大きく、ドライバレス化による運転士コスト低減への鉄道事業者の期待は高い。また、サービス面では運転士の割当制約がなくなるため、運行の自由度が向上するとともに高頻度な運行による利用者の利便性の向上も期待できる。
鉄道において、ドライバレス運行は、踏切などがない、地下鉄や高架を走行する路線においては既に実現している。しかし、踏切などが存在する路線や作業員が存在する車両基地内の路線など、人が立ち入る可能性がある路線における実用例はない。そしてこのような路線で、ドライバレス運行を実現するためには、運転士に対して停止や速度制限などの指示を出していた信号機を検出し、現示を認識する手段が必要である。そのため、カメラにより撮影された画像を基に、画像処理によって信号機を検出し、現示を認識することが考えられている。画像処理によって物体を認識、検出する技術としては、一般物体認識技術がある。画像処理による物体認識では画像に物体の形状が明確に映っているほど認識しやすい。

特許文献１では、自動検出装置について記載されている。自動検出装置は、道路画像と撮影時の車両位置データと撮影時の車両姿勢データとを取得し、情報データベースから、車両位置データと車両姿勢データとに基づいて、撮影時に車両の進行方向に位置していた交通安全施設である対象施設の情報データを取得する。自動検出装置は、車両位置データと車両姿勢データと対象施設の情報データに含まれる位置データと対象施設の情報データに含まれるサイズデータとに基づいて、道路画像から、対象施設が映る範囲を限定範囲として抽出する。自動検出装置は、限定範囲を対象施設の情報データに含まれる特徴データと照合することによって、対象施設を検出する。
特許文献２では、交通信号認識方法について記載されている。この交通信号認識方法では、車両のカメラによって撮影画像を取得し、複数の信号機の中から、車両に対向する認識対象信号機を検索し、地図情報、車両の状態およびカメラの状態に基づいて、撮影画像の中から、認識対象信号機を含む領域をＲＯＩとして算出し、ＲＯＩ内の各位置における認識対象信号機の存在確率を示す事前確率分布を算出し、ＲＯＩの画像のコントラストを、事前確率分布にしたがって更新することによって、コントラスト更新画像を生成し、コントラスト更新画像から特徴点を抽出することによって、ＲＯＩ内における認識対象信号機の点灯部分の領域を点灯領域として特定し、特定された点灯領域の色に基づいて、認識対象信号機の点灯色を認識する。

特開２０２１－７６８８４号公報 特開２０１８－６３５８０号公報

車両の減速や停止を安全に行うためには早いタイミングでの制動が必要であり、そのためには遠距離にある信号機を検出、認識できることが望ましい。また、明所のみならず、夜間やトンネル内などの暗所においても検出、認識できることが望ましい。
しかしながら、暗所における信号機は物体の形状が明確に映らないため認識が困難である。一方、信号機のライトは発光体であるため、夜間でも位置の認識は可能であるが大きさを認識することは困難である。また、信号機のライトと信号機以外の発光体とを区別するための仕組みが必要である。
本発明は、明所のみならず暗所においても信号機の現示を読み取ることができる信号認識装置、信号認識方法およびプログラムを提供することを目的とする。

上記の課題を解決するため本発明は、移動体に配された撮影装置により撮影された画像を取得する画像取得部と、取得した画像の中から発光体を検出する発光体検出部と、撮影装置の位置を推定する位置推定部と、推定された撮影装置の位置を基に、検出された発光体の中から信号機のライトを特定する特定部と、特定されたライトから信号機の現示を読み取る読取部と、を備える信号認識装置を提供するものである。

また、本発明は、移動体に配された撮影装置により撮影された画像を取得し、取得した画像の中から発光体を検出し、撮影装置の位置を推定し、推定された撮影装置の位置を基に、検出された発光体の中から信号機のライトを特定し、特定されたライトから信号機の現示を読み取る、信号認識方法を提供するものである。

さらに、本発明は、コンピュータに、移動体に配された撮影装置により撮影された画像を取得する画像取得機能と、取得した画像の中から発光体を検出する発光体検出機能と、撮影装置の位置を推定する位置推定機能と、推定された撮影装置の位置を基に、検出された発光体の中から信号機のライトを特定する特定機能と、特定されたライトから信号機の現示を読み取る読取機能と、を実現させるためのプログラムを提供するものである。

請求項１に記載の発明によれば、明所のみならず暗所においても信号機の現示を読み取ることができる信号認識装置を提供することができる。
請求項２に記載の発明によれば、複数のライトにより信号を現示する信号機であっても１つの信号機のものであると特定できる。
請求項３～５に記載の発明によれば、複数のライトが１つの信号機のものであることを、より容易に特定できる。
請求項６に記載の発明によれば、撮影装置と信号機との距離を利用しなくても、複数のライトが１つの信号機のものであることを特定できる。
請求項７に記載の発明によれば、撮影された発光体の中から信号機のライトを特定できる。
請求項８、９に記載の発明によれば、撮影装置や信号機の位置や方位の計測誤差が生じても、信号機を、より正確に特定できる。
請求項１０、１１に記載の発明によれば、信号機のライトをさらに正確に特定できる。
請求項１２に記載の発明によれば、１つの信号機で複数のランプが点灯または点滅しても信号機の現示を読み取ることができる。
請求項１３に記載の発明によれば、信号機の現示の読み取りが、より容易になる。
請求項１４に記載の発明によれば、明所のみならず暗所においても信号機の現示を読み取ることができる信号認識方法を提供することができる。
請求項１５に記載の発明によれば、明所のみならず暗所においても信号機の現示を読み取ることができる信号認識装置を提供することができる機能をコンピュータにより実現できる。

本実施の形態の信号機検出システムのハードウェア構成について示した図である。 本実施の形態の信号機検出システムの機能構成について示したブロック図である。 信号機判定部の機能構成を示したブロック図である。 信号機検出システムの動作について説明したフローチャートである。 図４のステップＳ４０９で行う処理の具体的な例について、示した図である。 （ａ）～（ｂ）は、ステップＳ４１２で行う処理の具体的な例について、示した図である。 信号現示認識部が、信号機の現示を認識するフローを示した図である。 （ａ）は、ライトの水平パターンについて示した図である。（ｂ）は、ライトの垂直パターンについて示した図である。 （ａ）～（ｆ）は、ライトの点灯パターンの例を示した図である。

以下、添付図面を参照し、本発明の実施の形態について詳細に説明する。
ここでは、鉄道の車両に取り付けられ、前方を監視するカメラによって撮影された画像を受け取り、自列車が読み取るべき信号機を検出して、信号機の現示を認識する信号機検出システム１を例に取り説明する。

＜信号機検出システム１の全体説明＞
図１は、本実施の形態の信号機検出システム１のハードウェア構成について示した図である。
図示する信号機検出システム１は、信号機の現示を認識する信号認識装置の一例である。信号機検出システム１は、プログラムの実行を通じて各部を制御するプロセッサ１１と、画像その他の情報を出力する出力部１２と、文字などを入力する入力部１３と、画像を撮影するカメラ１４と、外部装置との通信に用いられる通信モジュール１５と、システムデータや内部データが記憶される内部メモリ１６と、補助記憶装置としての外部メモリ１７等を有している。

プロセッサ１１は、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等のプログラムを実行する。プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）である。
本実施の形態の場合、内部メモリ１６は、半導体メモリである。内部メモリ１６は、ＢＩＯＳ（Basic Input Output System）等が記憶されたＲＯＭ（Read Only Memory）と、主記憶装置として用いられるＲＡＭ（Random Access Memory）とを有している。プロセッサ１１と内部メモリ１６はコンピュータを構成する。プロセッサ１１は、ＲＡＭをプログラムの作業スペースとして使用する。また、外部メモリ１７は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のストレージであり、ファームウェアやアプリケーションソフトウェア等が記憶される。

出力部１２は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescent）ディスプレイ等の出力デバイスである。この場合、出力部１２には、画像その他の情報が表示される。また、出力部１２は、スピーカなどであり、音声や通知音等の音を出力する装置としてもよい。

入力部１３は、ユーザが文字等を入力する際に使用する入力デバイスであり、例えば、キーボードである。また、入力部１３は、出力部１２に表示されるカーソルの移動や画面のスクロールなどの際に用いられる入力デバイスであり、例えば、タッチパッドである。なお、タッチパッドの代わりにマウス、トラックボール等であってもよい。また、入力部１３は、ボタンやレバーなどの装置であってもよい。
カメラ１４は、撮影装置の一例であり、動画または静止画を撮影する。この場合、カメラ１４は、車両の運転席等に設けられ、車両の進行方向前方の風景を撮影する。カメラ１４は、撮影の対象物からの光を収束する光学系と、光学系により収束された光を検出するイメージセンサとを備える。光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。例えば、２つの半球レンズを使用し、その球面側を向かい合わせに組み合わせたツインレンズが用いられる。イメージセンサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を配列して構成される。
通信モジュール１５は、外部との通信を行うための通信インタフェースである。

図２は、本実施の形態の信号機検出システム１の機能構成について示したブロック図である。
図示する信号機検出システム１は、画像取得部１０１と、発光体検出部１０２と、自己位置推定部１０３と、信号位置取得部１０４と、発光体追跡部１０５と、信号情報取得部１０６と、軌道検出部１０７と、信号機判定部１０８と、信号現示認識部１０９と、結果出力部１１０とを備える。

画像取得部１０１は、車両に配されたカメラ１４により撮影された画像を取得する。
発光体検出部１０２は、画像取得部１０１が取得した画像の中から発光体を検出する。発光体の検出は、画像処理による物体検出技術や、画像内で明度が高い画素を抽出する方法などで検出できる。
自己位置推定部１０３は、位置推定部の一例であり、カメラ１４の位置を推定する。ここで、「位置」は、地球上でのカメラ１４の位置である。なお、この位置は、必ずしも地球の地表上である必要はなく、地表の近傍であればよい。即ち、高架上、橋脚上、トンネル内、地下等での位置も入る。具体的には、自己位置推定部１０３は、ＧＰＳ（Global Positioning System）やトリップメータなどから、カメラ１４の地図上での位置座標を取得し、この位置を推定する。

信号位置取得部１０４は、地図情報ＤＢ（データベース）に問い合わせるなどして、次に読み取るべき信号機の位置座標を取得する。地図としては、例えば、高精度３次元地図データ(ＨＤマップ)を使用することができる。
発光体追跡部１０５は、発光体検出部１０２で検出された発光体の画像内での位置を画像フレーム毎に記憶し、連続する複数フレームに亘り発光体を追跡する。そして、その移動軌跡を記録する。
信号情報取得部１０６は、地図情報ＤＢに問い合わせるなどして、読み取るべき信号機の形状と、取り得る現示パターンの情報を取得する。つまり、地図情報ＤＢに各信号機の点灯パターンを保持させ、信号情報取得部１０６は、これを取得する。「点灯パターン」とは、信号のライトの色や点滅の有無、点滅周期、複数のライトが点灯する場合はその間隔や配置など、ライトの見え方に関する情報である。なお、列車が走行する線区における運行情報を基に、取り得る現示パターンを取得または推定してもよい。

軌道検出部１０７は、画像内の軌道を画像処理によって検出する。
信号機判定部１０８は、発光体検出部１０２で検出された発光体のうち、読み取るべき信号機に属する発光体（ライト）はどれであるかを判定する。このとき、信号機判定部１０８は、自己位置推定部１０３～軌道検出部１０７によって取得された情報として、少なくとも推定されたカメラ１４の位置を用いる。信号機判定部１０８は、推定されたカメラ１４の位置を基に、検出された発光体の中から信号機のライトを特定する特定部として機能する。なおこの際、信号機判定部１０８は、カメラ１４のカメラパラメータを利用することができる。カメラパラメータとしては、世界座標をカメラ座標に変換する外部パラメータや、カメラ座標を画像座標に変換する内部パラメータが挙げられる。
信号現示認識部１０９は、信号機判定部１０８で判定された発光体（ライト）の色、配置、点滅状態などのパターンと、信号情報取得部１０６で取得された信号機の取りうる現示パーンとを比較し、パターンが合致するものをその信号の現示と認識する。信号現示認識部１０９は、特定されたライトから信号機の現示を読み取る読取部として機能する。
結果出力部１１０は、信号現示認識部１０９が認識した信号の現示の結果である現示認識結果を出力する。

次に、信号機判定部１０８の詳細について説明する。
図３は、信号機判定部１０８の機能構成を示したブロック図である。
信号機判定部１０８は、自己位置取得部２０１と、信号位置取得部２０２と、信号情報記憶部２０３と、画像内信号ライト移動軌跡推定部２０４と、画像内信号ライト間隔推定部２０５と、信号ライト点滅周波数推定部２０６と、発光体追跡結果記憶部２０７と、信号ライト周波数計測部２０８と、信号ライト・発光体照合部２０９と、を備える。

自己位置取得部２０１は、自己位置推定部１０３から、時々刻々変化する位置座標（経度、緯度、高度）を取得し、カメラ１４で撮影された画像の一定のフレーム数分記憶する。
信号位置取得部２０２は、信号位置取得部１０４から画像内に出現する可能性のある信号機の位置座標（緯度、経度、高度）を取得し記憶する。
信号情報記憶部２０３は、信号位置取得部２０２で記憶する信号機それぞれについて、信号機の形状と取り得る現示パターンの情報を、信号情報取得部１０６から取得し記憶する。

画像内信号ライト移動軌跡推定部２０４は、自己位置取得部２０１に記憶されている一定フレーム分の自己位置座標、および信号位置取得部２０２に記憶されている信号機の位置座標に基づき、画像内の信号機のライトの、一定のフレーム数分の移動軌跡を推定する。
画像内信号ライト間隔推定部２０５は、自己位置取得部２０１に記憶されている一定フレーム分の自己位置座標、信号位置取得部２０２に記憶されている信号機の位置座標、および信号情報記憶部２０３に記憶されている信号情報に基づき、１つの信号機が２つ以上のライトを点灯させる場合の、画像内でのライト同士の間隔を推定する。
信号ライト点滅周波数推定部２０６は、信号情報記憶部２０３で取得された信号情報に基づき、ライトの点滅の周波数成分を推定する。このとき、周波数成分を推定するために用いられる信号情報としては、信号現示においてライトが点滅する周期や信号ライトがＬＥＤ（Light-Emitting Diode）であった場合のフリッカー周波数などが考えられる。

発光体追跡結果記憶部２０７は、発光体追跡部１０５によって記録された画像内のすべての発光体のそれぞれについて、一定フレーム数分の移動軌跡を取得し記憶する。
信号ライト周波数計測部２０８は、発光体追跡結果記憶部２０７で記憶されているすべての発光体のそれぞれについて、ライトの明るさの周波数成分を計測する。ライトの明るさの周波数成分を計測するには、ライトの色に近い特定の色成分の輝度値をフーリエ変換する方法が考えられる。
信号ライト・発光体照合部２０９は、画像内信号ライト移動軌跡推定部２０４、画像内信号ライト間隔推定部２０５および信号ライト点滅周波数推定部２０６に記憶されている、信号機の画面内での見え方の推定値と、発光体追跡結果記憶部２０７および信号ライト周波数計測部２０８に記憶されている、発光体それぞれの画面内での見え方を比較する。そして、信号ライト・発光体照合部２０９は、双方の類似度を計算することで、最も信号機に近い見え方をする発光体を選択し、信号機の検出結果であるとして出力する。

＜信号機検出システム１の動作の説明＞
次に、信号機検出システム１の動作について説明する。
図４は、信号機検出システム１の動作について説明したフローチャートである。
まず、画像取得部１０１が、カメラ１４から画像を取得する（ステップＳ４０１）。
次に、発光体検出部１０２が、画像取得部１０１が取得した画像の中から発光体を検出する（ステップＳ４０２）。
また、自己位置推定部１０３が、カメラ１４の位置を推定する（ステップＳ４０３）。
さらに、信号位置取得部１０４が、読み取るべき信号機の位置座標を取得する（ステップＳ４０４）。
一方、発光体追跡部１０５は、発光体検出部１０２で検出された発光体の画像内での位置を追跡し、その移動軌跡を記録する（ステップＳ４０５）。

また、信号情報取得部１０６が、読み取るべき信号機の形状の情報と、取り得る現示パターンの情報を取得する（ステップＳ４０６）。
さらに、信号機判定部１０８が、カメラ１４と読み取るべき信号機との相対速度を取得する（ステップＳ４０７）。これは、ステップＳ４０３で推定したカメラ１４の位置と、ステップＳ４０４で取得した信号機の位置座標との変化から求めることができる。
またさらに、信号機判定部１０８が、カメラ１４と読み取るべき信号機との相対位置を取得する（ステップＳ４０８）。これは、ステップＳ４０３で推定したカメラ１４の位置と、ステップＳ４０４で取得した信号機の位置座標とから求めることができる。信号機判定部１０８は、この相対位置から双方の距離を求めることができる。
信号機判定部１０８の内部では、自己位置取得部２０１が、カメラ１４の位置を取得する。また、信号位置取得部２０２が、信号機の位置座標を取得する。そして、上記相対速度や上記相対位置を算出する。

次に、信号機判定部１０８は、ステップＳ４０２で検出された全ての発光体を対象とし、想定される信号機の動きに合致する否かの判定を行う（ステップＳ４０９）。これは、発光体追跡部１０５が記録した移動軌跡を基に求めることができる。また、信号機の動きは、詳しくは後述するが、ステップＳ４０７で求めた相対速度やステップＳ４０８で求めた相対位置を基にして判断できる。
信号機判定部１０８の内部では、発光体追跡結果記憶部２０７に記憶されている移動軌跡を基に、画像内信号ライト移動軌跡推定部２０４が、ステップＳ４０９の処理を行う。

その結果、合致する発光体があった場合（ステップＳ４１０でＹｅｓ）、信号機判定部１０８は、合致する発光体は２つ以上であるか否かの判定を行う（ステップＳ４１１）。
そして、合致する発光体は２つ以上である場合（ステップＳ４１１でＹｅｓ）、信号機判定部１０８は、想定されるライトの間隔に合致する発光体の組があるか否かの判定を行う（ステップＳ４１２）。この判定は、詳しくは後述するが、ステップＳ４０６で取得した信号機の形状の情報を基にして求める。またこのとき、ステップＳ４０６で取得した現示パターンの情報を基にして求めることもできる。現示パターンは、ライトが点滅する周期、ライトの色およびライトの組み合わせの少なくとも１つである。
信号機判定部１０８の内部では、信号情報記憶部２０３に記憶されている信号機の形状と取り得る現示パターンの情報を基に、画像内信号ライト間隔推定部２０５、信号ライト点滅周波数推定部２０６、信号ライト周波数計測部２０８および信号ライト・発光体照合部２０９が、ステップＳ４１１～ステップＳ４１２の処理を行う。

その結果、想定されるライトの間隔に合致する発光体の組があった場合（ステップＳ４１２でＹｅｓ）、およびステップＳ４１０で合致する発光体が２以上でなく１つである場合（ステップＳ４１０でＮｏ）、信号現示認識部１０９が、信号機の現示の認識を行う。つまり、信号現示認識部１０９は、特定されたライトから信号機の現示を読み取る。そして、結果出力部１１０が、現示認識結果を出力する（ステップＳ４１３）。そして、ステップＳ４１５に移行する。

また、ステップＳ４１０で、合致する発光体がなかった場合（ステップＳ４１０でＮｏ）、およびステップＳ４１２で、想定されるライトの間隔に合致する発光体の組がなかった場合（ステップＳ４１２でＮｏ）、信号機判定部１０８は、信号機の検出が失敗したと判断する（ステップＳ４１４）。
さらに、画像取得部１０１は、次の画像の入力があるか否かを判断する（ステップＳ４１５）。
そして、次の画像の入力があった場合（ステップＳ１５でＹｅｓ）、ステップＳ４０１に戻る。
対して、次の画像の入力がない場合（ステップＳ４１５でＮｏ）、一連の信号機検出の処理を終了する。

＜ステップＳ４０９の詳細説明＞
次に、図４のステップＳ４０９について、具体的に説明する。
図５は、図４のステップＳ４０９で行う処理の具体的な例について、示した図である。
ここでは、画像中に発光体Ｈ１～Ｈ４が撮影されており、この中から信号機のライトを抽出する場合について説明を行う。
信号機判定部１０８は、画像の中の発光体Ｈ１～Ｈ４の動きを基に、信号機のライトを特定する。具体的には、以下のような方法が使用できる。

まず、発光体Ｈ１～Ｈ４の動きとして、発光体Ｈ１～Ｈ４の画像中の移動方向に着目する方法がある。
この方法では、信号機判定部１０８は、信号機のライトが画像の中で移動する方向である移動方向を推定し、この移動方向に基づきライトを特定する。つまり、車両が走行するに従い、カメラ１４と信号機との相対位置が変化する。このとき、相対位置の変化に伴い、信号機のライトは画像中で移動する。そしてこの移動方向は、相対位置の変化から推定できる。即ち、信号機判定部１０８は、カメラ１４と信号機との相対位置の変化を基に移動方向を推定する。

図５では、発光体Ｈ１～Ｈ４が画像中に撮影されている。この場合、信号機判定部１０８は、発光体Ｈ１～Ｈ４の画像中の移動方向を、発光体追跡結果記憶部２０７に記憶されている移動軌跡を基に求める。図５では、この移動方向を点線矢印にて図示している。一方、信号機判定部１０８は、カメラ１４と信号機との相対位置を基に、信号機のライトの画像中の移動方向を推定する。そして、両者の移動方向が一致する場合、信号機判定部１０８は、移動方向が一致した発光体Ｈ１～Ｈ４を、信号機のライトであると特定する。即ち、信号機判定部１０８は、推定した移動方向と発光体Ｈ１～Ｈ４の動きとして発光体Ｈ１～Ｈ４の移動方向とに基づき信号機のライトを特定する。

また他の方法として、信号機判定部１０８は、相対位置と車両の速度を基に、ライトが画像の中で移動する速度である移動速度を推定し、この移動速度に基づきライトを特定することができる。つまり上述したように、車両が走行するに従い、カメラ１４と信号機との相対位置が変化する。このとき、相対位置の変化および車両の速度に従い、信号機のライトは画像中で所定の速度で移動する。そしてこの移動速度は、相対位置の変化および車両の速度から推定できる。なお、車両の移動速度は、自己位置推定部１０３が取得する、ＧＰＳやトリップメータの情報を利用することで求めることができる。

この場合、信号機判定部１０８は、図５の発光体Ｈ１～Ｈ４の画像中の移動速度を、発光体追跡結果記憶部２０７に記憶されている移動軌跡および車両の速度を基に求める。一方、信号機判定部１０８は、カメラ１４と信号機との相対位置および車両の速度を基に、信号機のライトの画像中の移動速度を推定する。そして、両者の移動方向が一致する場合、信号機判定部１０８は、移動速度が一致した発光体を、信号機のライトであると特定する。即ち、信号機判定部１０８は、推定した速度方向と発光体Ｈ１～Ｈ４の動きとして発光体の移動速度とに基づき信号機のライトを特定する。

また、信号機判定部１０８は、ライトが点滅する周期、ライトの間隔、およびライトの色の少なくとも１つをさらに加味してライトを特定するようにしてもよい。つまり、ライトが点滅する周期は、信号機として決まっている。これにより、信号機判定部１０８は、号機の中のライトと他の発光体との区別をすることができる。また、１つの信号機の中のライトの間隔は決まっている。よって、画像中の発光体の間隔から、信号機判定部１０８は、信号機の中のライトと他の発光体との区別をすることができる。さらに、ライトの色は、信号機として決まっている。これにより、信号機判定部１０８は、信号機のライトと他の発光体との区別をすることができる。そして信号機判定部１０８は、これらを信号機のライトと他の発光体との区別をするために、いわば補助的に使用する。これにより信号機のライトの特定の信頼性が向上する。
また、信号機判定部１０８は、カメラ１４が撮影する方向をさらに加味し、信号機のライトを特定することもできる。即ち、カメラ１４が撮影する方向の情報を利用することで、画像中での信号機の位置を絞り込むことができる。

＜ステップＳ４１１～Ｓ４１２の詳細説明＞
次に、図４のステップＳ４１１～Ｓ４１２の処理について、具体的に説明する。
ステップＳ４０９で、信号機のライトであると特定される発光体は複数である場合がある。つまり、信号機判定部１０８は、複数の信号機のライトを検出する場合がある。また、鉄道用の信号機では、１つの信号機で複数のライトを点灯または点滅させることがある。よって、このような場合、信号機判定部１０８は、複数の発光体を信号機のライトであると特定する場合がある。
図４のステップＳ４１１～Ｓ４１２では、信号機判定部１０８は、複数のライトについて１つの信号機のものであるか否かを特定する。

図６（ａ）～（ｂ）は、ステップＳ４１２で行う処理の具体的な例について、示した図である。
図６（ａ）では、信号機Ｓｇ１が撮影されており、信号機Ｓｇ１で点灯するライトＬ１、Ｌ４が特定された場合を示している。この信号機Ｓｇ１は、５つのライトが点灯または点滅する５灯式信号機である。図６（ａ）では、上から１つ目ライトＬ１と上から４つ目のライトＬ４が点灯し、他のライトＬ２、Ｌ３、Ｌ５は消灯する場合を示している。また、ここでは、ライトＬ１とライトＬ４とは、画像中で間隔Ｗの距離で撮影されているものとする。なお、図中、「〇」は、点灯していることを表し、「●」は、消灯していることを表す。

信号機判定部１０８は、カメラ１４と信号機との距離に基づき、複数のライトが１つの信号機のものであると特定する。
具体的には、信号機判定部１０８は、この距離に基づき画像の中の複数のライトの間隔を推定する。そして、推定された間隔を基に、複数のライトが１つの信号機のものであると特定する。つまり、信号機判定部１０８は、図６（ａ）のライトＬ１とライトＬ４との画像中の間隔Ｗを推定する。そして、ライトであると特定された発光体の間隔が、推定された間隔Ｗと一致した場合、信号機判定部１０８は、複数のライトについて１つの信号機のものであると特定する。
図６（ｂ）は、この方法について説明した図である。
ここでは、発光体Ｈ５～Ｈ９が撮影された場合を示している。そして、発光体Ｈ５、Ｈ６の間隔が、Ｗであり、発光体Ｈ５、Ｈ６が、ライトＬ１、Ｌ４であると特定された場合を示している。また、このときライトＬ１、Ｌ４の配列する方向を考慮に入れてもよい。この場合、ライトＬ１～Ｌ５は、上下方向に配列する。そのため、この向きと同様の方向に配列し、間隔がＷである発光体Ｈ５、Ｈ６について、ライトＬ１、Ｌ４であると特定する。

また、他の方法として、信号機判定部１０８は、距離に基づき画像の中の信号機が撮影される大きさを推定し、推定された大きさを基に、複数のライトが１つの信号機のものであると特定することもできる。
図６（ｂ）では、この方法についても示している。
ここでは、発光体Ｈ５～Ｈ９が撮影された場合を示している。そして、発光体Ｈ５、Ｈ６が信号機のライトＬ１、Ｌ４であると特定された場合を示している。このとき、信号機判定部１０８は、距離に基づき画像の中の信号機が撮影される大きさを推定する。図６（ｂ）では、推定された信号機の画像中の大きさを点線矩形にて図示している。そして、図６（ｂ）では、信号機判定部１０８が、推定された大きさに合致するライトの組としてライトＬ１、Ｌ４を選択した場合を示している。これにより、信号機判定部１０８は、ライトＬ１、Ｌ４が１つの信号機のものであると特定することができる。

なお、２つの信号機が近い位置にあり、ライトが画像上で近接する場合がある。しかしながらこの場合でも、図５で説明した、発光体の移動方向や移動速度を求める方法で、それぞれの信号機のライトを区別できる。つまり、２つの信号機は、異なる位置にあるため、ライトの移動方向や移動速度は、異なる。そのため、それぞれを区別することができる。そして、図６に示した方法で、それぞれの信号機に属するライトの組み合わせを判断できる。

さらに上述した例では、地図情報ＤＢから取得する地図情報を用いていたが、これを用いることは必ずしも必要ではない。この場合、信号機判定部１０８は、軌道（例えば、レール）Ｒ（図５参照）の幅に基づき、複数のライトが１つの信号機のものであると特定することができる。この場合、信号機判定部１０８は、軌道の幅や信号機の高さ等の情報を使用し、画像の中の信号機が撮影される大きさを推定する。そして、推定された大きさを基に、複数のライトが１つの信号機のものであると特定する。軌道の幅は、軌道検出部１０７が検出する。

＜ステップＳ４１３の詳細説明＞
次に、図４のステップＳ４１３の処理について、具体的に説明する。図４のステップＳ４１３では、信号現示認識部１０９が、信号機の現示の認識を行う。
図７は、信号現示認識部１０９が、信号機の現示を認識するフローを示した図である。
まず、信号機判定部１０８が、上述したように、信号機のライトを検知する（ステップＳ７０１）。
そして、信号現示認識部１０９が、ライトの水平パターンや垂直パターンを検知する（ステップＳ７０２、ステップＳ７０３）。
さらに、信号現示認識部１０９は、ライトの色を判定する（ステップＳ７０４）。
またさらに、信号現示認識部１０９は、ライトの位置を判定する（ステップＳ７０５）。
このようにして、信号現示認識部１０９は、複数のライトの組み合わせから信号機の現示を読み取る。

図８（ａ）は、ライトの水平パターンについて示した図である。なお、図中、「〇」は、点灯していることを表し、「●」は、消灯していることを表す。「水平パターン」は、ライトが点灯または点滅する水平方向のパターンである。図示する信号機Ｓｇ２～Ｓｇ４は、水平方向に２個のライトが点灯するパターンを有する。ステップＳ２０２では、信号現示認識部１０９は、この点灯パターンを検知する。
また、図８（ｂ）は、ライトの垂直パターンについて示した図である。「垂直パターン」は、ライトが点灯または点滅する垂直方向のパターンである。図示する信号機Ｓｇ５～Ｓｇ９は、垂直方向に２個のライトが点灯するパターンを有する。

ステップＳ４１３で、信号現示認識部１０９は、点灯または点滅するライトの組み合わせとして、点灯または点滅するライトの並びのパターンを、水平方向および垂直方向にて検知する。即ち、信号現示認識部１０９は、点灯または点滅するライトの水平パターンおよび垂直パターンを検知する。そして、信号現示認識部１０９は、これらのパターンにより、信号機の現示を読み取る。これにより、信号現示認識部１０９は、点灯や点滅するライトの数やライトの位置の組合せを解釈して信号機の現示を読み取ることができる。

なお、図８（ａ）～（ｂ）では、２個のライトが点灯するパターンを示したが、点灯するライトは、１個であっても、３個以上であってもよい。また、点灯するライトのみならず、点滅するライトを検知することもできる。
ライトの位置判定は、例えば、水平パターンで、左／右、垂直パターンで、上／中／下の区分とする。これにより、信号現示認識部１０９は、水平パターンとして、左と右に位置する２個のライトを区別する。また、信号現示認識部１０９は、垂直パターンとして、上／中／下に位置する３個のライトを区別する。なお、ライトが４個以上点灯するときは、ライト色または水平パターン／垂直パターンの組み合わせを使用して、点灯パターンを決定する。

図９（ａ）～（ｆ）は、以上のようにして求めることができるライトの点灯パターンの例を示した図である。なお、図中、「〇」は、点灯していることを表し、「●」は、消灯していることを表す。また、「☆」は点滅していることを表す。
図示する例は、信号機Ｓｇ１１～Ｓｇ１５についてライトの点灯パターンを示している。
図９（ａ）～（ｃ）は、通行不可の場合のライトの点灯パターンを示している。そして、図９（ａ）の点灯パターンは、信号機Ｓｇ１１～Ｓｇ１４について、赤色の点灯により信号の現示を行う場合を示している。この場合、信号機Ｓｇ１１では、ランプＬ１１２、Ｌ１１３を点灯し、他は消灯する。また、信号機Ｓｇ１２では、ランプＬ１２１、Ｌ１２４を点灯し、他は消灯する。さらに、信号機Ｓｇ１３では、ランプＬ１３２、Ｌ１３５を点灯し、他は消灯する。そして、信号機Ｓｇ１４では、ランプＬ１４２、Ｌ１４５を点灯し、他は消灯する。

図９（ｂ）の点灯パターンは、信号機Ｓｇ１１～Ｓｇ１４について、紫色の点灯により信号の現示を行う場合を示している。この場合、信号機Ｓｇ１１では、ランプＬ１１３を点灯し、他は消灯する。また、信号機Ｓｇ１２では、ランプＬ１２１を点灯し、他は消灯する。さらに、信号機Ｓｇ１３では、ランプＬ１３１を点灯し、他は消灯する。そして、信号機Ｓｇ１４では、ランプＬ１４１を点灯し、他は消灯する。

図９（ｃ）の点灯パターンは、信号機Ｓｇ１５について、ランプＬ１５２を黄色で、またランプＬ１５６を赤色で点灯し、他は消灯する。

図９（ｄ）は、一時停止の場合のライトの点灯パターンを示している。この場合、鉄道車両は、一時停止の後に通行してもよい。この点灯パターンは、例えば、車両間隔の確保の目的を有する。そして、図９（ｄ）の点灯パターンは、信号機Ｓｇ１１～Ｓｇ１４について、赤色の点灯により信号の現示を行う場合を示している。この場合、信号機Ｓｇ１１では、ランプＬ１１２を点灯し、他は消灯する。また、信号機Ｓｇ１２では、ランプＬ１２４を点灯し、他は消灯する。さらに、信号機Ｓｇ１３では、ランプＬ１３５を点灯し、他は消灯する。そして、信号機Ｓｇ１４では、ランプＬ１４５を点灯し、他は消灯する。

図９（ｅ）は、警告の場合のライトの点灯パターンを示している。
図９（ｅ）の点灯パターンは、信号機Ｓｇ１１～Ｓｇ１５について、黄色の点灯により信号の現示を行う場合を示している。この場合、信号機Ｓｇ１１では、ランプＬ１１３を点灯し、他は消灯する。また、信号機Ｓｇ１２では、ランプＬ１２５を点灯し、他は消灯する。さらに、信号機Ｓｇ１３では、ランプＬ１３６を点灯し、他は消灯する。そして、信号機Ｓｇ１４では、ランプＬ１４６を点灯し、他は消灯する。またさらに、信号機Ｓｇ１５では、ランプＬ１５４を点灯し、他は消灯する。

図９（ｆ）は、予備警告の場合のライトの点灯パターンを示している。
図９（ｆ）の点灯パターンは、信号機Ｓｇ１１～Ｓｇ１５について、黄色の点滅により信号の現示を行う場合を示している。この場合、信号機Ｓｇ１１では、ランプＬ１１３を点滅させ、他は消灯する。また、信号機Ｓｇ１２では、ランプＬ１２５を点滅させ、他は消灯する。さらに、信号機Ｓｇ１３では、ランプＬ１３６を点滅させ、他は消灯する。そして、信号機Ｓｇ１４では、ランプＬ１４６を点滅させ、他は消灯する。またさらに、信号機Ｓｇ１５では、ランプＬ１５４を点滅させ、他は消灯する。

＜効果の説明＞
以上説明した信号機検出システム１によれば、以下の効果が得られる。
鉄道ドライバレスを実現するためには信号機の検知と現示の認識が必要である。これを実現するために、本実施の形態では、画像認識技術を使用する。画像認識技術では、センサ（この場合、例えば、カメラ１４）の価格が安く、検出対象に手を加える必要がないなどの利点があり、導入コスト面に優れる。この場合、トンネル内や夜間などの暗所では、信号機の認識が困難であるという問題があったが、本実施の形態では、発光体である信号機のライトを認識して、画像分類により現示の判定を行う。また、本実施の形態では、沿線環境には前照灯や街灯などの発光体が存在し、誤認識につながるという問題に対し、発光体の中から、信号機のライトを識別することで解決を図る。さらに、画像中に複数の信号機が存在する場合でも、それの信号機を区別でき、現示を読み取るべき信号を選択することができる。

また、鉄道用の信号機の現示は、以下の（１）～（３）のように、自動車向け信号と異なる特徴がある。そのため既存の自動車向けの信号認識の技術は適用困難である。即ち、自動車向けの信号認識では、ライトの色および形のみ判別できればよいが、鉄道用の信号機では、それだけでは不足である。
（１）ライトが複数点灯する可能性がある。
（２）ライトの位置が意味を持つ。
（３）同色のライトが複数存在する。
本実施の形態では、信号機の現示を読み取るのに、ライトの色だけでなく、点灯する数や位置の組合せを解釈して、現示の認識を行う。そのため、信号機が、（１）～（３）のような特徴を有していても、信号機の現示を読み取ることができる。

地図情報を用いて信号機の出現位置を予測する方法はすでに存在するが、以下の（４）～（５）の課題がある。
（４）位置情報の計測誤差の影響が大きい。特にカメラ１４の向き（方位）の誤差の影響が大きい。
（５）出現位置を予測したとしても夜間は信号機の外形が見づらく、ライトのみで認識する必要がある。街灯や対抗列車の前照灯などが誤検知要因となる。
このうち、（５）については、上記の問題と同様であり、本実施の形態では、解決することができる。
（４）については、本実施の形態では、以下のようにして解決を図ることができる。

信号機の見え方は、画像内のライトの位置、時刻変化および列車速度によるライトの動き、ライト同士の間隔、ライトの色、ライトの点滅周期の複合条件として表される。そして、本実施の形態では、検出されたライトのうち、推測された見え方に近いライトの組合せを信号機として認識し、現示の読み取りを行う。つまり、時刻変化および列車速度によるライトの動き、ライト同士の間隔、ライトの色、ライトの点滅周期などは、位置や方位の計測誤差、さらに暗所に対し、頑健な特徴量である。即ち、これらは、カメラ１４と信号機との相対位置により決まり、車両の位置情報の計測誤差や信号機の位置座標の誤差に影響されにくい。よって、これらの特徴量を使用することで、上記（４）の問題の解決を図ることができる。また、信号機の形状、設置高さ、想定される現示、背面板のゼブラ柄などの情報が、ＨＤマップや外部ＤＢから得られるならば、その情報を用いて条件を修正することもできる。

＜信号認識方法の説明＞
ここで、信号機検出システム１が行う処理は、車両に配されたカメラ１４により撮影された画像を取得し、取得した画像の中から発光体を検出し、カメラ１４の位置を推定し、推定されたカメラ１４の位置を基に、検出された発光体の中から信号機のライトを特定し、特定されたライトから信号機の現示を読み取る、信号認識方法であると捉えることができる。

＜プログラムの説明＞
また、以上説明を行った本実施の形態における信号機検出システム１が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、信号機検出システム１に設けられたＣＰＵ等のプロセッサが、信号機検出システム１の各機能を実現するプログラムを実行し、これらの各機能を実現させる。

よって、本実施の形態で信号機検出システム１が行う処理は、コンピュータに、車両に配されたカメラ１４により撮影された画像を取得する画像取得機能と、取得した画像の中から発光体を検出する発光体検出機能と、カメラ１４の位置を推定する位置推定機能と、推定されたカメラ１４の位置を基に、検出された発光体の中から信号機のライトを特定する特定機能と、特定されたライトから信号機の現示を読み取る読取機能と、を実現させるためのプログラムとして捉えることもできる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。

なお、以上説明した信号機検出システム１は、鉄道用の信号機を認識する場合に、特に好適に使用することができる。ただし、これに限られるものではなく、自動車用の信号などを認識する場合に対しても適用可能である。即ち、鉄道の車両のみならず、自動車等の移動体に対し適用可能である。
また、以上説明した信号機検出システム１は、鉄道の車両等の移動体に搭載することができる、地上設備として設置することもできる。この場合、図１のカメラ１４は、移動体に搭載することが必要であるが、プロセッサ１１、出力部１２、入力部１３、通信モジュール１５、内部メモリ１６、外部メモリ１７は地上設備とすることができる。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…信号機検出システム、１０１…画像取得部、１０２…発光体検出部、１０３…自己位置推定部、１０４…信号位置取得部、１０５…発光体追跡部、１０６…信号情報取得部、１０７…軌道検出部、１０８…信号機判定部、１０９…信号現示認識部、１１０…結果出力部、Ｓｇ１～Ｓｇ９、Ｓｇ１１～Ｓｇ１５…信号機、Ｈ１～Ｈ９…発光体、Ｌ１～Ｌ５、Ｌ１１１～Ｌ１１３、Ｌ１２１～Ｌ１２５、Ｌ１３１～Ｌ１３９、Ｌ１４１～Ｌ１４７、Ｌ１５１～Ｌ１５６…ライト

Claims (15)

1. 移動体に配された撮影装置により撮影された画像を取得する画像取得部と、
   取得した画像の中から発光体を検出する発光体検出部と、
   前記撮影装置の位置を推定する位置推定部と、
   推定された前記撮影装置の位置を基に、検出された発光体の中から信号機のライトを特定するとともに、前記撮影装置と前記信号機との距離に基づき前記画像の中の前記複数のライトの間隔を推定し、ライトであると特定された発光体の間隔が、推定された間隔と一致した場合、複数のライトが１つの信号機のものであると特定する特定部と、
   前記複数のライトの組み合わせから前記信号機の現示を読み取る読取部と、
   を備える信号認識装置。
2. （削除）
3. （削除）
4. （削除）
5. 前記特定部は、前記距離に基づき前記画像の中の前記信号機が撮影される大きさを推定し、推定された大きさを基に、複数のライトが１つの信号機のものであると特定する請求項１に記載の信号認識装置。
6. 移動体に配された撮影装置により撮影された画像を取得する画像取得部と、
   取得した画像の中から発光体を検出する発光体検出部と、
   前記撮影装置の位置を推定する位置推定部と、
   推定された前記撮影装置の位置を基に、検出された発光体の中から信号機のライトを特定するとともに、複数のライトについて１つの信号機のものであると特定する特定部と、
   前記複数のライトの組み合わせから前記信号機の現示を読み取る読取部と、
   を備え、
   前記移動体は、鉄道の車両であり、
   前記特定部は、軌道の幅の情報を使用して画像の中の信号機が撮影される大きさを推定し、推定された大きさに基づき、複数のライトが１つの信号機のものであると特定する信号認識装置。
7. 前記特定部は、前記画像の中の前記発光体の動きを基に、前記ライトを特定する請求項１に記載の信号認識装置。
8. 前記特定部は、前記ライトが前記画像の中で移動する方向である移動方向を推定し、推定した移動方向と前記発光体の動きとして前記発光体の移動方向とに基づき前記ライトを特定する請求項７に記載の信号認識装置。
9. 前記特定部は、前記ライトが前記画像の中で移動する速度である移動速度を推定し、推定した移動速度と前記発光体の動きとして前記発光体の移動速度に基づき前記ライトを特定する請求項７に記載の信号認識装置。
10. 前記特定部は、前記ライトが点滅する周期、前記ライトの間隔および前記ライトの色の少なくとも１つをさらに加味して前記ライトを特定する請求項８または９に記載の信号認識装置。
11. 前記特定部は、前記撮影装置が撮影する方向をさらに加味して前記ライトを特定する請求項８または９に記載の信号認識装置。
12. （削除）
13. 前記読取部は、前記組み合わせとして、前記ライトが点灯または点滅する水平方向のパターンである水平パターン、および前記ライトが点灯または点滅する垂直方向のパターンである垂直パターンにより、前記信号機の現示を読み取る請求項１に記載の信号認識装置。
14. 移動体に配された撮影装置により撮影された画像を取得し、
    取得した画像の中から発光体を検出し、
    前記撮影装置の位置を推定し、
    推定された前記撮影装置の位置を基に、検出された発光体の中から信号機のライトを特定するとともに、前記撮影装置と前記信号機との距離に基づき前記画像の中の前記複数のライトの間隔を推定し、ライトであると特定された発光体の間隔が、推定された間隔と一致した場合、複数のライトが１つの信号機のものであると特定し、
    前記複数のライトの組み合わせから前記信号機の現示を読み取る、
    信号認識方法。
15. コンピュータに、
    移動体に配された撮影装置により撮影された画像を取得する画像取得機能と、
    取得した画像の中から発光体を検出する発光体検出機能と、
    前記撮影装置の位置を推定する位置推定機能と、
    推定された前記撮影装置の位置を基に、検出された発光体の中から信号機のライトを特定するとともに、前記撮影装置と前記信号機との距離に基づき前記画像の中の前記複数のライトの間隔を推定し、ライトであると特定された発光体の間隔が、推定された間隔と一致した場合、複数のライトが１つの信号機のものであると特定する特定機能と、
    前記複数のライトの組み合わせから前記信号機の現示を読み取る読取機能と、
    を実現させるためのプログラム。