〔第1実施形態〕
以下、図1等を参照して、本発明の第1実施形態に係る信号検出装置としての特殊信号検出装置についての一例を説明する。図1は、本実施形態に係る特殊信号検出装置100の一例についての概要を説明するための概念図であり、図1では、特殊信号検出装置100を搭載した鉄道の列車TRや、列車TRが走行する専用走行路である線路RRの脇に設置された特殊信号発光機200(以下、特殊信号発光機を単に特発とも言う。)を含む地上側の特殊信号発生システムSGの様子を示している。特に、ここでは、列車TRが走行する線路RRの脇に設置された特殊信号発光機200で異常事態の発生を示す赤色光の点滅動作がなされた場合にこれを列車TRに搭載された特殊信号検出装置100において確認する場合についての様子を概略的に示している。
以上のような構成の前提として、図示の例では、まず、列車TRに搭載されている特殊信号検出装置100は、移動体である列車TRの進行方向(矢印A1で示す方向)前方に設置されている。より具体的には、一部拡大して示すように、特殊信号検出装置100は、例えば、カメラ等で構成される撮像部10を備え、さらに、列車TRの車内(特に運転士)に報知するための報知部IPとしてスピーカーやモニター等で構成される音声部30や表示部40を備え、また、これらを統括制御するための管理装置MCを備える。特殊信号検出装置100は、撮像部10を列車TRの進行方向前方に向けて配置して前方の特殊信号発光機200を捉え、撮像部10での特殊信号発光機200についての画像データを管理装置MCにおいて処理することで、異常事態の発生を示す点滅動作がなされているかを確認し、必要に応じて、確認結果に基づく車内への報知を報知部IPによって行う。
ここで、既述のように、図1では、上記した特殊信号検出装置100に関するもののほか、特殊信号発光機200を含む地上側の特殊信号発生システムSGについても例示している。ここでは、一例として、特殊信号発生システムSGは、踏切CRに設けられており、踏切CRに連動する非常ボタンEBに加え、非常ボタンEBが押されることで発動する特殊信号発光機200を有した構成となっている。この場合、例えば図示のように、踏切CR内において自動車等の車両VEが立ち往生して非常ボタンEBが押されると、特殊信号発光機200が赤色光による所定の点滅動作を開始することで、踏切CRに近づく列車TRへの点滅表示による緊急事態発生の連絡がなされる。
ここで、特殊信号発光機200での点滅動作による緊急事態発生の連絡については、特殊信号発光機200が正常に動作していても、例えば屋外に設置されている特殊信号発光機200と列車TRとの位置が逆光等の状態となっていて肉眼での確認が難しかったり、走行による振動が激しくて前方を撮像するのが難しかったりすると、列車TRにおいて、人間の目視やカメラの画像データをそのものだけでは、的確に特殊信号発光機200の動作を捉えられない可能性がある。また、そもそも特殊信号発光機200は、ほとんどの列車運転の場合である平常の運転時においては滅灯しており、極稀に発生する異常時にのみ点滅動作をするものであるため、正常に点滅動作をした場合であっても、運転士が他の種々の動作に注意が行っておりうっかり見逃してしまう、という可能性も無いとは言えない。この上、さらに、安全性の観点から、特殊信号発光機200が点滅動作している場合には、列車TR側は、できるだけ早期にこれを捉えたい、すなわち特殊信号発光機200から遠方に列車TRがあるうちから、特殊信号発光機200の点滅動作を的確に捉えたい、という要請がある。
以上に対して、本実施形態の特殊信号検出装置100では、上記事情を加味して、逆光や振動等の外部環境に対して強く、すなわちロバスト性が高いものとし、また、運転士による特殊信号発光機200の作動の見逃しを抑制できるようにするための構成を有するものともなっている。さらに、本実施形態の特殊信号検出装置100では、特に、遠方に位置する特殊信号発光機200についても捉えることを可能としている。
以下、本実施形態の特殊信号検出装置100を説明するための前提として、まず、特殊信号発光機200の構造等について、図2を参照して説明する。なお、ここでの例では、特殊信号発光機200は、踏切付近に設けられるものとしているが、この他、落石のおそれがある場所等、異常事態が発生する可能性のある種々の場所に設置されている。
図2に外観の一例を示すように、ここでの特殊信号発光機200は、前面200aに配された多数の線状に並ぶLED光源LSを赤色に発光させて点滅することにより、踏切等で異常が発生したなどの情報を運転士などに伝えている。すなわち、前面200aが列車TRに配置された特殊信号検出装置100(図1等参照)に向けられるように、特殊信号発光機200は線路脇に設置されている。なお、前面200aにおけるLED光源LSの範囲すなわちサイズについては、例えば、高さH1が数十cm程度、幅W1が十cm程度とする場合が考えられる。
特殊信号発光機200での点滅動作の一例として、ここでは、1分間に500回程度で点滅の動作をするものとする。言い換えると、特殊信号発光機200での点滅動作についての周波数は、8.3Hz程度になっている。この周波数8.3Hzは、特殊信号発光機200での点滅動作を示す特殊信号発光機200に固有の周波数であると考えることができる。以下では、この周波数8.3Hzを、特発点滅周波数と呼ぶ。なお、上記のような点滅動作については、全ての特殊信号発光機200において共通している。すなわち、2以上の特殊信号発光機200が存在する場合、各特殊信号発光機200のいずれもが、周波数8.3Hzを特発点滅周波数として点滅動作をする。
以上のように、特殊信号発光機200は、異常発生を知らせるための動作として、一定の特定周期で赤色をすなわち特定周波数帯域の光を点滅する。なお、特殊信号発光機200の発光に採用する特定周波数帯域の光について、具体的一例としては、赤色LEDとして、ピーク波長660nm、半値幅20nmのものとすることが考えられる。そこで、本実施形態では、特殊信号発光機200での発光動作が、上記のような所定周期で特定周波数帯域の光による点滅動作となっている点に着目し、特殊信号検出装置100の撮像部10で取得した画像データから赤色成分を抽出し、連続する動画の各コマを構成するフレームに関して、現フレームと前フレームとの差分から赤色の点灯を検出している。すなわち、取得した画像データにおいて、赤色の点灯が一定フレームの周期であることを検出した場合に、特殊信号検出装置100は、特殊信号発光機200における発光があると判断し、スピーカーである音声部30から警報を鳴らすようにしている。なお、詳しくは図4等を参照して後述するが、特殊信号検出装置100における画像処理において、撮像部10で取得した連続画像のうち、赤色光以外のノイズを含んだ画像領域を除去した上で、上述した点滅動作の周波数、すなわち輝度の変化についての周波数に関する処理をしている。
また、以上のような特殊信号発光機200の点滅周期の検出方法として、ここでは、フーリエ変換を利用している。ここでのフーリエ変換とは、撮像部10で取得した時系列のデータを周波数成分ごとの大きさに変換する手法であり、例えば撮像部10で取得した連続画像から抽出した連続部分画像全体の輝度に対して複数フレームごとにフーリエ変換を行うことで、特殊信号発光機200での点滅周期を検出できる。つまり、フーリエ変換処理をすることで特殊信号発光機200での点滅動作の周期すなわち周波数を捉え、確実な特殊信号発光機200の動作検出を可能にしている。言い換えると、連続部分画像についてフーリエ変換処理を施すことで、各部分画像中の輝度に関する周波数特性を抽出した場合に、上記特発点滅周波数が存在するか否かによって特殊信号発光機200において点滅動作の発光がなされているか否かを判定する。
また、上記のような解析の結果、特殊信号発光機200において点滅動作する発光有りと判断された場合には、報知部IPにより報知を行う。すなわち、特殊信号検出装置100側において、特殊信号発光機200による伝達とは別の方法で運転士に対して報知を行うことができるようにしている。
以下、図3(A)及び図3(B)のブロック図を参照して、特殊信号検出装置100における構成及び特殊信号検出装置100を構成する各部の機能等について説明する。
図3(A)に示すように、また、図1を参照して既述のように、特殊信号検出装置100は、撮像部10と、管理装置MCと、報知部IPとを備える。このうち、管理装置MCは、図示のように、各種画像処理を行う画像処理部20と、各種データを記憶する記憶装置50と、各部の動作を司る制御部60とを備える。なお、報知部IPは、図示のように、また、既述のように、音声部30と、表示部40とを備える。
特殊信号検出装置100のうち、まず、撮像部10は、カメラ等で構成されており、例えば図3(B)に例示するように、撮像用のレンズLLと、CMOSやCCD等で構成される撮像素子(受光素子)SDとを有し、動画すなわち連続画像を撮像することが可能であり、撮像により取得した画像データを管理装置MC(図3(A)参照)に送信する。ここでの連続画像として、例えば30fps程度での動画の録画が可能となっている。したがって、8.3Hz程度で点滅する特殊信号発光機200の発光動作についてであれば、数フレーム程度で1回分の点滅動作を捉えることになる。
次に、図3(A)に示すように、管理装置MCのうち、画像処理部20は、例えばGPU等で構成され、撮像部10で取得した連続画像について各種処理を行う。特に、ここでは、画像処理部20は、撮像部10で取得した連続画像について、対象外波長帯域の成分検出に基づきノイズ領域を除去するノイズ除去部20nを有する。また、画像処理部20は、上述したフーリエ変換処理を施すための変換処理部20fを有する。変換処理部20fでは、フーリエ変換処理の一例として高速フーリエ変換(FFT)を用いる。
次に、管理装置MCのうち、記憶装置50は、例えばストレージデバイス等で構成され、各種データ等を格納する。すなわち、記憶装置50は、撮像部10で取得されたデータやこれを画像処理部20において加工したデータ等の各種画像データを格納する録画装置として機能するほか、例えば、特殊信号発光機200における発光での点滅周期(点滅周波数)のデータや、画像処理部20の変換処理部20fでの高速フーリエ変換(FFT)の処理を行うためのプログラム等の各種プログラムを格納する。また、本実施形態では、対象となるデータの1つであるノイズ除去処理に伴い発生する連続部分画像等の各種データが、画像処理部20のノイズ除去部20nにおいて作成されるのに応じて、記憶装置50の所定領域に逐次格納される。
次に、管理装置MCのうち、制御部60は、例えばCPU等で構成されて、特殊信号検出装置100を構成する各部の動作を統括制御する。すなわち、処理に応じて必要なデータやプログラムを記憶装置50から適宜読み出して、各種指令を行う。また、制御部60は、画像処理部20での画像解析のための高速フーリエ変換(FFT)による抽出結果に基づいて、所定周期で点滅する特殊信号発光機200における発光の有無を判断する判断部として機能する。つまり、制御部60は、判断部として、記憶装置50に格納され画像データに基づいて、ノイズ除去部20nでのノイズ除去を経て作成された連続部分画像データに基づき、特殊信号発光機200における発光の有無(特に点滅動作の有無)を判断する。
次に、報知部IPのうち、音声部30は、スピーカー等で構成される。音声部30は、例えば運転席内において十分聞こえる程度の音量で警報を発することで、運転士に対して聴覚による異常発生の報知が可能となっている。通常の運転のため、各種操作や確認を行っている運転士に対して、聴覚による異常発生通知を行うことで、より気づきやすくし、見落とす可能性を低減させることができる。
最後に、報知部IPのうち、表示部40は、モニター等で構成される。表示部40は、例えば運転席内において運転士の眼にとまりやすい位置に配置されて文字や図柄表示、あるいは各種点滅・点灯表示等を行うことで、特殊信号発光機200での発光による表示とは別個に、運転席内において運転士に対して視覚による異常発生の報知が可能となっている。
以下、図4等を参照して、撮像部10で取得した連続画像の処理から特殊信号発光機200における発光の有無の判断に至るまでの一連の処理の概要を説明する。
まず、ここでは、既述のように特殊信号発光機200からの光を検出対象としており、当該光の波長帯域を対象波長帯域とする。一方、これ以外の波長帯域を対象外波長帯域とする。本実施形態の場合、特殊信号発光機200が赤色光の点滅動作をするため、赤色光の波長帯域が対象波長帯域であり、これ以外の波長帯域が対象外波長帯域となる。例えば緑色光の波長帯域や青色光の波長帯域が、対象外波長帯域である。
図4において一動作例を概念的に示すように、ノイズ除去部20nは、撮像部10で取得した連続画像を形成する画像領域において、対象外波長帯域すなわち緑色光や青色光の波長帯域の成分を検出するか否かによってノイズ領域を決定し、当該ノイズ領域を除去する。また、変換処理部20fは、ノイズ除去された連像画像における点滅動作の周波数(輝度周波数)の特性を抽出すべく高速フーリエ変換処理を施す。以上のような処理がなされた画像について、判断部としての制御部60は、輝度周波数に基づく特殊信号発光機200の発光動作の有無を判断する。
以下、図5において概念的に示す一例を参照して、上記した画像処理についてさらに詳しく説明する。まず、画像処理部20のノイズ除去部20nは、撮像部10で取得した複数のフレームGIからなる連続画像GCからフレームGIを1つずつ抽出し、抽出したフレームGIのうち対象外波長帯域の成分が検出された領域をノイズ領域NSとし、ノイズ領域NSを除去する。その一方で、フレームGIからノイズ領域NSを除去した残りを検出対象部分画像であるフレームGIrとする。以上のノイズ除去処理を各フレームGIに対して逐次行うことで、ノイズ除去部20nの変換処理部20fは、連続するフレームGIrで構成される連続部分画像RCを形成する。さらに、変換処理部20fでは、制御部60からの指示に従い、連続するフレームGIr(図5参照)について、すなわち時系列に並ぶ画像データに関して、高速フーリエ変換(FFT)の処理を施す。これにより、各連続部分画像中での輝度についての周波数に対する振幅データをそれぞれ抽出する。これにより、上述した特殊信号発光機200での点滅動作に相当する周波数での輝度の変化が存在するか否かを捉えることができる。
以下、図6を参照して、画像処理部20の変換処理部20fでの画像解析のための高速フーリエ変換(FFT)についてより詳細に説明する。図6(A)は、画像処理部20での処理対象となる連続部分画像RC(より具体的には連続部分画像RCの画像データあるいは連続部分画像データ)についての概念図であり、図示では、連続部分画像RCを構成する各フレームGIrを時系列に順次並べた様子を概念的に示している。ここでは、これらの時系列に並ぶ複数のフレームGIrを取り出し、これらについて高速フーリエ変換(FFT)を行うことで、時系列のデータを周波数成分ごとの大きさに変換している。
また、図6(B)は、図6(A)に例示した連続部分画像を構成する複数のフレームGIrについての画像処理部20による処理結果から得られる輝度に関する周波数について示すデータの一例について、曲線(折れ線)C1のグラフで示している。図6(B)において、横軸は、周波数であり、縦軸は、振幅すなわち各周波数で繰り返される輝度変化の度合を示している。図示の曲線C1において丸で囲んで示すように、特発点滅周波数である8.3Hzあるいはこれの近傍においてピークが発生している場合、周波数8.3Hzでの輝度変化すなわち特殊信号発光機200での点滅動作が生じている、と捉えることができる。したがって、図6(B)の曲線C1のような結果が得られた場合、判断部としての制御部60は、特殊信号発光機200における点滅動作する発光有り、との判断をし、判断結果に従って、報知部IPに前方で異常が発生している旨の報知の動作を行わせる。曲線C1のようなピークが発生していなければ、制御部60は、特殊信号発光機200における発光無し、と判断する。なお、例えば踏切の警報器等、特殊信号発光機200における発光以外の他の周期的な点滅動作を生じるものが併せて画像に取り込まれた場合であっても、上記のような特発点滅周波数とは異なる周波数で点滅しているので、特発点滅周波数に対応するピークを生じさせることはない。
以上において、連続部分画像を構成する複数のフレームに関して、上記高速フーリエ変換(FFT)による処理を可能とするために必要となるフレーム数は、特発点滅周波数とフレームレートとの関係で定まる。上記例のように、特発点滅周波数が8.3Hz程度(1分間に500回程度の点滅)であり、撮像部10での動画撮像が30fps程度のフレームレートで処理されている場合に、図6(B)のようなデータ取得を1回行うために最低限必要な特殊信号発光機200の点滅回数(点滅周期)を2〜3回分程度とすると、数フレームから十数フレーム分の画像データが必要となる。すなわち、数フレームから十数フレーム分のフレームGIrについて高速フーリエ変換(FFT)をすることで、判定に必要なデータが取得できる。なお、一般には、撮像部10においては、フレームレート数が大きいほど、すなわち細かな動きを捉えられるほどより詳細な輝度変化を捉えられるが、以上の考察から、特発点滅周波数が8.3Hz程度(1分間に500回程度の点滅)であれば、撮像部10に30fps程度の動画撮像能力があれば、必要に足る程度のデータが十分に得られると言える。
以下、図7のフローチャートを参照して、特殊信号検出装置100の動作についての一例を説明する。
まず、特殊信号検出装置100の制御部60は、撮像部10から入力された映像を読み出して(ステップS1)、ノイズ除去部20nにおいて読み出した映像中に含まれるノイズ(特に太陽光等の白色光ノイズ)を除去する(ステップS2)。次に、制御部60は、ステップS2においてノイズ除去された部分領域での点滅周期を画像処理部20に検出させる(ステップS3)。以上の後、制御部60は、ステップS3での検出結果に基づいて、判断を行う(ステップS4)。すなわち、ステップS3での検出結果において、特殊信号発光機200の周波数成分である特発点滅周波数(周波数8.3Hz)が、予め定めた閾値以上検出された場合(ステップS4:Yes)、特殊信号発光機200の動作が検出されたと判断し、制御部60は、管理装置MCとして、報知部IPによる運転士に対する報知を行うことで、注意喚起をする(ステップS5)。ステップS5の処理の後、あるいは、ステップS4において、特発点滅周波数(周波数8.3Hz)が、閾値以上には検出されない場合(ステップS4:No)、制御部60は、一連の処理動作を終了する。なお、ステップS5の報知部IPによる報知動作については、例えば運転士による終了動作等が別途なされるまで継続される。
ここで、上記態様のような場合、前提として、列車TRの走行に伴い撮像部10において取得される映像すなわち画像情報は、逐次変化することなる。このため、例えばある時点での特殊信号発光機200の検出に際して、連続画像を構成する1つの全体画像中において、特発点滅周波数の検出に際してノイズとなる部分を含む画像が存在する場合がある。具体的には、例えば図8に概念的に示すように、列車TRの走行中に撮像した画像の1つであるフレームGI中において、実線で囲んだ領域RIは、太陽光の反射が生じている領域である。このような領域RIは、列車TRが走行していても、撮像部10の撮像範囲から外れるまでは画像中に含まれ続けることになる。このような領域からの成分には、光量が不規則に変動する成分が含まれていることがあり、不規則な変化の中には、特殊信号発光機200の波長帯域及び周波数が同等となっている成分も含まれている。これが特発点滅周波数の検出に際しての誤検出の要因となってしまう可能性がある。すなわち、太陽光がノイズ光源となっている場合がある。特に、特発が画面内の遠方で点滅している場合、画面に占める特発の領域も狭くかつ検出される輝度(光量)も相対的に弱い。この場合、捉えられる輝度(光量)の変化も小さくなる。これに対して、領域RIに例示したようなノイズの光量は、列車TRの近くでの反射光に起因するものであるため、相対的に大きくなる場合がある。なお、領域RIのような箇所は、太陽光の反射に限らず、種々の場合が考えられ、例えば夜間であれば、街灯や電光掲示板等種々のものが同様に除去対象となり得る。
図9(A)は、上記のように、遠方において特発が点滅している一方、近くにノイズとなる成分光が発生しているという状況下において、ノイズ除去を施さずノイズを含んだままの状態で特殊信号発光機200による発光を捉えた場合について一例を説明するためのグラフである。グラフの横軸は、時間であり、縦軸は、光の強度(光量)を示している。図中において、破線で示す線WN1は、太陽光(白色光)すなわちノイズに起因する成分の値であり、実線で示す線CE1は、特発に起因する成分の値である。この場合、遠方の特発に起因する光量を示す線CE1は、特発点滅周波数(周波数8.3Hz)を示す周期の振幅をしているが、線WN1に比べると光の強度(光量)が小さく、かつ、その振幅の幅も小さい。
また、図9(B)は、図9(A)をフーリエ変換した結果であり、グラフの横軸は、周波数であり、縦軸は、振幅すなわち各周波数で繰り返される輝度変化の度合を示している。図中において、破線で示す線FN1は、太陽光(白色光)すなわちノイズに起因する成分の値であり、実線で示す線FE1は、特発に起因する成分の値である。この場合、特発に起因する線FE1は、特発点滅周波数(周波数8.3Hz)においてピークを有するものとなっている一方、ノイズに起因する線FN1は、不規則な種々の成分を含むため、多数の周波数においてピークを有するものとなっており、特発点滅周波数(周波数8.3Hz)あるいはこれに近い箇所でピークを有するものも含んでいる。さらに、このような成分の輝度(光量)が、特発に起因する成分と比較して大きい。以上のようなことから、ピーク値が、結果的に、特発に起因する線FE1と変わらなくなっている。このような場合、太陽光(白色光)すなわちノイズに起因する成分を、特発に起因する成分と区別することができなくなって、特発に起因する成分として検知してしまう、すなわち誤検出をしてしまう可能性が生じることになる。
本実施形態では、太陽光(白色光)すなわちノイズに起因する成分を予め除去した上で、特殊信号発光機200の波長帯域の周波数について検出することで、かかる事態を回避している。
以下、図10等を参照して、ノイズ除去を行うための具体的一態様について説明する。図10(A)は、ノイズの典型的一例である太陽光(白色光)の分布特性について一例を示すグラフであり、図10(B)は、特殊信号発光機による発光(赤色光)の分布特性について一例を示すグラフである。図10(A)の例示にもあるように、一般に、太陽光(白色光)や太陽光に起因する反射光等の各種光については、特定の波長帯域に限らず種々の帯域の光を含んでいる。なお、これらの太陽光等は、図9に例示したような種々の周波数が混在したチラつきを有することが多く、本願においては、除去すべきノイズとなる。一方、図10(B)の例示にあるように、特殊信号発光機による発光(赤色光)については、特定の狭い波長帯域にピークを有するものとなっている。言い換えると、可視光範囲のうち特定の狭い波長帯域以外の成分については、ほとんど含まれていない。なお、図示では、ピークとなる波長を波長WLrとしている。
本実施形態では、以上のようなノイズと抽出すべき成分とでの特性の違いを利用している。より具体的には、ノイズ除去部20nにおいて、特殊信号発光機による発光(赤色光)における特定の狭い波長帯域以外の波長帯域を、対象外波長帯域とし、当該対象外波長帯域の成分検出がなされるか否かに基づきノイズ領域を定め、定められたノイズ領域を除去するものとしている。すなわち、ノイズ除去部20nは、特殊信号発光機200から発光される光(赤色光)に関する対象波長帯域を定めるとともに、対象波長帯域以外の波長帯域(例えば、緑色光や青色光)を対象外波長帯域として定めることで、ノイズ領域NSを特定している。
特に、本実施形態では、上記のような対象外波長帯域の成分検出及び検出結果に基づくノイズか否かの判定を、図11に示す撮像素子(受光素子)SDの画素PXの単位で行っている。なお、図中において破線で囲って一部拡大して示すように、各画素PXは、赤色光(R)の成分を検出するサブ画素SXrと、緑色光(G)の成分を検出するサブ画素SXgと、青色光(B)の成分を検出するサブ画素SXbとで構成されている。これにより、各画素PXあるいは撮像素子SDは、例えば図12のグラフに例示するような分光特性を有している。以上により、ノイズ除去部20nは、撮像部10で取得した連続画像の画素ごとに、対象外波長帯域の成分検出を行うことを可能にしている。具体的には、図13(A)に例示するように、ある画素において、対象外波長帯域NTの成分である緑色光(G)の成分や青色光(B)の成分が、ある程度の輝度を有して検出された場合には、赤色光(R)の成分の検出結果に関わらず、当該画素をノイズ領域NSの画素として取り扱う。一方、図13(B)に例示するように、ある画素において、赤色光(R)の成分のみが突出した輝度で検出され、対象外波長帯域NTの成分が検出されないあるいは検出値が小さい場合には、ノイズとせずに残す。以上のような判断を可能とするために、例えば、対象外波長帯域の成分(G,B)について輝度の閾値を予め設定し、記憶装置50の所定領域に格納しておく。すなわち、ノイズ除去部20nは、記憶装置50から輝度の閾値を必要に応じて適宜読み出し、検出された対象外波長帯域NTの成分(G,B)が、設定した閾値以上であるか否かによってノイズ領域の画素として除去するか否かを判定し、当該判定を1つのフレームを構成する全ての画素について行うことで、ノイズ除去する範囲を決定できる。
以下、図14のフローチャートを参照して、特殊信号検出装置100の動作のうち、ノイズ除去部20nにおけるノイズ除去についての一例を説明する。すなわち、図7のうち、ステップS2における処理の具体的一態様について説明する。なお、連続画像を構成する各画像について同様の処理を施すことになるため、ここでは、連続画像のうち一枚の画像についての処理、すなわち1つのフレームについての処理のみを説明する。
まず、特殊信号検出装置100のノイズ除去部20nは、初期化処理として、一旦輝度合計を0とする(ステップS101)。その上で、まず、撮像部10から入力された映像の1つのフレームに相当する画像データを構成している各画像について、一の画素を指定し(ステップS102)、さらに、当該画素における各色光成分(R,G,B)についての輝度値を入力する(ステップS103)。ステップS103の入力値のうち、対象外波長帯域の成分(G,B)について、輝度が閾値未満であるか否かを確認する(ステップS104)。具体的には、ノイズ除去部20nは、対象外波長帯域の成分緑色光(G)の輝度が閾値未満で、かつ、青色光(B)の輝度が閾値未満である場合(ステップS104:Yes)、ノイズではないものとし、当該画素の赤色光(R)の輝度を輝度合計に加算する(ステップS105)。一方、ステップS103の入力値のうち、緑色光(G)の輝度、又は青色光(B)の輝度のうちいずれかが閾値以上である場合(ステップS104:No)、ノイズであるものとし、赤色光(R)の輝度を輝度合計に加算することなく、次のステップへと進む。
上記処理の後、ノイズ除去部20nは、1つのフレームを構成する画素全てについて上記輝度合計に関する記録を行ったか否かを確認し(ステップS106)、未記録の画素が残っている場合(ステップS106:No)、残っている画素について同様の処理を行うべく、ステップS102〜S106の動作を行い、未記録の画素が無くなるまで繰り返す。一方、1つのフレームを構成する画素全てについて上記輝度合計に関する記録を行ったと判断した場合(ステップS106:Yes)、ノイズ除去部20nは、一連の処理を終了する。この場合、処理を終了した時点での輝度合計が、1つのフレームの全体のうちノイズ除去された領域での赤色光(R)の輝度の積算結果を示すものとなる。つまり、上記では、ノイズ除去とともに除去された範囲全体での赤色光(R)の輝度を算出している。したがって、連続画像を構成する各フレームについて同様の処理を施すことで、ノイズ領域NSを除去した連続画像の輝度の周波数に基づく所定周期の点滅検出が可能となる。すなわち、図7のステップS3の処理、さらには、ステップS3以後の処理が可能となる。
なお、以上の場合、特殊信号発光機200から発光される光(赤色光)に関する対象波長帯域を含み、対象波長帯域以外の波長帯域(例えば、緑色光や青色光)を対象外波長帯域を含まない赤色光については、ノイズとされずに輝度合計に加えられるものとなる。例えば特殊信号発光機200以外の踏切の赤色ランプや通常の鉄道信号の赤ランプ等が条件を満たす可能性がある。しかしながら、これらの成分が含まれていても、特発点滅周波数(周波数8.3Hz)と同一周期の振幅を有するものは存在しないため、誤検出の原因とはならない。
以上のように、本実施形態に係る特殊信号検出装置100では、撮像部10により取得された連続画像について、ノイズ除去部20nが、対象外波長帯域の成分検出に基づきノイズ領域NSを除去し、ノイズ領域NSを除去した連続画像の輝度の周波数に基づき所定周期の点滅を検出することで、ノイズによる不規則な変動が影響しても、これを的確に除去し、検出すべき特殊信号発光機200の点滅動作の有無すなわち検出すべき信号の有無を的確かつ確実に判断できる。また、この場合、点滅動作の周波数に基づいて判断をすることで、特に、撮像時における逆光や映像の揺れの影響等を吸収できるので、外部環境に対してロバスト性の高いものにできる。さらに、この場合、撮像部10にとっての撮像対象となる特殊信号発光機200については、例えば赤外線発光器を取り付けたり、断線を検出するための構造を設けたりする必要が無く、簡易な構成で、所望の検出ができる。
以上において、既述のように、特殊信号発光機200の点滅動作の有無の検出は、できるだけ早期になされることが望ましい。このことに関して、例えば、図1の例示において、特殊信号発光機200についての運転士による視認可能位置AAから特殊信号発光機200の設置位置BBまでの距離DD1は、600m〜800m程度である。一方、図2の例示において、特殊信号発光機200の高さH1及び幅W1については、既述のように、例えば高さH1が数十cm程度であり、幅W1が十cm程度である。この場合、図1の距離DD1を例えば800mとすると、撮像部10を構成する撮像素子SDとして一般的に使用されるもののうち比較的高解像度のもの(画素密度が高いもの)を適用したとしても、位置AAにおいて撮像された画像中に特殊信号発光機200の画像が占める範囲は、撮像素子SDを構成する画素PXの画素数として高々十画素から数十画素程度(例えば、高さ方向に画素5〜6個分、幅方向に画素2〜3個分程度)となる。これに対して、ノイズを発生させる光が検知される範囲は非常に大きくなる可能性がある。本実施形態では、かかる状況下においても、上記のように、ノイズの範囲を除去することで、わずかな範囲で捉えられた特殊信号発光機200の発光であってもこれを的確に捉えることを可能としている。
〔第2実施形態〕
以下、図15等を参照して、第2実施形態に係る信号検出装置としての特殊信号検出装置の一例について説明する。なお、本実施形態に係る特殊信号検出装置は、第1実施形態の特殊信号検出装置100の変形例であり、撮像部の構成とノイズ除去部でのノイズ除去の処理を除いて第1実施形態の場合と同様であるため、撮像部以外の構成要素については、必要に応じてこれらを適宜参照するものとし、詳細な説明は省略する。
図15は、本実施形態に係る信号検出装置としての特殊信号検出装置における撮像部の一構成例について説明するためのブロック図であり、図3(B)に対応する図である。
図示のように、本実施形態に係る特殊信号検出装置における撮像部210は、撮像用のレンズLLの前段に、フィルタFLを有している点において、第1実施形態の場合と異なっている。すなわち、本実施形態では、フィルタFLにおいてカットされずに通過した成分のみが撮像素子SDにおいて検出されることになる。
ここで、フィルタFLは、一例として、図16のグラフに示すように、異なる2波長帯域について高い透過特性を示す2波長帯域透過フィルタとなっている。より具体的には、フィルタFLは、赤色波長帯域において波長WLrをピークとする第1波長帯域WB1と、青色波長帯域において波長WLbをピークとする第2波長帯域WB2とについて分光感度の高い特性を示している。これらのうち、波長WLr及び第1波長帯域WB1は、特殊信号発光機200から発光される光(赤色光)のピーク及び波長帯域分布に対応するものとなっている。つまり、フィルタFLは、信号発光機200から発光される光(赤色光)の成分及びこれと同等の波長帯域の成分を透過させる。
一方、波長WLb及び第2波長帯域WB2は、特殊信号発光機200から発光される光(赤色光)とは異なる波長帯域として、青色光のうちのある波長ピーク及び青色光の波長帯域分布に対応するものとなっている。つまり、フィルタFLは、信号発光機200から発光される光(赤色光)とは異なる波長帯域である対象外波長帯域の成分を透過させる。
以上のように、フィルタFLは、特殊信号発光機200から発光される光の帯域分布を示す第1波長帯域WB1の成分と、第1波長帯域以外の特定波長帯域についての帯域分布を示す第2波長帯域WB2の成分とに対して分光感度の高い2波長帯域透過フィルタとなっている。
以上の場合、撮像素子SDでは、フィルタFLを通過可能な第1波長帯域WB1の成分及び第2波長帯域WB2の成分のみが検出されることになる。この場合、第2波長帯域WB2の成分を含むものを除去し、第2波長帯域WB2の成分を含まず第1波長帯域WB1の成分のみを含むものを残すことで、より的確なノイズ除去が可能となる。
以下、図17のフローチャートを参照して、本実施形態に係る特殊信号検出装置の動作のうち、ノイズ除去部20n(図3等参照)におけるノイズ除去についての一例を説明する。なお、本実施形態に係る特殊信号検出装置の動作全体については、図7を参照して説明した場合と同様であるので省略する。すなわち、図17は、図7のうち、ステップS2における処理の具体的一態様について説明するためのフローチャートである。なお、連続画像を構成する各画像について同様の処理を施すことになるため、ここでは、連続画像のうち一枚の画像についての処理、すなわち1つのフレームについての処理のみを説明する。
まず、ノイズ除去部20nは、初期化処理として、一旦輝度合計を0とする(ステップS201)。その上で、まず、撮像部10から入力された映像の1つのフレームに相当する画像データを構成している各画像について、一の画素を指定し(ステップS202)、さらに、当該画素における各色光成分(R,B)についての輝度値を入力する(ステップS203)。ステップS203の入力値のうち、対象外波長帯域の成分(B)について、輝度が閾値未満であるか否かを確認し(ステップS204)、対象外波長帯域の成分(B)の輝度が閾値未満である場合(ステップS204:Yes)、ノイズではないものとし、赤色光(R)の輝度を輝度合計に加算する(ステップS205)。一方、ステップS203の入力値のうち、青色光(B)の輝度が閾値以上である場合(ステップS204:No)、ノイズであるものとし、赤色光(R)の輝度を輝度合計に加算することなく、次のステップへと進む。
上記処理の後、ノイズ除去部20nは、1つのフレームを構成する画素全てについて上記輝度合計に関する記録を行ったか否かを確認し、未記録の画素が残っている場合(ステップS206:No)、残っている画素について同様の処理を行うべく、ステップS202〜S206の動作を行い、未記録の画素が無くなるまで繰り返す。一方、1つのフレームを構成する画素全てについて上記輝度合計に関する記録を行ったと判断した場合(ステップS206:Yes)、ノイズ除去部20nは、一連の処理を終了する。この場合、処理を終了した時点での輝度合計が、1つのフレームの全体のうちノイズ除去された領域での赤色光(R)の輝度の積算結果を示すものとなる。つまり、上記では、ノイズ除去とともに除去された範囲全体での赤色光(R)の輝度を算出している。したがって、連続画像を構成する各フレームについて同様の処理を施すことで、ノイズ領域NSを除去した連続画像の輝度の周波数に基づく所定周期の点滅検出が可能となる。すなわち、図7のステップS3の処理、さらには、ステップS3以後の処理が可能となる。
以上のように、本実施形態に係る特殊信号検出装置においても、2波長帯域透過フィルタであるフィルタFLを設けた撮像部210により取得された連続画像について、ノイズ除去部20nが、対象外波長帯域の成分検出に基づきノイズ領域を除去し、ノイズ領域NSを除去した連続画像の輝度の周波数に基づき所定周期の点滅を検出することで、ノイズによる不規則な変動が影響しても、これを的確に除去し、検出すべき特殊信号発光機200の点滅動作の有無すなわち検出すべき信号の有無を的確かつ確実に判断できる。また、本実施形態の場合、2波長帯域透過フィルタであるフィルタFLにおける分光感度を、特殊信号発光機200から発光される光の特性に応じて適切なものを採用することで、より高精度なノイズ除去が可能となる。
〔第3実施形態〕
以下、図18等を参照して、第3実施形態に係る信号検出装置としての特殊信号検出装置の一例について説明する。なお、本実施形態に係る特殊信号検出装置は、第1実施形態の特殊信号検出装置100等の変形例であり、撮像部の構成とノイズ除去部でのノイズ除去の処理を除いて第1実施形態の場合と同様であるため、各構成要素について、同様の構成要素は、第1実施形態で例示したものの符号と同様のものを付し、必要に応じてこれらを適宜参照するものとし、詳細な説明は省略する。
図18(A)は、本実施形態に係る信号検出装置としての特殊信号検出装置の一構成例について説明するためのブロック図であり、図3(A)に対応する図である。また図18(B)及び図18(C)は、特殊信号検出装置における撮像部の一構成例について説明するためのブロック図であり、図3(B)等に対応する図である。
図示のように、本実施形態に係る特殊信号検出装置300において、撮像部310は、2つの撮像部を有する。つまり、撮像部310は、第1撮像部310Aと第2撮像部310Bとを有する。さらに、第1撮像部310Aは、撮像用の第1レンズLL1の前段に、第1フィルタFL1を有している点において、第1実施形態の場合と異なっている。すなわち、本実施形態では、第1フィルタFL1においてカットされずに通過した成分のみが第1撮像素子SD1において検出されることになる。なお、同様に、第2撮像部310Bは、第2フィルタFL2と、撮像用の第2レンズLL2と、第2撮像素子SD2とを備える。
さらに、図19の概念図に一例を示すように、撮像部310の配置について、撮像部310を構成する第1撮像部310Aと第2撮像部310Bとは、ハーフミラーHMを介して光学的に同等の位置に配置されることで、第1撮像素子SD1と第2撮像素子SD2との画素合わせがなされている。つまり、撮像部310の射出光軸AXに対してハーフミラーHMを45°傾けて配置し、撮像部310に入射する光の成分をハーフミラーHMを基準に鏡対称となるように分岐させて第1撮像素子SD1及び第2撮像素子SD2に入射させている。これにより、第1撮像素子SD1及び第2撮像素子SD2のうち一方における画素ごとのノイズ除去判定結果を、他方の対応画素についての取捨選択に利用することが可能となる。
また、ここで、第1フィルタFL1及び第2フィルタFL2は、図20に示すような特性を有しているものとする。図20(A)は、第1フィルタFL1の分光特性について一例を示すグラフであり、図20(B)は、第2フィルタFL2の分光特性について一例を示すグラフである。この場合、第1フィルタFL1は、対象波長帯域の成分(赤色光)に対する分光感度の低いものとなっている。一方、第2フィルタFL2は、対象波長帯域の成分(赤色光)に対する分光感度の高いものとなっている。言い換えると、第1フィルタFL1は、特殊信号発光機200から発光される光と同等の波長帯域の成分以外の成分を透過させるものとなっている。一方、第2フィルタFL2は、特殊信号発光機200から発光される光と同等の波長帯域の成分のみを透過させるものとなっている。
さらに、第1撮像素子SD1は、図21のグラフに示すような分光特性を有している。すなわち、広く全色について高い分光感度を有している。典型的にはモノクロカメラとすることが考えられる。なお、第1実施形態等の場合と同様、カラー画像を形成できる受光素子で構成するものとしてもよい。これにより、第1フィルタFL1を通過した成分を確実に捉えることができる。特に、モノクロカメラとした場合、カラー用のカメラの場合に必要となる異なる色の輝度での合算処理を要しないことで、輝度の算出の迅速性を図ることが期待される。一方、第2撮像素子SD2については、対象波長帯域の成分(赤色光)について高い分光感度を有していればよく、赤色光のみについて高い分光感度を有する受光素子でもよく、第1実施形態等の場合と同様、カラー画像を形成できる受光素子で構成するものとしてもよい。
以上において、図18(A)に示すノイズ除去部320nは、第1フィルタFL1を透過した成分を設定した閾値以上検出した領域を、ノイズ領域NSとして除去し、残った領域における第2フィルタFLの透過成分について連続画像の輝度を抽出している。すなわち、本実施形態では、撮像部310のうち、第1撮像部310Aにおいて、対象波長帯域以外の成分すなわち対象外波長帯域を画素単位で検出することで、ノイズ領域NSを特定し、第1撮像部310Aと第2撮像部310Bとが画素単位で位置合わせをしていることを利用して、第1撮像部310Aで特定されたノイズ領域NS以外の領域について、第2撮像部310Bで検出された対象波長帯域の成分(赤色光)についての輝度を算出することで、目的を達成している。
以下、図22のフローチャートを参照して、本実施形態に係る特殊信号検出装置の動作のうち、ノイズ除去部320nにおけるノイズ除去についての一例を説明する。なお、本実施形態に係る特殊信号検出装置の動作全体については、図7を参照して説明した場合と同様であるので省略する。すなわち、図22は、図7のうち、ステップS2における処理の具体的一態様について説明するためのフローチャートである。なお、連続画像を構成する各画像について同様の処理を施すことになるため、ここでは、連続画像のうち一枚の画像についての処理、すなわち1つのフレームについての処理のみを説明する。
まず、ノイズ除去部320nは、初期化処理として、一旦輝度合計を0とする(ステップS301)。その上で、まず、撮像部10から入力された映像の1つのフレームに相当する画像データを構成している各画像について、一の画素(画素位置)を指定する(ステップS302)。この場合、例えば、第1撮像部310A(第1撮像素子SD1)での画素位置を定めると必然的に対応する第2撮像部310B(第2撮像素子SD2)での画素位置が定まる。次に、ノイズ除去部320nは、第1撮像素子SD1の当該画素における全体としての輝度値(全体輝度)が閾値未満であるか否かを確認し(ステップS303)、全体輝度が閾値未満である場合(ステップS303:Yes)、ノイズではないものとし、対応する第2撮像素子SD2の画素の輝度を輝度合計に加算する(ステップS304)。一方、ステップS303の全体輝度が閾値以上である場合(ステップS303:No)、ノイズであるものとし、対応する第2撮像素子SD2の画素の輝度を輝度合計に加算することなく、次のステップへと進む。
上記処理の後、ノイズ除去部320nは、1つのフレームを構成する画素全てについて上記輝度合計に関する記録を行ったか否かを確認し、未記録の画素が残っている場合(ステップS305:No)、残っている画素について同様の処理を行うべく、ステップS302〜S305の動作を行い、未記録の画素が無くなるまで繰り返す。一方、1つのフレームを構成する画素全てについて上記輝度合計に関する記録を行ったと判断した場合(ステップS305:Yes)、ノイズ除去部320nは、一連の処理を終了する。この場合、処理を終了した時点での輝度合計が、1つのフレームの全体のうちノイズ除去された領域での赤色光(R)の輝度の積算結果を示すものとなる。つまり、上記では、ノイズ除去とともに除去された範囲全体での赤色光(R)の輝度を算出している。したがって、連続画像を構成する各フレームについて同様の処理を施すことで、ノイズ領域NSを除去した連続画像の輝度の周波数に基づく所定周期の点滅検出が可能となる。すなわち、図7のステップS3の処理、さらには、ステップS3以後の処理が可能となる。
以上のように、本実施形態に係る特殊信号検出装置においても、2つの撮像部310A,310Bを設けた撮像部310により取得された連続画像について、ノイズ除去部320nが、対象外波長帯域の成分検出に基づきノイズ領域を除去し、ノイズ領域NSを除去した連続画像の輝度の周波数に基づき所定周期の点滅を検出することで、ノイズによる不規則な変動が影響しても、これを的確に除去し、検出すべき特殊信号発光機200の点滅動作の有無すなわち検出すべき信号の有無を的確かつ確実に判断できる。また、本実施形態の場合、撮像部310A,310Bに設ける第1及び第2フィルタFL1,FL2における分光感度を、特殊信号発光機200から発光される光の特性に応じて適切なものを採用することで、より高精度なノイズ除去が可能となる。
なお、第1撮像部310Aと第2撮像部310Bとの位置合わせとして示した図19の配置は、一例であり、上記のよう撮像位置の対応付けが可能であれば、これに限らず種々の対応とすることができる。
〔その他〕
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
まず、上記では、特殊信号発光機200において、特定の赤色光波長帯域の発光がなされるものとしているが、発光させる波長帯域については、これに限らず、例えば緑色光波長帯域の光を発光する場合も考えられる。なお、この場合、対象外波長帯域は、当然に緑色光波長帯域となる。
また、上記ではノイズ領域NSの特定を画素単位で行っているが、これに限らず、例えばある程度の大きさを持った領域単位でノイズ領域NSの特定を行うものとしてもよい。
また、上記では、第2実施形態において、対象外波長帯域として青色光波長帯域を透過させるものとしているが、これに限らず、対象外波長帯域として緑色光波長帯域を採用してもよい。
また、第2及び第3実施形態において、各フィルタFL,FL1,FL2による対象波長帯域の抽出(あるいは排除)の精度をより高めるべく、対象波長帯域に関する半値幅をより狭めるものとしてもよい。
また、各種閾値についても、種々定められ、例えば太陽光であっても、朝晩や昼間等時間帯によってその特性分布が変化する可能性もあり、一方で、列車TRが通過するルートや時間に応じて、影響するノイズの特性も異なり、これらに対応させるようにする、といったことも考えられる。
また、上記では、専用走行路として線路において、移動体としての鉄道の列車に特殊信号検出装置100を搭載した場合について説明しているが、これに限らず、例えば、専用走行路としての軌道(新設軌道、併用軌道)を走行する車両(移動体)である路面電車、専用走行路としての専用道路を走行する車両であるバスについて、当該専用道路脇等に設けられた特殊信号発光機200に対して特殊信号検出装置100を設けることも可能である。
また、列車等の移動体において、障害物の有無の検知のためといった各種検知のためにカメラを設けている場合には、当該カメラを撮像部10として利用してもよい。すなわち、各種検知のために設けたカメラにおいて取得された画像情報を利用して、本願構成による特殊信号発光機200での発光検知を行ってもよい。例えば障害物検知のカメラで撮像したデータのうち、特殊信号検出装置100による検出対象区間における画像データのみ利用する、といった態様が考えられる。また、撮像部10については、カメラとしているが、データ抽出に必要な光の受光が可能であれば、種々のものが適用でき、例えばレンズを有さず撮像素子(受光素子)のみで構成するといったことも考えられる。
また、例えば図1において一部拡大して例示した特殊信号検出装置100を構成する各部を、例えば一つの筐体にユニット化したひとまとまりの装置として、既存の列車等の移動体に、後から取り付けることができるようにしてもよい。