JP4305073B2 - パンタグラフ支障物検出方法及び装置 - Google Patents
パンタグラフ支障物検出方法及び装置 Download PDFInfo
- Publication number
- JP4305073B2 JP4305073B2 JP2003193371A JP2003193371A JP4305073B2 JP 4305073 B2 JP4305073 B2 JP 4305073B2 JP 2003193371 A JP2003193371 A JP 2003193371A JP 2003193371 A JP2003193371 A JP 2003193371A JP 4305073 B2 JP4305073 B2 JP 4305073B2
- Authority
- JP
- Japan
- Prior art keywords
- pantograph
- image
- obstacle
- optical flow
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 36
- 238000012545 processing Methods 0.000 claims description 59
- 230000003287 optical effect Effects 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 29
- 238000005259 measurement Methods 0.000 description 19
- 230000036544 posture Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000009434 installation Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、走行する電車等の車両に設置したＩＴＶカメラでパンタグラフ舟体付近の映像を取得し、複数の連続画像から画像処理によって、パンタグラフに接近する支障物（以下、パンタグラフ支障物あるいは単に支障物と呼ぶ）を検出する技術に関する。
【０００２】
【従来の技術】
通常、電車線設備の構造物は所定の位置に設置されている。しかし、強風や振り子式車両などにおけるパンタグラフの動的な傾斜等によって、パンタグラフに接近又は接触するものをパンタグラフ支障物と呼ぶ。例えばトロリ線を固定する曲線引き金具等の支持物が車両に異常接近したり、自車両とは関係ないトロリ線が近接すると、これらが支障物となり、車両の走行に支障をきたす。
【０００３】
従来より、これら支障物の検出手段として、検測車や車両限界測定車などと呼ばれる専用の測定車（以降、測定車と呼ぶ）が知られており、営業運転の合間を縫って一定周期毎に運用されている。
【０００４】
これら測定車には、車体の傾きやレールの変位等、各種状態を測定するセンサが多数取り付けられており、そのセンサの１つとして、パンタグラフ支障物の検出センサがある。
【０００５】
パンタグラフ支障物のセンサには、接触センサ、レーザセンサ、光切断センサなどがあり、それぞれ以下の特徴がある。
(1) 接触センサは、耐電圧の高いセンサを直接パンタグラフに取り付け、支障物がパンタグラフに接触したかどうかを測定するセンサである。測定車の一種には、金属棒を測定車の周囲に針ネズミのように取り付け、物理的な接触を測定するものもある。
(2) レーザセンサは、レーザの照射形状によりスポット式レーザ、スキャン式レーザ、レンズ型レーザ（扇形に照射）などがあり、反射波の位相差や照射したレーザ形状の変形により測定対象までの絶対的な距離を測定するセンサである。
(3) 光切断センサは、縞状の光を測定対象に投光し、測定対象の凹凸に沿った縞の変形を受光して、測定対象面の３次元的な形状を測定するセンサである。
【０００６】
【特許文献１】
特開平６−２７３１２３号公報
【特許文献２】
特願平６−１４９２４６号
【特許文献３】
特願平１１−３２２２３２号
【特許文献４】
特願２０００−３３２８４１号
【０００７】
【発明が解決しようとする課題】
測定車は本来、経済的且つ効率的な運用が要求されているために、必要最低限の測定頻度で運用され、且つ、測定車台数の余裕がない。従って、緊急以外、あるいは、当初予定のスケジュール以外では測定車を使用できず、測定車による支障物検出は制限が多い。
【０００８】
接触センサを用いた支障物検出は信頼性が極めて高いが、下記の問題点がある。
・接触センサが接触するまで支障物の存在が分からない。
・測定車が高速走行で測定すると、支障物と接触センサが高速で衝突する。従って、２次障害を発生させないためにも、測定車は高速で走行できない。
【０００９】
レーザセンサを用いた支障物検出には、下記の問題点がある。
・スポット式レーザとスキャン式レーザは、測定点までの距離を１点だけ測定するセンサであるので、高速走行する測定車からはパンタグラフの近傍を広範囲に測定することができない。
・レンズ型レーザ（扇形照射）は、通常 CLASS-C以上（JIS-C-6802規格）の強いレーザなので、人が立ち入る場所では、安全上使用できない。
【００１０】
光切断センサの使用は、センサから投光された光が直射日光下では見えないため、夜間に限られる。従って、支障物の発生が予測される熱膨張の著しい真夏の日中に、使用できない。
【００１１】
従って、本発明の課題は、上記問題点を解消するパンタグラフ支障物検出技術を提供することである。
【００１４】
【課題を解決するための手段】
第１の発明は、車両に設置したＩＴＶカメラでパンタグラフ近傍の映像を取得し、この映像を車両内又は車両外に設置した画像処理装置で画像処理することでパンタグラフ支障物を検知するパンタグラフ支障物検出方法において、画像処理装置では、ＩＴＶカメラからパンタグラフ付近の連続画像を取得し、前記連続画像の数フレーム隔てた画像間において構造物の特徴点の対応付けを行うと共に、対応付けした特徴点間の距離の偏差が極端に大きいものを除外して、対応付けした特徴点の対を複数求め、求めた特徴点の対により、ＩＴＶカメラの姿勢を求め、更に、前記特徴点の位置を求め、この位置とパンタグラフの位置からパンタグラフ支障物を検知することを特徴とするパンタグラフ支障物検出方法である。
【００１５】
第２の発明は、第１の発明において、画像処理装置では、画像中でオプティカルフローを計算すると共に、得られたオプティカルフローを実空間の水平面に投影し、オプティカルフローの長さの中央値から離れたオプティカルフローを除外して、車両速度に見合ったオプティカルフローを選択し、当該オプティカルフローにより車両進行方向に合った移動体の領域についてパンタグラフ支障物を検知することを特徴とするパンタグラフ支障物検出方法である。
【００１６】
第３の発明は、第１または第２の発明において、画像処理装置では、近接レンズを入れたＩＴＶカメラにより、パンタグラフ付近に存在する物体だけに焦点を合わせ、それ以外の焦点がぼけた画像を取得し、当該画像からパンタグラフ付近だけに存在する物体のエッジを得ることにより、パンタグラフ支障物を検知することを特徴とするパンタグラフ支障物検出方法である。
【００１９】
第４の発明は、パンタグラフ近傍の映像を取得する車両に設置したＩＴＶカメラと、このＩＴＶカメラで取得した映像を画像処理することでパンタグラフ支障物を検知する車両内又は車両外に設置した画像処理装置を備えるパンタグラフ支障物検出装置において、前記画像処理装置は、パンタグラフ付近の連続画像を取得し、前記連続画像の数フレーム隔てた画像間において構造物の特徴点の対応付けを行うと共に、対応付けした特徴点間の距離の偏差が極端に大きいものを除外して、対応付けした特徴点の対を複数求め、求めた特徴点の対により、ＩＴＶカメラの姿勢を求め、更に、前記特徴点の位置を求め、この位置とパンタグラフの位置からパンタグラフ支障物を検知する機能を有することを特徴とするパンタグラフ支障物検出装置である。
【００２０】
第５発明は、第４の発明において、前記画像処理装置は、画像中でオプティカルフローを計算すると共に、得られたオプティカルフローを実空間の水平面に投影し、オプティカルフローの長さの中央値から離れたオプティカルフローを除外して、車両速度に見合ったオプティカルフローを選択し、当該オプティカルフローにより車両進行方向に合った移動体の領域についてパンタグラフ支障物を検知する機能を有することを特徴とするパンタグラフ支障物検出装置である。
【００２１】
第６の発明は、第４または第５の発明において、前記画像処理装置は、近接レンズを入れたＩＴＶカメラにより、パンタグラフ付近に存在する物体だけに焦点を合わせ、それ以外の焦点がぼけた画像を取得し、当該画像からパンタグラフ付近だけに存在する物体のエッジ得ることにより、パンタグラフ支障物を検知する機能を有することを特徴とするパンタグラフ支障物検出装置である。
【００２２】
【発明の実施の形態】
以下、図１〜図９を参照して、本発明を説明する。
【００２３】
［発明の基本的な考え方］
本発明の基本的な考え方は、図１に示すように、測定車に限らず任意の車両１、例えば営業車の屋根２にＩＴＶカメラ３を設置し、このＩＴＶカメラ３でパンタフラフ４付近の映像を取得し、この映像を車両１に設置した画像処理部５（あるいは車両外に設置した画像処理部）で画像処理することにより、パンタグラフ支障物を検知することである。
【００２４】
［実施形態例１：オンライン処理対応］
図２に本発明の実施形態例１に係るパンタグラフ支障物検出装置の構成を示し、図３にその画像処理のフローチャートを示す。
【００２５】
図２に示すパンタグラフ支障物検出装置は、１台のＩＴＶカメラ３と、画像処理部２から構成される。ＩＴＶカメラ３は、パンタグラフ付近を撮影するために例えば営業車の屋根２に設置されている。画像処理部５は、ＩＴＶカメラ３の映像出力をオンラインで画像処理することによりパンタグラフ支障物を検知する。画像処理部５は検知結果を結果記録部６に出力し、記録する。画像処理部５及び結果記録部６はオンライン処理のため、車両内に設置されている。
【００２６】
画像処理部５における画像処理の流れ（初期設定、画像入力、対象点検出、連続点検出、カメラ姿勢計算、ステレオ計測、支障物判定、画像終了）を、図３を参照して以下に説明する。
【００２７】
(1) 初期設定（ステップＳ１）として、あらかじめ、車両の進行方向、構造物７の直径Ｄ（図１参照）、曲線引き金具８の長さＷ（図１参照）、据付時のＩＴＶカメラ３のパラメータ（焦点距離、回転角αβγ、位置ｘｙｚ、カメラ画素数、カメラ受光素子寸法）を設定する。また、図４に示すようなＩＴＶカメラ３からパンタグラフ４までの距離テーブルｆを設定する。図４に関し、ｖを画像上での車両１とパンタグラフ４との間の距離とすると、ＩＴＶカメラ３とパンタグラフ４との実際の距離ＺはＺ＝ｆ（ｖ）で与えられるので、これをテーブル化して、距離テーブルｆを設定する。また、カメラパラメータで決まるパンタグラフ付近に画像中で見える構造物７の直径ｄや曲線引き金具８の長さｗを求めておく。更に、カメラパラメータと車両進行方向とで決まる種々の物体移動方向を図５に示す矢印９のように求めておく。図５に関し、物体移動方向９はエピポーラ線と呼ばれ、図では５本であるが、画像中には無数あり、例えば８本設定される。ここで、回転角α、β、γと位置ｘ、ｙ、ｚはＩＴＶカメラ３のカメラ姿勢であり、これらの初期値は据付時に決まるが、車両が走行することによって変化する可能性があり、車両走行時のカメラ姿勢は後述するように計算される。構造物７の直径Ｄや曲線引き金具８の長さＷは実際の寸法（単位：ｍやｍｍなど）であり、ｄやｗは画像上での寸法（単位：ドットや画素数など）である。画像上の直径ｄは、例えば図６に示すように原画像１０から構造物の輪郭線１０Ａを抽出し、上下の輪郭線間の画素数１１をカウントするなど、従来手法で求めることができる。
【００２８】
(2) 画像入力（ステップＳ２）として、ＩＴＶカメラ３から所定の周期で画像を入力する。
【００２９】
(3) 対象点検出（ステップＳ３）として、１枚の画像に対してエッジ検出を行い、図７に示すように、一辺が２ｄ（ｄは構造物の画像上の直径として設定した値）の正方形１２内に縦横エッジが所定の閾値以上存在するかどうか、画像中で探索する。画像全体を探索した結果、縦横エッジが所定の閾値以上存在する正方形をｎ個（ｎ≧８）取得し、それぞれの中心座標(ui,vi) を取得する。縦横エッジが所定の閾値以上存在する正方形の数が８未満であれば、ステップＳ２に戻り次の画像を入力する。ここで、正方形内に縦横エッジが所定の閾値以上存在するかどうかの判定例を図８に示す。輪郭線１３では縦横のエッジが閾値以上存在し、他の輪郭線１４、１５、１６、１７では縦横のエッジが閾値以上存在しないと判定されている。
【００３０】
(4) 連続点検出（ステップＳ４）として、画像中のｎ個（ｎ≧８）の正方形をパターンマッチングにより、前後の数フレームのエピポーラ線（図５の矢印９参照）上で対応点を探索する。そして、最もフレームが離れた対応点の対(ui,vi) ,(ui',vi')を得る。ｉは１からｐとする。なお、対応点の対(ui,vi) ,(ui',vi')を水平面に投影し、対応する点の長さの中央値からある程度離れた対応点は削除する。これは、図９に示すように、点（ui,vi)と点（ui',vi')間の距離ｔの偏差が極端に大きいものは除外し、検出誤差を減らすためである。いずれのフレーム間でも得られた対応点の対の数が８未満（ｎ＜８）ならば、ステップＳ２に戻る。
【００３１】
(5) カメラ姿勢計算 (ステップＳ５) として、ｎ個（ｎ≧８）の対応点の対(ui,vi) ,(ui',vi')で、ＩＴＶカメラ３の姿勢を計算する。複数の点からカメラ姿勢を求める方法は各種知られているが、本実施形態例では、一般的な次の式（１）を使用してカメラ姿勢を計算する。
【００３２】
【数１】
【００３３】
(6) ステレオ測定（ステップＳ６）として、ステップＳ５で得られたカメラ姿勢から、ステップＳ３で得た正方形領域の位置をステレオ計測する。これにより得られる位置は標準化されていて単位がないため、曲線引き金具８の長さＷから単位を計算する。
【００３４】
(7) 支障物判定 (ステップＳ７）として、ステップＳ６でステレオ計測結果と連結するステップＳ３のエッジとパンタグラフ４の形状と距離テーブルｆで、図１０の平面１８に投影し、構造物７等とパンタグラフ４との相対的な離間距離を測定し、所定の管理値より接近している場合は、支障物と判定でき、このときの画像と離間距離と時刻を結果記録部６に記録する。なお、投影平面１８の法線は車両進行方向としている。
【００３５】
(8) 画像終了 (ステップＳ８）として、画像が終了したらステップＳ２の画像入力処理に戻る。
【００３６】
パンタグラフ４の画像中の位置は、例えば以下の手法により検出することができる。
(1) 予め、パンタグラフ４のモデルを登録しておく。
(2) ＩＴＶカメラ３の出力映像から、静止画像を取得する。
(3) 周知のモデルマッチング法により画像中のパンタグラフを検出し、検出したパンタグラフの位置を求める。
【００３７】
あるいは、パンタグラフ４の画像中の位置は、モデルマッチング法の代わりに、パターンマッチング法を使用して、以下のように検出することもできる。
(1) 予め、パンタグラフの濃淡値をパターンとして登録しておく。
(2) カメラの出力映像から、静止画像を取得する。
(3) 周知のパターンマッチング法、例えば正規化相関から上記(2) の静止画像と上記(1) のパターンとがマッチングする座標と角度を求める。この際、パターンマッチングで得られる複数の座標と角度を候補として保存する。
(4) 上記(2) へ戻り、次の静止画像を取得し、上記(3) を実行する。このような処理(4) →(2)(3)を映像出力が終了するまで繰り返す。
(5) 上記(3) で得られた座標のうち、時系列的な統計から特異点を削除したり、あるいは、位置の連続性が取れない座標を削除して、連続した位置を求め出力する。これにより、パンタグラフの位置が測定できる。
【００３８】
以上説明した本発明の実施形態例１では、ＩＴＶカメラ３と支障物までの距離を非接触で測定することができる。また、車両が通常の運転速度で走行していても支障物を検知できるため、振り子式車両など車両の動的な挙動での支障物を検知することができる。また、画像処理を使用するので、レーザセンサのような危険がない。また、画像処理を使用するので、昼夜両方で測定でき、これにより、支障物の発生が予想される熱膨張の著しい真夏の日中でも支障物を検出できる。更に、支障物発生時の画像も同時に記録するので、画像から目視により支障物発生時の状態や支障物発生の原因を推測することができる。
【００３９】
［実施形態例２：オフライン処理対応］
次に、図１１に本発明の実施形態例２に係るパンタグラフ支障物検出装置の構成を示す。本実施形態例２は、上記実施形態例１と目的及びフローチャート (図３) は同じであるが、オフラインで支障物を検出する点が異なる。つまり、図１１に示すように、本実施形態例２のパンタグラフ支障物検出装置は、１台のＩＴＶカメラ３と、画像処理部５と、映像記録部１９から構成される。ＩＴＶカメラ３は、パンタグラフ付近を撮影するために例えば営業車の屋根２に設置されている。映像記録部１９は車両に設置され、ＩＴＶカメラ３の映像出力を録画する。画像処理部５は車両外に設置され、映像再生部２０を備えている。つまり、画像処理部５は、映像記憶部１９で録画されたＩＴＶカメラ３の映像出力を映像再生部２０で再生して取得し、オフラインで画像処理することによりパンタグラフ支障物を検知する。画像処理部５は検知結果を結果記録部６に出力し、記録する。ＩＴＶカメラ３と映像記録部１９は車載部を構成し、画像処理部５、映像再生部２０及び結果記録部６は測定部を構成している。
【００４０】
画像処理部５における画像処理の流れは、図３を参照して説明した実施形態例１と基本的に同じである、要点を示せば、以下の通りである。
(1) 初期設定（ステップＳ１）として、予め、車両の進行方向、構造物７の直径Ｄ、曲線引き金具８の長さＷ、据付時のＩＴＶカメラ３のパラメータを設定する。また、図４に示すような距離テーブルｆを設定する。また、カメラパラメータで決まるパンタグラフ付近に画像中で見える構造物７の直径ｄや曲線引き金具８の長さｗを求めておく。更に、カメラパラメータと車両進行方向とで決まる種々の物体移動方向を図５に示す矢印９のように求めておく。
(2) 画像入力（ステップＳ２）として、映像再生部２０から映像記録部１９で記録したＩＴＶカメラ３による画像を所定の周期で入力する。
(3) 対象点検出（ステップＳ３）として、１枚の画像に対してエッジ検出を行い、図７に示すように、一辺が２ｄ（ｄは構造物の画像上の直径として設定した値）の正方形１２内に縦横エッジが所定の閾値以上存在するかどうか、画像中で探索する。画像全体を探索した結果、縦横エッジが所定の閾値以上存在する正方形をｎ個（ｎ≧８）取得し、それぞれの中心座標(ui,vi) を取得する。縦横エッジが所定の閾値以上存在する正方形の数が８未満であれば、ステップＳ２に戻り次の画像を入力する。
(4) 連続点検出（ステップＳ４）として、画像中のｎ個（ｎ≧８）の正方形をパターンマッチングにより、前後の数フレームのエピポーラ線上で対応点を探索する。そして、最もフレームが離れた対応点の対(ui,vi) ,(ui',vi')を得る。対応点の対(ui,vi) ,(ui',vi')を水平面に投影し、対応する点の長さの中央値からある程度離れた対応点は削除する。
(5) カメラ姿勢計算 (ステップＳ５) として、ｎ個（ｎ≧８）の対応点の対(ui,vi) ,(ui',vi')で、ＩＴＶカメラ３の姿勢を計算する。
(6) ステレオ測定（ステップＳ６）として、ステップＳ５で得られたカメラ姿勢から、ステップＳ３で得た正方形領域の位置をステレオ計測する。
(7) 支障物判定 (ステップＳ７）として、ステップＳ６でステレオ計測結果と連結するステップＳ３のエッジとパンタグラフ４の形状と距離テーブルｆで、図１０の投影平面１８に投影し、構造物７等とパンタグラフ４との相対的な離間距離を測定し、所定の管理値より接近している場合は、支障物と判定し、このときの画像と離間距離と時刻を結果記録部６に記録する。
(8) 画像終了 (ステップＳ８）として、画像が終了したらステップＳ２の画像入力処理に戻る。
【００４１】
以上説明した本発明の実施形態例２では、画像処理装置５が車両外に設置されるので、車両側の装置設置面積が小さいという利点がある。
【００４２】
［実施形態例３：オプティカルフロー処理の追加）］
本実施形態例３は、実施形態例１及び実施形態例２と比較すると、装置構成及び目的は同じであるが、図１２のフローチャートに示すように、画像処理にオプティカルフロー処理を追加した点が異なる。装置構成自体はオンライン処理のもの (図２）でも、オフライン処理のもの (図１１）でもよい。
【００４３】
図２または図１１における画像処理部５での画像処理の流れを、図１２を参照して説明する。図３とした実施形態例１と同じで処理については説明を簡略化する。
(1) 初期設定（ステップＳ１１）として、図３のステップＳ１と同様、予め、車両の進行方向、構造物７の直径Ｄ、曲線引き金具８の長さＷ、据付時のＩＴＶカメラ３のパラメータを設定する。また、図４に示すような距離テーブルｆを設定する。また、カメラパラメータで決まるパンタグラフ付近に画像中で見える構造物７の直径ｄや曲線引き金具８の長さｗを求めておく。更に、カメラパラメータと車両進行方向とで決まる種々の物体移動方向を図５に示す矢印９のように求めておく。
(2) 画像入力（ステップＳ１２）として、図３のステップＳ２と同様、ＩＴＶカメラ３による画像を所定の周期で入力する。
(3) オプティカルフロー処理 (ステップＳ１３）として、画像中で移動体が存在する領域を検出し、この動きのある領域に、次のステップＳ１４の処理で対象点検出を行わせる。なお、動きのある領域を検出するに際し、先ず画像中でオプティカルフローを計算し、実験的に求めた所定の長さのオプティカルフローを抽出し、抽出されたオプティカルフローの発生箇所を移動体の存在領域つまり動きのある領域とする。例えば図５の画像からオプティカルフローを求めると、空や雲の部分はオプティカルフローは発生しないし、遠方に存在する電力線柱やき電線は短い長さのオプティカルフローが発生する。但し、車両上方を通過する構造物は、所定の車両速度に見合った長さのオプティカルフローが発生するので、オプティカルフローを所定の長さで選択し、この箇所を移動体の存在領域とする。なお、得られたオプティカルフローはこれを水平面に投影し、長さの中央値から離れた長さのオプティカルフローは削除する。これは、実空間のオプティカルフローの長さで評価するためであり、画像上ではほぼ同じ長さのオプティカルフローであっても、実空間の水平面に投影すると画像上方のオプティカルフローは短く、画像下方のオプティカルフローは長く投影されるので、投影しないと実空間の物体の動く速度で評価できないという不具合が生じる。
(4) 対象点検出（ステップＳ１４）として、図３のステップＳ３と同様であるが、１枚の画像に対して、オプティカルフロー処理で検出した動きのある領域に限定してエッジ検出を行い、図７に示すように、一辺が２ｄ（ｄは構造物の画像上の直径として設定した値）の正方形１２内に縦横エッジが所定の閾値以上存在するかどうか、動きのある領域中で探索する。この領域全体を探索した結果、縦横エッジが所定の閾値以上存在する正方形をｎ個（ｎ≧８）取得し、それぞれの中心座標(ui,vi) を取得する。縦横エッジが所定の閾値以上存在する正方形の数が８未満であれば、ステップＳ１２に戻り次の画像を入力する。
(5) 連続点検出（ステップＳ１５）として、図３のステップＳ４と同様であるが、動きのある領域中のｎ個（ｎ≧８）の正方形をパターンマッチングにより、前後の数フレームのエピポーラ線上で対応点を探索する。そして、最もフレームが離れた対応点の対(ui,vi) ,(ui',vi')を得る。対応点の対(ui,vi) ,(ui',vi')を水平面に投影し、対応する点の長さの中央値からある程度離れた対応点は削除する。
(6) カメラ姿勢計算 (ステップＳ１６) として、図３のステップＳ５と同様、ｎ個（ｎ≧８）の対応点の対(ui,vi) ,(ui',vi')で、ＩＴＶカメラ３の姿勢を計算する。
(7) ステレオ測定（ステップＳ１７）として、図３のステップＳ６と同様、ステップＳ１６で得られたカメラ姿勢から、ステップＳ１４で得た正方形領域の位置をステレオ計測する。
(8) 支障物判定 (ステップＳ１８）として、図３のステップＳ７と同様、ステップＳ６でステレオ計測結果と連結するステップＳ１４のエッジとパンタグラフ４の形状と距離テーブルｆで、図１０の平面１８に投影し、構造物７等とパンタグラフ４との相対的な離間距離を測定し、所定の管理値より接近している場合は、支障物と判定でき、このときの画像と離間距離と時刻を結果記録部６に記録する。
(9) 画像終了 (ステップＳ１９）として、図３のステップＳ８と同様、画像が終了したらステップＳ１２の画像入力処理に戻る。
【００４４】
本実施形態例３ではオプティカルフロー処理の追加によって対象点検出の領域を限定したので、パンタグラフ支障物検出の処理が簡素化するう。通常オプティカルフローを求める計算量は多いが、本実施形態例３では図５のエピポーラ線９上にオプティカルフロー探索を制約できるため、少ない計算量でオプティカルフローが得られる。また、得られるオプティカルフローに誤りが少ない。また、本実施形態例３では、支障物以外の移動体、例えば電車線柱、き電線などを取り除くことができ、図３に示した処理に比べてロバストに支障物を検知できる。
【００４５】
［実施形態例４：近接レンズの追加）］
本実施形態例４では、実施形態例１、実施形態例２及び実施形態例３と比較すると、目的及びフローチャート (図３、図１２) は同じであるが、ＩＴＶカメラ３に近接レンズ (図示省略）を入れた点が異なる。詳しくは、ＩＴＶカメラとそのレンズとの間に近接リング (近接レンズ）を入れている。装置構成自体はオンライン処理のもの (図２）でも、オフライン処理のもの (図１１）でもよい。
【００４６】
ＩＴＶカメラ３に被写界深度が浅くなる近接リングを入れて使用すると、パンタグラフ４付近に存在する物体だけに焦点が合い、それ以外は焦点がぼけるので、このときの画像をエッジ検出するとパンタグラフ４付近だけに存在するエッジが得られる。従って、本実施形態例４は、ＩＴＶカメラ３からパンタグラフ４までの距離が短いときに有効で、パンタグラフ４付近だけに存在する支障物を検出できるという利点がある。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、下記の効果がある。
・画像処理を使用するので、非接触でパンタグラフ支障物を検出できる。
・通常の運転速度で支障物を検出できるため、振り子式車両など動的にな挙動条件でも支障物検出ができる。
・画像処理を使用するので、レーザセンサのような危険がない。
・画像処理を使用するので、昼夜両方で支障物を検出できる。これにより、支障物の発生が予想される熱膨張の著しい真夏の日中でも支障物を検出できる。
・画像処理部を車両外に設置する場合は、車両側の装置設置面積が小さい。
・オプティカルフォロー処理を行う場合は、ロバストに支障物を検出できる。
・ＩＴＶカメラに近接レンズを入れる場合は、パンタグラフ付近にだけに存在する支障物を検出できる。
【図面の簡単な説明】
【図１】本発明の全体図。
【図２】本発明の実施形態例１に係る装置構成を示す図。
【図３】本発明の実施形態例１に係る画像処理のフローを示す図。
【図４】距離テーブルの説明図。
【図５】エピポーラ線の例を示す面。
【図６】構造物の画像上の直径を求める説明図。
【図７】正方形探索の説明図。
【図８】正方形内に縦横エッジが閾値以上存在するかどうかの判定例を示す図。
【図９】距離偏差が大きい点の除外を説明する図。
【図１０】支障物とパンタグラフとの離間距離を測定するための投影平面を示す図。
【図１１】本発明の実施形態例２に係る装置構成を示す図。
【図１２】本発明の実施形態例３に係る画像処理のフローを示す図。
【符号の説明】
１ 車両
２ 屋根
３ ＩＴＶカメラ
４ パンタグラフ
５ 画像処理部
６ 結果記録部
７ 構造物
８ 曲線引き金具
９ エピポーラ線
１０ 原画像
１０Ａ、１３、１４、１５、１６、１７ 輪郭線
１１ 画素数
１２ 正方形
１８ 投影平面
１９ 映像記録部
２０ 映像再生部
【発明の属する技術分野】
本発明は、走行する電車等の車両に設置したＩＴＶカメラでパンタグラフ舟体付近の映像を取得し、複数の連続画像から画像処理によって、パンタグラフに接近する支障物（以下、パンタグラフ支障物あるいは単に支障物と呼ぶ）を検出する技術に関する。
【０００２】
【従来の技術】
通常、電車線設備の構造物は所定の位置に設置されている。しかし、強風や振り子式車両などにおけるパンタグラフの動的な傾斜等によって、パンタグラフに接近又は接触するものをパンタグラフ支障物と呼ぶ。例えばトロリ線を固定する曲線引き金具等の支持物が車両に異常接近したり、自車両とは関係ないトロリ線が近接すると、これらが支障物となり、車両の走行に支障をきたす。
【０００３】
従来より、これら支障物の検出手段として、検測車や車両限界測定車などと呼ばれる専用の測定車（以降、測定車と呼ぶ）が知られており、営業運転の合間を縫って一定周期毎に運用されている。
【０００４】
これら測定車には、車体の傾きやレールの変位等、各種状態を測定するセンサが多数取り付けられており、そのセンサの１つとして、パンタグラフ支障物の検出センサがある。
【０００５】
パンタグラフ支障物のセンサには、接触センサ、レーザセンサ、光切断センサなどがあり、それぞれ以下の特徴がある。
(1) 接触センサは、耐電圧の高いセンサを直接パンタグラフに取り付け、支障物がパンタグラフに接触したかどうかを測定するセンサである。測定車の一種には、金属棒を測定車の周囲に針ネズミのように取り付け、物理的な接触を測定するものもある。
(2) レーザセンサは、レーザの照射形状によりスポット式レーザ、スキャン式レーザ、レンズ型レーザ（扇形に照射）などがあり、反射波の位相差や照射したレーザ形状の変形により測定対象までの絶対的な距離を測定するセンサである。
(3) 光切断センサは、縞状の光を測定対象に投光し、測定対象の凹凸に沿った縞の変形を受光して、測定対象面の３次元的な形状を測定するセンサである。
【０００６】
【特許文献１】
特開平６−２７３１２３号公報
【特許文献２】
特願平６−１４９２４６号
【特許文献３】
特願平１１−３２２２３２号
【特許文献４】
特願２０００−３３２８４１号
【０００７】
【発明が解決しようとする課題】
測定車は本来、経済的且つ効率的な運用が要求されているために、必要最低限の測定頻度で運用され、且つ、測定車台数の余裕がない。従って、緊急以外、あるいは、当初予定のスケジュール以外では測定車を使用できず、測定車による支障物検出は制限が多い。
【０００８】
接触センサを用いた支障物検出は信頼性が極めて高いが、下記の問題点がある。
・接触センサが接触するまで支障物の存在が分からない。
・測定車が高速走行で測定すると、支障物と接触センサが高速で衝突する。従って、２次障害を発生させないためにも、測定車は高速で走行できない。
【０００９】
レーザセンサを用いた支障物検出には、下記の問題点がある。
・スポット式レーザとスキャン式レーザは、測定点までの距離を１点だけ測定するセンサであるので、高速走行する測定車からはパンタグラフの近傍を広範囲に測定することができない。
・レンズ型レーザ（扇形照射）は、通常 CLASS-C以上（JIS-C-6802規格）の強いレーザなので、人が立ち入る場所では、安全上使用できない。
【００１０】
光切断センサの使用は、センサから投光された光が直射日光下では見えないため、夜間に限られる。従って、支障物の発生が予測される熱膨張の著しい真夏の日中に、使用できない。
【００１１】
従って、本発明の課題は、上記問題点を解消するパンタグラフ支障物検出技術を提供することである。
【００１４】
【課題を解決するための手段】
第１の発明は、車両に設置したＩＴＶカメラでパンタグラフ近傍の映像を取得し、この映像を車両内又は車両外に設置した画像処理装置で画像処理することでパンタグラフ支障物を検知するパンタグラフ支障物検出方法において、画像処理装置では、ＩＴＶカメラからパンタグラフ付近の連続画像を取得し、前記連続画像の数フレーム隔てた画像間において構造物の特徴点の対応付けを行うと共に、対応付けした特徴点間の距離の偏差が極端に大きいものを除外して、対応付けした特徴点の対を複数求め、求めた特徴点の対により、ＩＴＶカメラの姿勢を求め、更に、前記特徴点の位置を求め、この位置とパンタグラフの位置からパンタグラフ支障物を検知することを特徴とするパンタグラフ支障物検出方法である。
【００１５】
第２の発明は、第１の発明において、画像処理装置では、画像中でオプティカルフローを計算すると共に、得られたオプティカルフローを実空間の水平面に投影し、オプティカルフローの長さの中央値から離れたオプティカルフローを除外して、車両速度に見合ったオプティカルフローを選択し、当該オプティカルフローにより車両進行方向に合った移動体の領域についてパンタグラフ支障物を検知することを特徴とするパンタグラフ支障物検出方法である。
【００１６】
第３の発明は、第１または第２の発明において、画像処理装置では、近接レンズを入れたＩＴＶカメラにより、パンタグラフ付近に存在する物体だけに焦点を合わせ、それ以外の焦点がぼけた画像を取得し、当該画像からパンタグラフ付近だけに存在する物体のエッジを得ることにより、パンタグラフ支障物を検知することを特徴とするパンタグラフ支障物検出方法である。
【００１９】
第４の発明は、パンタグラフ近傍の映像を取得する車両に設置したＩＴＶカメラと、このＩＴＶカメラで取得した映像を画像処理することでパンタグラフ支障物を検知する車両内又は車両外に設置した画像処理装置を備えるパンタグラフ支障物検出装置において、前記画像処理装置は、パンタグラフ付近の連続画像を取得し、前記連続画像の数フレーム隔てた画像間において構造物の特徴点の対応付けを行うと共に、対応付けした特徴点間の距離の偏差が極端に大きいものを除外して、対応付けした特徴点の対を複数求め、求めた特徴点の対により、ＩＴＶカメラの姿勢を求め、更に、前記特徴点の位置を求め、この位置とパンタグラフの位置からパンタグラフ支障物を検知する機能を有することを特徴とするパンタグラフ支障物検出装置である。
【００２０】
第５発明は、第４の発明において、前記画像処理装置は、画像中でオプティカルフローを計算すると共に、得られたオプティカルフローを実空間の水平面に投影し、オプティカルフローの長さの中央値から離れたオプティカルフローを除外して、車両速度に見合ったオプティカルフローを選択し、当該オプティカルフローにより車両進行方向に合った移動体の領域についてパンタグラフ支障物を検知する機能を有することを特徴とするパンタグラフ支障物検出装置である。
【００２１】
第６の発明は、第４または第５の発明において、前記画像処理装置は、近接レンズを入れたＩＴＶカメラにより、パンタグラフ付近に存在する物体だけに焦点を合わせ、それ以外の焦点がぼけた画像を取得し、当該画像からパンタグラフ付近だけに存在する物体のエッジ得ることにより、パンタグラフ支障物を検知する機能を有することを特徴とするパンタグラフ支障物検出装置である。
【００２２】
【発明の実施の形態】
以下、図１〜図９を参照して、本発明を説明する。
【００２３】
［発明の基本的な考え方］
本発明の基本的な考え方は、図１に示すように、測定車に限らず任意の車両１、例えば営業車の屋根２にＩＴＶカメラ３を設置し、このＩＴＶカメラ３でパンタフラフ４付近の映像を取得し、この映像を車両１に設置した画像処理部５（あるいは車両外に設置した画像処理部）で画像処理することにより、パンタグラフ支障物を検知することである。
【００２４】
［実施形態例１：オンライン処理対応］
図２に本発明の実施形態例１に係るパンタグラフ支障物検出装置の構成を示し、図３にその画像処理のフローチャートを示す。
【００２５】
図２に示すパンタグラフ支障物検出装置は、１台のＩＴＶカメラ３と、画像処理部２から構成される。ＩＴＶカメラ３は、パンタグラフ付近を撮影するために例えば営業車の屋根２に設置されている。画像処理部５は、ＩＴＶカメラ３の映像出力をオンラインで画像処理することによりパンタグラフ支障物を検知する。画像処理部５は検知結果を結果記録部６に出力し、記録する。画像処理部５及び結果記録部６はオンライン処理のため、車両内に設置されている。
【００２６】
画像処理部５における画像処理の流れ（初期設定、画像入力、対象点検出、連続点検出、カメラ姿勢計算、ステレオ計測、支障物判定、画像終了）を、図３を参照して以下に説明する。
【００２７】
(1) 初期設定（ステップＳ１）として、あらかじめ、車両の進行方向、構造物７の直径Ｄ（図１参照）、曲線引き金具８の長さＷ（図１参照）、据付時のＩＴＶカメラ３のパラメータ（焦点距離、回転角αβγ、位置ｘｙｚ、カメラ画素数、カメラ受光素子寸法）を設定する。また、図４に示すようなＩＴＶカメラ３からパンタグラフ４までの距離テーブルｆを設定する。図４に関し、ｖを画像上での車両１とパンタグラフ４との間の距離とすると、ＩＴＶカメラ３とパンタグラフ４との実際の距離ＺはＺ＝ｆ（ｖ）で与えられるので、これをテーブル化して、距離テーブルｆを設定する。また、カメラパラメータで決まるパンタグラフ付近に画像中で見える構造物７の直径ｄや曲線引き金具８の長さｗを求めておく。更に、カメラパラメータと車両進行方向とで決まる種々の物体移動方向を図５に示す矢印９のように求めておく。図５に関し、物体移動方向９はエピポーラ線と呼ばれ、図では５本であるが、画像中には無数あり、例えば８本設定される。ここで、回転角α、β、γと位置ｘ、ｙ、ｚはＩＴＶカメラ３のカメラ姿勢であり、これらの初期値は据付時に決まるが、車両が走行することによって変化する可能性があり、車両走行時のカメラ姿勢は後述するように計算される。構造物７の直径Ｄや曲線引き金具８の長さＷは実際の寸法（単位：ｍやｍｍなど）であり、ｄやｗは画像上での寸法（単位：ドットや画素数など）である。画像上の直径ｄは、例えば図６に示すように原画像１０から構造物の輪郭線１０Ａを抽出し、上下の輪郭線間の画素数１１をカウントするなど、従来手法で求めることができる。
【００２８】
(2) 画像入力（ステップＳ２）として、ＩＴＶカメラ３から所定の周期で画像を入力する。
【００２９】
(3) 対象点検出（ステップＳ３）として、１枚の画像に対してエッジ検出を行い、図７に示すように、一辺が２ｄ（ｄは構造物の画像上の直径として設定した値）の正方形１２内に縦横エッジが所定の閾値以上存在するかどうか、画像中で探索する。画像全体を探索した結果、縦横エッジが所定の閾値以上存在する正方形をｎ個（ｎ≧８）取得し、それぞれの中心座標(ui,vi) を取得する。縦横エッジが所定の閾値以上存在する正方形の数が８未満であれば、ステップＳ２に戻り次の画像を入力する。ここで、正方形内に縦横エッジが所定の閾値以上存在するかどうかの判定例を図８に示す。輪郭線１３では縦横のエッジが閾値以上存在し、他の輪郭線１４、１５、１６、１７では縦横のエッジが閾値以上存在しないと判定されている。
【００３０】
(4) 連続点検出（ステップＳ４）として、画像中のｎ個（ｎ≧８）の正方形をパターンマッチングにより、前後の数フレームのエピポーラ線（図５の矢印９参照）上で対応点を探索する。そして、最もフレームが離れた対応点の対(ui,vi) ,(ui',vi')を得る。ｉは１からｐとする。なお、対応点の対(ui,vi) ,(ui',vi')を水平面に投影し、対応する点の長さの中央値からある程度離れた対応点は削除する。これは、図９に示すように、点（ui,vi)と点（ui',vi')間の距離ｔの偏差が極端に大きいものは除外し、検出誤差を減らすためである。いずれのフレーム間でも得られた対応点の対の数が８未満（ｎ＜８）ならば、ステップＳ２に戻る。
【００３１】
(5) カメラ姿勢計算 (ステップＳ５) として、ｎ個（ｎ≧８）の対応点の対(ui,vi) ,(ui',vi')で、ＩＴＶカメラ３の姿勢を計算する。複数の点からカメラ姿勢を求める方法は各種知られているが、本実施形態例では、一般的な次の式（１）を使用してカメラ姿勢を計算する。
【００３２】
【数１】
(6) ステレオ測定（ステップＳ６）として、ステップＳ５で得られたカメラ姿勢から、ステップＳ３で得た正方形領域の位置をステレオ計測する。これにより得られる位置は標準化されていて単位がないため、曲線引き金具８の長さＷから単位を計算する。
【００３４】
(7) 支障物判定 (ステップＳ７）として、ステップＳ６でステレオ計測結果と連結するステップＳ３のエッジとパンタグラフ４の形状と距離テーブルｆで、図１０の平面１８に投影し、構造物７等とパンタグラフ４との相対的な離間距離を測定し、所定の管理値より接近している場合は、支障物と判定でき、このときの画像と離間距離と時刻を結果記録部６に記録する。なお、投影平面１８の法線は車両進行方向としている。
【００３５】
(8) 画像終了 (ステップＳ８）として、画像が終了したらステップＳ２の画像入力処理に戻る。
【００３６】
パンタグラフ４の画像中の位置は、例えば以下の手法により検出することができる。
(1) 予め、パンタグラフ４のモデルを登録しておく。
(2) ＩＴＶカメラ３の出力映像から、静止画像を取得する。
(3) 周知のモデルマッチング法により画像中のパンタグラフを検出し、検出したパンタグラフの位置を求める。
【００３７】
あるいは、パンタグラフ４の画像中の位置は、モデルマッチング法の代わりに、パターンマッチング法を使用して、以下のように検出することもできる。
(1) 予め、パンタグラフの濃淡値をパターンとして登録しておく。
(2) カメラの出力映像から、静止画像を取得する。
(3) 周知のパターンマッチング法、例えば正規化相関から上記(2) の静止画像と上記(1) のパターンとがマッチングする座標と角度を求める。この際、パターンマッチングで得られる複数の座標と角度を候補として保存する。
(4) 上記(2) へ戻り、次の静止画像を取得し、上記(3) を実行する。このような処理(4) →(2)(3)を映像出力が終了するまで繰り返す。
(5) 上記(3) で得られた座標のうち、時系列的な統計から特異点を削除したり、あるいは、位置の連続性が取れない座標を削除して、連続した位置を求め出力する。これにより、パンタグラフの位置が測定できる。
【００３８】
以上説明した本発明の実施形態例１では、ＩＴＶカメラ３と支障物までの距離を非接触で測定することができる。また、車両が通常の運転速度で走行していても支障物を検知できるため、振り子式車両など車両の動的な挙動での支障物を検知することができる。また、画像処理を使用するので、レーザセンサのような危険がない。また、画像処理を使用するので、昼夜両方で測定でき、これにより、支障物の発生が予想される熱膨張の著しい真夏の日中でも支障物を検出できる。更に、支障物発生時の画像も同時に記録するので、画像から目視により支障物発生時の状態や支障物発生の原因を推測することができる。
【００３９】
［実施形態例２：オフライン処理対応］
次に、図１１に本発明の実施形態例２に係るパンタグラフ支障物検出装置の構成を示す。本実施形態例２は、上記実施形態例１と目的及びフローチャート (図３) は同じであるが、オフラインで支障物を検出する点が異なる。つまり、図１１に示すように、本実施形態例２のパンタグラフ支障物検出装置は、１台のＩＴＶカメラ３と、画像処理部５と、映像記録部１９から構成される。ＩＴＶカメラ３は、パンタグラフ付近を撮影するために例えば営業車の屋根２に設置されている。映像記録部１９は車両に設置され、ＩＴＶカメラ３の映像出力を録画する。画像処理部５は車両外に設置され、映像再生部２０を備えている。つまり、画像処理部５は、映像記憶部１９で録画されたＩＴＶカメラ３の映像出力を映像再生部２０で再生して取得し、オフラインで画像処理することによりパンタグラフ支障物を検知する。画像処理部５は検知結果を結果記録部６に出力し、記録する。ＩＴＶカメラ３と映像記録部１９は車載部を構成し、画像処理部５、映像再生部２０及び結果記録部６は測定部を構成している。
【００４０】
画像処理部５における画像処理の流れは、図３を参照して説明した実施形態例１と基本的に同じである、要点を示せば、以下の通りである。
(1) 初期設定（ステップＳ１）として、予め、車両の進行方向、構造物７の直径Ｄ、曲線引き金具８の長さＷ、据付時のＩＴＶカメラ３のパラメータを設定する。また、図４に示すような距離テーブルｆを設定する。また、カメラパラメータで決まるパンタグラフ付近に画像中で見える構造物７の直径ｄや曲線引き金具８の長さｗを求めておく。更に、カメラパラメータと車両進行方向とで決まる種々の物体移動方向を図５に示す矢印９のように求めておく。
(2) 画像入力（ステップＳ２）として、映像再生部２０から映像記録部１９で記録したＩＴＶカメラ３による画像を所定の周期で入力する。
(3) 対象点検出（ステップＳ３）として、１枚の画像に対してエッジ検出を行い、図７に示すように、一辺が２ｄ（ｄは構造物の画像上の直径として設定した値）の正方形１２内に縦横エッジが所定の閾値以上存在するかどうか、画像中で探索する。画像全体を探索した結果、縦横エッジが所定の閾値以上存在する正方形をｎ個（ｎ≧８）取得し、それぞれの中心座標(ui,vi) を取得する。縦横エッジが所定の閾値以上存在する正方形の数が８未満であれば、ステップＳ２に戻り次の画像を入力する。
(4) 連続点検出（ステップＳ４）として、画像中のｎ個（ｎ≧８）の正方形をパターンマッチングにより、前後の数フレームのエピポーラ線上で対応点を探索する。そして、最もフレームが離れた対応点の対(ui,vi) ,(ui',vi')を得る。対応点の対(ui,vi) ,(ui',vi')を水平面に投影し、対応する点の長さの中央値からある程度離れた対応点は削除する。
(5) カメラ姿勢計算 (ステップＳ５) として、ｎ個（ｎ≧８）の対応点の対(ui,vi) ,(ui',vi')で、ＩＴＶカメラ３の姿勢を計算する。
(6) ステレオ測定（ステップＳ６）として、ステップＳ５で得られたカメラ姿勢から、ステップＳ３で得た正方形領域の位置をステレオ計測する。
(7) 支障物判定 (ステップＳ７）として、ステップＳ６でステレオ計測結果と連結するステップＳ３のエッジとパンタグラフ４の形状と距離テーブルｆで、図１０の投影平面１８に投影し、構造物７等とパンタグラフ４との相対的な離間距離を測定し、所定の管理値より接近している場合は、支障物と判定し、このときの画像と離間距離と時刻を結果記録部６に記録する。
(8) 画像終了 (ステップＳ８）として、画像が終了したらステップＳ２の画像入力処理に戻る。
【００４１】
以上説明した本発明の実施形態例２では、画像処理装置５が車両外に設置されるので、車両側の装置設置面積が小さいという利点がある。
【００４２】
［実施形態例３：オプティカルフロー処理の追加）］
本実施形態例３は、実施形態例１及び実施形態例２と比較すると、装置構成及び目的は同じであるが、図１２のフローチャートに示すように、画像処理にオプティカルフロー処理を追加した点が異なる。装置構成自体はオンライン処理のもの (図２）でも、オフライン処理のもの (図１１）でもよい。
【００４３】
図２または図１１における画像処理部５での画像処理の流れを、図１２を参照して説明する。図３とした実施形態例１と同じで処理については説明を簡略化する。
(1) 初期設定（ステップＳ１１）として、図３のステップＳ１と同様、予め、車両の進行方向、構造物７の直径Ｄ、曲線引き金具８の長さＷ、据付時のＩＴＶカメラ３のパラメータを設定する。また、図４に示すような距離テーブルｆを設定する。また、カメラパラメータで決まるパンタグラフ付近に画像中で見える構造物７の直径ｄや曲線引き金具８の長さｗを求めておく。更に、カメラパラメータと車両進行方向とで決まる種々の物体移動方向を図５に示す矢印９のように求めておく。
(2) 画像入力（ステップＳ１２）として、図３のステップＳ２と同様、ＩＴＶカメラ３による画像を所定の周期で入力する。
(3) オプティカルフロー処理 (ステップＳ１３）として、画像中で移動体が存在する領域を検出し、この動きのある領域に、次のステップＳ１４の処理で対象点検出を行わせる。なお、動きのある領域を検出するに際し、先ず画像中でオプティカルフローを計算し、実験的に求めた所定の長さのオプティカルフローを抽出し、抽出されたオプティカルフローの発生箇所を移動体の存在領域つまり動きのある領域とする。例えば図５の画像からオプティカルフローを求めると、空や雲の部分はオプティカルフローは発生しないし、遠方に存在する電力線柱やき電線は短い長さのオプティカルフローが発生する。但し、車両上方を通過する構造物は、所定の車両速度に見合った長さのオプティカルフローが発生するので、オプティカルフローを所定の長さで選択し、この箇所を移動体の存在領域とする。なお、得られたオプティカルフローはこれを水平面に投影し、長さの中央値から離れた長さのオプティカルフローは削除する。これは、実空間のオプティカルフローの長さで評価するためであり、画像上ではほぼ同じ長さのオプティカルフローであっても、実空間の水平面に投影すると画像上方のオプティカルフローは短く、画像下方のオプティカルフローは長く投影されるので、投影しないと実空間の物体の動く速度で評価できないという不具合が生じる。
(4) 対象点検出（ステップＳ１４）として、図３のステップＳ３と同様であるが、１枚の画像に対して、オプティカルフロー処理で検出した動きのある領域に限定してエッジ検出を行い、図７に示すように、一辺が２ｄ（ｄは構造物の画像上の直径として設定した値）の正方形１２内に縦横エッジが所定の閾値以上存在するかどうか、動きのある領域中で探索する。この領域全体を探索した結果、縦横エッジが所定の閾値以上存在する正方形をｎ個（ｎ≧８）取得し、それぞれの中心座標(ui,vi) を取得する。縦横エッジが所定の閾値以上存在する正方形の数が８未満であれば、ステップＳ１２に戻り次の画像を入力する。
(5) 連続点検出（ステップＳ１５）として、図３のステップＳ４と同様であるが、動きのある領域中のｎ個（ｎ≧８）の正方形をパターンマッチングにより、前後の数フレームのエピポーラ線上で対応点を探索する。そして、最もフレームが離れた対応点の対(ui,vi) ,(ui',vi')を得る。対応点の対(ui,vi) ,(ui',vi')を水平面に投影し、対応する点の長さの中央値からある程度離れた対応点は削除する。
(6) カメラ姿勢計算 (ステップＳ１６) として、図３のステップＳ５と同様、ｎ個（ｎ≧８）の対応点の対(ui,vi) ,(ui',vi')で、ＩＴＶカメラ３の姿勢を計算する。
(7) ステレオ測定（ステップＳ１７）として、図３のステップＳ６と同様、ステップＳ１６で得られたカメラ姿勢から、ステップＳ１４で得た正方形領域の位置をステレオ計測する。
(8) 支障物判定 (ステップＳ１８）として、図３のステップＳ７と同様、ステップＳ６でステレオ計測結果と連結するステップＳ１４のエッジとパンタグラフ４の形状と距離テーブルｆで、図１０の平面１８に投影し、構造物７等とパンタグラフ４との相対的な離間距離を測定し、所定の管理値より接近している場合は、支障物と判定でき、このときの画像と離間距離と時刻を結果記録部６に記録する。
(9) 画像終了 (ステップＳ１９）として、図３のステップＳ８と同様、画像が終了したらステップＳ１２の画像入力処理に戻る。
【００４４】
本実施形態例３ではオプティカルフロー処理の追加によって対象点検出の領域を限定したので、パンタグラフ支障物検出の処理が簡素化するう。通常オプティカルフローを求める計算量は多いが、本実施形態例３では図５のエピポーラ線９上にオプティカルフロー探索を制約できるため、少ない計算量でオプティカルフローが得られる。また、得られるオプティカルフローに誤りが少ない。また、本実施形態例３では、支障物以外の移動体、例えば電車線柱、き電線などを取り除くことができ、図３に示した処理に比べてロバストに支障物を検知できる。
【００４５】
［実施形態例４：近接レンズの追加）］
本実施形態例４では、実施形態例１、実施形態例２及び実施形態例３と比較すると、目的及びフローチャート (図３、図１２) は同じであるが、ＩＴＶカメラ３に近接レンズ (図示省略）を入れた点が異なる。詳しくは、ＩＴＶカメラとそのレンズとの間に近接リング (近接レンズ）を入れている。装置構成自体はオンライン処理のもの (図２）でも、オフライン処理のもの (図１１）でもよい。
【００４６】
ＩＴＶカメラ３に被写界深度が浅くなる近接リングを入れて使用すると、パンタグラフ４付近に存在する物体だけに焦点が合い、それ以外は焦点がぼけるので、このときの画像をエッジ検出するとパンタグラフ４付近だけに存在するエッジが得られる。従って、本実施形態例４は、ＩＴＶカメラ３からパンタグラフ４までの距離が短いときに有効で、パンタグラフ４付近だけに存在する支障物を検出できるという利点がある。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、下記の効果がある。
・画像処理を使用するので、非接触でパンタグラフ支障物を検出できる。
・通常の運転速度で支障物を検出できるため、振り子式車両など動的にな挙動条件でも支障物検出ができる。
・画像処理を使用するので、レーザセンサのような危険がない。
・画像処理を使用するので、昼夜両方で支障物を検出できる。これにより、支障物の発生が予想される熱膨張の著しい真夏の日中でも支障物を検出できる。
・画像処理部を車両外に設置する場合は、車両側の装置設置面積が小さい。
・オプティカルフォロー処理を行う場合は、ロバストに支障物を検出できる。
・ＩＴＶカメラに近接レンズを入れる場合は、パンタグラフ付近にだけに存在する支障物を検出できる。
【図面の簡単な説明】
【図１】本発明の全体図。
【図２】本発明の実施形態例１に係る装置構成を示す図。
【図３】本発明の実施形態例１に係る画像処理のフローを示す図。
【図４】距離テーブルの説明図。
【図５】エピポーラ線の例を示す面。
【図６】構造物の画像上の直径を求める説明図。
【図７】正方形探索の説明図。
【図８】正方形内に縦横エッジが閾値以上存在するかどうかの判定例を示す図。
【図９】距離偏差が大きい点の除外を説明する図。
【図１０】支障物とパンタグラフとの離間距離を測定するための投影平面を示す図。
【図１１】本発明の実施形態例２に係る装置構成を示す図。
【図１２】本発明の実施形態例３に係る画像処理のフローを示す図。
【符号の説明】
１ 車両
２ 屋根
３ ＩＴＶカメラ
４ パンタグラフ
５ 画像処理部
６ 結果記録部
７ 構造物
８ 曲線引き金具
９ エピポーラ線
１０ 原画像
１０Ａ、１３、１４、１５、１６、１７ 輪郭線
１１ 画素数
１２ 正方形
１８ 投影平面
１９ 映像記録部
２０ 映像再生部
Claims (6)
- 車両に設置したＩＴＶカメラでパンタグラフ近傍の映像を取得し、この映像を車両内又は車両外に設置した画像処理装置で画像処理することでパンタグラフ支障物を検知するパンタグラフ支障物検出方法において、
画像処理装置では、パンタグラフ付近の連続画像を取得し、前記連続画像の数フレーム隔てた画像間において構造物の特徴点の対応付けを行うと共に、対応付けした特徴点間の距離の偏差が極端に大きいものを除外して、対応付けした特徴点の対を複数求め、求めた特徴点の対により、ＩＴＶカメラの姿勢を求め、更に、前記特徴点の位置を求め、この位置とパンタグラフの位置からパンタグラフ支障物を検知することを特徴とするパンタグラフ支障物検出方法。 - 請求項１において、
画像処理装置では、画像中でオプティカルフローを計算すると共に、得られたオプティカルフローを実空間の水平面に投影し、オプティカルフローの長さの中央値から離れたオプティカルフローを除外して、車両速度に見合ったオプティカルフローを選択し、当該オプティカルフローにより車両進行方向に合った移動体の領域についてパンタグラフ支障物を検知することを特徴とするパンタグラフ支障物検出方法。 - 請求項１または２において、
画像処理装置では、近接レンズを入れたＩＴＶカメラにより、パンタグラフ付近に存在する物体だけに焦点を合わせ、それ以外の焦点がぼけた画像を取得し、当該画像からパンタグラフ付近だけに存在する物体のエッジを得ることにより、パンタグラフ支障物を検知することを特徴とするパンタグラフ支障物検出方法。 - パンタグラフ近傍の映像を取得する車両に設置したＩＴＶカメラと、このＩＴＶカメラで取得した映像を画像処理することでパンタグラフ支障物を検知する車両内又は車両外に設置した画像処理装置を備えるパンタグラフ支障物検出装置において、
前記画像処理装置は、パンタグラフ付近の連続画像を取得し、前記連続画像の数フレーム隔てた画像間において構造物の特徴点の対応付けを行うと共に、対応付けした特徴点間の距離の偏差が極端に大きいものを除外して、対応付けした特徴点の対を複数求め、求めた特徴点の対により、ＩＴＶカメラの姿勢を求め、更に、前記特徴点の位置を求め、この位置とパンタグラフの位置からパンタグラフ支障物を検知する機能を有することを特徴とするパンタグラフ支障物検出装置。 - 請求項４において、
前記画像処理装置は、画像中でオプティカルフローを計算すると共に、得られたオプティカルフローを実空間の水平面に投影し、オプティカルフローの長さの中央値から離れたオプティカルフローを除外して、車両速度に見合ったオプティカルフローを選択し、当該オプティカルフローにより車両進行方向に合った移動体の領域についてパンタグラフ支障物を検知する機能を有することを特徴とするパンタグラフ支障物検出装置。 - 請求項４または５において、
前記画像処理装置は、近接レンズを入れたＩＴＶカメラにより、パンタグラフ付近に存在する物体だけに焦点を合わせ、それ以外の焦点がぼけた画像を取得し、当該画像からパンタグラフ付近だけに存在する物体のエッジを得ることにより、パンタグラフ支障物を検知する機能を有することを特徴とするパンタグラフ支障物検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003193371A JP4305073B2 (ja) | 2003-07-08 | 2003-07-08 | パンタグラフ支障物検出方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003193371A JP4305073B2 (ja) | 2003-07-08 | 2003-07-08 | パンタグラフ支障物検出方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005028903A JP2005028903A (ja) | 2005-02-03 |
| JP4305073B2 true JP4305073B2 (ja) | 2009-07-29 |
Family
ID=34204852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003193371A Expired - Fee Related JP4305073B2 (ja) | 2003-07-08 | 2003-07-08 | パンタグラフ支障物検出方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4305073B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4440809B2 (ja) * | 2005-03-11 | 2010-03-24 | 株式会社明電舎 | パンタグラフ周辺支障物検出装置 |
| JP4608352B2 (ja) * | 2005-04-05 | 2011-01-12 | 株式会社明電舎 | トロリー線の位置測定装置 |
| JP4685494B2 (ja) * | 2005-04-05 | 2011-05-18 | 株式会社明電舎 | トロリー線の位置測定装置 |
| JP4978938B2 (ja) * | 2006-09-13 | 2012-07-18 | パイオニア株式会社 | 距離測定装置及び方法、並びにコンピュータプログラム |
| JP5228438B2 (ja) * | 2007-10-22 | 2013-07-03 | 株式会社明電舎 | トロリー線の摩耗量計測装置 |
| JP2009281950A (ja) * | 2008-05-26 | 2009-12-03 | Meidensha Corp | 画像処理によるトロリー線支持金具の位置測定装置 |
| JP5571880B2 (ja) * | 2008-05-26 | 2014-08-13 | 株式会社明電舎 | 画像処理による曲線引き金具測定装置 |
| JP6468648B2 (ja) * | 2015-03-30 | 2019-02-13 | 三和テッキ株式会社 | 鉄道線路の支障物検出装置 |
| JP6699323B2 (ja) * | 2016-04-26 | 2020-05-27 | 株式会社明電舎 | 電車設備の三次元計測装置及び三次元計測方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58224501A (ja) * | 1982-06-23 | 1983-12-26 | Japanese National Railways<Jnr> | 電車線自動観測装置 |
| JPH02241855A (ja) * | 1989-03-16 | 1990-09-26 | Mikuni Corp | 先行車識別方法 |
| JP2863381B2 (ja) * | 1992-09-25 | 1999-03-03 | 矢崎総業株式会社 | 車両用監視方法 |
| JP2000041165A (ja) * | 1998-07-23 | 2000-02-08 | Canon Inc | デジタルカメラ |
| JP2002032741A (ja) * | 2000-07-13 | 2002-01-31 | Sony Corp | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 |
| JP4078798B2 (ja) * | 2000-10-31 | 2008-04-23 | 株式会社明電舎 | パンタグラフ支障物検出装置 |
-
2003
- 2003-07-08 JP JP2003193371A patent/JP4305073B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005028903A (ja) | 2005-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI279521B (en) | Apparatus and method for detecting obstacle located at surrounding of pantograph of railway vehicle | |
| JP4450532B2 (ja) | 相対位置計測装置 | |
| JP5245445B2 (ja) | 渡り線測定装置 | |
| JP2002139305A (ja) | パンタグラフ支障物検出方法及び装置 | |
| CN107743577B (zh) | 用于检测电动铁道车辆的振动信息的方法和装置 | |
| JP6524529B2 (ja) | 建築限界判定装置 | |
| JP5698285B2 (ja) | 架線位置計測装置及び方法 | |
| CN105158257A (zh) | 滑板测量方法及装置 | |
| JP2002024986A (ja) | 歩行者検出装置 | |
| KR20210062672A (ko) | 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛 | |
| JP4305073B2 (ja) | パンタグラフ支障物検出方法及び装置 | |
| JP2006349432A (ja) | パンタグラフのすり板検査装置 | |
| JP2018114935A (ja) | 電車線金具検出システム及びその検出方法 | |
| KR101738034B1 (ko) | 개선된 차선 인식 방법 | |
| JP2005157779A (ja) | 測距装置 | |
| JPH1144533A (ja) | 先行車両検出装置 | |
| JP3629935B2 (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
| Espino et al. | Rail and turnout detection using gradient information and template matching | |
| KR20160125803A (ko) | 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법 | |
| JP6699323B2 (ja) | 電車設備の三次元計測装置及び三次元計測方法 | |
| EP4250245A1 (en) | System and method for determining a viewpoint of a traffic camera | |
| JP3879874B2 (ja) | 物流計測装置 | |
| JP3891730B2 (ja) | トロリ線支持金具取付角度測定装置 | |
| JP3882683B2 (ja) | トロリー線の位置計測装置 | |
| JP7043787B2 (ja) | 対象物検知システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090420 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4305073 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |