JP6381981B2 - 線路空間支障物検知システム - Google Patents
線路空間支障物検知システム Download PDFInfo
- Publication number
- JP6381981B2 JP6381981B2 JP2014121390A JP2014121390A JP6381981B2 JP 6381981 B2 JP6381981 B2 JP 6381981B2 JP 2014121390 A JP2014121390 A JP 2014121390A JP 2014121390 A JP2014121390 A JP 2014121390A JP 6381981 B2 JP6381981 B2 JP 6381981B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- track
- vehicle
- detection system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 284
- 238000000034 method Methods 0.000 claims description 59
- 238000006243 chemical reaction Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 14
- 238000012905 input function Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 description 147
- 238000003384 imaging method Methods 0.000 description 77
- 238000010586 diagram Methods 0.000 description 64
- 238000012545 processing Methods 0.000 description 59
- 230000006870 function Effects 0.000 description 45
- 238000010276 construction Methods 0.000 description 35
- 230000001186 cumulative effect Effects 0.000 description 35
- 230000036544 posture Effects 0.000 description 27
- 230000001133 acceleration Effects 0.000 description 20
- 239000005357 flat glass Substances 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 19
- 238000009434 installation Methods 0.000 description 17
- 238000005259 measurement Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 12
- 230000008901 benefit Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000010365 information processing Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000037433 frameshift Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 241000885593 Geisha Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000012890 quintic function Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Description
線路を走行する車両に設置される、動画の撮影が可能なカメラと、
上記カメラにより撮影される画像と上記車両の速度情報とを同期する画像同期装置とを有し、
上記カメラが設置された上記車両を走行させながら上記カメラにより進行方向前方の線路空間を撮影し、上記線路上の互いに異なる位置であって上記速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像を比較することにより上記線路空間における支障物の有無を検知する線路空間支障物検知システムである。
第1の実施の形態による線路空間支障物検知システムについて説明する。ここでは、一例として、線路空間支障物検知システムが、線路空間における支障物の検知に加えて、線路を走行する車両の動揺測定も可能に構成されている場合について説明するが、これに限定されるものではない。
図1はこの線路空間支障物検知システムの概要を示す。図1に示すように、この線路空間支障物検知システムにおいては、画像同期装置10を介して、音声入力機能を有するデジタルビデオカメラ20と車両動揺測定装置30とが接続されている。より詳細には、車両動揺測定装置30の出力端子と画像同期装置10の入力端子とがケーブルC1により接続され、画像同期装置10の出力端子とデジタルビデオカメラ20の音声入力端子とがケーブルC2により接続されている。これらの画像同期装置10、デジタルビデオカメラ20および車両動揺測定装置30は車両内に設置される。
図2にこの線路空間支障物検知システムにおけるデータファイル入出力の概要を示す。このデータファイル入出力について説明する。
(2)車両動揺測定装置30のSDカード70内には、年月日時分秒をファイル名前半とする数種類のファイルが生成される。また、デジタルビデオカメラ20のSDカード90内にも年月日時分秒をファイル名とするビデオファイルが生成される。
(3)同期ビューア120から車両動揺測定装置30の解析プログラム130を起動(キック)し、解析プログラム130のGUIでまず_vbsd.binファイル140を読み込む。解析プログラム130内では引き続き_vbsd.binファイル140内にあるリンクから_gpsd.csvファイル141、_xind.binファイル142および_spdd.binファイル143を読み込む。
(4)次に、解析プログラム130のGUIを用いて、.INIファイル151、.PTPファイル152および.ANAファイル153を出力し、これを同期ビューア120に読み込む。
(5)同期ビューア120では、出力された.INIファイル151、.PTPファイル152および.ANAファイル153を自動的に指定フォルダにコピーする。
(6)次に、同期ビューア120によりビデオファイルである.mtsファイル160を読み込み、音声トラックに記録されたデータインデクスを自動的にデコードし、ビデオカメラ画像のフレームとデータインデクスとの対応表ファイル170を作成し出力する。
(7)また、建築限界支障検知後、支障した位置のキロ程および支障フレーム番号および画像上の支障位置座標を記録した支障検知位置データファイル180を出力する。
(画像同期装置10の詳細)
画像同期装置10の詳細を説明する。図3はこの画像同期装置10を示す。図3に示すように、画像同期装置10は、デジタル信号であるデータインデクス(同期番号)をアナログ信号である音声レベル信号に変換するためのデジタル/アナログ変換(D/A変換)回路11を有する。このデジタル/アナログ変換は、例えば、データインデクスの「1」を音声周波数帯の周波数f1 の周波数信号に、「0」を音声周波数帯の周波数f2 (≠f1 )の周波数信号に変換するものであり、典型的にはf2 >f1 に選ばれる。一例として、図4に、データインデクスとして6ビットの「001100」を周波数信号に変換した例を示す。f1 、f2 の具体例を挙げると、f1 =1200Hz、f2 =2200Hzであるが、これに限定されるものではない。このデータインデクスは、車両動揺測定装置30から選択された時間間隔毎に取得される時系列のデータ(位置情報のデータ、速度情報のデータおよび加速度センサーなどのセンサーデータ)にそれぞれ付与されるものであり、これらのデータに対して連番となっている。画像同期装置10は入力端子12を有し、データインデクスは車両動揺測定装置30の出力端子からこの入力端子12に送出される。データインデクスは、車両動揺測定装置30からシリアル通信規格のシリアル信号として入力端子12に供給される。シリアル通信規格は、例えば、RS485、RS422AまたはRS232Cである。画像同期装置10は出力端子13を有し、デジタル/アナログ変換回路11から出力される音声レベル信号はこの出力端子13から出力される。この出力端子13には、音声入力機能を有するデジタルビデオカメラ20の音声入力端子が接続されるようになっている。
車両動揺測定装置30の詳細を説明する。図6は車両動揺測定装置30の構成を示す。車両動揺測定装置30は、センサー処理部31、表示処理部32、位置情報処理部33、データ保存部34、外部インターフェース(I/F)制御部35および電源制御部36を有する。これらのセンサー処理部31、表示処理部32、位置情報処理部33、データ保存部34、外部インターフェース制御部35および電源制御部36は高速シリアルバス37を介して相互に接続されている。外部インターフェース制御部35の出力端子が画像同期装置10の入力端子(図5に示す入力端子12)と接続されている。位置情報処理部33には、GPS受信機38により受信されるGPS信号および速度発電機39の信号が供給されるようになっている。
この線路空間支障物検知システムでは、上記のカメラ内部パラメータキャリブレーションの結果を読み込み、リアルタイムで歪補正したスルー画像を表示するカメラ姿勢調整プログラムを作成し、使用する。このカメラ姿勢調整プログラムを用いることにより、支障検知エンジンにデジタルビデオカメラ20のロール角度を補正する機能がなくても、線路の消失点を画像中心に正しく設定することができる。すなわち、仮想の建築限界枠の設定上、消失点は画像中心にあったほうが良いが、カメラ画像そのものは、画像中心がずれているほか、歪もあり、正しく設定することが難しい。しかし、このカメラ姿勢調整プログラムを用いることにより、消失点を画像中心に容易に設定することができる。
(1)デジタルビデオカメラ20で撮影された画像をリアルタイム表示する。
(2)別途、上記の内部パラメータキャリブレーションにより得られた、デジタルビデオカメラ20のレンズの歪補正係数および画像中心を読み込む。歪補正および画像中心補正をリアルタイムで行い、補正画像を表示する。
(3)画面に表示される縦線L1と横線L2とからなる十字線(例えば、赤十字線)の交点Pは、画像中心であり、線路の消失点がこの交点Pに重なるようにデジタルビデオカメラ20の姿勢を調整する。
(4)画面の中央下部に表示された左下がりの斜め線L3および右下がりの斜め線L4(例えば、黄色線)は、画面右下の“2.左斜め線”および“3.:右斜め線”のラジオボタンで選択し、その下の左向きの矢印ボタン(←)および右向きの矢印ボタン(→)を押すことで、十字線の交点Pを中心に角度を調整することができる。これらの左斜め線L3および右斜め線L4を2本のレールに沿わせることで、消失点が正しいか否かを判断できる。
(5)画面に表示された二本の縦線L5、L6(例えば、黄緑線)は、画面垂直方向を表し、画面右下の“1:左垂線”および“4:右垂線”のラジオボタンで選択し、その下の左右向きの矢印ボタンを押すことで、左右位置を調整することができる。この左垂線および右垂線を建物などの垂線に沿わせることで、デジタルビデオカメラ20のロール角を微調整する。
・カメラ視線軸は、地平面と平行
・カメラ視線軸は、軌道方向と平行
・カメラ撮像面Y軸と重力軸とは平行
連動表示プログラム100は、車両動揺測定装置30で収録されたGPSデータおよび速度発電機情報と、デジタルビデオカメラ20で撮影された画像とを連動表示する。図11に連動表示プログラム100の画面を示す。連動表示プログラム100の機能は下記の通りである。
(1)ビデオカメラ画像の音声トラックの音声データからデータインデクスをデコードし、車両動揺測定装置30の速度情報およびセンサーデータと対応付け、各ビデオフレームに速度情報を割り当てる。
(2)デジタルビデオカメラ20のビデオフレームレートと車両動揺測定装置30の速度情報サンプリングレートとは一般的に異なる。例えば、デジタルビデオカメラ20のビデオフレームレートは60Hz、速度情報サンプリングレートは1Hzである。このため、一次の補間を行い、全ビデオフレームに速度情報を割り当てる。
(3)収録されたビデオカメラ画像と、加速度センサーデータ、GPS速度データおよび速度発電機データとを連動して再生する。
(4)現在表示しているビデオフレームに対応した速度情報(GPS速度)を表示する。
建築限界支障検知プログラム110は、収録され連動表示プログラム100でビデオフレームと速度情報とが対応付けられたデータを読み込み、ビデオカメラ画像に撮像された対象物が、所定の位置、大きさに設定された仮想の建築限界枠に支障しているか否かを判定し、支障していると判定した場合には画面上で例えば建築限界枠の色を変えて表示する。
(1)“開始”ボタンを押すと、速度情報付ビデオカメラ画像が再生され、同時に建築限界支障検知処理が開始される。
(2)ビデオカメラ画像上に仮想の建築限界枠を点線(例えば、青点線)で表示する。この建築限界枠と重なる位置にあるビデオカメラ画像上の物体が建築限界枠の内側にある場合は、この点線が太い点線(例えば、赤点線)の表示に変わる。
(3)フレーム番号、速度、建築限界枠横方向サイズなどが表示される。
(4)フレーム番号を入力し、“ジャンプ”ボタンを押すと指定したフレームに画像がジャンプする。図12においては、フレーム番号として“1720”が入力された例が示されている。
(1)“参照”ボタンを押すと、入力データのファイルダイアログが表示され、建築限界支障検知に用いる、ビデオファイルおよび速度情報ファイルを指定できる。
(2)ビデオファイル読み込み後、“画像プレビュー開始”ボタンを押すと、画像が再生され内容を確認できる。
(3)“カメラ内部パラメータファイルを開く”ボタンを押すと、ファイルダイアログが表示され、カメラ内部パラメータ(カメラレンズ焦点距離、歪補正係数、画像中心座標)が記述されたファイルを読み込める。
(4)“カメラ外部パラメータファイルを開く”ボタンを押すと、ファイルダイアログが表示され、カメラ外部パラメータ(軌道面中心からの相対距離および軌道面に対する姿勢)が読み込める。軌道座標系は、図14に示す通りである(Y軸は軌道面に垂直)。
(5)“建築限界検出枠の設定ダイアログを開く”ボタンを押すと、仮想の建築限界枠を車両に対しどのように設定するかを指定する仮想建築限界枠設定画面が表示される。
(1)図15の仮想建築限界枠設定画面の上部に模式的に示すように、デジタルビデオカメラ20から仮想の建築限界枠の位置までの距離dおよび仮想の建築限界枠の大きさrを想定し、仮想建築限界枠があたかもそこに存在するとして図12のビデオカメラ画像上の点線(例えば、青点線)を描画している。このビデオカメラ画像上の点線で示した建築限界枠は、dおよびr、カメラ内部・外部パラメータによって、位置・大きさが変動する。画像処理精度としては、建築限界枠が極力、画面全体に広がるように設定するほうが有利であるため、そのようにdを調整する。また、アルゴリズムが正しく作動していることを確認するために、意図的に建築限界枠を大きくして、実際には建築限界に支障しない対象物に反応させる操作をするために、rを大きく設定したりする。
(2)建築限界検出枠の半径に建築限界枠幅の1/2を入力する(メートル単位) 。例えば、1.9mを入力した場合、仮想建築限界枠は、軌道中心から1.9mのところに限界枠線が生成される(図16参照)。
(3)建築限界検出枠の枠までの距離にデジタルビデオカメラ20から仮想建築限界枠までの想定距離を入力する(メートル単位)。当然、この距離を大きくすると、ビデオカメラ画像上の点線(例えば、青点線)で表された仮想建築限界枠は小さくなり、距離を小さくすると建築限界枠は大きくなる。
この線路空間支障物検知システムの建築限界支障検知機能で用いている建築限界支障検知アルゴリズムを説明する。
(1)デジタルビデオカメラ20が前進する前後の画像を準備
(2)仮想の建築限界枠が前進する前のビデオカメラ画像上のどこに写像されるか計算
(3)消失点から建築限界枠写像画素に向けた直線を生成
(4)移動後の建築限界枠写像を計算
(5)前進前後の画像間で、建築限界枠上の画素位置にあった対象物がどのように移動したかを追尾する。その際追尾は、(3)で求めた直線上に限定する
(6)移動後の位置が(4)で求めた建築限界枠写像位置より内側にあるか、外側にあるかを判定する(内側なら建築限界枠に支障しない、外側なら支障している)
以上のような線路空間支障物検知システムを用い、試験線で撮影試験を行った。この試験線撮影試験の方法および結果について説明する。
図24AおよびBならびに図25AおよびBに、線路空間支障物検知システムの撮影システムを実際に試験車両に設置した様子を示す。ここで、図24Aは試験車両の運転室内で後方から前方を撮影した写真、図24Bは運転室内で前方の中央の窓ガラスを斜め上方向から撮影した写真、図25Aは試験車両の前頭部を前方から撮影した写真、図25Bは図25Aの点線で囲んだ部分を拡大した写真を示す。
試験線走行区間は直線区間と曲線区間(カーブ区間)とからなる。直線区間の起点⇔終点間を往復し、様々な速度パターンで走行撮影試験を行った。また、沿軌道には、後述する軌道中心からの距離を正確に計測した基準支障物が設置され、誤差解析が可能になっている。
上述のように、本建築限界支障検知機能では、ビデオカメラ画像中の物体の3次元座標値が計算されるわけではなく、仮定した建築限界枠に対する内外判定を行っている。
・仮想建築限界枠を本来の大きさ(幅が軌道中心から1.9m)より大きくし、設置した基準支障物が仮想建築限界枠に支障するように設定する。
・2.05mから1cmずつ仮想建築限界枠の幅を大きくし、どの幅のときにそれぞれの基準支障物が仮想建築限界枠に初めて支障するかを記録しておく。
・基準支障物は予め、レーザー測距計で、軌道中央からの距離を正確に求めているため、上記の初めて支障した位置と、この計測距離との差が建築限界支障検知プログラムの誤差となる(図28参照)。図29は解析に用いた基準支障物(ポール1〜7)の形状を示す。
上述のような方法で評価した試験線の走行試験の結果を説明する。
上述の方法で、直線区間3往復、7つの基準支障物(ポール1〜7)に関する精度評価の結果を表4および表5に示す。表4は計測結果(軌道中心−基準支障物間距離および仮想建築限界枠が支障検知する幅:速度は速度発電機により計測されたもの)を示し、表5は誤差(軌道中心−基準支障物間距離および仮想建築限界枠が支障検知する幅)を示す。
曲線区間3往復、2つの基準支障物に関する精度評価の結果を表6に示す。
実際には、収録した速度データをそのまま用いると非常に誤差が大きくなる。しかし、以下のように速度データとビデオカメラ画像との対応関係を数十フレーム分(1フレームは1/60s)シフトすると精度が向上する。表7は速度データのフレームシフト量および平均誤差を示す。
・速度発電機、GPSの速度情報計算・伝達による時間遅れ
・車両動揺測定装置30内でのビデオカメラ画像と速度情報との対応付けの時間遅れ
・上記2項目の複合
解析を行う中で、建築限界枠から大きく離れた対象物で支障を検知する場合があった。図34に建築限界に支障しない対象で誤検知をしている例を示す。
上記の(2)曲線区間での検知精度、で指摘した、速度データとビデオカメラ画像とのずれは直接検知精度に係るため、解決する必要がある。
(1)速度情報の時間ずれが、定常的なものであるか不明
(2)画像と速度データのグラフから直接シフト量を読みとることは困難
(3)平均誤差が最少になるように調整する方法(上記の(速度データ時間遅れの影響)で試みているもの)が必ずしも正しいとは言えない
・車両質量が大きいため、速度の勾配の変動はあまり無いとして、時間方向に平滑化を図る
・位置情報が取得できるため、速度の累積距離との比較で補正を行う
・測位品質を用いて、精度が悪いと思われるデータを排除し、前後データで補間する
以上の措置を行っても、山間部、高層ビル間などでは精度が悪くなるため、測位品質により計測不可部であることを検出する必要がある。
上記で述べた近傍に類似の模様がある場合に、追尾処理が失敗する現象は、以下のようにして安定化できる。
上述の参照画像を増やすことによる追尾の安定化を行っても、空のように輝度が飽和している領域や、逆に影が濃く画像がつぶれてしまっているところでノイズが多く発生していた。これは、マッチングに用いる画像の特徴がないことにより、類似度プロファイルに明確なピークがないために、間違った位置でマッチングしてしまうからである。図45に空領域でのノイズを示す。図45では、建築限界枠の右上の空の部分でノイズが発生している。この位置の類似度プロファイルを図46に示す。図46に示す類似度プロファイルでは、図43のような明確なピークがなく最大類似度も0.7程度と非常に低い。
軌道のカーブ区間では、図48に示すように、予め設定した仮想建築限界枠が、軌道から大きくずれてしまうため、上記の建築限界支障検知アルゴリズムが正常に作動しなくなる。そこで、軌道のレールを認識し、仮想建築限界枠のずれを修正することを考える。
・キャリブレーション時に表示したビデオカメラ画像上で、GUIを用いて、画像上の下部位置に写っている軌道をマウス指定により矩形で選択する。このとき、追尾を行う範囲をマージンとして余裕のある矩形とする。
・この矩形を関心領域(Region of interest:ROI)として以下使用する。
・画像ROI内部領域に対し、縦線検出カーネルを用いたフィルタリングを行う。
・ROI底辺の2点および消失点を用いて、パースペクティブ(遠近感)を考慮したROIの変形を行う(図50参照)。
・プロジェクションによって得られた線特徴プロファイルの2頂点を検出する。その方法は、まず、全体の平滑化後、プロファイルの中央で探索領域を分割し、それぞれで最も値が大きい画素を選択する。得られた2つのレール位置の平均位置をレール中心とし、マスター位置として記憶する。
・ROIおよびレール中心のマスター位置は予め読み込んでおく。
・ビデオフレーム画像の読み込み
・レール中心位置の推定までは、キャリブレーション時と同じ。
・マスター位置とのずれを計算し、このずれを逆ホモグラフィ変換で元画像上のずれに変換後、ビデオフレーム画像の水平方向を修正する。
以下に、実際のレール位置検出の様子を示す。
図51に示すように、画像からレールを含む領域を切り出す。この領域の範囲は、縦方向は、建築限界支障枠の地上接地面近辺、横方向は、前フレームで検出されたレールの中心位置を基準とした左右一定範囲とする。なお、前フレームがない場合はレールの中心位置が算出できないので、ユーザーが指定する。
図52に示すように、切り出し領域の下部左右両端と画面上の消失点とを結ぶ直線を求め、これと切り出し領域上部との交点が切り出し領域両端に来るようにホモグラフィ変換を行う。
図53に示すように、以降の処理を高速化するため、画像をモノクロ化する。なお、ここで作成したモノクロ画像の輝度平均値、分散値が一定値以下の場合はトンネルなどでレールが映っていないものとし、レール追尾を中止、レール位置は前回値と同じとする。
図54に示すように、グレー化画像から上/下/左/右の画像エッジをそれぞれ抽出する。エッジ抽出にはSobelフィルタ(ソベルフィルタ)を用いた。
図55に示すように、上/下/左/右の画像エッジをガウシアンフィルタでぼかす。この例は左側エッジに対してのものである。
図57に示すように、上述のように作成した縦方向のエッジ画像から横方向のエッジ画像を引くことで、枕木やバラストなどの余計なノイズを除去し、縦(列車の進行方向)に延びているレールのエッジを抽出する。
図58に示すように、上述のエッジ画像の輝度の縦方向総和を求め、画像横方向に対する輝度断面を作成する。
図59に示すように、算出した縦方向総和の凸点を抽出した後、抽出した凸点間それぞれの距離を算出する。これがレール幅相当値に近く、かつ前回の左右レール位置(の中心)から離れていない箇所の点を求める。これがレール端に最も近い点となる。
まず、図63のrを下記の式(4)で求める。
・レール追尾の誤差の影響
・カーブ区間カントの影響
・ロール軸周りの振動の影響
・速度情報の誤差
レールが分岐する部分において、左右方向のレールの動きを追従する機能が、しばしば実際に走行する分岐方向とは別のレールを追尾してしまうことがある。これは、デジタルビデオカメラ20が前方を見ているために、画像上で分岐を通過しているにもかかわらず、車体の方向は分岐方向に向いていないことなどから誤作動を起こしている。
・上述のカーブ曲率半径を監視
・カーブ曲率半径が100mを切るとあり得ない曲率半径と判断し、分岐部分での失敗と判定する。
・直進位置にレール追尾探索範囲を戻す。
・レール位置を認識し、通常の処理に復帰する
本システムは、照明環境の問題からトンネル区間が、また速度の問題から駅前後の区間で検知処理が正しく働かない。この問題は、これらの区間をキロ程で管理しているデータベース情報を使用し、検知処理をスキップする機能を追加することにより解決することができる。ただし、ここでは、トンネル区間を表すデータベースしか無い場合を考え、トンネル区間のスキップが可能であるかどうかを確認した。
図73に示すように、本システムで検出した結果を動揺(左右、上下)とビデオカメラ画像とを連動表示できるビューアプログラムで表示できるようにした。ビューアプログラムの機能は以下の通りである。
・建築限界支障検知プログラムで検出された支障の位置を示すキロ程および画像上の位置を示すCSVファイルを読み込む
・再生ビデオ画面上の支障位置にマーク(例えば、赤丸マーク)を表示する。
・下部グラフ表示エリアに、後述する支障箇所累積グラフを表示する。
下記の通り、この線路空間支障物検知システムを用いて、JR西日本の営業線で4回、撮影試験を行った。
実施日:2013年11月28日
路線:山陽本線・芸備線
山陽本線区間 新山口−新下関
芸備線区間 広島−三好
実施日:2013年12月19日
路線:山陽本線・東海道本線・奈良線
山陽本線・東海道本線区間:神戸−米原
奈良線区間:京都−木津
実施日:2014年1月16日
路線:山陽本線・芸備線
山陽本線区間:新山口−新下関
芸備線区間 広島−三好
実施日:2014年2月13日
路線:山陽本線・東海道本線・奈良線
山陽本線・東海道本線区間:神戸−米原
奈良線区間:京都−木津
撮影には、試験線で用いたものと同じ機材を用いた。図74〜図80に、営業線での撮影システム取付け状況を示す。ここで、図74は1回目の試験における山陽本線下りのデジタルビデオカメラ20の設置状況、図75は1回目の試験における芸備線下りのデジタルビデオカメラ20の設置状況、図76は2回目の試験における山陽本線・東海道本線のデジタルビデオカメラ20の設置状況、図77は2回目の試験における奈良線のデジタルビデオカメラ20の設置状況、図78は3回目の試験における芸備線のデジタルビデオカメラ20の設置状況、図79は3回目の試験における山陽本線のデジタルビデオカメラ20の設置状況、図80は4回目の試験における奈良線のデジタルビデオカメラ20の設置状況を示す。
本試験では、上記の路線および区間で撮影走行試験を行った。
以下に、ビデオ画像全体の建築限界支障検知結果を示す支障箇所累積グラフを示す。支障箇所累積グラフとは、ビデオの1フレーム内の仮想建築限界枠(図81参照)において、支障していると判定された箇所(図81の右側に示す破線のだ円内の大きい●)の数を積算したもので、ビデオの1フレーム毎の値となる(図81の場合、累積値は10となる)。当然、この1フレームの支障箇所が多く、また複数フレームに連続して支障している箇所で実際の支障が起こっている確率あるいは支障度合いが高いと考えられる。
基本的に、図83から図89までの支障箇所累積グラフは、仮想の建築限界枠を設計値(左右幅1.9m)と合わせているため、理想的には植生が偶然軌道内に延びている箇所以外では検知がないはずである。しかし、図83〜図89のグラフでは、しばしば誤検出がノイズとして発生していることが分かる。
上述の営業線撮影データの支障箇所累積グラフと、対応するビデオカメラ画像上の支障検知結果の解析から以下のことが分かった。
・晴天・曇りの昼間に撮影された画像では、以下に述べるノイズ以外では支障の有無を正しく反映できている
・支障検知枠を大きくし、支障箇所累積グラフを生成すると、植生などが軌道に迫ってきている箇所を的確に判断することができる
・雨天・夕方では、支障検知を実行できる場合もあるが、安定した検知ができない
・進行方向の直線構造を持つ対象物(隣接するレールなど)では誤検出が発生する
・電柱などが一部検出できないものがある
上記の問題から、まず雨天、夕方以降の撮影は運用で避けるようにしなければならない。
すなわち、隣接する軌道のレールの方向は車両の進行方向と同じである。この場合、隣接軌道のレールの方向が、マッチングを行う際に探索する方向と完全に一致する(図110参照)。このような場合、テンプレート画像に似た画像が探索方向に連なるため、類似度のプロファイルは類似度が高いまま、顕著なピーク位置を持たない。図111に、図110の矢印位置での類似度プロファイルを示す。図111に示す類似度プロファイルは、図43に示す類似度プロファイルと比較すると、明確なピークが無いことが分かる。そのため、正しいマッチングできない。これは、ステレオマッチングにおける開口問題として知られる現象である。
実運用で、支障検知が安定して実行できる条件を考察する。本システムは、基本的に画像をデータ源とするため、良好な画像が撮像されることが基本条件である。良好な画像という条件をさらに具体的に説明すると以下のようになる。
・画像分解能が十分である
・輝度分解能が十分である
・幾何情報が正しく保存されている
画像分解能が低いと、画像のデテイル(detail)が失われるために、マッチング精度が低下する。この現象が起こる原因としては、カメラのブレ、窓の曇り・汚れなどが考えられる。
図117は冬季雨天で窓ガラスが曇っている例である。このような場合には、画像解像度が低下し、ステレオマッチングが失敗しやすくなる。
図118は雨天の夕方の画像であるが、輝度分解能が低く、デテイルが失われている。また、輝度が低いと、カメラ内部で行われる自動感度補正により感度が自動的に増大する。人間の目には見えやすくなるが、ノイズが持ち上がってくるため、輝度分解能・画像分解能が低下する。さらに、暗い画像では動画圧縮処理により画像分解能がさらに低下する。人間の目で見える画像でも、このように画像処理を行うための輝度分解能・画像分解能は低下しているため、注意が必要である。
図119は、雨天(あるいは雨上がり)時に窓ガラスの外側に雨粒が付着し、光の屈折が起こって幾何情報が正しく保持できていない例である。このように幾何情報が正しく保持されていないと、マッチング結果が正しくない位置となり、支障検知に誤りが起こる可能性がある。図120は、窓ガラスの汚れが風景を遮り、正しい幾何情報が保持できていない例である。当然ながら、正しい支障検知ができない可能性がある。また、図120では、画面中央下に、逆光によるフレアが現れており、このような現象も画像の幾何情報を正しく保持できない原因となる。また、逆光であるため、カメラ内部の自動感度補正が過剰に働き右側の建物が黒くつぶれてしまっている。
図121は画面内に太陽が入り込み、電柱、建物等の建造物がシルエットとなってしまっている例である。左側建物の前に、電柱が存在するが、画像からは分別できない。直接太陽が画面内に入っていない場合でも、太陽の方向にデジタルビデオカメラ20が向いている場合は、撮像対象は影の面が見えるため、デテイルがつぶれている場合が多い。
・雨天(暗い・雨粒・ワイパー)
・夜・早朝・夕方(暗い)
・太陽の位置が低い冬季あるいは夕方の太陽の方向に向いた撮影(逆光条件)
・カメラレンズ直前の窓ガラス面に汚れがない
・ガラス面が曇っていない
・曲率の小さなガラス曲面部分にデジタルビデオカメラ20を取り付けない
・金属面、白い面が画像に写り込んでいない(逆光に近いときに顕著になる)
・取付の不具合でデジタルビデオカメラ20が振動しない
(良好な画像を得る方策の考察)
天候、季節、時刻などの要因以外で映像が劣化することを防ぐために以下のことが考えられる。
デジタルビデオカメラ20の振動対策の要点は以下の通りである。
・ガラス面への取り付け(吸盤による吸着)は3点支持とする
・デジタルビデオカメラ20と雲台との接触面はできるだけ広くする
・雲台は、ボールジョイント方式のものは避ける
天候、季節、時刻による影響以外で最も大きな問題が窓ガラスの汚れ、映り込みである。この問題の緩和策の1つとしては、図122に示すように、デジタルビデオカメラ20を窓ガラスに近づけることである。図122に示すように、デジタルビデオカメラ20を窓ガラスに近づけると、汚れが視野に入る確率および映り込みが起こる確率が共に減る。また、視野に入った汚れもピントが合いにくいため、画像への影響が緩和される。映り込みに関しては、レンズ前方からレンズフードを窓ガラスまで伸ばすことで完全に排除できる。デジタルビデオカメラ20を窓ガラスに近づけられない場合は、偏光フィルターをレンズに取り付けることで映り込みを軽減することができる。ただし、偏光フィルタは光量を落とす効果もあるため、注意が必要である。
デジタルビデオカメラ20の機種によっては、逆光補正機能が装備されているものがある。しかし、この機能は逆光でない条件では露出オーバー気味になってしまうため、逆光条件以外では画質を落としてしまう恐れがあり本システムでは使用しにくい。一般に正面を向けたビデオカメラ画像では、地平線よりも上が空である場合が多く、恒常的に平均輝度が高い。そこで、ハーフフィルターを使用する。このハーフフィルターとしては、フィルター面の半分が透明で、残りの半分がND(減光)フィルターとなっているものを用いる。境い目はグラデーションとなっていて、画像の半分が自然に暗くなるように設計されている。ハーフフィルターを使用すると、逆光気味(太陽はまだ高いが、デジタルビデオカメラ20が太陽の方に向いている)の場合、対象物の影の面のデテイルが改善されることが期待できる。太陽が画面内に直接入った場合は、ハーフフィルターを用いてもほとんど効果がないと思われる。設置されるデジタルビデオカメラ20の地平面に対する姿勢はほぼ水平であること、ズームを使わないことから、季節毎の太陽が画面内に入る時刻を割り出すことは可能である。そこで、これをチャート化し、運用時に確認することなどが考えられる。
自動車などの曇り防止剤などの使用が考えられる。
[線路空間支障物検知システム]
第2の実施の形態による線路空間支障物検知システムにおいては、第1の実施の形態において説明した営業線での試験走行で判明した問題を解決するために、建築限界支障検知アルゴリズムに、ビデオカメラ画像の明るさの評価機能、開口問題への対処機能およびオクルージョン問題への対処機能を追加した。具体的には下記の通りである。その他のことは、第1の実施の形態と同様である。
雨天時および夕方では、支障検知を実行できる場合もあるが、安定した検知ができないという事象は、原理的な問題であるため、赤外線カメラや赤外線照明などを導入しないと抜本的解決はできない。そこで、デジタルビデオカメラ20などは変更しない条件で、間違った検知を行わないように、ビデオカメラ画像の各フレーム全体の明るさの平均値に閾値を設け、閾値以下の場合、そのフレームは検出処理が不可であるとして、支障検知アルゴリズムを稼働させないようにする。また、検知不能フレームとした情報を後述するビューアプログラムへの出力データに追加する。
既に述べた、並行する軌道のレールなどでノイズが発生する現象を排除する機能を追加する。類似度プロファイルの平均値とピーク値との比率を計算し、その値が閾値以下の場合には計測不能と判断する。
既に述べた、オクルージョンにより電柱など細い構造の対象物の未検知を防止する機能を追加する。そのために、ピラミッド画像を利用することで、最適なテンプレートサイズによるマッチング処理を行う。
[線路空間支障物検知システム]
第3の実施の形態による線路空間支障物検知システムにおいては、検知機能を拡大するために、進行方向仮想建築限界枠数自動調整機能および仮想建築限界枠のサイズ多重化機能を検知エンジンに追加した。また、仮想建築限界枠の多重化に対応したデータを出力できる支障情報のビューアプログラムを用いる。具体的には下記の通りである。その他のことは、第1の実施の形態と同様である。
JR西日本の東海道本線新快速などでは、最高速度が130km/h程度となる。このとき、フレームレートが60f/sのデジタルビデオカメラ20では、フレーム間の撮影位置の差は60cm程度となる。これは、60cm以下の厚みの対象物は、指定した仮想建築限界枠で検知できない可能性があることを意味する。そこで、1つのフレームに車両の進行方向に複数の仮想建築限界枠を多段に設定するようにする。例えば、3つ20cm毎に進行方向に設定すれば、それだけ密に検知ができることとなる。その様子を図123に示す。ただし、車両の速度が遅い場合には、無駄な計算を行うこととなるために、速度に応じて適当な仮想建築限界枠の数を自動判定し、合理化する。
進行方向と異なり、同一位置、言い換えると進行方向と直交する面の方向で建築限界枠の大きさを多重化する(あるいは建築限界枠の大きさを多段に設定する)。その様子を図124に示す。こうすることで、設計値の建築限界枠に支障しなくても、すぐ近傍まで来ている箇所や、建築限界枠に支障したと判断された箇所が、どの程度内側に食い込んでいるかなど、ある程度定量的に見通せるようになる。
支障検知結果をビューアプログラムに出力する際に、支障を検知したフレーム番号およびその画像上のどの位置かを示す情報のみを出力するのではなく、仮想建築限界枠が多重化されることに対応したデータを出力できるようにビューアプログラムへの出力を変更する。
[線路空間支障物検知システム]
第4の実施の形態による線路空間支障物検知システムにおいては、建築限界支障検知アルゴリズムの演算の高速化を図るために、マルチコアを利用した並列演算化、ストリーミングSIMD拡張命令(Streaming SIMD Extensions:SSE)によるベクトル演算の高速化、CUDA(Compute Unified Device Architecture)(GPGPU(General-purpose computing on graphic processing units) )による高速化、アルゴリズム合理化による高速化およびプログラミング言語レベルでのコードの合理化のうちの少なくとも1つを行う。具体的には下記の通りである。その他のことは、第1の実施の形態と同様である。
Windows(登録商標)PCなどに使用されているIntel 製CPUなどでは、演算コアが複数存在する(2,4,6個など)。プログラムは通常逐次処理を行うが、この複数の演算コアを同時に稼働していわゆる並列処理が可能である。ただし、因果関係を持った処理は並列に演算できないため、お互いに独立した処理を並列化する。画像処理では、画像を部分に分けると、並列演算化が容易であるため、マルチコアを利用することで処理速度の向上を図ることができる。ビデオカメラ画像の場合には、フレーム単位で並列演算も可能である。
ベクトル演算とは、複数のデータに対し、同一の命令(処理)を行う方式である。例えば画像の加算などでは、各画素に対し同じ命令が実行されるため、ベクトル演算による効果は高いと言える。
グラフィック機能の高いPCにはグラフィック専用の演算処理を行うGPU(Graphic
Processing Unit)が別途搭載されているものが多い。このGPUをグラフィック以外の計算に用いる技術をGPGPU(General-purpose computing on graphic processing units) と呼ぶ。SSEと同様に同一処理を多数のデータに対し同時に行わせることができ、SSEよりも並列処理できるデータの数が多い。ただし、当然ながらGPUが搭載されたPCでなければ稼働しない。
同一の処理を行う場合でも複数のアルゴリズムを適用可能であり、同一処理でも演算回数がより少ないアルゴリズムが存在する。このため、アルゴリズムの合理化をより完全に行うことにより高速化を図る。
同一処理・同一アルゴリズムでもコードの書き方は一通りではない。例えば使用するメモリの確保を処理の何処で行うかなどは、アルゴリズムの内容およびその結果には影響を与えないが、処理速度に影響する場合がある。そこで、プログラムコードの合理化をより完全に行うことにより高速化を図る。
[線路空間支障物検知システム]
第1の実施の形態においては、図73に示すように、ビューアプログラムのビデオカメラ画像上に建築限界枠および支障位置を表示し、支障箇所累積グラフと同期するようにしているが、第5の実施の形態においては、よりユーザーが直感的に支障状況を把握できるようなユーザーインターフェイスを追加した。具体的には下記の通りである。その他のことは、第1の実施の形態と同様である。
・支障累積数に対し閾値を設け、閾値を超えた箇所にスキップ表示できるようにする。
・サイズを変えた建築限界枠を切り替えて支障累積数グラフを表示する。
[線路空間支障物検知システム]
第1の実施の形態においては、デジタルビデオカメラ20の設置やレンズ歪補正係数および画像中心のずれ、焦点距離等の較正を行うために、カメラセットアッププログラムおよびカメラ内部パラメータキャリブレーションプログラムがインストールされたノートPC50およびHDMI−USB変換器60を車両内に持ち込んでいるのに対し、この第6の実施の形態においては、これらのノートPC50およびHDMI−USB変換器60を車両内に持ち込まないで済むようにするために、オフィスに設置されるデータ処理PC80に同様のカメラセットアッププログラムおよびカメラ内部パラメータキャリブレーションプログラムをインストールすることによりノートPC50で行っていることをデータ処理PC80により行う。その他のことは、第1の実施の形態と同様である。
[線路空間支障物検知システム]
図126に示すように、第7の実施の形態による線路空間支障物検知システムにおいては、第1の実施の形態において用いた画像同期装置10の代わりに、画像同期プログラムがインストールされたコンピュータ200を用いる。コンピュータ200としては、例えば、PCを用いることができる。その他のことは、第1の実施の形態と同様である。
Claims (9)
- 線路を走行する車両に設置される、動画の撮影が可能なカメラと、
上記カメラにより撮影される画像と上記車両の速度情報とを同期する画像同期装置とを有し、
上記カメラが設置された上記車両を走行させながら上記カメラにより進行方向前方の線路空間を撮影し、上記線路上の互いに異なる位置であって上記速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像を比較することにより上記線路空間における支障物の有無を検知し、
上記車両の進行方向および上記車両の進行方向と直交する面の方向の少なくとも一方に仮想建築限界枠が多段に設定される線路空間支障物検知システム。 - 線路を走行する車両に設置される、動画の撮影が可能なカメラと、
上記カメラにより撮影される画像と上記車両の速度情報とを同期する画像同期装置とを有し、
上記カメラが設置された上記車両を走行させながら上記カメラにより進行方向前方の線路空間を撮影し、上記線路上の互いに異なる位置であって上記速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像を比較することにより上記線路空間における支障物の有無を検知し、
上記カメラにより撮影される画像の1フレーム内の仮想建築限界枠において、支障していると判定された箇所の数を積算し、支障度合いを表示する線路空間支障物検知システム。 - 線路を走行する車両に設置される、動画の撮影が可能なカメラと、
上記カメラにより撮影される画像と上記車両の速度情報とを同期する画像同期装置とを有し、
上記カメラが設置された上記車両を走行させながら上記カメラにより進行方向前方の線路空間を撮影し、上記線路上の互いに異なる位置であって上記速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像を比較することにより上記線路空間における支障物の有無を検知し、
上記カメラにより撮影される画像、上記車両の速度情報、上記カメラの焦点距離および画像中心の歪補正係数を用いて建築限界支障検知処理を行う建築限界支障検知プログラムを用いる線路空間支障物検知システム。 - 線路を走行する車両に設置される、動画の撮影が可能なカメラと、
上記カメラにより撮影される画像と上記車両の速度情報とを同期する画像同期装置とを有し、
上記カメラが設置された上記車両を走行させながら上記カメラにより進行方向前方の線路空間を撮影し、上記線路上の互いに異なる位置であって上記速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像を比較することにより上記線路空間における支障物の有無を検知し、
上記車両に上記カメラを設置する際にその姿勢を調整するためにカメラ姿勢調整プログラムを用いる線路空間支障物検知システム。 - 線路を走行する車両に設置される、動画の撮影が可能なカメラと、
上記カメラにより撮影される画像と上記車両の速度情報とを同期する画像同期装置とを有し、
上記カメラが設置された上記車両を走行させながら上記カメラにより進行方向前方の線路空間を撮影し、上記線路上の互いに異なる位置であって上記速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像を比較することにより上記線路空間における支障物の有無を検知し、
上記速度情報は上記車両に設置されるGPS受信機または速度発電機により取得される線路空間支障物検知システム。 - 線路を走行する車両に設置される、動画の撮影が可能なカメラと、
上記カメラにより撮影される画像と上記車両の速度情報とを同期する画像同期装置とを有し、
上記カメラが設置された上記車両を走行させながら上記カメラにより進行方向前方の線路空間を撮影し、上記線路上の互いに異なる位置であって上記速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像を比較することにより上記線路空間における支障物の有無を検知し、
上記画像同期装置は、選択された時間間隔毎に取得され、データインデクスがそれぞれ付与された上記速度情報の上記データインデクスを選択された時間間隔毎に音声レベル信号に変換するデジタル/アナログ変換回路を有する線路空間支障物検知システム。 - 上記カメラは音声入力機能を有し、上記画像同期装置は上記カメラの音声入力端子が接続される出力端子を有し、上記デジタル/アナログ変換回路から出力される上記音声レベル信号は上記出力端子から出力される請求項6記載の線路空間支障物検知システム。
- 上記選択された距離は予め決められた一定値である請求項1〜7のいずれか一項記載の線路空間支障物検知システム。
- 上記カメラにより撮影される画像と上記車両の速度情報とを一対一に関連付けするための連動表示プログラムを用いる請求項1〜8のいずれか一項記載の線路空間支障物検知システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121390A JP6381981B2 (ja) | 2014-06-12 | 2014-06-12 | 線路空間支障物検知システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121390A JP6381981B2 (ja) | 2014-06-12 | 2014-06-12 | 線路空間支障物検知システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016000598A JP2016000598A (ja) | 2016-01-07 |
JP6381981B2 true JP6381981B2 (ja) | 2018-08-29 |
Family
ID=55076434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014121390A Active JP6381981B2 (ja) | 2014-06-12 | 2014-06-12 | 線路空間支障物検知システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6381981B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6655513B2 (ja) * | 2016-09-21 | 2020-02-26 | 株式会社日立製作所 | 姿勢推定システム、姿勢推定装置、及び距離画像カメラ |
JP6994875B2 (ja) * | 2017-09-04 | 2022-01-14 | 株式会社日立国際電気 | 障害物検出システム及び障害物検出方法 |
JP7062407B2 (ja) | 2017-11-02 | 2022-05-06 | 株式会社東芝 | 支障物検知装置 |
JP7020324B2 (ja) * | 2018-07-10 | 2022-02-16 | 株式会社明電舎 | 線路曲率推定装置及び方法 |
GB2578618B (en) * | 2018-11-01 | 2021-09-15 | Hitachi Ltd | Train coupling support system |
JP7127607B2 (ja) * | 2019-04-26 | 2022-08-30 | 株式会社明電舎 | レール曲率推定装置 |
JP6618163B1 (ja) * | 2019-07-31 | 2019-12-11 | ナカシャ クリエイテブ株式会社 | 撮像システム |
CN112991446A (zh) * | 2021-03-10 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像稳像方法、装置、路侧设备以及云控平台 |
CN113240742A (zh) * | 2021-05-18 | 2021-08-10 | 西南交通大学 | 一种基于视觉像素链接直线检测的火车倒车辅助检测方法 |
WO2023100263A1 (ja) * | 2021-11-30 | 2023-06-08 | 三菱電機株式会社 | 支障箇所候補抽出装置、支障箇所候補抽出方法、支障箇所候補抽出プログラム、および支障箇所候補抽出システム |
JP7100863B1 (ja) * | 2021-12-12 | 2022-07-14 | ナカシャ クリエイテブ株式会社 | 動画処理装置、動画処理方法、プログラム |
CN118071832B (zh) * | 2024-04-19 | 2024-07-05 | 湖南蓝天机器人科技有限公司 | 一种基于激光识别的rgv小车视觉定位方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59156089A (ja) * | 1983-10-11 | 1984-09-05 | Hitachi Ltd | 車両の障害物検知方式 |
JPH0332978A (ja) * | 1989-06-30 | 1991-02-13 | Mitsubishi Electric Corp | 自動連結監視装置 |
IL117279A (en) * | 1996-02-27 | 2000-01-31 | Israel Aircraft Ind Ltd | System for detecting obstacles on a railway track |
US7999848B2 (en) * | 2004-06-11 | 2011-08-16 | Stratech Systems Limited | Method and system for rail track scanning and foreign object detection |
JP2006214903A (ja) * | 2005-02-04 | 2006-08-17 | Hitachi High-Tech Electronics Engineering Co Ltd | 建築限界支障物検出装置 |
JP2010202017A (ja) * | 2009-03-03 | 2010-09-16 | Mitsubishi Electric Corp | データ解析装置及びデータ解析方法及びプログラム |
JP6494103B2 (ja) * | 2015-06-16 | 2019-04-03 | 西日本旅客鉄道株式会社 | 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム |
-
2014
- 2014-06-12 JP JP2014121390A patent/JP6381981B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016000598A (ja) | 2016-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6381981B2 (ja) | 線路空間支障物検知システム | |
JP6494103B2 (ja) | 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム | |
Chen et al. | Inexpensive multimodal sensor fusion system for autonomous data acquisition of road surface conditions | |
EP2261604B1 (en) | Computer arrangement for and method of calculating motion vectors using range sensor data | |
WO2018153304A1 (zh) | 基于adas系统的地图道路标记及道路质量采集装置及方法 | |
EP2588882B1 (en) | Method for producing a digital photo wherein at least some of the pixels comprise position information, and such a digital photo | |
JP5714940B2 (ja) | 移動体位置測定装置 | |
US8842181B2 (en) | Camera calibration apparatus | |
US9357208B2 (en) | Method and system for dynamically calibrating vehicular cameras | |
JP5893054B2 (ja) | 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体 | |
JP2007249103A (ja) | 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置 | |
CN110443819B (zh) | 一种单轨列车的轨道检测方法和装置 | |
JP2009140192A (ja) | 道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置 | |
JP4626400B2 (ja) | 俯瞰画像表示装置及び俯瞰画像表示方法 | |
JP4852905B2 (ja) | 画像処理装置、画像処理方法 | |
CN107449786B (zh) | 一种对物体表面精细观测的装置 | |
CN112896045A (zh) | 一种车辆a柱盲区透视方法、系统及车辆 | |
NL2016718B1 (en) | A method for improving position information associated with a collection of images. | |
JP6507590B2 (ja) | 画像変換装置および画像変換方法 | |
Jorgensen et al. | Validation of vehicle speed analysis utilizing the input-ace camera match overlay tool | |
JP2018004325A (ja) | 注視点検出装置、注視点検出方法、注視点検出システム、及び車両 | |
JP7317299B2 (ja) | 画像処理システム | |
WO2023145402A1 (ja) | 交通流計測システムおよび交通流計測方法 | |
JP2001109986A (ja) | 画像表示システム | |
WO2020129715A1 (ja) | 画像補正装置、画像補正方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6381981 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |