JP7305750B2 - 監視システムおよび監視方法 - Google Patents
監視システムおよび監視方法 Download PDFInfo
- Publication number
- JP7305750B2 JP7305750B2 JP2021508401A JP2021508401A JP7305750B2 JP 7305750 B2 JP7305750 B2 JP 7305750B2 JP 2021508401 A JP2021508401 A JP 2021508401A JP 2021508401 A JP2021508401 A JP 2021508401A JP 7305750 B2 JP7305750 B2 JP 7305750B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- video data
- unit
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
図10は、この前方監視カメラを備えた車両を示す図である。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
図1は、実施例1における鉄道監視システム10の構成を示す図である。
同図において、鉄道監視システム10は、撮像部である前方監視カメラ20、画像抽出部30、画像解析部40、距離解析部50、および制御部60を備える。
図2は、この車両1と別車両2の様子を示す図である。
同図において、車両1の前進方向(または後退方向)に、別車両2が対向して停車する。車両1の運転台1Dには、前方監視カメラ20が車両1の前進方向(または後退方向)に向けて設置される。
次に、車両1および別車両2間の距離を検出する動作について説明する。
以下、同図に示すステップ番号に沿って説明する。
図4は、この画像抽出部30の処理を示す図である。
ステップS106: 車体幅算出部43は、抽出された差分領域について水平方向または垂直方向、または斜めなどの所定方向の画像長さを算出する。
続いて、上記のステップS107で実施する距離情報の算出方法について説明する。
図5は、前方監視カメラ20の光学的な物空間を示す図である。
図6は、前方監視カメラ20の光学的な像空間を示す図である。
被写体a,bは、どちらも同じ別車両2に相当するため、物空間における高さYaと高さYbは等しい。
Ya = Yb ・・・・・ [1]
φa < φb ・・・・・ [2]
Za < Zb ・・・・・ [3]
Xa / Ya = f / Za ・・・・・ [4]
Xb / Yb = f / Zb ・・・・・ [5]
Xa = Ya × f / Za ・・・・・ [6]
Xb = Yb × f / Zb ・・・・・ [7]
さらに、実施例1は次の効果を奏する。
例えば、移動体と被写体(車両同士)の運行情報や、外観画像の変化や、距離情報の変化などにより、接近中か離隔中かを判定することができる。
そして、移動体と被写体(車両同士)が接近中の場合、対向する被写体(別車両)の外観画像は徐々に大きくなる。そのため、差分領域の外側の大きな画像長さ(図4のW1,W3)を計ることにより、より最新の画像長さを求めることができる。
図7は、実施例2における鉄道監視システム10Aの構成を示す図である。
同図において、鉄道監視システム10Aは、実施例1の画像抽出部30を画像抽出部30Aに入れ替えて構成される。なお、画像抽出部30A以外の構成や動作については、実施例1と同じため、ここでの重複説明を省略する。
続いて、画像抽出部30Aの具体的動作について説明する。
図8は、車両1が前進と停止を繰り返すまたは微速で前進している場合の画像抽出部30Aの動作を示す説明図である。
同図において、フレーム(A)~(B)は車両停止中の映像データに相当する。フレーム(C)は、車両前進中の映像データに相当する。
実施例2は、実施例1の効果に加えて、次の効果も奏する。
なお、本発明は上記した個々の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、移動体に設置されたカメラの被写体は、列車でなくてもよい。例えば、標識や建設物等の静止物を被写体としてもよい。
さらに、移動体の前進方向または後退方向は、移動体が方向転換して移動可能な方向であってもよく、直線状の前後二方向に限定されない。また、移動体の『移動』とは被写体との相対距離が変化し得るという意味であるため、動く被写体に座標軸を設定した場合には、カメラを搭載した静止体も相対的に移動体になり得る。
Claims (7)
- 鉄道の車両に設置され、前記車両の前進方向または後退方向を撮影して映像データを出力する撮像部と、
前記映像データに写る別車両の外観画像を抽出する画像抽出部と、
前記外観画像における前記別車両のサイズを解析する画像解析部と、
前記別車両のサイズに基づいて前記別車両までの距離情報を求める距離解析部と、
前記距離情報を出力する制御部と
を備え、
前記画像抽出部は、
前記映像データの時間軸方向について差分画像を生成して背景領域を除去し、前記差分画像に残存する前記別車両の前記外観画像を抽出し、
前記画像解析部は、
前記外観画像における前記別車両の窓枠または外形の画像長さを解析し、
前記距離解析部は、
前記画像長さに基づいて前記別車両までの前記距離情報を求め、
前記別車両までの前記距離情報は、次式により計算する
ことを特徴とする監視システム。
X = Y × f / Z
ここで、Xは前記別車両までの前記距離情報、Yは前記別車両の実長、fは前記撮像部の焦点距離、Zは像高(前記画像長さ(単位:画素数)に、前記撮像部の撮像素子の画素間隔を乗じたもの)である。 - 請求項1に記載の監視システムにおいて、
前記制御部は、
前記車両の運行情報を取得し、前記運行情報が所定の低速度運行の条件を満足したことを契機に、前記別車両までの前記距離情報の検出または出力を開始する
ことを特徴とする監視システム。 - 請求項1に記載の監視システムにおいて
前記画像抽出部は、
前記映像データを一時記憶するための画像メモリA,Bと、
前記映像データを前記画像メモリAまたはBに入力する入力セレクタと、
前記画像メモリAまたはBから過去の前記映像データを出力する出力セレクタと、
前記入力セレクタの出力先および前記出力セレクタの入力元を切り替える切替部と、
「前記映像データ」と「前記出力セレクタから出力される過去の前記映像データ」との差分をとって前記差分画像を生成する差分器とを備える
ことを特徴とする監視システム。 - 請求項3に記載の監視システムにおいて、
前記画像抽出部は、
「前記差分画像による動き検出」または「前記車両の運行情報」の動き情報に基づいて、前記外観画像の差分抽出に適さない車両停止または微動の期間(以下「停止期間」という)を判定する動き判定部を備え
前記切替部は、
前記停止期間は、前記入力セレクタの出力先を切り替えず、前記停止期間の開始付近の前記映像データを前記画像メモリA,Bの一方に保持し、前記出力セレクタの入力元を切り替えず、前記画像メモリA,Bの一方から前記停止期間の開始付近の前記映像データを継続して出力する
ことを特徴とする監視システム。 - 鉄道の車両に設置された撮像部により、前記車両の前進方向または後退方向を撮影して映像データを生成する撮像ステップと、
前記映像データに写る別車両の外観画像を抽出する画像抽出ステップと、
前記外観画像における前記別車両のサイズを解析する画像解析ステップと、
前記別車両のサイズに基づいて前記別車両までの距離情報を求める距離解析ステップと、
前記距離情報を出力する制御ステップと
を備え、
前記画像抽出ステップは、
前記映像データの時間軸方向について差分画像を生成して背景領域を除去し、前記差分画像に残存する前記別車両の前記外観画像を抽出し、
前記画像解析ステップは、
前記外観画像における前記別車両の窓枠または外形の画像長さを解析し、
前記距離解析ステップは、
前記画像長さに基づいて前記別車両までの前記距離情報を求め、
前記別車両までの前記距離情報は、次式により計算する
ことを特徴とする監視方法。
X = Y × f / Z
ここで、Xは前記別車両までの前記距離情報、Yは前記別車両の実長、fは前記撮像部の焦点距離、Zは像高(前記画像長さ(単位:画素数)に、前記撮像部の撮像素子の画素間隔を乗じたもの)である。 - 請求項5に記載の監視方法において
前記画像抽出ステップは、
前記映像データを一時記憶するための画像メモリAまたはBに対して前記映像データを入力する入力ステップと、
前記画像メモリAまたはBから過去の前記映像データを出力する出力ステップと、
前記入力ステップにおける前記映像データを入力する前記画像メモリおよび前記出力ステップにおける過去の前記映像データを出力する前記画像メモリを切り替える切替制御ステップと、
「前記映像データ」と「前記出力ステップにより出力される過去の前記映像データ」との差分をとって差分画像を生成する差分ステップとを備える
ことを特徴とする監視方法。 - 請求項6に記載の監視方法において、
前記画像抽出ステップは、
「前記差分画像による動き検出」または「前記車両の運行情報」の動き情報に基づいて、前記外観画像の差分抽出に適さない車両停止または微動の期間(以下「停止期間」という)を判定する動き判定ステップを備え
前記切替制御ステップは、
前記停止期間は、前記入力ステップにおける前記映像データを入力する前記画像メモリを切り替えず、前記停止期間の開始付近の前記映像データを前記画像メモリAまたはBの一方に保持し、
前記出力ステップにおける過去の前記映像データを出力する前記画像メモリを切り替えず、前記画像メモリAまたはBの一方から前記停止期間の開始付近の前記映像データを継続して出力する
ことを特徴とする監視方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/012345 WO2020194422A1 (ja) | 2019-03-25 | 2019-03-25 | 監視システムおよび監視方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020194422A1 JPWO2020194422A1 (ja) | 2020-10-01 |
JP7305750B2 true JP7305750B2 (ja) | 2023-07-10 |
Family
ID=72610453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021508401A Active JP7305750B2 (ja) | 2019-03-25 | 2019-03-25 | 監視システムおよび監視方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7305750B2 (ja) |
WO (1) | WO2020194422A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002122670A (ja) | 2000-10-18 | 2002-04-26 | Nissan Motor Co Ltd | 車間距離計測方法 |
JP2003247824A (ja) | 2002-02-22 | 2003-09-05 | Nissan Motor Co Ltd | 車載用測距装置 |
JP2010184527A (ja) | 2009-02-10 | 2010-08-26 | Hitachi Ltd | 列車の停止検知システム並びに列車の移動速度及び位置検出システム |
WO2012175510A1 (en) | 2011-06-23 | 2012-12-27 | Siemens S.A.S. | Apparatus for measuring a distance between two public transport vehicles |
-
2019
- 2019-03-25 JP JP2021508401A patent/JP7305750B2/ja active Active
- 2019-03-25 WO PCT/JP2019/012345 patent/WO2020194422A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002122670A (ja) | 2000-10-18 | 2002-04-26 | Nissan Motor Co Ltd | 車間距離計測方法 |
JP2003247824A (ja) | 2002-02-22 | 2003-09-05 | Nissan Motor Co Ltd | 車載用測距装置 |
JP2010184527A (ja) | 2009-02-10 | 2010-08-26 | Hitachi Ltd | 列車の停止検知システム並びに列車の移動速度及び位置検出システム |
WO2012175510A1 (en) | 2011-06-23 | 2012-12-27 | Siemens S.A.S. | Apparatus for measuring a distance between two public transport vehicles |
Also Published As
Publication number | Publication date |
---|---|
WO2020194422A1 (ja) | 2020-10-01 |
JPWO2020194422A1 (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3438777B1 (en) | Method, apparatus and computer program for a vehicle | |
JP6371185B2 (ja) | カメラキャリブレーション装置及びカメラキャリブレーションシステム | |
DK2757346T3 (en) | PROCEDURE FOR MEASURING A HEIGHT PROFILE OF A VEHICLE PASSING | |
US11398051B2 (en) | Vehicle camera calibration apparatus and method | |
CN109997148B (zh) | 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质 | |
JP5663352B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US20120044327A1 (en) | Device for acquiring stereo image | |
US8098897B2 (en) | Multi dimensional imaging system | |
US20160301912A1 (en) | Disparity value deriving device, movable apparatus, robot, disparity value producing method, and computer program | |
US20150248594A1 (en) | Disparity value deriving device, equipment control system, movable apparatus, and robot | |
JP6592991B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP2009239664A (ja) | 車両用環境認識装置および先行車追従制御システム | |
US11403854B2 (en) | Operating assistance method, control unit, operating assistance system and working device | |
WO2014002692A1 (ja) | ステレオカメラ | |
JP2022065978A (ja) | 画像処理装置およびその制御方法 | |
JP2007078358A (ja) | 移動体計測装置、信号制御システム、移動体計測方法及びコンピュータプログラム | |
JP2015186085A (ja) | 移動量導出装置、及び、移動量導出方法 | |
JP5027710B2 (ja) | 車両用環境認識装置および先行車追従制御システム | |
JP2006318059A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP2006318062A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP7305750B2 (ja) | 監視システムおよび監視方法 | |
JP6844223B2 (ja) | 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム | |
US7406182B2 (en) | Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program | |
JP2006318061A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP2018092603A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7305750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |