WO2020194422A1 - 監視システムおよび監視方法 - Google Patents

Abstract

本発明は、移動体と、移動体に設置されたカメラで撮像した被写体との距離を検出する技術を提供することを目的とする。　代表的な本発明の監視システムの一つは、移動体に設置されて移動体の前進方向または後退方向を撮影して映像データを出力する撮像部と、映像データに写る被写体の外観画像を抽出する画像抽出部と、外観画像上の被写体のサイズを解析する画像解析部と、外観画像上の別車両のサイズに基づいて被写体までの距離情報を求める距離解析部と、距離情報を出力する制御部とを備える。

Description

監視システムおよび監視方法

　本発明は、監視システムおよび監視方法に関する。

　近年、移動体に設置されたカメラで外部の映像を取得する事例が増えている。例えば、鉄道の車両には、運行状況を記録するなどの目的で前方監視カメラが設置される。
　図１０は、この前方監視カメラを備えた車両を示す図である。

　同図において、車両１（例えば先頭車両）は、車両の運転台の内側から前方を撮影して映像データを出力する前方監視カメラ２０と、映像データを表示するための表示モニタ２０Ｍと、映像データを記録する記録装置２０Ｒと、これら装置を相互にネットワーク接続するためのハブ装置２０Ｈとを備えてシステム構成される。

　このような監視システムでは、たとえば特許文献１のように、車両全体にネットワークが構築されている。

特許第5634848号公報

　一般的に車両に設置されるカメラは、外部の映像を記録するだけである。そこで、本発明は、移動体と、移動体に設置されたカメラの被写体との距離を検出する技術を提供することを目的とする。

　上記課題を解決するために、代表的な本発明の監視システムの一つは、移動体に設置されて移動体の前進方向または後退方向を撮影して映像データを出力する撮像部と、映像データに写る被写体の外観画像を抽出する画像抽出部と、外観画像上の被写体のサイズを解析する画像解析部と、外観画像上の被写体のサイズに基づいて被写体までの距離情報を求める距離解析部と、距離情報を出力する制御部とを備える。

　本発明により、移動体と、移動体に設置されたカメラの被写体間との距離を検出することが可能になる。
　上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

図１は、実施例１の構成を示す図である。 図２は、車両１および別車両２の様子を示す図である。 図３は、鉄道監視システム１０の動作を示す流れ図である。 図４は、画像抽出部３０の処理を示す図である。 図５は、光学的な物空間を示す図である。 図６は、光学的な像空間を示す図である。 図７は、実施例２の構成を示す図である。 図８は、画像抽出部３０Ａの動作を示す図である。 図９は、停止期間の差分画像と前進期間の差分画像を示す図である。 図１０は、前方監視カメラを示す図である。

　　図面を参照しながら、本発明の実施例を詳細に記載する。

（実施例１の構成）
　図１は、実施例１における鉄道監視システム１０の構成を示す図である。
　同図において、鉄道監視システム１０は、撮像部である前方監視カメラ２０、画像抽出部３０、画像解析部４０、距離解析部５０、および制御部６０を備える。

　前方監視カメラ２０は、被写体像を撮像して映像信号を出力する撮像素子２１と、映像信号に対してゲイン制御やガンマ補正や色補正などを行って映像データを生成するカメラ映像処理部２２と、映像データに対して静止画や動画像の圧縮処理を行い、ネットワークプロトコルに適合した映像ストリームデータに変換してネットワークＮに送出するカメラ後処理部２３とを備える。

　画像抽出部３０は、映像データから色差成分を除いて輝度成分（グレースケール）からなる映像データに変換するグレースケール変換部３１と、映像データをフレーム単位に一時記憶する画像メモリ３２と、現在の映像データと、画像メモリ３２に記憶された過去の映像データとのフレーム差をとることにより、静止した背景領域を除去した差分画像を生成する差分器３３とを備える。なお、差分画像は負の画素値を取り得るため、絶対値化の処理を施してもよい。

　画像解析部４０は、差分画像から別車両の外形の差分領域（画素差が有意なレベルの画素の集合）を抽出する外形抽出部４１と、差分画像から別車両の窓枠の差分領域を抽出する窓枠抽出部４２と、抽出された差分領域の幅の画像上の長さ（以下「画像長さ」という）を解析する車体幅算出部４３とを備える。

　距離解析部５０は、映像データの撮影時のカメラパラメータ（焦点距離ｆや撮像素子サイズなど）を、前方監視カメラ２０や映像データ内の情報領域（ＥＸＩＦなど）から取得するカメラパラメータ取得部５２と、別車両の画像長さとカメラパラメータとに基づいて別車両までの距離情報を算出する対向距離算出部５１とを備える。

　制御部６０は、前方監視カメラ２０が搭載される車両１や、別車両の制御装置から運行情報（車両速度、前進後退の情報、車輪の回転速度、電動機の駆動情報などの車両運行に係る情報）を有線または無線で取得し、運行状況のタイミングに応じて別車両までの距離情報を距離解析部５０に算出させる。

　まず、車両１と別車両２の車両状態について説明する。
　図２は、この車両１と別車両２の様子を示す図である。
　同図において、車両１の前進方向（または後退方向）に、別車両２が対向して停車する。車両１の運転台１Ｄには、前方監視カメラ２０が車両１の前進方向（または後退方向）に向けて設置される。

　この状態において、前方監視カメラ２０は、別車両２の正面窓および車体の左右側方までを監視視野２０Ｅに捉える。

（実施例１の動作）
　次に、車両１および別車両２間の距離を検出する動作について説明する。

　図３は、鉄道監視システム１０の動作を示す流れ図である。
　以下、同図に示すステップ番号に沿って説明する。

ステップＳ１０１：　制御部６０は、車両１の制御装置から車両１の運行情報（車両速度、前進後退などの運転操作情報）を取得する。また、別車両２の制御装置から別車両２の運行情報を無線で取得する。

ステップＳ１０２：　制御部６０は、運行情報が低速度運行の条件を満足するか否かを判定する。車両速度が通常走行の速度域にあるなど、運行情報が低速度運行の条件を満足しない場合、制御部６０はステップＳ１０１に動作を戻す。車両速度が所定の閾値以下であるなど、運行情報が低速度運行の条件を満足した場合、ステップＳ１０３に動作を移行する。

ステップＳ１０３：　画像抽出部３０は、前方監視カメラ２０が出力した、監視視野２０Ｅ（図２参照）の画角内の映像データを処理する。
　図４は、この画像抽出部３０の処理を示す図である。

　同図において、画像抽出部３０には、フレーム（１）、（２）・・・のフレーム順に映像データが入力される。グレースケール変換部３１は、これらの映像データから色差成分を除いて、輝度成分からなる映像データを出力する。

　差分器３３は、現時点の映像データと、画像メモリ３２に記憶された過去の映像データとのフレーム差をとることにより、差分画像を生成する。この差分画像の生成により、映像データから「背景の静止領域」が除去され、動領域である別車両２の窓枠や外形を含む外観画像が抽出される。

ステップＳ１０４：　外形抽出部４１は、差分画像に対して形状マッチングやエッジ抽出やハフ変換や特徴抽出や閉領域などの解析・認識を行うことにより、図４（Ｇ）に示すような別車両２の外形の差分領域を抽出する。

　また、窓枠抽出部４２は、差分画像に対して形状マッチングやエッジ抽出やハフ変換や特徴抽出や閉領域などの解析・認識を行うことにより、図４（Ｆ）に示すような別車両２の窓枠の差分領域を抽出する。

　例えば、差分画像に対しエッジ検出を実施した後に直線成分を抽出し、直線成分に囲まれて矩形になった部分を検出することで外形や窓枠を抽出することが可能である。また、車両のデザインにより外形や窓枠が直線に見えない場合には直線にとらわれないハフ変換などのアルゴリズムを適用することも可能である。

ステップＳ１０５：　車体幅算出部４３は、差分画像から外形または窓枠の差分領域が抽出されたか否かを判定する。ここで、外形または窓枠の差分領域がどちらも抽出されない場合、車体幅算出部４３は、ステップＳ１０１に動作を戻す。外形または窓枠の差分領域が一方でも抽出された場合、車体幅算出部４３は、ステップＳ１０６に動作を移行する。
ステップＳ１０６：　車体幅算出部４３は、抽出された差分領域について水平方向または垂直方向、または斜めなどの所定方向の画像長さを算出する。

　このとき、車両１および別車両２が接近中か離隔中かにより、画像長さの測り方を切り替えてもよい。例えば、車体幅算出部４３は、車両間の距離変化や運行情報や画像変化に基づいて車両１および別車両２が接近中と判定した場合、差分領域の外側の画像の長さ（図４のＷ１，Ｗ３参照）を算出する。また、車体幅算出部４３は、車両１および別車両２が離隔中と判定された場合、差分領域の内側の画像長さ（図４のＷ２，Ｗ４参照）を算出する。

ステップＳ１０７：　カメラパラメータ取得部５２は、映像データを撮影した際の焦点距離ｆや、撮像素子サイズなどのカメラパラメータを取得する。対向距離算出部５１は、車体幅算出部４３が算出した画像長さと、カメラパラメータ取得部５２が取得したカメラパラメータに基づいて、別車両２までの距離情報を算出する。距離情報の算出方法については後述する。対向距離算出部５１は、算出した距離情報を制御部６０などに出力すると、ステップＳ１０１に動作を戻す。

（距離情報の算出方法について）
　続いて、上記のステップＳ１０７で実施する距離情報の算出方法について説明する。
　図５は、前方監視カメラ２０の光学的な物空間を示す図である。
　図６は、前方監視カメラ２０の光学的な像空間を示す図である。

　これらの図において、被写体ａは図４に示すフレーム（１）の別車両２に相当する。被写体ｂは図４に示すフレーム（２）の別車両２に相当する。被写体ａと被写体ｂは、前方監視カメラ２０の前側主点Ｃ１から被写体距離Ｘａ、Ｘｂ離れた場所にある。

　被写体ａの光軸から高さＹａの位置を出た光線は、前側主点Ｃ１に対して入射角φａで入射する。この光線は後側主点Ｃ２から対称に反転した出射角φａで出射し、およそ焦点距離ｆ離れた撮像素子２１に対して像高Ｚａの位置に結像する。

　被写体ｂの光軸から高さＹｂの位置を出た光線は、前側主点Ｃ１に対して入射角φｂで入射する。この光線は後側主点Ｃ２から対称に反転した出射角φｂで出射し、およそ焦点距離ｆ離れた撮像素子２１に対して像高Ｚｂの位置に結像する。
　被写体ａ，ｂは、どちらも同じ別車両２に相当するため、物空間における高さＹａと高さＹｂは等しい。
　　Ｙａ　＝　Ｙｂ　・・・・・　［１］

　２つの被写体ａ，ｂは同じ大きさであるが、被写体距離Ｘｂが被写体距離Ｘａよりも短いため、被写体ｂの入射角φｂは、被写体ａの入射角φａよりも大きくなる。
　　φａ　＜　φｂ　・・・・・　［２］　

　そのため、同じ大きさの被写体ａ，ｂでありながら、撮像素子２１に結像する像高Ｚａ，Ｚｂは次の関係になる。
　　Ｚａ　＜　Ｚｂ　・・・・・　［３］

　すなわち、被写体距離が遠ざかるほど、撮像素子２１が撮像する被写体像の像高は短くなる。この関係により次式が得られる。
　　Ｘａ　／　Ｙａ　＝　ｆ　／　Ｚａ　・・・・・　［４］
　　Ｘｂ　／　Ｙｂ　＝　ｆ　／　Ｚｂ　・・・・・　［５］

　式［４］［５］を被写体距離Ｘａ，Ｘｂを求める式に変形すると次式が得られる。
　　Ｘａ　＝　Ｙａ　×　ｆ　／　Ｚａ　・・・・・　［６］
　　Ｘｂ　＝　Ｙｂ　×　ｆ　／　Ｚｂ　・・・・・　［７］

　ここで、焦点距離ｆは前方監視カメラ２０のカメラパラメータや映像データ内の情報領域（ＥＸＩＦなど）から情報取得できる。像高Ｚａ，Ｚｂは、映像データ（差分画像）を画像解析して求めた画像長さ（単位：画素数）に対して、撮像素子２１の画素間隔（有効画素領域の縦横サイズ／有効画素領域の縦横方向の画素数）を乗ずることにより求めることができる。被写体である別車両２の実長Ｙａ（＝Ｙｂ）は、車両の設計データや実測により予め情報収集してデータベース化することが可能である。このデータベースは、鉄道監視システム１０の内部や、ネットワーク上のクラウドサーバーなどに設置される。

　したがって、被写体の画像長さが求まれば、被写体までの距離を計算することができる。以上述べたように、前方監視カメラ２０を用いて、車両間の距離を検出することが可能になる。

（実施例１の効果）
　さらに、実施例１は次の効果を奏する。

（１）実施例１では、前方監視カメラ２０を用いて車両間距離を検出することができる。

（２）実施例１では、運行状況を記録するなどの目的で車両１に従来から設置されている前方監視カメラ２０を撮像部として使用することができる。そのため、新規な構成部分は少なく、省スペースかつ省コストに鉄道監視システム１０を追加的に実現することができる。

（３）実施例１では、画像解析部４０が別車両２の窓枠または外形の画像長さを解析する。車両正面の窓枠や外形は、画像上のエッジ領域になるためにエッジ抽出が容易であり、かつ形状も予め決定されるために形状認識が正確になる。そのため、画像長さの解析が容易かつ正確になり、距離情報の検出精度を高めることができる。

（４）実施例１では、制御部６０が、車両１または別車両２の運行情報を取得し、運行情報が所定の低速度運行の条件を満足したことを契機に、別車両２までの距離情報の検出または出力を開始する。そのため、通常走行時において距離情報の検出または出力を抑止することができる。したがって、鉄道監視システム１０として処理負荷を削減することが可能になる。

（５）実施例１では、画像抽出部３０が、映像データの時間軸方向について差分画像を生成して背景領域を除去する。そのため、背景領域に含まれるエッジ成分などにより別車両２の外観画像の抽出が妨害されることがなく、外観画像の画像長さをより適切に解析することが可能になる。

（６）さらに実施例１では、画像解析部４０が、差分画像の差分領域について、移動体と被写体（車両同士）が接近中か離隔中かにより、画像長さの測り方を切り替える。
　例えば、移動体と被写体（車両同士）の運行情報や、外観画像の変化や、距離情報の変化などにより、接近中か離隔中かを判定することができる。
　そして、移動体と被写体（車両同士）が接近中の場合、対向する被写体（別車両）の外観画像は徐々に大きくなる。そのため、差分領域の外側の大きな画像長さ（図４のＷ１，Ｗ３）を計ることにより、より最新の画像長さを求めることができる。

　逆に、移動体と被写体（車両同士）が離隔中の場合、対向する被写体（別車両）の外観画像は徐々に小さくなる。そのため、差分領域の内側の小さな画像長さ（図４のＷ２，Ｗ４）を計ることにより、より最新の画像長さを求めることができる。

　したがって、実施例１では、より最新の画像長さに基づいて、より最新の距離情報（車両間距離の情報）を求めることができる。

　続いて、別車両２の外観画像の差分抽出に適さない停止ないし微動の期間（以下「停止期間」という）に対処した差分画像を生成する実施例２について説明する。

（実施例２の構成）
　図７は、実施例２における鉄道監視システム１０Ａの構成を示す図である。
　同図において、鉄道監視システム１０Ａは、実施例１の画像抽出部３０を画像抽出部３０Ａに入れ替えて構成される。なお、画像抽出部３０Ａ以外の構成や動作については、実施例１と同じため、ここでの重複説明を省略する。

　画像抽出部３０Ａは、グレースケール変換部３１、画像メモリＡ、画像メモリＢ、入力セレクタ３４、出力セレクタ３５、動き判定部３６、切替部３７、および差分器３３を備える。

　グレースケール変換部３１は、前方監視カメラ２０から取得した映像データから色差成分を除いて輝度成分（グレースケール）からなる映像データに変換する。

　画像メモリＡ，Ｂは、すくなくとも２つの画像メモリ、または１つの画像メモリ内に少なくとも２つのメモリ領域を設定して実現される。これらの画像メモリＡ，Ｂは、映像データを一時的に記憶するために使用される。

　入力セレクタ３４は、画像メモリＡまたはＢに映像データを入力する。

　出力セレクタ３５は、画像メモリＡまたはＢから過去の映像データを出力する。

　動き判定部３６には、差分器３３が出力する差分画像が入力される。また、動き判定部３６は、車両１または別車両２の運行情報（車両速度、前進後退の情報など）を有線または無線で取得する。動き判定部３６は、「差分画像による動き検出」または「車両１または別車両２の運行情報」の動き情報に基づいて、映像データ上において車両１および／または別車両２が停止ないし微動しているとみなせる「停止期間」を判定する。

　動き判定部３６が停止期間と判定する場合を除いて、切替部３７は、入力セレクタ３４の出力先および出力セレクタ３５の入力元をフレーム単位に排他的に切り替える。

　一方、動き判定部３６が停止期間と判定した場合、切替部３７は、入力セレクタ３４の出力先を切り替えず、停止期間の開始付近の映像データを画像メモリＡ，Ｂの一方に保持し、さらに出力セレクタ３５の入力元を切り替えず、画像メモリＡ，Ｂの一方から停止期間の開始付近の映像データを継続して出力させる。

　差分器３３は、「現在の映像データ」と「出力セレクタ３５から出力される過去の映像データ」との差分をとって差分画像を生成する。

（実施例２の動作）
　続いて、画像抽出部３０Ａの具体的動作について説明する。
　図８は、車両１が前進と停止を繰り返すまたは微速で前進している場合の画像抽出部３０Ａの動作を示す説明図である。

　図８［１］では、フレーム（１）が入力セレクタ３４の出力先である画像メモリＡに保持される。出力セレクタ３５の入力元である画像メモリＢに保持された過去のフレーム（０）は差分器３３に入力される。差分器３３は、現時点のフレーム（１）と過去のフレーム（０）との差分画像を生成する。動き判定部３６は、この差分画像と運行情報に基づいて、停止期間を判定する。図８［１］では、差分画像に含まれる差分領域（画素差が有意なレベルの画素の集合）の画素数が所定比率Ｐ１以上であるなどの理由により、停止期間ではないと判定される。

　図８［２］では、直前に停止期間でないと判定されたことにより、切替部３７は入力セレクタ３４の出力先を画像メモリＢ側に切り替えることにより、現時点のフレーム（２）を画像メモリＢに保持する。さらに、切替部３７は出力セレクタ３５の入力元を画像メモリＡに切り替えることにより、過去のフレーム（１）を差分器３３に出力する。差分器３３は、現時点のフレーム（２）と過去のフレーム（１）との差分画像を生成する。動き判定部３６は、この差分画像と運行情報に基づいて、停止期間の判定を行う。図８［２］では、差分画像に含まれる差分領域の画素数が所定比率Ｐ２未満であるなどの理由により、停止期間と判定される。

　図８［３］では、直前に停止期間と判定されたことにより、切替部３７は入力セレクタ３４の出力先を画像メモリＢ側に維持することにより、停止期間の開始付近のフレーム（１）を画像メモリＡに保持する。さらに、切替部３７は出力セレクタ３５の入力元を画像メモリＡ側に維持することにより、停止期間の開始付近のフレーム（１）を継続して差分器３３に出力する。差分器３３は、現時点のフレーム（３）と過去のフレーム（１）との差分画像を生成する。この差分画像には２フレーム期間の動き情報が含まれる。動き判定部３６は、この差分画像と運行情報に基づいて、停止期間の判定を行う。図８［３］では、差分画像に含まれる差分領域の画素数が所定比率Ｐ２未満であるなどの理由により、停止期間と判定される。

　図８［４］では、継続して停止期間と判定されたことにより、切替部３７は入力セレクタ３４の出力先を画像メモリＢ側に維持することにより、停止期間の開始付近のフレーム（１）を画像メモリＡに保持する。さらに、切替部３７は出力セレクタ３５の入力元を画像メモリＡ側に維持することにより、停止期間の開始付近のフレーム（１）を継続して差分器３３に出力する。差分器３３は、現時点のフレーム（４）と過去のフレーム（１）との差分画像を生成する。この差分画像には３フレーム期間の動き情報が含まれる。動き判定部３６は、この差分画像と運行情報に基づいて、停止期間の判定を行う。図８［４］では、差分画像に含まれる差分領域の画素数が所定比率Ｐ１以上であるなどの理由により、停止期間ではないと判定される。（なお、停止期間の判定が不安定または高頻度に変動しないように、所定比率についてはＰ１＞Ｐ２としてヒステリシスを設けてもよい）

　図８［５］では、直前に停止期間でないと判定されたことにより、切替部３７は入力セレクタ３４の出力先を画像メモリＡ側に切り替えることにより、現時点のフレーム（５）を画像メモリＡに保持する。さらに、切替部３７は出力セレクタ３５の入力元を画像メモリＢ側に切り替えることにより、過去のフレーム（４）を差分器３３に出力する。差分器３３は、現時点のフレーム（５）と過去のフレーム（４）との差分画像を生成する。動き判定部３６は、この差分画像と運行情報に基づいて、停止期間の判定を行う。図８［５］では、差分画像に含まれる差分領域の画素数が所定比率Ｐ１以上であるなどの理由により、停止期間ではないと判定される。

　図８［６］では、直前に停止期間でないと判定されたことにより、切替部３７は入力セレクタ３４の出力先を画像メモリＢ側に切り替えることにより、現時点のフレーム（６）を画像メモリＢに保持する。さらに、切替部３７は出力セレクタ３５の入力元を画像メモリＡ側に切り替えることにより、過去のフレーム（５）を差分器３３に出力する。差分器３３は、現時点のフレーム（６）と過去のフレーム（５）との差分画像を生成する。動き判定部３６は、この差分画像と運行情報に基づいて、停止期間の判定を行う。図８［６］では、差分画像に含まれる差分領域の画素数が所定比率Ｐ１以上であるなどの理由により、停止期間ではないと判定される。

　図９は、停止期間の差分画像と前進期間の差分画像を示す図である。
　同図において、フレーム（Ａ）～（Ｂ）は車両停止中の映像データに相当する。フレーム（Ｃ）は、車両前進中の映像データに相当する。

　これらのフレーム（Ａ）～（Ｃ）は、グレースケール変換部３１によって輝度成分からなるフレーム（Ｄ）～（Ｆ）に変換される。

　フレーム（Ｄ）とフレーム（Ｅ）との差分画像（Ｇ）は、有意な差分領域は僅かであるため、動き判定部３６は停止期間と判定する。

　一方、フレーム（Ｄ）とフレーム（Ｆ）との差分画像（Ｈ）は、有意な差分領域が一定程度生じるため、動き判定部３６は停止期間ではないと判定する。

（実施例２の効果）
　実施例２は、実施例１の効果に加えて、次の効果も奏する。

　実施例２では、停止期間中は、入力セレクタ３４と出力セレクタ３５の切替状態を変更しない。そのため、停止期間中は、入力された最新の映像フレームと、停止期間の開始付近の古い映像フレームとの差分比較が実現できる。したがって、エッジが明瞭な差分領域を抽出することが可能になり、車両１や別車両２が前進（または後退）と停車を繰り返しても、距離測定が可能になる。

　さらに、実施例２では、車両１や別車両２が微動している状態においても停止期間と判定することにより、最新の映像フレームと、停止期間の開始付近の古い映像フレーム（好ましくは停止期間の開始付近の最古の映像フレーム）との差分比較が実現する。その結果、微動状態がある程度継続することにより、エッジが明瞭な差分領域を抽出することが可能になり、距離測定が可能になる。

（実施形態の補足事項）
　なお、本発明は上記した個々の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
　さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、実施形態では、鉄道監視システムの前方監視カメラを、撮像部として使用する。しかしながら、本発明はこれに限定されない。例えば、自動車やドローン等の移動体に設置されたカメラを使用してもよい。
　また、移動体に設置されたカメラの被写体は、列車でなくてもよい。例えば、標識や建設物等の静止物を被写体としてもよい。
　さらに、移動体の前進方向または後退方向は、移動体が方向転換して移動可能な方向であってもよく、直線状の前後二方向に限定されない。また、移動体の『移動』とは被写体との相対距離が変化し得るという意味であるため、動く被写体に座標軸を設定した場合には、カメラを搭載した静止体も相対的に移動体になり得る。

　さらに、実施形態では、１フレーム期間の最短間隔でフレーム差分をとって差分画像を生成する。しかしながら、本発明はこれに限定されない。例えば、フレームレートを可変したり、フレーム差分をとる最短の時間間隔を複数フレーム分に調整したりすることにより、画像長さの解析に適した差分画像を生成してもよい。

Ａ…画像メモリ、Ｂ…画像メモリ、１０…鉄道監視システム、１０Ａ…鉄道監視システム、２０…前方監視カメラ、２１…撮像素子、２２…カメラ映像処理部、２３…カメラ後処理部、３０…画像抽出部、３０Ａ…画像抽出部、３１…グレースケール変換部、３２…画像メモリ、３３…差分器、３４…入力セレクタ、３５…出力セレクタ、３６…判定部、３７…切替部、４０…画像解析部、４１…外形抽出部、４２…窓枠抽出部、４３…車体幅算出部、５０…距離解析部、５１…対向距離算出部、５２…カメラパラメータ取得部、６０…制御部

Claims (10)

1. 　移動体に設置され、前記移動体の前進方向または後退方向を撮影して映像データを出力する撮像部と、
   　前記映像データに写る被写体の外観画像を抽出する画像抽出部と、
   　前記外観画像における前記被写体のサイズを解析する画像解析部と、
   　前記被写体のサイズに基づいて前記被写体までの距離情報を求める距離解析部と、
   　前記距離情報を出力する制御部と
   　を備えたことを特徴とする監視システム。
2. 　請求項１に記載の監視システムにおいて、
   　前記画像解析部は、
   　　前記外観画像における前記被写体の窓枠または外形の画像長さを解析し、
   　前記距離解析部は、
   　　前記画像長さに基づいて前記被写体までの前記距離情報を求める
   　ことを特徴とする監視システム。
3. 　請求項１～２のいずれか一項に記載の監視システムにおいて、
   　前記画像抽出部は、
   　　前記映像データの時間軸方向について差分画像を生成して背景領域を除去し、前記差分画像に残存する前記被写体の前記外観画像を抽出する
   　ことを特徴とする監視システム。
4. 　請求項１～３のいずれか一項に記載の監視システムにおいて、
   　前記移動体は、車両であり、
   　前記制御部は、
   　　前記車両の運行情報を取得し、前記運行情報が所定の低速度運行の条件を満足したことを契機に、前記被写体までの前記距離情報の検出または出力を開始する
   　ことを特徴とする監視システム。
5. 　請求項３に記載の監視システムにおいて
   　前記画像抽出部は、
   　　前記映像データを一時記憶するための画像メモリＡ，Ｂと、
   　　前記映像データを前記画像メモリＡまたはＢに入力する入力セレクタと、
   　　前記画像メモリＡまたはＢから過去の前記映像データを出力する出力セレクタと、
   　　前記入力セレクタの出力先および前記出力セレクタの入力元を切り替える切替部と、
   　　「前記映像データ」と「前記出力セレクタから出力される過去の前記映像データ」との差分をとって前記差分画像を生成する差分器とを備える
   　ことを特徴とする監視システム。
6. 　請求項５に記載の監視システムにおいて、
   　前記移動体は、車両であり、
   　前記画像抽出部は、
   　　「前記差分画像による動き検出」または「前記車両の運行情報」の動き情報に基づいて、前記外観画像の差分抽出に適さない車両停止または微動の期間（以下「停止期間」という）を判定する動き判定部を備え
   　前記切替部は、
   　　前記停止期間は、前記入力セレクタの出力先を切り替えず、前記停止期間の開始付近の前記映像データを前記画像メモリＡ，Ｂの一方に保持し、前記出力セレクタの入力元を切り替えず、前記画像メモリＡ，Ｂの一方から前記停止期間の開始付近の前記映像データを継続して出力する
   　ことを特徴とする監視システム。
7. 　移動体に設置された撮像部により、前記移動体の前進方向または後退方向を撮影して映像データを生成する撮像ステップと、
   　前記映像データに写る被写体の外観画像を抽出する画像抽出ステップと、
   　前記外観画像における前記被写体のサイズを解析する画像解析ステップと、
   　前記被写体のサイズに基づいて前記被写体までの距離情報を求める距離解析ステップと、
   　前記距離情報を出力する制御ステップと
   　を備えたことを特徴とする監視方法。
8. 　請求項７に記載の監視方法において、
   　前記画像解析ステップは、
   　　前記外観画像における前記被写体の窓枠または外形の画像長さを解析し、
   　前記距離解析ステップは、
   　　前記画像長さに基づいて前記被写体までの前記距離情報を求める
   　ことを特徴とする監視方法。
9. 　請求項７～８のいずれか一項に記載の監視方法において
   　前記画像抽出ステップは、
   　　前記映像データを一時記憶するための画像メモリＡまたはＢに対して前記映像データを入力する入力ステップと、
   　　前記画像メモリＡまたはＢから過去の前記映像データを出力する出力ステップと、
   　　前記入力ステップにおける前記映像データを入力する前記画像メモリおよび前記出力ステップにおける過去の前記映像データを出力する前記画像メモリを切り替える切替制御ステップと、
   　　「前記映像データ」と「前記出力ステップにより出力される過去の前記映像データ」との差分をとって差分画像を生成する差分ステップとを備える
   　ことを特徴とする監視方法。
10. 　請求項９に記載の監視方法において、
    　前記移動体は、車両であり、
    　前記画像抽出ステップは、
    　　「前記差分画像による動き検出」または「前記車両の運行情報」の動き情報に基づいて、前記外観画像の差分抽出に適さない車両停止または微動の期間（以下「停止期間」という）を判定する動き判定ステップを備え
    　前記切替制御ステップは、
    　　前記停止期間は、前記入力ステップにおける前記映像データを入力する前記画像メモリを切り替えず、前記停止期間の開始付近の前記映像データを前記画像メモリＡまたはＢの一方に保持し、
    　　前記出力ステップにおける過去の前記映像データを出力する前記画像メモリを切り替えず、前記画像メモリＡまたはＢの一方から前記停止期間の開始付近の前記映像データを継続して出力する
    　ことを特徴とする監視方法。

Images