JP3536913B2 - 落下物検知システム、落下物検知方法および記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、路上の落下物を検
知するシステムおよび方法に関する。さらには、そのよ
うな落下物検知のためのプログラムを記録した記録媒体
に関する。

【０００２】

【従来の技術】路上に落下物があると、交通に支障をき
たすばかりか、交通事故を引き起こす原因となるため、
落下物はできるだけ早く路上から取り去る必要がある。
そのためには、路上の落下物をできるだけ早く、かつ、
確実に検知する必要がある。

【０００３】従来、路上の落下物の検知は、所定の場所
に設けられたカメラによって撮影された映像を人間がモ
ニタ上で監視することにより行われており、その補助的
な手段として、通行者による落下物の発見の通報があっ
た。しかし、この人間によるモニター監視は、対象とな
るカメラ映像数が多いことに加え、監視対象時間が２４
時間であるために、監視者に非常に大きな労力を強いる
結果となっていた。このため、監視を支援し、省力化す
るためのシステムの開発が強く要望されてきた。上記要
望を踏まえ、監視を支援するための手段として、専用セ
ンサーや画像認識機能を備えたカメラなどを用いたシス
テムの導入が種々検討されている。

【０００４】

【発明が解決しようとする課題】上述した専用センサー
や画像認識機能を備えたカメラなどを用いたシステムの
導入は、新規のシステムを導入することとなるため、既
存のシステムへの適用が困難であった。しかも、画像認
識機能を備えていないカメラが既に数多く導入されてお
り、そのほとんどが現在も稼動されている状況にあるた
め、そのような新規のシステムは、新設される道路以外
には適用が難しいという問題もあった。

【０００５】なお、既存のシステムに適用できる装置と
して、特開平10-74296号公報に記載されているような、
カメラ映像を画像処理して障害物を検出する装置があ
る。この装置では、以下のようにして障害物が検出され
る。

【０００６】まず、道路に設置されたカメラから取り込
まれる道路画像と予め用意されたその背景画像との濃淡
値の差分をとり、該差分画像を二値化して背景に存在し
ない物体のみの画像（物体検出画像）を生成する。この
ような物体検出画像の生成を所定時間に渡って行って蓄
積する。そして、蓄積した画像を加算した画像と所定の
しきい値とを比較することにより、所定時間にわたって
同じ場所に留まっている物体があるかどうかの判定を行
う。同じ場所に留まっている物体があった場合は、所定
の警報情報が表示される。

【０００７】しかし、上記の公報に記載のもの場合は、
単に道路画像と予め用意された背景画像との差分をとっ
ているだけであるので、雑音の影響を受け易く、また、
処理データも膨大なものとなって処理時間が増大すると
いう問題がある。

【０００８】また、カメラ映像から画像処理により落下
物を検知する場合、カメラが設置された場所の環境の変
化により、その検知条件も様々に変化することになる。
例えば、トンネル内などでは、特定の色の照明光が用い
られているため、そのような場所を撮影した白黒映像か
ら物体検出画像を抽出した場合、物体検出画像は比較的
に狭いグレイ値におちつくことになる。このような場
合、撮影される落下物の濃淡レベルを限定的に使用する
ことで、処理の高速化を図ることができるが、上記公報
のものでは、そのような処理を行うようにはなっていな
いため、処理に時間がかかってしまう。また、降雪時の
場合、上記公報のものでは、路上に降り積もった雪をカ
メラ映像から判断することはできない。このように、上
記公報のものは、カメラ設置環境の変化に対応して画像
処理を行うようにはなっていないため、処理に時間がか
かったり、場合によっては落下物を正確に判断できなか
ったりする問題もあった。

【０００９】本発明の目的は、上述の問題を解決し、既
設、新設を問わず、カメラ映像から落下物を正確に、短
時間で検知することのできる、落下物検知システムおよ
び落下物検知方法を提供することにある。

【００１０】本発明のさらなる目的は、そのような落下
物検知のためのプログラムを記録した記録媒体を提供す
ることにある。

【００１１】

【課題を解決するための手段】上記目的を達成するた
め、本発明の落下物検知システムは、道路上を所定の方
向から撮影する撮影手段と、前記撮影手段から取り込ま
れる映像の背景のみのイメージデータが格納された記憶
手段と、前記撮影手段からフレーム単位で順次取り込ま
れる映像データから、一定時間毎に、１フレーム分の映
像データを静止画イメージデータとして取得する映像取
得手段と、前記映像取得手段にて取得された静止画イメ
ージデータと前記記憶手段に格納されている背景イメー
ジデータとの対応する画素同士の濃淡レベルを、予め設
定されたグレイ値の範囲にわたって比較し、その差分か
ら検出対象画像を得る画像差検出手段と、前記画像差検
出手段にて得られた検出対象画像について、同じグレイ
値を持つ互いに連結する画素の集合を抽出し、該抽出し
た連結画素の集合のうちから、落下物の形状を特定する
複数の要素を組み合わせた判別条件に基づいて落下物候
補の図形を認識し、該落下物候補の図形が一定時間、同
じ位置で検出された場合に、該図形を落下物として認識
する落下物認識手段とを有することを特徴とする。

【００１２】上記の場合、前記グレイ値の範囲および判
別条件を少なくとも含む画像処理条件に関して前記撮影
手段の設置環境に応じた条件を記録した個別環境データ
が前記記憶手段にさらに格納され、前記画像差検出手段
が、前記映像取得手段にて取得された静止画イメージデ
ータと前記記憶手段に格納されている背景イメージデー
タとの対応する画素同士の濃淡レベルを、前記記憶手段
に格納された個別環境データに記録されたグレイ値の範
囲にわたって比較し、前記落下物認識手段が、前記個別
環境データに記録された判別条件に基づいて落下物候補
の図形を認識するように構成されてもよい。

【００１３】また、前記落下物認識手段は、前記検出対
象画像について、同じグレイ値を持つ互いに連結する画
素の集合に同じラベルをつけてその輪郭を取り、これを
図形として認識して区別し、該区別した各図形にラベル
付けを行うラベリング手段と、前記ラベル付けされた図
形のうちから、落下物の形状を特定する複数の要素を組
み合わせた判別条件に基づいて落下物候補の図形を認識
する特徴量抽出手段と、前記特徴量抽出手段にて落下物
候補の図形が認識されると、その落下物候補の図形が検
知状態であることを示すフラグをたてるとともに、その
重心位置を記録しておく検知記録手段と、前記検知記録
手段における記録結果が一定期間検知状態であり、か
つ、その重心位置が一定の範囲内にある落下物候補の図
形を、落下物として判定する落下物判定手段とを有する
ものであってもよい。

【００１４】さらに、前記落下物の形状を特定する複数
の要素が、少なくとも面積、真円度、楕円の長軸短軸比
であってもよい。

【００１５】本発明の落下物検知方法は、道路上を所定
の方向から撮影する撮影カメラから取り込まれる映像デ
ータから、一定時間毎に、１フレーム分の映像データを
静止画イメージデータとして取得する第１のステップ
と、前記第１のステップにて取得される静止画イメージ
データと、予め用意された、前記撮影カメラから取り込
まれる映像の背景のみのイメージデータとの対応する画
素同士の濃淡レベルを、予め設定されたグレイ値の範囲
にわたって比較し、その差分から検出対象画像を得る第
２のステップと、前記第２のステップにて得られた検出
対象画像について、同じグレイ値を持つ互いに連結する
画素の集合を抽出し、該抽出した連結画素の集合のうち
から、落下物の形状を特定する複数の要素を組み合わせ
た判別条件に基づいて落下物候補の図形を認識し、該落
下物候補の図形が一定時間、同じ位置で検出された場合
に、該図形を落下物として認識する第３のステップとを
含むことを特徴とする。

【００１６】上記の場合、前記グレイ値の範囲および判
別条件を少なくとも含む画像処理条件に関して前記撮影
カメラの設置環境に応じた条件を記録した個別環境デー
タを生成するステップをさらに含み、前記第２のステッ
プにおけるグレイ値の範囲として、前記個別環境データ
に記録されたグレイ値の範囲を用い、前記第３のステッ
プにおける判別条件として、前記個別環境データに記録
された判別条件を用いてもよい。

【００１７】また、前記第３のステップは、前記検出対
象画像について、同じグレイ値を持つ互いに連結する画
素の集合に同じラベルをつけてその輪郭を取り、これを
図形として認識して区別し、該区別した各図形にラベル
付けを行うステップと、前記ラベル付けされた図形のう
ちから、落下物の形状を特定する複数の要素を組み合わ
せた判別条件に基づいて落下物候補の図形を認識するス
テップと、前記落下物候補の図形が認識されると、その
落下物候補の図形が検知状態であることを示すフラグを
たてるとともに、その重心位置を記録しておくステップ
と、前記重心位置の記録結果が一定期間検知状態であ
り、かつ、その重心位置が一定の範囲内にある落下物候
補の図形を、落下物として判定するステップとを含んで
いてもよい。

【００１８】さらに、前記落下物の形状を特定する複数
の要素が、少なくとも面積、真円度、楕円の長軸短軸比
であってもよい。

【００１９】本発明の記録媒体は、道路上を所定の方向
から撮影する撮影カメラから取り込まれる映像データか
ら、一定時間毎に、１フレーム分の映像データを静止画
イメージデータとして取得する第１の処理と、前記第１
の処理にて取得された静止画イメージデータと、予め用
意された前記撮影カメラから取り込まれる映像の背景の
みのイメージデータとの対応する画素同士の濃淡レベル
を、予め設定されたグレイ値の範囲にわたって比較し、
その差分から検出対象画像を得る第２の処理と、前記第
２の処理にて得られた検出対象画像について、同じグレ
イ値を持つ互いに連結する画素の集合を抽出し、該抽出
した連結画素の集合のうちから、落下物の形状を特定す
る複数の要素を組み合わせた判別条件に基づいて落下物
候補の図形を認識し、該落下物候補の図形が一定時間、
同じ位置で検出された場合に、該図形を落下物として認
識する第３の処理とをコンピュータに実行させるための
プログラムを記録したことを特徴とする。

【００２０】上記の場合、前記プログラムは、前記グレ
イ値の範囲および判別条件を少なくとも含む画像処理条
件に関して前記撮影カメラの設置環境に応じた条件を記
録した個別環境データを記憶装置から読み込む処理をコ
ンピュータに実行させ、前記第２の処理におけるグレイ
値の範囲として、前記個別環境データに記録されたグレ
イ値の範囲を用い、前記第３の処理における判別条件と
して、前記個別環境データに記録された判別条件を用い
るものとしてもよい。

【００２１】また、前記第３の処理は、前記検出対象画
像について、同じグレイ値を持つ互いに連結する画素の
集合に同じラベルをつけてその輪郭を取り、これを図形
として認識して区別し、該区別した各図形にラベル付け
を行う処理と、前記ラベル付けされた図形のうちから、
落下物の形状を特定する複数の要素を組み合わせた判別
条件に基づいて落下物候補の図形を認識する処理と、前
記落下物候補の図形が認識されると、その落下物候補の
図形が検知状態であることを示すフラグをたてるととも
に、その重心位置を記録しておく処理と、前記重心位置
の記録結果が一定期間検知状態であり、かつ、その重心
位置が一定の範囲内にある落下物候補の図形を、落下物
として判定する処理とを含んでいてもよい。

【００２２】さらに、前記落下物の形状を特定する複数
の要素が、少なくとも面積、真円度、楕円の長軸短軸比
であってもよい。

【００２３】上述した本発明は、以下のような作用を奏
することで前述した課題を解決することができる。

【００２４】

【００２５】本発明によれば、静止画イメージデータ
と、予め用意された背景イメージデータとの対応する画
素同士の濃淡レベルを、予め設定されたグレイ値の範囲
にわたって比較し、その差分から検出対象画像を得るよ
うになっているので、グレイ値の範囲が指定されること
によるその計算量は、背景イメージデータと静止画イメ
ージデータとを単に比較して検出対象画像を得る場合の
それよりも大幅に少なくなる。また、撮影手段（撮影カ
メラ）の設置環境に応じて、グレイ値の範囲および落下
物の形状を特定する複数の要素についてのしきい値がそ
れぞれ設定されるので、カメラ設置環境の変化による検
知条件の様々な変化に対応することが可能である。

【００２６】

【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。

【００２７】（第１の実施形態）図１は、本発明の第１
の実施形態である落下物検出システムの概略構成を示す
ブロック図である。この落下物検出システムは、カメラ
等の映像撮影装置１、画像入力ボード、ネットワーク・
インタフェース・ボード等の映像入力装置２、電子計算
機等のデータ処理装置３、記憶装置４、スピーカー等の
出力装置５からなる。

【００２８】映像撮影装置１は、道路の所定の位置に所
定の角度で配置されたカメラを有し、該カメラにて撮影
された映像データが映像入力装置２に対して常時、送信
される。この映像撮影装置１には、既設のカメラを用い
ても良いし、新たに設置したカメラを用いてもよい。

【００２９】記憶装置４は、映像撮影装置１にて撮影さ
れるカメラ映像の背景イメージデータ４１および個別環
境データ４２が格納されている。背景イメージデータ４
１は、映像撮影装置１から取り込まれるカメラ映像の背
景、すなわち落下物が写っていない状態の映像データで
ある。個別環境データ４２は、例えば落下物の大きさが
どの程度の画面占有面積を有するか、照度（濃淡レベ
ル）がどの程度変化するか等、落下物を検出する処理の
中でしきい値として用いられる各条件を映像撮影装置１
のカメラが設置される環境に応じて予め設定したデータ
である。この個別環境データ４２には、詳しくは後述す
るが、平滑化の種類（フィルタリングの種類）、ノイズ
除去率、濃淡レベルの変化率、検査対象となるグレイ値
の範囲、特徴量抽出条件、落下物判定時間などの条件も
記録される。なお、本形態では、この個別環境データ４
２はカメラ設置時の環境を基準に設定されるものとする
が、カメラ設置時後の環境変化を考慮して、一定期間毎
に、または環境変化に伴って、個別環境データ４２の内
容を更新するようにしても良い。また、監視対象となる
別々の道路に設置された複数の映像撮影装置からのカメ
ラ映像を画像処理して落下物の監視を行う場合には、記
憶装置４には、各映像撮影装置毎にそれぞれのカメラ設
置環境に応じた条件が設定された個別環境データ４２が
格納されることになる。

【００３０】データ処理装置３は、個別環境データ４２
に基づいて、記憶装置４に格納されている背景イメージ
データ４１からしきい値画像を生成したり、映像入力装
置２を介して入力されるカメラ映像から一定時間毎に１
フレーム分のデータ（最新フレームデータ）を切り出し
て静止画イメージデータを取得し、これに雑音消去など
の前処理、落下物検出処理、後処理を繰り返し行うこと
で、カメラ映像から落下物を検出するものである。その
主な構成は、しきい値画像生成部３１、映像取得部３
２、画像分割部３３、ラベリング部３４、特徴量抽出部
３５、検知記録部３６、落下物判定部３７、検出結果通
知部３８からなる。ラベリング部３４、特徴量抽出部３
５、検知記録部３６および落下物判定部３７が落下物認
識手段である。

【００３１】しきい値画像生成部３１は、記憶装置４に
格納された背景イメージデータ４１に移動平均フィルタ
リング、加重平均フィルタリング、低域強調フィルタリ
ング、可変加重平均フィルタリング、ｋ最近隣平均フィ
ルタリング、メディアンフィルタリングのうちの最適な
手法を用いて平均化処理を行ってしきい値画像を生成す
る。ここでは、個別環境データ４２中に設定された条件
（最適なフィルタリングの指定）に従って、しきい値画
像生成部３１にて最適なフィルタリングが用いられるよ
うに構成されている。なお、管理者がカメラ設置環境な
どを考慮してしきい値画像生成部３１に予め最適なフィ
ルタリングを設定するようにしてもよい。

【００３２】以下に、各フィルタリングの特徴を簡単に
説明する。

【００３３】（１）移動平均フィルタリング：移動平均
フィルタリングは、注目画素を中心とする画像の局所領
域の平均値をその注目画素に出力するフィルタを、対象
画像の全ての画素に適用する方法である。ここで、注目
画素にあたるものは落下物、道路のグレイ値である。平
滑化することにより、細かなビットレベルのノイズ消去
が可能である。

【００３４】（２）加重平均フィルタリング：加重平均
フィルタリングでは、局所領域の全ての画素に対して同
じ重み係数が使用される。加重平均フィルタは、注目す
る画素に対して周辺の寄与は小さいとするフィルタであ
る。上記の移動平均フィルタリングに比べて、より緩や
かな平滑化を行うことを想定しており、細かなビットレ
ベルのノイズや小さな検知対象物（例えば、砂や砂利な
ど）の発生が多い場合に適用し、それらを検知しないこ
とを目的に使用される。

【００３５】（３）低域強調フィルタリング：雑音のよ
うに画素毎に濃淡レベルが変動したり、エッジや線のよ
うに急に濃淡レベルが大きく変化する箇所に画像が存在
すると、高い空間周波数成分がより大きくなる。低域強
調フィルタリングは、そのような高い空間周波数成分を
より小さくすることにより、平滑化した画像を得る方法
である。例えば、道路に亀裂や轍がある場合で、それら
が検知したい落下物と同じ特徴量をもちやすい場合に、
この低域強調フィルタリングを用いることでそれらの影
響を除去することができる。

【００３６】（４）可変加重平均フィルタリング：可変
加重平均フィルタリングは、エッジや線のような大きな
濃淡変化はそのまま残し、微小な濃淡変化のみを選択的
に平滑化するものである。上述した各フィルタリングで
は、亀裂や轍についても平滑化が行われてしまうが、こ
の可変加重平均を用いれば、平滑化すると消えてしまう
ような亀裂や轍等についても同時に監視することができ
る。

【００３７】（５）ｋ最近隣平均フィルタリング：ｋ最
近隣平均フィルタリングは、中心画素の濃淡レベルに近
い値を持つ画素を近い順にｋ個取り出し、それらの濃淡
レベルの平均値を出力するものである。例えば、トンネ
ル内のように特定の色の照明が用いられる場合は、白黒
映像で映し出される落下物は比較的に狭いグレイ値にお
ちつくため、このような場合に、ｋ最近隣平均フィルタ
リングを用いて、撮影される落下物の濃淡レベルを限定
的に使用すれば、処理の高速化を図ることができる。

【００３８】（６）メディアンフィルタリング：メディ
アンフィルタリングは、局所領域における濃淡レベルの
中央値を出力するものである。このメディアンフィルタ
リングでは、可変加重平均フィルタリングと同様、エッ
ジや線を保存することができるとともに、可変加重平均
フィルタリングでは不可能なスパイク状雑音の除去が可
能である。ここで、スパイク状雑音とは、映像にごま塩
のような雑音が入る状態をいう。特にカメラ映像が古か
ったりする等、改善できないようなスパイク状雑音が混
在する映像に対して、このメディアンフィルタリングを
使用する。

【００３９】映像取得部３２は、映像入力装置２に対し
て最新の１フレーム分の静止画イメージデータを取得す
る命令を発行する。これにより、映像入力装置を介して
入力されるカメラ映像から、常に最新入力フレームに関
する静止画イメージデータが取得される。

【００４０】画像分割部３３は、映像取得部３２にて取
得された静止画イメージデータとしきい値画像生成部３
１にて生成されたしきい値画像とのそれぞれ対応する画
素の濃淡レベルを比較し、濃淡レベルの差がしきい値と
比べて一定値以上である画素を抽出して検出対象画像を
得る。具体的には、静止画イメージデータから、しきい
値画像の各画素に個別環境データ４１にあらかじめ記録
されたオフセット数値を足したグレイ値を超える画素の
みを抽出し、該抽出した画素からなる検出対象画像を得
る。より具体的に説明すると、例えば、白黒８ビット映
像の場合、しきい値画像の各画素の濃淡レベルは０〜２
５５までの数値で表わされる。この場合、例えば、しき
い値が５０でオフセット数値が±１０であれば、０〜４
０と６０〜２５５の濃淡レベルを持つ画素が検出対象と
なる。このように、オフセット数値の設定によって、濃
淡レベルの範囲を限定して画素の検出を行うことがで
き、その結果、処理の高速化および検出精度の向上を図
ることができる。このような処理は、例えば、前述の課
題のところで述べたようなトンネル内で撮影されたカメ
ラ画像（白黒）などのように、検出対象画像が比較的に
狭いグレイ値におちつくものに対して、より効果的であ
る。

【００４１】ラベリング部３４は、画像分割部３３にて
得られた検出対象画像について、同じグレイ値を持つ連
結画素の塊に同じラベルをつけてその輪郭を取り、これ
を図形として認識し、区別した後、区別した各図形に対
してラベルけを行う。

【００４２】特徴量抽出部３５は、上記ラベリング部３
４にてラベル付けされた図形のうちから、落下物の形状
を特定する複数の要素（面積、真円度、楕円の長軸短軸
比など）を組み合わせた判別条件に基づいて落下物候補
の図形を認識する。検知記録部３６は、落下物候補とな
る図形が認識されると、その図形が検知状態であること
を記録するとともに、その図形の重心位置を記録するも
のである。

【００４３】落下物判定部３７は、映像取得部３２から
検知記録部３６までの処理が繰り返されて、検知記録部
３６において、認識された落下物候補の図形が一定期間
検知状態であり、かつ重心位置が一定の範囲内で動かな
い場合に、それを落下物と認識する。検知結果通知部３
８は、落下物を認識した場合に、出力装置５に対して落
下物を認識したという結果を通知するものである。出力
装置５は、スピーカやディスプレイなどを備え、道路管
理者への通知機能や落下物警告機能などを有する。

【００４４】次に、この落下物検知システムの具体的な
動作について説明する。図２は、図１に示した落下物検
知システムのデータ処理装置３における動作を説明する
ためのフローチャートである。以下、この図２を参照し
て動作説明を行う。

【００４５】映像撮影装置１で撮影されたカメラ映像が
リアルタイムに映像入力装置２に常時送信される。デー
タ処理装置３では、まず、記憶装置４に格納された背景
イメージデータ４１および個別環境データ４２が読み込
まれる（ステップＳ１）。次いで、しきい値画像生成部
３１が、背景イメージデータ４１に所定の平滑化処理を
施してしきい値画像を生成する（ステップＳ２）。この
平滑化処理により、背景イメージデータそのものの雑音
の低減化を図ることができ、後述する各濃淡レベルに幅
を持たせた近似値の集合結果をしきい値として処理させ
ることによる検出対象画像の抽出が可能となる。生成さ
れたしきい値画像は、記憶装置４内のアドレス「thresh
ed」に格納される。

【００４６】続いて、映像取得部３２が、映像入力装置
２に映像の１フレームデータを取得する命令を発行し、
映像入力装置を介して入力されるカメラ映像から、最新
入力フレームに関する静止画イメージデータを取得する
（ステップＳ３）。取得した静止画イメージデータは、
記憶装置４の例えばアドレス「Image[n]（n=1）」に格
納される。カメラ映像がＮＴＳＣ（National Televisio
n System Committee）方式で撮影された白黒８ｂｉｔ映
像の場合、静止画イメージデータは、６４０×４８０の
大きさで、グレイ値０〜２５５の範囲でグレイの濃度が
分布する映像となる。

【００４７】続いて、画像分割部３３が、しきい値画像
生成部３１で生成されたしきい値画像と映像取得部３２
で取得された静止画イメージデータとを比較して、静止
画イメージデータから、しきい値画像に上記ステップＳ
１で取得した個別環境データ４２に記録されたオフセッ
ト値を足した値（しきい値）を超えるグレイ値を持つ画
素を抽出して検出対象画像を得る（ステップＳ４）。こ
のステップの処理では、検出対象画像として、背景イメ
ージデータと静止画イメージデータとの間で、グレイ値
の異なる部分のみが残された画像が得られる。この得ら
れた検出対象画像は記憶装置４の例えばアドレス「dyn#
threshed[1]」に格納される。

【００４８】続いて、ラベリング部３４が、画像分割部
３３にて得られた検出対象画像に対して、同じグレイ値
を持つ領域を検出して連結させることにより、画像中に
存在するオブジェクトを判断、分類し、さらに、それら
分類した領域にそれぞれラベルをつける（ステップＳ
５）。すなわち、同じグレイ値が連結しているものを連
結成分とみなし、その連結成分で囲まれた図形を同一の
物体であると認識、物体ごとにＩＤ番号を振る。このレ
ベル付けされた各図形は、配列として記憶装置４の例え
ばアドレス「labeled[n]」に格納される。

【００４９】特徴量抽出部３５は、ラベリングされた各
図形「labeled[n]」のうちから、落下物の形状として特
徴的な要素（面積、真円度、長さ、幅、楕円の長軸短軸
比）を組み合わせた判別条件に基づいて落下物の候補と
なる図形を判断する（ステップＳ６）。この判断結果
は、記憶装置４の例えばアドレス「selected[1]」に格
納される。この段階で、落下物候補となる物体が存在し
ない場合、再度、ステップＳ３の映像取得部３２による
処理へ戻り、一連の処理を繰り返すこととなる。一方、
落下物候補となる物体が存在した場合は、検知記録部３
６が、まず、初期値「０」のフラグに「＋１」を代入し
て検知継続状態であることを示し、続いて、それぞれの
落下物候補の重心位置をもとめ、それを記憶装置４の例
えばアドレス「center[1][o]」に登録する（ステップＳ
７）。

【００５０】上述のステップＳ３〜Ｓ７の一連の処理が
繰り返され、フラグが一定以上の数値となると、すなわ
ち落下物候補となる物体が画像に表示されている状態に
なると、続いて、落下物判定部３７が、それぞれの重心
位置の変動幅を見て、それが前静止画イメージデータに
撮影されていたものと同じ物体であることを推定し、落
下物であることを判断する。つまり、一定時間背景と異
なる物体（落下物候補）が静止画イメージデータに撮影
され続け、かつ移動がない場合をもってそれを落下物で
あると認識する（ステップＳ８）。落下物でないと判断
された場合は、再び、ステップＳ３に戻って一連の処理
を繰り返す。

【００５１】上記ステップＳ８にて落下物であると判断
された場合は、続いて、検出結果通知部３８が、出力装
置５へ落下物検知の結果を送信する（ステップＳ９）。
落下物検知の結果を受け取った出力装置５は、道路交通
管理者への通知機能や道路交通者への通知機能等の支援
機能を稼動させる。これにより、例えば道路交通管理者
への警告電子メールの送信や、路側放送の起動、道路情
報板やハイウェイラジオによる道路交通者への通知、回
避指示などが行われる。

【００５２】（第２の実施形態）上述した第１の実施形
態では、背景イメージデータからしきい値画像を生成
し、このしきい値画像にオフセット数値を足したグレイ
値を超える画素を抽出するようになっていたが、これに
代えて、静止画イメージデータと背景イメージデータと
の差分をとって、その差分画像から落下物を検出するこ
とも可能である。ここでは、そのような処理を行うこと
が可能なシステムについて説明する。

【００５３】図３は、本発明の第２の実施形態である落
下物検知システムの概略構成を示すブロック図である。
図３を参照すると、本形態のシステムは、上述の図１に
示した構成において、データ処理装置３にしきい値画像
生成部３１および画像分割部３３がなく、画像分割部３
３のかわりに画像差検出部３９を備える。図３中、図１
に示したものと同じものには同じ符号を付している。こ
こでは、それら同じものについての具体的な説明は省略
し、異なる部分の動作を具体的に説明する。

【００５４】予め背景のみが写っているフレームデータ
を用意し、これを背景イメージデータ４２として記憶装
置４の例えばアドレス「Basic Image」に記憶してお
く。映像取得部３１は、映像撮影装置１から映像入力装
置３２を経由して入力されるカメラ映像から、最新入力
フレームに関する静止画イメージデータを取得する。こ
の取得した静止画イメージデータは、記憶装置４の例え
ばアドレス「Image[n](n=1)」に格納される。ここまで
の処理は、前述の第１の実施形態における動作とほぼ同
様である。

【００５５】続いて、画像差検出部３９が、映像取得部
３１で取得した１フレームの静止画イメージデータ
「（Image[1]）」と記憶装置４の「Basic Image」に記
憶されている背景イメージデータ４２とを比較し、両イ
メージデータの差分をとる。この差分画像は、記憶装置
４の例えばアドレス「Difference[1]」に格納される。
この差分画像をとる際にも、記憶装置４に格納されてい
る個別環境データ４２が用いられる。一例として、白黒
８ビット映像の場合の処理を以下に説明する。

【００５６】白黒８ビット映像の場合、しきい値画像の
各画素の濃淡レベルは０〜２５５までの数値で表わされ
る。個別環境データ４２には、検出する濃淡レベルの範
囲となるグレイ値の範囲として、その０〜２５５の範囲
のうちからカメラの設置環境に応じた最適な範囲が設定
される。画像差検出部３９は、差分画像をとる際に、そ
の個別環境データ４２に記録されたグレイ値の範囲を検
出対象範囲として差分をとる。これにより、差分を検出
する処理を高速に行うことができ、検出精度も向上する
ことになる。例えば、トンネル内で撮影したカメラ映像
（白黒）では、差分画像は比較的に狭いグレイ値におち
つくことになるが、このような場合に、上記のようなグ
レイ値の範囲をその比較的狭いグレイ値の範囲に設定す
ることで、抽出する濃淡レベルの範囲を限定的に使用す
ることができ、その結果、処理の高速化および検出精度
の向上を図ることができる。また、個別環境データ４２
に記録されるグレイ値の範囲を白に近いものに設定した
場合は、白色で、かつ、画面全体を覆うような静止画イ
メージデータを取得した場合、それを降雪であると判断
することができる。このように、抽出する濃淡レベルの
範囲を限定的に使用することで、差分画像の抽出処理を
高速化し、また検出精度の向上を図ることができる。な
お、グレイ値の範囲を絞ることができないような場合
は、対象範囲は０〜２５５までの全てのグレイ値を設定
して処理を行う。

【００５７】上述のようにして画像差検出部３９にて検
出された差分画像について、前述の第１の実施形態で説
明した、ラベリング部３４によるラベル付け、特徴量抽
出部３５による落下物候補の図形の抽出、検知記録部３
６における落下物候補の図形の検出状態の登録および重
心位置の記録を行う。このような一連の処理を繰り返
し、落下物候補が一定期間検知状態であり、かつ重心位
置が一定の範囲内で動かない場合に、落下物判定部３７
がそれを落下物であると認識する。落下物を認識した場
合、検知結果通知部３８から出力装置５へ、落下物を認
識したという結果が通知され、道路管理者への通知機能
や、落下物警告機能などが起動される。

【００５８】以上説明した各実施形態では、記憶装置４
に格納されている個別環境データ４２を利用して画像認
識対象のカスタマイズなどを行うようになっている。こ
のため、管理者は、それぞれのカメラ設置環境に応じて
この個別環境データ４２の内容を更新するだけで、それ
ぞれカメラ設置環境に応じた、画像認識対象のカスタマ
イズおよび画像認識処理を行うことが可能である。

【００５９】（他の実施形態：記録媒体）次に、本発明
の他の実施形態の記録媒体について図面を参照して詳細
に説明する。図４は、本発明の他の実施形態である、記
録媒体を備えるシステムの構成を示すブロック図であ
る。

【００６０】図４を参照すると、本実施形態は、前述し
た図１のシステムに落下物検知のための画像認識処理プ
ログラム（落下物認識プログラム）を記録した記録媒体
６を備える。この記録媒体６は磁気ディスク、半導体メ
モリ、その他の記録媒体であってよい。

【００６１】落下物認識プログラムは、記録媒体６から
データ処理装置３に読み込まれ、データ処理装置３の動
作を制御する。データ処理装置３は、落下物認識プログ
ラムの制御により、上述した映像取得部３２、しきい値
画像生成部３１、画像分割部３３、ラベリング部３４、
特徴量抽出部３５、検知記録部３６、落下物判定部３
７、検出結果通知部３８の各部における処理を実行す
る。以下に、その主要な処理を簡単に説明する。

【００６２】まず、記憶装置４に格納されている背景イ
メージデータ４１に所定の平滑化処理を施してしきい値
画像を生成する。次に、映像撮影装置１から取り込まれ
る映像データから、一定時間毎に、１フレーム分の映像
データを静止画イメージデータとして取得する。続い
て、上記取得された静止画イメージデータと上記生成さ
れたしきい値画像との対応する画素同士の濃淡レベルを
比較し、その濃淡レベル差が、上記しきい値画像の各画
素の濃淡レベルに予め設定されたオフセット数値（記憶
装置４に格納されている個別環境データ４２に記録され
たオフセット数値）を加えたグレイ値を超える画素を抽
出して、該抽出画素からなる検出対象画像を得る。そし
て、各静止画イメージデータ毎に得られた検出対象画像
のそれぞれについて、同じグレイ値を持つ互いに連結す
る画素の集合を抽出し、該抽出した連結画素の集合のう
ちから、落下物の形状を特定する複数の要素を組み合わ
せた判別条件に基づいて落下物候補の図形を認識し、該
落下物候補の図形が一定時間、同じ位置で検出された場
合に、該図形を落下物として認識する。

【００６３】ここでは、図１のシステムの例について説
明したが、図３のシステムについても、落下物検知のた
めの画像認識処理プログラム（落下物認識プログラム）
を記録した同様の記録媒体が用いられる。この場合、デ
ータ処理装置３は、記録媒体から読み込んだ落下物認識
プログラムによる制御により、前述した映像取得部３
２、画像差検出部３９、ラベリング部３４、特徴量抽出
部３５、検知記録部３６、落下物判定部３７、検出結果
通知部３８の各部における処理を実行する。

【００６４】以上説明した各実施形態のシステムは、既
存の監視カメラ、モニターとの組み合わせが可能であ
り、また、他の画像認識機能との共存も可能である。

【００６５】また、ソフトウェアで画像認識を実現する
ことにより、多様な検出結果通知部を実現することがで
き、様々な支援機能への対応、追加が容易である。

【００６６】

【発明の効果】以上説明したように、本発明によれば、
画像認識処理により落下物の自動検知が可能となってい
るので、従来のように監視者が大きな労力を強られるこ
とがない。

【００６７】また、ノイズの除去および計算量の低減が
可能であるので、カメラ映像から確実、且つ、短時間に
落下物を検知することができる。

【００６８】さらに、カメラ設置環境に応じた個別環境
データの設定が可能であるので、画像処理に必要なデー
タのカスタマイズをカメラ設置環境に応じた形で容易に
行うことができ、落下物の検出精度の向上を図ることが
できる。加えて、個別環境データでしきい値を設定可能
なため、環境の変更に伴う機能の修正を容易に行うこと
ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態である落下物検出シス
テムの概略構成を示すブロック図である。

【図２】図１に示した落下物検知システムのデータ処理
動作を説明するためのフローチャート図である。

【図３】本発明の第２の実施形態である落下物検知シス
テムの概略構成を示すブロック図である。

【図４】本発明の他の実施形態である、記録媒体を備え
るシステムの構成を示すブロック図である。

【符号の説明】

１ 映像撮影装置 ２ 映像入力装置 ３ データ処理装置 ４ 記憶装置 ５ 出力装置 ３１ しきい値画像生成部 ３２ 映像取得部 ３３ 画像分割部 ３４ ラベリング部 ３５ 特徴量抽出部 ３６ 検知記録部 ３７ 落下物判定部 ３８ 検出結果通知部 ３９ 画像差検出部 ４１ 背景イメージデータ ４２ 個別環境データ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 330 G06T 7/00 150 G08G 1/00

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 道路上を所定の方向から撮影する撮影手
   段と、 前記撮影手段から取り込まれる映像の背景のみのイメー
   ジデータが格納された記憶手段と、 前 記撮影手段からフレーム単位で順次取り込まれる映像
   データから、一定時間毎に、１フレーム分の映像データ
   を静止画イメージデータとして取得する映像取得手段
   と、 前記映像取得手段にて取得された静止画イメージデータ
   と前記記憶手段に格納されている背景イメージデータと
   の対応する画素同士の濃淡レベルを、予め設定されたグ
   レイ値の範囲にわたって比較し、その差分から検出対象
   画像を得る画像差検出手段と、 前記画像差検出手段にて得られた検出対象画像につい
   て、同じグレイ値を持つ互いに連結する画素の集合を抽
   出し、該抽出した連結画素の集合のうちから、落下物の
   形状を特定する複数の要素を組み合わせた判別条件に基
   づいて落下物候補の図形を認識し、該落下物候補の図形
   が一定時間、同じ位置で検出された場合に、該図形を落
   下物として認識する落下物認識手段とを有することを特
   徴とする落下物検知システム。
2. 【請求項２】 前記グレイ値の範囲および判別条件を少
   なくとも含む画像処理条件に関して前記撮影手段の設置
   環境に応じた条件を記録した個別環境データが前記記憶
   手段にさらに格納され、 前記画像差検出手段が、前記映像取得手段にて取得され
   た静止画イメージデータと前記記憶手段に格納されてい
   る背景イメージデータとの対応する画素同士の濃淡レベ
   ルを、前記記憶手段に格納された個別環境データに記録
   されたグレイ値の範囲にわたって比較し、 前記落下物認識手段が、前記個別環境データに記録され
   た判別条件に基づいて落下物候補の図形を認識するよう
   に構成されていることを特徴とする請求項１に記載の落
   下物検知システム。
3. 【請求項３】 前記落下物認識手段は、 前記検出対象画像について、同じグレイ値を持つ互いに
   連結する画素の集合に同じラベルをつけてその輪郭を取
   り、これを図形として認識して区別し、該区別した各図
   形にラベル付けを行うラベリング手段と、 前記ラベル付けされた図形のうちから、落下物の形状を
   特定する複数の要素を組み合わせた判別条件に基づいて
   落下物候補の図形を認識する特徴量抽出手段と、 前記特徴量抽出手段にて落下物候補の図形が認識される
   と、その落下物候補の図形が検知状態であることを示す
   フラグをたてるとともに、その重心位置を記録しておく
   検知記録手段と、 前記検知記録手段における記録結果が一定期間検知状態
   であり、かつ、その重心位置が一定の範囲内にある落下
   物候補の図形を、落下物として判定する落下物判定手段
   とを有することを特徴とする請求項１に記載の 落下物検
   知システム。
4. 【請求項４】 前記落下物の形状を特定する複数の要素
   が、少なくとも面積、真円度、楕円の長軸短軸比である
   ことを特徴とする請求項１に記載の落下物検知システ
   ム。
5. 【請求項５】 道路上を所定の方向から撮影する撮影カ
   メラから取り込まれる映像データから、一定時間毎に、
   １フレーム分の映像データを静止画イメージデータとし
   て取得する第１のステップと、 前記第１のステップにて取得される静止画イメージデー
   タと、予め用意された、前記撮影カメラから取り込まれ
   る映像の背景のみのイメージデータとの対応する画素同
   士の濃淡レベルを、予め設定されたグレイ値の範囲にわ
   たって比較し、その差分から検出対象画像を得る第２の
   ステップと、 前記第２のステップにて得られた検出対象画像につい
   て、同じグレイ値を持つ互いに連結する画素の集合を抽
   出し、該抽出した連結画素の集合のうちから、落下物の
   形状を特定する複数の要素を組み合わせた判別条件に基
   づいて落下物候補の図形を認識し、該落下物候補の図形
   が一定時間、同じ位置で検出された場合に、該図形を落
   下物として認識する第３のステップとを含むことを特徴
   とする落下物検知方法 。
6. 【請求項６】 前記グレイ値の範囲および判別条件を少
   なくとも含む画像処理条件に 関して前記撮影カメラの設
   置環境に応じた条件を記録した個別環境データを生成す
   るステップをさらに含み、前記第２のステップにおける
   グレイ値の範囲として、前記個別環境データに記録され
   たグレイ値の範囲を用い、前記第３のステップにおける
   判別条件として、前記個別環境データに記録された判別
   条件を用いることを特徴とする請求項５に記載の落下物
   検知方法。
7. 【請求項７】 前記第３のステップは、 前記検出対象画像について、同じグレイ値を持つ互いに
   連結する画素の集合に同じラベルをつけてその輪郭を取
   り、これを図形として認識して区別し、該区別した各図
   形にラベル付けを行うステップと、 前記ラベル付けされた図形のうちから、落下物の形状を
   特定する複数の要素を組み合わせた判別条件に基づいて
   落下物候補の図形を認識するステップと、 前記落下物候補の図形が認識されると、その落下物候補
   の図形が検知状態であることを示すフラグをたてるとと
   もに、その重心位置を記録しておくステップと、 前記重心位置の記録結果が一定期間検知状態であり、か
   つ、その重心位置が一定の範囲内にある落下物候補の図
   形を、落下物として判定する ステップとを含むことを特
   徴とする請求項５に記載の落下物検知方法。
8. 【請求項８】 前記落下物の形状を特定する複数の要素
   が、少なくとも面積、真円度、楕円の長軸短軸比である
   ことを特徴とする請求項５に記載の落下物検知方法。
9. 【請求項９】 道路上を所定の方向から撮影する撮影カ
   メラから取り込まれる映像データから、一定時間毎に、
   １フレーム分の映像データを静止画イメージデータとし
   て取得する第１の処理と、 前記第１の処理にて取得された静止画イメージデータ
   と、予め用意された前記撮影カメラから取り込まれる映
   像の背景のみのイメージデータとの対応する画素同士の
   濃淡レベルを、予め設定されたグレイ値の範囲にわたっ
   て比較し、その差分から検出対象画像を得る第２の処理
   と、 前記第２の処理にて得られた検出対象画像について、同
   じグレイ値を持つ互いに連結する画素の集合を抽出し、
   該抽出した連結画素の集合のうちから、落下物の形状を
   特定する複数の要素を組み合わせた判別条件に基づいて
   落下物候補の図形を認識し、該落下物候補の図形が一定
   時間、同じ位置で検出された場合に、該図形を落下物と
   して認識する第３の処理とをコンピュータに実行させる
   ためのプログラムを記録した記録媒体。
10. 【請求項１０】 前記プログラムは、前記グレイ値の範
    囲および判別条件を少なくとも含む画像処理条件に関し
    て前記撮影カメラの設置環境に応じた条件を記録した個
    別環境データを記憶装置から読み込む処理をコンピュー
    タに実行させ、前記第２の処理におけるグレイ値の範囲
    として、前記個別環境データに記録されたグレイ値の範
    囲を用い、前記第３の処理における判別条件として、前
    記個別環境データに記録された判別条件を用いることを
    特徴とする請求項９に記載の記録媒体。
11. 【請求項１１】 前記第３の処理は、 前記検出対象画像について、同じグレイ値を持つ互いに
    連結する画素の集合に同じラベルをつけてその輪郭を取
    り、これを図形として認識して区別し、該区別した各図
    形にラベル付けを行う処理と、 前記ラベル付けされた図形のうちから、落下物の形状を
    特定する複数の要素を組み合わせた判別条件に基づいて
    落下物候補の図形を認識する処理と、 前記落下物候補の図形が認識されると、その落下物候補
    の図形が検知状態であることを示すフラグをたてるとと
    もに、その重心位置を記録しておく処理と、 前記重心位置の記録結果が一定期間検知状態であり、か
    つ、その重心位置が一定の範囲内にある落下物候補の図
    形を、落下物として判定する処理とを含むことを特徴と
    する請求項９に記載の記録媒体 。
12. 【請求項１２】 前記落下物の形状を特定する複数の要
    素が、少なくとも面積、真円度、楕円の長軸短軸比であ
    ることを特徴とする請求項９に記載の記録媒体。