JP4064556B2

JP4064556B2 - 降雨雪状況検出方法およびその装置

Info

Publication number: JP4064556B2
Application number: JP36845998A
Authority: JP
Inventors: 律雄浅井; 香織中村; 宗男山田; 浩次上田; 和夫池谷; 勇夫堀場
Original assignee: Nagoya Electric Works Co Ltd
Current assignee: Nagoya Electric Works Co Ltd
Priority date: 1998-12-10
Filing date: 1998-12-10
Publication date: 2008-03-19
Anticipated expiration: 2018-12-10
Also published as: JP2000180563A

Description

【０００１】
【発明の属する技術分野】
本発明は、主に、テレビカメラ等の撮影手段を用いて降雨量や降雪量を自動的に検出するための降雨雪状況検出方法およびその装置に関する。
【０００２】
【従来の技術】
従来、自動車道路等に降る雨や雪の状況を夜間時において検出する方法としては、図８に示すように自動車道路の路肩に支柱Ａを立設し、該支柱Ａの上方にテレビカメラ等の撮影手段１をその光軸が路面に向くように傾けて取付け、また、雨や雪を照明するための光源Ｂを同じく放射光の光軸が路面に向くように傾けて取付け、該照明された部分に降る雨や雪を前記撮影手段１で撮影し、撮影された画像を図９に示す画像処理装置によって、雨や雪の成分だけ抽出して降雨雪の量や強度、方向を相対的に評価していた。
【０００３】
次に、前記画像処理装置について説明する。この画像処理装置Ｃは本出願人会社が出願した特願平１０−０３１１５４号に開示されたものである。以下、画像処理装置Ｃの一例を図９、図１０と共に説明する。
【０００４】
前記した特願平１０−０３１１５４号には３つの実施の形態、すなわち、降雨雪成分の抽出にシーケンシャル差分法、ダイナミック差分処理法、およびナイキスト成分抽出法が開示されているが、ここでは、これら３つの実施の形態を１つとして説明することとする。
【０００５】
ところで、前記シーケンシャル差分法とは、時間的に隣り合う２つの画像の差分をとることによって画像中から移動体（降雨雪）のみを時系列的な正負の成分として抽出する手法であり、ダイナミック差分法とは、静止物体のみが写った背景画像と移動体が写った撮影画像との差分をとることによって画像中から移動体のみを抽出する方法であり、また、ナイキスト成分抽出法とは、時間的に隣り合う２つの画像の差分をとることによって画像中から移動体（降雨雪）のみを時系列的な正負の極性からなるペアのナイキスト成分のうち何れか一方の正負のナイキスト成分を周波数フィルタ処理によって抽出し、該抽出したナイキスト成分の重心間をつなぐベクトルを算出することにより移動体のみを抽出する方法である。
【０００６】
以下、降雨雪状況の評価を行うための画像処理装置Ｃについて説明する。
１は降雨雪検出対象領域を撮影した画像データをデジタル信号により出力する撮影手段、２はデジタル信号からなるフレーム画像を記憶し、記憶した時系列な画像データの差分から降雨雪成分を抽出する画像処理手段、３は個々の降雨雪成分を識別して移動ベクトルを算出する画像解析手段、４は算出した上記移動ベクトルの数、長さ、方向を基に量、強度、方向の何れかの評価を行う降雨雪評価部である。
【０００７】
次に、各手段の詳細について説明する。
撮影手段１はテレビカメラ１０１と、該テレビカメラ１０１で撮影した映像信号の高周波成分を除去して雑音の除去とサンプリング時の折り返し雑音を防止するローパスフィルタ（ＬＰＦ）１０２と、映像信号をデジタル信号に変換するＡＤ変換器１０３とから構成されている。
【０００８】
画像処理手段２は前記したシーケンシャル差分法、ダイナミック差分法あるいはナイキスト成分抽出法からなる降雨雪成分抽出部２０１と、該降雨雪成分抽出部２０１によって抽出された移動成分に対して面積しきい値処理を施して面積の大きな車両や歩行者成分を除外し、面積の小さな降雨雪成分のみを抽出する面積しきい値処理部２０２とから構成されている。
【０００９】
画像解析手段３は前記したシーケンシャル差分法およびナイキスト成分抽出法にあっては、絶対値画像算出処理部と、ラベリング処理部と、ラベル領域分離処理部からなる移動ベクトル算出部３０１および移動ベクトル演算処理部３０２とから構成され、また、ダイナミック差分法にあっては、ラベリング処理部と、ラベル領域関連付け処理部とからなる移動ベクトル算出部３０１および移動ベクトル演算処理部３０２とから構成されている。
【００１０】
なお、上記説明において、車両や歩行者が行き来する道路上の降雨雪の状況を評価する場合などには、雪片や雨滴の他に走行車両や歩行者なども移動成分として抽出されるため、これらを除外するための前記面積しきい値処理部２０２が必要であるが、車両や人などの通らない場所には、撮影される移動体は雪片や雨滴のみであるため、面積しきい値処理部２０２を省略することができる。
【００１１】
次に、図９の画像処理装置Ｃの処理動作について、図１０のフローチャートと共に説明する。
テレビカメラ１０１で撮影された降雨雪検出対象領域の映像信号はローパスフィルタ１０２で高周波成分がカットされた後、ＡＤ変換器１０３においてデジタル信号に変換される（ステップＳ１）。デジタル信号に変換された画像データは一旦、降雨雪成分抽出部２０１内の図示しない画像メモリに記憶され（ステップＳ２）、かつ、シーケンシャル差分法、ダイナミック差分法あるいはナイキスト成分抽出法によって移動体が抽出される（ステップＳ３）
【００１２】
前述したように、車両や人の全く通らない場所の降雨雪状態を検出する場合には、画面中に走行車両や歩行者などが写るようなことはないが、撮影場所が道路などの場合には、画面中を走る車両なども移動成分として抽出されてしまう。そこで、このような場合には、次の面積しきい値処理部２０２において一定以上の大きな面積を持つ移動成分を雪片や雨滴ではないものと判定し、これらの移動体を画面から除外し、その結果、降雨雪成分のみが残った画像が取り出される（ステップＳ４）。
【００１３】
次に、移動ベクトル算出部３０１において、隣接した画素に対して定められた伝播規則に従って情報を逐次伝播する伝播法などを利用することにより対象物に対するラベリング処理を行い、個々の降雨雪成分を識別するためのラベル付けを行い、該ラベル付けされた画像は移動ベクトル演算処理部３０２に送られ、移動体の重心間を結ぶベクトルを算出し（ステップＳ５）、このベクトルを当該降雨雪成分についての移動ベクトルとして出力する。このようにして得られた各降雨雪成分の移動ベクトルは、降雨雪評価部４に送られる。
【００１４】
降雨雪評価部４は、この送られてくる各降雨雪成分の移動ベクトルを基に、その時の降雨または降雪の量、強度、方向を評価し各々適切な表現形式をもって出力する（ステップＳ６）。
【００１５】
【発明が解決しようとする課題】
ところで、前記した撮影手段１で写し出される実際の画像中には、図１１、図１２に示すように撮影手段１から見て奥行きの降雨雪成分も写し出される。すなわち、図１１(a)にあっては、降雨雪成分の大きさが等しい場合の撮影例を示し、図１２(a) にあっては、降雨雪成分の大きさが異なる場合の撮影例を示している。
【００１６】
図１１(a) の降雨雪状態にあっては、奥行きがあることから撮影画像は図１１(b) のようになり、すなわち、実際の各降雨雪片イ、ロ、ハに対して撮影画像上の各降雨雪片は図１１(b) のイ、ロ、ハとなって、実際の各降雨雪片の大きさ、速度が等しくともデータが２次元で扱われるため、撮影画像中のそれぞれの降雨雪片が異った大きさ、速度であるかのようになる。
【００１７】
また、図１２(a) の降雨雪状態にあっては、奥行きがあることから撮影画像は図１２(b) のようになり、すなわち、実際の各降雨雪片イ、ロ、ハに対して撮影画像上の各降雨雪片は図１１(b) のイ、ロ、ハとなって、実際の各降雨雪片の大きさ、速度が異なっていてもデータが２次元で扱われるため、撮影画像中のそれぞれの降雨雪片が等しい大きさ、速度であるかのようになる。
【００１８】
従って、奥行き情報が重畳している画像データにおいて、降雨雪片を一意に扱うことが難しく、その画像から求める移動ベクトルにより算出される降雨雪の量、強度、方向等を正確に求めることは困難であった。
【００１９】
本発明は前記した問題点を解決せんとするもので、その目的とするところは、シート状の照明を行うことにより、奥行き情報を重畳していない降雨雪成分を抽出でき、また、シート状の照明を複数重ねることで、断面から空間的に情報が拡張され、より正確な降雨雪情報を抽出でき、さらに、シート状の照明の輝度を異ならしめるかあるいはカラー照明とすることで、既存の照明の影響を受けることなく正確な降雨雪情報を抽出できる夜間時における降雨雪状況検出方法およびその装置を提供せんとするにある。
【００２０】
【課題を解決するための手段】
本発明の降雨雪状況検出方法は前記した目的を達成せんとするもので、その請求項１の方法は、テレビカメラ等の撮影手段の近傍に、シート状の光の輝度あるいは色を異ならしめた光を出す少なくとも２つ以上の光源と、前記シート状の光によって照射された降雨雪片を前記撮影手段で撮影した画像から降雨雪の量、強度、方向の何れかを抽出するようにしたことを特徴とする。
【００２１】
また、請求項２の装置は、シート状の光の輝度あるいは色を異ならしめた光を出す少なくとも２つ以上の光源と、前記シート状の光によって照明された降雨雪片の画像を撮影するテレビカメラ等の撮影手段と、該撮影手段により得られた画像から降雨雪の量、強度、方向の何れかを抽出する画像処理装置とを具備したものである。
【００２２】
【発明の実施の形態】
以下、本発明に係る降雨雪状況検出方法およびその装置の第１の実施の形態を図１と共に説明する。なお、従来と同一符号は同一部材を示し説明は省略する。本発明における光源５はテレビカメラを含む撮影手段１の近辺のみを照らせばよいので撮影手段１の近傍に低輝度の光源を配置する。
【００２５】
そして、図１(a) に示す如く光源５の照射面にスリット６１を形成した金属等のスリット板６を配置し、該スリット６１から照射されるシート状の光によって雨片や雪片を照明することにより、シート状の光によって照明された雨片や雪片が図１(b) に示すような撮影画像が撮影手段１より得られる。なお、図１３（Ａ）は従来の照明方法により降雨雪片を撮影した画像の写真であり、（Ｂ）はシート状の光により降雨雪片を撮影した画像の写真である。
【００２６】
このように写し出された奥行き情報が重畳されていない撮影画像の降雨雪成分から前記した画像処理装置を利用することにより、正確なる降雨雪の量、強度、方向を求めることができるものである。
【００２７】
次に、第２の実施の形態を図２、図３と共に説明する。
前記した第１の実施の形態にあっては、１つの光源５と、該光源５の照射面に１枚のスリット板６を配置した場合について説明したが、この実施の形態の場合にあっては、奥行き情報を軽減してしまっているために、空間的情報が減少してしまい精度の高い降雨雪情報を得ることができない。
【００２８】
そこで、第２の実施の形態にあっては、空間的情報を得るようにするために３つの異なる輝度の光源５と、該各光源５毎にスリット板６〜６″を配置した場合である。この実施の形態のようにシート状の光をいくつも重ねることにより、図２(a) に示すように奥行き情報を捕らえることができる。すなわち、画像中には、図２(b) のようにある断面毎に輝度の異なった降雨片や降雪片が写し出される。
【００２９】
この結果、図３(a) 〜(c) に示す各輝度毎に分別して降雨雪成分を抽出できる。従って、それぞれから得られた情報（降雨雪量、強度、方向）を、規格化して扱うことにより、前記した画像処理装置を利用しても空間的な精度の高い降雨雪の量、強度、方向を求めることができるものである。
【００３０】
次に、第３の実施の形態を図４、図５と共に説明する。
前記した第２の実施の形態は、光源５として白色光照明を用いた場合について説明したが、このような白色光照明の場合には、一断面のみを抽出しようとしても既設の照明がテレビカメラの近傍で強度が高いものであれば、その影響を受けることとなり、結果的に奥行き方向の重畳という問題が発生する。
【００３１】
そこで、第３の実施の形態にあっては、前記第２の実施の形態における３つの光源５から照射される色を異なる色にしたり、あるいはスリット６１に異なる色のフィルタを取付ける等して降雨雪に対して３色の光で照明するようにした。
【００３２】
この実施の形態にあっても、図３(b) に示すように画像中には既存照明の影響による降雨雪片が重畳する。しかし、３色の異なる色に照明されているために、図５(a) 〜(c) に示すように、各色毎に色分別して降雨雪成分を抽出することができる。
【００３３】
従って、分別された情報（降雨雪量、強度、方向）を、規格化して扱うことにより、前記した画像処理装置を利用しても空間的な精度の高い降雨雪の量、強度、方向を求めることができるものである。図１４は１つのシート状の光を赤色とした場合の写真である。
【００３４】
なお、前記した実施の形態にあっては、光源５およびスリット板６を１つまたは３つの場合について説明したが、第２の実施の形態の場合には１つの光源５に対して複数のスリット６１が形成されたスリット板６を利用してもよく、また、光源５およびスリット板６は３つに限定されるものではなく、空間的な精度を高くする場合には３つ以上配置すればよい。
【００３５】
さらに、前記した実施の形態にあっては、光源５を撮影手段１におけるテレビカメラの下側に配置した場合について説明したが、図６に示すように上側、あるいは左右の何れかの方向に配置してもよく、また、図７に示すようにテレビカメラの近傍で、かつ、テレビカメラを軸とした円周方向に配置してもよい。
【００３６】
また、シート状の光を出す光源としては、実施の形態のように光源とスリット板を用いる必要はなく、指向性の高いＬＥＤを一列に並べた光源や、ビームを絞ったレーザー光などを扇状に高速掃引する光源などを用いても同様にシート状の光を発生させることが可能である。
【００３７】
さらに、前記した実施の形態における説明は、特に、夜間時における降雨雪の状況を検出する場合についての説明であるが、色光（例えば、赤色）のシート状の光を用いることで、昼間時において降雨雪を判別しにくい環境であっても検出が可能となる。
【００３８】
【発明の効果】
本発明は前記したように、シート状の光を降雨雪片に照射し、該照射により照明された降雨雪片の画像から降雨雪の量、強度、方向を求めるようにしたので、奥行き情報が重畳されることなく降雨雪片を一意に扱うことが可能となり、従って正確な降雨雪成分の移動ベクトルを求めることができる。
【００３９】
また、シート状の光を複数個とすることにより、断面から空間的に情報が拡張され、より正確な降雨雪情報を検出することができ、しかも、前記複数のシート状の光の色を異ならしめることにより、既存照明の影響を受けることなく降雨雪成分を高い精度で抽出することができる等の効果を有するものである。
【図面の簡単な説明】
【図１】本発明に係る降雨雪状況検出方法およびその装置による第１の実施の形態を示し、(a)は撮影状態を示す斜視図、(b) は撮影された画像である。
【図２】第２の実施の形態を示し、(a) は撮影状態を示す斜視図、(b) は撮影された画像である。
【図３】同上のシート状の光毎に撮影された画像である。
【図４】第３の実施の形態を示し、(a) は撮影状態を示す斜視図、(b) は撮影された画像である。
【図５】同上のシート状の光毎に撮影された画像である。
【図６】斜め方向から見た光源５の配置位置の例を示す説明図である。
【図７】正面から見た光源５の配置位置の例を示す説明図である。
【図８】従来の照明方法を示す説明図である。
【図９】画像処理装置のブロック図である。
【図１０】処理動作を示すフローチャートである。
【図１１】従来の照明方法で撮影された降雨雪片を示し、(a) は撮影状態を示す斜視図、(b) は撮影された画像である。
【図１２】同じく従来の照明方法で撮影された降雨雪片を示し、(a) は撮影状態を示す斜視図、(b) は撮影された画像である。
【図１３】（Ａ）は従来の照明方法で撮影された降雨雪片の写真、（Ｂ）はシート状の光により撮影された写真である。
【図１４】シート状の赤色光により撮影された降雨雪片の写真である。
【符号の説明】
Ｃ画像処理装置
５光源
６スリット板
６１スリット

Claims

テレビカメラ等の撮影手段の近傍に、シート状の光の輝度あるいは色を異ならしめた光を出す少なくとも２つ以上の光源と、前記シート状の光によって照射された降雨雪片を前記撮影手段で撮影した画像から降雨雪の量、強度、方向の何れかを抽出するようにしたことを特徴とする降雨雪状況検出方法。
シート状の光の輝度あるいは色を異ならしめた光を出す少なくとも２つ以上の光源と、前記シート状の光によって照明された降雨雪片の画像を撮影するテレビカメラ等の撮影手段と、該撮影手段により得られた画像から降雨雪の量、強度、方向の何れかを抽出する画像処理装置とを具備したことを特徴とする降雨雪状況検出装置。