JPH1055425A - 水路流出入物監視装置 - Google Patents
水路流出入物監視装置Info
- Publication number
- JPH1055425A JPH1055425A JP8224677A JP22467796A JPH1055425A JP H1055425 A JPH1055425 A JP H1055425A JP 8224677 A JP8224677 A JP 8224677A JP 22467796 A JP22467796 A JP 22467796A JP H1055425 A JPH1055425 A JP H1055425A
- Authority
- JP
- Japan
- Prior art keywords
- value
- image
- detection
- processing
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
Abstract
の計測を簡易な画像処理手法で実現することのできる水
路流出入物監視装置を提供すること 【解決手段】 与えられた画像データに対し、平均値縮
小処理部4で設定されたブロックサイズで平均値縮小処
理をし、さらに空間フィルタ処理部6でフィルタ処理を
し、周囲の近傍画素との濃淡値の差が大きい画素を強調
する。よって、くらげの部分が浮き上がる。2値化部8
で2値化処理し、次段の画面内検出対象物数計測部9に
て、画像中のくらげ数を計測する。一方、空間フィルタ
処理画像データ中所定のラインの濃淡値データのみを時
空間画像蓄積分12に蓄積し、その蓄積した画像データ
を2値化部13で2値化し、通過数計測処理部14に
て、選択されたライン上を設定された時間中に通過する
検出対象物の数量を計測する。警報処理部16では、両
計測部で計測されたデータに基づいて警報出力する。
Description
装置に関するもので、より具体的には、水路へ流出入す
る物体(主に冷却水取水路へ流入するくらげ)を監視す
るために、監視カメラの映像から画像処理によって対象
物を検出し、その流出入度合いを計測するものに関す
る。
には、水路が詰まってしまい取水口等における正常な取
水処理等ができなくなる。そこで、従来は、水路を監視
カメラで撮像するとともに、その撮像したビデオ信号を
モニタに出力する。そして、監視員がそのモニタを監視
し、くらげが侵入してきたならば、くらげを除去する作
業を行うようにしている。
た従来の監視方法では、くらげの発生を遅滞なく検出す
るためには、常時モニタを監視する必要があるが、実際
には、監視員はその他の処理・作業も行わなければなら
ないので、一定の時間毎にモニタを見る程度にとどま
る。その結果、くらげの除去作業が遅れるおそれがあ
る。また、モニタを見てわかるのは、その時のくらげの
存在数であり、流入してきて増加傾向にあるのか流出し
て行って減少傾向にあるのかはわからない。さらには、
その増減の速度もわからない。その結果、くらげの除去
作業を行う必要があるか否かの判断や、行う場合に早急
に行う必要があるか否かの判断がしにくい。
対し、所定の画像処理を行ってくらげ部分を抽出し、画
面中のくらげの発生数を計数したり、経過時間に伴うく
らげの数の変化の履歴を検出することにより、くらげの
除去作業の有無やその緊急性についての正しい判断を行
うようにすることが考えられる。そして、一般的な画像
処理を利用したものとして、以下の2つが考えられる。
化領域として抽出し、その抽出した変化領域の特徴(大
きさ,形,数など)によってくらげか否かを判断し、最
終的にくらげと判断したものを計数することにより画像
中に存在するくらげ数を求めることができる。
像の濃淡値をA/D変換してディジタル画像に変換した
画像データと、同様にして得られた1フレーム前の画像
データとの差(フレーム間差分)をとる。すると、移動
していない背景部分などは、差分をとることにより除去
されるため、結局移動するくらげ等が抽出されることに
なる。
値について、設定されたしきい値との比較によって2値
化処理することにより、変化領域と非変化領域とを弁別
し、変化領域であるくらげ部分を抽出する。最後に、得
られた変化領域の持つ特徴(大きさ、形、画素数など)
からくらげか否かを判断するようになる。
部分を撮像しておき、背景画像と入力画像との差分画像
を求める方法(背景差分)を用いることもできる。
濃淡画像にしたときに固定されていないと、背景部分も
その一部が差分画像として抽出されてしまい、誤検出し
てしまうおそれがある。特に、本願発明の監視対象領域
の背景画像は、海面や水面であるので、常に変化してい
るため、上記問題が顕著に現れる。
するくらげであるため、その移動速度は一定ではなく、
同一場所に停滞することもある。そして、フレーム間差
分を求める場合には、2つの画像間の時間に対象物が一
定量移動することが前提となるので、対象物であるくら
げの移動速度が遅く、2つの画像における対象物の位置
が部分的に重なり合うような場合には、その部分の差分
値が低く抑えられ、2値化時の形状欠損が生じてしま
い、抽出できないおそれある。
象領域を抽出し、その領域の特徴(大きさ、形、数な
ど)によってその状態を判断する方法を適用することが
考えられる。
像をA/D変換してディジタル画像に変換し、さらに、
得られたディジタル画像の各画素の濃淡値について、設
定されたしきい値との比較によって検出対象領域と非検
出対象領域に分別する2値化処理を行う。そして、最後
に、2値画像により得られた検出対象領域の持つ特徴
(大きさ、形、画素数など)から、くらげか否かを判断
し、そのくらげの数を計数する。
うためには、2値化する際のしきい値の決定が重要であ
る。しかし、本発明の監視対象領域の背景画像が海面・
水面であるので、1画面内での濃淡値に大きな勾配やむ
らが存在する。その結果、一つのしきい値で画面全体を
2値化すると、適切に2値化できない領域が生じ、くら
げを正しく抽出できないおそれがある。
むらがある場合には、画像の部分部分に応じてしきい値
を自動的に設定する方法により適用することが考えられ
る。しかし、海面・水面のように画像の濃淡値が時間経
過とともに変動する場合には、それに応じてしきい値を
適切に設定する必要があり、その画像の時間変動に対応
するために、得られる画像ごとに画像の部分に応じてし
きい値を設定する処理を行うようにしなければならず、
処理が膨大となってしまい、監視を目的としたリアルタ
イム処理には向かない。
に2値化を行うために一つの検出対象物がいくつにも分
かれて抽出されることがあり、その後の統合処理をうま
く行わないと、物体の数の計測が不正確になるという問
題を有している。
もので、その目的とするところは、上記した問題を解決
し、監視カメラの画像から水路へ流出入する物体(主に
くらげ)の検出およびその流出入度合の計測を簡易な画
像処理手法で実現することのできる水路流出入物監視装
置を提供するものである。
ため、本発明に係る水路流出入物監視装置では、監視対
象の水路を撮像して得られたビデオ画像に基づく画像デ
ータに対し設定されたブロックサイズで平均値縮小処理
を行う手段と、その平均値縮小処理された画像データに
対し、周囲の近傍画素との濃淡値の差が大きい処理対象
画素を強調するような所定の空間フィルタ処理を行う空
間フィルタ処理手段と、空間フィルタ処理された画像デ
ータに対し設定されたしきい値で2値化するフレーム画
像2値化処理手段と、そのフレーム画像2値化処理手段
で2値化された2値画像データ中に存在する検出対象物
の数量を計測する画面内検出対象物数計測手段と、前記
空間フィルタ処理された画像データのうち、水平ライン
と垂直ラインから選択されたラインの濃淡値データのみ
を、設定された時間間隔で所定回数分順次蓄積する時空
間画像蓄積手段と、前記時空間画像蓄積手段に蓄積され
た画像データに対し、設定されたしきい値で2値化する
時空間画像2値化処理手段と、その時空間画像2値化処
理手段で2値化された2値画像時空間画像データを用い
て、前記選択されたライン上を設定された時間中に通過
する検出対象物の数量を計測する通過数計測処理手段
と、前記画面内検出対象物数計測手段と、通過数計測処
理手段で計測されたデータに基づいて前記監視領域内の
前記検出対象物の流出入度合いを判断し、警報発報条件
に達した場合に警報を発する警報処理手段とを備えて構
成した(請求項1)。
然の川や、ある程度幅が狭く水が流れる人工のものを含
み、さらには、ダム,池等の比較的幅の広い部分も含む
ものである。そして、検出対象物は、実施の形態では、
くらげを例示しているが、これに限ることはなく、水路
を詰まらせるもの、例えばビニール等のごみ等でもよ
い。
理を行うことにより、濃淡値の勾配やむらが存在する画
像が比較的フラットな画像になるためその後の2値化処
理が容易になる。このことは、本発明における背景画像
となる水面のように常時濃淡値が変動し、しかも、全体
で均一ではなく各部での濃淡値が微妙に異なるような画
像データの特徴がある場合においても、検出対象物とな
るくらげの濃淡値は背景部分よりも大きい(明るい)た
めに、その境界部分での濃淡値の差は大きくなる。よっ
て、空間フィルタ処理をすることにより、強調されるの
で、検出対象物が浮かび上がる。よって、しきい値処理
により確実に検出対象物と背景部分とを弁別できる。
平均値縮小処理を行うことは、データ量を削減すること
による処理負荷の軽減はもちろんのこと、検出対象物が
分断される可能性が低くなり、対象物の計数が容易とな
る。
入する対象物の計数が行うことが可能となり、画面内対
象物数の計数値と併せて利用することにより、対象物の
滞留状態などその流出入状態の判別がより正確に求めら
れる。
理された画像データのうち、検出対象領域から除外する
検出外領域を設定する検出外領域設定手段をさらに備
え、その検出外領域設定手段で設定された検出外領域
は、前記2値化処理する際に少なくとも検出対象物あり
とならないようにすることである(請求項2)。
め、検出対象物と分離しやすいが、監視領域中に反射物
などの濃淡値の高い領域があると、2値化処理した際に
検出対象物として抽出されてしまうおそれがある。そこ
で、予め係る領域を検出外領域として設定しておくこと
により、検出外領域の部分は、2値化処理しなかった
り、したとしても背景部分と同じ値にするようにする。
よって、誤検出の可能性が減少する。
段におけるブロックサイズの設定が、所定の画像に対し
て前記画面内検出対象物数計測手段で検出された検出対
象物の検出位置から、その処理の元となった平均値縮小
処理前の画像データにおける検出位置の座標を求め、前
記平均値縮小処理前の画像データの中で、前記求められ
た検出位置座標を含む所定サイズの矩形領域内の各画素
の濃淡値データを抽出し、抽出された矩形領域ごとに2
値化しきい値を決定するとともに、その決定した2値化
しきい値で、前記矩形領域内の画像データを2値化し、
その2値化された画像データに基づいて検出対象物の寸
法形状に関する情報を取得し、その取得した寸法形状に
基づいて前記ブロックサイズを決定し、設定するように
構成することができる(請求項3)。
処理を効果的に行うためには、検出対象物に合ったブロ
ックサイズを選ぶ必要がある。そこで、請求項3のよう
に構成することにより、対象物が検出された際に、この
サイズを計測することによって適切なブロックサイズを
自動的に選択する。よって、例えばカメラのズーム、パ
ン、チルトによって、対象物の撮像サイズが変化した場
合には、その変化後の画像データに基づいて簡単に適切
なブロックサイズを設定できるので、常時正確な検出処
理が行える。
・ラべリングによる検出位置をもとに、平均値縮小処理
前の画像から対象物を含む矩形領域のみを抽出し、領域
別のしきい値を用いて2値化することによって、個々の
対象物の大きさの計測が行え、この結果から、適切なブ
ロックサイズの選択が可能となる。
データを2値化する際の2値化しきい値の設定が、抽出
された矩形領域内の画像データについて濃淡値ヒストグ
ラムを作成し、ヒストグラムデータの中で度数が1以上
となる濃淡値の最大値より、濃淡値を減少方向に順次選
択し、選択された濃淡値以下のデータを用いて歪度を算
出し、この歪度が正値から負値に転じる濃淡値に基づい
て前記矩形領域の2値化しきい値を決定するようにする
と好ましい(請求項4)。その場合に、この濃淡値より
も、所定の補正値分だけ高い濃淡値を2値化しきい値と
するようにするとより好ましい(請求項5)。
2値化する際に、画面全体では濃淡値に大きなむらがあ
っても、矩形領域個々では、対象物を除いた背景部分は
比較的フラットな濃淡値を持つという特徴を利用するこ
とによって対象物を抽出するための2値化しきい値を求
める。濃淡値ヒストグラムを求めると、濃淡値の低い領
域に山が一つ現れ(主として背景部分の濃淡値)、濃淡
値の高い領域(主として対象物の濃淡値)では平坦とな
り山が現れないことが多い。よって、2値化しきい値設
定の代表的な手法である「判別分析法」では正確にしき
い値を設定することが困難であったが、本発明では、歪
度の概念を用いることにより、2値化しきい値の基準値
の選択が可能となる。そして、背景部分に対する対象物
の相対面積が小さい場合にも、背景部分の濃淡値ヒスト
グラムの歪度に着目することによって、正確にしきい値
を設定できる。
手段の具体例としては、例えば、処理対象画素の濃淡値
と、近傍画素の濃淡値との差の絶対値の最大値を求め、
その求めた最大値を空間フィルタ処理の結果として出力
するように構成することができる(請求項6)。また、
処理対象画素を中心とするn×nの矩形領域を構成する
各画素の濃淡値データの中から、最大濃淡値および最小
濃淡値を抽出し、前記処理対象画素の濃淡値から前記最
大濃淡値を引き算することによって得られる値と、前記
処理対象画素の濃淡値から前記最小濃淡値を引き算する
ことによって得られる値の和を求め、求められたこの和
の値が0以上の場合はそのままその値を空間フィルタの
結果として出力し、この和の値が0未満の場合は0を空
間フィルタの結果として出力するようにしてもよい(請
求項7)。
フィルタ処理において、背景の濃淡値よりも高い濃淡値
を持つ対象物を検出するのに有効な処理となる。この手
法では、検出対象物と背景とのコントラストは保たれた
まま、背景部分の出力値を低くおさえられるため、2値
化時の背景部分の過剰検出をより低く抑えることができ
る。
段が、前記平均値縮小処理手段から得られる1枚の画像
データ全体を母集合として、その平均値と標準偏差から
求められる偏差値得点を画素ごとに求め、この偏差値得
点が設定されたしきい値を越えた領域を検出外領域候補
1Aとする手段と、さきに偏差値得点を求めた画像デー
タの母集合から検出外領域候補1Aのデータを除いて、
再度、画素ごとに偏差値得点を求め、この偏差値得点が
設定されたしきい値を越えた領域を検出外領域候補1A
に加えて検出外処理候補1Aとする手段と、上記の再度
偏差値得点を求めて検出外領域候補を加える手段を所定
の回数繰り返すことによって、検出外領域候補1Aを求
める手段と、検出外領域候補1Aの各画素について、自
身とその近傍画素すべてを検出外領域候補とする処理
(膨脹処理)を所定の回数繰り返すことによって検出外
領域候補Aを求める手段と、前記空間フィルタ処理手段
から得られる1枚の画像データ全体を母集合として、そ
の平均値と標準偏差から求められる偏差値得点を画素ご
とに求め、この偏差値得点が設定されたしきい値を越え
た領域を検出外領域候補1Bに加えて検出外処理候補1
Bとする手段と、上記の再度偏差値得点を求めて検出外
領域候補を加える手段を所定の回数繰り返すことによっ
て、検出外領域候補1Bを求める手段と、検出外領域候
補1Bの各画素について、自身とその近傍画素すべてを
検出外領域候補とする処理を所定の回数繰り返すことに
よって検出外領域候補Bを求める手段と、検出外領域候
補B、または、検出外領域候補Aと検出外領域候補Bの
どちらかに当てはまる領域を検出外領域とするように構
成することである(請求項8)。
において、画像の濃淡状態を表わす平均値縮小処理画像
と周辺画素との濃淡差を表わす空間フィルタ画像を併用
することによって、画像内で誤動作につながりやすい領
域を除き、比較的フラットな濃淡を持つ領域のみを処理
対象とするため、安定した検出動作が可能となる。この
際、各画素ごとにその濃淡値そのものを使用するのでは
なく、画像内での相対値を表わす偏差値得点を用いて評
価することによって、除去判断をするためのしきい値の
設定が容易となる利点がある。また、しきい値設定,除
去処理の繰り返しおよび膨脹処理の繰り返しの手段を設
けることによって、検出外領域設定処理の強弱が自由に
選択できる。
外領域候補のうち、所定のサイズ以下となる領域を検出
外領域候補から除去するようにすることである(請求項
9)。係る構成にすると、検出外候補を求める際に、そ
の大きさを調べ、検出対象物らしい大きさの領域を候補
から除くことにより、検出対象物が画像内に存在する際
に検出外領域設定を行う場合に、検出対象物の存在する
領域を不必要に検出外領域としてしまうことを軽減する
ことができる。つまり、この構成をとることにより、画
像データ中にくらげなどの検出対象物が存在していて
も、そのくらげの部分は、検出外候補から除外されるの
で、くらげ等の検出対象物の存在の有無などに関係な
く、任意のタイミングで、検出外領域候補の設定処理が
行える。
る処理を、所定時間間隔で所定回数繰り返し、得られた
所定回数の検出外領域のいずれかに当てはまる領域を検
出外領域とするようにしてもよい(請求項10)。係る
構成にすると、上記した検出外領域を求める処理を所定
時間間隔で複数回繰り返し、その領域をすべて検出外領
域とすることによって、濃淡値に時間的変動があり不安
定な領域を検出画像外領域とすることが可能になり、誤
検出のさらなる軽減につながる。
蓄積手段で蓄積するラインを自動的に設定するライン選
択手段をさらに設け、そのライン選択手段が、前記平均
値縮小処理手段によって得られた画像データを用いて、
水平ラインの各ラインごとに、その平均濃淡値を算出す
る手段と、得られた平均値縮小処理画像の水平ライン平
均濃淡値を母集合として、さらにその母集合の平均値お
よび標準偏差を求める手段と、各水平ライン平均濃淡値
と求められた平均値との差の絶対値を求められた標準偏
差で割り算することによって得られる偏差データを求め
る手段と、前記平均値縮小処理手段によって得られた画
像データを用いて、同様にして垂直ラインの偏差データ
を算出する手段と、前記空間フィルタ処理手段によって
得られた画像データを用いて、水平ラインの各ラインご
とに、その平均濃淡値を算出する手段と、得られた空間
フィルタ処理画像の水平ラインの平均濃淡値を母集合と
して、さらにその平均値および標準偏差を求める手段
と、各水平ライン平均濃淡値と求められた平均値との差
を、求められた標準偏差で割り算することによって得ら
れる偏差データを求める手段と、同様にして、空間フィ
ルタ処理によって得られた画像データを用いて、垂直ラ
インの偏差データを算出する手段と、平均値縮小処理画
像を用いて求められた水平ラインの偏差データと空間フ
ィルタ処理画像の水平ラインの偏差データのうちどちら
かに設定された係数を乗じて、各水平ラインごとにその
和を水平ライン評価値とする手段と、求められた水平ラ
インの評価値を用い、各水平ラインごとに、自身のライ
ンの評価値とその両側の所定ライン数分の評価値を用い
て算出した平均値を平滑化評価値として算出する手段
と、その算出する手段で求めた平滑化評価値が最も小さ
いものから順に所定数の水平ラインを選択する手段と、
同様にして、所定数の垂直ラインを選択する手段を備え
て構成するとよい(請求項11)。係る構成は、請求項
1に記載の発明における時空間画像蓄積部において、検
出に有利なラインを自動的に選択するものである。すな
わち、平均値縮小処理画像データおよび空間フィルタ処
理画像の各ラインの濃淡値平均値を用いた評価値を用い
ることによって、画像内での中間的な濃淡値をもち、し
かも、むらの少ないラインを選択することが可能とな
る。よって、係るラインを選択し、時空間画像を蓄積す
ることにより、安定した検出に役立つ。
求める処理を所定時間間隔で所定回数繰り返し、その平
均値を求める手段と、この値の小さいものから順に所定
数の水平ラインを選択する手段と、同様にして、所定数
の垂直ラインを選択する手段を備えるようにするとなお
よい(請求項12)。この様に構成すると、請求項11
に規定するラインごとの評価値を求める処理を所定時間
間隔で複数回繰り返し、その平均値を用いることによっ
て、時間的に変動のある画像を考慮してラインを選択す
ることが可能である。
物監視装置の第1の実施の形態を示している。同図に示
すように、まず、監視TVカメラ1から得られる濃淡画
像をA/D変換部2に与え、そこにおいてA/D変換し
てディジタル画像に変換させる。そしてこのディジタル
画像を次段のフレーム積算・平均化部3に与える。
して入力されてくるn枚の画像データに対し、同一座標
の各画素の濃淡値を積算するとともにその平均値を求
め、その求めた平均濃淡値をその後の画像処理の基準と
なる画像データの画素の濃淡値とする。これにより、信
号中のノイズ成分や水面の波による画像の細かいむらは
同一の座標上に存在し続けることが少ないので、その影
響が軽減される。これにより、ノイズなどの誤判別の要
因となる雑音成分を除去することができる。
は、平均値縮小処理部4が接続され、積算・平均化され
た画像データに対し、ブロックサイズ設定部5で設定さ
れたブロックサイズで平均値縮小処理を行う。この平均
値縮小処理は、原画像を設定部5で設定されたN×M
(N=Mでも可)のブロックサイズで分割し、さらに分
割されたブロック内に存在する画素の濃淡値の平均値を
求める。そして、その求めた平均濃淡値をそのブロック
の代表値とするようになっている。
クサイズをN×N(N=M)とすると、データ数は1/
N2に圧縮することができる。このように圧縮すること
により、画像をぼかし、例えば各くらげの細かい寸法・
形状や濃度の差が現れにくくするとともに、処理対象の
データ数を縮小することにより、短時間でより正確な判
断を行えるようにしている。
記のようにブロックサイズ設定部5からの制御信号に基
づいて設定されるが、この設定は、検出処理において毎
回更新を行うものではなく、手動設定または自動設定で
定期・不定期に行うようになっている。なおまた、自動
設定の具体的な構成については後述する。そして、具体
的なサイズとしては、くらげの平面形状がほぼ円形であ
ることから、N=Mとするのが好ましく、しかもN個の
画素の長さと、くらげの半径とが同じになるように設定
するのが好ましい。そして、本例では、8×8でブロッ
ク化するようにした。
画像データを、空間フィルタ処理部6に与え、そこにお
いて所定の空間フィルタ処理を行い、検出対象物のくら
げの部分が浮き出るようにする。そして、この空間フィ
ルタの具体的な処理方法として、例えば処理対象画素を
中心とするn×nの局所領域の中の各濃淡データと処理
対象画素の濃淡値との差の絶対値を求め、求められた
(n×n−1)個の差の絶対値の中から、最大値を選択
して、空間フィルタ処理の結果として出力することがで
きる。
(A)に示すように、局所領域を構成する画素は、〜
の9個となり、そのうち中央のの画素が処理対象画
素となる。そこで、|−|,|−|,|−
|,…,|−|,|−|を求め、計8個の演算
結果の中からもっとも大きい値をその処理対象画素の
代表値とする。なお、上記した絶対値演算の式中丸数字
は、各画素の濃淡値を意味する。
が大きい場合には代表値が高くなり、処理対象画素を
含む9個の画素の濃淡値がほぼ同じ場合には、代表値が
小さくなる。つまり、上記したように、ここでの処理対
象画素は、前段で縮小化処理がされており、くらげの半
径と同程度の大きさとなっている。従って、処理対象画
素にくらげが存在している場合には、同図(B)中ハッ
チングで示すように、4画素分に存在することになる。
従って、図示の例では、ハッチングをしていない5個の
画素との間の濃度差が大きくなる。一方、くらげがいな
い部分では、局所領域は海面或いは水面となっているの
で、各画素間での濃度差はいずれも小さくなる。よっ
て、少なくとも処理対象画素にくらげが存在する場合に
は、その処理対象画素の代表値が大きくなる。
グした場合の処理結果の一例を示すと図3のようにな
る。そして、図中濃淡値(上記で言う「代表値」)が高
くなっているところが、くらげが存在している候補地で
ある。
は、検出対象のくらげの濃淡値が、背景となる水面の濃
淡値よりも高い(明るい)ことに着目し、背景の水面よ
りも濃淡値の高い画素を抽出することを目的としてい
る。
nの矩形領域に存在する各画素の濃淡値データの中か
ら、最大濃淡値および最小濃淡値を抽出する。そして、
処理対象画素の濃淡値から、最大濃淡値と最小濃淡値を
それぞれ減算し、求められた2つの減算値を加算する。
そして、求めた加算値が、正の場合にはその値をフィル
タ出力値とし、また負の場合には0をフィルタ出力値と
する。
より求めることができる。
と、処理対象画素に検出対象物がある場合には、図4に
示すように、処理対象画素の濃淡値が最大濃淡値となる
ので、その差は「0」となり、最小濃淡値との差も大き
な正の値となる。よって、最終的な加算結果は、最小濃
淡値との差と等しくなり、大きな正の値となる。
は、くらげの場合には、4画素分を占めるが、少なくと
も処理対象画素にくらげの部分がかかっている場合に
は、上記の通りとなる。
がいない(もちろん処理対象画素にもいない)場合に
は、各画素の差が少ないために、処理対象画素の濃淡値
と最大濃淡値および最小濃淡値との差が小さくなる。加
えて処理対象画素が最大濃淡値でない場合は、処理対象
画素から最大濃淡値を引いた値は負になるため、この分
だけ最終的な加算結果が低く抑えられることになる。さ
らに、図5の例のように、処理対象画素の濃淡値が最大
濃淡値よりも最小濃淡値に近い場合は、加算結果が負と
なり、フィルタ出力は0となる。
一の平均値縮小処理画像に対し、上記の方法を実行して
得られた部分領域の一例を示すと、図6のようになっ
た。図3と図6を比較すると明らかなように、くらげが
存在する部分がより急峻となるとともに、背景部分の値
はより低く抑えられるため、くらげを検出しやすくな
る。
のように空間フィルタ処理部6に与えられるのと並列し
て検出外領域設定部7にも与えられる。この検出外領域
設定部7では、画面内の極端に明るい部分,暗い部分、
また濃淡にむらがある部分,水面と壁などの境界部分な
ど、誤動作につながりやすい部分を検出対象領域から除
く処理を行うようになっている。つまり、検出外領域に
関する情報(座標データ等)を出力するようになる。そ
して、この処理は、検出処理において毎回更新を行うも
のではなく、手動設定および自動設定で定期・不定期に
行うようになっている。なお、自動設定を行うための具
体的な装置構成については、後述する。
域設定部7の出力が、それぞれフレーム画像2値化部8
に与えられる。このフレーム画像2値化部8では、空間
フィルタ処理部6から得られた画像データのうち検出外
領域設定部7で設定された検出外領域を除いたデータに
対し、設定されたしきい値で2値化(例えば、検出対象
画素(くらげに対応する明るい画素)を1,非検出画素
を0)する。本例では、前処理として空間フィルタ処理
を施しているので、検出対象のくらげ部分の濃淡値は高
くなり、背景の水面の濃淡値は小さく(暗く)なるよう
にし、両者の濃淡値の差が大きくなるようにしたため、
2値化しきい値を比較的ラフに設定しても、くらげ部分
を確実に抽出することができる。そして、図6に示す空
間フィルタ処理結果の濃淡画像データに対して2値化処
理した結果、図7に示すようになる。なお、図中白抜き
部分がくらげが存在する候補部分である。
の出力を画面内検出対象物数計測部9に与え、その画面
内検出対象物数計測部9にて、1フレームの2値画像内
の検出対象物(くらげ)の数量を計測する。そして、本
例では、一つの検出対象物が複数の画素で検出される場
合があるので、ラべリング部9aで所定のラベリング処
理を実行し、複数の画素が連結しているものをひとかた
まりとして識別する。また、この際、ラベリングして生
成された各かたまりを、検出対象物の形、大きさの基準
値或いはモデルパターンと比較し、検出対象物らしくな
いものは、除外するようにしてもよい。そして、ラベリ
ング部9aでラベリングされた画像データを画面内検出
数計測部9bに与え、画像内に存在する検出対象物(白
画素のかたまり)の数を求める。
象物たるくらげが何匹いるかを容易に求めることができ
る。そして、例えばその計数値が一定のしきい値を越え
た場合に警報出力をするようにすることができる。
め、その算出結果を画像内検出数時間推移グラフ作成部
10に与えるようにしている。この推移グラフ作成部1
0は、画像内検出数計測部9bから得られる画像内検出
数を所定時間間隔で順次求めて時間軸上に並べることに
より、画像内検出数時間推移グラフを作成するようにな
っている。そして、係るグラフを図示省略の出力装置に
出力することで、増加傾向にあるか減少傾向にあるか、
さらには、その増減率の大小を容易に理解することがで
き、くらげの除去作業の必要性及び緊急性を迅速に判断
することができる。
して得られた1フレームの画像全体を用いて抽出処理を
行うためのものである。ところで本例では、係る1フレ
ーム単位での処理と並列して、時間経過に伴うある領域
の画像データに基づいて、検出対象物であるくらげの流
出入状態を認識できるようにしている。つまり単位時間
当たりの流出入量が一定の場合には、画像内検出数時間
推移グラフ作成部10ラフは、時間変化に伴うくらげの
存在量が一定となる。また、くらげが監視領域内で停滞
し、流出入量が0の場合でも、上記グラフ作成部10で
作成されたグラフは、上記と同様に時間変化に伴う存在
量が一定となる。つまり、それら各種の状態を弁別する
ことはできない。
視領域の下流側に大量のくらげが流れ込んでいき、詰ま
るおそれが高いため、緊急にくらげの除去処理を行う必
要があるが、流出入量が少ないか0の場合には、緊急に
除去処理を行う必要がなかったり、除去処理自体をしな
くても良い場合もある。
できないので、従来のモニタを監視する方法や、一般に
行われる画像処理のものに比べると遥かに優れた監視を
行うことができるものの、より正確な判定を行うことに
は限界がある。そこで本例では、上記したように、時間
経過に伴うある領域の画像データに基づいて、検出対象
物であるくらげの流出入状態を認識するための処理部を
設け、より正確な判定を行うことができるようにした。
そして、係る処理部の具体的な構成は以下のようになっ
ている。
が、1フレームずつ時空間画像蓄積部12に与えられ
る。そして、時空間画像蓄積部12では、空間フィルタ
処理部6から得られた画像データのうち、時空間画像ラ
イン選択部11で選択された所定の水平およびまたは垂
直ラインについて、ラインごとに設定された時間間隔で
設定された回数分、時間経過に従って並べて蓄積するよ
うになっている。
8(A)のように、ある時間間隔でt1,t2,t3,
……というように画像データが送られてきたとすると、
時空間画像ライン選択部11で選択されたラインLに属
する画像データ部分のみが抽出され、同図(B)に示す
ように、時間順つまりt1,t2,t3,…というよう
に蓄積部18内に格納されるようになっている。
したが、複数のラインが選択された場合には、各ライン
毎に同図(B)に示すような画像が蓄積される。そし
て、画像を抽出するタイミングは、空間フィルタ処理部
6から出力される1フレーム毎に行ってもよく、適宜な
間隔でサンプリングしても良い。そして、抽出するライ
ンが複数存在する場合には、すべてのラインを同じタイ
ミングで抽出しても良いが、一部或いは全部を異なるタ
イミングで抽出しても良い。
れた画像における1画素分でもよく、或いは複数画素分
でも良い。なおまた、この時空間画像ライン選択は、検
出処理ごとに毎回行うものではなく、手動設定および自
動設定で定期/不定期に行うようになっている。そし
て、自動設定するための具体的な構成については、後述
する。
格納された画像データの一例を示すと、ラインLをある
タイミングでくらげが通過すると、図9のように、その
通過時刻・通過場所に相当する位置にくらげK1,K2
が出現する。そして、くらげがゆっくりと通過すると、
符号K2で示すように、細長なパターンとして出現す
る。よって、その形状を見ることにより、移動速度等を
検出することができるとともに、ラインを通過したくら
げの数を正確に計数できる。
時空間画像蓄積部12に蓄積された画像データを、次段
の時空間画像2値化部13に与え、そこにおいて与えら
れた画像データのうち検出外域設定部7で設定された検
出外領域を除いたデータに対し、設定されたしきい値で
2値化する。
外の背景部分とが分離された2値画像が生成される。そ
して、その2値画像が通過数計測処理部14に与えら
れ、そこにおいてラべリングすることにより、複数の画
素が連結しているものはひとかたまりとして識別し、選
択されたライン上を設定された時間内に通過する検出対
象物の物量を計測する。このラベリング処理及び計数処
理は、上記した画面内検出対象物数計測部9のものと同
様のアルゴリズムで処理できる。
た各ライン上を通過した検出対象物(くらげ)の通過数
を、通過数時間推移グラフ作成部15に送り、上記した
画面内検出数時間推移グラフ作成部10と同様に、くら
げのライン上の通過数を所定時間間隔で順次求めて時間
軸上に並べることにより通過数時間推移グラフを作成す
る。
5の出力を警報処理部16に与えるようになっている。
警報処理部16では、与えられた2つのグラフを用い、
その値や傾き等により、検出対象物の流入度合いを設定
された複数段階に区別して判別し、警報を発報するよう
になっている。
た2値画像に対し、あるライン上を走査すると、図10
に示すように、くらげの部分がHになる(或いはその
逆)パルス列信号が得られる。従って、くらげが多数頻
繁に発生すると、パルスの出現数も多くなる。そして、
1つのパルスが1つのくらげに相当する。つまり、パル
ス幅が大きいほど移動速度は遅く停滞しているものとい
える。よって、係るパルス列の立ち上がり(或いは立ち
下がり)をカウントすることによっても、通過数が求め
られる。
ロックサイズ設定部5において、自動的にサイズを設定
するようにした装置の一例を示している。すなわち、こ
のブロックサイズ設定部5は、図11に示すフローチャ
ートを実施する機能を有している。
bより、そこで検出した対象物(くらげ)の数を取得す
る(ST0)。そして、取得したくらげの数が一定値以
上の場合には、ステップ2以降に進みブロックサイズ設
定処理に移行する。また、取得したくらげの数が一定値
以上でない場合には、正確なサイズだしができないた
め、ステップ0に戻り次の検出結果の取得を待つ(ST
1)。
なった場合にはブロック設定処理に移行するが、本例で
は、平均値縮小処理をしてぼかす前の詳細な画像データ
中に存在するくらげ部分を抽出し、そのくらげの大きさ
を求めるとともに、画像中に存在する各くらげの大きさ
の平均値を求め、その平均値に基づいてブロックサイズ
を決定するようにしている。
データ中のくらげの存在位置を求めるべく検出位置座標
算出処理を行う(ST2)。すなわち、画面内検出対象
物数計測部9で検出したくらげの存在位置(座標)は、
平均値縮小処理後の画像データに基づいて(実際には、
さらに各種の画像処理を行っている)行っているため、
わかっている存在位置は、縮小処理したぼかした画像デ
ータ中の座標値である。そこで、画面内検出対象物数計
測部9で検出した、そのぼかした画像(平均値縮小処理
後の画像)におけるくらげの存在する位置(座標値)を
座標変換し、平均値縮小処理前の画像の座標値を求める
ようにしている。
値)は、縮小処理前のN×M画素分に対応するため、厳
密に言うと、「1対多」対応となっており、縮小処理後
のある画素を変換して得られる縮小処理前の座標値候補
は、N×M個あり、正確に特定できない。しかし、本例
では、縮小前の画像データ中のおおよその存在位置がわ
かればよいので、例えばN×M画素分の中央の画素の座
標値,或いは、左上の画素の座標値等というように便宜
的にN×M画素のブロックの代表座標を決め、係る座標
に変換するようにする。
ム積算・平均化処理部4の出力画像データを取得し、そ
の画像データに対し、上記ステップ2で求めた複数の座
標をそれぞれ中心とする矩形領域を設定する。一例を示
すと、図12のように、検出対象物Kの周囲を囲むよう
にして矩形領域Rが設定される。なお、この矩形領域R
は、予想されるくらげの最大径よりもさらに一回り以上
大きくし、矩形領域R内に検出対象物であるくらげKが
確実に存在するようにしている。そして、その矩形領域
Rで囲まれた領域をそれぞれ抽出する(ST3)。
各領域の画像データに対し、くらげKと背景部分とを分
離するためのしきい値を求める(ST4)。このよう
に、本例では、くらげの近傍の水面(背景)を含む小さ
な領域に基づいてしきい値を設定するため、その背景部
分の濃淡の差は少なく、精度の良いしきい値を決定する
ことができる。
図13に示すフローチャートに従って処理するようにし
ている。つまり、まず、抽出された複数の矩形領域デー
タについてそれぞれ濃淡値ヒストグラムを作成する(S
T4a)。これにより、例えば図14中黒丸で示すよう
なヒストグラムが得られる。なお、図中濃淡値の低い
(横軸の左側)部分が、背景(水面)部分であり、濃淡
値の高い(横軸の右側)部分が、くらげ部分である。
は比較的濃淡値の差が少ないため、ある濃淡値の度数が
大きくなり、1つの山が形成される。しかし、くらげの
場合には、全体的に濃淡値が高いものの、各部で微妙に
濃淡値が異なるので、各濃淡値の度数は少なく、全体的
に均一に存在して平坦となり、背景部分のような山が現
れないことが多い。従って、従来しきい値の決定法とし
て一般的に用いられている判別分析法を用いると、精度
の良いしきい値を求めることが困難となる。
歪みが少ない部分を背景部分とし、しきい値を決定する
ようにした。つまり、ステップ1で生成した矩形領域内
の濃淡値ヒストグラムの中で度数が1以上となる濃淡値
の最大値より濃淡値を減少方向に順次選択し、選択され
た濃淡値以上のデータを除いた残りのヒストグラムを用
いて歪度を算出する。そして、その歪度が正から負に転
じる濃淡値を検出する(ST4b)。
準として左右両側の図形を見たときに、どちら側に歪ん
でいるかの度合いを示すもので、当初は、くらげの部分
が存在しているので、濃淡値が高い方が多く存在してお
り歪度は正になる。そして、徐々に濃淡値を減少させる
と、くらげの存在率が少なくなるので、歪度も減少して
いく。そして、くらげの部分がなくなり、背景部分のみ
になると、歪度が0に近づき、さらに濃淡値を減少させ
ると、背景部分の濃淡値のうち低い方が多く存在するこ
とになるので、歪度は負になる。
る濃淡値を中心として例えば正規部分のように両側に分
布する(実際には正規部分にはならないが、山状にはな
る)。従って、背景部分のみが過不足なく残ったヒスト
グラムの場合には、その平均値を基準にその両側が近く
なるので、歪度が0に近づく。換言すると、歪度が正か
ら負に変わる濃淡値が、背景部分が過不足なく残る点と
いえる。
値を決定する(ST4c)。つまり、図14に示すよう
に、ステップ4bで求めた濃淡値に補正値を加算して得
られた濃淡値をその矩形領域の2値化しきい値とする。
すなわち、本発明者の経験によると、背景部分の濃淡値
のヒストグラムは、実際には正規分布にならないため、
ステップ4bで求めた値が背景部分のみを過不足なく抽
出したものにはならず、背景部分の濃淡値の高い部分が
除かれた状態になる。さらに、2つの状態を弁別するた
めのしきい値は、一方の状態の境界ラインにするのでは
なく、そこから一定のマージンをとるようにすることが
精度よく弁別するためによく行われる。上記した各理由
に基づいて、補正値を加算するようにした。
づいて、ステップ3で抽出した各領域に対して2値化処
理を行う(ST6)。すると、精度良くくらげの部分と
背景部分とを弁別でき、くらげ部分が白画素となる。
の2値画像に基づいて、その白画素の面積値の平均値お
よび外接四角形の垂直径、水平径の平均値から、検出対
象物であるくらげの平均垂直径および平均水平径を画素
数で算出する(ST7)。その算出方法の一例を示す
と、次式に基づいて求めることができる。
きさに関する情報に基づいて、ブロックサイズを決定す
る(ST8)。具体的には、ステップ7で求めた平均垂
直径、水平径の1/2程度に設定する。さらに、平均垂
直径と水平径が異なる場合には、各値を1/2して、ブ
ロックサイズをN×M(NとMは異なる値)としても良
く、或いは大きい方の値をとった正方形(N=M)とす
るなどの他最終的な決定法は任意である。
出外領域設定部7において、自動的に検出外領域を設定
するようにした装置の一例を示している。同図に示すよ
うに、入力側に第1,第2偏差値得点データメモリ2
1,25を備えている。平均値縮小処理部4から得られ
る1枚の画像データ全体を第1偏差値得点データメモリ
21に格納し、空間フィルタ処理部6から送られる空間
フィルタ処理画像を第2偏差値得点データメモリ25に
格納するようにしている。そして、両データメモリ2
1,25に格納されたデータに基づいて、検出外領域を
決定するようにしている。
1に格納されたデータを第1偏差値得点算出部22にて
読み出し、そこにおいて、第1偏差値得点データメモリ
21に格納されたデータを母集合として、画像データを
構成する各画素に対し次式によって偏差値得点を算出す
る。
値得点)は、次段の検出外領域候補1A設定部23に与
えられる。この検出外領域候補1A設定部23では、各
画素の偏差値得点のうち、一定の基準以上のものを抽出
し、検出外領域候補1Aとする。すなわち、くらげが存
在しない平常時に撮像した画像データに基づいて上記処
理を行うと、本来であれば、背景部分は全体的に暗くそ
の濃淡値の差も少ないため、偏差値得点は小さい値をと
るが、例えば、反射物その他明るい物体が監視領域中に
存在すると、その部分の偏差値得点は大きくなる。そし
て、そのように明るい物体は、実際の監視の際にくらげ
等と誤認識するおそれがあるので、偏差値得点の高い画
素部分は検出外領域候補1Aとして抽出し、実際の監視
領域から外すための候補データとする。
後段には検出外領域候補A設定部24を接続し、上記抽
出した検出外領域候補1Aに基づいて、膨張処理を所定
回数行い、検出外領域Aを設定する。つまり、検出外領
域候補1Aは、画素単位であるため、その範囲を広げて
実効性を高めるようにしている。
な処理機能は、図16に示すようになっている。つま
り、第1偏差値得点算出部22にて求められた全画素に
対する偏差値得点を取得し、設定されたしきい値を越え
た領域をすべて抽出する。そして、抽出した領域を、検
出外領域候補1A(初期データは空白)としてバッファ
に追加格納するとともに、該当する領域の第1偏差値得
点データメモリ21内のデータを除去する。そして、係
る処理を予め決めた所定回数繰り返し、各回で抽出され
たすべての領域を検出外領域候補1Aとし、検出外領域
候補A設定部24に出力するようになる。
の処理でしきい値以上の領域として抽出されたデータ
は、偏差値得点データメモリから除去されているので、
残ったデータに基づいて再度第1偏差値得点算出部22
を実行させて残った各画素に対して偏差値得点を求め、
それに基づいて抽出処理を行う。
求めた検出外領域候補1Aの各画素について膨張処理を
行い、その画素自身とそれに接する周囲の8個の画素す
べてを検出外領域候補Aとして設定する。以上の膨脹処
理を用いて所定回数繰り返した結果を、検出外領域候補
Aとして出力する。
2偏差値得点データメモリ25の出力が第2偏差値得点
算出部26に与えられ、そこにおいて空間フィルタ処理
画像を構成する各画素の偏差値得点を求める。そして、
その算出部2の出力側には検出外領域候補1B設定部2
7及び検出外領域候補B設定部28が接続されている。
そして、各検出外領域候補1B設定部27及び検出外領
域候補B設定部28は、図17に示すようになってい
る。つまり、処理対象の画像データが、平均値縮小処理
画像から空間フィルタ処理画像に替わっただけで、具体
的な処理は上記したのと同様の処理を各部16〜28で
実行し、最終的に空間フィルタ処理画像に基づく検出外
領域候補Bを求め、出力するようになっている。
24と検出外領域候補B設定部28の出力が、検知外領
域設定部29に接続されている。この設定部29は、図
18に示すような構造を採っており、2つの入力の論理
和をとり、検出外領域候補Aと検出外領域候補Bのどち
らかに当てはまる領域を設定する機能を有する。そし
て、係る機能により設定された領域と、検出外領域候補
Bのいずれかを選択部により択一的に選択し、選択した
領域を検出外領域と設定する。そしてその設定した領域
についての情報(座標値)を、図1に示す両2値化部
8,13にそれぞれ出力するようになっている。
は、くらげなどが存在しないか、仮に存在してもその量
が少ないときに行うのが正確に求められて良い。従っ
て、例えば画面内検出対象物数計測部9により求められ
た検出数が所定の値以下の時に動作するようにしても良
い。また、そのように状態に関係なく、所定時間間隔で
繰り返し、得られた複数の検出外領域のいずれかに当て
はまる領域を検出外領域とするようにしてもよい。
本例では、上記した検出外領域設定部7を改良したもの
で、所定サイズ以下の検出外領域候補を除去する機能を
加えるものである。すなわち、同図(A)に示すよう
に、第1所定サイズ以下除去部30では、検出外領域候
補1Aを算出したあとに、検出外領域候補1Aについて
その連結性を調べ(ラべリング)、設定された連結個数
以下となる領域を検出外領域候補1Aから除外するよう
になっている。図示の例では、一回の処理ごとに行うよ
うにしているが、「処理回数?」の分岐判断の後、すな
わち、最終的に次段の検出外領域A設定部24に出力す
る前に行うようにしてももちろん良い。さらに、同図
(B)に示すように、検出外領域候補1B設定部27側
にも同様の機能を持った第2所定サイズ以下除去部31
を接続し、検出外領域候補1Bから所定サイズ以下の検
出外候補を除去するようになっている。
た各所定サイズ以下除去部30,31を、検出外領域候
補A設定部24および検出外領域候補B設定部28に接
続し、各候補A,Bを算出したあとに、上記と同様の除
去処理を行うようにしてももちろん良い。
空間画像ライン選択部11において、自動的にラインを
設定するようにした装置の一例を示している。
縮小処理画像水平ライン平均濃淡値算出部41におい
て、平均値縮小処理部4からの画像データを用いて、水
平ラインの各ラインごとに平均濃淡値を算出する。ま
た、平均値縮小処理画像水平ライン平均濃淡値の平均値
・標準偏差算出部42では、上記の算出部41で算出さ
れた水平ライン濃淡平均値を母集合として、さらにその
平均値および標準偏差を求める。そして、平均値縮小処
理画像水平ライン偏差データ算出部43では、各算出部
41,42で求めた値を下記式に代入することによって
偏差データを求めるようになっている。
算出部44において、平均値縮小処理部4からの画像デ
ータを用いて、垂直ラインの各ラインごとに平均濃淡値
を算出し、平均値縮小処理画像垂直ライン平均濃淡値の
平均値・標準偏差算出部45にて、上記の算出部44で
算出された水平ライン濃淡平均値を母集合として、さら
にその平均値および標準偏差を求める。そして、平均値
縮小処理画像垂直ライン偏差データ算出部46では、各
算出部44,45で求めた値を下記式に代入することに
より偏差データを求めるようになっている。
て、空間フィルタ処理画像水平ライン平均濃淡値算出部
47,空間フィルタ処理画像水平ライン平均濃淡値の平
均値・標準偏差算出部48,空間フィルタ処理画像水平
ライン偏差データ算出部49により各値を算出し、最終
的に、次式により、空間フィルタに基づく水平ラインの
偏差データを求める。
値算出部50,空間フィルタ処理画像垂直ライン平均濃
淡値の平均値・標準偏差算出部51,空間フィルタ処理
画像垂直ライン偏差データ算出部52により各値を算出
し、最終的に、次式により、空間フィルタに基づく垂直
ラインの偏差データを求める。
力を水平ライン評価値算出部53に与える。また、両垂
直ライン偏差データ算出部46,52の出力を垂直ライ
ン評価値算出部54に与える。そして、それら各部にお
いて、次式により、平均値縮小処理画像の水平(垂直)
ライン偏差データと空間フィルタ処理画像の水平(垂
直)ライン偏差データを用いて水平(垂直)ライン評価
値を求める。
6では、上記のようにして求められた水平,垂直ライン
評価値をそれぞれ用い、各水平ラインごと或いは各垂直
ラインごとに、自身のラインの評価値とその両側から設
定されたライン数分の評価値を用いてその平均値を平滑
化評価値として算出する。そして、水平,垂直ライン選
択部57,58で、この平滑化評価値がもっとも小さい
ものから順に、設定された数の水平ライン及び垂直ライ
ンを選択するようになっている。
期の1回の処理に基づいて行っても良いが、それに限る
ことはなく、所定時間間隔で複数回繰り返し、その平均
値を用いてライン選択を行っても良い。
監視装置では、空間フィルタ処理を行うことにより、濃
淡値の勾配やむらが存在する画像が比較的フラットな画
像になるためその後の2値化処理が容易に行うことがで
きる。しかも、その前処理として平均値縮小処理を行う
ため、処理対象のデータ量を削減することができ、処理
負荷が軽減されて、リアルタイムでの処理が可能となる
ばかりでなく、ブロックサイズを適宜に設定することに
より、対象物が分断される可能性が低くなり、検出対象
物の計数が容易かつ正確に行える。
により、あるライン上を通過する検出対象物の数を求め
ることができる。その結果、画面内対象物数の計数値と
併せて利用することにより、対象物の滞留状態などその
流出入状態の判別がより正確になる。
出入する物体(主にくらげ)の検出およびその流出入度
合の計測を簡易な画像処理手法で実現することができ
る。
実施の形態を示すブロック図である。
る。
る。
ある。
る。
ーチャートの一部である。
れる矩形領域を示す図である。
ーチャートの一部である。
処理を説明する図である。
図である。
示すブロック図である。
示すブロック図である。
示すブロック図である。
ク図である。
要部ブロック図である。
である。
値・標準偏差算出部 43 平均値縮小処理画像水平ライン偏差データ算出部 44 平均値縮小処理画像垂直ライン平均濃淡値算出部 45 平均値縮小処理画像垂直ライン平均濃淡値の平均
値・標準偏差算出部 46 平均値縮小処理画像垂直ライン偏差データ算出部 47 空間フィルタ処理画像水平ライン平均濃淡値算出
部 48 空間フィルタ処理画像水平ライン平均濃淡値の平
均値・標準偏差算出部 49 空間フィルタ処理画像水平ライン偏差データ算出
部 50 空間フィルタ処理画像垂直ライン平均濃淡値算出
部 51 空間フィルタ処理画像垂直ライン平均濃淡値の平
均値・標準偏差算出部 52 空間フィルタ処理画像垂直ライン偏差データ算出
部 53 水平ライン評価値算出部 54 垂直ライン評価値算出部 55 水平ライン平滑化評価値算出部 56 垂直ライン平滑化評価値算出部 57 水平ライン選択部 58 垂直ライン選択部
Claims (12)
- 【請求項1】 監視対象の水路を撮像して得られたビデ
オ画像に基づく画像データに対し設定されたブロックサ
イズで平均値縮小処理を行う手段と、 その平均値縮小処理された画像データに対し、周囲の近
傍画素との濃淡値の差が大きい処理対象画素を強調する
ような所定の空間フィルタ処理を行う空間フィルタ処理
手段と、 空間フィルタ処理された画像データに対し設定されたし
きい値で2値化するフレーム画像2値化処理手段と、 そのフレーム画像2値化処理手段で2値化された2値画
像データ中に存在する検出対象物の数量を計測する画面
内検出対象物数計測手段と、 前記空間フィルタ処理された画像データのうち、水平ラ
インと垂直ラインから選択されたラインの濃淡値データ
のみを、設定された時間間隔で所定回数分順次蓄積する
時空間画像蓄積手段と、 前記時空間画像蓄積手段に蓄積された画像データに対
し、設定されたしきい値で2値化する時空間画像2値化
処理手段と、 その時空間画像2値化処理手段で2値化された2値画像
時空間画像データを用いて、前記選択されたライン上を
設定された時間中に通過する検出対象物の数量を計測す
る通過数計測処理手段と、 前記画面内検出対象物数計測手段と、通過数計測処理手
段で計測されたデータに基づいて前記監視領域内の前記
検出対象物の流出入度合いを判断し、警報発報条件に達
した場合に警報を発する警報処理手段とを備えたことを
特徴とする水路流出入物監視装置。 - 【請求項2】 前記空間フィルタ処理された画像データ
のうち、検出対象領域から除外する検出外領域を設定す
る検出外領域設定手段をさらに備え、 その検出外領域設定手段で設定された検出外領域は、前
記2値化処理する際に少なくとも検出対象物ありとなら
ないようにしたことを特徴とする請求項1に記載の水路
流出入物監視装置。 - 【請求項3】 請求項1に記載の平均値縮小処理手段に
おけるブロックサイズの設定が、 所定の画像に対して前記画面内検出対象物数計測手段で
検出された検出対象物の検出位置から、その処理の元と
なった平均値縮小処理前の画像データにおける検出位置
の座標を求め、 前記平均値縮小処理前の画像データの中で、前記求めら
れた検出位置座標を含む所定サイズの矩形領域内の各画
素の濃淡値データを抽出し、 抽出された矩形領域ごとに2値化しきい値を決定すると
ともに、その決定した2値化しきい値で、前記矩形領域
内の画像データを2値化し、 その2値化された画像データに基づいて検出対象物の寸
法形状に関する情報を取得し、その取得した寸法形状に
基づいて前記ブロックサイズを決定し、設定するように
したこと特徴とする水路流出入物監視装置。 - 【請求項4】 請求項3に記載の矩形領域の画像データ
を2値化する際の2値化しきい値の設定が、 抽出された矩形領域内の画像データについて濃淡値ヒス
トグラムを作成し、 ヒストグラムデータの中で度数が1以上となる濃淡値の
最大値より、濃淡値を減少方向に順次選択し、選択され
た濃淡値以下のデータを用いて歪度を算出し、 この歪度が正値から負値に転じる濃淡値に基づいて前記
矩形領域の2値化しきい値を決定するようにしたことを
特徴とする水路流出入物監視装置。 - 【請求項5】 前記歪度が正値から負値に転じる濃淡値
よりも、所定の補正値分だけ高い濃淡値を2値化しきい
値とするようにしたことを特徴とする請求項4に記載の
水路流出入物監視装置。 - 【請求項6】 請求項1に記載の空間フィルタ処理手段
が、 処理対象画素の濃淡値と、近傍画素の濃淡値との差の絶
対値の最大値を求め、その求めた最大値を空間フィルタ
処理の結果として出力するものであることを特徴とする
水路流出入物監視装置。 - 【請求項7】 請求項1に記載の空間フィルタ処理手段
が、 処理対象画素を中心とするn×nの矩形領域を構成する
各画素の濃淡値データの中から、最大濃淡値および最小
濃淡値を抽出し、 前記処理対象画素の濃淡値から前記最大濃淡値を引き算
することによって得られる値と、前記処理対象画素の濃
淡値から前記最小濃淡値を引き算することによって得ら
れる値の和を求め、 求められたこの和の値が0以上の場合はそのままその値
を空間フィルタの結果として出力し、この和の値が0未
満の場合は0を空間フィルタの結果として出力するよう
にしたことを特徴とする水路流出入物監視装置。 - 【請求項8】 請求項2に記載の検出外領域設定手段
が、 前記平均値縮小処理手段から得られる1枚の画像データ
全体を母集合として、その平均値と標準偏差から求めら
れる偏差値得点を画素ごとに求め、この偏差値得点が設
定されたしきい値を越えた領域を検出外領域候補1Aと
する手段と、 さきに偏差値得点を求めた画像データの母集合から検出
外領域候補1Aのデータを除いて、再度、画素ごとに偏
差値得点を求め、この偏差値得点が設定されたしきい値
を越えた領域を検出外領域候補1Aに加えて検出外処理
候補1Aとする手段と、 上記の再度偏差値得点を求めて検出外領域候補を加える
手段を所定の回数繰り返すことによって、検出外領域候
補1Aを求める手段と、 検出外領域候補1Aの各画素について、自身とその近傍
画素すべてを検出外領域候補とする処理を所定の回数繰
り返すことによって、検出外領域候補Aを求める手段
と、 前記空間フィルタ処理手段から得られる1枚の画像デー
タ全体を母集合として、その平均値と標準偏差から求め
られる偏差値得点を画素ごとに求め、この偏差値得点が
設定されたしきい値を越えた領域を検出外領域候補1B
に加えて検出外処理候補1Bとする手段と、 上記の再度偏差値得点を求めて検出外領域候補を加える
手段を所定の回数繰り返すことによって、検出外領域候
補1Bを求める手段と、 検出外領域候補1Bの各画素について、自身とその近傍
画素すべてを検出外領域候補とする処理を所定の回数繰
り返すことによって、検出外領域候補Bを求める手段
と、 検出外領域候補B、または、検出外領域候補Aと検出外
領域候補Bのどちらかに当てはまる領域を検出外領域と
するようにしたことを特徴とする水路流出入物監視装
置。 - 【請求項9】 前記所定の検出外領域候補のうち、所定
のサイズ以下となる領域を検出外領域候補から除去する
ようにしたことを特徴とする請求項8に記載の水路流出
入物監視装置。 - 【請求項10】 請求項8に記載の検出外領域を求める
処理を、所定時間間隔で所定回数繰り返し、 得られた所定回数の検出外領域のいずれかに当てはまる
領域を検出外領域とするようにしたことを特徴とする水
路流出入物監視装置。 - 【請求項11】 請求項1に記載の時空間画像蓄積手段
で蓄積するラインを自動的に設定するライン選択手段を
さらに設け、 そのライン選択手段が、 前記平均値縮小処理手段によって得られた画像データを
用いて、水平ラインの各ラインごとに、その平均濃淡値
を算出する手段と、 得られた平均値縮小処理画像の水平ライン平均濃淡値を
母集合として、さらにその母集合の平均値および標準偏
差を求める手段と、 各水平ライン平均濃淡値と求められた平均値との差の絶
対値を求められた標準偏差で割り算することによって得
られる偏差データを求める手段と、 同様にして前記平均値縮小処理手段によって得られた画
像データを用いて、垂直ラインの偏差データを算出する
手段と、 前記空間フィルタ処理手段によって得られた画像データ
を用いて、水平ラインの各ラインごとに、その平均濃淡
値を算出する手段と、 得られた空間フィルタ処理画像の水平ラインの平均濃淡
値を母集合として、さらにその平均値および標準偏差を
求める手段と、 各水平ライン平均濃淡値と求められた平均値との差を、
求められた標準偏差で割り算することによって得られる
偏差データを求める手段と、 同様にして、空間フィルタ処理によって得られた画像デ
ータを用いて、垂直ラインの偏差データを算出する手段
と、 平均値縮小処理画像を用いて求められた水平ラインの偏
差データと空間フィルタ処理画像の水平ラインの偏差デ
ータのうちどちらかに設定された係数を乗じて、各水平
ラインごとにその和を水平ライン評価値とする手段と、 求められた水平ラインの評価値を用い、各水平ラインご
とに、自身のラインの評価値とその両側の所定ライン数
分の評価値を用いて算出した平均値を平滑化評価値とし
て算出する手段と、 その算出する手段で求めた平滑化評価値が最も小さいも
のから順に所定数の水平ラインを選択する手段と、 同様にして、所定数の垂直ラインを選択する手段を備え
ることを特徴とする水路流出入物監視装置。 - 【請求項12】 請求項11に記載のライン選択手段に
おいて、 水平ラインの平滑化評価値を求める処理を所定時間間隔
で所定回数繰り返し、その平均値を求める手段と、 この値の小さいものから順に所定数の水平ラインを選択
する手段と、 同様にして、所定数の垂直ラインを選択する手段を備え
ることを特徴とする水路流出入物監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22467796A JP3797499B2 (ja) | 1996-08-08 | 1996-08-08 | 水路流出入物監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22467796A JP3797499B2 (ja) | 1996-08-08 | 1996-08-08 | 水路流出入物監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1055425A true JPH1055425A (ja) | 1998-02-24 |
JP3797499B2 JP3797499B2 (ja) | 2006-07-19 |
Family
ID=16817499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22467796A Expired - Fee Related JP3797499B2 (ja) | 1996-08-08 | 1996-08-08 | 水路流出入物監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3797499B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002207989A (ja) * | 2001-01-05 | 2002-07-26 | Sumitomo Osaka Cement Co Ltd | 通過物体計数方法及び計数装置 |
JP2006275691A (ja) * | 2005-03-29 | 2006-10-12 | Semiconductor Energy Lab Co Ltd | 検査方法および検査装置 |
JP2007034724A (ja) * | 2005-07-27 | 2007-02-08 | Glory Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
WO2007094150A1 (ja) * | 2006-02-16 | 2007-08-23 | Konami Digital Entertainment Co., Ltd. | ゲームシステム、検出プログラム及び検出方法 |
JP2016165238A (ja) * | 2015-03-09 | 2016-09-15 | Necソリューションイノベータ株式会社 | 同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システム |
JP2019218771A (ja) * | 2018-06-21 | 2019-12-26 | 関西電力株式会社 | 監視システム |
CN111028487A (zh) * | 2019-12-27 | 2020-04-17 | 杭州青泓科技有限公司 | 一种水处理监测方法及系统 |
CN112270317A (zh) * | 2020-10-16 | 2021-01-26 | 西安工程大学 | 一种基于深度学习和帧差法的传统数字水表读数识别方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02274912A (ja) * | 1989-04-18 | 1990-11-09 | Toshiba Corp | 異物除去装置 |
JPH04120682A (ja) * | 1990-09-12 | 1992-04-21 | Nippon Telegr & Teleph Corp <Ntt> | 移動体の計数装置 |
JPH04150390A (ja) * | 1990-10-11 | 1992-05-22 | Meidensha Corp | 画像処理を利用する監視装置 |
JPH05266196A (ja) * | 1992-03-23 | 1993-10-15 | Nippon Telegr & Teleph Corp <Ntt> | 移動物体計数処理方法 |
JPH06317414A (ja) * | 1993-05-06 | 1994-11-15 | Toshiba Corp | パターン寸法測定装置及びその方法 |
JPH0793545A (ja) * | 1993-09-22 | 1995-04-07 | Mitsubishi Electric Corp | 画像処理装置 |
JPH07154801A (ja) * | 1993-11-29 | 1995-06-16 | Ricoh Co Ltd | 階層型動きベクトル検出方法 |
JPH08185521A (ja) * | 1994-12-28 | 1996-07-16 | Clarion Co Ltd | 移動体カウント装置 |
-
1996
- 1996-08-08 JP JP22467796A patent/JP3797499B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02274912A (ja) * | 1989-04-18 | 1990-11-09 | Toshiba Corp | 異物除去装置 |
JPH04120682A (ja) * | 1990-09-12 | 1992-04-21 | Nippon Telegr & Teleph Corp <Ntt> | 移動体の計数装置 |
JPH04150390A (ja) * | 1990-10-11 | 1992-05-22 | Meidensha Corp | 画像処理を利用する監視装置 |
JPH05266196A (ja) * | 1992-03-23 | 1993-10-15 | Nippon Telegr & Teleph Corp <Ntt> | 移動物体計数処理方法 |
JPH06317414A (ja) * | 1993-05-06 | 1994-11-15 | Toshiba Corp | パターン寸法測定装置及びその方法 |
JPH0793545A (ja) * | 1993-09-22 | 1995-04-07 | Mitsubishi Electric Corp | 画像処理装置 |
JPH07154801A (ja) * | 1993-11-29 | 1995-06-16 | Ricoh Co Ltd | 階層型動きベクトル検出方法 |
JPH08185521A (ja) * | 1994-12-28 | 1996-07-16 | Clarion Co Ltd | 移動体カウント装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4633942B2 (ja) * | 2001-01-05 | 2011-02-16 | 住友大阪セメント株式会社 | 通過物体計数方法及び計数装置 |
JP2002207989A (ja) * | 2001-01-05 | 2002-07-26 | Sumitomo Osaka Cement Co Ltd | 通過物体計数方法及び計数装置 |
JP2006275691A (ja) * | 2005-03-29 | 2006-10-12 | Semiconductor Energy Lab Co Ltd | 検査方法および検査装置 |
JP2007034724A (ja) * | 2005-07-27 | 2007-02-08 | Glory Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
WO2007094150A1 (ja) * | 2006-02-16 | 2007-08-23 | Konami Digital Entertainment Co., Ltd. | ゲームシステム、検出プログラム及び検出方法 |
GB2449803A (en) * | 2006-02-16 | 2008-12-03 | Konami Digital Entertainment | Game system, detection program and detection method |
JP2007215738A (ja) * | 2006-02-16 | 2007-08-30 | Konami Digital Entertainment:Kk | ゲームシステム、検出プログラム及び検出方法 |
US8282104B2 (en) | 2006-02-16 | 2012-10-09 | Konami Digital Entertainment Co., Ltd. | Game system, detection program, and detection method |
JP2016165238A (ja) * | 2015-03-09 | 2016-09-15 | Necソリューションイノベータ株式会社 | 同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システム |
JP2019218771A (ja) * | 2018-06-21 | 2019-12-26 | 関西電力株式会社 | 監視システム |
CN111028487A (zh) * | 2019-12-27 | 2020-04-17 | 杭州青泓科技有限公司 | 一种水处理监测方法及系统 |
CN111028487B (zh) * | 2019-12-27 | 2021-07-13 | 杭州青泓科技有限公司 | 一种水处理监测方法及系统 |
CN112270317A (zh) * | 2020-10-16 | 2021-01-26 | 西安工程大学 | 一种基于深度学习和帧差法的传统数字水表读数识别方法 |
CN112270317B (zh) * | 2020-10-16 | 2024-06-07 | 西安工程大学 | 一种基于深度学习和帧差法的传统数字水表读数识别方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3797499B2 (ja) | 2006-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107085714B (zh) | 一种基于视频的森林火灾检测方法 | |
CN112149543B (zh) | 一种基于计算机视觉的建筑扬尘识别系统与方法 | |
CN113592861A (zh) | 一种基于动态阈值的桥梁裂缝检测方法 | |
CN111027398A (zh) | 行车记录仪视频遮挡检测方法 | |
CN116309600B (zh) | 基于图像处理的环保纺织品质量检测方法 | |
CN102628854A (zh) | 汽车仪表板检测系统及方法 | |
CN113298776B (zh) | 一种金属闭式水泵叶轮外观缺陷检测方法 | |
US20220128358A1 (en) | Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction | |
CN110889328A (zh) | 检测道路交通状况的方法、装置、电子设备和存储介质 | |
CN116883408B (zh) | 基于人工智能的积算仪壳体缺陷检测方法 | |
CN109850518B (zh) | 一种基于红外图像的实时矿用胶带预警撕裂检测方法 | |
CN112528861A (zh) | 应用于铁路隧道内道床的异物检测方法及装置 | |
CN111539980A (zh) | 一种基于可见光的多目标追踪方法 | |
JP3797499B2 (ja) | 水路流出入物監視装置 | |
CN112508944A (zh) | 一种应用于煤矿井下供水管路的泄漏检测方法 | |
CN112001299A (zh) | 一种隧道车指器和照明灯故障识别方法 | |
Shevchenko et al. | Fish detection from low visibility underwater videos | |
CN109711313B (zh) | 一种识别向河道内倾倒污水的实时视频监控方法 | |
JPH09119900A (ja) | コンクリート欠陥の自動評価方法 | |
JPH05263411A (ja) | 物体の観察方法および装置 | |
CN116843640A (zh) | 瓷砖表面凹坑缺陷检测方法、系统及存储介质 | |
CN115661475A (zh) | 一种图像异物识别方法、装置、设备及存储介质 | |
JPH07333197A (ja) | 表面疵自動探傷装置 | |
CN112801963B (zh) | 一种视频图像遮挡检测方法及系统 | |
JP3862378B2 (ja) | 水路流出入物監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060413 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |