JP3848918B2 - 移動体監視装置および移動体監視方法 - Google Patents
移動体監視装置および移動体監視方法 Download PDFInfo
- Publication number
- JP3848918B2 JP3848918B2 JP2002377626A JP2002377626A JP3848918B2 JP 3848918 B2 JP3848918 B2 JP 3848918B2 JP 2002377626 A JP2002377626 A JP 2002377626A JP 2002377626 A JP2002377626 A JP 2002377626A JP 3848918 B2 JP3848918 B2 JP 3848918B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- target
- moving body
- change area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
この発明は、屋外あるいは屋内に設置された撮像装置(例えば、高感度ディジタルカメラなど)によって撮影されたディジタル画像を一定周期で画像処理することによって撮影領域内に存在する車両や航空機などの目標とする移動体を検出し、その位置や大きさなどの移動体情報を出力する移動体監視装置および移動体監視方法に関する。
【0002】
【従来の技術】
従来の画像中の移動体検出装置(画像センサとも称される)は、ITVカメラなどによって撮影されたディジタル画像から、車両や航空機等の移動目標を背景差分法によって検出していた。
この移動体の検出装置では、例えば、現在撮影した入力画像と検出装置内部のコンピューターが計算して作成している移動体が存在しない背景画像とを比較して、両画像の差分を変化のあった領域として抽出する(両画像の差分が示された画像を「差分画像」と呼ぶ)。
もし、入力画像に車両や航空機等の移動体が写っておれば、背景画像に写っていない車両や航空機等の移動体は、差分画像において変化領域として抽出される(抽出した領域を「抽出領域」と呼ぶ)。
【0003】
この抽出領域について、面積(大きさ)、輝度分布、慣性軸などの特徴量の演算を行ない、抽出領域が目標の特徴を有する場合は、抽出領域を車両や航空機などの目標(即ち、監視対象の移動体)であると判断して、その位置や大きさの情報を出力していた。
これに加えて、入力画像と背景画像の両画像間でテクスチャ( texture :模様など)の変化が小さい場合などは、抽出領域が太陽光や空を流れる雲によって路面に投影された雲の影などに起因するものであると定義して、抽出領域を車両や航空機などの移動目標ではないと判断していた。
【0004】
即ち、従来の移動体の検出装置は、抽出領域について、大きさ、明るさ、形状、テクスチャなどの種々の特徴量を演算して、それぞれについて目標である移動体の特徴を示すか、その他の外乱などの特徴を示すかの判定を所定の基準に基づいて行ない、抽出領域が車両や航空機など目標の特徴量を示す場合に、抽出領域に車両や航空機などの移動体目標が存在すると判断していた。
【0005】
また、例えば、特許文献1には、「画像が変化したとき、その変化が照明条件の変化によるのか、ゆっくりした背景変動によるのか、あるいは動物体(即ち、移動体)が現れたことまたは通過したことによって生じたのかを小領域毎に統計的な手法で検出し、照明変動またはゆっくりした背景変動の場合のみに小領域の背景像を適切に更新し、その背景像に基づいて差分処理および2値化処理を行うことにより動物体(移動体)領域を抽出する背景差分による動物体(移動体)領域抽出方法」が示されている。
【0006】
特許文献1の発明における背景像更新の具体的方法として、その段落0043〜段落0044において、「各小領域の輝度値はt0(所定時間間隔)間にフレーム画像枚数だけ得られる。そこで、小領域a1について輝度値を横軸に取り、縦軸に同輝度値が現れる出現頻度を取ると、頻度分布が得られる。a1の小領域には動物体はなく、背景である。背景の輝度は主として照明変動により変わるが、t0が数秒程度の短い時間の場合、一般的には照明変化は少ないので、この分布は輝度ピークの回りに広がり度の小さな釣鐘状になる。つまり、統計的な分散度σは小さな値を示す。一方小領域a2では動物体が撮影されるため、t0間に化輝度値は大きく変化し、同分布は広がりを示す。つまり、分散度σは大きな値を示す。従って、大きな照明変動があった場合の分散度をσ0として予め求めておき、この値と前記σとを比較し、σが小さければ照明変動による輝度値の変化であるとして、この背景像小領域の数値を更新する。また、σがσ0より大きければ、この小領域の輝度変化は動物体の出現など照明変動以外の要因によるものと判断して、背景像小領域の数値の更新は行わない。このようにして、小領域aKの背景像更新が行われる。」ことが記載されている。
【0007】
また、上記特許文献1の段落0074において、「予め物体が現れた場合のdf(小領域での輝度値の時間微分値)の最大値と、急激な照明変動が起こった時のdfの最大値の境界値m0を求めておくことで、前述のσ(統計的特徴量としての出現頻度の分散値)とσ0(予め求めておいた照明変動に起因する統計的特徴量としての出現頻度分布の分散度)との比較に加え、t0(所定時間間隔)間でのdfの最大値mとm0との比較を行うことにより、σがσ0よりも小さければ、穏やかな照明変動による輝度値の変化であるとして、該背景像小領域の数値を更新し、σがσ0よりも大きく、mがm0よりも小さければ、急激な照明変動であるとして、該背景像小領域の数値を更新し、σがσ0よりも大きく、mがm0よりも大きければ、該小領域の輝度変化は動物体の出現など照明変動以外の要因によるものと判断し該小領域の数値の更新を行わない。」ことも記載されている。
【0008】
また、特許文献2には、「抽出領域を複数の適切な大きさの空間領域に分割し、分割された領域ごとに画像のテクスチャの変化度合いを算出し、変化度合いが最大の領域を選択し、選択した領域の画像情報に基づいて侵入者(即ち、移動体)の存在を判定する。これにより。抽出領域中の侵入者が占める割合が小さくても確実に侵入者を検出する」技術が記載されている。
【0009】
【特許文献1】
特開平7−302328号公報(図1、図2、図9、段落0043、段落0044、段落0074)
【特許文献2】
特開2002−175531号公報(図9、フロント頁)
【0010】
【発明が解決しようとする課題】
前述した従来の移動体の検出装置では、比較的大きな雲の影あるいは太陽光などの外乱領域と車両や航空機などの目標領域が重なり、抽出領域内に一体となって混在した場合、抽出領域内において外乱領域が大きな面積を占める場合には、抽出領域の全体的なテクスチャの変化が小さくなり、抽出領域を外乱と判断してしまうため、車両や航空機などの移動目標を検出できない(目標を検出できないことを「ロスト」と呼ぶ)などの問題点があった。
また、抽出領域を目標と判断することができた場合にも、抽出領域内に外乱と目標が一体に混在しているので、目標の位置や大きさなどの情報の精度が悪くなるという問題点があった。
【0011】
また、特許文献1に示された背景差分による動物体領域抽出方法では、小領域よりも小さな目標が存在する場合には、小領域内に目標と背景が混在することになり、目標を検出することができなくなるという問題点がある。
また、特許文献2に示された技術では、選択される「変化度合いが最大の領域」の画像は、背景画像を含んだ画像であり、背景画像に雲の影などの外乱があると小さな移動体目標を確実に検出できないという問題点がある。
【0012】
この発明は、このような問題点を解消するためになされたものであり、雲の影や太陽の光などの外乱と、車両や航空機等の監視目標とする移動体とが混在する状況であっても移動を確実に検出できると共に、移動体だけを確実に検出することによって、移動目標の位置や大きさなどの情報を精度良く算出して出力できる移動体監視装置および移動体監視方法を提供することを目的とする。
【0013】
【課題を解決するための手段】
この発明に係る移動体監視装置は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力する画像入力手段と、上記画像入力手段から上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出する変化領域抽出手段と、上記変化領域抽出手段により抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定する目標判定手段と、上記所定周期で背景画像を更新する背景画像更新手段であって、上記変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在すると上記目標判定手段が判定した場合は、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、上記変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在しないと上記目標判定手段が判定した場合は、背景画像を入力画像で即時更新を行なう背景画像更新手段と、上記目標判定手段により存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出する目標情報算出手段と、上記目標情報算出手段が算出する移動体情報を出力する出力手段とを備えたものである。
【0014】
また、この発明に係る移動体監視方法は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力するステップと、上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出するステップと、抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定するステップと、上記所定周期で背景画像を更新するステップであって、抽出された変化領域に監視目標の移動体が存在すると判定された場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、抽出された変化領域に監視目標の移動体が存在しないと判定された場合には、背景画像を入力画像で即時更新を行なうステップと、存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出するステップと、算出された移動体情報を出力するステップとを有したものである。
【0015】
【発明の実施の形態】
実施の形態1.
図1は、実施の形態1による移動体監視装置の基本的な構成を示すブロック図である。
本実施の形態による移動体監視装置は、例えば、空港面探知装置(ASDE:Airport Surface Detecting Equipment)などに適用され、着陸あるいは離陸する航空機等の移動する目標である移動体を確実に検出し、その位置や大きさなどを求めるためのものである。
図において、1は屋外に設置された高感度ディジタルカメラ(図示せず)で撮影された撮影対象エリアの画像情報(画像)を一定周期でディジタルの画像情報として入力する画像入力部、2は画像入力部1から入力された画像情報(画像)から撮影エリア内に存在する監視目標の移動体(例えば、航空機などの監視対象)を検出して、検出結果に基づいて背景画像を更新すると共に、検出された移動体の位置や大きさなどの情報を算出して出力する画像処理部、3は画像処理部2で算出された移動体(航空機)の情報を図示しない後段の装置へ出力する出力部である。
【0016】
画像処理部2は、画像入力部1から一定周期で入力される画像情報と、移動体が存在しない状態の背景画像との差分をとることにより画像中の変化領域を抽出する変化領域抽出手段21、変化領域抽出手段21により抽出された変化領域の「大きさ」「明るさ」「形状」「テクスチャ( texture :模様など)の変化」に基づいて監視目標である移動体(例えば、航空機)の存在の有無を判定する目標判定手段22、移動体(航空機)の検出結果に基づいて前記背景画像を更新する背景画像更新手段23、および検出した移動体(航空機)の位置や大きさなどの情報を算出する目標情報算出手段24から構成されている。
【0017】
図2は、実施の形態1による移動体監視装置の画像処理部における処理手順を示すフローチャートでる。
また、図3は、入力画像中に監視目標である移動体(航空機)と外乱である雲の影の領域が存在する状況において、移動体(航空機)検出の流れを説明するため図である。
図3において、4は監視目標である移動体(航空機)の目標領域、5は外乱である雲の影の領域、6は航空機筒の目標領域4と雲の影の領域5とが混在している場合の領域である。
また、入力画像は、例えば、360×240ピクセル(pixel)で構成される。
【0018】
図1〜図3を用いて、本実施の形態による移動体監視装置の動作(処理内容)について説明する。
図2のフローチャートで示す処理は、所定時間間隔(例えば、1秒ごと)で行なわれる。
まず、図2のフローチャートを用いて、本実施の形態による移動体監視装置の動作(処理手順)を説明する。
ステップS1において、画像入力部1から撮影対象エリアをディジタルカメラで撮影したディジタル画像を入力画像として取込む。
ステップS2において、変化領域抽出手段21によって、移動体が存在しない時の画像である背景画像とステップS1で取込んだ入力画像との差分を求めて、変化した領域を抽出領域として得る。
なお、背景画像とは、前述したように、過去の画像から撮影対象エリアに航空機等の移動体が存在しない状態を作成した画像である。
【0019】
次に、ステップS3では、目標判定手段22によって、抽出された領域の大きさ、明るさの分散を計算する。
また、入力画像と背景画像との比較によって抽出領域のテクスチャの変化度合いを計算する。
変化度合いとしては、例えば正規化相関による相関値が使用される。
【0020】
ステップS4では、ステップ3で求めた抽出領域の大きさ、抽出領域の明るさの分散、および抽出領域Cのテクスチャの変化度合いについて、抽出領域が移動体(航空機)の特徴を備えるかどうかを判定する。
判定には抽出領域の大きさ、明るさの分散、およびテクスチャの変化度合いについて、以下の(1)〜(3)の条件を適用する。
(1)目標の最小許容サイズ ≦ 抽出領域の大きさ ≦ 目標の最大許容サイズ
(2)目標の明るさの分散最小値 ≦ 抽出領域の明るさの分散
ここで、目標の最小許容サイズと目標の最大許容サイズは、パラメータの値に基づいて画像中の各位置における値を計算して与える。
目標の明るさの分散最小値は所定の値をパラメータで与える。
【0021】
なお、本実施の形態では、画像中において監視目標(即ち、監視対象の移動体)を長方形で近似した際の、縦の長さと横の長さを目標の大きさの指標として用いている。
遠近感のために、画像の位置によって大きさが異なる(画像上方ほど小さく、画像下方ほど大きく、画像のy座標にほぼ比例する)移動体(航空機)を対象とするため、画像情報および画像下方の2点において移動体(航空機)の基準的な大きさ(縦×横)を設定し、2点間における移動体(航空機)の基準的な大きさは、この2点の値から線形補間により求める。
この設定可能な値(設定位置の画像y座標、縦の長さ、および横の長さ)を、パラメータと呼ぶ。
【0022】
(3)目標のテクスチャ変化最小度合い ≦ 抽出領域のテクスチャ変化度合い
ここで、(3)の条件は、抽出領域が所定面積(例えば、10画素)以上の場合について行なわれる。高い信頼度で相関を求めるためには、サンプル数が10程度以上必要である。
所定面積以上について判定することにより、面積が小さい目標に対して、相関度が低いために誤って目標を照明変化などの外乱と判断するのを避けることができる。
なお、ここでいう「面積」とは、画像中における物体の占める画素数(ピクセル数、ドット数)のことである。
抽出領域に所定の面積がない場合、(3)の条件は無条件で満足するとする。
また、目標のテクスチャ変化最小度合いは所定の値をパラメータで与える。
上記の条件を満たさない抽出領域は、画像中の雲の影や太陽の光などの外乱領域とみなせる。
【0023】
上記の(1)、(2)のいずれの条件も満足した場合は、(3)の判断をするためステップS5へ進む。
一方で、上記条件のいずれかが満足されない場合は、抽出領域は目標の存在しない領域とみなす。
そして、ステップS6へ進み、変化領域が抽出されない領域の画像および目標の移動体が存在しない領域の画像を用いて、背景画像を更新する。
ステップS5では、ステップS3で求めた抽出領域のテクスチャ変化度合いについて、上記(3)の判断条件を満足する場合は、抽出領域を目標領域とみなす。
目標領域における背景画像の更新はステップS7で行なわれ、ステップS7では、変化領域抽出手段21が抽出する変化領域に監視目標の移動体が存在すると目標判定手段22が判定した場合には、移動体が存在すると判定された変化領域の画像から移動体の画像が存在しない画像(即ち、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像)を用いて、背景画像を更新する。
一方、(3)の判断条件を満足しない場合は、抽出領域を雲の影や光等の外乱領域9とみなして、背景画像の更新を行なうためにステップS8へ進む。
【0024】
ステップS6では、目標の存在しない領域において、背景画像の更新が行なわれる。
更新は、背景画像における目標の存在しない領域の画素のひとつひとつについて以下の式1を適用する。
更新された画素値=現在の画素値*重み1+入力画素値*重み2 … 式1
ここで、入力画素値とは、背景画像の注目している画素に対応する入力画像の画素の値をいう。
また、重み1と重み2は、二つの値の和が1となるような所定の値を与える。例えば、重み1には0.9、重み2には0.1が使用される。
なお、式1の入力画素値においては、入力画像の所定の領域において最も出現している数の多い画素値(以下、「最頻値」と呼ぶ)が適用されても良い。
【0025】
ステップS7では、目標領域において背景画像の更新が行なわれる。
更新は、背景画像における抽出領域内の画素ひとつひとつについて、上記ステップS6同様に式1を適用する。
ここで、重み1と重み2は、重み1が重み2よりも十分に大きく、重み1がステップS6の重み1よりも大きくなるように所定の値を与える。例えば、重み1には0.99、重み2には0.01が使用される。
【0026】
ステップS8では、影又は光の領域について、背景画像を更新する。
これには、ステップS5と同様に、背景画像におけるステップS7で外乱領域とみなされた抽出領域内の画素ひとつひとつについて式1を適用する。
ここで、入力画素値にかかる重み2が十分に大きく、重み1と重み2の和が1となる所定の値を与える。
例えば、重み1には0.99、重み2には0.01が使用される。
以下、入力画素値の重みが十分に大きい場合の背景画像の更新方法を「即時更新」と呼ぶ。
また、この即時更新は抽出領域に加えて、抽出領域の周辺近傍領域に適用しても良い。
例えば、抽出領域に加えて抽出領域の外周2ピクセル分の外周領域に即時更新が適用される。
【0027】
なお、ステップS8の背景画像の更新においては、上記の式1は、簡単に、更新された画素値に入力画素値を代入するようにしても良い。
最後に、ステップS9において、目標情報算出手段24が算出した目標である移動体の位置や大きさの情報を出力部3に伝え、後段に接続された図示しない装置により、目標の追尾処理などの監視動作が行なわれる。
【0028】
以上説明した図2のフローチートに示した各ステップでの処理を、図3を用いて具体的数値により説明する。
図3は、図2の処理を、時刻t秒から時刻t+1秒について行なった場合の、画像処理状況の流れを示す。
ここで、時刻t秒時にステップS1によって取込んだ入力画像Aと背景画像Bとの変化領域をステップS2において抽出した結果が、抽出領域Cに示される。この例では、ステップS3において、テクスチャの変化度合いを正規化相関によって求めており、路面に投影された雲の影による外乱領域5は相関値が1に近い値0.9となる。
一方で、移動体(航空機)の目標領域4は、テクスチャの変化があるため、比較的小さな値0.3をとる。
【0029】
本実施の形態による移動体監視装置では、上述したように、目標判定手段22は変化領域内の背景画像と入力画像の間における正規化相関を求め、相関値の大きさに基づいてテクスチュアの変化度合いを求めている。
この場合、雲の影の領域などのように輝度が変動する領域では、輝度変化の大きさに係わらず、テクスチュアの変化度合いが小さいため、相関値は高くなる。また、一方、航空機等の移動体の領域では、反対に輝度変化の大きさに係わらずテクスチュアの変化度合いは大きいため、相関値は低くなる。
このため、本実施の形態による移動体監視装置では、輝度変化が急激な場合でも、そのテクスチュアの変化度合が小さいと、外乱であると見なすことができ、抽出された変化領域が監視目標の移動体であるのか雲の影などの外乱であるのかを確実に判断することができる。
【0030】
なお、雲の影などの外乱領域5と移動体(航空機)の目標領域4のいずれもが、大きさ、明るさの分散において目標らしい特徴を有しているとすると、ステップS4では条件が満たされて、ステップS5へ進む。
ステップS5では、テクスチャの変化度合いが大きい航空機目標が条件を満たすため目標とみなされて、ステップS7へ進み、テクスチャの変化度合いが小さい雲の影は、外乱とみなされてステップS8へ進み、背景画像の更新を行なう。
【0031】
ステップS7では、式1の重み1が重み2に比べて十分に大きいため、目標領域の背景はほとんど更新されない。
一方で、ステップS8では、背景画像を入力画像で置きかえるため、外乱領域が背景画像に直接反映される。
引き続いて目標領域4においては、その位置や大きさ等の情報をステップS9にて目標情報算出手段24によって計算を行ない、それらを出力部へ伝える。
ここで、更新を行なった背景画像Eは、次のt+1秒のサイクルにおける変化領域抽出手段で使用される。
【0032】
こうして、画像中の雲の影や太陽の光などの外乱領域を見つけて、これらの外乱領域を以降は背景として扱うようにしたので、近い将来において、雲の影や太陽の光などの外乱領域と目標(移動体)領域が混在する場合であっても、外乱領域は変化した領域として抽出されなくなる。
即ち、図3に示すように、t+1秒目において、入力画像D(外乱領域と目標領域が混在する画像)と更新された背景画像E(外乱領域だけが存在する背景画像)から目標(移動体)だけが存在する抽出領域Fを求め、この抽出領域Fから目標(移動体)を抽出する。
したがって、t+1秒のサイクルにおいては、外乱領域と目標が混在する状況であっても、ステップS2の結果、目標(航空機)だけが雲の影や太陽光などの外乱領域から分離して抽出される。
このため、ステップS9において監視対象の目標(移動体)の位置やその大きさなどの情報を高い精度で算出し、出力部へ出力することが可能となる。
【0033】
以上説明したように、本実施の形態による移動体監視装置は、背景画像と入力画像との差分画像から一体的な変化領域を抽出し、変化領域を大きさ、明るさ、形状、テクスチャの変化に基づいて移動目標の存在を判定すると共に、検出した目標の位置や大きさなどの情報を出力する。
さらに、目標の検出結果に基づいて背景画像を更新するものである。
また、背景画像更新手段は、目標判定手段による判定結果から外乱領域と判断した領域に限定して、背景画像を入力画像で置きかえる。
これにより、外乱を抽出しなくなり、かつ、動きの小さい移動目標を抽出することができる。
また、本実施の形態による移動体監視装置では、外乱とみなされた領域において背景画像を入力画像で置きかえるため(即ち、即時更新されるため)、外乱領域が背景領域に直接反映される。
このため、引き続き雲の影が存在する場合には、次のサイクルでは外乱領域が変化した領域として抽出されなくなる。
【0034】
また、入力画像に外乱領域が引続き存在している場合でも、外乱領域において背景画像を入力画像で置き換えたことによって、既に背景画像に存在する外乱領域は、以降は変化した領域として抽出されることがなくなるので、近い将来に抽出領域内において新たに出現した目標領域(移動体)と既存の外乱領域が混在することを未然に防ぐことができる。
【0035】
なお、上記実施の形態1では、空港面探知装置に適用される場合を例とて説明したが、道路監視や他の監視装置であってもよい。
【0036】
【発明の効果】
この発明による移動体監視装置は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力する画像入力手段と、画像入力手段から上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出する変化領域抽出手段と、変化領域抽出手段により抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定する目標判定手段と、所定周期で背景画像を更新する背景画像更新手段であって、変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在すると目標判定手段が判定した場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在しないと目標判定手段が判定した場合には、背景画像を入力画像で即時更新を行なう背景画像更新手段と、目標判定手段により存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出する目標情報算出手段と、目標情報算出手段が算出する移動体情報を出力する出力手段とを備えるので、画像中の雲の影などの外乱領域を確実に見つけ、この領域を以降の処理では背景として扱うことが可能となる。
従って、外乱領域も背景とする背景画像の更新を行った後の近い将来において、外乱領域と監視対象目標(移動体)が混在する場合であっても、監視目標である移動体だけを外乱領域と確実に分離して検出でき、その結果、移動体の位置や大きさなどの情報を高い精度で出力できる移動体監視装置を提供できる。
更に、背景画像更新手段は、変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在しないと目標判定手段が判定した場合には、背景画像を入力画像で即時更新を行なうので、監視目標の移動体が存在しない外乱とみなされた領域において背景画像を入力画像で置きかえられ(即ち、即時更新され)、外乱領域が背景領域に直接反映される。
このため、例えば、引き続き雲の影のような外乱が存在する場合には、次のサイクルでは外乱領域が変化した領域として抽出されなくなる。
【0037】
また、この発明に係る移動体監視方法は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力するステップと、所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出するステップと、抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定するステップと、所定周期で背景画像を更新するステップであって、抽出された変化領域に監視目標の移動体が存在すると判定された場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、抽出された変化領域に監視目標の移動体が存在しないと判定された場合には、背景画像を入力画像で即時更新を行なうステップと、存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出するステップと、算出された移動体情報を出力するステップとを有するので、画像中の雲の影などの外乱領域を確実に見つけ、この領域を以降の処理では背景として扱うことが可能となる。
従って、外乱領域も背景とする背景画像の更新を行った後の近い将来において、外乱領域と監視対象目標(移動体)が混在する場合であっても、監視目標である移動体だけを外乱領域と確実に分離して検出でき、その結果、移動体の位置や大きさなどの情報を高い精度で出力できる移動体監視方法を提供できる。
更に、変化領域に監視目標の移動体が存在しないと判定された場合には、背景画像を入力画像で即時更新を行なうので、監視目標の移動体が存在しない外乱とみなされた領域において背景画像を入力画像で置きかえられ(即ち、即時更新され)、外乱領域が背景領域に直接反映される。
このため、例えば、引き続き雲の影のような外乱が存在する場合には、次のサイクルでは外乱領域が変化した領域として抽出されなくなる。
【図面の簡単な説明】
【図1】 実施の形態1による移動体監視装置の基本構成を示すブロック図である。
【図2】 実施の形態1による移動体監視装置の画像処理部における処理手順を説明するためのフローチャートである。
【図3】 実施の形態1による移動体監視装置において、外乱(雲の影など)が存在する場合に、監視目標である移動体の検出流れを説明するため図である。
【符号の説明】
1:画像入力部 2:画像処理部入力部
3:出力部 4:目標領域
5:外乱領域
6:目標領域と外乱領域が重なった領域
21:変化領域抽出手段
22:目標判定手段
23:背景画像更新手段
24:目標情報算出手段
Claims (6)
- ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力する画像入力手段と、
上記画像入力手段から上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出する変化領域抽出手段と、
上記変化領域抽出手段により抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定する目標判定手段と、
上記所定周期で背景画像を更新する背景画像更新手段であって、上記変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在すると上記目標判定手段が判定した場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、上記変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在しないと上記目標判定手段が判定した場合には、背景画像を入力画像で即時更新を行なう背景画像更新手段と、
上記目標判定手段により存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出する目標情報算出手段と、
上記目標情報算出手段が算出する移動体情報を出力する出力手段とを備えたことを特徴とする移動体監視装置。 - 上記目標判定手段は、変化領域が所定画素数以上の場合について判定を行うことを特徴とする請求項1に記載の移動体監視装置。
- 上記目標判定手段は、変化領域内の背景画像と入力画像の間における正規化相関による相関値を用いて判定することを特徴とする請求項1または2のいずれかに記載の移動体監視装置。
- 上記背景画像更新手段は、背景画像と入力画像との重み付け平均によって更新を行なうことを特徴とする請求項1〜3のいずれか1項に記載の移動体監視装置。
- ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力するステップと、
上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出するステップと、
抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定するステップと、
上記所定周期で背景画像を更新するステップであって、抽出された変化領域に監視目標の移動体が存在すると判定された場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、抽出された変化領域に監視目標の移動体が存在しないと判定された場合には、背景画像を入力画像で即時更新を行なうステップと、
存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出するステップと、
算出された移動体情報を出力するステップとを有したことを特徴とする移動体監視方法 。 - 背景画像と入力画像との重み付け平均によって背景画像の更新を行なうことを特徴とする請求項5に記載の移動体監視方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002377626A JP3848918B2 (ja) | 2002-12-26 | 2002-12-26 | 移動体監視装置および移動体監視方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002377626A JP3848918B2 (ja) | 2002-12-26 | 2002-12-26 | 移動体監視装置および移動体監視方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004208209A JP2004208209A (ja) | 2004-07-22 |
JP3848918B2 true JP3848918B2 (ja) | 2006-11-22 |
Family
ID=32814746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002377626A Expired - Fee Related JP3848918B2 (ja) | 2002-12-26 | 2002-12-26 | 移動体監視装置および移動体監視方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3848918B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636771A (zh) * | 2018-10-23 | 2019-04-16 | 中国船舶重工集团公司第七0九研究所 | 基于图像处理的飞行目标检测方法及系统 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7359552B2 (en) * | 2004-12-15 | 2008-04-15 | Mitsubishi Electric Research Laboratories, Inc. | Foreground detection using intrinsic images |
ITRM20050192A1 (it) * | 2005-04-20 | 2006-10-21 | Consiglio Nazionale Ricerche | Sistema per la rilevazione e la classificazione di eventi durante azioni in movimento. |
JP5167186B2 (ja) * | 2009-03-31 | 2013-03-21 | 能美防災株式会社 | 煙検出装置 |
JP5630298B2 (ja) * | 2011-02-01 | 2014-11-26 | 大日本印刷株式会社 | 移動物体検出装置 |
JP6652004B2 (ja) * | 2016-07-04 | 2020-02-19 | 富士通株式会社 | 情報処理装置、インタラクション方法、およびインタラクションプログラム |
US20230245445A1 (en) * | 2020-07-13 | 2023-08-03 | Esen Sistem Entegrasyon Ve Muhendislik Hizm. San Ve Tic Ltd. Sti. | An object detection method |
CN113542531B (zh) * | 2021-06-16 | 2023-11-21 | 星宸科技股份有限公司 | 侦测影像中物件移动的装置与方法 |
-
2002
- 2002-12-26 JP JP2002377626A patent/JP3848918B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636771A (zh) * | 2018-10-23 | 2019-04-16 | 中国船舶重工集团公司第七0九研究所 | 基于图像处理的飞行目标检测方法及系统 |
CN109636771B (zh) * | 2018-10-23 | 2021-09-03 | 中国船舶重工集团公司第七0九研究所 | 基于图像处理的飞行目标检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2004208209A (ja) | 2004-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101613740B1 (ko) | 활주로 감시 시스템 및 방법 | |
EP1840827B1 (en) | Signal processing method and apparatus and recording medium | |
US9367734B2 (en) | Apparatus, control method, and storage medium for setting object detection region in an image | |
JP4730431B2 (ja) | 目標追尾装置 | |
CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
JPH07302328A (ja) | 背景差分による動物体領域抽出方法 | |
CN112686172A (zh) | 机场跑道异物检测方法、装置及存储介质 | |
JP7092615B2 (ja) | 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム | |
JP3848918B2 (ja) | 移動体監視装置および移動体監視方法 | |
Qi et al. | Small infrared target detection utilizing local region similarity difference map | |
CN105469054B (zh) | 正常行为的模型构建方法及异常行为的检测方法 | |
Choi et al. | Fog detection for de-fogging of road driving images | |
US20130235195A1 (en) | Image processing device, image processing method, and image processing program | |
CN113705380B (zh) | 雾天的目标检测方法、装置、电子设备以及存储介质 | |
CN106898014B (zh) | 一种基于深度相机的入侵检测方法 | |
CN112967305A (zh) | 一种复杂天空场景下的图像云背景检测方法 | |
CN116883897A (zh) | 一种低分辨率目标识别方法 | |
EP3598175B1 (en) | Object detection system | |
CN110858392A (zh) | 一种基于融合背景模型的监控目标定位方法 | |
CN109493366A (zh) | 基于探鸟雷达图像的背景建模方法、系统及介质 | |
JPH05300516A (ja) | 動画処理装置 | |
JP7092616B2 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
JP3736836B2 (ja) | 物体検出方法及び物体検出装置及びプログラム | |
JP7194534B2 (ja) | 対象検知装置、画像処理装置、対象検知方法、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051115 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130901 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |