JP3848918B2 - 移動体監視装置および移動体監視方法 - Google Patents
移動体監視装置および移動体監視方法 Download PDFInfo
- Publication number
- JP3848918B2 JP3848918B2 JP2002377626A JP2002377626A JP3848918B2 JP 3848918 B2 JP3848918 B2 JP 3848918B2 JP 2002377626 A JP2002377626 A JP 2002377626A JP 2002377626 A JP2002377626 A JP 2002377626A JP 3848918 B2 JP3848918 B2 JP 3848918B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- target
- moving body
- change area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、屋外あるいは屋内に設置された撮像装置（例えば、高感度ディジタルカメラなど）によって撮影されたディジタル画像を一定周期で画像処理することによって撮影領域内に存在する車両や航空機などの目標とする移動体を検出し、その位置や大きさなどの移動体情報を出力する移動体監視装置および移動体監視方法に関する。
【０００２】
【従来の技術】
従来の画像中の移動体検出装置（画像センサとも称される）は、ＩＴＶカメラなどによって撮影されたディジタル画像から、車両や航空機等の移動目標を背景差分法によって検出していた。
この移動体の検出装置では、例えば、現在撮影した入力画像と検出装置内部のコンピューターが計算して作成している移動体が存在しない背景画像とを比較して、両画像の差分を変化のあった領域として抽出する（両画像の差分が示された画像を「差分画像」と呼ぶ）。
もし、入力画像に車両や航空機等の移動体が写っておれば、背景画像に写っていない車両や航空機等の移動体は、差分画像において変化領域として抽出される（抽出した領域を「抽出領域」と呼ぶ）。
【０００３】
この抽出領域について、面積（大きさ）、輝度分布、慣性軸などの特徴量の演算を行ない、抽出領域が目標の特徴を有する場合は、抽出領域を車両や航空機などの目標（即ち、監視対象の移動体）であると判断して、その位置や大きさの情報を出力していた。
これに加えて、入力画像と背景画像の両画像間でテクスチャ（ texture ：模様など）の変化が小さい場合などは、抽出領域が太陽光や空を流れる雲によって路面に投影された雲の影などに起因するものであると定義して、抽出領域を車両や航空機などの移動目標ではないと判断していた。
【０００４】
即ち、従来の移動体の検出装置は、抽出領域について、大きさ、明るさ、形状、テクスチャなどの種々の特徴量を演算して、それぞれについて目標である移動体の特徴を示すか、その他の外乱などの特徴を示すかの判定を所定の基準に基づいて行ない、抽出領域が車両や航空機など目標の特徴量を示す場合に、抽出領域に車両や航空機などの移動体目標が存在すると判断していた。
【０００５】
また、例えば、特許文献１には、「画像が変化したとき、その変化が照明条件の変化によるのか、ゆっくりした背景変動によるのか、あるいは動物体（即ち、移動体）が現れたことまたは通過したことによって生じたのかを小領域毎に統計的な手法で検出し、照明変動またはゆっくりした背景変動の場合のみに小領域の背景像を適切に更新し、その背景像に基づいて差分処理および２値化処理を行うことにより動物体（移動体）領域を抽出する背景差分による動物体（移動体）領域抽出方法」が示されている。
【０００６】
特許文献１の発明における背景像更新の具体的方法として、その段落００４３〜段落００４４において、「各小領域の輝度値はｔ０（所定時間間隔）間にフレーム画像枚数だけ得られる。そこで、小領域ａ１について輝度値を横軸に取り、縦軸に同輝度値が現れる出現頻度を取ると、頻度分布が得られる。ａ１の小領域には動物体はなく、背景である。背景の輝度は主として照明変動により変わるが、ｔ０が数秒程度の短い時間の場合、一般的には照明変化は少ないので、この分布は輝度ピークの回りに広がり度の小さな釣鐘状になる。つまり、統計的な分散度σは小さな値を示す。一方小領域ａ２では動物体が撮影されるため、ｔ０間に化輝度値は大きく変化し、同分布は広がりを示す。つまり、分散度σは大きな値を示す。従って、大きな照明変動があった場合の分散度をσ０として予め求めておき、この値と前記σとを比較し、σが小さければ照明変動による輝度値の変化であるとして、この背景像小領域の数値を更新する。また、σがσ０より大きければ、この小領域の輝度変化は動物体の出現など照明変動以外の要因によるものと判断して、背景像小領域の数値の更新は行わない。このようにして、小領域ａＫの背景像更新が行われる。」ことが記載されている。
【０００７】
また、上記特許文献１の段落００７４において、「予め物体が現れた場合のｄｆ（小領域での輝度値の時間微分値）の最大値と、急激な照明変動が起こった時のｄｆの最大値の境界値ｍ０を求めておくことで、前述のσ（統計的特徴量としての出現頻度の分散値）とσ０（予め求めておいた照明変動に起因する統計的特徴量としての出現頻度分布の分散度）との比較に加え、ｔ０（所定時間間隔）間でのｄｆの最大値ｍとｍ０との比較を行うことにより、σがσ０よりも小さければ、穏やかな照明変動による輝度値の変化であるとして、該背景像小領域の数値を更新し、σがσ０よりも大きく、ｍがｍ０よりも小さければ、急激な照明変動であるとして、該背景像小領域の数値を更新し、σがσ０よりも大きく、ｍがｍ０よりも大きければ、該小領域の輝度変化は動物体の出現など照明変動以外の要因によるものと判断し該小領域の数値の更新を行わない。」ことも記載されている。
【０００８】
また、特許文献２には、「抽出領域を複数の適切な大きさの空間領域に分割し、分割された領域ごとに画像のテクスチャの変化度合いを算出し、変化度合いが最大の領域を選択し、選択した領域の画像情報に基づいて侵入者（即ち、移動体）の存在を判定する。これにより。抽出領域中の侵入者が占める割合が小さくても確実に侵入者を検出する」技術が記載されている。
【０００９】
【特許文献１】
特開平７−３０２３２８号公報（図１、図２、図９、段落００４３、段落００４４、段落００７４）
【特許文献２】
特開２００２−１７５５３１号公報（図９、フロント頁）
【００１０】
【発明が解決しようとする課題】
前述した従来の移動体の検出装置では、比較的大きな雲の影あるいは太陽光などの外乱領域と車両や航空機などの目標領域が重なり、抽出領域内に一体となって混在した場合、抽出領域内において外乱領域が大きな面積を占める場合には、抽出領域の全体的なテクスチャの変化が小さくなり、抽出領域を外乱と判断してしまうため、車両や航空機などの移動目標を検出できない（目標を検出できないことを「ロスト」と呼ぶ）などの問題点があった。
また、抽出領域を目標と判断することができた場合にも、抽出領域内に外乱と目標が一体に混在しているので、目標の位置や大きさなどの情報の精度が悪くなるという問題点があった。
【００１１】
また、特許文献１に示された背景差分による動物体領域抽出方法では、小領域よりも小さな目標が存在する場合には、小領域内に目標と背景が混在することになり、目標を検出することができなくなるという問題点がある。
また、特許文献２に示された技術では、選択される「変化度合いが最大の領域」の画像は、背景画像を含んだ画像であり、背景画像に雲の影などの外乱があると小さな移動体目標を確実に検出できないという問題点がある。
【００１２】
この発明は、このような問題点を解消するためになされたものであり、雲の影や太陽の光などの外乱と、車両や航空機等の監視目標とする移動体とが混在する状況であっても移動を確実に検出できると共に、移動体だけを確実に検出することによって、移動目標の位置や大きさなどの情報を精度良く算出して出力できる移動体監視装置および移動体監視方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係る移動体監視装置は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力する画像入力手段と、上記画像入力手段から上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出する変化領域抽出手段と、上記変化領域抽出手段により抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定する目標判定手段と、上記所定周期で背景画像を更新する背景画像更新手段であって、上記変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在すると上記目標判定手段が判定した場合は、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、上記変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在しないと上記目標判定手段が判定した場合は、背景画像を入力画像で即時更新を行なう背景画像更新手段と、上記目標判定手段により存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出する目標情報算出手段と、上記目標情報算出手段が算出する移動体情報を出力する出力手段とを備えたものである。
【００１４】
また、この発明に係る移動体監視方法は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力するステップと、上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出するステップと、抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定するステップと、上記所定周期で背景画像を更新するステップであって、抽出された変化領域に監視目標の移動体が存在すると判定された場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、抽出された変化領域に監視目標の移動体が存在しないと判定された場合には、背景画像を入力画像で即時更新を行なうステップと、存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出するステップと、算出された移動体情報を出力するステップとを有したものである。
【００１５】
【発明の実施の形態】
実施の形態１．
図１は、実施の形態１による移動体監視装置の基本的な構成を示すブロック図である。
本実施の形態による移動体監視装置は、例えば、空港面探知装置（ASDE：Airport Surface Detecting Equipment）などに適用され、着陸あるいは離陸する航空機等の移動する目標である移動体を確実に検出し、その位置や大きさなどを求めるためのものである。
図において、１は屋外に設置された高感度ディジタルカメラ（図示せず）で撮影された撮影対象エリアの画像情報（画像）を一定周期でディジタルの画像情報として入力する画像入力部、２は画像入力部１から入力された画像情報（画像）から撮影エリア内に存在する監視目標の移動体（例えば、航空機などの監視対象）を検出して、検出結果に基づいて背景画像を更新すると共に、検出された移動体の位置や大きさなどの情報を算出して出力する画像処理部、３は画像処理部２で算出された移動体（航空機）の情報を図示しない後段の装置へ出力する出力部である。
【００１６】
画像処理部２は、画像入力部１から一定周期で入力される画像情報と、移動体が存在しない状態の背景画像との差分をとることにより画像中の変化領域を抽出する変化領域抽出手段２１、変化領域抽出手段２１により抽出された変化領域の「大きさ」「明るさ」「形状」「テクスチャ（ texture ：模様など）の変化」に基づいて監視目標である移動体（例えば、航空機）の存在の有無を判定する目標判定手段２２、移動体（航空機）の検出結果に基づいて前記背景画像を更新する背景画像更新手段２３、および検出した移動体（航空機）の位置や大きさなどの情報を算出する目標情報算出手段２４から構成されている。
【００１７】
図２は、実施の形態１による移動体監視装置の画像処理部における処理手順を示すフローチャートでる。
また、図３は、入力画像中に監視目標である移動体（航空機）と外乱である雲の影の領域が存在する状況において、移動体（航空機）検出の流れを説明するため図である。
図３において、４は監視目標である移動体（航空機）の目標領域、５は外乱である雲の影の領域、６は航空機筒の目標領域４と雲の影の領域５とが混在している場合の領域である。
また、入力画像は、例えば、３６０×２４０ピクセル（pixel）で構成される。
【００１８】
図１〜図３を用いて、本実施の形態による移動体監視装置の動作（処理内容）について説明する。
図２のフローチャートで示す処理は、所定時間間隔（例えば、１秒ごと）で行なわれる。
まず、図２のフローチャートを用いて、本実施の形態による移動体監視装置の動作（処理手順）を説明する。
ステップＳ１において、画像入力部１から撮影対象エリアをディジタルカメラで撮影したディジタル画像を入力画像として取込む。
ステップＳ２において、変化領域抽出手段２１によって、移動体が存在しない時の画像である背景画像とステップＳ１で取込んだ入力画像との差分を求めて、変化した領域を抽出領域として得る。
なお、背景画像とは、前述したように、過去の画像から撮影対象エリアに航空機等の移動体が存在しない状態を作成した画像である。
【００１９】
次に、ステップＳ３では、目標判定手段２２によって、抽出された領域の大きさ、明るさの分散を計算する。
また、入力画像と背景画像との比較によって抽出領域のテクスチャの変化度合いを計算する。
変化度合いとしては、例えば正規化相関による相関値が使用される。
【００２０】
ステップＳ４では、ステップ３で求めた抽出領域の大きさ、抽出領域の明るさの分散、および抽出領域Ｃのテクスチャの変化度合いについて、抽出領域が移動体（航空機）の特徴を備えるかどうかを判定する。
判定には抽出領域の大きさ、明るさの分散、およびテクスチャの変化度合いについて、以下の（１）〜（３）の条件を適用する。
（１）目標の最小許容サイズ ≦ 抽出領域の大きさ ≦ 目標の最大許容サイズ
（２）目標の明るさの分散最小値 ≦ 抽出領域の明るさの分散
ここで、目標の最小許容サイズと目標の最大許容サイズは、パラメータの値に基づいて画像中の各位置における値を計算して与える。
目標の明るさの分散最小値は所定の値をパラメータで与える。
【００２１】
なお、本実施の形態では、画像中において監視目標（即ち、監視対象の移動体）を長方形で近似した際の、縦の長さと横の長さを目標の大きさの指標として用いている。
遠近感のために、画像の位置によって大きさが異なる（画像上方ほど小さく、画像下方ほど大きく、画像のｙ座標にほぼ比例する）移動体（航空機）を対象とするため、画像情報および画像下方の２点において移動体（航空機）の基準的な大きさ（縦×横）を設定し、２点間における移動体（航空機）の基準的な大きさは、この２点の値から線形補間により求める。
この設定可能な値（設定位置の画像ｙ座標、縦の長さ、および横の長さ）を、パラメータと呼ぶ。
【００２２】
（３）目標のテクスチャ変化最小度合い ≦ 抽出領域のテクスチャ変化度合い
ここで、（３）の条件は、抽出領域が所定面積（例えば、１０画素）以上の場合について行なわれる。高い信頼度で相関を求めるためには、サンプル数が１０程度以上必要である。
所定面積以上について判定することにより、面積が小さい目標に対して、相関度が低いために誤って目標を照明変化などの外乱と判断するのを避けることができる。
なお、ここでいう「面積」とは、画像中における物体の占める画素数（ピクセル数、ドット数）のことである。
抽出領域に所定の面積がない場合、（３）の条件は無条件で満足するとする。
また、目標のテクスチャ変化最小度合いは所定の値をパラメータで与える。
上記の条件を満たさない抽出領域は、画像中の雲の影や太陽の光などの外乱領域とみなせる。
【００２３】
上記の（１）、（２）のいずれの条件も満足した場合は、（３）の判断をするためステップＳ５へ進む。
一方で、上記条件のいずれかが満足されない場合は、抽出領域は目標の存在しない領域とみなす。
そして、ステップＳ６へ進み、変化領域が抽出されない領域の画像および目標の移動体が存在しない領域の画像を用いて、背景画像を更新する。
ステップＳ５では、ステップＳ３で求めた抽出領域のテクスチャ変化度合いについて、上記（３）の判断条件を満足する場合は、抽出領域を目標領域とみなす。
目標領域における背景画像の更新はステップＳ７で行なわれ、ステップＳ７では、変化領域抽出手段２１が抽出する変化領域に監視目標の移動体が存在すると目標判定手段２２が判定した場合には、移動体が存在すると判定された変化領域の画像から移動体の画像が存在しない画像（即ち、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像）を用いて、背景画像を更新する。
一方、（３）の判断条件を満足しない場合は、抽出領域を雲の影や光等の外乱領域９とみなして、背景画像の更新を行なうためにステップＳ８へ進む。
【００２４】
ステップＳ６では、目標の存在しない領域において、背景画像の更新が行なわれる。
更新は、背景画像における目標の存在しない領域の画素のひとつひとつについて以下の式１を適用する。
更新された画素値＝現在の画素値＊重み１＋入力画素値＊重み２ … 式１
ここで、入力画素値とは、背景画像の注目している画素に対応する入力画像の画素の値をいう。
また、重み１と重み２は、二つの値の和が１となるような所定の値を与える。例えば、重み１には０．９、重み２には０．１が使用される。
なお、式１の入力画素値においては、入力画像の所定の領域において最も出現している数の多い画素値（以下、「最頻値」と呼ぶ）が適用されても良い。
【００２５】
ステップＳ７では、目標領域において背景画像の更新が行なわれる。
更新は、背景画像における抽出領域内の画素ひとつひとつについて、上記ステップＳ６同様に式１を適用する。
ここで、重み１と重み２は、重み１が重み２よりも十分に大きく、重み１がステップＳ６の重み１よりも大きくなるように所定の値を与える。例えば、重み１には０．９９、重み２には０．０１が使用される。
【００２６】
ステップＳ８では、影又は光の領域について、背景画像を更新する。
これには、ステップＳ５と同様に、背景画像におけるステップＳ７で外乱領域とみなされた抽出領域内の画素ひとつひとつについて式１を適用する。
ここで、入力画素値にかかる重み２が十分に大きく、重み１と重み２の和が１となる所定の値を与える。
例えば、重み１には０．９９、重み２には０．０１が使用される。
以下、入力画素値の重みが十分に大きい場合の背景画像の更新方法を「即時更新」と呼ぶ。
また、この即時更新は抽出領域に加えて、抽出領域の周辺近傍領域に適用しても良い。
例えば、抽出領域に加えて抽出領域の外周２ピクセル分の外周領域に即時更新が適用される。
【００２７】
なお、ステップＳ８の背景画像の更新においては、上記の式１は、簡単に、更新された画素値に入力画素値を代入するようにしても良い。
最後に、ステップＳ９において、目標情報算出手段２４が算出した目標である移動体の位置や大きさの情報を出力部３に伝え、後段に接続された図示しない装置により、目標の追尾処理などの監視動作が行なわれる。
【００２８】
以上説明した図２のフローチートに示した各ステップでの処理を、図３を用いて具体的数値により説明する。
図３は、図２の処理を、時刻ｔ秒から時刻ｔ＋１秒について行なった場合の、画像処理状況の流れを示す。
ここで、時刻ｔ秒時にステップＳ１によって取込んだ入力画像Ａと背景画像Ｂとの変化領域をステップＳ２において抽出した結果が、抽出領域Ｃに示される。この例では、ステップＳ３において、テクスチャの変化度合いを正規化相関によって求めており、路面に投影された雲の影による外乱領域５は相関値が１に近い値０．９となる。
一方で、移動体（航空機）の目標領域４は、テクスチャの変化があるため、比較的小さな値０．３をとる。
【００２９】
本実施の形態による移動体監視装置では、上述したように、目標判定手段２２は変化領域内の背景画像と入力画像の間における正規化相関を求め、相関値の大きさに基づいてテクスチュアの変化度合いを求めている。
この場合、雲の影の領域などのように輝度が変動する領域では、輝度変化の大きさに係わらず、テクスチュアの変化度合いが小さいため、相関値は高くなる。また、一方、航空機等の移動体の領域では、反対に輝度変化の大きさに係わらずテクスチュアの変化度合いは大きいため、相関値は低くなる。
このため、本実施の形態による移動体監視装置では、輝度変化が急激な場合でも、そのテクスチュアの変化度合が小さいと、外乱であると見なすことができ、抽出された変化領域が監視目標の移動体であるのか雲の影などの外乱であるのかを確実に判断することができる。
【００３０】
なお、雲の影などの外乱領域５と移動体（航空機）の目標領域４のいずれもが、大きさ、明るさの分散において目標らしい特徴を有しているとすると、ステップＳ４では条件が満たされて、ステップＳ５へ進む。
ステップＳ５では、テクスチャの変化度合いが大きい航空機目標が条件を満たすため目標とみなされて、ステップＳ７へ進み、テクスチャの変化度合いが小さい雲の影は、外乱とみなされてステップＳ８へ進み、背景画像の更新を行なう。
【００３１】
ステップＳ７では、式１の重み１が重み２に比べて十分に大きいため、目標領域の背景はほとんど更新されない。
一方で、ステップＳ８では、背景画像を入力画像で置きかえるため、外乱領域が背景画像に直接反映される。
引き続いて目標領域４においては、その位置や大きさ等の情報をステップＳ９にて目標情報算出手段２４によって計算を行ない、それらを出力部へ伝える。
ここで、更新を行なった背景画像Ｅは、次のｔ＋１秒のサイクルにおける変化領域抽出手段で使用される。
【００３２】
こうして、画像中の雲の影や太陽の光などの外乱領域を見つけて、これらの外乱領域を以降は背景として扱うようにしたので、近い将来において、雲の影や太陽の光などの外乱領域と目標（移動体）領域が混在する場合であっても、外乱領域は変化した領域として抽出されなくなる。
即ち、図３に示すように、ｔ＋１秒目において、入力画像Ｄ（外乱領域と目標領域が混在する画像）と更新された背景画像Ｅ（外乱領域だけが存在する背景画像）から目標（移動体）だけが存在する抽出領域Ｆを求め、この抽出領域Ｆから目標（移動体）を抽出する。
したがって、ｔ＋１秒のサイクルにおいては、外乱領域と目標が混在する状況であっても、ステップＳ２の結果、目標（航空機）だけが雲の影や太陽光などの外乱領域から分離して抽出される。
このため、ステップＳ９において監視対象の目標（移動体）の位置やその大きさなどの情報を高い精度で算出し、出力部へ出力することが可能となる。
【００３３】
以上説明したように、本実施の形態による移動体監視装置は、背景画像と入力画像との差分画像から一体的な変化領域を抽出し、変化領域を大きさ、明るさ、形状、テクスチャの変化に基づいて移動目標の存在を判定すると共に、検出した目標の位置や大きさなどの情報を出力する。
さらに、目標の検出結果に基づいて背景画像を更新するものである。
また、背景画像更新手段は、目標判定手段による判定結果から外乱領域と判断した領域に限定して、背景画像を入力画像で置きかえる。
これにより、外乱を抽出しなくなり、かつ、動きの小さい移動目標を抽出することができる。
また、本実施の形態による移動体監視装置では、外乱とみなされた領域において背景画像を入力画像で置きかえるため（即ち、即時更新されるため）、外乱領域が背景領域に直接反映される。
このため、引き続き雲の影が存在する場合には、次のサイクルでは外乱領域が変化した領域として抽出されなくなる。
【００３４】
また、入力画像に外乱領域が引続き存在している場合でも、外乱領域において背景画像を入力画像で置き換えたことによって、既に背景画像に存在する外乱領域は、以降は変化した領域として抽出されることがなくなるので、近い将来に抽出領域内において新たに出現した目標領域（移動体）と既存の外乱領域が混在することを未然に防ぐことができる。
【００３５】
なお、上記実施の形態１では、空港面探知装置に適用される場合を例とて説明したが、道路監視や他の監視装置であってもよい。
【００３６】
【発明の効果】
この発明による移動体監視装置は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力する画像入力手段と、画像入力手段から上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出する変化領域抽出手段と、変化領域抽出手段により抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定する目標判定手段と、所定周期で背景画像を更新する背景画像更新手段であって、変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在すると目標判定手段が判定した場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在しないと目標判定手段が判定した場合には、背景画像を入力画像で即時更新を行なう背景画像更新手段と、目標判定手段により存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出する目標情報算出手段と、目標情報算出手段が算出する移動体情報を出力する出力手段とを備えるので、画像中の雲の影などの外乱領域を確実に見つけ、この領域を以降の処理では背景として扱うことが可能となる。
従って、外乱領域も背景とする背景画像の更新を行った後の近い将来において、外乱領域と監視対象目標（移動体）が混在する場合であっても、監視目標である移動体だけを外乱領域と確実に分離して検出でき、その結果、移動体の位置や大きさなどの情報を高い精度で出力できる移動体監視装置を提供できる。
更に、背景画像更新手段は、変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在しないと目標判定手段が判定した場合には、背景画像を入力画像で即時更新を行なうので、監視目標の移動体が存在しない外乱とみなされた領域において背景画像を入力画像で置きかえられ（即ち、即時更新され）、外乱領域が背景領域に直接反映される。
このため、例えば、引き続き雲の影のような外乱が存在する場合には、次のサイクルでは外乱領域が変化した領域として抽出されなくなる。
【００３７】
また、この発明に係る移動体監視方法は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力するステップと、所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出するステップと、抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定するステップと、所定周期で背景画像を更新するステップであって、抽出された変化領域に監視目標の移動体が存在すると判定された場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、抽出された変化領域に監視目標の移動体が存在しないと判定された場合には、背景画像を入力画像で即時更新を行なうステップと、存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出するステップと、算出された移動体情報を出力するステップとを有するので、画像中の雲の影などの外乱領域を確実に見つけ、この領域を以降の処理では背景として扱うことが可能となる。
従って、外乱領域も背景とする背景画像の更新を行った後の近い将来において、外乱領域と監視対象目標（移動体）が混在する場合であっても、監視目標である移動体だけを外乱領域と確実に分離して検出でき、その結果、移動体の位置や大きさなどの情報を高い精度で出力できる移動体監視方法を提供できる。
更に、変化領域に監視目標の移動体が存在しないと判定された場合には、背景画像を入力画像で即時更新を行なうので、監視目標の移動体が存在しない外乱とみなされた領域において背景画像を入力画像で置きかえられ（即ち、即時更新され）、外乱領域が背景領域に直接反映される。
このため、例えば、引き続き雲の影のような外乱が存在する場合には、次のサイクルでは外乱領域が変化した領域として抽出されなくなる。
【図面の簡単な説明】
【図１】 実施の形態１による移動体監視装置の基本構成を示すブロック図である。
【図２】 実施の形態１による移動体監視装置の画像処理部における処理手順を説明するためのフローチャートである。
【図３】 実施の形態１による移動体監視装置において、外乱（雲の影など）が存在する場合に、監視目標である移動体の検出流れを説明するため図である。
【符号の説明】
１：画像入力部 ２：画像処理部入力部
３：出力部 ４：目標領域
５：外乱領域
６：目標領域と外乱領域が重なった領域
２１：変化領域抽出手段
２２：目標判定手段
２３：背景画像更新手段
２４：目標情報算出手段
【発明の属する技術分野】
この発明は、屋外あるいは屋内に設置された撮像装置（例えば、高感度ディジタルカメラなど）によって撮影されたディジタル画像を一定周期で画像処理することによって撮影領域内に存在する車両や航空機などの目標とする移動体を検出し、その位置や大きさなどの移動体情報を出力する移動体監視装置および移動体監視方法に関する。
【０００２】
【従来の技術】
従来の画像中の移動体検出装置（画像センサとも称される）は、ＩＴＶカメラなどによって撮影されたディジタル画像から、車両や航空機等の移動目標を背景差分法によって検出していた。
この移動体の検出装置では、例えば、現在撮影した入力画像と検出装置内部のコンピューターが計算して作成している移動体が存在しない背景画像とを比較して、両画像の差分を変化のあった領域として抽出する（両画像の差分が示された画像を「差分画像」と呼ぶ）。
もし、入力画像に車両や航空機等の移動体が写っておれば、背景画像に写っていない車両や航空機等の移動体は、差分画像において変化領域として抽出される（抽出した領域を「抽出領域」と呼ぶ）。
【０００３】
この抽出領域について、面積（大きさ）、輝度分布、慣性軸などの特徴量の演算を行ない、抽出領域が目標の特徴を有する場合は、抽出領域を車両や航空機などの目標（即ち、監視対象の移動体）であると判断して、その位置や大きさの情報を出力していた。
これに加えて、入力画像と背景画像の両画像間でテクスチャ（ texture ：模様など）の変化が小さい場合などは、抽出領域が太陽光や空を流れる雲によって路面に投影された雲の影などに起因するものであると定義して、抽出領域を車両や航空機などの移動目標ではないと判断していた。
【０００４】
即ち、従来の移動体の検出装置は、抽出領域について、大きさ、明るさ、形状、テクスチャなどの種々の特徴量を演算して、それぞれについて目標である移動体の特徴を示すか、その他の外乱などの特徴を示すかの判定を所定の基準に基づいて行ない、抽出領域が車両や航空機など目標の特徴量を示す場合に、抽出領域に車両や航空機などの移動体目標が存在すると判断していた。
【０００５】
また、例えば、特許文献１には、「画像が変化したとき、その変化が照明条件の変化によるのか、ゆっくりした背景変動によるのか、あるいは動物体（即ち、移動体）が現れたことまたは通過したことによって生じたのかを小領域毎に統計的な手法で検出し、照明変動またはゆっくりした背景変動の場合のみに小領域の背景像を適切に更新し、その背景像に基づいて差分処理および２値化処理を行うことにより動物体（移動体）領域を抽出する背景差分による動物体（移動体）領域抽出方法」が示されている。
【０００６】
特許文献１の発明における背景像更新の具体的方法として、その段落００４３〜段落００４４において、「各小領域の輝度値はｔ０（所定時間間隔）間にフレーム画像枚数だけ得られる。そこで、小領域ａ１について輝度値を横軸に取り、縦軸に同輝度値が現れる出現頻度を取ると、頻度分布が得られる。ａ１の小領域には動物体はなく、背景である。背景の輝度は主として照明変動により変わるが、ｔ０が数秒程度の短い時間の場合、一般的には照明変化は少ないので、この分布は輝度ピークの回りに広がり度の小さな釣鐘状になる。つまり、統計的な分散度σは小さな値を示す。一方小領域ａ２では動物体が撮影されるため、ｔ０間に化輝度値は大きく変化し、同分布は広がりを示す。つまり、分散度σは大きな値を示す。従って、大きな照明変動があった場合の分散度をσ０として予め求めておき、この値と前記σとを比較し、σが小さければ照明変動による輝度値の変化であるとして、この背景像小領域の数値を更新する。また、σがσ０より大きければ、この小領域の輝度変化は動物体の出現など照明変動以外の要因によるものと判断して、背景像小領域の数値の更新は行わない。このようにして、小領域ａＫの背景像更新が行われる。」ことが記載されている。
【０００７】
また、上記特許文献１の段落００７４において、「予め物体が現れた場合のｄｆ（小領域での輝度値の時間微分値）の最大値と、急激な照明変動が起こった時のｄｆの最大値の境界値ｍ０を求めておくことで、前述のσ（統計的特徴量としての出現頻度の分散値）とσ０（予め求めておいた照明変動に起因する統計的特徴量としての出現頻度分布の分散度）との比較に加え、ｔ０（所定時間間隔）間でのｄｆの最大値ｍとｍ０との比較を行うことにより、σがσ０よりも小さければ、穏やかな照明変動による輝度値の変化であるとして、該背景像小領域の数値を更新し、σがσ０よりも大きく、ｍがｍ０よりも小さければ、急激な照明変動であるとして、該背景像小領域の数値を更新し、σがσ０よりも大きく、ｍがｍ０よりも大きければ、該小領域の輝度変化は動物体の出現など照明変動以外の要因によるものと判断し該小領域の数値の更新を行わない。」ことも記載されている。
【０００８】
また、特許文献２には、「抽出領域を複数の適切な大きさの空間領域に分割し、分割された領域ごとに画像のテクスチャの変化度合いを算出し、変化度合いが最大の領域を選択し、選択した領域の画像情報に基づいて侵入者（即ち、移動体）の存在を判定する。これにより。抽出領域中の侵入者が占める割合が小さくても確実に侵入者を検出する」技術が記載されている。
【０００９】
【特許文献１】
特開平７−３０２３２８号公報（図１、図２、図９、段落００４３、段落００４４、段落００７４）
【特許文献２】
特開２００２−１７５５３１号公報（図９、フロント頁）
【００１０】
【発明が解決しようとする課題】
前述した従来の移動体の検出装置では、比較的大きな雲の影あるいは太陽光などの外乱領域と車両や航空機などの目標領域が重なり、抽出領域内に一体となって混在した場合、抽出領域内において外乱領域が大きな面積を占める場合には、抽出領域の全体的なテクスチャの変化が小さくなり、抽出領域を外乱と判断してしまうため、車両や航空機などの移動目標を検出できない（目標を検出できないことを「ロスト」と呼ぶ）などの問題点があった。
また、抽出領域を目標と判断することができた場合にも、抽出領域内に外乱と目標が一体に混在しているので、目標の位置や大きさなどの情報の精度が悪くなるという問題点があった。
【００１１】
また、特許文献１に示された背景差分による動物体領域抽出方法では、小領域よりも小さな目標が存在する場合には、小領域内に目標と背景が混在することになり、目標を検出することができなくなるという問題点がある。
また、特許文献２に示された技術では、選択される「変化度合いが最大の領域」の画像は、背景画像を含んだ画像であり、背景画像に雲の影などの外乱があると小さな移動体目標を確実に検出できないという問題点がある。
【００１２】
この発明は、このような問題点を解消するためになされたものであり、雲の影や太陽の光などの外乱と、車両や航空機等の監視目標とする移動体とが混在する状況であっても移動を確実に検出できると共に、移動体だけを確実に検出することによって、移動目標の位置や大きさなどの情報を精度良く算出して出力できる移動体監視装置および移動体監視方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係る移動体監視装置は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力する画像入力手段と、上記画像入力手段から上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出する変化領域抽出手段と、上記変化領域抽出手段により抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定する目標判定手段と、上記所定周期で背景画像を更新する背景画像更新手段であって、上記変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在すると上記目標判定手段が判定した場合は、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、上記変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在しないと上記目標判定手段が判定した場合は、背景画像を入力画像で即時更新を行なう背景画像更新手段と、上記目標判定手段により存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出する目標情報算出手段と、上記目標情報算出手段が算出する移動体情報を出力する出力手段とを備えたものである。
【００１４】
また、この発明に係る移動体監視方法は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力するステップと、上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出するステップと、抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定するステップと、上記所定周期で背景画像を更新するステップであって、抽出された変化領域に監視目標の移動体が存在すると判定された場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、抽出された変化領域に監視目標の移動体が存在しないと判定された場合には、背景画像を入力画像で即時更新を行なうステップと、存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出するステップと、算出された移動体情報を出力するステップとを有したものである。
【００１５】
【発明の実施の形態】
実施の形態１．
図１は、実施の形態１による移動体監視装置の基本的な構成を示すブロック図である。
本実施の形態による移動体監視装置は、例えば、空港面探知装置（ASDE：Airport Surface Detecting Equipment）などに適用され、着陸あるいは離陸する航空機等の移動する目標である移動体を確実に検出し、その位置や大きさなどを求めるためのものである。
図において、１は屋外に設置された高感度ディジタルカメラ（図示せず）で撮影された撮影対象エリアの画像情報（画像）を一定周期でディジタルの画像情報として入力する画像入力部、２は画像入力部１から入力された画像情報（画像）から撮影エリア内に存在する監視目標の移動体（例えば、航空機などの監視対象）を検出して、検出結果に基づいて背景画像を更新すると共に、検出された移動体の位置や大きさなどの情報を算出して出力する画像処理部、３は画像処理部２で算出された移動体（航空機）の情報を図示しない後段の装置へ出力する出力部である。
【００１６】
画像処理部２は、画像入力部１から一定周期で入力される画像情報と、移動体が存在しない状態の背景画像との差分をとることにより画像中の変化領域を抽出する変化領域抽出手段２１、変化領域抽出手段２１により抽出された変化領域の「大きさ」「明るさ」「形状」「テクスチャ（ texture ：模様など）の変化」に基づいて監視目標である移動体（例えば、航空機）の存在の有無を判定する目標判定手段２２、移動体（航空機）の検出結果に基づいて前記背景画像を更新する背景画像更新手段２３、および検出した移動体（航空機）の位置や大きさなどの情報を算出する目標情報算出手段２４から構成されている。
【００１７】
図２は、実施の形態１による移動体監視装置の画像処理部における処理手順を示すフローチャートでる。
また、図３は、入力画像中に監視目標である移動体（航空機）と外乱である雲の影の領域が存在する状況において、移動体（航空機）検出の流れを説明するため図である。
図３において、４は監視目標である移動体（航空機）の目標領域、５は外乱である雲の影の領域、６は航空機筒の目標領域４と雲の影の領域５とが混在している場合の領域である。
また、入力画像は、例えば、３６０×２４０ピクセル（pixel）で構成される。
【００１８】
図１〜図３を用いて、本実施の形態による移動体監視装置の動作（処理内容）について説明する。
図２のフローチャートで示す処理は、所定時間間隔（例えば、１秒ごと）で行なわれる。
まず、図２のフローチャートを用いて、本実施の形態による移動体監視装置の動作（処理手順）を説明する。
ステップＳ１において、画像入力部１から撮影対象エリアをディジタルカメラで撮影したディジタル画像を入力画像として取込む。
ステップＳ２において、変化領域抽出手段２１によって、移動体が存在しない時の画像である背景画像とステップＳ１で取込んだ入力画像との差分を求めて、変化した領域を抽出領域として得る。
なお、背景画像とは、前述したように、過去の画像から撮影対象エリアに航空機等の移動体が存在しない状態を作成した画像である。
【００１９】
次に、ステップＳ３では、目標判定手段２２によって、抽出された領域の大きさ、明るさの分散を計算する。
また、入力画像と背景画像との比較によって抽出領域のテクスチャの変化度合いを計算する。
変化度合いとしては、例えば正規化相関による相関値が使用される。
【００２０】
ステップＳ４では、ステップ３で求めた抽出領域の大きさ、抽出領域の明るさの分散、および抽出領域Ｃのテクスチャの変化度合いについて、抽出領域が移動体（航空機）の特徴を備えるかどうかを判定する。
判定には抽出領域の大きさ、明るさの分散、およびテクスチャの変化度合いについて、以下の（１）〜（３）の条件を適用する。
（１）目標の最小許容サイズ ≦ 抽出領域の大きさ ≦ 目標の最大許容サイズ
（２）目標の明るさの分散最小値 ≦ 抽出領域の明るさの分散
ここで、目標の最小許容サイズと目標の最大許容サイズは、パラメータの値に基づいて画像中の各位置における値を計算して与える。
目標の明るさの分散最小値は所定の値をパラメータで与える。
【００２１】
なお、本実施の形態では、画像中において監視目標（即ち、監視対象の移動体）を長方形で近似した際の、縦の長さと横の長さを目標の大きさの指標として用いている。
遠近感のために、画像の位置によって大きさが異なる（画像上方ほど小さく、画像下方ほど大きく、画像のｙ座標にほぼ比例する）移動体（航空機）を対象とするため、画像情報および画像下方の２点において移動体（航空機）の基準的な大きさ（縦×横）を設定し、２点間における移動体（航空機）の基準的な大きさは、この２点の値から線形補間により求める。
この設定可能な値（設定位置の画像ｙ座標、縦の長さ、および横の長さ）を、パラメータと呼ぶ。
【００２２】
（３）目標のテクスチャ変化最小度合い ≦ 抽出領域のテクスチャ変化度合い
ここで、（３）の条件は、抽出領域が所定面積（例えば、１０画素）以上の場合について行なわれる。高い信頼度で相関を求めるためには、サンプル数が１０程度以上必要である。
所定面積以上について判定することにより、面積が小さい目標に対して、相関度が低いために誤って目標を照明変化などの外乱と判断するのを避けることができる。
なお、ここでいう「面積」とは、画像中における物体の占める画素数（ピクセル数、ドット数）のことである。
抽出領域に所定の面積がない場合、（３）の条件は無条件で満足するとする。
また、目標のテクスチャ変化最小度合いは所定の値をパラメータで与える。
上記の条件を満たさない抽出領域は、画像中の雲の影や太陽の光などの外乱領域とみなせる。
【００２３】
上記の（１）、（２）のいずれの条件も満足した場合は、（３）の判断をするためステップＳ５へ進む。
一方で、上記条件のいずれかが満足されない場合は、抽出領域は目標の存在しない領域とみなす。
そして、ステップＳ６へ進み、変化領域が抽出されない領域の画像および目標の移動体が存在しない領域の画像を用いて、背景画像を更新する。
ステップＳ５では、ステップＳ３で求めた抽出領域のテクスチャ変化度合いについて、上記（３）の判断条件を満足する場合は、抽出領域を目標領域とみなす。
目標領域における背景画像の更新はステップＳ７で行なわれ、ステップＳ７では、変化領域抽出手段２１が抽出する変化領域に監視目標の移動体が存在すると目標判定手段２２が判定した場合には、移動体が存在すると判定された変化領域の画像から移動体の画像が存在しない画像（即ち、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像）を用いて、背景画像を更新する。
一方、（３）の判断条件を満足しない場合は、抽出領域を雲の影や光等の外乱領域９とみなして、背景画像の更新を行なうためにステップＳ８へ進む。
【００２４】
ステップＳ６では、目標の存在しない領域において、背景画像の更新が行なわれる。
更新は、背景画像における目標の存在しない領域の画素のひとつひとつについて以下の式１を適用する。
更新された画素値＝現在の画素値＊重み１＋入力画素値＊重み２ … 式１
ここで、入力画素値とは、背景画像の注目している画素に対応する入力画像の画素の値をいう。
また、重み１と重み２は、二つの値の和が１となるような所定の値を与える。例えば、重み１には０．９、重み２には０．１が使用される。
なお、式１の入力画素値においては、入力画像の所定の領域において最も出現している数の多い画素値（以下、「最頻値」と呼ぶ）が適用されても良い。
【００２５】
ステップＳ７では、目標領域において背景画像の更新が行なわれる。
更新は、背景画像における抽出領域内の画素ひとつひとつについて、上記ステップＳ６同様に式１を適用する。
ここで、重み１と重み２は、重み１が重み２よりも十分に大きく、重み１がステップＳ６の重み１よりも大きくなるように所定の値を与える。例えば、重み１には０．９９、重み２には０．０１が使用される。
【００２６】
ステップＳ８では、影又は光の領域について、背景画像を更新する。
これには、ステップＳ５と同様に、背景画像におけるステップＳ７で外乱領域とみなされた抽出領域内の画素ひとつひとつについて式１を適用する。
ここで、入力画素値にかかる重み２が十分に大きく、重み１と重み２の和が１となる所定の値を与える。
例えば、重み１には０．９９、重み２には０．０１が使用される。
以下、入力画素値の重みが十分に大きい場合の背景画像の更新方法を「即時更新」と呼ぶ。
また、この即時更新は抽出領域に加えて、抽出領域の周辺近傍領域に適用しても良い。
例えば、抽出領域に加えて抽出領域の外周２ピクセル分の外周領域に即時更新が適用される。
【００２７】
なお、ステップＳ８の背景画像の更新においては、上記の式１は、簡単に、更新された画素値に入力画素値を代入するようにしても良い。
最後に、ステップＳ９において、目標情報算出手段２４が算出した目標である移動体の位置や大きさの情報を出力部３に伝え、後段に接続された図示しない装置により、目標の追尾処理などの監視動作が行なわれる。
【００２８】
以上説明した図２のフローチートに示した各ステップでの処理を、図３を用いて具体的数値により説明する。
図３は、図２の処理を、時刻ｔ秒から時刻ｔ＋１秒について行なった場合の、画像処理状況の流れを示す。
ここで、時刻ｔ秒時にステップＳ１によって取込んだ入力画像Ａと背景画像Ｂとの変化領域をステップＳ２において抽出した結果が、抽出領域Ｃに示される。この例では、ステップＳ３において、テクスチャの変化度合いを正規化相関によって求めており、路面に投影された雲の影による外乱領域５は相関値が１に近い値０．９となる。
一方で、移動体（航空機）の目標領域４は、テクスチャの変化があるため、比較的小さな値０．３をとる。
【００２９】
本実施の形態による移動体監視装置では、上述したように、目標判定手段２２は変化領域内の背景画像と入力画像の間における正規化相関を求め、相関値の大きさに基づいてテクスチュアの変化度合いを求めている。
この場合、雲の影の領域などのように輝度が変動する領域では、輝度変化の大きさに係わらず、テクスチュアの変化度合いが小さいため、相関値は高くなる。また、一方、航空機等の移動体の領域では、反対に輝度変化の大きさに係わらずテクスチュアの変化度合いは大きいため、相関値は低くなる。
このため、本実施の形態による移動体監視装置では、輝度変化が急激な場合でも、そのテクスチュアの変化度合が小さいと、外乱であると見なすことができ、抽出された変化領域が監視目標の移動体であるのか雲の影などの外乱であるのかを確実に判断することができる。
【００３０】
なお、雲の影などの外乱領域５と移動体（航空機）の目標領域４のいずれもが、大きさ、明るさの分散において目標らしい特徴を有しているとすると、ステップＳ４では条件が満たされて、ステップＳ５へ進む。
ステップＳ５では、テクスチャの変化度合いが大きい航空機目標が条件を満たすため目標とみなされて、ステップＳ７へ進み、テクスチャの変化度合いが小さい雲の影は、外乱とみなされてステップＳ８へ進み、背景画像の更新を行なう。
【００３１】
ステップＳ７では、式１の重み１が重み２に比べて十分に大きいため、目標領域の背景はほとんど更新されない。
一方で、ステップＳ８では、背景画像を入力画像で置きかえるため、外乱領域が背景画像に直接反映される。
引き続いて目標領域４においては、その位置や大きさ等の情報をステップＳ９にて目標情報算出手段２４によって計算を行ない、それらを出力部へ伝える。
ここで、更新を行なった背景画像Ｅは、次のｔ＋１秒のサイクルにおける変化領域抽出手段で使用される。
【００３２】
こうして、画像中の雲の影や太陽の光などの外乱領域を見つけて、これらの外乱領域を以降は背景として扱うようにしたので、近い将来において、雲の影や太陽の光などの外乱領域と目標（移動体）領域が混在する場合であっても、外乱領域は変化した領域として抽出されなくなる。
即ち、図３に示すように、ｔ＋１秒目において、入力画像Ｄ（外乱領域と目標領域が混在する画像）と更新された背景画像Ｅ（外乱領域だけが存在する背景画像）から目標（移動体）だけが存在する抽出領域Ｆを求め、この抽出領域Ｆから目標（移動体）を抽出する。
したがって、ｔ＋１秒のサイクルにおいては、外乱領域と目標が混在する状況であっても、ステップＳ２の結果、目標（航空機）だけが雲の影や太陽光などの外乱領域から分離して抽出される。
このため、ステップＳ９において監視対象の目標（移動体）の位置やその大きさなどの情報を高い精度で算出し、出力部へ出力することが可能となる。
【００３３】
以上説明したように、本実施の形態による移動体監視装置は、背景画像と入力画像との差分画像から一体的な変化領域を抽出し、変化領域を大きさ、明るさ、形状、テクスチャの変化に基づいて移動目標の存在を判定すると共に、検出した目標の位置や大きさなどの情報を出力する。
さらに、目標の検出結果に基づいて背景画像を更新するものである。
また、背景画像更新手段は、目標判定手段による判定結果から外乱領域と判断した領域に限定して、背景画像を入力画像で置きかえる。
これにより、外乱を抽出しなくなり、かつ、動きの小さい移動目標を抽出することができる。
また、本実施の形態による移動体監視装置では、外乱とみなされた領域において背景画像を入力画像で置きかえるため（即ち、即時更新されるため）、外乱領域が背景領域に直接反映される。
このため、引き続き雲の影が存在する場合には、次のサイクルでは外乱領域が変化した領域として抽出されなくなる。
【００３４】
また、入力画像に外乱領域が引続き存在している場合でも、外乱領域において背景画像を入力画像で置き換えたことによって、既に背景画像に存在する外乱領域は、以降は変化した領域として抽出されることがなくなるので、近い将来に抽出領域内において新たに出現した目標領域（移動体）と既存の外乱領域が混在することを未然に防ぐことができる。
【００３５】
なお、上記実施の形態１では、空港面探知装置に適用される場合を例とて説明したが、道路監視や他の監視装置であってもよい。
【００３６】
【発明の効果】
この発明による移動体監視装置は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力する画像入力手段と、画像入力手段から上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出する変化領域抽出手段と、変化領域抽出手段により抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定する目標判定手段と、所定周期で背景画像を更新する背景画像更新手段であって、変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在すると目標判定手段が判定した場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在しないと目標判定手段が判定した場合には、背景画像を入力画像で即時更新を行なう背景画像更新手段と、目標判定手段により存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出する目標情報算出手段と、目標情報算出手段が算出する移動体情報を出力する出力手段とを備えるので、画像中の雲の影などの外乱領域を確実に見つけ、この領域を以降の処理では背景として扱うことが可能となる。
従って、外乱領域も背景とする背景画像の更新を行った後の近い将来において、外乱領域と監視対象目標（移動体）が混在する場合であっても、監視目標である移動体だけを外乱領域と確実に分離して検出でき、その結果、移動体の位置や大きさなどの情報を高い精度で出力できる移動体監視装置を提供できる。
更に、背景画像更新手段は、変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在しないと目標判定手段が判定した場合には、背景画像を入力画像で即時更新を行なうので、監視目標の移動体が存在しない外乱とみなされた領域において背景画像を入力画像で置きかえられ（即ち、即時更新され）、外乱領域が背景領域に直接反映される。
このため、例えば、引き続き雲の影のような外乱が存在する場合には、次のサイクルでは外乱領域が変化した領域として抽出されなくなる。
【００３７】
また、この発明に係る移動体監視方法は、ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力するステップと、所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出するステップと、抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定するステップと、所定周期で背景画像を更新するステップであって、抽出された変化領域に監視目標の移動体が存在すると判定された場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、抽出された変化領域に監視目標の移動体が存在しないと判定された場合には、背景画像を入力画像で即時更新を行なうステップと、存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出するステップと、算出された移動体情報を出力するステップとを有するので、画像中の雲の影などの外乱領域を確実に見つけ、この領域を以降の処理では背景として扱うことが可能となる。
従って、外乱領域も背景とする背景画像の更新を行った後の近い将来において、外乱領域と監視対象目標（移動体）が混在する場合であっても、監視目標である移動体だけを外乱領域と確実に分離して検出でき、その結果、移動体の位置や大きさなどの情報を高い精度で出力できる移動体監視方法を提供できる。
更に、変化領域に監視目標の移動体が存在しないと判定された場合には、背景画像を入力画像で即時更新を行なうので、監視目標の移動体が存在しない外乱とみなされた領域において背景画像を入力画像で置きかえられ（即ち、即時更新され）、外乱領域が背景領域に直接反映される。
このため、例えば、引き続き雲の影のような外乱が存在する場合には、次のサイクルでは外乱領域が変化した領域として抽出されなくなる。
【図面の簡単な説明】
【図１】 実施の形態１による移動体監視装置の基本構成を示すブロック図である。
【図２】 実施の形態１による移動体監視装置の画像処理部における処理手順を説明するためのフローチャートである。
【図３】 実施の形態１による移動体監視装置において、外乱（雲の影など）が存在する場合に、監視目標である移動体の検出流れを説明するため図である。
【符号の説明】
１：画像入力部 ２：画像処理部入力部
３：出力部 ４：目標領域
５：外乱領域
６：目標領域と外乱領域が重なった領域
２１：変化領域抽出手段
２２：目標判定手段
２３：背景画像更新手段
２４：目標情報算出手段
Claims (6)
- ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力する画像入力手段と、
上記画像入力手段から上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出する変化領域抽出手段と、
上記変化領域抽出手段により抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定する目標判定手段と、
上記所定周期で背景画像を更新する背景画像更新手段であって、上記変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在すると上記目標判定手段が判定した場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、上記変化領域抽出手段が抽出する変化領域に監視目標の移動体が存在しないと上記目標判定手段が判定した場合には、背景画像を入力画像で即時更新を行なう背景画像更新手段と、
上記目標判定手段により存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出する目標情報算出手段と、
上記目標情報算出手段が算出する移動体情報を出力する出力手段とを備えたことを特徴とする移動体監視装置。 - 上記目標判定手段は、変化領域が所定画素数以上の場合について判定を行うことを特徴とする請求項１に記載の移動体監視装置。
- 上記目標判定手段は、変化領域内の背景画像と入力画像の間における正規化相関による相関値を用いて判定することを特徴とする請求項１または２のいずれかに記載の移動体監視装置。
- 上記背景画像更新手段は、背景画像と入力画像との重み付け平均によって更新を行なうことを特徴とする請求項１〜３のいずれか１項に記載の移動体監視装置。
- ディジタルカメラにより撮影される撮影対象エリアの画像を所定周期で入力するステップと、
上記所定周期で入力される入力画像と監視目標の移動体が存在しない背景画像との差分を取ることにより画像中の変化領域を抽出するステップと、
抽出される変化領域が監視目標の移動体の特徴を備えていれば、更に、抽出された変化領域のテクスチャ変化度合いが所定値より大きいかどうかを判定し、テクスチャ変化度合いが所定値より大きいと判定したときは抽出された変化領域に移動体が存在すると判定し、テクスチャ変化度合いが所定値より小さいと判定したときは抽出された変化領域に移動体が存在しないと判定するステップと、
上記所定周期で背景画像を更新するステップであって、抽出された変化領域に監視目標の移動体が存在すると判定された場合には、移動体が存在すると判定された変化領域の画像から移動体の画像を消去した画像を用いて背景画像を更新し、抽出された変化領域に監視目標の移動体が存在しないと判定された場合には、背景画像を入力画像で即時更新を行なうステップと、
存在が判定された監視目標の移動体について、その位置や大きさなどの移動体情報を算出するステップと、
算出された移動体情報を出力するステップとを有したことを特徴とする移動体監視方法 。 - 背景画像と入力画像との重み付け平均によって背景画像の更新を行なうことを特徴とする請求項５に記載の移動体監視方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002377626A JP3848918B2 (ja) | 2002-12-26 | 2002-12-26 | 移動体監視装置および移動体監視方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002377626A JP3848918B2 (ja) | 2002-12-26 | 2002-12-26 | 移動体監視装置および移動体監視方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004208209A JP2004208209A (ja) | 2004-07-22 |
| JP3848918B2 true JP3848918B2 (ja) | 2006-11-22 |
Family
ID=32814746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002377626A Expired - Fee Related JP3848918B2 (ja) | 2002-12-26 | 2002-12-26 | 移動体監視装置および移動体監視方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3848918B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636771A (zh) * | 2018-10-23 | 2019-04-16 | 中国船舶重工集团公司第七0九研究所 | 基于图像处理的飞行目标检测方法及系统 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7359552B2 (en) * | 2004-12-15 | 2008-04-15 | Mitsubishi Electric Research Laboratories, Inc. | Foreground detection using intrinsic images |
| ITRM20050192A1 (it) * | 2005-04-20 | 2006-10-21 | Consiglio Nazionale Ricerche | Sistema per la rilevazione e la classificazione di eventi durante azioni in movimento. |
| JP5167186B2 (ja) * | 2009-03-31 | 2013-03-21 | 能美防災株式会社 | 煙検出装置 |
| JP5630298B2 (ja) * | 2011-02-01 | 2014-11-26 | 大日本印刷株式会社 | 移動物体検出装置 |
| US20230245445A1 (en) * | 2020-07-13 | 2023-08-03 | Esen Sistem Entegrasyon Ve Muhendislik Hizm. San Ve Tic Ltd. Sti. | An object detection method |
| CN113542531B (zh) * | 2021-06-16 | 2023-11-21 | 星宸科技股份有限公司 | 侦测影像中物件移动的装置与方法 |
-
2002
- 2002-12-26 JP JP2002377626A patent/JP3848918B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636771A (zh) * | 2018-10-23 | 2019-04-16 | 中国船舶重工集团公司第七0九研究所 | 基于图像处理的飞行目标检测方法及系统 |
| CN109636771B (zh) * | 2018-10-23 | 2021-09-03 | 中国船舶重工集团公司第七0九研究所 | 基于图像处理的飞行目标检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004208209A (ja) | 2004-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101613740B1 (ko) | 활주로 감시 시스템 및 방법 | |
| EP1840827B1 (en) | Signal processing method and apparatus and recording medium | |
| JP4730431B2 (ja) | 目標追尾装置 | |
| CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
| US20140161312A1 (en) | Setting apparatus, image processing apparatus, control method of setting apparatus, and storage medium | |
| JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
| JPH07302328A (ja) | 背景差分による動物体領域抽出方法 | |
| CN112686172A (zh) | 机场跑道异物检测方法、装置及存储介质 | |
| JP7092615B2 (ja) | 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム | |
| Qi et al. | Small infrared target detection utilizing local region similarity difference map | |
| CN105469054B (zh) | 正常行为的模型构建方法及异常行为的检测方法 | |
| JP3848918B2 (ja) | 移動体監視装置および移動体監視方法 | |
| US20130235195A1 (en) | Image processing device, image processing method, and image processing program | |
| CN113705380B (zh) | 雾天的目标检测方法、装置、电子设备以及存储介质 | |
| CN106898014B (zh) | 一种基于深度相机的入侵检测方法 | |
| JP7092616B2 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
| CN116883897A (zh) | 一种低分辨率目标识别方法 | |
| EP3598175B1 (en) | Object detection system | |
| CN110858392A (zh) | 一种基于融合背景模型的监控目标定位方法 | |
| CN109493366A (zh) | 基于探鸟雷达图像的背景建模方法、系统及介质 | |
| JPH05300516A (ja) | 動画処理装置 | |
| CN113776676A (zh) | 一种基于图像曲率和梯度的红外小目标检测方法 | |
| JP7194534B2 (ja) | 対象検知装置、画像処理装置、対象検知方法、画像処理方法、及びプログラム | |
| JP3736836B2 (ja) | 物体検出方法及び物体検出装置及びプログラム | |
| CN113158800A (zh) | 围界入侵混合检测方法及围界入侵混合检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130901 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |