JP3850602B2 - 移動体検出装置および移動体検出方法 - Google Patents
移動体検出装置および移動体検出方法 Download PDFInfo
- Publication number
- JP3850602B2 JP3850602B2 JP29568299A JP29568299A JP3850602B2 JP 3850602 B2 JP3850602 B2 JP 3850602B2 JP 29568299 A JP29568299 A JP 29568299A JP 29568299 A JP29568299 A JP 29568299A JP 3850602 B2 JP3850602 B2 JP 3850602B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving body
- moving
- luminance value
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Burglar Alarm Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、所定の場所の画像を所定の周期で撮像し、その画像に基づいて人や車両などの移動体を発見、追跡し、特に建造物等への侵入者検知や道路の交通流計測などに使用される移動体検出装置および移動体検出方法に関するものである。
【０００２】
【従来の技術】
ある対象を画像において検出する方法として例えば「Ｈｏｕｇｈ変換に基づく図形検出法の新展開」（和田、松山著、情報処理学会誌、１９９５年３月、第２５３頁〜第２６３頁）に記載のハフ変換がある。図１８はハフ変換に基づく従来の移動体検出方法を説明するフローチャートであり、図１９はハフ変換での投票およびピーク検出を説明する図であり、図２０は複数の検出対象を使用した場合のハフ変換での投票およびピーク検出を説明する図である。
【０００３】
ハフ変換に基づいて画像において移動体などの対象を検出する場合、まず画像を用意し（ステップＳＴ１０１）、画像中の各特徴点に対応して、その点を含むそれぞれ位置／姿勢／形状が異なる検出対象の存在を仮定して、検出対象の位置／姿勢／形状を表現するパラメータ空間中の点に「投票」を行う（ステップＳＴ１０２）。そして、パラメータ空間中の各点が何個の特徴点に対応して投票を受けたかを調べ（例えば投票数の極大点を検出し）、画像中に検出対象が存在するか否かを決定する（ステップＳＴ１０３）。
【０００４】
例えば図１９（ａ）に示す特定形状、特定姿勢の四角形である検出対象を二値画像において検出する場合について具体的に説明する。なお図１９（ａ）に示す検出対象の横幅をＷとし、高さをＨとし、パラメータ空間の各点（ｘ，ｙ）は、四角形の右下角の位置を表現するものとする。また、二値画像およびパラメータ空間は、左上を原点とする座標軸を有するものとする。
【０００５】
そして図１９（ｂ）に示すように二値画像内の各特徴点（Ｘｉ，Ｙｉ）に対応して、パラメータ空間中の以下の範囲の各点（ｘ，ｙ）に１票ずつを投じる（ステップＳＴ１０２）。
Ｘｉ＜ｘ＜Ｘｉ＋Ｗ
Ｙｉ＜ｙ＜Ｙｉ＋Ｈ
【０００６】
すべての特徴点に対応するパラメータ空間への投票を実行した後、パラメータ空間において、多くの特徴点からの投票を受けた点であり、かつ周辺の投票数に比べ突出した値を有する点（すなわち極大点）を抽出する（ステップＳＴ１０３）。そのような点が抽出された場合、その点の座標値を（Ｘｐ，Ｙｐ）とすると、画像中の（Ｘｐ，Ｙｐ）の位置を右下角とする四角形が存在すると判断する。一方、そのような点がパラメータ空間において抽出されない場合には、検出対象である四角形が存在しないと判断する。
【０００７】
このようにしてハフ変換に基づいて対象が画像において検出される。なお、上述したものは対象が１つである場合であるが、ハフ変換に基づいて複数種類の対象を画像において同等に検出することも可能である。
【０００８】
例えば図２０（ａ）に示すように複数種類の対象を検出する場合には、図２０（ｂ）に示すように検出対象毎にパラメータ空間を用意し、画像内の各特徴点に対応して、検出対象毎に、パラメータ空間における検出対象に応じた範囲の各点へそれぞれ投票し、すべての特徴点に対応するパラメータ空間への投票を実行した後、各パラメータ空間における投票数の極大点を探索して検出対象を検出する。
【０００９】
以上のようにして、ハフ変換に基づいて移動体などの対象が検出される。ハフ変換は「投票による証拠情報の統合」と「多数決原理」に基づく対象検出法であり、個々の証拠情報に誤りや欠落があっても全体としては安定な処理を行うことができる。
【００１０】
次に、ある対象を画像において発見、追跡する方法としてテンプレートマッチングがある。図２１は、例えば特開平６−３０４１７号公報に記載のテンプレートマッチングに基づく従来の移動体検出方法を説明するフローチャートであり、図２２はテンプレートマッチングを説明する中間調画像を示す図面代用写真である。
【００１１】
この従来の移動体検出方法では、まず画像を入力し（ステップＳＴ１１１）、前時刻における車両の位置に基づき、図２２に示すように入力画像上に探索範囲（検出対象を探索する範囲）を設定する（ステップＳＴ１１２）。次に、予め登録されている車両テンプレートまたは前時刻に入力画像から切り出された車両テンプレートと、探索範囲内の各部分画像との間で類似度を計算する（ステップＳＴ１１３）。なお、各部分画像は、車両テンプレートと同一のサイズでその位置を順次変えながら入力画像より切り出される。
【００１２】
このときの類似度としては式（１）に示すような正規化相互相関Ｍｃｏｒｒや式（２）に示すような輝度値の残差（誤差の総和）などが使用される。
【数１】
【数２】
ただし、Ｉ（ｘ，ｙ）は入力画像Ｉの位置（ｘ，ｙ）の輝度値であり、Ｔ（ｘ，ｙ）はテンプレートＴの位置（ｘ，ｙ）での輝度値であり、ｍ，ｎはテンプレートＴのｘ，ｙ軸方向のサイズ（画素数）であり、＜Ｉ（ｘ，ｙ）＞は画像Ｉのうちの座標（ｘ，ｙ），（ｘ＋ｍ，ｙ），（ｘ，ｙ＋ｎ），（ｘ＋ｍ，ｙ＋ｎ）を頂点とする部分画像における輝度値の平均値であり、＜Ｔ＞はテンプレートＴの輝度値の平均値である。
【００１３】
探索範囲内のすべての部分画像との類似度を計算した後、類似度が所定の閾値以上であり、かつ周辺の類似度に比べ突出した値を有する位置を検索し、そのような位置を検出した場合、その画像の撮影時点において車両がその位置に存在すると判断する（ステップＳＴ１１４）。
【００１４】
以上のようにして、テンプレートマッチングに基づき移動体が検出される。なお、所定の周期で入力される画像に対してステップＳＴ１１１〜ステップＳＴ１１４の処理を繰り返すことにより車両を追跡することができる。一般的に、テンプレートマッチングは検出対象の部分画像をテンプレートとして使用して検出するため、検出対象に多少の隠蔽が生じても認識が可能である。
【００１５】
また、対象の画像が含まれる入力画像系列に基づいて背景のみの画像（背景画像）を更新し、その背景画像を使用して確実に移動体を検出する例えば特開平８−３１７３７３号公報に記載の従来の移動体検出方法がある。
【００１６】
この方法では、所定時間内に入力された複数の画像Ｉｉについて、式（３）に示すように、画素毎に輝度値のメディアン値を計算し、そのメディアン値で構成される画像ｒで背景画像を更新する。なお、メディアン値とは、複数の値を昇順または降順に整列した場合に中央に位置する値のことである。
【数３】
ここでｒ（ｘ，ｙ）は、更新する背景画像ｒの位置（ｘ，ｙ）での輝度値であり、Ｉｉ（ｘ，ｙ）は、第ｉ番目の入力画像Ｉの位置（ｘ，ｙ）での輝度値である。
【００１７】
【発明が解決しようとする課題】
従来の移動体検出方法は以上のように構成されているので、ハフ変換に基づく従来の移動体検出方法では検出対象を表現するパラメータ（位置、姿勢、形状）や検出対象の数が増えると、計算時間や記憶容量がパラメータ空間の次元数のべき乗に比例して増加し、迅速に移動体を検出することが困難であるなどの課題があった。
【００１８】
また、テンプレートマッチングに基づく従来の移動体検出方法では、一般に探索に要する演算量が多く、多くの計算時間を要するとともに、テンプレートに対象以外の背景が含まれる場合（例えば車両テンプレートに道路が含まれる場合）テンプレートと背景との類似度が高くなり（すなわち道路に適合しやすくなり）移動体の位置を誤検出してしまい、また、検出対象の移動に伴って画像上での対象の見かけの大きさや形状が変化するため、それに応じてテンプレートを逐次更新する場合に位置誤差が累積し、本来の移動体の位置から検出位置が次第にずれていき、正確に移動体を検出することが困難であるという課題があった。
【００１９】
さらに、従来の移動体検出方法において背景画像を更新する場合、所定の時間に撮影される複数の画像の各画素の輝度値のメディアン値に基づいて背景画像を生成しているが、移動体が低速で移動したり移動体の数が多い場合にはその所定の時間において画像内での移動体の存在時間が長くなり背景画像に移動体の一部が混入し、背景画像に基づいて正確に移動体を検出することが困難になる可能性があるという課題があった。
【００２０】
さらに、一般的に検出対象である移動体が混雑して多くの移動体が画像内に存在すると、ハフ変換やテンプレートマッチングを利用しても混雑度が高くなるにつれ、移動体を発見することも、発見した移動体を追跡することも困難になるという課題があった。
【００２１】
すなわち、以上のように従来の移動体検出方法では、迅速かつ正確に移動体を検出することが困難であるなどの課題があった。
【００２２】
この発明は上記のような課題を解決するためになされたもので、検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンと移動体候補を検出した後、画像のうちの移動体候補の周辺と移動体モデルとを比較して移動体を発見するようにして、ハフ変換による頑健性を損なわないで移動体発見に要する計算時間や記憶容量を低減し、迅速かつ正確に移動体を検出することができる移動体検出装置および移動体検出方法を得ることを目的とする。
【００２３】
また、この発明は、発見された移動体の部分画像を入力画像からテンプレートとして切りだし、次回以降に撮像される画像のうちの輝度値変化領域に対応した部分とテンプレートとをテンプレートマッチングし、移動体を順次検出して追跡するようにして、マッチングする領域を低減して計算時間を低減し、迅速かつ正確に移動体を検出することができる移動体検出装置および移動体検出方法を得ることを目的とする。
【００２４】
さらに、この発明は、検出した移動体に対応する部分の輝度値変化領域の重心位置に基づいて補正した移動体の位置に基づいて画像から移動体の部分の画像をテンプレートとして抽出してテンプレートを更新するようにして、テンプレートの更新に起因する位置誤差の累積を抑制することができ、迅速かつ正確に移動体を検出することができる移動体検出装置および移動体検出方法を得ることを目的とする。
【００２５】
さらに、この発明は、時間の経過とともに撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量のばらつきに応じて画像に基づいて背景画像を更新するようにして、更新する背景画像への移動体の画像などの混入を抑制し、迅速かつ正確に移動体を検出することができる移動体検出装置および移動体検出方法を得ることを目的とする。
【００２６】
さらに、この発明は輝度値変化領域が画像または画像のうちの所定の特定区域の所定の割合以上を占めている場合において、輝度値変化領域の大きさに応じて設定される所定の数以上の移動体が発見されない時、または移動体が検出されず追跡が困難な時には、輝度値変化領域の大きさおよび移動体モデルの面積に基づく移動体の概数や輝度値変化領域での輝度値の時間的変化に基づく移動体の平均移動速度を計算して、移動体が混雑している場合には移動体の概数や移動体の平均移動速度に基づいて移動体の挙動を知ることができる移動体検出装置および移動体検出方法を得ることを目的とする。
【００２７】
【課題を解決するための手段】
この発明に係る移動体検出装置は、所定の周期で画像を撮像する画像撮像手段と、画像撮像手段により撮像された画像のうち、輝度値が変化した領域（輝度値変化領域）を抽出する変化領域抽出手段と、検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンと輝度値変化領域に基づいて移動体候補を検出した後、画像のうちの移動体候補の周辺と移動体モデルとを比較して移動体を発見する移動体発見手段と、移動体発見手段により発見された移動体を画像撮像手段により順次撮像される画像に基づいて追跡する移動体追跡手段とを備えるものである。
【００２８】
この発明に係る移動体検出装置は、各移動体モデルの大きさに応じた重みを付けて合成された移動体モデル合成パターンを使用するようにしたものである。
【００２９】
この発明に係る移動体検出方法は、所定の周期で画像を撮像するステップと、撮像した画像のうちの輝度値変化領域を抽出するステップと、検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンと輝度値変化領域に基づいて移動体候補を検出するステップと、画像のうちの移動体候補の周辺と移動体モデルとを比較して移動体を発見するステップと、発見した移動体を順次撮像される画像に基づいて追跡するステップとを備えるものである。
【００３０】
この発明に係る移動体検出装置は、所定の周期で画像を撮像する画像撮像手段と、画像撮像手段により撮像された画像のうちの輝度値変化領域を抽出する変化領域抽出手段と、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見する移動体発見手段と、移動体発見手段により発見された移動体の部分の画像をテンプレートとして画像から抽出し、次回以降に撮像される画像のうちの輝度値変化領域に対応した部分のみを使用してテンプレートとの類似度を計算するテンプレートマッチングを行い、移動体を順次検出して追跡する移動体追跡手段とを備えるものである。
【００３１】
この発明に係る移動体検出装置は、移動体追跡手段において、次回以降に撮像される画像のうちの輝度値変化領域に対応した部分のみを使用してテンプレートとの類似度を計算するテンプレートマッチングを行い移動体の位置を検出し、検出した移動体に対応する部分の輝度値変化領域の重心位置に基づいてその移動体の位置を補正するようにしたものである。
【００３２】
この発明に係る移動体検出装置は、移動体追跡手段において、移動体の位置が変化した場合、補正後の移動体の位置に基づいて画像から移動体の部分の画像をテンプレートとして抽出してテンプレートを更新するようにしたものである。
【００３３】
この発明に係る移動体検出方法は、所定の周期で画像を撮像するステップと、撮像した画像のうちの輝度値変化領域を抽出するステップと、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見するステップと、発見した移動体の部分の画像をテンプレートとして画像から抽出し、次回以降に撮像される画像のうちの輝度値変化領域のみを使用してテンプレートとの類似度を計算するテンプレートマッチングを行い、移動体を順次検出して追跡するステップとを備えるものである。
【００３４】
この発明に係る移動体検出装置は、所定の周期で画像を撮像する画像撮像手段と、時間の経過とともに撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量の時間的なばらつきを所定の期間経過毎に計算し、複数の前記所定の期間における前記ばらつきの変化が閾値以下である画素または局所ブロック内の画素について、背景画像の画素の輝度値を前記画像の画素の輝度値で更新、または、背景画像の画素の元の輝度値と前記画像の画素の輝度値の平均値で新しい背景画像の画素の輝度値とする背景画像更新手段と、背景画像を使用して、画像撮像手段により撮像された画像のうち輝度値変化領域を抽出する変化領域抽出手段と、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見する移動体発見手段と、移動体発見手段により発見された移動体を画像撮像手段により順次撮像される画像に基づいて追跡する移動体追跡手段とを備えるものである。
【００３６】
この発明に係る移動体検出方法は、所定の周期で画像を撮像するステップと、時間の経過とともに撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量の時間的なばらつきを所定の期間経過毎に計算し、複数の所定の期間におけるばらつきの変化が閾値以下である画素または局所ブロック内の画素について、背景画像の画素の輝度値を前記画像の画素の輝度値で更新、または、背景画像の画素の元の輝度値と前記画像の画素の輝度値の平均値で新しい背景画像の画素の輝度値とするステップと、背景画像を使用して、撮像した画像のうち輝度値変化領域を抽出するステップと、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見するステップと、発見した移動体を順次撮像する画像に基づいて追跡するステップとを備えるものである。
【００３７】
この発明に係る移動体検出装置は、所定の周期で画像を撮像する画像撮像手段と、画像撮像手段により撮像された画像のうちの輝度値変化領域を抽出する変化領域抽出手段と、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体の発見を試みる移動体発見手段と、画像撮像手段により順次撮像される画像において移動体発見手段により発見された移動体を検出し、追跡を試みる移動体追跡手段と、輝度値変化領域が画像または画像のうちの所定の特定区域の所定の割合以上を占めている場合において、移動体発見手段により輝度値変化領域の大きさに応じた所定の数以上の移動体が発見されない時、または移動体追跡手段により移動体が検出されない時には、輝度値変化領域の大きさおよび移動体モデルの面積に基づく移動体の概数、並びに輝度値変化領域での輝度値の時間的変化に基づく移動体の平均移動速度のうちの少なくとも１つを計算する計算手段とを備えるものである。
【００３８】
この発明に係る移動体検出方法は、所定の周期で画像を撮像するステップと、撮像した画像のうちの輝度値変化領域を抽出するステップと、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体の発見を試みるステップと、発見した移動体を、順次撮像される画像において検出し、追跡を試みるステップと、輝度値変化領域が画像またはその画像のうちの所定の特定区域の所定の割合以上を占めている場合において、輝度値変化領域の大きさに応じた所定の数以上の移動体が発見されない時、または移動体の追跡において移動体が検出されない時には、輝度値変化領域の大きさおよび移動体モデルの面積に基づく移動体の概数、並びに輝度値変化領域での輝度値の時間的変化に基づく移動体の平均移動速度のうちの少なくとも１つを計算するステップとを備えるものである。
【００３９】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による移動体検出装置の構成を示すブロック図である。図１において、１はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子により所定の周期で画像を撮像し、その画像をデジタルデータとして記憶する画像入力部（画像撮像手段）であり、２は検出対象である移動体の存在しない画像（背景画像）を予め記憶する背景画像データベースであり、３は画像入力部１により撮像された画像のうち、背景画像と比較して輝度値が変化した領域（輝度値変化領域）を抽出する変化領域抽出部（変化領域抽出手段）である。
【００４０】
４Ａは検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンを使用したハフ変換に従って輝度値変化領域に基づいて移動体候補を検出した後、撮像された画像のうちの移動体候補の周辺と移動体モデルとを比較して移動体を発見する移動体発見部（移動体発見手段）であり、５は移動体発見部４Ａにより発見された移動体を画像入力部１により順次撮像される画像に基づいて追跡する移動体追跡部（移動体追跡手段）である。
【００４１】
移動体発見部４Ａにおいて、１１は移動体モデル合成パターン（投票パターン）を予め記憶する投票パターンデータベースであり、１２は投票パターンを使用したハフ変換に従って輝度値変化領域の各画素に対応してパラメータ空間への投票処理を実行する投票部であり、１３はパラメータ空間における投票度数の１つまたは複数の極大点を移動体候補点として検出する極大点検出部であり、１４は各種形状および各種姿勢の移動体のモデルである移動体モデルの集合を予め記憶する移動体モデルデータベースであり、１５は各移動体候補点において、移動体候補点の周辺の輝度値変化領域と各移動体モデルとの一致度を計算し、移動体の有無および形状や姿勢を決定するモデルマッチング部である。
【００４２】
図２は移動体モデルの例を示す図であり、図３は投票パターンの一例を示す図である。図２に示すように、移動体モデルはそれぞれ形状、姿勢（大きさを含む）の異なるシルエットモデルとする。そして図３に示すように、各移動モデルの領域内の各点に対して移動体モデルの面積に応じた重みを設定する。例えば移動体モデルの面積の逆数に比例する重みを設定する。そして、すべての移動体モデルの左上の点を基準として移動体モデルを重ね合わせ、その領域の各点で重みを合成したものを投票パターンとする。
【００４３】
次に動作について説明する。
図４は実施の形態１による移動体検出装置の動作について説明するフローチャートである。図５は投票処理について説明する図であり、図６は極大点検出処理について説明する図であり、図７はモデルマッチングについて説明する図である。
【００４４】
装置が起動されるとステップＳＴ１において所定の周期毎に画像入力部１は画像を撮像し、記憶する。そして変化領域抽出部３は、ステップＳＴ２において、画像入力部１から最新の画像を、背景画像データベース２から背景画像をそれぞれ読み出し、その画像と背景画像との輝度値の差（背景差分）を画素毎に計算し、その背景差分を所定の閾値で二値化処理し、差分値の大きい画素集合（輝度値変化領域）を抽出する。すなわち画像に移動体が出現した場合、撮像された画像と背景画像とを比較すると、移動体に対応した画素集合またはその一部分に大きな差が現れ、その部分が輝度値変化領域として抽出される。したがって輝度値変化領域は移動体の存在を示す証拠情報になる。
【００４５】
次にステップＳＴ３において、移動体発見部４Ａの投票部１２は、図５に示すようにハフ変換に基づいて、輝度値変化領域の各画素の座標値（Ｘｉ，Ｙｉ）に対応するパラメータ空間の各点（Ｘｉ，Ｙｉ）に投票パターンの左上を合わせて、それぞれパラメータ空間へ投票パターンの各点の重みを投票する（すなわち、投票パターンの各点の重みを順次蓄積していく）。なお、パラメータ空間は、左上を原点とした入力画像と同じ座標軸（ｘ，ｙ）を有し、パラメータ空間の各点（ｘ，ｙ）は移動体モデルの右下の位置を表現するものとする。
【００４６】
輝度値変化領域のすべての画素に対して投票を実行した後、ステップＳＴ４において移動体発見部４Ａの極大点検出部１３は図６に示すようにパラメータ空間において投票度数の１つ、または複数の極大点を検出し、検出した点を移動体候補点（Ｘｐ，Ｙｐ）とする。したがってその移動体候補点を右下とする移動体が存在する可能性がある。
【００４７】
そしてステップＳＴ５において、移動体発見部４Ａのモデルマッチング部１５は、図７に示すように、各移動体候補点に対して、移動体候補点の周辺の輝度値変化領域（すなわち移動体候補の部分）と移動体モデルデータベース１４に記憶された各移動体モデルとの一致度を算出する。
【００４８】
このように、複数の移動体モデルを合成した投票パターンを使用したハフ変換では、移動体の候補位置しか分からない（移動体の形状等は分からない）ためハフ変換後にモデルマッチングを行うが、探索を行うわけではなく、移動体候補点を基準として各移動体モデルに対応する輝度値変化領域の部分と移動体モデルとのマッチングだけであるので、ほとんど計算時間を要さない。
【００４９】
モデルマッチング部１５はステップＳＴ６において各移動体候補点に対して一致度が所定の値より高い移動体モデルが存在するか否かを判断し、一致度が所定の値より高い移動体モデルが存在する場合、その移動体候補点を基準位置として、その移動体モデルの形状および姿勢に類似した移動体が存在すると判断し、一致度が所定の値より高い移動体モデルが存在しない場合、移動体が存在しないと判断する。
【００５０】
そしてステップＳＴ７において移動体追跡部５は、画像入力部１により順次撮像される画像においてそれまでに発見された移動体を検出して各移動体を経時的に追跡する。
【００５１】
以上のステップＳＴ１〜ステップＳＴ７の処理が所定の時間間隔で繰り返し実行される。
【００５２】
以上のように、この実施の形態１によれば、検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンを使用したハフ変換に従って移動体候補を検出した後、画像のうちの移動体候補の部分と移動体モデルとを比較して移動体を発見するようにしたので、ハフ変換による頑健性を損なわないで、移動体発見に要する記憶容量を低減することができるとともに迅速かつ正確に移動体の検出をすることができるいう効果が得られる。特に検出対象である移動体の種類が多い場合、この効果は顕著である。
【００５３】
また、複数種類の移動体モデルを合成した投票パターンを使用してもハフ変換の特長である「投票による証拠情報の統合」と「多数決原理」に基づく処理の頑健性については失われないため、背景差分に誤りや欠落があっても全体としては安定して移動体（の候補位置）を発見することができるという効果が得られる。
【００５４】
さらに、この実施の形態１によれば、移動体モデルの面積に応じた重みを重畳して投票パターンに設定するようにしたので、投票後にパラメータ空間に現れる極大点が明確になり（鋭くなり）、移動体候補の発見率を高くすることができるとともに移動体候補点の誤検出を減少することができるという効果が得られる。
【００５５】
なお、この実施の形態１では、複数の移動体モデルを合成した合成パターンを使用したハフ変換に従って移動体候補を検出したが、ハフ変換のかわりに、合成パターンと変化領域の畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）演算を行って、演算結果の極大点を探索して、移動体候補を検出してもよい。
【００５６】
また、この実施の形態１では、背景画像の生成方法は特に限定されず、また、画像が入力されるたびに背景画像を更新するようにしてもよい。
【００５７】
さらに、この実施の形態１では、変化領域抽出部３は背景画像と入力画像との輝度値の差を計算して輝度値変化領域を抽出するようにしたが、特に限定されるものではなく、時間的に異なる入力画像同士の輝度値の差を計算して輝度値変化領域を抽出してもよい。その場合には背景画像データベース２は特に必要ない。また、輝度値の差を計算する場合、画素単位で計算してもよいし、複数個の画素からなる局所ブロック単位で空間的な輝度分布形状の差として計算してもよい。
【００５８】
さらに、この実施の形態１では、各移動体モデルの面積に対応する重みを重畳して投票パターンに設定するようにしたが、重みの設定はこれに限定されるものではなく、移動体モデルの形状や姿勢に応じた重みを投票パターンに設定するようにしてもよい。
【００５９】
さらに、この実施の形態１では、移動体モデルを合成する際の基準点を移動体モデルの左上の点としたが、特にこれに限定されるものではない。同様に、パラメータ空間の各点（ｘ，ｙ）が移動体モデルの右下の位置を表現するようにしたが、特にこれに限定されるものではない。ただし、投票パターンの合成基準点とパラメータ空間の各点は相互に関連があるようにする。
【００６０】
さらに、画像とパラメータ空間の座標軸の取り方についても上述のように限定されるものではない。
【００６１】
さらに、この実施の形態１では、モデルマッチングにおける一致度を特に例示していないが、例えば移動体モデルとオーバラップする輝度値変化領域の割合などを一致度として使用すればよい。
【００６２】
さらに、この実施の形態１では、移動体追跡部５における移動体の追跡方法については特に限定されるものではなく、例えば各時刻に発見された移動体の位置およびそのときに適合した移動体モデルの種類に基づいて姿勢などを推定して、移動体を経時的に対応づけて追跡すればよい。
【００６３】
実施の形態２．
図８はこの発明の実施の形態２による移動体検出装置の構成を示すブロック図である。図８において、４は検出対象である移動体に対応する移動体モデルを使用して、変化領域抽出部３により抽出された輝度値変化領域より移動体を発見する移動体発見部（移動体発見手段）であり、５Ａは移動体発見部４により発見された移動体の部分の画像をテンプレートとして画像入力部１による画像（入力画像）から抽出し、次回以降に撮像される画像のうちの輝度値変化領域に対応した部分とテンプレートとをテンプレートマッチングし、移動体を順次検出して追跡する移動体追跡部（移動体追跡手段）である。
【００６４】
移動体追跡部５Ａにおいて、２１は移動体発見部４により発見された移動体の部分画像を入力画像からテンプレートとして切り出すテンプレート切出部であり、２２は切り出されたテンプレートを記憶するテンプレートデータベースであり、２３はテンプレートデータベース２２に記憶されているテンプレートと入力画像の輝度値変化領域に対応した部分との間でテンプレートマッチングを実行して移動体の現在の位置を検出するテンプレートマッチング部である。
【００６５】
なお、図８におけるその他の構成要素については実施の形態１によるもの（図１）と同様であるのでその説明を省略する。
【００６６】
次に動作について説明する。
図９は実施の形態２による移動体検出装置の動作について説明するフローチャートである。図１０は入力画像の一例とそれに対応する輝度値変化領域の中間調画像を示す図面代用写真である。図１１は実施の形態２におけるテンプレートマッチングを説明する中間調画像を示す図面代用写真である。
【００６７】
装置が起動されるとステップＳＴ１１において所定の周期毎に画像入力部１は画像を撮像し、記憶する。そして変化領域抽出部３は、実施の形態１と同様に、ステップＳＴ１２において、画像入力部１から最新の画像を、背景画像データベース２から背景画像をそれぞれ読み出し、その画像と背景画像との輝度値の差（背景差分）を画素毎に計算し、その背景差分を所定の閾値で二値化処理し、差分値の大きい画素集合（輝度値変化領域）を抽出する。
【００６８】
次にステップＳＴ１３において、移動体発見部４は、内蔵の図示せぬ移動体モデルデータベースに記憶されている複数種類の移動体モデルと変化領域抽出部３により抽出された輝度値変化領域との一致度に基づいて新規に出現した移動体を発見する。
【００６９】
そしてステップＳＴ１４において、移動体追跡部５Ａのテンプレート切出部２１は入力画像からその新規移動体の部分画像をテンプレートとして切り出し、テンプレートデータベース２２に記憶させる。
【００７０】
そしてステップＳＴ１５において、テンプレートマッチング部２３は、テンプレートデータベース２２において記憶されている各テンプレートと最新の入力画像の輝度値変化領域に対応した部分との間でテンプレートマッチングを実行して移動体の現在の位置を検出する。
【００７１】
このとき従来のテンプレートマッチングとは異なり、図１０に示すような入力画像のうちの輝度値変化領域に対応した部分のみを使用して、図１１に示すようにその部分の画像とテンプレートとの類似度（例えば式（１）や式（２）によるもの）が計算される。すなわち、類似度計算前に、入力画像のうちの輝度値変化領域の部分を抽出することにより、テンプレートマッチングされる入力画像から背景と考えられる部分が予め除去される。
【００７２】
そして、テンプレートマッチング部２３は、各テンプレートと探索範囲内のすべての部分画像との類似度をした後、類似度が所定の閾値以上であり、かつ周辺の類似度に比べ突出した値を有する位置を移動体の現在位置として検出する。このように、一旦発見した移動体を経時的に撮像される画像において検出することにより、移動体を追跡する。
【００７３】
なお、ステップＳＴ１１〜ステップＳＴ１５の処理は所定の時間間隔で繰り返し実行される。
【００７４】
以上のように、この実施の形態２によれば、発見された移動体の部分の画像をテンプレートとして画像から抽出し、次回以降に撮像される画像のうちの輝度値変化領域とテンプレートとをテンプレートマッチングし、移動体を順次検出して追跡するようにしたので、テンプレートマッチングに要する計算時間が低減することができ、移動体の検出を迅速かつ正確に実行することができるという効果が得られる。
【００７５】
また、この実施の形態２によれば、移動体の存在を示す証拠情報である輝度値変化領域の部分画像のみを利用したテンプレートマッチングでは、テンプレートに検出対象である移動体以外の一様な背景が含まれている場合でも、テンプレートが背景に適合することなく正確なマッチングをすることができ、正確に移動体を追跡することができるという効果が得られる。
【００７６】
なお、この実施の形態２では、背景画像の生成方法は特に限定されず、また、画像が入力されるたびに背景画像を更新するようにしてもよい。
【００７７】
また、この実施の形態２では、変化領域抽出部３は背景画像と入力画像との輝度値の差を計算して輝度値変化領域を抽出するようにしたが、特に限定されるものではなく、時間的に異なる入力画像同士の輝度値の差を計算して輝度値変化領域を抽出してもよい。その場合には、背景画像データベース２は特に必要ない。また、輝度値の差を計算する場合、画素単位で計算してもよいし、複数個の画素からなる局所ブロック単位で空間的な輝度分布形状の差として計算してもよい。
【００７８】
さらに、この実施の形態２では、移動体発見部４における移動体の発見方法は特に限定されない。実施の形態１における移動体発見部４Ａと同様にしても勿論よい。
【００７９】
さらに、この実施の形態２では、テンプレートマッチングの際に、入力画像のうちの輝度値変化領域の部分とテンプレートとをマッチングするようにして背景部分との適合を回避しているが、その代わりに、輝度値変化領域を使用してテンプレート内の背景部分を除去したものをテンプレートとしてテンプレートデータベースに予め記憶させるようにしてもよい。
【００８０】
実施の形態３．
図１２はこの発明の実施の形態３による移動体検出装置の構成を示すブロック図である。図１２において、２６は移動体の位置が変化した場合、移動体の位置に基づいて画像から移動体の部分の画像をテンプレートとして抽出してそのテンプレートを更新するテンプレート更新部である。なお、図１２におけるその他の構成要素については実施の形態２によるもの（図８）と同様であるのでその説明を省略する。
【００８１】
次に動作について説明する。
図１３は実施の形態３による移動体検出装置の動作について説明するフローチャートである。まずこの実施の形態３による移動体検出装置はステップＳＴ２１〜ステップＳＴ２５において、実施の形態２におけるステップＳＴ１１〜ステップＳＴ１５（図９）と同様に動作する。
【００８２】
そしてテンプレートマッチング部２３は、移動体の現在位置が検出された場合、ステップＳＴ２６において検出した移動体に対応する部分の輝度値変化領域の重心位置に基づいてその移動体の位置を補正する。このとき例えば、移動体の位置を重心位置に変更したり、移動体の位置を重心位置の方向へ所定の範囲内で近づけるようにして移動体の位置を補正する。
【００８３】
その後テンプレートマッチング部２３は補正後の移動体の位置をテンプレート更新部２６に供給する。そしてステップＳＴ２７において、テンプレート更新部２６は、供給された補正後の移動体の位置に基づいて、最新の入力画像から移動体に対応する部分を再度切り出し、テンプレートデータベース２２のテンプレートを更新する。
【００８４】
以上のように、この実施の形態３によれば、移動体追跡部５Ａにおいて、次回以降に撮像される画像のうちの輝度値変化領域とテンプレートとをテンプレートマッチングして移動体の位置を検出し、検出した移動体に対応する部分の輝度値変化領域の重心位置に基づいてその移動体の位置を補正するようにしたので、その時点での移動体の位置が迅速かつ正確に検出され、移動体を正確に追跡することができるという効果が得られる。
【００８５】
また、この実施の形態３によれば、輝度値変化領域の重心位置に基づいて補正した移動体の位置に基づいて画像から移動体の部分の画像をテンプレートとして抽出してテンプレートを更新するようにしたので、テンプレートの更新に伴う移動体の位置誤差の累積が抑制され、迅速かつ正確に移動体を追跡することができるという効果が得られる。
【００８６】
なお、この実施の形態３では移動体の追跡位置を補正するとともに補正後の位置に基づいてテンプレートを更新するようにしているが、移動体の追跡位置の補正をせずに、単に輝度値変化領域の重心位置に基づいてテンプレートの切出位置を補正するだけでもテンプレートの更新に伴う移動体の位置誤差の累積が抑制され、移動体を正確に追跡することができる。ただし、実施の形態３のように移動体の追跡位置を補正するようにしたほうが、上述のようにより移動体を正確に追跡することができる。
【００８７】
また、この実施の形態３では、背景画像の生成方法は特に限定されず、また、画像が入力されるたびに背景画像を更新するようにしてもよい。
【００８８】
さらに、この実施の形態３では、変化領域抽出部３は、背景画像と入力画像との輝度値の差を計算して輝度値変化領域を抽出するようにしたが、特に限定されるものではなく、時間的に異なる入力画像同士の輝度値の差を計算して輝度値変化領域を抽出してもよい。その場合には背景画像データベース２は特に必要ない。また、輝度値の差を計算する場合、画素単位で計算してもよいし、複数個の画素からなる局所ブロック単位で空間的な輝度分布形状の差として計算してもよい。
【００８９】
さらに、この実施の形態３では、移動体発見部４における移動体の発見方法は特に限定されない。実施の形態１における移動体発見部４Ａと同様にしても勿論よい。
【００９０】
さらに、この実施の形態３では、テンプレートマッチングの際に、入力画像のうちの輝度値変化領域の部分とテンプレートとをマッチングするようにして背景部分との適合を回避しているが、その代わりに、輝度値変化領域を使用してテンプレート内の背景部分を除去したものをテンプレートとしてテンプレートデータベースに予め記憶させるようにしてもよい。
【００９１】
実施の形態４．
図１４はこの発明の実施の形態４による移動体検出装置の構成を示すブロック図である。図１４において、６は時間の経過とともに撮像された複数の入力画像について画素毎に輝度値の変化量のばらつきに応じて入力画像に基づいて背景画像を更新する背景生成部（背景画像更新手段）である。
【００９２】
背景生成部６において、３１は順次撮像される複数の入力画像に対応する背景差分に基づいて画素毎に輝度値の変化量のばらつきを計算し、そのばらつきに基づいて移動体の有無を画素毎に判定し、その判定結果に基づいて移動体マスク画像を生成する移動体マスク生成部であり、３２は各時間帯の移動体マスク画像およびその時間帯に撮像されたいずれかの入力画像から背景画像を生成し、背景画像データベース２の背景画像を更新する背景画像更新部である。なお、図１４におけるその他の構成要素については実施の形態１または実施の形態２によるもの（図１、図８）と同様であるので、その説明を省略する。
【００９３】
次に動作について説明する。
図１５は実施の形態４による移動体検出装置の動作について説明するフローチャートである。まずこの実施の形態４による移動体検出装置はステップＳＴ３１〜ステップＳＴ３３において実施の形態２におけるステップＳＴ１１〜ステップＳＴ１３（図９）と同様に動作し、ステップＳＴ３４において実施の形態１におけるステップＳＴ７（図４）と同様に動作する。
【００９４】
そしてステップＳＴ３５において、背景生成部６の移動体マスク生成部３１は所定の時間帯が経過したか否かを判断し、所定の時間帯が経過した場合にはステップＳＴ３６において、その時間帯に撮像された複数の入力画像に対応する背景差分に基づいて画素毎に輝度値の変化量のばらつきを計算し、そのばらつきに基づいてその時間帯における移動体の有無を画素毎に判定し、その判定結果に基づいて移動体マスク画像を生成する。
【００９５】
このとき、移動体マスク生成部３１は画素毎に差分値の時間的なばらつきを観測し、ばらつきが所定の閾値以下である場合、その画素は移動体に含まれないと判断する。ここで、ばらつきとしては分散などの統計的指標を使用することができる。また、移動体マスク画像は、その時間帯に移動体が存在したと判断された画素を１とし、それ以外の画素を０とした画像である。
【００９６】
次に背景画像更新部３２はステップＳＴ３７においてその移動体マスク画像とその時間帯に撮像された入力画像に基づいて背景画像を更新する。このとき、入力画像のうちの、移動体マスク画像の値が０である画素の部分で、背景画像データベース２の背景画像の対応する部分を更新する。
【００９７】
一方、ステップＳＴ３５において所定の時間帯が経過していないと判断した場合、背景生成部６は背景画像の更新は実行せず、ステップＳＴ３１〜ステップＳＴ３４の処理を繰り返し実行する。
【００９８】
以上、ステップＳＴ３１〜ステップＳＴ３７の処理が所定の時間間隔で繰り返し実行される。
【００９９】
以上のように、この実施の形態４によれば、入力画像の各画素値の変化の時間的なばらつきを観測して移動体マスク画像を生成し、移動体マスク画像に基づいて背景画像を更新するようにしたので、背景画像への移動体の混入を抑制することができ、環境変動、構造物の変動などがあっても移動体を迅速かつ正確に検出することができるという効果が得られる。
【０１００】
なお、入力画像の各画素値に変化のある時間帯でのばらつきを観測し、さらに連続する複数の時間帯で同様にばらつきを観測し、ばらつきの安定度合に基づいて背景画像を更新するようにすれば、より効果的である。
【０１０１】
また、この実施の形態４では、画素毎に輝度値の差分値の時間的なばらつきを観測して移動体の有無を判定するようにしているが、複数個の画素からなる局所ブロック単位で移動体の有無を判定するようにしてもよい。同様に、背景差分の計算や背景画像の更新も局所ブロック単位で行うようにしてもよい。
【０１０２】
さらに、この実施の形態４では、移動体マスク画像に基づいて背景画像の一部を、入力画像の対応する部分で更新するようにしているが、例えば元の背景画像の画素の輝度値と入力画像の画素の輝度値との平均値を新しい背景画像の画素の輝度値とするようにしてもよい。
【０１０３】
さらに、この実施の形態４では、初期の背景画像の生成方法、移動体の発見方法や移動体の追跡方法は特に限定されるものではなく、例えば実施の形態１〜実施の形態３と同様にしても勿論よい。
【０１０４】
さらに、この実施の形態４では、移動体マスク画像の生成において移動体の有無を時間的に解析するようにしているため、その結果に基づいて移動体の位置を検出して移動体を追跡するようにしてもよい。
【０１０５】
実施の形態５．
図１６はこの発明の実施の形態５による移動体検出装置の構成を示すブロック図である。図１６において、７は輝度値変化領域が画像または画像のうちの所定の特定区域の所定の割合以上を占めている場合において、所定の数以上の移動体が発見されない時、または移動体の追跡において移動体が検出されない時には、移動体の概数および平均移動速度を計算する混雑度概算部（計算手段）である。なお、図１６におけるその他の構成要素については実施の形態１または実施の形態２によるもの（図１，図８）と同様であるのでその説明を省略する。
【０１０６】
次に動作について説明する。
図１７は実施の形態５による移動体検出装置の動作について説明するフローチャートである。まずこの実施の形態５による移動体検出装置はステップＳＴ４１〜ステップＳＴ４３において実施の形態２におけるステップＳＴ１１〜ステップＳＴ１３（図９）と同様に動作し、ステップＳＴ４４において実施の形態１におけるステップＳＴ７（図４）と同様に動作する。
【０１０７】
そしてステップＳＴ４５において、混雑度概算部７は、輝度値変化領域が画像の全体または所定の特定区域の所定の割合以上を占めており、かつ移動体発見部４により移動体が輝度値変化領域の大きさに応じて設定される所定の数以上発見されていないという第１の条件、および輝度値変化領域が画像の全体または所定の特定区域の所定の割合以上を占めており、かつ移動体追跡部５により移動体が検出されていないという第２の条件のいずれかが満足されるか否かを判断する。
【０１０８】
第１および第２の条件のいずれかが満足される場合には、混雑度概算部７は、移動体が混雑しすぎて発見や追跡が困難になったと判断し、ステップＳＴ４６において移動体混雑度として、画像全体または特定区域における輝度値変化領域の大きさおよび移動体モデルの面積に基づいて移動体の概数を計算し、さらに輝度値変化領域での輝度値の時間的変化に基づいて移動体の平均移動速度を計算する。なお、移動体の平均移動速度は、例えば輝度値変化領域における適当な複数の場所におけるオプティカルフローに基づいて計算する。ここでオプティカルフローとは画像上での見かけの速度分布である。
【０１０９】
一方、ステップＳＴ４５において第１および第２の条件のいずれも満足されない場合には、正常に移動体が発見、追跡されていると判断し、移動体混雑度の計算は実行されない。
【０１１０】
なお、ステップＳＴ４５において移動体が混雑しすぎて発見や追跡が困難になったと判断した場合には、装置の出力として、本来の発見追跡結果の代わりに、概算した移動体数、平均移動速度が出力される。
【０１１１】
以上のように、この実施の形態５によれば、輝度値変化領域が画像または画像のうちの所定の特定区域の所定の割合以上を占めている場合において、輝度値変化領域の大きさに応じて設定される所定の数以上の移動体が発見されない時、または移動体が検出されず追跡が困難な時には、移動体の概数や平均移動速度を計算するようにしたので、移動体が混雑している場合には移動体の概数や移動体の平均移動速度に基づいて移動体の挙動を知ることができるという効果が得られる。
【０１１２】
なお、この実施の形態５では、オプティカルフローを使って移動体の平均移動速度を計算するようにしているが、特に限定されるものではなく、例えば次のようにして計算するようにしてもよい。すなわち、画像の全体または特定区域に占める輝度値変化領域を、移動体の想定される進行方向に対して垂直方向へ投影し、この投影分布の時間的な変動から平均移動速度を計算するようにしてもよい。
【０１１３】
また、この実施の形態５では、背景画像の生成方法は特に限定されず、また、画像が入力されるたびに背景画像を更新するようにしてもよい。
【０１１４】
さらに、この実施の形態５では、変化領域抽出部３は、背景画像と入力画像との輝度値の差を計算して輝度値変化領域を抽出するようにしたが、特に限定されるものではなく、時間的に異なる入力画像同士の輝度値の差を計算して輝度値変化領域を抽出してもよい。その場合には背景画像データベース２は特に必要ない。また、輝度値の差を計算する場合、画素単位で計算してもよいし、複数個の画素からなる局所ブロック単位で空間的な輝度分布形状の差として計算してもよい。
【０１１５】
さらに、この実施の形態５では、移動体発見部４における移動体の発見方法や移動体追跡部５における移動体の追跡方法は特に限定されない。なお、実施の形態１における移動体発見部４Ａや実施の形態２における移動体発見部５Ａと同様にしても勿論よい。
【０１１６】
【発明の効果】
以上のように、この発明によれば、所定の周期で画像を撮像し、撮像した画像のうちの輝度値変化領域を抽出し、検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンと輝度値変化領域に基づいて移動体候補を検出し、画像のうちの移動体候補の周辺と移動体モデルとを比較して移動体を発見し、発見した移動体を順次撮像される画像に基づいて追跡するように構成したので、ハフ変換による頑健性を損なわないで、移動体発見に要する計算時間や記憶容量を低減することができ、迅速かつ正確に移動体を検出することができるという効果がある。特に検出対象である移動体の種類が多い場合、この効果は顕著である。
【０１１７】
この発明によれば、各移動体モデルの大きさに応じた重みを付けて合成された移動体モデル合成パターンを使用するようにしたので、投票後にパラメータ空間に現れる極大点が明確になり（鋭くなり）、移動体候補の発見率を高くすることができるとともに移動体候補点の誤検出を減少することができるという効果がある。
【０１１８】
この発明によれば、所定の周期で画像を撮像し、撮像した画像のうちの輝度値変化領域を抽出し、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見し、発見した移動体の部分の画像をテンプレートとして画像から抽出し、次回以降に撮像される画像のうちの前記変化領域抽出手段により抽出された領域に対応した部分のみを使用してそのテンプレートとの類似度を計算するテンプレートマッチングを行い、移動体を順次検出して追跡するように構成したので、テンプレートマッチングに要する計算時間が低減することができ、迅速かつ正確に移動体を検出することができるという効果がある。
【０１１９】
また、テンプレートに検出対象である移動体以外の背景が含まれている場合でも、テンプレートが背景に適合することなく正確なマッチングをすることができ、迅速かつ正確に移動体を検出することができるという効果がある。
【０１２０】
この発明によれば、移動体の追跡において、次回以降に撮像される画像のうちの輝度値変化領域に対応した部分のみを使用してテンプレートとの類似度を計算するテンプレートマッチングを行い移動体の位置を検出し、検出した移動体に対応する部分の輝度値変化領域の重心位置に基づいてその移動体の位置を補正するように構成したので、その時点での移動体の位置が迅速かつ正確に検出され、移動体を正確に追跡することができるという効果がある。
【０１２１】
この発明によれば、移動体の追跡において、補正後の移動体の位置に基づいて画像から移動体の部分の画像をテンプレートとして抽出してテンプレートを更新するように構成したので、テンプレートの更新に伴う移動体の位置誤差の累積が抑制され、迅速かつ正確に移動体を検出することができるという効果がある。
【０１２２】
この発明によれば、所定の周期で画像を撮像し、時間の経過とともに撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量のばらつきに応じて画像に基づいて背景画像を更新し、背景画像を使用して、撮像した画像のうち輝度値変化領域を抽出し、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見し、順次撮像される画像に基づいて、発見した移動体を追跡するように構成したので、背景画像への移動体の混入を抑制することができ、環境変動、構造物の変動などがあっても迅速かつ正確に移動体を検出することができるという効果がある。
【０１２３】
この発明によれば、背景画像の更新において、撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量のばらつきを所定の期間の経過毎に計算し、複数の所定の期間におけるばらつきの変化に応じて背景画像を更新するように構成したので、より背景画像への移動体の混入を抑制することができるという効果がある。
【０１２４】
この発明によれば、所定の周期で画像を撮像する画像撮像手段と、画像撮像手段により撮像された画像のうちの輝度値変化領域を抽出する変化領域抽出手段と、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体の発見を試みる移動体発見手段と、画像撮像手段により順次撮像される画像において移動体発見手段により発見された移動体を検出し追跡を試みる移動体追跡手段と、輝度値変化領域が画像または画像のうちの所定の特定区域の所定の割合以上を占めている場合において、移動体発見手段により所定の数以上の移動体が発見されない時、または移動体追跡手段により移動体が検出されない時には、移動体の概数および平均移動速度のうちの少なくとも１つを計算する計算手段とを備えるようにしたので、移動体が混雑している場合には移動体の概数や平均移動速度に基づいて移動体の挙動を知ることができるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による移動体検出装置の構成を示すブロック図である。
【図２】 移動体モデルの例を示す図である。
【図３】 投票パターンの一例を示す図である。
【図４】 実施の形態１による移動体検出装置の動作について説明するフローチャートである。
【図５】 投票処理について説明する図である。
【図６】 極大点検出処理について説明する図である。
【図７】 モデルマッチングについて説明する図である。
【図８】 この発明の実施の形態２による移動体検出装置の構成を示すブロック図である。
【図９】 実施の形態２による移動体検出装置の動作について説明するフローチャートである。
【図１０】 入力画像の一例とそれに対応する輝度値変化領域の中間調画像を示す図面代用写真である。
【図１１】 実施の形態２におけるテンプレートマッチングを説明する中間調画像を示す図面代用写真である。
【図１２】 この発明の実施の形態３による移動体検出装置の構成を示すブロック図である。
【図１３】 実施の形態３による移動体検出装置の動作について説明するフローチャートである。
【図１４】 この発明の実施の形態４による移動体検出装置の構成を示すブロック図である。
【図１５】 実施の形態４による移動体検出装置の動作について説明するフローチャートである。
【図１６】 この発明の実施の形態５による移動体検出装置の構成を示すブロック図である。
【図１７】 実施の形態５による移動体検出装置の動作について説明するフローチャートである。
【図１８】 ハフ変換に基づく従来の移動体検出方法を説明するフローチャートである。
【図１９】 ハフ変換での投票およびピーク検出を説明する図である。
【図２０】 複数の検出対象を使用した場合のハフ変換での投票およびピーク検出を説明する図である。
【図２１】 テンプレートマッチングに基づく従来の移動体検出方法を説明するフローチャートである。
【図２２】 テンプレートマッチングを説明する中間調画像を示す図面代用写真である。
【符号の説明】
１ 画像入力部（画像撮像手段）、３ 変化領域抽出部（変化領域抽出手段）、４，４Ａ 移動体発見部（移動体発見手段）、５，５Ａ 移動体追跡部（移動体追跡手段）、６ 背景生成部（背景画像更新手段）、７ 混雑度概算部（計算手段）。
【発明の属する技術分野】
この発明は、所定の場所の画像を所定の周期で撮像し、その画像に基づいて人や車両などの移動体を発見、追跡し、特に建造物等への侵入者検知や道路の交通流計測などに使用される移動体検出装置および移動体検出方法に関するものである。
【０００２】
【従来の技術】
ある対象を画像において検出する方法として例えば「Ｈｏｕｇｈ変換に基づく図形検出法の新展開」（和田、松山著、情報処理学会誌、１９９５年３月、第２５３頁〜第２６３頁）に記載のハフ変換がある。図１８はハフ変換に基づく従来の移動体検出方法を説明するフローチャートであり、図１９はハフ変換での投票およびピーク検出を説明する図であり、図２０は複数の検出対象を使用した場合のハフ変換での投票およびピーク検出を説明する図である。
【０００３】
ハフ変換に基づいて画像において移動体などの対象を検出する場合、まず画像を用意し（ステップＳＴ１０１）、画像中の各特徴点に対応して、その点を含むそれぞれ位置／姿勢／形状が異なる検出対象の存在を仮定して、検出対象の位置／姿勢／形状を表現するパラメータ空間中の点に「投票」を行う（ステップＳＴ１０２）。そして、パラメータ空間中の各点が何個の特徴点に対応して投票を受けたかを調べ（例えば投票数の極大点を検出し）、画像中に検出対象が存在するか否かを決定する（ステップＳＴ１０３）。
【０００４】
例えば図１９（ａ）に示す特定形状、特定姿勢の四角形である検出対象を二値画像において検出する場合について具体的に説明する。なお図１９（ａ）に示す検出対象の横幅をＷとし、高さをＨとし、パラメータ空間の各点（ｘ，ｙ）は、四角形の右下角の位置を表現するものとする。また、二値画像およびパラメータ空間は、左上を原点とする座標軸を有するものとする。
【０００５】
そして図１９（ｂ）に示すように二値画像内の各特徴点（Ｘｉ，Ｙｉ）に対応して、パラメータ空間中の以下の範囲の各点（ｘ，ｙ）に１票ずつを投じる（ステップＳＴ１０２）。
Ｘｉ＜ｘ＜Ｘｉ＋Ｗ
Ｙｉ＜ｙ＜Ｙｉ＋Ｈ
【０００６】
すべての特徴点に対応するパラメータ空間への投票を実行した後、パラメータ空間において、多くの特徴点からの投票を受けた点であり、かつ周辺の投票数に比べ突出した値を有する点（すなわち極大点）を抽出する（ステップＳＴ１０３）。そのような点が抽出された場合、その点の座標値を（Ｘｐ，Ｙｐ）とすると、画像中の（Ｘｐ，Ｙｐ）の位置を右下角とする四角形が存在すると判断する。一方、そのような点がパラメータ空間において抽出されない場合には、検出対象である四角形が存在しないと判断する。
【０００７】
このようにしてハフ変換に基づいて対象が画像において検出される。なお、上述したものは対象が１つである場合であるが、ハフ変換に基づいて複数種類の対象を画像において同等に検出することも可能である。
【０００８】
例えば図２０（ａ）に示すように複数種類の対象を検出する場合には、図２０（ｂ）に示すように検出対象毎にパラメータ空間を用意し、画像内の各特徴点に対応して、検出対象毎に、パラメータ空間における検出対象に応じた範囲の各点へそれぞれ投票し、すべての特徴点に対応するパラメータ空間への投票を実行した後、各パラメータ空間における投票数の極大点を探索して検出対象を検出する。
【０００９】
以上のようにして、ハフ変換に基づいて移動体などの対象が検出される。ハフ変換は「投票による証拠情報の統合」と「多数決原理」に基づく対象検出法であり、個々の証拠情報に誤りや欠落があっても全体としては安定な処理を行うことができる。
【００１０】
次に、ある対象を画像において発見、追跡する方法としてテンプレートマッチングがある。図２１は、例えば特開平６−３０４１７号公報に記載のテンプレートマッチングに基づく従来の移動体検出方法を説明するフローチャートであり、図２２はテンプレートマッチングを説明する中間調画像を示す図面代用写真である。
【００１１】
この従来の移動体検出方法では、まず画像を入力し（ステップＳＴ１１１）、前時刻における車両の位置に基づき、図２２に示すように入力画像上に探索範囲（検出対象を探索する範囲）を設定する（ステップＳＴ１１２）。次に、予め登録されている車両テンプレートまたは前時刻に入力画像から切り出された車両テンプレートと、探索範囲内の各部分画像との間で類似度を計算する（ステップＳＴ１１３）。なお、各部分画像は、車両テンプレートと同一のサイズでその位置を順次変えながら入力画像より切り出される。
【００１２】
このときの類似度としては式（１）に示すような正規化相互相関Ｍｃｏｒｒや式（２）に示すような輝度値の残差（誤差の総和）などが使用される。
【数１】
【００１３】
探索範囲内のすべての部分画像との類似度を計算した後、類似度が所定の閾値以上であり、かつ周辺の類似度に比べ突出した値を有する位置を検索し、そのような位置を検出した場合、その画像の撮影時点において車両がその位置に存在すると判断する（ステップＳＴ１１４）。
【００１４】
以上のようにして、テンプレートマッチングに基づき移動体が検出される。なお、所定の周期で入力される画像に対してステップＳＴ１１１〜ステップＳＴ１１４の処理を繰り返すことにより車両を追跡することができる。一般的に、テンプレートマッチングは検出対象の部分画像をテンプレートとして使用して検出するため、検出対象に多少の隠蔽が生じても認識が可能である。
【００１５】
また、対象の画像が含まれる入力画像系列に基づいて背景のみの画像（背景画像）を更新し、その背景画像を使用して確実に移動体を検出する例えば特開平８−３１７３７３号公報に記載の従来の移動体検出方法がある。
【００１６】
この方法では、所定時間内に入力された複数の画像Ｉｉについて、式（３）に示すように、画素毎に輝度値のメディアン値を計算し、そのメディアン値で構成される画像ｒで背景画像を更新する。なお、メディアン値とは、複数の値を昇順または降順に整列した場合に中央に位置する値のことである。
【数３】
【００１７】
【発明が解決しようとする課題】
従来の移動体検出方法は以上のように構成されているので、ハフ変換に基づく従来の移動体検出方法では検出対象を表現するパラメータ（位置、姿勢、形状）や検出対象の数が増えると、計算時間や記憶容量がパラメータ空間の次元数のべき乗に比例して増加し、迅速に移動体を検出することが困難であるなどの課題があった。
【００１８】
また、テンプレートマッチングに基づく従来の移動体検出方法では、一般に探索に要する演算量が多く、多くの計算時間を要するとともに、テンプレートに対象以外の背景が含まれる場合（例えば車両テンプレートに道路が含まれる場合）テンプレートと背景との類似度が高くなり（すなわち道路に適合しやすくなり）移動体の位置を誤検出してしまい、また、検出対象の移動に伴って画像上での対象の見かけの大きさや形状が変化するため、それに応じてテンプレートを逐次更新する場合に位置誤差が累積し、本来の移動体の位置から検出位置が次第にずれていき、正確に移動体を検出することが困難であるという課題があった。
【００１９】
さらに、従来の移動体検出方法において背景画像を更新する場合、所定の時間に撮影される複数の画像の各画素の輝度値のメディアン値に基づいて背景画像を生成しているが、移動体が低速で移動したり移動体の数が多い場合にはその所定の時間において画像内での移動体の存在時間が長くなり背景画像に移動体の一部が混入し、背景画像に基づいて正確に移動体を検出することが困難になる可能性があるという課題があった。
【００２０】
さらに、一般的に検出対象である移動体が混雑して多くの移動体が画像内に存在すると、ハフ変換やテンプレートマッチングを利用しても混雑度が高くなるにつれ、移動体を発見することも、発見した移動体を追跡することも困難になるという課題があった。
【００２１】
すなわち、以上のように従来の移動体検出方法では、迅速かつ正確に移動体を検出することが困難であるなどの課題があった。
【００２２】
この発明は上記のような課題を解決するためになされたもので、検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンと移動体候補を検出した後、画像のうちの移動体候補の周辺と移動体モデルとを比較して移動体を発見するようにして、ハフ変換による頑健性を損なわないで移動体発見に要する計算時間や記憶容量を低減し、迅速かつ正確に移動体を検出することができる移動体検出装置および移動体検出方法を得ることを目的とする。
【００２３】
また、この発明は、発見された移動体の部分画像を入力画像からテンプレートとして切りだし、次回以降に撮像される画像のうちの輝度値変化領域に対応した部分とテンプレートとをテンプレートマッチングし、移動体を順次検出して追跡するようにして、マッチングする領域を低減して計算時間を低減し、迅速かつ正確に移動体を検出することができる移動体検出装置および移動体検出方法を得ることを目的とする。
【００２４】
さらに、この発明は、検出した移動体に対応する部分の輝度値変化領域の重心位置に基づいて補正した移動体の位置に基づいて画像から移動体の部分の画像をテンプレートとして抽出してテンプレートを更新するようにして、テンプレートの更新に起因する位置誤差の累積を抑制することができ、迅速かつ正確に移動体を検出することができる移動体検出装置および移動体検出方法を得ることを目的とする。
【００２５】
さらに、この発明は、時間の経過とともに撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量のばらつきに応じて画像に基づいて背景画像を更新するようにして、更新する背景画像への移動体の画像などの混入を抑制し、迅速かつ正確に移動体を検出することができる移動体検出装置および移動体検出方法を得ることを目的とする。
【００２６】
さらに、この発明は輝度値変化領域が画像または画像のうちの所定の特定区域の所定の割合以上を占めている場合において、輝度値変化領域の大きさに応じて設定される所定の数以上の移動体が発見されない時、または移動体が検出されず追跡が困難な時には、輝度値変化領域の大きさおよび移動体モデルの面積に基づく移動体の概数や輝度値変化領域での輝度値の時間的変化に基づく移動体の平均移動速度を計算して、移動体が混雑している場合には移動体の概数や移動体の平均移動速度に基づいて移動体の挙動を知ることができる移動体検出装置および移動体検出方法を得ることを目的とする。
【００２７】
【課題を解決するための手段】
この発明に係る移動体検出装置は、所定の周期で画像を撮像する画像撮像手段と、画像撮像手段により撮像された画像のうち、輝度値が変化した領域（輝度値変化領域）を抽出する変化領域抽出手段と、検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンと輝度値変化領域に基づいて移動体候補を検出した後、画像のうちの移動体候補の周辺と移動体モデルとを比較して移動体を発見する移動体発見手段と、移動体発見手段により発見された移動体を画像撮像手段により順次撮像される画像に基づいて追跡する移動体追跡手段とを備えるものである。
【００２８】
この発明に係る移動体検出装置は、各移動体モデルの大きさに応じた重みを付けて合成された移動体モデル合成パターンを使用するようにしたものである。
【００２９】
この発明に係る移動体検出方法は、所定の周期で画像を撮像するステップと、撮像した画像のうちの輝度値変化領域を抽出するステップと、検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンと輝度値変化領域に基づいて移動体候補を検出するステップと、画像のうちの移動体候補の周辺と移動体モデルとを比較して移動体を発見するステップと、発見した移動体を順次撮像される画像に基づいて追跡するステップとを備えるものである。
【００３０】
この発明に係る移動体検出装置は、所定の周期で画像を撮像する画像撮像手段と、画像撮像手段により撮像された画像のうちの輝度値変化領域を抽出する変化領域抽出手段と、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見する移動体発見手段と、移動体発見手段により発見された移動体の部分の画像をテンプレートとして画像から抽出し、次回以降に撮像される画像のうちの輝度値変化領域に対応した部分のみを使用してテンプレートとの類似度を計算するテンプレートマッチングを行い、移動体を順次検出して追跡する移動体追跡手段とを備えるものである。
【００３１】
この発明に係る移動体検出装置は、移動体追跡手段において、次回以降に撮像される画像のうちの輝度値変化領域に対応した部分のみを使用してテンプレートとの類似度を計算するテンプレートマッチングを行い移動体の位置を検出し、検出した移動体に対応する部分の輝度値変化領域の重心位置に基づいてその移動体の位置を補正するようにしたものである。
【００３２】
この発明に係る移動体検出装置は、移動体追跡手段において、移動体の位置が変化した場合、補正後の移動体の位置に基づいて画像から移動体の部分の画像をテンプレートとして抽出してテンプレートを更新するようにしたものである。
【００３３】
この発明に係る移動体検出方法は、所定の周期で画像を撮像するステップと、撮像した画像のうちの輝度値変化領域を抽出するステップと、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見するステップと、発見した移動体の部分の画像をテンプレートとして画像から抽出し、次回以降に撮像される画像のうちの輝度値変化領域のみを使用してテンプレートとの類似度を計算するテンプレートマッチングを行い、移動体を順次検出して追跡するステップとを備えるものである。
【００３４】
この発明に係る移動体検出装置は、所定の周期で画像を撮像する画像撮像手段と、時間の経過とともに撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量の時間的なばらつきを所定の期間経過毎に計算し、複数の前記所定の期間における前記ばらつきの変化が閾値以下である画素または局所ブロック内の画素について、背景画像の画素の輝度値を前記画像の画素の輝度値で更新、または、背景画像の画素の元の輝度値と前記画像の画素の輝度値の平均値で新しい背景画像の画素の輝度値とする背景画像更新手段と、背景画像を使用して、画像撮像手段により撮像された画像のうち輝度値変化領域を抽出する変化領域抽出手段と、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見する移動体発見手段と、移動体発見手段により発見された移動体を画像撮像手段により順次撮像される画像に基づいて追跡する移動体追跡手段とを備えるものである。
【００３６】
この発明に係る移動体検出方法は、所定の周期で画像を撮像するステップと、時間の経過とともに撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量の時間的なばらつきを所定の期間経過毎に計算し、複数の所定の期間におけるばらつきの変化が閾値以下である画素または局所ブロック内の画素について、背景画像の画素の輝度値を前記画像の画素の輝度値で更新、または、背景画像の画素の元の輝度値と前記画像の画素の輝度値の平均値で新しい背景画像の画素の輝度値とするステップと、背景画像を使用して、撮像した画像のうち輝度値変化領域を抽出するステップと、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見するステップと、発見した移動体を順次撮像する画像に基づいて追跡するステップとを備えるものである。
【００３７】
この発明に係る移動体検出装置は、所定の周期で画像を撮像する画像撮像手段と、画像撮像手段により撮像された画像のうちの輝度値変化領域を抽出する変化領域抽出手段と、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体の発見を試みる移動体発見手段と、画像撮像手段により順次撮像される画像において移動体発見手段により発見された移動体を検出し、追跡を試みる移動体追跡手段と、輝度値変化領域が画像または画像のうちの所定の特定区域の所定の割合以上を占めている場合において、移動体発見手段により輝度値変化領域の大きさに応じた所定の数以上の移動体が発見されない時、または移動体追跡手段により移動体が検出されない時には、輝度値変化領域の大きさおよび移動体モデルの面積に基づく移動体の概数、並びに輝度値変化領域での輝度値の時間的変化に基づく移動体の平均移動速度のうちの少なくとも１つを計算する計算手段とを備えるものである。
【００３８】
この発明に係る移動体検出方法は、所定の周期で画像を撮像するステップと、撮像した画像のうちの輝度値変化領域を抽出するステップと、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体の発見を試みるステップと、発見した移動体を、順次撮像される画像において検出し、追跡を試みるステップと、輝度値変化領域が画像またはその画像のうちの所定の特定区域の所定の割合以上を占めている場合において、輝度値変化領域の大きさに応じた所定の数以上の移動体が発見されない時、または移動体の追跡において移動体が検出されない時には、輝度値変化領域の大きさおよび移動体モデルの面積に基づく移動体の概数、並びに輝度値変化領域での輝度値の時間的変化に基づく移動体の平均移動速度のうちの少なくとも１つを計算するステップとを備えるものである。
【００３９】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による移動体検出装置の構成を示すブロック図である。図１において、１はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子により所定の周期で画像を撮像し、その画像をデジタルデータとして記憶する画像入力部（画像撮像手段）であり、２は検出対象である移動体の存在しない画像（背景画像）を予め記憶する背景画像データベースであり、３は画像入力部１により撮像された画像のうち、背景画像と比較して輝度値が変化した領域（輝度値変化領域）を抽出する変化領域抽出部（変化領域抽出手段）である。
【００４０】
４Ａは検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンを使用したハフ変換に従って輝度値変化領域に基づいて移動体候補を検出した後、撮像された画像のうちの移動体候補の周辺と移動体モデルとを比較して移動体を発見する移動体発見部（移動体発見手段）であり、５は移動体発見部４Ａにより発見された移動体を画像入力部１により順次撮像される画像に基づいて追跡する移動体追跡部（移動体追跡手段）である。
【００４１】
移動体発見部４Ａにおいて、１１は移動体モデル合成パターン（投票パターン）を予め記憶する投票パターンデータベースであり、１２は投票パターンを使用したハフ変換に従って輝度値変化領域の各画素に対応してパラメータ空間への投票処理を実行する投票部であり、１３はパラメータ空間における投票度数の１つまたは複数の極大点を移動体候補点として検出する極大点検出部であり、１４は各種形状および各種姿勢の移動体のモデルである移動体モデルの集合を予め記憶する移動体モデルデータベースであり、１５は各移動体候補点において、移動体候補点の周辺の輝度値変化領域と各移動体モデルとの一致度を計算し、移動体の有無および形状や姿勢を決定するモデルマッチング部である。
【００４２】
図２は移動体モデルの例を示す図であり、図３は投票パターンの一例を示す図である。図２に示すように、移動体モデルはそれぞれ形状、姿勢（大きさを含む）の異なるシルエットモデルとする。そして図３に示すように、各移動モデルの領域内の各点に対して移動体モデルの面積に応じた重みを設定する。例えば移動体モデルの面積の逆数に比例する重みを設定する。そして、すべての移動体モデルの左上の点を基準として移動体モデルを重ね合わせ、その領域の各点で重みを合成したものを投票パターンとする。
【００４３】
次に動作について説明する。
図４は実施の形態１による移動体検出装置の動作について説明するフローチャートである。図５は投票処理について説明する図であり、図６は極大点検出処理について説明する図であり、図７はモデルマッチングについて説明する図である。
【００４４】
装置が起動されるとステップＳＴ１において所定の周期毎に画像入力部１は画像を撮像し、記憶する。そして変化領域抽出部３は、ステップＳＴ２において、画像入力部１から最新の画像を、背景画像データベース２から背景画像をそれぞれ読み出し、その画像と背景画像との輝度値の差（背景差分）を画素毎に計算し、その背景差分を所定の閾値で二値化処理し、差分値の大きい画素集合（輝度値変化領域）を抽出する。すなわち画像に移動体が出現した場合、撮像された画像と背景画像とを比較すると、移動体に対応した画素集合またはその一部分に大きな差が現れ、その部分が輝度値変化領域として抽出される。したがって輝度値変化領域は移動体の存在を示す証拠情報になる。
【００４５】
次にステップＳＴ３において、移動体発見部４Ａの投票部１２は、図５に示すようにハフ変換に基づいて、輝度値変化領域の各画素の座標値（Ｘｉ，Ｙｉ）に対応するパラメータ空間の各点（Ｘｉ，Ｙｉ）に投票パターンの左上を合わせて、それぞれパラメータ空間へ投票パターンの各点の重みを投票する（すなわち、投票パターンの各点の重みを順次蓄積していく）。なお、パラメータ空間は、左上を原点とした入力画像と同じ座標軸（ｘ，ｙ）を有し、パラメータ空間の各点（ｘ，ｙ）は移動体モデルの右下の位置を表現するものとする。
【００４６】
輝度値変化領域のすべての画素に対して投票を実行した後、ステップＳＴ４において移動体発見部４Ａの極大点検出部１３は図６に示すようにパラメータ空間において投票度数の１つ、または複数の極大点を検出し、検出した点を移動体候補点（Ｘｐ，Ｙｐ）とする。したがってその移動体候補点を右下とする移動体が存在する可能性がある。
【００４７】
そしてステップＳＴ５において、移動体発見部４Ａのモデルマッチング部１５は、図７に示すように、各移動体候補点に対して、移動体候補点の周辺の輝度値変化領域（すなわち移動体候補の部分）と移動体モデルデータベース１４に記憶された各移動体モデルとの一致度を算出する。
【００４８】
このように、複数の移動体モデルを合成した投票パターンを使用したハフ変換では、移動体の候補位置しか分からない（移動体の形状等は分からない）ためハフ変換後にモデルマッチングを行うが、探索を行うわけではなく、移動体候補点を基準として各移動体モデルに対応する輝度値変化領域の部分と移動体モデルとのマッチングだけであるので、ほとんど計算時間を要さない。
【００４９】
モデルマッチング部１５はステップＳＴ６において各移動体候補点に対して一致度が所定の値より高い移動体モデルが存在するか否かを判断し、一致度が所定の値より高い移動体モデルが存在する場合、その移動体候補点を基準位置として、その移動体モデルの形状および姿勢に類似した移動体が存在すると判断し、一致度が所定の値より高い移動体モデルが存在しない場合、移動体が存在しないと判断する。
【００５０】
そしてステップＳＴ７において移動体追跡部５は、画像入力部１により順次撮像される画像においてそれまでに発見された移動体を検出して各移動体を経時的に追跡する。
【００５１】
以上のステップＳＴ１〜ステップＳＴ７の処理が所定の時間間隔で繰り返し実行される。
【００５２】
以上のように、この実施の形態１によれば、検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンを使用したハフ変換に従って移動体候補を検出した後、画像のうちの移動体候補の部分と移動体モデルとを比較して移動体を発見するようにしたので、ハフ変換による頑健性を損なわないで、移動体発見に要する記憶容量を低減することができるとともに迅速かつ正確に移動体の検出をすることができるいう効果が得られる。特に検出対象である移動体の種類が多い場合、この効果は顕著である。
【００５３】
また、複数種類の移動体モデルを合成した投票パターンを使用してもハフ変換の特長である「投票による証拠情報の統合」と「多数決原理」に基づく処理の頑健性については失われないため、背景差分に誤りや欠落があっても全体としては安定して移動体（の候補位置）を発見することができるという効果が得られる。
【００５４】
さらに、この実施の形態１によれば、移動体モデルの面積に応じた重みを重畳して投票パターンに設定するようにしたので、投票後にパラメータ空間に現れる極大点が明確になり（鋭くなり）、移動体候補の発見率を高くすることができるとともに移動体候補点の誤検出を減少することができるという効果が得られる。
【００５５】
なお、この実施の形態１では、複数の移動体モデルを合成した合成パターンを使用したハフ変換に従って移動体候補を検出したが、ハフ変換のかわりに、合成パターンと変化領域の畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）演算を行って、演算結果の極大点を探索して、移動体候補を検出してもよい。
【００５６】
また、この実施の形態１では、背景画像の生成方法は特に限定されず、また、画像が入力されるたびに背景画像を更新するようにしてもよい。
【００５７】
さらに、この実施の形態１では、変化領域抽出部３は背景画像と入力画像との輝度値の差を計算して輝度値変化領域を抽出するようにしたが、特に限定されるものではなく、時間的に異なる入力画像同士の輝度値の差を計算して輝度値変化領域を抽出してもよい。その場合には背景画像データベース２は特に必要ない。また、輝度値の差を計算する場合、画素単位で計算してもよいし、複数個の画素からなる局所ブロック単位で空間的な輝度分布形状の差として計算してもよい。
【００５８】
さらに、この実施の形態１では、各移動体モデルの面積に対応する重みを重畳して投票パターンに設定するようにしたが、重みの設定はこれに限定されるものではなく、移動体モデルの形状や姿勢に応じた重みを投票パターンに設定するようにしてもよい。
【００５９】
さらに、この実施の形態１では、移動体モデルを合成する際の基準点を移動体モデルの左上の点としたが、特にこれに限定されるものではない。同様に、パラメータ空間の各点（ｘ，ｙ）が移動体モデルの右下の位置を表現するようにしたが、特にこれに限定されるものではない。ただし、投票パターンの合成基準点とパラメータ空間の各点は相互に関連があるようにする。
【００６０】
さらに、画像とパラメータ空間の座標軸の取り方についても上述のように限定されるものではない。
【００６１】
さらに、この実施の形態１では、モデルマッチングにおける一致度を特に例示していないが、例えば移動体モデルとオーバラップする輝度値変化領域の割合などを一致度として使用すればよい。
【００６２】
さらに、この実施の形態１では、移動体追跡部５における移動体の追跡方法については特に限定されるものではなく、例えば各時刻に発見された移動体の位置およびそのときに適合した移動体モデルの種類に基づいて姿勢などを推定して、移動体を経時的に対応づけて追跡すればよい。
【００６３】
実施の形態２．
図８はこの発明の実施の形態２による移動体検出装置の構成を示すブロック図である。図８において、４は検出対象である移動体に対応する移動体モデルを使用して、変化領域抽出部３により抽出された輝度値変化領域より移動体を発見する移動体発見部（移動体発見手段）であり、５Ａは移動体発見部４により発見された移動体の部分の画像をテンプレートとして画像入力部１による画像（入力画像）から抽出し、次回以降に撮像される画像のうちの輝度値変化領域に対応した部分とテンプレートとをテンプレートマッチングし、移動体を順次検出して追跡する移動体追跡部（移動体追跡手段）である。
【００６４】
移動体追跡部５Ａにおいて、２１は移動体発見部４により発見された移動体の部分画像を入力画像からテンプレートとして切り出すテンプレート切出部であり、２２は切り出されたテンプレートを記憶するテンプレートデータベースであり、２３はテンプレートデータベース２２に記憶されているテンプレートと入力画像の輝度値変化領域に対応した部分との間でテンプレートマッチングを実行して移動体の現在の位置を検出するテンプレートマッチング部である。
【００６５】
なお、図８におけるその他の構成要素については実施の形態１によるもの（図１）と同様であるのでその説明を省略する。
【００６６】
次に動作について説明する。
図９は実施の形態２による移動体検出装置の動作について説明するフローチャートである。図１０は入力画像の一例とそれに対応する輝度値変化領域の中間調画像を示す図面代用写真である。図１１は実施の形態２におけるテンプレートマッチングを説明する中間調画像を示す図面代用写真である。
【００６７】
装置が起動されるとステップＳＴ１１において所定の周期毎に画像入力部１は画像を撮像し、記憶する。そして変化領域抽出部３は、実施の形態１と同様に、ステップＳＴ１２において、画像入力部１から最新の画像を、背景画像データベース２から背景画像をそれぞれ読み出し、その画像と背景画像との輝度値の差（背景差分）を画素毎に計算し、その背景差分を所定の閾値で二値化処理し、差分値の大きい画素集合（輝度値変化領域）を抽出する。
【００６８】
次にステップＳＴ１３において、移動体発見部４は、内蔵の図示せぬ移動体モデルデータベースに記憶されている複数種類の移動体モデルと変化領域抽出部３により抽出された輝度値変化領域との一致度に基づいて新規に出現した移動体を発見する。
【００６９】
そしてステップＳＴ１４において、移動体追跡部５Ａのテンプレート切出部２１は入力画像からその新規移動体の部分画像をテンプレートとして切り出し、テンプレートデータベース２２に記憶させる。
【００７０】
そしてステップＳＴ１５において、テンプレートマッチング部２３は、テンプレートデータベース２２において記憶されている各テンプレートと最新の入力画像の輝度値変化領域に対応した部分との間でテンプレートマッチングを実行して移動体の現在の位置を検出する。
【００７１】
このとき従来のテンプレートマッチングとは異なり、図１０に示すような入力画像のうちの輝度値変化領域に対応した部分のみを使用して、図１１に示すようにその部分の画像とテンプレートとの類似度（例えば式（１）や式（２）によるもの）が計算される。すなわち、類似度計算前に、入力画像のうちの輝度値変化領域の部分を抽出することにより、テンプレートマッチングされる入力画像から背景と考えられる部分が予め除去される。
【００７２】
そして、テンプレートマッチング部２３は、各テンプレートと探索範囲内のすべての部分画像との類似度をした後、類似度が所定の閾値以上であり、かつ周辺の類似度に比べ突出した値を有する位置を移動体の現在位置として検出する。このように、一旦発見した移動体を経時的に撮像される画像において検出することにより、移動体を追跡する。
【００７３】
なお、ステップＳＴ１１〜ステップＳＴ１５の処理は所定の時間間隔で繰り返し実行される。
【００７４】
以上のように、この実施の形態２によれば、発見された移動体の部分の画像をテンプレートとして画像から抽出し、次回以降に撮像される画像のうちの輝度値変化領域とテンプレートとをテンプレートマッチングし、移動体を順次検出して追跡するようにしたので、テンプレートマッチングに要する計算時間が低減することができ、移動体の検出を迅速かつ正確に実行することができるという効果が得られる。
【００７５】
また、この実施の形態２によれば、移動体の存在を示す証拠情報である輝度値変化領域の部分画像のみを利用したテンプレートマッチングでは、テンプレートに検出対象である移動体以外の一様な背景が含まれている場合でも、テンプレートが背景に適合することなく正確なマッチングをすることができ、正確に移動体を追跡することができるという効果が得られる。
【００７６】
なお、この実施の形態２では、背景画像の生成方法は特に限定されず、また、画像が入力されるたびに背景画像を更新するようにしてもよい。
【００７７】
また、この実施の形態２では、変化領域抽出部３は背景画像と入力画像との輝度値の差を計算して輝度値変化領域を抽出するようにしたが、特に限定されるものではなく、時間的に異なる入力画像同士の輝度値の差を計算して輝度値変化領域を抽出してもよい。その場合には、背景画像データベース２は特に必要ない。また、輝度値の差を計算する場合、画素単位で計算してもよいし、複数個の画素からなる局所ブロック単位で空間的な輝度分布形状の差として計算してもよい。
【００７８】
さらに、この実施の形態２では、移動体発見部４における移動体の発見方法は特に限定されない。実施の形態１における移動体発見部４Ａと同様にしても勿論よい。
【００７９】
さらに、この実施の形態２では、テンプレートマッチングの際に、入力画像のうちの輝度値変化領域の部分とテンプレートとをマッチングするようにして背景部分との適合を回避しているが、その代わりに、輝度値変化領域を使用してテンプレート内の背景部分を除去したものをテンプレートとしてテンプレートデータベースに予め記憶させるようにしてもよい。
【００８０】
実施の形態３．
図１２はこの発明の実施の形態３による移動体検出装置の構成を示すブロック図である。図１２において、２６は移動体の位置が変化した場合、移動体の位置に基づいて画像から移動体の部分の画像をテンプレートとして抽出してそのテンプレートを更新するテンプレート更新部である。なお、図１２におけるその他の構成要素については実施の形態２によるもの（図８）と同様であるのでその説明を省略する。
【００８１】
次に動作について説明する。
図１３は実施の形態３による移動体検出装置の動作について説明するフローチャートである。まずこの実施の形態３による移動体検出装置はステップＳＴ２１〜ステップＳＴ２５において、実施の形態２におけるステップＳＴ１１〜ステップＳＴ１５（図９）と同様に動作する。
【００８２】
そしてテンプレートマッチング部２３は、移動体の現在位置が検出された場合、ステップＳＴ２６において検出した移動体に対応する部分の輝度値変化領域の重心位置に基づいてその移動体の位置を補正する。このとき例えば、移動体の位置を重心位置に変更したり、移動体の位置を重心位置の方向へ所定の範囲内で近づけるようにして移動体の位置を補正する。
【００８３】
その後テンプレートマッチング部２３は補正後の移動体の位置をテンプレート更新部２６に供給する。そしてステップＳＴ２７において、テンプレート更新部２６は、供給された補正後の移動体の位置に基づいて、最新の入力画像から移動体に対応する部分を再度切り出し、テンプレートデータベース２２のテンプレートを更新する。
【００８４】
以上のように、この実施の形態３によれば、移動体追跡部５Ａにおいて、次回以降に撮像される画像のうちの輝度値変化領域とテンプレートとをテンプレートマッチングして移動体の位置を検出し、検出した移動体に対応する部分の輝度値変化領域の重心位置に基づいてその移動体の位置を補正するようにしたので、その時点での移動体の位置が迅速かつ正確に検出され、移動体を正確に追跡することができるという効果が得られる。
【００８５】
また、この実施の形態３によれば、輝度値変化領域の重心位置に基づいて補正した移動体の位置に基づいて画像から移動体の部分の画像をテンプレートとして抽出してテンプレートを更新するようにしたので、テンプレートの更新に伴う移動体の位置誤差の累積が抑制され、迅速かつ正確に移動体を追跡することができるという効果が得られる。
【００８６】
なお、この実施の形態３では移動体の追跡位置を補正するとともに補正後の位置に基づいてテンプレートを更新するようにしているが、移動体の追跡位置の補正をせずに、単に輝度値変化領域の重心位置に基づいてテンプレートの切出位置を補正するだけでもテンプレートの更新に伴う移動体の位置誤差の累積が抑制され、移動体を正確に追跡することができる。ただし、実施の形態３のように移動体の追跡位置を補正するようにしたほうが、上述のようにより移動体を正確に追跡することができる。
【００８７】
また、この実施の形態３では、背景画像の生成方法は特に限定されず、また、画像が入力されるたびに背景画像を更新するようにしてもよい。
【００８８】
さらに、この実施の形態３では、変化領域抽出部３は、背景画像と入力画像との輝度値の差を計算して輝度値変化領域を抽出するようにしたが、特に限定されるものではなく、時間的に異なる入力画像同士の輝度値の差を計算して輝度値変化領域を抽出してもよい。その場合には背景画像データベース２は特に必要ない。また、輝度値の差を計算する場合、画素単位で計算してもよいし、複数個の画素からなる局所ブロック単位で空間的な輝度分布形状の差として計算してもよい。
【００８９】
さらに、この実施の形態３では、移動体発見部４における移動体の発見方法は特に限定されない。実施の形態１における移動体発見部４Ａと同様にしても勿論よい。
【００９０】
さらに、この実施の形態３では、テンプレートマッチングの際に、入力画像のうちの輝度値変化領域の部分とテンプレートとをマッチングするようにして背景部分との適合を回避しているが、その代わりに、輝度値変化領域を使用してテンプレート内の背景部分を除去したものをテンプレートとしてテンプレートデータベースに予め記憶させるようにしてもよい。
【００９１】
実施の形態４．
図１４はこの発明の実施の形態４による移動体検出装置の構成を示すブロック図である。図１４において、６は時間の経過とともに撮像された複数の入力画像について画素毎に輝度値の変化量のばらつきに応じて入力画像に基づいて背景画像を更新する背景生成部（背景画像更新手段）である。
【００９２】
背景生成部６において、３１は順次撮像される複数の入力画像に対応する背景差分に基づいて画素毎に輝度値の変化量のばらつきを計算し、そのばらつきに基づいて移動体の有無を画素毎に判定し、その判定結果に基づいて移動体マスク画像を生成する移動体マスク生成部であり、３２は各時間帯の移動体マスク画像およびその時間帯に撮像されたいずれかの入力画像から背景画像を生成し、背景画像データベース２の背景画像を更新する背景画像更新部である。なお、図１４におけるその他の構成要素については実施の形態１または実施の形態２によるもの（図１、図８）と同様であるので、その説明を省略する。
【００９３】
次に動作について説明する。
図１５は実施の形態４による移動体検出装置の動作について説明するフローチャートである。まずこの実施の形態４による移動体検出装置はステップＳＴ３１〜ステップＳＴ３３において実施の形態２におけるステップＳＴ１１〜ステップＳＴ１３（図９）と同様に動作し、ステップＳＴ３４において実施の形態１におけるステップＳＴ７（図４）と同様に動作する。
【００９４】
そしてステップＳＴ３５において、背景生成部６の移動体マスク生成部３１は所定の時間帯が経過したか否かを判断し、所定の時間帯が経過した場合にはステップＳＴ３６において、その時間帯に撮像された複数の入力画像に対応する背景差分に基づいて画素毎に輝度値の変化量のばらつきを計算し、そのばらつきに基づいてその時間帯における移動体の有無を画素毎に判定し、その判定結果に基づいて移動体マスク画像を生成する。
【００９５】
このとき、移動体マスク生成部３１は画素毎に差分値の時間的なばらつきを観測し、ばらつきが所定の閾値以下である場合、その画素は移動体に含まれないと判断する。ここで、ばらつきとしては分散などの統計的指標を使用することができる。また、移動体マスク画像は、その時間帯に移動体が存在したと判断された画素を１とし、それ以外の画素を０とした画像である。
【００９６】
次に背景画像更新部３２はステップＳＴ３７においてその移動体マスク画像とその時間帯に撮像された入力画像に基づいて背景画像を更新する。このとき、入力画像のうちの、移動体マスク画像の値が０である画素の部分で、背景画像データベース２の背景画像の対応する部分を更新する。
【００９７】
一方、ステップＳＴ３５において所定の時間帯が経過していないと判断した場合、背景生成部６は背景画像の更新は実行せず、ステップＳＴ３１〜ステップＳＴ３４の処理を繰り返し実行する。
【００９８】
以上、ステップＳＴ３１〜ステップＳＴ３７の処理が所定の時間間隔で繰り返し実行される。
【００９９】
以上のように、この実施の形態４によれば、入力画像の各画素値の変化の時間的なばらつきを観測して移動体マスク画像を生成し、移動体マスク画像に基づいて背景画像を更新するようにしたので、背景画像への移動体の混入を抑制することができ、環境変動、構造物の変動などがあっても移動体を迅速かつ正確に検出することができるという効果が得られる。
【０１００】
なお、入力画像の各画素値に変化のある時間帯でのばらつきを観測し、さらに連続する複数の時間帯で同様にばらつきを観測し、ばらつきの安定度合に基づいて背景画像を更新するようにすれば、より効果的である。
【０１０１】
また、この実施の形態４では、画素毎に輝度値の差分値の時間的なばらつきを観測して移動体の有無を判定するようにしているが、複数個の画素からなる局所ブロック単位で移動体の有無を判定するようにしてもよい。同様に、背景差分の計算や背景画像の更新も局所ブロック単位で行うようにしてもよい。
【０１０２】
さらに、この実施の形態４では、移動体マスク画像に基づいて背景画像の一部を、入力画像の対応する部分で更新するようにしているが、例えば元の背景画像の画素の輝度値と入力画像の画素の輝度値との平均値を新しい背景画像の画素の輝度値とするようにしてもよい。
【０１０３】
さらに、この実施の形態４では、初期の背景画像の生成方法、移動体の発見方法や移動体の追跡方法は特に限定されるものではなく、例えば実施の形態１〜実施の形態３と同様にしても勿論よい。
【０１０４】
さらに、この実施の形態４では、移動体マスク画像の生成において移動体の有無を時間的に解析するようにしているため、その結果に基づいて移動体の位置を検出して移動体を追跡するようにしてもよい。
【０１０５】
実施の形態５．
図１６はこの発明の実施の形態５による移動体検出装置の構成を示すブロック図である。図１６において、７は輝度値変化領域が画像または画像のうちの所定の特定区域の所定の割合以上を占めている場合において、所定の数以上の移動体が発見されない時、または移動体の追跡において移動体が検出されない時には、移動体の概数および平均移動速度を計算する混雑度概算部（計算手段）である。なお、図１６におけるその他の構成要素については実施の形態１または実施の形態２によるもの（図１，図８）と同様であるのでその説明を省略する。
【０１０６】
次に動作について説明する。
図１７は実施の形態５による移動体検出装置の動作について説明するフローチャートである。まずこの実施の形態５による移動体検出装置はステップＳＴ４１〜ステップＳＴ４３において実施の形態２におけるステップＳＴ１１〜ステップＳＴ１３（図９）と同様に動作し、ステップＳＴ４４において実施の形態１におけるステップＳＴ７（図４）と同様に動作する。
【０１０７】
そしてステップＳＴ４５において、混雑度概算部７は、輝度値変化領域が画像の全体または所定の特定区域の所定の割合以上を占めており、かつ移動体発見部４により移動体が輝度値変化領域の大きさに応じて設定される所定の数以上発見されていないという第１の条件、および輝度値変化領域が画像の全体または所定の特定区域の所定の割合以上を占めており、かつ移動体追跡部５により移動体が検出されていないという第２の条件のいずれかが満足されるか否かを判断する。
【０１０８】
第１および第２の条件のいずれかが満足される場合には、混雑度概算部７は、移動体が混雑しすぎて発見や追跡が困難になったと判断し、ステップＳＴ４６において移動体混雑度として、画像全体または特定区域における輝度値変化領域の大きさおよび移動体モデルの面積に基づいて移動体の概数を計算し、さらに輝度値変化領域での輝度値の時間的変化に基づいて移動体の平均移動速度を計算する。なお、移動体の平均移動速度は、例えば輝度値変化領域における適当な複数の場所におけるオプティカルフローに基づいて計算する。ここでオプティカルフローとは画像上での見かけの速度分布である。
【０１０９】
一方、ステップＳＴ４５において第１および第２の条件のいずれも満足されない場合には、正常に移動体が発見、追跡されていると判断し、移動体混雑度の計算は実行されない。
【０１１０】
なお、ステップＳＴ４５において移動体が混雑しすぎて発見や追跡が困難になったと判断した場合には、装置の出力として、本来の発見追跡結果の代わりに、概算した移動体数、平均移動速度が出力される。
【０１１１】
以上のように、この実施の形態５によれば、輝度値変化領域が画像または画像のうちの所定の特定区域の所定の割合以上を占めている場合において、輝度値変化領域の大きさに応じて設定される所定の数以上の移動体が発見されない時、または移動体が検出されず追跡が困難な時には、移動体の概数や平均移動速度を計算するようにしたので、移動体が混雑している場合には移動体の概数や移動体の平均移動速度に基づいて移動体の挙動を知ることができるという効果が得られる。
【０１１２】
なお、この実施の形態５では、オプティカルフローを使って移動体の平均移動速度を計算するようにしているが、特に限定されるものではなく、例えば次のようにして計算するようにしてもよい。すなわち、画像の全体または特定区域に占める輝度値変化領域を、移動体の想定される進行方向に対して垂直方向へ投影し、この投影分布の時間的な変動から平均移動速度を計算するようにしてもよい。
【０１１３】
また、この実施の形態５では、背景画像の生成方法は特に限定されず、また、画像が入力されるたびに背景画像を更新するようにしてもよい。
【０１１４】
さらに、この実施の形態５では、変化領域抽出部３は、背景画像と入力画像との輝度値の差を計算して輝度値変化領域を抽出するようにしたが、特に限定されるものではなく、時間的に異なる入力画像同士の輝度値の差を計算して輝度値変化領域を抽出してもよい。その場合には背景画像データベース２は特に必要ない。また、輝度値の差を計算する場合、画素単位で計算してもよいし、複数個の画素からなる局所ブロック単位で空間的な輝度分布形状の差として計算してもよい。
【０１１５】
さらに、この実施の形態５では、移動体発見部４における移動体の発見方法や移動体追跡部５における移動体の追跡方法は特に限定されない。なお、実施の形態１における移動体発見部４Ａや実施の形態２における移動体発見部５Ａと同様にしても勿論よい。
【０１１６】
【発明の効果】
以上のように、この発明によれば、所定の周期で画像を撮像し、撮像した画像のうちの輝度値変化領域を抽出し、検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンと輝度値変化領域に基づいて移動体候補を検出し、画像のうちの移動体候補の周辺と移動体モデルとを比較して移動体を発見し、発見した移動体を順次撮像される画像に基づいて追跡するように構成したので、ハフ変換による頑健性を損なわないで、移動体発見に要する計算時間や記憶容量を低減することができ、迅速かつ正確に移動体を検出することができるという効果がある。特に検出対象である移動体の種類が多い場合、この効果は顕著である。
【０１１７】
この発明によれば、各移動体モデルの大きさに応じた重みを付けて合成された移動体モデル合成パターンを使用するようにしたので、投票後にパラメータ空間に現れる極大点が明確になり（鋭くなり）、移動体候補の発見率を高くすることができるとともに移動体候補点の誤検出を減少することができるという効果がある。
【０１１８】
この発明によれば、所定の周期で画像を撮像し、撮像した画像のうちの輝度値変化領域を抽出し、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見し、発見した移動体の部分の画像をテンプレートとして画像から抽出し、次回以降に撮像される画像のうちの前記変化領域抽出手段により抽出された領域に対応した部分のみを使用してそのテンプレートとの類似度を計算するテンプレートマッチングを行い、移動体を順次検出して追跡するように構成したので、テンプレートマッチングに要する計算時間が低減することができ、迅速かつ正確に移動体を検出することができるという効果がある。
【０１１９】
また、テンプレートに検出対象である移動体以外の背景が含まれている場合でも、テンプレートが背景に適合することなく正確なマッチングをすることができ、迅速かつ正確に移動体を検出することができるという効果がある。
【０１２０】
この発明によれば、移動体の追跡において、次回以降に撮像される画像のうちの輝度値変化領域に対応した部分のみを使用してテンプレートとの類似度を計算するテンプレートマッチングを行い移動体の位置を検出し、検出した移動体に対応する部分の輝度値変化領域の重心位置に基づいてその移動体の位置を補正するように構成したので、その時点での移動体の位置が迅速かつ正確に検出され、移動体を正確に追跡することができるという効果がある。
【０１２１】
この発明によれば、移動体の追跡において、補正後の移動体の位置に基づいて画像から移動体の部分の画像をテンプレートとして抽出してテンプレートを更新するように構成したので、テンプレートの更新に伴う移動体の位置誤差の累積が抑制され、迅速かつ正確に移動体を検出することができるという効果がある。
【０１２２】
この発明によれば、所定の周期で画像を撮像し、時間の経過とともに撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量のばらつきに応じて画像に基づいて背景画像を更新し、背景画像を使用して、撮像した画像のうち輝度値変化領域を抽出し、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体を発見し、順次撮像される画像に基づいて、発見した移動体を追跡するように構成したので、背景画像への移動体の混入を抑制することができ、環境変動、構造物の変動などがあっても迅速かつ正確に移動体を検出することができるという効果がある。
【０１２３】
この発明によれば、背景画像の更新において、撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量のばらつきを所定の期間の経過毎に計算し、複数の所定の期間におけるばらつきの変化に応じて背景画像を更新するように構成したので、より背景画像への移動体の混入を抑制することができるという効果がある。
【０１２４】
この発明によれば、所定の周期で画像を撮像する画像撮像手段と、画像撮像手段により撮像された画像のうちの輝度値変化領域を抽出する変化領域抽出手段と、検出対象である移動体に対応する移動体モデルを使用して、輝度値変化領域に基づいて移動体の発見を試みる移動体発見手段と、画像撮像手段により順次撮像される画像において移動体発見手段により発見された移動体を検出し追跡を試みる移動体追跡手段と、輝度値変化領域が画像または画像のうちの所定の特定区域の所定の割合以上を占めている場合において、移動体発見手段により所定の数以上の移動体が発見されない時、または移動体追跡手段により移動体が検出されない時には、移動体の概数および平均移動速度のうちの少なくとも１つを計算する計算手段とを備えるようにしたので、移動体が混雑している場合には移動体の概数や平均移動速度に基づいて移動体の挙動を知ることができるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による移動体検出装置の構成を示すブロック図である。
【図２】 移動体モデルの例を示す図である。
【図３】 投票パターンの一例を示す図である。
【図４】 実施の形態１による移動体検出装置の動作について説明するフローチャートである。
【図５】 投票処理について説明する図である。
【図６】 極大点検出処理について説明する図である。
【図７】 モデルマッチングについて説明する図である。
【図８】 この発明の実施の形態２による移動体検出装置の構成を示すブロック図である。
【図９】 実施の形態２による移動体検出装置の動作について説明するフローチャートである。
【図１０】 入力画像の一例とそれに対応する輝度値変化領域の中間調画像を示す図面代用写真である。
【図１１】 実施の形態２におけるテンプレートマッチングを説明する中間調画像を示す図面代用写真である。
【図１２】 この発明の実施の形態３による移動体検出装置の構成を示すブロック図である。
【図１３】 実施の形態３による移動体検出装置の動作について説明するフローチャートである。
【図１４】 この発明の実施の形態４による移動体検出装置の構成を示すブロック図である。
【図１５】 実施の形態４による移動体検出装置の動作について説明するフローチャートである。
【図１６】 この発明の実施の形態５による移動体検出装置の構成を示すブロック図である。
【図１７】 実施の形態５による移動体検出装置の動作について説明するフローチャートである。
【図１８】 ハフ変換に基づく従来の移動体検出方法を説明するフローチャートである。
【図１９】 ハフ変換での投票およびピーク検出を説明する図である。
【図２０】 複数の検出対象を使用した場合のハフ変換での投票およびピーク検出を説明する図である。
【図２１】 テンプレートマッチングに基づく従来の移動体検出方法を説明するフローチャートである。
【図２２】 テンプレートマッチングを説明する中間調画像を示す図面代用写真である。
【符号の説明】
１ 画像入力部（画像撮像手段）、３ 変化領域抽出部（変化領域抽出手段）、４，４Ａ 移動体発見部（移動体発見手段）、５，５Ａ 移動体追跡部（移動体追跡手段）、６ 背景生成部（背景画像更新手段）、７ 混雑度概算部（計算手段）。
Claims (11)
- 所定の周期で画像を撮像する画像撮像手段と、
前記画像撮像手段により撮像された画像のうち、輝度値が変化した領域を抽出する変化領域抽出手段と、
検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンと前記領域に基づいて移動体候補を検出した後、前記画像のうちの移動体候補の周辺と前記移動体モデルとを比較して移動体を発見する移動体発見手段と、
前記移動体発見手段により発見された移動体を前記画像撮像手段により順次撮像される画像に基づいて追跡する移動体追跡手段と
を備えた移動体検出装置。 - 移動体モデル合成パターンは、各移動体モデルの大きさに応じた重みを付けて合成されたものである
ことを特徴とする請求項１記載の移動体検出装置。 - 所定の周期で画像を撮像するステップと、
撮像した前記画像のうち、輝度値の変化した領域を抽出するステップと、
検出対象である複数の移動体にそれぞれ対応する複数の移動体モデルを合成した移動体モデル合成パターンと前記領域に基づいて移動体候補を検出するステップと、
前記画像のうちの移動体候補の周辺と前記移動体モデルとを比較して移動体を発見するステップと、
発見した移動体を順次撮像される画像に基づいて追跡するステップと
を備えた移動体検出方法。 - 所定の周期で画像を撮像する画像撮像手段と、
前記画像撮像手段により撮像された画像のうち、輝度値が変化した領域を抽出する変化領域抽出手段と、
検出対象である移動体に対応する移動体モデルを使用して、前記変化領域抽出手段により抽出された領域に基づいて移動体を発見する移動体発見手段と、
前記移動体発見手段により発見された移動体の部分の画像をテンプレートとして前記画像から抽出し、次回以降に撮像される画像のうちの前記変化領域抽出手段により抽出された領域に対応した部分のみを使用して前記テンプレートとの類似度を計算するテンプレートマッチングを行い、前記移動体を順次検出して追跡する移動体追跡手段と
を備えた移動体検出装置。 - 移動体追跡手段は、前記次回以降に撮像される画像のうちの変化領域抽出手段により抽出された領域に対応した部分のみを使用して前記テンプレートとの類似度を計算するテンプレートマッチングを行い移動体の位置を検出し、検出した移動体に対応する部分の前記変化領域抽出手段により抽出された領域の重心位置に基づいてその移動体の位置を補正する
ことを特徴とする請求項４記載の移動体検出装置。 - 移動体追跡手段は、補正後の前記移動体の位置に基づいて画像から前記移動体の部分の画像をテンプレートとして抽出してテンプレートを更新する
ことを特徴とする請求項５記載の移動体検出装置。 - 所定の周期で画像を撮像するステップと、
撮像した画像のうち、輝度値が変化した領域を抽出するステップと、
検出対象である移動体に対応する移動体モデルを使用して、抽出した前記領域に基づいて移動体を発見するステップと、
発見した前記移動体の部分の画像をテンプレートとして前記画像から抽出し、次回以降に撮像される画像のうちの前記輝度値が変化した領域のみを使用して前記テンプレートとの類似度を計算するテンプレートマッチングを行い、前記移動体を順次検出して追跡するステップと
を備えた移動体検出方法。 - 所定の周期で画像を撮像する画像撮像手段と、
時間の経過とともに撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量の時間的なばらつきを所定の期間経過毎に計算し、複数の前記所定の期間における前記ばらつきの変化が閾値以下である画素または局所ブロック内の画素について、背景画像の画素の輝度値を前記画像の画素の輝度値で更新、または、背景画像の画素の元の輝度値と前記画像の画素の輝度値の平均値で新しい背景画像の画素の輝度値とする背景画像更新手段と、
前記背景画像を使用して、前記画像撮像手段により撮像された画像のうち輝度値が変化した領域を抽出する変化領域抽出手段と、
検出対象である移動体に対応する移動体モデルを使用して、前記変化領域抽出手段により抽出された領域に基づいて移動体を発見する移動体発見手段と、
前記移動体発見手段により発見された移動体を前記画像撮像手段により順次撮像される画像に基づいて追跡する移動体追跡手段と
を備えた移動体検出装置。 - 所定の周期で画像を撮像するステップと、
時間の経過とともに撮像された複数の画像について画素毎または複数個の画素からなる局所ブロック単位で輝度値の変化量の時間的なばらつきを所定の期間経過毎に計算し、複数の前記所定の期間における前記ばらつきの変化が閾値以下である画素または局所ブロック内の画素について、背景画像の画素の輝度値を前記画像の画素の輝度値で更新、または、背景画像の画素の元の輝度値と前記画像の画素の輝度値の平均値で新しい背景画像の画素の輝度値とするステップと、
前記背景画像を使用して、撮像した前記画像のうち輝度値が変化した領域を抽出するステップと、
検出対象である移動体に対応する移動体モデルを使用して、抽出した前記領域に基づいて移動体を発見するステップと、
発見した前記移動体を順次撮像する画像に基づいて追跡するステップと
を備えた移動体検出方法。 - 所定の周期で画像を撮像する画像撮像手段と、
前記画像撮像手段により撮像された画像のうち、輝度値が変化した領域を抽出する変化領域抽出手段と、
検出対象である移動体に対応する移動体モデルを使用して、前記変化領域抽出手段により抽出された領域に基づいて移動体の発見を試みる移動体発見手段と、
前記画像撮像手段により順次撮像される画像において前記移動体発見手段により発見された移動体を検出し、追跡を試みる移動体追跡手段と、
前記変化領域抽出手段により抽出された領域が前記画像またはその画像のうちの所定の特定区域の所定の割合以上を占めている場合において、前記移動体発見手段により前記領域の大きさに応じた所定の数以上の前記移動体が発見されない時、または前記移動体追跡手段により前記移動体が検出されない時には、前記変化領域抽出手段により抽出された領域の大きさおよび前記移動体モデルの面積に基づく前記移動体の概数、並びに前記変化領域抽出手段により抽出された領域での輝度値の時間的変化に基づく前記移動体の平均移動速度のうちの少なくとも１つを計算する計算手段と
を備えた移動体検出装置。 - 所定の周期で画像を撮像するステップと、
撮像した前記画像のうち、輝度値が変化した領域を抽出するステップと、
検出対象である移動体に対応する移動体モデルを使用して、抽出した前記領域に基づいて移動体の発見を試みるステップと、
発見した前記移動体を、順次撮像される前記画像において検出し、追跡を試みるステップと、
抽出した前記領域が前記画像またはその画像のうちの所定の特定区域の所定の割合以上を占めている場合において、前記領域の大きさに応じた所定の数以上の前記移動体が発見されない時、または前記移動体の追跡において前記移動体が検出されない時には、抽出した前記領域の大きさおよび前記移動体モデルの面積に基づく前記移動体の概数、並びに抽出した前記領域での輝度値の時間的変化に基づく前記移動体の平均移動速度のうちの少なくとも１つを計算するステップと
を備えた移動体検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29568299A JP3850602B2 (ja) | 1999-10-18 | 1999-10-18 | 移動体検出装置および移動体検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29568299A JP3850602B2 (ja) | 1999-10-18 | 1999-10-18 | 移動体検出装置および移動体検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001118182A JP2001118182A (ja) | 2001-04-27 |
| JP3850602B2 true JP3850602B2 (ja) | 2006-11-29 |
Family
ID=17823829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29568299A Expired - Lifetime JP3850602B2 (ja) | 1999-10-18 | 1999-10-18 | 移動体検出装置および移動体検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3850602B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001222719A (ja) * | 1999-12-01 | 2001-08-17 | Matsushita Electric Ind Co Ltd | 顔抽出装置及び顔抽出方法並びに顔抽出プログラムの記録媒体 |
| JP2002352248A (ja) * | 2001-05-25 | 2002-12-06 | Nhk Engineering Services Inc | 映像オブジェクト抽出支援装置 |
| AU2003234995A1 (en) | 2002-04-25 | 2003-11-10 | Matsushita Electric Industrial Co., Ltd. | Object detection device, object detection server, and object detection method |
| JP4082144B2 (ja) * | 2002-09-05 | 2008-04-30 | 株式会社明電舎 | 混雑度調査装置 |
| JP3787783B2 (ja) | 2003-09-02 | 2006-06-21 | 松下電器産業株式会社 | 対象物進行方向検出方法 |
| JP2006185271A (ja) * | 2004-12-28 | 2006-07-13 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、およびプログラム並びに記録媒体 |
| JP2006252400A (ja) * | 2005-03-14 | 2006-09-21 | Keyence Corp | 画像処理装置及び画像処理における登録データ生成方法 |
| JP4667130B2 (ja) * | 2005-06-16 | 2011-04-06 | 旭化成株式会社 | 出力時間変化値生成装置、出力時間変化値生成方法及びプログラム |
| JP4594197B2 (ja) * | 2005-09-01 | 2010-12-08 | パナソニック株式会社 | 自動追尾装置 |
| JP4731276B2 (ja) * | 2005-10-20 | 2011-07-20 | 池上通信機株式会社 | 速度計測装置、方法及びプログラム |
| JP4731295B2 (ja) * | 2005-11-29 | 2011-07-20 | 池上通信機株式会社 | 速度計測装置、方法及びプログラム |
| CN101617197B (zh) | 2007-02-16 | 2011-06-22 | 三菱电机株式会社 | 测量装置、测量方法及地物识别装置 |
| JP4969291B2 (ja) * | 2007-03-30 | 2012-07-04 | セコム株式会社 | 移動物体追跡装置 |
| JP4836878B2 (ja) * | 2007-06-21 | 2011-12-14 | 株式会社東芝 | 画像識別表示装置及び画像識別表示方法 |
| KR101016095B1 (ko) * | 2009-02-20 | 2011-02-17 | 성균관대학교산학협력단 | 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법 |
| JP2011209966A (ja) * | 2010-03-29 | 2011-10-20 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP5993597B2 (ja) * | 2012-03-29 | 2016-09-14 | 株式会社デンソーウェーブ | 目標移動体検知方法 |
-
1999
- 1999-10-18 JP JP29568299A patent/JP3850602B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001118182A (ja) | 2001-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3850602B2 (ja) | 移動体検出装置および移動体検出方法 | |
| EP2858008B1 (en) | Target detecting method and system | |
| JP5001260B2 (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
| US7929613B2 (en) | Method and device for tracking moving objects in image | |
| CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
| JP4467838B2 (ja) | 画像認識装置および画像認識方法 | |
| WO2012017650A1 (ja) | 物体検出装置、物体検出方法及びプログラム | |
| CN111369495B (zh) | 一种基于视频的全景图像的变化检测方法 | |
| CN111144213B (zh) | 一种对象检测方法和相关设备 | |
| CN115131420A (zh) | 基于关键帧优化的视觉slam方法及装置 | |
| JP2017158033A (ja) | 作業機械用周辺監視システム | |
| US11948312B2 (en) | Object detection/tracking device, method, and program recording medium | |
| CN114241008B (zh) | 一种适应场景和目标变化的长时区域跟踪方法 | |
| JP2003187248A (ja) | 画像処理システムおよび画像処理装置 | |
| JP3008875B2 (ja) | 被写体抽出装置 | |
| JP2003281552A (ja) | 画像処理装置及びその方法 | |
| Tang et al. | A fast video stabilization algorithm based on block matching and edge completion | |
| CN113378757A (zh) | 一种基于时序与频域过滤的物体检测与物体切割算法 | |
| CN112070035A (zh) | 基于视频流的目标跟踪方法、装置及存储介质 | |
| CN113379787B (zh) | 基于3d卷积孪生神经网络和模板更新的目标跟踪方法 | |
| CN112446355B (zh) | 一种公共场所行人识别方法及人流统计系统 | |
| CN114359915A (zh) | 图像处理方法、装置和可读存储介质 | |
| JP2004295416A (ja) | 画像処理装置 | |
| CN114511803A (zh) | 一种面向视觉跟踪任务的目标遮挡检测方法 | |
| JP4584405B2 (ja) | ３次元物体検出装置と３次元物体検出方法及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060131 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060830 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3850602 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |