JP3603737B2 - 移動体追尾方法及びその装置 - Google Patents
移動体追尾方法及びその装置 Download PDFInfo
- Publication number
- JP3603737B2 JP3603737B2 JP2000095375A JP2000095375A JP3603737B2 JP 3603737 B2 JP3603737 B2 JP 3603737B2 JP 2000095375 A JP2000095375 A JP 2000095375A JP 2000095375 A JP2000095375 A JP 2000095375A JP 3603737 B2 JP3603737 B2 JP 3603737B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- moving body
- tracking
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
Description
【０００１】
【発明の属する技術分野】
本発明は、パン・チルト制御機能およびズーム制御機能を有するカメラを用いて、撮像した画像のなかの移動体を自動検出しさらに自動追尾する移動体追尾方法及びその装置に関し、特に、広範囲な監視エリアを一台のカメラを用いて監視する移動体追尾方法及びその装置に関する。
【０００２】
【従来の技術】
従来、広範囲な監視エリアに侵入者や侵入車両などあった場合に、これらの侵入物体（移動体）を検出するとともに、侵入物体のズームアップされた映像データを記録し、かつ、侵入物体を自動的に追尾する監視システムを実現するために、様々な移動体追尾方法及びその装置が提案されてきた。
【０００３】
（第一従来例）
例えば、特開平１１−６９３４２号において、パン・チルト制御機能およびズーム制御機能を有するカメラ（適宜、ＰＴＺカメラと略称する。）を用いた侵入物体追尾画像処理システムが提案されている。
この侵入物体追尾画像処理システムは、侵入物体の検出を行う固定した第一のカメラと、この侵入物体をズームアップし、かつ、自動的に追尾する第二のＰＴＺカメラとからなる移動体追尾装置を用いている。
【０００４】
第一の固定カメラは、通常、背景差分法と呼ばれる方法（背景画像と入力された映像の差分を用いて侵入物体を検出する方法）を用いて、侵入物体を検出する。
そして、第一の固定カメラの映像から得られた侵入物体の位置や大きさから算出された制御量にもとづいて、第二のＰＴＺカメラが制御されることにより、当該第二のＰＴＺカメラは、侵入物体を自動追尾する。
【０００５】
このように、第一従来例における移動体追尾装置は、物体が侵入したことを自動検出するとともに、侵入物体を検出する情報にもとづいて、パン・チルト方向へ回転する雲台を制御して侵入物体を自動追尾し、かつ、ズーミング可能な撮像レンズを制御して侵入物体の拡大を行うことによって、ビデオモニタの画面上に侵入物体を映し出すことができる。
したがって、監視者は、ビデオモニタの画面上で侵入物体を容易に確認することをができる。
【０００６】
【発明が解決しようとする課題】
ところが、この第一従来例における映像監視追跡装置は、二台のカメラを必要とするために、部品費及び設置工事費が高額となり、顧客のコストダウン要求に応えられないという問題があった。
【０００７】
つまり、この映像監視追跡装置は、侵入物体を検出する際に、背景差分法を用いているが、背景を撮像するためのカメラを動かしてしまうと、カメラを動かした後に撮像した映像とカメラを固定して撮像した背景映像との間の差分量が大きくなってしまい、背景と移動する侵入物体の区別ができなくなる。
このため、ＰＴＺカメラが侵入物体を追尾しているときに、この背景差分法により侵入物体の検出を行なうためには、固定されたカメラが必要となる。
【０００８】
このような理由から、第一従来例における侵入物体追尾画像処理システムは、一台のカメラを固定カメラとして用いて背景差分法により侵入物を検出し、さらに、もう一台のＰＴＺカメラを用いて侵入物体を追尾する構成としてある。
したがって、この映像監視追跡装置は、一台のカメラを用いた構成とすることができない。
【０００９】
（第二従来例）
また、カメラを一台のみ使用する技術として、例えば、特開平１０−１３８２１号において、一台のパン・チルト制御機能を有するカメラを用いて、侵入物体の検出および追尾を行う映像監視追跡装置が提案されている。
この映像監視追跡装置は、背景差分法により侵入物体を検出した後、その侵入物体に対応する画像をテンプレートとして、入力画像との差分が最小となる画像上での位置を検出するテンプレートマッチングを行うことで、侵入物体の位置を求め、この算出データにもとづいてカメラ制御することによって、侵入物体を追尾することができる。
【００１０】
しかし、第二従来例における映像監視追跡装置は、テンプレートマッチングによって追尾しているときにズームアップすると、テンプレートと映像中の侵入物体の大きさに違いが生じるために、精度良く追尾することができない。
【００１１】
また、このテンプレートマッチングにおいて、レンズのズームアップによって生じる対象物の大きさの変化に対応するには、平行移動の探索に加えて、対象物の大きさの変化を考慮にいれた探索を行う必要があり、この検索を行なうには、膨大な演算処理を必要とするので、高速で移動する侵入物体に対しては、実用化できない。
このため、第二従来例における映像監視追跡装置は、レンズをズームアップさせて、侵入物体を追尾することができないといった問題があった。
【００１２】
そこで、本発明は上記の問題を解決すべくなされたものであり、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する移動体を精度良く自動追尾することが可能となる移動体追尾方法及びその装置の提供を目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明における請求項１記載の移動体追尾方法は、パン・チルト制御機能およびズーム制御機能を有するカメラからの画像データにもとづいて、移動体を自動追尾する移動体追尾方法であって、前記カメラからの映像信号をデジタル画像として入力する画像入力インタフェースが、画像データを記憶する第１の画像メモリと、この第１の画像メモリに記憶される画像データの前のフレームにおける画像データを記憶する第２の画像メモリに当該画像データを出力し、前記第１の画像メモリに記憶される画像データと前記第２の画像メモリに記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出し、前記移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、前記第２の画像メモリに記憶される画像データと前記第１の画像メモリに記憶される画像データとのフレーム間の動き補償を行ない、前記フレーム間動き補償手段により動き補償された前記画像データから移動体を抽出し、前記移動体の位置及び／又は大きさを含む移動体情報を推定し、前記移動体情報を入力して、前記カメラのパン・チルト制御およびズーム制御を行なう方法としてある。
【００１４】
このようにすることにより、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する移動体を精度良く自動追尾することができる。
【００１５】
また、上記目的を達成するために、本発明における請求項２記載の移動体追尾装置は、移動体を自動追尾するための、パン・チルト制御機能およびズーム制御機能を有するカメラと、このカメラからの映像信号をデジタル画像として入力する画像入力インタフェースと、前記画像入力インタフェースからの画像データを記憶する第１の画像メモリと、この第１の画像メモリに記憶される画像データの前のフレームにおける画像データを記憶する第２の画像メモリと、前記第１の画像メモリに記憶される画像データと前記第２の画像メモリに記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出する移動パラメータ算出手段と、前記移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、前記第２の画像メモリに記憶される画像データと前記第一の画像メモリに記憶される画像データとのフレーム間の動き補償を行うフレーム間動き補償手段と、このフレーム間動き補償手段により動き補償された前記画像データから前記移動体を抽出し、前記移動体の位置及び／又は大きさを含む移動体情報を推定する移動体推定手段と、この移動体推定手段から得られる前記移動体情報を入力して、前記パン・チルト制御およびズーム制御を行なうカメラ制御手段と、を具備した構成としてある。
【００１６】
このように、本発明は、移動体追尾装置としても有効であり、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する移動体を精度良く自動追尾することができる。
【００１７】
請求項３記載の発明は、上記請求項２に記載の移動体追尾装置において、前記移動パラメータ算出手段が、オプティカルフローの拘束条件にもとづき反復勾配法を用いて前記画像データの間の平行移動および拡大縮小の移動パラメータを算出する構成としてある。
【００１８】
このようにすることにより、カメラ移動に起因する背景領域の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。
【００１９】
請求項４記載の発明は、上記請求項２または請求項３に記載の移動体追尾装置において、前記移動体推定手段が、前記フレーム間動き補償手段により動き補償された前記画像データを用いて、画像のフレーム間の差分を算出し、このフレーム間の差分にもとづき前記移動体の移動体情報を推定する構成としてある。
【００２０】
これにより、移動体の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。
【００２１】
請求項５記載の発明は、上記請求項４に記載の移動体追尾装置において、前記移動体推定手段が、前記移動体の大きさあるいは速度に応じて、前記第１の画像メモリに記憶される画像データと前記第２の画像メモリに記憶される画像データとの間のフレーム間隔を、適応的に変化させる構成としてある。
【００２２】
これにより、移動体が高速で移動する場合であっても、追尾することができ、移動体追尾の信頼性を向上させることができる。
【００２３】
請求項６記載の発明は、上記請求項２〜請求項５のいずれかに記載の移動体追尾装置において、前記画像入力インターフェースと前記移動体をテンプレートとして記憶するテンプレートメモリと、このテンプレートメモリ，前記第２の画像メモリ及び前記移動パラメータ算出手段からの情報にもとづいて、テンプレートサイズを変換するテンプレートサイズ変換手段と、このテンプレートサイズ変換手段と前記第１の画像メモリからの情報にもとづいて、各テンプレートをマッチングさせるテンプレートマッチング手段を有するテンプレートマッチング追尾部を備えた構成としてある。
【００２４】
このようにすることにより、移動体追尾装置は、フレーム間差分による追尾モード，テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。
したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。
【００２５】
【発明の実施の形態】
以下、本発明の各実施形態について、図面を参照して説明する。
先ず、本発明の移動体追尾装置における及びこの装置を用いた方法の第一実施形態について、図面を参照して説明する。
【００２６】
「第一実施形態」
図１は、本発明に係る移体追尾装置の第一実施形態における概略ブロック図を示している。
【００２７】
同図において、移動体追尾装置は、パン・チルト制御機能およびズーム制御機能を有するカメラ（ＰＴＺカメラ）１と、このＰＴＺカメラ１からの映像信号をデジタル画像として入力する画像入力ＩＦ（インターフェイス）２と、画像入力ＩＦ２からの画像データにもとづいて、移動体を検出する移動体検出手段３と、画像入力ＩＦ２からの画像データを記憶する第１の画像メモリ４と、第１の画像メモリ４に記憶される画像データの前のフレームにおける画像データを記憶する第２の画像メモリ５と、第１の画像メモリ４に記憶される画像データと第２の画像メモリ５に記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出する移動パラメータ算出手段６と、この移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、第２の画像メモリ５に記憶される画像データと第一の画像メモリ４に記憶される画像データとのフレーム間の動き補償を行うフレーム間動き補償手段７と、動き補償された画像データから移動体を抽出し、移動体の位置及び／又は大きさを含む移動体情報を推定する移動体推定手段８と、この移動体情報を入力して、前記パン・チルト制御およびズーム制御を行なうカメラ制御手段９とで構成してある。
【００２８】
ＰＴＺカメラ１は、外部インタフェースを有し、かつ、電動式の雲台に配設されたズームカメラであり、外部からの制御信号によって、雲台の左右方向の回転（パン），上下方向の回転（チルト）及びレンズのズーム率が制御される。
【００２９】
ここで、ＰＴＺカメラ１は、カメラの光軸，雲台のパンの回転軸及びチルトの回転軸が一点で交差する構成としてあるので、撮像する画像の座標系とパン・チルトの制御量への変換演算を簡略かつ少量化することができる。
【００３０】
画像入力ＩＦ２は、ＰＴＺカメラ１からのアナログの映像信号をＡ／Ｄ変換によりデジタル化し、第１の画像メモリ４に入力する。
なお、ＰＴＺカメラ１としてデジタル映像カメラのように圧縮されたデジタル信号を出力するカメラを用いた場合には、画像入力ＩＦ２としては圧縮デジタル画像を展開して、第１の画像メモリ４に入力する画像入力ＩＦを設ける必要がある。
【００３１】
移動体検出手段３は、画像入力ＩＦ２から入力された画像を用いて移動体を検出する。
ここで、移動体追尾装置は、移動体を検出する移動体検出モードと、検出した移動体をズームアップして追尾する追尾モードの二つのモードを有している。
【００３２】
移動体検出手段３は、図２に示すように、背景差分法を用いて移動体を検出する。
ここで、移動体検出手段３は、各時刻における入力画像信号を入力して、この入力画像を記憶する入力画像メモリ３１と、背景画像を生成・更新する背景更新手段３２と、背景画像を記憶する背景画像メモリ３３と、入力画像メモリ３１の画像と背景画像メモリ３３の画像の差分を算出する差分算出手段３４と、差分算出手段３４からの画像差分を二値化する二値化手段３５と、二値化した画像のラベリングを行うラベリング手段３６と、得られるラベル画像から移動体を識別し、移動体の位置情報信号を出力する移動体識別手段３７とで構成してある。
【００３３】
まず、入力画像メモリ３１に入力された画像は、背景更新手段３２で背景生成および背景更新に利用される。
背景更新手段３２は、移動体追尾装置が起動したときや、追尾モードが終了し移動体検出モードとなったときに、背景生成を行ない、また、その後の移動体検出モードにおいては背景更新を行う構成としてある。
【００３４】
背景更新手段３２は、背景生成において、任意のフレームｔの画像をｆ（ｘ，ｙ，ｔ）と表し、これを背景Ｂ（ｘ，ｙ，ｔ）として背景画像メモリ３３に記録する。
そして、背景更新手段３２は、次のフレームｔ＋１の背景更新において、背景生成のときからのフレーム数をｎ、前のフレームにおける背景をＢ（ｘ，ｙ，ｔ）として、フレームｆ（ｘ，ｙ，ｔ＋１）の画像を利用して次の漸化式にしたがって新しい背景Ｂ（ｘ，ｙ，ｔ＋１）を計算する。
【００３５】
（数式１）
Ｂ（ｘ，ｙ，ｔ＋１） ＝ （１−α）Ｂ（ｘ，ｙ，ｔ）＋αｆ（ｘ，ｙ，ｔ＋１）
ただし、
ｎ＜Ｎのとき：α＝ １／（ｎ＋１）
ｎ≧Ｎのとき：α＝ １／（Ｎ＋１）
ここで、αは新しいフレームの影響を背景にどれだけ取り込むか決める係数で、Ｎは定数であり、例えば、３００フレームと設定する。
【００３６】
ここで、例えば、ｎ＝１の場合、α＝１／（ｎ＋１）＝１／２となり、ｆ（ｘ，ｙ，ｔ）とｆ（ｘ，ｙ，ｔ＋１）の平均値画像を新しい背景画像Ｂ（ｘ，ｙ，ｔ＋１）とすることになる。
そして、順次、（数式１）による背景を漸化的に計算することで、照明変動などに起因する背景の変化にも柔軟に対応できる背景Ｂ（ｘ，ｙ，ｔ）となる。
このようにして背景更新手段３２により算出された背景画像は、背景画像メモリ３３に記憶される。
【００３７】
差分算出手段３４は、入力画像メモリ３１に記憶される入力画像ｆ（ｘ，ｙ，ｔ）と、背景画像メモリ３３に記憶される背景画像Ｂ（ｘ，ｙ，ｔ）の差分の絶対値を（数式２）により算出する。
（数式２）
Ｓ（ｘ，ｙ，ｔ） ＝ ｜Ｂ（ｘ，ｙ，ｔ）−ｆ（ｘ，ｙ，ｔ）｜
そして、差分算出手段３４は、この差分画像Ｓ（ｘ，ｙ，ｔ）を二値化手段３５に出力する。
【００３８】
また、差分算出手段３４は、差分画像Ｓ（ｘ，ｙ，ｔ）に対して、ガウシアンフィルタなどを畳み込むことにより、平滑化した結果を出力することができ、ノイズに対する悪影響が低減された良好な結果を得ることができる。
なお、本実施形態においては、一般的な背景差分法による移動体検出手段３を用いたが、これに限定するものはなく、例えば、本発明者が特願平１１−０７８６４１号において提案した物体検出装置を用いて、移動体検出手段を構成することができる。
【００３９】
二値化手段３５は、差分画像Ｓ（ｘ，ｙ，ｔ）のしきい値処理により二値化し、この二値化された二値画像をラベリング手段３６に出力する。
また、ラベリング手段３６は、二値画像をラベリング（分類）し、このラベル画像を移動体識別手段３７に出力する。
【００４０】
移動体識別手段３７は、ラベル画像の各ラベルの面積を調べて、面積がしきい値以上大きいラベルを移動体として判定し、そのラベルを囲う最小包囲矩形を算出する。
ここで、移動体識別手段３７は、最小包囲矩形を中心座標ｍ（ｃｘ，ｃｙ）と大きさ（ｚｘ，ｚｙ）として算出し、これらからなる移動体の位置情報信号を出力する。
このように、移動体検出手段３は、移動体検出モードにおいて、移動体を検出することができる。
【００４１】
移動体追尾装置は、移動体検出手段３が移動体を検出すると、移動体検出モードから移動体を追尾する追尾モードに移行する。
次に、移動体追尾装置の追尾モードにおける動作について、図面を参照して説明する。
【００４２】
図３は、移動体追尾装置の第一実施形態における追尾モードの動作を説明するための概略フローチャート図を示している。
同図において、先ず、移動体追尾装置は、移動体検出手段３が移動体を検出すると、追尾モードに移行し（ステップ３０）、続いて、その移動体を検出した画像における当該移動体の中心座標ｍ（ｃｘ，ｃｙ）と大きさ（ｚｘ，ｚｙ）、すなわち、移動体の位置情報からカメラ制御手段９を介してＰＴＺカメラ１のパン・チルト・ズームを制御して、移動体を最適な画角で捉えられる（ステップ３１）。
【００４３】
ここで、移動体の中心座標ｍ（ｃｘ，ｃｙ）データを用いて、ＰＴＺカメラ１のパン・チルトを制御する方法について説明する。
カメラの座標系と画像面（カメラの結像面、すなわち、ＣＣＤなどの撮像面）の関係は、図４に示すように、画像面の中心ｃと光軸中心（すなわちＺ軸）が一致すると近似し、画像面の水平方向をｘ軸、画像面の垂直方向をｙ軸とする。
ここで、ｄは、カメラのレンズの焦点距離を表している。
【００４４】
また、同図におけるカメラモデルの表現方法は、通常、コンピュータビジョンの分野で用いられる仮想画像平面を用いた表現方法、具体的には、徐剛、辻三郎著「３次元ビジョン」（共立出版、１９９８年、ｐｐ．１６−１７）に記述されている表現方法により表現してある。
【００４５】
移動体の中心座標ｍ（ｃｘ，ｃｙ）を画像面の中心ｃに一致させるのに必要なパン角φとチルト角θは、（数式３）により近似的に表すことができる。
なお、（数式３）は、特許２９５３４９７号において、「対象の補足方法およびその装置」に関する技術として記述されている。
（数式３）
パン角φ ＝ −ｃｘ／ｄ
チルト角θ ＝ −ｃｙ／ｄ
したがって、（数式３）のパン角φとチルト角θとなるように、雲台を制御することにより、移動体の位置を画像中心に捉えることができる。
【００４６】
また、ズーム率の制御は、移動体の大きさに合わせて制御量を決めれば良く、具体的には、特開平１１−６９３４２号において、「対象の補足方法およびその装置」に関するズーム制御方法として記述されている。
【００４７】
このように、カメラ制御手段９が、上述した方法により得られるパン・チルト・ズームの制御量（制御信号）をＰＴＺカメラ１に出力すると、ＰＴＺカメラ１は、この制御信号にもとづいて、パン・チルト・ズームを制御する。
【００４８】
ここで、移動体追尾装置は、移動体の検出後に、移動体検出モードのまま、対象物体を追尾するためにＰＴＺカメラ１を移動させると、移動体を検出したときのカメラアングルと、その次のフレームにおけるカメラアングルが異なるために背景差分法による移動体検出が、通常、正常に動作しなくなる。
そこで、移動体追尾装置は、移動体検出モードにより移動体を検出すると、移動体検出モードから追尾モードにモード切り替えを行なってから、追尾モードによる移動体の追跡を行う構成としてある。
【００４９】
つまり、移動体追尾装置は、移動体を検出したときのフレームを、図１に示すフレームｔ−１とし、追尾モードに入った最初のフレームをフレームｔとして、フレームｔとフレームｔ−１の画像を第１の画像メモリ４と第２の画像メモリ５にそれぞれ記憶する。
そして、その後のループでは、前のフレームの画像を第２の画像メモリ５に記憶し、第１の画像メモリ４に次のフレームの新しい画像を入力するように制御する（ステップ３２）。
【００５０】
次に、移動パラメータ算出手段６は、第１の画像メモリ４に記憶される画像ｆ（ｘ，ｙ，ｔ）と第２の画像メモリ５に記憶される画像ｆ（ｘ，ｙ，ｔ−１）を用いて、ＰＴＺカメラ１のパン・チルト・ズームの変化に起因する背景の移動パラメータを求める（ステップ３３）。
【００５１】
ここで、この背景の移動パラメータの推定方法について説明する。
まず、撮像されている移動体は十分小さく、かつ、画像全体を占める映像は大部分が背景であると仮定し、さらに、移動体の影響は無視できるものとして説明する。
【００５２】
そして、画像ｆ（ｘ，ｙ，ｔ）は、ＰＴＺカメラ１のパン・チルト・ズームが制御されるとこれらの変動によって、平行移動と拡大・縮小の変換（アフィン変換）を受けて画像ｆ（ｘ，ｙ，ｔ−１）となると仮定することによって、推定することができる。
【００５３】
つまり、二つの画像間の関係式は（数式４）で表される拘束下にあるものとする。
（数式４）
ｆ（ｘ＋ｕ，ｙ＋ｖ，ｔ） ＝ ｆ（ｘ，ｙ，ｔ−１）
ｕ ＝ γｘ ＋α
ｖ ＝ γｙ ＋β
ここで、γは拡大縮小を表し、αはｘ方向の移動量、βはｙ方向の移動量を表している。
【００５４】
続いて、この移動パラメータを求めるための処理について、図面を参照して説明する。
図５は、移体追尾装置の第一実施形態における移動パラメータ算出手段の動作を説明するための概略フローチャート図を示している。
同図において、移動パラメータを求める処理は、大きく二つの処理に分かれ、第１の処理は、γ＝０と仮定し、平行移動のパラメータα、βのみをＳＳＤマッチングによる相関計算にもとづき推定する処理であり、また、第２の処理は、第１の処理で推定した移動パラメータを初期値として、反復勾配法により移動パラメータα、β、γを推定する処理である。
【００５５】
まず、第１の処理であるステップのＳＳＤマッチングによる初期値推定（ステップ５１）について説明する。
第１の処理の初期値推定では、（数式５）による差分量Ｊ１（ｕ，ｖ）を計算し、その最小を与えるｕ，ｖを求める。
（数式５）
Ｊ１（ｕ，ｖ） ＝ Σ｜ｆ（ｘ＋ｕ，ｙ＋ｖ，ｔ）−ｆ（ｘ，ｙ，ｔ−１）｜２
ただし、Σは背景領域における総和である。
【００５６】
ここでは、評価値として画素値の差の二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いているが、画素値の差の絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や正規化相関などを用いることもできる。
また、（ｕ，ｖ）の探索空間は、カメラアングルやレンズのズーム率等に依存するが、前後数画素から数十画素程度の範囲について、画素単位をとれば十分である。
【００５７】
次に、第２の処理において、得られたｕ，ｖをそれぞれ移動パラメータα、βの初期値として用い、オプティカルフロー拘束にもとづく移動量に関する条件式を反復勾配法により求める（ステップ５２、５３、５４）。
【００５８】
この反復勾配法は、本発明者が、特開平７−３３４６９０号において、「物体の輪郭追跡方法」に関する技術として開示しているが、その原理について簡単に説明する。
まず、画像ｆ（ｘ，ｙ，ｔ）と画像ｆ（ｘ，ｙ，ｔ−１）の間の関係が（数４）の拘束下にあると仮定する。
【００５９】
そして、（数式６）の目的関数Ｊ２（α，β，γ）を最小化することにより、移動パラメータを求めることができる。
（数式６）
Ｊ２（α，β，γ） ＝ Σ ｜ｆ（ｘ＋ｕ，ｙ＋ｖ，ｔ）−ｆ（ｘ，ｙ，ｔ−１）｜２
ただし、Σは背景領域における総和である。
【００６０】
ここで、（数式６）のｆ（ｘ＋ｕ，ｙ＋ｖ，ｔ）をｆ（ｘ，ｙ，ｔ−１）のまわりでテイラー展開し、１次までの項を用いることで、目的関数Ｊ ２ を近似すると（数式７）となる。
（数式７）
J2(α,β,γ) ≒ Σ| u∂f/∂x+v∂f/∂y+∂f/∂t |2
【００６１】
また、J2(α,β,γ)の最小を与える必要条件は、（数式８）によって与えられる。
（数式８）
∂J2(α,β,γ)/∂α = 0
∂J2(α,β,γ)/∂β = 0
∂J2(α,β,γ)/∂γ = 0
【００６１】
また、Ｊ２（α，β，γ）の最小を与える必要条件は、（数式８）によって与えられる。
（数式８）
∂Ｊ２（α，β，γ）／∂α ＝ ０
∂Ｊ２（α，β，γ）／∂β ＝ ０
∂Ｊ２（α，β，γ）／∂γ ＝ ０
【００６２】
ここで、（数式８）の条件式に（数式４）のｕ，ｖ、および（数式７）のＪ２（α，β，γ）を代入すると、三元一次連立方程式となり、（数式９）に示す解が得られる。
（数式９）
ｔ（ αβγ ） ＝ −Ａ−１Ｂ
ここで、
Ａ ＝ ΣｔＷＷ
Ｂ ＝ Σ（∂ｆ／∂ｔｔＷ）
Ｗ ＝ （∂ｆ／∂ｘ∂ｙ／∂ｙ（ｘ∂ｆ／∂ｙ＋ｙ∂ｆ／∂ｙ））
ただし、Σは背景領域における総和である。
【００６３】
なお、ｔＸは行列Ｘの転置行列を表しており、これは解析的に容易に解くことができ、移動パラメータ（α，β，γ）が求められる。
しかし、ここで得られるパラメータは、（数式７）を得る段階でテイラー展開しているために移動量が大きい場合には必ずしも精度が良いというわけではない。
そのため、通常は反復して解を求める必要がある。
このようにして、反復解法によるオプティカルフロー拘束にもとづく移動量推定方法は、反復勾配法と呼ばれる。
【００６４】
したがって、第２の処理では、まずＳＳＤマッチングによって得られた初期値（α，β）にもとづき画像ｆ（ｘ，ｙ，ｔ）のアフィン変換を行う（ステップ５２）。
次に、オプティカルフロー拘束にもとづく移動量推定を行う（ステップ５３）が、これはそれぞれ（数式９）の行列Ａ，列ベクトルＢの各要素を計算する過程、逆行列Ａ−１を計算する過程、最終的に（数式９）によって得られる移動量（α，β，γ）を計算する過程からなる。
【００６５】
また、行列Ｗの値には偏微分によって表される項があるが、これは画像の水平方向差分（（ｆ（ｘ＋１，ｙ，ｔ）−ｆ（ｘ−１，ｙ，ｔ））／２）、垂直方向差分（ｆ（ｘ，ｙ＋１，ｔ）−ｆ（ｘ，ｙ−１，ｔ））／２）を用いて計算すればよい。
また、時間偏微分はフレーム間の差分を計算すればよい。
【００６６】
続いて、反復回数が十分か否か判定し、不十分であるならば、（α，β，γ）のパラメータを用いて画像ｆ（ｘ，ｙ，ｔ）をアフィン変換するように、変換された画像を用いて移動量の推定を繰り返す（ステップ５４）。
反復回数が十分であるならば、推定された移動パラメータ（α，β，γ）を出力する。
なお、ここで求めるα、βは、サブピクセルの精度が必要である。
【００６７】
上述したように、図３に示すステップ３３において、カメラ移動に起因する背景領域の移動パラメータ（α，β，γ）を算出することができる。
【００６８】
次に、移動体追尾装置は、第２の画像の動きを補償する（ステップ３４）。
具体的には、フレーム間動き補償手段１７は、算出した移動パラメータ（α，β，γ）を用いて、第１の画像と第２の画像のフレーム間の動きを補償するように、第２の画像をアフィン変換する。
ここで、アフィン変換における補間方法として、画素値の補間に対する共一次内挿法（ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いる。
【００６９】
続いて、移動体推定手段８は、第１の画像と動き補償された第２の画像のフレーム間の差分を計算する（ステップ３５）。
ここで、フレーム間に写っている背景の僅かなずれによるノイズなどを低減させるために、画像をぼかす処理として、フレーム間差分を行う前後にガウシアンによる畳み込み処理を行う。
【００７０】
具体的には、フレーム間差分の結果Ｄ（ｘ，ｙ）は、第１の画像をｆ（ｘ，ｙ，ｔ）、動き補償した第２の画像をｆ’（ｘ，ｙ，ｔ−１）として次式で表される。
（数式１０）
Ｄ（ｘ，ｙ） ＝ Ｇ＊｜Ｇ＊ｆ（ｘ，ｙ，ｔ）−Ｇ＊ｆ’（ｘ，ｙ，ｔ−１）｜
ここで、Ｇはガウシアンフィルタ、＊は畳み込み処理を表している。
また、ガウシアンの畳み込み処理では、図６に示す５行×５列の離散的なカーネルを用いている。
【００７１】
続いて、移動体推定手段８は、フレーム間差分を用いて移動体の位置および大きさの推定を行う（ステップ３６）。
ここで、移動体は、当該移動体を囲む最小包囲矩形による物体枠によって、表現される。
この物体枠は、物体枠の予測，物体の中心位置の決定及び物体枠の大きさの変更といった三つの処理によって、求めることができる。
【００７２】
ここで、物体枠の予測は、前回の処理における物体枠が今回のフレームでどこにあるのか予測するものである。
具体的には、今回のフレームにおける物体枠は、前回のフレームと今回のフレームのカメラ移動に起因する背景の移動量とカメラの動きを補正し、その後の物体そのものの画像上の速度から計算される移動量を加算することによって、予測される。
すなわち、（予測物体枠位置）＝（前回の物体枠位置）＋（カメラ移動量）＋（物体移動量）の関係にもとづいて、物体枠の位置は予測される。
【００７３】
そして、物体の中心位置ｍ（ｃｘ，ｃｙ）は、予測された物体枠内におけるフレーム間差分Ｄ（ｘ，ｙ，ｔ）の重心によって決定される。
具体的には、物体の中心位置ｍ（ｃｘ，ｃｙ）は、（数式１１）により算出される。
（数式１１）
ｃｘ ＝ Σ ｘＤ（ｘ，ｙ）／ΣＤ（ｘ，ｙ）
ｃｙ ＝ Σ ｙＤ（ｘ，ｙ）／ΣＤ（ｘ，ｙ）
ただし、Σは予測された物体枠内における総和である。
【００７４】
このようにして求められた中心位置ｍ（ｃｘ，ｃｙ）を物体の中心として、物体枠の中心を更新する。
また、物体枠の大きさは、中心位置ｍ（ｃｘ，ｃｙ）を中心とした物体枠を初期値として、フレーム間差分Ｄ（ｘ，ｙ）を基準にその枠を上下左右に移動させることにより変更する。
【００７５】
具体的には、上下左右のそれぞれの枠ごとに独立に同様の処理を行うが、先ず、一例として、左側の枠を変更する場合について説明する。
左側の枠を変更するためには、左枠の近傍で、左枠に関する次の評価値Ｓｌｅｆｔ（ｘ）を（数式１２）にしたがって計算する。
（数式１２）
Ｓｌｅｆｔ（ｘ） ＝ （Σｙｍｉｎ ｙｍａｘＤ（ｘ，ｙ））／（ｙｍａｘ−ｙｍｉｎ）
ここで、ｙｍａｘ，ｙｍｉｎは、それぞれ物体枠の上限と下限である。
【００７６】
次に、このＳｌｅｆｔ（ｘ）の値が、しきい値δよりも大きいか否かについて、外側から順番に判定し、しきい値よりも大きい（差分量が大きい）場合に、左枠をその位置に移動する。
ここで、判定する範囲において、Ｓｌｅｆｔ（ｘ）の値が、しきい値よりも全て小さい場合には、その判定範囲の最小に枠を縮める。
このように、フレーム間差分を物体枠に沿って積算し、その量の大きさにしたがって物体枠を広げたり、縮めたりする。
【００７７】
また、右側や上下の枠を変更するためには、右側や上下の枠について上述した左側と同様な処理をそれぞれ行うことにより変更することができ、このような処理を行なうことにより、物体枠の大きさを変更することができる。
【００７８】
なお、枠の判定範囲は、前後１〜３画素程度の範囲で、しきい値δは、領域面積に応じて次のように設定している。
（数式１３）
しきい値δ ＝ ｋ１√（領域面積） ＋ ｋ２
ここで、ｋ１，ｋ２は定数である。
また、上記の物体枠の更新では、最小サイズおよび最大サイズを予め設定しており、最小サイズ以下や最大サイズ以上にはならないようにしている。
【００７９】
次に、移動体推定手段８は、追尾モードの終了判定を行い、追尾を終了しない場合は、ステップ３１に戻り対象物の追尾を継続し、移動体検出モードに戻る（ステップ３７）。
ここで、追尾モードは、移動体が監視エリアを出た場合，移動体がカメラのパン・チルトの範囲外に出た場合及び移動体が静止して一定時間以上経過した場合の少なくともいずれかの条件を満たす場合に、終了する。
【００８０】
また、移動体追尾装置は、移動体推定手段８が、ステップ３７において、追尾を終了する場合には、ＰＴＺカメラ１を予め決めておいた指定位置・指定ズーム率に戻し、移動体検出モードに復帰して移動体の検出を行う（ステップ３８）。
【００８１】
このように、移動体追尾装置は、一台のＰＴＺカメラ１を用いて、対象物を追尾しつつ、ズーミング可能な移動体の自動追尾を行うことが可能となるが、追尾をより高速でしかもより精度良く行うためには、フレーム間差分を計算する際（ステップ３５）、何フレーム前のフレームを”前フレーム”として用いるかが重要となる。
【００８２】
つまり、通常画像上の大きさが小さい物体は、その移動量も画像上で小さくなるために、フレーム間差分の差分量も小さくなる。
これは、実世界において同じ大きさで等速度運動している物体が、画像上で小さく見える場合には、画像上での速度も小さくなるためであり、このため、画像上の大きさが小さい場合にはできるだけフレーム間差分をとる際の時間間隔を長くすることが望ましい。
【００８３】
逆に、対象物が画像上で大きく写っている場合には、画像上での動きも大きくなるので、フレーム間差分の時間間隔を長くとりすぎると、対象物の動きが大きすぎて位置の不確定さが顕著になってしまうので、画像上の大きさが大きい場合には、できるだけフレーム間差分をとる際の時間間隔を短くすることが望ましい。
【００８４】
このように、フレーム間差分をとる際の時間間隔を変更する場合には、第一の変更例として、ステップ３４の動き補償において、前フレームを対象物の面積（最小包囲矩形による長方形の面積）に応じて、例えば、次のように変更することができる。
ただし、この場合、過去のフレームを保存しておくためのフレームメモリが必要となる。
【００８５】
領域面積が、条件１（領域面積≦３２×３２画素）となるときは、前フレームを４フレームとする。
また、領域面積が、条件２（３２×３２画素＜領域面積≦４８×４８画素）となるときは、前フレームを３フレームとする。
また、領域面積が、条件３（４８×４８画素＜領域面積≦６４×６４画素）となるときは、前フレームを２フレームとする。
また、領域面積が、条件４（６４×６４画素＜領域面積）となるときは、前フレームを１フレームとする。
【００８６】
また、フレーム間差分をとる際の時間間隔を変更する場合の第二の変更例として、直接、移動体の速度から求めることができる。
この移動体の速度は、例えば、過去のフレームにおける位置（ただし、カメラの動きに起因する成分を除いておく）の差分から容易に求められる。
この際、ｎフレーム前の動き補償するためのアフィン変換パラメータは、次のように計算する。
【００８７】
ｎフレーム前のフレームを動き補償するためのアフィン変換パラメータを行列＜Ａｎ＞と列ベクトル＜ｂｎ＞として、各フレーム間で求められる移動パラメータを（αｉ，βｉ，γｉ）とすると、次式で表すことができる（図７を参照願います。）。
【００８８】
（数式１４）
Ａｔ ＝ （１＋γｔ）Ｅ
ｂｔ ＝ ｔ（αｔβｔ）
ここで、Ｅは２行×２列の単位行列であり、（数式１５）を用いて算出することができる。
（数式１５）
＜Ａｎ＞ ＝ ＡｔＡｔ−１．．．Ａｔ−（ｎ−１）＝（（１＋γｔ）（１＋γｔ−１）．．．（１＋γｔ−（ｎ−１）））Ｅ＝（Π（１＋γｉ））Ｅ
＜ｂｎ＞ ＝ ＡｔＡｔ−１．．． Ａｔ−（ｎ−２）ｂｔ−（ｎ−１） ＋．．．＋ Ａｔｂｔ−１ ＋ｂｔ
【００８９】
このように、第一実施形態に係る移動体追尾装置は、上述した構成とすることによって、一台のＰＴＺカメラ１を用いて、対象物を追尾しつつ、ズーミング可能な移動体の自動追尾を高速で精度良く行うことが可能となる。
さらに、この移動体追尾装置は、移動体の大きさに応じて適応的にフレーム間差分を計算する際のフレーム間隔を変えることにより、追尾精度の向上を図ることができる。
【００９０】
次に、本発明の移動体追尾装置における及びこの装置を用いた方法の第二実施形態について説明する。
「第二実施形態」
図８は、移体追尾装置の第二実施形態における動作を説明するための概略フローチャート図を示している。
【００９１】
同図において、移動体追尾装置は、移動体追尾モードにおいて、上述の動き補償したフレーム間差分による追尾（ステップ８４）と、テンプレートマッチングによる追尾（ステップ８５）と、フレーム間差分による追尾とテンプレートマッチングによる追尾の中間的な性質を持つハイブリッド追尾（ステップ８６）とを行なう追尾手段を備え、かつ、これら三つの追尾モードのなかから、追尾モードを選択し（ステップ８３）、これらの追尾モードを切替えながら移動体を追尾する構成としてある。
【００９２】
なお、全体的な構成は、移動体検出モードにおいて検出した対象物を移動体検出モードにおいてその画像上の位置を追尾し、さらにカメラを制御するという点で、第一実施形態と同様であり、移動体検出モードや追尾終了判定、カメラ制御については、第一実施形態と同様の構成としてある。
【００９３】
この移動体追尾装置は、本発明者がフレーム間差分による追尾モードのみを有する移動体追尾装置が、移動体が動いている場合には精度良く追尾が行えるものの、移動体が一旦静止してしまうと、フレーム間差分による追尾モードだけでは、追尾対象の移動体を見失う恐れがあったことに鑑みて開発したものであり、フレーム間差分による追尾モード（ステップ８３）の他に、移動体が静止するようなときには、テンプレートマッチングによる追尾（ステップ８５）やハイブリッド追尾（ステップ８６）を自動的にモード選択（ステップ８４）することによって、精度良く追尾することができる。
【００９４】
具体的に、先ず、移動体追尾モードにおけるテンプレートマッチングによる追尾について、図面を参照して説明する。
図９は、移体追尾装置の第二実施形態におけるテンプレートマッチング追尾部を説明するための概略ブロック図を示している。
【００９５】
同図において、移動体追尾装置は、画像入力ＩＦ２と移動体をテンプレートとして記憶するテンプレートメモリ９１と、このテンプレートメモリ９１，第２の画像メモリ５及び移動パラメータ算出手段６からの情報にもとづいて、テンプレートサイズを変換するテンプレートサイズ変換手段９２と、このテンプレートサイズ変換手段９２と第１の画像メモリ４からの情報にもとづいて、各テンプレートをマッチングさせるテンプレートマッチング手段９３を有するテンプレートマッチング追尾部９０を備えた構成としてある。
なお、その他の構成は、第一実施形態と同様としてある。
【００９６】
テンプレートメモリ９１は、画像入力ＩＦから撮像データにもとづいて、テンプレートを記憶（更新）するが、この際、テンプレートを更新するタイミングは、先ず、移動体が検出されると、移動体領域をテンプレートとして新規設定し、その後は、追尾しているときにおける追尾モードの直前の追尾モードによって、具体的には、図１０に示す条件にしたがって、テンプレート及びテンプレートサイズを更新する。
【００９７】
つまり、テンプレートメモリ９１は、同図に示すように、直前の追尾モードがフレーム間差分による追尾モードの場合は、対象物の変形やカメラとの位置関係の変化に対応させるために、テンプレート画像およびテンプレートサイズを移動体領域の画像に更新する。
また、同様に、テンプレートマッチングによる追尾の場合は、テンプレート画像もそのサイズも更新せず、前フレームでの追尾で用いていたものと同じテンプレートを用いる。
さらにまた、同様に、ハイブリッド追尾の場合は、テンプレート画像は更新されるが、テンプレートサイズは更新されない。
【００９８】
テンプレートサイズ変換手段９３は、移動パラメータ算出手段６において算出された移動パラメータ（α，β，γ）の中でスケール変換のパラメータγを用いて、テンプレートサイズの変換を行う。
【００９９】
具体的には、テンプレートサイズ変換手段９３は、図１１に示すように、テンプレートが更新されたときから各フレーム間ごとに求められるカメラ移動量γｉを用いて、追尾するときのフレーム（現フレーム）で必要とされるスケールパラメータΓ＝Π（１＋γｉ）を計算し、追尾するときのフレームで必要とされるテンプレートサイズになるようにテンプレートメモリ９１に記憶されるテンプレートを拡大・縮小することでテンプレートサイズの変換を行う。
【０１００】
テンプレートマッチング手段９３は、サイズ変換されたテンプレートをＴ（ｘ，ｙ）として、（数式１６）に示すＳＡＤマッチングにより最も類似度の高い最適位置を探索する。
（数式１６）
ＪＳＡＤ（ａ，ｂ） ＝ Σ｜ｆ（ｘ−ａ，ｙ−ｂ，ｔ）−Ｔ（ｘ，ｙ）｜
（ａ，ｂ） ＝ ｍｉｎＪＳＡＤ（ａ，ｂ）
ただし、Σはテンプレートにおける総和である。
このようにして、移動体追尾装置は、移動体の位置を更新した後に、カメラ制御を行い次のフレームの処理に移行する。
【０１０１】
次に、ハイブリッド追尾について説明する。
ハイブリッド追尾は、フレーム間差分による追尾とテンプレートマッチング追尾の評価値を組み合わせて追尾するモードである。
つまり、フレーム間差分による追尾は、移動体が動いている場合に有効な方法であり、また、テンプレートマッチングによる追尾は、移動体が静止している場合にそれぞれ有効な方法であるのに対し、ハイブリッド追尾モードは、それらの中間的な性質を持つものとして設けている。
【０１０２】
具体的には、ハイブリッド追尾モードの評価関数Ｊｈｙｂｒｉｄは、（数式１５）に示すようにテンプレートマッチング追尾におけるＳＡＤ値とフレーム間差分Ｄ（ｘ，ｙ）の疑似二次モーメント量による評価値の二つの評価関数の線形和により設定している。
（数式１７）
Ｊｈｙｂｒｉｄ（ａ，ｂ） ＝ｋＳＡＤＪＳＡＤ（ａ，ｂ）＋ ｋｍＪｍ（ａ，ｂ）
ＪＳＡＤ（ａ，ｂ） ＝ Σ｜ｆ（ｘ−ａ，ｙ−ｂ，ｔ）−Ｔ（ｘ，ｙ）｜
Ｊｍ（ａ，ｂ） ＝ ΣＤ（ｘ，ｙ）（ｘ−ａ）２＋Ｄ（ｘ，ｙ）（ｙ−ａ）２
ただし、Σはテンプレートにおける総和である。
【０１０３】
この評価関数Ｊｈｙｂｒｉｄ（ａ，ｂ）を最小化する（ａ，ｂ）を求め、それにもとづき移 動体の位置を決める。
この際、上述したように、物体枠の大きさやテンプレートサイズは更新されず、テンプレートマッチング追尾やハイブリッド追尾で必要となるテンプレート画像は更新される。
【０１０４】
このように、ハイブリッド追尾（ステップ８７）は、移動量が少ないが対象物が変形をしているために、テンプレートマッチングによる追尾とフレーム間差分による追尾ともに追尾が難しいと判断される場合に、それぞれの中間的な性質を備えることによって、追尾精度を向上させることができる。
具体例としては、図１２に示すように、ズーム制御された現フレームにおいて、移動体と背景の木が重なり移動体を抽出できない場合に、動き補正した前フレームを用いて、フレーム間差分の結果として、移動体を抽出することができる。
【０１０５】
上述したように、第二実施形態における移動体追尾装置は、フレーム間差分による追尾モード，テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。
したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。
【０１０６】
また、本発明は、上述したように、移動体追尾方法としても有効であり、移動体追尾方法として実施することにより、移動体追尾装置における各実施形態と同様の効果を得ることができる。
さらにまた、本発明において、検出する対象は、移動する物体、すなわち移動体であり、侵入物体に限定されるものではないことは勿論である。
【０１０７】
【発明の効果】
以上説明したように、本発明においては、パン・チルト・ズーム機能を有するカメラを用いて高速で精度の良い移動体追尾を行うことができる。
また、移動体推定手段が、動き補償された第１の画像メモリに記憶される画像データと第２の画像メモリに記憶される画像データを用いて、この二つの画像のフレーム間の差分を算出し、このフレーム間の差分にもとづき前記移動体の位置と大きさを推定することにより、移動体の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。
【０１０８】
また、移動体推定手段が、移動体の大きさあるいは速度に応じて、二つの画像のフレーム間の差分を算出する時間間隔を、適応的に変化させる方法としてあるが、これにより、移動体が高速で移動する場合であっても、追尾することができ、移動体追尾の信頼性を向上させることができる。
【０１０９】
さらにまた、テンプレートメモリが、画像入力インターフェースと移動体をテンプレートとして記憶し、テンプレートサイズ変換手段が、テンプレートメモリ，第２の画像メモリ及び移動パラメータ算出手段からの情報にもとづいて、テンプレートサイズを変換し、テンプレートマッチング手段が、テンプレートサイズ変換手段と第１の画像メモリからの情報にもとづいて、各テンプレートをマッチングさせる方法としてあり、これにより、移動体追尾装置は、フレーム間差分による追尾モード，テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。
したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。
【図面の簡単な説明】
【図１】図１は、本発明に係る移体追尾装置の第一実施形態における概略ブロック図を示している。
【図２】図２は、移体追尾装置の第一実施形態における移動体検出手段の概略ブロック図を示している。
【図３】図３は、移動体追尾装置の第一実施形態における追尾モードの動作を説明するための概略フローチャート図を示している。
【図４】図４は、移体追尾装置の第一実施形態におけるカメラモデルを説明するための概略図を示している。
【図５】図５は、移体追尾装置の第一実施形態における移動パラメータ算出手段の動作を説明するための概略フローチャート図を示している。
【図６】図６は、移体追尾装置の第一実施形態におけるガウシアンカーネルの一例を示している。
【図７】図７は、移体追尾装置の第一実施形態におけるフレーム間差分の時間間隔を変えた場合における変換パラメータの計算の仕方を説明するための図を示している。
【図８】図８は、移体追尾装置の第二実施形態における動作を説明するための概略フローチャート図を示している。
【図９】図９は、移体追尾装置の第二実施形態におけるテンプレートマッチング追尾部を説明するための概略ブロック図を示している。
【図１０】図１０は、移体追尾装置の第二実施形態におけるテンプレートの更新の条件を説明するための図を示している。
【図１１】図１１は、移体追尾装置の第二実施形態におけるテンプレートサイズ変換手段における変換パラメータを説明するための図を示している。
【図１２】図１２は、本発明における移動体追尾装置のフレーム間の動き補償を説明するための図を示している。
【符号の説明】
１ ＰＴＺカメラ
２ 画像入力ＩＦ（インタフェース）
３ 移動体検出手段
４ 第１の画像メモリ
５ 第２の画像メモリ
６ 移動パラメータ算出手段
７ フレーム間動き補償手段
８ 移動体推定手段
９ カメラ制御手段
３１ 入力画像メモリ
３２ 背景更新手段
３３ 背景画像メモリ
３４ 差分算出手段
３５ 二値化手段
３６ ラベリング手段
３７ 移動体識別手段
９０ テンプレートマッチング追尾部
９１ テンプレートメモリ
９２ テンプレートサイズ変換手段
９３ テンプレートマッチング手段
【発明の属する技術分野】
本発明は、パン・チルト制御機能およびズーム制御機能を有するカメラを用いて、撮像した画像のなかの移動体を自動検出しさらに自動追尾する移動体追尾方法及びその装置に関し、特に、広範囲な監視エリアを一台のカメラを用いて監視する移動体追尾方法及びその装置に関する。
【０００２】
【従来の技術】
従来、広範囲な監視エリアに侵入者や侵入車両などあった場合に、これらの侵入物体（移動体）を検出するとともに、侵入物体のズームアップされた映像データを記録し、かつ、侵入物体を自動的に追尾する監視システムを実現するために、様々な移動体追尾方法及びその装置が提案されてきた。
【０００３】
（第一従来例）
例えば、特開平１１−６９３４２号において、パン・チルト制御機能およびズーム制御機能を有するカメラ（適宜、ＰＴＺカメラと略称する。）を用いた侵入物体追尾画像処理システムが提案されている。
この侵入物体追尾画像処理システムは、侵入物体の検出を行う固定した第一のカメラと、この侵入物体をズームアップし、かつ、自動的に追尾する第二のＰＴＺカメラとからなる移動体追尾装置を用いている。
【０００４】
第一の固定カメラは、通常、背景差分法と呼ばれる方法（背景画像と入力された映像の差分を用いて侵入物体を検出する方法）を用いて、侵入物体を検出する。
そして、第一の固定カメラの映像から得られた侵入物体の位置や大きさから算出された制御量にもとづいて、第二のＰＴＺカメラが制御されることにより、当該第二のＰＴＺカメラは、侵入物体を自動追尾する。
【０００５】
このように、第一従来例における移動体追尾装置は、物体が侵入したことを自動検出するとともに、侵入物体を検出する情報にもとづいて、パン・チルト方向へ回転する雲台を制御して侵入物体を自動追尾し、かつ、ズーミング可能な撮像レンズを制御して侵入物体の拡大を行うことによって、ビデオモニタの画面上に侵入物体を映し出すことができる。
したがって、監視者は、ビデオモニタの画面上で侵入物体を容易に確認することをができる。
【０００６】
【発明が解決しようとする課題】
ところが、この第一従来例における映像監視追跡装置は、二台のカメラを必要とするために、部品費及び設置工事費が高額となり、顧客のコストダウン要求に応えられないという問題があった。
【０００７】
つまり、この映像監視追跡装置は、侵入物体を検出する際に、背景差分法を用いているが、背景を撮像するためのカメラを動かしてしまうと、カメラを動かした後に撮像した映像とカメラを固定して撮像した背景映像との間の差分量が大きくなってしまい、背景と移動する侵入物体の区別ができなくなる。
このため、ＰＴＺカメラが侵入物体を追尾しているときに、この背景差分法により侵入物体の検出を行なうためには、固定されたカメラが必要となる。
【０００８】
このような理由から、第一従来例における侵入物体追尾画像処理システムは、一台のカメラを固定カメラとして用いて背景差分法により侵入物を検出し、さらに、もう一台のＰＴＺカメラを用いて侵入物体を追尾する構成としてある。
したがって、この映像監視追跡装置は、一台のカメラを用いた構成とすることができない。
【０００９】
（第二従来例）
また、カメラを一台のみ使用する技術として、例えば、特開平１０−１３８２１号において、一台のパン・チルト制御機能を有するカメラを用いて、侵入物体の検出および追尾を行う映像監視追跡装置が提案されている。
この映像監視追跡装置は、背景差分法により侵入物体を検出した後、その侵入物体に対応する画像をテンプレートとして、入力画像との差分が最小となる画像上での位置を検出するテンプレートマッチングを行うことで、侵入物体の位置を求め、この算出データにもとづいてカメラ制御することによって、侵入物体を追尾することができる。
【００１０】
しかし、第二従来例における映像監視追跡装置は、テンプレートマッチングによって追尾しているときにズームアップすると、テンプレートと映像中の侵入物体の大きさに違いが生じるために、精度良く追尾することができない。
【００１１】
また、このテンプレートマッチングにおいて、レンズのズームアップによって生じる対象物の大きさの変化に対応するには、平行移動の探索に加えて、対象物の大きさの変化を考慮にいれた探索を行う必要があり、この検索を行なうには、膨大な演算処理を必要とするので、高速で移動する侵入物体に対しては、実用化できない。
このため、第二従来例における映像監視追跡装置は、レンズをズームアップさせて、侵入物体を追尾することができないといった問題があった。
【００１２】
そこで、本発明は上記の問題を解決すべくなされたものであり、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する移動体を精度良く自動追尾することが可能となる移動体追尾方法及びその装置の提供を目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明における請求項１記載の移動体追尾方法は、パン・チルト制御機能およびズーム制御機能を有するカメラからの画像データにもとづいて、移動体を自動追尾する移動体追尾方法であって、前記カメラからの映像信号をデジタル画像として入力する画像入力インタフェースが、画像データを記憶する第１の画像メモリと、この第１の画像メモリに記憶される画像データの前のフレームにおける画像データを記憶する第２の画像メモリに当該画像データを出力し、前記第１の画像メモリに記憶される画像データと前記第２の画像メモリに記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出し、前記移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、前記第２の画像メモリに記憶される画像データと前記第１の画像メモリに記憶される画像データとのフレーム間の動き補償を行ない、前記フレーム間動き補償手段により動き補償された前記画像データから移動体を抽出し、前記移動体の位置及び／又は大きさを含む移動体情報を推定し、前記移動体情報を入力して、前記カメラのパン・チルト制御およびズーム制御を行なう方法としてある。
【００１４】
このようにすることにより、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する移動体を精度良く自動追尾することができる。
【００１５】
また、上記目的を達成するために、本発明における請求項２記載の移動体追尾装置は、移動体を自動追尾するための、パン・チルト制御機能およびズーム制御機能を有するカメラと、このカメラからの映像信号をデジタル画像として入力する画像入力インタフェースと、前記画像入力インタフェースからの画像データを記憶する第１の画像メモリと、この第１の画像メモリに記憶される画像データの前のフレームにおける画像データを記憶する第２の画像メモリと、前記第１の画像メモリに記憶される画像データと前記第２の画像メモリに記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出する移動パラメータ算出手段と、前記移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、前記第２の画像メモリに記憶される画像データと前記第一の画像メモリに記憶される画像データとのフレーム間の動き補償を行うフレーム間動き補償手段と、このフレーム間動き補償手段により動き補償された前記画像データから前記移動体を抽出し、前記移動体の位置及び／又は大きさを含む移動体情報を推定する移動体推定手段と、この移動体推定手段から得られる前記移動体情報を入力して、前記パン・チルト制御およびズーム制御を行なうカメラ制御手段と、を具備した構成としてある。
【００１６】
このように、本発明は、移動体追尾装置としても有効であり、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する移動体を精度良く自動追尾することができる。
【００１７】
請求項３記載の発明は、上記請求項２に記載の移動体追尾装置において、前記移動パラメータ算出手段が、オプティカルフローの拘束条件にもとづき反復勾配法を用いて前記画像データの間の平行移動および拡大縮小の移動パラメータを算出する構成としてある。
【００１８】
このようにすることにより、カメラ移動に起因する背景領域の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。
【００１９】
請求項４記載の発明は、上記請求項２または請求項３に記載の移動体追尾装置において、前記移動体推定手段が、前記フレーム間動き補償手段により動き補償された前記画像データを用いて、画像のフレーム間の差分を算出し、このフレーム間の差分にもとづき前記移動体の移動体情報を推定する構成としてある。
【００２０】
これにより、移動体の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。
【００２１】
請求項５記載の発明は、上記請求項４に記載の移動体追尾装置において、前記移動体推定手段が、前記移動体の大きさあるいは速度に応じて、前記第１の画像メモリに記憶される画像データと前記第２の画像メモリに記憶される画像データとの間のフレーム間隔を、適応的に変化させる構成としてある。
【００２２】
これにより、移動体が高速で移動する場合であっても、追尾することができ、移動体追尾の信頼性を向上させることができる。
【００２３】
請求項６記載の発明は、上記請求項２〜請求項５のいずれかに記載の移動体追尾装置において、前記画像入力インターフェースと前記移動体をテンプレートとして記憶するテンプレートメモリと、このテンプレートメモリ，前記第２の画像メモリ及び前記移動パラメータ算出手段からの情報にもとづいて、テンプレートサイズを変換するテンプレートサイズ変換手段と、このテンプレートサイズ変換手段と前記第１の画像メモリからの情報にもとづいて、各テンプレートをマッチングさせるテンプレートマッチング手段を有するテンプレートマッチング追尾部を備えた構成としてある。
【００２４】
このようにすることにより、移動体追尾装置は、フレーム間差分による追尾モード，テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。
したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。
【００２５】
【発明の実施の形態】
以下、本発明の各実施形態について、図面を参照して説明する。
先ず、本発明の移動体追尾装置における及びこの装置を用いた方法の第一実施形態について、図面を参照して説明する。
【００２６】
「第一実施形態」
図１は、本発明に係る移体追尾装置の第一実施形態における概略ブロック図を示している。
【００２７】
同図において、移動体追尾装置は、パン・チルト制御機能およびズーム制御機能を有するカメラ（ＰＴＺカメラ）１と、このＰＴＺカメラ１からの映像信号をデジタル画像として入力する画像入力ＩＦ（インターフェイス）２と、画像入力ＩＦ２からの画像データにもとづいて、移動体を検出する移動体検出手段３と、画像入力ＩＦ２からの画像データを記憶する第１の画像メモリ４と、第１の画像メモリ４に記憶される画像データの前のフレームにおける画像データを記憶する第２の画像メモリ５と、第１の画像メモリ４に記憶される画像データと第２の画像メモリ５に記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出する移動パラメータ算出手段６と、この移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、第２の画像メモリ５に記憶される画像データと第一の画像メモリ４に記憶される画像データとのフレーム間の動き補償を行うフレーム間動き補償手段７と、動き補償された画像データから移動体を抽出し、移動体の位置及び／又は大きさを含む移動体情報を推定する移動体推定手段８と、この移動体情報を入力して、前記パン・チルト制御およびズーム制御を行なうカメラ制御手段９とで構成してある。
【００２８】
ＰＴＺカメラ１は、外部インタフェースを有し、かつ、電動式の雲台に配設されたズームカメラであり、外部からの制御信号によって、雲台の左右方向の回転（パン），上下方向の回転（チルト）及びレンズのズーム率が制御される。
【００２９】
ここで、ＰＴＺカメラ１は、カメラの光軸，雲台のパンの回転軸及びチルトの回転軸が一点で交差する構成としてあるので、撮像する画像の座標系とパン・チルトの制御量への変換演算を簡略かつ少量化することができる。
【００３０】
画像入力ＩＦ２は、ＰＴＺカメラ１からのアナログの映像信号をＡ／Ｄ変換によりデジタル化し、第１の画像メモリ４に入力する。
なお、ＰＴＺカメラ１としてデジタル映像カメラのように圧縮されたデジタル信号を出力するカメラを用いた場合には、画像入力ＩＦ２としては圧縮デジタル画像を展開して、第１の画像メモリ４に入力する画像入力ＩＦを設ける必要がある。
【００３１】
移動体検出手段３は、画像入力ＩＦ２から入力された画像を用いて移動体を検出する。
ここで、移動体追尾装置は、移動体を検出する移動体検出モードと、検出した移動体をズームアップして追尾する追尾モードの二つのモードを有している。
【００３２】
移動体検出手段３は、図２に示すように、背景差分法を用いて移動体を検出する。
ここで、移動体検出手段３は、各時刻における入力画像信号を入力して、この入力画像を記憶する入力画像メモリ３１と、背景画像を生成・更新する背景更新手段３２と、背景画像を記憶する背景画像メモリ３３と、入力画像メモリ３１の画像と背景画像メモリ３３の画像の差分を算出する差分算出手段３４と、差分算出手段３４からの画像差分を二値化する二値化手段３５と、二値化した画像のラベリングを行うラベリング手段３６と、得られるラベル画像から移動体を識別し、移動体の位置情報信号を出力する移動体識別手段３７とで構成してある。
【００３３】
まず、入力画像メモリ３１に入力された画像は、背景更新手段３２で背景生成および背景更新に利用される。
背景更新手段３２は、移動体追尾装置が起動したときや、追尾モードが終了し移動体検出モードとなったときに、背景生成を行ない、また、その後の移動体検出モードにおいては背景更新を行う構成としてある。
【００３４】
背景更新手段３２は、背景生成において、任意のフレームｔの画像をｆ（ｘ，ｙ，ｔ）と表し、これを背景Ｂ（ｘ，ｙ，ｔ）として背景画像メモリ３３に記録する。
そして、背景更新手段３２は、次のフレームｔ＋１の背景更新において、背景生成のときからのフレーム数をｎ、前のフレームにおける背景をＢ（ｘ，ｙ，ｔ）として、フレームｆ（ｘ，ｙ，ｔ＋１）の画像を利用して次の漸化式にしたがって新しい背景Ｂ（ｘ，ｙ，ｔ＋１）を計算する。
【００３５】
（数式１）
Ｂ（ｘ，ｙ，ｔ＋１） ＝ （１−α）Ｂ（ｘ，ｙ，ｔ）＋αｆ（ｘ，ｙ，ｔ＋１）
ただし、
ｎ＜Ｎのとき：α＝ １／（ｎ＋１）
ｎ≧Ｎのとき：α＝ １／（Ｎ＋１）
ここで、αは新しいフレームの影響を背景にどれだけ取り込むか決める係数で、Ｎは定数であり、例えば、３００フレームと設定する。
【００３６】
ここで、例えば、ｎ＝１の場合、α＝１／（ｎ＋１）＝１／２となり、ｆ（ｘ，ｙ，ｔ）とｆ（ｘ，ｙ，ｔ＋１）の平均値画像を新しい背景画像Ｂ（ｘ，ｙ，ｔ＋１）とすることになる。
そして、順次、（数式１）による背景を漸化的に計算することで、照明変動などに起因する背景の変化にも柔軟に対応できる背景Ｂ（ｘ，ｙ，ｔ）となる。
このようにして背景更新手段３２により算出された背景画像は、背景画像メモリ３３に記憶される。
【００３７】
差分算出手段３４は、入力画像メモリ３１に記憶される入力画像ｆ（ｘ，ｙ，ｔ）と、背景画像メモリ３３に記憶される背景画像Ｂ（ｘ，ｙ，ｔ）の差分の絶対値を（数式２）により算出する。
（数式２）
Ｓ（ｘ，ｙ，ｔ） ＝ ｜Ｂ（ｘ，ｙ，ｔ）−ｆ（ｘ，ｙ，ｔ）｜
そして、差分算出手段３４は、この差分画像Ｓ（ｘ，ｙ，ｔ）を二値化手段３５に出力する。
【００３８】
また、差分算出手段３４は、差分画像Ｓ（ｘ，ｙ，ｔ）に対して、ガウシアンフィルタなどを畳み込むことにより、平滑化した結果を出力することができ、ノイズに対する悪影響が低減された良好な結果を得ることができる。
なお、本実施形態においては、一般的な背景差分法による移動体検出手段３を用いたが、これに限定するものはなく、例えば、本発明者が特願平１１−０７８６４１号において提案した物体検出装置を用いて、移動体検出手段を構成することができる。
【００３９】
二値化手段３５は、差分画像Ｓ（ｘ，ｙ，ｔ）のしきい値処理により二値化し、この二値化された二値画像をラベリング手段３６に出力する。
また、ラベリング手段３６は、二値画像をラベリング（分類）し、このラベル画像を移動体識別手段３７に出力する。
【００４０】
移動体識別手段３７は、ラベル画像の各ラベルの面積を調べて、面積がしきい値以上大きいラベルを移動体として判定し、そのラベルを囲う最小包囲矩形を算出する。
ここで、移動体識別手段３７は、最小包囲矩形を中心座標ｍ（ｃｘ，ｃｙ）と大きさ（ｚｘ，ｚｙ）として算出し、これらからなる移動体の位置情報信号を出力する。
このように、移動体検出手段３は、移動体検出モードにおいて、移動体を検出することができる。
【００４１】
移動体追尾装置は、移動体検出手段３が移動体を検出すると、移動体検出モードから移動体を追尾する追尾モードに移行する。
次に、移動体追尾装置の追尾モードにおける動作について、図面を参照して説明する。
【００４２】
図３は、移動体追尾装置の第一実施形態における追尾モードの動作を説明するための概略フローチャート図を示している。
同図において、先ず、移動体追尾装置は、移動体検出手段３が移動体を検出すると、追尾モードに移行し（ステップ３０）、続いて、その移動体を検出した画像における当該移動体の中心座標ｍ（ｃｘ，ｃｙ）と大きさ（ｚｘ，ｚｙ）、すなわち、移動体の位置情報からカメラ制御手段９を介してＰＴＺカメラ１のパン・チルト・ズームを制御して、移動体を最適な画角で捉えられる（ステップ３１）。
【００４３】
ここで、移動体の中心座標ｍ（ｃｘ，ｃｙ）データを用いて、ＰＴＺカメラ１のパン・チルトを制御する方法について説明する。
カメラの座標系と画像面（カメラの結像面、すなわち、ＣＣＤなどの撮像面）の関係は、図４に示すように、画像面の中心ｃと光軸中心（すなわちＺ軸）が一致すると近似し、画像面の水平方向をｘ軸、画像面の垂直方向をｙ軸とする。
ここで、ｄは、カメラのレンズの焦点距離を表している。
【００４４】
また、同図におけるカメラモデルの表現方法は、通常、コンピュータビジョンの分野で用いられる仮想画像平面を用いた表現方法、具体的には、徐剛、辻三郎著「３次元ビジョン」（共立出版、１９９８年、ｐｐ．１６−１７）に記述されている表現方法により表現してある。
【００４５】
移動体の中心座標ｍ（ｃｘ，ｃｙ）を画像面の中心ｃに一致させるのに必要なパン角φとチルト角θは、（数式３）により近似的に表すことができる。
なお、（数式３）は、特許２９５３４９７号において、「対象の補足方法およびその装置」に関する技術として記述されている。
（数式３）
パン角φ ＝ −ｃｘ／ｄ
チルト角θ ＝ −ｃｙ／ｄ
したがって、（数式３）のパン角φとチルト角θとなるように、雲台を制御することにより、移動体の位置を画像中心に捉えることができる。
【００４６】
また、ズーム率の制御は、移動体の大きさに合わせて制御量を決めれば良く、具体的には、特開平１１−６９３４２号において、「対象の補足方法およびその装置」に関するズーム制御方法として記述されている。
【００４７】
このように、カメラ制御手段９が、上述した方法により得られるパン・チルト・ズームの制御量（制御信号）をＰＴＺカメラ１に出力すると、ＰＴＺカメラ１は、この制御信号にもとづいて、パン・チルト・ズームを制御する。
【００４８】
ここで、移動体追尾装置は、移動体の検出後に、移動体検出モードのまま、対象物体を追尾するためにＰＴＺカメラ１を移動させると、移動体を検出したときのカメラアングルと、その次のフレームにおけるカメラアングルが異なるために背景差分法による移動体検出が、通常、正常に動作しなくなる。
そこで、移動体追尾装置は、移動体検出モードにより移動体を検出すると、移動体検出モードから追尾モードにモード切り替えを行なってから、追尾モードによる移動体の追跡を行う構成としてある。
【００４９】
つまり、移動体追尾装置は、移動体を検出したときのフレームを、図１に示すフレームｔ−１とし、追尾モードに入った最初のフレームをフレームｔとして、フレームｔとフレームｔ−１の画像を第１の画像メモリ４と第２の画像メモリ５にそれぞれ記憶する。
そして、その後のループでは、前のフレームの画像を第２の画像メモリ５に記憶し、第１の画像メモリ４に次のフレームの新しい画像を入力するように制御する（ステップ３２）。
【００５０】
次に、移動パラメータ算出手段６は、第１の画像メモリ４に記憶される画像ｆ（ｘ，ｙ，ｔ）と第２の画像メモリ５に記憶される画像ｆ（ｘ，ｙ，ｔ−１）を用いて、ＰＴＺカメラ１のパン・チルト・ズームの変化に起因する背景の移動パラメータを求める（ステップ３３）。
【００５１】
ここで、この背景の移動パラメータの推定方法について説明する。
まず、撮像されている移動体は十分小さく、かつ、画像全体を占める映像は大部分が背景であると仮定し、さらに、移動体の影響は無視できるものとして説明する。
【００５２】
そして、画像ｆ（ｘ，ｙ，ｔ）は、ＰＴＺカメラ１のパン・チルト・ズームが制御されるとこれらの変動によって、平行移動と拡大・縮小の変換（アフィン変換）を受けて画像ｆ（ｘ，ｙ，ｔ−１）となると仮定することによって、推定することができる。
【００５３】
つまり、二つの画像間の関係式は（数式４）で表される拘束下にあるものとする。
（数式４）
ｆ（ｘ＋ｕ，ｙ＋ｖ，ｔ） ＝ ｆ（ｘ，ｙ，ｔ−１）
ｕ ＝ γｘ ＋α
ｖ ＝ γｙ ＋β
ここで、γは拡大縮小を表し、αはｘ方向の移動量、βはｙ方向の移動量を表している。
【００５４】
続いて、この移動パラメータを求めるための処理について、図面を参照して説明する。
図５は、移体追尾装置の第一実施形態における移動パラメータ算出手段の動作を説明するための概略フローチャート図を示している。
同図において、移動パラメータを求める処理は、大きく二つの処理に分かれ、第１の処理は、γ＝０と仮定し、平行移動のパラメータα、βのみをＳＳＤマッチングによる相関計算にもとづき推定する処理であり、また、第２の処理は、第１の処理で推定した移動パラメータを初期値として、反復勾配法により移動パラメータα、β、γを推定する処理である。
【００５５】
まず、第１の処理であるステップのＳＳＤマッチングによる初期値推定（ステップ５１）について説明する。
第１の処理の初期値推定では、（数式５）による差分量Ｊ１（ｕ，ｖ）を計算し、その最小を与えるｕ，ｖを求める。
（数式５）
Ｊ１（ｕ，ｖ） ＝ Σ｜ｆ（ｘ＋ｕ，ｙ＋ｖ，ｔ）−ｆ（ｘ，ｙ，ｔ−１）｜２
ただし、Σは背景領域における総和である。
【００５６】
ここでは、評価値として画素値の差の二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いているが、画素値の差の絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や正規化相関などを用いることもできる。
また、（ｕ，ｖ）の探索空間は、カメラアングルやレンズのズーム率等に依存するが、前後数画素から数十画素程度の範囲について、画素単位をとれば十分である。
【００５７】
次に、第２の処理において、得られたｕ，ｖをそれぞれ移動パラメータα、βの初期値として用い、オプティカルフロー拘束にもとづく移動量に関する条件式を反復勾配法により求める（ステップ５２、５３、５４）。
【００５８】
この反復勾配法は、本発明者が、特開平７−３３４６９０号において、「物体の輪郭追跡方法」に関する技術として開示しているが、その原理について簡単に説明する。
まず、画像ｆ（ｘ，ｙ，ｔ）と画像ｆ（ｘ，ｙ，ｔ−１）の間の関係が（数４）の拘束下にあると仮定する。
【００５９】
そして、（数式６）の目的関数Ｊ２（α，β，γ）を最小化することにより、移動パラメータを求めることができる。
（数式６）
Ｊ２（α，β，γ） ＝ Σ ｜ｆ（ｘ＋ｕ，ｙ＋ｖ，ｔ）−ｆ（ｘ，ｙ，ｔ−１）｜２
ただし、Σは背景領域における総和である。
【００６０】
ここで、（数式６）のｆ（ｘ＋ｕ，ｙ＋ｖ，ｔ）をｆ（ｘ，ｙ，ｔ−１）のまわりでテイラー展開し、１次までの項を用いることで、目的関数Ｊ ２ を近似すると（数式７）となる。
（数式７）
J2(α,β,γ) ≒ Σ| u∂f/∂x+v∂f/∂y+∂f/∂t |2
【００６１】
また、J2(α,β,γ)の最小を与える必要条件は、（数式８）によって与えられる。
（数式８）
∂J2(α,β,γ)/∂α = 0
∂J2(α,β,γ)/∂β = 0
∂J2(α,β,γ)/∂γ = 0
【００６１】
また、Ｊ２（α，β，γ）の最小を与える必要条件は、（数式８）によって与えられる。
（数式８）
∂Ｊ２（α，β，γ）／∂α ＝ ０
∂Ｊ２（α，β，γ）／∂β ＝ ０
∂Ｊ２（α，β，γ）／∂γ ＝ ０
【００６２】
ここで、（数式８）の条件式に（数式４）のｕ，ｖ、および（数式７）のＪ２（α，β，γ）を代入すると、三元一次連立方程式となり、（数式９）に示す解が得られる。
（数式９）
ｔ（ αβγ ） ＝ −Ａ−１Ｂ
ここで、
Ａ ＝ ΣｔＷＷ
Ｂ ＝ Σ（∂ｆ／∂ｔｔＷ）
Ｗ ＝ （∂ｆ／∂ｘ∂ｙ／∂ｙ（ｘ∂ｆ／∂ｙ＋ｙ∂ｆ／∂ｙ））
ただし、Σは背景領域における総和である。
【００６３】
なお、ｔＸは行列Ｘの転置行列を表しており、これは解析的に容易に解くことができ、移動パラメータ（α，β，γ）が求められる。
しかし、ここで得られるパラメータは、（数式７）を得る段階でテイラー展開しているために移動量が大きい場合には必ずしも精度が良いというわけではない。
そのため、通常は反復して解を求める必要がある。
このようにして、反復解法によるオプティカルフロー拘束にもとづく移動量推定方法は、反復勾配法と呼ばれる。
【００６４】
したがって、第２の処理では、まずＳＳＤマッチングによって得られた初期値（α，β）にもとづき画像ｆ（ｘ，ｙ，ｔ）のアフィン変換を行う（ステップ５２）。
次に、オプティカルフロー拘束にもとづく移動量推定を行う（ステップ５３）が、これはそれぞれ（数式９）の行列Ａ，列ベクトルＢの各要素を計算する過程、逆行列Ａ−１を計算する過程、最終的に（数式９）によって得られる移動量（α，β，γ）を計算する過程からなる。
【００６５】
また、行列Ｗの値には偏微分によって表される項があるが、これは画像の水平方向差分（（ｆ（ｘ＋１，ｙ，ｔ）−ｆ（ｘ−１，ｙ，ｔ））／２）、垂直方向差分（ｆ（ｘ，ｙ＋１，ｔ）−ｆ（ｘ，ｙ−１，ｔ））／２）を用いて計算すればよい。
また、時間偏微分はフレーム間の差分を計算すればよい。
【００６６】
続いて、反復回数が十分か否か判定し、不十分であるならば、（α，β，γ）のパラメータを用いて画像ｆ（ｘ，ｙ，ｔ）をアフィン変換するように、変換された画像を用いて移動量の推定を繰り返す（ステップ５４）。
反復回数が十分であるならば、推定された移動パラメータ（α，β，γ）を出力する。
なお、ここで求めるα、βは、サブピクセルの精度が必要である。
【００６７】
上述したように、図３に示すステップ３３において、カメラ移動に起因する背景領域の移動パラメータ（α，β，γ）を算出することができる。
【００６８】
次に、移動体追尾装置は、第２の画像の動きを補償する（ステップ３４）。
具体的には、フレーム間動き補償手段１７は、算出した移動パラメータ（α，β，γ）を用いて、第１の画像と第２の画像のフレーム間の動きを補償するように、第２の画像をアフィン変換する。
ここで、アフィン変換における補間方法として、画素値の補間に対する共一次内挿法（ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いる。
【００６９】
続いて、移動体推定手段８は、第１の画像と動き補償された第２の画像のフレーム間の差分を計算する（ステップ３５）。
ここで、フレーム間に写っている背景の僅かなずれによるノイズなどを低減させるために、画像をぼかす処理として、フレーム間差分を行う前後にガウシアンによる畳み込み処理を行う。
【００７０】
具体的には、フレーム間差分の結果Ｄ（ｘ，ｙ）は、第１の画像をｆ（ｘ，ｙ，ｔ）、動き補償した第２の画像をｆ’（ｘ，ｙ，ｔ−１）として次式で表される。
（数式１０）
Ｄ（ｘ，ｙ） ＝ Ｇ＊｜Ｇ＊ｆ（ｘ，ｙ，ｔ）−Ｇ＊ｆ’（ｘ，ｙ，ｔ−１）｜
ここで、Ｇはガウシアンフィルタ、＊は畳み込み処理を表している。
また、ガウシアンの畳み込み処理では、図６に示す５行×５列の離散的なカーネルを用いている。
【００７１】
続いて、移動体推定手段８は、フレーム間差分を用いて移動体の位置および大きさの推定を行う（ステップ３６）。
ここで、移動体は、当該移動体を囲む最小包囲矩形による物体枠によって、表現される。
この物体枠は、物体枠の予測，物体の中心位置の決定及び物体枠の大きさの変更といった三つの処理によって、求めることができる。
【００７２】
ここで、物体枠の予測は、前回の処理における物体枠が今回のフレームでどこにあるのか予測するものである。
具体的には、今回のフレームにおける物体枠は、前回のフレームと今回のフレームのカメラ移動に起因する背景の移動量とカメラの動きを補正し、その後の物体そのものの画像上の速度から計算される移動量を加算することによって、予測される。
すなわち、（予測物体枠位置）＝（前回の物体枠位置）＋（カメラ移動量）＋（物体移動量）の関係にもとづいて、物体枠の位置は予測される。
【００７３】
そして、物体の中心位置ｍ（ｃｘ，ｃｙ）は、予測された物体枠内におけるフレーム間差分Ｄ（ｘ，ｙ，ｔ）の重心によって決定される。
具体的には、物体の中心位置ｍ（ｃｘ，ｃｙ）は、（数式１１）により算出される。
（数式１１）
ｃｘ ＝ Σ ｘＤ（ｘ，ｙ）／ΣＤ（ｘ，ｙ）
ｃｙ ＝ Σ ｙＤ（ｘ，ｙ）／ΣＤ（ｘ，ｙ）
ただし、Σは予測された物体枠内における総和である。
【００７４】
このようにして求められた中心位置ｍ（ｃｘ，ｃｙ）を物体の中心として、物体枠の中心を更新する。
また、物体枠の大きさは、中心位置ｍ（ｃｘ，ｃｙ）を中心とした物体枠を初期値として、フレーム間差分Ｄ（ｘ，ｙ）を基準にその枠を上下左右に移動させることにより変更する。
【００７５】
具体的には、上下左右のそれぞれの枠ごとに独立に同様の処理を行うが、先ず、一例として、左側の枠を変更する場合について説明する。
左側の枠を変更するためには、左枠の近傍で、左枠に関する次の評価値Ｓｌｅｆｔ（ｘ）を（数式１２）にしたがって計算する。
（数式１２）
Ｓｌｅｆｔ（ｘ） ＝ （Σｙｍｉｎ ｙｍａｘＤ（ｘ，ｙ））／（ｙｍａｘ−ｙｍｉｎ）
ここで、ｙｍａｘ，ｙｍｉｎは、それぞれ物体枠の上限と下限である。
【００７６】
次に、このＳｌｅｆｔ（ｘ）の値が、しきい値δよりも大きいか否かについて、外側から順番に判定し、しきい値よりも大きい（差分量が大きい）場合に、左枠をその位置に移動する。
ここで、判定する範囲において、Ｓｌｅｆｔ（ｘ）の値が、しきい値よりも全て小さい場合には、その判定範囲の最小に枠を縮める。
このように、フレーム間差分を物体枠に沿って積算し、その量の大きさにしたがって物体枠を広げたり、縮めたりする。
【００７７】
また、右側や上下の枠を変更するためには、右側や上下の枠について上述した左側と同様な処理をそれぞれ行うことにより変更することができ、このような処理を行なうことにより、物体枠の大きさを変更することができる。
【００７８】
なお、枠の判定範囲は、前後１〜３画素程度の範囲で、しきい値δは、領域面積に応じて次のように設定している。
（数式１３）
しきい値δ ＝ ｋ１√（領域面積） ＋ ｋ２
ここで、ｋ１，ｋ２は定数である。
また、上記の物体枠の更新では、最小サイズおよび最大サイズを予め設定しており、最小サイズ以下や最大サイズ以上にはならないようにしている。
【００７９】
次に、移動体推定手段８は、追尾モードの終了判定を行い、追尾を終了しない場合は、ステップ３１に戻り対象物の追尾を継続し、移動体検出モードに戻る（ステップ３７）。
ここで、追尾モードは、移動体が監視エリアを出た場合，移動体がカメラのパン・チルトの範囲外に出た場合及び移動体が静止して一定時間以上経過した場合の少なくともいずれかの条件を満たす場合に、終了する。
【００８０】
また、移動体追尾装置は、移動体推定手段８が、ステップ３７において、追尾を終了する場合には、ＰＴＺカメラ１を予め決めておいた指定位置・指定ズーム率に戻し、移動体検出モードに復帰して移動体の検出を行う（ステップ３８）。
【００８１】
このように、移動体追尾装置は、一台のＰＴＺカメラ１を用いて、対象物を追尾しつつ、ズーミング可能な移動体の自動追尾を行うことが可能となるが、追尾をより高速でしかもより精度良く行うためには、フレーム間差分を計算する際（ステップ３５）、何フレーム前のフレームを”前フレーム”として用いるかが重要となる。
【００８２】
つまり、通常画像上の大きさが小さい物体は、その移動量も画像上で小さくなるために、フレーム間差分の差分量も小さくなる。
これは、実世界において同じ大きさで等速度運動している物体が、画像上で小さく見える場合には、画像上での速度も小さくなるためであり、このため、画像上の大きさが小さい場合にはできるだけフレーム間差分をとる際の時間間隔を長くすることが望ましい。
【００８３】
逆に、対象物が画像上で大きく写っている場合には、画像上での動きも大きくなるので、フレーム間差分の時間間隔を長くとりすぎると、対象物の動きが大きすぎて位置の不確定さが顕著になってしまうので、画像上の大きさが大きい場合には、できるだけフレーム間差分をとる際の時間間隔を短くすることが望ましい。
【００８４】
このように、フレーム間差分をとる際の時間間隔を変更する場合には、第一の変更例として、ステップ３４の動き補償において、前フレームを対象物の面積（最小包囲矩形による長方形の面積）に応じて、例えば、次のように変更することができる。
ただし、この場合、過去のフレームを保存しておくためのフレームメモリが必要となる。
【００８５】
領域面積が、条件１（領域面積≦３２×３２画素）となるときは、前フレームを４フレームとする。
また、領域面積が、条件２（３２×３２画素＜領域面積≦４８×４８画素）となるときは、前フレームを３フレームとする。
また、領域面積が、条件３（４８×４８画素＜領域面積≦６４×６４画素）となるときは、前フレームを２フレームとする。
また、領域面積が、条件４（６４×６４画素＜領域面積）となるときは、前フレームを１フレームとする。
【００８６】
また、フレーム間差分をとる際の時間間隔を変更する場合の第二の変更例として、直接、移動体の速度から求めることができる。
この移動体の速度は、例えば、過去のフレームにおける位置（ただし、カメラの動きに起因する成分を除いておく）の差分から容易に求められる。
この際、ｎフレーム前の動き補償するためのアフィン変換パラメータは、次のように計算する。
【００８７】
ｎフレーム前のフレームを動き補償するためのアフィン変換パラメータを行列＜Ａｎ＞と列ベクトル＜ｂｎ＞として、各フレーム間で求められる移動パラメータを（αｉ，βｉ，γｉ）とすると、次式で表すことができる（図７を参照願います。）。
【００８８】
（数式１４）
Ａｔ ＝ （１＋γｔ）Ｅ
ｂｔ ＝ ｔ（αｔβｔ）
ここで、Ｅは２行×２列の単位行列であり、（数式１５）を用いて算出することができる。
（数式１５）
＜Ａｎ＞ ＝ ＡｔＡｔ−１．．．Ａｔ−（ｎ−１）＝（（１＋γｔ）（１＋γｔ−１）．．．（１＋γｔ−（ｎ−１）））Ｅ＝（Π（１＋γｉ））Ｅ
＜ｂｎ＞ ＝ ＡｔＡｔ−１．．． Ａｔ−（ｎ−２）ｂｔ−（ｎ−１） ＋．．．＋ Ａｔｂｔ−１ ＋ｂｔ
【００８９】
このように、第一実施形態に係る移動体追尾装置は、上述した構成とすることによって、一台のＰＴＺカメラ１を用いて、対象物を追尾しつつ、ズーミング可能な移動体の自動追尾を高速で精度良く行うことが可能となる。
さらに、この移動体追尾装置は、移動体の大きさに応じて適応的にフレーム間差分を計算する際のフレーム間隔を変えることにより、追尾精度の向上を図ることができる。
【００９０】
次に、本発明の移動体追尾装置における及びこの装置を用いた方法の第二実施形態について説明する。
「第二実施形態」
図８は、移体追尾装置の第二実施形態における動作を説明するための概略フローチャート図を示している。
【００９１】
同図において、移動体追尾装置は、移動体追尾モードにおいて、上述の動き補償したフレーム間差分による追尾（ステップ８４）と、テンプレートマッチングによる追尾（ステップ８５）と、フレーム間差分による追尾とテンプレートマッチングによる追尾の中間的な性質を持つハイブリッド追尾（ステップ８６）とを行なう追尾手段を備え、かつ、これら三つの追尾モードのなかから、追尾モードを選択し（ステップ８３）、これらの追尾モードを切替えながら移動体を追尾する構成としてある。
【００９２】
なお、全体的な構成は、移動体検出モードにおいて検出した対象物を移動体検出モードにおいてその画像上の位置を追尾し、さらにカメラを制御するという点で、第一実施形態と同様であり、移動体検出モードや追尾終了判定、カメラ制御については、第一実施形態と同様の構成としてある。
【００９３】
この移動体追尾装置は、本発明者がフレーム間差分による追尾モードのみを有する移動体追尾装置が、移動体が動いている場合には精度良く追尾が行えるものの、移動体が一旦静止してしまうと、フレーム間差分による追尾モードだけでは、追尾対象の移動体を見失う恐れがあったことに鑑みて開発したものであり、フレーム間差分による追尾モード（ステップ８３）の他に、移動体が静止するようなときには、テンプレートマッチングによる追尾（ステップ８５）やハイブリッド追尾（ステップ８６）を自動的にモード選択（ステップ８４）することによって、精度良く追尾することができる。
【００９４】
具体的に、先ず、移動体追尾モードにおけるテンプレートマッチングによる追尾について、図面を参照して説明する。
図９は、移体追尾装置の第二実施形態におけるテンプレートマッチング追尾部を説明するための概略ブロック図を示している。
【００９５】
同図において、移動体追尾装置は、画像入力ＩＦ２と移動体をテンプレートとして記憶するテンプレートメモリ９１と、このテンプレートメモリ９１，第２の画像メモリ５及び移動パラメータ算出手段６からの情報にもとづいて、テンプレートサイズを変換するテンプレートサイズ変換手段９２と、このテンプレートサイズ変換手段９２と第１の画像メモリ４からの情報にもとづいて、各テンプレートをマッチングさせるテンプレートマッチング手段９３を有するテンプレートマッチング追尾部９０を備えた構成としてある。
なお、その他の構成は、第一実施形態と同様としてある。
【００９６】
テンプレートメモリ９１は、画像入力ＩＦから撮像データにもとづいて、テンプレートを記憶（更新）するが、この際、テンプレートを更新するタイミングは、先ず、移動体が検出されると、移動体領域をテンプレートとして新規設定し、その後は、追尾しているときにおける追尾モードの直前の追尾モードによって、具体的には、図１０に示す条件にしたがって、テンプレート及びテンプレートサイズを更新する。
【００９７】
つまり、テンプレートメモリ９１は、同図に示すように、直前の追尾モードがフレーム間差分による追尾モードの場合は、対象物の変形やカメラとの位置関係の変化に対応させるために、テンプレート画像およびテンプレートサイズを移動体領域の画像に更新する。
また、同様に、テンプレートマッチングによる追尾の場合は、テンプレート画像もそのサイズも更新せず、前フレームでの追尾で用いていたものと同じテンプレートを用いる。
さらにまた、同様に、ハイブリッド追尾の場合は、テンプレート画像は更新されるが、テンプレートサイズは更新されない。
【００９８】
テンプレートサイズ変換手段９３は、移動パラメータ算出手段６において算出された移動パラメータ（α，β，γ）の中でスケール変換のパラメータγを用いて、テンプレートサイズの変換を行う。
【００９９】
具体的には、テンプレートサイズ変換手段９３は、図１１に示すように、テンプレートが更新されたときから各フレーム間ごとに求められるカメラ移動量γｉを用いて、追尾するときのフレーム（現フレーム）で必要とされるスケールパラメータΓ＝Π（１＋γｉ）を計算し、追尾するときのフレームで必要とされるテンプレートサイズになるようにテンプレートメモリ９１に記憶されるテンプレートを拡大・縮小することでテンプレートサイズの変換を行う。
【０１００】
テンプレートマッチング手段９３は、サイズ変換されたテンプレートをＴ（ｘ，ｙ）として、（数式１６）に示すＳＡＤマッチングにより最も類似度の高い最適位置を探索する。
（数式１６）
ＪＳＡＤ（ａ，ｂ） ＝ Σ｜ｆ（ｘ−ａ，ｙ−ｂ，ｔ）−Ｔ（ｘ，ｙ）｜
（ａ，ｂ） ＝ ｍｉｎＪＳＡＤ（ａ，ｂ）
ただし、Σはテンプレートにおける総和である。
このようにして、移動体追尾装置は、移動体の位置を更新した後に、カメラ制御を行い次のフレームの処理に移行する。
【０１０１】
次に、ハイブリッド追尾について説明する。
ハイブリッド追尾は、フレーム間差分による追尾とテンプレートマッチング追尾の評価値を組み合わせて追尾するモードである。
つまり、フレーム間差分による追尾は、移動体が動いている場合に有効な方法であり、また、テンプレートマッチングによる追尾は、移動体が静止している場合にそれぞれ有効な方法であるのに対し、ハイブリッド追尾モードは、それらの中間的な性質を持つものとして設けている。
【０１０２】
具体的には、ハイブリッド追尾モードの評価関数Ｊｈｙｂｒｉｄは、（数式１５）に示すようにテンプレートマッチング追尾におけるＳＡＤ値とフレーム間差分Ｄ（ｘ，ｙ）の疑似二次モーメント量による評価値の二つの評価関数の線形和により設定している。
（数式１７）
Ｊｈｙｂｒｉｄ（ａ，ｂ） ＝ｋＳＡＤＪＳＡＤ（ａ，ｂ）＋ ｋｍＪｍ（ａ，ｂ）
ＪＳＡＤ（ａ，ｂ） ＝ Σ｜ｆ（ｘ−ａ，ｙ−ｂ，ｔ）−Ｔ（ｘ，ｙ）｜
Ｊｍ（ａ，ｂ） ＝ ΣＤ（ｘ，ｙ）（ｘ−ａ）２＋Ｄ（ｘ，ｙ）（ｙ−ａ）２
ただし、Σはテンプレートにおける総和である。
【０１０３】
この評価関数Ｊｈｙｂｒｉｄ（ａ，ｂ）を最小化する（ａ，ｂ）を求め、それにもとづき移 動体の位置を決める。
この際、上述したように、物体枠の大きさやテンプレートサイズは更新されず、テンプレートマッチング追尾やハイブリッド追尾で必要となるテンプレート画像は更新される。
【０１０４】
このように、ハイブリッド追尾（ステップ８７）は、移動量が少ないが対象物が変形をしているために、テンプレートマッチングによる追尾とフレーム間差分による追尾ともに追尾が難しいと判断される場合に、それぞれの中間的な性質を備えることによって、追尾精度を向上させることができる。
具体例としては、図１２に示すように、ズーム制御された現フレームにおいて、移動体と背景の木が重なり移動体を抽出できない場合に、動き補正した前フレームを用いて、フレーム間差分の結果として、移動体を抽出することができる。
【０１０５】
上述したように、第二実施形態における移動体追尾装置は、フレーム間差分による追尾モード，テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。
したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。
【０１０６】
また、本発明は、上述したように、移動体追尾方法としても有効であり、移動体追尾方法として実施することにより、移動体追尾装置における各実施形態と同様の効果を得ることができる。
さらにまた、本発明において、検出する対象は、移動する物体、すなわち移動体であり、侵入物体に限定されるものではないことは勿論である。
【０１０７】
【発明の効果】
以上説明したように、本発明においては、パン・チルト・ズーム機能を有するカメラを用いて高速で精度の良い移動体追尾を行うことができる。
また、移動体推定手段が、動き補償された第１の画像メモリに記憶される画像データと第２の画像メモリに記憶される画像データを用いて、この二つの画像のフレーム間の差分を算出し、このフレーム間の差分にもとづき前記移動体の位置と大きさを推定することにより、移動体の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。
【０１０８】
また、移動体推定手段が、移動体の大きさあるいは速度に応じて、二つの画像のフレーム間の差分を算出する時間間隔を、適応的に変化させる方法としてあるが、これにより、移動体が高速で移動する場合であっても、追尾することができ、移動体追尾の信頼性を向上させることができる。
【０１０９】
さらにまた、テンプレートメモリが、画像入力インターフェースと移動体をテンプレートとして記憶し、テンプレートサイズ変換手段が、テンプレートメモリ，第２の画像メモリ及び移動パラメータ算出手段からの情報にもとづいて、テンプレートサイズを変換し、テンプレートマッチング手段が、テンプレートサイズ変換手段と第１の画像メモリからの情報にもとづいて、各テンプレートをマッチングさせる方法としてあり、これにより、移動体追尾装置は、フレーム間差分による追尾モード，テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。
したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。
【図面の簡単な説明】
【図１】図１は、本発明に係る移体追尾装置の第一実施形態における概略ブロック図を示している。
【図２】図２は、移体追尾装置の第一実施形態における移動体検出手段の概略ブロック図を示している。
【図３】図３は、移動体追尾装置の第一実施形態における追尾モードの動作を説明するための概略フローチャート図を示している。
【図４】図４は、移体追尾装置の第一実施形態におけるカメラモデルを説明するための概略図を示している。
【図５】図５は、移体追尾装置の第一実施形態における移動パラメータ算出手段の動作を説明するための概略フローチャート図を示している。
【図６】図６は、移体追尾装置の第一実施形態におけるガウシアンカーネルの一例を示している。
【図７】図７は、移体追尾装置の第一実施形態におけるフレーム間差分の時間間隔を変えた場合における変換パラメータの計算の仕方を説明するための図を示している。
【図８】図８は、移体追尾装置の第二実施形態における動作を説明するための概略フローチャート図を示している。
【図９】図９は、移体追尾装置の第二実施形態におけるテンプレートマッチング追尾部を説明するための概略ブロック図を示している。
【図１０】図１０は、移体追尾装置の第二実施形態におけるテンプレートの更新の条件を説明するための図を示している。
【図１１】図１１は、移体追尾装置の第二実施形態におけるテンプレートサイズ変換手段における変換パラメータを説明するための図を示している。
【図１２】図１２は、本発明における移動体追尾装置のフレーム間の動き補償を説明するための図を示している。
【符号の説明】
１ ＰＴＺカメラ
２ 画像入力ＩＦ（インタフェース）
３ 移動体検出手段
４ 第１の画像メモリ
５ 第２の画像メモリ
６ 移動パラメータ算出手段
７ フレーム間動き補償手段
８ 移動体推定手段
９ カメラ制御手段
３１ 入力画像メモリ
３２ 背景更新手段
３３ 背景画像メモリ
３４ 差分算出手段
３５ 二値化手段
３６ ラベリング手段
３７ 移動体識別手段
９０ テンプレートマッチング追尾部
９１ テンプレートメモリ
９２ テンプレートサイズ変換手段
９３ テンプレートマッチング手段
Claims (6)
- パン・チルト制御機能およびズーム制御機能を有するカメラからの画像データにもとづいて、移動体を自動追尾する移動体追尾方法であって、
前記カメラからの映像信号をデジタル画像として入力する画像入力インタフェースが、画像データを記憶する第１の画像メモリと、この第１の画像メモリに記憶される画像データの前のフレームにおける画像データを記憶する第２の画像メモリに当該画像データを出力し、
前記第１の画像メモリに記憶される画像データと前記第２の画像メモリに記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出し、
前記移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、前記第２の画像メモリに記憶される画像データと前記第１の画像メモリに記憶される画像データとのフレーム間の動き補償を行ない、
動き補償された前記画像データから移動体を抽出し、前記移動体の位置及び／又は大きさを含む移動体情報を推定し、
前記移動体情報を入力して、前記カメラのパン・チルト制御およびズーム制御を行なう
ことを特徴とする移動体追尾方法。 - 移動体を自動追尾するための、パン・チルト制御機能およびズーム制御機能を有するカメラと、
このカメラからの映像信号をデジタル画像として入力する画像入力インタフェースと、
前記画像入力インタフェースからの画像データを記憶する第１の画像メモリと、
この第１の画像メモリに記憶される画像データの前のフレームにおける画像データを記憶する第２の画像メモリと、
前記第１の画像メモリに記憶される画像データと前記第２の画像メモリに記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出する移動パラメータ算出手段と、
前記移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、前記第２の画像メモリに記憶される画像データと前記第一の画像メモリに記憶される画像データとのフレーム間の動き補償を行うフレーム間動き補償手段と、
このフレーム間動き補償手段により動き補償された前記画像データから前記移動体を抽出し、前記移動体の位置及び／又は大きさを含む移動体情報を推定する移動体推定手段と、
この移動体推定手段から得られる前記移動体情報を入力して、前記パン・チルト制御およびズーム制御を行なうカメラ制御手段と、
を具備したことを特徴とする移動体追尾装置。 - 上記請求項２に記載の移動体追尾装置において、
前記移動パラメータ算出手段が、オプティカルフローの拘束条件にもとづき反復勾配法を用いて前記画像データの間の平行移動および拡大縮小の移動パラメータを算出することを特徴とする移動体追尾装置。 - 上記請求項２または請求項３に記載の移動体追尾装置において、
前記移動体推定手段が、前記フレーム間動き補償手段により動き補償された前記画像データを用いて、画像のフレーム間の差分を算出し、このフレーム間の差分にもとづき前記移動体の移動体情報を推定することを特徴とする移動体追尾装置。 - 上記請求項４に記載の移動体追尾装置において、
前記移動体推定手段が、前記移動体の大きさあるいは速度に応じて、前記第１の画像メモリに記憶される画像データと前記第２の画像メモリに記憶される画像データとの間のフレーム間隔を、適応的に変化させることを特徴とする移動体追尾装置。 - 上記請求項２〜請求項５のいずれかに記載の移動体追尾装置において、
前記画像入力インターフェースと前記移動体をテンプレートとして記憶するテンプレートメモリと、このテンプレートメモリ，前記第２の画像メモリ及び前記移動パラメータ算出手段からの情報にもとづいて、テンプレートサイズを変換するテンプレートサイズ変換手段と、このテンプレートサイズ変換手段と前記第１の画像メモリからの情報にもとづいて、各テンプレートをマッチングさせるテンプレートマッチング手段を有するテンプレートマッチング追尾部を備えたことを特徴とする移動体追尾装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000095375A JP3603737B2 (ja) | 2000-03-30 | 2000-03-30 | 移動体追尾方法及びその装置 |
| US09/820,332 US6819778B2 (en) | 2000-03-30 | 2001-03-29 | Method and system for tracking a fast moving object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000095375A JP3603737B2 (ja) | 2000-03-30 | 2000-03-30 | 移動体追尾方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001285695A JP2001285695A (ja) | 2001-10-12 |
| JP3603737B2 true JP3603737B2 (ja) | 2004-12-22 |
Family
ID=18610285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000095375A Expired - Fee Related JP3603737B2 (ja) | 2000-03-30 | 2000-03-30 | 移動体追尾方法及びその装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6819778B2 (ja) |
| JP (1) | JP3603737B2 (ja) |
Families Citing this family (81)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6940998B2 (en) | 2000-02-04 | 2005-09-06 | Cernium, Inc. | System for automated screening of security cameras |
| DE60238109D1 (de) * | 2001-02-19 | 2010-12-09 | Honda Motor Co Ltd | Automatisches Zielerkennen mittels Vorlagenvergleich |
| JP4596216B2 (ja) * | 2001-06-20 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US7113616B2 (en) | 2001-12-05 | 2006-09-26 | Hitachi Kokusai Electric Inc. | Object tracking method and apparatus using template matching |
| JP2003173435A (ja) * | 2001-12-06 | 2003-06-20 | Tietech Co Ltd | 移動体検出方法及び移動体検出装置 |
| JP3782368B2 (ja) * | 2002-03-29 | 2006-06-07 | 株式会社東芝 | 物体画像切り出し方法及びプログラム並びに物体画像切り出し装置 |
| US7433494B2 (en) * | 2002-09-19 | 2008-10-07 | Denso Corporation | Moving body detecting apparatus |
| US20040100563A1 (en) | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
| JP4521747B2 (ja) * | 2002-12-13 | 2010-08-11 | シャープ株式会社 | 物体情報処理装置、画像処理システム、ゲーム装置および画像処理方法 |
| DE10258662A1 (de) * | 2002-12-13 | 2004-07-08 | Forschungszentrum Jülich GmbH | Verfahren und Vorrichtung zur digitalen Bildverarbeitung von CMOS-Kamerabildern |
| SE0203906D0 (sv) * | 2002-12-31 | 2002-12-31 | Abb Ab | Container character recognition system |
| JP4508553B2 (ja) * | 2003-06-02 | 2010-07-21 | カシオ計算機株式会社 | 撮影画像投影装置、及び撮影画像の補正方法 |
| CN1839409A (zh) * | 2003-08-21 | 2006-09-27 | 松下电器产业株式会社 | 人物检测装置和人物检测方法 |
| US7421101B2 (en) * | 2003-10-02 | 2008-09-02 | Siemens Medical Solutions Usa, Inc. | System and method for local deformable motion analysis |
| KR100580626B1 (ko) * | 2003-10-31 | 2006-05-16 | 삼성전자주식회사 | 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템 |
| GB2414616A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Comparing test image with a set of reference images |
| JP4597543B2 (ja) * | 2004-02-18 | 2010-12-15 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
| US7933333B2 (en) * | 2004-06-30 | 2011-04-26 | Pelco, Inc | Method and apparatus for detecting motion in MPEG video streams |
| US7650016B2 (en) * | 2004-07-30 | 2010-01-19 | Lockheed Martin Corporation | System and method for tracking motion of an object image |
| FI20045300A (fi) * | 2004-08-17 | 2006-02-18 | Nokia Corp | Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi |
| US7555158B2 (en) * | 2004-12-07 | 2009-06-30 | Electronics And Telecommunications Research Institute | Apparatus for recovering background in image sequence and method thereof |
| JP2006267220A (ja) * | 2005-03-22 | 2006-10-05 | Fujinon Corp | オートフォーカスシステム |
| JP4624802B2 (ja) * | 2005-01-04 | 2011-02-02 | オリンパス株式会社 | 内視鏡装置、及びそのプログラム |
| JP4568916B2 (ja) * | 2005-01-17 | 2010-10-27 | 富士フイルム株式会社 | オートフォーカスシステム |
| JP4689684B2 (ja) | 2005-01-21 | 2011-05-25 | ジェスチャー テック，インコーポレイテッド | 動作に基づくトラッキング |
| US7321305B2 (en) * | 2005-07-05 | 2008-01-22 | Pinc Solutions | Systems and methods for determining a location of an object |
| US7236091B2 (en) * | 2005-02-10 | 2007-06-26 | Pinc Solutions | Position-tracking system |
| US7245215B2 (en) * | 2005-02-10 | 2007-07-17 | Pinc Solutions | Position-tracking device for position-tracking system |
| US7447334B1 (en) * | 2005-03-30 | 2008-11-04 | Hrl Laboratories, Llc | Motion recognition system |
| US8150155B2 (en) | 2006-02-07 | 2012-04-03 | Qualcomm Incorporated | Multi-mode region-of-interest video object segmentation |
| US8265349B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Intra-mode region-of-interest video object segmentation |
| US8265392B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Inter-mode region-of-interest video object segmentation |
| NO327576B1 (no) * | 2006-06-01 | 2009-08-17 | Ana Tec As | Framgangsmate og apparat for analyse av objekter |
| JP4572190B2 (ja) * | 2006-12-14 | 2010-10-27 | 株式会社日立国際電気 | 物体検出装置 |
| US8019164B2 (en) * | 2007-01-29 | 2011-09-13 | Hitachi High-Technologies Corporation | Apparatus, method and program product for matching with a template |
| JP4881199B2 (ja) * | 2007-03-23 | 2012-02-22 | 富士フイルム株式会社 | 画像評価装置および方法並びにプログラム |
| US8587667B2 (en) | 2007-07-09 | 2013-11-19 | International Business Machines Corporation | Beyond field-of-view tracked object positional indicators for television event directors and camera operators |
| JP4981565B2 (ja) * | 2007-07-19 | 2012-07-25 | パナソニック株式会社 | 表示制御装置、撮像装置および印刷装置 |
| JP2009077362A (ja) * | 2007-08-24 | 2009-04-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| US20090062002A1 (en) * | 2007-08-30 | 2009-03-05 | Bay Tek Games, Inc. | Apparatus And Method of Detecting And Tracking Objects In Amusement Games |
| JP5470719B2 (ja) * | 2008-03-07 | 2014-04-16 | 富士通株式会社 | 画像処理装置 |
| US8634593B2 (en) * | 2008-04-24 | 2014-01-21 | GM Global Technology Operations LLC | Pixel-based texture-less clear path detection |
| US8751154B2 (en) | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
| US8917904B2 (en) * | 2008-04-24 | 2014-12-23 | GM Global Technology Operations LLC | Vehicle clear path detection |
| US8452053B2 (en) * | 2008-04-24 | 2013-05-28 | GM Global Technology Operations LLC | Pixel-based texture-rich clear path detection |
| US8803966B2 (en) | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
| JP2010011016A (ja) * | 2008-06-26 | 2010-01-14 | Sony Corp | 追尾点検出装置および方法、プログラム、並びに記録媒体 |
| US8611590B2 (en) | 2008-12-23 | 2013-12-17 | Canon Kabushiki Kaisha | Video object fragmentation detection and management |
| AU2008264232B2 (en) * | 2008-12-30 | 2012-05-17 | Canon Kabushiki Kaisha | Multi-modal object signature |
| WO2010081190A1 (en) * | 2009-01-15 | 2010-07-22 | Honeywell International Inc. | Systems and methods for presenting video data |
| US8571261B2 (en) * | 2009-04-22 | 2013-10-29 | Checkvideo Llc | System and method for motion detection in a surveillance video |
| KR101627185B1 (ko) * | 2009-04-24 | 2016-06-03 | 삼성전자 주식회사 | 영상촬영장치의 제어방법 |
| JP5514506B2 (ja) * | 2009-10-21 | 2014-06-04 | 株式会社日立国際電気 | 侵入物監視システムおよび侵入物監視方法 |
| JP5321835B2 (ja) * | 2009-11-19 | 2013-10-23 | 東京電力株式会社 | 画像データ処理装置およびコンピュータプログラム |
| AU2009243528B2 (en) * | 2009-12-04 | 2013-08-01 | Canon Kabushiki Kaisha | Location-based signature selection for multi-camera object tracking |
| JP5424852B2 (ja) * | 2009-12-17 | 2014-02-26 | キヤノン株式会社 | 映像情報処理方法及びその装置 |
| JP5333489B2 (ja) * | 2011-03-14 | 2013-11-06 | オムロン株式会社 | オブジェクト検知装置、およびオブジェクト検知プログラム |
| US8773499B2 (en) | 2011-06-24 | 2014-07-08 | Microsoft Corporation | Automatic video framing |
| US8848978B2 (en) * | 2011-09-16 | 2014-09-30 | Harman International (China) Holdings Co., Ltd. | Fast obstacle detection |
| US8872944B2 (en) * | 2011-12-19 | 2014-10-28 | Pelco, Inc. | Method and system for image centering during zooming |
| US9165364B1 (en) * | 2012-12-26 | 2015-10-20 | Canon Kabushiki Kaisha | Automatic tracking image pickup system |
| US9430846B2 (en) | 2013-04-19 | 2016-08-30 | Ge Aviation Systems Llc | Method of tracking objects using hyperspectral imagery |
| CA2837578C (en) * | 2013-11-29 | 2019-11-05 | Avigilon Corporation | Camera system control for correcting bore-sight offset |
| CN103826102B (zh) * | 2014-02-24 | 2018-03-30 | 深圳市华宝电子科技有限公司 | 一种运动目标的识别方法、装置 |
| WO2015152946A1 (en) * | 2014-04-05 | 2015-10-08 | Empire Technology Development Llc | Identification system and method |
| JP6612056B2 (ja) | 2014-05-16 | 2019-11-27 | 株式会社半導体エネルギー研究所 | 撮像装置、及び監視装置 |
| JP6381285B2 (ja) * | 2014-05-16 | 2018-08-29 | キヤノン株式会社 | 撮像装置、通信装置、およびそれらの制御方法、システム、並びにプログラム |
| KR20160024143A (ko) * | 2014-08-25 | 2016-03-04 | 삼성전자주식회사 | 영상 처리 방법 및 전자 장치 |
| CN105109409B (zh) * | 2015-09-09 | 2017-06-23 | 深圳市航盛电子股份有限公司 | 一种支持动态车辅线的倒车影像的快速显示方法 |
| US9781350B2 (en) | 2015-09-28 | 2017-10-03 | Qualcomm Incorporated | Systems and methods for performing automatic zoom |
| TW201804159A (zh) * | 2016-07-25 | 2018-02-01 | 原相科技股份有限公司 | 測速方法以及測速裝置 |
| US10755419B2 (en) * | 2017-01-30 | 2020-08-25 | Nec Corporation | Moving object detection apparatus, moving object detection method and program |
| US10474906B2 (en) * | 2017-03-24 | 2019-11-12 | Echelon Corporation | High dynamic range video of fast moving objects without blur |
| US10467796B2 (en) * | 2017-04-17 | 2019-11-05 | Intel Corporation | Graphics system with additional context |
| US10951859B2 (en) | 2018-05-30 | 2021-03-16 | Microsoft Technology Licensing, Llc | Videoconferencing device and method |
| CA3061908C (en) * | 2018-12-02 | 2021-04-06 | Playsight Interactive Ltd. | Ball trajectory tracking |
| EP3839910B1 (en) * | 2019-12-19 | 2023-01-25 | Axis AB | Prioritization among cameras of a multi-camera arrangement |
| CN111144406B (zh) * | 2019-12-22 | 2023-05-02 | 复旦大学 | 一种太阳能面板清扫机器人自适应目标roi定位方法 |
| US20230093866A1 (en) * | 2020-04-15 | 2023-03-30 | Sony Group Corporation | Information processing device, information processing method, and program |
| US20230169771A1 (en) * | 2021-12-01 | 2023-06-01 | Fotonation Limited | Image processing system |
| CN114842058A (zh) * | 2022-03-28 | 2022-08-02 | 南京邮电大学 | 面向虚拟现实的先验驱动双向补偿的全景图像配准方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1995010915A1 (en) * | 1993-10-12 | 1995-04-20 | Orad, Inc. | Sports event video |
| US5835138A (en) * | 1995-08-30 | 1998-11-10 | Sony Corporation | Image signal processing apparatus and recording/reproducing apparatus |
| JPH1051755A (ja) * | 1996-05-30 | 1998-02-20 | Fujitsu Ltd | テレビ会議端末の画面表示制御装置 |
| JP3613301B2 (ja) | 1996-06-20 | 2005-01-26 | 株式会社富士通ゼネラル | 映像監視追跡装置 |
| JPH1079881A (ja) | 1996-09-04 | 1998-03-24 | Sharp Corp | 撮像装置 |
| JPH1091795A (ja) | 1996-09-12 | 1998-04-10 | Toshiba Corp | 移動物体検出装置及び移動物体検出方法 |
| JPH1169342A (ja) | 1997-08-22 | 1999-03-09 | Hitachi Denshi Ltd | 侵入物体追尾画像処理システム |
| US6349113B1 (en) * | 1997-11-03 | 2002-02-19 | At&T Corp. | Method for detecting moving cast shadows object segmentation |
| US6335985B1 (en) * | 1998-01-07 | 2002-01-01 | Kabushiki Kaisha Toshiba | Object extraction apparatus |
| JP4261630B2 (ja) * | 1998-02-04 | 2009-04-30 | キヤノン株式会社 | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 |
| US6643387B1 (en) * | 1999-01-28 | 2003-11-04 | Sarnoff Corporation | Apparatus and method for context-based indexing and retrieval of image sequences |
-
2000
- 2000-03-30 JP JP2000095375A patent/JP3603737B2/ja not_active Expired - Fee Related
-
2001
- 2001-03-29 US US09/820,332 patent/US6819778B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20010046309A1 (en) | 2001-11-29 |
| JP2001285695A (ja) | 2001-10-12 |
| US6819778B2 (en) | 2004-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3603737B2 (ja) | 移動体追尾方法及びその装置 | |
| US5436672A (en) | Video processing system for modifying a zone in successive images | |
| US6233008B1 (en) | Target tracking method and device therefor | |
| Koller et al. | Robust multiple car tracking with occlusion reasoning | |
| US9077969B2 (en) | Method and apparatus for determining motion between video images | |
| US8582822B2 (en) | Moving object detection apparatus and moving object detection method | |
| JP2978406B2 (ja) | 局所異常の排除による動きベクトルフィールド生成装置およびその方法 | |
| US6181345B1 (en) | Method and apparatus for replacing target zones in a video sequence | |
| KR100869497B1 (ko) | 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치 | |
| KR100985805B1 (ko) | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 | |
| US8085986B2 (en) | Image processing apparatus and method for processing images more naturally and sharply | |
| JP2008518331A (ja) | リアルタイムビデオ動き解析を通じたビデオコンテンツ理解 | |
| KR101703515B1 (ko) | 영상의 표적 추적 장치 및 방법 | |
| JP2003533800A (ja) | Ｍｃアップコンバージョンにおけるハローを低減する動き推定器 | |
| CN110163887B (zh) | 基于运动插值估计与前景分割相结合的视频目标跟踪方法 | |
| JP4848097B2 (ja) | 移動体の監視方法および装置 | |
| KR20040050906A (ko) | 모션 추정을 위한 장치 및 방법 | |
| WO2010113417A1 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
| KR100994367B1 (ko) | 영상 추적 장치의 이동표적 움직임 추적 방법 | |
| Koller et al. | Towards realtime visual based tracking in cluttered traffic scenes | |
| JP2005506626A (ja) | 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置 | |
| CN110728700A (zh) | 一种运动目标追踪方法、装置、计算机设备及存储介质 | |
| JP4192719B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| JPH10320566A (ja) | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 | |
| CN116883897A (zh) | 一种低分辨率目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040920 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3603737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071008 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |