JP3603737B2 - 移動体追尾方法及びその装置 - Google Patents
移動体追尾方法及びその装置 Download PDFInfo
- Publication number
- JP3603737B2 JP3603737B2 JP2000095375A JP2000095375A JP3603737B2 JP 3603737 B2 JP3603737 B2 JP 3603737B2 JP 2000095375 A JP2000095375 A JP 2000095375A JP 2000095375 A JP2000095375 A JP 2000095375A JP 3603737 B2 JP3603737 B2 JP 3603737B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- moving body
- tracking
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、パン・チルト制御機能およびズーム制御機能を有するカメラを用いて、撮像した画像のなかの移動体を自動検出しさらに自動追尾する移動体追尾方法及びその装置に関し、特に、広範囲な監視エリアを一台のカメラを用いて監視する移動体追尾方法及びその装置に関する。
【0002】
【従来の技術】
従来、広範囲な監視エリアに侵入者や侵入車両などあった場合に、これらの侵入物体(移動体)を検出するとともに、侵入物体のズームアップされた映像データを記録し、かつ、侵入物体を自動的に追尾する監視システムを実現するために、様々な移動体追尾方法及びその装置が提案されてきた。
【0003】
(第一従来例)
例えば、特開平11−69342号において、パン・チルト制御機能およびズーム制御機能を有するカメラ(適宜、PTZカメラと略称する。)を用いた侵入物体追尾画像処理システムが提案されている。
この侵入物体追尾画像処理システムは、侵入物体の検出を行う固定した第一のカメラと、この侵入物体をズームアップし、かつ、自動的に追尾する第二のPTZカメラとからなる移動体追尾装置を用いている。
【0004】
第一の固定カメラは、通常、背景差分法と呼ばれる方法(背景画像と入力された映像の差分を用いて侵入物体を検出する方法)を用いて、侵入物体を検出する。
そして、第一の固定カメラの映像から得られた侵入物体の位置や大きさから算出された制御量にもとづいて、第二のPTZカメラが制御されることにより、当該第二のPTZカメラは、侵入物体を自動追尾する。
【0005】
このように、第一従来例における移動体追尾装置は、物体が侵入したことを自動検出するとともに、侵入物体を検出する情報にもとづいて、パン・チルト方向へ回転する雲台を制御して侵入物体を自動追尾し、かつ、ズーミング可能な撮像レンズを制御して侵入物体の拡大を行うことによって、ビデオモニタの画面上に侵入物体を映し出すことができる。
したがって、監視者は、ビデオモニタの画面上で侵入物体を容易に確認することをができる。
【0006】
【発明が解決しようとする課題】
ところが、この第一従来例における映像監視追跡装置は、二台のカメラを必要とするために、部品費及び設置工事費が高額となり、顧客のコストダウン要求に応えられないという問題があった。
【0007】
つまり、この映像監視追跡装置は、侵入物体を検出する際に、背景差分法を用いているが、背景を撮像するためのカメラを動かしてしまうと、カメラを動かした後に撮像した映像とカメラを固定して撮像した背景映像との間の差分量が大きくなってしまい、背景と移動する侵入物体の区別ができなくなる。
このため、PTZカメラが侵入物体を追尾しているときに、この背景差分法により侵入物体の検出を行なうためには、固定されたカメラが必要となる。
【0008】
このような理由から、第一従来例における侵入物体追尾画像処理システムは、一台のカメラを固定カメラとして用いて背景差分法により侵入物を検出し、さらに、もう一台のPTZカメラを用いて侵入物体を追尾する構成としてある。
したがって、この映像監視追跡装置は、一台のカメラを用いた構成とすることができない。
【0009】
(第二従来例)
また、カメラを一台のみ使用する技術として、例えば、特開平10−13821号において、一台のパン・チルト制御機能を有するカメラを用いて、侵入物体の検出および追尾を行う映像監視追跡装置が提案されている。
この映像監視追跡装置は、背景差分法により侵入物体を検出した後、その侵入物体に対応する画像をテンプレートとして、入力画像との差分が最小となる画像上での位置を検出するテンプレートマッチングを行うことで、侵入物体の位置を求め、この算出データにもとづいてカメラ制御することによって、侵入物体を追尾することができる。
【0010】
しかし、第二従来例における映像監視追跡装置は、テンプレートマッチングによって追尾しているときにズームアップすると、テンプレートと映像中の侵入物体の大きさに違いが生じるために、精度良く追尾することができない。
【0011】
また、このテンプレートマッチングにおいて、レンズのズームアップによって生じる対象物の大きさの変化に対応するには、平行移動の探索に加えて、対象物の大きさの変化を考慮にいれた探索を行う必要があり、この検索を行なうには、膨大な演算処理を必要とするので、高速で移動する侵入物体に対しては、実用化できない。
このため、第二従来例における映像監視追跡装置は、レンズをズームアップさせて、侵入物体を追尾することができないといった問題があった。
【0012】
そこで、本発明は上記の問題を解決すべくなされたものであり、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する移動体を精度良く自動追尾することが可能となる移動体追尾方法及びその装置の提供を目的とする。
【0013】
【課題を解決するための手段】
上記目的を達成するために、本発明における請求項1記載の移動体追尾方法は、パン・チルト制御機能およびズーム制御機能を有するカメラからの画像データにもとづいて、移動体を自動追尾する移動体追尾方法であって、前記カメラからの映像信号をデジタル画像として入力する画像入力インタフェースが、画像データを記憶する第1の画像メモリと、この第1の画像メモリに記憶される画像データの前のフレームにおける画像データを記憶する第2の画像メモリに当該画像データを出力し、前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出し、前記移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、前記第2の画像メモリに記憶される画像データと前記第1の画像メモリに記憶される画像データとのフレーム間の動き補償を行ない、前記フレーム間動き補償手段により動き補償された前記画像データから移動体を抽出し、前記移動体の位置及び/又は大きさを含む移動体情報を推定し、前記移動体情報を入力して、前記カメラのパン・チルト制御およびズーム制御を行なう方法としてある。
【0014】
このようにすることにより、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する移動体を精度良く自動追尾することができる。
【0015】
また、上記目的を達成するために、本発明における請求項2記載の移動体追尾装置は、移動体を自動追尾するための、パン・チルト制御機能およびズーム制御機能を有するカメラと、このカメラからの映像信号をデジタル画像として入力する画像入力インタフェースと、前記画像入力インタフェースからの画像データを記憶する第1の画像メモリと、この第1の画像メモリに記憶される画像データの前のフレームにおける画像データを記憶する第2の画像メモリと、前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出する移動パラメータ算出手段と、前記移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、前記第2の画像メモリに記憶される画像データと前記第一の画像メモリに記憶される画像データとのフレーム間の動き補償を行うフレーム間動き補償手段と、このフレーム間動き補償手段により動き補償された前記画像データから前記移動体を抽出し、前記移動体の位置及び/又は大きさを含む移動体情報を推定する移動体推定手段と、この移動体推定手段から得られる前記移動体情報を入力して、前記パン・チルト制御およびズーム制御を行なうカメラ制御手段と、を具備した構成としてある。
【0016】
このように、本発明は、移動体追尾装置としても有効であり、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する移動体を精度良く自動追尾することができる。
【0017】
請求項3記載の発明は、上記請求項2に記載の移動体追尾装置において、前記移動パラメータ算出手段が、オプティカルフローの拘束条件にもとづき反復勾配法を用いて前記画像データの間の平行移動および拡大縮小の移動パラメータを算出する構成としてある。
【0018】
このようにすることにより、カメラ移動に起因する背景領域の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。
【0019】
請求項4記載の発明は、上記請求項2または請求項3に記載の移動体追尾装置において、前記移動体推定手段が、前記フレーム間動き補償手段により動き補償された前記画像データを用いて、画像のフレーム間の差分を算出し、このフレーム間の差分にもとづき前記移動体の移動体情報を推定する構成としてある。
【0020】
これにより、移動体の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。
【0021】
請求項5記載の発明は、上記請求項4に記載の移動体追尾装置において、前記移動体推定手段が、前記移動体の大きさあるいは速度に応じて、前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データとの間のフレーム間隔を、適応的に変化させる構成としてある。
【0022】
これにより、移動体が高速で移動する場合であっても、追尾することができ、移動体追尾の信頼性を向上させることができる。
【0023】
請求項6記載の発明は、上記請求項2〜請求項5のいずれかに記載の移動体追尾装置において、前記画像入力インターフェースと前記移動体をテンプレートとして記憶するテンプレートメモリと、このテンプレートメモリ,前記第2の画像メモリ及び前記移動パラメータ算出手段からの情報にもとづいて、テンプレートサイズを変換するテンプレートサイズ変換手段と、このテンプレートサイズ変換手段と前記第1の画像メモリからの情報にもとづいて、各テンプレートをマッチングさせるテンプレートマッチング手段を有するテンプレートマッチング追尾部を備えた構成としてある。
【0024】
このようにすることにより、移動体追尾装置は、フレーム間差分による追尾モード,テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。
したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。
【0025】
【発明の実施の形態】
以下、本発明の各実施形態について、図面を参照して説明する。
先ず、本発明の移動体追尾装置における及びこの装置を用いた方法の第一実施形態について、図面を参照して説明する。
【0026】
「第一実施形態」
図1は、本発明に係る移体追尾装置の第一実施形態における概略ブロック図を示している。
【0027】
同図において、移動体追尾装置は、パン・チルト制御機能およびズーム制御機能を有するカメラ(PTZカメラ)1と、このPTZカメラ1からの映像信号をデジタル画像として入力する画像入力IF(インターフェイス)2と、画像入力IF2からの画像データにもとづいて、移動体を検出する移動体検出手段3と、画像入力IF2からの画像データを記憶する第1の画像メモリ4と、第1の画像メモリ4に記憶される画像データの前のフレームにおける画像データを記憶する第2の画像メモリ5と、第1の画像メモリ4に記憶される画像データと第2の画像メモリ5に記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出する移動パラメータ算出手段6と、この移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、第2の画像メモリ5に記憶される画像データと第一の画像メモリ4に記憶される画像データとのフレーム間の動き補償を行うフレーム間動き補償手段7と、動き補償された画像データから移動体を抽出し、移動体の位置及び/又は大きさを含む移動体情報を推定する移動体推定手段8と、この移動体情報を入力して、前記パン・チルト制御およびズーム制御を行なうカメラ制御手段9とで構成してある。
【0028】
PTZカメラ1は、外部インタフェースを有し、かつ、電動式の雲台に配設されたズームカメラであり、外部からの制御信号によって、雲台の左右方向の回転(パン),上下方向の回転(チルト)及びレンズのズーム率が制御される。
【0029】
ここで、PTZカメラ1は、カメラの光軸,雲台のパンの回転軸及びチルトの回転軸が一点で交差する構成としてあるので、撮像する画像の座標系とパン・チルトの制御量への変換演算を簡略かつ少量化することができる。
【0030】
画像入力IF2は、PTZカメラ1からのアナログの映像信号をA/D変換によりデジタル化し、第1の画像メモリ4に入力する。
なお、PTZカメラ1としてデジタル映像カメラのように圧縮されたデジタル信号を出力するカメラを用いた場合には、画像入力IF2としては圧縮デジタル画像を展開して、第1の画像メモリ4に入力する画像入力IFを設ける必要がある。
【0031】
移動体検出手段3は、画像入力IF2から入力された画像を用いて移動体を検出する。
ここで、移動体追尾装置は、移動体を検出する移動体検出モードと、検出した移動体をズームアップして追尾する追尾モードの二つのモードを有している。
【0032】
移動体検出手段3は、図2に示すように、背景差分法を用いて移動体を検出する。
ここで、移動体検出手段3は、各時刻における入力画像信号を入力して、この入力画像を記憶する入力画像メモリ31と、背景画像を生成・更新する背景更新手段32と、背景画像を記憶する背景画像メモリ33と、入力画像メモリ31の画像と背景画像メモリ33の画像の差分を算出する差分算出手段34と、差分算出手段34からの画像差分を二値化する二値化手段35と、二値化した画像のラベリングを行うラベリング手段36と、得られるラベル画像から移動体を識別し、移動体の位置情報信号を出力する移動体識別手段37とで構成してある。
【0033】
まず、入力画像メモリ31に入力された画像は、背景更新手段32で背景生成および背景更新に利用される。
背景更新手段32は、移動体追尾装置が起動したときや、追尾モードが終了し移動体検出モードとなったときに、背景生成を行ない、また、その後の移動体検出モードにおいては背景更新を行う構成としてある。
【0034】
背景更新手段32は、背景生成において、任意のフレームtの画像をf(x,y,t)と表し、これを背景B(x,y,t)として背景画像メモリ33に記録する。
そして、背景更新手段32は、次のフレームt+1の背景更新において、背景生成のときからのフレーム数をn、前のフレームにおける背景をB(x,y,t)として、フレームf(x,y,t+1)の画像を利用して次の漸化式にしたがって新しい背景B(x,y,t+1)を計算する。
【0035】
(数式1)
B(x,y,t+1) = (1−α)B(x,y,t)+αf(x,y,t+1)
ただし、
n<Nのとき:α= 1/(n+1)
n≧Nのとき:α= 1/(N+1)
ここで、αは新しいフレームの影響を背景にどれだけ取り込むか決める係数で、Nは定数であり、例えば、300フレームと設定する。
【0036】
ここで、例えば、n=1の場合、α=1/(n+1)=1/2となり、f(x,y,t)とf(x,y,t+1)の平均値画像を新しい背景画像B(x,y,t+1)とすることになる。
そして、順次、(数式1)による背景を漸化的に計算することで、照明変動などに起因する背景の変化にも柔軟に対応できる背景B(x,y,t)となる。
このようにして背景更新手段32により算出された背景画像は、背景画像メモリ33に記憶される。
【0037】
差分算出手段34は、入力画像メモリ31に記憶される入力画像f(x,y,t)と、背景画像メモリ33に記憶される背景画像B(x,y,t)の差分の絶対値を(数式2)により算出する。
(数式2)
S(x,y,t) = |B(x,y,t)−f(x,y,t)|
そして、差分算出手段34は、この差分画像S(x,y,t)を二値化手段35に出力する。
【0038】
また、差分算出手段34は、差分画像S(x,y,t)に対して、ガウシアンフィルタなどを畳み込むことにより、平滑化した結果を出力することができ、ノイズに対する悪影響が低減された良好な結果を得ることができる。
なお、本実施形態においては、一般的な背景差分法による移動体検出手段3を用いたが、これに限定するものはなく、例えば、本発明者が特願平11−078641号において提案した物体検出装置を用いて、移動体検出手段を構成することができる。
【0039】
二値化手段35は、差分画像S(x,y,t)のしきい値処理により二値化し、この二値化された二値画像をラベリング手段36に出力する。
また、ラベリング手段36は、二値画像をラベリング(分類)し、このラベル画像を移動体識別手段37に出力する。
【0040】
移動体識別手段37は、ラベル画像の各ラベルの面積を調べて、面積がしきい値以上大きいラベルを移動体として判定し、そのラベルを囲う最小包囲矩形を算出する。
ここで、移動体識別手段37は、最小包囲矩形を中心座標m(cx,cy)と大きさ(zx,zy)として算出し、これらからなる移動体の位置情報信号を出力する。
このように、移動体検出手段3は、移動体検出モードにおいて、移動体を検出することができる。
【0041】
移動体追尾装置は、移動体検出手段3が移動体を検出すると、移動体検出モードから移動体を追尾する追尾モードに移行する。
次に、移動体追尾装置の追尾モードにおける動作について、図面を参照して説明する。
【0042】
図3は、移動体追尾装置の第一実施形態における追尾モードの動作を説明するための概略フローチャート図を示している。
同図において、先ず、移動体追尾装置は、移動体検出手段3が移動体を検出すると、追尾モードに移行し(ステップ30)、続いて、その移動体を検出した画像における当該移動体の中心座標m(cx,cy)と大きさ(zx,zy)、すなわち、移動体の位置情報からカメラ制御手段9を介してPTZカメラ1のパン・チルト・ズームを制御して、移動体を最適な画角で捉えられる(ステップ31)。
【0043】
ここで、移動体の中心座標m(cx,cy)データを用いて、PTZカメラ1のパン・チルトを制御する方法について説明する。
カメラの座標系と画像面(カメラの結像面、すなわち、CCDなどの撮像面)の関係は、図4に示すように、画像面の中心cと光軸中心(すなわちZ軸)が一致すると近似し、画像面の水平方向をx軸、画像面の垂直方向をy軸とする。
ここで、dは、カメラのレンズの焦点距離を表している。
【0044】
また、同図におけるカメラモデルの表現方法は、通常、コンピュータビジョンの分野で用いられる仮想画像平面を用いた表現方法、具体的には、徐剛、辻三郎著「3次元ビジョン」(共立出版、1998年、pp.16−17)に記述されている表現方法により表現してある。
【0045】
移動体の中心座標m(cx,cy)を画像面の中心cに一致させるのに必要なパン角φとチルト角θは、(数式3)により近似的に表すことができる。
なお、(数式3)は、特許2953497号において、「対象の補足方法およびその装置」に関する技術として記述されている。
(数式3)
パン角φ = −cx/d
チルト角θ = −cy/d
したがって、(数式3)のパン角φとチルト角θとなるように、雲台を制御することにより、移動体の位置を画像中心に捉えることができる。
【0046】
また、ズーム率の制御は、移動体の大きさに合わせて制御量を決めれば良く、具体的には、特開平11−69342号において、「対象の補足方法およびその装置」に関するズーム制御方法として記述されている。
【0047】
このように、カメラ制御手段9が、上述した方法により得られるパン・チルト・ズームの制御量(制御信号)をPTZカメラ1に出力すると、PTZカメラ1は、この制御信号にもとづいて、パン・チルト・ズームを制御する。
【0048】
ここで、移動体追尾装置は、移動体の検出後に、移動体検出モードのまま、対象物体を追尾するためにPTZカメラ1を移動させると、移動体を検出したときのカメラアングルと、その次のフレームにおけるカメラアングルが異なるために背景差分法による移動体検出が、通常、正常に動作しなくなる。
そこで、移動体追尾装置は、移動体検出モードにより移動体を検出すると、移動体検出モードから追尾モードにモード切り替えを行なってから、追尾モードによる移動体の追跡を行う構成としてある。
【0049】
つまり、移動体追尾装置は、移動体を検出したときのフレームを、図1に示すフレームt−1とし、追尾モードに入った最初のフレームをフレームtとして、フレームtとフレームt−1の画像を第1の画像メモリ4と第2の画像メモリ5にそれぞれ記憶する。
そして、その後のループでは、前のフレームの画像を第2の画像メモリ5に記憶し、第1の画像メモリ4に次のフレームの新しい画像を入力するように制御する(ステップ32)。
【0050】
次に、移動パラメータ算出手段6は、第1の画像メモリ4に記憶される画像f(x,y,t)と第2の画像メモリ5に記憶される画像f(x,y,t−1)を用いて、PTZカメラ1のパン・チルト・ズームの変化に起因する背景の移動パラメータを求める(ステップ33)。
【0051】
ここで、この背景の移動パラメータの推定方法について説明する。
まず、撮像されている移動体は十分小さく、かつ、画像全体を占める映像は大部分が背景であると仮定し、さらに、移動体の影響は無視できるものとして説明する。
【0052】
そして、画像f(x,y,t)は、PTZカメラ1のパン・チルト・ズームが制御されるとこれらの変動によって、平行移動と拡大・縮小の変換(アフィン変換)を受けて画像f(x,y,t−1)となると仮定することによって、推定することができる。
【0053】
つまり、二つの画像間の関係式は(数式4)で表される拘束下にあるものとする。
(数式4)
f(x+u,y+v,t) = f(x,y,t−1)
u = γx +α
v = γy +β
ここで、γは拡大縮小を表し、αはx方向の移動量、βはy方向の移動量を表している。
【0054】
続いて、この移動パラメータを求めるための処理について、図面を参照して説明する。
図5は、移体追尾装置の第一実施形態における移動パラメータ算出手段の動作を説明するための概略フローチャート図を示している。
同図において、移動パラメータを求める処理は、大きく二つの処理に分かれ、第1の処理は、γ=0と仮定し、平行移動のパラメータα、βのみをSSDマッチングによる相関計算にもとづき推定する処理であり、また、第2の処理は、第1の処理で推定した移動パラメータを初期値として、反復勾配法により移動パラメータα、β、γを推定する処理である。
【0055】
まず、第1の処理であるステップのSSDマッチングによる初期値推定(ステップ51)について説明する。
第1の処理の初期値推定では、(数式5)による差分量J1(u,v)を計算し、その最小を与えるu,vを求める。
(数式5)
J1(u,v) = Σ|f(x+u,y+v,t)−f(x,y,t−1)|2
ただし、Σは背景領域における総和である。
【0056】
ここでは、評価値として画素値の差の二乗和(SSD:Sum of Square Difference)を用いているが、画素値の差の絶対値和(SAD:Sum of Absolute Difference)や正規化相関などを用いることもできる。
また、(u,v)の探索空間は、カメラアングルやレンズのズーム率等に依存するが、前後数画素から数十画素程度の範囲について、画素単位をとれば十分である。
【0057】
次に、第2の処理において、得られたu,vをそれぞれ移動パラメータα、βの初期値として用い、オプティカルフロー拘束にもとづく移動量に関する条件式を反復勾配法により求める(ステップ52、53、54)。
【0058】
この反復勾配法は、本発明者が、特開平7−334690号において、「物体の輪郭追跡方法」に関する技術として開示しているが、その原理について簡単に説明する。
まず、画像f(x,y,t)と画像f(x,y,t−1)の間の関係が(数4)の拘束下にあると仮定する。
【0059】
そして、(数式6)の目的関数J2(α,β,γ)を最小化することにより、移動パラメータを求めることができる。
(数式6)
J2(α,β,γ) = Σ |f(x+u,y+v,t)−f(x,y,t−1)|2
ただし、Σは背景領域における総和である。
【0060】
ここで、(数式6)のf(x+u,y+v,t)をf(x,y,t−1)のまわりでテイラー展開し、1次までの項を用いることで、目的関数J 2 を近似すると(数式7)となる。
(数式7)
J2(α,β,γ) ≒ Σ| u∂f/∂x+v∂f/∂y+∂f/∂t |2
【0061】
また、J2(α,β,γ)の最小を与える必要条件は、(数式8)によって与えられる。
(数式8)
∂J2(α,β,γ)/∂α = 0
∂J2(α,β,γ)/∂β = 0
∂J2(α,β,γ)/∂γ = 0
【0061】
また、J2(α,β,γ)の最小を与える必要条件は、(数式8)によって与えられる。
(数式8)
∂J2(α,β,γ)/∂α = 0
∂J2(α,β,γ)/∂β = 0
∂J2(α,β,γ)/∂γ = 0
【0062】
ここで、(数式8)の条件式に(数式4)のu,v、および(数式7)のJ2(α,β,γ)を代入すると、三元一次連立方程式となり、(数式9)に示す解が得られる。
(数式9)
t( αβγ ) = −A−1B
ここで、
A = ΣtWW
B = Σ(∂f/∂ttW)
W = (∂f/∂x∂y/∂y(x∂f/∂y+y∂f/∂y))
ただし、Σは背景領域における総和である。
【0063】
なお、tXは行列Xの転置行列を表しており、これは解析的に容易に解くことができ、移動パラメータ(α,β,γ)が求められる。
しかし、ここで得られるパラメータは、(数式7)を得る段階でテイラー展開しているために移動量が大きい場合には必ずしも精度が良いというわけではない。
そのため、通常は反復して解を求める必要がある。
このようにして、反復解法によるオプティカルフロー拘束にもとづく移動量推定方法は、反復勾配法と呼ばれる。
【0064】
したがって、第2の処理では、まずSSDマッチングによって得られた初期値(α,β)にもとづき画像f(x,y,t)のアフィン変換を行う(ステップ52)。
次に、オプティカルフロー拘束にもとづく移動量推定を行う(ステップ53)が、これはそれぞれ(数式9)の行列A,列ベクトルBの各要素を計算する過程、逆行列A−1を計算する過程、最終的に(数式9)によって得られる移動量(α,β,γ)を計算する過程からなる。
【0065】
また、行列Wの値には偏微分によって表される項があるが、これは画像の水平方向差分((f(x+1,y,t)−f(x−1,y,t))/2)、垂直方向差分(f(x,y+1,t)−f(x,y−1,t))/2)を用いて計算すればよい。
また、時間偏微分はフレーム間の差分を計算すればよい。
【0066】
続いて、反復回数が十分か否か判定し、不十分であるならば、(α,β,γ)のパラメータを用いて画像f(x,y,t)をアフィン変換するように、変換された画像を用いて移動量の推定を繰り返す(ステップ54)。
反復回数が十分であるならば、推定された移動パラメータ(α,β,γ)を出力する。
なお、ここで求めるα、βは、サブピクセルの精度が必要である。
【0067】
上述したように、図3に示すステップ33において、カメラ移動に起因する背景領域の移動パラメータ(α,β,γ)を算出することができる。
【0068】
次に、移動体追尾装置は、第2の画像の動きを補償する(ステップ34)。
具体的には、フレーム間動き補償手段17は、算出した移動パラメータ(α,β,γ)を用いて、第1の画像と第2の画像のフレーム間の動きを補償するように、第2の画像をアフィン変換する。
ここで、アフィン変換における補間方法として、画素値の補間に対する共一次内挿法(bi−linear interpolation)を用いる。
【0069】
続いて、移動体推定手段8は、第1の画像と動き補償された第2の画像のフレーム間の差分を計算する(ステップ35)。
ここで、フレーム間に写っている背景の僅かなずれによるノイズなどを低減させるために、画像をぼかす処理として、フレーム間差分を行う前後にガウシアンによる畳み込み処理を行う。
【0070】
具体的には、フレーム間差分の結果D(x,y)は、第1の画像をf(x,y,t)、動き補償した第2の画像をf’(x,y,t−1)として次式で表される。
(数式10)
D(x,y) = G*|G*f(x,y,t)−G*f’(x,y,t−1)|
ここで、Gはガウシアンフィルタ、*は畳み込み処理を表している。
また、ガウシアンの畳み込み処理では、図6に示す5行×5列の離散的なカーネルを用いている。
【0071】
続いて、移動体推定手段8は、フレーム間差分を用いて移動体の位置および大きさの推定を行う(ステップ36)。
ここで、移動体は、当該移動体を囲む最小包囲矩形による物体枠によって、表現される。
この物体枠は、物体枠の予測,物体の中心位置の決定及び物体枠の大きさの変更といった三つの処理によって、求めることができる。
【0072】
ここで、物体枠の予測は、前回の処理における物体枠が今回のフレームでどこにあるのか予測するものである。
具体的には、今回のフレームにおける物体枠は、前回のフレームと今回のフレームのカメラ移動に起因する背景の移動量とカメラの動きを補正し、その後の物体そのものの画像上の速度から計算される移動量を加算することによって、予測される。
すなわち、(予測物体枠位置)=(前回の物体枠位置)+(カメラ移動量)+(物体移動量)の関係にもとづいて、物体枠の位置は予測される。
【0073】
そして、物体の中心位置m(cx,cy)は、予測された物体枠内におけるフレーム間差分D(x,y,t)の重心によって決定される。
具体的には、物体の中心位置m(cx,cy)は、(数式11)により算出される。
(数式11)
cx = Σ xD(x,y)/ΣD(x,y)
cy = Σ yD(x,y)/ΣD(x,y)
ただし、Σは予測された物体枠内における総和である。
【0074】
このようにして求められた中心位置m(cx,cy)を物体の中心として、物体枠の中心を更新する。
また、物体枠の大きさは、中心位置m(cx,cy)を中心とした物体枠を初期値として、フレーム間差分D(x,y)を基準にその枠を上下左右に移動させることにより変更する。
【0075】
具体的には、上下左右のそれぞれの枠ごとに独立に同様の処理を行うが、先ず、一例として、左側の枠を変更する場合について説明する。
左側の枠を変更するためには、左枠の近傍で、左枠に関する次の評価値Sleft(x)を(数式12)にしたがって計算する。
(数式12)
Sleft(x) = (Σymin ymaxD(x,y))/(ymax−ymin)
ここで、ymax,yminは、それぞれ物体枠の上限と下限である。
【0076】
次に、このSleft(x)の値が、しきい値δよりも大きいか否かについて、外側から順番に判定し、しきい値よりも大きい(差分量が大きい)場合に、左枠をその位置に移動する。
ここで、判定する範囲において、Sleft(x)の値が、しきい値よりも全て小さい場合には、その判定範囲の最小に枠を縮める。
このように、フレーム間差分を物体枠に沿って積算し、その量の大きさにしたがって物体枠を広げたり、縮めたりする。
【0077】
また、右側や上下の枠を変更するためには、右側や上下の枠について上述した左側と同様な処理をそれぞれ行うことにより変更することができ、このような処理を行なうことにより、物体枠の大きさを変更することができる。
【0078】
なお、枠の判定範囲は、前後1〜3画素程度の範囲で、しきい値δは、領域面積に応じて次のように設定している。
(数式13)
しきい値δ = k1√(領域面積) + k2
ここで、k1,k2は定数である。
また、上記の物体枠の更新では、最小サイズおよび最大サイズを予め設定しており、最小サイズ以下や最大サイズ以上にはならないようにしている。
【0079】
次に、移動体推定手段8は、追尾モードの終了判定を行い、追尾を終了しない場合は、ステップ31に戻り対象物の追尾を継続し、移動体検出モードに戻る(ステップ37)。
ここで、追尾モードは、移動体が監視エリアを出た場合,移動体がカメラのパン・チルトの範囲外に出た場合及び移動体が静止して一定時間以上経過した場合の少なくともいずれかの条件を満たす場合に、終了する。
【0080】
また、移動体追尾装置は、移動体推定手段8が、ステップ37において、追尾を終了する場合には、PTZカメラ1を予め決めておいた指定位置・指定ズーム率に戻し、移動体検出モードに復帰して移動体の検出を行う(ステップ38)。
【0081】
このように、移動体追尾装置は、一台のPTZカメラ1を用いて、対象物を追尾しつつ、ズーミング可能な移動体の自動追尾を行うことが可能となるが、追尾をより高速でしかもより精度良く行うためには、フレーム間差分を計算する際(ステップ35)、何フレーム前のフレームを”前フレーム”として用いるかが重要となる。
【0082】
つまり、通常画像上の大きさが小さい物体は、その移動量も画像上で小さくなるために、フレーム間差分の差分量も小さくなる。
これは、実世界において同じ大きさで等速度運動している物体が、画像上で小さく見える場合には、画像上での速度も小さくなるためであり、このため、画像上の大きさが小さい場合にはできるだけフレーム間差分をとる際の時間間隔を長くすることが望ましい。
【0083】
逆に、対象物が画像上で大きく写っている場合には、画像上での動きも大きくなるので、フレーム間差分の時間間隔を長くとりすぎると、対象物の動きが大きすぎて位置の不確定さが顕著になってしまうので、画像上の大きさが大きい場合には、できるだけフレーム間差分をとる際の時間間隔を短くすることが望ましい。
【0084】
このように、フレーム間差分をとる際の時間間隔を変更する場合には、第一の変更例として、ステップ34の動き補償において、前フレームを対象物の面積(最小包囲矩形による長方形の面積)に応じて、例えば、次のように変更することができる。
ただし、この場合、過去のフレームを保存しておくためのフレームメモリが必要となる。
【0085】
領域面積が、条件1(領域面積≦32×32画素)となるときは、前フレームを4フレームとする。
また、領域面積が、条件2(32×32画素<領域面積≦48×48画素)となるときは、前フレームを3フレームとする。
また、領域面積が、条件3(48×48画素<領域面積≦64×64画素)となるときは、前フレームを2フレームとする。
また、領域面積が、条件4(64×64画素<領域面積)となるときは、前フレームを1フレームとする。
【0086】
また、フレーム間差分をとる際の時間間隔を変更する場合の第二の変更例として、直接、移動体の速度から求めることができる。
この移動体の速度は、例えば、過去のフレームにおける位置(ただし、カメラの動きに起因する成分を除いておく)の差分から容易に求められる。
この際、nフレーム前の動き補償するためのアフィン変換パラメータは、次のように計算する。
【0087】
nフレーム前のフレームを動き補償するためのアフィン変換パラメータを行列<An>と列ベクトル<bn>として、各フレーム間で求められる移動パラメータを(αi,βi,γi)とすると、次式で表すことができる(図7を参照願います。)。
【0088】
(数式14)
At = (1+γt)E
bt = t(αtβt)
ここで、Eは2行×2列の単位行列であり、(数式15)を用いて算出することができる。
(数式15)
<An> = AtAt−1...At−(n−1)=((1+γt)(1+γt−1)...(1+γt−(n−1)))E=(Π(1+γi))E
<bn> = AtAt−1... At−(n−2)bt−(n−1) +...+ Atbt−1 +bt
【0089】
このように、第一実施形態に係る移動体追尾装置は、上述した構成とすることによって、一台のPTZカメラ1を用いて、対象物を追尾しつつ、ズーミング可能な移動体の自動追尾を高速で精度良く行うことが可能となる。
さらに、この移動体追尾装置は、移動体の大きさに応じて適応的にフレーム間差分を計算する際のフレーム間隔を変えることにより、追尾精度の向上を図ることができる。
【0090】
次に、本発明の移動体追尾装置における及びこの装置を用いた方法の第二実施形態について説明する。
「第二実施形態」
図8は、移体追尾装置の第二実施形態における動作を説明するための概略フローチャート図を示している。
【0091】
同図において、移動体追尾装置は、移動体追尾モードにおいて、上述の動き補償したフレーム間差分による追尾(ステップ84)と、テンプレートマッチングによる追尾(ステップ85)と、フレーム間差分による追尾とテンプレートマッチングによる追尾の中間的な性質を持つハイブリッド追尾(ステップ86)とを行なう追尾手段を備え、かつ、これら三つの追尾モードのなかから、追尾モードを選択し(ステップ83)、これらの追尾モードを切替えながら移動体を追尾する構成としてある。
【0092】
なお、全体的な構成は、移動体検出モードにおいて検出した対象物を移動体検出モードにおいてその画像上の位置を追尾し、さらにカメラを制御するという点で、第一実施形態と同様であり、移動体検出モードや追尾終了判定、カメラ制御については、第一実施形態と同様の構成としてある。
【0093】
この移動体追尾装置は、本発明者がフレーム間差分による追尾モードのみを有する移動体追尾装置が、移動体が動いている場合には精度良く追尾が行えるものの、移動体が一旦静止してしまうと、フレーム間差分による追尾モードだけでは、追尾対象の移動体を見失う恐れがあったことに鑑みて開発したものであり、フレーム間差分による追尾モード(ステップ83)の他に、移動体が静止するようなときには、テンプレートマッチングによる追尾(ステップ85)やハイブリッド追尾(ステップ86)を自動的にモード選択(ステップ84)することによって、精度良く追尾することができる。
【0094】
具体的に、先ず、移動体追尾モードにおけるテンプレートマッチングによる追尾について、図面を参照して説明する。
図9は、移体追尾装置の第二実施形態におけるテンプレートマッチング追尾部を説明するための概略ブロック図を示している。
【0095】
同図において、移動体追尾装置は、画像入力IF2と移動体をテンプレートとして記憶するテンプレートメモリ91と、このテンプレートメモリ91,第2の画像メモリ5及び移動パラメータ算出手段6からの情報にもとづいて、テンプレートサイズを変換するテンプレートサイズ変換手段92と、このテンプレートサイズ変換手段92と第1の画像メモリ4からの情報にもとづいて、各テンプレートをマッチングさせるテンプレートマッチング手段93を有するテンプレートマッチング追尾部90を備えた構成としてある。
なお、その他の構成は、第一実施形態と同様としてある。
【0096】
テンプレートメモリ91は、画像入力IFから撮像データにもとづいて、テンプレートを記憶(更新)するが、この際、テンプレートを更新するタイミングは、先ず、移動体が検出されると、移動体領域をテンプレートとして新規設定し、その後は、追尾しているときにおける追尾モードの直前の追尾モードによって、具体的には、図10に示す条件にしたがって、テンプレート及びテンプレートサイズを更新する。
【0097】
つまり、テンプレートメモリ91は、同図に示すように、直前の追尾モードがフレーム間差分による追尾モードの場合は、対象物の変形やカメラとの位置関係の変化に対応させるために、テンプレート画像およびテンプレートサイズを移動体領域の画像に更新する。
また、同様に、テンプレートマッチングによる追尾の場合は、テンプレート画像もそのサイズも更新せず、前フレームでの追尾で用いていたものと同じテンプレートを用いる。
さらにまた、同様に、ハイブリッド追尾の場合は、テンプレート画像は更新されるが、テンプレートサイズは更新されない。
【0098】
テンプレートサイズ変換手段93は、移動パラメータ算出手段6において算出された移動パラメータ(α,β,γ)の中でスケール変換のパラメータγを用いて、テンプレートサイズの変換を行う。
【0099】
具体的には、テンプレートサイズ変換手段93は、図11に示すように、テンプレートが更新されたときから各フレーム間ごとに求められるカメラ移動量γiを用いて、追尾するときのフレーム(現フレーム)で必要とされるスケールパラメータΓ=Π(1+γi)を計算し、追尾するときのフレームで必要とされるテンプレートサイズになるようにテンプレートメモリ91に記憶されるテンプレートを拡大・縮小することでテンプレートサイズの変換を行う。
【0100】
テンプレートマッチング手段93は、サイズ変換されたテンプレートをT(x,y)として、(数式16)に示すSADマッチングにより最も類似度の高い最適位置を探索する。
(数式16)
JSAD(a,b) = Σ|f(x−a,y−b,t)−T(x,y)|
(a,b) = minJSAD(a,b)
ただし、Σはテンプレートにおける総和である。
このようにして、移動体追尾装置は、移動体の位置を更新した後に、カメラ制御を行い次のフレームの処理に移行する。
【0101】
次に、ハイブリッド追尾について説明する。
ハイブリッド追尾は、フレーム間差分による追尾とテンプレートマッチング追尾の評価値を組み合わせて追尾するモードである。
つまり、フレーム間差分による追尾は、移動体が動いている場合に有効な方法であり、また、テンプレートマッチングによる追尾は、移動体が静止している場合にそれぞれ有効な方法であるのに対し、ハイブリッド追尾モードは、それらの中間的な性質を持つものとして設けている。
【0102】
具体的には、ハイブリッド追尾モードの評価関数Jhybridは、(数式15)に示すようにテンプレートマッチング追尾におけるSAD値とフレーム間差分D(x,y)の疑似二次モーメント量による評価値の二つの評価関数の線形和により設定している。
(数式17)
Jhybrid(a,b) =kSADJSAD(a,b)+ kmJm(a,b)
JSAD(a,b) = Σ|f(x−a,y−b,t)−T(x,y)|
Jm(a,b) = ΣD(x,y)(x−a)2+D(x,y)(y−a)2
ただし、Σはテンプレートにおける総和である。
【0103】
この評価関数Jhybrid(a,b)を最小化する(a,b)を求め、それにもとづき移 動体の位置を決める。
この際、上述したように、物体枠の大きさやテンプレートサイズは更新されず、テンプレートマッチング追尾やハイブリッド追尾で必要となるテンプレート画像は更新される。
【0104】
このように、ハイブリッド追尾(ステップ87)は、移動量が少ないが対象物が変形をしているために、テンプレートマッチングによる追尾とフレーム間差分による追尾ともに追尾が難しいと判断される場合に、それぞれの中間的な性質を備えることによって、追尾精度を向上させることができる。
具体例としては、図12に示すように、ズーム制御された現フレームにおいて、移動体と背景の木が重なり移動体を抽出できない場合に、動き補正した前フレームを用いて、フレーム間差分の結果として、移動体を抽出することができる。
【0105】
上述したように、第二実施形態における移動体追尾装置は、フレーム間差分による追尾モード,テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。
したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。
【0106】
また、本発明は、上述したように、移動体追尾方法としても有効であり、移動体追尾方法として実施することにより、移動体追尾装置における各実施形態と同様の効果を得ることができる。
さらにまた、本発明において、検出する対象は、移動する物体、すなわち移動体であり、侵入物体に限定されるものではないことは勿論である。
【0107】
【発明の効果】
以上説明したように、本発明においては、パン・チルト・ズーム機能を有するカメラを用いて高速で精度の良い移動体追尾を行うことができる。
また、移動体推定手段が、動き補償された第1の画像メモリに記憶される画像データと第2の画像メモリに記憶される画像データを用いて、この二つの画像のフレーム間の差分を算出し、このフレーム間の差分にもとづき前記移動体の位置と大きさを推定することにより、移動体の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。
【0108】
また、移動体推定手段が、移動体の大きさあるいは速度に応じて、二つの画像のフレーム間の差分を算出する時間間隔を、適応的に変化させる方法としてあるが、これにより、移動体が高速で移動する場合であっても、追尾することができ、移動体追尾の信頼性を向上させることができる。
【0109】
さらにまた、テンプレートメモリが、画像入力インターフェースと移動体をテンプレートとして記憶し、テンプレートサイズ変換手段が、テンプレートメモリ,第2の画像メモリ及び移動パラメータ算出手段からの情報にもとづいて、テンプレートサイズを変換し、テンプレートマッチング手段が、テンプレートサイズ変換手段と第1の画像メモリからの情報にもとづいて、各テンプレートをマッチングさせる方法としてあり、これにより、移動体追尾装置は、フレーム間差分による追尾モード,テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。
したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。
【図面の簡単な説明】
【図1】図1は、本発明に係る移体追尾装置の第一実施形態における概略ブロック図を示している。
【図2】図2は、移体追尾装置の第一実施形態における移動体検出手段の概略ブロック図を示している。
【図3】図3は、移動体追尾装置の第一実施形態における追尾モードの動作を説明するための概略フローチャート図を示している。
【図4】図4は、移体追尾装置の第一実施形態におけるカメラモデルを説明するための概略図を示している。
【図5】図5は、移体追尾装置の第一実施形態における移動パラメータ算出手段の動作を説明するための概略フローチャート図を示している。
【図6】図6は、移体追尾装置の第一実施形態におけるガウシアンカーネルの一例を示している。
【図7】図7は、移体追尾装置の第一実施形態におけるフレーム間差分の時間間隔を変えた場合における変換パラメータの計算の仕方を説明するための図を示している。
【図8】図8は、移体追尾装置の第二実施形態における動作を説明するための概略フローチャート図を示している。
【図9】図9は、移体追尾装置の第二実施形態におけるテンプレートマッチング追尾部を説明するための概略ブロック図を示している。
【図10】図10は、移体追尾装置の第二実施形態におけるテンプレートの更新の条件を説明するための図を示している。
【図11】図11は、移体追尾装置の第二実施形態におけるテンプレートサイズ変換手段における変換パラメータを説明するための図を示している。
【図12】図12は、本発明における移動体追尾装置のフレーム間の動き補償を説明するための図を示している。
【符号の説明】
1 PTZカメラ
2 画像入力IF(インタフェース)
3 移動体検出手段
4 第1の画像メモリ
5 第2の画像メモリ
6 移動パラメータ算出手段
7 フレーム間動き補償手段
8 移動体推定手段
9 カメラ制御手段
31 入力画像メモリ
32 背景更新手段
33 背景画像メモリ
34 差分算出手段
35 二値化手段
36 ラベリング手段
37 移動体識別手段
90 テンプレートマッチング追尾部
91 テンプレートメモリ
92 テンプレートサイズ変換手段
93 テンプレートマッチング手段
Claims (6)
- パン・チルト制御機能およびズーム制御機能を有するカメラからの画像データにもとづいて、移動体を自動追尾する移動体追尾方法であって、
前記カメラからの映像信号をデジタル画像として入力する画像入力インタフェースが、画像データを記憶する第1の画像メモリと、この第1の画像メモリに記憶される画像データの前のフレームにおける画像データを記憶する第2の画像メモリに当該画像データを出力し、
前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出し、
前記移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、前記第2の画像メモリに記憶される画像データと前記第1の画像メモリに記憶される画像データとのフレーム間の動き補償を行ない、
動き補償された前記画像データから移動体を抽出し、前記移動体の位置及び/又は大きさを含む移動体情報を推定し、
前記移動体情報を入力して、前記カメラのパン・チルト制御およびズーム制御を行なう
ことを特徴とする移動体追尾方法。 - 移動体を自動追尾するための、パン・チルト制御機能およびズーム制御機能を有するカメラと、
このカメラからの映像信号をデジタル画像として入力する画像入力インタフェースと、
前記画像入力インタフェースからの画像データを記憶する第1の画像メモリと、
この第1の画像メモリに記憶される画像データの前のフレームにおける画像データを記憶する第2の画像メモリと、
前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データの間の背景領域における平行移動および拡大縮小の移動パラメータを算出する移動パラメータ算出手段と、
前記移動パラメータを用いて、平行移動および拡大縮小を含んだ画像の変換により、前記第2の画像メモリに記憶される画像データと前記第一の画像メモリに記憶される画像データとのフレーム間の動き補償を行うフレーム間動き補償手段と、
このフレーム間動き補償手段により動き補償された前記画像データから前記移動体を抽出し、前記移動体の位置及び/又は大きさを含む移動体情報を推定する移動体推定手段と、
この移動体推定手段から得られる前記移動体情報を入力して、前記パン・チルト制御およびズーム制御を行なうカメラ制御手段と、
を具備したことを特徴とする移動体追尾装置。 - 上記請求項2に記載の移動体追尾装置において、
前記移動パラメータ算出手段が、オプティカルフローの拘束条件にもとづき反復勾配法を用いて前記画像データの間の平行移動および拡大縮小の移動パラメータを算出することを特徴とする移動体追尾装置。 - 上記請求項2または請求項3に記載の移動体追尾装置において、
前記移動体推定手段が、前記フレーム間動き補償手段により動き補償された前記画像データを用いて、画像のフレーム間の差分を算出し、このフレーム間の差分にもとづき前記移動体の移動体情報を推定することを特徴とする移動体追尾装置。 - 上記請求項4に記載の移動体追尾装置において、
前記移動体推定手段が、前記移動体の大きさあるいは速度に応じて、前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データとの間のフレーム間隔を、適応的に変化させることを特徴とする移動体追尾装置。 - 上記請求項2〜請求項5のいずれかに記載の移動体追尾装置において、
前記画像入力インターフェースと前記移動体をテンプレートとして記憶するテンプレートメモリと、このテンプレートメモリ,前記第2の画像メモリ及び前記移動パラメータ算出手段からの情報にもとづいて、テンプレートサイズを変換するテンプレートサイズ変換手段と、このテンプレートサイズ変換手段と前記第1の画像メモリからの情報にもとづいて、各テンプレートをマッチングさせるテンプレートマッチング手段を有するテンプレートマッチング追尾部を備えたことを特徴とする移動体追尾装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000095375A JP3603737B2 (ja) | 2000-03-30 | 2000-03-30 | 移動体追尾方法及びその装置 |
US09/820,332 US6819778B2 (en) | 2000-03-30 | 2001-03-29 | Method and system for tracking a fast moving object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000095375A JP3603737B2 (ja) | 2000-03-30 | 2000-03-30 | 移動体追尾方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001285695A JP2001285695A (ja) | 2001-10-12 |
JP3603737B2 true JP3603737B2 (ja) | 2004-12-22 |
Family
ID=18610285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000095375A Expired - Fee Related JP3603737B2 (ja) | 2000-03-30 | 2000-03-30 | 移動体追尾方法及びその装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6819778B2 (ja) |
JP (1) | JP3603737B2 (ja) |
Families Citing this family (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6940998B2 (en) | 2000-02-04 | 2005-09-06 | Cernium, Inc. | System for automated screening of security cameras |
EP1363243B1 (en) * | 2001-02-19 | 2010-10-27 | Honda Giken Kogyo Kabushiki Kaisha | Automatic target recognition by template matching |
JP4596216B2 (ja) * | 2001-06-20 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
KR100470931B1 (ko) | 2001-12-05 | 2005-02-22 | 가부시키가이샤 히다치 고쿠사이 덴키 | 템플레이트 매칭을 이용한 물체추적방법 및 장치 |
JP2003173435A (ja) * | 2001-12-06 | 2003-06-20 | Tietech Co Ltd | 移動体検出方法及び移動体検出装置 |
JP3782368B2 (ja) * | 2002-03-29 | 2006-06-07 | 株式会社東芝 | 物体画像切り出し方法及びプログラム並びに物体画像切り出し装置 |
US7433494B2 (en) * | 2002-09-19 | 2008-10-07 | Denso Corporation | Moving body detecting apparatus |
US20040100563A1 (en) * | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
DE10258662A1 (de) * | 2002-12-13 | 2004-07-08 | Forschungszentrum Jülich GmbH | Verfahren und Vorrichtung zur digitalen Bildverarbeitung von CMOS-Kamerabildern |
JP4521747B2 (ja) * | 2002-12-13 | 2010-08-11 | シャープ株式会社 | 物体情報処理装置、画像処理システム、ゲーム装置および画像処理方法 |
SE0203906D0 (sv) * | 2002-12-31 | 2002-12-31 | Abb Ab | Container character recognition system |
JP4508553B2 (ja) * | 2003-06-02 | 2010-07-21 | カシオ計算機株式会社 | 撮影画像投影装置、及び撮影画像の補正方法 |
WO2005020152A1 (ja) * | 2003-08-21 | 2005-03-03 | Matsushita Electric Industrial Co., Ltd. | 人物検出装置および人物検出方法 |
US7421101B2 (en) * | 2003-10-02 | 2008-09-02 | Siemens Medical Solutions Usa, Inc. | System and method for local deformable motion analysis |
KR100580626B1 (ko) * | 2003-10-31 | 2006-05-16 | 삼성전자주식회사 | 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템 |
GB2414616A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Comparing test image with a set of reference images |
JP4597543B2 (ja) * | 2004-02-18 | 2010-12-15 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
JP2008505562A (ja) * | 2004-06-30 | 2008-02-21 | ペルコ | Mpegビデオストリーム内の動きを検出する方法及び装置 |
US7650016B2 (en) * | 2004-07-30 | 2010-01-19 | Lockheed Martin Corporation | System and method for tracking motion of an object image |
FI20045300A (fi) * | 2004-08-17 | 2006-02-18 | Nokia Corp | Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi |
US7555158B2 (en) * | 2004-12-07 | 2009-06-30 | Electronics And Telecommunications Research Institute | Apparatus for recovering background in image sequence and method thereof |
JP2006267220A (ja) * | 2005-03-22 | 2006-10-05 | Fujinon Corp | オートフォーカスシステム |
JP4624802B2 (ja) * | 2005-01-04 | 2011-02-02 | オリンパス株式会社 | 内視鏡装置、及びそのプログラム |
JP4568916B2 (ja) * | 2005-01-17 | 2010-10-27 | 富士フイルム株式会社 | オートフォーカスシステム |
ATE551675T1 (de) * | 2005-01-21 | 2012-04-15 | Qualcomm Inc | Auf bewegung basierendes tracking |
US7245215B2 (en) * | 2005-02-10 | 2007-07-17 | Pinc Solutions | Position-tracking device for position-tracking system |
US7236091B2 (en) * | 2005-02-10 | 2007-06-26 | Pinc Solutions | Position-tracking system |
US7321305B2 (en) * | 2005-07-05 | 2008-01-22 | Pinc Solutions | Systems and methods for determining a location of an object |
US7447334B1 (en) * | 2005-03-30 | 2008-11-04 | Hrl Laboratories, Llc | Motion recognition system |
US8150155B2 (en) | 2006-02-07 | 2012-04-03 | Qualcomm Incorporated | Multi-mode region-of-interest video object segmentation |
US8265349B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Intra-mode region-of-interest video object segmentation |
US8265392B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Inter-mode region-of-interest video object segmentation |
NO327576B1 (no) * | 2006-06-01 | 2009-08-17 | Ana Tec As | Framgangsmate og apparat for analyse av objekter |
JP4572190B2 (ja) * | 2006-12-14 | 2010-10-27 | 株式会社日立国際電気 | 物体検出装置 |
US8019164B2 (en) * | 2007-01-29 | 2011-09-13 | Hitachi High-Technologies Corporation | Apparatus, method and program product for matching with a template |
JP4881199B2 (ja) * | 2007-03-23 | 2012-02-22 | 富士フイルム株式会社 | 画像評価装置および方法並びにプログラム |
US8587667B2 (en) | 2007-07-09 | 2013-11-19 | International Business Machines Corporation | Beyond field-of-view tracked object positional indicators for television event directors and camera operators |
JP4981565B2 (ja) * | 2007-07-19 | 2012-07-25 | パナソニック株式会社 | 表示制御装置、撮像装置および印刷装置 |
JP2009077362A (ja) * | 2007-08-24 | 2009-04-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
US20090062002A1 (en) * | 2007-08-30 | 2009-03-05 | Bay Tek Games, Inc. | Apparatus And Method of Detecting And Tracking Objects In Amusement Games |
JP5470719B2 (ja) * | 2008-03-07 | 2014-04-16 | 富士通株式会社 | 画像処理装置 |
US8751154B2 (en) | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
US8917904B2 (en) * | 2008-04-24 | 2014-12-23 | GM Global Technology Operations LLC | Vehicle clear path detection |
US8634593B2 (en) * | 2008-04-24 | 2014-01-21 | GM Global Technology Operations LLC | Pixel-based texture-less clear path detection |
US8803966B2 (en) | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
US8452053B2 (en) * | 2008-04-24 | 2013-05-28 | GM Global Technology Operations LLC | Pixel-based texture-rich clear path detection |
JP2010011016A (ja) * | 2008-06-26 | 2010-01-14 | Sony Corp | 追尾点検出装置および方法、プログラム、並びに記録媒体 |
US8611590B2 (en) | 2008-12-23 | 2013-12-17 | Canon Kabushiki Kaisha | Video object fragmentation detection and management |
AU2008264232B2 (en) * | 2008-12-30 | 2012-05-17 | Canon Kabushiki Kaisha | Multi-modal object signature |
WO2010081190A1 (en) * | 2009-01-15 | 2010-07-22 | Honeywell International Inc. | Systems and methods for presenting video data |
WO2010124062A1 (en) | 2009-04-22 | 2010-10-28 | Cernium Corporation | System and method for motion detection in a surveillance video |
KR101627185B1 (ko) * | 2009-04-24 | 2016-06-03 | 삼성전자 주식회사 | 영상촬영장치의 제어방법 |
JP5514506B2 (ja) * | 2009-10-21 | 2014-06-04 | 株式会社日立国際電気 | 侵入物監視システムおよび侵入物監視方法 |
JP5321835B2 (ja) * | 2009-11-19 | 2013-10-23 | 東京電力株式会社 | 画像データ処理装置およびコンピュータプログラム |
AU2009243528B2 (en) * | 2009-12-04 | 2013-08-01 | Canon Kabushiki Kaisha | Location-based signature selection for multi-camera object tracking |
JP5424852B2 (ja) * | 2009-12-17 | 2014-02-26 | キヤノン株式会社 | 映像情報処理方法及びその装置 |
JP5333489B2 (ja) * | 2011-03-14 | 2013-11-06 | オムロン株式会社 | オブジェクト検知装置、およびオブジェクト検知プログラム |
US8773499B2 (en) | 2011-06-24 | 2014-07-08 | Microsoft Corporation | Automatic video framing |
US8848978B2 (en) * | 2011-09-16 | 2014-09-30 | Harman International (China) Holdings Co., Ltd. | Fast obstacle detection |
US8872944B2 (en) * | 2011-12-19 | 2014-10-28 | Pelco, Inc. | Method and system for image centering during zooming |
US9165364B1 (en) * | 2012-12-26 | 2015-10-20 | Canon Kabushiki Kaisha | Automatic tracking image pickup system |
US9430846B2 (en) | 2013-04-19 | 2016-08-30 | Ge Aviation Systems Llc | Method of tracking objects using hyperspectral imagery |
US9420187B2 (en) * | 2013-11-29 | 2016-08-16 | Avigilon Corporation | Camera system control for correcting bore-sight offset |
CN103826102B (zh) * | 2014-02-24 | 2018-03-30 | 深圳市华宝电子科技有限公司 | 一种运动目标的识别方法、装置 |
WO2015152946A1 (en) * | 2014-04-05 | 2015-10-08 | Empire Technology Development Llc | Identification system and method |
JP6381285B2 (ja) * | 2014-05-16 | 2018-08-29 | キヤノン株式会社 | 撮像装置、通信装置、およびそれらの制御方法、システム、並びにプログラム |
JP6612056B2 (ja) | 2014-05-16 | 2019-11-27 | 株式会社半導体エネルギー研究所 | 撮像装置、及び監視装置 |
KR20160024143A (ko) * | 2014-08-25 | 2016-03-04 | 삼성전자주식회사 | 영상 처리 방법 및 전자 장치 |
CN105109409B (zh) * | 2015-09-09 | 2017-06-23 | 深圳市航盛电子股份有限公司 | 一种支持动态车辅线的倒车影像的快速显示方法 |
US9781350B2 (en) | 2015-09-28 | 2017-10-03 | Qualcomm Incorporated | Systems and methods for performing automatic zoom |
TW201804159A (zh) * | 2016-07-25 | 2018-02-01 | 原相科技股份有限公司 | 測速方法以及測速裝置 |
US10755419B2 (en) * | 2017-01-30 | 2020-08-25 | Nec Corporation | Moving object detection apparatus, moving object detection method and program |
US10474906B2 (en) * | 2017-03-24 | 2019-11-12 | Echelon Corporation | High dynamic range video of fast moving objects without blur |
US10467796B2 (en) * | 2017-04-17 | 2019-11-05 | Intel Corporation | Graphics system with additional context |
US10951859B2 (en) | 2018-05-30 | 2021-03-16 | Microsoft Technology Licensing, Llc | Videoconferencing device and method |
US20220044423A1 (en) * | 2018-12-02 | 2022-02-10 | Playsight Interactive Ltd. | Ball trajectory tracking |
EP3839910B1 (en) * | 2019-12-19 | 2023-01-25 | Axis AB | Prioritization among cameras of a multi-camera arrangement |
CN111144406B (zh) * | 2019-12-22 | 2023-05-02 | 复旦大学 | 一种太阳能面板清扫机器人自适应目标roi定位方法 |
US20230093866A1 (en) * | 2020-04-15 | 2023-03-30 | Sony Group Corporation | Information processing device, information processing method, and program |
KR102666052B1 (ko) * | 2021-10-12 | 2024-05-14 | 서울대학교병원 | 연하장애 환자용 비디오형광투시 분석 장치 및 방법 |
US20230169771A1 (en) * | 2021-12-01 | 2023-06-01 | Fotonation Limited | Image processing system |
CN114842058A (zh) * | 2022-03-28 | 2022-08-02 | 南京邮电大学 | 面向虚拟现实的先验驱动双向补偿的全景图像配准方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1995010915A1 (en) * | 1993-10-12 | 1995-04-20 | Orad, Inc. | Sports event video |
US5835138A (en) * | 1995-08-30 | 1998-11-10 | Sony Corporation | Image signal processing apparatus and recording/reproducing apparatus |
JPH1051755A (ja) * | 1996-05-30 | 1998-02-20 | Fujitsu Ltd | テレビ会議端末の画面表示制御装置 |
JP3613301B2 (ja) | 1996-06-20 | 2005-01-26 | 株式会社富士通ゼネラル | 映像監視追跡装置 |
JPH1079881A (ja) | 1996-09-04 | 1998-03-24 | Sharp Corp | 撮像装置 |
JPH1091795A (ja) | 1996-09-12 | 1998-04-10 | Toshiba Corp | 移動物体検出装置及び移動物体検出方法 |
JPH1169342A (ja) | 1997-08-22 | 1999-03-09 | Hitachi Denshi Ltd | 侵入物体追尾画像処理システム |
US6349113B1 (en) * | 1997-11-03 | 2002-02-19 | At&T Corp. | Method for detecting moving cast shadows object segmentation |
US6335985B1 (en) * | 1998-01-07 | 2002-01-01 | Kabushiki Kaisha Toshiba | Object extraction apparatus |
JP4261630B2 (ja) * | 1998-02-04 | 2009-04-30 | キヤノン株式会社 | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 |
US6643387B1 (en) * | 1999-01-28 | 2003-11-04 | Sarnoff Corporation | Apparatus and method for context-based indexing and retrieval of image sequences |
-
2000
- 2000-03-30 JP JP2000095375A patent/JP3603737B2/ja not_active Expired - Fee Related
-
2001
- 2001-03-29 US US09/820,332 patent/US6819778B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US6819778B2 (en) | 2004-11-16 |
US20010046309A1 (en) | 2001-11-29 |
JP2001285695A (ja) | 2001-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3603737B2 (ja) | 移動体追尾方法及びその装置 | |
US6233008B1 (en) | Target tracking method and device therefor | |
EP0684732B1 (en) | Video processing system | |
Koller et al. | Robust multiple car tracking with occlusion reasoning | |
US9077969B2 (en) | Method and apparatus for determining motion between video images | |
US8582822B2 (en) | Moving object detection apparatus and moving object detection method | |
US6181345B1 (en) | Method and apparatus for replacing target zones in a video sequence | |
KR100869497B1 (ko) | 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치 | |
KR100985805B1 (ko) | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 | |
US20110013028A1 (en) | Video stabilizing method and system using dual-camera system | |
KR101703515B1 (ko) | 영상의 표적 추적 장치 및 방법 | |
US8085986B2 (en) | Image processing apparatus and method for processing images more naturally and sharply | |
JP2008518331A (ja) | リアルタイムビデオ動き解析を通じたビデオコンテンツ理解 | |
JP2003533800A (ja) | Mcアップコンバージョンにおけるハローを低減する動き推定器 | |
CN110390685B (zh) | 一种基于事件相机的特征点跟踪方法 | |
CN110163887B (zh) | 基于运动插值估计与前景分割相结合的视频目标跟踪方法 | |
JP4848097B2 (ja) | 移動体の監視方法および装置 | |
JP5371040B2 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
KR100994367B1 (ko) | 영상 추적 장치의 이동표적 움직임 추적 방법 | |
Koller et al. | Towards realtime visual based tracking in cluttered traffic scenes | |
JP2005506626A (ja) | 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置 | |
JP4192719B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JPH10320566A (ja) | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 | |
CN110310303A (zh) | 图像分析多目标跟踪方法 | |
JPH05236452A (ja) | 動ベクトル検出方法及び検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040920 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3603737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071008 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |