JP4848097B2 - 移動体の監視方法および装置 - Google Patents
移動体の監視方法および装置 Download PDFInfo
- Publication number
- JP4848097B2 JP4848097B2 JP2001177897A JP2001177897A JP4848097B2 JP 4848097 B2 JP4848097 B2 JP 4848097B2 JP 2001177897 A JP2001177897 A JP 2001177897A JP 2001177897 A JP2001177897 A JP 2001177897A JP 4848097 B2 JP4848097 B2 JP 4848097B2
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- speed
- motion vector
- turning
- zoom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、港湾、鉄道、空港やプラント等の重要施設において、監視員に代わり、監視用撮像装置の映像から侵入者などの移動体を検知し、撮像装置を旋回・ズームさせながら追尾して記録できるようにした自動監視システムなどにおける移動体の監視方法および装置に関し、さらに詳しくは、旋回・ズームしている撮像装置の撮像データから、移動体を抽出して追尾する技術に関する。
【０００２】
【従来の技術】
監視用撮像装置で移動体を認識して追尾する技術としては、特開平５−２２７４６３号公報や、特開平９−２１４９４５号公報に示されたものがある。まず特開平５−２２７４６３号公報に示されたものは、画像データを複数のブロックに分割し、ジョイスティックで座標を入力して移動体を含む複数ブロックを追跡ベクトル検出領域として枠で囲み、その中のブロックを少しずつ移動させながら前の画像との明るさの差を取り、その絶対値和が最も小さくなる位置で動きベクトルを検出し、追尾するものである。
【０００３】
しかしながらこの方法では、人がジョイスティックを操作して追跡ベクトル検出領域の座標を入力する必要があり、無人の監視装置には使えない。また被写体をズーミングして拡大、縮小した場合、最初に設定した追跡ベクトル検出領域は使えなくなり、追跡ができなくなる。
【０００４】
次の特開平９−２１４９４５号公報に示されたものは、まず、相前後する撮像データの中から逐次テンプレートマッチングの手法を用いて移動体の位置を特定し、概略動きベクトルを演算する。一方、移動体の角（コーナー）などの特徴点を抽出し、前記概略動きベクトルからこの特徴点を追跡して正確な移動量や方向を検出する。そしてこのデータから前記概略動きベクトルを補正し、移動体のほぼ正確な位置を特定できるようにして、撮像装置の旋回やズーミング、移動体の回転、伸縮、変形等にも対応して追尾できるようにしたものである。
【０００５】
しかしこの方法も、移動体の特徴点が抽出できないと補正ができずに移動体の正確な位置を特定できなくなり、また逐次テンプレートマッチング法は計算負荷が大きく、特殊なハードウェアを必要とするという欠点があった。
【０００６】
この他の方法としては、撮像データからオプティカルフローを検出し、投票法により、等速直線運動する移動体領域のみを抽出するものがある。これについては電子情報通信学会論文誌（Ｄ−II）Ｖｏｌ．Ｊ８０−Ｄ−II、ＮＯ．５（１９９７）「複雑変動背景下における移動物体の検出」、三菱重工技報Ｖｏｌ．３６、ＮＯ．２（１９９９）「動画像処理技術を用いた移動体監視システムの開発」等に詳細に述べられている。
【０００７】
これは、まず相前後する撮像データから被写体の同一点の移動量をオプティカルフローとして検出し、そのオプティカルフローの長さ、方向成分の頻度を投票して移動体と背景を分離するもので、今、撮像装置が右から左に旋回し、そこに車が右方から左方に向かって撮像装置の旋回速度より速いスピードで現れたとすると、そのオプティカルフローは図８の（Ａ）に矢印で示したようになる。
【０００８】
すなわちこの図８の（Ａ）において、点線で示した８１は最初の撮像データにおける車の位置で、８２の実線で示したものは次の撮像データにおける車の位置であり、この場合、車のオプティカルフローは左向きの矢印８３のようになり、背景は、画面上左から右に流れているように見えるため、右向きの矢印８４のようになる。そのため、このそれぞれのオプティカルフローの水平速度ｕ、垂直速度ｖを、図８（Ｂ）に示した水平速度ｕ、垂直速度ｖの平面の対応した場所に投票して頻度を出すと、背景が８５、移動体が８６のようになり、背景と移動体が識別できる。
【０００９】
この方法だと、撮像装置を旋回させても安定して移動体と背景を区別でき、また、日照変化や波や風に揺らぐ木々などのような外乱要因による背景変動は、投票したときに頻度の高いところが現れないからこれも移動体とは区別できる。しかし、撮像装置のレンズをズーミングさせると、ズーミングによる画面中央からの放射状の動きが現れ、これが旋回による動きと合わさって複雑なオプティカルフローとなり、移動体のみを分離するのが難しくなって対応できなくなる。
【００１０】
しかし侵入者の行動を記録する場合、監視員が人物を特定したり、その行動が十分判別できる程度にズームし、かつ侵入者を撮像装置の中心に維持するように撮像装置を旋回させる必要がある。
【００１１】
【発明が解決しようとする課題】
以上の事情に鑑み本発明においては、撮像装置を旋回させながらズーミングしても、移動体を安定して追尾できる移動体の監視方法および装置を簡単な構成で実現することが課題であり、さらに詳しくは、撮像データから撮像装置の旋回速度とズーム速度を算出し、それによって背景と移動体を識別して移動体を安定に追尾できる移動体の監視方法および装置を提供することが課題である。
【００１２】
【課題を解決するための手段】
そして、請求項１は方法発明であって、
撮像装置を一定のズーム速度及び旋回速度で旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出するステップと、該動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するステップと、該算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出するステップと、該移動体領域の動きベクトルと前記ズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、移動体を追尾することを特徴とする。
【００１３】
また、この請求項１の方法発明を実施するための装置である請求項７に記載された発明は、
一定のズーム速度及び旋回速度で旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出する動きベクトル検出部と、該動きベクトル検出部が計算した動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するズーム量旋回量検出部と、該ズーム量旋回量検出部が算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出する移動体領域抽出部と、該移動体領域抽出部が抽出した移動体領域の動きベクトルと前記ズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、前記撮像装置に旋回及びズームを指示するズーム旋回制御部とからなり、撮像データから移動体を認識して旋回及びズーミングしながら追尾することを特徴とする。
【００１４】
このように、オプティカルフローから動きベクトルを算出して撮像装置のズーム速度と旋回速度を計算することで、移動体領域を確実に抽出して移動速度、方向を計算することができ、それによってズーム、旋回している撮像データで安定して移動体を追尾することができる。
【００１５】
しかしながらこのように構成した場合、画像データ全体からズーム速度と旋回速度を計算しているため、移動体が現れると誤差が生じる。それを解決するため請求項２に記載した発明においては、
撮像装置を一定のズーム速度及び旋回速度で旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出するステップと、該動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するステップと、該算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域と背景領域を分離するステップと、分離した背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再算出するステップと、該再算出したズーム速度及び旋回速度と前記移動体領域の動きベクトルとから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、移動体を追尾することを特徴とする。
【００１６】
また、この請求項２の方法発明を実施するための装置である請求項８に記載された発明は、
一定のズーム速度及び旋回速度で旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出する動きベクトル検出部と、該動きベクトル検出部が計算した動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するズーム量旋回量検出部と、該ズーム量旋回量検出部が算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出し、残り領域を背景領域とする移動体領域抽出部と、該移動体領域抽出部が抽出した背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再計算する動きベクトル補正部と、前記移動体領域の動きベクトルと前記再計算したズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、前記撮像装置にズーム及び旋回を指示するズーム旋回制御部とからなり、撮像データから移動体を認識して旋回及びズーミングしながら追尾することを特徴とする。
【００１７】
このように、背景領域と移動体領域を分離した後、背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再算出することで、より正確なズーム速度と旋回速度を得ることができ、追尾を正確に行えるようになる。
【００１８】
また、このズーム速度と旋回速度を計算で得るのではなく、撮像装置の旋回装置の実旋回量、及びズームレンズの実ズーム量を検出するようにしてもよい。この場合は、
撮像装置を旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、被写体の同一点の移動量をオプティカルフローとして動きベクトルを算出するステップと、撮像装置の実ズーム速度と実旋回速度を検出し、該検出した実ズーム速度及び実旋回速度と前記動きベクトルとから移動体領域を抽出するステップと、該移動体領域の動きベクトルと前記実ズーム速度及び実旋回速度とから移動体の移動方向と速度を算出し、撮像装置のズーム量と旋回量を再算出して移動体を追尾するとよい。
【００１９】
また、この方法発明を実施するための装置は、
旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、被写体の同一点の移動量をオプティカルフローとして動きベクトルを算出する動きベクトル検出部と、撮像装置の実ズーム速度と実旋回速度を検出して前記動きベクトルとから移動体領域の移動方向と速度を算出し、撮像装置のズーム速度と旋回速度を再算出して撮像装置に指示するズーム旋回制御部と、該ズーム旋回制御部が検出した撮像装置の前記実ズーム量及び実旋回量と前記動きベクトルとから移動体領域を抽出して前記ズーム旋回制御部に送る移動体領域抽出部とからなり、撮像データから移動体を認識して旋回及びズーミングしながら追尾するとよい。
【００２０】
すなわち、このように撮像装置の実ズーム量と実旋回量を検出することで、これらの値を別途算出する課程を１つ省くことができ、それだけ制御装置の負荷を少なくすることができる。
【００２１】
また、オプティカルフローの算出手段として従来ではマッチング法が用いられているが、この方法は前記したように計算負荷が高い。それを解決するため本発明においては、
前記オプティカルフローを、オプティカルフローのｘ成分の空間微分とｙ成分の空間微分とから計算する勾配法で算出することを特徴とする。
【００２２】
このように計算手段として勾配法を採用することで、マッチング法に比べて計算負荷を少なくし、さらに特別なハードなどを用意する必要が無くなり、経済的に構成することができる。
【００２３】
またこの勾配法を実施するときは、勾配法の推定精度が画素ピッチに制約されないことを利用し、撮像した画像を縮小することでさらに計算負荷を軽減できる。これを実現するため請求項３に記載した発明においては、
撮像データからオプティカルフローを求める際は撮像データを大きな縮小率で縮小して算出することを特徴とする。
【００２４】
このように撮像データを縮小することで、オプティカルフローの推定精度を損なうことなく計算負荷を大幅に軽減できる。
【００２５】
また、移動体領域を抽出して背景領域と分離する方法は、請求項４または５に記載したように、
移動体領域を抽出するステップは、前記ズーム速度と旋回速度を元に画像上の各点の予測動きベクトルを算出し、該予測動きベクトルと前記動きベクトルとの差が閾値以上の領域を移動体領域として抽出することを特徴とする。
移動体領域と背景領域を分離するステップは、前記再算出したズーム速度と旋回速度を元に画像上の各点の予測動きベクトルを算出し、該予測動きベクトルと前記動きベクトルとの差が閾値以下の領域を背景領域とし、残りを移動体領域として分離することを特徴とする。
【００２６】
また、同じく移動体領域を抽出して背景領域と分離する他の方法として、請求項６に記載したように、
移動体領域を抽出するステップ、または移動体領域と背景領域を分離するステップは、前記動きベクトルからズーム速度成分を除いたベクトルの頻度を算出する投票法で抽出することを特徴とする。
【００２７】
このようにすることで、簡単、確実に移動体領域と背景領域を分離できる。
【００２８】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を例示的に詳しく説明する。但しこの実施の形態に記載されている構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載がない限りは、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
【００２９】
図１は本発明になる移動体の監視装置の第１実施例であり、図２はそのフロー図、図３は、撮像装置をズーム、旋回させた場合における撮像データ上の被写体の動きの説明図である。図において１はズームレンズ２、パン・チルトを含む旋回をおこなわせる旋回装置３を持つ撮像装置、４は撮像装置１からのデータをアナログ・デジタル変換すると共に、動きベクトル検出のために撮像データを複数記憶するメモリを持つ画像入力部、５は画像入力部４に記憶された撮像データから動きベクトルを検出する動きベクトル検出部、６は動きベクトル検出部５の検出結果を元に、撮像装置１のズーム量と旋回量を検出するズーム量旋回量検出部、８は動きベクトル検出部５とズーム量旋回量検出部６からのデータを元に移動体領域を抽出する移動体領域抽出部、９は動きベクトル検出部５、ズーム量旋回量検出部６、移動体領域抽出部８からの信号で移動体を画面の中心に位置させる旋回量を計算すると共に、移動体を適度な大きさに拡大するズーム量を計算するズーム旋回制御部、１０はズーム旋回制御部９からの信号で旋回装置３のパン・チルトを含む旋回を制御する旋回制御部、１１はズーム旋回制御部９からの信号でズームレンズ２のズーミングを制御するズーム制御部である。
【００３０】
撮像装置１が撮像したデータは画像入力部４のメモリに記憶され、動きベクトル検出部５がまず図２のステップ２１で、相前後する撮像データから、被写体の同一点の移動量をオプティカルフローとして動きベクトルを算出する。
【００３１】
オプティカルフローの算出は、マッチング法か勾配法を基本としておこなわれているものが多い。マッチング法は、相前後する撮像データにおける対応するドットの明るさの差をとり、その絶対値の和を計算すると共に、互いの画像の位置を少しずつずらせて同じことを繰り返し、この絶対値和が最小になるずらし量を移動量としてオプティカルフローを設定するもので、演算方法は単純だが前記したように計算負荷が高い為、多数のフローを実時間で求めるには特殊なハードウェアを必要とする。
【００３２】
それに対して勾配法は、時系列画像間の運動物体の微少運動による明るさの時空間変化に対し、数値計算でオプティカルフローを求めるもので計算負荷が小さくて済む。今、画像中の点（ｘ、ｙ）の時刻ｔにおける輝度をＦ（ｘ、ｙ、ｔ）とし、ｕ（ｘ、ｙ）、ｖ（ｘ、ｙ）がその点におけるオプティカルフローベクトルのｘ成分、ｙ成分であるとしたとき、時刻ｔにおける輝度は時刻ｔ＋δｔにおける輝度と等しいと期待できる。すなわち、
【数１】
が小さい時間間隔δｔに対して成り立つ。もし輝度が、ｘ、ｙ、ｔに関してなめらかに変化するなら、式（１）の左辺をテイラー級数に展開でき、
【数２】
【数３】
のように表記し、Ｆｘ、Ｆｙをそれぞれｘ方向、ｙ方向の空間微分、Ｆｔを時間微分とすると、次式が得られる。
【数４】
そこで、式（４）に最小二乗法を適用し、動きベクトル（ｕ、ｖ）を推定する。
【００３３】
なお、このとき、勾配法の推定精度が画素ピッチに制約されない点を利用し、画像を水平、垂直方向にそれぞれ１／ｎに縮小したスケール画像Ｓｎを使ってフローを求め、これをｎ倍することで、さらに計算負荷を削減することができる。すなわち、画像サイズは1／ｎ２になるので、小さな領域のフローを求める場合には推定精度が問題になるが、大幅な高速化が可能となる。また勾配法ではフローが大きくなると推定誤差が大きくなるが、Ｓｎ上ではフローの大きさも1／ｎとなるため、大きなフローについてはむしろ推定精度の向上が期待できる。
【００３４】
そこで画面全体のオプティカルフローを求める場合は、縮小スケールｎの大きな画像で求めた画像全体の粗いオプティカルフローを利用すれば良い。これにより計算処理がより高速化できる。
【００３５】
こうして動きベクトルが計算されると、次のステップ２２で図１におけるズーム量旋回量検出部６が撮像装置のズーム速度と旋回速度を算出する。最初にズームのみの場合について説明すると、図３（ａ）における３０のような物体を撮像してズーミングした場合、この像は図３（ｂ）の３１のようにズーム中心Ｏから離れながら拡大されてゆく。そのため、時刻ｔ１、ｔ２（ｔ ２ ＞ｔ １ ）での点Ｐ１、Ｐ２の関係は、ｍをズーム速度、Δｔ＝ｔ２−ｔ１とすると、
【数５】
【数６】
となる。
【００３６】
ここでズームに加えて旋回を考えると、背景の動きは並進成分のみと考えて問題ないから、先の図形３１は図３の（ｃ）に３２で示したような位置になる。そのため、撮像装置の旋回速度Ｖ０＝（ｕ０、ｖ０）は、撮像装置旋回により生じる背景の画像上での見かけの動きベクトルとなり、ｕ０、ｖ０を速度Ｖ０のｘ成分、ｙ成分とすると、上記（５）、（６）式は次のようになる。
【数７】
【数８】
【００３７】
そのため、動きベクトルＶ（ｕ、ｖ）から、ズーム速度ｍと旋回速度Ｖ０＝（ｕ０、ｖ０）を求めるには、点Ｐ＝（ｘ、ｙ）の検出された動きベクトルＶの誤差ｅ２が、
【数９】
となるから、全てのベクトルでズーム速度ｍ、旋回速度Ｖ０が一定と考えられるので、
【数１０】
としてＥを最小にするズーム速度ｍ、旋回速度Ｖ０を最小二乗法で求めることができる。
【００３８】
こうしてズーム速度ｍ、旋回速度Ｖ０が算出されると、先に動きベクトル検出部５が計算した動きベクトルを用い、次のステップ２３、２４で図１の移動体領域抽出部８が移動体領域の抽出をおこなう。これにはステップ２３で、先に算出したズーム速度ｍ、旋回速度Ｖ０を用いて画面上の各点の予測動きベクトルを計算し、次のステップ２４で、この各点の予測動きベクトルと先に算出した動きベクトルの差を取り、その絶対値が閾値以上の点を移動体上の点として移動体領域を特定する。
【００３９】
こうして移動体領域が特定されたら、ステップ２５で移動体が有るか無いか、すなわち閾値以上の点が有るかどうかが判断され、移動体が無い場合はステップ２１に戻る。移動体が有る場合はステップ２６で、ズーム旋回制御部９が移動体領域の動きベクトルとズーム速度ｍ、旋回速度Ｖ０から移動体の移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出し、ステップ２７で移動体を画面中央に位置させるための撮像装置１の旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出する。
【００４０】
そしてこの旋回速度と旋回方向を旋回制御部１０に、ズーム量をズーム制御部１１に送り、旋回装置３にパン・チルトを含む旋回をおこなわせ、ズームレンズ２にはズーミングをおこなわせる。そのため移動体は、画面中央で、その移動体が何であるか確認できる程度の大きさで撮像される。
【００４１】
なお、ステップ２１で勾配法を用いてオプティカルフローを算出するとき、先に説明したように撮像画像を１／ｎに縮小して求めることで計算負荷を減少させることができるが、この場合、ステップ２４で移動体領域が特定された後、ステップ２６で移動体の移動方向と移動速度を算出する前に、この特定された移動体領域のみの動きベクトルを小さな縮小率で再計算することで、移動体領域の動きベクトルが正確に計算できる。
【００４２】
また以上の説明は、撮像装置が旋回、及びズーミングしている時を例として説明してきたが、カメラが静止しているところに移動体が現れた場合、ステップ２１で移動体のみの動きベクトルが算出され、また、ズームのない旋回動作のみの場合はステップ２２で旋回速度Ｖ０のみが算出されるから、後はこれらの値を用いて前記したステップを順次進めることで移動体の追尾が可能になる。
【００４３】
さらに以上の説明では、移動体領域を特定するのに、ステップ２３でズーム速度ｍ、旋回速度Ｖ０から各点の予測動きベクトルを算出し、ステップ２４でこの予測動きベクトルと動きベクトルとの差が閾値以上の領域を移動体領域とした。しかし移動体領域を特定する方法はこれだけではなく、例えばステップ２３と２４の代わりに図２（ロ）のステップ２８と２９を用い、まずステップ２８で、先にステップ２１で計算した動きベクトルからズーム速度ｍの成分を除き、これを図８の（Ｂ）に示したｕ、ｖ平面に投票し、ステップ２９で頻度の一番多かったオプティカルフローを背景とし、二番目に多かったオプティカルフローを移動体として特定する方法を採ることもできる。
【００４４】
このような構成と方法により、撮像装置が旋回しながらズーミングしても、撮像データから旋回による旋回速度Ｖ０とズーム速度ｍを計算することができ、その計算結果に基づいて移動体を特定して追尾をおこなうことができる。
【００４５】
しかしながら以上の説明では、旋回速度Ｖ０とズーム速度ｍを（１０）式で計算するとき、撮像データ全体を用いて計算していたが、こうすると画像中に移動体が含まれていると誤差が大きくなる。そのため、一度求めたズーム速度ｍと旋回速度Ｖ０から、撮像データの各点Ｐでの動きベクトルを予測し、予測値との差の絶対値が閾値以下の点を背景領域とし、この背景領域のみの動きベクトルを用いて再計算することにより、ズーム速度ｍと旋回速度Ｖ０の計算精度を向上させることができる。
【００４６】
図４は、このようにズーム速度ｍと旋回速度Ｖ０を再計算する場合の本発明になる監視装置の第２実施例であり、図５はそのフロー図である。図中、図１、図２と同一構成要素には同一番号を付した。図４中７は、動きベクトルを再計算する動きベクトル補正部である。
【００４７】
図４の撮像装置１が撮像したデータは、図１と図２で説明したように図５のステップ２１で動きベクトル検出部５で処理され、相前後する撮像データから被写体の同一点の移動量がオプティカルフローとして動きベクトルが算出される。そして次のステップ２２で、ズーム量旋回量検出部６が、撮像装置のズーム速度ｍと旋回速度Ｖ０を算出する。そしてこれらの値を元に移動体領域抽出部８が、ステップ２３で、先に算出したズーム速度ｍ、旋回速度Ｖ０を用いて画面上の各点の予測動きベクトルを計算し、次のステップ２４で、この各点の予測動きベクトルと先に算出した動きベクトルの差を取り、その絶対値が閾値以上の点を移動体上の点として移動体領域を特定し、それ以外の領域を背景領域とする。
【００４８】
そして、移動体がある場合は次のステップ２５でそれが判断され、その次のステップ５０で動きベクトル補正部７が、まず、背景領域の動きベクトルのみを用いて前記（１０）式によりズーム速度ｍ、旋回速度Ｖ０を再計算する。そしてこの再計算したズーム速度ｍ、旋回速度Ｖ０を用い、ステップ５１でズーム旋回制御部９が、移動体の動きベクトルから移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出する。そしてステップ２７で、移動体の動きベクトル、再計算したズーム速度ｍ、旋回速度Ｖ０を用い、移動体を画面中央に位置させるための旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出する。
【００４９】
そしてこの旋回速度と旋回方向を旋回制御部１０に、ズーム量をズーム制御部１１に送り、旋回装置３にパン・チルトを含む旋回をおこなわせ、ズームレンズ２にはズーミングをおこなわせる。そのため移動体は、画面中央で、その移動体が何であるか確認できる程度の大きさで撮像される。
【００５０】
なお、ステップ２１で勾配法を用いてオプティカルフローを算出するとき、先に説明したように撮像画像を１／ｎに縮小して求めることで計算負荷を減少させることができるが、この場合、ステップ２４で移動体領域が特定された後、ステップ５１で移動体の移動方向と移動速度を算出する前に、特定された移動体領域のみの動きベクトルを小さな縮小率で再計算することで、移動体領域の動きベクトルが正確に計算できる。また、移動体領域を特定する際前記したように、ステップ２３と２４の代わりに図２（ロ）のステップ２８と２９を用い、ステップ２８で、ステップ５１で再計算した動きベクトルからズーム速度ｍの成分を除き、これを図８の（Ｂ）に示したｕ、ｖ平面に投票し、ステップ２９で頻度の一番多かったオプティカルフローを背景とし、二番目に多かったオプティカルフローを移動体として特定する方法を採ることもできる。
【００５１】
このようにすることで、実施例１の場合に比してズーム速度ｍ、旋回速度Ｖ０が正確に算出でき、移動体をより正確に追尾できる。
【００５２】
図６は、ズーム速度ｍと旋回速度Ｖ０を計算で求めるのではなく、撮像装置の実際のズーム速度と旋回速度を検出して移動体を追尾する本発明の第３実施例であり、図７はそのフロー図である。図中図１、図２と同一構成要素には、同一番号を付した。図６中１２は、動きベクトル検出部５と移動体領域抽出部８からの信号で移動体を画面の中心に位置させると共に、適度な大きさに拡大する旋回速度とズーム量を計算し、併せて移動体領域抽出部８にその計算結果を知らせるズーム旋回制御部である。
【００５３】
撮像装置１が撮像したデータは、図１と図２で説明したようにステップ２１で動きベクトル検出部５で処理され、相前後する撮像データから被写体の同一点の移動量がオプティカルフローとして動きベクトルが算出される。いま、撮像装置１が静止して監視しており、移動体が無いとすると、動きベクトル検出部５からは動きベクトル０の信号が、ズーム旋回制御部１２からはズーム量旋回量０の信号が出る。そのためステップ７０、２３、２４でズーム速度０、旋回速度０、移動体領域無しという結果が出され、ステップ２５で移動体が無いとして処理がステップ２１に戻る。
【００５４】
このとき移動体が撮像装置１で捕らえられると、動きベクトル検出部５がステップ２１で移動体のオプティカルフローから動きベクトルを算出し、移動体領域抽出部８に送る。しかし、この時点ではまだ撮像装置１は動いていないので、ステップ７０でズーム旋回制御部１２から移動体領域抽出部８に、ズーム速度、旋回速度共に０という信号が送られ、移動体領域抽出部８はステップ２３、２４で移動体の動きベクトルのあるところを移動体領域としてズーム旋回制御部１２に通知する。
【００５５】
そのためズーム旋回制御部１２は、ステップ２６で移動体の動きベクトルから、移動体の移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出し、ステップ２７で移動体を画面中央に位置させるための旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出する。
【００５６】
そしてこの旋回速度と旋回方向を旋回制御部１０に、ズーム量をズーム制御部１１に送り、旋回装置３にパン・チルトを含む旋回をおこなわせ、ズームレンズ２にはズーミングをおこなわせて移動体を追尾させる。また、この算出したズーム速度と旋回速度を移動体領域抽出部８に知らせ、次のサイクルで使用する。
【００５７】
こうして移動体の追尾が撮像装置１のズームと旋回を伴って開始されると、前記したように撮像装置１が撮像したデータは、ステップ２１で動きベクトル検出部５で処理され、動きベクトルが算出される。いま、撮像装置１は前記したようにズームと旋回を開始しており、ステップ７０の実ズーム速度ｍと実旋回速度Ｖ０はすでにわかっているから、ステップ２３、２４で移動体領域抽出部８は、前記したように各点の予測動きベクトルを計算し、実際の動きベクトルとの差を取って閾値より大きな点を移動体領域として抽出し、ズーム旋回制御部１２に通知する。
【００５８】
そのためズーム旋回制御部１２は、ステップ２６で移動体の動きベクトルから、移動体の移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出し、ステップ２７で移動体を画面中央に位置させるための旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出し、旋回速度と旋回方向を旋回制御部１０に、ズーム量をズーム制御部１１に送り、旋回装置３にパン・チルトを含む旋回をおこなわせ、ズームレンズ２にはズーミングをおこなわせて移動体を追尾させる。そして、以下全く同じ動作が繰り返される。
【００５９】
なお、勾配法でオプティカルフローを算出するとき、先に説明したように撮像画像を１／ｎに縮小して求めることで計算負荷を減少させることができるが、この場合、ステップ２４で移動体領域が特定された後、ステップ２６で移動体の移動方向と移動速度を算出する前に、この特定された移動体領域のみの動きベクトルを小さな縮小率で再計算することで、移動体領域の動きベクトルが正確に計算できる。また、移動体領域を特定する際前記したように、ステップ２３と２４の代わりに図２（ロ）のステップ２８と２９を用い、ステップ２８で動きベクトルからズーム速度ｍの成分を除き、これを図８の（Ｂ）に示したｕ、ｖ平面に投票し、ステップ２９で頻度の一番多かったオプティカルフローを背景とし、二番目に多かったオプティカルフローを移動体として特定する方法を採ることもできる。
【００６０】
また以上の説明では、撮像装置１の実ズーム速度ｍと実旋回速度Ｖ０は、ズーム旋回制御部１２から得ると説明してきたが、撮像装置１から機械的に直接検出しても良く、旋回制御部１０とズーム制御部１１から得るようにしても良い。
【００６１】
【発明の効果】
以上記載の如く請求項１、９に記載した本発明によれば、オプティカルフローから動きベクトルを算出して撮像装置のズーム速度と旋回速度を計算することで、移動体領域を確実に抽出して移動速度、方向を計算することができ、それによってズーム、旋回している撮像データで安定して移動体を追尾することができる。
【００６２】
また請求項２、１０に記載した発明によれば、背景領域と移動体領域を分離した後、背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再算出することで、より正確なズーム速度と旋回速度を得ることができ、追尾を正確に行えるようになる。
【００６３】
また請求項３、１１に記載したように、実ズーム量と実旋回量を撮像装置から検出することで、これらの値を別途算出する課程を１つ省くことができ、それだけ制御装置の負荷を少なくすることができる。
【００６４】
またオプティカルフローの計算は請求項４に記載したように、勾配法を採用することで、マッチング法に比べて計算負荷を少なくでき、さらに特別なハードなどを用意する必要が無くなり、経済的に構成することができる。
【００６５】
さらにオプティカルフローの計算は、請求項５に記載したように、撮像データを縮小することで、オプティカルフローの推定精度を損なうことなく計算負荷を大幅に軽減できる。
【００６６】
また移動体領域の抽出も、請求項６、７、８に記載したように、ズーム速度と旋回速度から各点の予測動きベクトルを計算して動きベクトルとの差を求めたり、動きベクトルからズーム速度成分を除いて投票することで、簡単、確実に移動体領域と背景領域を分離でき、マッチング法を使うときのように計算処理に特別なハードを必要としたりせず、経済的に構成できる。
【００６７】
以上、種々述べてきたように本発明は、撮像装置を旋回させ、かつ、その移動体が何であるか確認できる程度にズーミングしながら、安定して追尾する事ができる移動体の監視方法および装置を簡単で安価な構成で実現することができ、監視方法および装置として大きな効果をもたらすものである。
【図面の簡単な説明】
【図１】 本発明の第１実施例の要部構成を示すブロック図である。
【図２】 本発明の第１実施例のフロー図である。
【図３】 撮像装置をズームさせながら旋回させたときの、画面上の被写体の動きの説明図である。
【図４】 本発明の第２実施例の要部構成を示すブロック図である。
【図５】 本発明の第２実施例のフロー図である。
【図６】 本発明の第３実施例の要部構成を示すブロック図である。
【図７】 本発明の第３実施例のフロー図である。
【図８】 オプティカルフローを投票して移動体を特定する従来方法の説明図である。
【符号の説明】
１ 撮像装置
２ ズームレンズ
３ 旋回装置
４ 画像入力部
５ 動きベクトル検出部
６ ズーム量旋回量検出部
７ 動きベクトル補正部
８ 移動体領域抽出部
９ ズーム旋回制御部
１０ 旋回制御部
１１ ズーム制御部
１２ ズーム旋回制御部
【発明の属する技術分野】
本発明は、港湾、鉄道、空港やプラント等の重要施設において、監視員に代わり、監視用撮像装置の映像から侵入者などの移動体を検知し、撮像装置を旋回・ズームさせながら追尾して記録できるようにした自動監視システムなどにおける移動体の監視方法および装置に関し、さらに詳しくは、旋回・ズームしている撮像装置の撮像データから、移動体を抽出して追尾する技術に関する。
【０００２】
【従来の技術】
監視用撮像装置で移動体を認識して追尾する技術としては、特開平５−２２７４６３号公報や、特開平９−２１４９４５号公報に示されたものがある。まず特開平５−２２７４６３号公報に示されたものは、画像データを複数のブロックに分割し、ジョイスティックで座標を入力して移動体を含む複数ブロックを追跡ベクトル検出領域として枠で囲み、その中のブロックを少しずつ移動させながら前の画像との明るさの差を取り、その絶対値和が最も小さくなる位置で動きベクトルを検出し、追尾するものである。
【０００３】
しかしながらこの方法では、人がジョイスティックを操作して追跡ベクトル検出領域の座標を入力する必要があり、無人の監視装置には使えない。また被写体をズーミングして拡大、縮小した場合、最初に設定した追跡ベクトル検出領域は使えなくなり、追跡ができなくなる。
【０００４】
次の特開平９−２１４９４５号公報に示されたものは、まず、相前後する撮像データの中から逐次テンプレートマッチングの手法を用いて移動体の位置を特定し、概略動きベクトルを演算する。一方、移動体の角（コーナー）などの特徴点を抽出し、前記概略動きベクトルからこの特徴点を追跡して正確な移動量や方向を検出する。そしてこのデータから前記概略動きベクトルを補正し、移動体のほぼ正確な位置を特定できるようにして、撮像装置の旋回やズーミング、移動体の回転、伸縮、変形等にも対応して追尾できるようにしたものである。
【０００５】
しかしこの方法も、移動体の特徴点が抽出できないと補正ができずに移動体の正確な位置を特定できなくなり、また逐次テンプレートマッチング法は計算負荷が大きく、特殊なハードウェアを必要とするという欠点があった。
【０００６】
この他の方法としては、撮像データからオプティカルフローを検出し、投票法により、等速直線運動する移動体領域のみを抽出するものがある。これについては電子情報通信学会論文誌（Ｄ−II）Ｖｏｌ．Ｊ８０−Ｄ−II、ＮＯ．５（１９９７）「複雑変動背景下における移動物体の検出」、三菱重工技報Ｖｏｌ．３６、ＮＯ．２（１９９９）「動画像処理技術を用いた移動体監視システムの開発」等に詳細に述べられている。
【０００７】
これは、まず相前後する撮像データから被写体の同一点の移動量をオプティカルフローとして検出し、そのオプティカルフローの長さ、方向成分の頻度を投票して移動体と背景を分離するもので、今、撮像装置が右から左に旋回し、そこに車が右方から左方に向かって撮像装置の旋回速度より速いスピードで現れたとすると、そのオプティカルフローは図８の（Ａ）に矢印で示したようになる。
【０００８】
すなわちこの図８の（Ａ）において、点線で示した８１は最初の撮像データにおける車の位置で、８２の実線で示したものは次の撮像データにおける車の位置であり、この場合、車のオプティカルフローは左向きの矢印８３のようになり、背景は、画面上左から右に流れているように見えるため、右向きの矢印８４のようになる。そのため、このそれぞれのオプティカルフローの水平速度ｕ、垂直速度ｖを、図８（Ｂ）に示した水平速度ｕ、垂直速度ｖの平面の対応した場所に投票して頻度を出すと、背景が８５、移動体が８６のようになり、背景と移動体が識別できる。
【０００９】
この方法だと、撮像装置を旋回させても安定して移動体と背景を区別でき、また、日照変化や波や風に揺らぐ木々などのような外乱要因による背景変動は、投票したときに頻度の高いところが現れないからこれも移動体とは区別できる。しかし、撮像装置のレンズをズーミングさせると、ズーミングによる画面中央からの放射状の動きが現れ、これが旋回による動きと合わさって複雑なオプティカルフローとなり、移動体のみを分離するのが難しくなって対応できなくなる。
【００１０】
しかし侵入者の行動を記録する場合、監視員が人物を特定したり、その行動が十分判別できる程度にズームし、かつ侵入者を撮像装置の中心に維持するように撮像装置を旋回させる必要がある。
【００１１】
【発明が解決しようとする課題】
以上の事情に鑑み本発明においては、撮像装置を旋回させながらズーミングしても、移動体を安定して追尾できる移動体の監視方法および装置を簡単な構成で実現することが課題であり、さらに詳しくは、撮像データから撮像装置の旋回速度とズーム速度を算出し、それによって背景と移動体を識別して移動体を安定に追尾できる移動体の監視方法および装置を提供することが課題である。
【００１２】
【課題を解決するための手段】
そして、請求項１は方法発明であって、
撮像装置を一定のズーム速度及び旋回速度で旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出するステップと、該動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
【００１３】
また、この請求項１の方法発明を実施するための装置である請求項７に記載された発明は、
一定のズーム速度及び旋回速度で旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出する動きベクトル検出部と、該動きベクトル検出部が計算した動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
【００１４】
このように、オプティカルフローから動きベクトルを算出して撮像装置のズーム速度と旋回速度を計算することで、移動体領域を確実に抽出して移動速度、方向を計算することができ、それによってズーム、旋回している撮像データで安定して移動体を追尾することができる。
【００１５】
しかしながらこのように構成した場合、画像データ全体からズーム速度と旋回速度を計算しているため、移動体が現れると誤差が生じる。それを解決するため請求項２に記載した発明においては、
撮像装置を一定のズーム速度及び旋回速度で旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出するステップと、該動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
【００１６】
また、この請求項２の方法発明を実施するための装置である請求項８に記載された発明は、
一定のズーム速度及び旋回速度で旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出する動きベクトル検出部と、該動きベクトル検出部が計算した動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
【００１７】
このように、背景領域と移動体領域を分離した後、背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再算出することで、より正確なズーム速度と旋回速度を得ることができ、追尾を正確に行えるようになる。
【００１８】
また、このズーム速度と旋回速度を計算で得るのではなく、撮像装置の旋回装置の実旋回量、及びズームレンズの実ズーム量を検出するようにしてもよい。この場合は、
撮像装置を旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、被写体の同一点の移動量をオプティカルフローとして動きベクトルを算出するステップと、撮像装置の実ズーム速度と実旋回速度を検出し、該検出した実ズーム速度及び実旋回速度と前記動きベクトルとから移動体領域を抽出するステップと、該移動体領域の動きベクトルと前記実ズーム速度及び実旋回速度とから移動体の移動方向と速度を算出し、撮像装置のズーム量と旋回量を再算出して移動体を追尾するとよい。
【００１９】
また、この方法発明を実施するための装置は、
旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、被写体の同一点の移動量をオプティカルフローとして動きベクトルを算出する動きベクトル検出部と、撮像装置の実ズーム速度と実旋回速度を検出して前記動きベクトルとから移動体領域の移動方向と速度を算出し、撮像装置のズーム速度と旋回速度を再算出して撮像装置に指示するズーム旋回制御部と、該ズーム旋回制御部が検出した撮像装置の前記実ズーム量及び実旋回量と前記動きベクトルとから移動体領域を抽出して前記ズーム旋回制御部に送る移動体領域抽出部とからなり、撮像データから移動体を認識して旋回及びズーミングしながら追尾するとよい。
【００２０】
すなわち、このように撮像装置の実ズーム量と実旋回量を検出することで、これらの値を別途算出する課程を１つ省くことができ、それだけ制御装置の負荷を少なくすることができる。
【００２１】
また、オプティカルフローの算出手段として従来ではマッチング法が用いられているが、この方法は前記したように計算負荷が高い。それを解決するため本発明においては、
前記オプティカルフローを、オプティカルフローのｘ成分の空間微分とｙ成分の空間微分とから計算する勾配法で算出することを特徴とする。
【００２２】
このように計算手段として勾配法を採用することで、マッチング法に比べて計算負荷を少なくし、さらに特別なハードなどを用意する必要が無くなり、経済的に構成することができる。
【００２３】
またこの勾配法を実施するときは、勾配法の推定精度が画素ピッチに制約されないことを利用し、撮像した画像を縮小することでさらに計算負荷を軽減できる。これを実現するため請求項３に記載した発明においては、
撮像データからオプティカルフローを求める際は撮像データを大きな縮小率で縮小して算出することを特徴とする。
【００２４】
このように撮像データを縮小することで、オプティカルフローの推定精度を損なうことなく計算負荷を大幅に軽減できる。
【００２５】
また、移動体領域を抽出して背景領域と分離する方法は、請求項４または５に記載したように、
移動体領域を抽出するステップは、前記ズーム速度と旋回速度を元に画像上の各点の予測動きベクトルを算出し、該予測動きベクトルと前記動きベクトルとの差が閾値以上の領域を移動体領域として抽出することを特徴とする。
移動体領域と背景領域を分離するステップは、前記再算出したズーム速度と旋回速度を元に画像上の各点の予測動きベクトルを算出し、該予測動きベクトルと前記動きベクトルとの差が閾値以下の領域を背景領域とし、残りを移動体領域として分離することを特徴とする。
【００２６】
また、同じく移動体領域を抽出して背景領域と分離する他の方法として、請求項６に記載したように、
移動体領域を抽出するステップ、または移動体領域と背景領域を分離するステップは、前記動きベクトルからズーム速度成分を除いたベクトルの頻度を算出する投票法で抽出することを特徴とする。
【００２７】
このようにすることで、簡単、確実に移動体領域と背景領域を分離できる。
【００２８】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を例示的に詳しく説明する。但しこの実施の形態に記載されている構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載がない限りは、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
【００２９】
図１は本発明になる移動体の監視装置の第１実施例であり、図２はそのフロー図、図３は、撮像装置をズーム、旋回させた場合における撮像データ上の被写体の動きの説明図である。図において１はズームレンズ２、パン・チルトを含む旋回をおこなわせる旋回装置３を持つ撮像装置、４は撮像装置１からのデータをアナログ・デジタル変換すると共に、動きベクトル検出のために撮像データを複数記憶するメモリを持つ画像入力部、５は画像入力部４に記憶された撮像データから動きベクトルを検出する動きベクトル検出部、６は動きベクトル検出部５の検出結果を元に、撮像装置１のズーム量と旋回量を検出するズーム量旋回量検出部、８は動きベクトル検出部５とズーム量旋回量検出部６からのデータを元に移動体領域を抽出する移動体領域抽出部、９は動きベクトル検出部５、ズーム量旋回量検出部６、移動体領域抽出部８からの信号で移動体を画面の中心に位置させる旋回量を計算すると共に、移動体を適度な大きさに拡大するズーム量を計算するズーム旋回制御部、１０はズーム旋回制御部９からの信号で旋回装置３のパン・チルトを含む旋回を制御する旋回制御部、１１はズーム旋回制御部９からの信号でズームレンズ２のズーミングを制御するズーム制御部である。
【００３０】
撮像装置１が撮像したデータは画像入力部４のメモリに記憶され、動きベクトル検出部５がまず図２のステップ２１で、相前後する撮像データから、被写体の同一点の移動量をオプティカルフローとして動きベクトルを算出する。
【００３１】
オプティカルフローの算出は、マッチング法か勾配法を基本としておこなわれているものが多い。マッチング法は、相前後する撮像データにおける対応するドットの明るさの差をとり、その絶対値の和を計算すると共に、互いの画像の位置を少しずつずらせて同じことを繰り返し、この絶対値和が最小になるずらし量を移動量としてオプティカルフローを設定するもので、演算方法は単純だが前記したように計算負荷が高い為、多数のフローを実時間で求めるには特殊なハードウェアを必要とする。
【００３２】
それに対して勾配法は、時系列画像間の運動物体の微少運動による明るさの時空間変化に対し、数値計算でオプティカルフローを求めるもので計算負荷が小さくて済む。今、画像中の点（ｘ、ｙ）の時刻ｔにおける輝度をＦ（ｘ、ｙ、ｔ）とし、ｕ（ｘ、ｙ）、ｖ（ｘ、ｙ）がその点におけるオプティカルフローベクトルのｘ成分、ｙ成分であるとしたとき、時刻ｔにおける輝度は時刻ｔ＋δｔにおける輝度と等しいと期待できる。すなわち、
【数１】
【数２】
【数４】
【００３３】
なお、このとき、勾配法の推定精度が画素ピッチに制約されない点を利用し、画像を水平、垂直方向にそれぞれ１／ｎに縮小したスケール画像Ｓｎを使ってフローを求め、これをｎ倍することで、さらに計算負荷を削減することができる。すなわち、画像サイズは1／ｎ２になるので、小さな領域のフローを求める場合には推定精度が問題になるが、大幅な高速化が可能となる。また勾配法ではフローが大きくなると推定誤差が大きくなるが、Ｓｎ上ではフローの大きさも1／ｎとなるため、大きなフローについてはむしろ推定精度の向上が期待できる。
【００３４】
そこで画面全体のオプティカルフローを求める場合は、縮小スケールｎの大きな画像で求めた画像全体の粗いオプティカルフローを利用すれば良い。これにより計算処理がより高速化できる。
【００３５】
こうして動きベクトルが計算されると、次のステップ２２で図１におけるズーム量旋回量検出部６が撮像装置のズーム速度と旋回速度を算出する。最初にズームのみの場合について説明すると、図３（ａ）における３０のような物体を撮像してズーミングした場合、この像は図３（ｂ）の３１のようにズーム中心Ｏから離れながら拡大されてゆく。そのため、時刻ｔ１、ｔ２（ｔ ２ ＞ｔ １ ）での点Ｐ１、Ｐ２の関係は、ｍをズーム速度、Δｔ＝ｔ２−ｔ１とすると、
【数５】
【００３６】
ここでズームに加えて旋回を考えると、背景の動きは並進成分のみと考えて問題ないから、先の図形３１は図３の（ｃ）に３２で示したような位置になる。そのため、撮像装置の旋回速度Ｖ０＝（ｕ０、ｖ０）は、撮像装置旋回により生じる背景の画像上での見かけの動きベクトルとなり、ｕ０、ｖ０を速度Ｖ０のｘ成分、ｙ成分とすると、上記（５）、（６）式は次のようになる。
【数７】
そのため、動きベクトルＶ（ｕ、ｖ）から、ズーム速度ｍと旋回速度Ｖ０＝（ｕ０、ｖ０）を求めるには、点Ｐ＝（ｘ、ｙ）の検出された動きベクトルＶの誤差ｅ２が、
【数９】
【数１０】
【００３８】
こうしてズーム速度ｍ、旋回速度Ｖ０が算出されると、先に動きベクトル検出部５が計算した動きベクトルを用い、次のステップ２３、２４で図１の移動体領域抽出部８が移動体領域の抽出をおこなう。これにはステップ２３で、先に算出したズーム速度ｍ、旋回速度Ｖ０を用いて画面上の各点の予測動きベクトルを計算し、次のステップ２４で、この各点の予測動きベクトルと先に算出した動きベクトルの差を取り、その絶対値が閾値以上の点を移動体上の点として移動体領域を特定する。
【００３９】
こうして移動体領域が特定されたら、ステップ２５で移動体が有るか無いか、すなわち閾値以上の点が有るかどうかが判断され、移動体が無い場合はステップ２１に戻る。移動体が有る場合はステップ２６で、ズーム旋回制御部９が移動体領域の動きベクトルとズーム速度ｍ、旋回速度Ｖ０から移動体の移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出し、ステップ２７で移動体を画面中央に位置させるための撮像装置１の旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出する。
【００４０】
そしてこの旋回速度と旋回方向を旋回制御部１０に、ズーム量をズーム制御部１１に送り、旋回装置３にパン・チルトを含む旋回をおこなわせ、ズームレンズ２にはズーミングをおこなわせる。そのため移動体は、画面中央で、その移動体が何であるか確認できる程度の大きさで撮像される。
【００４１】
なお、ステップ２１で勾配法を用いてオプティカルフローを算出するとき、先に説明したように撮像画像を１／ｎに縮小して求めることで計算負荷を減少させることができるが、この場合、ステップ２４で移動体領域が特定された後、ステップ２６で移動体の移動方向と移動速度を算出する前に、この特定された移動体領域のみの動きベクトルを小さな縮小率で再計算することで、移動体領域の動きベクトルが正確に計算できる。
【００４２】
また以上の説明は、撮像装置が旋回、及びズーミングしている時を例として説明してきたが、カメラが静止しているところに移動体が現れた場合、ステップ２１で移動体のみの動きベクトルが算出され、また、ズームのない旋回動作のみの場合はステップ２２で旋回速度Ｖ０のみが算出されるから、後はこれらの値を用いて前記したステップを順次進めることで移動体の追尾が可能になる。
【００４３】
さらに以上の説明では、移動体領域を特定するのに、ステップ２３でズーム速度ｍ、旋回速度Ｖ０から各点の予測動きベクトルを算出し、ステップ２４でこの予測動きベクトルと動きベクトルとの差が閾値以上の領域を移動体領域とした。しかし移動体領域を特定する方法はこれだけではなく、例えばステップ２３と２４の代わりに図２（ロ）のステップ２８と２９を用い、まずステップ２８で、先にステップ２１で計算した動きベクトルからズーム速度ｍの成分を除き、これを図８の（Ｂ）に示したｕ、ｖ平面に投票し、ステップ２９で頻度の一番多かったオプティカルフローを背景とし、二番目に多かったオプティカルフローを移動体として特定する方法を採ることもできる。
【００４４】
このような構成と方法により、撮像装置が旋回しながらズーミングしても、撮像データから旋回による旋回速度Ｖ０とズーム速度ｍを計算することができ、その計算結果に基づいて移動体を特定して追尾をおこなうことができる。
【００４５】
しかしながら以上の説明では、旋回速度Ｖ０とズーム速度ｍを（１０）式で計算するとき、撮像データ全体を用いて計算していたが、こうすると画像中に移動体が含まれていると誤差が大きくなる。そのため、一度求めたズーム速度ｍと旋回速度Ｖ０から、撮像データの各点Ｐでの動きベクトルを予測し、予測値との差の絶対値が閾値以下の点を背景領域とし、この背景領域のみの動きベクトルを用いて再計算することにより、ズーム速度ｍと旋回速度Ｖ０の計算精度を向上させることができる。
【００４６】
図４は、このようにズーム速度ｍと旋回速度Ｖ０を再計算する場合の本発明になる監視装置の第２実施例であり、図５はそのフロー図である。図中、図１、図２と同一構成要素には同一番号を付した。図４中７は、動きベクトルを再計算する動きベクトル補正部である。
【００４７】
図４の撮像装置１が撮像したデータは、図１と図２で説明したように図５のステップ２１で動きベクトル検出部５で処理され、相前後する撮像データから被写体の同一点の移動量がオプティカルフローとして動きベクトルが算出される。そして次のステップ２２で、ズーム量旋回量検出部６が、撮像装置のズーム速度ｍと旋回速度Ｖ０を算出する。そしてこれらの値を元に移動体領域抽出部８が、ステップ２３で、先に算出したズーム速度ｍ、旋回速度Ｖ０を用いて画面上の各点の予測動きベクトルを計算し、次のステップ２４で、この各点の予測動きベクトルと先に算出した動きベクトルの差を取り、その絶対値が閾値以上の点を移動体上の点として移動体領域を特定し、それ以外の領域を背景領域とする。
【００４８】
そして、移動体がある場合は次のステップ２５でそれが判断され、その次のステップ５０で動きベクトル補正部７が、まず、背景領域の動きベクトルのみを用いて前記（１０）式によりズーム速度ｍ、旋回速度Ｖ０を再計算する。そしてこの再計算したズーム速度ｍ、旋回速度Ｖ０を用い、ステップ５１でズーム旋回制御部９が、移動体の動きベクトルから移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出する。そしてステップ２７で、移動体の動きベクトル、再計算したズーム速度ｍ、旋回速度Ｖ０を用い、移動体を画面中央に位置させるための旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出する。
【００４９】
そしてこの旋回速度と旋回方向を旋回制御部１０に、ズーム量をズーム制御部１１に送り、旋回装置３にパン・チルトを含む旋回をおこなわせ、ズームレンズ２にはズーミングをおこなわせる。そのため移動体は、画面中央で、その移動体が何であるか確認できる程度の大きさで撮像される。
【００５０】
なお、ステップ２１で勾配法を用いてオプティカルフローを算出するとき、先に説明したように撮像画像を１／ｎに縮小して求めることで計算負荷を減少させることができるが、この場合、ステップ２４で移動体領域が特定された後、ステップ５１で移動体の移動方向と移動速度を算出する前に、特定された移動体領域のみの動きベクトルを小さな縮小率で再計算することで、移動体領域の動きベクトルが正確に計算できる。また、移動体領域を特定する際前記したように、ステップ２３と２４の代わりに図２（ロ）のステップ２８と２９を用い、ステップ２８で、ステップ５１で再計算した動きベクトルからズーム速度ｍの成分を除き、これを図８の（Ｂ）に示したｕ、ｖ平面に投票し、ステップ２９で頻度の一番多かったオプティカルフローを背景とし、二番目に多かったオプティカルフローを移動体として特定する方法を採ることもできる。
【００５１】
このようにすることで、実施例１の場合に比してズーム速度ｍ、旋回速度Ｖ０が正確に算出でき、移動体をより正確に追尾できる。
【００５２】
図６は、ズーム速度ｍと旋回速度Ｖ０を計算で求めるのではなく、撮像装置の実際のズーム速度と旋回速度を検出して移動体を追尾する本発明の第３実施例であり、図７はそのフロー図である。図中図１、図２と同一構成要素には、同一番号を付した。図６中１２は、動きベクトル検出部５と移動体領域抽出部８からの信号で移動体を画面の中心に位置させると共に、適度な大きさに拡大する旋回速度とズーム量を計算し、併せて移動体領域抽出部８にその計算結果を知らせるズーム旋回制御部である。
【００５３】
撮像装置１が撮像したデータは、図１と図２で説明したようにステップ２１で動きベクトル検出部５で処理され、相前後する撮像データから被写体の同一点の移動量がオプティカルフローとして動きベクトルが算出される。いま、撮像装置１が静止して監視しており、移動体が無いとすると、動きベクトル検出部５からは動きベクトル０の信号が、ズーム旋回制御部１２からはズーム量旋回量０の信号が出る。そのためステップ７０、２３、２４でズーム速度０、旋回速度０、移動体領域無しという結果が出され、ステップ２５で移動体が無いとして処理がステップ２１に戻る。
【００５４】
このとき移動体が撮像装置１で捕らえられると、動きベクトル検出部５がステップ２１で移動体のオプティカルフローから動きベクトルを算出し、移動体領域抽出部８に送る。しかし、この時点ではまだ撮像装置１は動いていないので、ステップ７０でズーム旋回制御部１２から移動体領域抽出部８に、ズーム速度、旋回速度共に０という信号が送られ、移動体領域抽出部８はステップ２３、２４で移動体の動きベクトルのあるところを移動体領域としてズーム旋回制御部１２に通知する。
【００５５】
そのためズーム旋回制御部１２は、ステップ２６で移動体の動きベクトルから、移動体の移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出し、ステップ２７で移動体を画面中央に位置させるための旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出する。
【００５６】
そしてこの旋回速度と旋回方向を旋回制御部１０に、ズーム量をズーム制御部１１に送り、旋回装置３にパン・チルトを含む旋回をおこなわせ、ズームレンズ２にはズーミングをおこなわせて移動体を追尾させる。また、この算出したズーム速度と旋回速度を移動体領域抽出部８に知らせ、次のサイクルで使用する。
【００５７】
こうして移動体の追尾が撮像装置１のズームと旋回を伴って開始されると、前記したように撮像装置１が撮像したデータは、ステップ２１で動きベクトル検出部５で処理され、動きベクトルが算出される。いま、撮像装置１は前記したようにズームと旋回を開始しており、ステップ７０の実ズーム速度ｍと実旋回速度Ｖ０はすでにわかっているから、ステップ２３、２４で移動体領域抽出部８は、前記したように各点の予測動きベクトルを計算し、実際の動きベクトルとの差を取って閾値より大きな点を移動体領域として抽出し、ズーム旋回制御部１２に通知する。
【００５８】
そのためズーム旋回制御部１２は、ステップ２６で移動体の動きベクトルから、移動体の移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出し、ステップ２７で移動体を画面中央に位置させるための旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出し、旋回速度と旋回方向を旋回制御部１０に、ズーム量をズーム制御部１１に送り、旋回装置３にパン・チルトを含む旋回をおこなわせ、ズームレンズ２にはズーミングをおこなわせて移動体を追尾させる。そして、以下全く同じ動作が繰り返される。
【００５９】
なお、勾配法でオプティカルフローを算出するとき、先に説明したように撮像画像を１／ｎに縮小して求めることで計算負荷を減少させることができるが、この場合、ステップ２４で移動体領域が特定された後、ステップ２６で移動体の移動方向と移動速度を算出する前に、この特定された移動体領域のみの動きベクトルを小さな縮小率で再計算することで、移動体領域の動きベクトルが正確に計算できる。また、移動体領域を特定する際前記したように、ステップ２３と２４の代わりに図２（ロ）のステップ２８と２９を用い、ステップ２８で動きベクトルからズーム速度ｍの成分を除き、これを図８の（Ｂ）に示したｕ、ｖ平面に投票し、ステップ２９で頻度の一番多かったオプティカルフローを背景とし、二番目に多かったオプティカルフローを移動体として特定する方法を採ることもできる。
【００６０】
また以上の説明では、撮像装置１の実ズーム速度ｍと実旋回速度Ｖ０は、ズーム旋回制御部１２から得ると説明してきたが、撮像装置１から機械的に直接検出しても良く、旋回制御部１０とズーム制御部１１から得るようにしても良い。
【００６１】
【発明の効果】
以上記載の如く請求項１、９に記載した本発明によれば、オプティカルフローから動きベクトルを算出して撮像装置のズーム速度と旋回速度を計算することで、移動体領域を確実に抽出して移動速度、方向を計算することができ、それによってズーム、旋回している撮像データで安定して移動体を追尾することができる。
【００６２】
また請求項２、１０に記載した発明によれば、背景領域と移動体領域を分離した後、背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再算出することで、より正確なズーム速度と旋回速度を得ることができ、追尾を正確に行えるようになる。
【００６３】
また請求項３、１１に記載したように、実ズーム量と実旋回量を撮像装置から検出することで、これらの値を別途算出する課程を１つ省くことができ、それだけ制御装置の負荷を少なくすることができる。
【００６４】
またオプティカルフローの計算は請求項４に記載したように、勾配法を採用することで、マッチング法に比べて計算負荷を少なくでき、さらに特別なハードなどを用意する必要が無くなり、経済的に構成することができる。
【００６５】
さらにオプティカルフローの計算は、請求項５に記載したように、撮像データを縮小することで、オプティカルフローの推定精度を損なうことなく計算負荷を大幅に軽減できる。
【００６６】
また移動体領域の抽出も、請求項６、７、８に記載したように、ズーム速度と旋回速度から各点の予測動きベクトルを計算して動きベクトルとの差を求めたり、動きベクトルからズーム速度成分を除いて投票することで、簡単、確実に移動体領域と背景領域を分離でき、マッチング法を使うときのように計算処理に特別なハードを必要としたりせず、経済的に構成できる。
【００６７】
以上、種々述べてきたように本発明は、撮像装置を旋回させ、かつ、その移動体が何であるか確認できる程度にズーミングしながら、安定して追尾する事ができる移動体の監視方法および装置を簡単で安価な構成で実現することができ、監視方法および装置として大きな効果をもたらすものである。
【図面の簡単な説明】
【図１】 本発明の第１実施例の要部構成を示すブロック図である。
【図２】 本発明の第１実施例のフロー図である。
【図３】 撮像装置をズームさせながら旋回させたときの、画面上の被写体の動きの説明図である。
【図４】 本発明の第２実施例の要部構成を示すブロック図である。
【図５】 本発明の第２実施例のフロー図である。
【図６】 本発明の第３実施例の要部構成を示すブロック図である。
【図７】 本発明の第３実施例のフロー図である。
【図８】 オプティカルフローを投票して移動体を特定する従来方法の説明図である。
【符号の説明】
１ 撮像装置
２ ズームレンズ
３ 旋回装置
４ 画像入力部
５ 動きベクトル検出部
６ ズーム量旋回量検出部
７ 動きベクトル補正部
８ 移動体領域抽出部
９ ズーム旋回制御部
１０ 旋回制御部
１１ ズーム制御部
１２ ズーム旋回制御部
Claims (8)
- 撮像装置を一定のズーム速度及び旋回速度で旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出するステップと、該動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するステップと、該算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出するステップと、該移動体領域の動きベクトルと前記ズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、移動体を追尾することを特徴とする移動体の監視方法。 - 撮像装置を一定のズーム速度及び旋回速度で旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出するステップと、該動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するステップと、該算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域と背景領域を分離するステップと、分離した背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再算出するステップと、該再算出したズーム速度及び旋回速度と前記移動体領域の動きベクトルとから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、移動体を追尾することを特徴とする移動体の監視方法。 - 撮像データからオプティカルフローを求める際は撮像データを大きな縮小率で縮小して算出することを特徴とする請求項１に記載した移動体の監視方法。
- 移動体領域を抽出するステップは、前記ズーム速度と旋回速度を元に画像上の各点の予測動きベクトルを算出し、該予測動きベクトルと前記動きベクトルとの差が閾値以上の領域を移動体領域として抽出することを特徴とする請求項１または２に記載した移動体の監視方法。
- 移動体領域と背景領域を分離するステップは、前記再算出したズーム速度と旋回速度を元に画像上の各点の予測動きベクトルを算出し、該予測動きベクトルと前記動きベクトルとの差が閾値以下の領域を背景領域とし、残りを移動体領域として分離することを特徴とする請求項２に記載した移動体の監視方法。
- 移動体領域を抽出するステップ、または移動体領域と背景領域を分離するステップは、前記動きベクトルからズーム速度成分を除いたベクトルの頻度を算出する投票法で抽出することを特徴とする請求項１または２に記載した移動体の監視方法。
- 一定のズーム速度及び旋回速度で旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出する動きベクトル検出部と、該動きベクトル検出部が計算した動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するズーム量旋回量検出部と、該ズーム量旋回量検出部が算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出する移動体領域抽出部と、該移動体領域抽出部が抽出した移動体領域の動きベクトルと前記ズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、前記撮像装置に旋回及びズームを指示するズーム旋回制御部とからなり、撮像データから移動体を認識して旋回及びズーミングしながら追尾することを特徴とする移動体の監視装置。 - 一定のズーム速度及び旋回速度で旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出する動きベクトル検出部と、該動きベクトル検出部が計算した動きベクトルから撮像装置のズーム速度ｍと旋回速度Ｖ ０ を、前記算出された動きベクトルＶ(ｘ、ｙ)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するズーム量旋回量検出部と、該ズーム量旋回量検出部が算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出し、残り領域を背景領域とする移動体領域抽出部と、該移動体領域抽出部が抽出した背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再計算する動きベクトル補正部と、前記移動体領域の動きベクトルと前記再計算したズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、前記撮像装置にズーム及び旋回を指示するズーム旋回制御部とからなり、撮像データから移動体を認識して旋回及びズーミングしながら追尾することを特徴とする移動体の監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001177897A JP4848097B2 (ja) | 2001-06-13 | 2001-06-13 | 移動体の監視方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001177897A JP4848097B2 (ja) | 2001-06-13 | 2001-06-13 | 移動体の監視方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002374521A JP2002374521A (ja) | 2002-12-26 |
| JP4848097B2 true JP4848097B2 (ja) | 2011-12-28 |
Family
ID=19018673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001177897A Expired - Lifetime JP4848097B2 (ja) | 2001-06-13 | 2001-06-13 | 移動体の監視方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4848097B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1849123A2 (en) * | 2005-01-07 | 2007-10-31 | GestureTek, Inc. | Optical flow based tilt sensor |
| JP4241742B2 (ja) | 2006-01-31 | 2009-03-18 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
| JP4607836B2 (ja) * | 2006-09-15 | 2011-01-05 | 富士通株式会社 | 画像領域へのメタデータ自動付与装置，メタデータ自動付与方法およびメタデータ自動付与プログラム |
| JP4847303B2 (ja) * | 2006-12-01 | 2011-12-28 | 富士通株式会社 | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
| JP4293236B2 (ja) | 2006-12-20 | 2009-07-08 | ソニー株式会社 | 撮像装置及び撮像方法 |
| JP2009031760A (ja) * | 2007-07-04 | 2009-02-12 | Sanyo Electric Co Ltd | 撮像装置及びオートフォーカス制御方法 |
| JP4876065B2 (ja) * | 2007-12-14 | 2012-02-15 | キヤノン株式会社 | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム |
| US8111942B2 (en) | 2008-02-06 | 2012-02-07 | O2Micro, Inc. | System and method for optimizing camera settings |
| JP5083142B2 (ja) * | 2008-09-19 | 2012-11-28 | 三菱自動車工業株式会社 | 車両周辺監視装置 |
| JP5155110B2 (ja) * | 2008-11-17 | 2013-02-27 | 株式会社日立国際電気 | 監視装置 |
| JP4780205B2 (ja) * | 2009-02-23 | 2011-09-28 | カシオ計算機株式会社 | 撮像装置、画角調節方法、及び、プログラム |
| KR101149329B1 (ko) * | 2010-06-30 | 2012-05-23 | 아주대학교산학협력단 | 감시카메라를 이용한 능동적 객체 추적 장치 및 방법 |
| KR20160027459A (ko) * | 2014-08-29 | 2016-03-10 | 도로교통공단 | 트램용 안전운행시스템 |
| JP6702736B2 (ja) * | 2016-01-26 | 2020-06-03 | キヤノン株式会社 | 撮像制御装置および撮像装置の制御方法、プログラム |
| KR101865173B1 (ko) * | 2017-02-03 | 2018-06-07 | (주)플레이솔루션 | 가상현실 콘텐츠의 영상 분석을 통한 모션 시뮬레이터의 운동 생성 방법 |
| CN111524166B (zh) * | 2020-04-22 | 2023-06-30 | 北京百度网讯科技有限公司 | 视频帧的处理方法和装置 |
| CN115035144A (zh) * | 2022-04-20 | 2022-09-09 | 北京航空航天大学 | 一种基于稠密光流的火箭整流罩分离角速度测量方法 |
-
2001
- 2001-06-13 JP JP2001177897A patent/JP4848097B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002374521A (ja) | 2002-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4848097B2 (ja) | 移動体の監視方法および装置 | |
| JP3603737B2 (ja) | 移動体追尾方法及びその装置 | |
| KR100792283B1 (ko) | 이동물체 자동 추적장치 및 방법 | |
| JP5269707B2 (ja) | 画像合成装置及び方法 | |
| JP4715909B2 (ja) | 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム | |
| JP2953712B2 (ja) | 移動物体検知装置 | |
| Senior et al. | Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration | |
| KR101071352B1 (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
| US20070291104A1 (en) | Systems and methods of capturing high-resolution images of objects | |
| KR101703515B1 (ko) | 영상의 표적 추적 장치 및 방법 | |
| JP2005128619A (ja) | 物体計測装置、物体計測方法、およびプログラム | |
| JP2004180321A (ja) | ビデオ追跡システム及び方法 | |
| JP2000011133A (ja) | 移動物体検出装置及びその方法 | |
| CN106488115A (zh) | 控制装置和图像传感设备的控制方法 | |
| US20240202898A1 (en) | Method of measuring structure displacement based on fusion of asynchronous vision measurement data of natural target and acceleration data of structure, and system for the same | |
| Koller et al. | Towards realtime visual based tracking in cluttered traffic scenes | |
| KR20010043423A (ko) | 카메라 신호 처리 장치 및 카메라 신호 처리 방법 | |
| JP2011097217A (ja) | 動き補正装置およびその方法 | |
| JP2009260564A (ja) | 移動体画像追尾装置 | |
| KR100541618B1 (ko) | 감시용 카메라의 제어장치 및 방법 | |
| JP2008217330A (ja) | 速度推定方法および速度推定プログラム | |
| JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
| JP3615970B2 (ja) | 移動体の検知方法 | |
| CN113870307A (zh) | 一种基于帧间信息的目标检测方法及装置 | |
| KR101070448B1 (ko) | 표적 추적 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080613 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110107 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110930 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111017 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4848097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |