JP3763279B2 - 物体抽出システム、物体抽出方法および物体抽出プログラム - Google Patents
物体抽出システム、物体抽出方法および物体抽出プログラム Download PDFInfo
- Publication number
- JP3763279B2 JP3763279B2 JP2002050275A JP2002050275A JP3763279B2 JP 3763279 B2 JP3763279 B2 JP 3763279B2 JP 2002050275 A JP2002050275 A JP 2002050275A JP 2002050275 A JP2002050275 A JP 2002050275A JP 3763279 B2 JP3763279 B2 JP 3763279B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- similarity
- motion vector
- area
- regions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は物体の抽出を行う物体抽出システム、物体抽出方法および物体抽出プログラムに係わり、特に動きベクトルを検出して物体を抽出するための物体抽出システム、物体抽出方法および物体抽出プログラムに関する。
【０００２】
【従来の技術】
映像の中の各要素が、どの方向へどのくらい動いているかという情報は動きベクトルと呼ばれている。映像の中から特定の物体を抽出するためには、画面をブロック型等の複数の領域に分割しておき、その中で類似した動きを持った動きベクトルを有する領域同士で連続したものを統合するという手法が採られることが多い。
【０００３】
このような物体抽出に関する技術を使用した物体抽出システムが従来から各種提案されている。例えば特開平２−１１８８８４号公報、特開平３−２４６７５号公報あるいは特開平４−１４８２８３号公報等にそのような技術が開示されている。
【０００４】
しかしながら、実際にテレビカメラ等で撮影した画像を基にして物体を抽出しようとすると、画面を分割したそれぞれの領域には単純に物体の濃度だけでなく輝度の影響が現われている。たとえば物体が回転を伴っていたり光源が移動しているような状態では、分割されたそれぞれの領域の動きベクトルを正しく求めることができない場合がある。このため、それぞれの領域について得られた動きベクトルを用いて単純に領域同士の統合処理を行うと、本来統合すべき領域同士を統合しなかったり、反対に統合すべきでない領域同士を統合するといった誤統合が発生する。これによって、物体領域を正しく抽出することができなくなる。
【０００５】
そこで、動きベクトルの類似度を考慮するだけでなく、各領域における動きベクトルの信頼度も考慮することが提案されている。これは特開平７−１２９７７７号公報等に開示されている手法であり、動きベクトルの信頼性の高い領域同士から弛緩的に領域を統合するようにしている。
【０００６】
図９はこの公報に開示された物体抽出システムの概要を表わしたものである。物体抽出システムは、所定時刻の画像１１とこの所定時刻より単位時間前の画像１２とをそれぞれ第１あるいは第２のフレームメモリ１３、１４に入力し、相関値検出装置１５で両者の相関値を算出する。そしてその結果を動きベクトル検出装置１６と信頼度検出装置１７に入力して、動きベクトルと信頼度を検出する。これらの結果は、高信頼度動きベクトル判定装置１８と低信頼度動きベクトル判定装置１９に入力される。高信頼度動きベクトル判定装置１８は、信頼度の分布に基づいて予め設定した第１のしきい値より信頼度が高い動きベクトルを初期動きベクトルとして抽出する。低信頼度動きベクトル判定装置１９は第１のしきい値よりも低い第２のしきい値よりも信頼度が低い動きベクトルを除去して信頼度が第２のしきい値以上の動きベクトルを出力する。領域統合装置２０は、初期動きベクトルを備えた位置の周辺の領域を検索することにより、初期動きベクトルと同一または類似した動きベクトルを、出力された動きベクトルの中から抽出し、抽出した動きベクトルを備えた位置を統合して領域を求める。
【０００７】
【発明が解決しようとする課題】
ところが、この特開平７−１２９７７７号公報等に開示された手法でも、依然として物体を抽出する際に誤統合が発生し、その信頼性を十分高めることができない。
【０００８】
図１０は物体を抽出しようとする入力画像の一例を示したものである。この図に示すように画面３１内に人物３２と自動車３３が撮影されていたとする。これら人物３２と自動車３３が類似した動きベクトル３４、３５を有しており、かつそれらの信頼度が共に高かったとする。例えば、この図１０に示した画面３１よりも所定の単位時間前にも同じような動きベクトルが得られていたとすれば、人物３２と自動車３３の動きベクトルの信頼性は共に高くなる。
【０００９】
図１１は、従来の手法による物体統合の様子を表わしたものである。図１０の２つの動きベクトル３４、３５が類似し、それぞれの信頼度が高いことにより、物体抽出システムはこれらが同一の物体と判別する。その結果、これらが統合され、物体３６として間違った形で抽出されてしまう。
【００１０】
そこで本発明の目的は、物体の抽出の信頼性を更に高めることのできる物体抽出システム、物体抽出方法および物体抽出プログラムを提供することにある。
【００１１】
【課題を解決するための手段】
請求項１記載の発明では、（イ）入力された１フレームごとの画像を特徴が一様な部位同士の複数の領域に分割する領域分割手段と、（ロ）この領域分割手段によって分割したそれぞれの領域ごとにそれらの動きの変化を表わした動きベクトルを算出する動きベクトル算出手段と、（ハ）この動きベクトル算出手段で算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割手段で分割した領域同士の動きの類似度を算出する類似度算出手段と、（ニ）この類似度算出手段によって算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積する類似度蓄積手段と、（ホ）この類似度蓄積手段に蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定する統合可否判定手段と、（へ）この統合可否判定手段による判定結果を領域分割手段によって分割された複数の領域に適用することで物体ごとの領域画像を生成する物体領域画像生成手段とを物体抽出システムに具備させる。
【００１２】
すなわち請求項１記載の発明では、領域分割手段によって入力された１フレームごとの画像を、特徴が一様な部位同士の複数の領域に分割し、これら分割された領域ごとに動きベクトルを動きベクトル算出手段によって算出するようにしている。そして、類似度算出手段がこの動きベクトル算出手段で算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割手段で分割した領域同士の動きの類似度を算出し、類似度蓄積手段によって類似度算出手段によって算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積するようにしている。統合可否判定手段は、類似度蓄積手段に蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定するので、物体領域画像生成手段はこの判定結果を用いて領域の統合を行ったり行わないことで物体ごとの領域画像を信頼性を高めた状態で生成することができる。すなわち、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある。類似度蓄積手段が複数フレームにわたって類似度を蓄積するので、統合可否判定手段の統合可否の判定がより正確に行えるようになるからである。
【００１３】
請求項２記載の発明では、請求項１記載の物体抽出システムで、動きベクトル算出手段の算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測手段を更に具備することを特徴としている。
【００１４】
すなわち請求項２記載の発明では、隣接するフレームでも各領域の動きベクトルが近似する場合が多いことを前提として、動きベクトル算出手段の算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測し、領域の分割処理をより信頼性の高いものとしている。
【００１５】
請求項３記載の発明では、請求項１記載の物体抽出システムで、領域分割手段の分割の基準となる特徴が一様な部位は、入力画像の色、輝度、テクスチャのうちの一部または全部であることを特徴としている。
【００１６】
すなわち請求項３記載の発明では、同一の領域であるかどうかを入力画像の色、輝度、テクスチャのうちの一部または全部を参考にして行うことにしている。同一部分であれば色やテクスチャが近似する場合が多いこと、同様の面を構成していれば照明による影響が同等であること等による。ここに挙げた参考にする特徴は例示であり、これに限るものではない。
【００１７】
請求項４記載の発明では、（イ）入力された１フレームごとの画像を特徴が一様な部位同士の複数の領域に分割する領域分割ステップと、（ロ）この領域分割ステップによって分割したそれぞれの領域ごとにそれらの動きの変化を表わした動きベクトルを算出する動きベクトル算出ステップと、（ハ）この動きベクトル算出ステップで算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割ステップで分割した領域同士の動きの類似度を算出する類似度算出ステップと、（ニ）この類似度算出ステップによって算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積する類似度蓄積ステップと、（ホ）この類似度蓄積ステップで蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定する統合可否判定ステップと、（へ）この統合可否判定ステップによる判定結果を領域分割ステップによって分割された複数の領域に適用することで物体ごとの領域画像を生成する物体領域画像生成ステップとを物体抽出方法に具備させる。
【００１８】
すなわち請求項４記載の発明では、領域分割ステップによって入力された１フレームごとの画像を、特徴が一様な部位同士の複数の領域に分割し、これら分割された領域ごとに動きベクトルを動きベクトル算出ステップによって算出するようにしている。そして、類似度算出ステップで、動きベクトル算出ステップにおいて算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割ステップで分割した領域同士の動きの類似度を算出し、類似度蓄積ステップによって類似度算出ステップにおいて算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積するようにしている。統合可否判定ステップでは、類似度蓄積ステップにおいて蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定するので、物体領域画像生成ステップではこの判定結果を用いて領域の統合を行ったり行わないことで物体ごとの領域画像を信頼性を高めた状態で生成することができる。すなわち、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある。類似度蓄積ステップで複数フレームにわたって類似度を蓄積するので、統合可否判定ステップでの統合可否の判定がより正確に行えるようになるからである。
【００１９】
請求項５記載の発明では、請求項４記載の物体抽出方法が、動きベクトル算出ステップで算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測ステップを更に具備することを特徴としている。
【００２０】
すなわち請求項５記載の発明では、隣接するフレームでも各領域の動きベクトルが近似する場合が多いことを前提として、動きベクトル算出ステップで算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測し、領域の分割処理をより信頼性の高いものとしている。
【００２１】
請求項６記載の発明では、請求項４記載の物体抽出方法で、領域分割ステップで分割する際の基準となる特徴が一様な部位は、入力画像の色、輝度、テクスチャのうちの一部または全部であることを特徴としている。
【００２２】
すなわち請求項６記載の発明では、同一の領域であるかどうかを入力画像の色、輝度、テクスチャのうちの一部または全部を参考にして行うことにしている。同一部分であれば色やテクスチャが近似する場合が多いこと、同様の面を構成していれば照明による影響が同等であること等による。ここに挙げた参考にする特徴は例示であり、これに限るものではない。
【００２３】
請求項７記載の発明の物体抽出プログラムでは、コンピュータに、（イ）入力された１フレームごとの画像を特徴が一様な部位同士の複数の領域に分割する領域分割処理と、（ロ）この領域分割処理によって分割したそれぞれの領域ごとにそれらの動きの変化を表わした動きベクトルを算出する動きベクトル算出処理と、（ハ）この動きベクトル算出処理で算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割処理で分割した領域同士の動きの類似度を算出する類似度算出処理と、（ニ）この類似度算出処理によって算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積する類似度蓄積処理と、（ホ）この類似度蓄積処理で蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定する統合可否判定処理と、（へ）この統合可否判定処理による判定結果を領域分割処理によって分割された複数の領域に適用することで物体ごとの領域画像を生成する物体領域画像生成処理を実行させることを特徴としている。
【００２４】
すなわち請求項７記載の発明では、物体抽出プログラムを構成する領域分割処理によって入力された１フレームごとの画像を、特徴が一様な部位同士の複数の領域に分割し、これら分割された領域ごとに動きベクトルを動きベクトル算出処理によって算出するようにしている。そして、類似度算出処理で動きベクトル算出処理において算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割処理で分割した領域同士の動きの類似度を算出し、類似度蓄積処理によって類似度算出処理において算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積するようにしている。統合可否判定処理では、類似度蓄積処理において蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定するので、物体領域画像生成処理ではこの判定結果を用いて領域の統合を行ったり行わないことで物体ごとの領域画像を信頼性を高めた状態で生成することができる。すなわち、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある。類似度蓄積処理で複数フレームにわたって類似度を蓄積するので、統合可否判定処理での統合可否の判定がより正確に行えるようになるからである。
【００２５】
請求項８記載の発明の物体抽出プログラムでは、請求項７記載の物体抽出プログラムに、動きベクトル算出処理で算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測処理を更に実行させることを特徴としている。
【００２６】
すなわち請求項８記載の発明では、隣接するフレームでも各領域の動きベクトルが近似する場合が多いことを前提として、動きベクトル算出処理で算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測し、領域の分割処理をより信頼性の高いものとしている。
【００２７】
【発明の実施の形態】
【００２８】
【実施例】
以下実施例につき本発明を詳細に説明する。
【００２９】
図１は本発明の一実施例における物体抽出システムの概要を表わしたものである。この物体抽出システム１００は、物体抽出装置１０１と、この物体抽出装置１０１に対してフレームごとに画像を入力する画像入力装置１０２と、物体抽出装置１０１の画像を出力する画像出力装置１０３から構成されている。ここで画像入力装置１０２は画像データ１０４を物体抽出装置１０１に入力するための装置で、それ自体で画像を生成してもよいし、図示しない通信ネットワーク等から受信あるいは供給を受けた画像データ１０４を物体抽出装置１０１に送出するものであってもよい。画像出力装置１０３は物体の抽出された画像データ１０５を外に送出するものであってもよいし、それ自体が画像を表示したり記録するようなものであってもよい。
【００３０】
物体抽出装置１０１は、フレームごとの画像データ１０４を入力して領域に分割する領域分割部１１１と、分割された領域ごとに動きベクトルを算出する動き計算部１１２と、この動き計算部１１２で計算された各領域の動きの類似度を計算する類似度計算部１１３と、この類似度計算部１１３で算出された類似度を複数のフレームにわたって蓄積する類似度蓄積部１１４と、類似度蓄積部１１４に蓄積された類似度を参照して隣接する領域同士を統合するか否かを判定する統合可否判定部１１５と、領域分割部１１１で分割された領域ごとの画像を記憶しておく領域画像記憶部１１６と、統合可否判定部１１５で判定された領域同士の統合の可否についての情報と領域画像記憶部１１６に記憶された領域に分割された画像を用いて、各領域の統合を行ったり行わないことで物体領域についての画像を生成する物体領域画像生成部１１７を備えている。また、動き計算部１１２で算出された領域ごとの動きデータ１１８を基にして、次のフレームにおける各領域を予測する領域予測部１１９も備えている。物体領域画像生成部１１７から出力される画像データ１０５は、画像出力装置１０３に供給されることになる。また、領域予測部１１９から出力される領域予測データ１２１は領域分割部１１１に入力されて、次の領域分割のためのデータとなる。
【００３１】
さて、画像入力装置１０２から物体抽出装置１０１へは図示しないビデオカメラで撮像されたようなフレーム単位のカラー画像からなる画像データ１０４が供給される。物体抽出装置１０１内の領域分割部１１１は、一様な特徴を持つ画像部分同士が隣接する場合にはこれらを同一の領域に含め、それ以外を他の領域に区別することで１つのフレームの画像を複数の領域に分割する。ここで領域分割の基準となる特徴の一例としては、色や輝度あるいはテクスチャがある。ここでテクスチャとは、図形の表面に付けられた模様や、質感を表わすための描き込みをいう。
【００３２】
領域分割部１１１における領域分割の手法としては、たとえば領域成長法を用いることができる。領域成長法は特開平７−９９６６０号公報にも開示されているように、注目している画素とそれに隣接している画素とが互いに同じ特徴を持っている場合に、それらを一つの領域に統合する処理を順次実行する手法である。これによって、特徴が等しい領域が少しずつ成長し、最終的に画像全体の領域分割が行われる。例えば、領域成長法のよく知られた具体的な処理は、以下の手順で行われる。
【００３３】
▲１▼まず、画面を走査し、まだ領域分けされていない画素を探し、注目画素とする。この注目画素を起点として新たな領域を生成する。
▲２▼次に注目画素に隣接する複数の画素の中で、まだ領域分けされていない画素との画素値間距離を計算し、その差があるしきい値以下であれば一つの領域に統合する。
▲３▼新たに統合された画素を注目画素として▲２▼で示した処理をそれぞれ行う。
▲４▼以上説明した▲２▼および▲３▼の操作をそれ以上領域が広げられなくなるまで繰り返す。
▲５▼領域拡張ができなくなったら▲１▼の処理に戻り、新たな領域の出発点となる画素を探す。このようにしてすべての画素がいずれかの領域に分けられるようになれば、その時点で処理を終了する。
【００３４】
ただし、この手法を用いると、隣接する画素値間距離が徐々に変化している部分がある場合には、同一領域としてみなすことが適当でないような画素値間距離の大きい画素同士でも、一つの領域に統合してしまうという問題がある。そこで、このような領域の過統合を防ぐためには、▲２▼で説明した画素値間距離の計算で、すでに統合した領域内の画素の値の平均と隣接する画素の値とを比較するようにしてもよい。
【００３５】
領域分割部１１１は、このような領域成長法以外の手法を使用して領域を分割することもできる。このようなものとしては、分割法、分割統合法、クラスタリングを使用した手法、ヒストグラムを使用した手法、エッジ情報を使用した手法等の公知の手法が存在する。
【００３６】
図２は、本実施例の物体抽出装置の処理の流れを表わしたものである。まず、すでに説明したように領域分割部１１１による領域の分割が行われる（ステップＳ２０１）。この領域分割が行われた後、画面を構成する各画素に対してそれぞれの属する領域番号を与えることで、領域画像を生成する（ステップＳ２０２）。生成された各領域ごとの領域画像は領域画像記憶部１１６に保存される（ステップＳ２０３）。
【００３７】
これと共に、動き計算部１１２は領域画像中の各領域の動きを計算する（ステップＳ２０４）。動きの計算の手法としては、領域内部の色や濃度パターンをテンプレートとして、次のフレーム画像に対してマッチングをとることで二次元の動きベクトル（ｕ，ｖ）を計算するようにしたテンプレートマッチング法を採用することができる。
【００３８】
このようなテンプレートマッチング法以外でも領域画像中の各領域の動きを計算することができる。たとえば、予めフレーム中の全画素に対して動きベクトル（ｕ，ｖ）を求めておき、各領域に属する画素の間で動きベクトルの平均を計算して、これをその領域の動きベクトルとするような手法を用いることも可能である。また、各領域の動きをアフィン変換モデル（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）で記述する手法もある。この手法は、たとえば特開平９−１２１３５６号公報に記載されている。
【００３９】
動き計算部１１２で算出された各領域の動きは類似度計算部１１３に供給される。類似度計算部１１３では、互いに隣接し合う領域すべての組ｉ，ｊに対して、動きの類似度Ｓｉｊを計算する（ステップＳ２０５）。ここで動きの類似度Ｓｉｊは、たとえば次の（１）式で表わすことができる。ここで各領域の動きは、二次元ベクトル（ｕｉ，ｖｉ）、（ｕｊ，ｖｊ）で記述するものとする。
【００４０】
Ｓｉｊ＝１／（｜ｕｉ，ｖｉ｜＋｜ｕｊ，ｖｊ｜） ……（１）
【００４１】
同様に、各領域の動きをアフィン変換モデル（ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉ，ｆｉ）、（ａｊ，ｂｊ，ｃｊ，ｄｊ，ｅｊ，ｆｊ）で記述する場合には、次の（２）式を用いることができる。
【００４２】
Ｓｉｊ＝１／（｜ａｉ−ａｊ｜＋｜ｂｉ−ｂｊ｜＋｜ｃｉ−ｃｊ｜＋｜ｄｉ−ｄｊ｜＋｜ｅｉ−ｅｊ｜＋｜ｆｉ−ｆｊ｜） ……（２）
【００４３】
なお、互いに隣接しない領域の組については、動きの類似度Ｓｉｊにたとえば−１等の特殊な値を与えることで、互いに隣接していない旨を記憶するようにしている。
【００４４】
類似度蓄積部１１４は、類似度計算部１１３で算出された類似度を複数のフレームにわたって蓄積する（ステップＳ２０６）。この類似度蓄積部１１４の蓄積の様子を次に説明する。
【００４５】
図３はある時点の入力画像のフレームを表わしたものである。フレーム１３１には、人物の頭の上の領域１３２と下の領域１３３、胴体の領域１３４、自動車の車体の領域１３５および窓ガラスの領域１３６が各構成領域として分割されている。ステップＳ２０２の領域分割によってｎ（ｎは２以上の整数）個の領域（この例では５つの領域１３２〜１３６）が得られている。図３に示した各矢印１３９はそれぞれの領域１３２〜１３６の速度を示している。この図では分割された各領域１３２〜１３６はほぼ同じ速度で図で右側に移動している。
【００４６】
図４は類似度の蓄積の様子を表わしたものである。初めにこの図４に示すように縦横Ｎ個ずつのＮ×Ｎの上三角行列Ｍを用意する。次に、現フレームにおける領域分割結果に基づいて、この上三角行列Ｍを更新する。具体的には図３に示した領域１３２と領域１３３、領域１３５と領域１３６、あるいは領域１３４と領域１３５のように一対の領域ｉ，ｊ（ここではｉ＜ｊとする。）が互いに隣接する場合には、Ｍｉｊ（図４中の画素１４１）に動きの類似度Ｓｉｊを加算する。
【００４７】
一方、領域１３３と領域１３５のように領域ｉ，ｊが互いに隣接しない場合には、動きの類似度Ｓｉｊを減算する。なお、領域ｉ，ｊが厳密には隣接していなくても、事実上隣接していると見做せる場合がある。たとえば領域１３３と領域１３４のように重心同士の距離がある一定の範囲内に存在するような場合には、領域ｉ，ｊが互いに隣接しているものとして、類似度を加算するようにしてもよい。
【００４８】
以上が１フレームごとに行われる処理である。このようにして１フレーム分の処理が行われたらそれが最終フレームであるかどうかの判別が行われる（図２ステップＳ２０７）。最終フレームの処理が行われたのではない場合には（Ｎ）、次のフレームについての処理が行われることになる。このとき、図１に示した領域予測部１１９が、各領域１３２〜１３６の次フレームにおける位置を前フレームにおける動きから予測する（ステップＳ２０８）。領域分割部１１１はこれによる予測位置を核として領域を成長させ、次フレームの領域画像を生成する（ステップＳ２０２）。これ以後は、前に説明した前フレームと同様の処理を次フレームに対して行う。以下同様である。
【００４９】
一方、ステップ２０７で現フレームが最終フレームであると判別された場合には（Ｙ）、統合可否判定部１１５が複数フレームにわたって蓄積された類似度を解析して、統合すべき領域を決定する（ステップＳ２０９）。たとえば領域ｉ，ｊについて蓄積された類似度Ｍｉ，ｊを全フレーム数で割り算し、その値があるしきい値よりも大きい場合には領域ｉ，ｊの統合を行うような決定方法を採ることができる。これ以外の手法ももちろん可能である。
【００５０】
蓄積された類似度が高く、統合すべきと判定された領域は同一の物体に属すると考えられる。そこで、物体領域画像生成部１１７では領域画像記憶部１１６に保存された全領域画像に対して領域統合処理を行って物体領域画像を生成し、画像出力装置１０３に出力することになる（ステップＳ２１０）。
【００５１】
図５〜図７は、以上説明した統合可否判定部および物体領域画像生成部の動作例を説明するためのものである。先の図３に示したフレーム１３１では人物を表わした各領域１３２、１３３、１３４と自動車を表わした各領域１３５、１３６が一時的に類似した動きを行ったものとする。この結果として、これよりも後の時間における図５で示したフレーム１５１では、人物を表わした各領域１３２、１３３、１３４と自動車を表わした各領域１３５、１３６が異なった動きを示すようになっている。そこで、図３に示したフレーム１３１と図５に示したフレーム１５１とを対比すると、人物を表わした各領域１３２、１３３、１３４同士について蓄積された類似度は高い値を持つ。自動車を表わした各領域１３５、１３６同士についても同様である。しかしながら、たとえば領域１３４と領域１３５については蓄積された類似度が低い値のままとなる。
【００５２】
したがって、統合可否判定部１１５は人物を表わした各領域１３２、１３３、１３４同士を統合すべきと判定する。自動車を表わした各領域１３５、１３６同士についても統合すべきと判定する。一方、図３では互いに隣接していた領域１３４と領域１３５については類似度が低いので、結局、領域１３２、１３３、１３４のグループと領域１３５、１３６のグループは統合すべきでないと判定する。
【００５３】
図６は、このように複数のフレームを蓄積した結果として、図３に示したフレーム１３１に対する物体領域画像生成部１１７による物体領域画像の生成結果を表わしたものである。物体領域画像１５２は、図３に示した人物に関する領域１３２、１３３、１３４を１つの領域１５３として統合している。同様に、自動車に関する領域１３５、１３６を他の１つの領域１５４として統合している。
【００５４】
図７は同様にして図５に示したフレーム１５１に対する物体領域画像生成部１１７による物体領域画像の生成結果を表わしたものである。物体領域画像１５６は、図５に示した人物に関する領域１３２、１３３、１３４を１つの領域１５３として統合している。同様に、自動車に関する領域１３５、１３６を他の１つの領域１５４として統合している。
【００５５】
以上説明したように本実施例では動きの類似度を複数フレームにわたって蓄積するようにした。このため、領域ｉ，ｊが定常的に類似した動きを持ち、かつ隣接しているような場合には、類似度Ｍｉ，ｊが加算されていく。したがって、一時的にのみ類似した動きがあったり隣接したような場合に、総合的な類似度Ｍｉ，ｊは相対的に低い値のままとなる。このため、正確な領域統合を行うことができる。
【００５６】
変形例
【００５７】
図８は、本発明の変形例における物体抽出システムの概要を表わしたものである。この図８で図１と同一部分には同一の符号を付しており、それらの説明を適宜省略する。
【００５８】
この変形例の物体抽出システム１００Ａは、物体抽出装置１０１Ａと、これに接続された画像入力装置１０２、画像出力装置１０３および記憶媒体３０１によって構成されている。ここで、物体抽出装置１０１Ａは、ＣＰＵ（中央処理装置）３０２とＲＡＭ（ランダム・アクセス・メモリ）３０３と、図示しない入出力用のインターフェース回路ならびに必要な場合には同じく図示しないキーボード、ディスプレイ等の入出力機器によって構成されている。記憶媒体３０１は、磁気ディスク、光ディスク、半導体メモリ等の記憶媒体である。記憶媒体３０１には制御プログラムが格納されており、ＣＰＵ３０２がこれを実行することによって、図１に示した物体抽出装置１０１の各部を機能的に実現するようになっている。ＲＡＭ３０３は記憶媒体３０１に格納された制御プログラムをロードするメモリ領域として使用したり、作業用のデータを一時的に格納するメモリ領域として使用する。
【００５９】
もちろん、記憶媒体３０１はＲＯＭ（リード・オンリ・メモリ）という形で物体抽出装置１０１Ａの内部に格納されていてもよいし、図示しない通信装置を介して同じく図示しないインターネット等の記憶媒体から必要な制御プログラムをダウンロードするものであってもよい。また、物体抽出装置１０１Ａはこの通信装置を使用して一部または全部の処理をウェブ上で行うようなものであってもよい。
【００６０】
更にこの変形例ではＣＰＵ３０２を配置することにしたが、プロセッサ、データ処理装置等のようにその名称が特に限定されるものでないことも当然である。
【００６１】
【発明の効果】
以上説明したように請求項１記載の発明によれば、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある点に着目し、類似度蓄積手段が複数フレームにわたって類似度を蓄積するので、統合可否判定手段の統合可否の判定を比較的簡単な処理でより正確に行うことができるという利点がある。
【００６２】
また、請求項２記載の発明によれば、請求項１記載の物体抽出システムで、動きベクトル算出手段の算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測手段を更に具備することにしたので、一部のフレームで画像にノイズが生じたり画像が一時的に不鮮明となったような場合にも領域の分割、強いては物体の抽出を精度良く行うことができる。
【００６３】
更に請求項４記載の発明によれば、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある点に着目し、類似度蓄積ステップで複数フレームにわたって類似度を蓄積するので、統合可否判定ステップでの統合可否の判定を比較的簡単な処理でより正確に行うことができるという利点がある。
【００６４】
また、請求項５記載の発明によれば、請求項４記載の物体抽出システムで、動きベクトル算出ステップで算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測ステップを更に具備することにしたので、一部のフレームで画像にノイズが生じたり画像が一時的に不鮮明となったような場合にも領域の分割、強いては物体の抽出を精度良く行うことができる。
【００６５】
更に請求項７記載の発明によれば、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある点に着目し、類似度蓄積処理で複数フレームにわたって類似度を蓄積するので、統合可否判定処理での統合可否の判定を比較的簡単な処理でより正確に行うことができるという利点がある。
【００６６】
また、請求項８記載の発明によれば、請求項７記載の物体抽出システムで、動きベクトル算出処理で算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測処理を更に実行することにしたので、一部のフレームで画像にノイズが生じたり画像が一時的に不鮮明となったような場合にも領域の分割、強いては物体の抽出を精度良く行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施例における物体抽出システムの概要を表わしたブロック図である。
【図２】本実施例の物体抽出装置の処理の流れを表わした流れ図である。
【図３】ある時点における入力画像のフレームを表わした説明図である。
【図４】本実施例で類似度の蓄積の様子を表わした説明図である。
【図５】図３とは異なった時点における入力画像のフレームを表わした説明図である。
【図６】図３に示したフレームに対する物体領域画像生成部による物体領域画像の生成結果を表わした平面図である。
【図７】図５に示したフレームに対する物体領域画像生成部による物体領域画像の生成結果を表わした平面図である。
【図８】本発明の変形例における物体抽出システムの概要を表わしたブロック図である。
【図９】従来提案された物体抽出システムの概要を表わしたブロック図である。
【図１０】物体を抽出しようとする入力画像の一例を示した説明図である。
【図１１】従来の手法による物体統合の様子を表わした説明図である。
【符号の説明】
１００、１００Ａ 物体抽出システム
１０１、１０１Ａ 物体抽出装置
１０２ 画像入力装置
１０３ 画像出力装置
１１１ 領域分割部
１１２ 動き計算部
１１３ 類似度計算部
１１４ 類似度蓄積部
１１５ 統合可否判定部
１１６ 領域画像記憶部
１１９ 領域予測部
１３２〜１３６、１５３、１５４ 領域
【発明の属する技術分野】
本発明は物体の抽出を行う物体抽出システム、物体抽出方法および物体抽出プログラムに係わり、特に動きベクトルを検出して物体を抽出するための物体抽出システム、物体抽出方法および物体抽出プログラムに関する。
【０００２】
【従来の技術】
映像の中の各要素が、どの方向へどのくらい動いているかという情報は動きベクトルと呼ばれている。映像の中から特定の物体を抽出するためには、画面をブロック型等の複数の領域に分割しておき、その中で類似した動きを持った動きベクトルを有する領域同士で連続したものを統合するという手法が採られることが多い。
【０００３】
このような物体抽出に関する技術を使用した物体抽出システムが従来から各種提案されている。例えば特開平２−１１８８８４号公報、特開平３−２４６７５号公報あるいは特開平４−１４８２８３号公報等にそのような技術が開示されている。
【０００４】
しかしながら、実際にテレビカメラ等で撮影した画像を基にして物体を抽出しようとすると、画面を分割したそれぞれの領域には単純に物体の濃度だけでなく輝度の影響が現われている。たとえば物体が回転を伴っていたり光源が移動しているような状態では、分割されたそれぞれの領域の動きベクトルを正しく求めることができない場合がある。このため、それぞれの領域について得られた動きベクトルを用いて単純に領域同士の統合処理を行うと、本来統合すべき領域同士を統合しなかったり、反対に統合すべきでない領域同士を統合するといった誤統合が発生する。これによって、物体領域を正しく抽出することができなくなる。
【０００５】
そこで、動きベクトルの類似度を考慮するだけでなく、各領域における動きベクトルの信頼度も考慮することが提案されている。これは特開平７−１２９７７７号公報等に開示されている手法であり、動きベクトルの信頼性の高い領域同士から弛緩的に領域を統合するようにしている。
【０００６】
図９はこの公報に開示された物体抽出システムの概要を表わしたものである。物体抽出システムは、所定時刻の画像１１とこの所定時刻より単位時間前の画像１２とをそれぞれ第１あるいは第２のフレームメモリ１３、１４に入力し、相関値検出装置１５で両者の相関値を算出する。そしてその結果を動きベクトル検出装置１６と信頼度検出装置１７に入力して、動きベクトルと信頼度を検出する。これらの結果は、高信頼度動きベクトル判定装置１８と低信頼度動きベクトル判定装置１９に入力される。高信頼度動きベクトル判定装置１８は、信頼度の分布に基づいて予め設定した第１のしきい値より信頼度が高い動きベクトルを初期動きベクトルとして抽出する。低信頼度動きベクトル判定装置１９は第１のしきい値よりも低い第２のしきい値よりも信頼度が低い動きベクトルを除去して信頼度が第２のしきい値以上の動きベクトルを出力する。領域統合装置２０は、初期動きベクトルを備えた位置の周辺の領域を検索することにより、初期動きベクトルと同一または類似した動きベクトルを、出力された動きベクトルの中から抽出し、抽出した動きベクトルを備えた位置を統合して領域を求める。
【０００７】
【発明が解決しようとする課題】
ところが、この特開平７−１２９７７７号公報等に開示された手法でも、依然として物体を抽出する際に誤統合が発生し、その信頼性を十分高めることができない。
【０００８】
図１０は物体を抽出しようとする入力画像の一例を示したものである。この図に示すように画面３１内に人物３２と自動車３３が撮影されていたとする。これら人物３２と自動車３３が類似した動きベクトル３４、３５を有しており、かつそれらの信頼度が共に高かったとする。例えば、この図１０に示した画面３１よりも所定の単位時間前にも同じような動きベクトルが得られていたとすれば、人物３２と自動車３３の動きベクトルの信頼性は共に高くなる。
【０００９】
図１１は、従来の手法による物体統合の様子を表わしたものである。図１０の２つの動きベクトル３４、３５が類似し、それぞれの信頼度が高いことにより、物体抽出システムはこれらが同一の物体と判別する。その結果、これらが統合され、物体３６として間違った形で抽出されてしまう。
【００１０】
そこで本発明の目的は、物体の抽出の信頼性を更に高めることのできる物体抽出システム、物体抽出方法および物体抽出プログラムを提供することにある。
【００１１】
【課題を解決するための手段】
請求項１記載の発明では、（イ）入力された１フレームごとの画像を特徴が一様な部位同士の複数の領域に分割する領域分割手段と、（ロ）この領域分割手段によって分割したそれぞれの領域ごとにそれらの動きの変化を表わした動きベクトルを算出する動きベクトル算出手段と、（ハ）この動きベクトル算出手段で算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割手段で分割した領域同士の動きの類似度を算出する類似度算出手段と、（ニ）この類似度算出手段によって算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積する類似度蓄積手段と、（ホ）この類似度蓄積手段に蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定する統合可否判定手段と、（へ）この統合可否判定手段による判定結果を領域分割手段によって分割された複数の領域に適用することで物体ごとの領域画像を生成する物体領域画像生成手段とを物体抽出システムに具備させる。
【００１２】
すなわち請求項１記載の発明では、領域分割手段によって入力された１フレームごとの画像を、特徴が一様な部位同士の複数の領域に分割し、これら分割された領域ごとに動きベクトルを動きベクトル算出手段によって算出するようにしている。そして、類似度算出手段がこの動きベクトル算出手段で算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割手段で分割した領域同士の動きの類似度を算出し、類似度蓄積手段によって類似度算出手段によって算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積するようにしている。統合可否判定手段は、類似度蓄積手段に蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定するので、物体領域画像生成手段はこの判定結果を用いて領域の統合を行ったり行わないことで物体ごとの領域画像を信頼性を高めた状態で生成することができる。すなわち、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある。類似度蓄積手段が複数フレームにわたって類似度を蓄積するので、統合可否判定手段の統合可否の判定がより正確に行えるようになるからである。
【００１３】
請求項２記載の発明では、請求項１記載の物体抽出システムで、動きベクトル算出手段の算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測手段を更に具備することを特徴としている。
【００１４】
すなわち請求項２記載の発明では、隣接するフレームでも各領域の動きベクトルが近似する場合が多いことを前提として、動きベクトル算出手段の算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測し、領域の分割処理をより信頼性の高いものとしている。
【００１５】
請求項３記載の発明では、請求項１記載の物体抽出システムで、領域分割手段の分割の基準となる特徴が一様な部位は、入力画像の色、輝度、テクスチャのうちの一部または全部であることを特徴としている。
【００１６】
すなわち請求項３記載の発明では、同一の領域であるかどうかを入力画像の色、輝度、テクスチャのうちの一部または全部を参考にして行うことにしている。同一部分であれば色やテクスチャが近似する場合が多いこと、同様の面を構成していれば照明による影響が同等であること等による。ここに挙げた参考にする特徴は例示であり、これに限るものではない。
【００１７】
請求項４記載の発明では、（イ）入力された１フレームごとの画像を特徴が一様な部位同士の複数の領域に分割する領域分割ステップと、（ロ）この領域分割ステップによって分割したそれぞれの領域ごとにそれらの動きの変化を表わした動きベクトルを算出する動きベクトル算出ステップと、（ハ）この動きベクトル算出ステップで算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割ステップで分割した領域同士の動きの類似度を算出する類似度算出ステップと、（ニ）この類似度算出ステップによって算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積する類似度蓄積ステップと、（ホ）この類似度蓄積ステップで蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定する統合可否判定ステップと、（へ）この統合可否判定ステップによる判定結果を領域分割ステップによって分割された複数の領域に適用することで物体ごとの領域画像を生成する物体領域画像生成ステップとを物体抽出方法に具備させる。
【００１８】
すなわち請求項４記載の発明では、領域分割ステップによって入力された１フレームごとの画像を、特徴が一様な部位同士の複数の領域に分割し、これら分割された領域ごとに動きベクトルを動きベクトル算出ステップによって算出するようにしている。そして、類似度算出ステップで、動きベクトル算出ステップにおいて算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割ステップで分割した領域同士の動きの類似度を算出し、類似度蓄積ステップによって類似度算出ステップにおいて算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積するようにしている。統合可否判定ステップでは、類似度蓄積ステップにおいて蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定するので、物体領域画像生成ステップではこの判定結果を用いて領域の統合を行ったり行わないことで物体ごとの領域画像を信頼性を高めた状態で生成することができる。すなわち、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある。類似度蓄積ステップで複数フレームにわたって類似度を蓄積するので、統合可否判定ステップでの統合可否の判定がより正確に行えるようになるからである。
【００１９】
請求項５記載の発明では、請求項４記載の物体抽出方法が、動きベクトル算出ステップで算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測ステップを更に具備することを特徴としている。
【００２０】
すなわち請求項５記載の発明では、隣接するフレームでも各領域の動きベクトルが近似する場合が多いことを前提として、動きベクトル算出ステップで算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測し、領域の分割処理をより信頼性の高いものとしている。
【００２１】
請求項６記載の発明では、請求項４記載の物体抽出方法で、領域分割ステップで分割する際の基準となる特徴が一様な部位は、入力画像の色、輝度、テクスチャのうちの一部または全部であることを特徴としている。
【００２２】
すなわち請求項６記載の発明では、同一の領域であるかどうかを入力画像の色、輝度、テクスチャのうちの一部または全部を参考にして行うことにしている。同一部分であれば色やテクスチャが近似する場合が多いこと、同様の面を構成していれば照明による影響が同等であること等による。ここに挙げた参考にする特徴は例示であり、これに限るものではない。
【００２３】
請求項７記載の発明の物体抽出プログラムでは、コンピュータに、（イ）入力された１フレームごとの画像を特徴が一様な部位同士の複数の領域に分割する領域分割処理と、（ロ）この領域分割処理によって分割したそれぞれの領域ごとにそれらの動きの変化を表わした動きベクトルを算出する動きベクトル算出処理と、（ハ）この動きベクトル算出処理で算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割処理で分割した領域同士の動きの類似度を算出する類似度算出処理と、（ニ）この類似度算出処理によって算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積する類似度蓄積処理と、（ホ）この類似度蓄積処理で蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定する統合可否判定処理と、（へ）この統合可否判定処理による判定結果を領域分割処理によって分割された複数の領域に適用することで物体ごとの領域画像を生成する物体領域画像生成処理を実行させることを特徴としている。
【００２４】
すなわち請求項７記載の発明では、物体抽出プログラムを構成する領域分割処理によって入力された１フレームごとの画像を、特徴が一様な部位同士の複数の領域に分割し、これら分割された領域ごとに動きベクトルを動きベクトル算出処理によって算出するようにしている。そして、類似度算出処理で動きベクトル算出処理において算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、領域分割処理で分割した領域同士の動きの類似度を算出し、類似度蓄積処理によって類似度算出処理において算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積するようにしている。統合可否判定処理では、類似度蓄積処理において蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定するので、物体領域画像生成処理ではこの判定結果を用いて領域の統合を行ったり行わないことで物体ごとの領域画像を信頼性を高めた状態で生成することができる。すなわち、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある。類似度蓄積処理で複数フレームにわたって類似度を蓄積するので、統合可否判定処理での統合可否の判定がより正確に行えるようになるからである。
【００２５】
請求項８記載の発明の物体抽出プログラムでは、請求項７記載の物体抽出プログラムに、動きベクトル算出処理で算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測処理を更に実行させることを特徴としている。
【００２６】
すなわち請求項８記載の発明では、隣接するフレームでも各領域の動きベクトルが近似する場合が多いことを前提として、動きベクトル算出処理で算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測し、領域の分割処理をより信頼性の高いものとしている。
【００２７】
【発明の実施の形態】
【００２８】
【実施例】
以下実施例につき本発明を詳細に説明する。
【００２９】
図１は本発明の一実施例における物体抽出システムの概要を表わしたものである。この物体抽出システム１００は、物体抽出装置１０１と、この物体抽出装置１０１に対してフレームごとに画像を入力する画像入力装置１０２と、物体抽出装置１０１の画像を出力する画像出力装置１０３から構成されている。ここで画像入力装置１０２は画像データ１０４を物体抽出装置１０１に入力するための装置で、それ自体で画像を生成してもよいし、図示しない通信ネットワーク等から受信あるいは供給を受けた画像データ１０４を物体抽出装置１０１に送出するものであってもよい。画像出力装置１０３は物体の抽出された画像データ１０５を外に送出するものであってもよいし、それ自体が画像を表示したり記録するようなものであってもよい。
【００３０】
物体抽出装置１０１は、フレームごとの画像データ１０４を入力して領域に分割する領域分割部１１１と、分割された領域ごとに動きベクトルを算出する動き計算部１１２と、この動き計算部１１２で計算された各領域の動きの類似度を計算する類似度計算部１１３と、この類似度計算部１１３で算出された類似度を複数のフレームにわたって蓄積する類似度蓄積部１１４と、類似度蓄積部１１４に蓄積された類似度を参照して隣接する領域同士を統合するか否かを判定する統合可否判定部１１５と、領域分割部１１１で分割された領域ごとの画像を記憶しておく領域画像記憶部１１６と、統合可否判定部１１５で判定された領域同士の統合の可否についての情報と領域画像記憶部１１６に記憶された領域に分割された画像を用いて、各領域の統合を行ったり行わないことで物体領域についての画像を生成する物体領域画像生成部１１７を備えている。また、動き計算部１１２で算出された領域ごとの動きデータ１１８を基にして、次のフレームにおける各領域を予測する領域予測部１１９も備えている。物体領域画像生成部１１７から出力される画像データ１０５は、画像出力装置１０３に供給されることになる。また、領域予測部１１９から出力される領域予測データ１２１は領域分割部１１１に入力されて、次の領域分割のためのデータとなる。
【００３１】
さて、画像入力装置１０２から物体抽出装置１０１へは図示しないビデオカメラで撮像されたようなフレーム単位のカラー画像からなる画像データ１０４が供給される。物体抽出装置１０１内の領域分割部１１１は、一様な特徴を持つ画像部分同士が隣接する場合にはこれらを同一の領域に含め、それ以外を他の領域に区別することで１つのフレームの画像を複数の領域に分割する。ここで領域分割の基準となる特徴の一例としては、色や輝度あるいはテクスチャがある。ここでテクスチャとは、図形の表面に付けられた模様や、質感を表わすための描き込みをいう。
【００３２】
領域分割部１１１における領域分割の手法としては、たとえば領域成長法を用いることができる。領域成長法は特開平７−９９６６０号公報にも開示されているように、注目している画素とそれに隣接している画素とが互いに同じ特徴を持っている場合に、それらを一つの領域に統合する処理を順次実行する手法である。これによって、特徴が等しい領域が少しずつ成長し、最終的に画像全体の領域分割が行われる。例えば、領域成長法のよく知られた具体的な処理は、以下の手順で行われる。
【００３３】
▲１▼まず、画面を走査し、まだ領域分けされていない画素を探し、注目画素とする。この注目画素を起点として新たな領域を生成する。
▲２▼次に注目画素に隣接する複数の画素の中で、まだ領域分けされていない画素との画素値間距離を計算し、その差があるしきい値以下であれば一つの領域に統合する。
▲３▼新たに統合された画素を注目画素として▲２▼で示した処理をそれぞれ行う。
▲４▼以上説明した▲２▼および▲３▼の操作をそれ以上領域が広げられなくなるまで繰り返す。
▲５▼領域拡張ができなくなったら▲１▼の処理に戻り、新たな領域の出発点となる画素を探す。このようにしてすべての画素がいずれかの領域に分けられるようになれば、その時点で処理を終了する。
【００３４】
ただし、この手法を用いると、隣接する画素値間距離が徐々に変化している部分がある場合には、同一領域としてみなすことが適当でないような画素値間距離の大きい画素同士でも、一つの領域に統合してしまうという問題がある。そこで、このような領域の過統合を防ぐためには、▲２▼で説明した画素値間距離の計算で、すでに統合した領域内の画素の値の平均と隣接する画素の値とを比較するようにしてもよい。
【００３５】
領域分割部１１１は、このような領域成長法以外の手法を使用して領域を分割することもできる。このようなものとしては、分割法、分割統合法、クラスタリングを使用した手法、ヒストグラムを使用した手法、エッジ情報を使用した手法等の公知の手法が存在する。
【００３６】
図２は、本実施例の物体抽出装置の処理の流れを表わしたものである。まず、すでに説明したように領域分割部１１１による領域の分割が行われる（ステップＳ２０１）。この領域分割が行われた後、画面を構成する各画素に対してそれぞれの属する領域番号を与えることで、領域画像を生成する（ステップＳ２０２）。生成された各領域ごとの領域画像は領域画像記憶部１１６に保存される（ステップＳ２０３）。
【００３７】
これと共に、動き計算部１１２は領域画像中の各領域の動きを計算する（ステップＳ２０４）。動きの計算の手法としては、領域内部の色や濃度パターンをテンプレートとして、次のフレーム画像に対してマッチングをとることで二次元の動きベクトル（ｕ，ｖ）を計算するようにしたテンプレートマッチング法を採用することができる。
【００３８】
このようなテンプレートマッチング法以外でも領域画像中の各領域の動きを計算することができる。たとえば、予めフレーム中の全画素に対して動きベクトル（ｕ，ｖ）を求めておき、各領域に属する画素の間で動きベクトルの平均を計算して、これをその領域の動きベクトルとするような手法を用いることも可能である。また、各領域の動きをアフィン変換モデル（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）で記述する手法もある。この手法は、たとえば特開平９−１２１３５６号公報に記載されている。
【００３９】
動き計算部１１２で算出された各領域の動きは類似度計算部１１３に供給される。類似度計算部１１３では、互いに隣接し合う領域すべての組ｉ，ｊに対して、動きの類似度Ｓｉｊを計算する（ステップＳ２０５）。ここで動きの類似度Ｓｉｊは、たとえば次の（１）式で表わすことができる。ここで各領域の動きは、二次元ベクトル（ｕｉ，ｖｉ）、（ｕｊ，ｖｊ）で記述するものとする。
【００４０】
Ｓｉｊ＝１／（｜ｕｉ，ｖｉ｜＋｜ｕｊ，ｖｊ｜） ……（１）
【００４１】
同様に、各領域の動きをアフィン変換モデル（ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉ，ｆｉ）、（ａｊ，ｂｊ，ｃｊ，ｄｊ，ｅｊ，ｆｊ）で記述する場合には、次の（２）式を用いることができる。
【００４２】
Ｓｉｊ＝１／（｜ａｉ−ａｊ｜＋｜ｂｉ−ｂｊ｜＋｜ｃｉ−ｃｊ｜＋｜ｄｉ−ｄｊ｜＋｜ｅｉ−ｅｊ｜＋｜ｆｉ−ｆｊ｜） ……（２）
【００４３】
なお、互いに隣接しない領域の組については、動きの類似度Ｓｉｊにたとえば−１等の特殊な値を与えることで、互いに隣接していない旨を記憶するようにしている。
【００４４】
類似度蓄積部１１４は、類似度計算部１１３で算出された類似度を複数のフレームにわたって蓄積する（ステップＳ２０６）。この類似度蓄積部１１４の蓄積の様子を次に説明する。
【００４５】
図３はある時点の入力画像のフレームを表わしたものである。フレーム１３１には、人物の頭の上の領域１３２と下の領域１３３、胴体の領域１３４、自動車の車体の領域１３５および窓ガラスの領域１３６が各構成領域として分割されている。ステップＳ２０２の領域分割によってｎ（ｎは２以上の整数）個の領域（この例では５つの領域１３２〜１３６）が得られている。図３に示した各矢印１３９はそれぞれの領域１３２〜１３６の速度を示している。この図では分割された各領域１３２〜１３６はほぼ同じ速度で図で右側に移動している。
【００４６】
図４は類似度の蓄積の様子を表わしたものである。初めにこの図４に示すように縦横Ｎ個ずつのＮ×Ｎの上三角行列Ｍを用意する。次に、現フレームにおける領域分割結果に基づいて、この上三角行列Ｍを更新する。具体的には図３に示した領域１３２と領域１３３、領域１３５と領域１３６、あるいは領域１３４と領域１３５のように一対の領域ｉ，ｊ（ここではｉ＜ｊとする。）が互いに隣接する場合には、Ｍｉｊ（図４中の画素１４１）に動きの類似度Ｓｉｊを加算する。
【００４７】
一方、領域１３３と領域１３５のように領域ｉ，ｊが互いに隣接しない場合には、動きの類似度Ｓｉｊを減算する。なお、領域ｉ，ｊが厳密には隣接していなくても、事実上隣接していると見做せる場合がある。たとえば領域１３３と領域１３４のように重心同士の距離がある一定の範囲内に存在するような場合には、領域ｉ，ｊが互いに隣接しているものとして、類似度を加算するようにしてもよい。
【００４８】
以上が１フレームごとに行われる処理である。このようにして１フレーム分の処理が行われたらそれが最終フレームであるかどうかの判別が行われる（図２ステップＳ２０７）。最終フレームの処理が行われたのではない場合には（Ｎ）、次のフレームについての処理が行われることになる。このとき、図１に示した領域予測部１１９が、各領域１３２〜１３６の次フレームにおける位置を前フレームにおける動きから予測する（ステップＳ２０８）。領域分割部１１１はこれによる予測位置を核として領域を成長させ、次フレームの領域画像を生成する（ステップＳ２０２）。これ以後は、前に説明した前フレームと同様の処理を次フレームに対して行う。以下同様である。
【００４９】
一方、ステップ２０７で現フレームが最終フレームであると判別された場合には（Ｙ）、統合可否判定部１１５が複数フレームにわたって蓄積された類似度を解析して、統合すべき領域を決定する（ステップＳ２０９）。たとえば領域ｉ，ｊについて蓄積された類似度Ｍｉ，ｊを全フレーム数で割り算し、その値があるしきい値よりも大きい場合には領域ｉ，ｊの統合を行うような決定方法を採ることができる。これ以外の手法ももちろん可能である。
【００５０】
蓄積された類似度が高く、統合すべきと判定された領域は同一の物体に属すると考えられる。そこで、物体領域画像生成部１１７では領域画像記憶部１１６に保存された全領域画像に対して領域統合処理を行って物体領域画像を生成し、画像出力装置１０３に出力することになる（ステップＳ２１０）。
【００５１】
図５〜図７は、以上説明した統合可否判定部および物体領域画像生成部の動作例を説明するためのものである。先の図３に示したフレーム１３１では人物を表わした各領域１３２、１３３、１３４と自動車を表わした各領域１３５、１３６が一時的に類似した動きを行ったものとする。この結果として、これよりも後の時間における図５で示したフレーム１５１では、人物を表わした各領域１３２、１３３、１３４と自動車を表わした各領域１３５、１３６が異なった動きを示すようになっている。そこで、図３に示したフレーム１３１と図５に示したフレーム１５１とを対比すると、人物を表わした各領域１３２、１３３、１３４同士について蓄積された類似度は高い値を持つ。自動車を表わした各領域１３５、１３６同士についても同様である。しかしながら、たとえば領域１３４と領域１３５については蓄積された類似度が低い値のままとなる。
【００５２】
したがって、統合可否判定部１１５は人物を表わした各領域１３２、１３３、１３４同士を統合すべきと判定する。自動車を表わした各領域１３５、１３６同士についても統合すべきと判定する。一方、図３では互いに隣接していた領域１３４と領域１３５については類似度が低いので、結局、領域１３２、１３３、１３４のグループと領域１３５、１３６のグループは統合すべきでないと判定する。
【００５３】
図６は、このように複数のフレームを蓄積した結果として、図３に示したフレーム１３１に対する物体領域画像生成部１１７による物体領域画像の生成結果を表わしたものである。物体領域画像１５２は、図３に示した人物に関する領域１３２、１３３、１３４を１つの領域１５３として統合している。同様に、自動車に関する領域１３５、１３６を他の１つの領域１５４として統合している。
【００５４】
図７は同様にして図５に示したフレーム１５１に対する物体領域画像生成部１１７による物体領域画像の生成結果を表わしたものである。物体領域画像１５６は、図５に示した人物に関する領域１３２、１３３、１３４を１つの領域１５３として統合している。同様に、自動車に関する領域１３５、１３６を他の１つの領域１５４として統合している。
【００５５】
以上説明したように本実施例では動きの類似度を複数フレームにわたって蓄積するようにした。このため、領域ｉ，ｊが定常的に類似した動きを持ち、かつ隣接しているような場合には、類似度Ｍｉ，ｊが加算されていく。したがって、一時的にのみ類似した動きがあったり隣接したような場合に、総合的な類似度Ｍｉ，ｊは相対的に低い値のままとなる。このため、正確な領域統合を行うことができる。
【００５６】
変形例
【００５７】
図８は、本発明の変形例における物体抽出システムの概要を表わしたものである。この図８で図１と同一部分には同一の符号を付しており、それらの説明を適宜省略する。
【００５８】
この変形例の物体抽出システム１００Ａは、物体抽出装置１０１Ａと、これに接続された画像入力装置１０２、画像出力装置１０３および記憶媒体３０１によって構成されている。ここで、物体抽出装置１０１Ａは、ＣＰＵ（中央処理装置）３０２とＲＡＭ（ランダム・アクセス・メモリ）３０３と、図示しない入出力用のインターフェース回路ならびに必要な場合には同じく図示しないキーボード、ディスプレイ等の入出力機器によって構成されている。記憶媒体３０１は、磁気ディスク、光ディスク、半導体メモリ等の記憶媒体である。記憶媒体３０１には制御プログラムが格納されており、ＣＰＵ３０２がこれを実行することによって、図１に示した物体抽出装置１０１の各部を機能的に実現するようになっている。ＲＡＭ３０３は記憶媒体３０１に格納された制御プログラムをロードするメモリ領域として使用したり、作業用のデータを一時的に格納するメモリ領域として使用する。
【００５９】
もちろん、記憶媒体３０１はＲＯＭ（リード・オンリ・メモリ）という形で物体抽出装置１０１Ａの内部に格納されていてもよいし、図示しない通信装置を介して同じく図示しないインターネット等の記憶媒体から必要な制御プログラムをダウンロードするものであってもよい。また、物体抽出装置１０１Ａはこの通信装置を使用して一部または全部の処理をウェブ上で行うようなものであってもよい。
【００６０】
更にこの変形例ではＣＰＵ３０２を配置することにしたが、プロセッサ、データ処理装置等のようにその名称が特に限定されるものでないことも当然である。
【００６１】
【発明の効果】
以上説明したように請求項１記載の発明によれば、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある点に着目し、類似度蓄積手段が複数フレームにわたって類似度を蓄積するので、統合可否判定手段の統合可否の判定を比較的簡単な処理でより正確に行うことができるという利点がある。
【００６２】
また、請求項２記載の発明によれば、請求項１記載の物体抽出システムで、動きベクトル算出手段の算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測手段を更に具備することにしたので、一部のフレームで画像にノイズが生じたり画像が一時的に不鮮明となったような場合にも領域の分割、強いては物体の抽出を精度良く行うことができる。
【００６３】
更に請求項４記載の発明によれば、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある点に着目し、類似度蓄積ステップで複数フレームにわたって類似度を蓄積するので、統合可否判定ステップでの統合可否の判定を比較的簡単な処理でより正確に行うことができるという利点がある。
【００６４】
また、請求項５記載の発明によれば、請求項４記載の物体抽出システムで、動きベクトル算出ステップで算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測ステップを更に具備することにしたので、一部のフレームで画像にノイズが生じたり画像が一時的に不鮮明となったような場合にも領域の分割、強いては物体の抽出を精度良く行うことができる。
【００６５】
更に請求項７記載の発明によれば、物体が異なればある時点で互いに同じような動きをしていても他の時点では異なった動きを行う可能性がある点に着目し、類似度蓄積処理で複数フレームにわたって類似度を蓄積するので、統合可否判定処理での統合可否の判定を比較的簡単な処理でより正確に行うことができるという利点がある。
【００６６】
また、請求項８記載の発明によれば、請求項７記載の物体抽出システムで、動きベクトル算出処理で算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測処理を更に実行することにしたので、一部のフレームで画像にノイズが生じたり画像が一時的に不鮮明となったような場合にも領域の分割、強いては物体の抽出を精度良く行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施例における物体抽出システムの概要を表わしたブロック図である。
【図２】本実施例の物体抽出装置の処理の流れを表わした流れ図である。
【図３】ある時点における入力画像のフレームを表わした説明図である。
【図４】本実施例で類似度の蓄積の様子を表わした説明図である。
【図５】図３とは異なった時点における入力画像のフレームを表わした説明図である。
【図６】図３に示したフレームに対する物体領域画像生成部による物体領域画像の生成結果を表わした平面図である。
【図７】図５に示したフレームに対する物体領域画像生成部による物体領域画像の生成結果を表わした平面図である。
【図８】本発明の変形例における物体抽出システムの概要を表わしたブロック図である。
【図９】従来提案された物体抽出システムの概要を表わしたブロック図である。
【図１０】物体を抽出しようとする入力画像の一例を示した説明図である。
【図１１】従来の手法による物体統合の様子を表わした説明図である。
【符号の説明】
１００、１００Ａ 物体抽出システム
１０１、１０１Ａ 物体抽出装置
１０２ 画像入力装置
１０３ 画像出力装置
１１１ 領域分割部
１１２ 動き計算部
１１３ 類似度計算部
１１４ 類似度蓄積部
１１５ 統合可否判定部
１１６ 領域画像記憶部
１１９ 領域予測部
１３２〜１３６、１５３、１５４ 領域
Claims (8)
- 入力された１フレームごとの画像を特徴が一様な部位同士の複数の領域に分割する領域分割手段と、
この領域分割手段によって分割したそれぞれの領域ごとにそれらの動きの変化を表わした動きベクトルを算出する動きベクトル算出手段と、
この動きベクトル算出手段で算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、前記領域分割手段で分割した領域同士の動きの類似度を算出する類似度算出手段と、
この類似度算出手段によって算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積する類似度蓄積手段と、
この類似度蓄積手段に蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定する統合可否判定手段と、
この統合可否判定手段による判定結果を前記領域分割手段によって分割された複数の領域に適用することで物体ごとの領域画像を生成する物体領域画像生成手段
とを具備することを特徴とする物体抽出システム。 - 前記動きベクトル算出手段の算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測手段を具備することを特徴とする請求項１記載の物体抽出システム。
- 前記領域分割手段の分割の基準となる特徴が一様な部位は、入力画像の色、輝度、テクスチャのうちの一部または全部であることを特徴とする請求項１記載の物体抽出システム。
- 入力された１フレームごとの画像を特徴が一様な部位同士の複数の領域に分割する領域分割ステップと、
この領域分割ステップによって分割したそれぞれの領域ごとにそれらの動きの変化を表わした動きベクトルを算出する動きベクトル算出ステップと、
この動きベクトル算出ステップで算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、前記領域分割ステップで分割した領域同士の動きの類似度を算出する類似度算出ステップと、
この類似度算出ステップによって算出した類似度を、分轄した領域同士が隣接するときはフレームごとに加算して蓄積する類似度蓄積ステップと、
この類似度蓄積ステップで蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定する統合可否判定ステップと、
この統合可否判定ステップによる判定結果を前記領域分割ステップによって分割された複数の領域に適用することで物体ごとの領域画像を生成する物体領域画像生成ステップ
とを具備することを特徴とする物体抽出方法。 - 前記動きベクトル算出ステップで算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測ステップを具備することを特徴とする請求項４記載の物体抽出方法。
- 前記領域分割ステップで分割する際の基準となる特徴が一様な部位は、入力画像の色、輝度、テクスチャのうちの一部または全部であることを特徴とする請求項４記載の物体抽出方法。
- コンピュータに、
入力された１フレームごとの画像を特徴が一様な部位同士の複数の領域に分割する領域分割処理と、
この領域分割処理によって分割したそれぞれの領域ごとにそれらの動きの変化を表わした動きベクトルを算出する動きベクトル算出処理と、
この動きベクトル算出処理で算出したそれぞれの領域の動きベクトルを同一フレーム内で参照することによって、前記領域分割処理で分割した領域同士の動きの類似度を算出する類似度算出処理と、
この類似度算出処理によって算出した類似度を、分轄した領域同士が隣接するときはフ レームごとに加算して蓄積する類似度蓄積処理と、
この類似度蓄積処理で蓄積された類似度が所定のしきい値よりも高いか否かにより隣接する領域同士を統合するか否かを判定する統合可否判定処理と、
この統合可否判定処理による判定結果を前記領域分割処理によって分割された複数の領域に適用することで物体ごとの領域画像を生成する物体領域画像生成処理
を実行させることを特徴とする物体抽出プログラム。 - 前記動きベクトル算出処理で算出したそれぞれの領域の動きベクトルを用いて次フレームのそれぞれの領域の位置を予測する領域予測処理を更に実行させることを特徴とする請求項７記載の物体抽出プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002050275A JP3763279B2 (ja) | 2002-02-26 | 2002-02-26 | 物体抽出システム、物体抽出方法および物体抽出プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002050275A JP3763279B2 (ja) | 2002-02-26 | 2002-02-26 | 物体抽出システム、物体抽出方法および物体抽出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003256849A JP2003256849A (ja) | 2003-09-12 |
| JP3763279B2 true JP3763279B2 (ja) | 2006-04-05 |
Family
ID=28662561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002050275A Expired - Fee Related JP3763279B2 (ja) | 2002-02-26 | 2002-02-26 | 物体抽出システム、物体抽出方法および物体抽出プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3763279B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100337249C (zh) * | 2004-04-23 | 2007-09-12 | 中国科学院计算技术研究所 | 一种视频运动对象分割方法 |
| JP4697276B2 (ja) | 2008-07-30 | 2011-06-08 | ソニー株式会社 | 動きベクトル検出装置、動きベクトル検出方法及びプログラム |
| JP5103665B2 (ja) * | 2008-10-24 | 2012-12-19 | 国立大学法人広島大学 | 物体追跡装置および物体追跡方法 |
| EP2345997A1 (en) | 2010-01-19 | 2011-07-20 | Deutsche Thomson OHG | Method and system for estimating motion in video images |
| JP5516561B2 (ja) * | 2011-12-08 | 2014-06-11 | 株式会社デンソーアイティーラボラトリ | 車両用運転支援装置 |
-
2002
- 2002-02-26 JP JP2002050275A patent/JP3763279B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003256849A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Senior et al. | Appearance models for occlusion handling | |
| JP5102410B2 (ja) | 移動体検出装置および移動体検出方法 | |
| CN109035293B (zh) | 适用于视频图像中显著人体实例分割的方法 | |
| US8705861B2 (en) | Context processor for video analysis system | |
| US7187783B2 (en) | Method and apparatus for color-based object tracking in video sequences | |
| US8045783B2 (en) | Method for moving cell detection from temporal image sequence model estimation | |
| CN111062974B (zh) | 一种使用去除鬼影对前景目标提取的方法及系统 | |
| CN111886600B (zh) | 一种用于图像的实例级别分割的设备和方法 | |
| JP2006209755A (ja) | シーンから取得されたフレームシーケンス中の移動オブジェクトを追跡する方法 | |
| WO2005036456A2 (en) | Method and apparatus for foreground segmentation of video sequences | |
| JP2005513656A (ja) | 体積成長および変化検出マスクを使用してビデオ内の移動オブジェクトを識別するための方法 | |
| CN113396423A (zh) | 处理来自基于事件的传感器的信息的方法 | |
| JP5371040B2 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
| CN106462975A (zh) | 用于对象跟踪和经由背景跟踪进行分割的方法和装置 | |
| CN115424164A (zh) | 一种场景自适应视频数据集的构建方法及系统 | |
| KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
| JP3763279B2 (ja) | 物体抽出システム、物体抽出方法および物体抽出プログラム | |
| KR101316848B1 (ko) | 배경 합성을 위한 자동 객체 분할 장치 및 방법 | |
| CN116883897A (zh) | 一种低分辨率目标识别方法 | |
| WO2020095644A1 (ja) | 変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体 | |
| CN101567088B (zh) | 一种运动物体检测的方法和装置 | |
| Kim et al. | Unsupervised moving object segmentation and recognition using clustering and a neural network | |
| KR100566629B1 (ko) | 이동물체 검출 시스템 및 방법 | |
| KR20120054381A (ko) | 물체 단위의 배경 영상 분석을 통한 움직이는 물체의 검출 방법 및 장치 | |
| CN114821441A (zh) | 联合ads-b信息的基于深度学习的机场场面运动目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050701 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050712 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060109 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3763279 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100127 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120127 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130127 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130127 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |