JP6558073B2 - 移動目標の検出方法及び移動目標の検出装置 - Google Patents

Description

本発明は、画像処理の技術分野に関し、具体的には、移動目標の検出方法及び移動目標の検出装置に関する。

移動目標の検出及び追跡は映像監視システムの知能応用の重要な基礎部分である。システム構成では、この機能は、フロントエンド装置として実施されてもよいし、バックエンドアプリケーションとして実施されてもよい。フロントエンド装置として実施される場合は、該機能を実現するため、ハードウェア資源（例えば専用チップ又は処理装置）をさらに増加する必要がある。バックエンドのサービスにソフトウェアソリューションが組み込まれる場合は、送信遅延及びチャネルノイズのような技術的問題点をもたらしてしまう。超大型の監視システムでは、バックエンドのサービス及びネットワーク容量に重い負荷を与えてしまう可能性がある。

従って、従来の検出方法における、フロントエンド装置として実施される場合は余計なハードウェア資源を増加する必要があり、バックエンドのサービスとして実施される場合は送信遅延をもたらしたという問題点を少なくとも解決する、新しい移動目標の検出技術が求められている。

本発明は、これに鑑みて、従来の目標検出技術における検出精度が低いという問題点、及び従来の検出方法におけるフロントエンド装置として実施される場合は余計なハードウェア資源を増加する必要があり、バックエンドのサービスとして実施される場合は送信遅延をもたらしたという問題点を少なくとも解決できる、新しい移動目標の検出技術を提供することを目的とする。

本発明の一の態様では、現在の符号化フレームの動きベクトルデータを取得するステップと、前記現在の符号化フレームを、Ｎ個の動きベクトルにそれぞれ対応する領域に分割し、複数の動きベクトル群を形成するステップと、各動きベクトル群に基づいて局所類似度値を計算し、前記現在の符号化フレームの局所類似度値マップを取得するステップと、前記局所類似度値マップを二値化し、二値化された局所類似度値マップを分割して複数の独立した連結領域を取得し、各前記独立した連結領域を移動目標として検出するステップと、を含み、Ｎは３よりも大きく、且つ９以下の整数である、移動目標の検出方法を提供する。

本発明の他の態様では、現在の符号化フレームの動きベクトルデータを取得する取得手段と、前記現在の符号化フレームを、Ｎ個の動きベクトルにそれぞれ対応する領域に分割し、複数の動きベクトル群を形成する動きベクトル群形成手段と、各動きベクトル群に基づいて局所類似度値を計算し、前記現在の符号化フレームの局所類似度値マップを取得する局所類似度値計算手段と、前記局所類似度値マップを二値化し、二値化された局所類似度値マップを分割して複数の独立した連結領域を取得し、各前記独立した連結領域を移動目標として検出する移動目標検出手段と、を含み、Ｎは３よりも大きく、且つ９以下の整数である、移動目標の検出装置を提供する。

本発明の他の態様では、上記の移動目標の検出装置を含む電子機器をさらに提供する。

本発明の他の態様では、プログラムプロダクトを実行する際に、機器に上記の移動目標の検出方法を実行させる、該機器が読み取り可能な指令コードを記憶するプログラムプロダクトをさらに提供する。

また、本発明の他の態様では、上記のプログラムプロダクトを記憶するコンピュータが読み取り可能な記憶媒体をさらに提供する。

本発明の実施例に係る移動目標の検出方法、移動目標の検出装置及び電子機器によれば、動きベクトル群を用いて局所類似度値を計算し、局所類似度値マップに基づいて移動目標を検出することで、フロントエンド装置に余計なハードウェア資源を増加する必要がないこと、符号化すると同時に検出結果を出力するため、リアルタイム性が高いこと、動きベクトル群の局所類似度値を用いて移動目標の検出精度を向上すること、及びバーストノイズ群を除去し、検出精度をさらに向上すること、という有益な効果の少なくとも１つを実現できる。

下記の図面を参照しながら本発明の最適な実施例を詳細に説明し、本発明のこれら利点及び他の利点がより明確になる。

本発明は、下記の図面及び説明を通じてより理解しやすくなり、同一又は類似の部材について同一又は類似の符号を用いる。図面及び下記の詳細な説明は、本明細書に含まれ、且つ本発明の一部を構成し、本発明の好適な実施例を例示的に説明し、本発明の原理及び利点を解釈するためのものである。
本発明の１つの実施例に係る移動目標の検出方法のフローチャートである。 本発明のもう１つの実施例に係るノイズ除去処理のフローチャートである。 本発明の１つの実施例に係る局所類似度値の計算のフローチャートである。 本発明の１つの実施例に係る任意の動きベクトルとそれに隣接する動きベクトルを示す図である。 本発明の１つの実施例に係る動きベクトル群を示す図である。 本発明の実施例に係る一致度を計算して移動目標を追跡することを示す図である。 本発明の実施例に係る映像符号化／復号化システムのブロック図である。 本発明の１つの実施例に係る移動目標の検出システムのブロック図である。 本発明のもう１つの実施例に係る移動目標の検出装置のブロック図である。

本発明の上記の目的、特徴及び利点をより明確に理解させるため、図面及び具体的な実施形態を参照しながら本発明を詳しく説明する。なお、矛盾しない限り、本発明の実施例及びその特徴を相互に組み合わせてもよい。

本発明を理解させるため、下記の明細書に具体的な細部が記載されているが、本発明はここに記載されているものと異なる態様で実施されてもよいため、本発明は以下に開示される具体的な実施例に限定されない。

下記実施例に記載された移動目標の検出方法は、符号化装置から出力された動きベクトルデータを取得し、符号化装置に内蔵された処理装置を用いて動きベクトルデータに基づく移動目標を検出する計算プロセスを完成し、フレーム画像が符号化される時に、対応する検出結果を出力する。移動を検出するプロセスにおいて、局所類似度値の計算方法を用いて移動目標の検出精度を向上する。

本発明の実施例に係る移動目標の検出方法は、現在の符号化フレームの動きベクトルデータを取得するステップと、現在の符号化フレームを、Ｎ個の動きベクトルにそれぞれ対応する領域に分割し、複数の動きベクトル群を形成するステップと、各動きベクトル群に基づいて局所類似度値を計算し、現在の符号化フレームの局所類似度値マップを取得するステップと、局所類似度値マップを二値化し、二値化された局所類似度値マップを分割して複数の独立した連結領域を取得し、各独立した連結領域を移動目標として検出するステップと、を含み、Ｎは３よりも大きく、且つ９以下の整数である。

以下は、図１を参照しながら、本発明の実施例に係る移動目標の検出方法の一例を説明する。

図１に示すように、ステップ１０２において、初期化する。このステップでは、実際のアプリケーションに応じて動きベクトルデータのマクロブロックのサイズを定義してもよい。マクロブロックのサイズが小さい（例えば８×８サイズのマクロブロック）ほど、該マクロブロックの動きベクトルデータに基づいて取得された検出結果がより正確であるが、大きいサイズのマクロブロック（例えば１６×１６サイズのマクロブロック）に比べると、より多くの計算資源を占有する。

後述する動きベクトルデータは全て１６×１６マクロブロックの動きベクトルデータであると仮定する。また、このステップでは、下記の計算プロセスに必要なパラメータ値をさらに定義する。

ステップ１０４において、取得された符号化フレームの動きベクトルデータを直角座標から極座標に変換する。

ステップ１０６において、極座標を有する動きベクトルデータに対してノイズフィルタリングを行う。

ステップ１０８において、動きベクトルデータを複数の動きベクトル群に分割し、各動きベクトル群について局所類似度値を計算し、局所類似度値マップを取得する。

ステップ１１０において、局所類似度値マップを二値化し、移動目標を分割し、移動目標を検出する。

ステップ１１２において、１つ前の符号化フレームの目標対象に基づいて、現在の符号化フレームにおいて対応する追跡目標を決定する。

ステップ１１４において、移動目標の移動軌跡を記憶し、重要なパラメータ値を記憶する。

以下は、図２を参照しながら、図１におけるステップ１０６の具体的な処理プロセスの一例を詳細に説明する。

図２に示すように、ステップ２０２において、現在の符号化フレームの動きベクトルデータの直角座標を極座標に変換した後で、動きベクトルデータの直角座標に基づいて第１のヒストグラムを構築し、動きベクトルデータの極座標に基づいて第２のヒストグラムを構築する。

ステップ２０４において、バーストノイズ群（ｂｕｒｓｔ ｎｏｉｓｅ ｇｒｏｕｐ）が存在するか否かを検出する前に、後続の検出及び判断を行うため、パラメータ値を取得する必要がある。例えば、第１のヒストグラムに基づいて、直角座標系における出現頻度が最も高い動きベクトルの数の動きベクトルの総数に対する成分百分率、及び出現頻度が最も高い直角座標値を取得し、第２のヒストグラムに基づいて、極座標系における出現頻度が最も高い動きベクトルの動きベクトルの総数に対する極座標百分率、及び出現頻度が最も高い極座標値を取得する。

ステップ２０６において、非ゼロの動きベクトルデータにおいて、直角座標百分率及び極座標百分率が共に所定百分率よりも大きく、且つ出現頻度が最も高い直角座標値が座標値閾値（この閾値は初期化プロセスにおいて予め設定されたものであってもよい）よりも小さい場合、バーストノイズ群が存在していると決定する。バーストノイズ群が存在すると決定された場合、ステップ２０８に進み、そうでない場合、ステップ２１０に進む。バーストノイズ群は揺れる木の葉である可能性があり、それに対応する動きベクトルデータの間には類似性を有し、そのベクトルの長さが短い。これらのバーストノイズ群を除去することで、該領域が移動目標であると間違って認識することを回避でき、移動目標の検出正確率を向上できる。

ステップ２０８において、バーストノイズ群を除去する。

ステップ２１０において、高域フィルタを用いてランダムノイズをフィルタリングし、該高域フィルタは自己適応の閾値を用いる。該閾値は、非ゼロの動きベクトルの平均動きベクトルデータと所定値との積であってもよい。

以下は、図３を参照しながら、図１におけるステップ１０８の具体的な処理プロセスの一例を詳細に説明する。

ステップ３０２において、２つの動きベクトル間の関係を定義する。

各動きベクトル群において、隣接する各２つの動きベクトル間の角度（Ｔ［ｍ，ｎ］）に基づいて、隣接する各２つの動きベクトル間の類似度値（ＳＶ［ｍ，ｎ］）を計算する。

類似度値、角度及び一致度区分範囲の対応関係に基づいて、隣接する各２つの動きベクトル間の一致度レベル（ＲＴ［ｍ，ｎ］）を決定する。ここで、各一致度区分範囲は、１つの一致度レベルに対応する。

ここで、２つの動きベクトル間の角度が９０度以下である場合、その類似度値は、

となる。ここで、ｍ、ｎは２つの異なる動きベクトル符号であり、ｒは動きベクトルの長さを表し、ＭＶは動きベクトルを表す。角度が９０度よりも大きい場合、その類似度値は−１となる。

下記の表１には、角度及び類似度値という２つのパラメータに基づいて２つの動きベクトル間の関係の記号を決定することの例を示している。

上記の表１において、「ＳＰ」は強い一致性を表し、「ＡＰ」は中等の一致性を表し、「ＢＰ」は一般の一致性を表し、「Ｎ」は不一致を表し、「Ｚ」は２つの動きベクトルが互いに垂直することを表す。

角度が１０度よりも小さく、且つ類似度値が０．５よりも大きい場合、一致度レベルの記号はＳＰ（最高レベル）である。

角度が４５度よりも小さく、且つ類似度値が０よりも大きい場合、一致度レベルの記号はＡＰであり、角度が４５度よりも大きく、９０度よりも小さく、且つ類似度値が０よりも大きい場合、一致度レベルの記号はＢＰであり、類似度値が０である場合、一致度レベルの記号はＺであり、角度が９０度よりも大きい場合、一致度レベルの記号はＮ（最低レベル）である。

ステップ３０４において、２つの動きベクトル間の関係が決定された後で、動きベクトルに対して空間補正を行う。

各動きベクトルについて、参照動きベクトルに基づいて、該動きベクトルを補正するか否かを判断する。参照動きベクトルは、該動きベクトルに隣接するベクトルである。

各動きベクトルを補正するか否かを判断する際に、参照動きベクトルのうちいずれか２つの隣接する動きベクトルの一致度レベル（表１に示される「ＳＰ」、「ＡＰ」、「ＢＰ」は一致度レベルを表す）が所定レベルよりも大きく、且つ該動きベクトルと参照動きベクトルのいずれかとの一致度レベルが所定レベルよりも小さい場合、動きベクトルを参照動きベクトルのいずれかに補正すると判断する。即ち、動きベクトルがその周辺の動きベクトルと全て一致しておらず、且つその周辺の動きベクトルの間は全て一致している場合、該動きベクトルが正常ではなく、それを周辺の動きベクトルと同じように補正する必要がある。

なお、例えば、図４に示すように、動きベクトルＭＶｃについて、その参照動きベクトルは、該動きベクトルＭＶｃの上（ＭＶ０）、下（ＭＶ２）、左（ＭＶ３）、右（ＭＶ１）の４つの動きベクトルであってもよい。

ステップ３０６において、一致度レベルが最高レベルに属する隣接する２つの動きベクトルを強い特徴ペアとする。

各動きベクトルについて、少なくとも１つの強い特徴ペアに属する場合、その寄与度値（ＰＦ）を第１の値（例えば１）に設定し、そうでない場合、その寄与度値を第２の値（例えば０）に設定する。

ステップ３０８において、動きベクトル群における強い特徴ペアの数、隣接する各２つの動きベクトルの類似度値及び一致度レベル、並びに各動きベクトルの寄与度値に基づいて局所類似度値を計算する。

以下は、２×２動きベクトル群を例として、局所類似度値の計算プロセスを説明するが、下記の例に限定されない。

図５に示すように、４つの動きベクトルを１つの群として、時計方向に従って４つの隣接する動きベクトルペアの類似度値及び一致度レベルを順次に計算する。該動きベクトル群における強い特徴ペアの数が１であると仮定する。

そして、４つの隣接する動きベクトルペアのうち３つの一致度レベルがＺである場合、局所類似度値は０である。

４つの隣接する動きベクトルペアのうち２つの一致度レベルがＺである場合、下記の処理を行う。

レベルがＮ又はＢＰの動きベクトルペアの数の和が１以上であり、且つ該４つの動きベクトルの寄与度値の和が３であるとき、局所類似度値は−１であり、そうでないとき、局所類似度値は、４つの隣接する動きベクトルペアの類似度値の和である。

４つの隣接する動きベクトルペアのうち１つ又は０個の一致度レベルがＺである場合、下記のポリシーがある。

レベルがＮ又はＢＰのベクトルペアの数の和が２以上であり、且つ該４つの動きベクトルの寄与度値の和が３以上であるとき、局所類似度値は−１であり、そうでないとき、局所類似度値は、４つの隣接する動きベクトルペアの類似度値の和である。

現在の局所動きベクトル群における強い特徴ペアの数が０、２、３又は４である場合、類似する列挙方式に基づいて局所類似度値を判断し、所定のパラメータについて差異があるが、ここにその説明が省略される。

ステップ３１０において、検出の正確率をさらに向上するため、計算された局所類似度値を補正して、正確な局所類似度値マップを取得する。

補正の方法としては、各動きベクトル群について、１つ前の符号化フレームにおける局所類似度値に基づいて現在の符号化フレームの局所類似度値を補正する。

具体的には、１つ前の符号化フレームにおける各動きベクトル群について、動きベクトル群における全ての動きベクトルの平均値に基づいて、動きベクトル群の現在の符号化フレームにおける位置を予測し、該位置における局所類似度値は、算出された現在の符号化フレームにおける局所類似度値と該１つ前の符号化フレームにおける局所類似度値との加重和であり、重み係数は所定値である。

局所類似度値マップを取得した後で、局所類似度値マップを二値化し、二値化された局所類似度値マップを分割して複数の独立した連結領域を取得し、各独立した連結領域を移動目標として検出する。

最後に、移動目標を検出した後で、移動目標の追跡を行う。追跡方法は以下の通りである。

図６に示すように、下記の式に従って、現在の符号化フレームにおける移動目標と１つ前の符号化フレームにおける各目標対象との一致度を計算する。

ここで、Ｍ_Ｌ，Ｋは一致度であり、Ｓ_Ｌ，Ｋは該移動目標と該目標対象との共通領域（即ち、図６におけるカバー領域）の大きさであり、Ｓ_Ｃは該移動目標の領域の大きさであり、Ｓ_Ｐは該目標対象の領域の大きさであり、Ｌは現在の符号化フレームにおけるＬ番目の移動目標であり、Ｋは１つ前の符号化フレームにおけるＫ番目の目標対象である。

現在の符号化フレームにおける各移動目標について、１つ前の符号化フレームにおける該移動目標との一致度の値が最も大きい目標対象を最適一致目標として選択し、最大の一致度が所定の一致度閾値よりも大きい場合、最適一致目標の現在の符号化フレームにおける追跡目標を移動目標として決定し、一致度閾値よりも大きい目標対象が発見されていない場合、新しい目標対象を該移動目標として決定する。

最後に、次のフレームの移動追跡を行うために移動目標の情報を更新し、移動軌跡データは、侵入検出及び目標計数のような知能の機能を実現するように、バックエンドのアプリケーションに用いられてもよい。

図７に示すように、本発明の実施例に係る映像符号化／復号化システム７０２は、映像符号化／復号化特定用途向け集積回路７０４を含む。映像符号化／復号化システム７０２における移動目標の検出及び追跡の計算プロセスは、映像符号化／復号化特定用途向け集積回路７０４における処理装置により実行される。映像符号化／復号化特定用途向け集積回路７０４における映像符号化／復号化装置は、移動目標の検出及び追跡を行うように、動きデータを処理装置に出力する。

図８に示すように、本発明の実施例に係る移動目標の検出システム８０２は、システムを監視するためのバックエンド装置に適用され、移動目標の検出システム８０２は主に候補移動目標検出部８０２２、移動目標追跡部８０２４、移動目標情報及び移動軌跡情報の記憶部８０２６を含む。

図７は、本発明に係る映像符号化／復号化システムのブロック図であり、図８は、本発明に係る移動目標の検出システムのブロック図である。図７及び図８から分かるように、本発明に係る移動目標の検出システムは、元の映像符号化／復号化装置の処理装置を用いて移動目標の検出及び追跡を行い、従来技術に比べると、余計なハードウェア資源を増加する必要がないため、ハードウェアコストを節約できる。また、図８から分かるように、移動目標の検出システムは、フロントエンド装置として実施され、バックエンドのアプリケーションとして実施されることに比べて、リアルタイム性がよく、符号化／復号化装置から動きベクトルデータを直接に取得できるため、符号化すると同時に移動目標を検出でき、検出速度が速く、時間遅延がない。また、移動目標を検出する時に、動きベクトル群の局所類似度値に基づく計算方法を用い、バーストノイズ群を検出して除去するため、検出精度を大幅に向上できる。

図９は、本発明のもう１つの実施例に係る移動目標の検出装置のブロック図である。

図９に示すように、本発明の実施例に係る移動目標の検出装置９００は、現在の符号化フレームの動きベクトルデータを取得する取得部９０２と、現在の符号化フレームを、Ｎ個の動きベクトルにそれぞれ対応する領域に分割し、複数の動きベクトル群を形成する動きベクトル群形成部９０４と、各動きベクトル群に基づいて局所類似度値を計算し、現在の符号化フレームの局所類似度値マップを取得する局所類似度値計算部９０６と、局所類似度値マップを二値化し、二値化された局所類似度値マップを分割して複数の独立した連結領域を取得し、各独立した連結領域を移動目標として検出する移動目標検出部９０８と、を含んでもよい。Ｎは３よりも大きく、且つ９以下の整数である。

ここで、局所類似度値計算部９０６は、各動きベクトル群において、隣接する各２つの動きベクトル間の角度に基づいて隣接する各２つの動きベクトル間の類似度値を計算する第１の計算部９０６２と、類似度値、角度及び一致度区分範囲の対応関係に基づいて、隣接する各２つの動きベクトル間の一致度レベルを決定する一致度決定部であって、各一致度区分範囲が１つの一致度レベルに対応し、一致度レベルが最高レベルに属する隣接する２つの動きベクトルを強い特徴ペアとする、一致度決定部９０６４と、各動きベクトルについて、少なくとも１つの強い特徴ペアに属する場合、該動きベクトルの寄与度値を第１の値に設定し、そうでない場合、該動きベクトルの寄与度値を第２の値に設定する寄与度値決定部９０６６と、前記動きベクトル群における強い特徴ペアの数、隣接する各２つの動きベクトルの類似度値及び一致度レベル、並びに各動きベクトルの寄与度値に基づいて局所類似度値を計算する第２の計算部９０６８と、を含む。

移動目標の検出装置９００は、一致度レベルを決定した後で、且つ強い特徴ペアを計算する前に、各動きベクトルについて、該動きベクトルに隣接するベクトルとなる参照動きベクトルに基づいて、該動きベクトルを補正するか否かを判断する判断部９１０をさらに含み、判断部９１０は、参照動きベクトルのうちいずれか２つの隣接する動きベクトルの一致度レベルが所定レベルよりも大きく、且つ該動きベクトルと参照動きベクトルのいずれかとの一致度レベルが所定レベルよりも小さい場合、動きベクトルを参照動きベクトルのいずれかに補正すると判断する。

移動目標の検出装置９００は、局所類似度値を計算した後で、各動きベクトル群について、１つ前の符号化フレームにおける局所類似度値に基づいて現在の符号化フレームの局所類似度値を補正する第１の補正部９１２をさらに含んでもよい。

第１の補正部９１２は、１つ前の符号化フレームにおける各動きベクトル群について、動きベクトル群における全ての動きベクトルの平均値に基づいて、動きベクトル群の現在の符号化フレームにおける位置を予測し、位置における局所類似度値は、算出された現在の符号化フレームにおける局所類似度値と１つ前の符号化フレームにおける局所類似度値との加重和であり、重み係数は所定値である。

移動目標の検出装置９００は、局所類似度値を計算する前に、現在の符号化フレームの動きベクトルデータにバーストノイズ群が存在するか否かを検出するノイズ検出部９１４と、バーストノイズ群が存在している場合、動きベクトルデータからバーストノイズ群を除去し、バーストノイズ群が除去された動きベクトルデータに対して高域フィルタリング処理を行い、フィルタリングされた動きベクトルデータを取得するノイズ除去部９１６と、をさらに含んでもよい。

ノイズ検出部９１４は、現在の符号化フレームの動きベクトルデータの直角座標を極座標に変換する座標変換部９１４２と、動きベクトルデータの直角座標に基づいて第１のヒストグラムを構築し、動きベクトルデータの極座標に基づいて第２のヒストグラムを構築する構築部９１４４と、第１のヒストグラムに基づいて、直角座標系における出現頻度が最も高い動きベクトルの数の動きベクトルの総数に対する成分百分率及び出現頻度が最も高い直角座標値を取得し、第２のヒストグラムに基づいて、極座標系における出現頻度が最も高い動きベクトルの動きベクトルの総数に対する極座標百分率及び出現頻度が最も高い極座標値を取得する演算部９１４６と、非ゼロの動きベクトルデータにおいて、直角座標百分率及び極座標百分率が共に所定百分率よりも大きく、且つ出現頻度が最も高い直角座標値が座標値閾値よりも小さい場合、バーストノイズ群が存在していると決定する比較部９１４８と、を含む。

バーストノイズ群が存在している場合、バーストノイズ群の値は前記出現頻度が最も高い直角座標値であり、移動目標の検出装置は、各動きベクトルについて、該動きベクトルの直角座標系における成分がバーストノイズ群の値よりも大きい場合、対応する動きベクトルを動きベクトルと前記バーストノイズ群の値との差分に補正する第２の補正部９１８をさらに含む。

好ましくは、第２の補正部９１８は、補正前の動きベクトルの水平方向の成分又は垂直方向の成分と補正後の水平方向の成分又は垂直方向の成分とが反対の極性を有する場合、補正前の動きベクトルの水平方向の成分又は垂直方向の成分の値を０に補正する。

移動目標の検出装置は、一致度計算部９２０、及び目標追跡部９２２をさらに含んでもよい。一致度計算部９２０は、下記の式に従って、現在の符号化フレームにおける移動目標と１つ前の符号化フレームにおける各目標対象との一致度を計算する。

ここで、Ｍ_Ｌ，Ｋは一致度であり、Ｓ_Ｌ，Ｋは該移動目標と該目標対象との共通領域の大きさであり、Ｓ_Ｃは該移動目標の領域の大きさであり、Ｓ_Ｐは該目標対象の領域の大きさであり、Ｌは現在の符号化フレームにおけるＬ番目の移動目標であり、Ｋは１つ前の符号化フレームにおけるＫ番目の目標対象である。

目標追跡部９２２は、現在の符号化フレームにおける各移動目標について、１つ前の符号化フレームにおける該移動目標との一致度の値が最も大きい目標対象を最適一致目標として選択し、最大の一致度が所定の一致度閾値よりも大きい場合、最適一致目標の現在の符号化フレームにおける追跡目標を移動目標として決定し、一致度閾値よりも大きい目標対象が発見されていない場合、新しい目標対象を該移動目標として決定する。

また、本発明の実施例は、上記の移動目標の検出装置又は移動目標の検出システムを含む電子機器をさらに提供する。本発明の実施例に係る電子機器の具体的な実施態様では、電子機器はコンピュータ、タブレットＰＣ、携帯用情報端末（ＰＤＡ）、マルチメディア再生装置、携帯電話及び電子ブックリーダー端末などのうちいずれか１つの装置であってもよい。ここで、電子機器は、上記の移動目標の検出装置の各種の機能及び技術的効果を有するが、ここにその説明が省略される。

本発明の実施例に係る映像解析装置における各構成ユニット、サブユニット及びモジュールなどは、ソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせであってもよい。ソフトウェア又はファームウェアで実施する際に、記憶媒体又はネットワークから特定用途向けハードウェア構造を有する機器に該ソフトウェア又はファームウェアを構成するプログラムをインストールしてもよく、該機器が各種のプログラムをインストールしている場合、上記の各構成ユニット、サブユニットの各種の機能を実行できる。

また、本発明は、機器に読み取り可能な指令コードを記憶するプログラムプロダクトをさらに提供する。該指令コードは機器により読み出されて、上述した本発明の実施例に係る移動目標の検出方法を実行できる。それに応じて、本発明は、このプログラムプロダクトを記録する各種の記憶媒体、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどを含む。

また、本発明の実施例に係る方法は、明細書に説明された時間順で行なわれることに限らず、他の時間順で、又は並行して、又は単独で実行することもできる。従って、本発明の技術的範囲は、明細書に記載の方法の実行順番に限定されない。

また、本発明の上記方法の各処理プロセスも各種の機器読取可能な記憶媒体に記憶されているコンピュータ実行可能なプログラムで実施されてもよい。

また、本発明は、上記実行可能なプログラムコードを記憶する記憶媒体をシステム又は装置に直接又は間接に提供し、該システム又は装置におけるコンピュータ又は中央処理装置（ＣＰＵ）に上記プログラムコードを読み出すことで実施されてもよい。

この場合、該システム又は装置は、プログラムを実行する機能を有すればよく、本発明の実施態様はプログラムに限定されず、任意の形式、例えばオブジェクトプログラム、インタープリタにより実行されるプログラム又はオペレーションシステムに提供されるスクリプトプログラムなどであってもよい。

上記の機器が読み取り可能な記憶媒体は、各種のメモリ又は記憶部、半導体装置、光、磁気及び光磁気のディスクなどのディスクユニット、及び他の情報を記憶できる媒体を含むが、それらの記憶装置に限定されない。

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
現在の符号化フレームの動きベクトルデータを取得する取得手段と、
前記現在の符号化フレームを、Ｎ個の動きベクトルにそれぞれ対応する領域に分割し、複数の動きベクトル群を形成する動きベクトル群形成手段と、
各動きベクトル群に基づいて局所類似度値を計算し、前記現在の符号化フレームの局所類似度値マップを取得する局所類似度値計算手段と、
前記局所類似度値マップを二値化し、二値化された局所類似度値マップを分割して複数の独立した連結領域を取得し、各前記独立した連結領域を移動目標として検出する移動目標検出手段と、を含み、
Ｎは３よりも大きく、且つ９以下の整数である、移動目標の検出装置。
（付記２）
前記局所類似度値計算手段は、
各動きベクトル群において、隣接する各２つの動きベクトル間の角度に基づいて前記隣接する各２つの動きベクトル間の類似度値を計算する第１の計算手段と、
類似度値、角度及び一致度区分範囲の対応関係に基づいて、隣接する各２つの動きベクトル間の一致度レベルを決定する一致度決定手段であって、各一致度区分範囲が１つの一致度レベルに対応し、一致度レベルが最高レベルに属する隣接する２つの動きベクトルを強い特徴ペアとする、一致度決定手段と、
各動きベクトルについて、少なくとも１つの強い特徴ペアに属する場合、該動きベクトルの寄与度値を第１の値に設定し、そうでない場合、該動きベクトルの寄与度値を第２の値に設定する寄与度値決定手段と、
前記動きベクトル群における強い特徴ペアの数、隣接する各２つの動きベクトルの類似度値及び一致度レベル、並びに各動きベクトルの寄与度値に基づいて前記局所類似度値を計算する第２の計算手段と、を含む、付記１に記載の移動目標の検出装置。
（付記３）
前記角度が９０度以下である場合、前記類似度値は、

となり、ｍ、ｎは２つの異なる動きベクトル符号であり、ｒは動きベクトルの長さを表し、ＭＶは動きベクトルを表し、前記角度が９０度よりも大きい場合、前記類似度値は−１となる、付記２に記載の移動目標の検出装置。
（付記４）
前記一致度レベルを決定した後で、且つ前記強い特徴ペアを計算する前に、各動きベクトルについて、該動きベクトルに隣接するベクトルとなる参照動きベクトルに基づいて、該動きベクトルを補正するか否かを判断する判断手段をさらに含み、
前記判断手段は、前記参照動きベクトルのうちいずれか２つの隣接する動きベクトルの一致度レベルが所定レベルよりも大きく、且つ該動きベクトルと参照動きベクトルのいずれかとの一致度レベルが所定レベルよりも小さい場合、前記動きベクトルを参照動きベクトルのいずれかに補正すると判断する、付記２に記載の移動目標の検出装置。
（付記５）
前記局所類似度値を計算した後で、各動きベクトル群について、１つ前の符号化フレームにおける局所類似度値に基づいて前記現在の符号化フレームの局所類似度値を補正する第１の補正手段をさらに含む、付記２に記載の移動目標の検出装置。
（付記６）
前記第１の補正手段は、１つ前の符号化フレームにおける各動きベクトル群について、前記動きベクトル群における全ての動きベクトルの平均値に基づいて、前記動きベクトル群の前記現在の符号化フレームにおける位置を予測し、
前記位置における局所類似度値は、算出された前記現在の符号化フレームにおける局所類似度値と前記１つ前の符号化フレームにおける局所類似度値との加重和であり、重み係数は所定値である、付記５に記載の移動目標の検出装置。
（付記７）
前記局所類似度値を計算する前に、前記現在の符号化フレームの動きベクトルデータにバーストノイズ群が存在するか否かを検出するノイズ検出手段と、
前記バーストノイズ群が存在している場合、前記動きベクトルデータから前記バーストノイズ群を除去し、バーストノイズ群が除去された動きベクトルデータに対して高域フィルタリング処理を行い、フィルタリングされた動きベクトルデータを取得するノイズ除去手段と、をさらに含む、付記１に記載の移動目標の検出装置。
（付記８）
前記ノイズ検出手段は、
前記現在の符号化フレームの動きベクトルデータの直角座標を極座標に変換する座標変換手段と、
前記動きベクトルデータの直角座標に基づいて第１のヒストグラムを構築し、前記動きベクトルデータの極座標に基づいて第２のヒストグラムを構築する構築手段と、
前記第１のヒストグラムに基づいて、直角座標系における出現頻度が最も高い動きベクトルの数の動きベクトルの総数に対する成分百分率及び出現頻度が最も高い直角座標値を取得し、前記第２のヒストグラムに基づいて、極座標系における出現頻度が最も高い動きベクトルの動きベクトルの総数に対する極座標百分率及び出現頻度が最も高い極座標値を取得する演算手段と、
非ゼロの動きベクトルデータにおいて、前記直角座標百分率及び前記極座標百分率が共に所定百分率よりも大きく、且つ前記出現頻度が最も高い直角座標値が座標値閾値よりも小さい場合、前記バーストノイズ群が存在していると決定する比較手段と、を含む、付記７に記載の移動目標の検出装置。
（付記９）
前記バーストノイズ群が存在している場合、バーストノイズ群の値は前記出現頻度が最も高い直角座標値であり、
前記移動目標の検出装置は、
各動きベクトルについて、該動きベクトルの直角座標系における成分が前記バーストノイズ群の値よりも大きい場合、対応する動きベクトルを前記動きベクトルと前記バーストノイズ群の値との差分に補正する第２の補正手段をさらに含む、付記８に記載の移動目標の検出装置。
（付記１０）
前記第２の補正手段は、補正前の動きベクトルの水平方向の成分又は垂直方向の成分と補正後の水平方向の成分又は垂直方向の成分とが反対の極性を有する場合、補正前の動きベクトルの水平方向の成分又は垂直方向の成分の値を０に補正する、付記９に記載の移動目標の検出装置。
（付記１１）
下記の式に従って、前記現在の符号化フレームにおける移動目標と１つ前の符号化フレームにおける各目標対象との一致度を計算する一致度計算手段であって、

Ｍ_Ｌ，Ｋは一致度であり、Ｓ_Ｌ，Ｋは前記移動目標と前記目標対象との共通領域の大きさであり、Ｓ_Ｃは前記移動目標の領域の大きさであり、Ｓ_Ｐは前記目標対象の領域の大きさであり、Ｌは前記現在の符号化フレームにおけるＬ番目の移動目標であり、Ｋは前記１つ前の符号化フレームにおけるＫ番目の目標対象である、一致度計算手段と、
前記現在の符号化フレームにおける各移動目標について、１つ前の符号化フレームにおける該移動目標との一致度の値が最も大きい目標対象を最適一致目標として選択し、最大の一致度が所定の一致度閾値よりも大きい場合、前記最適一致目標の前記現在の符号化フレームにおける追跡目標を移動目標として決定し、前記一致度閾値よりも大きい目標対象が発見されていない場合、新しい目標対象を前記移動目標として決定する目標追跡手段と、をさらに含む、付記１乃至１０のいずれかに記載の移動目標の検出装置。
（付記１２）
現在の符号化フレームの動きベクトルデータを取得するステップと、
前記現在の符号化フレームを、Ｎ個の動きベクトルにそれぞれ対応する領域に分割し、複数の動きベクトル群を形成するステップと、
各動きベクトル群に基づいて局所類似度値を計算し、前記現在の符号化フレームの局所類似度値マップを取得するステップと、
前記局所類似度値マップを二値化し、二値化された局所類似度値マップを分割して複数の独立した連結領域を取得し、各前記独立した連結領域を移動目標として検出するステップと、を含み、
Ｎは３よりも大きく、且つ９以下の整数である、移動目標の検出方法。
（付記１３）
前記各動きベクトル群に基づいて局所類似度値を計算するステップは、
各動きベクトル群において、隣接する各２つの動きベクトル間の角度に基づいて前記隣接する各２つの動きベクトル間の類似度値を計算するステップと、
類似度値、角度及び一致度区分範囲の対応関係に基づいて、隣接する各２つの動きベクトル間の一致度レベルを決定するステップであって、各一致度区分範囲が１つの一致度レベルに対応する、ステップと、
一致度レベルが最高レベルに属する隣接する２つの動きベクトルを強い特徴ペアとするステップと、
各動きベクトルについて、少なくとも１つの強い特徴ペアに属する場合、該動きベクトルの寄与度値を第１の値に設定し、そうでない場合、該動きベクトルの寄与度値を第２の値に設定するステップと、
前記動きベクトル群における強い特徴ペアの数、隣接する各２つの動きベクトルの類似度値及び一致度レベル、並びに各動きベクトルの寄与度値に基づいて前記局所類似度値を計算するステップと、を含む、付記１２に記載の移動目標の検出方法。
（付記１４）
前記一致度レベルを決定した後で、且つ前記強い特徴ペアを計算する前に、
各動きベクトルについて、該動きベクトルに隣接するベクトルとなる参照動きベクトルに基づいて、該動きベクトルを補正するか否かを判断するステップをさらに含み、
前記動きベクトルを補正するか否かを判断するステップにおいて、前記参照動きベクトルのうちいずれか２つの隣接する動きベクトルの一致度レベルが所定レベルよりも大きく、且つ該動きベクトルと参照動きベクトルのいずれかとの一致度レベルが所定レベルよりも小さい場合、前記動きベクトルを参照動きベクトルのいずれかに補正すると判断する、付記１３に記載の移動目標の検出方法。
（付記１５）
前記局所類似度値を計算した後で、
各動きベクトル群について、１つ前の符号化フレームにおける局所類似度値に基づいて前記現在の符号化フレームの局所類似度値を補正するステップをさらに含む、付記１３に記載の移動目標の検出方法。
（付記１６）
１つ前の符号化フレームにおける各動きベクトル群について、前記動きベクトル群における全ての動きベクトルの平均値に基づいて、前記動きベクトル群の前記現在の符号化フレームにおける位置を予測し、
前記位置における局所類似度値は、算出された前記現在の符号化フレームにおける局所類似度値と前記１つ前の符号化フレームにおける局所類似度値との加重和であり、重み係数は所定値である、付記１５に記載の移動目標の検出方法。
（付記１７）
前記局所類似度値を計算する前に、
前記現在の符号化フレームの動きベクトルデータにバーストノイズ群が存在するか否かを検出するステップと、
前記バーストノイズ群が存在している場合、前記動きベクトルデータから前記バーストノイズ群を除去するステップと、
バーストノイズ群が除去された動きベクトルデータに対して高域フィルタリング処理を行い、フィルタリングされた動きベクトルデータを取得するステップと、をさらに含む、付記１２乃至１６のいずれかに記載の移動目標の検出方法。
（付記１８）
前記現在の符号化フレームの動きベクトルデータにバーストノイズ群が存在するか否かを検出するステップは、
前記現在の符号化フレームの動きベクトルデータの直角座標を極座標に変換するステップと、
前記動きベクトルデータの直角座標に基づいて第１のヒストグラムを構築し、前記動きベクトルデータの極座標に基づいて第２のヒストグラムを構築するステップと、
前記第１のヒストグラムに基づいて、直角座標系における出現頻度が最も高い動きベクトルの数の動きベクトルの総数に対する成分百分率及び出現頻度が最も高い直角座標値を取得し、前記第２のヒストグラムに基づいて、極座標系における出現頻度が最も高い動きベクトルの動きベクトルの総数に対する極座標百分率及び出現頻度が最も高い極座標値を取得するステップと、
非ゼロの動きベクトルデータにおいて、前記直角座標百分率及び前記極座標百分率が共に所定百分率よりも大きく、且つ前記出現頻度が最も高い直角座標値が座標値閾値よりも小さい場合、前記バーストノイズ群が存在していると決定するステップと、を含む、付記１７に記載の移動目標の検出方法。
（付記１９）
前記バーストノイズ群が存在している場合、バーストノイズ群の値は前記出現頻度が最も高い直角座標値であり、
各動きベクトルについて、該動きベクトルの直角座標系における成分が前記バーストノイズ群の値よりも大きい場合、対応する動きベクトルを前記動きベクトルと前記バーストノイズ群の値との差分に補正する、付記１８に記載の移動目標の検出方法。
（付記２０）
補正前の動きベクトルの水平方向の成分又は垂直方向の成分と補正後の水平方向の成分又は垂直方向の成分とが反対の極性を有する場合、補正前の動きベクトルの水平方向の成分又は垂直方向の成分の値を０に補正する、付記１９に記載の移動目標の検出方法。

Claims (9)

1. 現在の符号化フレームの動きベクトルデータを取得する取得手段と、
   前記現在の符号化フレームを、Ｎ個の動きベクトルにそれぞれ対応する領域に分割し、複数の動きベクトル群を形成する動きベクトル群形成手段と、
   各動きベクトル群に基づいて局所類似度値を計算し、前記現在の符号化フレームの局所類似度値マップを取得する局所類似度値計算手段と、
   前記局所類似度値マップを二値化し、二値化された局所類似度値マップを分割して複数の独立した連結領域を取得し、各前記独立した連結領域を移動目標として検出する移動目標検出手段と、を含み、
   Ｎは３よりも大きく、且つ９以下の整数であり、
   前記局所類似度値計算手段は、
   各動きベクトル群において、隣接する各２つの動きベクトル間の角度に基づいて前記隣接する各２つの動きベクトル間の類似度値を計算する第１の計算手段と、
   類似度値、角度及び一致度区分範囲の対応関係に基づいて、隣接する各２つの動きベクトル間の一致度レベルを決定する一致度決定手段であって、各一致度区分範囲が１つの一致度レベルに対応し、一致度レベルが最高レベルに属する隣接する２つの動きベクトルを強い特徴ペアとする、一致度決定手段と、
   各動きベクトルについて、少なくとも１つの強い特徴ペアに属する場合、該動きベクトルの寄与度値を第１の値に設定し、そうでない場合、該動きベクトルの寄与度値を第２の値に設定する寄与度値決定手段と、
   前記動きベクトル群における強い特徴ペアの数、隣接する各２つの動きベクトルの類似度値及び一致度レベル、並びに各動きベクトルの寄与度値に基づいて前記局所類似度値を計算する第２の計算手段と、を含む、移動目標の検出装置。
2. 前記一致度レベルを決定した後で、且つ前記強い特徴ペアを計算する前に、各動きベクトルについて、該動きベクトルに隣接するベクトルとなる参照動きベクトルに基づいて、該動きベクトルを補正するか否かを判断する判断手段をさらに含み、
   前記判断手段は、前記参照動きベクトルのうちいずれか２つの隣接する動きベクトルの一致度レベルが所定レベルよりも大きく、且つ該動きベクトルと参照動きベクトルのいずれかとの一致度レベルが所定レベルよりも小さい場合、前記動きベクトルを参照動きベクトルのいずれかに補正すると判断する、請求項１に記載の移動目標の検出装置。
3. 前記局所類似度値を計算した後で、各動きベクトル群について、１つ前の符号化フレームにおける局所類似度値に基づいて前記現在の符号化フレームの局所類似度値を補正する第１の補正手段をさらに含む、請求項１に記載の移動目標の検出装置。
4. 前記第１の補正手段は、１つ前の符号化フレームにおける各動きベクトル群について、前記動きベクトル群における全ての動きベクトルの平均値に基づいて、前記動きベクトル群の前記現在の符号化フレームにおける位置を予測し、
   前記位置における局所類似度値は、算出された前記現在の符号化フレームにおける局所類似度値と前記１つ前の符号化フレームにおける局所類似度値との加重和であり、重み係数は所定値である、請求項３に記載の移動目標の検出装置。
5. 前記局所類似度値を計算する前に、前記現在の符号化フレームの動きベクトルデータにバーストノイズ群が存在するか否かを検出するノイズ検出手段と、
   前記バーストノイズ群が存在している場合、前記動きベクトルデータから前記バーストノイズ群を除去し、バーストノイズ群が除去された動きベクトルデータに対して高域フィルタリング処理を行い、フィルタリングされた動きベクトルデータを取得するノイズ除去手段と、をさらに含む、請求項１乃至４のいずれかに記載の移動目標の検出装置。
6. 前記ノイズ検出手段は、
   前記現在の符号化フレームの動きベクトルデータの直角座標を極座標に変換する座標変換手段と、
   前記動きベクトルデータの直角座標に基づいて第１のヒストグラムを構築し、前記動きベクトルデータの極座標に基づいて第２のヒストグラムを構築する構築手段と、
   前記第１のヒストグラムに基づいて、直角座標系における出現頻度が最も高い動きベクトルの数の動きベクトルの総数に対する直角座標百分率及び出現頻度が最も高い直角座標値を取得し、前記第２のヒストグラムに基づいて、極座標系における出現頻度が最も高い動きベクトルの動きベクトルの総数に対する極座標百分率及び出現頻度が最も高い極座標値を取得する演算手段と、
   非ゼロの動きベクトルデータにおいて、前記直角座標百分率及び前記極座標百分率が共に所定百分率よりも大きく、且つ前記出現頻度が最も高い直角座標値が座標値閾値よりも小さい場合、前記バーストノイズ群が存在していると決定する比較手段と、を含む、請求項５に記載の移動目標の検出装置。
7. 前記バーストノイズ群が存在している場合、バーストノイズ群の値は前記出現頻度が最も高い直角座標値であり、
   前記移動目標の検出装置は、
   各動きベクトルについて、該動きベクトルの直角座標系における成分が前記バーストノイズ群の値よりも大きい場合、対応する動きベクトルを前記動きベクトルと前記バーストノイズ群の値との差分に補正する第２の補正手段をさらに含む、請求項６に記載の移動目標の検出装置。
8. 前記第２の補正手段は、補正前の動きベクトルの水平方向の成分又は垂直方向の成分と補正後の水平方向の成分又は垂直方向の成分とが反対の極性を有する場合、補正前の動きベクトルの水平方向の成分又は垂直方向の成分の値を０に補正する、請求項７に記載の移動目標の検出装置。
9. 現在の符号化フレームの動きベクトルデータを取得するステップと、
   前記現在の符号化フレームを、Ｎ個の動きベクトルにそれぞれ対応する領域に分割し、複数の動きベクトル群を形成するステップと、
   各動きベクトル群に基づいて局所類似度値を計算し、前記現在の符号化フレームの局所類似度値マップを取得するステップと、
   前記局所類似度値マップを二値化し、二値化された局所類似度値マップを分割して複数の独立した連結領域を取得し、各前記独立した連結領域を移動目標として検出するステップと、を含み、
   Ｎは３よりも大きく、且つ９以下の整数であり、
   前記各動きベクトル群に基づいて局所類似度値を計算し、前記現在の符号化フレームの局所類似度値マップを取得するステップは、
   各動きベクトル群において、隣接する各２つの動きベクトル間の角度に基づいて前記隣接する各２つの動きベクトル間の類似度値を計算するステップと、
   類似度値、角度及び一致度区分範囲の対応関係に基づいて、隣接する各２つの動きベクトル間の一致度レベルを決定するステップであって、各一致度区分範囲が１つの一致度レベルに対応し、一致度レベルが最高レベルに属する隣接する２つの動きベクトルを強い特徴ペアとする、ステップと、
   各動きベクトルについて、少なくとも１つの強い特徴ペアに属する場合、該動きベクトルの寄与度値を第１の値に設定し、そうでない場合、該動きベクトルの寄与度値を第２の値に設定するステップと、
   前記動きベクトル群における強い特徴ペアの数、隣接する各２つの動きベクトルの類似度値及び一致度レベル、並びに各動きベクトルの寄与度値に基づいて前記局所類似度値を計算するステップと、を含む、移動目標の検出方法。

Images