JP3573895B2 - 動物体抽出装置 - Google Patents
動物体抽出装置 Download PDFInfo
- Publication number
- JP3573895B2 JP3573895B2 JP760197A JP760197A JP3573895B2 JP 3573895 B2 JP3573895 B2 JP 3573895B2 JP 760197 A JP760197 A JP 760197A JP 760197 A JP760197 A JP 760197A JP 3573895 B2 JP3573895 B2 JP 3573895B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- motion vector
- moving
- moving object
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像中の動物体を分離し抽出する装置に関する。
【０００２】
【従来の技術】
従来、動画像中の動物体を分離し抽出する装置として、フレーム間差分による方法が知られている。別の方法として、背景差分を用いた動物体抽出装置も知られているが、この方法は、フレーム間差分による抽出装置において、過去のフレームの代わりに予め作成した背景フレームを使用することにほかならない。図７は従来のフレーム間差分による動物体抽出装置として、１９９５年電子情報通信学会総合大会Ｄ−４１４において公表されたものである。以下、図７を参照して、フレーム間差分を用いた従来の動物体抽出装置について説明する。図７において、１０００、１００１はフレームメモリ、１００２は差分部、１００３は２値化部、１００４は累積部、１００５は抽出部である。
【０００３】
以上のように構成された動物体抽出装置について、以下、その動作を説明する。入力部１００６から入力された画像は、フレームメモリ１０００に蓄積される。このとき、フレームメモリ１００１には、フレームメモリ１０００内に蓄積されている予め定められた遅延時間だけ前のフレームが転送、記録される。差分部１００２は、フレームメモリ１０００および１００１のそれぞれ対応する画素の値を読みだし、両者の差分値を２値化部１００３へ出力する。２値化部１００３は、差分部１００２からの出力の絶対値を求め、適当な閾値により、例えば、閾値以上の値を持つ画素を動領域として“１”、それ以外の画素を静止領域として“０”にそれぞれ２値化する。累積部１００４では、２値化部１００３の出力結果の予め定めたフレーム数分の論理和を求め、抽出部１００５へ出力する。抽出部１００５では、累積部１００４から出力される２値画像内の動領域を示す閉領域、つまり２値化部１００３において動領域を“１”とした場合は、“１”で形成される閉領域を塗り潰し、その結果を出力部１００７から出力する。なお、累積部１００４では、論理和ではなく、例えば電気学会通信研究会ＣＭＮ−９３−８６において公表された論理積を用いる場合もある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記した差分の絶対値により動物体を判定する方式では、画面上で動物体同士に重なりがある場合、それらの動物体は同一の動物体として抽出され、動物体同士を分離することはできないという問題があった。
【０００５】
本発明は、画面上で動物体同士に重なりがある場合でも、個々の動物体に分離して抽出することのできる動物体抽出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明による動物体抽出装置は、動きベクトル検出部と動きベクトル分類部と動物体分離部と累積数調整部と２次累積部とを備えることで、動物体の動きを利用して同一の動領域中の動物体を精度良く、分離、抽出することが可能となり、動物体の画面上で重なりや、動物体の速度に依存せず、個々の動物体を精度良く抽出することができる。
【０００８】
【発明の実施の形態】
本発明の請求項１に記載の発明は、動画像中の動領域を抽出する動領域抽出部と、動画像から動きベクトルを検出する動きベクトル検出部と、動領域内の動きベクトルを分類する動きベクトル分類部と、動きベクトル分類部での分類結果に基づいて動領域内を複数の領域に分割して動物体を分離する動物体分離部と、動物体分離部で分離された動物体毎に動きベクトルを用いて動領域の累積数を決定する累積数調整部と、累積数調整部により決定された累積数に従って動領域を累積し、最終的な動領域として抽出する２次累積部とを備えた動物体抽出装置であり、動物体の画面上での重なりや、動物体の速度に依存せず、個々の動物体を精度良く抽出できるという作用を有する。
【０００９】
請求項２記載の発明は、動きベクトル分類部が、動きベクトルを任意の射影軸に射影し、射影軸上への射影頻度を求める動きベクトル射影部と、射影軸上の射影頻度を１次元の離散関数と見なし、２次微分の零交差点や１次微分の大きさなどの数学的条件により１次元離散関数を複数の領域に分割する１次分割部と、１次分割部での射影軸上での分割結果に基づき動きベクトルを複数の組に分類する２次分割部とを備えた請求項１記載の動物体抽出装置であり、動きベクトルを分類することにより、画面内で重なりを持つ動物体を個々の動物体として分離して抽出できるという作用を有する。
【００１０】
請求項３記載の発明は、動きベクトル分類部が、動きベクトルを主成分分析する主成分分析部を備え、動きベクトル射影部が、動きベクトルの主成分軸と主成分軸の法線方向の軸との各軸上へ動きベクトルを射影し、各射影軸上への射影頻度を求める請求項２記載の動物体抽出装置であり、動きベクトルを分類することにより、画面内で重なりを持つ動物体を個々の動物体として分離して抽出できるという作用を有する。
【００１２】
以下、本発明の実施の形態について、図１から図６を用いて説明する。
（実施の形態１）
図１は本発明の第１の実施の形態における動物体分離装置の構成を示したものである。図１において、１１は動画像中の動領域を抽出する動領域抽出部、１２は動画像から動きベクトルを検出する動きベクトル検出部、１３は検出された動きベクトルを蓄積するメモリ、１４は動領域内の動きベクトルを分類する動きベクトル分類部、１５は動きベクトル分類部１４での分類結果に基づいて動領域内を複数の領域に分割して動物体を分離する動物体分離部である。
【００１３】
次に、上記のように構成された動物体分離装置の動作について説明する。動領域抽出部１１は、入力部１６から順次入力されるフレームの動領域を、フレーム間差分を用いて抽出する。動きベクトル検出部１２は、入力部１６から順次入力されるフレームを用いて、動領域抽出部１１で抽出された動領域の動きベクトルを検出する。この動きベクトルは、メモリ１３に蓄積される。動きベクトル分類部１４では、メモリ１３から順次動きベクトルを呼び出し、動きベクトルの分類法を決定した後、その分類法に基づいて、動きベクトルを分類する。動物体分離部１５では、動きベクトル分類部１４の分類結果を基に、動領域抽出部１１で抽出された動領域を分割し、その結果を出力部１７から出力する。なお、動領域抽出部１１としては、図７のフレーム間差分を用いた動物体抽出装置をそのまま用いるが、背景差分を用いた動物体抽出装置を使用しても良い。
【００１４】
図２は本実施の形態における動きベクトル検出部１２の構成を示したものである。図２に示す動きベクトル検出部１２は、予め定められたブロック単位、例えば１６×１６画素単位で、ブロックマッチング法により動きベクトルを検出する。図２において、２１はフレームメモリであり、図１の入力部１６から入力されたフレームは、ここに蓄積される。このとき、別のフレームメモリ２２には、フレームメモリ２１内に蓄積されている予め定められた遅延時間だけ前のフレームが転送、蓄積される。マッチング位置制御部２３では、動領域抽出部１１から入力される動領域に基づいて、動きベクトルを検出すべきブロックを決定する。マッチング位置制御部２３は、動きベクトルを検出すべきブロックに対し、予め設定された動きベクトルの探索範囲内を全て探索するように、ブロックのマッチング位置を制御し、マッチング部２４およびベクトル判定部２５へ通知する。また、マッチング位置制御部２３は、全ての探索範囲を探索し終えた後、その旨をベクトル判定部２５へ出力する。マッチング部２４では、マッチング位置制御部２３から入力されるマッチング位置に従って、フレームメモリ２１、２２内の該当する位置のブロックをそれぞれ読みだし、マッチングを取る。マッチングとしては、例えば２つのブロック内の同位置にある画素同士の差分値の絶対値のブロック内総和を用いる。マッチング結果は、ベクトル判定部２５へ送られ、ブロック毎に、マッチングの結果が最小となった位置が動きベクトルとして図１のメモリ１３へ出力される。動きベクトルを検出する必要のないブロックに対しては、動きベクトルは検出されない。
【００１５】
なお、上記動きベクトル検出部１２では、ブロックマッチング法を用いて動きベクトルを検出しているが、勾配法など、その他の方法により動きベクトルを検出しても良い。この場合、動きベクトルは、検出方法に応じて、画素毎、領域毎に出力される。
【００１６】
図３は本実施の形態における動きベクトル分類部１４および動物体分離部１５の構成を示したものである。図３において、動きベクトル分類部１４は、図１のメモリ１３から入力される動きベクトルを複数の組に分類して、動物体分離部１５へ出力する。動物体分離部１５は、動きベクトル分類部１４での分類結果を用いて、動領域抽出部１１から入力される動領域をラベリングし、その結果を出力部１７へ出力する。動きベクトル分類部１４は、主成分分析部３１、動きベクトル射影部３２、１ 次分割部３５、２次分割部３６とから構成される。主成分分析部３１は、メモリ１３から入力される動きベクトルを主成分分析し、主成分軸とそれに直交する軸とを検出する。以下、この２軸を射影軸と呼ぶ。動きベクトル射影部３２は、射影部３３とメモリ３４とから構成される。射影部３３は、まず、主成分分析部３１で検出された射影軸を適当な間隔で量子化し、その結果を２次分割部３６へ出力する。その後、射影部３３は、メモリ１３から入力される動きベクトルを各射影軸へ射影し、その頻度分布を射影軸毎にメモリ３４へと蓄積する。１次分割部３５は、メモリ３４に蓄積された射影軸毎の頻度分布を１次元の離散関数とみなし、その極小点を分割位置として２次分割部３６へ出力する。２次分割部３６は、テーブル作成部３７とメモリ３８と分類部３９とから構成される。テーブル作成部３７は、動きベクトル射影部３２から入力される射影軸、量子化幅と、次分割部３５から入力される各射影軸の分割位置とを基に、２次元ベクトル空間を複数の組に分割し、その結果をテーブルとしてメモリ３８に蓄積する。分類部３９は、メモリ１３から入力される動きベクトルをメモリ３８内のテーブルを基に分類し、その結果を動物体分離部１５へ出力する。動物体分離部１５は、メモリ４０とラベリング部４１とから構成される。メモリ４０は、２次分割部３６により分類された動きベクトルの分類結果を蓄積する。ラベリング部４１は、動領域抽出部１１から入力される動領域と、メモリ４０内の動きベクトルの分類結果とを対応付けて、同じ動領域内で、同じ組に属する動きベクトルをもつ領域を一つの動物体とみなして、その位置を図１の出力部１７へ出力する。
【００１７】
図４は図３における１次分割部３５の構成を示したものである。図４において、差分部５１と遅延部５２とは、図３のメモリ３４から入力される１次元の離散関数の１次微分を算出し、差分部５３と遅延部５４とは、メモリ１３から入力される１次元の離散関数の２次微分を算出する。差分部５１は、メモリ１３から順次入力される１次元の離散関数の現在の値と、遅延部５２から入力される一つ前の値との差分を計算する。差分部５３は、差分部５４から順次入力される１次微分値の現在の値と、遅延部５２から入力される一つ前の値との差分を計算する。符号比較部５５は、差分部５３から順次入力される２次微分値の現在の値と、遅延部５６から入力される一つ前の値との符号を比較し、零交差点を検出し、その位置をメモリ５７へと蓄積する。
【００１８】
なお、上記１次分割部３５では、２次微分の零交差点により１次元離散関数を分離しているが、微分計算の前に低域通過型のフィルタを通したり、零交差点付近の１次微分の大きさと組み合わせて条件をきめるなど、他の方法により分離しても良い。
【００１９】
このように、上記第１の実施の形態によれば、動きベクトル検出部と動きベクトル分類部と動物体分離部とを設けることで、動物体の動きを利用して同一の動領域中の動物体を分離することが可能となり、画面上で重なりを持つ動物体を個々の動物体に分離することができる。
【００２０】
（実施の形態２）
次に、本発明の第２の実施の形態について説明する。図５は本実施の形態における動物体抽出装置の構成を示したものである。図５において、動物体抽出装置６１は、動物体分離装置６２と２次累積部６３と累積数調整部６４とから構成される。動物体分離装置６２は、図１と同じものであり、図７と同じ構成を有する動領域抽出部１１は２値化部１１ａを有する。２次累積部６３は、累積メモリ６５と累積制御部６６とから構成される。また、累積数調整部６４は、平均ベクトル算出部６７と累積数決定部６８とから構成される。平均ベクトル算出部６７は、動物体分離装置６２により分離された動物体毎に動きベクトルの平均を求める。つまり、動物体分離装置６２の出力部１７からは各動物体の位置が出力されるので、その位置における動きベクトルを動物体分離装置６２内のメモリ１３から読みだし、その平均を求める。累積数決定部６８では、平均ベクトル算出部６７から入力される平均ベクトルを用いて動物体毎に累積数を決定する。例えば、動物体Ａの平均ベクトルＭＶ−Ａの値が、ＸＹ座標で、（０．５，１．２）の場合、各要素を整数倍した時に、各要素が２以上になる最小の整数値４を動物体Ａの累積数とする。累積メモリ６５は、例えば８ビットのフレームメモリであり、動物体分離装置６２内の２値化部１１ａの出力を、図６のように８フレーム分蓄積する。つまり、ＬＳＢが現在の出力結果、ＭＳＢが７フレーム前の出力結果となる。累積制御部６６は、動物体毎に、累積数調整部６４で決められた累積数に従い、累積メモリ６５の蓄積結果から動物体を判定して出力部６９に出力する。例えば、累積メモリ６５内に図６の形式で動領域の結果が蓄積されている場合、累積数が４の動物体に対しては、累積メモリ６５から読み出した値の下位４ビットが全て０か否かを判定する。全て０の場合、過去４フレームにおいて一度も動領域と判定されていないので、その領域は動物体ではないと判定する。それ以外の領域は動物体として判定し、出力部６９から出力する。
【００２１】
このように、上記第２の実施の形態によれば、上記した動領域分離装置と累積数調整部と２次累積部とを設けることで、動物体の動きを利用して同一の動領域中の動物体を精度良く、分離、抽出することが可能となり、動物体の画面上での重なりや、動物体の速度に依存せず、個々の動物体を精度良く抽出することができる。
【００２２】
【発明の効果】
以上のように、本発明の動物体抽出装置では、動きベクトル検出部と動きベクトル分類部と動物体分離部とを設けることで、動物体の動きを利用して同一の動領域中の動物体を分離することが可能となり、さらに累積数調整部と２次累積部とを設けることで、動物体の動きを利用して同一の動領域中の動物体を精度良く、分離、抽出することが可能となり、動物体の画面上での重なりや、動物体の速度に依存せず、個々の動物体を精度良く抽出することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における動物体分離装置の構成を示すブロック図
【図２】本発明の実施の形態１における動きベクトル検出部の構成を示すブロック図
【図３】本発明の実施の形態１における動きベクトル分類部と動物体分離部の構成を示すブロック図
【図４】本発明の実施の形態１における１次分割部の構成を示すブロック図
【図５】本発明の実施の形態２における動物体抽出装置の構成を示すブロック図
【図６】本発明の実施の形態２における累積メモリの構成を示す模式図
【図７】従来の動物体抽出装置の構成を示すブロック図
【符号の説明】
１１ 動領域抽出部
１２ 動きベクトル検出部
１３ メモリ
１４ 動きベクトル分類部
１５ 動物体分離部
１６ 入力部
１７ 出力部
２１ フレームメモリ
２２ フレームメモリ
２３ 検出位置制御部
２４ マッチング部
２５ ベクトル判定部
３１ 主成分分析部
３２ 動きベクトル射影部
３３ 射影部
３４ メモリ
３５ １次分割部
３６ ２次分割部
３７ テーブル作成部
３８ メモリ
３９ 分類部
４０ メモリ
４１ ラベリング部
５１ 差分部
５２ 遅延部
５３ 差分部
５４ 遅延部
５５ 符号比較部
５６ 遅延部
５７ メモリ
６１ 動物体抽出装置
６２ 動物体分離装置
６３ ２次累積部
６４ 累積数調整部
６５ 累積メモリ
６６ 累積制御部
６７ 平均ベクトル算出部
６８ 累積数決定部
６９ 出力部
【発明の属する技術分野】
本発明は、動画像中の動物体を分離し抽出する装置に関する。
【０００２】
【従来の技術】
従来、動画像中の動物体を分離し抽出する装置として、フレーム間差分による方法が知られている。別の方法として、背景差分を用いた動物体抽出装置も知られているが、この方法は、フレーム間差分による抽出装置において、過去のフレームの代わりに予め作成した背景フレームを使用することにほかならない。図７は従来のフレーム間差分による動物体抽出装置として、１９９５年電子情報通信学会総合大会Ｄ−４１４において公表されたものである。以下、図７を参照して、フレーム間差分を用いた従来の動物体抽出装置について説明する。図７において、１０００、１００１はフレームメモリ、１００２は差分部、１００３は２値化部、１００４は累積部、１００５は抽出部である。
【０００３】
以上のように構成された動物体抽出装置について、以下、その動作を説明する。入力部１００６から入力された画像は、フレームメモリ１０００に蓄積される。このとき、フレームメモリ１００１には、フレームメモリ１０００内に蓄積されている予め定められた遅延時間だけ前のフレームが転送、記録される。差分部１００２は、フレームメモリ１０００および１００１のそれぞれ対応する画素の値を読みだし、両者の差分値を２値化部１００３へ出力する。２値化部１００３は、差分部１００２からの出力の絶対値を求め、適当な閾値により、例えば、閾値以上の値を持つ画素を動領域として“１”、それ以外の画素を静止領域として“０”にそれぞれ２値化する。累積部１００４では、２値化部１００３の出力結果の予め定めたフレーム数分の論理和を求め、抽出部１００５へ出力する。抽出部１００５では、累積部１００４から出力される２値画像内の動領域を示す閉領域、つまり２値化部１００３において動領域を“１”とした場合は、“１”で形成される閉領域を塗り潰し、その結果を出力部１００７から出力する。なお、累積部１００４では、論理和ではなく、例えば電気学会通信研究会ＣＭＮ−９３−８６において公表された論理積を用いる場合もある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記した差分の絶対値により動物体を判定する方式では、画面上で動物体同士に重なりがある場合、それらの動物体は同一の動物体として抽出され、動物体同士を分離することはできないという問題があった。
【０００５】
本発明は、画面上で動物体同士に重なりがある場合でも、個々の動物体に分離して抽出することのできる動物体抽出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明による動物体抽出装置は、動きベクトル検出部と動きベクトル分類部と動物体分離部と累積数調整部と２次累積部とを備えることで、動物体の動きを利用して同一の動領域中の動物体を精度良く、分離、抽出することが可能となり、動物体の画面上で重なりや、動物体の速度に依存せず、個々の動物体を精度良く抽出することができる。
【０００８】
【発明の実施の形態】
本発明の請求項１に記載の発明は、動画像中の動領域を抽出する動領域抽出部と、動画像から動きベクトルを検出する動きベクトル検出部と、動領域内の動きベクトルを分類する動きベクトル分類部と、動きベクトル分類部での分類結果に基づいて動領域内を複数の領域に分割して動物体を分離する動物体分離部と、動物体分離部で分離された動物体毎に動きベクトルを用いて動領域の累積数を決定する累積数調整部と、累積数調整部により決定された累積数に従って動領域を累積し、最終的な動領域として抽出する２次累積部とを備えた動物体抽出装置であり、動物体の画面上での重なりや、動物体の速度に依存せず、個々の動物体を精度良く抽出できるという作用を有する。
【０００９】
請求項２記載の発明は、動きベクトル分類部が、動きベクトルを任意の射影軸に射影し、射影軸上への射影頻度を求める動きベクトル射影部と、射影軸上の射影頻度を１次元の離散関数と見なし、２次微分の零交差点や１次微分の大きさなどの数学的条件により１次元離散関数を複数の領域に分割する１次分割部と、１次分割部での射影軸上での分割結果に基づき動きベクトルを複数の組に分類する２次分割部とを備えた請求項１記載の動物体抽出装置であり、動きベクトルを分類することにより、画面内で重なりを持つ動物体を個々の動物体として分離して抽出できるという作用を有する。
【００１０】
請求項３記載の発明は、動きベクトル分類部が、動きベクトルを主成分分析する主成分分析部を備え、動きベクトル射影部が、動きベクトルの主成分軸と主成分軸の法線方向の軸との各軸上へ動きベクトルを射影し、各射影軸上への射影頻度を求める請求項２記載の動物体抽出装置であり、動きベクトルを分類することにより、画面内で重なりを持つ動物体を個々の動物体として分離して抽出できるという作用を有する。
【００１２】
以下、本発明の実施の形態について、図１から図６を用いて説明する。
（実施の形態１）
図１は本発明の第１の実施の形態における動物体分離装置の構成を示したものである。図１において、１１は動画像中の動領域を抽出する動領域抽出部、１２は動画像から動きベクトルを検出する動きベクトル検出部、１３は検出された動きベクトルを蓄積するメモリ、１４は動領域内の動きベクトルを分類する動きベクトル分類部、１５は動きベクトル分類部１４での分類結果に基づいて動領域内を複数の領域に分割して動物体を分離する動物体分離部である。
【００１３】
次に、上記のように構成された動物体分離装置の動作について説明する。動領域抽出部１１は、入力部１６から順次入力されるフレームの動領域を、フレーム間差分を用いて抽出する。動きベクトル検出部１２は、入力部１６から順次入力されるフレームを用いて、動領域抽出部１１で抽出された動領域の動きベクトルを検出する。この動きベクトルは、メモリ１３に蓄積される。動きベクトル分類部１４では、メモリ１３から順次動きベクトルを呼び出し、動きベクトルの分類法を決定した後、その分類法に基づいて、動きベクトルを分類する。動物体分離部１５では、動きベクトル分類部１４の分類結果を基に、動領域抽出部１１で抽出された動領域を分割し、その結果を出力部１７から出力する。なお、動領域抽出部１１としては、図７のフレーム間差分を用いた動物体抽出装置をそのまま用いるが、背景差分を用いた動物体抽出装置を使用しても良い。
【００１４】
図２は本実施の形態における動きベクトル検出部１２の構成を示したものである。図２に示す動きベクトル検出部１２は、予め定められたブロック単位、例えば１６×１６画素単位で、ブロックマッチング法により動きベクトルを検出する。図２において、２１はフレームメモリであり、図１の入力部１６から入力されたフレームは、ここに蓄積される。このとき、別のフレームメモリ２２には、フレームメモリ２１内に蓄積されている予め定められた遅延時間だけ前のフレームが転送、蓄積される。マッチング位置制御部２３では、動領域抽出部１１から入力される動領域に基づいて、動きベクトルを検出すべきブロックを決定する。マッチング位置制御部２３は、動きベクトルを検出すべきブロックに対し、予め設定された動きベクトルの探索範囲内を全て探索するように、ブロックのマッチング位置を制御し、マッチング部２４およびベクトル判定部２５へ通知する。また、マッチング位置制御部２３は、全ての探索範囲を探索し終えた後、その旨をベクトル判定部２５へ出力する。マッチング部２４では、マッチング位置制御部２３から入力されるマッチング位置に従って、フレームメモリ２１、２２内の該当する位置のブロックをそれぞれ読みだし、マッチングを取る。マッチングとしては、例えば２つのブロック内の同位置にある画素同士の差分値の絶対値のブロック内総和を用いる。マッチング結果は、ベクトル判定部２５へ送られ、ブロック毎に、マッチングの結果が最小となった位置が動きベクトルとして図１のメモリ１３へ出力される。動きベクトルを検出する必要のないブロックに対しては、動きベクトルは検出されない。
【００１５】
なお、上記動きベクトル検出部１２では、ブロックマッチング法を用いて動きベクトルを検出しているが、勾配法など、その他の方法により動きベクトルを検出しても良い。この場合、動きベクトルは、検出方法に応じて、画素毎、領域毎に出力される。
【００１６】
図３は本実施の形態における動きベクトル分類部１４および動物体分離部１５の構成を示したものである。図３において、動きベクトル分類部１４は、図１のメモリ１３から入力される動きベクトルを複数の組に分類して、動物体分離部１５へ出力する。動物体分離部１５は、動きベクトル分類部１４での分類結果を用いて、動領域抽出部１１から入力される動領域をラベリングし、その結果を出力部１７へ出力する。動きベクトル分類部１４は、主成分分析部３１、動きベクトル射影部３２、１ 次分割部３５、２次分割部３６とから構成される。主成分分析部３１は、メモリ１３から入力される動きベクトルを主成分分析し、主成分軸とそれに直交する軸とを検出する。以下、この２軸を射影軸と呼ぶ。動きベクトル射影部３２は、射影部３３とメモリ３４とから構成される。射影部３３は、まず、主成分分析部３１で検出された射影軸を適当な間隔で量子化し、その結果を２次分割部３６へ出力する。その後、射影部３３は、メモリ１３から入力される動きベクトルを各射影軸へ射影し、その頻度分布を射影軸毎にメモリ３４へと蓄積する。１次分割部３５は、メモリ３４に蓄積された射影軸毎の頻度分布を１次元の離散関数とみなし、その極小点を分割位置として２次分割部３６へ出力する。２次分割部３６は、テーブル作成部３７とメモリ３８と分類部３９とから構成される。テーブル作成部３７は、動きベクトル射影部３２から入力される射影軸、量子化幅と、次分割部３５から入力される各射影軸の分割位置とを基に、２次元ベクトル空間を複数の組に分割し、その結果をテーブルとしてメモリ３８に蓄積する。分類部３９は、メモリ１３から入力される動きベクトルをメモリ３８内のテーブルを基に分類し、その結果を動物体分離部１５へ出力する。動物体分離部１５は、メモリ４０とラベリング部４１とから構成される。メモリ４０は、２次分割部３６により分類された動きベクトルの分類結果を蓄積する。ラベリング部４１は、動領域抽出部１１から入力される動領域と、メモリ４０内の動きベクトルの分類結果とを対応付けて、同じ動領域内で、同じ組に属する動きベクトルをもつ領域を一つの動物体とみなして、その位置を図１の出力部１７へ出力する。
【００１７】
図４は図３における１次分割部３５の構成を示したものである。図４において、差分部５１と遅延部５２とは、図３のメモリ３４から入力される１次元の離散関数の１次微分を算出し、差分部５３と遅延部５４とは、メモリ１３から入力される１次元の離散関数の２次微分を算出する。差分部５１は、メモリ１３から順次入力される１次元の離散関数の現在の値と、遅延部５２から入力される一つ前の値との差分を計算する。差分部５３は、差分部５４から順次入力される１次微分値の現在の値と、遅延部５２から入力される一つ前の値との差分を計算する。符号比較部５５は、差分部５３から順次入力される２次微分値の現在の値と、遅延部５６から入力される一つ前の値との符号を比較し、零交差点を検出し、その位置をメモリ５７へと蓄積する。
【００１８】
なお、上記１次分割部３５では、２次微分の零交差点により１次元離散関数を分離しているが、微分計算の前に低域通過型のフィルタを通したり、零交差点付近の１次微分の大きさと組み合わせて条件をきめるなど、他の方法により分離しても良い。
【００１９】
このように、上記第１の実施の形態によれば、動きベクトル検出部と動きベクトル分類部と動物体分離部とを設けることで、動物体の動きを利用して同一の動領域中の動物体を分離することが可能となり、画面上で重なりを持つ動物体を個々の動物体に分離することができる。
【００２０】
（実施の形態２）
次に、本発明の第２の実施の形態について説明する。図５は本実施の形態における動物体抽出装置の構成を示したものである。図５において、動物体抽出装置６１は、動物体分離装置６２と２次累積部６３と累積数調整部６４とから構成される。動物体分離装置６２は、図１と同じものであり、図７と同じ構成を有する動領域抽出部１１は２値化部１１ａを有する。２次累積部６３は、累積メモリ６５と累積制御部６６とから構成される。また、累積数調整部６４は、平均ベクトル算出部６７と累積数決定部６８とから構成される。平均ベクトル算出部６７は、動物体分離装置６２により分離された動物体毎に動きベクトルの平均を求める。つまり、動物体分離装置６２の出力部１７からは各動物体の位置が出力されるので、その位置における動きベクトルを動物体分離装置６２内のメモリ１３から読みだし、その平均を求める。累積数決定部６８では、平均ベクトル算出部６７から入力される平均ベクトルを用いて動物体毎に累積数を決定する。例えば、動物体Ａの平均ベクトルＭＶ−Ａの値が、ＸＹ座標で、（０．５，１．２）の場合、各要素を整数倍した時に、各要素が２以上になる最小の整数値４を動物体Ａの累積数とする。累積メモリ６５は、例えば８ビットのフレームメモリであり、動物体分離装置６２内の２値化部１１ａの出力を、図６のように８フレーム分蓄積する。つまり、ＬＳＢが現在の出力結果、ＭＳＢが７フレーム前の出力結果となる。累積制御部６６は、動物体毎に、累積数調整部６４で決められた累積数に従い、累積メモリ６５の蓄積結果から動物体を判定して出力部６９に出力する。例えば、累積メモリ６５内に図６の形式で動領域の結果が蓄積されている場合、累積数が４の動物体に対しては、累積メモリ６５から読み出した値の下位４ビットが全て０か否かを判定する。全て０の場合、過去４フレームにおいて一度も動領域と判定されていないので、その領域は動物体ではないと判定する。それ以外の領域は動物体として判定し、出力部６９から出力する。
【００２１】
このように、上記第２の実施の形態によれば、上記した動領域分離装置と累積数調整部と２次累積部とを設けることで、動物体の動きを利用して同一の動領域中の動物体を精度良く、分離、抽出することが可能となり、動物体の画面上での重なりや、動物体の速度に依存せず、個々の動物体を精度良く抽出することができる。
【００２２】
【発明の効果】
以上のように、本発明の動物体抽出装置では、動きベクトル検出部と動きベクトル分類部と動物体分離部とを設けることで、動物体の動きを利用して同一の動領域中の動物体を分離することが可能となり、さらに累積数調整部と２次累積部とを設けることで、動物体の動きを利用して同一の動領域中の動物体を精度良く、分離、抽出することが可能となり、動物体の画面上での重なりや、動物体の速度に依存せず、個々の動物体を精度良く抽出することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における動物体分離装置の構成を示すブロック図
【図２】本発明の実施の形態１における動きベクトル検出部の構成を示すブロック図
【図３】本発明の実施の形態１における動きベクトル分類部と動物体分離部の構成を示すブロック図
【図４】本発明の実施の形態１における１次分割部の構成を示すブロック図
【図５】本発明の実施の形態２における動物体抽出装置の構成を示すブロック図
【図６】本発明の実施の形態２における累積メモリの構成を示す模式図
【図７】従来の動物体抽出装置の構成を示すブロック図
【符号の説明】
１１ 動領域抽出部
１２ 動きベクトル検出部
１３ メモリ
１４ 動きベクトル分類部
１５ 動物体分離部
１６ 入力部
１７ 出力部
２１ フレームメモリ
２２ フレームメモリ
２３ 検出位置制御部
２４ マッチング部
２５ ベクトル判定部
３１ 主成分分析部
３２ 動きベクトル射影部
３３ 射影部
３４ メモリ
３５ １次分割部
３６ ２次分割部
３７ テーブル作成部
３８ メモリ
３９ 分類部
４０ メモリ
４１ ラベリング部
５１ 差分部
５２ 遅延部
５３ 差分部
５４ 遅延部
５５ 符号比較部
５６ 遅延部
５７ メモリ
６１ 動物体抽出装置
６２ 動物体分離装置
６３ ２次累積部
６４ 累積数調整部
６５ 累積メモリ
６６ 累積制御部
６７ 平均ベクトル算出部
６８ 累積数決定部
６９ 出力部
Claims (3)
- 動画像中の動領域を抽出する動領域抽出部と、動画像から動きベクトルを検出する動きベクトル検出部と、動領域内の動きベクトルを分類する動きベクトル分類部と、前記動きベクトル分類部での分類結果に基づいて動領域内を複数の領域に分割して動物体を分離する動物体分離部と、前記動物体分離部で分離された動物体毎に動きベクトルを用いて動領域の累積数を決定する累積数調整部と、前記累積数調整部により決定された累積数に従って動領域を累積し、最終的な動領域として抽出する２次累積部とを備えた動物体抽出装置。
- 前記動きベクトル分類部が、動きベクトルを任意の射影軸に射影し、射影軸上への射影頻度を求める動きベクトル射影部と、射影軸上の射影頻度を１次元の離散関数と見なし、２次微分の零交差点や１次微分の大きさなどの数学的条件により１次元離散関数を複数の領域に分割する１次分割部と、前記１次分割部での射影軸上での分割結果に基づき動きベクトルを複数の組に分類する２次分割部とを備えた請求項１記載の動物体抽出装置。
- 前記動きベクトル分類部が、動きベクトルを主成分分析する主成分分析部を備え、前記動きベクトル射影部が、動きベクトルの主成分軸と主成分軸の法線方向の軸との各軸上へ動きベクトルを射影し、各射影軸上への射影頻度を求める請求項２記載の動物体抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP760197A JP3573895B2 (ja) | 1997-01-20 | 1997-01-20 | 動物体抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP760197A JP3573895B2 (ja) | 1997-01-20 | 1997-01-20 | 動物体抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10208057A JPH10208057A (ja) | 1998-08-07 |
| JP3573895B2 true JP3573895B2 (ja) | 2004-10-06 |
Family
ID=11670332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP760197A Expired - Fee Related JP3573895B2 (ja) | 1997-01-20 | 1997-01-20 | 動物体抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3573895B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4818430B2 (ja) * | 2009-12-28 | 2011-11-16 | 富士通セミコンダクター株式会社 | 移動物体認識方法及び装置 |
| JP5938631B2 (ja) * | 2011-12-19 | 2016-06-22 | パナソニックＩｐマネジメント株式会社 | 物体検出装置及び物体検出方法 |
| JP6157242B2 (ja) * | 2013-06-28 | 2017-07-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| DE102013222405A1 (de) * | 2013-11-05 | 2015-05-07 | Robert Bosch Gmbh | Vorrichtung zum Überwachen eines Betriebs eines induktiven Elements |
| WO2017094216A1 (ja) * | 2015-12-04 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置 |
-
1997
- 1997-01-20 JP JP760197A patent/JP3573895B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10208057A (ja) | 1998-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3892059B2 (ja) | 動物体追跡装置 | |
| Denman et al. | An adaptive optical flow technique for person tracking systems | |
| KR940003370A (ko) | 영상신호의 운동벡터 검출방법 | |
| CN112561951B (zh) | 一种基于帧差绝对误差和sad的运动和亮度检测方法 | |
| Sakpal et al. | Adaptive background subtraction in images | |
| KR20050085355A (ko) | 분할된 이미지로부터 폴스 엣지들을 제거하는 방법 및 장치 | |
| CN109729298A (zh) | 图像处理方法与图像处理装置 | |
| JP3573895B2 (ja) | 動物体抽出装置 | |
| Filonenko et al. | Illegally parked vehicle detection using adaptive dual background model | |
| KR102152006B1 (ko) | 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램 | |
| Denman et al. | Adaptive optical flow for person tracking | |
| JPH07249128A (ja) | 車両用画像処理装置 | |
| JP2001061152A5 (ja) | ||
| JP2011087144A (ja) | テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム | |
| Low et al. | Frame Based Object Detection--An Application for Traffic Monitoring | |
| TWI716049B (zh) | 前景及背景影像判斷方法 | |
| Holtzhausen et al. | An illumination invariant framework for real-time foreground detection | |
| JP2001307104A (ja) | 動画像のオブジェクト抽出装置 | |
| JP3237815B2 (ja) | 動きベクトル探索方法および装置 | |
| Kong et al. | Tracking of persons for video surveillance of unattended environments | |
| JPH10105689A (ja) | 移動体挙動検知装置 | |
| JPH0259977A (ja) | ブロック統合処理方式 | |
| Shukla et al. | An Algorithmic Approach for Real Time People Counting with Moving Background | |
| JPH0383474A (ja) | 車両検出装置 | |
| JP2002109546A (ja) | 背景画像の取得方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040630 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |