JP3573875B2

JP3573875B2 - 動物体抽出装置

Info

Publication number: JP3573875B2
Application number: JP16793496A
Authority: JP
Inventors: 澤和史水; 村健児北; 中武久田; 岡利和藤; 基孫中; 真人森
Original assignee: Tokyo Electric Power Co Inc; Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Tokyo Electric Power Co Inc; Panasonic Corp; Panasonic Holdings Corp
Priority date: 1996-06-27
Filing date: 1996-06-27
Publication date: 2004-10-06
Anticipated expiration: 2016-06-27
Also published as: JPH1011586A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像中の動物体を抽出する動物体抽出装置に関する。
【０００２】
【従来の技術】
従来、動画像中の動物体を抽出する装置として、フレーム間差分を用いた装置が知られている。図５は、従来のフレーム間差分による動物体抽出装置の一例であり、１９９５年電子情報通信学会総合大会Ｄ−４１４で発表されたものである。以下、図５を参照して、フレーム間差分を用いた従来の動物体抽出装置について説明する。
【０００３】
図５において、１０００、１００１はフレームメモリ、１００２は差分部、１００３は２値化部、１００４は累積部、１００５は抽出部である。
【０００４】
以上のように構成された動物体抽出装置について、以下、その動作を説明する。入力部１００６から入力された画像データは、フレームメモリ１０００に記憶される。このとき、フレームメモリ１００１には、フレームメモリ１０００内に記憶されている予め定められた遅延時間だけ前のフレームが転送、記録される。差分部１００２は、フレームメモリ１０００、１００１のそれぞれ対応する画素の値を読み出し、両者の差分値を２値化部１００３へ出力する。２値化部１００３は、別途定められた閾値により、差分部１００２からの出力を、例えば閾値以上の値を持つ画素を動領域として１、それ以外の画素を静止領域として０にそれぞれ２値化する。累積部１００４では、２値化部１００３の出力結果の予め定められたフレーム数分の論理和を求め、抽出部１００５へ出力する。抽出部１００５では、累積部１００４から出力される２値画像内の動領域を示す閉領域、すなわち２値化部１００３において動領域を１とした場合は１で形成される閉領域を塗り潰し、その結果を出力部１００７から出力する。なお、累積部１００４では、論理和ではなく、例えば電気学会通信研究会ＣＭＮ−９３−８６の発表論文に見られるように論理積を使用する場合もある。
【０００５】
【発明が解決しようとする課題】
フレーム間差分を用いて抽出される領域は、動物体の境界を含むことが多い。フレーム間差分を用いた動物体抽出装置では、この性質を利用して、フレーム間差分を用いて抽出した領域により形成される閉領域を動物体として抽出することが一般的である。したがって、このような動物体抽出装置では、フレーム間差分を用いて抽出した領域の精度が動物体の検出精度を左右し、動物体の移動速度に動物体の抽出精度が左右されることになる。また、画面上のノイズも抽出精度に大きく影響する。
【０００６】
本発明は、このようなフレーム間差分を用いた動物体抽出装置において、動物体の移動速度が抽出結果に与える影響を小さくしたり、不要なノイズを効果的に除去したりすることで、抽出領域の精度を向上することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の動物体抽出装置では、累積フレーム決定部を設けることにより、複数の処理結果を過不足なく組み合わせることを可能としたものであり、また、フィルタ部を絶対値算出部と２値化部との間に設けることで、原画像に含まれるノイズのみの除去を可能としたものであり、これにより、フレーム間差分を用いた動物体抽出の精度を向上することができる。
【０００８】
【発明の実施の形態】
本発明の請求項１に記載の発明は、フレーム間差分を用いて動画像中の任意のフレームにおける動物体の候補領域を抽出する候補領域抽出部と、候補領域抽出部の出力結果を数フレーム分記憶する候補領域記憶部と、フレームの動ベクトルを検出するベクトル検出部と、ベクトル検出部で検出した動ベクトルを用いて画素毎に累積すべきフレームを決定する累積フレーム決定部と、候補領域記憶部内の動物体の候補領域を累積フレーム決定部により指定されたフレームだけ累積して動物体を抽出する累積抽出部と備えた動物体抽出装置であり、複数の処理結果を過不足なく組み合わせることにより、動物体の抽出精度を向上するという作用を有する。
【０００９】
請求項２記載の発明は、累積抽出部が、動物体の候補領域の累積を各画素値の論理積により求めることを特徴とする請求項１記載の動物体抽出装置であり、複数の処理結果を過不足なく組み合わせることにより、動物体の抽出精度を向上するという作用を有する。
【００１０】
請求項３記載の発明は、候補領域抽出部が、フレーム間差分を計算する差分算出部と、差分算出部の出力の絶対値を計算する絶対値算出部と、絶対値算出部から出力される絶対差分画像をフィルタリングするフィルタ部と、フィルタ部からの出力を適当な閾値により２値化する２値化部とを有する請求項２記載の動物体抽出装置であり、原画像に含まれるノイズのみを除去することにより、動物体の抽出精度を向上するという作用を有する。
【００１１】
請求項４記載の発明は、累積フレーム決定部が、ベクトル検出部で検出した動ベクトルの大きさにより累積の有無を判定する累積判定部と、累積判定部の結果を適用する画素を動ベクトルにより決定する適用画素決定部とを有する請求項３記載の動物体抽出装置であり、複数の処理結果を過不足なく組み合わせることにより、動物体の抽出精度を向上するという作用を有する。
【００１２】
請求項５記載の発明は、累積フレーム決定部が、適用画素決定部から画素毎に出力される累積の適否を数フレーム分記憶する累積可否記憶部と、累積可否記憶部の内容から累積すべきフレームを決定する累積フレーム算出部とを有する請求項４記載の動物体抽出装置であり、複数の処理結果を過不足なく組み合わせることにより、動物体の抽出精度を向上するという作用を有する。
【００１３】
以下、本発明の実施の形態について、図１から図４を用いて説明する。
（実施の形態）
図１は本発明の実施の形態における動物体抽出装置の構成を示すものである。図１において、１１はフレーム間差分を用いて動画像中の任意のフレームにおける動物体の候補領域を抽出する候補領域抽出部、１２は候補領域抽出部１１の出力結果を数フレーム分記憶する候補領域記憶部、１３はフレームの動ベクトルを検出するベクトル検出部、１４はベクトル検出部１３で検出された動ベクトルを用いて画素毎に累積すべきフレームを決定する累積フレーム決定部、１５は候補領域記憶部１２内の動物体の候補領域を累積フレーム決定部１４により指定されたフレームだけ累積して動物体を抽出する累積抽出部、１６は入力部、１７は出力部である。ベクトル検出部１３において、１０１、１０２はフレームメモリ、１０３はマッチング位置制御部、１０４はマッチング部、１０５はベクトル判定部である。
【００１４】
次に上記のように構成された動物体抽出装置の動作について説明する。候補領域抽出部１１は、入力部１６から順次入力されるフレームの動物体の候補領域を、フレーム間差分を用いて抽出する。抽出した結果は、例えば、動物体の候補領域を１、その他の領域を０とした２値画像として出力する。候補領域記憶部１２は、候補領域抽出部１１から出力される候補領域を、数フレーム分記憶する。候補領域抽出部１１からの出力が２値画像の場合、候補領域抽出部１２は、例えば、各画素８ビットのフレームメモリを持ち、候補領域抽出部１１から、新たなフレームが入力される度に、各画素を１ビットだけ上位ビット方向にシフトさせて、最も古い候補領域を削除する。候補領域抽出部１１から入力される最新の候補領域は、下位ビットとして、候補領域記憶部１２に記憶される。このように、候補領域記憶部１２では、常に、最新の８フレームの動物体の候補領域を保持する。図４はこの様子を示している。
【００１５】
ベクトル検出部１３は、入力部１６から入力されるフレームの動ベクトルを、ブロックマッチング法を用いて検出し、累積フレーム決定部１４へ出力する。累積フレーム決定部１４は、ベクトル検出部１３から入力される動ベクトルに応じて、累積すべきフレームを画素毎に決定する。ベクトル検出部１３では、入力部１６から入力されたフレームをフレームメモリ１０１内に記憶する。このとき、フレームメモリ１０２には、フレームメモリ１０１内に記憶れさている予め定められた遅延時間だけ前のフレームが転送、記憶される。マッチング位置制御部１０３では、予め設定された動ベクトルの探索範囲内を全て探索するように、ブロックのマッチング位置を制御し、マッチング部１０４およびベクトル判定部１０５へ通知する。また、マッチング位置制御部１０３は、全ての探索範囲を探索し終えた後、その旨をベクトル判定部１０５へ出力する。マッチング部１０４では、マッチング位置制御部１０３から入力されるマッチング位置に従って、フレームメモリ１０１、１０２内の該当する位置のブロックをそれぞれ読み出し、マッチングを取る。マッチングとしては、例えば２つのブロック内の同位置にある画素同士の差分値の絶対値のブロック内総和を用いる。マッチング結果は、ベクトル判定部１０５へ送られ、ブロック毎に、マッチングの結果が最小となった位置が動ベクトルとして累積フレーム決定部１４へ出力される。
【００１６】
累積フレーム決定部１４では、例えば累積するフレームは１、累積しないフレームは０として各画素８ビットで累積の判定結果を表し、候補領域記憶部１２と同様に、ビット位置とフレームの時間を対応させる。累積抽出部１５では、例えば累積フレーム決定部１４から入力される各画素８ビットの判定結果と、候補領域抽出部１１から読み出した各画素８ビットの候補領域との論理積をとる。論理積の結果、８ビットの中の１ビット以上が１となった画素については、動物体を表す画素として１、それ以外の画素については０として、２値画像を作成する。この結果は、出力部１７から出力される。
【００１７】
図２は候補領域抽出部１１の構成を示したものである。図２において、差分算出部２０は、入力部２７から順次入力されるフレーム間の差分を計算し、絶対値算出部２４へ出力する。差分算出部２０は、フレームメモリ２１、２２および差分部２３から構成される。入力部２７から入力された画像は、フレームメモリ２１に記憶される。このとき、フレームメモリ２２には、フレームメモリ２１内に記憶されている予め定められた遅延時間だけ前のフレームが転送、記録される。差分部２３は、フレームメモリ２１、２２のそれぞれ対応する画素の値を読み出し、両者の差分値を絶対値算出部２４へと出力する。絶対値算出部２４は、差分算出部２０から出力される差分値の絶対値を、フィルタ部２５へ出力する。フィルタ部２５では、例えば絶対値算出部２４からの出力を画像とみなして、全ての係数が１／９の３画素×３画素の平滑化フィルタをかけて２値化部２６へ出力する。２値化部２６では、フィルタ部２５からの出力を予め設定してある値、例えば４で２値化して出力部２８から出力する。
【００１８】
なお、２値化部２６では、予め設定した閾値を用いているが、フレーム毎、画素毎に閾値を逐次変更するようにしても良い。
【００１９】
図３は累積フレーム決定部１４の構成を示したものである。図３において、ベクトル検出部１３で検出された動ベクトルが、入力部３５を介して累積判定部３１へ入力される。累積判定部３１は、動ベクトルの大きさを計算して、予め設定された閾値と比較する。閾値よりも大きい場合は累積の必要あり、閾値以下の場合は累積の必要無しと判断し、その結果を適用画素決定部３２へ通知する。適用画素決定部３２は、入力部３５から動ベクトルが入力され、累積判定部３１から累積の必要なしと通知された動ベクトルに関して、その動ベクトルが動きを代表する画素の移動先に相当する累積可否記憶部３３の内容を更新する。累積の必要ありと通知された場合には、なにも処理しない。ただし、処理対象フレームが変更になった場合は、その旨を累積可否記憶部３３に通知する。累積可否記憶部３３は、例えば各画素８ビットのフレームメモリで構成され、画素毎に累積判定情報を８フレーム分記憶する。累積可否記憶部３３は、適用画素決定部３２から新たなフレームに関する情報が入力される度に、各画素を１ビットだけ上位ビット方向にシフトさせて、最も古い累積判定情報を削除する。つまり、処理対象のフレームが変わる度に、上記ビットシフトにより内容を更新する。この動作は、図１中の候補領域記憶部１３と同様であり、図４に示してある。適用画素決定部３２は、累積の必要のない画素に対してのみ、累積可否記憶部３３の最下位ビットの内容を１に変更する。このように、累積可否記憶部３３では、常に、最新の８フレームの累積可否情報を保持する。累積フレーム算出部３４は、予め定められた最大累積数を上限として、画素毎に累積すべきフレームを決定する。例えば、累積可否記憶部３３が各画素８ビットのメモリを持つ場合、累積フレーム算出部３４は、各画素８ビットの累積フレーム情報を累積抽出部１５へ出力する。累積フレーム算出部３４から出力される累積フレーム情報は、累積可否記憶部３３内の累積フレーム情報と同様な意味を持つ。つまり、最下位ビットが最新のフレームの累積情報を表し、最上位ビットが８フレーム前のフレームの累積情報を表す。例えば、最大累積数が６と設定されている場合、累積フレーム算出部３４は、累積可否記憶部３３内の各画素の下位から６ビット目を起点として、下位ビット方向へとスキャンする。このとき、累積フレーム算出部３４内の累積情報は、スキャンの開始時に全てのビットを０にクリアする。また、スキャン時には、スキャンされたビットと同位置のビットを１に変更する。スキャンはビットの値が０の場合は、次のビットへと続行され、ビットの値が１の場合またはスキャン位置が最下位ビットとなった場合は、スキャンを中止し、その時点での累積フレーム情報を累積抽出部１５へ出力する。
【００２０】
このように、上記実施の形態によれば、候補領域抽出部１１での抽出結果を候補領域記憶部１２に復数フレーム分格納するとともに、ベクトル検出部１３で検出した動ベクトルを用いて、累積フレーム決定部１４が累積すべきフレームを画素毎に決定し、この決定に従い、累積抽出部１５が候補領域記憶部１２内の候補領域を累積して動物体を抽出するので、高精度に動物体を抽出することができる。
【００２１】
【発明の効果】
以上のように、本発明の動物体抽出装置によれば、動物体の移動速度によらず、安定して動物体を精度良く抽出することが可能となる。また、動物体の抽出に必要のないノイズのみを除去できるので、抽出精度が向上する。
【図面の簡単な説明】
【図１】本発明の実施の形態における動物体抽出装置の構成を示すブロック図
【図２】本発明の候補領域抽出部の構成を示すブロック図
【図３】本発明の累積フレーム決定部の構成を示すブロック図
【図４】本発明の候補領域記憶部の動作を説明する模式図
【図５】従来のフレーム間差分抽出方法を用いた動物体抽出装置の構成を示すブロック図
【符号の説明】
１１候補領域抽出部
１２候補領域記憶部
１３ベクトル検出部
１４累積フレーム決定部
１５累積抽出部
１６入力部
１７出力部
１０１フレームメモリ
１０２フレームメモリ
１０３マッチング位置制御部
１０４マッチング部
１０５ベクトル判定部
２０差分算出部
２１フレームメモリ
２２フレームメモリ
２３差分部
２４絶対値算出部
２５フィルタ部
２６２値化部
２７入力部
２８出力部
３１累積判定部
３２適用画素決定部
３３累積可否記憶部
３４累積フレーム算出部
３５入力部
３６出力部
１０００フレームメモリ
１００１フレームメモリ
１００２差分部
１００３２値化部
１００４累積部
１００５抽出部
１００６入力部
１００７出力部

Claims

フレーム間差分を用いて動画像中の任意のフレームにおける動物体の候補領域を抽出する候補領域抽出部と、前記候補領域抽出部の出力結果を数フレーム分記憶する候補領域記憶部と、前記フレームの動ベクトルを検出するベクトル検出部と、前記ベクトル検出部で検出した動ベクトルを用いて画素毎に累積すべきフレームを決定する累積フレーム決定部と、前記候補領域記憶部内の動物体の候補領域を前記累積フレーム決定部により指定されたフレームだけ画素毎に累積して動物体を抽出する累積抽出部とを備えた動物体抽出装置。
前記累積抽出部が、動物体の候補領域の累積を各画素値の論理積により求めることを特徴とする請求項１記載の動物体抽出装置。
前記候補領域抽出部が、フレーム間差分を計算する差分算出部と、前記差分算出部の出力の絶対値を計算する絶対値算出部と、前記絶対値算出部から出力される絶対差分画像をフィルタリングするフィルタ部と、前記フィルタ部からの出力を適当な閾値により２値化する２値化部とを有する請求項２記載の動物体抽出装置。
前記累積フレーム決定部が、前記ベクトル検出部で検出した動ベクトルの大きさにより累積の有無を判定する累積判定部と、前記累積判定部の結果を適用する画素を動ベクトルにより決定する適用画素決定部とを有する請求項３記載の動物体抽出装置。
前記累積フレーム決定部が、前記適用画素決定部から画素毎に出力される累積の適否を数フレーム分記憶する累積可否記憶部と、前記累積可否記憶部の内容から累積すべきフレームを決定する累積フレーム算出部とを有する請求項４記載の動物体抽出装置。