JP4537645B2 - 物体追跡装置および物体追跡装置制御方法 - Google Patents
物体追跡装置および物体追跡装置制御方法 Download PDFInfo
- Publication number
- JP4537645B2 JP4537645B2 JP2002167570A JP2002167570A JP4537645B2 JP 4537645 B2 JP4537645 B2 JP 4537645B2 JP 2002167570 A JP2002167570 A JP 2002167570A JP 2002167570 A JP2002167570 A JP 2002167570A JP 4537645 B2 JP4537645 B2 JP 4537645B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- image
- divided
- unit
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、撮像装置で得られた画像を処理し、画像に含まれる移動物体を追跡する物体追跡装置、物体追跡装置制御方法、および画像認識システムに関するものである。
【0002】
【従来の技術】
従来、物体追跡装置としては、例えば特開平9−322155号公報に開示されたものが知られている。
図16に示す従来の物体追跡装置1600は、監視区域を撮像する撮像手段1601と、撮像された画像を記憶する画像記憶手段1602と、プログラムを格納するプログラムメモリ1603と、画像記憶手段1602に記憶された画像を入力とし、プログラムメモリ1603に格納されているプログラムに基づいて画像解析を行うワークメモリ1604と、上記画像解析に基づいて対象物体の追跡を実行する制御手段1605とによって構成される。
【0003】
この構成により、撮像された画像から対象物体が検出され、対象物体の含まれる画像領域であるテンプレートが生成され、フレーム毎に対象物体を含むテンプレートが大きさを補正されながら更新され、テンプレートに含まれる物体の追跡が実行される。
【0004】
【発明が解決しようとする課題】
しかし、このような従来の物体追跡装置では、複数の物体が重なり合った画像に基づいてテンプレートが生成され、その後の時間変化に応じて各物体の位置がそれぞれ離れていく場合に、テンプレートの大きさを補正しながらテンプレートが更新されるために、テンプレートに複数の物体が含まれてしまい、複数の物体を含むテンプレートを追跡することによって、物体を個々に追跡することが困難となることがあるという問題があった。
【0005】
本発明は、このような問題を解決するためになされたもので、単数の物体を含むテンプレートを生成し、物体を個々に追跡することが可能である物体追跡装置、その制御方法、および画像認識システムを提供するものである。
【0006】
【課題を解決するための手段】
本発明の物体追跡装置は、撮像時刻の異なる複数の画像を入力とし、最新の画像である最新画像および前記最新画像の直前の画像である直前画像をそれぞれブロックに分割しブロック毎に求めたオプティカルフローに基づいて前記画像中で動いている物体の存在する画像領域を動体領域として検出する動体検出手段と、検出された前記動体領域を分割対象のテンプレートとして登録するテンプレート登録手段と、予め記憶された背景画像と前記最新画像との差分画像にラベリング処理を施したラベリング差分画像と前記テンプレート登録手段に登録された前記分割対象のテンプレートとを重ね合わせることによって前記分割対象のテンプレートに含まれる前記物体毎の画像領域を求め、前記物体毎の画像領域を物体領域として検出する物体領域検出手段と、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新するテンプレート分割手段とを備え、前記テンプレート分割手段は、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを分割後のテンプレートで置き換えることによって前記テンプレート登録手段に記憶されている分割対象のテンプレートを更新し、前記テンプレート登録手段は、前記分割後のテンプレートおよび前記分割後のテンプレートの位置を時系列的に登録する構成を有している。この構成により、単数の物体を含むテンプレートを生成し、物体を個々に追跡することが可能である。
【0009】
また、本発明の物体追跡装置は、前記分割対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定手段を備え、前記テンプレート分割手段は、前記画像領域サイズが予め設定された値よりも大きいと判定された前記分割対象のテンプレートに含まれる物体領域の個数を検出し、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新する構成を有している。この構成により、テンプレートのサイズを判定し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割するため、過度なテンプレートの分割を防ぎ、物体を個々に追跡することが可能である。
また、本発明の物体追跡装置は、撮像時刻の異なる複数の画像を入力とし、最新の画像である最新画像および前記最新画像の直前の画像である直前画像をそれぞれブロックに分割しブロック毎に求めたオプティカルフローに基づいて前記画像中で動いている物体の存在する画像領域を動体領域として検出する動体検出手段と、検出された前記動体領域に前記オプティカルフローをブロック毎に付与して分割対象のテンプレートとして登録するテンプレート登録手段と、前記テンプレート登録手段に登録された前記分割対象のテンプレートにおいてオプティカルフローに基づいて隣り合っているブロックの塊を検出することによって前記分割対象のテンプレートに含まれる前記物体毎の画像領域を求め、前記物体毎の画像領域を物体領域として検出する物体領域検出手段と、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新するテンプレート分割手段とを備え、前記テンプレート分割手段は、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを分割後のテンプレートで置き換えることによって前記テンプレート登録手段に記憶されている分割対象のテンプレートを更新し、前記テンプレート登録手段は、前記分割後のテンプレートおよび前記分割後のテンプレートの位置を時系列的に登録する構成を有している。この構成により、オプティカルフロー法を用いて物体を検出し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割し、単数の物体を含むテンプレートを追跡するため、物体を個々に追跡することが可能である。
【0014】
また、本発明の物体追跡装置制御方法は、撮像時刻の異なる複数の画像を入力とし、最新の画像である最新画像および前記最新画像の直前の画像である直前画像をそれぞれブロックに分割しブロック毎に求めたオプティカルフローに基づいて前記画像中で動いている物体の存在する画像領域を動体領域として検出する動体検出ステップと、検出された前記動体領域を分割対象のテンプレートとして登録するテンプレート登録ステップと、予め記憶された背景画像と前記最新画像との差分画像にラベリング処理を施したラベリング差分画像と前記テンプレート登録ステップにおいて登録された前記分割対象のテンプレートとを重ね合わせることによって前記分割対象のテンプレートに含まれる前記物体毎の画像領域を求め、前記物体毎の画像領域を物体領域として検出する物体領域検出ステップと、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新するテンプレート分割ステップとを備え、前記テンプレート分割ステップは、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを分割後のテンプレートで置き換えることによって前記テンプレート登録ステップで記憶された分割対象のテンプレートを更新するステップを有し、前記テンプレート登録ステップは、前記分割後のテンプレートおよび前記分割後のテンプレートの位置を時系列的に登録するステップを有している。この方法により、単数の物体を含むテンプレートを生成し、物体を個々に追跡することが可能である。
【0017】
また、本発明の物体追跡装置制御方法は、前記分割対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定ステップを備え、前記テンプレート分割ステップは、前記画像領域サイズが予め設定された値よりも大きいと判定された前記分割対象のテンプレートに含まれる物体領域の個数を検出し、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新するステップを有している。この方法により、テンプレートのサイズを判定し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割するため、過度なテンプレートの分割を防ぎ、物体を個々に追跡することが可能である。
また、本発明の物体追跡装置制御方法は、撮像時刻の異なる複数の画像を入力とし、最新の画像である最新画像および前記最新画像の直前の画像である直前画像をそれぞれブロックに分割しブロック毎に求めたオプティカルフローに基づいて前記画像中で動いている物体の存在する画像領域を動体領域として検出する動体検出ステップと、検出された前記動体領域に前記オプティカルフローをブロック毎に付与して分割対象のテンプレートとして登録するテンプレート登録ステップと、前記テンプレート登録ステップにおいて登録された前記分割対象のテンプレートにおいてオプティカルフローに基づいて隣り合っているブロックの塊を検出することによって前記分割対象のテンプレートに含まれる前記物体毎の画像領域を求め、前記物体毎の画像領域を物体領域として検出する物体領域検出ステップと、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新するテンプレート分割ステップとを備え、前記テンプレート分割ステップは、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを分割後のテンプレートで置き換えることによって前記テンプレート登録手段に記憶されている分割対象のテンプレートを更新するステップを有し、前記テンプレート登録ステップは、前記分割後のテンプレートおよび前記分割後のテンプレートの位置を時系列的に登録するステップを有している。この方法により、オプティカルフロー法を用いて物体を検出し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割し、単数の物体を含むテンプレートを追跡するため、物体を個々に追跡することが可能である。
【0023】
【発明の実施の形態】
(第1の実施の形態)
以下、本発明の実施の形態について、図面を用いて説明する。
図1は、本発明の第1の実施の形態の物体追跡装置の概略のブロック構成を示す図である。
物体追跡装置100は、撮像手段などの外部装置によって画像を入力される最新画像記憶手段120、上記最新フレーム画像記憶装置120に入力された画像の直前の画像を記憶する直前画像記憶手段130、動いている物体の存在する画像領域である動体領域を検出する動体検出手段140、上記動体領域をテンプレートとして記憶するテンプレート登録手段150、および上記テンプレート登録手段150に記憶されたテンプレートを分割対象のテンプレートとして入力とし、上記分割対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数の場合に、検出された物体毎にこの検出された物体を含む画像領域である物体領域を分割対象のテンプレートから分割するテンプレート分割手段160によって構成される。
【0024】
ここで、テンプレート登録手段150が、テンプレートおよびテンプレートの位置を時系列的に登録することによって、物体の移動を追跡するものとする。
また、テンプレートとは、追跡対象物体を含む画像領域のことである。
【0025】
最新画像記憶手段120は、画像を撮像する撮像手段などの外部装置にデータ入力可能に接続され、上記外部装置によって出力された1の画像を入力とし、入力された1の画像を記憶するための手段である。
また、最新画像記憶手段120は、記憶された1の画像を動体検出手段140とテンプレート登録手段150とテンプレート分割手段160とに出力する。
【0026】
また、最新画像記憶手段120は、物体追跡装置100によって行われる処理であって、1の画像に係る処理が終了した後に、上記1の画像を直前画像記憶手段130に出力し、直前画像として記憶させる。なお、直前画像記憶手段130に直前画像が記憶されていない場合に、最新画像記憶手段120は、外部装置によって出力された1の画像を即座に直前画像記憶手段130に出力し、直前画像として記憶させる。
【0027】
直前画像記憶手段130は、最新画像記憶手段120によって出力された1の画像を入力とし、入力された1の画像を直前画像として記憶するための手段である。
また、直前画像記憶手段130は、記憶された直前画像を動体検出手段140に出力する。
【0028】
ここで、最新画像記憶手段120、および直前画像記憶手段130は、新たな画像が入力されたときに、記憶されている画像を廃棄し、新たな画像を記憶するものとする。
なお、以下の説明で、最新画像記憶手段120に記憶されている画像を最新画像といい、直前画像記憶手段130に記憶されている画像を直前画像という。
【0029】
動体検出手段140は、最新画像記憶手段120に記憶された最新画像と直前画像記憶手段130に記憶された直前画像を入力とし、上記2つの画像から動体の存在する画像領域である動体領域を検出し、検出された動体領域が図示された画像を生成し、記憶するための手段である。
【0030】
また、動体検出手段140は、記憶された動体領域をテンプレート登録手段150に出力する。
ここで、動体検出手段140に検出される動体領域は、1の画像に対して1存在するものとは限らず、1の画像に対して複数存在することもある。また、動体領域には、動体領域が画像内で位置していた位置情報が付加されている。
【0031】
なお、複数の画像から動体の存在する領域である動体領域を検出する方法は、例えば背景差分法、フレーム間差分法、オプティカルフロー法などが広く知られている。本発明の第1の実施の形態における動体領域の検出に係る説明では、オプティカルフロー法に基づいた動体領域の検出を行う例について説明する。
また、オプティカルフロー法には、ブロックマッチング法、勾配法などが知られている。本発明の実施の形態の説明では、ブロックマッチング法を用いる例について説明する。
【0032】
動体領域がオプティカルフロー法に基づいて検出される例において、動体検出手段140は、例えばオプティカルフロー演算手段141、動体領域検出手段142、および動体領域記憶手段143によって構成されるが、他の構成で実現されてもよい。
【0033】
オプティカルフロー演算手段141は、最新画像記憶手段120に記憶された最新画像を入力とし、入力された最新画像の縦K画素、横L画素からなる探索範囲を、縦M画素、横N画素を有するブロックに分割するための手段である。
ここで、探索範囲とは、各画像の中で動体領域の存在する範囲を示すもので、予め与えられているものとする。また、M、Nは整数であり、KはMの整数倍、LはNの整数倍とする。
【0034】
また、オプティカルフロー演算手段141は、直前画像記憶手段130に記憶された直前画像を入力とし、さらに、最新画像の探索範囲の1のブロックを選択して、選択された1のブロックを直前画像の探索範囲内で移動させ、直前画像内の位置であって、1のブロックとの相関の最も高い位置(以下、最適ブロック位置という。)を探索する。
さらに、オプティカルフロー演算手段141は、上記で探索された最適ブロック位置と、1のブロックの最新画像内での位置とに基づいて、オプティカルフローを求め、求められたオプティカルフローの有無を1のブロックに付与する。
【0035】
図2は、最適ブロック位置と最新画像内の1のブロックの位置とに基づいて求められるオプティカルフローの様子の例を説明する説明図である。
図2において、最新画像の1のブロック201が直前画像のあるポイント202で相関が最も高くなった場合、オプティカルフローは矢印203で表される。
【0036】
なお、相関を求める方法は、例えば、各ブロックの同位置の画素の差分絶対値和によって求められ、上記差分絶対値和は以下の式(1)で表される。
【数1】
D:差分絶対値和
ft:1の画像
ft-n:直前画像
x:ブロックのx座標
y:ブロックのy座標
a1:1のブロックのx成分の変移量
b1:1のブロックのy成分の変移量
【0037】
また、オプティカルフロー演算手段141は、最新画像の探索範囲内の全てのブロックについて、オプティカルフローを求めて、探索範囲の全てのブロックにオプティカルフローの発生の有無を付与された最新画像を動体領域検出手段142に出力する。
【0038】
動体領域検出手段142は、オプティカルフロー演算手段141によって出力された各ブロックにオプティカルフローの発生の有無を付与された最新画像を入力とし、オプティカルフローが発生しているブロック(以下、動体ブロックという。)を探索するための手段である。
【0039】
また、動体領域検出手段142は、探索された各動体ブロックの複数が隣り合って塊を形成し、かつ、隣り合って塊を形成した動体ブロックの数が閾値以上である場合に、上記動体ブロックの塊を動体の存在する画像領域である動体領域として最新画像から抽出し、抽出された動体領域が図示された画像(以下、動体図示画像という。)を生成し、動体図示画像を動体領域記憶手段143に出力し、動体領域記憶手段143に動体図示画像を記憶させる。
【0040】
図3は、動体領域検出手段142によって検出される動体領域の例を説明する説明図である。
図3において、図3(a)に示された直前画像と図3(b)に示された最新画像とによって、オプティカルフローが求められ、図3(c)において、オプティカルフローが付与されたブロックの塊303、304が形成されている。図3(d)において、ブロックの塊303、304が存在する領域に基づいて、動体領域305、306が検出されている。
【0041】
動体領域記憶手段143は、動体領域検出手段142によって出力された動体図示画像を入力とし、入力された動体図示画像を記憶し、テンプレート登録手段150で行われる処理に応じて検出した動体図示画像を出力するための手段である。
なお、動体領域記憶手段143は、新たな最新画像の動体図示画像が入力されたときに、記憶されて入れていた動体図示画像を廃棄し、新たな最新画像の動体図示画像を記憶する。
【0042】
テンプレート登録手段150は、動体検出手段140で生成された動体図示画像を入力とし、所定の処理の後に、入力された動体図示画像の動体領域を新規テンプレートとして登録、または、所定の処理によるテンプレートの更新を行うための手段である。
なお、テンプレート登録手段150は、例えば、新規テンプレート登録手段151、マッチング位置探索手段152、更新テンプレート登録手段153、およびテンプレート記憶手段154によって構成されるが、他の構成で実現されてもよい。
【0043】
以下、上記のテンプレート登録手段150の構成例に基づいて、テンプレート登録手段150の動作の詳細を上記所定の処理と共に説明する。
新規テンプレート登録手段151は、テンプレート記憶手段154に少なくとも1以上のテンプレートが記憶されているか否かの確認を行い、テンプレート記憶手段154に少なくとも1以上のテンプレートが記憶されていない場合に、動体検出手段140で生成され記憶された動体図示画像を入力とし、入力された動体図示画像の動体領域を新規テンプレートとしてテンプレート記憶手段154に出力するための手段である。
【0044】
また、新規テンプレート登録手段151は、テンプレート記憶手段154に少なくとも1以上のテンプレートが記憶されている場合に、最適マッチング位置探索処理を指示する旨の信号をマッチング位置探索手段152に出力する。
【0045】
ここで、最適マッチング位置探索処理とは、マッチング位置探索手段152によって行われるものであり、その詳細な説明は、マッチング位置探索手段152の動作の説明で行う。
また、テンプレート更新処理とは、更新テンプレート登録手段153によって行われるものであり、その詳細な説明は、更新テンプレート登録手段153の動作の説明で行う。
【0046】
マッチング位置探索手段152は、新規テンプレート登録手段151によって出力された最適マッチング位置探索処理を指示する旨の信号を入力とし、上記信号に応じ、最適マッチング位置探索処理を行うための手段である。
以下、マッチング位置探索手段152によって行われる最適マッチング位置探索処理について説明する。
【0047】
マッチング位置探索手段152は、最新画像フレーム記憶手段120によって出力された最新画像を入力とし、さらにテンプレート記憶手段154に記憶されているテンプレートの何れか1つを入力とする。
また、マッチング位置探索手段152は、入力された最新画像と入力されたテンプレートとのマッチングを、最新画像の探索範囲内の上でテンプレートを移動させながら行う。
【0048】
ここで、最新画像とテンプレートとをマッチングさせる方法は、例えば、正規化相関値を用いる方法であるが、他の方法でもよい。
正規化相関値を用いる方法の場合、正規化相関値は、以下の式(2)で表される。
【数2】
【数3】
H:テンプレートの横方向サイズ
V:テンプレートの縦方向サイズ
a2:テンプレートとマッチング位置の変移のx成分
b2:テンプレートとマッチング位置との変移のy成分
R:正規化相関値
T:テンプレート
f:現フレームに画像内に設定したテンプレートマッチング探索範囲に該当する画像
【0049】
また、マッチング位置探索手段152は、相関値が最も高くなるときのテンプレートの位置(以下、最適マッチング位置という。)を探索し、探索された最適マッチング位置での相関値が閾値を超えているか否かを判定する。
上記判定の結果、探索された最適マッチング位置での相関値が閾値を超えている場合に、マッチング位置探索手段152は、最新画像の探索範囲内における最適マッチング位置とテンプレートとを更新テンプレート登録手段153に出力する。
【0050】
さらに、マッチング位置探索手段152は、テンプレート記憶手段154によって記憶された全てのテンプレートについての最適マッチング位置探索処理が終了したか否かを判定し、テンプレート記憶手段154によって記憶された全てのテンプレートについての最適マッチング位置探索処理が終了したときに、全ての最適マッチング位置探索処理が終了した旨の信号を更新テンプレート登録手段153に出力する。
【0051】
更新テンプレート登録手段153は、動体検出手段140によって生成され記憶された動体図示画像と、マッチング位置探索手段152によって出力された最適マッチング位置とテンプレートとを入力とし、テンプレート更新処理を行うための手段である。
【0052】
以下、更新テンプレート登録手段153によって行われるテンプレート更新処理について説明する。
更新テンプレート登録手段153は、動体図示画像とテンプレートとを最適マッチング位置で重ね合わせ、最適マッチング位置に動体領域が存在しているか否かを判定する。
【0053】
最適マッチング位置に動体領域が存在している場合に、更新テンプレート登録手段153は、動体領域を更新テンプレートとしてテンプレート記憶手段154に出力する。ここで、更新テンプレートには、更新されるテンプレートについての情報が添付されている。
【0054】
また、更新テンプレート登録手段153は、最適マッチング位置に動体領域が存在していない場合に、最新画像記憶手段120に記憶された最新画像を入力とし、入力された最新画像からテンプレートと同じ画像領域サイズの画像領域を最適マッチング位置で抜き出し、抜き出した画像領域を更新テンプレートとしてテンプレート記憶手段154に出力する。
【0055】
さらに、更新テンプレート登録手段153は、マッチング位置探索手段152によって出力された最適マッチング位置探索処理が終了した旨の信号を入力とし、上記信号に応じて、動体図示画像の中に更新テンプレートとして出力されていない動体領域が存在するか否かを判定し、動体図示画像の中に更新テンプレートとして出力されていない動体領域が存在する場合に、更新テンプレートとして出力されていない動体領域を新規テンプレートとしてテンプレート記憶手段に154に出力する。
【0056】
テンプレート記憶手段154は、新規テンプレート登録手段151、または更新テンプレート登録手段153によって出力された新規テンプレートを入力として、入力された新規テンプレートを記憶するための手段である。
また、テンプレート記憶手段154は、必要に応じ、記憶されているテンプレートをマッチング位置探索手段152に出力する。
【0057】
また、テンプレート記憶手段154は、更新テンプレート登録手段153によって出力された更新テンプレートを入力とし、入力された更新テンプレートを記憶し、更新テンプレートに添付された更新されるテンプレートに関する情報に基づいて、更新されるテンプレートを削除すると共に更新されるテンプレートが画像内で位置していた位置の情報を更新テンプレートに添付して記憶する。
【0058】
また、テンプレート記憶手段154は、対象テンプレートをテンプレート分割手段160に出力し、さらに、テンプレート分割手段160によって出力された分割処理後のテンプレートで対象テンプレートを置き換えて記憶する。
ここで、対象テンプレートとは、テンプレート分割手段160によって行われる処理の対象となる分割対象のテンプレートのことで、具体的には新規テンプレート、および更新テンプレートのことである。
【0059】
テンプレート分割手段160は、テンプレート登録手段150に記憶された対象テンプレートを入力とし、入力された対象テンプレートに含まれている物体の個数を検出し、テンプレートを物体の個数に分割し、さらに、分割されたテンプレートで対象テンプレートを置き換えてテンプレート登録手段150に記憶させるための手段である。
【0060】
なお、本発明の第1の実施の形態の物体追跡装置100におけるテンプレート分割手段160の説明では、対象テンプレートに含まれている物体領域の検出を、最新画像の差分画像に基づいて行う場合を例に説明する。ただし、対象テンプレートに含まれている物体領域の検出は、他の方法によって実現されてもよい。
【0061】
ここで、テンプレート分割手段160は、例えば、差分画像生成手段161、物体領域検出手段162、物体領域記憶手段163、物体数判定手段164、および領域分割手段165によって構成されるが、他の構成で実現されてもよい。
以下、上記のテンプレート分割手段160の構成例に基づいて、テンプレート記憶手段160の動作の詳細を説明する。
【0062】
差分画像生成手段161は、最新画像記憶手段120によって出力された最新画像を入力とし、入力された最新画像と背景画像とに基づいて、背景差分法をもちいた差分画像を生成し、生成した差分画像を物体領域検出手段162に出力するための手段である。
【0063】
ここで、背景画像は、差分画像の生成に先立って、差分画像生成手段161に記憶されているものとする。
なお、差分画像の生成方法は、背景差分法のほかに、フレーム間差分法などでもよい。
【0064】
図4(a)は、背景画像の例を示す図であり、また、図4(b)は、最新画像の例を示す図であり、さらに、図4(c)は、図4(a)の背景画像と図4(b)の最新画像とに基づいて生成される差分画像の例を示す図である。
図4(c)において、差分画像は、予め設定された閾値に応じた2値化処理が施されている。
【0065】
物体領域検出手段162は、差分画像生成手段161によって出力された差分画像を入力とし、入力された差分画像に基づいて物体領域を検出し、検出した物体領域にラベリング処理を施し、物体領域にラベリング処理が施された差分画像(以下、物体ラベリング差分画像という。)を生成するための手段である。
また、物体領域検出手段162は、生成された物体ラベリング差分画像を物体領域記憶手段163に出力して、物体ラベリング差分画像を物体領域記憶手段163に記憶させる。
【0066】
物体領域記憶手段163は、物体領域検出手段162によって出力された物体ラベリング差分画像を入力として、入力された物体ラベリング差分画像を記憶するための手段である。
また、物体領域記憶手段163は、物体数判定手段164の処理に応じて、記憶された物体ラベリング差分画像を物体数判定手段164に出力する。
【0067】
物体数判定手段164は、物体領域記憶手段163によって出力された物体ラベリング差分画像を入力とし、さらに、テンプレート登録手段150に記憶された対象テンプレートを選択して入力とし、入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出するための手段である。
【0068】
なお、対象テンプレートに含まれる物体領域の検出は、対象テンプレートと物体ラベリング差分画像とを重ね合わせることによって行われる。ここで、対象テンプレートが物体ラベリング差分画像に重ね合わされる位置は、対象テンプレートの最新画像内での位置と同じ位置である。
【0069】
また、物体数判定手段164は、検出された物体領域の個数を検出する。
さらに、物体数判定手段164は、対象テンプレートに含まれる物体領域の個数が2以上の場合に、対象テンプレートに含まれる物体領域の間隔を測定する。上記測定の結果、対象テンプレートに含まれる物体領域の間隔が閾値を越えている場合に、物体数判定手段164は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段165に出力する。
なお、対象テンプレートに含まれる物体領域の間隔は、各物体領域の中心間隔、もしくは各物体領域の最近接画素間隔である。
【0070】
また、物体数判定手段164は、対象テンプレートに含まれる物体領域の個数が1の場合、または対象テンプレートに含まれる物体領域の間隔が閾値を越えていない場合に、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる。
【0071】
領域分割手段165は、物体数判定手段164によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割するための手段である。
また、領域分割手段165は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段150に出力し、分割処理後のテンプレートで対象テンプレートを置き換えて記憶させる。
【0072】
図4(d)は、対象テンプレートの画像領域401の例を示す図であり、また、図4(e)は、対象テンプレートの画像領域401に含まれる物体領域の例を示す図であり、さらに、図4(f)は、対象テンプレートの画像領域401がそれぞれの物体領域に分割された分割処理後のテンプレートの画像領域の例を示す図である。
なお、テンプレート分割手段160は、テンプレート登録手段150に記憶されている全ての対象テンプレートについて同様の処理を行う。
【0073】
図5は、本発明の第1の実施の形態の物体追跡装置制御方法における、新規テンプレート、および更新テンプレートの記憶処理の流れを示すフローチャートである。
なお、以下の説明に先立ち、最新画像記憶手段120、および直前画像記憶手段130には、それぞれ最新画像、および直前画像が記憶されているものとする。
【0074】
ここで、ステップS5010からステップS5040において行われる処理は、動体検出手段140によって行われる。動体検出手段140は、例えば、オプティカルフロー演算手段141、動体領域検出手段142、動体領域記憶手段143によって構成される。
以下の説明では、動体検出手段140の構成例に基づいて、ステップS5010からステップS5050の処理の流れを説明する。
【0075】
オプティカルフロー演算手段141は、最新画像記憶手段120に記憶された最新画像を入力とし、入力された最新画像の縦K画素、横L画素からなる探索範囲を、縦M画素、横N画素を有するブロックに分割する(ステップS5010)。
オプティカルフロー演算手段141は、直前画像記憶手段130に記憶された直前画像を入力とし、さらに、最新画像の探索範囲の1のブロックを選択して、選択された1のブロックを直前画像の探索範囲内で移動させ、直前画像の各ポイントで1のブロックとの相関を求め、最適ブロック位置を探索する(ステップS5020)。
【0076】
オプティカルフロー演算手段141は、最適ブロック位置と1のブロックが最新画像内で存在していた位置とに基づいてオプティカルフローを求め、オプティカルフローの発生の有無を1のブロックに付与する(ステップS5030)。
【0077】
オプティカルフロー演算手段141は、分割された最新画像の探索範囲の全てのブロックが選択されたか否かを確認し、上記確認結果に応じ、その後の処理を分岐する。分割された最新画像の探索範囲の全てのブロックを選択されていない場合に、オプティカルフロー演算手段141は、処理をステップS5020に進める。また、分割された最新画像の探索範囲の全てのブロックを選択された場合に、オプティカルフロー演算手段141は、探索範囲の全てのブロックにオプティカルフローの有無が付与された最新画像を動体領域検出手段142に出力し、処理をステップS5050に進める(ステップS5040)。
【0078】
動体領域検出手段142は、入力された探索範囲の全てのブロックにオプティカルフローの有無が付与された最新画像に基づいて、動体領域を抽出し、動体領域の抽出に基づいて動体図示画像を生成し、生成された動体図示画像を動体領域記憶手段143に出力し、動体領域記憶手段143に動体図示画像を記憶させる(ステップS5050)。
【0079】
ここで、ステップS5060からステップS5130において行われる処理は、テンプレート登録手段150によって行われる。テンプレート登録手段150は、例えば、新規テンプレート登録手段151、マッチング位置探索手段152、更新テンプレート登録手段153、およびテンプレート記憶手段154によって構成される。
以下の説明では、テンプレート登録手段150の構成例に基づいて、ステップS5060からステップS5130の処理の流れを説明する。
【0080】
新規テンプレート登録手段151は、テンプレート記憶手段154に少なくとも1以上のテンプレートが記憶されているか否かの確認を行い、上記確認結果に応じ、その後の処理を分岐する。テンプレート記憶手段154に少なくとも1以上のテンプレートが記憶されていない場合に、新規テンプレート登録手段151は、動体図示画像の動体領域を新規テンプレートとしてテンプレート記憶手段154に出力し、処理をステップS5130に進める。また、テンプレート記憶手段154に少なくとも1以上のテンプレートが記憶されている場合に、新規テンプレート登録手段151は、処理をステップS5070に進める(ステップS5060)。
【0081】
マッチング位置探索手段152は、最新画像フレーム記憶手段120によって出力された最新画像を入力とし、さらにテンプレート記憶手段154に記憶されているテンプレートの何れか1つを入力とし、最新画像上でテンプレートを移動させ、相関値を求め、相関値の最も高い最適マッチング位置を探索する(ステップS5070)。
【0082】
マッチング位置探索手段152は、最適マッチング位置での相関値が閾値を超えているか否かを判定し、上記判定結果に応じて、その後の処理を分岐する。最適マッチング位置での相関値が閾値を超えている場合に、マッチング位置探索手段152は、最新画像の探索範囲内における最適マッチング位置とテンプレートとを更新テンプレート登録手段153に出力し、処理をS5090に進める。また、最適マッチング位置での相関値が閾値を超えていない場合に、マッチング位置探索手段152は、処理をS5110に進める(ステップS5080)。
【0083】
更新テンプレート登録手段153は、動体検出手段140によって生成され記憶された動体図示画像と、マッチング位置探索手段152によって出力された最適マッチング位置とテンプレートとを入力とし、動体図示画像とテンプレートとを最適マッチング位置で重ね合わせ、最適マッチング位置に動体領域が存在しているか否かを判定する。最適マッチング位置に動体領域が存在している場合に、更新テンプレート登録手段153は、最適マッチング位置に存在していた動体領域を更新テンプレートとして出力する。また、最適マッチング位置に動体領域が存在していない場合に、更新テンプレート登録手段153は、最新画像記憶手段120に記憶された最新画像を入力とし、入力された最新画像からテンプレートと同じ画像領域サイズの画像領域を最適マッチング位置で抜き出し、抜き出した画像領域を更新テンプレートとしてテンプレート記憶手段154に出力する。(ステップS5090)。
【0084】
テンプレート記憶手段154は、更新テンプレート登録手段153によって出力された更新テンプレートを入力とし、入力された更新テンプレートを記憶し、更新テンプレートに添付された更新されるテンプレートに関する情報に基づいて、更新されるテンプレートを削除する(ステップS5100)。
【0085】
マッチング位置探索手段152は、テンプレート記憶手段154によって記憶された全てのテンプレートについての最適マッチング位置探索処理が終了したか否かを判定し、上記判定に応じてその後の処理を分岐する。テンプレート記憶手段154によって記憶された全てのテンプレートについての最適マッチング位置探索処理が終了していない場合に、マッチング位置探索手段152は、処理をステップS5070に進める。また、テンプレート記憶手段154によって記憶された全てのテンプレートについての最適マッチング位置探索処理が終了した場合に、マッチング位置探索手段152は、全ての最適マッチング位置探索処理が終了した旨の信号を更新テンプレート登録手段153に出力し、処理をステップS5120に進める(ステップS5110)。
【0086】
更新テンプレート登録手段153は、動体図示画像の中に更新テンプレートとして出力されていない動体領域が存在するか否かを判定し、上記判定に応じて、その後の処理を分岐する。動体図示画像の中に更新テンプレートとして出力されていない動体領域が存在しない場合に、更新テンプレート登録手段153は、処理を終了する。動体図示画像の中に更新テンプレートとして出力されていない動体領域が存在する場合に、更新テンプレート登録手段153は、テンプレートの更新に用いられなかった動体領域を新規テンプレートとしてテンプレート記憶手段に154に出力し、処理をステップS5130に進める(ステップS5120)。
【0087】
テンプレート記憶手段154は、新規テンプレート登録手段151、または更新テンプレート登録手段153によって出力された新規テンプレートを入力として、入力された新規テンプレートを記憶する(ステップS5130)。
【0088】
図6は、本発明の第1の実施の形態の物体追跡装置制御方法における、テンプレートの分割処理の流れを示すフローチャートである。
なお、以下の説明に先立ち、テンプレート分割手段160の差分画像生成手段161には、背景画像が記憶され、テンプレート登録手段150には、対象テンプレートが記憶されているものとする。
【0089】
ここで、ステップS6010からステップS6100において行われる処理は、テンプレート分割手段160によって行われる。テンプレート分割手段160は、例えば、差分画像生成手段161、物体領域検出手段162、物体領域記憶手段163、物体数判定手段164、および領域分割手段165によって構成される。
以下の説明では、テンプレート分割手段160の構成例に基づいて、ステップS6010からステップS6100の処理の流れを説明する。
【0090】
差分画像生成手段161は、最新画像記憶手段120によって出力された最新画像を入力とし、入力された最新画像と背景画像とに基づいて、背景差分法をもちいた差分画像を生成し、生成した差分画像を物体領域検出手段162に出力する(ステップS6010)。
【0091】
物体領域検出手段162は、差分画像生成手段161によって出力された差分画像を入力とし、入力された差分画像に基づいて物体領域を検出し、検出された物体領域にラベリング処理を施して物体ラベリング差分画像を生成し、生成された物体ラベリング差分画像を物体領域記憶手段163に出力し、記憶させる(ステップS6020)。
【0092】
物体数判定手段164は、テンプレート登録手段150に記憶された対象テンプレートを選択して入力とする(ステップS6030)。
物体数判定手段164は、物体領域記憶手段163に記憶された物体ラベリング差分画像を入力とし、さらに、テンプレート登録手段150に記憶された対象テンプレートを選択して入力として、入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出する(ステップS6040)。
【0093】
物体数判定手段164は、検出された対象テンプレートに含まれる物体領域の個数を検出し、検出された個数に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の個数が2以上の場合に、物体数判定手段164は、処理をステップS6060に進める。また、対象テンプレートに含まれる物体領域の個数が1の場合に、物体数判定手段164は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップS6100に進める(ステップS6050)。
【0094】
物体数判定手段164は、対象テンプレートに含まれる物体領域の間隔を測定する(ステップS6060)。
物体数判定手段164は、ステップS6060での測定結果に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の間隔が閾値を超えている場合に、物体数判定手段164は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段165に出力し、処理をステップS6080に進める。また、対象テンプレートに含まれる物体領域の間隔が閾値を超えていない場合に、物体数判定手段164は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップS6100に進める(ステップS6070)。
【0095】
領域分割手段165は、物体数判定手段164によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割する(ステップS6080)。
【0096】
領域分割手段165は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段150に出力し、分割処理後のテンプレートでテンプレート登録手段150に記憶されている対象テンプレートを置き換えて記憶させる(ステップS6090)。
【0097】
物体数判定手段164は、テンプレート登録手段150に記憶された全ての対象テンプレートが選択されたか否かについて確認し、上記確認結果に応じ、その後の処理を分岐する。テンプレート登録手段150に記憶された全ての対象テンプレートが選択されていない場合、物体数判定手段164は、処理をステップS6030に進める。また、テンプレート登録手段150に記憶された全ての対象テンプレートが選択された場合、物体数判定手段164は、処理を終了する(ステップS6100)。
【0098】
なお、以上で説明した処理は、最新画像記憶手段120に画像が入力される毎に繰り返される。
【0099】
以上説明したように、本発明の第1の実施の形態の物体追跡装置およびその制御方法は、差分画像に基づいて物体領域を検出し、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割し、単数の物体を含むテンプレートを追跡するため、物体を個々に追跡することが可能である。
【0100】
(第2の実施の形態)
図7は、本発明の第2の実施の形態の物体追跡装置の概略のブロック構成を示す図である。
物体追跡装置700は、撮像手段などの外部装置によって画像を入力される最新画像記憶手段120、上記最新フレーム画像記憶装置120に入力された画像の直前の画像を記憶する直前画像記憶手段130、動いている物体の存在する画像領域である動体領域を検出する動体検出手段140、上記動体領域をテンプレートとして記憶するテンプレート登録手段150、および上記テンプレート登録手段150に記憶されたテンプレートを分割対象のテンプレートとして入力とし、上記分割対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数の場合に、検出された物体毎にこの検出された物体を含む画像領域を分割対象のテンプレートから分割するテンプレート分割手段760によって構成される。
【0101】
ここで、テンプレート登録手段150が、テンプレートおよびテンプレートの位置を時系列的に登録することによって、物体の移動を追跡するものとする。
また、テンプレートとは、追跡対象物体を含む画像領域のことである。
なお、本発明の第2の実施の形態の物体追跡装置700を構成する構成手段のうち、上記本発明の第1の実施の形態の物体追跡装置100における構成手段と同様の処理を行うものには同一の符号を付し、その説明を省略する。
【0102】
また、本発明の第2の実施の形態の物体追跡装置700における動体検出手段140によって行われる動体領域の検出は、オプティカルフロー法に基づいて行うものに限定される。なお、オプティカルフロー法を用いた動体領域の検出を行う動体検出手段140の動作は、本発明の第1の実施の形態の物体追跡装置100における動体検出手段140の動作例で説明されているため、その説明を省略する。
【0103】
テンプレート分割手段760は、テンプレート登録手段150に記憶された対象テンプレートを入力とし、入力された対象テンプレートに含まれている物体の個数を検出し、テンプレートを物体の個数に分割し、さらに、分割されたテンプレートで対象テンプレートを置き換えてテンプレート登録手段150に記憶させるための手段である。
【0104】
ここで、対象テンプレートとは、テンプレート分割手段760の分割処理の対象となるテンプレートのことである。また、対象テンプレートには、動体検出手段140によってブロック毎にオプティカルフローの有無が付与され、対象テンプレートが画像内で位置していた位置情報が付加されている。
また、テンプレート分割手段760は、対象テンプレートに含まれている物体の個数の検出において、対象テンプレートのブロック毎にオプティカルフローの有無を判定し、オプティカルフローを有するブロックの塊を物体領域として検出して、対象テンプレートに含まれる物体の個数を検出するものである。
【0105】
なお、テンプレート分割手段760は、例えば、物体数判定手段764、および領域分割手段765によって構成されるが、他の構成によって実現されるのでもよい。
以下、上記のテンプレート分割手段760の構成例に基づいて、テンプレート記憶手段760の動作の詳細を説明する。
【0106】
物体数判定手段764は、オプティカルフローを有する複数のブロックが隣り合って塊を形成し、かつ、隣り合って塊を形成したブロックの数が閾値以上である場合に、上記ブロックの塊を物体領域として検出する。
【0107】
図8は、本発明の第2の実施の形態の物体追跡装置700における、物体領域の検出を概略的に説明する説明図である。
図8(a)は、対象テンプレート801の例を示す図であり、図8(b)は、対象テンプレート801に付与されたオプティカルフローの例を示す図であり、図8(c)は、対象テンプレート801から検出された物体領域804、805の例を示す図である。
【0108】
図8(b)において、同じ分類に含まれるオプティカルフローを有するブロックの塊802、803が対象テンプレートに含まれている。図8(c)において、上記ブロックの塊802、803が、それぞれ物体領域804、805として検出されている。
【0109】
また、物体数判定手段764は、検出された物体領域の個数を検出する。
さらに、物体数判定手段764は、物体領域の個数が2以上の場合に、対象テンプレートに含まれる物体領域の間隔を測定する。上記測定の結果、対象テンプレートに含まれる物体領域の間隔が閾値を越えている場合に、物体数判定手段764は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段765に出力する。
なお、対象テンプレートに含まれる物体領域の間隔は、各物体領域の中心間隔、もしくは各物体領域の最近接画素間隔である。
【0110】
また、物体数判定手段764は、対象テンプレートに含まれる物体領域の個数が1の場合、または対象テンプレートに含まれる物体領域の間隔が閾値を越えていない場合に、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる。
【0111】
領域分割手段765は、物体数判定手段764によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割するための手段である。
また、領域分割手段765は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段150に出力し、分割処理後のテンプレートで対象テンプレートを置き換えて記憶させる。
【0112】
図9は、本発明の第2の実施の形態の物体追跡装置制御方法における、テンプレートの分割処理の流れを示すフローチャートである。
なお、以下の説明に先立ち、テンプレート登録手段150には、対象テンプレートが記憶されているものとする。
【0113】
ここで、ステップS9010からステップS9100において行われる処理は、テンプレート分割手段760によって行われる。テンプレート分割手段760は、例えば、物体数判定手段764、および領域分割手段765によって構成される。
以下の説明では、テンプレート分割手段760の構成例に基づいて、ステップS9010からステップS9100の処理の流れを説明する。
【0114】
物体数判定手段764は、テンプレート登録手段150に記憶された対象テンプレートを選択して入力とする(ステップS9010)。
【0115】
物体数判定手段764は、オプティカルフローを有する複数のブロックが隣り合って塊を形成し、かつ、隣り合って塊を形成したブロックの数が閾値以上である場合に、上記ブロックの塊を対象テンプレートに含まれる物体領域として検出する(ステップS9040)。
【0116】
物体数判定手段764は、検出された対象テンプレートに含まれる物体領域の個数を検出し、検出された個数に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の個数が2以上の場合に、物体数判定手段764は、処理をステップS9060に進める。また、対象テンプレートに含まれる物体領域の個数が1の場合に、物体数判定手段764は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップS9100に進める(ステップS9050)。
【0117】
物体数判定手段764は、対象テンプレートに含まれる物体領域の間隔を測定する(ステップS9060)。
物体数判定手段764は、ステップS9060での測定結果に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の間隔が閾値を超えている場合に、物体数判定手段764は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段765に出力し、処理をステップS9080に進める。また、対象テンプレートに含まれる物体領域の間隔が閾値を超えていない場合に、物体数判定手段764は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップS9100に進める(ステップS9070)。
【0118】
領域分割手段765は、テンプレート分割手段760の物体数判定手段764によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割する(ステップS9080)。
【0119】
領域分割手段765は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段150に出力し、分割処理後のテンプレートでテンプレート登録手段150に記憶されている対象テンプレートを置き換えて記憶させる(ステップS9090)。
【0120】
物体数判定手段764は、テンプレート登録手段150に記憶された全ての対象テンプレートが選択されたか否かについて確認し、上記確認結果に応じ、その後の処理を分岐する。テンプレート登録手段150に記憶された全ての対象テンプレートが選択されていない場合、物体数判定手段764は、処理をステップS9010に進める。また、テンプレート登録手段150に記憶された全ての対象テンプレートが選択された場合、物体数判定手段764は、処理を終了する(ステップS9100)。
【0121】
なお、以上で説明した処理は、最新画像記憶手段120に画像が入力され、テンプレート登録手段150に対象テンプレートが記憶される毎に繰り返される。
【0122】
以上説明したように、本発明の第2の実施の形態の物体追跡装置およびその制御方法は、オプティカルフロー法を用いて物体を検出し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割し、単数の物体を含むテンプレートを追跡するため、物体を個々に追跡することが可能である。
【0123】
(第3の実施の形態)
図10は、本発明の第3の実施の形態の物体追跡装置の概略のブロック構成を示す図である。
物体追跡装置1000は、撮像手段などの外部装置によって画像を入力される最新画像記憶手段120、上記最新フレーム画像記憶装置120に入力された画像の直前の画像を記憶する直前画像記憶手段130、動いている物体の存在する画像領域である動体領域を検出する動体検出手段140、上記動体領域をテンプレートとして記憶するテンプレート登録手段150、分割対象のテンプレートとして入力とし、上記分割対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数の場合に、検出された物体毎にこの検出された物体を含む画像領域を分割対象のテンプレートから分割するテンプレート分割手段1060、および上記テンプレート登録手段150に記憶された分割対象のテンプレートの画像領域サイズを判定し、判定結果に応じ分割対象のテンプレートを上記テンプレート分割手段1060に出力するテンプレートサイズ判定手段1070によって構成される。
【0124】
ここで、テンプレート登録手段150が、テンプレートおよびテンプレートの位置を時系列的に登録することによって、物体の移動を追跡するものとする。
また、テンプレートとは、追跡対象物体を含む画像領域のことである。
なお、本発明の第3の実施の形態の物体追跡装置1000を構成する構成手段のうち、上記本発明の第1の実施の形態の物体追跡装置100における構成手段と同様の処理を行うものには同一の符号を付し、その説明を省略する。
【0125】
テンプレート分割手段1060は、テンプレートサイズ判定手段1070によって出力された対象テンプレートを入力とし、入力された対象テンプレートに含まれている物体の個数を検出し、テンプレートを物体の個数に分割し、さらに、分割されたテンプレートで対象テンプレートを置き換えてテンプレート登録手段150に記憶させるための手段である。
【0126】
ここで、対象テンプレートとは、テンプレート分割手段1060の分割処理の対象となるテンプレートのことである。また、対象テンプレートには、対象テンプレートが画像内で位置していた位置情報が付加されている。
なお、本発明の第3の実施の形態の物体追跡装置1000におけるテンプレート分割手段1060の説明では、対象テンプレートに含まれている物体領域の検出を、最新画像の差分画像に基づいて行う場合を例に説明する。
ただし、対象テンプレートに含まれている物体領域の検出は、例えば、オプティカルフローの有無が付与された対象テンプレートを用いることによって行われてもよいし、他の方法によって実現されてもよい。
【0127】
ここで、テンプレート分割手段1060は、例えば、差分画像生成手段161、物体領域検出手段162、物体領域記憶手段163、物体数判定手段1064、および領域分割手段1065によって構成されるが、他の構成で実現されてもよい。
【0128】
以下、上記のテンプレート分割手段1060の構成例に基づいて、テンプレート記憶手段1060の動作の詳細を説明する。
なお、本発明の第3の実施の形態の物体追跡装置1000のテンプレート分割手段1060を構成する構成手段のうち、上記本発明の第1の実施の形態の物体追跡装置100のテンプレート分割手段160の構成例における構成手段と同様の処理を行うものには同一の符号を付し、その説明を省略する。
【0129】
物体数判定手段1064は、物体領域記憶手段163によって出力された物体領域にラベリング処理が施された差分画像(以下、物体ラベリング差分画像という。)を入力とし、テンプレートサイズ判定手段1070によって出力された対象テンプレートを入力とし、入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出するための手段である。
【0130】
なお、対象テンプレートに含まれる物体領域の検出は、対象テンプレートと物体ラベリング差分画像とを重ね合わせることによって行われる。ここで、対象テンプレートが物体ラベリング差分画像に重ね合わされる位置は、対象テンプレートの最新画像内での位置と同じ位置である。
【0131】
また、物体数判定手段1064は、検出された物体領域の個数を検出する。
さらに、物体数判定手段1064は、対象テンプレートに含まれる物体領域の個数が2以上の場合に、対象テンプレートに含まれる物体領域の間隔を測定する。上記測定の結果、対象テンプレートに含まれる物体領域の間隔が閾値を越えている場合に、物体数判定手段1064は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段1065に出力する。
なお、対象テンプレートに含まれる物体領域の間隔は、各物体領域の中心間隔、もしくは各物体領域の最近接画素間隔である。
【0132】
また、物体数判定手段1064は、対象テンプレートに含まれる物体領域の個数が1の場合、または対象テンプレートに含まれる物体領域の間隔が閾値を越えていない場合に、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる。
【0133】
領域分割手段1065は、物体数判定手段1064によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割するための手段である。
また、領域分割手段1065は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段150に出力し、分割処理後のテンプレートで対象テンプレートを置き換えて記憶させる。
【0134】
テンプレートサイズ判定手段1070は、テンプレート登録手段150に記憶された対象テンプレートを入力とし、入力された対象テンプレートの画像領域サイズが予め設定された基準サイズよりも大きいか否かを判定し、上記判定結果に応じて、その後の処理を分岐するための手段である。
対象テンプレートの画像領域サイズが予め設定された基準サイズよりも大きい場合に、テンプレートサイズ判定手段1070は、対象テンプレートをテンプレート分割手段1060に出力する。
【0135】
また、対象テンプレートの画像領域サイズが予め設定された基準サイズよりも小さい場合に、テンプレートサイズ判定手段1070は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる。
【0136】
ここで、テンプレートサイズ判定手段1070は、例えば、サイズ判定手段1071、および基準サイズ記憶手段1072によって構成されるが、他の構成によって実現されてもよい。
以下、上記のテンプレートサイズ判定手段1070の構成例に基づいて、テンプレートサイズ判定手段1070の動作の詳細を説明する。
【0137】
サイズ判定手段1071は、テンプレート登録手段150に記憶された対象テンプレートを入力とし、最新画像における対象テンプレートの位置(以下、対象位置という。)と対象テンプレートの画像領域サイズとを検出するための手段である。
ここで、最新画像とは、最新画像記憶手段120に記憶された画像データのことである。
【0138】
また、サイズ判定手段1071は、検出された対象位置を基準サイズ記憶手段1072に出力する。
さらに、サイズ判定手段1071は、出力した対象位置に応じて基準サイズ記憶手段1072によって出力された基準サイズを入力とし、入力された基準サイズと検出された対象テンプレートの画像領域サイズとを照合し、上記照合の結果に応じて処理を分岐する。
【0139】
対象テンプレートの画像領域サイズが予め設定された基準サイズよりも大きい場合に、サイズ判定手段1071は、対象テンプレートをテンプレート分割手段1060に出力する。
また、対象テンプレートの画像領域サイズが予め設定された基準サイズよりも小さい場合に、サイズ判定手段1071は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる。
【0140】
基準サイズ記憶手段1072は、サイズ判定手段1071によって出力された対象位置を入力とし、入力された対象位置に応じて、記憶されている基準サイズデータの中から対象位置に対応する基準サイズを抽出し、抽出した基準サイズをサイズ判定手段1071に出力するための手段である。
【0141】
図11は、基準サイズ記憶手段1072に記憶される基準サイズデータの例を示した図である。
図11において、基準サイズデータには、対象位置に対応して対象テンプレートの基準サイズが設定されている。
なお、テンプレートサイズ判定手段1070は、テンプレート登録手段150に記憶されている全ての対象テンプレートについて同様の処理を行う。
【0142】
図12は、本発明の第3の実施の形態の物体追跡装置制御方法における、テンプレートの分割処理の流れを示すフローチャートである。
なお、以下の説明に先立ち、テンプレート分割手段160の差分画像生成手段161には、背景画像が記憶され、テンプレート登録手段150には、対象テンプレートが記憶されているものとする。
【0143】
ここで、ステップS12010からステップS12020において行われる処理、およびステップS12040からステップS12100において行われる処理は、テンプレート分割手段1060によって行われる。また、テンプレート分割手段160は、例えば、差分画像生成手段161、物体領域検出手段162、物体領域記憶手段163、物体数判定手段1064、および領域分割手段1065によって構成される。
以下の説明では、テンプレート分割手段1060の構成例に基づいて、ステップS12010からステップS12100の処理の流れを説明する。
【0144】
差分画像生成手段161は、最新画像記憶手段120によって出力された最新画像を入力とし、入力された最新画像と背景画像とに基づいて、背景差分法をもちいた差分画像を生成し、生成した差分画像を物体領域検出手段162に出力する(ステップS12010)。
【0145】
物体領域検出手段162は、差分画像生成手段161によって出力された差分画像を入力とし、入力された差分画像に基づいて物体領域を検出し、検出された物体領域にラベリング処理を施して物体ラベリング差分画像を生成し、生成された物体ラベリング差分画像を物体領域記憶手段163に出力し、記憶させる(ステップS12020)。
テンプレートサイズ判定手段1070は、テンプレート登録手段150に記憶された対象テンプレートを選択して入力とする(ステップS12030)。
【0146】
テンプレートサイズ判定手段1070は、入力された対象テンプレートの画像領域サイズが予め設定された基準サイズよりも大きいか否かを判定し、上記判定結果に応じて、その後の処理を分岐する。対象テンプレートの画像領域サイズが予め設定された基準サイズよりも大きい場合に、テンプレートサイズ判定手段1070は、対象テンプレートをテンプレート分割手段1060に出力する。また、対象テンプレートの画像領域サイズが予め設定された基準サイズよりも小さい場合に、テンプレートサイズ判定手段1070は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる(ステップS12035)。
【0147】
物体数判定手段1064は、物体領域記憶手段163に記憶された物体ラベリング差分画像を入力とし、さらに、テンプレートサイズ判定手段1070によって出力された対象テンプレート入力として、入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出する(ステップS12040)。
【0148】
物体数判定手段1064は、検出された対象テンプレートに含まれる物体領域の個数を検出し、検出された個数に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の個数が2以上の場合に、物体数判定手段1064は、処理をステップS12060に進める。また、対象テンプレートに含まれる物体領域の個数が1の場合に、物体数判定手段1064は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップS12100に進める(ステップS12050)。
【0149】
物体数判定手段1064は、対象テンプレートに含まれる物体領域の間隔を測定する(ステップS12060)。
物体数判定手段1064は、ステップS12060での測定結果に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の間隔が閾値を超えている場合に、物体数判定手段1064は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段1065に出力し、処理をステップS12080に進める。また、対象テンプレートに含まれる物体領域の間隔が閾値を超えていない場合に、物体数判定手段1064は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップS12100に進める(ステップS12070)。
【0150】
領域分割手段1065は、物体数判定手段1064によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割する(ステップS12080)。
領域分割手段1065は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段150に出力し、分割処理後のテンプレートでテンプレート登録手段150に記憶されている対象テンプレートを置き換えて記憶させる(ステップS12090)。
【0151】
物体数判定手段1064は、テンプレート登録手段150に記憶された全ての対象テンプレートが選択されたか否かについて確認し、上記確認結果に応じ、その後の処理を分岐する。テンプレート登録手段150に記憶された全ての対象テンプレートが選択されていない場合、物体数判定手段1064は、処理をステップS12030に進める。また、テンプレート登録手段150に記憶された全ての対象テンプレートが選択された場合、物体数判定手段1064は、処理を終了する(ステップS12100)。
【0152】
なお、以上で説明した処理は、最新画像記憶手段120に画像が入力され、テンプレート登録手段150に対象テンプレートが記憶される毎に繰り返される。また、ステップS12040とステップS12050とにおいて行われる対象テンプレートに含まれている物体領域の検出は、例えば、オプティカルフローの有無が付与された対象テンプレートに基づいて行われてもよいし、他の方法によって実現されてもよい。
【0153】
以上説明したように、本発明の第3の実施の形態の物体追跡装置およびその制御方法は、テンプレートのサイズを判定し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割するため、過度なテンプレートの分割を防ぎ、物体を個々に追跡することが可能である。
【0154】
(第4の実施の形態)
図13は、本発明の第4の実施の形態の物体追跡装置の概略のブロック構成を示す図である。
物体追跡装置1300は、撮像手段などの外部装置によって画像を入力される最新画像記憶手段120、上記最新フレーム画像記憶装置120に入力された画像の直前の画像を記憶する直前画像記憶手段130、動いている物体の存在する画像領域である動体領域を検出する動体検出手段140、上記動体領域をテンプレートとして記憶するテンプレート登録手段150、および分割対象のテンプレートとして入力とし、上記分割対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数の場合に、上記分割対象のテンプレートを削除するテンプレート削除手段1360によって構成される。
【0155】
ここで、テンプレート登録手段150が、テンプレートおよびテンプレートの位置を時系列的に登録することによって、物体の移動を追跡するものとする。
また、テンプレートとは、追跡対象物体を含む画像領域のことである。
なお、本発明の第4の実施の形態の物体追跡装置1300を構成する構成手段のうち、上記本発明の第1の実施の形態の物体追跡装置100における構成手段と同様の処理を行うものには同一の符号を付し、その説明を省略する。
【0156】
テンプレート削除手段1360は、テンプレート登録手段150に記憶された対象テンプレートを入力とし、入力された対象テンプレートに含まれている物体領域の個数を検出し、対象テンプレートに含まれる物体領域の個数が複数である場合に、テンプレート登録手段150に記憶された対象テンプレートを削除するための手段である。
【0157】
ここで、対象テンプレートとは、テンプレート削除手段1360の削除処理の対象となるテンプレートのことである。また、対象テンプレートには、対象テンプレートが画像内で位置していた位置情報が付加されている。
なお、本発明の第4の実施の形態の物体追跡装置1300におけるテンプレート削除手段1360の説明では、対象テンプレートに含まれている物体領域の検出を、最新画像の差分画像に基づいて行う場合を例に説明する。ただし、対象テンプレートに含まれている物体領域の検出は、例えば、対象テンプレートのオプティカルフローを求めることによって行われてもよいし、他の方法によって実現されてもよい。
【0158】
また、本発明の第4の実施の形態の物体追跡装置1300は、テンプレートのサイズ判定手段を備えて、テンプレートのサイズが予め設定されたサイズよりも大きい場合に、テンプレート削除手段1360の処理を行わせてもよい。
ここで、テンプレート削除手段1360は、例えば、差分画像生成手段161、物体領域検出手段162、物体領域記憶手段163、物体数判定手段1364、および領域削除手段1367によって構成されるが、他の構成で実現されてもよい。
【0159】
以下、上記のテンプレート削除手段1360の構成例に基づいて、テンプレート削除手段1360の動作の詳細を説明する。
なお、本発明の第4の実施の形態の物体追跡装置1300のテンプレート削除手段1360を構成する構成手段のうち、上記本発明の第1の実施の形態の物体追跡装置100のテンプレート分割手段160の構成例における構成手段と同様の処理を行うものには同一の符号を付し、その説明を省略する。
【0160】
物体数判定手段1364は、物体領域記憶手段163によって出力された物体領域にラベリング処理が施された差分画像(以下、物体ラベリング差分画像という。)を入力とし、さらにテンプレート登録手段150に記憶された対象テンプレートを選択して入力とし入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出するための手段である。
【0161】
なお、対象テンプレートに含まれる物体領域の検出は、対象テンプレートと物体ラベリング差分画像とを重ね合わせることによって行われる。ここで、対象テンプレートが物体ラベリング差分画像に重ね合わされる位置は、対象テンプレートの最新画像内での位置と同じ位置である。
【0162】
また、物体数判定手段1364は、検出された物体領域の個数を検出する。
さらに、物体数判定手段1364は、対象テンプレートに含まれる物体領域の個数が2以上の場合に、対象テンプレートと領域削除手段1367に出力する。
【0163】
また、物体数判定手段1364は、対象テンプレートに含まれる物体領域の個数が1の場合に、対象テンプレートの削除が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを単数物体のテンプレートとして記憶させる。
【0164】
領域削除手段1367は、物体数判定手段1364によって出力された対象テンプレートを入力とし、入力された対象テンプレートに応じ、テンプレート登録手段150に記憶された対象テンプレートを削除するための手段である。
なお、テンプレート削除手段1360は、テンプレート登録手段150に記憶されている全ての対象テンプレートについて同様の処理を行う。
【0165】
図14は、本発明の第4の実施の形態の物体追跡装置制御方法における、テンプレートの削除処理の流れを示すフローチャートである。
なお、以下の説明に先立ち、テンプレート削除手段1360の差分画像生成手段161には、背景画像が記憶され、テンプレート登録手段150には、対象テンプレートが記憶され、さらに最新画像記憶手段120には、最新画像が記憶されているものとする。
【0166】
また、本発明の第4の実施の形態の物体追跡装置制御方法における、対象テンプレートに含まれている物体領域の検出を、最新画像の差分画像に基づいて行う場合を例に説明する。ただし、対象テンプレートに含まれている物体領域の検出は、例えば、対象テンプレートのオプティカルフローを求めることによって行われてもよいし、他の方法によって実現されてもよく、さらに、テンプレートのサイズ判定手段を備えて、テンプレートのサイズが予め設定されたサイズよりも大きい場合に、テンプレート削除の処理を行わせてもよい。
【0167】
ここで、ステップS14010からステップS14100において行われる処理は、テンプレート削除手段1360によって行われる。テンプレート削除手段1360は、例えば、差分画像生成手段161、物体領域検出手段162、物体領域記憶手段163、物体数判定手段1364、および領域削除手段1367によって構成される。
以下の説明では、テンプレート削除手段1360の構成例に基づいて、ステップS14010からステップS14100の処理の流れを説明する。
【0168】
差分画像生成手段161は、最新画像記憶手段120によって出力された最新画像を入力とし、入力された最新画像と背景画像とに基づいて、背景差分法をもちいた差分画像を生成し、生成した差分画像を物体領域検出手段162に出力する(ステップS14010)。
【0169】
物体領域検出手段162は、差分画像生成手段161によって出力された差分画像を入力とし、入力された差分画像に基づいて物体領域を検出し、検出された物体領域にラベリング処理を施して物体ラベリング差分画像を生成し、生成された物体ラベリング差分画像を物体領域記憶手段163に出力し、記憶させる(ステップS14020)。
物体数判定手段1364は、テンプレート登録手段150に記憶された対象テンプレートを選択して入力とする(ステップS14030)。
【0170】
物体数判定手段1364は、物体領域記憶手段163に記憶された物体ラベリング差分画像を入力とし、さらに、テンプレート登録手段150に記憶された対象テンプレートを選択して入力として、入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出する(ステップS14040)。
【0171】
物体数判定手段1364は、検出された対象テンプレートに含まれる物体領域の個数を検出し、検出された個数に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の個数が2以上の場合に、物体数判定手段1364は、対象テンプレートを領域削除手段1367に出力して、処理をステップS14065に進める。また、対象テンプレートに含まれる物体領域の個数が1の場合に、物体数判定手段1364は、対象テンプレートの削除が行われない旨の情報をテンプレート登録手段150に出力し、対象テンプレートを単数物体のテンプレートとして記憶させ、処理をステップS14100に進める(ステップS14050)。
【0172】
領域削除手段1367は、物体数判定手段1364によって出力された対象テンプレートを入力とし、入力された対象テンプレートに応じ、テンプレート登録手段150に記憶された対象テンプレートを削除する(ステップS14065)。
【0173】
物体数判定手段1364は、テンプレート登録手段150に記憶された全ての対象テンプレートが選択されたか否かについて確認し、上記確認結果に応じ、その後の処理を分岐する。テンプレート登録手段150に記憶された全ての対象テンプレートが選択されていない場合、物体数判定手段1364は、処理をステップS14030に進める。また、テンプレート登録手段150に記憶された全ての対象テンプレートが選択された場合、物体数判定手段1364は、処理を終了する(ステップS14100)。
【0174】
なお、以上で説明した処理は、最新画像記憶手段120に画像が入力され、テンプレート登録手段150に対象テンプレートが記憶される毎に繰り返される。
【0175】
以上説明したように、本発明の第4の実施の形態の物体追跡装置およびその制御方法は、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合にテンプレートを削除するため、複数の物体領域を含まないテンプレートを追跡して、物体を個々に追跡することが可能である。
【0176】
(第5の実施の形態)
図15は、本発明の第5の実施の形態の画像認識システムの概略のブロック構成を示す図である。
画像認識システム1500は、単数の物体を含むテンプレートを生成する物体追跡装置100、画像を撮像し、撮像した画像を物体追跡装置100に出力する撮像手段1580、および物体追跡装置100によって出力されたテンプレートを入力として、入力されたテンプレートに含まれる物体の特徴を判定し、物体の移動の追跡結果を出力する認識結果出力手段1590によって構成される。
【0177】
ここで、テンプレートとは、追跡対象物体を含む画像領域のことである。
物体追跡装置100は、撮像手段1580によって出力された画像を入力とし、単数の物体を含むテンプレートを生成し、生成したテンプレートを認識結果出力手段1590に出力するための装置である。
なお、本発明の第5の実施の形態の画像認識システム1500の物体追跡装置100は、本発明の第1の実施の形態の物体追跡装置100と同様の構成を有するため、その構成手段に係る説明を省略する。
【0178】
撮像手段1580は、撮像したい場所の画像を撮像し、撮像された画像を物体追跡装置100と認識結果出力手段1590とに出力するための手段である。
なお、撮像手段1580は、画像を撮像できる手段であれば、その構成を限定されない。
【0179】
認識結果出力手段1590は、物体追跡装置100によって出力されたテンプレートを入力として、入力されたテンプレートに含まれる物体の特徴を判定し、上記判定結果に応じアラームを発生するための手段である。
また、認識結果出力手段1590は、入力されたテンプレートに含まれる物体の移動の追跡結果を出力する。
【0180】
ここで、認識結果出力手段1590は、例えば、描画手段1591、ディスプレイ1592、特徴判定手段1593、およびアラーム出力手段1594によって構成される。
ただし、認識結果出力手段1590の構成は、他の構成によって実現されてもよい。
【0181】
以下、上記の認識結果出力手段1590の構成例に基づいて、認識結果出力手段1590の動作の詳細を説明する。
描画手段1591は、物体追跡装置100によって出力されたテンプレートを随時入力とし、随時入力されたテンプレートに添付された照合情報に基づいて、同一の物体の含まれるテンプレートの移動結果を生成するための手段である。
【0182】
ここで、照合情報とは、入力された1のテンプレートと、1のテンプレートとは異なる時間に入力されたテンプレートとの関連を示す情報のことであり、描画手段1591は、照合情報が一致した場合に、各テンプレートを同一の物体の含まれるテンプレートであると判定する。
【0183】
また、描画手段1591は、撮像手段1580によって出力された画像を入力とし、入力された画像に上記生成した移動結果を合成することによって移動結果合成画像を生成し、生成した移動結果合成画像をディスプレイ1592に出力する。
【0184】
ディスプレイ1592は、描画手段1591によって出力された移動結果合成画像を入力とし、入力された移動結果合成画像を表示するための手段である。
特徴判定手段1593は、物体追跡装置100によって出力されたテンプレートを入力とし、入力されたテンプレートに含まれる物体の特徴を検出するための手段である。
【0185】
また、特徴判定手段1593は、検出された物体の特徴と物体特徴情報とに基づいて、テンプレートに含まれる物体の判定を行い、上記判定の結果、テンプレートに含まれる物体が認識対象の物体である場合に、アラームを出力する旨の信号をアラーム出力手段1594に出力する。
【0186】
ここで、物体特徴情報とは、特徴判定手段1593に予め記憶された画像データのことで、認識対象の物体の特徴を示す画像データである。
アラーム出力手段1594は、特徴判定手段1593によって出力されたアラームを出力する旨の信号を入力とし、入力された信号に応じてアラームを出力するための手段である。
【0187】
なお、本発明の第5の実施の形態の画像認識システム1500は、物体追跡装置100を、本発明の第2の実施の形態の物体追跡装置700、本発明の第3の実施の形態の物体追跡装置1000、または本発明の第4の実施の形態の物体追跡装置1300に置き換えることで構成されてもよい。
【0188】
以上説明したように、本発明の第5の実施の形態の画像認識システムは、単数の物体を含むテンプレートを入力として、物体を個々に追跡することが可能であり、さらに、物体の特徴を個々に判定して物体を認識することが可能である。
【0189】
【発明の効果】
以上説明したように、本発明は、単数の物体を含むテンプレートを生成し、物体を個々に追跡することが可能である物体追跡装置、その制御方法、および画像認識システムを提供することができるものである。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態の物体追跡装置の概略のブロック構成を示す図
【図2】 本発明の第1の実施の形態の物体追跡装置で求められるオプティカルフローの様子の例を説明する説明図
【図3】 本発明の第1の実施の形態の物体追跡装置で検出される動体領域の例を説明する説明図
【図4】 本発明の第1の実施の形態の物体追跡装置で生成される差分画像の例を説明する説明図
【図5】本発明の第1の実施の形態の物体追跡装置制御方法における新規テンプレート、および更新テンプレートの記憶処理の流れを示すフローチャート
【図6】 本発明の第1の実施の形態の物体追跡装置制御方法におけるテンプレートの分割処理の流れを示すフローチャート
【図7】 本発明の第2の実施の形態の物体追跡装置の概略のブロック構成を示す図
【図8】本発明の第2の実施の形態の物体追跡装置で物体領域の検出方法を概略的に説明する説明図
【図9】本発明の第2の実施の形態の物体追跡装置制御方法におけるテンプレートの分割処理の流れを示すフローチャート
【図10】本発明の第3の実施の形態の物体追跡装置の概略のブロック構成を示す図
【図11】本発明の第3の実施の形態の物体追跡装置における基準サイズデータの例を示す図
【図12】本発明の第3の実施の形態の物体追跡装置制御方法におけるテンプレートの分割処理の流れを示すフローチャート
【図13】本発明の第4の実施の形態の物体追跡装置の概略のブロック構成を示す図
【図14】本発明の第4の実施の形態の物体追跡装置制御方法におけるテンプレートの削除処理の流れを示すフローチャート
【図15】本発明の第5の実施の形態の画像認識システムの概略のブロック構成を示す図
【図16】従来の物体追跡装置の概略のブロック構成を示す図
【符号の説明】
100、700、1000、1300、1600 物体追跡装置
120 最新画像記憶手段
130 直前画像記憶手段
140 動体検出手段
141 オプティカルフロー演算手段
142 動体領域検出手段
143 動体領域記憶手段
150 テンプレート登録手段
151 新規テンプレート登録手段
152 マッチング位置探索手段
153 更新テンプレート登録手段
154 テンプレート記憶手段
160、760、1060 テンプレート分割手段
161 差分画像生成手段
162 物体領域検出手段
163 物体領域記憶手段
164、764、1064、1364 物体数検出手段
165、765、1065 領域分割手段
201 最新画像の探索範囲の1のブロック
202 最適ブロック位置
203 オプティカルフロー
301 第1の動体
302 第2の動体
303 第1の動体のオプティカルフロー
304 第2の動体のオプティカルフロー
305 第1の動体領域
306 第2の動体領域
401 対象テンプレート
402 対象テンプレートに含まれる物体領域の検出結果
403 第1の分割されたテンプレート
404 第2の分割されたテンプレート
801 対象テンプレート
802 第1の物体領域
803 第2の物体領域
804 第1の分割されたテンプレート
805 第2の分割されたテンプレート
1070 テンプレートサイズ判定手段
1071 サイズ判定手段
1072 基準サイズ記憶手段
1360 テンプレート削除手段
1367 領域削除手段
1500 画像認識システム
1580 撮像手段
1590 認識結果出力手段
1591 描画手段
1592 ディスプレイ
1593 特徴判定手段
1594 アラーム出力手段
1601 撮像手段画像記憶手段
1602 画像記憶手段
1603 プログラムメモリ
1604 ワークメモリ
1605 制御手段
Claims (6)
- 撮像時刻の異なる複数の画像を入力とし、最新の画像である最新画像および前記最新画像の直前の画像である直前画像をそれぞれブロックに分割しブロック毎に求めたオプティカルフローに基づいて前記画像中で動いている物体の存在する画像領域を動体領域として検出する動体検出手段と、
検出された前記動体領域を分割対象のテンプレートとして登録するテンプレート登録手段と、
予め記憶された背景画像と前記最新画像との差分画像にラベリング処理を施したラベリング差分画像と前記テンプレート登録手段に登録された前記分割対象のテンプレートとを重ね合わせることによって前記分割対象のテンプレートに含まれる前記物体毎の画像領域を求め、前記物体毎の画像領域を物体領域として検出する物体領域検出手段と、
前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新するテンプレート分割手段とを備え、
前記テンプレート分割手段は、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを分割後のテンプレートで置き換えることによって前記テンプレート登録手段に記憶されている分割対象のテンプレートを更新し、
前記テンプレート登録手段は、前記分割後のテンプレートおよび前記分割後のテンプレートの位置を時系列的に登録することを特徴とする物体追跡装置。 - 前記分割対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定手段を備え、
前記テンプレート分割手段は、前記画像領域サイズが予め設定された値よりも大きいと判定された前記分割対象のテンプレートに含まれる物体領域の個数を検出し、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新することを特徴とする請求項1記載の物体追跡装置。 - 撮像時刻の異なる複数の画像を入力とし、最新の画像である最新画像および前記最新画像の直前の画像である直前画像をそれぞれブロックに分割しブロック毎に求めたオプティカルフローに基づいて前記画像中で動いている物体の存在する画像領域を動体領域として検出する動体検出手段と、
検出された前記動体領域に前記オプティカルフローをブロック毎に付与して分割対象のテンプレートとして登録するテンプレート登録手段と、
前記テンプレート登録手段に登録された前記分割対象のテンプレートにおいてオプティカルフローに基づいて隣り合っているブロックの塊を検出することによって前記分割対象のテンプレートに含まれる前記物体毎の画像領域を求め、前記物体毎の画像領域を物体領域として検出する物体領域検出手段と、
前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新するテンプレート分割手段とを備え、
前記テンプレート分割手段は、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを分割後のテンプレートで置き換えることによって前記テンプレート登録手段に記憶されている分割対象のテンプレートを更新し、
前記テンプレート登録手段は、前記分割後のテンプレートおよび前記分割後のテンプレートの位置を時系列的に登録することを特徴とする物体追跡装置。 - 撮像時刻の異なる複数の画像を入力とし、最新の画像である最新画像および前記最新画像の直前の画像である直前画像をそれぞれブロックに分割しブロック毎に求めたオプティカルフローに基づいて前記画像中で動いている物体の存在する画像領域を動体領域として検出する動体検出ステップと、
検出された前記動体領域を分割対象のテンプレートとして登録するテンプレート登録ステップと、
予め記憶された背景画像と前記最新画像との差分画像にラベリング処理を施したラベリング差分画像と前記テンプレート登録ステップにおいて登録された前記分割対象のテンプレートとを重ね合わせることによって前記分割対象のテンプレートに含まれる前記物体毎の画像領域を求め、前記物体毎の画像領域を物体領域として検出する物体領域検出ステップと、
前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新するテンプレート分割ステップとを備え、
前記テンプレート分割ステップは、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを分割後のテンプレートで置き換えることによって前記テンプレート登録ステップで記憶された分割対象のテンプレートを更新するステップを有し、
前記テンプレート登録ステップは、前記分割後のテンプレートおよび前記分割後のテンプレートの位置を時系列的に登録するステップを有すること特徴とする物体追跡装置制御方法。 - 前記分割対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定ステップを備え、
前記テンプレート分割ステップは、前記画像領域サイズが予め設定された値よりも大きいと判定された前記分割対象のテンプレートに含まれる物体領域の個数を検出し、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新するステップを有することを特徴とする請求項4記載の物体追跡装置制御方法。 - 撮像時刻の異なる複数の画像を入力とし、最新の画像である最新画像および前記最新画像の直前の画像である直前画像をそれぞれブロックに分割しブロック毎に求めたオプティカルフローに基づいて前記画像中で動いている物体の存在する画像領域を動体領域として検出する動体検出ステップと、
検出された前記動体領域に前記オプティカルフローをブロック毎に付与して分割対象のテンプレートとして登録するテンプレート登録ステップと、
前記テンプレート登録ステップにおいて登録された前記分割対象のテンプレートにおいてオプティカルフローに基づいて隣り合っているブロックの塊を検出することによって前記分割対象のテンプレートに含まれる前記物体毎の画像領域を求め、前記物体毎の画像領域を物体領域として検出する物体領域検出ステップと、
前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる前記物体領域が複数かつ前記物体領域の間隔が所定の閾値を超えているときに、前記複数の物体領域をそれぞれ新たなテンプレートとして前記分割対象のテンプレートから分割し前記テンプレートを更新するテンプレート分割ステップとを備え、
前記テンプレート分割ステップは、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを分割後のテンプレートで置き換えることによって前記テンプレート登録手段に記憶されている分割対象のテンプレートを更新するステップを有し、
前記テンプレート登録ステップは、前記分割後のテンプレートおよび前記分割後のテンプレートの位置を時系列的に登録するステップを有すること特徴とする物体追跡装置制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002167570A JP4537645B2 (ja) | 2002-06-07 | 2002-06-07 | 物体追跡装置および物体追跡装置制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002167570A JP4537645B2 (ja) | 2002-06-07 | 2002-06-07 | 物体追跡装置および物体追跡装置制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004013614A JP2004013614A (ja) | 2004-01-15 |
JP4537645B2 true JP4537645B2 (ja) | 2010-09-01 |
Family
ID=30434778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002167570A Expired - Fee Related JP4537645B2 (ja) | 2002-06-07 | 2002-06-07 | 物体追跡装置および物体追跡装置制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4537645B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102494675A (zh) * | 2011-11-30 | 2012-06-13 | 哈尔滨工业大学 | 一种运动目标特征高速视觉捕捉方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7009252B2 (ja) * | 2018-02-20 | 2022-01-25 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
KR102079581B1 (ko) * | 2018-03-08 | 2020-02-20 | 주식회사 에스원 | 보안시스템에서의 사용자 관심영상 검출방법 및 이를 위한 관심영상 검출 시스템 |
CN113516672B (zh) * | 2021-09-07 | 2022-02-25 | 北京美摄网络科技有限公司 | 图像分割方法、装置、电子设备及可读存储介质 |
CN118120222A (zh) * | 2022-09-29 | 2024-05-31 | 京东方科技集团股份有限公司 | 用于检测摄像头干扰的方法、系统和电子设备 |
-
2002
- 2002-06-07 JP JP2002167570A patent/JP4537645B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102494675A (zh) * | 2011-11-30 | 2012-06-13 | 哈尔滨工业大学 | 一种运动目标特征高速视觉捕捉方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2004013614A (ja) | 2004-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107431786B (zh) | 图像处理设备、图像处理系统和图像处理方法 | |
US8144207B2 (en) | Computer program product for photographic subject tracking, photographic subject tracking device, and camera | |
US7769227B2 (en) | Object detector | |
US8050459B2 (en) | System and method for detecting pedestrians | |
JP6286474B2 (ja) | 画像処理装置および領域追跡プログラム | |
US20100322475A1 (en) | Object area detecting device, object area detecting system, object area detecting method and program | |
JP6968342B2 (ja) | 物体認識処理装置、物体認識処理方法及びプログラム | |
JP2009510541A (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
JP2000011133A (ja) | 移動物体検出装置及びその方法 | |
CA2749723A1 (en) | Detecting potential changed objects in images | |
JP3333721B2 (ja) | 領域検出装置 | |
JPWO2007074605A1 (ja) | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 | |
JP2013137604A (ja) | 画像照合処理装置、画像照合処理方法及び画像照合処理プログラム | |
JP4537645B2 (ja) | 物体追跡装置および物体追跡装置制御方法 | |
JP2002296010A (ja) | 画像を用いた自己位置同定方法 | |
JP2007164690A (ja) | 画像処理装置及び画像処理方法 | |
JPH10240934A (ja) | 被写体抽出装置 | |
JP6405606B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP6028972B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US10867400B2 (en) | System for processing an image obtained by using stereo photography | |
CN109977740B (zh) | 一种基于深度图的手部跟踪方法 | |
JPH08167022A (ja) | 画像監視装置 | |
JP3673578B2 (ja) | 相関追跡システム | |
JP2000331160A (ja) | 画像マッチング装置、画像マッチング方法及び画像マッチング用プログラムを記録した記録媒体 | |
JP2011043863A (ja) | 対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080922 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081021 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081117 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090105 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090220 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20100304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100325 |
|
RD15 | Notification of revocation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7435 Effective date: 20100325 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100618 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |