JP3552456B2 - Moving object tracking method - Google Patents
Moving object tracking method Download PDFInfo
- Publication number
- JP3552456B2 JP3552456B2 JP11380397A JP11380397A JP3552456B2 JP 3552456 B2 JP3552456 B2 JP 3552456B2 JP 11380397 A JP11380397 A JP 11380397A JP 11380397 A JP11380397 A JP 11380397A JP 3552456 B2 JP3552456 B2 JP 3552456B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- contour
- characteristic model
- model
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動物体追跡方法に関し、特に、形状の変化する非剛体を追跡することができる動物体追跡方法に関するものである。
【０００２】
【従来の技術】
従来より、連続画像の中の動物体を追跡する動物体追跡方法として、連続画像を一つに積み重ねた三次元画像（いわゆる時空間画像）を利用して動物体を追跡する方法がある。この方法は、Ｈ．Ｈ．Ｂａｋｅｒ ａｎｄ Ｔ．Ｄ．Ｇａｒｖｅｙ，”Ｍｏｔｉｏｎ Ｔｒａｃｋｉｎｇ ｏｎ ｔｈｅ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｓｕｒｆａｃｅ”，Ｐｒｏｃ．［ＤＡＲＰＡ］ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ，ｐｐ．４５１〜４５７，Ｊａｎ．１９９２に詳しく記載されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、時空間画像を用いた従来の動物体追跡法では、形状が変化する非剛体物体を抽出することが難しく、さらに、形状の似通った複数の物体の中から、特定の物体を追跡することは困難であった。
【０００４】
これに対して、動画像を複数の連続した静止画面から構成されているとみなして、各静止画面を分散機能を用いて解析することにより動物体を追跡する動物体追跡方法が多く提案されている。
【０００５】
例えば、情報処理学会発行の「情報処理」Ｖｏｌ．２６，Ｎｏ．５，ｐｐ．８７７〜８８９，１９８５年の松山、ハングによる”画像理解システムＳＩＧＭＡ”にその内容が開示されている。
【０００６】
しかし、従来の分散機能を用いた動物体追跡方法は、動画像に応用した例は少ない。また、解析する動画像があまり精密でない場合（例えば、放送されたテレビの映像等）にあっては、動物体を追跡することは困難であると予想される。
【０００７】
そこで、本発明の目的は、上記の問題点を解決するためになされたものであり、似通った特徴をもつ複数の物体が存在する状態であっても、目的とする物体を追跡することが可能な動物体追跡方法を提供することである。
【０００８】
また、本発明のもう一つの目的は、追跡する動物体が形状の変化するものであっても、追跡することが可能な動物体追跡方法を提供することである。
【０００９】
さらに、本発明のもう一つの目的は、あまり精密でない動画像であっても上記目的を達成することが可能な動物体追跡方法を提供することである。
【００１０】
【課題を解決するための手段】
請求項１に係る動物体追跡方法は、動画像における動物体を追跡する動物体追跡方法であって、動画像を複数のフレームに分割する分割ステップと、第１番目のフレームを表示して、ユーザに追跡する動物体と背景とを指定させ、指定した動物体と背景とに基づいて、色特性モデル、輪郭特性モデル、および動き特性モデルと、背景値とを算出する初期設定ステップと、第１番目のフレーム以降の１のフレームから、背景値と、色特性モデルとを用いて動物体の候補を検出し、各候補毎に、候補と色特性モデルとの色特性に関する適合度を示す第１の適合確率を算出する色特性解析ステップと、検出した各候補毎に、候補と輪郭特性モデルとの輪郭特性に関する適合度を示す第２の適合確率を算出する輪郭特性解析ステップと、動き特性モデルから動物体の位置を予測し、検出した各候補毎に、候補と予測した位置との近さを示す第３の適合確率を算出する動き特性解析ステップと、各候補毎に、第１の適合確率、第２の適合確率、および第３の適合確率を統合して統合確率を算出し、統合確率の値が最大の候補を追跡する動物体と決定する統合ステップと、決定した動物体に基づき、色特性モデル、輪郭特性モデル、および動き特性モデルを更新する更新ステップと、第１番目のフレーム以降のフレームについて、順次、追跡する動物体を決定するための制御を行なう制御ステップとを備える。
【００１１】
請求項２に係る動物体追跡方法は、請求項１に係る動物体追跡方法であって、背景値とは、ユーザが指定した背景を占める色の値であり、色特性モデルとは、フレームに対して、背景値を用いてフィルタ処理を施すことにより得られる動物体の２値化画像であり、輪郭特性モデルとは、動物体の中心位置を中心とする領域に対して、輪郭強調処理を施すことにより得られる動物体の輪郭強調画像であり、動き特性モデルとは、動物体の中心位置である。
【００１２】
請求項３に係る動物体追跡方法は、請求項２に係る動物体追跡方法であって、色特性解析ステップは、フレームに対して、背景値を用いてフィルタ処理を施すことにより動物体の候補となる領域を得るステップと、候補となる領域毎に、領域と色特性モデルとの面積比を求めて、面積比の大きいものから順に３つの領域を選択して候補とするステップと、選択された３つの各候補毎に、面積比に基づき、第１の適合確率を算出するステップとを備える。
【００１３】
請求項４に係る動物体追跡方法は、請求項２に係る動物体追跡方法であって、輪郭特性解析ステップは、各候補を中心とした領域に、輪郭強調処理を施すことにより、各候補の輪郭強調画像を得るステップと、各輪郭強調画像と、輪郭特性モデルとのテンプレートマッチングを行なうステップと、各候補毎に、テンプレートマッチングの結果に基づき、第２の適合確率を算出するステップとを備える。
【００１４】
請求項５に係る動物体追跡方法は、請求項２に係る動物体追跡方法であって、動き特性解析ステップは、動き特性モデルを用いて、動物体が直線的に移動した場合の位置を予測するステップと、予測された位置と、各候補との距離を算出するステップと、各候補毎に、求めた距離に基づき、第３の適合確率を算出するステップとを備える。
【００１５】
請求項６に係る動物体追跡方法は、請求項２に係る動物体追跡方法であって、更新ステップは、決定した動物体の位置を、動き特性モデルとして更新するステップと、決定した動物体の統合確率が一定値以上であれば、決定した動物体の２値化画像を色特性モデルとし、かつ決定した動物体の輪郭強調画像を輪郭強調モデルとして更新するステップとを備える。
【００１６】
【発明の実施の形態】
［実施の形態１］
本発明は、動物体追跡方法に関し、複数の形状が変化する動物体の中から、特定の動物体を追跡することを可能とするものである。
【００１７】
図１は、本発明の実施の形態１における動物体追跡方法１００の全体の流れを示すフロー図である。図１を参照して、本発明の実施の形態１における動物体追跡方法１００についての概要を説明する。
【００１８】
ステップｓ１−１（前処理）では、連続画像を分割して、さらに各フレームの信号形式を変換する。ステップｓ１−２（画像入力部）では、解析するフレームを読み出す。読み出したフレームが第１番目のフレームである場合は、追跡する対象物体（動物体）を指定して、雛形となる初期モデルを生成する。ステップｓ１−３（解析部）では、モデルを用いて、フレームを３つのプロセスで解析（色特性解析部ステップｓ１−１０、輪郭特性解析部ステップｓ１−１１、動き特性解析部ステップｓ１−１２）する。解析結果として、追跡対象の候補と、その適合確率とを得る。ステップｓ１−４（情報統合部）では、候補別に、適合確率を統合した統合確率を算出し、その結果に基づき候補の中から追跡する対象物体を決定する。ステップｓ１−５（情報モデル判別更新部）では、決定した追跡対象物体に基づき、モデルの更新を行なう。ステップｓ１−６（表示部）では、結果をモニタ等に表示する。次のフレームが存在する場合（ステップｓ１−７）は、次のフレームについて、ステップｓ１−２〜ｓ１−６の処理を行ない、対象物体を追跡する。なお、本発明の実施の形態１の動物体追跡方法１００では、放送されたテレビ画面上の非剛体を追跡する。
【００１９】
図２は、本発明の実施の形態１における動物体追跡方法を実施するためのシステム１１０の概略的な基本構成の一例を示すブロック図である。図２を参照して、システム１１０は、キャプチャボード２、主制御部３、表示部６およびディスク装置４、５を備える。
【００２０】
キャプチャボード２は、テレビ（もしくはＶＴＲ）１、および主制御部３に接続されている。主制御部３には、表示部６、およびディスク装置４、５が接続されている。
【００２１】
キャプチャボード２を介して、テレビ（もしくはＶＴＲ）１から出力されるＮＴＳＣ信号を主制御部３に取り込む。表示部６は、モニタ等を含み、解析状況等を表示する。
【００２２】
主制御部３は、ＮＴＳＣ信号をｍｏｔｉｏｎ ｊｐｅｇ形式の信号に変換する。変換されたｍｏｔｉｏｎ ｊｐｅｇ形式の信号は、ディスク装置４に格納する。また、主制御部３は、ディスク装置４に格納されたｍｏｔｉｏｎ ｊｐｅｇ形式の信号を読み出して、１秒間に３０のフレームに分割して、ＰＰＭ形式画像とする。ＰＰＭ形式画像は、ディスク装置５に格納する。この結果、テレビ（もしくはＶＴＲ）１から取り込んだ連続画像が、ｎフレームの静止画面（以下、フレームＧ（ｋ）と記す：ただしｋ＝１〜ｎ）に変換される。
【００２３】
さらに、主制御部３は、後述するように、ディスク装置５に格納されたＰＰＭ形式画像を解析して、動物体の追跡を行なう。
【００２４】
続いて、図１に示した各ステップについて詳細を説明する。
図１に示す前処理（ステップｓ１−１）では、解析する連続画像（すなわちテレビ映像）を複数の静止画像に分割する。具体的には、前述したように、主制御部３（図２）おいて、テレビ１（図２）から得た連続画像を、１秒間につき３０のフレームに分割し、ＰＰＭ形式画像を生成してディスク装置５（図２）に格納する。動物体追跡方法１００は、このディスク装置５に格納された静止画像を時系列の順に解析することによって、対象物体を追跡する。
【００２５】
続いて、図１に示す画像入力部（スッテプｓ１−２）の詳細について説明する。前述したように、画像入力部では、解析するフレームＧ（ｋ）をディスク装置５（図２）から読み出す。読み出したフレームが、第１番目のフレームＧ（１）である場合は、ユーザが指定した追跡対象物体に基づき、雛形となるモデル（初期モデル）を作成する。
【００２６】
図３は、本発明の実施の形態１における画像入力部の処理手順を示すフロー図である。図３を参照して、ステップｓ３−１では、解析するフレームＧ（ｋ）が、第１番目のフレームに当る（ｋ＝１）か否かを調べる。第１番目のフレームＧ（１）に該当する場合は、フレームＧ（１）を取り込み（ステップｓ３−２）、例えば、表示部６（図２）に表示する（ステップｓ３−３）。それ以外の場合には、ステップｓ３−８に移り、解析するフレームＧ（ｋ）を、ディスク装置５（図２）から読み出す。
【００２７】
ステップｓ３−３では、表示されたフレームＧ（１）に対して、ユーザが追跡する対象物体および背景画像を指定する。
【００２８】
図４は、本発明の実施の形態１における追跡対象物体および背景画像の指定方法について説明するための図である。図４は、フレームＧ（１）の表示画面であり、追跡対象物体の一例として非剛体である人物（ＭＡＮ）が表わされている。図４を参照して、ユーザは、図示しないマウス等を用いて、表示画面上の位置Ａ、Ｂ、Ｃを指定する。位置Ａ、Ｂは、追跡対象物体ＭＡＮに外接する長方形と中心位置Ｄとを決定する。位置Ｃは、背景画像を決定する。
【００２９】
図３を参照して、ステップｓ３−５〜ｓ３−７では、ユーザが指定した追跡対象物体ＭＡＮおよび背景画像に基づき、３種類の初期モデル（色特性モデル、輪郭特性モデル、および動き特性モデル）を作成する。
【００３０】
色特性モデルの作成処理（ステップｓ３−５）について説明する。色特性モデル作成処理では、背景画像の色のヒストグラムを用いて色特性モデル（初期モデル）を作成する。色に関する画像処理の方法については、Ｙ．Ｏｈｔａ，”Ａ
ｒｅｇｉｏｎ−ｏｒｉｅｎｔｅｄ ｉｍａｇｅ ａｎａｌｙｓｉｓ ｓｙｓｔｅｍ ｂｙ ｃｏｍｐｕｔｅｒ”，Ｐｈ．Ｄ．ｔｈｅｓｉｓ，Ｋｙｏｔｏ Ｕｎｉｖ．（１９８０）、およびＷ．Ｄｏｙｌｅ，”Ｏｐｅｒａｔｉｏｎｓ ｕｓｅｆｕｌ ｆｏｒ ｓｉｍｉｌａｒｉｔｙ−ｉｎｖａｒｉａｎｔ ｐａｔｔｅｒｎ
ｒｅｃｏｇｎｉｔｉｏｎ”，ＪＡＣＭ，９，ｐｐ．２５９〜２６７（１９６２）に詳しく記載されているので、ここではその概要を簡単に説明する。
【００３１】
図５は、本発明の実施の形態１における色特性モデル作成処理の処理手順を示すフロー図である。図５を参照して、ステップｓ５−１では、ユーザが指定した位置Ｃを中心とする領域の色を、（ｃｏｌｏｒｘ、ｃｏｌｏｒｙ）座標系の値に変換する。式（１）〜式（２）に変換式を示す。
【００３２】
ｃｏｌｏｒｘ＝（Ｒ＋Ｇ＋Ｂ）／３ …（１）
ｃｏｌｏｒｙ＝（Ｒ−Ｂ）／２ …（２）
ここで、（Ｒ、Ｇ、Ｂ）とは、位置Ｃを中心とする領域の３原色を示す。
【００３３】
ステップｓ５−２では、ステップｓ５−１で得られた値（ｃｏｌｏｒｘ、ｃｏｌｏｒｙ）を用いて、ｃｏｌｏｒｘについてのヒストグラム、およびｃｏｌｏｒｙについてのヒストグラムを作成する。
【００３４】
ステップｓ５−３では、２つのヒストグラムを用いて、背景値（Ｘｕｐ，Ｘｌｏｗ、Ｙｕｐ，Ｙｌｏｗ）を算出する。参考のため、図６に、背景画像における色のヒストグラムと背景値との関係を示す。図６（ａ）は、ｃｏｌｏｒｘについてのヒストグラムを、図６（ｂ）は、ｃｏｌｏｒｙについてのヒストグラムをそれぞれ表わしている。２つのヒストグラムの中心から正規分布９０％を占める上限、下限の値（Ｘｕｐ，Ｘｌｏｗ、Ｙｕｐ，Ｙｌｏｗ）を、背景値とする。背景値（Ｘｕｐ，Ｘｌｏｗ、Ｙｕｐ，Ｙｌｏｗ）は、後述するように、フレームＧ（ｋ）（ｋ＝１〜ｎ）から背景画像を切り出すためのパラメータとなる。
【００３５】
図５を参照して、ステップｓ５−４では、色特性モデルを作成する。具体的には、ステップｓ５−３で算出された背景値（Ｘｕｐ、Ｘｌｏｗ、Ｙｕｐ、Ｙｌｏｗ）を用いて、フレームＧ（１）から背景画像を切り出す。これにより得られる２値化画像を、色特性モデル（初期モデル）とする。
【００３６】
続いて、図３に示す輪郭特性モデルの作成処理（ステップｓ３−６）について説明する。輪郭特性モデル作成処理では、ユーザが指定した追跡対象物体ＭＡＮの中心位置（図４の位置Ｄ）を中心とする領域に対して輪郭強調作業を行ない、輪郭強調画像を作成する。作成された輪郭強調画像を、輪郭特性モデル（初期モデル）とする。
【００３７】
輪郭強調作業は、Ｒｏｂｅｒｔｓオペレータを用いて行なう。Ｒｏｂｅｒｔｓオペレータについては、Ｌ．Ｇ．Ｒｏｂｅｒｔｓ，”Ｍａｃｈｉｎｅ ｐｅｒｃｅｐｔｉｏｎ ｏｆ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｏｌｉｄｓ”，Ｏｐｔｉｃａｌ Ｅｌｅｃｔｏ−ｏｐｔｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ ｏｆＩｎｆｏｒｍａｔｉｏｎ，ＭＩＴ Ｐｒｅｓｓ，ｐｐ．１５９〜１９７（１９６５）に詳しく説明されているので、ここではその説明は省略する。
【００３８】
続いて、図３に示す動き特性モデルの作成処理（ステップｓ３−７）について説明する。動き特性モデル作成処理では、ユーザが指定した追跡対象物体ＭＡＮの中心位置（図４の位置Ｄ）を、動き特性モデル（初期モデル）とする。
【００３９】
フレームＧ（１）に対して、ステップｓ３−５〜ｓ３−７を行なった後は、ステップｓ３−８に移り、解析するフレームＧ（２）をディスク装置５（図２）から読み出す。
【００４０】
続いて、図１に示す解析部（ステップｓ１−３）の詳細について説明する。解析部は、色特性解析部（ステップｓ１−１０）、輪郭特性解析部（ステップｓ１−１１）、および動き特性解析部（ステップｓ１−１２）を備える。
【００４１】
解析部では、モデル（色特性モデル、輪郭特性モデル、および動き特性モデル）を用いて、フレームＧ（ｋ）を解析する。ここで、第２番目のフレームＧ（２）は、図３で説明した初期モデルを用いて解析し、第３番目以降のフレームＧ（ｋ）（ｋ＞２）は、後述するように、情報モデル判別更新部（図１に示すステップｓ１−５）において得られるモデルを用いて解析する。
【００４２】
図１に示す色特性解析部（ステップｓ１−１０）の詳細について説明する。色特性解析部では、色特性モデルを用いてフレームＧ（ｋ）から追跡対象物体の候補を検出し、検出した候補に対して色特性に関する適合確率を算出する。
【００４３】
図７は、本発明の実施の形態１における色特性解析部の処理手順を示すフロー図である。図７を参照して、ステップｓ７−１では、背景値（Ｘｕｐ、Ｘｌｏｗ、Ｙｕｐ、Ｙｌｏｗ）を用いて、フレームＧ（ｋ）に色フィルタ処理を施す。これにより、フレームＧ（ｋ）から背景を抜き出し、追跡対象物体の候補となるべき複数の領域が、２値化画像として得られる。
【００４４】
ステップｓ７−２では、次に示す式（３）を用いて、候補となる各領域と色特性モデルとの面積比Ｐｃｏｌｏｒを算出する。
【００４５】
Ｐｃｏｌｏｒ＝ＡＲＥＡｃａｎｄ／ＡＲＥＡｍｏｄｅｌ …（３）
ここで、ＡＲＥＡｍｏｄｅｌとは、色特性モデルの面積を示し、ＡＲＥＡｃａｎｄは、候補となる各領域の面積を示す。面積比Ｐｃｏｌｏｒの値が大きい候補ほど、色特性に関して色特性モデルとの適合度が高い。
【００４６】
面積比Ｐｃｏｌｏｒの値の大きい領域から順に３つの領域を検出して、追跡対象物体の候補とする。
【００４７】
ステップｓ７−３では、各候補について、色特性に関する適合確率を算出する。本実施例では、適合確率として式（３）をそのまま用いる（適合確率＝Ｐｃｏｌｏｒ）。適合確率Ｐｃｏｌｏｒは、候補と色特性モデルとの適合の度合を示している。
【００４８】
続いて、図１に示す輪郭特性解析部（ステップｓ１−１１）の詳細について説明する。輪郭特性解析部では、輪郭特性モデルを用いてフレームＧ（ｋ）を解析して、追跡対象物体の候補毎に、輪郭特性に関する適合確率を算出する。
【００４９】
図８は、本発明の実施の形態１における輪郭特性解析部の処理手順を示すフロー図である。図８を参照して、ステップｓ８−１では、前述した色特性解析部（図１のステップｓ１−１０）で得られる候補を中心とした領域に、Ｒｏｂｅｒｔｓオペレータを用いて輪郭強調処理を施す。候補は３つあるので、３つの輪郭強調画像を得る。
【００５０】
ステップｓ８−２では、ステップｓ８−１で得られた３つの輪郭強調画像のそれぞれと、輪郭特性モデルとのテンプレートマッチングを行う。テンプレートマチングの評価式を、式（４）に示す。
【００５１】
【数１】
ここで、ｏｉｊは、輪郭特性モデルを構成する各ピクセル毎の階調を、ｍｉｊは、フレームＧ（ｋ）内の各ピクセルの階調を、Ｎ、Ｍは、テンプレートマッチングする領域をそれぞれ表わす。
【００５３】
ＳＳＤは、１ピクセルの階調度の違いを二乗した値を、テンプレートマッチングする範囲で足し合せた値である。ＳＳＤの値が小さいほど、輪郭特性モデルとの適合度が高いことを意味する。
【００５４】
１の輪郭強調画像に対して、輪郭特性モデルの位置を左右、上下に移動させてＳＳＤを算出する。ＳＳＤの値が最も小さい位置は、輪郭特性モデルと最も適合する（適合度が高い）位置である。一方、ＳＳＤの値が最も大きい位置は、輪郭特性モデルと最も適合度が低い位置である。
【００５５】
ステップｓ８−３では、各候補に対して、輪郭特性に関する適合確率Ｐｅｄｇｅを算出する。式（５）に、適合確率Ｐｅｄｇｅの算出式を示す。
【００５６】
Ｐｅｄｇｅ＝（ＳＳＤｍａｘ−ＳＳＤｍｉｎ）／ＳＳＤｍａｘ …（５）
ここで、ＳＳＤｍｉｎとは、ＳＳＤの最も小さい値を、ＳＳＤｍａｘとは、ＳＳＤの値が最も大きい値を表わす。適合確率Ｐｅｄｇｅは、候補と輪郭特性モデルとの適合の度合を示している。
【００５７】
続いて、図１に示す動き特性解析部（ステップｓ１−１２）の詳細について説明する。動き特性解析部では、解析するフレームＧ（ｋ）での追跡対象物体の位置を予測（以下、予測位置と呼ぶ）して、予測位置と各候補との相関関係から、動き特性に関する適合確率を算出する。
【００５８】
図９は、本発明の実施の形態１における動き特性解析部の処理手順を示すフロー図である。図９を参照して、ステップｓ９−１では、フレームＧ（ｋ―１）とフレームＧ（ｋ―２）とを用いて、フレームＧ（ｋ）での追跡対象物体の予測位置（ＸＯ、ＹＯ）を算出する、予測位置ＸＯ、ＹＯは、式（６）〜式（７）を用いて算出する。
【００５９】
ＸＯ＝（Ｘ１−Ｘ２）＋Ｘ１ …（６）
ＹＯ＝（Ｙ１−Ｙ２）＋Ｙ１ …（７）
ここで、（Ｘ１、Ｙ１）とは、１フレーム前のフレームＧ（ｋ―１）での追跡対象物体の位置（動き特性モデル）を、（Ｘ２、Ｙ２）とは、２フレーム前のフレームＧ（ｋ−２）での追跡対象物体の位置（動き特性モデル）をそれぞれ表わす。予測位置（ＸＯ、ＹＯ）は、追跡対象物体が、フレームＧ（ｋ−２）、Ｇ（ｋ−１）から直線的に動くと仮定した場合の、フレームＧ（ｋ）での位置を表わす。
【００６０】
ステップｓ９−２では、色特性解析部（図１のステップｓ１−１０）で挙げられた各候補について、各候補の位置と予測位置（ＸＯ、ＹＯ）との距離ｄｉｓｔを算出する。式（８）に、距離ｄｉｓｔの算出式を示す。
【００６１】
【数２】
ここで、（ＸＣ、ＹＣ）とは、色特性解析部（図１のステップｓ１−１０）で得られた各候補の位置を表わす。式（８）で得られる距離ｄｉｓｔは、予測位置（ＸＯ、ＹＯ）と、色特性解析部で得られた各候補との直線距離を表わす。
【００６３】
ステップｓ９−３では、距離ｄｉｓｔを用いて、各候補に対して、動き特性に関する適合確率Ｐｄｉｓｔを算出する。式（９）に、適合確率Ｐｄｉｓｔの算出式を示す。
【００６４】
Ｐｄｉｓｔ＝１／ｄｉｓｔ …（９）
ここで、適合確率Ｐｄｉｓｔは、候補と予測位置との近さの度合を示している。
【００６５】
続いて、図１に示す情報統合部（ステップｓ１−４）についての詳細を説明する。情報統合部では、上記で説明した３つの解析プロセスで得られる適合確率を各候補別に統合し、統合確率の結果に基づき、候補の中の１つを、フレームＧ（ｋ）における追跡対象物体とする。
【００６６】
図１０は、本発明の実施の形態１における情報統合部の処理手順を示すフロー図である。図１０を参照して、ステップｓ１０−１では、３つの解析プロセスで得られた適合確率（合計９個）を正規化するために、適合確率を基本確率に変換する。基本確率への変換は、シグモイド関数曲線を用いて、式（１０）に従って行なう。
【００６７】
【数３】
ここで、ｙは基本確率を、Ｃは正の定数を、ｘは代入する適合確率をそれぞれ表わす。ｘに適合確率（適合確率Ｐｃｏｌｏｒ、適合確率Ｐｅｄｇｅ、または適合確率Ｐｄｉｓｔ）を代入することによって、基本確率が算出される。各解析プロセスから３つの適合確率が出力されるので、基本確率への変換は９回行なう。
【００６９】
ステップｓ１０−２〜ｓ１０−３では、各候補別に、Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式を用いて基本確率を統合する。
【００７０】
Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒ統合式を用いた統合方法については、Ｓｈａｆｅｒ，Ｇ．，”Ａ Ｍａｔｈｅｍａｔｉｃａｌ Ｔｈｅｏｒｙ ｏｆ Ｅｖｉｄｅｎｃｅ”，Ｐｒｉｎｃｅｔｏｎ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ（１９７６）、もしくは情報処理学会発行の「情報処理」Ｖｏｌ．３４，Ｎｏ．１０，ｐｐ２０７１〜２０７４，１９９３年の大田による”トップダウン的画像理解における仮説の妥当評価に関する一考察”に詳しく説明されている。
【００７１】
Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式は、可能性のある事象を要素とする集合を全体集合として定義する。基本確率の集合の要素選択の条件として、各要素が互いに排反でかつ、これらの要素が基本確率の集合を網羅していることが必要とされる。ここで、基本確率の集合θの部分集合に対して、基本確率ｍ： Ｐ（θ）→［ ０、１］を割り当てる。式（１１）〜式（１２）に、条件式を示す。
【００７２】
【数４】
ここで、Ａｉは、事象を、ｍ（Ａｉ）は、事象Ａｉの基本確率をそれぞれ表わしている。基本確率ｍ（Ａｉ）の総和は１であり、さらに空集合φに対する基本確率ｍ（φ）には０を割り当てる。
【００７４】
２つの基本確率を統合するＤｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式を、（１３） 〜（１５）に示す。
【００７５】
【数５】
ここで、Ｂｉ、Ｃｊは、事象を、ｍ１（Ｂｉ） 、ｍ２（Ｃｊ） は、式（１１）〜式（１２）を満たす基本確率を、ｍ１、２（Ａｉ） は、これらの統合確率をそれぞれ表わしている。ｉ、ｊは、候補を示し、１、２、３のいずれかの値をとる。
【００７７】
ステップｓ１０−２では、候補別に、Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式（１３） 〜（１５）を用いて、色に関する基本確率と輪郭特性に関する基本確率とを統合する。
【００７８】
図１１は、Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式を用いて統合確率を算出する手順を説明するための図である。具体的には、図１０に示すステップｓ１０−２では、候補別に、図１１のｍ１（Ｂｉ）に色特性に関する基本確率を、図１１のｍ２（Ｃｉ）に輪郭特性に関する基本確率をそれぞれ割り当てる。この結果、中間統合確率ｍ１、２（Ａｉ） （ｉ＝１、２、３）が得られる。
【００７９】
続いて、図１０に示すステップｓ１０−３では、候補別に、Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式（１３） 〜（１５）を用いて、中間統合確率と動き特性に関する基本確率とを統合する。具体的には、図１１のｍ１（Ｂｉ） に図１０に示すステップｓ１０−２で得られた中間統合確率を、図１１のｍ２（Ｃｉ）に動き特性に関する基本確率をそれぞれ割り当てる。この結果、最終的な統合確率として、ｍ１、２（Ａｉ）（ｉ＝１ 、２ 、３） が得られる。
【００８０】
図１０に示すステップｓ１０−４では、ステップｓ１０−３で求めた統合確率が最大である候補を選択する。選択された候補を、フレームＧ（ｋ）における追跡対象物体と決定する。
【００８１】
続いて、図１に示す情報モデル判別更新部（ステップｓ１−５）について説明する。情報モデル判別更新部では、情報統合部（図１のステップｓ１−４）において決定したフレームＧ（ｋ）における追跡対象物体に基づき、雛形となるモデルを更新する。
【００８２】
図１２は、本発明の実施の形態１における情報モデル判別更新部の処理手順を示すフロー図である。図１２を参照して、ステップｓ１２−１では、決定した追跡対象物体の位置を動き特性モデルとして更新する。ステップｓ１２−２では、決定した追跡対象物体の統合確率に基づき、色特性モデルおよび輪郭特性モデルの更新を行なうか否かを判別する。具体的には、統合確率がある閾値より大きい場合には、決定した追跡対象物体に基づき、色特性モデルおよび輪郭特性モデルを更新する（ステップｓ１２−３、ｓ１２−４）。
【００８３】
具体的には、ステップｓ１２−３では、決定した追跡対象物体の２値化画像を色特性モデルとする（更新する）。さらに、ステップｓ１２−４では、決定した追跡対象物体の輪郭強調画像を輪郭特性モデルとする（更新する）。
【００８４】
続くフレームＧ（ｋ＋１）は、これらのモデルを用いて解析する。
【００８５】
【発明の効果】
以上のように、本発明の動物体追跡方法では、複数の解析プロセスで得た結果を統合することにより、動画像の中に似通った特徴をもつ複数の物体が存在する状態であっても、目的とする動物体を追跡することが可能となる。
【００８６】
また、本発明の動物体追跡方法では、動画像を複数の画面に分割して、一画面毎に解析を行ない、かつ画面毎に雛形となるモデルを更新するので、形状が変化する動物体であっても追跡することが可能となる。
【００８７】
さらに、本発明の動物体追跡方法では、複数の解析プロセスで得た結果を統合することにより、あまり精密でない動画像であっても形状が変化する動物体を追跡することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における動物体追跡方法１００の全体の流れを示すフロー図である。
【図２】本発明の実施の形態１における動物体追跡方法を実施するためのシステム１１０の概略的な基本構成の一例を示すブロック図である。
【図３】本発明の実施の形態１における画像入力部の処理手順を示すフロー図である。
【図４】本発明の実施の形態１における追跡対象物体および背景画像の指定方法について説明するための図である。
【図５】本発明の実施の形態１における色特性モデル作成処理の処理手順を示すフロー図である。
【図６】本発明の実施の形態１の色特性モデル作成処理の背景画像における色のヒストグラムと背景値との関係を示す図である。
【図７】本発明の実施の形態１における色特性解析部の処理手順を示すフロー図である。
【図８】本発明の実施の形態１における輪郭特性解析部の処理手順を示すフロー図である。
【図９】本発明の実施の形態１における動き特性解析部の処理手順を示すフロー図である。
【図１０】本発明の実施の形態１における情報統合部の処理手順を示すフロー図である。
【図１１】Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式を用いて統合確率を算出する手順を説明するための図である。
【図１２】本発明の実施の形態１における情報モデル判別更新部の処理手順を示すフロー図である。
【符号の説明】
１ テレビ
２ キャプチャボード
３ 主制御部
４、５ ディスク装置
６ 表示部
１１０ システム[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving object tracking method, and more particularly, to a moving object tracking method capable of tracking a non-rigid body that changes shape.
[0002]
[Prior art]
Conventionally, as a moving object tracking method for tracking a moving object in a continuous image, there is a method of tracking a moving object using a three-dimensional image (so-called spatiotemporal image) in which continuous images are stacked. This method is described in H. H. Baker and T.M. D. Garvey, "Motion Tracking on the Spatial Temporal Surface", Proc. [DARPA] Image Understands Workshop, pp. 451-457, Jan. 1992.
[0003]
[Problems to be solved by the invention]
However, the conventional moving object tracking method using spatiotemporal images makes it difficult to extract non-rigid objects that change shape, and also tracks a specific object from multiple objects with similar shapes. Was difficult.
[0004]
On the other hand, many moving object tracking methods have been proposed in which a moving image is regarded as being composed of a plurality of continuous still images, and the moving object is tracked by analyzing each still image using a distributed function. I have.
[0005]
For example, "Information Processing" Vol. 26, No. 5, pp. The contents are disclosed in "Image Understanding System SIGMA" by Hang, Matsuyama, 877-889, 1985.
[0006]
However, there are few examples in which the moving object tracking method using the conventional dispersing function is applied to a moving image. In addition, when the moving image to be analyzed is not very precise (for example, a broadcast television image), it is expected that it is difficult to track the moving object.
[0007]
Therefore, an object of the present invention is to solve the above problem, and it is possible to track a target object even when there are a plurality of objects having similar characteristics. The object of the present invention is to provide a simple moving object tracking method.
[0008]
It is another object of the present invention to provide a moving object tracking method capable of tracking a moving object whose shape changes.
[0009]
Still another object of the present invention is to provide a moving object tracking method capable of achieving the above object even with a less precise moving image.
[0010]
[Means for Solving the Problems]
The moving object tracking method according to claim 1 is a moving object tracking method for tracking a moving object in a moving image, wherein a dividing step of dividing the moving image into a plurality of frames and displaying a first frame, An initial setting step of causing a user to specify a moving object and a background to be tracked, and calculating a color characteristic model, a contour characteristic model, and a movement characteristic model, and a background value based on the specified moving object and the background; From one frame after the first frame, a candidate for a moving object is detected using a background value and a color characteristic model, and for each candidate, a degree of conformity between the candidate and the color characteristic model is shown. (1) a color characteristic analysis step of calculating a matching probability of No. 1; a contour characteristic analyzing step of calculating, for each detected candidate, a second matching probability indicating a degree of matching between the candidate and the contour characteristic model; Model A motion characteristic analysis step of calculating a third matching probability indicating a proximity between the candidate and the predicted position for each detected candidate, and a first matching Integrating the probability, the second matching probability, and the third matching probability to calculate an integrated probability, determining the moving object that tracks the candidate with the highest integrated probability value, based on the determined moving object; , A color characteristic model, a contour characteristic model, and a motion characteristic model, and a control step of sequentially performing control for determining a moving object to be tracked for the first and subsequent frames.
[0011]
The moving object tracking method according to
[0012]
A moving object tracking method according to a third aspect is the moving object tracking method according to the second aspect, wherein the color characteristic analysis step performs a filtering process on the frame using a background value, thereby selecting a moving object candidate. And obtaining the area ratio between the area and the color characteristic model for each candidate area, and selecting three areas in descending order of the area ratio as candidates. Calculating a first matching probability based on the area ratio for each of the three candidates.
[0013]
A moving object tracking method according to a fourth aspect is the moving object tracking method according to the second aspect, wherein the contour characteristic analysis step performs a contour emphasis process on an area centered on each candidate, thereby obtaining an image of each candidate. Obtaining a contour-enhanced image; performing template matching between each contour-enhanced image and the contour characteristic model; and calculating a second matching probability based on the template matching result for each candidate. .
[0014]
A moving object tracking method according to a fifth aspect is the moving object tracking method according to the second aspect, wherein the motion characteristic analysis step predicts a position when the moving object moves linearly using the motion characteristic model. And calculating a distance between the predicted position and each candidate, and calculating a third matching probability based on the obtained distance for each candidate.
[0015]
The moving object tracking method according to
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
[Embodiment 1]
The present invention relates to a moving object tracking method, and enables tracking of a specific moving object from a plurality of moving objects that change shape.
[0017]
FIG. 1 is a flowchart showing an overall flow of a moving
[0018]
In step s1-1 (preprocessing), the continuous image is divided, and the signal format of each frame is further converted. In step s1-2 (image input unit), a frame to be analyzed is read. If the read frame is the first frame, an initial model serving as a template is generated by specifying a target object (animal) to be tracked. In step s1-3 (analysis unit), the frame is analyzed using the model in three processes (color characteristic analysis unit step s1-10, contour characteristic analysis unit step s1-11, and motion characteristic analysis unit step s1-12). I do. As a result of the analysis, a tracking target candidate and its matching probability are obtained. In step s1-4 (information integration unit), an integration probability obtained by integrating the matching probabilities is calculated for each candidate, and a target object to be tracked is determined from the candidates based on the calculation result. In step s1-5 (information model discriminating and updating unit), the model is updated based on the determined tracking target object. In step s1-6 (display unit), the result is displayed on a monitor or the like. If the next frame exists (step s1-7), the processing of steps s1-2 to s1-6 is performed on the next frame to track the target object. In the moving
[0019]
FIG. 2 is a block diagram illustrating an example of a schematic basic configuration of a
[0020]
The
[0021]
An NTSC signal output from the television (or VTR) 1 is taken into the main controller 3 via the
[0022]
The main control unit 3 converts the NTSC signal into a signal in motion jpeg format. The converted signal of the motion jpeg format is stored in the disk device 4. Further, the main control unit 3 reads out the signal in the motion jpeg format stored in the disk device 4 and divides the signal into 30 frames per second to generate a PPM format image. The PPM format image is stored in the
[0023]
Further, the main controller 3 analyzes the PPM format image stored in the
[0024]
Subsequently, details of each step shown in FIG. 1 will be described.
In the pre-processing (step s1-1) shown in FIG. 1, the continuous image to be analyzed (that is, television video) is divided into a plurality of still images. Specifically, as described above, the main controller 3 (FIG. 2) divides the continuous image obtained from the television 1 (FIG. 2) into 30 frames per second to generate a PPM format image. In the disk device 5 (FIG. 2). The moving
[0025]
Subsequently, details of the image input unit (step s1-2) shown in FIG. 1 will be described. As described above, the image input unit reads the frame G (k) to be analyzed from the disk device 5 (FIG. 2). If the read frame is the first frame G (1), a model (initial model) is created based on the tracking target object specified by the user.
[0026]
FIG. 3 is a flowchart illustrating a processing procedure of the image input unit according to the first embodiment of the present invention. Referring to FIG. 3, in step s3-1, it is checked whether or not the frame G (k) to be analyzed corresponds to the first frame (k = 1). If the frame corresponds to the first frame G (1), the frame G (1) is captured (step s3-2) and displayed on, for example, the display unit 6 (FIG. 2) (step s3-3). In other cases, the process proceeds to step s3-8, where the frame G (k) to be analyzed is read from the disk device 5 (FIG. 2).
[0027]
In step s3-3, for the displayed frame G (1), the user specifies a target object and a background image to be tracked.
[0028]
FIG. 4 is a diagram for describing a method of specifying a tracking target object and a background image according to Embodiment 1 of the present invention. FIG. 4 is a display screen of the frame G (1), in which a non-rigid person (MAN) is shown as an example of the tracking target object. Referring to FIG. 4, the user specifies positions A, B, and C on the display screen using a mouse (not shown) or the like. The positions A and B determine a rectangle circumscribing the tracking target object MAN and a center position D. Position C determines the background image.
[0029]
Referring to FIG. 3, in steps s3-5 to s3-7, three types of initial models (a color characteristic model, a contour characteristic model, and a motion characteristic model) based on the tracking target object MAN and the background image designated by the user. Create
[0030]
The color characteristic model creation process (step s3-5) will be described. In the color characteristic model creation processing, a color characteristic model (initial model) is created using the histogram of the color of the background image. For a method of image processing related to color, see Y. Ohta, "A
region-oriented image analysis system by computer ", Ph. D. thesis, Kyoto Univ. (1980), and W. Doyle," Operations use for similarity-insurance.
Recognition ", JACM, 9, pp. 259-267 (1962), and a brief description thereof will be given here.
[0031]
FIG. 5 is a flowchart showing a processing procedure of the color characteristic model creation processing according to the first embodiment of the present invention. With reference to FIG. 5, in step s5-1, the color of the area centered on the position C specified by the user is converted into a value of a (colorx, color) coordinate system. Equations (1) and (2) show the conversion equations.
[0032]
colorx = (R + G + B) / 3 (1)
color = (R−B) / 2 (2)
Here, (R, G, B) indicates the three primary colors of a region centered on the position C.
[0033]
In step s5-2, a histogram for colorx and a histogram for color are created using the values (colorx, color) obtained in step s5-1.
[0034]
In step s5-3, the background values (Xup, Xlow, Yup, Ylow) are calculated using the two histograms. For reference, FIG. 6 shows a relationship between a color histogram and a background value in a background image. FIG. 6A shows a histogram for colorx, and FIG. 6B shows a histogram for color. Upper and lower limit values (Xup, Xlow, Yup, Ylow) occupying 90% of the normal distribution from the center of the two histograms are set as background values. The background value (Xup, Xlow, Yup, Ylow) is a parameter for extracting a background image from the frame G (k) (k = 1 to n), as described later.
[0035]
Referring to FIG. 5, in step s5-4, a color characteristic model is created. Specifically, the background image is cut out from the frame G (1) using the background value (Xup, Xlow, Yup, Ylow) calculated in step s5-3. The binarized image obtained in this way is used as a color characteristic model (initial model).
[0036]
Next, the contour characteristic model creation process (step s3-6) shown in FIG. 3 will be described. In the contour characteristic model creation processing, contour enhancement work is performed on a region centered on the center position (position D in FIG. 4) of the tracking target object MAN specified by the user, and a contour enhanced image is created. The created contour emphasized image is used as a contour characteristic model (initial model).
[0037]
The contour emphasis work is performed using a Roberts operator. For the Roberts operator, see L.A. G. FIG. Roberts, "Machine Perception of Three-Dimensional Solids", Optical Electro-Optical Processing of Information, MIT Press, pp. 147-146. 159 to 197 (1965), the description is omitted here.
[0038]
Next, a description will be given of the motion characteristic model creation process (step s3-7) shown in FIG. In the motion characteristic model creation processing, the center position (position D in FIG. 4) of the tracking target object MAN specified by the user is set as a motion characteristic model (initial model).
[0039]
After performing steps s3-5 to s3-7 on the frame G (1), the process proceeds to step s3-8, where the frame G (2) to be analyzed is read from the disk device 5 (FIG. 2).
[0040]
Next, details of the analysis unit (step s1-3) shown in FIG. 1 will be described. The analysis unit includes a color characteristic analysis unit (step s1-10), a contour characteristic analysis unit (step s1-11), and a motion characteristic analysis unit (step s1-12).
[0041]
The analysis unit analyzes the frame G (k) using the models (color characteristic model, contour characteristic model, and motion characteristic model). Here, the second frame G (2) is analyzed using the initial model described with reference to FIG. 3, and the third and subsequent frames G (k) (k> 2) have information as described later. Analysis is performed using the model obtained in the model discrimination update unit (step s1-5 shown in FIG. 1).
[0042]
The details of the color characteristic analysis unit (step s1-10) shown in FIG. 1 will be described. The color characteristic analysis unit detects a candidate for the tracking target object from the frame G (k) using the color characteristic model, and calculates the matching probability of the detected candidate with respect to the color characteristic.
[0043]
FIG. 7 is a flowchart illustrating a processing procedure of the color characteristic analysis unit according to the first embodiment of the present invention. Referring to FIG. 7, in step s7-1, a color filter process is performed on frame G (k) using background values (Xup, Xlow, Yup, Ylow). As a result, the background is extracted from the frame G (k), and a plurality of regions to be candidates for the tracking target object are obtained as a binarized image.
[0044]
In step s7-2, the area ratio Pcolor between each of the candidate regions and the color characteristic model is calculated using the following equation (3).
[0045]
Pcolor = AREAcand / AREAmodel (3)
Here, AREAmodel indicates the area of the color characteristic model, and AREAcand indicates the area of each candidate region. As the value of the area ratio Pcolor becomes larger, the degree of matching of the color characteristics with the color characteristic model is higher.
[0046]
Three regions are detected in order from the region having the largest value of the area ratio Pcolor, and are detected as candidates for the tracking target object.
[0047]
In step s7-3, the matching probability regarding the color characteristics is calculated for each candidate. In this embodiment, the equation (3) is used as it is as the matching probability (matching probability = Pcolor). The matching probability Pcolor indicates the degree of matching between the candidate and the color characteristic model.
[0048]
Subsequently, details of the contour characteristic analysis unit (step s1-11) shown in FIG. 1 will be described. The contour characteristic analysis unit analyzes the frame G (k) using the contour characteristic model, and calculates a matching probability regarding the contour characteristic for each candidate of the tracking target object.
[0049]
FIG. 8 is a flowchart showing a processing procedure of the contour characteristic analysis unit according to the first embodiment of the present invention. Referring to FIG. 8, in step s8-1, contour emphasis processing is performed using a Roberts operator on a region centered on a candidate obtained by the above-described color characteristic analysis unit (step s1-10 in FIG. 1). Since there are three candidates, three edge enhanced images are obtained.
[0050]
In step s8-2, template matching is performed between each of the three contour emphasized images obtained in step s8-1 and the contour characteristic model. Expression (4) shows an evaluation expression for template matching.
[0051]
(Equation 1)
Here, oij represents the gradation of each pixel constituting the contour characteristic model, mij represents the gradation of each pixel in the frame G (k), and N and M represent the regions to be template-matched.
[0053]
The SSD is a value obtained by adding the value obtained by squaring the difference in the gradient of one pixel within the range of template matching. The smaller the SSD value, the higher the degree of conformity with the contour characteristic model.
[0054]
The SSD is calculated by moving the position of the contour characteristic model left, right, up and down with respect to one contour emphasized image. The position where the SSD value is the smallest is the position that is most compatible with the contour characteristic model (has a high degree of conformity). On the other hand, the position where the SSD value is the largest is the position where the degree of matching with the contour characteristic model is the lowest.
[0055]
In step s8-3, the matching probability Pedge regarding the contour characteristics is calculated for each candidate. Formula (5) shows a formula for calculating the matching probability Pedge.
[0056]
Pedge = (SSDmax-SSDmin) / SSDmax (5)
Here, SSDmin represents the smallest value of the SSD, and SSDmax represents the value of the largest value of the SSD. The matching probability Pedge indicates the degree of matching between the candidate and the contour characteristic model.
[0057]
Next, details of the motion characteristic analysis unit (step s1-12) shown in FIG. 1 will be described. The motion characteristic analysis unit predicts the position of the tracking target object in the frame G (k) to be analyzed (hereinafter, referred to as a predicted position), and calculates a matching probability regarding the motion characteristic from the correlation between the predicted position and each candidate. calculate.
[0058]
FIG. 9 is a flowchart showing a processing procedure of the motion characteristic analysis unit according to Embodiment 1 of the present invention. Referring to FIG. 9, in step s9-1, the predicted position (XO, YO) of the tracking target object in frame G (k) is determined using frame G (k-1) and frame G (k-2). Are calculated using Expressions (6) and (7).
[0059]
XO = (X1-X2) + X1 (6)
YO = (Y1-Y2) + Y1 (7)
Here, (X1, Y1) is the position (motion characteristic model) of the tracking target object in the frame G (k-1) one frame before, and (X2, Y2) is the frame G two frames before. (K-2) represents the position (motion characteristic model) of the tracking target object. The predicted position (XO, YO) represents the position in the frame G (k) assuming that the tracking target object moves linearly from the frames G (k-2) and G (k-1).
[0060]
In step s9-2, the distance dist between the position of each candidate and the predicted position (XO, YO) is calculated for each candidate listed in the color characteristic analysis unit (step s1-10 in FIG. 1). Formula (8) shows a formula for calculating the distance dist.
[0061]
(Equation 2)
Here, (XC, YC) represents the position of each candidate obtained by the color characteristic analysis unit (step s1-10 in FIG. 1). The distance dist obtained by Expression (8) represents a linear distance between the predicted position (XO, YO) and each candidate obtained by the color characteristic analysis unit.
[0063]
In step s9-3, the matching probability Pdist regarding the motion characteristics is calculated for each candidate using the distance dist. Formula (9) shows a formula for calculating the matching probability Pdist.
[0064]
Pdist = 1 / dist (9)
Here, the matching probability Pdist indicates the degree of closeness between the candidate and the predicted position.
[0065]
Subsequently, details of the information integration unit (step s1-4) shown in FIG. 1 will be described. The information integration unit integrates the matching probabilities obtained by the three analysis processes described above for each candidate, and sets one of the candidates as the tracking target object in the frame G (k) based on the result of the integration probability. I do.
[0066]
FIG. 10 is a flowchart illustrating a processing procedure of the information integration unit according to the first embodiment of the present invention. Referring to FIG. 10, in step s10-1, in order to normalize the matching probabilities (a total of nine pieces) obtained by the three analysis processes, the matching probabilities are converted into basic probabilities. The conversion into the basic probability is performed according to the equation (10) using a sigmoid function curve.
[0067]
(Equation 3)
Here, y represents a basic probability, C represents a positive constant, and x represents a matching probability to be substituted. The basic probability is calculated by substituting the matching probability (matching probability Pcolor, matching probability Pedge, or matching probability Pdist) into x. Since three matching probabilities are output from each analysis process, conversion to the basic probabilities is performed nine times.
[0069]
In steps s10-2 to s10-3, the basic probabilities are integrated for each candidate using the integrated formula of Dempster & Shafer.
[0070]
For an integration method using the Dempster & Shafer integration formula, see Shafer, G. et al. , "A Mathematical Theory of Evidence", Princeton University Press (1976), or "Information Processing" Vol. 34, no. 10, pp. 2071-2074, 1993 by Ohta, "A Consideration on Valid Evaluation of Hypotheses in Top-Down Image Understanding".
[0071]
The integrated formula of Dempster & Shafer defines a set having a possible event as an element as a whole set. As a condition for selecting an element of the set of basic probabilities, it is necessary that each element is mutually exclusive and these elements cover the set of basic probabilities. Here, a basic probability m: P (θ) → [0,1] is assigned to a subset of the basic probability set θ. Expressions (11) and (12) show conditional expressions.
[0072]
(Equation 4)
Here, Ai represents an event, and m (Ai) represents a basic probability of the event Ai. The sum of the basic probabilities m (Ai) is 1, and 0 is assigned to the basic probabilities m (φ) for the empty set φ.
[0074]
(13) to (15) show the integration formula of Dempster & Shafer for integrating the two basic probabilities.
[0075]
(Equation 5)
Here, Bi and Cj represent an event by m 1 (Bi), m 2 (Cj) is a basic probability that satisfies Expressions (11) and (12), One, two (Ai) represents these integrated probabilities, respectively. i and j indicate candidates and take one of the
[0077]
In step s10-2, the basic probabilities relating to the color and the basic probabilities relating to the contour characteristics are integrated for each candidate using the Dempster & Shafer integrated formulas (13) to (15).
[0078]
FIG. 11 is a diagram for explaining a procedure for calculating the integration probability using the integration formula of Dempster & Shafer. Specifically, in step s10-2 shown in FIG. 1 (Bi) shows the basic probabilities relating to the color characteristics, 2 (Ci) is assigned a basic probability relating to the contour characteristic. As a result, the intermediate integration probability m One, two (Ai) (i = 1, 2, 3) is obtained.
[0079]
Subsequently, in step s10-3 shown in FIG. 10, the intermediate integration probability and the basic probability relating to the motion characteristics are integrated for each candidate using the integration formulas (13) to (15) of Dempster & Shafer. Specifically, m in FIG. 1 (Bi) shows the intermediate integration probability obtained in step s10-2 shown in FIG. 2 (Ci) is assigned a basic probability relating to the motion characteristic. As a result, the final integration probability is m One, two (Ai) (i = 1, 2, 3) is obtained.
[0080]
In step s10-4 shown in FIG. 10, the candidate having the largest integration probability obtained in step s10-3 is selected. The selected candidate is determined as the tracking target object in the frame G (k).
[0081]
Subsequently, the information model discriminating and updating unit (step s1-5) shown in FIG. 1 will be described. The information model discriminating / updating unit updates a template model based on the tracking target object in the frame G (k) determined in the information integrating unit (step s1-4 in FIG. 1).
[0082]
FIG. 12 is a flowchart showing a processing procedure of the information model discriminating / updating unit according to Embodiment 1 of the present invention. Referring to FIG. 12, in step s12-1, the determined position of the tracking target object is updated as a motion characteristic model. In step s12-2, it is determined whether to update the color characteristic model and the contour characteristic model based on the determined integration probability of the tracking target object. Specifically, when the integration probability is larger than a certain threshold, the color characteristic model and the contour characteristic model are updated based on the determined tracking target object (steps s12-3 and s12-4).
[0083]
Specifically, in step s12-3, the binarized image of the determined tracking target object is used as a color characteristic model (updated). Further, in step s12-4, the determined contour emphasized image of the tracking target object is used as a contour characteristic model (updated).
[0084]
The subsequent frame G (k + 1) is analyzed using these models.
[0085]
【The invention's effect】
As described above, in the moving object tracking method of the present invention, by integrating results obtained by a plurality of analysis processes, even in a state where a plurality of objects having similar characteristics are present in a moving image, The target moving object can be tracked.
[0086]
In the moving object tracking method of the present invention, a moving image is divided into a plurality of screens, analysis is performed for each screen, and a model serving as a model is updated for each screen. Even if there is, it becomes possible to track.
[0087]
Further, in the moving object tracking method of the present invention, it is possible to track a moving object whose shape changes even with a less precise moving image by integrating the results obtained by a plurality of analysis processes.
[Brief description of the drawings]
FIG. 1 is a flowchart showing an overall flow of a moving
FIG. 2 is a block diagram showing an example of a schematic basic configuration of a
FIG. 3 is a flowchart showing a processing procedure of an image input unit according to the first embodiment of the present invention.
FIG. 4 is a diagram for describing a method of specifying a tracking target object and a background image according to the first embodiment of the present invention.
FIG. 5 is a flowchart showing a procedure of a color characteristic model creation process according to the first embodiment of the present invention.
FIG. 6 is a diagram illustrating a relationship between a color histogram and a background value in a background image in a color characteristic model creation process according to the first embodiment of the present invention.
FIG. 7 is a flowchart showing a processing procedure of a color characteristic analysis unit according to the first embodiment of the present invention.
FIG. 8 is a flowchart showing a processing procedure of a contour characteristic analysis unit according to the first embodiment of the present invention.
FIG. 9 is a flowchart illustrating a processing procedure of a motion characteristic analysis unit according to the first embodiment of the present invention.
FIG. 10 is a flowchart showing a processing procedure of an information integration unit according to the first embodiment of the present invention.
FIG. 11 is a diagram for describing a procedure for calculating an integration probability using the integration formula of Dempster & Shafer.
FIG. 12 is a flowchart showing a processing procedure of an information model discriminating / updating unit according to the first embodiment of the present invention.
[Explanation of symbols]
1 TV
2 capture board
3 Main control unit
4, 5 disk unit
6 Display
110 system
Claims (6)
前記動画像を複数のフレームに分割する分割ステップと、
第１番目の前記フレームを表示して、ユーザに追跡する前記動物体と背景とを指定させ、前記指定した動物体と背景とに基づいて、色特性モデル、輪郭特性モデル、および動き特性モデルからなる初期モデルと、背景値とを算出する初期設定ステップと、
第１番目の前記フレーム以降の１の前記フレームから前記背景値を用いて前記動物体の候補となる領域を検出し、その検出した各領域と前記色特性モデルとの面積比を演算し、その演算した面積比に基づいて、各前記候補毎に、前記候補と前記色特性モデルとの色特性に関する適合度を示す第１の適合確率を算出する色特性解析ステップと、
検出した各前記領域毎に、前記候補と前記輪郭特性モデルとの輪郭特性に関する適合度を示す第２の適合確率を算出する輪郭特性解析ステップと、
前記動き特性モデルから前記動物体の位置を予測し、検出した各前記候補毎に、前記候補と前記予測した位置との近さを示す第３の適合確率を算出する動き特性解析ステップと、
各前記候補毎に、前記第１の適合確率、前記第２の適合確率、および前記第３の適合確率を統合して統合確率を算出し、前記統合確率の値が最大の前記候補を追跡する前記動物体と決定する統合ステップと、
前記統合ステップにおいて決定された動物体の位置である動き特性モデルと、前記決定された動物体から前記背景値を用いて得られた２値化画像である色特性モデルと、前記決定された動物体の輪郭強調画像である輪郭特性モデルとからなる更新モデルを作成する更新ステップと、
第１番目の前記フレーム以降の前記フレームについて、順次、追跡する前記動物体を決定するための制御を行なう制御ステップとを備え、
前記制御ステップは、
前記初期モデルにより前記追跡する動物体を決定するように第２番目のフレームを制御するステップと、
前記更新モデルにより前記追跡する動物体を決定するように第３番目以降のフレームを制御するステップとを含む、動物体追跡方法。A moving object tracking method for tracking a moving object in a moving image,
A dividing step of dividing the moving image into a plurality of frames;
Display the 1st of the frame, is specified and the moving object and the background to track the user, on the basis of the specified moving object and the background, the color characteristic model, contour characteristic model, and the motion-characteristic model An initial model, and an initial setting step of calculating a background value,
From the one frame after the first frame, a region that is a candidate for the moving object is detected using the background value, and an area ratio between the detected region and the color characteristic model is calculated. A color characteristic analysis step of calculating, for each of the candidates, a first matching probability indicating a matching degree regarding a color characteristic between the candidate and the color characteristic model, based on the calculated area ratio;
A contour characteristic analysis step of calculating, for each of the detected regions, a second matching probability indicating a matching degree relating to a contour characteristic between the candidate and the contour characteristic model;
A motion characteristic analysis step of predicting the position of the moving object from the motion characteristic model, and calculating, for each of the detected candidates, a third matching probability indicating a closeness between the candidate and the predicted position;
For each of the candidates, the first matching probability, the second matching probability, and the third matching probability are integrated to calculate an integrated probability, and the candidate having the largest integrated probability value is tracked. An integration step of determining the moving object;
A motion characteristic model that is the position of the moving object determined in the integrating step, a color characteristic model that is a binarized image obtained from the determined moving object using the background value, and the determined animal An update step of creating an update model consisting of a contour characteristic model that is a contour emphasized image of the body ;
A control step of sequentially performing control for determining the moving object to be tracked for the frames after the first frame ,
The control step includes:
Controlling a second frame to determine the moving object to track according to the initial model;
Controlling the third and subsequent frames so as to determine the moving object to be tracked according to the updated model .
前記ユーザが指定した前記背景を占める色の値であり、
前記色特性モデルとは、
前記フレームに対して、前記背景値を用いてフィルタ処理を施すことにより得られる前記動物体の２値化画像であり、
前記輪郭特性モデルとは、
前記動物体の中心位置を中心とする領域に対して、輪郭強調処理を施すことにより得られる前記動物体の輪郭強調画像であり、
前記動き特性モデルとは、
前記動物体の中心位置である、請求項１記載の動物体追跡方法。The background value is
A color value occupying the background specified by the user;
The color characteristic model is
A binary image of the moving object obtained by performing a filter process on the frame using the background value,
The contour characteristic model is:
It is a contour-enhanced image of the moving object obtained by performing an outline emphasis process on a region centered on the center position of the moving object,
The motion characteristic model is:
The moving object tracking method according to claim 1, wherein the moving object is a center position of the moving object.
前記フレームに対して、前記背景値を用いてフィルタ処理を施すことにより前記動物体の候補となる領域を得るステップと、
前記候補となる領域毎に、前記領域と前記色特性モデルとの面積比を求めて、前記面積比の大きいものから順に３つの前記領域を選択して前記候補とするステップと、
前記選択された３つの各前記候補毎に、前記面積比に基づき、前記第１の適合確率を算出するステップとを備える、請求項２記載の動物体追跡方法。The color characteristic analysis step includes:
Obtaining a region that is a candidate for the moving object by performing a filtering process on the frame using the background value;
For each of the candidate regions, determining an area ratio between the region and the color characteristic model, selecting the three regions in descending order of the area ratio as the candidates,
3. The moving object tracking method according to claim 2, further comprising: calculating the first matching probability based on the area ratio for each of the three selected candidates.
各前記候補を中心とした領域に、輪郭強調処理を施すことにより、各前記候補の輪郭強調画像を得るステップと、
各前記輪郭強調画像と、前記輪郭特性モデルとのテンプレートマッチングを行なうステップと、
各前記候補毎に、前記テンプレートマッチングの結果に基づき、前記第２の適合確率を算出するステップとを備える、請求項２記載の動物体追跡方法。The contour characteristic analysis step includes:
Obtaining a contour-enhanced image of each of the candidates by performing a contour-enhancing process on a region centered on each of the candidates;
Performing a template matching between each of the contour-enhanced images and the contour characteristic model;
Calculating the second matching probability based on a result of the template matching for each of the candidates.
前記動き特性モデルを用いて、前記動物体が直線的に移動した場合の位置を予測するステップと、
前記予測された位置と、各前記候補との距離を算出するステップと、
各前記候補毎に、求めた前記距離に基づき、前記第３の適合確率を算出するステップとを備える、請求項２記載の動物体追跡方法。The motion characteristic analysis step includes:
Using the motion characteristic model, predicting a position when the moving object moves linearly,
Calculating the distance between the predicted position and each of the candidates;
Calculating the third matching probability based on the obtained distance for each of the candidates.
決定した前記動物体の位置を、前記動き特性モデルとして更新するステップと、
決定した前記動物体の前記統合確率が一定値以上であれば、決定した前記動物体の２値化画像を前記色特性モデルとし、かつ決定した前記動物体の輪郭強調画像を前記輪郭強調モデルとして更新するステップとを備える、請求項２記載の動物体追跡方法。The updating step includes:
Updating the determined position of the moving object as the motion characteristic model;
If the determined integration probability of the moving object is equal to or more than a certain value, the determined binary image of the moving object is used as the color characteristic model, and the determined outline emphasized image of the moving object is used as the outline emphasis model. The moving object tracking method according to claim 2, further comprising an updating step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11380397A JP3552456B2 (en) | 1997-05-01 | 1997-05-01 | Moving object tracking method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11380397A JP3552456B2 (en) | 1997-05-01 | 1997-05-01 | Moving object tracking method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10304348A JPH10304348A (en) | 1998-11-13 |
| JP3552456B2 true JP3552456B2 (en) | 2004-08-11 |
Family
ID=14621470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11380397A Expired - Fee Related JP3552456B2 (en) | 1997-05-01 | 1997-05-01 | Moving object tracking method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3552456B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008547097A (en) * | 2005-06-17 | 2008-12-25 | マイクロソフト コーポレーション | Image segmentation |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010057810A (en) * | 1999-12-23 | 2001-07-05 | 오길록 | Apparatus and method for model-based object tracking |
| JP2002352248A (en) * | 2001-05-25 | 2002-12-06 | Nhk Engineering Services Inc | Supporting device for video object extraction |
| JP4787424B2 (en) * | 2001-06-01 | 2011-10-05 | 財団法人エヌエイチケイエンジニアリングサービス | Video object detection and tracking device |
| US7418113B2 (en) * | 2005-04-01 | 2008-08-26 | Porikli Fatih M | Tracking objects in low frame rate videos |
| JP4515332B2 (en) | 2005-05-30 | 2010-07-28 | オリンパス株式会社 | Image processing apparatus and target area tracking program |
| CN101939980B (en) * | 2008-02-06 | 2012-08-08 | 松下电器产业株式会社 | Electronic camera and image processing method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01204186A (en) * | 1988-02-08 | 1989-08-16 | Nec Corp | Method for recognizing object color in picture processing |
| JPH02245981A (en) * | 1989-03-20 | 1990-10-01 | Omron Tateisi Electron Co | Color picture processor |
| JPH08185521A (en) * | 1994-12-28 | 1996-07-16 | Clarion Co Ltd | Mobile object counter |
| JPH08212351A (en) * | 1995-02-08 | 1996-08-20 | Fujitsu General Ltd | Moving image recognition device |
-
1997
- 1997-05-01 JP JP11380397A patent/JP3552456B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008547097A (en) * | 2005-06-17 | 2008-12-25 | マイクロソフト コーポレーション | Image segmentation |
| US8103093B2 (en) | 2005-06-17 | 2012-01-24 | Microsoft Corporation | Image segmentation of foreground from background layers |
| JP4898800B2 (en) * | 2005-06-17 | 2012-03-21 | マイクロソフト コーポレーション | Image segmentation |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10304348A (en) | 1998-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Papageorgiou et al. | A trainable pedestrian detection system | |
| Kim et al. | Efficient region-based motion segmentation for a video monitoring system | |
| US6678413B1 (en) | System and method for object identification and behavior characterization using video analysis | |
| US20010048753A1 (en) | Semantic video object segmentation and tracking | |
| CN114365201A (en) | Structural annotation | |
| Moore | A real-world system for human motion detection and tracking | |
| Li et al. | Detection of vehicles from traffic scenes using fuzzy integrals | |
| US20030095707A1 (en) | Computer vision method and system for blob-based analysis using a probabilistic pramework | |
| Tourani et al. | Vehicle counting method based on digital image processing algorithms | |
| JP3552456B2 (en) | Moving object tracking method | |
| KR101575857B1 (en) | Method of human action pattern recognition using histogram of motion intensity and direction from multi view | |
| CN108710879B (en) | Pedestrian candidate region generation method based on grid clustering algorithm | |
| JP2013202273A (en) | Estimation device of sleepiness level, estimation method of sleepiness level, and estimation processing program of sleepiness level | |
| WO2021254673A2 (en) | Object detection for event cameras | |
| Thangaraj et al. | A competent frame work for efficient object detection, tracking and classification | |
| Srinivasa et al. | Fuzzy edge-symmetry features for improved intruder detection | |
| Sowjanya et al. | Vehicle detection and classification using consecutive neighbouring frame difference method | |
| JP4966946B2 (en) | Spatiotemporal image separation device, spatiotemporal image separation method, and spatiotemporal image separation program | |
| CN112818957B (en) | Method for identifying blepharospasm based on movement energy | |
| Mohapatra et al. | Semantic Data Extraction Using Video Analysis: An AI Analytical Perspective | |
| Kiaee et al. | A survey on object detection and classification methods | |
| Asare-Manu et al. | Image Segmentation With Human-in-the-Loop in Automated De-Caking Process for Powder Bed Additive Manufacturing | |
| Ramamoorthy | Optimizing traffic flow based on vehicle count | |
| Tripathi et al. | Human Activity Recognition | |
| Mushtaq et al. | HUMAN GESTURE ANALYSIS BASED ON VIDEO. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040426 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080514 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |