JPWO2012127618A1 - 動体検出装置、動体検出方法、動体検出プログラム、動体追跡装置、動体追跡方法及び動体追跡プログラム - Google Patents

Abstract

画像を用いて動体を検出する動体検出装置１であって、画像フレーム間の画素の動き度を取得する動き度取得部１１と、前記画像フレームに含まれる画素の色を取得する色取得部１３と、前記色取得部により取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出部１４と、色ごとの前記評価スコアに基づいて前記動体を検出する動体検出部１５と、を備えて構成される。

Description

本発明は、動体検出装置、動体検出方法及び動体検出プログラム、並びに、動体追跡装置、動体追跡方法及び動体追跡プログラムに関するものである。

従来、画像を用いて動体を検出する装置、又は画像を用いて動体を追跡する装置が知られている（例えば、特許文献１，２参照）。特許文献１記載の装置は、画像フレームを複数の小ブロックに分割し、小ブロックごとの動きベクトルの積算値の最小値を背景動きベクトルと定義し、元の画像フレームから減算することで背景を分離し、動体を検出するものである。特許文献２記載の装置は、動体の色を種類ごとに予め設定し、画像の対象エリア内において動体の色の含有率及び分散を求め、含有率及び分散が所定条件を満たす場合には設定した色に対応する種類の動体が存在すると判定する。また、特許文献２記載の装置は、背景の色の分布を予め推定し、背景の色との差から異色画像群を検出し、この異色画像群を用いて移動体の場所特定を行う。

特開２００３−３１９３８７号公報 特開２００７−２１３２６４号公報

しかしながら、特許文献１記載の装置にあっては、背景が乱雑に動く場合には背景の動きと動体の動きとを区別することが困難となる。このため、動体の検出が不安定となるおそれがある。また、特許文献２記載の装置にあっては、動体の色を予め特定し、背景の色の分布を予め推定する必要があるため、照明変化や服装変化等の環境変化が発生すると、動体を検出することができないおそれがある。

そこで、本発明はこのような技術課題を解決するためになされたものであって、事前に動体又は背景に関する情報を設定することなく安定して動体を検出することができる動体検出装置、動体検出方法及び動体検出プログラム並びに動体追跡装置、動体追跡方法及び動体追跡プログラムを提供することを目的とする。

すなわち、本発明に係る動体検出装置は、画像を用いて動体を検出する動体検出装置であって、画像フレーム間の画素の動き度を取得する動き度取得部と、前記画像フレームに含まれる画素の色を取得する色取得部と、前記色取得部により取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出部と、色ごとの前記評価スコアに基づいて前記動体を検出する動体検出部と、を備えて構成される。

本発明に係る動体検出装置では、動き度取得部により、画像フレーム間の画素の動き度が取得され、色取得部により、画像フレームに含まれる画素の色が取得され、評価スコア算出部により、動き度に基づいて色の動き度合いを示す評価スコアが色ごとに算出され、動体検出部により、色ごとの評価スコアに基づいて動体が検出される。このように、色の動き度合いを評価することによって動体が検出される。このため、事前に動体又は背景に関する情報を設定することなく動体を検出することができる。また、動きベクトルを用いて動体と背景とを分離することなく動体を検出することが可能となるので、安定して動体を検出することができる。

ここで、前記評価スコア算出部は、色ごとに、前記画像フレーム内の画素数及び当該画素の動き度を累積し、前記画像フレーム内の累積画素数及び累積動き度に基づいて当該色の前記評価スコアを算出してもよい。このように構成することで、色ごとの評価スコアの精度を向上させることができる。

また、前記評価スコア算出部は、色ごとに画素の位置情報を累積し、前記動体検出部は、色ごとの前記累積画素数及び累積位置情報に基づいて、前記動体の位置を特定してもよい。このように構成することで、動体の位置の精度を向上させることができる。

また、本発明に係る動体検出方法は、画像を用いて動体を検出する動体検出方法であって、第１画像フレームと前記第１画像フレームより後に入力する第２画像フレームとの間の画素の動き度、及び、前記第２画像フレームに含まれる画素の色を取得する取得ステップと、前記取得ステップにより取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出ステップと、色ごとの前記評価スコアに基づいて前記第２画像フレーム内に描画された前記動体を検出する動体検出ステップと、を備えることを特徴して構成される。

本発明に係る動体検出方法によれば、上述した本発明の動体検出装置と同様の効果を奏する。

また、本発明に係る動体検出プログラムは、コンピュータを、画像を用いて動体を検出するように機能させる動体検出プログラムであって、画像フレーム間の画素の動き度を取得する動き度取得部、前記画像フレームに含まれる画素の色を取得する色取得部、前記色取得部により取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出部、及び、色ごとの前記評価スコアに基づいて前記動体を検出する動体検出部として機能させることを特徴として構成される。

本発明に係る動体検出プログラムによれば、上述した本発明の動体検出装置と同様の効果を奏する。

また、本発明に係る動体追跡装置は、画像を用いて動体を追跡する動体追跡装置であって、画像フレーム間の画素の動き度を取得する動き度取得部と、前記画像フレームに含まれる画素の色を取得する色取得部と、前記色取得部により取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出部と、画素の色及び色ごとの評価スコアに基づいて、前記評価スコアを画素値とした第１尤度画像を生成して前記動体を検出する動体検出部と、検出された前記動体を追跡する動体追跡部と、を備えて構成される。

本発明に係る動体追跡装置では、動き度取得部により、画像フレーム間の画素の動き度が取得され、色取得部により、画像フレームに含まれる画素の色が取得され、評価スコア算出部により、動き度に基づいて色の動き度合いを示す評価スコアが色ごとに算出され、動体検出部により、画素の色及び色ごとの評価スコアに基づいて、評価スコアを画素値とした第１尤度画像が生成されて動体が検出され、動体追跡部により、検出された前記動体が追跡される。このように、色の動き度合いを評価することによって動体が検出される。そして、検出された動体の色に基づいて動体が追跡される。このため、事前に動体又は背景に関する情報を設定することなく動体を追跡することができる。また、動きベクトルを用いて動体と背景とを分離することなく動体を追跡することが可能となるので、安定して動体を追跡することができる。

ここで、前記動き度取得部は、前記画像フレームを所定のブロックに分割し、ブロック単位の動きに基づいて前記画像フレーム全体の動きを算出し、前記画像フレームに含まれる画素の動きから前記画像フレーム全体の動きを差し引いて動き度を算出する。このように構成することで、全体の動きとの差分から、局所的な動きを取得することができる。

また、前記動体追跡部は、前記動体検出部により検出された前記動体の色に基づいて前記動体を追跡してもよい。このように構成することで、検出された動体の色を基準に追跡することができる。

また、前記動体追跡部は、前記評価スコアに基づいて前記動体の代表色を特定し、特定された代表色に基づいて前記動体を追跡してもよい。この場合、前記動体追跡部は、前記動体の代表色との色の類似度に基づいて色ごとに尤度を算出し、画素の尤度を画素値とする第２尤度画像を作成して前記動体を追跡してもよい。このように第２尤度画像を用いることで、動体の代表色と同一又は類似する色と他の色とをより精度よく区別することができる。

また、前記評価スコア算出部は、色ごとに、動き度が所定値以上である画素数を累積した前景画素数、及び、動き度が所定値以上でない画素数を累積した背景画素数を算出し、前記動体追跡部は、前記前景画素数が前記背景画素数より小さい色については尤度を小さくしてもよい。このように構成することで、動体の色に近い色で動きの少ない背景等を動体として追跡することを回避することができる。

また、前記動体追跡部は、前回の動体の位置を基準とした画素の相対位置ベクトルと画素の動きベクトルとの内積が負となる場合には当該画素における尤度を小さくしてもよい。このように構成することで、動体の色に近い色で動きの異なる背景等を動体として追跡することを回避することができる。

また、前記動体追跡部は、前記第２尤度画像より小さい領域を追跡矩形とし、前記第２尤度画像の前記追跡矩形内における画素値の分布の重心が、前記追跡矩形の中心となるように移動させることで前記動体を追跡してもよい。このように構成することで、簡易な構成で動体を適切に追跡することができる。

また、前記動体追跡部は、前回入力された前記画像フレームの前記第２尤度画像及び前記追跡矩形に基づいて作成された背景尤度画像と、前記画像フレームの前記第２尤度画像との差分画像を用いて前記動体を追跡してもよい。このように構成することで、動体の色に近い色の背景等を動体として追跡することを回避することができる。

また、本発明に係る動体追跡方法は、画像を用いて動体を追跡する動体追跡方法であって、画像フレーム間の画素の動き度、及び、前記画像フレームに含まれる画素の色を取得する取得ステップと、前記取得ステップにより取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出ステップと、画素の色及び色ごとの評価スコアに基づいて、前記評価スコアを画素値とした第１尤度画像を生成して前記動体を検出する動体検出ステップと、検出された前記動体を追跡する動体追跡ステップと、を備えて構成される。

本発明に係る動体追跡方法によれば、上述した本発明の動体追跡装置と同様の効果を奏する。

また、本発明に係る動体追跡プログラムは、コンピュータを、画像を用いて動体を追跡するように機能させる動体追跡プログラムであって、画像フレーム間の画素の動き度を取得する動き度取得部、前記画像フレームに含まれる画素の色を取得する色取得部、前記色取得部により取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出部、画素の色及び色ごとの評価スコアに基づいて、前記評価スコアを画素値とした第１尤度画像を生成して前記動体を検出する動体検出部、検出された前記動体を追跡する動体追跡部、として機能させることを特徴として構成される。

本発明に係る動体追跡プログラムによれば、上述した本発明の動体追跡装置と同様の効果を奏する。

本発明によれば、事前に動体又は背景に関する情報を設定することなく安定して動体を検出することができる。

第１実施形態に係る動体検出装置を搭載した機器の機能ブロック図である。 図１に示す機器のハードウェア構成図である。 図１に示す動体検出装置の全体動作を説明するフローチャートである。 図１に示す動体検出装置の検出領域設定動作を説明するフローチャートである。 検出領域の一例を説明する概要図である。 図１に示す動体検出装置の手検出動作を説明するフローチャートである。 図１に示す動体検出装置の手検出動作を説明するフローチャートである。 検出領域のピクセルにおける色ＩＤに対する度数を示すヒストグラムの一例である。（Ａ）は累積出現数、（Ｂ）は累積位置情報（ｘ座標）、（Ｃ）は累積位置情報（ｙ座標）、（Ｄ）は累積動き量（ｘ方向）、（Ｅ）は累積動き量（ｙ方向）である。 （Ａ）は、今回の画像フレームにおける色ＩＤに対する評価スコアを示すヒストグラムの一例である。（Ｂ）は、色ＩＤに対する累積評価スコアを示すヒストグラムである。 評価スコアを説明する概要図である。 第２実施形態に係る動体検出装置を搭載した機器の機能ブロック図である。 図１１に示す動体検出装置の動体検出動作を説明するフローチャートである。 動き度取得処理を説明する概要図である。 第１尤度画像を説明する概要図である。 動体検出領域を説明する概要図である。 第３実施形態に係る動体追跡装置を搭載した機器の機能ブロック図である。 図１６に示す動体追跡装置の全体動作を説明するフローチャートである。 図１６に示す動体追跡装置の初期化動作を説明するフローチャートである。 色ＩＤ対する度数を示す追跡用の尤度ヒストグラムの一例である。（Ａ）は色類似の尤度、（Ｂ）は検出時の評価スコア、（Ｃ）は前景度及び背景度、（Ｄ）は最終的な尤度を示す。 図１６に示す動体追跡装置の尤度計算動作を説明するフローチャートである。 動体追跡中における、オプティカルフローを用いた尤度計算を説明する概要図である。 第２尤度画像の一例である。 図１６に示す動体追跡装置の追跡動作を説明するフローチャートである。 追跡動作を説明する概要図である。 図１６に示す動体追跡装置の背景尤度算出動作を説明するフローチャートである。 背景尤度算出動作を説明する概要図である。（Ａ）は前回画像フレームの第２尤度画像、（Ｂ）は背景尤度画像、（Ｃ）は今回画像フレームの第２尤度画像、（Ｄ）は背景を考慮した尤度画像である。

以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。

（第１実施形態）
本実施形態に係る動体検出装置は、画像を用いて動体を検出する装置である。本実施形態に係る動体検出装置は、例えば、手の動きを認識するジェスチャー認識装置又は侵入者を検出する監視カメラ等、動くものを検出する装置に好適に採用されるものである。なお、以下では、説明理解の容易性を考慮し、本発明に係る動体検出装置の一例として、動く手を検出する手検出装置を説明する。

図１は、本実施形態に係る手検出装置（動体検出装置）１を備える装置２の機能ブロック図である。図１に示す装置２は、例えばデジタルカメラ、携帯端末、ゲーム端末又はテレビ等の家庭用電化製品であり、図２に示すハードウェア構成を有する。図２は、装置２のハードウェア構成図である。図２に示すように、装置２は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１及びＲＡＭ（Random Access Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する装置２及び手検出装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は装置２のハードウェア構成として説明したが、手検出装置１がＣＰＵ１００、ＲＯＭ１０１及びＲＡＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、装置２は、通信モジュール等を備えてもよい。

図１に示すように、装置２は、カメラ２０、手検出装置１、顔検出部２１及び表示部２２を備えている。カメラ２０は、画像又は動画を撮像する機能を有している。カメラ２０として、例えば撮像素子等が用いられる。カメラ２０は、撮像した複数の画像又は動画を画像フレームとして手検出装置１へ出力する機能を有している。

手検出装置１は、画像入力部１０、動き度取得部１１、検出領域設定部１２、色取得部１３、評価スコア算出部１４及び手検出部（動体検出部）１５を備えている。

画像入力部１０は、カメラ２０に接続されている。画像入力部１０は、例えばカメラ２０により撮像された複数の画像又は動画を画像フレームとして入力する機能を有している。画像入力部１０は、入力された画像フレームを装置２に備わる記憶領域に保存する機能を有している。

動き度取得部１１は、画像入力部１０により入力され保存された画像フレームを参照可能に構成されている。そして、動き度取得部１１は、画像フレーム間における画素（ピクセル）の動き度を画素ごとに取得する機能を有している。例えば、動き度取得部１１は、オプティカルフロー等の従来技術を用いて画素ごとに動き量を取得し、動き度とする。あるいは、動き度取得部１１は、フレーム間の画素の差分を取得し、動き度としてもよい。動き度取得部１１は、画素の動き度を評価スコア算出部１４へ出力する機能を有している。

顔検出部２１は、画像入力部１０により入力され保存された画像フレームを参照可能に構成されている。そして、顔検出部２１は、人の顔位置を検出する機能を有している。顔検出部２１は、例えば、Ｈａａｒ−Ｌｉｋｅ特徴を用いた識別器やパターンマッチング等を利用して顔の位置情報を検出する。顔検出部２１は、顔の位置情報を検出領域設定部１２へ出力する機能を有している。

検出領域設定部１２は、画像入力部１０により入力され保存された画像フレームを参照可能に構成されている。そして、検出領域設定部１２は、顔検出部２１の検出結果を用いて、手を検出する対象領域である検出領域を設定する機能を有している。すなわち、検出領域設定部１２は、顔の位置情報を利用して検出領域を設定する。例えば、検出領域設定部１２は、顔の左右に隣接する所定の大きさの領域を手の検出領域として設定する機能を有している。そして、検出領域設定部１２は、設定された検出領域を色取得部１３へ出力する機能を有している。

色取得部１３は、画像フレームに含まれる画素の色を取得する機能を有している。例えば、色取得部１３は、検出領域設定部１２により設定された検出領域に含まれる画素の色を画素それぞれの位置情報（座標）と対応づけて取得する機能を有している。なお、色取得部１３は、後述する処理を考慮して、取得した画素値を一意の色ＩＤに変換する機能を有している。例えば、色取得部１３は、画素値がＹＵＶ色空間で表現されており、Ｙ、Ｕ及びＶの成分値がそれぞれ０〜２５５（８ビット）の範囲である場合において、取得した画素値に対応する一次元の色ＩＤを出力する。ここで、色取得部１３は、必要に応じて画素値と色ＩＤとの対応関係を適宜変更してもよい。例えば、ＹＵＶ成分（それぞれ８ビット）の下位４ビットを削除して変換を行い、０〜４０９５の１２ビットにする。そして、色取得部１３は、画素それぞれの色ＩＤを評価スコア算出部１４へ出力する機能を有している。

評価スコア算出部１４は、色取得部１３により取得された色ＩＤごとに、動き度に基づいて評価スコアを算出する機能を有している。ここで、評価スコアとは、動体（ここでは手）の色であるか否かを評価するための指標である。例えば、評価スコア算出部１４は、動き度取得部１１により取得された画素の動き度を当該画素のスコアとする。そして、評価スコア算出部１４は、スコア及び色取得部１３により取得された画素の色ＩＤに基づいて、色ＩＤごとにスコア及び表示頻度（画素数）を累積する。そして、評価スコア算出部１４は、累積スコア及び累積画素数に基づいて評価スコアを算出する。例えば、累積スコアを累積画素数で除算することにより、当該色ＩＤでの評価スコアが算出される。すなわち、評価スコアとは、色の動き度合いを示すものであるともいえる。さらに、評価スコア算出部１４は、手の位置を取得するために、色ＩＤごとに画素の位置情報（例えばｘ座標及びｙ座標）を累積する機能を有している。そして、評価スコア算出部１４は、算出された色ＩＤごとの評価スコア及び累積位置情報を手検出部１５へ出力する機能を有している。

手検出部１５は、評価スコア算出部１４により出力された色ＩＤごとの評価スコアに基づいて、動く手を検出する機能を有している。上述のとおり、評価スコアは色の動き度合いを示すものであるので、手検出部１５は、画像の中で評価スコアが他の部分に比べて高い部分が物体であると検出する。そして、手検出部１５は、特定された色ＩＤについて、評価スコア算出部１４により出力された累積位置情報及び累積画素数に基づいて、手の位置を特定する。例えば、手検出部１５は、累積位置情報を累積画素数で除算することにより手の中心位置を推定する。そして、手検出部１５は、検出された手に関する情報を表示部２２へ出力して表示させる機能を有している。

また、手検出部１５は、例えば、色ＩＤごとの評価スコアに基づいて手の色を特定する機能を有していてもよい。手検出部１５は、例えば、評価スコアが大きいほど代表色である可能性が高いとして代表色を選定する。例えば、評価スコアが最大となる色ＩＤを手の色（代表色）であると特定する。なお、評価スコアの最大値を含む範囲の色ＩＤを複数選択して手の色として特定してもよい。

表示部２２は、例えば、現在の画像フレームを表示する際に、手検出部１５により検出された手を強調するように表示する機能を有している。表示部２２として例えば液晶ディスプレイ等が用いられる。

次に、本実施形態に係る手検出装置１の動作について説明する。図３は、本実施形態に係る手検出装置１の動作を示すフローチャートである。図３に示す制御処理は、例えば装置２の撮像機能をＯＮしたタイミングで実行され、所定の周期で繰り返し実行される。なお、説明理解の容易性を考慮して、図３の実行前に手検出装置１は第１画像フレームを入力して記録しているものとして説明する。また、検出される物体は手であるとして説明する。

図３に示すように、最初に画像入力部１０が画像フレーム（第２画像フレーム）を入力する（Ｓ１０）。Ｓ１０の処理が終了すると、動き度取得処理へ移行する（Ｓ１２）。Ｓ１２の処理では、動き度取得部１１が、オプティカルフロー等に基づいてＳ１０の処理で取得した画像フレームの画素の動き度を取得する。Ｓ１２の処理が終了すると、顔検出処理へ移行する（Ｓ１４）。

Ｓ１４では、顔検出部２１が画像フレーム内に描画された顔の位置情報を検出する。ここで、顔検出部２１は、複数の顔を検出してもよい。Ｓ１４の処理が終了すると、検出領域設定処理へ移行する（Ｓ１６）。

Ｓ１６の処理では、検出領域設定部１２が画像フレーム内に検出領域を設定する。検出領域設定部１２は、検出領域に関する情報を検出領域リストに記録する。この処理の詳細は後述する。Ｓ１６の処理が終了すると、検出領域選択処理へ移行する（Ｓ１８）。

Ｓ１８の処理では、色取得部１３が、Ｓ１６の処理で記録された検出領域リストを参照し、１つの検出領域を選択する処理である。Ｓ１８の処理が終了すると、手検出処理へ移行する（Ｓ２０）。

Ｓ２０の処理では、色取得部１３、評価スコア算出部１４及び手検出部１５が、Ｓ１８の処理で選択された検出領域内の手を検出する処理である。この処理については後述する。Ｓ２０の処理が終了すると、終了判定処理へ移行する（Ｓ２２）。

Ｓ２２の処理では、色取得部１３が、検出領域リストに記録された検出領域全てに対して手検出処理を実行したか否かを判定する。Ｓ２２の処理において、検出領域全てに対して手検出処理を実行していないと判定した場合には、Ｓ１８の処理へ再度移行する。Ｓ１８の処理では、色取得部１３が検出領域リストを参照して新たな検出領域を再度選択する。このように、検出領域リストに記載された全ての検出領域で手検出処理を実行するまで、Ｓ１８〜Ｓ２２の処理を繰り返し実行する。一方、Ｓ２２の処理において、検出領域全てに対して手検出処理を実行したと判定した場合には、表示処理へ移行する（Ｓ２４）。

Ｓ２４の処理では、表示部２２が手の部分を矩形等で囲うようにして強調した画像フレームを表示する。なお、Ｓ２０の処理で手を検出できていない場合には、表示部２２は、通常の画像フレームを表示する。Ｓ２４の処理が終了すると、図３に示す制御処理を終了する。

次に、図３中の各処理について詳細を説明する。最初に、図４を用いて検出領域設定処理（Ｓ１６）の詳細を説明する。図４は、本実施形態に係る手検出装置１の検出領域設定動作を示すフローチャートである。なお、説明理解の容易性を考慮して、図５を参照しつつ検出領域設定動作を説明する。図５は検出領域の一例を説明する概要図である。

図４に示すように、最初に、検出領域設定部１２が、Ｓ１４の処理で検出された顔の中から一つの顔を選択する（Ｓ３０）。例えば、図５に示すようにＳ１４の処理において画像フレームＦ_１内に複数の顔Ｋ_１，Ｋ_２が検出されているものとする。この場合、検出領域設定部１２は、例えば顔Ｋ_１を選択する。Ｓ３０の処理が終了すると、顔判定処理へ移行する（Ｓ３２）。

Ｓ３２の処理では、検出領域設定部１２が、Ｓ３０の処理で選択された顔Ｋ_１が初めて選択された顔であるか否かを判定する。Ｓ３２の処理において、Ｓ３０の処理で選択された顔Ｋ_１が初めて選択された顔であると判定した場合には、検出領域リスト追加処理へ移行する（Ｓ３４）。

Ｓ３４の処理では、検出領域設定部１２が、Ｓ３０の処理で選択された顔位置に基づいて検出領域を設定する。例えば、図５に示すように、検出領域設定部１２は、顔Ｋ_１の左右に隣接する所定の大きさの矩形領域を検出領域Ｒ_１，Ｒ_２として設定する。検出領域Ｒ_１，Ｒ_２の位置は、顔Ｋ_１の位置と大きさから相対的に決定される。検出領域設定部１２は、設定された検出領域Ｒ_１，Ｒ_２を検出領域リストに追加する。Ｓ３４の処理が終了すると終了判定処理へ移行する（Ｓ３６）。

一方、Ｓ３２の処理において、Ｓ３０の処理で選択された顔Ｋ_１が初めて選択された顔でないと判定した場合には、既に過去において検出領域を設定しているため、検出領域リストへ追加することなく終了判定処理へ移行する（Ｓ３６）。

Ｓ３６の処理では、検出領域設定部１２が、Ｓ１４の処理で検出された全ての顔について検出領域の設定を実行したか否かを判定する。Ｓ３６の処理において、全ての顔について検出領域の設定を実行していないと判定した場合には、Ｓ３０の処理へ再度移行する。Ｓ３０の処理では、検出領域設定部１２が新たな顔Ｋ_２を再度選択する。そして、検出領域設定部１２が、Ｓ３２の処理で顔判定を実行し、Ｓ３２の処理で検出領域Ｒ_３，Ｒ_４を設定する。このように、Ｓ１４の処理で検出された全ての顔について検出領域の設定処理を実行するまで、Ｓ３０〜Ｓ３６の処理が繰り返し実行される。一方、Ｓ３６の処理において、検出領域全てに対して検出領域の設定処理を実行したと判定した場合には、検出領域の選択処理へ移行する（Ｓ３８）。以下のＳ３８〜Ｓ４４の処理では、検出領域リストの見直しが行われる。

Ｓ３８の処理では、検出領域設定部１２が、検出領域リストを参照し、検出領域を一つ選択する。Ｓ３８の処理が終了すると、対応判定処理へ移行する（Ｓ４０）。

Ｓ４０の処理では、検出領域設定部１２が、Ｓ３８の処理で選択した検出領域に対応する顔が存在するか否かを判定する。Ｓ４０の処理において、検出領域に対応する顔が存在しないと判定した場合には、削除処理へ移行する（Ｓ４２）。

Ｓ４２の処理では、検出領域設定部１２が、Ｓ３８の処理で選択した検出領域を検出領域リストから削除する。Ｓ４２の処理が終了すると、終了判定処理へ移行する（Ｓ４４）。

一方、Ｓ４０の処理において、検出領域に対応する顔が存在すると判定した場合には、当該検出領域については検出領域リストから削除することなく終了判定処理へ移行する（Ｓ４４）。

Ｓ４４の処理では、検出領域設定部１２が、全ての検出領域について見直し処理が終了したか否かを判定する。Ｓ４４の処理において、全ての検出領域について見直し処理が終了していないと判定した場合には、Ｓ３８の処理へ再度移行する。これにより、Ｓ３８の処理では、検出領域設定部１２が新たな検出領域を再度選択する。そして、検出領域設定部１２が、Ｓ３８の処理で対応判定処理を実行する。このように、検出領域リストの全ての検出領域について見直し処理を実行するまで、Ｓ３８〜Ｓ４４の処理が繰り返し実行される。一方、Ｓ４４の処理において、全ての検出領域について見直し処理が終了したと判定した場合には、図４に示す制御処理を終了する。

以上で図４に示す制御処理を終了する。図４に示す制御処理を実行することにより、検出された顔の両側に検出領域が設定されるとともに、画像フレームに描画されなくなった顔に対応する検出領域を検出領域リストから削除することができる。

次に、図３中の手検出処理（Ｓ２０）について詳細を説明する。図６，７は、本実施形態に係る手検出装置１の手検出動作を示すフローチャートである。なお、説明理解の容易性を考慮して、図８〜１０を参照しつつ検出領域設定動作を説明する。図８は、検出領域のピクセルにおける色ＩＤに対する度数を示すヒストグラムの一例であり、（Ａ）は累積出現数、（Ｂ）は累積位置情報（ｘ座標）、（Ｃ）は累積位置情報（ｙ座標）、（Ｄ）は累積動き量（累積動き度、ｘ方向）、（Ｅ）は累積動き量（累積動き度、ｙ方向）である。図９の（Ａ）は、今回の画像フレームにおける色ＩＤに対する重みを示すヒストグラムの一例である。図９の（Ｂ）は、色ＩＤに対する累積評価スコアを示すヒストグラムの一例である。図８，９において、各ヒストグラムの横軸は同一スケールであり、各ヒストグラムにおける色ＩＤは共通である。図１０は、色ＩＤ及び評価スコアの概念を説明する概要図である。

図６に示すように、最初に、評価スコア算出部１４が検出領域内の１つの画素を選択する（Ｓ６０）。例えば、検出領域内の左上の画素を選択する。Ｓ６０の処理が終了すると、動き度取得処理へ移行する（Ｓ６２）。

Ｓ６２の処理では、動き度取得部１１が、Ｓ６０の処理で選択された画素の動き度を取得する。動き度取得部１１は、例えば図３のＳ１２の処理で取得したオプティカルフローに基づいて画素単位の動き量（ｄｘ，ｄｙ）を取得する。Ｓ６２の処理が終了すると、階級特定処理へ移行する（Ｓ６４）。

Ｓ６４の処理では、色取得部１３が、Ｓ６０の処理で選択された画素の色（例えばＹＵＶ値）を一意の色ＩＤへ変換する。後述するように、評価スコア算出部１４は、図８の（Ａ）〜（Ｅ）に示すように、色ＩＤを横軸（階級）とするヒストグラムを用意して演算する。このため、色ＩＤへ変換することで、当該色ＩＤが属するヒストグラムの階級が特定される。Ｓ６４の処理が終了すると、ヒストグラム更新処理へ移行する（Ｓ６６）。

Ｓ６６の処理では、評価スコア算出部１４が、Ｓ６４の処理で特定されたヒストグラムの階級に、当該画素の情報を累積する。評価スコア算出部１４は、例えば図８の（Ａ）に示す出現数のヒストグラムにおいて、Ｓ６４の処理で特定された階級に１を加算し、累積出現数Ｘ_Ａを更新する。また、評価スコア算出部１４は、例えば図８の（Ｂ），（Ｃ）に示す位置情報（ｘ，ｙ）のヒストグラムにおいて、Ｓ６４の処理で特定された階級に当該画素の位置情報（ｘ，ｙ）を加算し、累積位置情報Ｉ_ｘ，Ｉ_ｙを更新する。また、評価スコア算出部１４は、例えば図８の（Ｄ），（Ｅ）に示す動き量（ｄｘ，ｄｙ）のヒストグラムにおいて、Ｓ６４の処理で特定された階級に当該画素の動き量（ｄｘ，ｄｙ）を加算し、累積動き量Ｄ_ｘ，Ｄ_ｙを更新する。なお、特定された色ＩＤのヒストグラムのみならず、隣接する色ＩＤのヒストグラムにも結果を累積することで情報を平滑化してもよい。Ｓ６６の処理が終了すると、終了判定処理へ移行する（Ｓ６８）。

Ｓ６８の処理では、評価スコア算出部１４が、検出領域内の全ての画素を選択したか否かを判定する。Ｓ６８の処理において、検出領域内の全ての画素を選択していないと判定した場合には、Ｓ６０の処理へ再度移行する。Ｓ６０の処理では、評価スコア算出部１４が検出領域内の他の画素を１つ選択する。例えば、検出領域内の左上の画素から右へ１つシフトした位置の画素を選択する。このように、検出領域内の全ての画素を選択するまで、Ｓ６０〜Ｓ６８の処理を繰り返し実行する。一方、Ｓ６８の処理において、検出領域内の全ての画素を選択したと判定した場合には、階級選択処理へ移行する（Ｓ７０）。

Ｓ７０の処理では、評価スコア算出部１４が、現在の画像フレームに対応するヒストグラムから一つの階級を選択する。例えば、図８に示すヒストグラムの階級の中から一つの階級を選択する。Ｓ７０の処理が終了すると、重み決定処理へ移行する（Ｓ７２）。

Ｓ７２の処理では、評価スコア算出部１４が、Ｓ７０の処理で選択された階級の重みを算出する。例えば、評価スコア算出部１４は、Ｓ６６の処理で算出された累積動き量Ｄ_ｘ，Ｄ_ｙの絶対値平均値を算出し、Ｓ７０の処理で選択された階級の評価スコア（重み）とする。すなわち、ある色ＩＤにおける重みｗを以下の式１で算出する。
なお、式１を用いて算出された重みｗのヒストグラムを図９の（Ａ）に示す。Ｓ７２の処理が終了すると、累積用ヒストグラム更新処理へ移行する（Ｓ７４）。

Ｓ７４の処理では、評価スコア算出部１４が、Ｓ７２の処理で算出された重みｗに基づいて累積用のヒストグラムを更新する。ここで、累積用のヒストグラムは色ＩＤに対応する評価スコアを示すグラフであり、前回までの計算値が格納されているものとする（初期値は全て０）。例えば、評価スコア算出部１４は、重みｗと累積用のヒストグラムとの移動平均を算出することにより累積用のヒストグラムを更新する。例えば、ある色ＩＤにおける累積用のヒストグラムの評価スコアをＨ_Ｒとし、時定数をｔとすると、評価スコア算出部１４は以下の式２を用いて算出する。
なお、式２を用いて更新した累積用のヒストグラムを図９の（Ｂ）に示す。Ｓ７４の処理が終了すると、中心位置特定処理へ移行する（Ｓ７６）。

Ｓ７６の処理では、評価スコア算出部１４が、色の中心位置を推定する。評価スコア算出部１が、Ｓ６６の処理で算出された累積位置情報Ｉ_ｘ，Ｉ_ｙに基づいて、当該色の中心位置（Ｃ_ｘ，Ｃ_ｙ）を推定する。例えば、以下の式３を用いて算出する。
Ｓ７６の処理が終了すると、終了判定処理へ移行する（Ｓ７８）。

Ｓ７８の処理では、評価スコア算出部１４が、全ての階級について選択して処理を実行したか否か判定する。Ｓ７８の処理において、全ての階級について選択して処理を実行していないと判定した場合には、Ｓ７０の処理へ再度移行する。評価スコア算出部１４は、Ｓ７０の処理で他の階級を一つ選択し、Ｓ７２の処理で重みを特定し、Ｓ７４の処理で移動平均を用いて更新し、Ｓ７６の処理で中心位置を特定する。このように、全ての階級について選択して処理を実行していないと判断した場合には、全ての階級が選択されるまでＳ７０〜Ｓ７８の処理が繰り返し実行される。このため、上記処理を繰り返すことで、図９の（Ａ）に示す重みｗが図９の（Ｂ）に示す評価スコアに反映される。一方、Ｓ７８の処理において、全ての階級について処理を実行したと判定した場合には、代表色特定処理へ移行する（図７のＳ８０）。

Ｓ８０の処理では、手検出部１５が、評価スコアに基づいて手を特定する。評価スコアは動いている色ほど高い値となる。手検出部１５は、画像の中で評価スコアが他の部分に比べて高い部分が物体であると検出する。例えば、手検出部１５は、評価スコアを輝度値とする画像を生成して高輝度部分を物体であるとして検出する。Ｓ８０の処理が終了すると、色確認処理へ移行する（Ｓ８２）。

Ｓ８２の処理では、手検出部１５が動体の代表色を特定し、特定した手の代表色が前回の画像フレームでの代表色と異なる色であるか否かを判定する。手検出部１５は、例えば、図９の（Ｂ）に示す評価スコアの値が最も高い色ＩＤを手の代表色として特定する。例えば、図１０に示すように検出領域Ｒ_２において色ＩＤ＝３４５０が最もスコアが高い場合には、当該色ＩＤを現在の手の代表色であるとして認識する。Ｓ８２の処理において、Ｓ８０の処理で特定した手の代表色が前回の画像フレームでの代表色と異なる色でないと判定した場合には、軌跡リスト更新処理へ移行する（Ｓ８６）。

Ｓ８６の処理では、手検出部１５が、手の軌跡リストを更新する。例えば、手検出部１５は、Ｓ８０の処理で取得した代表色について、Ｓ７６の処理で算出した中心位置（Ｃ_ｘ，Ｃ_ｙ）を取得し、手の軌跡リストを更新する。Ｓ８６の処理が終了すると、図６，７に示す制御処理を終了する。

一方、Ｓ８２の処理において、Ｓ８０の処理で特定した手の代表色が前回の画像フレームでの代表色と異なる色であると判定した場合には、軌跡リスト初期化処理へ移行する（Ｓ８４）。Ｓ８４の処理では、手検出部１５が、軌跡リストを初期化する。Ｓ８４の処理が終了すると、軌跡リスト更新処理へ移行する（Ｓ８６）。

以上で図６，７に示す制御処理を終了する。図６，７に示す制御処理を実行することにより、検出領域内で他の部分よりも評価スコアの高い部分が動体であると検出される。そして、検出領域内で最も動く色が手の代表色であるとして検出され、代表色の中心位置が手の位置であるとして検出される。そして、色が大きく変化しない限り同一の手であるとして軌跡リストが生成される。このように、画素の色に着目して動く手を検出することができる。なお、Ｓ６２の処理が取得ステップに該当し、Ｓ７０〜Ｓ７８の処理が評価スコア算出ステップに該当し、Ｓ８０の処理単独又はＳ８０及びＳ８６の処理を合わせた処理が動体検出ステップに該当する。

次に、装置（コンピュータ）２を上記手検出装置１として機能させるための手検出プログラム（動体検出プログラム）を説明する。

手検出プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像を取得するように装置２を動作させる。演算処理モジュールは、動き度取得モジュール、検出領域設定モジュール、色取得モジュール、評価スコア算出モジュール及び動体検出モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した手検出装置１の画像入力部１０、動き度取得部１１、検出領域設定部１２、色取得部１３、評価スコア算出部１４及び手検出部１５の機能とそれぞれ同様である。

手検出プログラムは、例えば、ＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、手検出プログラムは、データ信号としてネットワークを介して提供されてもよい。

以上、本実施形態に係る手検出装置１では、動き度取得部１１により、画像フレーム間の画素の動き度が取得され、色取得部１３により、画像フレームに含まれる画素の色が取得され、評価スコア算出部１４により、動き度に基づいて色の動き度合いを示す評価スコアが色ごとに算出され、手検出部１５により、色ごとの評価スコアに基づいて、動体である手が検出される。このように、色の動き度合いを評価することによって、動作する手が検出される。このため、事前に手又は背景に関する情報を設定することなく手を検出することができる。すなわち、背景色もしくは手の色として特定色を予め設定する必要がないので、色分布に柔軟に対応することが可能であるとともに、照明が変更されたり、場所が変更されたり、服装が変更された場合であっても、常に手の代表色を検出することができる。例えば手袋をしている手を検出することも可能である。このため、環境変化に対し手の検出を強く安定して行うことが可能となる。また、手以外に同様の色彩を持った静止物体が同じフレームに存在するとしても、同様の色彩以外で手に使用されている色を代表色とすることができるので動作する手を的確に検出することができる。また、従来の装置のように、事前に手の色を設定して手を検出する場合には、背景と手との差の色がある程度大きい必要がある。これに対して、本実施形態に係る手検出装置１では、ヒストグラムの区間（階級）が異なれば背景と手との差の色が小さい場合であっても原理上検出することが可能である。また、手と背景とを分離することなく、色情報で動作する手を検出することが可能となるので、背景分離のために閾値を設定する等の処理を不要とすることができる。また、色情報及び動き度合いによって手を検出するため、検出精度が動きの連続性や正確性に依存しない。従って、素早い動作の手も適切に検出することが可能となる。

また、本実施形態に係る手検出装置１では、評価スコア算出部１４により、色ＩＤごとに、検出領域内の画素数及び当該画素の動き度が累積され、検出領域内の累積画素数及び累積動き度に基づいて当該色ＩＤの評価スコアが算出される。このように動き度の累積値を平均化することにより、色ごとに精度の高い評価スコアを算出することができる。

また、本実施形態に係る手検出装置１では、評価スコア算出部１４により、色ＩＤごとに画素の位置情報が累積され、手検出部１５により、色ＩＤごとの累積画素数及び累積位置情報に基づいて手の位置が特定される。このように位置情報の累積値を平均化することにより、手の位置を精度よく特定することができる。

さらに、本実施形態に係る手検出方法（動体検出方法）及び手検出プログラムによれば、上述した手検出装置１と同様の効果を奏する。

（第２実施形態）
第２実施形態に係る手検出装置（動体検出装置）３は、動体である手を検出する装置であって、第１実施形態に係る手検出装置１の一部を構成要素として含むものである。従って、手検出装置１との相違点を中心に説明し、第１実施形態と重複する説明は省略する。また、本実施形態に係る動体検出装置３は、第１実施形態と同様に動体の種類に限定されるものではない。ここでは、説明理解の容易性を考慮して、動体検出装置が、移動する動物（ウサギ）を検出する場合を例にして説明する。

図１１は、第２実施形態に係る動体検出装置３を備える装置２の機能ブロック図である。図１１に示す装置２は、第１実施形態で説明した内容と同様である。

図１１に示すように、装置２は、カメラ２０、動体検出装置３及び表示部２２を備えている。カメラ２０及び表示部２２は、第１実施形態で説明した内容と同様である。動体検出装置３は、画像入力部１０、動き度取得部１１、色取得部１３、評価スコア算出部１４及び動体検出部（手検出部）１５を備えている。画像入力部１０、色取得部１３及び評価スコア算出部１４の機能は、第１実施形態に係る手検出装置１と同様である。動き度取得部１１及び動体検出部１５の一部機能は、第１実施形態に係る手検出装置１の動き度取得部１１及び手検出部１５と一部相違する。

動き度取得部１１は、カメラ２０全体の動きをキャンセルして、局所的な動きのみを抽出する機能を有している。動き度取得部１１は、例えば、ブロック単位での動き検出を行いつつ、ブロック単位での動き検出の結果から全体の画像の動きを求める。そして、動き度取得部１１は、ブロック単位での動き検出の結果から全体画像の動きを差し引くことで、局所的な動きを算出する。

動体検出部１５は、各画素における色ＩＤと評価スコア算出部１４により出力された評価スコアとに基づいて、画像フレームに含まれる画素それぞれの色に対応した評価スコアを当該画素値とした尤度画像（第１尤度画像）を生成する機能を有している。また、動体検出部１５は、生成された尤度画像に基づいて動体を検出する機能を有している。

次に、本実施形態に係る手検出装置３の動作について説明する。図１２は、本実施形態に係る手検出装置３の動作を説明するフローチャートである。図１２に示す制御処理は、例えば装置２の撮像機能をＯＮしたタイミングで実行され、所定の周期で繰り返し実行される。なお、説明理解の容易性を考慮して、図１２の実行前に手検出装置１は第１画像フレームを入力して記録しているものとして説明する。また、検出される物体は手であるとして説明する。

図１２に示すように、最初に画像入力部１０が画像フレーム（第２画像フレーム）を入力する（Ｓ２００）。Ｓ２００の処理が終了すると、動き度取得処理へ移行する（Ｓ２０２）。

Ｓ２０２の処理では、動き度取得部１１が、第１画像フレーム及び第２画像フレームに基づいて画像フレームの画素の動き度を取得する。動き度取得部１１は、カメラ２０全体の動きをキャンセルして、局所的な動きのみを抽出する。上記の処理を具体的に説明すると以下の通りとなる。まず、動き度取得部１１は、入力された画像フレームと前回入力された画像フレームとを、各特徴点にてブロック単位（例えば２０×１５分割、１６０×１２０画素領域）でマッチングする。動き度取得部１１は、ブロックマッチングを行い、ブロック単位の動きを取得する。動き度取得部１１は、ブロック単位の動きに基づいて、画像フレーム全体の動きを取得する。そして、動き度取得部１１は、ブロック単位の動きから画像フレーム全体の動きを差し引いて、ノイズ等の外乱要素のないブロック単位の動き（局所的な動き）から動き度を取得する。例えば、図１３の（ａ）は、ブロック単位の動きを示し、図１３の（ｂ）は、画像全体の動きを差し引いて局所的な動きを示している。Ｓ２０２の処理が終了すると、画像変換処理へ移行する（Ｓ２０４）

Ｓ２０４では、色取得部１３が、画像フレームに含まれる画素の色を位置情報（座標）と対応づけて取得し、一意の色ＩＤに変換する。例えば、色取得部１３は、第１実施形態と同様に、ＹＵＶの値（２４ｂｉｔ）を１２ｂｉｔに圧縮した色ＩＤを算出する。Ｓ２０４の処理が終了すると、初期処理へ移行する（Ｓ２０６）。

Ｓ２０６では、評価スコア算出部１４が画像フレームに含まれる色ＩＤごとに評価スコアを算出するための初期処理を実行する。評価スコア算出部１４は、最終的な結果を記録するための結果ヒストグラムと、累計演算するための２つの累計用ヒストグラムとを用意する。それぞれのヒストグラムの階級（横軸）は色ＩＤである。評価スコア算出部１４は、用意された３つのヒストグラムの全ての階級の値に０を代入して初期化する。また、尤度画像における動体を示す領域が全体に占める割合を一定に保つために用いるカウンターであるＸ_{ｏｆｆｓｅｔ}を０とする。また、動体検出領域の中心位置ＲＣ_ｘ,ＲＣ_ｙ、幅ＲＳ_ｗ、高さＲＳ_ｈの初期値として、画像の中心位置、画像の幅及び高さを代入する。Ｓ２０６の処理が終了すると、累計処理へ移行する（Ｓ２０８）。

Ｓ２０８では、評価スコア算出部１４が、色ＩＤごとの画素数及び重みを累積する。評価スコア算出部１４は、フレームごとに色ＩＤを階級とする累計用ヒストグラムを２つ計算する。評価スコア算出部１４は、色ＩＤごとの頻度（同一色ＩＤの画素数の累計）を第１の累計用ヒストグラムを用いて度数としてカウントする。また、評価スコア算出部１４は、色ＩＤごとの重みを第２の累計用ヒストグラムを用いて度数としてカウントする。ここで、重みｗは、画素の動き度を反映したものであり、全体画像の動きを除いた画素自体の動き度ｗ_１と、画像フレームにおける物理的な位置関係（画像フレームの中心位置（Ｃ_ｘ,Ｃ_ｙ）、画像フレームの幅Ｓ_ｘ、高さＳ_ｙ等に基づく位置）を基準とした動き度ｗ_２とに基づいて算出される。評価スコア算出部１４は、ある座標（ｘ，ｙ）の画素における動き度を示す重みｗ（ｘ，ｙ）を以下の式４で算出する。
評価スコア算出部１４は、算出された画素の重みｗ（ｘ，ｙ）と画素の色ＩＤとに基づいて、第２の累計用ヒストグラムを用いて色ＩＤごとに重みｗ（ｘ，ｙ）を累積する。この処理は、画素フレームに含まれる全ての画素について実行する。Ｓ２０８の処理が終了すると、結果ヒストグラム更新処理へ移行する（Ｓ２１０）。

Ｓ２１０では、評価スコア算出部１４が、第１の累積用ヒストグラム及び第２の累計用ヒストグラムを用いて、結果ヒストグラムを更新する。第１の累積用ヒストグラムをｈｉｓｔ、第２の累計用ヒストグラムをｗｈｉｓｔとすると、評価スコア算出部１４は、以下の式５を用いて結果ヒストグラムａｈｉｓｔを更新する。
ここで、ｉｄは色ＩＤ（階級の識別番号）であり整数が用いられる。また、ｈｉｓｔ［ｉｄ］、ｗｈｉｓｔ［ｉｄ］及びａｈｉｓｔ［ｉｄ］は、あるｉｄにおけるそれぞれのヒストグラムの度数である。また、τは時定数であり、ここでは一例としてτ＝１／６４が採用される。Ｓ２１０の処理が終了すると、尤度画像生成処理へ移行する（Ｓ２１２）。

Ｓ２１２では、動体検出部１５が、Ｓ２１０の処理で取得された結果ヒストグラムａｈｉｓｔを用いて、尤度画像を生成する。最初に、動体検出部１５は、尤度画像において動体であると検出された領域（動体検出領域）が画像全体に対して占める割合を一定とするために、閾値計算を行う。まず、動体検出部１５は、結果ヒストグラムの度数が大きい順に階級をソートする。次に、１位から所定の順位ｓまでの結果ヒストグラムの度数をオフセットＸ_{ｏｆｆｓｅｔ}として累積する。動体検出部１５は、以下の式６を用いて最終的なオフセットＳＸ_{ｏｆｆｓｅｔ}を算出する。
τは時定数であり、ここでは一例としてτ＝０．６が採用される。次に、手検出部は、以下の式７を用いて各ピクセルの画素値を算出する。
すなわち、式７を用いることで、動き度が反映された重みと表示頻度とに基づいて評価されたスコア（評価スコア）を画素値として尤度画像を生成することができる。また、オフセットＳＸ_{ｏｆｆｓｅｔ}を差し引くことで、後述する被写体位置の収束が容易となる。図１４の（ａ）は、オフセットＳＸ_{ｏｆｆｓｅｔ}を差し引く前の尤度画像であり、図１４の（ｂ）は、オフセットＳＸ_{ｏｆｆｓｅｔ}を差し引いた後の尤度画像である。図１４の（ｂ）の方が、図１４の（ａ）に比べて白黒の明瞭がはっきりと表示される。Ｓ２１２の処理が終了すると、動体位置特定処理へ移行する（Ｓ２１４）。

Ｓ２１４では、動体検出部１５が、Ｓ２１２の処理で生成された尤度画像を用いて動体の位置を特定する。動体検出部１５は、以下の動作を複数回繰り返すことにより動体を示す矩形（動体検出領域）の大きさ及び位置を更新しながら特定する。まず、動体検出部１５は、画像全体に対して以下の式８を用いて重みｐｗを算出する。
ここで、（ｘ，ｙ）はピクセルの位置、ｚ_１は位置（ｘ，ｙ）のピクセルの尤度、ＲＣ_ｘ,ＲＣ_ｙは動体検出領域の中心位置、ＲＳ_ｗは動体検出領域の幅、ＲＳ_ｈは動体検出領域の高さである。

次に、動体検出部１５は、求めた重みｐｗを用いて、尤度画像の所定ピクセルにおける重み付き０次モーメントｍ_００、重み付き１次モーメントｍ_１０，ｍ_０１、重み付き２次モーメントｍ_２０，ｍ_０２を算出して全てのピクセルについて累積する。動体検出部１５は、以下の式９を用いて演算する。
そして、動体検出部１５は、求めたモーメントを用いて動体検出領域の中心位置ＲＣ_ｘ,ＲＣ_ｙ、幅ＲＳ_ｗ、高さＲＳ_ｈを更新する。動体検出部１５は、以下の式１０を用いて演算する。
動体検出部１５は、上記処理を複数回繰り返すことにより動体位置を特定する。Ｓ２１４の処理が終了すると、表示処理へ移行する（Ｓ２１６）。

Ｓ２１６の処理では、表示部２２が、Ｓ２１４で算出された動体検出領域を矩形等で表現し画像フレームに重畳させて表示する。表示例を図１５に示す。図１５では、白で示す矩形領域が複数回表示されてその都度大きさが縮小されて動体付近に収束する画像を示している。なお、収束するにつれて暗い色から順に明るい色にして表示している。なお、Ｓ２０２の処理で動体を検出できていない場合には、表示部２２は、通常の画像フレームを表示する。Ｓ２１６の処理が終了すると、図１２に示す制御処理を終了する。

以上で図１２に示す制御処理を終了する。図１２に示す制御処理を実行することにより、画像フレーム内で他の部分よりも評価スコアの高い部分が動体であると検出される。なお、Ｓ２０２の処理が取得ステップに該当し、Ｓ２０４〜Ｓ２１０の処理が評価スコア算出ステップに該当し、Ｓ２１２及びＳ２１４の処理が動体検出ステップに該当する。

次に、装置（コンピュータ）２を上記動体検出装置３として機能させるための動体検出プログラムを説明する。

動体検出プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像を取得するように装置２を動作させる。演算処理モジュールは、動き度取得モジュール、色取得モジュール、評価スコア算出モジュール及び動体検出モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した手検出装置１の画像入力部１０、動き度取得部１１、色取得部１３、評価スコア算出部１４及び手検出部１５の機能とそれぞれ同様である。

動体検出プログラムは、例えば、ＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、動体検出プログラムは、データ信号としてネットワークを介して提供されてもよい。

以上、本実施形態に係る動体検出装置３では、動き度取得部１１により、画像フレーム間の画素の動き度が取得され、色取得部１３により、画像フレームに含まれる画素の色が取得され、評価スコア算出部１４により、動き度に基づいて色の動き度合いを示す評価スコアが色ごとに算出され、手検出部１５により、色ごとの評価スコアに基づいて動体が検出される。このように、色の動き度合いを評価することによって、動体が検出される。このため、事前に動体又は背景に関する情報を設定することなく動体を検出することができる。すなわち、背景色もしくは動体の色として特定色を予め設定する必要がないので、色分布に柔軟に対応することが可能であるとともに、照明が変更されたり、場所が変更されたり、服装が変更された場合であっても、動体を検出することができる。このため、環境変化に対し動体の検出を強く安定して行うことが可能となる。また、従来の装置のように、事前に動体の色を設定して手を検出する場合には、背景と動体との差の色がある程度大きい必要がある。これに対して、本実施形態に係る動体検出装置３では、ヒストグラムの区間（階級）が異なれば背景と動体との差の色が小さい場合であっても原理上検出することが可能である。また、動体と背景とを分離することなく、色情報で動作する動体を検出することが可能となるので、背景分離のために閾値を設定する等の処理を不要とすることができる。また、色情報及び動き度合いによって動体を検出するため、検出精度が動きの連続性や正確性に依存しない。従って、素早い動作の動体も適切に検出することが可能となる。さらに、対象物がフレームから外れたとしても、注目する色情報を一定時間記憶しておけば、再度対象物がフレームに入ってきたときにその動きを追跡することができる。

また、本実施形態に係る手検出装置３では、ブロック単位の動きに基づいて画像フレーム全体の動きが算出され、画像フレームに含まれる画素の動きから画像フレーム全体の動きが差し引かれ、各画素における動き度が算出される。このように構成することで、全体の動きとの差分から、局所的な動きを取得することができる。

さらに、本実施形態に係る動体検出方法及び動体検出プログラムによれば、上述した手検出装置３と同様の効果を奏する。

（第３実施形態）
第３実施形態に係る手追跡装置（動体追跡装置）３は、動体である手を追跡する装置であって、第１実施形態に係る手検出装置１又は第２実施形態に係る動体検出装置３を構成要素として含むものである。従って、手検出装置１及び動体検出装置３との相違点を中心に説明し、第１実施形態及び第２実施形態と重複する説明は省略する。また、本実施形態に係る手追跡装置４は、第１実施形態と同様に動体の種類に限定されるものではない。ここでは、説明理解の容易性を考慮して、動体追跡装置が、動作する手を追跡する場合を例にして説明する。

図１６は、第３実施形態に係る手追跡装置４を備える装置２の機能ブロック図である。図１６に示す装置２は、第１実施形態で説明した内容と同様である。

図１６に示すように、装置２は、カメラ２０、手追跡装置４、顔検出部２１及び表示部２２を備えている。カメラ２０、顔検出部２１及び表示部２２は、第１実施形態で説明した内容と同様である。手追跡装置４は、画像入力部１０、動き度取得部１１、検出領域設定部１２、色取得部１３、評価スコア算出部１４、手検出部１５、尤度算出部（動体追跡部）１６及び手追跡部（動体追跡部）１７を備えている。すなわち、手追跡装置４は、第１実施形態に係る手検出装置１に尤度算出部１６及び手追跡部１７を追加して構成されるものである。なお、評価スコア算出部１４の一部機能は、第１実施形態に係る手検出装置１の評価スコア算出部１４と一部相違する。

評価スコア算出部１４は、色ＩＤごとに動いている画素数及び動いていない画素数をカウントする機能を有している。例えば、評価スコア算出部１４は、動き度が所定値以上である画素を動いている画素とし、動き度が所定値以上でない画素を動いていない画素とする。評価スコア算出部１４は、例えば、動いている画素数を前景度、動いていない画素数を背景度としてカウントする。なお、評価スコア算出部１４は、図６のＳ６６の処理時においてカウントを実行する。

尤度算出部１６は、手検出部１５により特定された手の色との色の類似度に基づいて色ＩＤごとに尤度を算出する機能を有している。尤度は、追跡対象色らしさを示す度合いである。類似度は、例えば対象画素の色ＩＤが手の色ＩＤに近づくほど大きく算出される。このため、尤度算出部１６は、類似度が大きい色ほど尤度を大きく算出する。また、評価スコアが大きい色ほど動きのある色である。このため、尤度算出部１６は、評価スコアが大きい色ほど尤度を大きく算出する。そして、尤度算出部１６は、評価スコア算出部１４の出力結果を参照し、前景画素数が背景画素数より小さい色については、背景画素である可能性が高いため、尤度を小さくする機能を有している。あるいは、尤度算出部１６は、前景画素数が背景画素数より小さい色については尤度を０にしてもよい。尤度算出部１６は、色ＩＤごとの尤度を手追跡部１７へ出力する機能を有している。

手追跡部１７は、尤度算出部１６により出力された色ＩＤごとの尤度及び画像フレームに基づいて、画素の尤度を画素値とする尤度画像（第２尤度画像）を作成して手を追跡する機能を有している。また、手追跡部１７は、前回の手の位置を基準とした画素の相対位置ベクトルと画素の動きベクトルとの内積が負となる場合には、手である可能性が極めて低いため、当該画素における尤度を小さくする機能を有している。あるいは、手追跡部１７は、当該画素における尤度を０にしてもよい。さらに、手追跡部１７は、尤度画像より小さい領域を追跡矩形とし、尤度画像の追跡矩形内における画素値の分布の重心が、追跡矩形の中心となるように移動させることで手を追跡する機能を有している。さらに手追跡部１７は、前回入力された画像フレームの尤度画像及び追跡矩形に基づいて背景尤度画像を作成し、画像フレームの尤度画像と背景尤度画像との差分画像を用いて手を追跡する機能を有している。背景尤度画像は、背景である可能性を示す画像である。また、手追跡部１７は、背景尤度画像を生成するために、ワーク用の背景尤度更新用画像を生成する機能を有している。

手追跡装置４のその他の構成は、第１実施形態に係る手検出装置１と同様に構成される。

次に、本実施形態に係る手追跡装置４の動作について説明する。図１７は、本実施形態に係る手追跡装置４の動作を示すフローチャートである。図１７に示す制御処理は、例えば手検出装置１の動作が終了したタイミングで実行され、所定の周期で繰り返し実行される。すなわち、処理開始時において、動体の色ＩＤが特定されているものとする。

図１７に示すように、最初に尤度算出部１６が追跡初期化処理を実行する（Ｓ９０）。尤度算出部１６は、色ＩＤごとに尤度を計算する。この処理については後述する。Ｓ９０の処理が終了すると、画像フレーム入力処理へ移行する（Ｓ９２）。

Ｓ９２の処理では、画像入力部１０が新たな画像フレームを入力する。Ｓ９２の処理が終了すると、対象画素選択処理へ移行する（Ｓ９４）。

Ｓ９４の処理では、尤度算出部１６が、Ｓ９２の処理で入力された画像フレーム内から尤度を計算する対象となる画素を選択する。Ｓ９４の処理が終了すると、画素単位の尤度計算処理へ移行する（Ｓ９６）。

Ｓ９６の処理では、尤度算出部１６が、Ｓ９４の処理で選択された画素について、尤度を算出する。この処理の詳細については後述する。Ｓ９６の処理が終了すると、全画素終了判定処理へ移行する（Ｓ９８）。

Ｓ９８の処理では、尤度算出部１６が、Ｓ９２の処理で入力された画像フレーム内の全画素の尤度を算出したか否かを判定する。Ｓ９８の処理において、全ての画素について尤度を算出していないと判定した場合には、Ｓ９４の処理へ再度移行する。尤度算出部１６は、Ｓ９４の処理で新たな画素を再度選択し、Ｓ９６の処理で画素単位の尤度を算出する。このように、画像フレーム内の全ての画素の尤度が算出されるまで、Ｓ９４〜Ｓ９８の処理を繰り返し実行する。一方、Ｓ９８の処理において、画像フレーム内の全画素の尤度を算出したと判定した場合には、追跡処理へ移行する（Ｓ１００）。

Ｓ１００の処理では、手追跡部１７が、Ｓ９８の処理で算出された画素の尤度に基づいて尤度画像を生成し、尤度画像に基づいて動く手を検出する。この処理については後述する。Ｓ１００の処理が終了すると、背景尤度算出処理へ移行する（Ｓ１０２）

Ｓ１０２の処理では、手追跡部１７が、Ｓ１００の処理で算出された尤度画像に基づいて背景らしさを示す背景尤度を算出する。この処理については後述する。Ｓ１０２の処理が終了すると、軌跡記録処理へ移行する（Ｓ１０４）。

Ｓ１０４の処理では、手追跡部１７が、Ｓ１００の処理での追跡結果を軌跡として記録する処理である。Ｓ１０４の処理が終了すると、表示処理へ移行する（Ｓ１０６）。

Ｓ１０６の処理では、表示部２２が手の軌跡を画像フレームに重畳させて表示する。Ｓ１０６の処理が終了すると終了判定処理へ移行する（Ｓ１０８）。

Ｓ１０８の処理では、手追跡部１７が画像フレームの入力を終了したか否かを判定する。Ｓ１０８の処理において、新たな画像フレームの入力があると判定した場合には、Ｓ９２の処理へ移行する。これにより、画像フレームの入力が終了するまで、Ｓ９２〜Ｓ１０８の処理を繰り返し実行する。一方、Ｓ１０８の処理において、新たな画像フレームの入力がないと判定した場合には、図１７に示す制御処理を終了する。

以上で、図１７に示す制御処理を終了する。図１７に示すように、本実施形態に係る手追跡装置４は、第１実施形態に係る手検出装置１によって検出された手の色を基準として、入力画像フレームに描画された手を追跡する。なお、Ｓ９６の処理が尤度算出ステップに該当し、Ｓ１００の処理が動体追跡ステップに該当する。

次に、図１７中の各処理について詳細を説明する。最初に、図１８を用いて追跡初期化処理（Ｓ９０）の詳細を説明する。図１８は、本実施形態に係る手追跡装置４の追跡初期化動作を示すフローチャートである。なお、説明理解の容易性を考慮して、図１９を参照しつつ追跡初期化動作を説明する。図１９は色ＩＤに対する度数を示す追跡用の尤度ヒストグラムの一例であり、（Ａ）は色類似の尤度、（Ｂ）は検出時の評価スコア、（Ｃ）は前景度及び背景度、（Ｄ）は最終的な尤度を示す。

図１８に示すように、最初に、尤度算出部１６が、背景尤度画像を０で初期化する（Ｓ１１０）。背景尤度画像は、後述する追跡処理で用いられる画像である。Ｓ１１０の処理が終了すると、階級選択処理へ移行する（Ｓ１１２）。

Ｓ１１２の処理では、尤度算出部１６が色ＩＤのヒストグラムから一つの階級を選択する。この処理の詳細を、図１９を用いて説明する。図１９では、第１実施形態の手検出装置１が用いたヒストグラムと同様に、横軸が色ＩＤのヒストグラムである。なお、ここでは一例として、色ＩＤを１０個（すなわち１０個の階級）としている。尤度算出部１６は、１０個の色ＩＤから一つの色ＩＤを選択する。Ｓ１１２の処理が終了すると、背景可能性判定処理へ移行する（Ｓ１１４）。

Ｓ１１４の処理では、尤度算出部１６が、評価スコア算出部１４によってカウントされた前景度及び背景度を参照し、Ｓ１１２の処理で選択された色ＩＤの前景度が背景度よりも大きいか否かを判定する。例えば、手検出時において、評価スコア算出部１４が図１９の（Ｃ）に示すように前景度及び背景度をカウントしているものとする。この場合、尤度算出部１６は、例えば、選択された色ＩＤが図１９に示す色ＩＤ４０００の場合には、前景度が背景度よりも大きいと判定する。Ｓ１１４の処理において、前景度が背景度よりも大きいと判定した場合には、当該色ＩＤは背景である可能性が低いので、類似度算出処理へ移行する（Ｓ１１６）。

Ｓ１１６の処理では、尤度算出部１６が、Ｓ１１２の処理で選択された色ＩＤが、手の色（代表色）と視覚的にどの程度似ているかを類似度として算出する。例えば、図１９に示すように手の色が色ＩＤ３５３４であり、当該色が追跡対象色であるとする。この場合、図１９の（Ａ）に示すように、尤度算出部１６は、追跡対象色の色ＩＤをピークとし、追跡対象色の色ＩＤから離れるほど小さくなるように類似度を算出する。図１９の（Ａ）では、便宜上全ての色ＩＤの類似度を表示しているが、Ｓ１１６の処理では、Ｓ１１２の処理で選択された色ＩＤの類似度のみが算出される。Ｓ１１６の処理が終了すると、評価スコア取得処理へ移行する（Ｓ１１８）。

Ｓ１１８の処理では、尤度算出部１６が、手の色の検出時における評価スコアを取得する。例えば、尤度算出部１６は、評価スコア算出部１４により出力された評価スコアを参照する。これにより、例えば、図１９の（Ｂ）に示すように、手検出時の評価スコアを取得することができる。なお、図１９の（Ｂ）では、便宜上全ての色ＩＤの評価スコアを表示しているが、Ｓ１１８の処理では、Ｓ１１２の処理で選択された色ＩＤの評価スコアのみが取得される。Ｓ１１８の処理が終了すると、最終尤度設定処理へ移行する（Ｓ１２０）。

Ｓ１２０の処理では、尤度算出部１６が、Ｓ１１６の処理で算出した類似度、及びＳ１１８の処理で取得した評価スコアに基づいて、当該色ＩＤの最終的な尤度を決定する。例えば、尤度算出部１６は、類似度と評価スコアとの加重平均値を当該色ＩＤの最終的な尤度とする。これにより、例えば、図１９の（Ｄ）に示すように、最終的な尤度を取得することができる。なお、図１９の（Ｄ）では、便宜上全ての色ＩＤの最終的な尤度を表示しているが、Ｓ１２０の処理では、Ｓ１１２の処理で選択された色ＩＤの評価スコアのみが取得される。Ｓ１２０の処理が終了すると、最終階級確認処理へ移行する（Ｓ１２２）。

一方、Ｓ１１４の場合には、尤度算出部１６は、例えば選択された色ＩＤが図１９に示す色ＩＤ３４３４の場合には、前景度が背景度よりも大きくないと判定する。この場合、当該色ＩＤは背景である可能性が高い。よって、背景処理へ移行する（Ｓ１２４）。Ｓ１２４の処理では、尤度算出部１６が、当該色ＩＤのヒストグラムについては尤度を０に設定する。例えば、図１９の（Ｄ）に示すように、色ＩＤ３４３４の最終的な尤度を０とする。Ｓ１２４の処理が終了すると、最終階級確認処理へ移行する（Ｓ１２２）。

Ｓ１２２の処理では、尤度算出部１６が、全ての階級について尤度の算出を行ったか否かを判定する。Ｓ１２２の処理において、全ての階級の計算が終了していないと判定した場合には、Ｓ１１２の処理へ移行する。これにより、全ての階級について尤度の演算が終了するまで、Ｓ１１２〜Ｓ１２４の処理を繰り返し実行する。一方、Ｓ１２２の処理において、全ての階級の計算が終了したと判定した場合には、図１８に示す制御処理を終了する。

以上で図１８に示す制御処理を終了する。図１８に示す制御処理を実行することにより、追跡用のヒストグラム（例えば図１９の（Ｄ））が生成される。

次に、図１７中の画素単位の尤度計算処理（Ｓ９６）について詳細を説明する。図２０は、本実施形態に係る手追跡装置４の尤度計算動作を示すフローチャートである。なお、説明理解の容易性を考慮して、図２１，１７を参照しつつ尤度計算動作を説明する。図２１は、動体追跡中における、オプティカルフローを用いた尤度計算を説明する概要図である。図２２は、尤度画像の一例である。

図２０に示すように、手追跡部１７は、入力画像フレームにおける対象画素の情報を取得する（Ｓ１３０）。手追跡部１７は、対象画素の座標（ｘ，ｙ）、対象画素の動き量（ｄｘ，ｄｙ）、対象画素の動きベクトル（オプティカルフロー）、前回の手の中心位置（Ｃ_ｘ，Ｃ_ｙ）及び色ＩＤを取得する。さらに、手追跡部１７は、対象画素の高さ方向の位置を評価する。ジェスチャーをする手は手首又は腕より上側にある可能性が高いため、ｙ座標を用いて手である尤度を重み付けすることができる。例えば、入力画像フレームのｙ方向の高さをＩ_Ｈとし、評価値をｙｗとすると、手追跡部１７は、以下の式１１を用いて対象画素の高さ方向の位置を評価する。
評価値ｙｗは、ｙ座標が小さい方が高くなる。Ｓ１３０の処理が終了すると、相対位置ベクトル算出処理へ移行する（Ｓ１３２）。

Ｓ１３２の処理では、手追跡部１７が、前回の手の中心位置から対象画素の位置までの相対位置ベクトルを算出する。手追跡部１７は、Ｓ１３０の処理で取得した中心位置（Ｃ_ｘ，Ｃ_ｙ）と、対象画素の座標（ｘ，ｙ）とに基づいて相対位置ベクトルを算出する。Ｓ１３２の処理が終了すると、内積判定処理へ移行する（Ｓ１３４）。

Ｓ１３４の処理では、手追跡部１７が、Ｓ１３２の処理で算出された相対位置ベクトルとＳ１３０の処理で取得した動きベクトル（オプティカルフロー）との内積を算出する。この処理について図２１を用いて詳細を説明する。図２１では、前回の手の中心位置（Ｃ_ｘ，Ｃ_ｙ）、対象画素の座標（ｘ_１，ｙ_１）を示している。そして、図中の矢印はオプティカルフローである。領域Ｅ_１，Ｅ_３，Ｅ_４では、オプティカルフローが検出され、領域Ｅ_２にはオプティカルフローが検出されていないものとする。基本的にオプティカルフローが検出された領域は動きを検出しているので尤度を加算する。また、前回の手の中心位置（Ｃ_ｘ，Ｃ_ｙ）を基準とした対象画素の相対位置ベクトルの方向がオプティカルフローの方向と逆方向となる場合には、当該画素は動作する手を表示している可能性が低い。例えば、図中に示すように、対象画素の座標（ｘ_１，ｙ_１）が領域Ｅ_４に存在する場合、前回の手の中心位置（Ｃ_ｘ，Ｃ_ｙ）を基準とした対象画素の相対位置ベクトルの方向はオプティカルフローの方向と矛盾していない。また、領域Ｅ_１に存在する別の画素の場合も同様である。さらに、領域Ｅ_２に存在する別の画素の場合も、オプティカルフローが検出されていないが動作する手を表示している可能性はあるといえる。しかしながら、領域Ｅ_３に存在する別の画素の場合には、相対位置ベクトルの方向がオプティカルフローの方向と逆方向となっている。この場合、当該画素は動作する手を表示している可能性が低い。すなわち、相対位置ベクトルとオプティカルフローとの内積を用いて動作する手であるか否かを判定できる。Ｓ１３４の処理の処理において、内積が負であると判定した場合には、尤度変更処理へ移行する（Ｓ１５０）。

Ｓ１５０の処理では、手追跡部１７が当該画素の尤度を０に設定する。Ｓ１５０の処理が終了すると、背景尤度更新処理へ移行する（Ｓ１４２）。

一方、Ｓ１３４の処理の処理において、内積が負でないと判定した場合には、尤度算出処理へ移行する（Ｓ１３６）。Ｓ１３６の処理では、手追跡部１７が、図１８に示す制御処理を実行することにより作成された追跡用の尤度ヒストグラムを用いて、対象画素の尤度を算出する。例えば、図１９の（Ｄ）に示すヒストグラムを参照して、対象画素の色ＩＤに基づいて尤度を特定する。Ｓ１３６の処理が終了すると、重み計算処理へ移行する（Ｓ１３８）。

Ｓ１３８の処理では、手追跡部１７が、動きの重みを計算する。手追跡部１７は、Ｓ１３０の処理で取得された動き量（ｄｘ，ｄｙ）を用いて、動きの重みｍｗを例えば以下の式１２を用いて算出する。
Ｓ１３８の処理が終了すると、尤度決定処理へ移行する（Ｓ１４０）。

Ｓ１４０の処理では、手追跡部１７が、Ｓ１３６で算出された尤度、Ｓ１３０の処理で算出された評価値ｙｗ、及びＳ１３８の処理で算出された動きの重みｍｗを用いて、最終的な尤度を決定する。Ｓ１３６で算出された尤度をｗとすると、手追跡部１７は、例えば以下の式１３を用いて最終的な尤度Ｐを決定する。
Ｓ１４０の処理が終了すると、背景尤度更新処理へ移行する（Ｓ１４２）。

Ｓ１４２の処理では、手追跡部１７が、背景尤度の更新用の画像にＳ１４０又はＳ１５０の処理で決定された尤度を代入する。背景尤度の更新用の画像とは、今回の画像フレームにおける背景尤度の画像を、前回の背景尤度の画像から得るために必要な画像である。背景尤度画像の詳細は後述する。手追跡部１７は、例えば尤度を画素値として背景尤度の更新用の画像に代入する。Ｓ１４２の処理が終了すると、背景尤度取得処理へ移行する（Ｓ１４４）。

Ｓ１４４の処理では、手追跡部１７が、対象画素に対応する前回の画像フレームの背景尤度を取得する処理である。例えば、後述する背景尤度画像を用いて取得することができる。Ｓ１４４の処理が終了すると、背景尤度減算処理へ移行する（Ｓ１４６）。

Ｓ１４６の処理では、手追跡部１７が、Ｓ１４０の処理で決定された尤度ＰからＳ１４４の処理で取得された背景尤度を減算する。Ｓ１４６の処理が終了すると、尤度画像作成処理へ移行する（Ｓ１４８）。

Ｓ１４８の処理では、手追跡部１７が、追跡用の尤度画像にＳ１４６の処理で算出された尤度を代入する。Ｓ１４８の処理が終了すると、図２０に示す制御処理を終了する。

以上で図２０に示す制御処理を終了する。図２０に示す制御処理を全ての画素において実行することにより、尤度を画素値とする尤度画像を作成することができる。尤度画像の一例を図２２に示す。図２２では、白い部分が動いている領域（尤度の高い領域）であり、黒い部分が静止している領域（尤度の低い領域）である。

次に、図１７中の追跡処理（Ｓ１００）について詳細を説明する。図２３は、本実施形態に係る手追跡装置４の追跡動作を示すフローチャートである。なお、説明理解の容易性を考慮して、図２４を参照しつつ追跡動作を説明する。図２４は、追跡動作を説明する概要図である。

図２３に示すように、手追跡部１７は、前回の画像フレームにおける追跡対象領域の情報（位置情報等）を初期値として取得する（Ｓ１６０）。追跡対象領域は、画像フレーム及び尤度画像よりも小さい領域であって、図２２に示す尤度の高い領域を包含するような大きさに設定されている。Ｓ１６０の処理が終了すると、初期値設定処理へ移行する（Ｓ１６２）。

Ｓ１６２の処理では、手追跡部１７が、中心座標を演算するためのパラメータ（ｍｘ，ｍｙ）を（０，０）に初期化する。また、累積尤度ｍを０に初期化する。Ｓ１６２の処理が終了すると、画素選択処理へ移行する（Ｓ１６４）。

Ｓ１６４の処理では、手追跡部１７が、図２０に示す制御処理で作成された尤度画像において、追跡対象領域に対応する全ての画素から処理対象の画素を１つ選択する。Ｓ１６４の処理が終了すると、尤度取得処理へ移行する（Ｓ１６６）。

Ｓ１６６の処理では、手追跡部１７が、Ｓ１６４の処理で選択された画素の尤度ｗを図２０に示す制御処理で作成された尤度画像から取得する。Ｓ１６６の処理が終了すると、位置情報取得処理へ移行する（Ｓ１６８）。

Ｓ１６８の処理では、手追跡部１７が、Ｓ１６４の処理で選択された画素の位置情報（座標情報（ｘ，ｙ））を取得する。Ｓ１６８の処理が終了すると、累積処理へ移行する（Ｓ１７０）。

Ｓ１７０の処理では、手追跡部１７が、Ｓ１６６の処理で取得された尤度ｗ及びＳ１６８の処理で取得された位置情報（ｘ，ｙ）に基づいて、累積位置情報（ｍｘ，ｍｙ）及び累積尤度ｍを更新する。手追跡部１７は、例えば、尤度ｗを累積尤度ｍに加算する。このとき、手追跡部１７は、画素の位置情報と追跡矩形の中心座標との距離に応じて尤度に重み付けを行い、重み付けをした尤度を累積尤度ｍに加算してもよい。例えば、追跡矩形の中心座標を１とするガウス分布を用意し、中心座標との距離に応じたガウス分布の値を尤度に乗算してもよい。また、位置情報（ｘ，ｙ）に尤度ｗを乗算した値（ｗ・ｘ，ｗ・ｙ）を累積位置情報（ｍｘ，ｍｙ）に加算する。Ｓ１７０の処理が終了すると、終了判定処理へ移行する（Ｓ１７２）。

Ｓ１７２の処理では、手追跡部１７が、追跡対象領域に含まれる全ピクセルについて処理が終了したか否かを判定する。Ｓ１７２の処理において、全ピクセルについて処理が終了していないと判定した場合には、Ｓ１６４の処理へ再度移行する。これにより、追跡対象領域に含まれる全ピクセルについて処理が終了するまで、Ｓ１６４〜Ｓ１７２の処理が繰り返し実行される。一方、Ｓ１７２の処理において、全ピクセルについて処理が終了したと判定した場合には、重心算出処理へ移行する（Ｓ１７４）。

Ｓ１７４の処理では、手追跡部１７が、累積位置情報（ｍｘ，ｍｙ）及び累積尤度ｍに基づいて画素値の分布の重心（すなわち動体である手の中心位置（Ｃ_ｘ，Ｃ_ｙ））を推定する。例えば、手追跡部１７は以下の式１４を用いて中心位置（Ｃ_ｘ，Ｃ_ｙ）を推定する。
Ｓ１７４の処理が終了すると、追跡対象領域の中心変更処理へ移行する（Ｓ１７６）。

Ｓ１７６の処理では、手追跡部１７が、追跡対象領域の中心をＳ１７４の処理で算出した（Ｃ_ｘ，Ｃ_ｙ）に設定する。Ｓ１７４の処理が終了すると、変更判定処理へ移行する（Ｓ１７８）。

Ｓ１７８の処理では、手追跡部１７が、追跡対象領域の中心が前回の中心と同じであるか否かを判定する。Ｓ１７８の処理において、追跡対象領域の中心が前回の中心と同じでないと判定した場合には、Ｓ１６２の処理へ再度移行する。これにより、追跡矩形内の画素値の重心が矩形中心に収束するまでＳ１６２〜Ｓ１７８の処理を繰り返し実行する。この繰り返し処理を実行することにより、例えば、図２４に示す追跡矩形Ｚ_１（中心Ｃ_１）を、追跡矩形Ｚ_２（中心Ｃ_２）、追跡矩形Ｚ_３（中心Ｃ_３）及び追跡矩形Ｚ_４（中心Ｃ_４）と矢印で示すように左上へシフトさせて動体である手の位置を追跡することができる。一方、Ｓ１７８の処理において、追跡対象領域の中心が前回の中心と同じであると判定した場合には、図２３に示す制御処理を終了する。

以上で図２３に示す制御処理を終了する。図２３に示す制御処理を実行することにより、尤度画像及び追跡矩形を用いて動体である手を追跡することができる。

次に、図１７中の背景尤度の算出処理（Ｓ１０２）について詳細を説明する。図２５は、本実施形態に係る手追跡装置４の背景尤度の算出動作を示すフローチャートである。なお、説明理解の容易性を考慮して、図２６を参照しつつ背景尤度の算出動作を説明する。図２６は、背景尤度の算出動作を説明する概要図である。

図２５に示すように、手追跡部１７は、前回の画像フレームにおける追跡対象領域の情報（位置情報等）を初期値として取得する（Ｓ１８０）。この処理は図２３のＳ１６０の処理と同様である。Ｓ１８０の処理が終了すると、領域拡張処理へ移行する（Ｓ１８２）。

Ｓ１８２の処理では、手追跡部１７が、Ｓ１８０の処理で取得された追跡対象領域を拡張する。例えば、手追跡部１７は、Ｓ１８０の処理で取得された追跡対象領域の中心位置を変更せずに大きさのみを２倍にする。Ｓ１８２の処理が終了すると、画素選択処理へ移行する（Ｓ１８４）。

Ｓ１８４の処理では、手追跡部１７が、背景尤度画像の全ての画素から処理対象となる画素を１つ選択する。Ｓ１８４の処理が終了すると、位置判定処理へ移行する（Ｓ１８６）。

Ｓ１８６の処理では、手追跡部１７が、Ｓ１８４の処理で選択された画素の位置がＳ１８２の処理で拡張された追跡対象領域内であるか否かを判定する。Ｓ１８６の処理において、選択された画素が追跡対象領域内でないと判定された場合には、画素値取得処理へ移行する（Ｓ１８８）。

Ｓ１８８の処理では、手追跡部１７が、図２０のＳ１４２の処理で作成した背景尤度更新用画像を参照し、Ｓ１８４の処理で選択された画素位置に対応する画素値を背景尤度更新用画像から取得する。Ｓ１８８の処理が終了すると、画素値設定処理へ移行する（Ｓ１９０）。

Ｓ１９０の処理では、手追跡部１７が、Ｓ１８４の処理で選択された画素の画素値とＳ１８８の処理で取得された画素値に基づいて背景尤度画像の画素値を設定する。Ｓ１８４の処理で選択された画素の画素値をＧ_１、Ｓ１８８の処理で取得された画素値Ｇ_２とすると、手追跡部１７は、加重平均を求めることで最終的な画素値Ｇ_Ｆを設定する。具体的には、以下の式１５を用いて算出する。
Ｓ１９０の処理が終了すると、終了判定処理へ移行する（Ｓ１９２）。

一方、Ｓ１８６の処理において、選択された画素が追跡対象領域内であると判定された場合には、終了判定処理へ移行する（Ｓ１９２）。

Ｓ１９２の処理では、手追跡部１７が、背景尤度画像内の全ての画素について処理を終了したか否かを判定する。Ｓ１９２の処理において、全ての画素について処理を終了していないと判定した場合には、Ｓ１８４の処理へ再度移行する。これにより、背景尤度画像の全ての画素について処理が完了するまで、Ｓ１８４〜Ｓ１９２の処理を繰り返し実行する。これにより、背景尤度画像が生成される。例えば、図２６の（Ａ）に示すように、前回の画像フレームの尤度画像において追跡矩形Ｚ_５が設定されているとする。Ｓ１８４〜Ｓ１９２の処理を繰り返し実行することで、図２６の（Ｂ）に示す背景尤度画像が生成される。図２６の（Ｂ）に示すように、背景尤度画像には、追跡矩形Ｚ_５の位置に対応し、かつ、追跡矩形Ｚ_５の２倍の大きさとなる領域が黒領域Ｙ_１（すなわち背景である可能性が低い領域）として設定される。一方、Ｓ１９２の処理において、全ての画素について処理を終了したと判定した場合には、図２５に示す制御処理を終了する。

以上で図２５に示す制御処理を終了する。図２５に示す制御処理を実行することにより、背景尤度画像が生成される。これにより、図２０のＳ１４６の処理で説明した通り、背景尤度画像を用いて動体の検出を一層適切に行うことができる。今回の画像フレームの尤度画像を図２６の（Ｃ）とし、背景尤度画像を図２６の（Ｂ）とすると、図２０のＳ１４６の処理によって、図２６の（Ｄ）に示す背景を考慮した尤度画像（差分画像）を生成することが可能となる。差分画像を用いることで、動体である手に類似する色が背景として存在する場合であっても、背景の色を追跡することなく的確に手を追跡することができる。

次に、装置（コンピュータ）２を上記手追跡装置４として機能させるための手追跡プログラム（動体追跡プログラム）を説明する。

手追跡プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像を取得するように装置２を動作させる。演算処理モジュールは、動き度取得モジュール、検出領域設定モジュール、色取得モジュール、評価スコア算出モジュール、動体検出モジュール、尤度算出モジュール及び動体追跡モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した手追跡装置４の画像入力部１０、動き度取得部１１、検出領域設定部１２、色取得部１３、評価スコア算出部１４、手検出部１５、尤度算出部１６及び手追跡部１７の機能とそれぞれ同様である。

手追跡プログラムは、例えば、ＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、手追跡プログラムは、データ信号としてネットワークを介して提供されてもよい。

以上、第３実施形態に係る手追跡装置４によれば、動き度取得部１１により、画像フレーム間の画素の動き度が取得され、色取得部１３により、画像フレームに含まれる画素の色が取得され、評価スコア算出部１４により、動き度に基づいて色の動き度合いを示す評価スコアが色ごとに算出され、手検出部１５により、色ごとの評価スコアに基づいて手の色が特定され、尤度算出部１６により、特定された手の色との色の類似度に基づいて色ごとに尤度が算出され、手追跡部１７により、色ごとの尤度及び画像フレームに基づいて画素の尤度を画素値とする尤度画像が作成されて手が追跡される。このように、色の動き度合いを評価することによって手が検出される。そして、検出された手の色に基づいて手が追跡される。このため、第１実施形態と同様に、事前に手又は背景に関する情報を設定することなく手を検出し、追跡することができる。すなわち、背景色もしくは手の色として特定色を予め設定する必要がないので、色分布に柔軟に対応することが可能であるとともに、照明が変更されたり、場所が変更されたり、服装が変更された場合であっても、常に手の代表色を検出することができる。例えば手袋をしている手を検出して追跡することも可能である。このため、環境変化に対し手の検出を強く安定して行うことが可能となる。また、手以外に同様の色彩を持った静止物体が同じフレームに存在するとしても、同様の色彩以外で手に使用されている色を代表色とすることができるので動作する手を的確に検出することができる。また、従来の装置のように、事前に手の色を設定して手を検出する場合には、背景と手との差の色がある程度大きい必要がある。これに対して、本実施形態に係る手検出装置１では、ヒストグラムの区間（階級）が異なれば背景と手との差の色が小さい場合であっても原理上検出して追跡することが可能である。また、手と背景とを分離することなく、色情報で動作する手を検出して追跡することが可能となるので、背景分離のために閾値を設定する等の処理を不要とすることができる。また、色情報及び動き度合いによって手を検出して追跡するため、検出精度が動きの連続性や正確性に依存しない。従って、素早い動作の手も適切に検出し追跡することが可能となる。

また、第３実施形態に係る手追跡装置４によれば、第１実施形態に係る手検出装置１により検出された動体の色又は第２実施形態に係る物体検出装置３により検出された領域内の色に基づいて動体を追跡することができる。

また、第３実施形態に係る手追跡装置４によれば、評価スコア算出部１４により、色ごとに、動き度が所定値以上である画素数を累積した前景画素数、及び、動き度が所定値以上でない画素数を累積した背景画素数が算出され、尤度算出部１６により、前景画素数が背景画素数より小さい色については尤度が小さくされる。このため、手の色に近い色で動きの少ない背景等を手として追跡することを回避することができる。

また、第３実施形態に係る手追跡装置４によれば、前回の手の位置を基準とした画素の相対位置ベクトルと画素の動きベクトルとの内積が負となる場合には、手追跡部１７により当該画素における尤度が小さくされる。このため、手の色に近い色で動きの異なる背景等を手として追跡することを回避することができる。

また、第３実施形態に係る手追跡装置４によれば、手追跡部１７により、尤度画像の追跡矩形内における画素値の分布の重心が、追跡矩形の中心となるように追跡矩形を移動させることで手が追跡される。このため、簡易な構成で手を適切に追跡することができる。

また、第３実施形態に係る手追跡装置４によれば、手追跡部１７により、前回入力された画像フレームの尤度画像及び追跡矩形に基づいて背景尤度画像が作成され、画像フレームの尤度画像と背景尤度画像との差分画像を用いて手が追跡される。このため、手の色に近い色の背景等を手として追跡することを回避することができる。

さらに、本実施形態に係る手追跡方法（動体追跡方法）及び手追跡プログラムによれば、上述した手追跡装置４と同様の効果を奏する。

なお、上述した実施形態は本発明に係る動体検出装置及び動体追跡装置、それらの方法及びプログラムの一例を示すものであり、実施形態に係る装置、方法及びプログラムに限られるものではなく、変形し、又は他のものに適用したものであってもよい。

例えば、上述した実施形態では、カメラ２０から画像入力部１０が画像を入力する例を説明したが、別の機器からネットワークを介して送信された画像であってもよい。

また、上述した各実施形態では、手検出装置１が検出領域設定部１２を備える例を説明したが、検出領域設定部１２は必要に応じて備えればよい。

１…動体検出装置、３…手追跡装置、１０…画像入力部、１１…動き度取得部、１２…検出領域設定部、１３…色取得部、１４…評価スコア算出部、１５…手検出部（動体検出部）、１６…尤度算出部（動体追跡部）、１７…手追跡部（動体追跡部）。

Claims (16)

1. 画像を用いて動体を検出する動体検出装置であって、
   画像フレーム間の画素の動き度を取得する動き度取得部と、
   前記画像フレームに含まれる画素の色を取得する色取得部と、
   前記色取得部により取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出部と、
   色ごとの前記評価スコアに基づいて前記動体を検出する動体検出部と、
   を備えることを特徴する動体検出装置。
2. 前記評価スコア算出部は、色ごとに、前記画像フレーム内の画素数及び当該画素の動き度を累積し、前記画像フレーム内の累積画素数及び累積動き度に基づいて当該色の前記評価スコアを算出する請求項１に記載の動体検出装置。
3. 前記評価スコア算出部は、色ごとに画素の位置情報を累積し、
   前記動体検出部は、色ごとの前記累積画素数及び累積位置情報に基づいて、前記動体の位置を特定する請求項２に記載の動体検出装置。
4. 画像を用いて動体を検出する動体検出方法であって、
   第１画像フレームと前記第１画像フレームより後に入力する第２画像フレームとの間の画素の動き度、及び、前記第２画像フレームに含まれる画素の色を取得する取得ステップと、
   前記取得ステップにより取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出ステップと、
   色ごとの前記評価スコアに基づいて前記第２画像フレーム内に描画された前記動体を検出する動体検出ステップと、
   を備えることを特徴する動体検出方法。
5. コンピュータを、画像を用いて動体を検出するように機能させる動体検出プログラムであって、
   画像フレーム間の画素の動き度を取得する動き度取得部、
   前記画像フレームに含まれる画素の色を取得する色取得部、
   前記色取得部により取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出部、及び、
   色ごとの前記評価スコアに基づいて前記動体を検出する動体検出部として機能させることを特徴とする動体検出プログラム。
6. 画像を用いて動体を追跡する動体追跡装置であって、
   画像フレーム間の画素の動き度を取得する動き度取得部と、
   前記画像フレームに含まれる画素の色を取得する色取得部と、
   前記色取得部により取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出部と、
   画素の色及び色ごとの評価スコアに基づいて、前記評価スコアを画素値とした第１尤度画像を生成して前記動体を検出する動体検出部と、
   検出された前記動体を追跡する動体追跡部と、
   を備えることを特徴とする動体追跡装置。
7. 前記動き度取得部は、前記画像フレームを所定のブロックに分割し、ブロック単位の動きに基づいて前記画像フレーム全体の動きを算出し、前記画像フレームに含まれる画素の動きから前記画像フレーム全体の動きを差し引いて動き度を算出する請求項６に記載の動体追跡装置。
8. 前記動体追跡部は、前記動体検出部により検出された前記動体の色に基づいて前記動体を追跡する請求項６又は７に記載の動体追跡装置。
9. 前記動体追跡部は、前記評価スコアに基づいて前記動体の代表色を特定し、特定された代表色に基づいて前記動体を追跡する請求項８に記載の動体追跡装置。
10. 前記動体追跡部は、前記動体の代表色との色の類似度に基づいて色ごとに尤度を算出し、画素の尤度を画素値とする第２尤度画像を作成して前記動体を追跡する請求項９に記載の動体追跡装置。
11. 前記評価スコア算出部は、色ごとに、動き度が所定値以上である画素数を累積した前景画素数、及び、動き度が所定値以上でない画素数を累積した背景画素数を算出し、
    前記動体追跡部は、前記前景画素数が前記背景画素数より小さい色については尤度を小さくする請求項１０に記載の動体追跡装置。
12. 前記動体追跡部は、前回の動体の位置を基準とした画素の相対位置ベクトルと画素の動きベクトルとの内積が負となる場合には当該画素における尤度を小さくする請求項１０又は１１に記載の動体追跡装置。
13. 前記動体追跡部は、前記第２尤度画像より小さい領域を追跡矩形とし、前記第２尤度画像の前記追跡矩形内における画素値の分布の重心が、前記追跡矩形の中心となるように移動させることで前記動体を追跡する請求項１０〜１２の何れか一項に記載の動体追跡装置。
14. 前記動体追跡部は、前回入力された前記画像フレームの前記第２尤度画像及び前記追跡矩形に基づいて作成された背景尤度画像と、前記画像フレームの前記第２尤度画像との差分画像を用いて前記動体を追跡する請求項１０〜１３の何れか一項に記載の動体追跡装置。
15. 画像を用いて動体を追跡する動体追跡方法であって、
    画像フレーム間の画素の動き度、及び、前記画像フレームに含まれる画素の色を取得する取得ステップと、
    前記取得ステップにより取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出ステップと、
    画素の色及び色ごとの評価スコアに基づいて、前記評価スコアを画素値とした第１尤度画像を生成して前記動体を検出する動体検出ステップと、
    検出された前記動体を追跡する動体追跡ステップと、
    を備えることを特徴とする動体追跡方法。
16. コンピュータを、画像を用いて動体を追跡するように機能させる動体追跡プログラムであって、
    画像フレーム間の画素の動き度を取得する動き度取得部、
    前記画像フレームに含まれる画素の色を取得する色取得部、
    前記色取得部により取得された色ごとに、前記動き度に基づいて色の動き度合いを示す評価スコアを算出する評価スコア算出部、
    画素の色及び色ごとの評価スコアに基づいて、前記評価スコアを画素値とした第１尤度画像を生成して前記動体を検出する動体検出部、
    検出された前記動体を追跡する動体追跡部、
    として機能させることを特徴とする動体追跡プログラム。