JP6767516B2 - 手検出及び追跡方法並びに装置 - Google Patents

Description

本願は、２０１６年６月２３日出願の「手検出及び追跡方法並びに装置」と題する中国特許出願第２０１６１０４６１５１５．０号に対する優先権を主張し、その全体を参照により本明細書に組み込む。

本願は視覚的ターゲットの検出及び追跡（トラッキング）技術及びヒューマン−コンピュータインタラクション（対話、相互利用）技術に関し、特に、手検出及び追跡方法並びに装置に関する。

手は、ヒューマン−コンピュータインタラクションのツールとして用いることができる。実際には、ヒューマン−コンピュータインタラクションプロセスを通して、ビデオの各フレームの手の位置を取得するために、手をリアルタイムで検出して追跡する必要がある。具体的には、各フレームで検出を実行することはできるが、検出には時間を要し、リアルタイムで実行することができない。さらに、時折誤検出が生じ、手の位置のジター（ｊｉｔｔｅｒ、震え）につながり、その後に続くユーザインタラクションに影響を及ぼす。

上述の問題を解決するために、従来の技術では追跡メカニズムが導入され、リアルタイムエフェクトを達成している。しかし、追跡中に対象が失われる（ロストする）ことがある。追跡対象が失われるという問題を軽減するために、従来の技術において一般的に用いられる方法は、肌の色情報を導入することである。肌の色を用いることでいくらかの誤追跡を回避することはできるが、背景の色と肌の色が類似している場合には、依然として追跡エラーが発生する可能性がある。

本願の実施は、手検出及び追跡方法を提供し、この方法は：画像の各フレームで手検出を実行するステップと；画像のフレーム内で手が検出された場合に、追跡結果を取得するために検出された手の位置追跡を実行するステップと；次のフレームで手を追跡する、又は前記追跡結果に基づいて現在のフレームで局所的な手検出を実行するために、前記追跡結果が有効であるか否かを検証するステップと；を含む。

本願の実施は、手検出及び追跡装置を提供し、この装置は：画像の各フレームで手検出を実行するよう構成された手検出ユニットと；画像のフレーム内で手が検出された場合に、追跡結果を取得するために検出された手の位置追跡を実行するよう構成された位置追跡ユニットと；次のフレームで手を追跡する、又は前記追跡結果に基づいて現在のフレームで局所的な手検出を実行するために、前記追跡結果が有効であるか否かを検証するよう構成された追跡結果処理ユニットと；を含む。

本願の実施では、追跡中に検証ステップが追加されるため、追跡結果をリアルタイムで補正することができ、それによって迅速かつ正確な手検出が保証される。

勿論、本願を実施する任意の物又は方法は、上述のすべての利点でなく一部のみを達成することもできる。

本願の実施又は従来技術における技術的解決策をより明確に説明するために、以下に、実施又は従来技術の説明に必要な添付図面について簡単に説明する。以下の説明における添付図面は本願のいくつかの実施のみを示し、当業者が依然として創意工夫を要することなくこれらの添付図面から他の図面を導出できることは明らかである。

図１は、本願の一実施に係る、手検出及び追跡方法の実施を示す方法のフローチャートである。

図２は、本願の一実施に係る、異なるスケールにおける手検出を示す概略図である。

図３は、本願の一実施に係る、追跡結果検証方法を示すフローチャートである。

図４は、本願の一実施に係る、追跡結果検証処理を示す概略図である。

図５は、本願の一実施に係る、追跡結果に基づいて現在のフレームで局所的な手検出を実行するための方法を示すフローチャートである。

図６は、本願の一実施に係る、ブロック結合を示す概略図である。

図７は、本願の他の実施に係る、ブロック結合を示す概略図である。

図８は、本願の実施に係る、手検出及び追跡装置を示す概略構成図である。

図９は、本願の一実施に係る、追跡結果処理ユニットを示す概略構成図である。

図１０は、本願の他の実施に係る、追跡結果処理ユニットを示す概略構成図である。

図１１は、本願のさらに他の実施に係る、追跡結果処理ユニットを示す概略構成図である。

以下に、本願の実施の添付図面を参照して、本願の実施における技術的解決策を明確かつ包括的に説明する。本明細書に記載された実施は、本願の実施の一部に過ぎず、それらの全てでないことは明らかである。本願の実施に基づいて、当業者によって創意工夫を要することなく得られる全ての他の実施は、本願の保護範囲に入るものである。

以下に、本願における手検出及び追跡方法及び装置について、添付図面を参照して詳細に説明する。図１は、本願の一実施に係る手検出及び追跡方法の実施を示す方法のフローチャートである。本願は、以下の実施又は添付図面に示すように、方法の操作ステップ又は装置（デバイス）の構成を提供するが、既存技術により又は創意工夫を要することなく、前記方法はより多いか又はより少ないステップを含むことができ、前記装置はより多いか又はより少ないモジュール構成を含むことができる。論理的な因果関係に必ずしも拘束されないステップ又は構成において、これらのステップの実行順序、又は装置のモジュール構成は、本願の実施で提供される実行順序又はモジュール構成に限定されない。実際の装置又は端末製品に適用する場合、実施又は添付図面で示される方法又はモジュール構成のつながりに基づいて、前記方法又はモジュール構成を順次に又は（例えば、並列処理装置又はマルチスレッド処理装置の環境で）並列に実行することができる。

検出された手が追跡中に普通に検出し損なうという従来技術における問題に基づいて、本願では追跡検証メカニズムを導入し、それによって追跡結果をリアルタイムで補正することができるため、迅速かつ正確な手検出を保証する。具体的には、図１に示すように、本願における手検出及び追跡方法は、以下のステップを含むことができる。

Ｓ１０１．画像の各フレームで手検出を実行する。

Ｓ１０２．画像のフレーム内で手が検出された場合に、追跡結果を取得するために検出された手の位置追跡を実行する。

Ｓ１０３．次のフレームで手を追跡する、又は追跡結果に基づいて現在のフレームで局所的な（ローカライズされた）手検出を実行するために、追跡結果が有効であるか否かを検証する。

図１に示す手順から分かるように、本願においては、先ず手検出を行い、手が検出された場合には位置追跡を行い、追跡結果の有効性を検証することで、無効な追跡結果を補正して誤判断が生じることを回避できる。したがって、手検出を迅速かつ正確に実行することができ、演算量を減少させることができる。

Ｓ１０１において、通常、手検出は画像の第１フレームから実行する必要がある。具体的な検出方法としては、画像の各フレームを全体的にスキャンし、ＨＯＧ＋ＳＶＭ法を用いて手検出を実行することが挙げられる。ＨＯＧ＋ＳＶＭ法は、従来技術において一般的に用いられている人体検出方法であり、説明を簡略にするため詳細は省略する。さらに、本願において手検出は、画像のフレームの手と良好なマッチングが得られ、そして正確かつ迅速に手を検出するために、異なるスケールで実行される必要がある。異なるスケールについては、図２を参照することができる。

手検出に成功した（すなわち、画像のフレームで手が検出された）後、検出された手に対して位置追跡を実行することができる。一実施において、テンプレートマッチング法を用いて検出された手の位置追跡を行って追跡結果を取得することができる。

この追跡結果は予備的追跡結果であり、予備的追跡結果に基づいて追跡が有効であるか否かを特定することはできない。したがって、追跡結果を検証する必要がある。

通常、追跡結果は、画像のフレームのポジショニング（配置、位置決め）ブロックに対応する。追跡結果が有効であるか否かを検証することは、ブロックが手であるか否かを特定することである。図３に示すように、追跡結果が有効であるか否かを検証する方法は、以下のステップを含む。

Ｓ３０１．ポジショニングブロックを、手のトレーニング（学習、訓練）時に特定されたサイズに調整する。分類器（クラシファイア）は、分類を実行する前にトレーニングされている必要がある。分類器はトレーニング時に固定サイズを有するので、分類を実行する前に、ビデオ内の手のブロックを手のトレーニング時に特定されたサイズに調整する必要がある。

Ｓ３０２．ポジショニングブロックが手であるか否かを特定するために、調整されたポジショニングブロックを分類器に送信する。ここで、ポジショニングブロックが手である場合は、追跡結果は有効であり、そうでない場合は、追跡結果は無効である。

図４は、本願の実施に係る追跡結果検証処理を示す概略図である。図４に示すように、ブロックＳ２を取得するために先ずビデオ内の手のブロック（ポジショニングブロックＳ１）を最初に手のトレーニング時に特定されたサイズに調整する必要があり、次にブロックＳ２を分類器に送信する。分類器は特定結果を出力することができ、特定結果に基づいてブロックＳ２が手であるか否かを特定することができる。ブロックＳ２が手である場合は、追跡結果は有効であり、そうでない場合は、追跡結果は無効である。分類器としては、ＳＶＭ分類器、ＡＮＮ分類器、ブースト分類器などが挙げられる。本願は、これに限定されない。

追跡結果が有効である場合、次のフレームで追跡を実行することができる。具体的には、Ｓ１０１の手検出を行わずに、図１のＳ１０２及びＳ１０３を繰り返して実行する。したがって、この方法では、画像の各フレームで手検出を実行する従来の技術と比べて作業負荷が軽減される。

しかし、追跡結果が有効である場合に、画像内の手の位置やサイズから追跡結果がずれている可能性がある。Ｓ１０１の手検出を直接行った場合には、誤判断が生じる可能性がある。この問題を解決するために、図５に示すように、追跡結果に基づいて現在のフレームで局所的な手検出を実行することができる。具体的には、以下のステップを含む。

Ｓ５０１．ポジショニングブロックの中心を特定し、かつ所定のステップ及び所定のブロックサイズを用いて複数の近隣ブロックを定義する。

Ｓ５０２．複数の近隣ブロックのそれぞれを、手のトレーニング時に特定されたサイズに調整する。分類器は、分類を実行する前にトレーニングされている必要がある。分類器はトレーニング時に固定サイズを有するので、分類を実行する前に、ビデオ内の手のブロックを手のトレーニング時に特定されたサイズに調整する必要がある。

Ｓ５０３．調整された複数の近隣ブロックを分類器に別々に送信し、複数の近隣ブロックのうちの手である近隣ブロックの量を特定する。

具体的には、現在の追跡結果におけるブロックの中心を（ｘ，ｙ）と定義し、ブロックの高さを（ｗ，ｈ）とすることができる。上述の説明によれば、ブロックが手でないと特定された原因は、追跡結果が実際の位置からわずかにずれているか、又は撮影距離により手の撮像時にズームされたためである可能性がある。したがって、本願においては、この問題を解決するために以下の方法を採用している。説明を明確にするために、以下の方法では、所定のステップを２と設定し、近隣ブロックの量は８と設定し、所定のブロックサイズは、（０．８ｗ，０．８ｈ）、（ｗ，ｈ）、（１．２ｗ，１．２ｈ）の３つのサイズを含む。これらの設定は、限定するためのものではない。

先ず、（ｘ，ｙ）におけるステップが２である８個の近隣ブロックで手検出を実行する。具体的には、特定される８個の近隣ブロックの中心は、それぞれ（ｘ−２，ｙ−２）、（ｘ，ｙ−２）、（ｘ＋２，ｙ−２）、（ｘ，ｙ−２）、（ｘ，ｙ＋２）、（ｘ＋２，ｙ−２）、（ｘ＋２，ｙ）、（ｘ＋２，ｙ＋２）である。（０．８ｗ，０．８ｈ）、（ｗ，ｈ）及び（１．２ｗ，１．２ｈ）の３つのサイズを設定した後、近隣ブロックの量は、３×８＝２４である。異なるブロックサイズは、ズームの影響をカバーするためのものである。

前の操作が完了した後、２４個の近隣ブロックに対して別々に手特定を実行することができる。先ず、各近隣ブロックを手のトレーニング時に特定されたサイズに調整する。次いで、調整された近隣ブロックを分類器に別々に送信して各近隣ブロックが手であるか否かを特定する。最後に、手である近隣ブロックの量を計算する。この方法では、分類器の調整操作及び特定操作を３×８回実行する必要がある。したがって、この方法においては、画像の各フレームで検出操作を実行する従来の技術と比べて、演算量を大きく減少させることができる。

手である近隣ブロックの計算された量に基づいて、さらなる動作を実行することができる。詳細は、以下の通りである。

２４個の近隣ブロックのうちの手である近隣ブロックの量が２以上である場合、全ての手である近隣ブロックを結合して最終追跡結果を出力することができ、それから次のフレームで追跡を実行する。具体的には、Ｓ１０１の手検出を行わずに、図１のＳ１０２及びＳ１０３を繰り返して実行する。

２４個の近隣ブロックのうちの手である近隣ブロックの量が２であると仮定する。図６に示すように、２個の破線ブロック（ブロック６０１及びブロック６０２）が検出ブロックである。ブロック６０１に対する結果は、（ｌｅｆｔ１，ｔｏｐ１，ｒｉｇｈｔ１，ｂｏｔｔｏｍ１）であり、ここで（ｌｅｆｔ１，ｔｏｐ１）はブロック６０１の左上の頂点の座標を識別し、（ｒｉｇｈｔ１，ｂｏｔｔｏｍ１）はブロック６０１の右下の頂点の座標を識別する。ブロック６０２に対する結果は、（ｌｅｆｔ２，ｔｏｐ２，ｒｉｇｈｔ２，ｂｏｔｔｏｍ２）であり、ここで（ｌｅｆｔ２，ｔｏｐ２）はブロック６０２の左上の頂点の座標を識別し、（ｒｉｇｈｔ２，ｂｏｔｔｏｍ２）はブロック６０２の右下の頂点の座標を識別する。ブロック６０１とブロック６０２を結合してブロック６０３が得られ、ブロック６０３の結果は、（（ｌｅｆｔ１＋ｌｅｆｔ２）／２，（ｔｏｐ１＋ｔｏｐ２）／２，（ｒｉｇｈｔ１＋ｒｉｇｈｔ２）／２，（ｂｏｔｔｏｍ１＋ｂｏｔｔｏｍ２）／２）であり、結合後に得られた結果（ブロック６０３）を、最終追跡結果として出力する。

２４個の近隣ブロックのうちの手である近隣ブロックの量が２以上である場合は、限られた領域内で手検出操作を行い、検出結果を出力する。

２４個の近隣ブロックのうちの１個のみが手である場合、手である近隣ブロックをＳ１０２で得られたポジショニングブロックと結合し、結合後に得られた結果を最終追跡結果として用い、それから次のフレームで追跡を実行する。具体的には、Ｓ１０１の手検出を行わずに、図１のＳ１０２及びＳ１０３を繰り返して実行する。

分類器が２４個の近隣ブロックのうちの１個のみが手であると特定したとする。図７に示すように、ブロック７０１は検出ブロックであり、ブロック７０１に対する結果は、（ｌｅｆｔ３，ｔｏｐ３，ｒｉｇｈｔ３，ｂｏｔｔｏｍ３）であり、ここで（ｌｅｆｔ３，ｔｏｐ３）はブロック７０１の左上の頂点の座標を識別し、（ｒｉｇｈｔ３，ｂｏｔｔｏｍ３）はブロック７０１の右下の頂点の座標を識別する。ブロック７０２はＳ１０２で得られたブロックであり、ブロック７０２に対する結果は、（ｌｅｆｔ４，ｔｏｐ４，ｒｉｇｈｔ４，ｂｏｔｔｏｍ４）であり、ここで（ｌｅｆｔ４，ｔｏｐ４）はブロック７０２の左上の頂点の座標を識別し、（ｒｉｇｈｔ４，ｂｏｔｔｏｍ４）はブロック７０２の右下の頂点の座標を識別する。ブロック７０１とブロック７０２を結合してブロック７０３が得られ、ブロック７０３の結果は、（（ｌｅｆｔ３＋ｌｅｆｔ４）／２，（ｔｏｐ３＋ｔｏｐ４）／２，（ｒｉｇｈｔ３＋ｒｉｇｈｔ４）／２，（ｂｏｔｔｏｍ３＋ｂｏｔｔｏｍ４）／２）であり、結合後に得られた結果（ブロック７０３）を、最終追跡結果として出力する。

２４個の近隣ブロックのうちの１個のみが手である上述のケースにおいては、追跡及び検出の両方が有効であるが、追跡結果が実際の位置から僅かだけずれており、この問題は結合することによって解決できると理解することができる。

２４個の近隣ブロックに手であるブロックが存在しない場合は、手が既に存在しないか、又は手のパターンがトレーニング時に定義されたパターンとは大きく異なる可能性がある。この場合、手検出は画像の各フレームにおいて再び実行される。

本願のこの実施における手検出及び追跡方法によれば、追跡結果の有効性を検証し、無効な追跡結果を補正して誤判断が生じることを回避できる。したがって、手検出を迅速かつ正確に実行することができる。追跡結果に基づいて現在のフレームにおける局所的な手検出を実行するため、演算量を大きく減少させることができる。

本願は、上述の手検出及び追跡方法と同様の発明思想に基づいて、以下の実施で説明するように手検出及び追跡装置（デバイス）を提供する。手検出及び追跡装置の問題解決の原理は、手検出及び追跡方法の問題解決の原理と類似しているので、手検出及び追跡装置の実施に関しては、手検出及び追跡方法の実施を参照することができ、説明を簡略にするため重複部分は省略する。

図８は、本願の実施に係る手検出及び追跡装置を示す概略構成図である。図８に示すように、手検出及び追跡装置は、手検出ユニット８０１と、位置追跡ユニット８０２と、追跡結果処理ユニット８０３とを含む。

手検出ユニット８０１は、画像の各フレームで手検出を実行するように構成される。

位置追跡ユニット８０２は、画像のフレームで手が検出された場合、追跡結果を取得するよう検出された手の位置追跡を実行するように構成される。

追跡結果処理ユニット８０３は、次のフレームで手を追跡する、又は追跡結果に基づいて現在のフレームで局所的な手検出を実行するために、追跡結果が有効であるか否かを検証するように構成される。

一実施において、手検出ユニット８０１は、特に、画像のフレームを全体的にスキャンし、かつＨＯＧ＋ＳＶＭ法を用いて異なるスケールで手検出を実行するように構成される。さらに、本願において手検出は、画像のフレームの手と良好なマッチングが得られ、正確かつ迅速に手を検出するように、異なるスケールで実行する必要がある。

一実施において、位置追跡ユニット８０２は、テンプレートマッチング法を用いて検出された手の位置追跡を行って追跡結果を取得するように構成される。

一実施において、図９に示すように、追跡結果処理ユニットは、調整モジュール９０１と手特定モジュール９０２とを含む。

調整モジュール９０１は、ポジショニングブロックを、手のトレーニング時に特定されたサイズに調整するように構成される。分類器は、分類を実行する前にトレーニングされている必要がある。分類器はトレーニング時に固定サイズを有するので、分類を実行する前に、ビデオ内の手のブロックを手のトレーニング時に特定されたサイズに調整する必要がある。

手特定モジュール９０２は、調整されたポジショニングブロックを分類器に送信してポジショニングブロックが手であるか否かを特定するように構成され、ここで、ポジショニングブロックが手である場合、追跡結果は有効であり、そうでない場合、追跡結果は無効である。

一実施において、手特定モジュール９０２が追跡結果が有効であると特定すると、位置追跡ユニット８０２は次のフレームで手を追跡する。

一実施において、図１０に示すように、追跡結果処理ユニット８０３は、ポジショニングブロックの中心を特定し、かつ所定のステップ及び所定のブロックサイズを用いて複数の近隣ブロックを定義するように構成される情報特定モジュール１００１をさらに含む。調整モジュール９０１は、複数の近隣ブロックのそれぞれを、手のトレーニング時に特定されたサイズに調整するように構成される。手特定モジュール９０２は、調整された複数の近隣ブロックを分類器に別々に送信し、複数の近隣ブロックのうちの手である近隣ブロックの量を特定するように構成される。

一実施において、図１１に示すように、追跡結果処理ユニット８０３は、複数の近隣ブロックのうちの手である近隣ブロックの量が２以上である場合、全ての手である近隣ブロックを結合して最終追跡結果を出力してから、次のフレームで追跡を実行するように構成される結合モジュール１１０１をさらに含む。

一実施において、複数の近隣ブロックのうちの手である近隣ブロックの量が１である場合、結合モジュール１１０１は、さらに、手である近隣ブロックをポジショニングブロックと結合して最終追跡結果を出力してから、次のフレームで追跡を実行するように構成される。

一実施において、複数の近隣ブロックに手である近隣ブロックが存在しない場合、手検出ユニット８０１は、画像の各フレームで再び手検出を実行するように構成される。

本願のこの実施における手検出及び追跡装置によれば、追跡結果の有効性を検証し、無効な追跡結果を補正して誤判断が生じることを回避できる。したがって、手検出を迅速かつ正確に実行することができる。追跡結果に基づいて現在のフレームにおける局所的な手検出を実行するため、演算量を大きく減少させることができる。

当業者は、本願の実施は、方法、システム、又はコンピュータプログラム製品として提供できることを理解するはずである。そのため、本願は、ハードウェアのみの実施、ソフトウェアのみの実施、又は、ソフトウェアとハードウェアとの組み合わせによる実施の形式を用いることができる。さらに、本願は、コンピュータで使用可能なプログラムコードを含んだ１台以上のコンピュータで使用可能な記憶媒体（磁気ディスクストレージ、ＣＤ−ＲＯＭ、光学メモリ等を非限定的に含む）上で実施されるコンピュータプログラム製品の形式で使用できる。

本願は、本願の実施に係る方法、デバイス（システム）、コンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明されている。コンピュータプログラム命令は、フローチャート及び／又はブロック図内の、各工程及び／又は各ブロックを実施するために用いることができ、さらに、フローチャート及び／又はブロック図内の、１つの工程及び／又は１つのブロックの組み合わせを実施するために用いることができる点が理解されるはずである。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、又はあらゆるその他のプログラム可能なデータ処理デバイスに、マシンを生成するために提供されることができ、これにより、コンピュータ、又は、あらゆるその他のプログラム可能なデータ処理デバイスのプロセッサが、フローチャートの１つ以上の工程における、及び／又は、ブロック図の１つ以上のブロックにおける、特定の機能を実施するデバイスを生成できるようになる。

これらのコンピュータプログラム命令を、コンピュータ又はあらゆるその他のプログラム可能なデータ処理デバイスに特定の態様で機能するように命令することができるコンピュータ読み取り可能なメモリに記憶して、これらのコンピュータ読み取り可能なメモリに記憶された命令が、命令デバイスを含むアーチファクトを作り出すようにすることができる。この命令デバイスは、フローチャート内の１つ以上の工程における、及び／又は、ブロック図内の１つ以上のブロックにおける特定の機能を実施する。

これらのコンピュータプログラム命令をコンピュータ又はその他のプログラム可能なデータ処理デバイスにロードして、コンピュータ又はその他のプログラム可能なデバイス上で一連の操作及びステップが実行されるようにし、コンピュータで実施される処理を生成することができる。これにより、コンピュータ又はその他のプログラム可能なデバイス上で実行される命令が、フローチャート内の１つ以上のステップ及び／又はブロック図内の１つ以上のブロックにおける特定の機能を実施するデバイスを提供することを可能とする。

本願の原理及び実施を説明するため、本願においては具体的な実施を用いている。前述の実施は、単に本願の方法及びその核心となる概念を理解するためのものである。さらに、当業者であれば、本願の概念に基づいて具体的な実施及び適用範囲に変更を加えることができる。上述したように、本願の内容は、本願に対する制限として理解されてはならない。
以下、本発明の実施の態様の例を列挙する。
［第１の局面］
手検出及び追跡方法であって：
画像の各フレームで手検出を実行するステップと；
画像のフレーム内で手が検出された場合に、追跡結果を取得するために検出された手の位置追跡を実行するステップと；
次のフレームで手を追跡する、又は前記追跡結果に基づいて現在のフレームで局所的な手検出を実行するために、前記追跡結果が有効であるか否かを検証するステップと；を備える、
手検出及び追跡方法。
［第２の局面］
前記画像の各フレームで手検出を実行する前記ステップは：画像のフレームを全体的にスキャンするステップ、及びＨＯＧ＋ＳＶＭ法を用いて異なるスケールで手検出を実行するステップ、を備える、
第１の局面に記載の手検出及び追跡方法。
［第３の局面］
追跡結果を取得するために検出された手の位置追跡を実行する前記ステップは：
前記追跡結果を取得するためにテンプレートマッチング法を用いて前記検出された手の位置追跡を実行するステップを備える、
第１の局面に記載の手検出及び追跡方法。
［第４の局面］
前記追跡結果は、前記画像のフレーム内の手の位置を識別するために用いられるポジショニングブロックの座標であり、前記追跡結果が有効であるか否かを検証する前記ステップは：
前記ポジショニングブロックを、手のトレーニング時に特定されたサイズに調整するステップと；
前記ポジショニングブロックが手であるか否かを特定するために前記調整されたポジショニングブロックを分類器に送信するステップであって、前記ポジショニングブロックが手である場合は、前記追跡結果は有効であり、そうでない場合は、前記追跡結果は無効である、ステップと；を備える、
第１の局面に記載の手検出及び追跡方法。
［第５の局面］
前記追跡結果が有効である場合に前記次のフレームで前記手を追跡する、
第４の局面に記載の手検出及び追跡方法。
［第６の局面］
前記追跡結果が無効である場合に前記追跡結果に基づいて現在のフレームで局所的な手検出を実行することは：
前記ポジショニングブロックの中心を特定し、所定のステップ及び所定のブロックサイズを用いて複数の近隣ブロックを定義するステップと；
前記複数の近隣ブロックのそれぞれを、手のトレーニング時に特定されたサイズに調整するステップと；
前記複数の近隣ブロックのうちの手である近隣ブロックの量を特定するために、調整された前記複数の近隣ブロックを前記分類器に別々に送信するステップと；を備える、
第４の局面に記載の手検出及び追跡方法。
［第７の局面］
前記複数の近隣ブロックのうちの前記手である近隣ブロックの量が２以上である場合、全ての手である近隣ブロックを結合して最終追跡結果を出力し、その後前記次のフレームでの追跡が実行される、
第６の局面に記載の手検出及び追跡方法。
［第８の局面］
前記複数の近隣ブロックのうちの前記手である近隣ブロックの量が１である場合、手である近隣ブロックを前記ポジショニングブロックと結合して最終追跡結果を出力し、その後前記次のフレームでの追跡が実行される、
第６の局面に記載の手検出及び追跡方法。
［第９の局面］
前記複数の近隣ブロックに前記手である近隣ブロックが存在しない場合、画像の各フレームで再び手検出を実行する、
第６の局面に記載の手検出及び追跡方法。
［第１０の局面］
手検出及び追跡装置であって：
画像の各フレームで手検出を実行するよう構成された手検出ユニットと；
画像のフレーム内で手が検出された場合に、追跡結果を取得するために検出された手の位置追跡を実行するよう構成された位置追跡ユニットと；
次のフレームで手を追跡する、又は前記追跡結果に基づいて現在のフレームで局所的な手検出を実行するために、前記追跡結果が有効であるか否かを検証するよう構成された追跡結果処理ユニットと；を備える、
手検出及び追跡装置。
［第１１の局面］
前記手検出ユニットは、具体的に、画像のフレームを全体的にスキャンし、ＨＯＧ＋ＳＶＭ法を用いて異なるスケールで手検出を実行するように構成される、
第１０の局面に記載の手検出及び追跡装置。
［第１２の局面］
前記位置追跡ユニットは：具体的に、前記追跡結果を取得するために、テンプレートマッチング法を用いて前記検出された手の位置追跡を実行するように構成される、
第１０の局面に記載の手検出及び追跡装置。
［第１３の局面］
前記追跡結果は、前記画像のフレームにおける手の位置を識別するために用いられるポジショニングブロックの座標であり、前記追跡結果処理ユニットは：
前記ポジショニングブロックを、手のトレーニング時に特定されたサイズに調整するように構成された調整モジュールと；
前記ポジショニングブロックが手であるか否かを特定するために、前記調整されたポジショニングブロックを分類器に送信するように構成された手特定モジュールであって、前記ポジショニングブロックが手である場合は、前記追跡結果は有効であり、そうでない場合は、前記追跡結果は無効である、前記手特定モジュールと；を備える、
第１０の局面に記載の手検出及び追跡装置。
［第１４の局面］
前記位置追跡ユニットは、前記追跡結果が有効である場合に前記次のフレームで前記手を追跡するように構成される、
第１３の局面に記載の手検出及び追跡装置。
［第１５の局面］
前記追跡結果処理ユニットは、前記ポジショニングブロックの中心を特定し、所定のステップ及び所定のブロックサイズを用いて複数の近隣ブロックを定義するように構成された情報特定モジュールを更に備え；
前記調整モジュールは、前記複数の近隣ブロックのそれぞれを、手のトレーニング時に特定されたサイズに調整するように構成され；
前記手特定モジュールは、前記複数の近隣ブロックのうちの手である近隣ブロックの量を特定するために、調整された前記複数の近隣ブロックを前記分類器に別々に送信するように構成される、
第１３の局面に記載の手検出及び追跡装置。
［第１６の局面］
前記追跡結果処理ユニットは、前記複数の近隣ブロックのうちの前記手である近隣ブロックの量が２以上である場合、全ての手である近隣ブロックを結合して最終追跡結果を出力し、その後前記次のフレームで追跡を実行するよう構成された結合モジュールをさら備える、
第１５の局面に記載の手検出及び追跡装置。
［第１７の局面］
前記複数の近隣ブロックのうちの前記手である近隣ブロックの量が１である場合、前記結合モジュールは、手である近隣ブロックを前記ポジショニングブロックと結合して最終追跡結果を出力し、その後前記次のフレームで追跡を実行するよう更に構成される、
第１６の局面に記載の手検出及び追跡装置。
［第１８の局面］
前記複数の近隣ブロックに前記手である近隣ブロックが存在しない場合、前記手検出ユニットは、画像の各フレームで再び手検出を実行するように構成される、
第１５の局面に記載の手検出及び追跡装置。

６０１−６０３、７０１−７０３ ブロック
８０１ 手検出ユニット
８０２ 位置追跡ユニット
８０３ 追跡結果処理ユニット
９０１ 調整モジュール
９０２ 手特定モジュール
１００１ 情報特定モジュール
１１０１ 結合モジュール

Claims (9)

1. 手検出及び追跡の方法であって：
   １つの画像の各フレームで手検出を実行するステップ（Ｓ１０１）と；
   画像のフレーム内で手が検出された場合に、追跡結果を取得するために検出された手の位置追跡を実行するステップであって、前記追跡結果は、前記画像の各フレーム内の手の位置を識別するために用いられるポジショニングブロックの座標を備える、ステップ（Ｓ１０２）と；
   前記ポジショニングブロックを、分類器の手のトレーニング時に特定されたサイズに調整するステップと；
   前記ポジショニングブロックが手ではないことを特定するために前記調整されたポジショニングブロックを前記分類器に送信することで、前記追跡結果が前記画像の現在のフレームにおいて無効であることを検証するステップ（Ｓ３０２）と；
   前記追跡結果が無効であると判断したことに応答して前記追跡結果に基づいて前記現在のフレームで局所的な手検出を実行するステップ（Ｓ１０３）であって、
   前記ポジショニングブロックの中心を特定し、所定のステップ及び所定のブロックサイズを用いて複数の近隣ブロックを定義するステップ（Ｓ５０１）と；
   前記複数の近隣ブロックのそれぞれを、前記分類器の手のトレーニング時に特定されたサイズに調整するステップ（Ｓ５０２）と；
   前記複数の近隣ブロックのうちの手である近隣ブロックの量を特定するために、調整された前記複数の近隣ブロックを前記分類器に別々に送信するステップ（Ｓ５０３）であって、前記複数の近隣ブロックのうちの前記手である近隣ブロックの量が１である場合、手である近隣ブロックを前記ポジショニングブロックと結合して最終追跡結果を出力し、その後前記次のフレームでの追跡が実行される、ステップと；
   により行われる、ステップと；を備える、
   手検出及び追跡の方法。
2. 前記画像の各フレームで手検出を実行する前記ステップは：画像のフレームを全体的にスキャンするステップ、及びＨＯＧ＋ＳＶＭ法を用いて異なるスケールで手検出を実行するステップ、を備える、
   請求項１に記載の方法。
3. 前記追跡結果を取得するために検出された手の位置追跡を実行するステップは：
   前記追跡結果を取得するためにテンプレートマッチング法を用いて前記検出された手の位置追跡を実行するステップを備える、
   請求項１に記載の方法。
4. 前記分類器は、ＳＶＭ分類器、ＡＮＮ分類器、又はブースト分類器を備える、
   請求項１に記載の方法。
5. 前記追跡結果が有効である場合に前記次のフレームで前記手を追跡する、
   請求項１に記載の方法。
6. 前記複数の近隣ブロックのうちの前記手である近隣ブロックの量が２以上である場合、全ての手である近隣ブロックを結合して最終追跡結果を出力し、その後前記次のフレームでの追跡が実行される、
   請求項１に記載の方法。
7. 前記複数の近隣ブロックのうちの前記手である近隣ブロックの量が１である場合、手である近隣ブロックを前記ポジショニングブロックと結合して最終追跡結果を出力し、その後前記次のフレームでの追跡が実行される、
   請求項１に記載の方法。
8. 前記複数の近隣ブロックに前記手である近隣ブロックが存在しない場合、画像の各フレームで再び手検出を実行する、
   請求項１に記載の方法。
9. 請求項１乃至請求項８のいずれか１項に記載の方法を実行するように構成された複数のモジュールを備える、
   手検出及び追跡のための装置。

Images