JP6165513B2 - ハンドジェスチャトラッキングシステム - Google Patents

Description

本発明は、機器の前面にかざした手指を用いて操作を行う入力システムの実現に向けた、多様に運動する手指を追跡するハンドジェスチャトラッキングシステムに関する。

カメラで手指を撮影した場合、手指の他に背景や操作者の顔や衣服などが写り込むことが予想される。それにより、手指の認識が困難になる。さらに、低スペックなスマートＴＶのＣＰＵでこのようなシステムを実現するためには認識処理の軽量化が要求される。また、想定している入力システムはポインティングデバイスであり、大雑把な認識で十分なジェスチャ入力システムと違い、高い応答性と位置精度が要求される。

解決しようとする問題点は以上の点であり、本発明は、手指の輪郭とその内部情報に基く二値テンプレート画像を用いた手指位置・形状の推定方法を提案することを目的になされたものである。

そのため本発明は、取得した撮影画像に対し、手指位置・形状推定パラメータの探索初期点を決定する手段と、探索初期点の並進成分を中心とした撮影画像内のＲＯＩを決定する手段と、ＲＯＩに対して輪郭抽出を行い、得られた輪郭画像に対して距離マップを作成する手段と、テンプレートマッチングにより、手指位置・形状のパラメータを推定する手段とを備えたことを最も主要な特徴とする。

本発明は、各撮影画像から逐次手指を検出する検出ベースの手法ではなく、連側する撮影画像間での手指位置・形状の変化に基いてそれらを推定する追跡ベースな手法であることを特徴としており、手指周囲の領域のみで処理を行うことで。高い応答性と位置精度を確保できる。

各撮影画像における手指の位置・形状の推定には処理領域の輪郭情報と手指内部に相当する領域での輪郭有無の情報を用いる。それにより、複雑な状況下においても正確な手指位置・形状の推定が可能となる。また、推定のための評価関数は、処理領域の輪郭情報から得られる輪郭点とテンプレートの輪郭点間の距離から構成されており、反復解法に適した滑らかな関数となる。従って、推定解に速く収束し高速性が確保される。このように、本発明は、スマートＴＶへの実装に要求される頑健性と高速性を兼ね備え、かつポインティングデバイスに要求される高い応答性と位置精度を実現した手法となっている。

本発明を実施したハンドジェスチャトラッキングシステムのブロック図である。 ハンドジェスチャトラッキングシステムのフローチャートである。 ＲＯＩの設定方法の説明図である。 輪郭抽出方法の説明図である。 手指のテンプレート画像の説明図である。 マッチングの様子の説明図である。

以下、本発明の実施の形態について説明する。

図１に、本発明を実施したハンドジェスチャトラッキングシステムのブロック図を示す。
ハンドジェスチャトラッキングシステムは、動画像を撮影するカメラ１と、カメラ１で撮影した連続する撮影画像間での手指位置・形状の変化を推定する画像追跡部２で構成し、画像追跡部２は、前のフレームで推定した追跡対象の位置を中心に任意の範囲で局所探索のための矩形領域（ＲＯＩ：Region of Interest）を設定するＲＯＩ設定部２１と、ＲＯＩに対して空間フィルタを用いて手指の輪郭画像を抽出する輪郭抽出部２２と、ＲＯＩ内をラスタスキャンしてマッチング位置を求めるテンプレートマッチング部２３で構成する。

図２に、ハンドジェスチャトラッキングシステムのフローチャートを示す。
処理の流れは、まず、取得した撮影画像に対し、手指位置・形状推定パラメータの探索初期点を決定する（step1）。

ここで、ある時点において取得した撮影画像をフレームｋとすると、その直前に取得した撮影画像はフレームｋ−１で表わされる。フレームｋでの手指位置・形状推定パラメータの探索初期点はフレームｋ−１で得られた推定解とする。想定した入力システムを手指で操作する場合、極端に早い手の動きは現実的ではないので、フレーム間での手指位置・形状の変化はそれほど大きくないと仮定しても問題はないと考えられる。従って、このように決定された推定パラメータの探索初期点とフレームｋでの推定解は、探索空間内において互いに近い位置に存在し、初期点の推定解への収束速度は速くなる。これにより近傍領域を効率的に探索することができる。

次に、探索初期点の並進成分を中心とした撮影画像内のＲＯＩを決定する（step２）。
ここで、フレームｋでの推定パラメータの探索初期点をＰk＝（ｔｘk、ｔｙk、ｓk、θk）Tとする。ただし、ｔｘkとｔｙkはそれぞれ水平と垂直の並進成分であり、ｓkとθkはそれぞれ倍率（スケール）と回転角の成分である。フレームｋ内のピクセル位置（ｔｘk、ｔｙk）を中心として、適当な大きさのＲＯＩを設定する。具体的には、フレーム内の手指の大きさに応じてＲＯＩの縦横の長さが決定されるようにしている（図３を参照）。このように、追跡対象物（手指）の移動は平行移動のみでなく、回転やスケール変化を考慮する。

次に、ＲＯＩに対して輪郭抽出を行い、得られた輪郭画像に対して距離マップを作成する（step３）。
ここで、ＲＯＩに対する輪郭抽出は基本的にSobelフィルタを用いて行っている。具体的には、ＲＯＩの各カラー成分（ＲＧＢ）に対しSobelフィルタを適用し、各成分毎に勾配強度を求める。そして、ＲＯＩの各ピクセルについて、上記で求めた各成分の勾配強度の中で最大の値をそのピクセルの勾配強度とする。最終的に得られたＲＯＩの勾配強度をある閾値で二値化し、ＲＯＩの輪郭画像を得る（図４を参照）。
ＲＯＩの輪郭画像に対する距離マップとは、輪郭画像の各ピクセルから最も近い輪郭ピクセルまでの距離を、輪郭画像の各ピクセル位置に記述したマップである。輪郭ピクセルでの距離マップ上の値は０となり、輪郭ピクセルから遠いピクセルほど距離マップ上の値は大きくなる。

次に、テンプレートマッチングにより、手指位置・形状のパラメータを推定する（step４）。ここで、手指の位置・形状の推定は、二値化した手指のテンプレート画像を用いたマッチングにより行う。まず、テンプレート画像内の手指の輪郭点と手指内部点の位置を記録し、それらの集合をそれぞれＯＵＴ，ＩＮとする（図５を参照）。
マッチングの評価関数は次の数式（１）のように構成する。
数式（１）

ただし、

は推定パラメータ、Ｉ_Ｄは距離マップ、Ｗはワープ関数であり、

で表される。
Ｒ（θ）はθに関する回転行列である。

これを最小にするようなパラメータＰを推定する。数式（１）の第１項は手指の輪郭評価項であり、テンプレート画像の手指の輪郭点をワープ関数によって変換した点の位置がＲＯＩ内の輪郭点の位置に近いほど、この項の値は小さくなる。数式（１）の第２項は手指内部のペナルティ項であり、テンプレート画像の手指内部点をワープ関数によって変換した点の位置に対応するＲＯＩの輪郭画像内の位置に輪郭が存在すればするほど、この項の値は大きくなる。本来、手指の内部には輪郭は存在しないと考えられるので、そこに相当する領域に輪郭が多く存在すれば、それは手指ではないと判定される。これにより、複雑な状況下においてもある程度正確に手指の位置・形状の推定が可能となる。評価関数の最小化は勾配法により行う。図６にマッチングの様子を示す。
評価関数は、ＲＯＩの輪郭点とテンプレートの輪郭点間の距離から構成されており、滑らかな関数となる。従って、この評価関数は反復解法に適しており、少ない反復回数で推定解に収束する。

最後に、次の撮影画像を取得し、step1に戻る。

以上のような構成で、まず、手指の初期検出は、撮影画像内の決められた範囲内に手指をかざすことにより行う。この範囲内では、ランダムに推定パラメータが選択され、絶えずマッチングスコアを数式（１）により算出しており、範囲内に手指が存在すれば算出されるマッチングスコアは小さい値となる。このマッチングスコアがある閾値を下回れば手指が検出されたと判定され、手指の追跡が始まる。

また、連続する数枚の撮影画像に対し追跡失敗の判定がされた場合、手指追跡は失敗と判断され手指の初期検出に戻る。手指追跡の成否判定も、マッチングスコアにより行い、その値がある閾値を上回ったら追跡失敗と判定する。

１ カメラ
２画像追跡部
２１ ＲＯＩ設定部
２２ 輪郭抽出部
２３ テンプレートマッチング部

Claims (4)

1. 動画像を撮影する撮影部と、前記撮影部で撮影した連続する撮影画像間での手指位置・形状の変化を推定する画像追跡部とを備え、
   前記画像追跡部は、取得した撮影画像に対し、手指位置・形状推定パラメータの探索初期点を決定する第１のステップと、
   探索初期点の並進成分を中心とした撮影画像内のＲＯＩを決定する第２のステップと、
   ＲＯＩに対して輪郭抽出を行い、得られた輪郭画像に対して距離マップを作成する第３のステップと、
   テンプレートマッチングにより、手指位置・形状のパラメータを推定する第４のステップと、
   次の撮像画像を取得する第５のステップとを備え、
   前記第１ないし第５のステップを繰り返すことで、ある時点において取得した撮像画像の探索初期点を、その直前に取得した撮像画像で得られた推定解とするように構成されており、
   前記テンプレートマッチングは、手指の輪郭点と輪郭内部点の位置が記録されたテンプレート画像を用いて、テンプレート画像の手指の輪郭点をワープ関数によって変換した点の位置がＲＯＩ内の輪郭点の位置に近いほど、項の値が小さくなる輪郭評価項に、テンプレート画像の手指の輪郭内部点をワープ関数によって変換した点の位置に対応するＲＯＩ内の手の輪郭内部に輪郭が存在すればするほど、項の値が大きくなるペナルティ項を付加した評価関数を、目的関数としてパラメータの推定をすることにより行うとともに、推定したパラメータに基づいて評価関数によりマッチングスコアを算出するように構成されており、さらに、前記マッチングスコアが所定の閾値を下回ったとき、手指が検出されたと判定し、前記画像追跡部が手指の追跡を開始することを特徴とするハンドジェスチャトラッキングシステム。
2. 前記ＲＯＩは、画像フレーム内の手指の大きさに応じて縦横の長さが決定されることを特徴とする請求項１記載のハンドジェスチャトラッキングシステム。
3. 前記輪郭抽出は、ＲＯＩ内の各ピクセルについて、各カラー成分（ＲＧＢ）に対し空間フィルタを適用して成分毎に勾配強度を求め、これらの勾配強度の中で最大の値をそのピクセルの勾配強度とし、最終的に得られたＲＯＩの勾配強度をある閾値で二値化してＲＯＩの輪郭画像を得ることを特徴とする請求項１記載のハンドジェスチャトラッキングシステム。
4. 前記距離マップは、輪郭画像の各ピクセルから最も近い輪郭ピクセルまでの距離を、輪郭画像の各ピクセル位置に記述したマップであることを特徴とする請求項１記載のハンドジェスチャトラッキングシステム。

Images