JP3426076B2 - ジェスチャ動画像認識方法 - Google Patents
ジェスチャ動画像認識方法Info
- Publication number
- JP3426076B2 JP3426076B2 JP04751096A JP4751096A JP3426076B2 JP 3426076 B2 JP3426076 B2 JP 3426076B2 JP 04751096 A JP04751096 A JP 04751096A JP 4751096 A JP4751096 A JP 4751096A JP 3426076 B2 JP3426076 B2 JP 3426076B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- motion
- moving image
- locus
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、撮像された動画像
の中で示される人間の身振り、手振りを画像処理装置に
より認識するためのジェスチャ動画像認識方法に関す
る。
の中で示される人間の身振り、手振りを画像処理装置に
より認識するためのジェスチャ動画像認識方法に関す
る。
【０００２】
【従来の技術】人間のジェスチャを撮像し、撮像された
動画像を画像処理装置により認識する方式の研究として
は （１） Takahashi，Seki，Kojima and Oka : "Spotting
Recognition of HumanGesture from Time-Varying Ima
ges", Trans. of IEICE(D-II), J77-DII, 8, pp.1552-1
561. (1994). （２） Seki, Kojima, Nagaya and Oka : "Efficient g
esture recognition algorithm based of Continuous D
ynamic Programing", Proc. of RWC Symposium Technic
al Report, pp47-48. (1995). （３）Nagaya, Seki and Oka : "Gesture Recognition
Using Multiple Resolution Feature", Technical Repo
rt of IEICE, PRU95-99, pp.121-126, (1995). （４） Yamato, Ohya and Ishii : "Recognizing Human
Action in Time-Sequential Images Using Hidden Mar
kov Models", Trans. of IEICE(D-II), J76-DII,12, p
p.2556-2563. (1993). （５） Murase and Nayar : "Learning and Recognitio
n of 3D Object from Appearance", Technical Report
of IEICE, PRU93-120, pp.31-38, (1994). 代表的な一例として上記文献１に示されているシステム
構成を図１に示す。図１において、ＴＶカメラ１３によ
り被写体のジェスチャを撮像し、この撮像結果として得
られる動画像から複数の静止画像（以下、フレーム画像
と称する）をフレームグラバ１１により取得する。フレ
ーム画像の被写体を画像処理装置１０が識別できるよう
に輪郭線画像が画像処理装置１０により抽出される。こ
の輪郭線画像の画像データからジェスチャーの特徴を示
す各種特徴パラメータが取り出される。なお、上記動画
像はリアルタイムディスク１２、リライタブルＬＤ14に
保存することも可能であり、ＶＴＲ１５により再生可能
である。
動画像を画像処理装置により認識する方式の研究として
は （１） Takahashi，Seki，Kojima and Oka : "Spotting
Recognition of HumanGesture from Time-Varying Ima
ges", Trans. of IEICE(D-II), J77-DII, 8, pp.1552-1
561. (1994). （２） Seki, Kojima, Nagaya and Oka : "Efficient g
esture recognition algorithm based of Continuous D
ynamic Programing", Proc. of RWC Symposium Technic
al Report, pp47-48. (1995). （３）Nagaya, Seki and Oka : "Gesture Recognition
Using Multiple Resolution Feature", Technical Repo
rt of IEICE, PRU95-99, pp.121-126, (1995). （４） Yamato, Ohya and Ishii : "Recognizing Human
Action in Time-Sequential Images Using Hidden Mar
kov Models", Trans. of IEICE(D-II), J76-DII,12, p
p.2556-2563. (1993). （５） Murase and Nayar : "Learning and Recognitio
n of 3D Object from Appearance", Technical Report
of IEICE, PRU93-120, pp.31-38, (1994). 代表的な一例として上記文献１に示されているシステム
構成を図１に示す。図１において、ＴＶカメラ１３によ
り被写体のジェスチャを撮像し、この撮像結果として得
られる動画像から複数の静止画像（以下、フレーム画像
と称する）をフレームグラバ１１により取得する。フレ
ーム画像の被写体を画像処理装置１０が識別できるよう
に輪郭線画像が画像処理装置１０により抽出される。こ
の輪郭線画像の画像データからジェスチャーの特徴を示
す各種特徴パラメータが取り出される。なお、上記動画
像はリアルタイムディスク１２、リライタブルＬＤ14に
保存することも可能であり、ＶＴＲ１５により再生可能
である。
【０００３】特徴パラメータの種類をどのように定める
かについては各種提案されている。一例としては、被写
体の人が特定色の手袋をはめ、輪郭線画像データの中に
含まれる上記特定色の画素データの位置を特定パラメー
タとすることが知られている。基準パターンの作成時に
は各静止画像から取り出された特徴パラメータをフレー
ム画像の取得順に並べ（これを特徴パラメータ系列と呼
んでいる）、このときのジェスチャの内容を示す識別情
報と共に画像処理装置１０内に標準パターンとして記憶
される。認識対象の動画像から取り出された特徴パラメ
ータ系列と基準パターンの特徴パラメータ系列とを連続
ＤＰの手法を用いて比較し、一致した場合あるいは最も
類似するものが得られた場合、その識別情報が認識結果
として画像処理装置１０から出力される。
かについては各種提案されている。一例としては、被写
体の人が特定色の手袋をはめ、輪郭線画像データの中に
含まれる上記特定色の画素データの位置を特定パラメー
タとすることが知られている。基準パターンの作成時に
は各静止画像から取り出された特徴パラメータをフレー
ム画像の取得順に並べ（これを特徴パラメータ系列と呼
んでいる）、このときのジェスチャの内容を示す識別情
報と共に画像処理装置１０内に標準パターンとして記憶
される。認識対象の動画像から取り出された特徴パラメ
ータ系列と基準パターンの特徴パラメータ系列とを連続
ＤＰの手法を用いて比較し、一致した場合あるいは最も
類似するものが得られた場合、その識別情報が認識結果
として画像処理装置１０から出力される。
【０００４】このような画像処理を実行することにより
今までは機械認識が不可能であったジェスチャをコンピ
ュータにより認識することが可能となってきた。
今までは機械認識が不可能であったジェスチャをコンピ
ュータにより認識することが可能となってきた。
【０００５】
【発明が解決しようとする課題】しかしながら、これま
でに発表されている提案は認識の対象となる手等の位置
が予め標準パターン採取時の手の位置と異なると認識率
が落ちるという不具合があった。より具体的には、手を
頭の位置で横に振った場合の動画像から標準パターンを
作成し、手を胴体近くで振った場合の動画像を認識しよ
うとすると、手を同じように振っても手の位置が異なる
ので、動画像から得られる特徴パラメータ系列が異なっ
たものとなり、最悪の場合、認識結果が得られなくな
る。このため、従来では、認識率を高めようとする場合
には、手の位置を変えた同一種のジェスチャを撮像して
複数の標準パターンを作成しなければならないという不
具合があった。
でに発表されている提案は認識の対象となる手等の位置
が予め標準パターン採取時の手の位置と異なると認識率
が落ちるという不具合があった。より具体的には、手を
頭の位置で横に振った場合の動画像から標準パターンを
作成し、手を胴体近くで振った場合の動画像を認識しよ
うとすると、手を同じように振っても手の位置が異なる
ので、動画像から得られる特徴パラメータ系列が異なっ
たものとなり、最悪の場合、認識結果が得られなくな
る。このため、従来では、認識率を高めようとする場合
には、手の位置を変えた同一種のジェスチャを撮像して
複数の標準パターンを作成しなければならないという不
具合があった。
【０００６】そこで、本発明は、同一種のジェスチャを
単一の標準パターンで位置の影響を受けることなく認識
できるジェスチャ動画像認識方法を提供することを目的
とする。
単一の標準パターンで位置の影響を受けることなく認識
できるジェスチャ動画像認識方法を提供することを目的
とする。
【０００７】
【課題を解決するための手段】このような目的を達成す
るために、請求項１の発明は、ジェスチャを撮像して得
られる動画像から画像処理装置により特徴パラメータを
抽出し、基準パターンを作成しておき、認識対象の動画
像から前記特徴パラメータを抽出し、当該抽出された特
徴パラメータと前記基準パターンの特徴パラメータとを
比較することによりジェスチャの認識を行うジェスチャ
動画像の認識方法において、前記動画像を構成する複数
のフレーム画像の各々をベクトル空間上の点とみなし、
当該点により形成する動作軌跡を前記特徴パラメータと
することを特徴とする。
るために、請求項１の発明は、ジェスチャを撮像して得
られる動画像から画像処理装置により特徴パラメータを
抽出し、基準パターンを作成しておき、認識対象の動画
像から前記特徴パラメータを抽出し、当該抽出された特
徴パラメータと前記基準パターンの特徴パラメータとを
比較することによりジェスチャの認識を行うジェスチャ
動画像の認識方法において、前記動画像を構成する複数
のフレーム画像の各々をベクトル空間上の点とみなし、
当該点により形成する動作軌跡を前記特徴パラメータと
することを特徴とする。
【０００８】請求項２の発明は、請求項１の発明に加え
て、前記動作軌跡の軌跡形状を特徴づける代表的な点を
複数選択し、当該代表的な点を頂点とする多角形で、前
記動作軌跡を近似することを特徴とする。
て、前記動作軌跡の軌跡形状を特徴づける代表的な点を
複数選択し、当該代表的な点を頂点とする多角形で、前
記動作軌跡を近似することを特徴とする。
【０００９】請求項３の発明は、請求項２の発明に加え
て、前記動作軌跡の曲率の極大および極小点に基づいて
前記代表的な点を決定することを特徴とする。
て、前記動作軌跡の曲率の極大および極小点に基づいて
前記代表的な点を決定することを特徴とする。
【００１０】請求項４の発明は、請求項３の発明に加え
て、請求項１に記載の特徴パラメータの比較に連続ＤＰ
の手法を用いることを特徴とする。
て、請求項１に記載の特徴パラメータの比較に連続ＤＰ
の手法を用いることを特徴とする。
【００１１】
【発明の実施の形態】以下、図面を参照して本発明の実
施例を説明する。
施例を説明する。
【００１２】本実施例では、例えば３角形の形状は位置
が変わっても、回転しても変化しないという着想のもと
に、フレーム画像データを時系列に並べた動作軌跡を特
徴パラメータとして取り扱う。すなわち、ある時点の画
像データをベクトル空間上の１つの点とみなすと隣接す
る３つの点の軌跡により２つの線分が形成され、この２
つの線分で構成される角度はジェスチャの位置や角度が
変わってもほとんど変化しないということを本願発明者
達が発見し、この知見に基づき以下に示すジェスチャ動
画像認識方法を発明した。以下、その説明を行う。 １：動作軌跡の定義 １．１ パターン空間の定義と性質 二次元平面上の有限な領域Ｉ＝｛（ｘ，ｙ）｜０≦ｘ＜
Ｗ，０≦ｙ＜Ｈ｝の上で定義された実数値関数の中で条
件
が変わっても、回転しても変化しないという着想のもと
に、フレーム画像データを時系列に並べた動作軌跡を特
徴パラメータとして取り扱う。すなわち、ある時点の画
像データをベクトル空間上の１つの点とみなすと隣接す
る３つの点の軌跡により２つの線分が形成され、この２
つの線分で構成される角度はジェスチャの位置や角度が
変わってもほとんど変化しないということを本願発明者
達が発見し、この知見に基づき以下に示すジェスチャ動
画像認識方法を発明した。以下、その説明を行う。 １：動作軌跡の定義 １．１ パターン空間の定義と性質 二次元平面上の有限な領域Ｉ＝｛（ｘ，ｙ）｜０≦ｘ＜
Ｗ，０≦ｙ＜Ｈ｝の上で定義された実数値関数の中で条
件
【００１３】
【数１】∫I ｜ｆ（→ｘ）｜2 ｄ→ｘ＜∞
を満たす関数の集合Ｐを考える。
【００１４】（パターンの関数定義）ｆ，ｇ∈Ｐ，αが
実数のとき，ｆ＋ｇ，αｆをそれぞれｆ（→ｘ）＋ｇ
（→ｘ），αｇ（→ｘ）と定義するとＰは線形空間をな
す。なお、ｘはベクトルであるが、表記の関係上、ベク
トルｘを→ｘと表現する。サイズＷ×Ｈのフレーム画像
は、この画像領域座標→ｘの輝度値をｆ（→ｘ）とする
ことにより、画像パターンはＰの要素とみなすことがで
きる。すなわち、パターンをベクトルと考えることがで
きる。そこで、Ｐをパターン空間と呼ぶことにする。
実数のとき，ｆ＋ｇ，αｆをそれぞれｆ（→ｘ）＋ｇ
（→ｘ），αｇ（→ｘ）と定義するとＰは線形空間をな
す。なお、ｘはベクトルであるが、表記の関係上、ベク
トルｘを→ｘと表現する。サイズＷ×Ｈのフレーム画像
は、この画像領域座標→ｘの輝度値をｆ（→ｘ）とする
ことにより、画像パターンはＰの要素とみなすことがで
きる。すなわち、パターンをベクトルと考えることがで
きる。そこで、Ｐをパターン空間と呼ぶことにする。
【００１５】（内積の定義）パターン空間では任意の２
つのパターンの内積を
つのパターンの内積を
【００１６】
【数２】
（ｆ，ｇ）＝∫I ｆ（→ｘ）ｇ（→ｘ）ｄ→ｘ
と定義することができ、ｆのノルムを‖ｆ‖＝√（ｆ，
ｆ）と自然に導入することができる。またｆとｇの間の
角度θを考え、内積の定義から数３式とする。
ｆ）と自然に導入することができる。またｆとｇの間の
角度θを考え、内積の定義から数３式とする。
【００１７】
【数３】
【００１８】次に、注目する対象がフレーム画像上から
はみ出さずに映っている場合について、パターン空間の
性質を調べてみることにする。
はみ出さずに映っている場合について、パターン空間の
性質を調べてみることにする。
【００１９】（合同変換）フレーム画像上での対象の形
や大きさを保存する合同変換としては、平行移動、及び
回転（鏡像を含む）がある。合同変換（→ｘ）⇒（→
ｘ′）は平行移動→ｔ及び直交行列Ｏにより数４式で記
述できる。
や大きさを保存する合同変換としては、平行移動、及び
回転（鏡像を含む）がある。合同変換（→ｘ）⇒（→
ｘ′）は平行移動→ｔ及び直交行列Ｏにより数４式で記
述できる。
【００２０】
【数４】→ｘ′＝Ｏ→ｘ＋（→ｔ）
このとき、パターン空間における変換ｆ′＝Λ（ｆ）
は、
は、
【００２１】
【数５】
ｆ′（→ｘ）＝ｆ（→ｘ′）＝ｆ（Ｏ→ｘ＋（→ｔ））
となる。また、任意の実数αに対し、Λ（ｆ＋ｇ）＝Λ
（ｆ）＋Λ（ｇ）はΛ（αｆ）＝αΛ（ｆ）となり、Λ
はパターン空間での線形変換であることが分かる。
（ｆ）＋Λ（ｇ）はΛ（αｆ）＝αΛ（ｆ）となり、Λ
はパターン空間での線形変換であることが分かる。
【００２２】任意の２つのパターンｆ, ｇにおいて、合
同変換によってこれらが画像の外に飛び出さないとする
と、
同変換によってこれらが画像の外に飛び出さないとする
と、
【００２３】
【数６】
【００２４】となり、パターン空間では内積が保存され
る。すなわち、フレーム画像上でのパターンへの合同変
換はパターン空間中での直交変換に対応することがわか
る。
る。すなわち、フレーム画像上でのパターンへの合同変
換はパターン空間中での直交変換に対応することがわか
る。
【００２５】つぎに、これまでの議論を一般化し、合同
変換をアフィン変換へと拡張する。直交行列Ｏに代え
て、行列式が非Ｏの２次行列Ａを用いて、→ｘ′＝Ａ→
ｘ＋（→ｔ）を考える。このときパターン空間での内積
は数７式となり、一般には保存されない。
変換をアフィン変換へと拡張する。直交行列Ｏに代え
て、行列式が非Ｏの２次行列Ａを用いて、→ｘ′＝Ａ→
ｘ＋（→ｔ）を考える。このときパターン空間での内積
は数７式となり、一般には保存されない。
【００２６】
【数７】
【００２７】しかし、ｆ′とｇ′の間の角度θ′は数８
式となり、ｆとｇの間の角度θは保存される。
式となり、ｆとｇの間の角度θは保存される。
【００２８】
【数８】
【００２９】つまり、フレーム画像上での相似変換に対
し、図２に示されるような、任意の二つのパターンの成
す角（図３参照）は保存されることがわかる。
し、図２に示されるような、任意の二つのパターンの成
す角（図３参照）は保存されることがわかる。
【００３０】１．２ 動画像の性質
次に動画像のような時間変化が生じる場合について考え
る。時刻ｔ、座標→ｘでの輝度値をｆ（→ｘ，ｔ）とす
る。時刻ｔを固定したとき、輝度値は→ｘの関数となり
パターン空間中での１つの点と考えられる。これより、
時刻ｔでのパターンをｆ（ｔ）とする。
る。時刻ｔ、座標→ｘでの輝度値をｆ（→ｘ，ｔ）とす
る。時刻ｔを固定したとき、輝度値は→ｘの関数となり
パターン空間中での１つの点と考えられる。これより、
時刻ｔでのパターンをｆ（ｔ）とする。
【００３１】実世界を充分高速な時間分解能Δｔで撮影
する場合、ｆ（→ｘ，ｔ）は時間的及び空間的に連続で
あると考えられる。そこで、任意の座標→ｘでの輝度の
時間的変化は、正の微小量εを用いて、｜ｆ（→ｘ，ｔ
＋Δｔ）−ｆ（→ｘ，ｔ）｜＜εと表すことができる。
これは、パターン空間中でεが充分小さければ、ｆ（ｔ
＋Δｔ）−ｆ（ｔ）のノルムが次のようにＯに近づくこ
とを意味する。
する場合、ｆ（→ｘ，ｔ）は時間的及び空間的に連続で
あると考えられる。そこで、任意の座標→ｘでの輝度の
時間的変化は、正の微小量εを用いて、｜ｆ（→ｘ，ｔ
＋Δｔ）−ｆ（→ｘ，ｔ）｜＜εと表すことができる。
これは、パターン空間中でεが充分小さければ、ｆ（ｔ
＋Δｔ）−ｆ（ｔ）のノルムが次のようにＯに近づくこ
とを意味する。
【００３２】
【数９】
【００３３】このように、パターンの時間変動は、パタ
ーン空間中に描かれる連続する軌跡として扱うことがで
きる。
ーン空間中に描かれる連続する軌跡として扱うことがで
きる。
【００３４】図４に示すように、フレーム画像上のパタ
ーンがＰ⇒Ｑ⇒Ｒと変化するとき、パターン空間中のＰ
Ｑ，ＱＲの成す角がθPQR （図５参照）であったとす
る。
ーンがＰ⇒Ｑ⇒Ｒと変化するとき、パターン空間中のＰ
Ｑ，ＱＲの成す角がθPQR （図５参照）であったとす
る。
【００３５】パターンがフレーム画像上で線形変換され
るとき、対応するパターン空間では相似変換となるた
め、ＰＱ，ＱＲのなす角度θ′PQR は、θPQR と等しく
なる。
るとき、対応するパターン空間では相似変換となるた
め、ＰＱ，ＱＲのなす角度θ′PQR は、θPQR と等しく
なる。
【００３６】１．３ 動作軌跡の定義
図６に示すように、フレーム画像上の時間変動の要因
が、一人のジェスチャによるとすると、これに対応する
パターン空間中での軌跡は、人物の位置や大きさに対し
て不変で、ジェスチャの種類に固有の形状となる。
が、一人のジェスチャによるとすると、これに対応する
パターン空間中での軌跡は、人物の位置や大きさに対し
て不変で、ジェスチャの種類に固有の形状となる。
【００３７】そこで本実施例では、ジェスチャによって
パターン空間（本発明のベクトル空間）に描かれる軌跡
（図７参照）を「動作軌跡」と定義し、これを用いてジ
ェスチャの同定を行う。これにより、フレーム画像上で
の人物の位置や向き、あるいは大きさについて、何等補
正することなく、ジェスチャの種類を同定できる。
パターン空間（本発明のベクトル空間）に描かれる軌跡
（図７参照）を「動作軌跡」と定義し、これを用いてジ
ェスチャの同定を行う。これにより、フレーム画像上で
の人物の位置や向き、あるいは大きさについて、何等補
正することなく、ジェスチャの種類を同定できる。
【００３８】２： 動作の分節化
２．１ 同一動作の変動
図８は、実際のジェスチャを示し、図９はその動作軌跡
を主成分分析により二次元平面上に投影したものを示し
ている。毎回の動作が全く同一であれば、動作軌跡の形
状は全く同一となる。しかし実際には、図９のように微
細な変動が毎回生じ、動作軌跡の形状は少しずつ変化す
る。そこで、こうした変動を吸収し、人間に同一と認め
られる動作では、動作軌跡の形状が同一になるような何
らかの対策が必要になる。
を主成分分析により二次元平面上に投影したものを示し
ている。毎回の動作が全く同一であれば、動作軌跡の形
状は全く同一となる。しかし実際には、図９のように微
細な変動が毎回生じ、動作軌跡の形状は少しずつ変化す
る。そこで、こうした変動を吸収し、人間に同一と認め
られる動作では、動作軌跡の形状が同一になるような何
らかの対策が必要になる。
【００３９】動作を微小な時間で区切って考えるなら
ば、動作は少しづつ変化するポーズが連続したものと考
えることができる。一種類の動作において、多少の変動
が生じても、人間がその動作を同定できるのは、動作を
いくつかの代表的な構成単位（ポーズ）に分割し、それ
を用いて動作の判定結果を補正していると考られる。
ば、動作は少しづつ変化するポーズが連続したものと考
えることができる。一種類の動作において、多少の変動
が生じても、人間がその動作を同定できるのは、動作を
いくつかの代表的な構成単位（ポーズ）に分割し、それ
を用いて動作の判定結果を補正していると考られる。
【００４０】そこで、動作軌跡も同様のアプローチを採
用する。すなわち、軌跡形状を特徴づける代表的な点を
いくつか選択し、これらを頂点とする近似多角形で類似
度判定を行って変動を吸収する。選択した頂点は、動作
の代表的な構成要素であると考えられることから、本実
施例では動作素と呼ぶことにする。次節では、動作軌跡
から動作素を決定するアルゴリズムについて詳説する。
用する。すなわち、軌跡形状を特徴づける代表的な点を
いくつか選択し、これらを頂点とする近似多角形で類似
度判定を行って変動を吸収する。選択した頂点は、動作
の代表的な構成要素であると考えられることから、本実
施例では動作素と呼ぶことにする。次節では、動作軌跡
から動作素を決定するアルゴリズムについて詳説する。
【００４１】２．２ 曲率による動作軌跡の分割
パターン空間での動作軌跡をｆ（ｓ）とする。ここで、
ｓは軌跡上のある基準点からの軌跡の長さを表し、時刻
ｔの関数となる。このとき、軌跡の接線方向の単位ベク
トルｔは、数１０式で表される。
ｓは軌跡上のある基準点からの軌跡の長さを表し、時刻
ｔの関数となる。このとき、軌跡の接線方向の単位ベク
トルｔは、数１０式で表される。
【００４２】
【数１０】
【００４３】また、曲率をＫ、曲率半径をρ（≧０）、
法線方向の単位ベクトルをνとすると、数１１式とな
る。
法線方向の単位ベクトルをνとすると、数１１式とな
る。
【００４４】
【数１１】
【００４５】二次元画像での線形変換Ａは、パターン空
間では相似変換となり、その曲率Ｋ′は、
間では相似変換となり、その曲率Ｋ′は、
【００４６】
【数１２】
【００４７】となって、元の曲率に比例する。
【００４８】数１２式から、どんなジェスチャでも、フ
レーム画像上での人物の大きさに関わらず、曲率の極
大、極小は軌跡形状の同一箇所にあらわれることが分か
る。そこで、曲率の極大・極小に基づいて、動作軌跡を
分割する。
レーム画像上での人物の大きさに関わらず、曲率の極
大、極小は軌跡形状の同一箇所にあらわれることが分か
る。そこで、曲率の極大・極小に基づいて、動作軌跡を
分割する。
【００４９】２．３ 動作軌跡の分節化アルゴリズム
動作軌跡を分割するアルゴリズム（図１の画像処理装置
１０が実行する処理内容）を図１０に示す。曲率を求め
るために二次差分を求める必要があるが、単純なフレー
ム画像間での差分ではノイズの影響を受けやすいので、
分母となるフレーム間差分の大きさが、適当な単位長さ
Ｓthとなるまで待つ方式を採用する。
１０が実行する処理内容）を図１０に示す。曲率を求め
るために二次差分を求める必要があるが、単純なフレー
ム画像間での差分ではノイズの影響を受けやすいので、
分母となるフレーム間差分の大きさが、適当な単位長さ
Ｓthとなるまで待つ方式を採用する。
【００５０】最新フレーム画像ＩNow を取り込み（ステ
ップＳ２）、基準画像ＩB との間の経路長ＳInを求める
（ステップＳ２⇒Ｓ３）。ＳIn＞Ｓthならば基準画像を
更新し（ＩB ⇒ＩNow 、ステップＳ４⇒Ｓ５），曲率Ｋ
を求める。
ップＳ２）、基準画像ＩB との間の経路長ＳInを求める
（ステップＳ２⇒Ｓ３）。ＳIn＞Ｓthならば基準画像を
更新し（ＩB ⇒ＩNow 、ステップＳ４⇒Ｓ５），曲率Ｋ
を求める。
【００５１】次に、Ｋの時系列について極大値・極小値
となる時刻を決定し、そのフレーム画像を動作素として
蓄える（Ｎnow ＝Ｉnow 、ステップＳ７⇒Ｓ８）。
となる時刻を決定し、そのフレーム画像を動作素として
蓄える（Ｎnow ＝Ｉnow 、ステップＳ７⇒Ｓ８）。
【００５２】最後に、最新の三動作素からパターン空間
中での成す角θを求め、再び上記の手順を繰り返す。以
上の処理により、ジェスチャは一連の動作素（特定ポー
ズ）を要素とする時系列に分けられる。これは、一つの
ジェスチャを複数の構成要素に分節化する操作と考える
ことができる。そこで、本実施例では、動作軌跡を多角
形近似することによって、構成要素へと分割する操作を
分節化と呼ぶことにする。
中での成す角θを求め、再び上記の手順を繰り返す。以
上の処理により、ジェスチャは一連の動作素（特定ポー
ズ）を要素とする時系列に分けられる。これは、一つの
ジェスチャを複数の構成要素に分節化する操作と考える
ことができる。そこで、本実施例では、動作軌跡を多角
形近似することによって、構成要素へと分割する操作を
分節化と呼ぶことにする。
【００５３】２．４ 動作軌跡によるジェスチャ認識方
式 多角形近似された動作軌跡の形状をフレーム毎に判定す
るため、時系列パターンの認識にしばしば用いられる典
型的な方式である連続ＤＰを用いて、あらかじめ作成し
たモデルと映像入力とを照合する。
式 多角形近似された動作軌跡の形状をフレーム毎に判定す
るため、時系列パターンの認識にしばしば用いられる典
型的な方式である連続ＤＰを用いて、あらかじめ作成し
たモデルと映像入力とを照合する。
【００５４】連続ＤＰに用いる、モデルと入力との局所
距離は次のように定義する。
距離は次のように定義する。
【００５５】
【数１３】
【００５６】ここで、ｌ（英数字エル）は隣り合う三つ
の動作素を結ぶベクトルの長さの比である。図１１は局
所距離ｄlocal の定義を示したものである。モデルと入
力それぞれについて、最新の三動作素間のユークリッド
距離の比となす角から、極座標上に写像して得られる二
点のユークリッド距離を求める。
の動作素を結ぶベクトルの長さの比である。図１１は局
所距離ｄlocal の定義を示したものである。モデルと入
力それぞれについて、最新の三動作素間のユークリッド
距離の比となす角から、極座標上に写像して得られる二
点のユークリッド距離を求める。
【００５７】局所距離をこのように定義したのは、動作
軌跡の形状は元々のパターン空間と同じ次元数をもつ曲
線であるのに対し、Ｎ個の頂点を持つ動作軌跡の多角形
近似では高々（Ｎ- １）次元にしかならず他は不定にな
ってしまうことと、リアルタイム認識の観点から、その
時刻で入手可能な情報のみを用いて、局所的な形状の一
致度を得ることが望ましいからである。
軌跡の形状は元々のパターン空間と同じ次元数をもつ曲
線であるのに対し、Ｎ個の頂点を持つ動作軌跡の多角形
近似では高々（Ｎ- １）次元にしかならず他は不定にな
ってしまうことと、リアルタイム認識の観点から、その
時刻で入手可能な情報のみを用いて、局所的な形状の一
致度を得ることが望ましいからである。
【００５８】２．５ 連続ＤＰの適用
上述の２．４節で定義した局所距離を用いて、下記の手
順で連続ＤＰを行い、動作軌跡の形状を判定する。
順で連続ＤＰを行い、動作軌跡の形状を判定する。
【００５９】まず、２．３節の分節化アルゴリズムから
得られる、最新の三動作素を用いて、長さの比ｌ（エ
ル）となす角θを求める。次に、モデルの持つ全ての動
作素について、その時刻における入力との局所距離を求
める。これに重み付けをして動作素毎に加算する。
得られる、最新の三動作素を用いて、長さの比ｌ（エ
ル）となす角θを求める。次に、モデルの持つ全ての動
作素について、その時刻における入力との局所距離を求
める。これに重み付けをして動作素毎に加算する。
【００６０】このとき、着目する動作素の前後をあわせ
た三つの内、加算時の総和が最小のものを採用する。全
動作素に対して得られた総距離は、モデルの全動作素数
で正規化する。
た三つの内、加算時の総和が最小のものを採用する。全
動作素に対して得られた総距離は、モデルの全動作素数
で正規化する。
【００６１】以上の手続きを全てのモデルについて繰り
返し、総距離が最小のものを採用する。最小距離がしき
い値以上であった場合には、該当無しと判定する。
返し、総距離が最小のものを採用する。最小距離がしき
い値以上であった場合には、該当無しと判定する。
【００６２】３：ジェスチャ認識のための予備実験
認識実験を行う前の準備として、動作軌跡の性質を確か
めるために、１） ジェスチャの分節化、２） 軌跡形
状保存の確認、３）角度と長さ比の性質、の三つの予備
実験を行った。
めるために、１） ジェスチャの分節化、２） 軌跡形
状保存の確認、３）角度と長さ比の性質、の三つの予備
実験を行った。
【００６３】
【実施例】３．１ ジェスチャ分節化実験
２．４節の分節化アルゴリズムを、図１３に示すような
動作“ByeBye（バイバイ）”に適用した結果を図１２に
示す。図１２は、動作軌跡の曲率を時系列として表示し
た結果である。この曲率時系列の極大値・極小値で動作
を分節化した結果を図１３に示す。それぞれ、各動作素
におけるフレーム画像である。
動作“ByeBye（バイバイ）”に適用した結果を図１２に
示す。図１２は、動作軌跡の曲率を時系列として表示し
た結果である。この曲率時系列の極大値・極小値で動作
を分節化した結果を図１３に示す。それぞれ、各動作素
におけるフレーム画像である。
【００６４】動作“ByeBye”は、四つの動作素から成る
繰り返し周期があることがわかる。また、腕を振る位置
に対し、両端点は、曲率時系列の極大値点に対応し、真
ん中の二点は極小値点に対応している。
繰り返し周期があることがわかる。また、腕を振る位置
に対し、両端点は、曲率時系列の極大値点に対応し、真
ん中の二点は極小値点に対応している。
【００６５】３．２ 軌跡形状の保存
図１４および図１５はバイバイ（図１３）について、長
さと角度の組を求め、二次元平面上に多角形としてプロ
ットしたものである。バイバイの一回の動作は、四つの
動作素から構成され、五角形に対応する。図１４と図１
５は同じバイバイであるが、図１４は肘がほぼ肩と同じ
高さの時のものであり、図１５は肘が最も低い位置まで
下がった時のものである。ともに、ほぼ合同の五角形で
あることから、ジェスチャの位置が移動しても、軌跡形
状は保存されていることを示していると考えられる。
さと角度の組を求め、二次元平面上に多角形としてプロ
ットしたものである。バイバイの一回の動作は、四つの
動作素から構成され、五角形に対応する。図１４と図１
５は同じバイバイであるが、図１４は肘がほぼ肩と同じ
高さの時のものであり、図１５は肘が最も低い位置まで
下がった時のものである。ともに、ほぼ合同の五角形で
あることから、ジェスチャの位置が移動しても、軌跡形
状は保存されていることを示していると考えられる。
【００６６】３．３ 角度と長さの比の性質
ジェスチャ認識のための予備実験として、局所距離の算
出に用いる、三つの動作素が成す角と長さの比につい
て、性質を調べた。図１６は、局所距離算出に用いた角
度と長さ比の変動を一つのグラフにまとめたものであ
る。このグラフから、これら二つの特徴量は、ともに、
動作素と同一周期で変動していることがわかる。
出に用いる、三つの動作素が成す角と長さの比につい
て、性質を調べた。図１６は、局所距離算出に用いた角
度と長さ比の変動を一つのグラフにまとめたものであ
る。このグラフから、これら二つの特徴量は、ともに、
動作素と同一周期で変動していることがわかる。
【００６７】両者の関係を散布図として示したものが、
図１７である。相関があることがわかるが、一次ではな
いことから、角度と長さ比を組み合わせることの有効性
が期待できる。
図１７である。相関があることがわかるが、一次ではな
いことから、角度と長さ比を組み合わせることの有効性
が期待できる。
【００６８】本実施例では、ジェスチャ認識のための新
しい特徴量（特徴パラメータ）である、動作軌跡につい
て提案した。いくつかの予備実験の結果から、フレーム
画像における対象者の位置や大きさを正確に補正できな
いような場合でも、これに対応する可能性を示すことが
できたと考える。
しい特徴量（特徴パラメータ）である、動作軌跡につい
て提案した。いくつかの予備実験の結果から、フレーム
画像における対象者の位置や大きさを正確に補正できな
いような場合でも、これに対応する可能性を示すことが
できたと考える。
【００６９】また、動作軌跡の幾何学的な性質から、ジ
ェスチャをその構成要素である動作素へ分節化できるこ
とを示した。これにより、動作そのものの変動に適応す
るだけでなく、人間の動作にコンピュータがタイミング
をあわせて動作するといった新たな機能（例：指揮にあ
わせて、音楽を演奏する等）が実現できる可能性もと考
えられる。
ェスチャをその構成要素である動作素へ分節化できるこ
とを示した。これにより、動作そのものの変動に適応す
るだけでなく、人間の動作にコンピュータがタイミング
をあわせて動作するといった新たな機能（例：指揮にあ
わせて、音楽を演奏する等）が実現できる可能性もと考
えられる。
【００７０】
【発明の効果】以上説明したように、請求項１の発明で
は、フレーム画像の時系列的な変化をベクトルと考えた
場合、フレーム画像を点として扱うことができる。動画
を構成するフレーム画像に対応させて上記点の動作軌跡
が同一種のジェスチャの特徴をその位置の影響を受ける
ことなく、表す。これによりジェスチャの標準パターン
の個数を減じ、認識処理の高速化、および認識精度の向
上に寄与することができる。
は、フレーム画像の時系列的な変化をベクトルと考えた
場合、フレーム画像を点として扱うことができる。動画
を構成するフレーム画像に対応させて上記点の動作軌跡
が同一種のジェスチャの特徴をその位置の影響を受ける
ことなく、表す。これによりジェスチャの標準パターン
の個数を減じ、認識処理の高速化、および認識精度の向
上に寄与することができる。
【００７１】請求項２の発明では、動作軌跡を多角形に
近似することで、認識精度を落とさず、かつ、動作軌跡
の取得処理を簡素化することができる。
近似することで、認識精度を落とさず、かつ、動作軌跡
の取得処理を簡素化することができる。
【００７２】請求項３の発明では、代表的な点を曲率の
極大、極小となる点とすることで人手に頼らず、自動的
に動作軌跡を分割することができる。
極大、極小となる点とすることで人手に頼らず、自動的
に動作軌跡を分割することができる。
【００７３】請求項４の発明では、連続ＤＰの手法によ
り動作軌跡についての特徴パラメータの比較を行うこと
により、動画像のような３時限的に変化するジェスチャ
動画像についてもパターンマッチングが可能となる。
り動作軌跡についての特徴パラメータの比較を行うこと
により、動画像のような３時限的に変化するジェスチャ
動画像についてもパターンマッチングが可能となる。
【図１】ジェスチャ認識装置の代表的なシステム構成を
示すブロック図である。
示すブロック図である。
【図２】本発明の原理を示す説明図である。
【図３】本発明の原理を示す説明図である。
【図４】本発明の原理を示す説明図である。
【図５】本発明の原理を示す説明図である。
【図６】動画像と動作軌跡の関係を示す説明図である。
【図７】動画像と動作軌跡の関係を示す説明図である。
【図８】実験に用いたジェスチャを示す説明図である。
【図９】動作軌跡を示す波形図である。
【図１０】本実施例の処理内容を示すフローチャートで
ある。
ある。
【図１１】局所距離を示す説明図である。
【図１２】動作軌跡の局率を示す特性図である。
【図１３】ジェスチャの内容を示す説明図である。
【図１４】動作軌跡を示す説明図である。
【図１５】動作軌跡を示す説明図である。
【図１６】２回の動作軌跡の認識結果を示す特性図であ
る。
る。
【図１７】２回の動作軌跡の認識結果を示す散布図であ
る。
る。
１０ 画像処理装置
１１ フレームグラバ
１２ リアルタイムディスク
１３ ＴＶカメラ
１４ リライタブルＬＤ
１５ ＶＴＲ
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 岡 隆一
茨城県つくば市竹園１丁目６番１号 つ
くば三井ビル 技術研究組合新情報処理
開発機構 つくば研究センタ内
(56)参考文献 特開 平６−12493（ＪＰ，Ａ)
特開 平７−175587（ＪＰ，Ａ)
特開 平３−282896（ＪＰ，Ａ)
特開 平７−114621（ＪＰ，Ａ)
特開 平７−73289（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G06T 1/00
H04N 7/18
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (4)
- 【請求項１】 ジェスチャを撮像して得られる動画像か
ら画像処理装置により特徴パラメータを抽出し、基準パ
ターンを作成しておき、認識対象の動画像から前記特徴
パラメータを抽出し、当該抽出された特徴パラメータと
前記基準パターンの特徴パラメータとを比較することに
よりジェスチャの認識を行うジェスチャ動画像認識方法
において、 前記動画像を構成する複数のフレーム画像の各々をベク
トル空間上の点とみなし、 当該点により形成する動作軌跡を前記特徴パラメータと
することを特徴とするジェスチャ動画像認識方法。 - 【請求項２】 前記動作軌跡の軌跡形状を特徴づける代
表的な点を複数選択し、当該代表的な点を頂点とする多
角形で、前記動作軌跡を近似することを特徴とする請求
項１に記載のジェスチャ動画像認識方法。 - 【請求項３】 前記動作軌跡の曲率の極大および極小点
に基づいて前記代表的な点を決定することを特徴とする
請求項２に記載のジェスチャ動画像認識方法。 - 【請求項４】 請求項１に記載の特徴パラメータの比較
に連続ＤＰの手法を用いることを特徴とする請求項３に
記載のジェスチャ動画像認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04751096A JP3426076B2 (ja) | 1996-03-05 | 1996-03-05 | ジェスチャ動画像認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04751096A JP3426076B2 (ja) | 1996-03-05 | 1996-03-05 | ジェスチャ動画像認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09245178A JPH09245178A (ja) | 1997-09-19 |
| JP3426076B2 true JP3426076B2 (ja) | 2003-07-14 |
Family
ID=12777117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04751096A Expired - Lifetime JP3426076B2 (ja) | 1996-03-05 | 1996-03-05 | ジェスチャ動画像認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3426076B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4569555B2 (ja) * | 2005-12-14 | 2010-10-27 | 日本ビクター株式会社 | 電子機器 |
| CN113071438B (zh) * | 2020-01-06 | 2023-03-24 | 北京地平线机器人技术研发有限公司 | 控制指令的生成方法和装置、存储介质、电子设备 |
| CN111242084B (zh) * | 2020-01-21 | 2023-09-08 | 深圳市优必选科技股份有限公司 | 机器人控制方法、装置、机器人及计算机可读存储介质 |
-
1996
- 1996-03-05 JP JP04751096A patent/JP3426076B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09245178A (ja) | 1997-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Heap et al. | Towards 3D hand tracking using a deformable model | |
| US10949649B2 (en) | Real-time tracking of facial features in unconstrained video | |
| Park et al. | Articulated pose estimation with tiny synthetic videos | |
| US7095879B2 (en) | System and method for face recognition using synthesized images | |
| Allaert et al. | Micro and macro facial expression recognition using advanced local motion patterns | |
| Arcoverde Neto et al. | Enhanced real-time head pose estimation system for mobile device | |
| US11282257B2 (en) | Pose selection and animation of characters using video data and training techniques | |
| Ratan et al. | Object detection and localization by dynamic template warping | |
| Yin et al. | Analyzing facial expressions using intensity-variant 3D data for human computer interaction | |
| Bernogger et al. | Eye tracking and animation for mpeg-4 coding | |
| Lee et al. | Hierarchical active shape model with motion prediction for real-time tracking of non-rigid objects | |
| JP5503510B2 (ja) | 姿勢推定装置および姿勢推定プログラム | |
| KR101350387B1 (ko) | 깊이 정보를 이용한 손 검출 방법 및 그 장치 | |
| JP2007141107A (ja) | 画像処理装置およびその方法 | |
| US11361467B2 (en) | Pose selection and animation of characters using video data and training techniques | |
| JP3426076B2 (ja) | ジェスチャ動画像認識方法 | |
| JPH103544A (ja) | ジェスチャ認識装置 | |
| WO2021026281A1 (en) | Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms | |
| JP3940690B2 (ja) | 画像処理装置及びその方法 | |
| Kölsch | An appearance-based prior for hand tracking | |
| Shen et al. | View-invariant recognition of body pose from space-time templates | |
| Garcia et al. | Automatic detection of heads in colored images | |
| JPH10162151A (ja) | ジェスチャー認識方法 | |
| De Beugher et al. | Semi-automatic hand annotation making human-human interaction analysis fast and accurate | |
| Ouhyoung et al. | Unconventional approaches for facial animation and tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080509 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080509 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090509 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090509 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090509 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090509 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090509 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100509 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100509 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120509 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 10 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 10 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |