JP2868449B2 - 手振り認識装置 - Google Patents
手振り認識装置Info
- Publication number
- JP2868449B2 JP2868449B2 JP7334860A JP33486095A JP2868449B2 JP 2868449 B2 JP2868449 B2 JP 2868449B2 JP 7334860 A JP7334860 A JP 7334860A JP 33486095 A JP33486095 A JP 33486095A JP 2868449 B2 JP2868449 B2 JP 2868449B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- image
- wrist
- candidate
- gravity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Description
【０００１】
【発明の属する技術分野】この発明は手振り認識装置に
関し、さらに詳しくは、スケルトン画像を用いた多数カ
メラによる手振り認識装置に関する。
関し、さらに詳しくは、スケルトン画像を用いた多数カ
メラによる手振り認識装置に関する。
【０００２】
【従来の技術】コンピュータ装置を用いて仮想環境を表
示しかつそれと相互作用するための技術である仮想現実
は最近非常に人気のある研究分野となってきている。仮
想環境において最も重要な点は、表示された情報が人間
の行為（たとえば頭の動きまたは音声）に応じて変更で
きるということである。このような特性は人間と機械の
相互作用の古典的な研究においても既に調査されてきた
が、その応用は非常に限られていた。仮想環境システム
において、実環境の多くのメタファが相互作用の手段と
して活発に用いられている。たとえば、多くの仮想環境
表示システムにおいて、ユーザは頭の位置を変えること
で表示された物体を別の方向から見ることができ、また
より近い距離からその物体を見たければ、ユーザはその
物体を掴み移動することができる。言い換えれば、ユー
ザは環境に没入することができる。このような仮想環境
システムの一例がＶＳＴ（臨場感通信会議）である（Fu
mioKishino, Jun Ohya, Haruo Takemura and Nobuyoshi
Terashima,“Virtual Space Teleconferencing System
−Real Time Detection and Reproduction of 3-DHuma
n images, ”HCI International' 93, pp.669-674 ，19
93）。
示しかつそれと相互作用するための技術である仮想現実
は最近非常に人気のある研究分野となってきている。仮
想環境において最も重要な点は、表示された情報が人間
の行為（たとえば頭の動きまたは音声）に応じて変更で
きるということである。このような特性は人間と機械の
相互作用の古典的な研究においても既に調査されてきた
が、その応用は非常に限られていた。仮想環境システム
において、実環境の多くのメタファが相互作用の手段と
して活発に用いられている。たとえば、多くの仮想環境
表示システムにおいて、ユーザは頭の位置を変えること
で表示された物体を別の方向から見ることができ、また
より近い距離からその物体を見たければ、ユーザはその
物体を掴み移動することができる。言い換えれば、ユー
ザは環境に没入することができる。このような仮想環境
システムの一例がＶＳＴ（臨場感通信会議）である（Fu
mioKishino, Jun Ohya, Haruo Takemura and Nobuyoshi
Terashima,“Virtual Space Teleconferencing System
−Real Time Detection and Reproduction of 3-DHuma
n images, ”HCI International' 93, pp.669-674 ，19
93）。
【０００３】ＨＭＤ（ヘッドマウンティッドディスプレ
イ）および手袋システム（たとえばデータグローブ（商
標）またはサイバーグローブ（商標））は仮想空間提示
システムでよく用いられる装置である。これら接触型の
装置の多くは商業製品であり、仮想環境に関する研究の
多くがこのような装置を利用している。
イ）および手袋システム（たとえばデータグローブ（商
標）またはサイバーグローブ（商標））は仮想空間提示
システムでよく用いられる装置である。これら接触型の
装置の多くは商業製品であり、仮想環境に関する研究の
多くがこのような装置を利用している。
【０００４】
【発明が解決しようとする課題】しかしながら、このよ
うな接触型の装置は着脱が厄介であり、使用のたびごと
に調整を必要とするという問題があった。また、このよ
うな装備は人間の身体と接触するので、ユーザの没入を
妨害する恐れがあり、このため実環境との差が強調され
るという問題があった。また、見ための差が特に透視型
の環境で知覚の不一致を生じさせるという問題があっ
た。さらに、装備の重さがしばしばユーザを疲れさせる
という問題があった。
うな接触型の装置は着脱が厄介であり、使用のたびごと
に調整を必要とするという問題があった。また、このよ
うな装備は人間の身体と接触するので、ユーザの没入を
妨害する恐れがあり、このため実環境との差が強調され
るという問題があった。また、見ための差が特に透視型
の環境で知覚の不一致を生じさせるという問題があっ
た。さらに、装備の重さがしばしばユーザを疲れさせる
という問題があった。
【０００５】そこで、非接触型の装置を用いて同一の機
能を達成する研究が活発となってきている。画像処理技
術を用いて、人間の動きを非接触型で検出することがこ
のような研究の焦点である。たとえば、多数カメラを用
いた非接触型手振り検出システムの研究もいくつかの場
所でなされている。このように仮想環境の研究に関心が
高まるとともに、非接触型手振り検出の研究もまた増加
している。
能を達成する研究が活発となってきている。画像処理技
術を用いて、人間の動きを非接触型で検出することがこ
のような研究の焦点である。たとえば、多数カメラを用
いた非接触型手振り検出システムの研究もいくつかの場
所でなされている。このように仮想環境の研究に関心が
高まるとともに、非接触型手振り検出の研究もまた増加
している。
【０００６】岡村らは各手振りに対応する特徴（たとえ
ば指の長さ等）のデータベースを作成し、検出された特
徴をデータベースと照合するシステムを構築した。この
システムは手振り（手話）に基づいた相互作用に用いる
ことができるが、３次元のポインティング操作をめざし
たものではない（岡村泉，隈元昭，非接触手形状認識と
その応用，信学技報 HC93-6, pp. 31-38, 1993）。これ
に対して、シポラ（Cipolla ）のシステムは「ポインテ
ィング動作」を強くめざしたものであるため、指の曲げ
については考慮していない（Roberto Cipolla, Paul A.
Hadfield andNicholas J. Hollinghurst, “Uncalibra
ted Stereo Vision with Pointing fora Man-Machine I
nterface, ”Proc. of IAPR Workshop on Machine Visi
on Applications, pp.163-166,1994） 中嶋らは指のスケルトン構造のモデルを用いた身振り認
識システムを提案している（Masayuki Nakajima and Hi
rokuni Shiba, “A Study on Detecting Finger Motion
to Realize a Virtual World,” Trans. Inst. Elec.
Inf. Com. Eng.Japan, Vol.J77-DII, No. 8, pp.1562-1
570, 1994）。このシステムは検出された指先と指のつ
け根点とから指の位置を抽出している。しかしながら、
このシステムでは検出のためユーザの手にカラーマーカ
を付ける必要があり、また単眼システムであるため復元
の正確さが制限される。なお、画像のスケルトンは距離
変換した画像の極大点の集合である。距離変換は一般的
な型の画像処理であって、早いアルゴリズムが多く研究
されている（Gunilla Borgefors, “TiME: Time and M
emory Efficient Distance Transformations for Paral
lel and Pyramid Machines, ”FOA Report C 30531-3.
4, Swedish Defense Research Eatablishment, 198
9）。
ば指の長さ等）のデータベースを作成し、検出された特
徴をデータベースと照合するシステムを構築した。この
システムは手振り（手話）に基づいた相互作用に用いる
ことができるが、３次元のポインティング操作をめざし
たものではない（岡村泉，隈元昭，非接触手形状認識と
その応用，信学技報 HC93-6, pp. 31-38, 1993）。これ
に対して、シポラ（Cipolla ）のシステムは「ポインテ
ィング動作」を強くめざしたものであるため、指の曲げ
については考慮していない（Roberto Cipolla, Paul A.
Hadfield andNicholas J. Hollinghurst, “Uncalibra
ted Stereo Vision with Pointing fora Man-Machine I
nterface, ”Proc. of IAPR Workshop on Machine Visi
on Applications, pp.163-166,1994） 中嶋らは指のスケルトン構造のモデルを用いた身振り認
識システムを提案している（Masayuki Nakajima and Hi
rokuni Shiba, “A Study on Detecting Finger Motion
to Realize a Virtual World,” Trans. Inst. Elec.
Inf. Com. Eng.Japan, Vol.J77-DII, No. 8, pp.1562-1
570, 1994）。このシステムは検出された指先と指のつ
け根点とから指の位置を抽出している。しかしながら、
このシステムでは検出のためユーザの手にカラーマーカ
を付ける必要があり、また単眼システムであるため復元
の正確さが制限される。なお、画像のスケルトンは距離
変換した画像の極大点の集合である。距離変換は一般的
な型の画像処理であって、早いアルゴリズムが多く研究
されている（Gunilla Borgefors, “TiME: Time and M
emory Efficient Distance Transformations for Paral
lel and Pyramid Machines, ”FOA Report C 30531-3.
4, Swedish Defense Research Eatablishment, 198
9）。
【０００７】岩井らは時系列の２値画像を用いて単眼で
３次元復元を行なった。この方法は多フレーム間の対応
づけによる姿勢復元が可能であるが、累積誤差が大きく
なる。
３次元復元を行なった。この方法は多フレーム間の対応
づけによる姿勢復元が可能であるが、累積誤差が大きく
なる。
【０００８】他方で、本出願人は比較的検出が容易な特
徴点（たとえば手の重心および指先点）を用いた双眼の
手振り検出システムを構築した。このシステムでは手に
マーカを付ける必要がなく、動きの再構築を含むプロセ
スは高速で実現できる（特開平７−２３９２１３号公報
／石淵ほか、画像処理を用いた実時間手形状認識とマン
マシンインタフェースへの応用、電子情報通信学会秋季
大会予稿集, pp.1-132-1-132, 1991／石淵ほか、パイプ
ライン型画像処理装置を用いた実時間手形状認識、電子
情報通信学会春季大会予稿集, pp.1-291-1-291, 199
2）。しかしながら、このシステムは、重心検出プロセ
スにおいて画像内の手の領域が他の領域から分離されて
いることを前提としていた（Koichi Ishibuchi, Haruo
Takemura andFumio Kishino, “Real Time Hand Gestur
e Recognition using 3D PredictionModel, ”Internat
ional Conference on Systems, Man and Cybernetics,
pp.324-328, 1993）。すなわち、ユーザが半袖の服を着
ている場合のように腕部分が掌と同一領域として得られ
た場合は手振りを正確に認識できないという問題があっ
た。
徴点（たとえば手の重心および指先点）を用いた双眼の
手振り検出システムを構築した。このシステムでは手に
マーカを付ける必要がなく、動きの再構築を含むプロセ
スは高速で実現できる（特開平７−２３９２１３号公報
／石淵ほか、画像処理を用いた実時間手形状認識とマン
マシンインタフェースへの応用、電子情報通信学会秋季
大会予稿集, pp.1-132-1-132, 1991／石淵ほか、パイプ
ライン型画像処理装置を用いた実時間手形状認識、電子
情報通信学会春季大会予稿集, pp.1-291-1-291, 199
2）。しかしながら、このシステムは、重心検出プロセ
スにおいて画像内の手の領域が他の領域から分離されて
いることを前提としていた（Koichi Ishibuchi, Haruo
Takemura andFumio Kishino, “Real Time Hand Gestur
e Recognition using 3D PredictionModel, ”Internat
ional Conference on Systems, Man and Cybernetics,
pp.324-328, 1993）。すなわち、ユーザが半袖の服を着
ている場合のように腕部分が掌と同一領域として得られ
た場合は手振りを正確に認識できないという問題があっ
た。
【０００９】この発明は上述した問題点を解決するため
になされたもので、スケルトンベースで非接触型の手振
り認識装置を提供することを目的とする。
になされたもので、スケルトンベースで非接触型の手振
り認識装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】この発明に従うと、手の
姿勢を実時間で認識する手振り認識装置は、第１および
第２の撮影手段と、第１および第２の２値化手段と、第
１および第２の距離変換手段と、第１および第２の射影
手段と、第１および第２の極大点検出手段と、第１およ
び第２の極小点検出手段と、重心候補決定手段と、手首
候補決定手段と、スコアリング手段と、重心手首決定手
段とを備える。第１の撮影手段は手を撮影する。第２の
撮影手段は第１の撮影手段と異なる角度から手を撮影す
る。第１の２値化手段は第１の撮影手段によって撮影さ
れた手の画像を２値化する。第２の２値化手段は第２の
撮影手段によって撮影された手の画像を２値化する。第
１の距離変換手段は、第１の２値化手段によって２値化
された手の画像を構成する画素の各々から手の画像の輪
郭までの距離を示す距離変換値を算出する。第２の距離
変換手段は、第２の２値化手段によって２値化された手
の画像を構成する画素の各々から手の画像の輪郭までの
距離を示す距離変換値を算出する。第１の射影手段は、
第１の２値化手段によって２値化された手の画像の幅を
示す射影値を算出する。第２の射影手段は、第２の２値
化手段によって２値化された手の画像の幅を示す射影値
を算出する。第１の極大点検出手段は、第１の距離変換
手段によって算出された距離変換値の極大点を検出す
る。第２の極大点検出手段は、第２の距離変換手段によ
って算出された距離変換値の極大点を検出する。第１の
極小点検出手段は、第１の射影手段によって算出された
射影値の極小点を検出する。第２の極小点検出手段は、
第２の射影手段によって算出された射影値の極小点を検
出する。重心候補決定手段は、第１および第２の極大点
検出手段からの極大点に基づいて３次元空間における重
心候補を決定する。手首候補決定手段は、第１および第
２の極小点検出手段からの極小点に基づいて３次元空間
における手首候補を決定する。スコアリング手段は、決
定された重心候補および手首候補に順次確信度を与え
る。重心手首決定手段は、決定された重心候補および手
首候補のうち最大の確信度が与えられたものに基づいて
手の重心および手首の位置を決定する。
姿勢を実時間で認識する手振り認識装置は、第１および
第２の撮影手段と、第１および第２の２値化手段と、第
１および第２の距離変換手段と、第１および第２の射影
手段と、第１および第２の極大点検出手段と、第１およ
び第２の極小点検出手段と、重心候補決定手段と、手首
候補決定手段と、スコアリング手段と、重心手首決定手
段とを備える。第１の撮影手段は手を撮影する。第２の
撮影手段は第１の撮影手段と異なる角度から手を撮影す
る。第１の２値化手段は第１の撮影手段によって撮影さ
れた手の画像を２値化する。第２の２値化手段は第２の
撮影手段によって撮影された手の画像を２値化する。第
１の距離変換手段は、第１の２値化手段によって２値化
された手の画像を構成する画素の各々から手の画像の輪
郭までの距離を示す距離変換値を算出する。第２の距離
変換手段は、第２の２値化手段によって２値化された手
の画像を構成する画素の各々から手の画像の輪郭までの
距離を示す距離変換値を算出する。第１の射影手段は、
第１の２値化手段によって２値化された手の画像の幅を
示す射影値を算出する。第２の射影手段は、第２の２値
化手段によって２値化された手の画像の幅を示す射影値
を算出する。第１の極大点検出手段は、第１の距離変換
手段によって算出された距離変換値の極大点を検出す
る。第２の極大点検出手段は、第２の距離変換手段によ
って算出された距離変換値の極大点を検出する。第１の
極小点検出手段は、第１の射影手段によって算出された
射影値の極小点を検出する。第２の極小点検出手段は、
第２の射影手段によって算出された射影値の極小点を検
出する。重心候補決定手段は、第１および第２の極大点
検出手段からの極大点に基づいて３次元空間における重
心候補を決定する。手首候補決定手段は、第１および第
２の極小点検出手段からの極小点に基づいて３次元空間
における手首候補を決定する。スコアリング手段は、決
定された重心候補および手首候補に順次確信度を与え
る。重心手首決定手段は、決定された重心候補および手
首候補のうち最大の確信度が与えられたものに基づいて
手の重心および手首の位置を決定する。
【００１１】
【発明の実施の形態】以下、この発明の実施の形態を図
面を参照して詳しく説明する。なお、図中同一符号は同
一または相当部分を示す。
面を参照して詳しく説明する。なお、図中同一符号は同
一または相当部分を示す。
【００１２】ここでは、ビジョンベースの手振り認識装
置を説明する。この装置は手の重心と指先点とからなる
平面モデルによって手振りを表現する。これらの参照点
は他の点（たとえば指のつけ根点）に比べ比較的安定で
容易に検出できる。しかしながら、従来は重心検出プロ
セスにおいて手の領域が他の領域から分離されているこ
とを前提としてきたために、たとえば手の領域が腕の領
域と連続している場合には検出が不安定になることがあ
る。さらに、掌方向の特定の範囲内で生じる指のオクル
ージョンが角度の検出を不安定にする。ここで提示する
手振り認識装置は、複数カメラシステムによって検出さ
れた手のスケルトン画像を用いることで前者の問題を解
決する。この装置は重心として多くの候補を挙げ、その
属性に従って候補を選択する。多数カメラシステムはま
た後者の問題を解決する（AkiraUtsumi, Tsutomu Miyas
ato and Fumio Kishino, “Real Time Hand Pose Recog
nitoin using Multiple cameras, ”Proc. of 1995 IEI
CE General Conference,PP.A-260,1995 ）。
置を説明する。この装置は手の重心と指先点とからなる
平面モデルによって手振りを表現する。これらの参照点
は他の点（たとえば指のつけ根点）に比べ比較的安定で
容易に検出できる。しかしながら、従来は重心検出プロ
セスにおいて手の領域が他の領域から分離されているこ
とを前提としてきたために、たとえば手の領域が腕の領
域と連続している場合には検出が不安定になることがあ
る。さらに、掌方向の特定の範囲内で生じる指のオクル
ージョンが角度の検出を不安定にする。ここで提示する
手振り認識装置は、複数カメラシステムによって検出さ
れた手のスケルトン画像を用いることで前者の問題を解
決する。この装置は重心として多くの候補を挙げ、その
属性に従って候補を選択する。多数カメラシステムはま
た後者の問題を解決する（AkiraUtsumi, Tsutomu Miyas
ato and Fumio Kishino, “Real Time Hand Pose Recog
nitoin using Multiple cameras, ”Proc. of 1995 IEI
CE General Conference,PP.A-260,1995 ）。
【００１３】また、この装置においては、２台以上のカ
メラが異なった場所に置かれ、手の画像が選択された２
台のカメラで捉えられる。手の重心と手首との候補が手
のシルエット画像より検出される。得点付けのメカニズ
ムによって、これらの候補のうち「真の」１つを選択す
る。候補の得点付けは重心−手首対の各々の特徴（たと
えばスケルトンの強度、３次元復元の品質等）に基づい
て行なわれる。選択の後、３−Ｄ空間内の重心と指先点
とから「手の平面」を決定することができる。
メラが異なった場所に置かれ、手の画像が選択された２
台のカメラで捉えられる。手の重心と手首との候補が手
のシルエット画像より検出される。得点付けのメカニズ
ムによって、これらの候補のうち「真の」１つを選択す
る。候補の得点付けは重心−手首対の各々の特徴（たと
えばスケルトンの強度、３次元復元の品質等）に基づい
て行なわれる。選択の後、３−Ｄ空間内の重心と指先点
とから「手の平面」を決定することができる。
【００１４】特徴点のオクルージョンは検出の不安定さ
を引き起こす。この装置では多数カメラから画像を適合
させて選択することにより、この不安定さを減じる。こ
の選択は先行するフレームより検出された掌の角度に基
づいて行なわれる。
を引き起こす。この装置では多数カメラから画像を適合
させて選択することにより、この不安定さを減じる。こ
の選択は先行するフレームより検出された掌の角度に基
づいて行なわれる。
【００１５】１．手のモデル この手振り認識装置では、手振りを図２に示されるよう
なモデルで表わす。すべての特徴点（重心２０１、手の
方向２０２および指先点２０４）が「手の平面２０３」
と呼ぶ面に置かれていると仮定する。この手の平面２０
３を特徴点から３次元空間で決定することができる。手
の位置と方向とは入力された２次元画像からとられた手
の重心２０１と主軸（２０２）とにそれぞれ基づいて表
現される。
なモデルで表わす。すべての特徴点（重心２０１、手の
方向２０２および指先点２０４）が「手の平面２０３」
と呼ぶ面に置かれていると仮定する。この手の平面２０
３を特徴点から３次元空間で決定することができる。手
の位置と方向とは入力された２次元画像からとられた手
の重心２０１と主軸（２０２）とにそれぞれ基づいて表
現される。
【００１６】これら２つの量は簡単な画像処理で測定す
ることができる。測定は照明状態のノイズまたは変動に
対して安定である。この結果、この装置はこれらをロバ
スト性をもって捉えることができる。重心２０１は次に
説明されるスケルトンベースの方法で導き出される。
ることができる。測定は照明状態のノイズまたは変動に
対して安定である。この結果、この装置はこれらをロバ
スト性をもって捉えることができる。重心２０１は次に
説明されるスケルトンベースの方法で導き出される。
【００１７】指先点２０４の各々が画像から検出され、
その３次元の位置が３次元復元を用いて計算される。手
の平面２０３はすべての指先点２０４をほぼ含むように
決定される。最後に、重心２０１、手の方向２０２およ
び指先点２０４を用いて手振りが表現される。
その３次元の位置が３次元復元を用いて計算される。手
の平面２０３はすべての指先点２０４をほぼ含むように
決定される。最後に、重心２０１、手の方向２０２およ
び指先点２０４を用いて手振りが表現される。
【００１８】２．全体構成 図３は、この発明の実施の形態による手振り認識装置の
全体構成を示すブロック図である。図３を参照して、こ
の手振り認識装置は、手を左側から撮影するカメラ１０
１Ｌと、同じ手を右側から撮影するカメラ１０１Ｒと、
カメラ１０１Ｌによって得られた画像を２値化する２値
化部１０２Ｌと、カメラ１０１Ｒによって得られた画像
を２値化する２値化部１０２Ｒと、２値化部１０２Ｌに
よって２値化された画像を処理する画像処理部３０１Ｌ
と、２値化部１０２Ｒによって２値化された画像を処理
する画像処理部３０１Ｒとを備える。
全体構成を示すブロック図である。図３を参照して、こ
の手振り認識装置は、手を左側から撮影するカメラ１０
１Ｌと、同じ手を右側から撮影するカメラ１０１Ｒと、
カメラ１０１Ｌによって得られた画像を２値化する２値
化部１０２Ｌと、カメラ１０１Ｒによって得られた画像
を２値化する２値化部１０２Ｒと、２値化部１０２Ｌに
よって２値化された画像を処理する画像処理部３０１Ｌ
と、２値化部１０２Ｒによって２値化された画像を処理
する画像処理部３０１Ｒとを備える。
【００１９】ここで、画像処理部３０１Ｌは、２値化さ
れた画像中の色情報および輝度情報を用いてその画像中
から肌色領域を切り出す領域分割部３０２Ｌと、ソーベ
ル（Sobel ）フィルタを用いてその切り出された画像の
エッジを検出するエッジ検出部３０３Ｌと、その検出さ
れたエッジに基づき手の方向（主軸）を検出する主軸検
出部３０４Ｌと、その検出された主軸に基づいて指先が
上方を向くよう画像を回転させる回転変換部３０５Ｌ
と、その回転させられた画像から指先点２０４を検出す
る指先点検出部３０６Ｌと、領域分割部３０２Ｌからの
切り出された画像の距離変換および射影を行なう距離変
換および射影部３０７Ｌとを備える。したがって、この
画像処理部３０１Ｌは、手の左側から撮られた画像に基
づいて主軸と指先点と距離変換画像と射影画像とを出力
する。距離変換および射影の詳細は後述する。
れた画像中の色情報および輝度情報を用いてその画像中
から肌色領域を切り出す領域分割部３０２Ｌと、ソーベ
ル（Sobel ）フィルタを用いてその切り出された画像の
エッジを検出するエッジ検出部３０３Ｌと、その検出さ
れたエッジに基づき手の方向（主軸）を検出する主軸検
出部３０４Ｌと、その検出された主軸に基づいて指先が
上方を向くよう画像を回転させる回転変換部３０５Ｌ
と、その回転させられた画像から指先点２０４を検出す
る指先点検出部３０６Ｌと、領域分割部３０２Ｌからの
切り出された画像の距離変換および射影を行なう距離変
換および射影部３０７Ｌとを備える。したがって、この
画像処理部３０１Ｌは、手の左側から撮られた画像に基
づいて主軸と指先点と距離変換画像と射影画像とを出力
する。距離変換および射影の詳細は後述する。
【００２０】また、画像処理部３０１Ｒは画像処理部３
０１Ｌと同様に構成される。したがって、画像処理部３
０１Ｒは、手の右側から撮られた画像に基づいて主軸と
指先点と距離変換画像と射影画像とを出力する。
０１Ｌと同様に構成される。したがって、画像処理部３
０１Ｒは、手の右側から撮られた画像に基づいて主軸と
指先点と距離変換画像と射影画像とを出力する。
【００２１】この手振り認識装置はさらに、画像処理部
３０１Ｌからの距離変換画像および射影画像と画像処理
部３０１Ｒからの距離変換画像および射影画像とに基づ
いて３次元空間における手の重心２０１と手首の位置と
を検出する重心手首検出部１１１と、画像処理部３０１
Ｌからの主軸および指先点、画像処理部３０１Ｒからの
主軸および指先点、ならびに重心手首検出部１１１から
の手の重心および手首の位置に基づいて、手振りを予測
する手振り予測部３０８と、最終的に指の曲げを検出す
る指曲げ検出部３０９とを備える。
３０１Ｌからの距離変換画像および射影画像と画像処理
部３０１Ｒからの距離変換画像および射影画像とに基づ
いて３次元空間における手の重心２０１と手首の位置と
を検出する重心手首検出部１１１と、画像処理部３０１
Ｌからの主軸および指先点、画像処理部３０１Ｒからの
主軸および指先点、ならびに重心手首検出部１１１から
の手の重心および手首の位置に基づいて、手振りを予測
する手振り予測部３０８と、最終的に指の曲げを検出す
る指曲げ検出部３０９とを備える。
【００２２】３．画像処理 この装置は複数の位置にあるカメラから２つのカメラ１
０１Ｌ，１０１Ｒを自動的に選択する。この選択はカメ
ラの軸の各々と手の法線の方向との角度に基づいて行な
われる。安定した処理のためには、これらの角度が小さ
い方が良い。以下の説明では、２つの適切なカメラ１０
１Ｌ，１０１Ｒが選択され、カメラ１０１Ｌ，１０１Ｒ
からの２つの画像が与えられているとする。
０１Ｌ，１０１Ｒを自動的に選択する。この選択はカメ
ラの軸の各々と手の法線の方向との角度に基づいて行な
われる。安定した処理のためには、これらの角度が小さ
い方が良い。以下の説明では、２つの適切なカメラ１０
１Ｌ，１０１Ｒが選択され、カメラ１０１Ｌ，１０１Ｒ
からの２つの画像が与えられているとする。
【００２３】領域分割部３０２Ｌにおいて、入力画像の
各々の肌領域が、色と強度の情報を用いて他の領域から
分離される。主軸検出部３０４Ｌにおいてはエッジ検出
部３０３Ｌで検出されたエッジセグメントの主軸を手の
方向とみなし、回転変換部３０５Ｌでは画像の軸が垂直
軸と一致するように回転させる。指先点検出部３０６Ｌ
では、指先点２０４が入力された２値画像から抽出され
る。距離変換および射影部３０７Ｌでは距離変換された
画像と、画像の水平方向射影が得られる。
各々の肌領域が、色と強度の情報を用いて他の領域から
分離される。主軸検出部３０４Ｌにおいてはエッジ検出
部３０３Ｌで検出されたエッジセグメントの主軸を手の
方向とみなし、回転変換部３０５Ｌでは画像の軸が垂直
軸と一致するように回転させる。指先点検出部３０６Ｌ
では、指先点２０４が入力された２値画像から抽出され
る。距離変換および射影部３０７Ｌでは距離変換された
画像と、画像の水平方向射影が得られる。
【００２４】重心手首検出部１１１では、特徴点、すな
わち重心の候補として距離変換された画像の極大点、手
首点の候補として射影の極小点が抽出される。図４はこ
の重心手首検出部１１１の構成を示す。ここでは、右と
左のカメラ１０１Ｌ，１０１Ｒから３次元復元を用いて
３次元の重心および手首の候補の集合を得ることができ
る。候補選択プロセスの詳細は後述する。
わち重心の候補として距離変換された画像の極大点、手
首点の候補として射影の極小点が抽出される。図４はこ
の重心手首検出部１１１の構成を示す。ここでは、右と
左のカメラ１０１Ｌ，１０１Ｒから３次元復元を用いて
３次元の重心および手首の候補の集合を得ることができ
る。候補選択プロセスの詳細は後述する。
【００２５】手振り予測部３０８においては、３次元空
間内の重心の位置は各画像の重心位置の３次元復元で決
定される。３次元空間内の手の方向は各画像の主軸から
決定される。方向に関する回転角度は、２次元の指先点
から検出された３次元の指先点によって検出される。指
先点はまた、指曲げ検出部３０９において指の曲げを検
出するのにも用いられる。このプロセスは指先と重心と
の距離の変化に基づいて行なわれる。
間内の重心の位置は各画像の重心位置の３次元復元で決
定される。３次元空間内の手の方向は各画像の主軸から
決定される。方向に関する回転角度は、２次元の指先点
から検出された３次元の指先点によって検出される。指
先点はまた、指曲げ検出部３０９において指の曲げを検
出するのにも用いられる。このプロセスは指先と重心と
の距離の変化に基づいて行なわれる。
【００２６】４．重心手首検出（図４） 重心手首候補は上述したプロセスによって選択される。
各候補は候補の属性、すなわち左と右の画像における重
心位置、手首位置、左と右の画像における位置に属する
特徴量の生の値（重心のスケルトン値および手首位置の
射影の値）等をそれぞれ有する。
各候補は候補の属性、すなわち左と右の画像における重
心位置、手首位置、左と右の画像における位置に属する
特徴量の生の値（重心のスケルトン値および手首位置の
射影の値）等をそれぞれ有する。
【００２７】候補選択は、以下の特徴に基づいて各候補
について計算された確信度に基づいて行なわれる。
について計算された確信度に基づいて行なわれる。
【００２８】・スケルトン（距離変換）値：左の画像に
ついてＳL 、右の画像についてＳR。
ついてＳL 、右の画像についてＳR。
【００２９】・射影値：左の画像についてＰL 、右の画
像についてＰR 。 ・３次元復元誤差（距離）：重心候補についてＭCOG 、
手首候補についてＭW。
像についてＰR 。 ・３次元復元誤差（距離）：重心候補についてＭCOG 、
手首候補についてＭW。
【００３０】・重心と手首との距離：Ｄ。 ４つの特徴ＳL 、ＳR 、ＰL およびＰR は簡潔化のた
め、１つの値ＦSPと置換えられる。
め、１つの値ＦSPと置換えられる。
【００３１】 ＦSP＝ＳL ／ＰL ＋ＳR ／ＰR （１） ４つの値ＭCOG 、ＭW 、ＤおよびＦSPについて４つの確
信度を定義する。
信度を定義する。
【００３２】ＭおよびＤについては、２つの確信度ＣM
およびＣGWを正規分布として定義する。
およびＣGWを正規分布として定義する。
【００３３】
【数１】
【００３４】ここでσM およびσGWは定数である。Ｄ*
はユーザの重心と手首との間の予測された距離である。
初期値を５ｃｍとして、この値を予測するのに最小自乗
法を適用する。
はユーザの重心と手首との間の予測された距離である。
初期値を５ｃｍとして、この値を予測するのに最小自乗
法を適用する。
【００３５】値ＦSPについては、ＣSPを次式のように定
義する。 ＣSP＝ｋＦSP （４）ここでｋ
は定数である。
義する。 ＣSP＝ｋＦSP （４）ここでｋ
は定数である。
【００３６】最後に、各候補について確信度が計算され
る。 Ｃ＝ＣMCOGＣMWＣGWＣSP （５） 最大のＣを有する候補が選択される。
る。 Ｃ＝ＣMCOGＣMWＣGWＣSP （５） 最大のＣを有する候補が選択される。
【００３７】５．主要構成 図１は、図３および図４に示された手振り認識装置中の
主要な構成のみを抜き出したブロック図である。図１を
参照して、この手振り認識装置は、左側のカメラ１０１
Ｌと、右側のカメラ１０１Ｒと、カメラ１０１Ｌによっ
て得られた画像を２値化する２値化部１０２Ｌと、カメ
ラ１０１Ｒによって得られた画像を２値化する２値化部
１０２Ｒと、２値化部１０２Ｌで２値化された画像を距
離変換する距離変換部１０３Ｌと、２値化部１０２Ｌで
２値化された画像を射影する射影部１０４Ｌと、２値化
部１０２Ｒで２値化された画像を距離変換する距離変換
部１０３Ｒと、２値化部１０２Ｒで２値化された画像を
射影する射影部１０４Ｒと、距離変換部１０３Ｌおよび
１０３Ｒからの距離変換画像と射影部１０４Ｌおよび１
０４Ｒからの射影画像とに基づいて重心と手首の位置と
を検出する重心手首検出部１１１とを備える。
主要な構成のみを抜き出したブロック図である。図１を
参照して、この手振り認識装置は、左側のカメラ１０１
Ｌと、右側のカメラ１０１Ｒと、カメラ１０１Ｌによっ
て得られた画像を２値化する２値化部１０２Ｌと、カメ
ラ１０１Ｒによって得られた画像を２値化する２値化部
１０２Ｒと、２値化部１０２Ｌで２値化された画像を距
離変換する距離変換部１０３Ｌと、２値化部１０２Ｌで
２値化された画像を射影する射影部１０４Ｌと、２値化
部１０２Ｒで２値化された画像を距離変換する距離変換
部１０３Ｒと、２値化部１０２Ｒで２値化された画像を
射影する射影部１０４Ｒと、距離変換部１０３Ｌおよび
１０３Ｒからの距離変換画像と射影部１０４Ｌおよび１
０４Ｒからの射影画像とに基づいて重心と手首の位置と
を検出する重心手首検出部１１１とを備える。
【００３８】２値化部１０２Ｌまたは１０２Ｒからの２
値化画像は図５（ａ）に示される。このように、手およ
び腕の肌色領域は白い画素によって表わされる。他方、
それ以外の領域は黒い画素で表わされる。
値化画像は図５（ａ）に示される。このように、手およ
び腕の肌色領域は白い画素によって表わされる。他方、
それ以外の領域は黒い画素で表わされる。
【００３９】距離変換部１０３Ｌまたは１０３Ｒでは、
手の２値化画像を構成する画素の各々から手の画像の輪
郭までの距離が算出される。算出された距離はスケルト
ン値として対応する画素に与えられる。距離変換部１０
３Ｌまたは１０３Ｒからの距離変換画像は図５（ｂ）に
示される。ここでは、スケルトン値が大きい画素ほど黒
く表わされ、スケルトン値が小さい画素ほど白く表わさ
れている。したがって、手の輪郭から遠ざかるにつれて
画素は徐々に濃くなっている。
手の２値化画像を構成する画素の各々から手の画像の輪
郭までの距離が算出される。算出された距離はスケルト
ン値として対応する画素に与えられる。距離変換部１０
３Ｌまたは１０３Ｒからの距離変換画像は図５（ｂ）に
示される。ここでは、スケルトン値が大きい画素ほど黒
く表わされ、スケルトン値が小さい画素ほど白く表わさ
れている。したがって、手の輪郭から遠ざかるにつれて
画素は徐々に濃くなっている。
【００４０】射影部１０４Ｌまたは１０４Ｒからの射影
画像は図５（ｃ）に示される。図５（ａ）に示された２
値化画像を主軸と垂直方向に射影すると、図５（ｃ）に
示されるような射影画像が得られる。すなわち、２値化
画像における白い画素は左側に寄せられる。したがっ
て、２値化画像で表わされた手の幅が広い水平ラインほ
ど、射影画像では高い射影値が得られる。逆に、２値化
画像で表わされた手の幅が狭い水平ラインほど、射影画
像では低い射影値が得られる。
画像は図５（ｃ）に示される。図５（ａ）に示された２
値化画像を主軸と垂直方向に射影すると、図５（ｃ）に
示されるような射影画像が得られる。すなわち、２値化
画像における白い画素は左側に寄せられる。したがっ
て、２値化画像で表わされた手の幅が広い水平ラインほ
ど、射影画像では高い射影値が得られる。逆に、２値化
画像で表わされた手の幅が狭い水平ラインほど、射影画
像では低い射影値が得られる。
【００４１】極大点検出部１０５Ｌまたは１０５Ｒで
は、距離変換画像に基づいてスケルトン値が極大となる
極大点が検出される。図５（ｂ）に示された距離変換画
像からは２つの極大点が検出される。この検出された極
大点が重心候補とされる。他方、極小点検出部１０６Ｌ
または１０６Ｒでは、射影画像に基づいて射影値が極小
となる極小点が検出される。図５（ｃ）に示された射影
画像からは１つの極小点が検出される。この検出された
極小点が手首候補とされる。図５（ｂ）に示された距離
変換画像からは２つの極大点が得られるが、手首候補よ
りも下の極大点は重心候補から除外される。これによ
り、左側のカメラ１０１Ｌの画像から２次元上における
１対の重心および手首候補が決定され、右側のカメラ１
０１Ｒから２次元上におけるもう１対の重心および手首
候補が決定される。
は、距離変換画像に基づいてスケルトン値が極大となる
極大点が検出される。図５（ｂ）に示された距離変換画
像からは２つの極大点が検出される。この検出された極
大点が重心候補とされる。他方、極小点検出部１０６Ｌ
または１０６Ｒでは、射影画像に基づいて射影値が極小
となる極小点が検出される。図５（ｃ）に示された射影
画像からは１つの極小点が検出される。この検出された
極小点が手首候補とされる。図５（ｂ）に示された距離
変換画像からは２つの極大点が得られるが、手首候補よ
りも下の極大点は重心候補から除外される。これによ
り、左側のカメラ１０１Ｌの画像から２次元上における
１対の重心および手首候補が決定され、右側のカメラ１
０１Ｒから２次元上におけるもう１対の重心および手首
候補が決定される。
【００４２】重心候補決定部１０７では、極大点検出部
１０５Ｌおよび１０５Ｒからの２つの２次元上における
重心候補に基づいて３次元空間における重心候補が決定
される。手首候補決定部１０８では、極小点検出部１０
６Ｌおよび１０６Ｒからの２つの２次元上における手首
候補に基づいて３次元空間における手首候補が決定され
る。
１０５Ｌおよび１０５Ｒからの２つの２次元上における
重心候補に基づいて３次元空間における重心候補が決定
される。手首候補決定部１０８では、極小点検出部１０
６Ｌおよび１０６Ｒからの２つの２次元上における手首
候補に基づいて３次元空間における手首候補が決定され
る。
【００４３】スコアリング部１０９では、重心候補決定
部１０７からの重心候補にそれが真の重心である確から
しさを示す確信度が与えられるとともに、手首候補決定
部１０８からの手首候補にそれが真の手首の位置である
確からしさを示す確信度が与えられる。
部１０７からの重心候補にそれが真の重心である確から
しさを示す確信度が与えられるとともに、手首候補決定
部１０８からの手首候補にそれが真の手首の位置である
確からしさを示す確信度が与えられる。
【００４４】重心手首決定部１１０では、スコアリング
部１０９から順次得られる複数の重心および手首候補の
中から最も高い確信度が与えられた重心および手首候補
が選択され、それらが重心および手首の位置と決定され
る。この決定された重心および手首の位置は上述した手
振り予測部３０８（図３）に与えられる。
部１０９から順次得られる複数の重心および手首候補の
中から最も高い確信度が与えられた重心および手首候補
が選択され、それらが重心および手首の位置と決定され
る。この決定された重心および手首の位置は上述した手
振り予測部３０８（図３）に与えられる。
【００４５】以上のように、この発明の実施の形態によ
れば、手の重心検出にスケルトン画像を用いることで、
ユーザの衣服の制限をなくすことができる。この結果、
検出領域のカラー処理と組合せれば、システムはユーザ
が腕にどんな色の衣服を着ていても、または腕に何も着
ていなくても動作する。また、重心検出の不安定さは、
重心の位置追跡によって減じられる。
れば、手の重心検出にスケルトン画像を用いることで、
ユーザの衣服の制限をなくすことができる。この結果、
検出領域のカラー処理と組合せれば、システムはユーザ
が腕にどんな色の衣服を着ていても、または腕に何も着
ていなくても動作する。また、重心検出の不安定さは、
重心の位置追跡によって減じられる。
【００４６】
【実施例】この装置を評価するため、以下の実験を行な
った。アルゴリズムの現在の実装では実験をリアルタイ
ムで行なうことは困難である。これらの実験について、
任意に選択した手振りのシーケンスの画像を２つのビデ
オディスクシステムに記録した（右および左のカメラ画
像）。こうして、カメラ選択のプロセスを省略し、入力
画像を用いて時間軸を制御した。この結果、この装置が
高速動作した状況と等しくなった。これらの実験につい
て、手振りの位置の短いシーケンス（２００フレーム）
とより長いシーケンス（２５０フレーム）とを記録し
た。図６は入力画像と２０フレームごとのより短いシー
ケンスの結果とを示す。この図において、各入力画像に
描かれた×印は重心の予測位置を示す。既に述べたよう
に、重心の予測は３次元空間で行なわれる。示された位
置は２次元の射影である。
った。アルゴリズムの現在の実装では実験をリアルタイ
ムで行なうことは困難である。これらの実験について、
任意に選択した手振りのシーケンスの画像を２つのビデ
オディスクシステムに記録した（右および左のカメラ画
像）。こうして、カメラ選択のプロセスを省略し、入力
画像を用いて時間軸を制御した。この結果、この装置が
高速動作した状況と等しくなった。これらの実験につい
て、手振りの位置の短いシーケンス（２００フレーム）
とより長いシーケンス（２５０フレーム）とを記録し
た。図６は入力画像と２０フレームごとのより短いシー
ケンスの結果とを示す。この図において、各入力画像に
描かれた×印は重心の予測位置を示す。既に述べたよう
に、重心の予測は３次元空間で行なわれる。示された位
置は２次元の射影である。
【００４７】図７はより長いシーケンスの結果を示す。
重心位置を記録時間の間磁気センサで測定し、データを
視覚的検出の結果と比較した。図７において、破線はセ
ンサの出力を示し、実線は視覚的システムの出力を示
す。このシーケンスにおいて、センサ出力とシステム出
力との距離は平均で３．６ｃｍであった（標準偏差は
１．１ｃｍ）。精度の要求は応用に依存するが、現在の
精度はある種のポインティング操作に十分であると考え
られる。さらに、重心選択プロセスを洗練することで、
現在のシステムの不安定性が解消できる。
重心位置を記録時間の間磁気センサで測定し、データを
視覚的検出の結果と比較した。図７において、破線はセ
ンサの出力を示し、実線は視覚的システムの出力を示
す。このシーケンスにおいて、センサ出力とシステム出
力との距離は平均で３．６ｃｍであった（標準偏差は
１．１ｃｍ）。精度の要求は応用に依存するが、現在の
精度はある種のポインティング操作に十分であると考え
られる。さらに、重心選択プロセスを洗練することで、
現在のシステムの不安定性が解消できる。
【００４８】
【発明の効果】この発明の手振り認識装置によれば、複
数の異なる角度から手を撮影することにより手の重心お
よび手首の位置を決定するため、手袋システムなどの接
触型装置を用いることなく、手の姿勢を実時間で正確に
認識することができる。したがって、接触型装置の着脱
は不要であり、ユーザは疲労することなく仮想環境に没
入することができる。しかも、２値化画像を距離変換す
ることにより中心を決定しかつ２値化画像を射影するこ
とにより手首の位置を決定するため、ユーザが半袖の衣
服を着ている場合であっても正確に手の姿勢を認識する
ことができる。
数の異なる角度から手を撮影することにより手の重心お
よび手首の位置を決定するため、手袋システムなどの接
触型装置を用いることなく、手の姿勢を実時間で正確に
認識することができる。したがって、接触型装置の着脱
は不要であり、ユーザは疲労することなく仮想環境に没
入することができる。しかも、２値化画像を距離変換す
ることにより中心を決定しかつ２値化画像を射影するこ
とにより手首の位置を決定するため、ユーザが半袖の衣
服を着ている場合であっても正確に手の姿勢を認識する
ことができる。
【図１】この発明の実施の形態による手振り認識装置の
主要な構成を示すブロック図である。
主要な構成を示すブロック図である。
【図２】図１に示された手振り認識装置において用いら
れる手のモデルを示す図である。
れる手のモデルを示す図である。
【図３】図１に示された手振り認識装置の全体構成を示
すブロック図である。
すブロック図である。
【図４】図１および図３中の重心手首検出部の構成を示
すブロック図である。
すブロック図である。
【図５】図１、図３および図４に示された手振り認識装
置における距離変換および射影処理を示す模式図であ
り、（ａ）は２値化画像であり、（ｂ）は距離変換画像
であり、（ｃ）は射影画像である。
置における距離変換および射影処理を示す模式図であ
り、（ａ）は２値化画像であり、（ｂ）は距離変換画像
であり、（ｃ）は射影画像である。
【図６】この発明の実施の形態による短いシーケンスの
実験結果を示す図であり、（ａ）は左側の入力画像であ
り、（ｂ）は回転し距離変換した左側の画像であり、
（ｃ）は右側の入力画像であり、（ｄ）は回転し距離変
換した右側の画像である。
実験結果を示す図であり、（ａ）は左側の入力画像であ
り、（ｂ）は回転し距離変換した左側の画像であり、
（ｃ）は右側の入力画像であり、（ｄ）は回転し距離変
換した右側の画像である。
【図７】この発明の実施の形態による長いシーケンスの
実験結果を示すグラフである。
実験結果を示すグラフである。
１０１Ｌ，１０１Ｒ カメラ １０２Ｌ，１０２Ｒ ２値化部 １０３Ｌ，１０３Ｒ 距離変換部 １０４Ｌ，１０４Ｒ 射影部 １０５Ｌ，１０５Ｒ 極大点検出部 １０６Ｌ，１０６Ｒ 極小点検出部 １０７ 重心候補決定部 １０８ 手首候補決定部 １０９ スコアリング部 １１０ 重心手首決定部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 岸野 文郎 京都府相楽郡精華町大字乾谷小字三平谷 ５番地 株式会社エイ・ティ・アール通 信システム研究所内 (56)参考文献 特開 平７−282235（ＪＰ，Ａ) 特開 平７−105371（ＪＰ，Ａ) 特開 平２−144675（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 1/00 G06T 7/00
Claims (1)
- 【請求項１】 手の姿勢を実時間で認識する手振り認識
装置であって、 前記手を撮影する第１の撮影手段と、 前記第１の撮影手段と異なる角度から前記手を撮影する
第２の撮影手段と、 前記第１の撮影手段によって撮影された手の画像を２値
化する第１の２値化手段と、 前記第２の撮影手段によって撮影された手の画像を２値
化する第２の２値化手段と、 前記第１の２値化手段によって２値化された手の画像を
構成する画素の各々から前記手の画像の輪郭までの距離
を示す距離変換値を算出する第１の距離変換手段と、 前記第２の２値化手段によって２値化された手の画像を
構成する画素の各々から前記手の画像の輪郭までの距離
を示す距離変換値を算出する第２の距離変換手段と、 前記第１の２値化手段によって２値化された手の画像の
幅を示す射影値を算出する第１の射影手段と、 前記第２の２値化手段によって２値化された手の画像の
幅を示す射影値を算出する第２の射影手段と、 前記第１の距離変換手段によって算出された距離変換値
の極大点を検出する第１の極大点検出手段と、 前記第２の距離変換手段によって算出された距離変換値
の極大点を検出する第２の極大点検出手段と、 前記第１の射影手段によって算出された射影値の極小点
を検出する第１の極小点検出手段と、 前記第２の射影手段によって算出された射影値の極小点
を検出する第２の極小点検出手段と、 前記第１および第２の極大点検出手段からの極大点に基
づいて３次元空間における重心候補を決定する重心候補
決定手段と、 前記第１および第２の極小点検出手段からの極小点に基
づいて３次元空間における手首候補を決定する手首候補
決定手段と、 前記決定された重心候補および手首候補に順次確信度を
与えるスコアリング手段と、 前記決定された重心候補および手首候補のうち最大の確
信度が与えられたものに基づいて前記手の重心および手
首の位置を決定する重心手首決定手段とを備える、手振
り認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7334860A JP2868449B2 (ja) | 1995-12-22 | 1995-12-22 | 手振り認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7334860A JP2868449B2 (ja) | 1995-12-22 | 1995-12-22 | 手振り認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09179988A JPH09179988A (ja) | 1997-07-11 |
| JP2868449B2 true JP2868449B2 (ja) | 1999-03-10 |
Family
ID=18282036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7334860A Expired - Lifetime JP2868449B2 (ja) | 1995-12-22 | 1995-12-22 | 手振り認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2868449B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006227736A (ja) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| EP2755115A4 (en) * | 2011-09-07 | 2015-05-06 | Nitto Denko Corp | METHOD OF DETECTING INPUT BODY MOTION, AND INPUT DEVICE IMPLEMENTING THE SAME |
| JP5949207B2 (ja) * | 2012-06-25 | 2016-07-06 | オムロン株式会社 | モーションセンサ及び物体動作検知方法 |
| US9789393B2 (en) | 2012-06-25 | 2017-10-17 | Omron Corporation | Motion sensor, object-motion detection method, and game machine |
| JP5994425B2 (ja) * | 2012-06-25 | 2016-09-21 | オムロン株式会社 | 遊技機 |
| JP6165513B2 (ja) * | 2013-06-14 | 2017-07-19 | 国立大学法人埼玉大学 | ハンドジェスチャトラッキングシステム |
| GB201416311D0 (en) | 2014-09-16 | 2014-10-29 | Univ Hull | Method and Apparatus for Producing Output Indicative of the Content of Speech or Mouthed Speech from Movement of Speech Articulators |
| WO2019069369A1 (ja) * | 2017-10-03 | 2019-04-11 | 富士通株式会社 | 姿勢認識システム、画像補正プログラムおよび画像補正方法 |
| DE112018006071T5 (de) * | 2017-12-27 | 2020-09-03 | Panasonic Intellectual Property Management Co., Ltd. | Formidentifizierungsvorrichtung und zustellbox |
| CN112215134A (zh) * | 2020-10-10 | 2021-01-12 | 北京华捷艾米科技有限公司 | 手势跟踪方法及装置 |
| US20240104765A1 (en) * | 2021-02-18 | 2024-03-28 | Nec Corporation | Estimation device, estimation method, and storage medium |
-
1995
- 1995-12-22 JP JP7334860A patent/JP2868449B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09179988A (ja) | 1997-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11861070B2 (en) | Hand gestures for animating and controlling virtual and graphical elements | |
| US9778464B2 (en) | Shape recognition device, shape recognition program, and shape recognition method | |
| KR101700817B1 (ko) | 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법 | |
| Abe et al. | Virtual 3-D interface system via hand motion recognition from two cameras | |
| JP5598751B2 (ja) | 動作認識装置 | |
| Patwardhan et al. | Multimodal affect recognition using kinect | |
| JP2014165660A (ja) | バーチャルキーボードの入力方法、プログラム、記憶媒体、及びバーチャルキーボードシステム | |
| JP2868449B2 (ja) | 手振り認識装置 | |
| KR101256046B1 (ko) | 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 | |
| CN110910426A (zh) | 动作过程和动作趋势识别方法、存储介质和电子装置 | |
| Utsumi et al. | Multi-camera hand pose recognition system using skeleton image | |
| Abdallah et al. | An overview of gesture recognition | |
| Simion et al. | Finger detection based on hand contour and colour information | |
| Ghosh et al. | Real-time 3d markerless multiple hand detection and tracking for human computer interaction applications | |
| Kojima et al. | Hand manipulation of virtual objects in wearable augmented reality | |
| JPH08263629A (ja) | 物体の形状・姿勢検出装置 | |
| Khan et al. | Gesture recognition using Open-CV | |
| JP2934190B2 (ja) | 手振り認識装置 | |
| Kim et al. | ThunderPunch: A bare-hand, gesture-based, large interactive display interface with upper-body-part detection in a top view | |
| De Campos et al. | Directing the attention of awearable camera by pointing gestures | |
| Lee et al. | Real-time recognition method of counting fingers for natural user interface | |
| Jun et al. | 3D hand gesture analysis based on multi-criterion in multi-camera system | |
| Kurata et al. | Interaction using nearby-and-far projection surfaces with a body-worn ProCam system | |
| Zhu et al. | Computer-Aided Hierarchical Interactive Gesture Modeling Under Virtual Reality Environment | |
| Mishra et al. | Anchors Based Method for Fingertips Position Estimation from a Monocular RGB Image using Deep Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19981208 |