JPH07281817A - 情報処理装置及び、そのコマンド入力方法 - Google Patents

Abstract

(57)【要約】 【目的】コンピュータの３次元空間を操作するコマンド
を、容易に多種類入力できるようにする。 【構成】ビデオカメラ１０からビデオデータを入力し、
Ａ／Ｄ変換器２０でディジタル化してメモリ３０に格納
する。プロセッサ４０は手パターンを切出し、特徴量の
組を算出し、特徴量によって手姿勢パラメータを推定す
る。このためにあらかじめ乱数によって発生した手姿勢
パラメータと手モデルにより、手姿勢パラメータと手パ
ターン特徴量の関係を求めておく。推定した手姿勢パラ
メータにより姿勢依存の処理を行なうと共に、手パター
ンの生成を行なう。Ｄ／Ａ変換器５０はこれらの処理結
果をディスプレイ６０に表示する。 【効果】多種類のコマンドを、デバイスからの距離が限
定されることなく、容易に精度よく入力することができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は情報処理装置と、そのコ
マンド入力方法に関する。

【０００２】

【従来の技術】コンピュータグラフィクス技術の進展に
より、ワークステーション、パーソナルコンピュータや
一般の公共端末などにおいて、実時間の３次元グラフィ
クスの応用が拡大している。従来の２次元グラフィクス
では、マウスやジョイスティックと呼ばれるデバイスを
利用して、ユーザが画面上の位置を直接指示・入力する
ことができた。しかし３次元空間上の座標をこれらの２
次元用デバイスで入力するためには、３次元空間上の平
面の設定と、その平面内での２次元のカーソルの動きを
順次繰り返すなどの複雑な操作を要していた。さらに単
なるカーソルの動きと少数のボタンｏｎ／ｏｆｆのみで
は、対象を操作するコマンドが、移動、複写（ドラッギ
ング）などの単純ものに限定されていた。

【０００３】このような問題を解消するために、さまざ
まな新しい３次元のコマンド入力方法が提案されてい
る。例えば米国特許ＵＳＰ４，９８８，９８１ではディ
スプレイにケーブルで接続されたグローブ状のデバイス
をユーザに装着させ、ユーザの手の３次元位置をグロー
ブとディスプレイに取り付けた３つのセンサを利用して
計測すると同時に、各指の状態を計測するようにしてい
る。これによってディスプレイに表示された３次元物体
を指定したり、新たに生成する操作を容易化できるとさ
れる。

【０００４】

【発明が解決しようとする課題】ただしこのようにユー
ザがグローブを装着し、しかもこれが限定された長さの
ケーブルで束縛されているのは、必ずしも快適なユーザ
インタフェースとは言えなかった。また光の減衰の程度
で指の曲がりを計測するなど、精度のよい計測データを
得るのは困難であり、得られる３次元位置や手姿勢の精
度が高くなかった。また同時に利用できるユーザの人数
は、デバイスの数に依存していた。また光ファイバが曲
げ伸ばしにより劣化する材質であり、耐久性の上で問題
があった。また手以外の動作の計測への拡張は困難であ
った。これらのさまざまな問題のために、このようなデ
バイスは用途がきわめて限定されたものとなっていた。

【０００５】本発明はこのような問題を解決するために
なされたもので、その目的は特別なデバイスを装着する
ことなく３次元空間の操作に関するコマンドを正確に入
力でき、かつ耐久性、拡張性に優れた手段を提供するこ
とにある。具体的な本発明の目的は、コマンド入力のた
めの特別なデバイスを必要とせず、しかもケーブルなど
に束縛されない、快適で疲労の少ないユーザインタフェ
ースを持った情報処理装置とコマンド入力方法を提供す
ることである。さらに具体的な、本発明の他の目的は、
コマンド入力において、高い精度で３次元位置や姿勢を
推定できる情報処理装置とコマンド入力方法を提供する
ことである。

【０００６】さらに具体的な、本発明の他の目的は、コ
マンド入力において、デバイスの数に依存せず、複数の
ユーザが同時にコマンドを入力できる情報処理装置とコ
マンド入力方法を提供することである。さらに具体的
な、本発明の目的は、コマンド入力において、耐久性の
問題を持たない情報処理装置とコマンド入力方法を提供
することである。さらに具体的な、本発明の目的は、コ
マンド入力において、手以外の動作や、複数の手パター
ンによるコマンド入力を可能とする情報処理装置とコマ
ンド入力方法を提供することである。

【０００７】

【課題を解決するための手段】上記目的を実現するため
に、本発明では、ビデオカメラと、Ａ／Ｄ変換器と、メ
モリと、プロセッサと、Ｄ／Ａ変換器と、ディスプレイ
を備えた情報処理装置において、ビデオデータをディジ
タル化してメモリに取り込み、該ビデオデータ中の２次
元の手パターンを切出し、該手パターンの特徴量を算出
し、該特徴量から手の姿勢パラメータを推定し、該姿勢
パラメータによって決定するコマンドに対応する処理を
行ない、さらに該姿勢パラメータに基づいて手パターン
を生成し、これをディスプレイに表示する手段を設け
た。

【０００８】

【作用】手姿勢はビデオカメラによって計測されるため
に、ユーザがコマンド入力のために特別なデバイスを装
着する必要はなく、装着型のデバイスに比べて疲労が少
ない。また計測の精度は基本的にビデオ信号のＡ／Ｄ変
換器の空間解像度の程度に高めることができるので、姿
勢推定の精度が高い。またビデオデータから手パターン
を複数切り出すことができるので、同時に複数のユーザ
がコマンドを入力できる。また機械的な可動原理に基づ
いていないので、耐久性の問題がない。また手パターン
の手以外の動作計測や、複数の手パターンの同時計測へ
の拡張が容易である。

【０００９】

【実施例】以下本発明の実施例を詳細に説明する。図１
はハードウェアの構成例を示したものである。図におい
て１０はビデオカメラ、２０はＡ／Ｄ変換器、３０はメ
モリ、４０はプロセッサ、５０はＤ／Ａ変換器、６０は
ディスプレイである。ビデオカメラ１０から入力したビ
デオデータは、走査線単位のアナログ信号として出力さ
れる。このようなアナログ信号の代表的な形式として、
例えばＮＴＳＣと呼ばれるものがある。ビデオカメラ１
０から出力されたこのようなビデオアナログ信号は、Ａ
／Ｄ変換器２０で、ディジタルのビデオ信号に変換され
て、メモリ３０にフレーム単位に順次格納される。この
ような機能をもつＡ／Ｄ変換器は、通常フレームグラッ
バ、フレームキャプチャボードなどと呼ばれ、既に実施
されている。

【００１０】メモリ３０では、ビデオデータの各フレー
ムがそれぞれ画素値の２次元の配列で格納される。プロ
セッサ４０は後に詳述するプログラムに従ってメモリ３
０のビデオデータを処理し、結果をメモリ３０の別の領
域に格納する。Ｄ／Ａ変換器５０は、上記処理結果を読
出し、これを順次走査線単位のフレームアナログデータ
に変換する。このようなＤ／Ａ変換器は通常ワークステ
ーション、パーソナルコンピュータでは、グラフィクス
コントローラと呼ばれる。上記アナログデータは最終的
にディスプレイ６０に出力される。なお上記のビデオカ
メラ１０、Ａ／Ｄ変換器２０、Ｄ／Ａ変換器５０は、プ
ロセッサ４０からの制御が可能であるものとする。

【００１１】図２はプロセッサ４０の処理内容を示すプ
ログラムのフローチャートである。なお、プロセッサ４
０が実行するプログラムの格納領域や、プログラムを実
行する過程で必要になる作業用領域は、図１のメモリ３
０又は、図示しない他のメモリに確保されており、プロ
セッサ４０はここからプログラムや、作業用データを読
みだして実行する。ステップ４１０ではビデオカメラ１
０に撮影開始の制御信号を出力する。ステップ４２０で
はＡ／Ｄ変換器２０に対してその時点でのビデオフレー
ムのデジタル化を指示し、結果をメモリ３０の所定の領
域に画素の２次元配列の形式で格納する。ステップ４３
０では上記の画素２次元配列から、手パターンに対応す
る画素のみ切り出す。切り出すための画像処理アルゴリ
ズムの例については後に図３を用いて詳述する。

【００１２】ステップ４４０では、このようにして求め
た手パターンの形状を表現する特徴量を算出する。特徴
量の定義およびその算出アルゴリズムについては後に図
４を用いて詳述する。ステップ４５０では、このように
して求めた特徴量から、あらかじめメモリに格納された
手姿勢と特徴量の関係を表すデータを参照することによ
って、手姿勢のパラメータを推定する。手姿勢パラメー
タはカメラに対するユーザの手の位置、方向や、５指の
各伸縮の状態などを示すものとする。手姿勢パラメータ
の具体例、および上記手姿勢および２次元投影条件と特
徴量の関係を表すデータを求めるためのアルゴリズムに
ついては、後に図５から図９を用いて詳述する。

【００１３】ステップ４６０では、上で求めた手姿勢の
パラメータに基づいて、手の３次元パターンを再構成
し、さらにこれを所定の投影条件によって２次元投影パ
ターンに変換する。この２次元投影パターンは、プロセ
ッサ４０によってメモリ３０に格納される。ステップ４
７０では、推定した手姿勢パラメータに依存する処理を
行なう。例えば、３次元空間内において、ボタンを押
す、物を掴む、放す、運ぶなどといった動作に対応する
処理を仮想的に実現するためのプログラムを実行する。
ステップ４８０では、上記ステップ４６０で再構成し変
換された手の２次元投影パターンをディスプレイ６０に
表示する指示を出す。この指示にしたがって、Ｄ／Ａ変
換器５０がディスプレイ６０への表示制御を行う。この
表示フィードバックによってユーザは現動作がプロセッ
サ４０に正しく解釈されたか否かを確認でき、次の動作
に移行するか、現動作を再入力する必要があるかを判断
することができる。

【００１４】次にステップ４３０の手パターンの切出し
処理を実現するアルゴリズムの例を、図３を用いて説明
する。図において１はビデオの１フレームに対応する画
素の２次元配列である。２は目的の手パターン、３はこ
れと画像濃度特徴が類似した腕パターンである。このよ
うな画像から手パターン２を切出す画像処理アルゴリズ
ムは各種考えられるが、ここでは一例として画素濃度の
ラベリングによる方法を説明する。

【００１５】まず最左上の画素から主走査方向をＸ、副
走査方向をＹとして走査し、あらかじめ決めた肌色に近
い濃度をもつ画素の連結を探索する。各１連の画素の両
端点として手パターンの外形線を構成する２点が得ら
れ、このような点を連結することによって手パターンの
外形線を得ることができる。この外形線は、袖などによ
って手首から先が直接求まることもあるが、一般にはこ
の外形線には手パターン２以外に、記号３で示される腕
パターンが含まれる。これはある範囲の幅をもつ平行線
をなすパターンを検出することによって除去することが
できる。具体的には例えば上記外形線をたどりながら、
その法線が外形線の別の部分に到達するまでの距離を調
べ、これが上記範囲の一定幅で連続する部分を求めるこ
とで実施できる。なおこの結果求められた外形線の長さ
があらかじめ決めた所定の長さより小さいものは、ノイ
ズとして除去する。

【００１６】次にステップ４４０の特徴量算出処理を実
現するアルゴリズムの例を、図４を用いて説明する。最
初にステップ４３０で切出した手パターン２の外形線上
に基準点Ｖ０を設定する。これは外形線上の任意の点で
よいが、例えばステップ４３０で求められたパターン２
とパターン３の境界線の端点のうち、外形線の時計回り
に早いものをＶ０と定義する。点Ｖ０から時計回りに外
形線を追跡し、道のりが所定の値Ｌに到達するごとに、
新たな点Ｖ１，Ｖ２，・・・を定義する。

【００１７】次に隣合う２つの点Ｖｉ，Ｖｉ＋１を結ぶ
直線Ｗｉを考える。さらに２つの直線Ｗｉ，Ｗｉ＋１の
方向の角度増分ｓｉを考える。ｓｉを点Ｖ０から点Ｖｉ
までの外形線に沿った道のりの関数と考えて、関数ｓ
（Ｌ）を離散フーリエ変換する。得られたフーリエ係数
を周波数の低いものから一定個数取り、この係数の組を
この手パターンの特徴量とする。この特徴量はフーリエ
変換を介しているために原点Ｖ０の位置によらずに一定
の値となる。なお図４は図示の都合上隣合うＶの間隔を
大きく取っているが、実際にはより小さい値とすること
によって、より精度の高い特徴量の系列を得ることがで
きる。

【００１８】なお一般のパターンからの類似した特徴量
の計算方法は、例えば文献Ｃ．Ｚａｈｎ ａｎｄ Ｒ．
Ｒｏｓｋｉｅｓ，Ｆｏｕｒｉｅｒ Ｄｅｓｃｒｉｐｔｏ
ｒｓｆｏｒ Ｐｌａｎｅ Ｃｌｏｓｅｄ Ｃｕｒｖｅ
ｓ，ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｐｕｔｅｒ， Ｖｏ
ｌ．Ｃ−２１， Ｎｏ．３， １９７２などに詳細に記
載されいる。またビデオカメラ１０と手の距離の変動に
よって手パターンの大きさが大きく変動する場合にはス
テップ４４０に先だってパターン外形長と形状による大
きさの正規化を行なう。

【００１９】次に上記手の２次元パターン２の特徴量か
ら手の３次元姿勢を求めるのに必要となる手のモデルに
ついて、図５、図６、図７を用いて説明する。図５は手
全体のモデルを模式的に示したものである。図５におい
てＥ０〜Ｅ１５はそれぞれ独立に動き得る部品を表す。
本モデルにおいて各部品は１個以上の他の部品と連結し
ている。図６に２つの部品ＥｉとＥｊの接続関係を示
す。部品Ｅｉの表面形状は原点を（ａｉ，ｂｉ，ｃｉ）
とする座標系（ｘｉ，ｙｉ，ｚｉ）について定義されて
いるものとする。部品Ｅｊが部品Ｅｉに接続されている
とき、上記座標系（ｘｉ，ｙｉ，ｚｉ）における点（ａ
ｊ，ｂｊ，ｃｊ）を原点とし、ｚｉ軸回りにｔｚ、ｙｉ
軸回りにｔｙ、ｘｉ軸回りにｔｘ回転した新たな座標系
を考え、部品Ｅｊの表面形状はこの座標系について定義
するものとする。このときこの手モデルは例えば図７に
示すテーブルで記述することができる。

【００２０】図７において各行は部品Ｅ０〜Ｅ１５のい
ずれか１つに対応する。親部品欄には当該部品が接続さ
れている部品の番号（ポインタ）が格納される。部品Ｅ
０には親がないために、Ｅ０のこの欄は空白となる。欄
ａ，ｂ，ｃにはそれぞれ部品Ｅｊの表面形状を定義する
座標系の原点座標ａｊ，ｂｊ，ｃｊの値が格納される。
上記のようにこの座標は親Ｅｉの座標系に対する相対座
標で定義されている。欄ｔｚ，ｔｙ，ｔｘにはそれぞれ
部品Ｅｊの表面形状を定義する座標系が、親Ｅｉの座標
系に対してどれだけ回転しているかの値が格納される。

【００２１】前記のように、この値はそれぞれｚｉ軸回
りの回転角、ｙｉ軸回りの回転角、ｘｉ軸回りの回転角
を表す。ｆ（ｘ，ｙ，ｚ）欄には座標系Ｅｊにおける部
品Ｅｊの表面形状の方程式ｆ（ｘ，ｙ，ｚ）＝０の左辺
の形式が格納される。Ｅ０〜Ｅ１５が例えば楕円体な
ど、同じ関数形で表せるときには、その係数パラメータ
のみを格納するようにして、テーブルの形式およびその
後の処理を単純化することが可能である。なお部品Ｅ０
に対しては、ａ０，ｂ０，ｃ０，ｔｚ，ｔｙ，ｔｘをい
ずれも０に設定する。尚、このテーブル７は、プロセッ
サ４０が実行するプログラムと同様、メモリ３０また
は、図示しない他のメモリに格納される。

【００２２】次にステップ４５０の手姿勢パラメータの
推定処理の１実施例に必要となるテーブルの作成処理
を、図８を用いて説明する。図８はプロセッサ４０であ
らかじめ実行するテーブル作成プログラムのフローチャ
ートである。ステップ８１０で図７に示されるａ，ｂ，
ｃ，ｔｚ，ｔｙ，ｔｘのいずれか１つのパラメータが選
択される。ステップ８２０では選択されたパラメータに
許される値の範囲内で乱数を発生する。以上のステップ
をすべての部品および、すべてのパラメータについて繰
り返す。次にステップ８３０では以上で発生したパラメ
ータの乱数値を用いて、実際に手の当該姿勢３次元モデ
ルを発生する。さらにこれを所定の投影条件に従って２
次元パターンに変換する。なお投影条件も乱数を利用し
て発生し、姿勢パラメータの組の１部と捉えても以下の
議論を同様に進めることができる。

【００２３】ステップ８４０では以上で発生した手パタ
ーンについて、ステップ４４０（図４）で詳述したのと
全く同様にして、特徴量の組を算出する。これらのパラ
メータの組と特徴量の組の対応を下記図９で説明するテ
ーブルに格納する。以上の処理を所定数繰り返した後、
ステップ８５０で特徴量の組から手パラメータを求める
のに都合のよいように、テーブルを変換する。これには
例えば第１の特徴量の昇順にソートする、原テーブル自
身は保存してインデクステーブルを追加生する、ハッシ
ュテーブルを生成するなどの変換が考えられる。特に前
記のように各部品の表面形状を楕円体で記述する場合に
は、楕円体の２次元投影が常に楕円になることを利用し
て、特徴量の算出処理を大幅に短縮することができる。
なお、図８のプログラムの格納領域や、プログラムを実
行する過程で必要になる作業用領域は、既に述べた通
り、図１のメモリ３０又は、図示しない他のメモリに確
保されている。

【００２４】上記図８のプログラムによって作成される
テーブルの形式の１例を図９に示す。図９においてｐ１
〜ｐＮは２次元パターンの各特徴量、ｑ１〜ｑＭは手の
姿勢パラメータを示す。通常ＮはＭに比べて小さい。こ
のようなテーブルを用いて、ステップ４５０では与えら
れたビデオデータフレーム中の手の姿勢を推定する。よ
り具体的には、ステップ４４０で得られた特徴量の組と
ｐ１〜ｐＮが最も近い行を図９のテーブルから選択して
対応するｑ１〜ｑＭを得る。このとき上記のようにテー
ブルがソートされていると仮定すると、ｐ１から順に２
分探索を行なうことができるので、高速に処理すること
が可能である。尚、図９に示すテーブルも、図７に示す
テーブルと同様、メモリ３０又は、図示しない他のメモ
リに格納される。

【００２５】以上の実施例ではビデオカメラは１台とし
て説明をしたが、ビデオカメラを複数台とすることによ
ってより精度を高めることが可能である。図１０はこの
ような実施例のハードウェア構成を示す図である。

【００２６】図１０において１１〜１４はディスプレイ
の表側の４隅に取り付けたビデオカメラである。カメラ
の出力はＡ／Ｄ変換器２０に入力される。ここでは複数
のビデオアナログ信号を１つのビデオアナログ信号に編
集した後、ディジタル画像に変換する。このような機能
は例えば市販の監視用カメラの４分割アダプタと、通常
のビデオフレームグラッバなどを利用して実施すること
ができる。以下プロセッサ４０ではステップ４３０およ
び４４０をビデオデータの個数処理し、ステップ４５０
でこれらの結果を矛盾なく説明できる手姿勢パラメータ
を求める。具体的には例えば１回のテーブル参照におい
て、特定の行を選択する代わりに類似する複数の行を求
めておき、４回のテーブル参照処理の後、それらの共通
部分である行を選択する。このように異なる視点からの
複数のビデオデータを利用することによって、より精度
の高い手姿勢のパラメータ推定が可能となる。

【００２７】なお特徴量から手姿勢パラメータを求める
のに、上記テーブルを利用する代わりにニューラルネッ
トワークを利用することも可能である。このとき図８に
おいてステップ８５０の代わりにステップ８４０の直後
に特徴量を入力信号とし、姿勢パラメータを教師信号と
する学習を行なわせればよい。なお以上の処理で求めた
手姿勢パラメータを用いて手パターンを生成し、これと
ビデオデータ中の手パターンとを照合することによって
それらの間の差を求め、これを用いて姿勢パラメータを
修正することができる。なお以上の説明ではコマンドは
片手で入力することを想定したが、これを両手または全
身、又は複数ユーザの手等に拡張することは、ステップ
４３０の手パターンの切出し処理および図７のテーブル
内容を変更するのみで容易に実施できる。

【００２８】また、本発明では、ビデオカメラの出力
や、ディスプレイへの入力がアナログ信号として説明し
たが、これらがデジタル信号であってもよい。その場合
は、Ａ／Ｄ変換器２０は、デジタルビデオ信号をメモリ
３０にフレーム単位に順次格納する格納手段であり、Ｄ
／Ａ変換器５０はメモリ３０から表示パターンを読みだ
し、ディスプレイ６０に転送する表示手段に置き換えて
考えればよい。

【００２９】

【発明の効果】手の姿勢はマウス等のデバイスに比べて
自由度が高いので、多種類のコマンドを入力することが
できる。また、手の姿勢はビデオカメラによって計測さ
れるために、デバイスからの距離が手の長さに限定され
ることがない。さらに、本発明によれば、ユーザがコマ
ンド入力のために特別なデバイスを装着する必要はな
く、しかも、装着型のデバイスに、動きを限定されるこ
ともない。したがって、快適で疲労の少ない、使い勝手
のよい情報処理装置とコマンド入力を実現できるという
効果がある。

【００３０】また、計測の精度は基本的にビデオ信号の
Ａ／Ｄ変換器の空間解像度の程度に高めることができる
ので、３次元位置や姿勢の推定精度が高いという効果が
ある。また、ビデオデータから手パターンを複数切り出
すことができるので、同時に複数のユーザがコマンドを
入力できるという効果もある。また、機械的な可動原理
に基づいていないので、耐久性の問題がないという効果
がある。また、手以外のパターンの動作計測や、複数の
手パターンの同時計測への拡張が容易で、より多彩なコ
マンド入力が可能になるという効果がある。

【図面の簡単な説明】

【図１】第１の実施例のハードウェアの全体構成図

【図２】プログラムの全体フローチャート

【図３】入力ビデオデータのフレームの例を示すスケッ
チ図

【図４】切出したパターンの例を示すスケッチ図

【図５】モデルの模式図

【図６】モデル中の部品の接続関係を示す説明図

【図７】モデルテーブルの構成図

【図８】モデルテーブル生成プログラムのフローチャー
ト

【図９】特徴量から姿勢パラメータを求めるテーブルの
構成図

【図１０】第２の実施例のハードウェアの全体構成図

【符号の説明】

１０…ビデオカメラ、２０…Ａ／Ｄ変換器、３０…メモ
リ、４０…プロセッサ、５０…Ｄ／Ａ変換器、６０…デ
ィスプレイ、４１０…ビデオデータの入力ステップ、４
２０…フレームをディジタル化するステップ、４３０…
手パターンを切出すステップ、４４０…特徴量を算出す
るステップ、４５０…特徴量によって手姿勢パラメータ
を推定するステップ、４６０…手パターンを生成するス
テップ、４７０…手姿勢に依存した処理を実行するステ
ップ、４８０…手パターンを表示するステップ。

Claims (5)

【特許請求の範囲】
1. 【請求項１】ビデオカメラが出力するビデオデータをメ
   モリに格納し、該メモリに格納されたビデオデータ中の
   手パターンを切出し、該手パターンの特徴量を算出し、
   該特徴量から手の姿勢パラメータを推定し、該手の姿勢
   パラメータによって処理コマンドを決定、実行し、該手
   の姿勢パラメータに基づいて再構成手パターンを生成
   し、該再構成手パターンをディスプレイに表示すること
   を特徴とするコマンド入力方法。
2. 【請求項２】手の姿勢パラメータの組からなる手モデル
   を有し、該手の姿勢パラメータの組に乱数を与えてでき
   る手パターンについて特徴量の組をあらかじめ算出し、
   該手の姿勢パラメータと特徴量の関係に基づいて特徴量
   からの手の姿勢パラメータの推定を行なうことを特徴と
   する、請求項１に記載のコマンド入力方法。
3. 【請求項３】複数のビデオカメラが出力する複数のビデ
   オデータをメモリに格納し、該メモリに格納された複数
   のビデオデータ中の各手パターンを切出し、該各手パタ
   ーンの特徴量を算出し、該特徴量から手の各仮姿勢パラ
   メータを求め、該手の各仮姿勢パラメータから手の姿勢
   パラメータを推定し、該手の姿勢パラメータに基づいて
   処理コマンドを決定、実行し、該手の姿勢パラメータに
   基づいて再構成手パターンを生成し、該再構成手パター
   ンをディスプレイに表示することを特徴とするコマンド
   入力方法。
4. 【請求項４】ビデオカメラと、メモリと、ビデオカメラ
   が出力するビデオデータをメモリに格納する格納手段
   と、プロセッサと、ディスプレイと、メモリに格納され
   た表示パターンをディスプレイに表示する表示手段を備
   え、 プロセッサは、該ビデオデータをメモリに格納するよう
   に格納手段に指示し、該メモリに格納されたビデオデー
   タ中の手パターンを切出し、該手パターンの特徴量を算
   出し、該特徴量から手の姿勢パラメータを推定し、該手
   の姿勢パラメータに基づいてコマンドを決定、実行し、
   該手の姿勢パラメータに基づいて再構成手パターンを生
   成してメモリに格納し、該メモリに格納された該再構成
   手パターンをディスプレイに表示するように表示手段を
   制御することを特徴とする情報処理装置。
5. 【請求項５】複数のビデオカメラと、メモリと、該複数
   のビデオカメラが出力する複数のビデオデータをメモリ
   に格納する格納手段と、プロセッサと、ディスプレイ
   と、メモリに格納された表示パターンをディスプレイに
   表示する表示手段を備え、 プロセッサは、該複数のビデオデータをメモリに格納す
   るように格納手段に指示し、該メモリに格納された複数
   のビデオデータ中の複数の手パターンを切出し、該複数
   の手パターンの各特徴量を算出し、該各特徴量から手の
   各仮姿勢パラメータを求め、該各仮姿勢パラメータから
   手の姿勢パラメータを推定し、該手の姿勢パラメータに
   基づいてコマンドを決定、実行し、該手の姿勢パラメー
   タに基づいて再構成手パターンを生成してメモリに格納
   し、該メモリに格納された該再構成手パターンをディス
   プレイに表示するように表示手段を制御することを特徴
   とする情報処理装置。