JP3668663B2 - 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体 - Google Patents
仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3668663B2 JP3668663B2 JP2000042335A JP2000042335A JP3668663B2 JP 3668663 B2 JP3668663 B2 JP 3668663B2 JP 2000042335 A JP2000042335 A JP 2000042335A JP 2000042335 A JP2000042335 A JP 2000042335A JP 3668663 B2 JP3668663 B2 JP 3668663B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- user
- sensor
- calculation
- alternation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、各利用者を分身として表示し、利用者は分身を操作することで利用者の意思で自由に移動ができる三次元仮想空間を表現すると共に、仮想空間内において三次元オブジェクト（三次元の物体および他の利用者の分身など）を表現することができる端末装置をネットワークにより複数台接統し、複数の利用者が遠隔地において仮想空間を共有し、利用者の手足の動作を検出し、その動作を他の利用者に伝達し、遠隔地にいる利用者の分身を動作させる仮想空間における動作入力方法および装置に関する。
【０００２】
【従来の技術】
動作を検出し分身を動作させる従来の方法としては、光学式、磁気式、機械式などのモーションキャプチャ方式により利用者の全関節の三次元位置と方向を検出し、その位置と方向により分身を動作させる方法がある。
【０００３】
尚、モーションキャプチャは、ＣＧの世界では多用されており、例えば、以下の文献などに記載されている。
【０００４】
文献１「Ｙｕｅｔｉｎｇ Ｚｈｕａｎｇ，Ｘｉａｎｏｍｉｎｇ Ｌｉｕ，ａｎｄ Ｙｕｎｈｅ Ｐａｎ：“Ｖｉｄｅｏ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ Ｕｓｉｎｇ Ｆｅａｔｕｒｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｓｋｅｌｔｏｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ”，ＩＥＥＥ ＩＣＩＰ １９９９，ＩＶ，ｐｐ．２３２−２３６，Ｏｃｔ．１９９９」。
【０００５】
文献２「楊大昭、安藤寛、Ｗｕ Ｗｅｉ、国弘威、下田宏、吉川栄和：“人体の行動計測による自然な人体モーションと顔表情の合成手法の検討”、Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｎ＆Ｒ，Ｖｏｌ．１３，１９９８」。
【０００６】
文献３「日経コンピュータグラフィックス、“モーションキャプチャ最新動向”、１９９９年３月号」。
【０００７】
【発明が解決しようとする課題】
前述した従来の技術では、光学式の場合はマーカーを、磁気式の場合は磁気センサを全関節に装着したり、機械式の場合は重いスーツを装着しなければならず、装置の着脱に手間がかかったり、装着したために動きが制約されたりするという問題がある。
【０００８】
本発明の課題は、少ないマーカーあるいはセンサで利用者の動作を認識し、仮想空間内の利用者の分身を利用者の動作通りにほぼ動作させる仮想空間における動作入力方法および装置およびその動作入力プログラムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、以下に列記する手段により上記の課題を解決する。
【００１０】
その一手段は、各利用者を分身として表示し、利用者は分身を操作することで利用者の意思で自由に移動ができる三次元仮想空間を表現すると共に、仮想空間内において三次元オブジェクト（三次元の物体および他の利用者の分身など）を表現することができる端末装置をネットワークにより複数台接続し、複数の利用者が遠隔地において仮想空間内でコミュニケーションを図る仮想空間システムにおいて、利用者の頭部センサＡ、左手首センサＢ、右手首センサＣ、両手を広げたときの中心（背中）センサＤにより、それぞれのセンサの位置と方向を検出する位置方向検出過程と、利用者がキャリブレーションを行い利用者に合わせて利用者の分身の大きさを計算する分身の大きさ計算過程と、前記分身の大きさ計算過程より得られた分身の大きさ情報と前記位置方向検出過程から検出された位置、方向情報を他の利用者の端末装置に伝送する分身情報伝送過程と、前記分身情報伝送過程により伝送された位置、方向情報から、肢をリンクとし関節でつながったリンク構造で表現される分身の各関節の位置・回転量を逆運動学の数値計算法を用いて計算し、この計算の中では、分身の頭の動作はセンサＡの情報を用いて動作させ、センサＢ、センサＣ、センサＤの情報を用いて腕の各関節の移動位置と方向を予測する動作計算過程と、前記分身情報伝送過程により伝送された分身の大きさ情報と前記動作計算過程の計算結果に応じて分身を変更・動作させた仮想空間の生成を行う三次元仮想空間生成過程と、前記三次元仮想空間生成過程により生成された仮想空間を表示する三次元仮想空間表示過程とを有することを特徴とする仮想空間における動作入力方法である。
【００１１】
あるいは、各利用者を分身として表示し、利用者は分身を操作することで利用者の意思で自由に移動ができる三次元仮想空間を表現すると共に、仮想空間内において三次元オブジェクト（三次元の物体および他の利用者の分身など）を表現することができる端末装置をネットワークにより複数台接続し、複数の利用者が遠隔地において仮想空間内でコミュニケーションを図る仮想空間システムにおいて、利用者の頭部センサＡ、左手首センサＢ、右手首センサＣ、両手を広げたときの中心（背中）センサＤにより、それぞれのセンサの位置と方向を検出する位置方向検出手段と、利用者がキャリブレーションを行い利用者に合わせて利用者の分身の大きさを計算する分身の大きさ計算手段と、前記分身の大きさ計算手段より得られた分身の大きさ情報と前記位置方向検出手段から検出された位置、方向情報を他の利用者の端末装置に伝送する分身情報伝送手段と、他の端末装置の分身情報伝送手段により伝送された位置、方向情報から、肢をリンクとし関節でつながったリンク構造で表現される分身の各関節の位置・回転量を逆運動学の数値計算法を用いて計算し、この計算の中では、分身の頭の動作はセンサＡの情報を用いて動作させ、センサＢ、センサＣ、センサＤの情報を用いて腕の各関節の移動位置と方向を予測する動作計算手段と、前記他の端末装置の分身情報伝送手段により伝送された分身の大きさ情報と前記動作計算手段の計算結果に応じて分身を変更・動作させた仮想空間の生成を行う三次元仮想空間生成手段と、前記三次元仮想空間生成手段により生成された仮想空間を表示する三次元仮想空間表示手段とを備えることを特徴とする仮想空間における動作入力装置である。
【００１２】
あるいは、上記の動作入力方法における各過程の処理を計算機に実行させる動作入力プログラムを、前記計算機が読み取り可能である記録媒体に記録したことを特徴とする仮想空間における動作入力プログラムを記録した記録媒体である。
【００１４】
本発明では、他の端末装置から分身情報として伝送される利用者の手首・足首などの末端の点と中心点の位置と方向から、当該利用者の分身の各関節の位置・回転量を計算し、その計算結果に応じてその分身を変更・動作させることにより、利用者の全関節にマーカーあるいはセンサを装着したり、重いスーツを装着したりせずに、仮想空間における前記利用者の分身を利用者の動作通りにほぼ動作させることを可能とする。
【００１５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１６】
〈システム構成の実施の形態〉
本発明の仮想空間システムのハードウェア構成は、基本的に図１のように、センタ装置１と複数の利用者の各画像表示端末装置３Ａ，３Ｂ，３Ｃがネットワーク２により相互に接続されている。画像表示端末装置としては、３Ａに示したように利用者が仮想空間に没入し立体視できる多面ディスプレイシステムを用いたものや、３Ｂに示したようにＨＭＤ（ヘッド マウント ディスプレイ）を用いて仮想空間を立体表示するものや、３Ｃに示したように汎用ＰＣ（パーソナル コンピュータ）に表示するものなどが使用可能である。尚、センタ装置１は、各画像表示端末装置を管理するサーバであり、各画像表示端末装置が仮想空間を共有できるようにするとともに、ある画像表示端末装置からの分身情報を他の画像表示端末装置へ伝送する機能を有する。
【００１７】
〈動作入力の第１の実施の形態〉
図２、図３、図４、図５は、本発明の第１の実施の形態を説明する図である。本実施の形態では、利用者の動作として、磁気センサにより利用者の上半身のみを計測し、伝送する場合について説明する。図４は、本実施の形態における処理フローを示す図である。
【００１８】
まず、図２のように、利用者の頭に磁気センサ４Ａを、両手首に磁気センサ４Ｂ，４Ｃを、両手を広げた時の中心（背中）に磁気センサ４Ｄを取り付け、前記利用者の頭と手首と中心点の三次元位置および方向を検出する。次に、図２のように両手を広げて手の甲を上に向けた姿勢で前記利用者はキャリブレーションを行い、センサの方向を合わせると共に、前記利用者の頭に取り付けた磁気センサ４Ａの位置から分身の大きさ、あるいは分身の大きさを前記利用者の等身大とするための比率を算出する。次に、算出した大きさあるいは比率による大きさ情報と上記で検出した位置と方向の情報を分身情報として他の利用者の画像表示端末装置にセンタ装置１を介して伝送する。
【００１９】
ここで分身は一種のリンク構造と見なし、図３のように胴体を含めて全ての肢はリンク（頭、胴、腰、上腕、下腕、手、大腿、すね、足）と関節から構成し、各関節は３つ（Ｘ，Ｙ，Ｚ）の１方向に回転できるノードから構成され、各ノードは回転角を制限できるようにし、不自然な動きを防ぐ。
【００２０】
次に、分身情報が送られた各画像表示端末装置において、分身の頭の動作は、頭の磁気センサ４Ａから得られる値のみを用いて動作させ、中心点から肩までの距離を左右一定として予め入力しておき、前記利用者の分身の肩の位置および方向を算出し、手首（末端ノード）の位置と方向からニュートン法を用いたインバースキネマティクス（逆運動学）の数値計算法を用いて腕の各関節の移動位置と方向を予測する。具体的なインバースキネマティクスの数値計算は、図５に示す動作処理フローのように行う。
【００２１】
図５に示すインバースキネマティクスの数値計算処理においては、まず各関節の各ノードの角度を変動させ、手首を変動させる。次に、変動後の手首の位置をフォワードキネマティクス（順運動学）により計算し、移動すべき位置との距離を測定する。次に、その測定距離により最終的に移動すべき位置に近づいたかどうかを判定し、距離が近づいた場合（ＹＥＳ）には当初の通りに各ノードを動かし、遠のいた場合（ＮＯ）には逆の方向に各ノードを動かす。これを繰り返し、移動させた位置と最終的に移動すべき位置との距離が設定した値以下になるか、あるいは設定した演算回数になった場合に計算を終了する。
【００２２】
次に、計算終了後、計算結果に応じて分身を動作させた仮想空間の生成を行い、ディスプレイに三次元仮想空間を表示する。
【００２３】
尚、下半身を動作させる場合も、足首の位置と方向および腰の位置と方向を検出すれば、上記と同様にインバースキネマティクスを用いて足の動作を予測できる。
【００２４】
また、本実施の形態におけるフォワードキネマティクスとは、関節の位置、速度、加速度が与えられた時に、各リンクの位置、姿勢、速度、角速度、加速度、角加速度を求める問題であり、インバースキネマティクスとは、リンクの位置、姿勢、速度、角速度、加速度、角加速度が与えられた時、それを実現する関節変数の位置、速度、加速度を求める問題である。アームで考えると、腕の関節を動かしたときに手が追随するのがフォワードキネマティクスで、手を動かした時に腕の関節を移動させるのがインバースキネマティクスである。これらはロボット工学においてアームの制御では一般的に用いられており、例えば文献「“ロボット工学ハンドブック”、日本ロボット学会編、ｐｐ．１９６−２０６」に記載されている。
【００２５】
〈動作入力の第２の実施の形態〉
図６は、本発明の第２の実施の形態を説明する図である。
【００２６】
本実施の形態は、基本的には図１のシステム構成において、図４、図５の処理フローに従って処理を行うが、磁気センサにより利用者の上半身を計測し分身情報を伝送する場合において、図４の処理フロー中のキャリブレーションを下記のように行う。
【００２７】
第１の実施の形態と同様に、利用者の頭に磁気センサ４Ａを、両手首に磁気センサ４Ｂ，４Ｃを、両手を広げた時の中心（背中）に磁気センサ４Ｄを取り付け、前記利用者の頭と手首と中心点の三次元位置および方向を検出する。図６のように両手を下ろした状態で前記利用者はキャリブレーションを行い、センサの方向を合わせると共に、前記利用者の頭に取り付けた磁気センサ４Ａの位置から前記利用者の背高さを算出し、磁気センサ４Ｂと４Ｄの位置から利用者の腕の長さａ、肩幅ｂを算出する。以下、図４の処理フローのとおり、各算出した値と検出した位置と方向の分身情報を他の利用者の画像表示端末装置にセンタ装置１を介して伝送し、各画像表示端末装置において、その分身情報に基づいて、利用者の背の高さ・腕の長さ・肩幅に合わせて前記利用者の分身を動作させた仮想空間を生成して表示する。
【００２８】
このようにキャリブレーションを行うことで、利用者の体型にほぼ同等な分身を作製することが可能となる。
【００２９】
尚、以上の実施の形態では、磁気センサを用いる例を示したが、他のモーションキャプチャ方式を用いてもよいことは当然であり、その際のマーカーやセンサ等の配置は図２や図６と同様である。
【００３０】
また、以上の実施の形態における動作入力方法として図４、図５に示した処理過程は、画像表示端末装置に内蔵された計算機（コンピュータ）によって実行することが可能であり、その処理過程を実行するための動作入力プログラムは、その計算機が読み取り可能な可搬媒体メモリ、半導体メモリ、ハードディスクなどの適当な記憶媒体に格納して、保存したり、配布したり、提供したりすることができる。
【００３１】
【発明の効果】
以上説明したように、本発明は、利用者を仮想空間内に分身として表示する際に、全関節の位置と方向を検出することなく、前記利用者の分身の動作通りにほぼ動作させることが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態を示す仮想空間システムの構成図である。
【図２】本発明の動作入力方法の第１の実施の形態における利用者に付ける磁気センサの配置および利用者が行うキャリブレーション姿勢の例を示す図である。
【図３】上記第１の実施の形態における分身の構成例を示す図である。
【図４】上記第１の実施の形態における処理過程の例を示す処理フロー図である。
【図５】上記第１の実施の形態におけるインバースキネマティクスによる分身の位置と方向を予測する計算過程の例を示す処理フロー図である。
【図６】本発明の第２の実施の形態における利用者に付ける磁気センサの配置および利用者が行うキャリブレーション姿勢の例を示す図である。
【符号の説明】
１…センタ装置
２…ネットワーク
３Ａ，３Ｂ，３Ｃ…利用者の画像表示端末装置
４Ａ，４Ｂ，４Ｃ，４Ｄ…磁気センサ
【発明の属する技術分野】
本発明は、各利用者を分身として表示し、利用者は分身を操作することで利用者の意思で自由に移動ができる三次元仮想空間を表現すると共に、仮想空間内において三次元オブジェクト（三次元の物体および他の利用者の分身など）を表現することができる端末装置をネットワークにより複数台接統し、複数の利用者が遠隔地において仮想空間を共有し、利用者の手足の動作を検出し、その動作を他の利用者に伝達し、遠隔地にいる利用者の分身を動作させる仮想空間における動作入力方法および装置に関する。
【０００２】
【従来の技術】
動作を検出し分身を動作させる従来の方法としては、光学式、磁気式、機械式などのモーションキャプチャ方式により利用者の全関節の三次元位置と方向を検出し、その位置と方向により分身を動作させる方法がある。
【０００３】
尚、モーションキャプチャは、ＣＧの世界では多用されており、例えば、以下の文献などに記載されている。
【０００４】
文献１「Ｙｕｅｔｉｎｇ Ｚｈｕａｎｇ，Ｘｉａｎｏｍｉｎｇ Ｌｉｕ，ａｎｄ Ｙｕｎｈｅ Ｐａｎ：“Ｖｉｄｅｏ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ Ｕｓｉｎｇ Ｆｅａｔｕｒｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｓｋｅｌｔｏｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ”，ＩＥＥＥ ＩＣＩＰ １９９９，ＩＶ，ｐｐ．２３２−２３６，Ｏｃｔ．１９９９」。
【０００５】
文献２「楊大昭、安藤寛、Ｗｕ Ｗｅｉ、国弘威、下田宏、吉川栄和：“人体の行動計測による自然な人体モーションと顔表情の合成手法の検討”、Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｎ＆Ｒ，Ｖｏｌ．１３，１９９８」。
【０００６】
文献３「日経コンピュータグラフィックス、“モーションキャプチャ最新動向”、１９９９年３月号」。
【０００７】
【発明が解決しようとする課題】
前述した従来の技術では、光学式の場合はマーカーを、磁気式の場合は磁気センサを全関節に装着したり、機械式の場合は重いスーツを装着しなければならず、装置の着脱に手間がかかったり、装着したために動きが制約されたりするという問題がある。
【０００８】
本発明の課題は、少ないマーカーあるいはセンサで利用者の動作を認識し、仮想空間内の利用者の分身を利用者の動作通りにほぼ動作させる仮想空間における動作入力方法および装置およびその動作入力プログラムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、以下に列記する手段により上記の課題を解決する。
【００１０】
その一手段は、各利用者を分身として表示し、利用者は分身を操作することで利用者の意思で自由に移動ができる三次元仮想空間を表現すると共に、仮想空間内において三次元オブジェクト（三次元の物体および他の利用者の分身など）を表現することができる端末装置をネットワークにより複数台接続し、複数の利用者が遠隔地において仮想空間内でコミュニケーションを図る仮想空間システムにおいて、利用者の頭部センサＡ、左手首センサＢ、右手首センサＣ、両手を広げたときの中心（背中）センサＤにより、それぞれのセンサの位置と方向を検出する位置方向検出過程と、利用者がキャリブレーションを行い利用者に合わせて利用者の分身の大きさを計算する分身の大きさ計算過程と、前記分身の大きさ計算過程より得られた分身の大きさ情報と前記位置方向検出過程から検出された位置、方向情報を他の利用者の端末装置に伝送する分身情報伝送過程と、前記分身情報伝送過程により伝送された位置、方向情報から、肢をリンクとし関節でつながったリンク構造で表現される分身の各関節の位置・回転量を逆運動学の数値計算法を用いて計算し、この計算の中では、分身の頭の動作はセンサＡの情報を用いて動作させ、センサＢ、センサＣ、センサＤの情報を用いて腕の各関節の移動位置と方向を予測する動作計算過程と、前記分身情報伝送過程により伝送された分身の大きさ情報と前記動作計算過程の計算結果に応じて分身を変更・動作させた仮想空間の生成を行う三次元仮想空間生成過程と、前記三次元仮想空間生成過程により生成された仮想空間を表示する三次元仮想空間表示過程とを有することを特徴とする仮想空間における動作入力方法である。
【００１１】
あるいは、各利用者を分身として表示し、利用者は分身を操作することで利用者の意思で自由に移動ができる三次元仮想空間を表現すると共に、仮想空間内において三次元オブジェクト（三次元の物体および他の利用者の分身など）を表現することができる端末装置をネットワークにより複数台接続し、複数の利用者が遠隔地において仮想空間内でコミュニケーションを図る仮想空間システムにおいて、利用者の頭部センサＡ、左手首センサＢ、右手首センサＣ、両手を広げたときの中心（背中）センサＤにより、それぞれのセンサの位置と方向を検出する位置方向検出手段と、利用者がキャリブレーションを行い利用者に合わせて利用者の分身の大きさを計算する分身の大きさ計算手段と、前記分身の大きさ計算手段より得られた分身の大きさ情報と前記位置方向検出手段から検出された位置、方向情報を他の利用者の端末装置に伝送する分身情報伝送手段と、他の端末装置の分身情報伝送手段により伝送された位置、方向情報から、肢をリンクとし関節でつながったリンク構造で表現される分身の各関節の位置・回転量を逆運動学の数値計算法を用いて計算し、この計算の中では、分身の頭の動作はセンサＡの情報を用いて動作させ、センサＢ、センサＣ、センサＤの情報を用いて腕の各関節の移動位置と方向を予測する動作計算手段と、前記他の端末装置の分身情報伝送手段により伝送された分身の大きさ情報と前記動作計算手段の計算結果に応じて分身を変更・動作させた仮想空間の生成を行う三次元仮想空間生成手段と、前記三次元仮想空間生成手段により生成された仮想空間を表示する三次元仮想空間表示手段とを備えることを特徴とする仮想空間における動作入力装置である。
【００１２】
あるいは、上記の動作入力方法における各過程の処理を計算機に実行させる動作入力プログラムを、前記計算機が読み取り可能である記録媒体に記録したことを特徴とする仮想空間における動作入力プログラムを記録した記録媒体である。
【００１４】
本発明では、他の端末装置から分身情報として伝送される利用者の手首・足首などの末端の点と中心点の位置と方向から、当該利用者の分身の各関節の位置・回転量を計算し、その計算結果に応じてその分身を変更・動作させることにより、利用者の全関節にマーカーあるいはセンサを装着したり、重いスーツを装着したりせずに、仮想空間における前記利用者の分身を利用者の動作通りにほぼ動作させることを可能とする。
【００１５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１６】
〈システム構成の実施の形態〉
本発明の仮想空間システムのハードウェア構成は、基本的に図１のように、センタ装置１と複数の利用者の各画像表示端末装置３Ａ，３Ｂ，３Ｃがネットワーク２により相互に接続されている。画像表示端末装置としては、３Ａに示したように利用者が仮想空間に没入し立体視できる多面ディスプレイシステムを用いたものや、３Ｂに示したようにＨＭＤ（ヘッド マウント ディスプレイ）を用いて仮想空間を立体表示するものや、３Ｃに示したように汎用ＰＣ（パーソナル コンピュータ）に表示するものなどが使用可能である。尚、センタ装置１は、各画像表示端末装置を管理するサーバであり、各画像表示端末装置が仮想空間を共有できるようにするとともに、ある画像表示端末装置からの分身情報を他の画像表示端末装置へ伝送する機能を有する。
【００１７】
〈動作入力の第１の実施の形態〉
図２、図３、図４、図５は、本発明の第１の実施の形態を説明する図である。本実施の形態では、利用者の動作として、磁気センサにより利用者の上半身のみを計測し、伝送する場合について説明する。図４は、本実施の形態における処理フローを示す図である。
【００１８】
まず、図２のように、利用者の頭に磁気センサ４Ａを、両手首に磁気センサ４Ｂ，４Ｃを、両手を広げた時の中心（背中）に磁気センサ４Ｄを取り付け、前記利用者の頭と手首と中心点の三次元位置および方向を検出する。次に、図２のように両手を広げて手の甲を上に向けた姿勢で前記利用者はキャリブレーションを行い、センサの方向を合わせると共に、前記利用者の頭に取り付けた磁気センサ４Ａの位置から分身の大きさ、あるいは分身の大きさを前記利用者の等身大とするための比率を算出する。次に、算出した大きさあるいは比率による大きさ情報と上記で検出した位置と方向の情報を分身情報として他の利用者の画像表示端末装置にセンタ装置１を介して伝送する。
【００１９】
ここで分身は一種のリンク構造と見なし、図３のように胴体を含めて全ての肢はリンク（頭、胴、腰、上腕、下腕、手、大腿、すね、足）と関節から構成し、各関節は３つ（Ｘ，Ｙ，Ｚ）の１方向に回転できるノードから構成され、各ノードは回転角を制限できるようにし、不自然な動きを防ぐ。
【００２０】
次に、分身情報が送られた各画像表示端末装置において、分身の頭の動作は、頭の磁気センサ４Ａから得られる値のみを用いて動作させ、中心点から肩までの距離を左右一定として予め入力しておき、前記利用者の分身の肩の位置および方向を算出し、手首（末端ノード）の位置と方向からニュートン法を用いたインバースキネマティクス（逆運動学）の数値計算法を用いて腕の各関節の移動位置と方向を予測する。具体的なインバースキネマティクスの数値計算は、図５に示す動作処理フローのように行う。
【００２１】
図５に示すインバースキネマティクスの数値計算処理においては、まず各関節の各ノードの角度を変動させ、手首を変動させる。次に、変動後の手首の位置をフォワードキネマティクス（順運動学）により計算し、移動すべき位置との距離を測定する。次に、その測定距離により最終的に移動すべき位置に近づいたかどうかを判定し、距離が近づいた場合（ＹＥＳ）には当初の通りに各ノードを動かし、遠のいた場合（ＮＯ）には逆の方向に各ノードを動かす。これを繰り返し、移動させた位置と最終的に移動すべき位置との距離が設定した値以下になるか、あるいは設定した演算回数になった場合に計算を終了する。
【００２２】
次に、計算終了後、計算結果に応じて分身を動作させた仮想空間の生成を行い、ディスプレイに三次元仮想空間を表示する。
【００２３】
尚、下半身を動作させる場合も、足首の位置と方向および腰の位置と方向を検出すれば、上記と同様にインバースキネマティクスを用いて足の動作を予測できる。
【００２４】
また、本実施の形態におけるフォワードキネマティクスとは、関節の位置、速度、加速度が与えられた時に、各リンクの位置、姿勢、速度、角速度、加速度、角加速度を求める問題であり、インバースキネマティクスとは、リンクの位置、姿勢、速度、角速度、加速度、角加速度が与えられた時、それを実現する関節変数の位置、速度、加速度を求める問題である。アームで考えると、腕の関節を動かしたときに手が追随するのがフォワードキネマティクスで、手を動かした時に腕の関節を移動させるのがインバースキネマティクスである。これらはロボット工学においてアームの制御では一般的に用いられており、例えば文献「“ロボット工学ハンドブック”、日本ロボット学会編、ｐｐ．１９６−２０６」に記載されている。
【００２５】
〈動作入力の第２の実施の形態〉
図６は、本発明の第２の実施の形態を説明する図である。
【００２６】
本実施の形態は、基本的には図１のシステム構成において、図４、図５の処理フローに従って処理を行うが、磁気センサにより利用者の上半身を計測し分身情報を伝送する場合において、図４の処理フロー中のキャリブレーションを下記のように行う。
【００２７】
第１の実施の形態と同様に、利用者の頭に磁気センサ４Ａを、両手首に磁気センサ４Ｂ，４Ｃを、両手を広げた時の中心（背中）に磁気センサ４Ｄを取り付け、前記利用者の頭と手首と中心点の三次元位置および方向を検出する。図６のように両手を下ろした状態で前記利用者はキャリブレーションを行い、センサの方向を合わせると共に、前記利用者の頭に取り付けた磁気センサ４Ａの位置から前記利用者の背高さを算出し、磁気センサ４Ｂと４Ｄの位置から利用者の腕の長さａ、肩幅ｂを算出する。以下、図４の処理フローのとおり、各算出した値と検出した位置と方向の分身情報を他の利用者の画像表示端末装置にセンタ装置１を介して伝送し、各画像表示端末装置において、その分身情報に基づいて、利用者の背の高さ・腕の長さ・肩幅に合わせて前記利用者の分身を動作させた仮想空間を生成して表示する。
【００２８】
このようにキャリブレーションを行うことで、利用者の体型にほぼ同等な分身を作製することが可能となる。
【００２９】
尚、以上の実施の形態では、磁気センサを用いる例を示したが、他のモーションキャプチャ方式を用いてもよいことは当然であり、その際のマーカーやセンサ等の配置は図２や図６と同様である。
【００３０】
また、以上の実施の形態における動作入力方法として図４、図５に示した処理過程は、画像表示端末装置に内蔵された計算機（コンピュータ）によって実行することが可能であり、その処理過程を実行するための動作入力プログラムは、その計算機が読み取り可能な可搬媒体メモリ、半導体メモリ、ハードディスクなどの適当な記憶媒体に格納して、保存したり、配布したり、提供したりすることができる。
【００３１】
【発明の効果】
以上説明したように、本発明は、利用者を仮想空間内に分身として表示する際に、全関節の位置と方向を検出することなく、前記利用者の分身の動作通りにほぼ動作させることが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態を示す仮想空間システムの構成図である。
【図２】本発明の動作入力方法の第１の実施の形態における利用者に付ける磁気センサの配置および利用者が行うキャリブレーション姿勢の例を示す図である。
【図３】上記第１の実施の形態における分身の構成例を示す図である。
【図４】上記第１の実施の形態における処理過程の例を示す処理フロー図である。
【図５】上記第１の実施の形態におけるインバースキネマティクスによる分身の位置と方向を予測する計算過程の例を示す処理フロー図である。
【図６】本発明の第２の実施の形態における利用者に付ける磁気センサの配置および利用者が行うキャリブレーション姿勢の例を示す図である。
【符号の説明】
１…センタ装置
２…ネットワーク
３Ａ，３Ｂ，３Ｃ…利用者の画像表示端末装置
４Ａ，４Ｂ，４Ｃ，４Ｄ…磁気センサ
Claims (3)
- 各利用者を分身として表示し、利用者は分身を操作することで利用者の意思で自由に移動ができる三次元仮想空間を表現すると共に、仮想空間内において三次元の物体および他の利用者の分身を含む三次元オブジェクトを表現することができる端末装置をネットワークにより複数台接続し、複数の利用者が遠隔地において仮想空間内でコミュニケーションを図る仮想空間システムにおいて、
利用者の頭部センサＡ、左手首センサＢ、右手首センサＣ、両手を広げたときの中心（背中）センサＤにより、それぞれのセンサの位置と方向を検出する位置方向検出過程と、
利用者がキャリブレーションを行い利用者に合わせて利用者の分身の大きさを計算する分身の大きさ計算過程と、
前記分身の大きさ計算過程より得られた分身の大きさ情報と前記位置方向検出過程から検出された位置、方向情報を他の利用者の端末装置に伝送する分身情報伝送過程と、
前記分身情報伝送過程により伝送された位置、方向情報から、肢をリンクとし関節でつながったリンク構造で表現される分身の各関節の位置・回転量を逆運動学の数値計算法を用いて計算し、この計算の中では、分身の頭の動作はセンサＡの情報を用いて動作させ、センサＢ、センサＣ、センサＤの情報を用いて腕の各関節の移動位置と方向を予測する動作計算過程と、
前記分身情報伝送過程により伝送された分身の大きさ情報と前記動作計算過程の計算結果に応じて分身を変更・動作させた仮想空間の生成を行う三次元仮想空間生成過程と、
前記三次元仮想空間生成過程により生成された仮想空間を表示する三次元仮想空間表示過程とを有する
ことを特徴とする仮想空間における動作入力方法。 - 各利用者を分身として表示し、利用者は分身を操作することで利用者の意思で自由に移動ができる三次元仮想空間を表現すると共に、仮想空間内において三次元の物体および他の利用者の分身を含む三次元オブジェクトを表現することができる端末装置をネットワークにより複数台接続し、複数の利用者が遠隔地において仮想空間内でコミュニケーションを図る仮想空間システムにおいて、
利用者の頭部センサＡ、左手首センサＢ、右手首センサＣ、両手を広げたときの中心（背中）センサＤにより、それぞれのセンサの位置と方向を検出する位置方向検出手段と、
利用者がキャリブレーションを行い利用者に合わせて利用者の分身の大きさを計算する分身の大きさ計算手段と、
前記分身の大きさ計算手段より得られた分身の大きさ情報と前記位置方向検出手段から検出された位置、方向情報を他の利用者の端末装置に伝送する分身情報伝送手段と、
他の端末装置の分身情報伝送手段により伝送された位置、方向情報から、肢をリンクとし関節でつながったリンク構造で表現される分身の各関節の位置・回転量を逆運動学の数値計算法を用いて計算し、この計算の中では、分身の頭の動作はセンサＡの情報を用いて動作させ、センサＢ、センサＣ、センサＤの情報を用いて腕の各関節の移動位置と方向を予測する動作計算手段と、
前記他の端末装置の分身情報伝送手段により伝送された分身の大きさ情報と前記動作計算手段の計算結果に応じて分身を変更・動作させた仮想空間の生成を行う三次元仮想空間生成手段と、
前記三次元仮想空間生成手段により生成された仮想空間を表示する三次元仮想空間表示手段とを備える
ことを特徴とする仮想空間における動作入力装置。 - 請求項１記載の仮想空間における動作入力方法の各過程の処理を計算機に実行させる動作入力プログラムを、
前記計算機が読み取り可能である記録媒体に記録した
ことを特徴とする仮想空間における動作入力プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000042335A JP3668663B2 (ja) | 2000-02-21 | 2000-02-21 | 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000042335A JP3668663B2 (ja) | 2000-02-21 | 2000-02-21 | 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001236520A JP2001236520A (ja) | 2001-08-31 |
| JP3668663B2 true JP3668663B2 (ja) | 2005-07-06 |
Family
ID=18565421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000042335A Expired - Fee Related JP3668663B2 (ja) | 2000-02-21 | 2000-02-21 | 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3668663B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005337983A (ja) * | 2004-05-28 | 2005-12-08 | Spice:Kk | モーションキャプチャー方法及びシステム |
| KR100753965B1 (ko) * | 2006-04-07 | 2007-08-31 | (주)아이토닉 | 퍼펫의 자세캡쳐 시스템 및 그 방법 |
| JP5540583B2 (ja) | 2009-06-24 | 2014-07-02 | 富士ゼロックス株式会社 | 位置計測システム、位置計測用演算装置およびプログラム |
| KR101401656B1 (ko) | 2012-12-27 | 2014-06-02 | 전자부품연구원 | 동작인식 기반의 가상훈련 시스템 및 그 제어방법 |
| US10415975B2 (en) * | 2014-01-09 | 2019-09-17 | Xsens Holding B.V. | Motion tracking with reduced on-body sensors set |
| JP6391465B2 (ja) * | 2014-12-26 | 2018-09-19 | Kddi株式会社 | ウェアラブル端末装置およびプログラム |
| JP6707327B2 (ja) * | 2015-08-20 | 2020-06-10 | 株式会社東芝 | 動作判別装置及び動作判別方法 |
| CN105565103B (zh) * | 2016-03-16 | 2018-10-16 | 日立楼宇技术（广州）有限公司 | 电梯故障检测方法及装置 |
| US10386938B2 (en) * | 2017-09-18 | 2019-08-20 | Google Llc | Tracking of location and orientation of a virtual controller in a virtual reality system |
| JP2019128721A (ja) * | 2018-01-23 | 2019-08-01 | 株式会社コロプラ | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 |
| US11660526B2 (en) | 2018-03-01 | 2023-05-30 | Sony Interactive Entertainment Inc. | Estimation apparatus, estimation method, and program |
| JP6470859B1 (ja) * | 2018-03-08 | 2019-02-13 | 株式会社コロプラ | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 |
| JP7058198B2 (ja) | 2018-08-21 | 2022-04-21 | グリー株式会社 | 画像表示システム、画像表示方法及び画像表示プログラム |
| WO2020049692A2 (ja) | 2018-09-06 | 2020-03-12 | 株式会社ソニー・インタラクティブエンタテインメント | 推定装置、学習装置、推定方法、学習方法及びプログラム |
| US20200097066A1 (en) * | 2018-09-20 | 2020-03-26 | XRSpace CO., LTD. | Tracking Method and Tracking System Using the Same |
| JP6533946B1 (ja) * | 2018-12-07 | 2019-06-26 | 株式会社ｇｕｍｉ | プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ |
| CN112860072A (zh) * | 2021-03-16 | 2021-05-28 | 河南工业职业技术学院 | 一种虚拟现实多人交互协作方法与系统 |
-
2000
- 2000-02-21 JP JP2000042335A patent/JP3668663B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001236520A (ja) | 2001-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3668663B2 (ja) | 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体 | |
| US7259771B2 (en) | Image processing system, image processing apparatus, and display apparatus | |
| JP6116784B1 (ja) | ３次元モデル生成システム、３次元モデル生成方法、及びプログラム | |
| WO2020054442A1 (ja) | 関節位置の取得方法及び装置、動作の取得方法及び装置 | |
| Kakadiaris et al. | Three-dimensional human body model acquisition from multiple views | |
| JP5657216B2 (ja) | モーションキャプチャー装置及びモーションキャプチャー方法 | |
| Riley et al. | Methods for motion generation and interaction with a humanoid robot: Case studies of dancing and catching | |
| CN108564643B (zh) | 基于ue引擎的表演捕捉系统 | |
| JP2024519940A (ja) | データ処理方法、装置、データ処理システム、電子機器及びコンピュータプログラム | |
| US20230067081A1 (en) | System and method for real-time creation and execution of a human Digital Twin | |
| Molet et al. | An animation interface designed for motion capture | |
| Tao et al. | Human modeling and real-time motion reconstruction for micro-sensor motion capture | |
| KR20230166319A (ko) | 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체 | |
| JP2005046931A (ja) | ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム | |
| Moeslund | Interacting with a virtual world through motion capture | |
| Akahane et al. | Two-handed multi-finger string-based haptic interface SPIDAR-8 | |
| Chakravarthi et al. | Real-time human motion tracking and reconstruction using imu sensors | |
| Ji et al. | Motion trajectory of human arms based on the dual quaternion with motion tracker | |
| Chakravarthi et al. | Scenario-Based Sensed Human Motion Editing and Validation Through the Motion-Sphere | |
| Zhang et al. | Ubiquitous human body motion capture using micro-sensors | |
| JP3312337B2 (ja) | コンピュータグラフィックの表示方法 | |
| Zeng et al. | Motion capture and reconstruction based on depth information using Kinect | |
| JP2011008351A (ja) | 画像処理方法及び画像処理装置 | |
| Molet et al. | An architecture for immersive evaluation of complex human tasks | |
| JP2915846B2 (ja) | ３次元映像作成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050302 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050411 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |