JP3953450B2

JP3953450B2 - ３次元オブジェクト姿勢操作方法およびプログラム

Info

Publication number: JP3953450B2
Application number: JP2003314335A
Authority: JP
Inventors: ▼高▲市平賀; 賢一荒川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-09-05
Filing date: 2003-09-05
Publication date: 2007-08-08
Anticipated expiration: 2023-09-05
Also published as: JP2005084817A

Description

本発明は３次元オブジェクトの姿勢を操作する方法に関する。

上記の技術に関連する特許出願として、特許文献１があるが、この特許出願では、操作者が指示する３次元位置や方向を検出するだけであり、対象物の姿勢を操作する方法については述べられていない。また、特許文献２があるが、様々な姿勢の手先画像をテンプレートとしたマッチング方式であるため、検出される姿勢は離散的であり、かつ計算コストがかかる。
特開平１０−３２６１４８号公報特開平８−０７６９１７号公報

掌や拳などの姿勢を検出し、この姿勢情報により３次元オブジェクトの姿勢を操作することは原理的には可能であるが、掌や拳などの姿勢を十分な精度で検出するためには計算コストがかかり実時間での処理は不可能であり、実用的ではなく、逆に実時間での処理を可能にするには、掌や拳などの姿勢検出の精度をおとさなければならないが、検出される姿勢の離散度が大きく、実用的ではない。

本発明の目的は、計算機内の３次元オブジェクトの姿勢を実時間で操作する３次元オブジェクト姿勢操作方法およびプログラムを提供することにある。

本発明の第１の態様によれば、位置検出手段、領域判定手段、動作モード判定手段、および姿勢算出手段を有する装置が、実空間内の所定の物体の３次元位置により、計算機内の３次元オブジェクトの姿勢を操作するための３次元オブジェクト姿勢操作方法であって、位置検出手段が所定の物体の３次元位置を継続的に検出し、位置検出手段で検出される３次元位置が、固定された基準点を含む、空間座標系に固定された仮想作業領域の内部にあるか外部にあるかを、領域判定手段が判定し、動作モード判定手段が、領域判定手段の判定結果から、所定の物体が仮想作業領域の外部から内部に入ったとき動作モードをアイドルモードから姿勢操作モードに遷移させ、所定の物体が仮想作業領域の内部から外部に出たとき動作モードを姿勢操作モードからアイドルモードに遷移させ、アイドルモードから姿勢操作モードへの遷移時に、動作モード判定手段が、基準点から、所定の物体の仮想作業領域に入ったときの３次元位置に向かう第１の単位ベクトルと、３次元オブジェクトの姿勢とを記録し、姿勢操作モードである間に限り、姿勢算出手段が、第１の単位ベクトルを、基準点から現在の所定の物体の３次元位置に向かう第２の単位ベクトルに重ね合わせるような回転方向および回転角度の回転変換を、３次元オブジェクトに対して施し、回転変換を施した３次元オブジェクトの姿勢を現在の３次元オブジェクトの姿勢とする。

本発明の第２の態様によれば、位置検出手段、領域判定手段、動作モード判定手段、および姿勢算出手段を有する装置が、実空間内の所定の物体の３次元位置により、計算機内の３次元オブジェクトの姿勢を操作するための３次元オブジェクト姿勢操作方法であって、位置検出手段が所定の物体の３次元位置を継続的に検出し、位置検出手段で検出される３次元位置が、固定された基準点を含む、空間座標系に固定された仮想作業領域の内部にあるか外部にあるかと、仮想作業領域に含まれかつ実空間に固定された内部仮想作業領域の内部にあるか外部にあるかとを、領域判定手段が判定し、動作モード判定手段が、領域判定手段の判定結果から、所定の物体が内部仮想作業領域の外部から内部に入ったとき動作モードをアイドルモードから姿勢操作モードに遷移させ、所定の物体が内部仮想作業領域の内部から仮想作業領域の外部に出たとき動作モードを姿勢操作モードからアイドルモードに遷移させ、アイドルモードから姿勢操作モードへの遷移時に、動作モード判定手段が、基準点から、所定の物体の内部仮想作業領域に入ったときの３次元位置に向かう第１の単位ベクトルと、３次元オブジェクトの姿勢とを記録し、姿勢操作モードである間に限り、姿勢算出手段が、第１の単位ベクトルを、基準点から現在の所定の物体の３次元位置に向かう第２の単位ベクトルに重ね合わせるような回転方向および回転角度の回転変換を、３次元オブジェクトに対して施し、回転変換を施した３次元オブジェクトの姿勢を現在の３次元オブジェクトの姿勢とする。

本発明の第３の態様によれば、位置検出手段、領域判定手段、動作モード判定手段、および姿勢算出手段を有する装置が、実空間内の所定の物体の３次元位置により、計算機内の２個以上の３次元オブジェクトからひとつを選択し、３次元オブジェクトの姿勢を操作するための３次元オブジェクト姿勢操作方法であって、位置検出手段が所定の物体の３次元位置を継続的に検出し、位置検出手段で検出される３次元位置が、３次元オブジェクトの個数と同数で、３次元オブジェクトに一対一に対応する、実空間に固定された仮想作業領域のそれぞれの内部にあるか外部にあるかと、それぞれの仮想作業領域に含まれかつ実空間に固定された、３次元オブジェクトの個数と同数の、互いに交わりのない内部仮想作業領域のそれぞれの内部にあるか外部にあるかとを、領域判定手段が判定し、動作モード判定手段が、領域判定手段の判定結果から、所定の物体が全ての３次元オブジェクトの前記仮想作業領域の外部から、１つ目の３次元オブジェクトの前記内部仮想作業領域の内部に入ったとき、動作モードをアイドルモードからその３次元オブジェクトの姿勢操作モードに遷移させ、所定の物体がその３次元オブジェクトの内部仮想作業領域の内部から仮想作業領域の外部に出たとき、動作モードを姿勢操作モードからアイドルモードに遷移させ、アイドルモードから姿勢操作モードへの遷移時に、動作モード判定手段が、その３次元オブジェクトに関する、実空間に固定された基準点から、所定の物体の内部仮想作業領域に入ったときの３次元位置に向かう第１の単位ベクトルと、その３次元オブジェクトの姿勢とを記録し、姿勢操作モードである間に限り、姿勢算出手段が、第１の単位ベクトルを、基準点から現在の所定の物体の３次元位置に向かう第２の単位ベクトルに重ね合わせるような回転方向および回転角度の回転変換を、その３次元オブジェクトに対して施し、回転変換を施した３次元オブジェクトの姿勢を現在の３次元オブジェクトの姿勢とする。

本発明は、指先などの位置を動かすことにより、仮想対象物の把持およびリリースを容易に指定したり、仮想対象物の姿勢を容易に操作することができる。

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施形態］

本実施形態では、指先に取り付けたマーカーを撮像したカメラ画像を解析することで、空間内での指先の３次元的動きを捉え、計算機内の３次元オブジェクトの姿勢を操作する。図１から図５に、空間内での指先の３次元位置を検出する方法を示す。

図１において、カメラ１０４およびカメラ１０５は空間座標系１９０に固定されており、それぞれのカメラ１０４、１０５の中心軸は、空間座標系１９０のＺ軸上の基準点１０２で交差している。表示用モニター１０３は、カメラ１０４とカメラ１０５の間に置かれている。指先に取り付けられたマーカー１０１は蛍光赤色で塗装された球であるが、波長９００ナノメートル程度の発光ダイオードをマーカーとして用いることも可能である。

図２において、画像２００，２０１は指先マーカー１０１をそれぞれ撮像したカメラ１０４，１０５の赤チャネル画像全体をガウシアンフィルターにより処理した画像である。指先マーカー像２０２，２０３が輝度の高い領域として表示されている。

図３（ａ）において、カメラ座標系１１０は空間座標系１９０に固定されており、そのＺ軸はカメラ１０４の中心軸に一致している。直線１１３は、画像面１１１上の最も高輝度な画素１１２の位置とカメラ座標系１１０の原点とを結ぶ直線である。図３（ｂ）において、カメラ座標系１２０は空間座標系１９０に固定されており、そのＺ軸はカメラ１０５の中心軸に一致している。直線１２３は、画像面１２１上の最も高輝度な画素１２２の位置とカメラ座標系１２０の原点とを結ぶ直線である。

図４に、空間座標系１９０における直線１１３および直線１２３を示す。カメラ座標系１１０およびカメラ座標系１２０が空間座標系１９０に固定されているので、それぞれのカメラ座標系１１０，１２０での位置姿勢が特定された直線１１３および直線１２３は、空間座標系１９０での位置も特定される。

図５に、実空間内での指先の３次元位置を検出する方法を示す。空間座標系１９０での位置が特定された直線１１３および直線１２３とを最短で結ぶ直線と、直線１１３および直線１２３との交点をそれぞれＰ₁およびＰ₂とする。Ｐ₁とＰ₂の中点Ｐ_Mを、実空間内での指先の３次元位置１００とする。

図６から図１１に、実空間内での指先の３次元位置により計算機内の３次元オブジェクトを操作する方法を示す。

図６に、基準点１０２を含むように空間座標系１９０に固定された仮想作業領域１３０を示す。

図７に、動作モードが操作開始の前であるアイドルモードの状態を示す。図７（ａ）はモニター画面で、操作対象の３次元オブジェクト２１０、指先位置を示すカーソル２１１、および仮想作業領域１３０の境界１３１の像２１２が表示されている。図７（ｂ）に、指先の３次元位置１００が仮想作業領域１３０の外部にある状態を示す。

図８に、仮想作業領域１３０の外部にある指先の３次元位置１００が、仮想作業領域１３０に侵入することで、動作モードが姿勢操作モードに遷移した状態を示す。その際に、図１０に示す、基準点１０２から、指先の３次元位置１００と仮想作業領域１３０の境界面１３１との接点１４０に向かう単位ベクトル１４１、および３次元オブジェクト２１０の姿勢を記憶しておく。このとき、動作モードの遷移をオペレータに知らせる方法として、３次元オブジェクト２１０の表示色を変化させる、仮想作業領域１３０の境界１３１の像２１２やカーソル２１１の表示色を変化させる、もしくはチャイムを鳴らすなどの方法がある。指先の３次元位置１００が仮想作業領域１３０の内部もしくは境界１３１の上にある間は、姿勢操作モードが継続される。

図９に、姿勢操作中の状態を示す。３次元オブジェクト２１０の現在の姿勢については、動作モードが姿勢操作モードに遷移した際に記憶しておいた３次元オブジェクト２１０の姿勢を、図１０（ｂ）に示す軸１４３の周りに１４４で示す角度だけ回転させた姿勢を以って、その現在姿勢とする。ここで、軸１４３は、図１０（ａ）に示す単位ベクトル１４１、および基準点１０２から指先の３次元位置１００に向かう単位ベクトル１４２の両方を含む平面に垂直で、かつ基準点１０２を通る直線である。また、１４４で示す角度は、単位ベクトル１４２が単位ベクトル１４１に対してなす角度である。

図１１に、指先の３次元位置１００が仮想作業領域１３０から出ることにより、動作モードが姿勢操作モードからアイドルモードに遷移し、姿勢操作が完了した状態を示す。この状態は、図７に示す状態と同じである。
［第２の実施形態］

第１の実施形態における、図８で説明したアイドルモードから姿勢操作モードへの動作モードの動作遷移の際や、図１１で説明した姿勢操作モードからアイドルモードへの動作モードの遷移の際には、検出された指先の３次元位置１００にノイズなどが畳重することで、チャタリングが生じることがある。

第２の実施形態として、図１２から図１６に、チャタリングを防止しつつ、実空間内での指先の３次元位置により計算機内の３次元オブジェクトを操作する方法を示す。

図１２に動作モードがアイドルモードの状態を示す。図１２（ｂ）に示すように、図７に示す仮想作業領域１３０に加え、これに含まれる内部仮想作業領域１５０を用いる。両仮想作業領域１３０，１５０の境界面１３１と境界面１５１との距離の最小値は、指先の３次元位置１００に畳重しているノイズのレベルと比較し十分に大きいとする。図１２（ａ）に示す表示用モニター１０３には、仮想作業領域１３０の境界面１３１の像２１５は表示されないか、もしくは淡色で表示される一方、内部仮想作業領域１５０の境界面１５１の像２１３は濃色で表示され、傾注すべき境界面をオペレータに知らせている。

図１３に動作モードアイドルモードから姿勢操作モードへの遷移の様子を示す。アイドルモード時に限り、内部仮想作業領域１５０の外部にある指先の３次元位置１００が、内部仮想作業領域１５０に侵入する、もしくはその境界面１５１に接触すると、動作モードは姿勢操作モードに遷移する。その際に、図１５に示す、基準点１０２から、指先の３次元位置１００と仮想作業領域１３０の境界面１３１との接点１４０に向かう単位ベクトル１４１、および３次元オブジェクト２１０の姿勢を記憶しておく。このとき、カーソル２１１の表示色を変化させる、チャイムを鳴らす、もしくは、内部仮想作業領域１５０の境界面１５１の像２１３を消去、もしくは淡色表示に変更する一方で、仮想作業領域１３０の境界面１３１の像２１５を濃色表示に変更する、などすることで、動作モードの遷移をオペレータに知らせるとともに、傾注すべき境界面も知らせる。指先の３次元位置１００が仮想作業領域１３０の内部にある間は、姿勢操作モードが継続される。

図１４に姿勢操作中の状態を示す。３次元オブジェクト２１０の現在の姿勢については、動作モード、姿勢操作モードに遷移した際に記憶しておいた３次元オブジェクト２１０の姿勢を、図１５（ｂ）に示す軸１４３の周りに１４４で示す角度だけ回転させた姿勢を以って、その現在姿勢とする。ここで、軸１４３は、図１５（ａ）に示す単位ベクトル１４１、および基準点１０２から指先の３次元位置１００に向かう単位ベクトル１４２の両方を含む平面に垂直で、かつ基準点１０２を通る直線である。また、１４４で示す角度は、単位ベクトル１４２が単位ベクトル１４１に対してなす角度である。

図１６に、姿勢操作モードからアイドルモードへの動作モードの遷移の様子を示す。姿勢操作モード時に限り、指先の３次元位置１００が仮想作業領域１３０の外部に出るか、もしくはその境界面１３１に接触するとアイドルモードに遷移する。
［第３の実施形態］

図１７に示すように、第２の実施形態における内部仮想作業領域１５０の代わりに、３次元オブジェクト２１０と同一形状の領域である内部仮想作業領域１６０を用いる。
［第４の実施形態］

第４の実施形態では、第２の実施形態の図１２に示す仮想作業領域と同様の仮想作業領域が２つあり、かつこれらの仮想作業領域が交わっている場合について説明する。

図１８に示すように、２つの内部仮想作業領域の交わり領域を、それぞれの内部仮想作業領域から取り除いた領域を、それぞれ内部仮想作業領域１５０と内部仮想作業領域５５０とすることで、第２の実施形態と同様の方法により、３次元オブジェクトの姿勢を操作する。

第１の実施形態では、指先の３次元位置を検出する手段として、マーカーを用いる方式の検出エンジンを利用していたが、このエンジンの代わりに、何もつけない指先の位置検出を行うエンジンを利用することもできる。このような指先の３次元位置検出エンジンとしては、「ＲｏｂｕｓｔＦｉｎｇｅｒＴｒａｃｋｉｎｇｗｉｔｈＭｕｌｔｉｐｌｅＣａｍｅｒａｓ」ＣｕｌｌｅｎＪｅｎｎｉｎｇｓ、１９９９、などがある。

図１９は以上説明した第１から第５の実施形態の３次元オブジェクト姿勢操作方法を実施する装置のブロック図である。

指先もしくはマーカー位置検出部３０１は指先または指先に取り付けられたマーカー１０１の３次元位置１００を検出する。領域判定部３０２は、指先またはマーカー１０１の３次元位置１００が仮想作業領域１３０（第２の実施形態ではさらに内部仮想作業領域１５０）、仮想作業領域１３０の外部のいずれかにあるかを判定する。動作モード判定部３０４は領域判定部３０２の判定検索から動作モード（アイドルモード、姿勢操作モード）を判定し、判定した動作モードを動作モード記憶部３０３に記憶するとともに、動作モードがアイドルモードから姿勢操作モードに遷移したときに、単位ベクトル４１と３次元オブジェクト２１０の姿勢を位置情報記憶部３０５に記憶する。姿勢算出部３０６は動作モードが姿勢操作モードのとき位置情報記憶部３０５に記憶した情報を用いて３次元オブジェクト２１０の姿勢を軸１４３の周りに角度１４４だけ回転させる計算を行なう。

なお、以上説明した本発明の３次元オブジェクト姿勢操作方法は、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することができる。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。

指先マーカー１０１を２台のカメラ１０４，１０５で撮影する様子を示す図である。指先マーカー１０１を撮影したカメラ１０４，１０５の赤チャネル画像全体をガウシアンフィルターにより処理した画像を示す図である。画像面１１１，１２１上の最も高輝度な画像１１２，１２２とカメラ座標系１２０の原点とを結ぶ直線１１３，１２３を示す図である。空間座標系１９０における直線１１３，１２３を示す図である。実空間内での指先の３次元位置を検出する方法を示す図である。基準点１０２を含む仮想作業領域１３０を示す図である。動作モードがアイドルモードの状態を示す図である。動作モードが姿勢操作モードに遷移した状態を示す図である。姿勢操作中の状態を示す図である。３次元オブジェクト２１０の姿勢の変化を示す図である。動作モードが姿勢モードからアイドルモードに遷移し、姿勢操作が完了した状態を示す図である。第２の実施形態におけるアイドルモードを示す図である。第２の実施形態におけるアイドルモードから姿勢操作モードへの動作モードの遷移の様子を示す図である。第２の実施形態における姿勢操作中の状態を示す図である。第２の実施形態における３次元オブジェクト２１０の姿勢の変化を示す図である。第２の実施形態における姿勢操作モードからアイドルモードへの動作モードの遷移の様子を示す図である。第３の実施形態で用いる内部仮想作業領域を示す図である。第４の実施形態で用いる仮想作業領域を示す図である。第１から第５の実施形態の３次元オブジェクト姿勢操作方法を実施する装置のブロック図である。

符号の説明

１００実空間内での推定されたマーカー位置
１０１実空間内でのマーカー位置
１０２実空間座標系のＺ軸上の姿勢操作基準点
１０３表示用モニター
１０４カメラ
１０５カメラ
１９０実空間座標系
２００カメラ画像
２０１カメラ画像
２０２カメラ画像上でのマーカー位置
２０３カメラ画像上でのマーカー位置
１１０カメラ座標系
１１１カメラ撮像面
１１２カメラ撮像面上でのマーカー位置
１１３カメラ座標系の原点とカメラ撮像面上でのマーカー位置とを結ぶ直線
１２０カメラ座標系
１２１カメラ撮像面
１２２カメラ撮像面上でのマーカー位置
１２３カメラ座標系の原点とカメラ撮像面上でのマーカー位置とを結ぶ直線
１３０仮想作業領域
１３１仮想作業領域の境界面
１３２仮想作業領域
１５１内部仮想作業領域の境界面
２１０モニターに表示された３次元オブジェクト
２１１マーカー位置のカーソル
２１２モニターに表示された仮想作業領域
１４０推定されたマーカー位置と仮想作業領域の境界面との接点
１４１姿勢操作基準点から接点に向かう単位ベクトル
１４２姿勢操作基準点から推定されたマーカー位置に向かう単位ベクトル
１４３２つの単位ベクトルを含む平面に垂直で姿勢操作基準点を通る直線
１４４２つの単位ベクトルがなす角
１０８３次元オブジェクト
１０９３次元オブジェクト
３０１指先もしくはマーカー位置検出部
３０２領域判定部
３０３動作モード記憶部
３０４動作モード判定部
３０５位置情報記憶部
３０６姿勢算出部

Claims

位置検出手段、領域判定手段、動作モード判定手段、および姿勢算出手段を有する装置が、実空間内の所定の物体の３次元位置により、計算機内の３次元オブジェクトの姿勢を操作するための３次元オブジェクト姿勢操作方法であって、
前記位置検出手段が前記所定の物体の３次元位置を継続的に検出し、
前記位置検出手段で検出される前記３次元位置が、固定された基準点を含む、空間座標系に固定された仮想作業領域の内部にあるか外部にあるかを、前記領域判定手段が判定し、
前記動作モード判定手段が、前記領域判定手段の判定結果から、前記所定の物体が前記仮想作業領域の外部から内部に入ったとき動作モードをアイドルモードから姿勢操作モードに遷移させ、前記所定の物体が前記仮想作業領域の内部から外部に出たとき動作モードを前記姿勢操作モードから前記アイドルモードに遷移させ、
前記アイドルモードから前記姿勢操作モードへの遷移時に、
前記動作モード判定手段が、前記基準点から、前記所定の物体の前記仮想作業領域に入ったときの３次元位置に向かう第１の単位ベクトルと、前記３次元オブジェクトの姿勢とを記録し、
前記姿勢操作モードである間に限り、
前記姿勢算出手段が、前記第１の単位ベクトルを、前記基準点から現在の前記所定の物体の３次元位置に向かう第２の単位ベクトルに重ね合わせるような回転方向および回転角度の回転変換を、前記３次元オブジェクトに対して施し、前記回転変換を施した前記３次元オブジェクトの姿勢を現在の前記３次元オブジェクトの姿勢とする、３次元オブジェクト姿勢操作方法。
位置検出手段、領域判定手段、動作モード判定手段、および姿勢算出手段を有する装置が、実空間内の所定の物体の３次元位置により、計算機内の３次元オブジェクトの姿勢を操作するための３次元オブジェクト姿勢操作方法であって、
前記位置検出手段が前記所定の物体の３次元位置を継続的に検出し、
前記位置検出手段で検出される前記３次元位置が、固定された基準点を含む、空間座標系に固定された仮想作業領域の内部にあるか外部にあるかと、前記仮想作業領域に含まれかつ前記実空間に固定された内部仮想作業領域の内部にあるか外部にあるかとを、前記領域判定手段が判定し、
前記動作モード判定手段が、前記領域判定手段の判定結果から、前記所定の物体が前記内部仮想作業領域の外部から内部に入ったとき動作モードをアイドルモードから姿勢操作モードに遷移させ、前記所定の物体が前記内部仮想作業領域の内部から前記仮想作業領域の外部に出たとき動作モードを前記姿勢操作モードから前記アイドルモードに遷移させ、
前記アイドルモードから前記姿勢操作モードへの遷移時に、
前記動作モード判定手段が、前記基準点から、前記所定の物体の前記内部仮想作業領域に入ったときの３次元位置に向かう第１の単位ベクトルと、前記３次元オブジェクトの姿勢とを記録し、
前記姿勢操作モードである間に限り、
前記姿勢算出手段が、前記第１の単位ベクトルを、前記基準点から現在の前記所定の物体の３次元位置に向かう第２の単位ベクトルに重ね合わせるような回転方向および回転角度の回転変換を、前記３次元オブジェクトに対して施し、前記回転変換を施した前記３次元オブジェクトの姿勢を現在の前記３次元オブジェクトの姿勢とする、３次元オブジェクト姿勢操作方法。
前記内部仮想作業領域として、前記３次元オブジェクトの形状がなす領域を用いる、請求項２記載の３次元オブジェクト姿勢操作方法。
位置検出手段、領域判定手段、動作モード判定手段、および姿勢算出手段を有する装置が、実空間内の所定の物体の３次元位置により、計算機内の２個以上の３次元オブジェクトからひとつを選択し、前記３次元オブジェクトの姿勢を操作するための３次元オブジェクト姿勢操作方法であって、
前記位置検出手段が前記所定の物体の３次元位置を継続的に検出し、
前記位置検出手段で検出される前記３次元位置が、前記３次元オブジェクトの個数と同数で、前記３次元オブジェクトに一対一に対応する、前記実空間に固定された仮想作業領域のそれぞれの内部にあるか外部にあるかと、それぞれの前記仮想作業領域に含まれかつ前記実空間に固定された、前記３次元オブジェクトの個数と同数の、互いに交わりのない内部仮想作業領域のそれぞれの内部にあるか外部にあるかとを、前記領域判定手段が判定し、
前記動作モード判定手段が、前記領域判定手段の判定結果から、前記所定の物体が全ての３次元オブジェクトの前記仮想作業領域の外部から、１つ目の３次元オブジェクトの前記内部仮想作業領域の内部に入ったとき、動作モードをアイドルモードから該３次元オブジェクトの姿勢操作モードに遷移させ、前記所定の物体が該３次元オブジェクトの前記内部仮想作業領域の内部から前記仮想作業領域の外部に出たとき、動作モードを前記姿勢操作モードから前記アイドルモードに遷移させ、
前記アイドルモードから前記姿勢操作モードへの遷移時に、
前記動作モード判定手段が、前記３次元オブジェクトに関する、前記実空間に固定された基準点から、前記所定の物体の前記内部仮想作業領域に入ったときの３次元位置に向かう第１の単位ベクトルと、前記３次元オブジェクトの姿勢とを記録し、
前記姿勢操作モードである間に限り、
前記姿勢算出手段が、前記第１の単位ベクトルを、前記基準点から現在の前記所定の物体の３次元位置に向かう第２の単位ベクトルに重ね合わせるような回転方向および回転角度の回転変換を、前記３次元オブジェクトに対して施し、前記回転変換を施した前記３次元オブジェクトの姿勢を現在の前記３次元オブジェクトの姿勢とする、３次元オブジェクト姿勢操作方法。
前記内部仮想作業領域として、前記内部仮想作業領域に対応する３次元オブジェクトの形状がなす領域から、前記３次元オブジェクト以外の全ての３次元オブジェクトの形状がなす領域と前記３次元オブジェクトの形状がなす領域との交わりを取り除いた領域を用いる、請求項４記載の３次元オブジェクト姿勢操作方法。
前記所定の物体として指先またはマーカーを用いる、請求項１〜５のいずれか１項に記載の３次元オブジェクト姿勢操作方法。
請求項１から６のいずれか１項に記載の３次元オブジェクト姿勢操作方法をコンピュータに実行させるための３次元オブジェクト姿勢操作プログラム。