JP6966777B2 - 入力システム - Google Patents

Description

本発明は、仮想空間に適した入力システムに関する。

近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：仮想現実）技術の向上により、仮想空間において、現実空間では体験できない環境を容易に体験できる。このようなＶＲ技術を教育分野に応用する研究が注目されている。教育現場では、個人の署名、インタラクティブ教材への回答、レポート作成など、文字入力手段が必要である。文字入力手段としてはキーボードが一般的であるが、仮想空間に没入するためにヘッドマウントディスプレイを装着すると、手元が視認できず、キーボードの操作が容易ではない。また、多人数になることが多い教育現場では、音声入力を使用できる場面が限られる。

そこで、Ｌｅａｐ Ｍｏｔｉｏｎ（米国Ｌｅａｐ Ｍｏｔｉｏｎ社製）やＯｃｕｌｕｓ Ｔｏｕｃｈ（米国Ｏｃｕｌｕｓ社製）などの手の動きを認識できるデバイスを用いて、手書きによる文字入力を行うことが考えられる。特許文献１には、同様のデバイスを用いて、指又はペン型デバイス等のポインタの移動軌跡を検出する空間手書き入力システムが開示されている。

特開２０１６−１１０２４９号公報

ところで、Ｌｅａｐ Ｍｏｔｉｏｎ等のデバイスを用いて手書き文字を入力するためには、文字描画の開始及び停止を指定する必要がある。例えば、ボタンや特別なジェスチャによって文字描画の開始及び停止を指定する方法が考えられるが、ストロークごとに行うことは面倒である。

これに対して、特許文献１では、実空間に仮想平面を設定し、デバイスを用いて仮想平面とポインタとの仮想的な接触を検出することによって文字描画を実現している。特許文献１の仮想平面はユーザに視認できないため、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面には、ポインタの動きに追従した文字描画をリアルタイムに表示するとともに、仮想平面とポインタとの距離を示すためのインジケータを表示している。インジケータの色を距離に応じて変化させることで、ユーザは、仮想平面とポインタとの距離を視覚的に把握することができる。しかしながら、ヘッドマウントディスプレイを装着した状態では、現実世界から得られる感覚情報が極端に少なく、インジケータの色の情報だけでは手書き文字を入力することは容易ではないと推測される。特に、仮想平面にポインタが接触していることをユーザが触覚で感じることができないため、従来のタッチパネルとの操作感との乖離が大きい。従って、特許文献１のシステムを仮想空間に適用した場合、慣れるまでに多大な時間を要し、容易に手書きの文字を入力することはできない。

本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、仮想空間に適用しても、容易に手書きの文字を入力することが可能な入力システムを提供することである。

前述した目的を達成するための本発明は、平面を有する操作板と、前記操作板の位置情報及び姿勢情報並びに現実空間における位置を指し示す指示体の位置情報及び姿勢情報を計測する計測装置と、前記計測装置から出力されるデータに基づいて、前記指示体による入力を制御する制御装置と、前記制御装置による制御結果を表示する表示装置と、を備え、前記制御装置は、前記操作板の位置情報及び姿勢情報に基づいて前記操作板の動きに追従する仮想操作板を前記表示装置に表示させる仮想操作板表示制御手段と、前記指示体の位置情報及び姿勢情報に基づいて前記指示体の動きに追従するカーソルを前記表示装置に表示させるカーソル表示制御手段と、前記操作板の位置情報及び姿勢情報並びに前記指示体の位置情報及び姿勢情報に基づいて、前記指示体が予め定められた接触判定空間内か否かを判定し、前記指示体が前記接触判定空間内の場合、前記指示体の位置を示す座標を前記仮想操作板上に正射影して接触位置とする接触判定手段と、を備え、前記指示体がユーザの指の場合において、前記計測装置は、前記指の腹における複数の計測点の位置情報を計測し、前記接触判定手段は、複数の前記計測点の少なくとも１つが前記接触判定空間内である場合、前記指示体と前記操作板とが接触していると判定し、複数の前記計測点の中で予め定められた単一の前記計測点の座標を前記指示体の位置を示す座標とすることを特徴とする入力システムである。本発明によれば、ユーザは、仮想操作板とカーソルを表示装置で確認できるので、操作板や指示体を直接視認できなくても、容易に操作板に指示体を接触させることができる。また、物理的な平面を有する操作板に指示体を接触させるので、ユーザは、従来のタッチパネルと同様の操作感で利用することができる。従って、仮想空間に適用しても、すぐに操作に慣れることができ、容易に手書きの文字を入力することが可能である。また、手書き文字を入力している途中に無意識に指や操作板が傾いたとしても、実際に描画される位置と、ユーザが描画されるであろうと想定している位置が一致し、違和感なく手書き文字を入力することができる。

本発明における前記制御装置は、前記接触判定手段によって判定される前記接触位置が前記仮想操作板上の描画領域の場合、指定される複数の頂点に基づいて前記仮想操作板上に描画される描画オブジェクトを生成し、前記描画オブジェクトを前記表示装置に表示させる描画オブジェクト表示制御手段、を更に備え、前記描画オブジェクト表示制御手段は、前記指示体の位置を示す点を前記描画オブジェクトの頂点とし、グローバル座標で前記描画オブジェクトを表示させる第１モードと、前記接触位置を示す点を前記描画オブジェクトの頂点とし、前記仮想操作板の中心位置を原点とするローカル座標で前記描画オブジェクトを表示させる第２モードと、を有するようにしても良い。これによって、グローバル座標に直接文字等を描画したい場合や、現実世界では描くことができない奥行きのある文字等を描画したい場合に適している第１モードと、仮想操作板に文字等を固定したい場合や、現実空間と同様の間隔で文字等を描画したい場合に適している第２モードの両方を利用することができる。

また、本発明における前記描画オブジェクト表示制御手段は、前記第２モードにおいて、前記ローカル座標で前記描画オブジェクトを表示させることを解除し、前記グローバル座標で前記描画オブジェクトを表示させるようにしても良い。これによって、仮想的な付箋紙を実現することができる。

また、例えば、本発明における前記計測装置は、磁気式の３次元位置計測装置であって、制御部と、磁界を発生させるトランスミッタと、磁界の変化を受ける第１レシーバ及び第２レシーバとを含み、前記第１レシーバは、前記指示体に取り付けられ、前記第２レシーバは、前記操作板に取り付けられ、前記制御部は、前記トランスミッタに対する前記第１レシーバ及び前記第２レシーバの相対的な位置情報及び姿勢情報を計測し、前記グローバル座標は、前記トランスミッタの中心位置を原点とする。これは、本発明の具体的な構成例の一つである。

本発明により、仮想空間に適用しても、容易に手書きの文字を入力することが可能な入力システムを提供することができる。

入力システムの概要を示す模式図 仮想画面の一例 メインビューの方向の補正を説明する図 較正用スタイラス及び計測点標識の模式図 操作板のキャリブレーションの流れを示すフローチャート 操作板のキャリブレーションを説明する図 示指のキャリブレーションの流れを示すフローチャート 示指のキャリブレーションを説明する図 計測点Ｐ０〜Ｐ３のローカル座標への変換を説明する図 接触判定処理の流れを示すフローチャート 接触判定処理を説明する図 第１のモードにおける描画オブジェクトの表示処理の流れを示すフローチャート 第１のモードにおける描画オブジェクトの表示例 第２のモードにおける描画オブジェクトの表示処理の流れを示すフローチャート 第２のモードにおける描画オブジェクトの表示例 描画オブジェクトの切り離し処理の流れを示すフローチャート 描画オブジェクトの切り離し処理の表示例

以下図面に基づいて、本発明の実施形態を詳細に説明する。本実施形態における入力システム１は、指示体によって手書きの文字等を入力するシステムであり、特に、仮想空間における入力に適している。指示体は、ユーザの指やスタイラスペン等が挙げられるが、現実空間における位置を指し示すことが可能であれば良い。本実施形態では、指示体としてユーザの手の指、特に、示指（人差し指とも言う。）を例にして説明する。

＜入力システム１の概要＞
図１を参照すると、入力システム１は、平面である表面２ａを有する操作板２と、操作板２の位置情報及び姿勢情報並びに指示体としてのユーザ１０の示指１１の位置情報及び姿勢情報を計測する計測装置３と、計測装置３から出力されるデータに基づいて示指１１による入力を制御する制御装置４と、制御装置４による制御結果を表示する表示装置５と、を備える。また、入力システム１は、システムの較正作業に用いる較正用スタイラス７及び計測点標識８を備える。

操作板２は、例えばアクリル製の薄板であり、示指１１を表面２ａに当接させて文字や図形等を手書きするために用いられる。本実施の形態では、操作板２は、表面２ａの長辺が３００ｍｍ、短辺が２００ｍｍ、厚さが３ｍｍである。操作板２はアクリル製に限定されるものではなく、樹脂製、木製、ガラス製、高剛性の紙製であっても良い。また、操作板２の表面２ａにはフィルムや薄い紙が貼られても良い。

計測装置３は、操作板２や示指１１の位置情報及び姿勢情報を計測することが可能であれば良い。位置情報は、３次元空間のＸ座標、Ｙ座標及びＺ座標であり、姿勢情報は、Ｘ軸周り、Ｙ軸周り及びＺ軸周りの回転角である。本実施形態における計測装置３は、磁気式の３次元位置計測装置であり、制御部３ａ、磁界を発生させるトランスミッタ３ｂ、及び磁界の変化を受ける第１レシーバ３ｃ〜第３レシーバ３ｅを含む。制御部３ａは、トランスミッタ３ｂや第１レシーバ３ｃ〜第３レシーバ３ｅとデータの送受信が可能に接続される。制御部３ａは、トランスミッタ３ｂに対する第１レシーバ３ｃ〜第３レシーバ３ｅの相対的な位置情報及び姿勢情報を計測し、そのデータを制御装置４に出力する。本実施形態では、制御部３ａとトランスミッタ３ｂや第１レシーバ３ｃ〜第３レシーバ３ｅとは有線によって接続されるが、無線によって接続されても良く、接続形態は特に限定されるものではない。

トランスミッタ３ｂは、例えば机９に設置され、入力システム１が稼働している間は設置位置が固定されている。第１レシーバ３ｃは、指示体としての示指１１に取り付けられる。第２レシーバ３ｄは、操作板２に取り付けられる。第３レシーバ３ｅは、較正用スタイラス７に取り付けられる。

計測装置３としては、例えば、ＰＯＬＨＥＭＵＳ社製のＬＩＢＥＲＴＹを用いることができる。ＬＩＢＥＲＴＹの場合、データレートは最大２４０Ｈｚ、位置分解能は０．００３８ｍｍ、位置精度は０．７６ｍｍ、回転角分解能は０．００１２ｄｅｇ、回転角精度は０．１５ｄｅｇである。

制御装置４は、ＣＰＵ（Central Processing Unit）、主記憶メモリ及び補助記憶装置等を備えるＰＣ（Personal Computer）やサーバである。制御装置４は、計測装置３の制御部３ａ、表示装置５及びトラッキングカメラ６とデータの送受信ができるように接続される。本実施形態ではＵＳＢ（Universal Serial Bus）ケーブルによって他の装置と接続されるが、無線によって接続されても良く、接続形態は特に限定されるものではない。

本実施形態における表示装置５は、ＶＲ技術による立体的な映像を表示することが可能なヘッドマウントディスプレイである。表示装置５は、ユーザ１０の頭部に装着される。トラッキングカメラ６は、表示装置５の位置情報及び姿勢情報を計測するカメラである。トラッキングカメラ６は、１台だけ設置しても良いし、２台設置しても良い。制御装置４は、トラッキングカメラ６から出力されるデータに基づいて、表示装置５に表示される映像の視線方向であるメインビューＶｉを、ユーザ１０の現実の視線に合致させる。

＜仮想画面５０＞
図２は、ＶＲ技術によって生成される仮想画面５０の一例を示している。図２（ａ）は、メインビューＶｉから見た仮想画面５０を示し、図２（ｂ）は、仮想画面５０に表示されるカーソル５１を示し、図２（ｃ）は、仮想画面５０に表示される仮想操作板５２を示している。

カーソル５１は、示指１１の動きに追従する仮想空間上のオブジェクトである。本実施の形態では、計測装置３は、示指１１の位置情報及び姿勢情報として、４カ所の計測点のデータを計測する。図２（ｂ）に示す例では、カーソル５１として４カ所の計測点に対応する４個の球状のオブジェクトが図示されている。但し、計測点は４カ所よりも少なくても良いし、多くても良い。また、カーソル５１の形状は、球状に限らず、一般的なマウスポインタのように矢印の形状でも良いし、他の形状でも良い。また、制御装置４は、カーソル５１として、全ての計測点に対応するオブジェクトを仮想画面５０に表示させなくても良い。例えば、制御装置４は、カーソル５１として、複数の計測点の中で予め定められた１箇所の計測点に対応する１個のオブジェクトを仮想画面５０に表示させても良い。

仮想操作板５２は、操作板２の動きに追従するオブジェクトであり、操作板２と同じ大きさである。仮想操作板５２は、ユーザ１０が示指１１によって文字や図形等を描画する領域である描画領域５７と、ボタンが配置される領域であるボタン領域５８と、を含む。示指１１によって描画領域５７に手書きの文字や図形等が描画されると、制御装置４は、手書きの文字や図形等に対応するオブジェクト（以下、「描画オブジェクト」と表記する。）を仮想画面５０に表示させる。描画オブジェクトは、示指１１によって指定される複数の頂点に基づいて仮想操作板５２上に描画される。

ＲＥＳＥＴボタン５８ａは、描画オブジェクトの表示を解除するためのボタンである。ＰＵＴボタン５８ｂは、描画オブジェクトを仮想操作板５２から切り離すためのボタンである。ユーザ１０は、ＰＵＴボタン５８ｂの機能によって、仮想空間内の任意の位置に、あたかも付箋を貼るように描画オブジェクトを配置させることが可能となる。色指定ボタン５８ｃは、描画オブジェクトの色を指定するためのボタンである。尚、ボタンの種類はこれらに限定されない。例えば、ボタン領域５８には、描画オブジェクトの表示モードを切り替えるＳＷＩＴＣＨボタンや、描画オブジェクトの一部を構成する直前のストロークのみを取り消すＵＮＤＯボタン等が配置されても良い。

図２（ａ）には、カーソル５１及び仮想操作板５２の他に、示指１１に取り付けられる第１レシーバ３ｃに対応するオブジェクトである仮想第１レシーバ５３、操作板２に取り付けられる第２レシーバ３ｄに対応するオブジェクトである仮想第２レシーバ５４、較正用スタイラス７に取り付けられる第３レシーバ３ｅに対応するオブジェクトである仮想第３レシーバ５５、及びトランスミッタ３ｂに対応するオブジェクトである仮想トランスミッタ５６も図示されている。但し、これらのオブジェクトは、仮想画面５０に表示されても良いし、表示されなくても良い。

＜入力システム１のグローバル座標系＞
本実施形態の入力システム１では、現実空間で位置が固定されているトランスミッタ３ｂの中心位置を原点とした座標系をグローバル座標系とする。

＜メインビューＶｉの方向の補正＞
現実空間の座標系の原点は、トランスミッタ３ｂの中心位置にあり、表示装置５によって表示される仮想空間の座標系の原点は、トラッキングカメラ６の位置（２台の場合、どちらを原点とするか予め指定しておく。）にある。この原点の位置のずれによって、メインビューＶｉから得られるユーザ１０の視線方向がずれてしまうため、制御装置４は、メインビューＶｉの方向の補正を行う。

図３は、メインビューＶｉの方向の補正を説明する図である。Ｐ_Ｔｒはトランスミッタ３ｂの中心位置とし、Ｐ_ＣａはＰ_Ｔｒを原点としたグローバル座標系におけるトラッキングカメラ６の位置とし、Ｐ_Ｖｉはトラッキングカメラ６の位置Ｐ_Ｃａを原点としたローカル座標系におけるメインビューＶｉの方向とする。このとき、補正後のメインビューＶｉの方向をＰ’_Ｖｉとすると、制御装置４は、式（１）によってメインビューＶｉの方向の補正を行う。

＜較正用の道具＞
入力システム１を利用するためには、操作板２や示指１１の位置合わせのための較正作業が必要となる。図４（ａ）は較正用スタイラス７の模式図、図４（ｂ）は計測点標識８の模式図である。

較正用スタイラス７は、棒状の本体７１と、本体７１の端部に形成される円錐形状の尖部７２とを有し、第３レシーバ３ｅが取り付けられる。第３レシーバ３ｅは、本体７１を挟んで尖部７２と対向する位置に取り付けられる。尖部７２の先端７３が、計測装置３による計測対象となる点である。

計測点標識８は、示指１１の腹における複数の計測点を計測するために用いられる目印８ａ〜８ｄが付されたものである。目印８ａ〜８ｄは、同一直線上に配置される。本実施の形態では、目印８ａ〜８ｄは円形であって、互いに等間隔に配置される。計測点標識８は、布や紙などの薄いものに目印８ａ〜８ｄを付し、机９の平らな場所に固定したものであっても良いし、机９の平らな場所に直接シール等によって目印８ａ〜８ｄを付したものであっても良い。目印８ａ〜８ｄの数は、計測点の数と一致する。本実施の形態では、示指１１について４カ所の計測点を計測するので、目印８ａ〜８ｄの数を４個としている。但し、計測点の数は限定されるものではない。また、目印８ａ〜８ｄの形状は円形に限らず、楕円形であっても良いし、多角形であっても良いし、その他の図形であっても良い。

＜操作板２のキャリブレーション＞
仮想操作板５２を生成するための操作板２のキャリブレーションでは、操作板２と較正用スタイラス７を用いる。図５は操作板２のキャリブレーションの流れを示すフローチャート、図６は操作板２のキャリブレーションを説明する図である。図６におけるＡ０〜Ａ９が操作板２の計測点である。Ａ０は、操作板２の表面２ａの中心点である。Ａ１は、Ａ０を通り、操作板２の長辺２ｂに平行な直線上の点である。Ａ２〜Ａ９は、操作板２の表面２ａ上の任意の点である。

図５に示すように、計測装置３は計測点Ａ０〜Ａ９を計測する（ステップＳ１）。具体的には、各計測点Ａ０〜Ａ９に較正用スタイラス７の先端７３が触れている状態で、制御部３ａが、トランスミッタ３ｂに対する第３レシーバ３ｅの相対的な位置情報及び姿勢情報を計測し、そのデータを制御装置４に出力する。このように計測される計測点Ａ０〜Ａ９は、トランスミッタ３ｂを原点とするグローバル座標である。

次に、制御装置４は、ステップＳ１において計測される計測点Ａ０〜Ａ９の座標を、操作板２に固定される第２レシーバ３ｄを原点とするローカル座標に変換する（ステップＳ２）。トランスミッタ３ｂを原点とするグローバル座標における各Ａ点の位置をＡ_ｋ（ｋ＝０〜９）とし、第２レシーバ３ｄの位置をｒ_ａｋ、姿勢情報から作成される回転行列をＲ_ａｋとすると、第２レシーバ３ｄの位置ｒ_ａｋを原点とする各Ａ点の位置Ａ_ａ→ｋは、式（２）によって算出される。

式（２）によって算出されるＡ_ａ→０が仮想操作板５２の中心位置であり、以後、Ａ_ａ→ｐとする。

次に、制御装置４は、仮想操作板５２の姿勢を決定する回転行列を作成する（ステップＳ３）。仮想操作板５２の姿勢を決定するためには、各回転軸を設定する必要がある。そのため、制御装置４は、点群データＡ_ａ→ｋを特異値分解にかけ、点群から得られる面に直交するベクトルを算出し、これをベクトルＶ_ｙとする。次に、制御装置４は、Ｖ_ｙと中心位置Ａ_ａ→ｐからＡ_ａ→１に向かうベクトルＶ_ｐ１の外積から回転軸となるベクトルＶ_ｘを算出する。更に、制御装置４は、Ｖ_ｘとＶ_ｙの外積から回転軸となるベクトルＶ_ｚを算出する。

制御装置４は、算出されるＶ_ｘ、Ｖ_ｙ、Ｖ_ｚがそれぞれＸ成分の回転軸、Ｙ成分の回転軸、Ｚ成分の回転軸になるように、Ａ_ａ→ｐを原点とする仮想操作板５２の姿勢を示す回転行列Ｒ_ａ→ｐを設定する。その際、制御装置４は、Ｖ_ｘ、Ｖ_ｙ、Ｖ_ｚを単位ベクトルに正規化してから、回転行列Ｒ_ａ→ｐを設定する。

制御装置４は、現在時刻ｎにおける仮想操作板５２の中心位置Ａ_ｐ（ｎ）と姿勢を示す回転行列Ｒ_ｐ（ｎ）を、第２レシーバ３ｄの現在時刻ｎにおける位置ｒ_ａ（ｎ）及び回転行列Ｒ_ａ（ｎ）と、予め計測されるキャリブレーションデータである中心位置Ａ_ａ→ｐ及び回転行列Ｒ_ａ→ｐから、式（７）及び式（８）に従って算出する。

そして、制御装置４は、式（７）及び式（８）に従って算出される中心位置Ａ_ｐ（ｎ）及び回転行列Ｒ_ｐ（ｎ）に基づいて、現実空間における操作板２とリンクする仮想操作板５２をグローバル座標に生成し（ステップＳ４）、仮想操作板５２を仮想画面５０に表示させる。このように、制御装置４は、操作板２の位置情報及び姿勢情報に基づいて操作板２の動きに追従する仮想操作板５２を表示装置５に表示させる仮想操作板表示制御手段を備える。

＜示指１１のキャリブレーション＞
カーソル５１を生成するための示指１１のキャリブレーションでは、計測点標識８と較正用スタイラス７を用いる。図７は示指１１のキャリブレーションの流れを示すフローチャート、図８は示指１１のキャリブレーションを説明する図である。図８（ａ）に示すように、ユーザ１０の示指１１の計測点Ｐ０〜Ｐ３は、示指１１の腹１２である。また、図８（ｂ）に示すように、ユーザ１０の示指１１の爪１５上には、第１レシーバ３ｃが固定されている。

図８に示すように、計測装置３は、計測点標識８の目印８ａ〜８ｄの位置Ｍ_ｉ（ｉ＝０、１、２、３）を計測する（ステップＳ１１）。具体的には、図４に示す計測点標識８の目印８ａ〜８ｄに較正用スタイラス７の先端７３が触れている状態で、制御部３ａが、トランスミッタ３ｂに対する第３レシーバ３ｅの相対的な位置情報及び姿勢情報を計測し、そのデータを制御装置４に出力する。制御装置４は、制御部３ａから得られるデータに基づいて、トランスミッタ３ｂを原点とするグローバル座標で計測された目印８ａ〜８ｄの位置Ｍ_ｉを算出する。

次に、計測装置３は、計測点標識８の目印８ａ〜８ｄと示指１１の腹１２の計測点Ｐ０〜Ｐ３がそれぞれ重なる４パターンの状態において、第１レシーバ３ｃの位置ｒ_ｆｉ（ｉ＝０、１、２、３）及び姿勢情報Ｒ_ｆｉ（ｉ＝０、１、２、３）を計測する（ステップＳ１２）。

図８（ａ）に示すように、計測点Ｐ０は、示指１１の指紋１３のほぼ中心である。計測点Ｐ１〜Ｐ３は、計測点Ｐ０から示指１１の先端１４までの間をほぼ等間隔に４分割する点である。図８（ｂ）に示すように、計測点Ｐ０の計測では、ユーザ１０が示指１１の計測点Ｐ０を計測点標識８の目印８ａに重なるように触れている状態で静止すると、制御部３ａが、トランスミッタ３ｂに対する第１レシーバ３ｃの相対的な位置ｒ_ｆ０及び姿勢情報Ｒ_ｆ０を計測し、そのデータを制御装置４に出力する。同様に、計測点Ｐ１〜Ｐ３の計測では、それぞれ、ユーザ１０が示指１１の計測点Ｐ１〜Ｐ３を計測点標識８の目印８ｂ〜８ｄに重なるように触れている状態で静止すると、制御部３ａが、トランスミッタ３ｂに対する第１レシーバ３ｃの位置ｒ_ｆ１〜ｒ_ｆ３及び姿勢情報Ｒ_ｆ１〜Ｒ_ｆ３を計測し、そのデータを制御装置４に出力する。

次に、制御装置４は、グローバル座標における示指１１の計測点Ｐ０〜Ｐ３の位置Ｐ_ｉ（ｉ＝０、１、２、３）を、第１レシーバ３ｃを原点とするローカル座標に変換する（ステップＳ１３）。

図９は、計測点Ｐ０〜Ｐ３のローカル座標への変換を説明する図である。図９に示すように、制御装置４は、第１レシーバ３ｃを原点とする示指１１の計測点Ｐ０〜Ｐ３の位置Ｐ_ｆ→ｉ（ｉ＝０、１、２、３）を式（９）に従って算出する。ここで、ステップＳ１２において、計測装置３は、計測点標識８の目印８ａ〜８ｄと示指１１の計測点Ｐ０〜Ｐ３が重なる状態で、第１レシーバ３ｃの位置ｒ_ｆ０〜ｒ_ｆ３及び姿勢情報Ｒ_ｆ０〜Ｒ_ｆ３を計測していることから、グローバル座標における示指１１の計測点Ｐ０〜Ｐ３の位置Ｐ_ｉは、ステップＳ１１において計測される計測点標識８の目印８ａ〜８ｄの位置Ｍ_ｉと同一とみなす。従って、制御装置４は、目印８ａ〜８ｄの位置Ｍ_ｉを式（９）のＰ_ｉに代入し、Ｐ_ｆ→ｉを算出する。

制御装置４は、現在時刻ｎにおける計測点Ｐ０〜Ｐ３の位置Ｐ_ｉ（ｎ）（ｉ＝０、１、２、３）を、第１レシーバ３ｃの現在時刻ｎにおける位置ｒ_ｆ（ｎ）及び回転行列Ｒ_ｆ（ｎ）と予め計測されるキャリブレーションデータである位置Ｐ_ｆ→ｉから、式（１０）に従って算出する。

そして、制御装置４は、式（１０）に従って算出される計測点Ｐ０〜Ｐ３の位置Ｐ_ｉ（ｎ）に基づいて、現実空間における示指１１とリンクするカーソル５１をグローバル座標に生成し（ステップＳ１４）、カーソル５１を仮想画面５０に表示させる。このように、制御装置４は、指示体としての示指１１の位置情報及び姿勢情報に基づいて示指１１の動きに追従するカーソル５１を表示装置５に表示させるカーソル表示制御手段を備える。

尚、ステップＳ１１の計測処理は、ユーザ１０とは無関係に実行し、計測結果をどのユーザ１０に対しても利用できる。一方、ステップＳ１２の計測処理は、入力システム１を利用するユーザ１０が変更される度に実行する。

較正用スタイラス７を用いて直接的に計測点Ｐ０〜Ｐ３を計測するのではなく、計測点標識８を用いて間接的に計測点Ｐ０〜Ｐ３を計測する理由は、較正用スタイラス７の先端７３を示指１１の腹１２に押し当てると、示指１１の腹１２が過度に凹んでしまい、計測誤差が大きくなってしまうためである。計測点標識８を用いて、示指１１の腹１２が平らな面に触れている状態で計測することによって、示指１１の腹１２がほとんど歪みのない状態で計測することができ、計測誤差を小さくすることができる。尚、示指１１の腹１２が完全に歪みのない状態で計測するためには、例えばレーザー計測によって示指１１の腹１２の形状を計測しても良い。

＜示指１１と操作板２との接触判定＞
入力システム１におけるユーザ１０の入力動作は、操作板２の表面２ａを示指１１で触れたり、滑らせたりすることである。制御装置４は、この入力動作を検出するために、示指１１と操作板２との接触判定を行う。図１０は、接触判定処理の流れを示すフローチャート、図１１は接触判定処理を説明する図である。

図１０に示すように、制御装置４は、複数の計測点Ｐ０〜Ｐ３のうち少なくとも１つが、予め定められた接触判定空間内か否か判定する（ステップＳ２１）。接触判定空間内の場合（ステップＳ２１のＹｅｓ）、制御装置４は、示指１１と操作板２との接触が開始していると判定し、ステップＳ２２に進む。接触判定空間外の場合（ステップＳ２１のＮｏ）、制御装置４は、ステップＳ２１を繰り返す。

制御装置４は、現在時刻ｎにおいて、仮想操作板５２の中心位置Ａ_ｐ（ｎ）を原点としたローカル座標における各計測点Ｐ０〜Ｐ３の位置Ｐ_ｐ→ｉ（ｎ）を、式（１１）に従って算出し、このＰ_ｐ→ｉ（ｎ）が接触判定空間内か否かを判定する。

図１１（ａ）では接触判定空間２１のＸ軸及びＺ軸方向の範囲を二点鎖線で示し、図１１（ｂ）では接触判定空間２１のＹ軸方向の範囲を二点鎖線で示している。図１１（ａ）に示すように、接触判定空間２１のＸ軸及びＺ軸方向の範囲は、操作板２の中心を原点としたとき、Ｘ軸の正の方向に１００ｍｍ、Ｘ軸の負の方向に１００ｍｍ、Ｚ軸の正の方向に１５０ｍｍ、Ｚ軸の負の方向に１５０ｍｍであり、操作板２の表面２ａと同一の範囲である。また、図１１（ｂ）に示すように、接触判定空間２１のＹ軸方向の範囲は、正の方向に１ｍｍ、負の方向に４ｍｍである。これは、操作板２に触れることで示指１１が変形することと、計測装置３の位置精度を考慮して設定している。尚、制御装置４は、第１レシーバ３ｃが操作板２の表面２ａ側に位置するか、又はその反対の面側に位置するかによって、操作板２のどちらの面に示指１１が接触しているのかを判定することが可能である。

図１１（ａ）に示すように、仮想操作板５２の描画領域５７に対応する操作板２の描画領域２２のＺ軸方向の範囲は、−１５０ｍｍ〜１００ｍｍである。また、仮想操作板５２のボタン領域５８に対応する操作板２のボタン領域２３のＺ軸方向の範囲は、１００ｍｍ〜１５０ｍｍである。Ｘ軸方向及びＹ軸方向は、接触判定空間２１と同様である。

次に、制御装置４は、計測点Ｐ２の座標を仮想操作板５２の平面上に正射影し、現在時刻ｎにおける接触位置Ｔとし、主記憶メモリに記憶する（ステップＳ２２）。仮想操作板５２の中心位置Ａ_ｐ（ｎ）を原点としたローカル座標における計測点Ｐ２の座標をＰ_ｐ→２（ｎ）＝（Ｘ_ｐ→２（ｎ）、Ｙ_ｐ→２（ｎ）、Ｚ_ｐ→２（ｎ））とすると、接触位置Ｔは、次式（１２）によって算出される。

従来のタッチパネルで指によって手書き文字を入力する場合、指とタッチパネルが接触している領域の重心を接触位置としていることが多いが、この手法では、実際に描画される位置と、ユーザが描画されるであろうと想定している位置にずれが生じ易い。これは、指で手書き文字を入力している途中、無意識に指が傾いたり、指の押し当て具合が変わったりして、指とタッチパネルが接触している領域が変化することが影響すると考えられる。本実施の形態では、この問題を解決するために、図１１（ｂ）に示すように、複数の計測点Ｐ０〜Ｐ３の中で予め定められた単一の計測点Ｐ２を接触位置Ｔに固定している。これによって、手書き文字を入力している途中に無意識に示指１１や操作板２が傾いたとしても、実際に描画される位置と、ユーザが描画されるであろうと想定している位置が一致し、違和感なく手書き文字を入力することができる。このように、接触位置Ｔを示指１１の腹１２の特定部位に固定することは、タッチパネルでは実現することができず、本実施形態の入力システム１特有の機能である。尚、計測点Ｐ０〜Ｐ３のうち計測点Ｐ２を接触位置Ｔとした理由は、測定実験を行った結果、Ｐ２を集中的に触れている人が多く、かつ最初にＰ２から触れる人が多いという知見が得られたことによる。

次に、制御装置４は、最初の接触位置Ｔが仮想操作板５２上のどの領域内かを判定する（ステップＳ２３）。描画領域５７の場合（ステップＳ２３の「描画領域５７」）、制御装置４は、ステップＳ２４の描画オブジェクトの表示処理を実行する。描画オブジェクトの表示処理については後述する。ボタン領域５８の場合（ステップＳ２３の「ボタン領域５８」）、制御装置４は、ステップＳ２５に進む。

ステップＳ２５では、制御装置４は、計測点Ｐ０〜Ｐ３の全てが接触判定空間２１外か否かを判定する。全てが接触判定空間２１外になると（ステップＳ２５のＹｅｓ）、制御装置４は、示指１１と操作板２との接触が終了していると判定し、ボタン領域５８の種類に応じてステップＳ２６〜Ｓ２８のいずれかのイベントを発生させる。制御装置４は、ＲＥＳＥＴボタン５８ａであれば描画オブジェクトの表示を解除し（ステップＳ２６）、ＰＵＴボタン５８ｂであれば描画オブジェクトを仮想操作板５２から切り離す描画オブジェクトの切り離し処理（詳細は後述する。）を実行し（ステップＳ２７）、色指定ボタン５８ｃであれば描画オブジェクトの色を指定された色に設定する（ステップＳ２８）。示指１１と操作板２との接触が終了していると判定した後、ボタン領域５８の種類ごとに決められたイベントを発生させる理由は、チャタリングを防止するためである。

このように、制御装置４は、操作板２の位置情報及び姿勢情報並びに指示体としての示指１１の位置情報及び姿勢情報に基づいて、示指１１が予め定められた接触判定空間２１内か否かを判定し、示指１１が接触判定空間２１内の場合、示指１１の位置を示す座標を仮想操作板５２上に正射影して接触位置Ｔとする接触判定手段を備える。

特に、本実施の形態では、計測装置３は、示指１１の腹１２における複数の計測点Ｐ０〜Ｐ３の位置情報を計測し、接触判定手段は、複数の計測点Ｐ０〜Ｐ３の少なくとも１つが接触判定空間２１内である場合、示指１１と操作板２とが接触していると判定し、複数の計測点Ｐ０〜Ｐ３の中で予め定められた単一の計測点Ｐ２の座標を仮想操作板５２の平面上に正射影して接触位置Ｔとする。

＜描画オブジェクトの表示処理＞
制御装置４は、接触位置Ｔが仮想操作板５２上の描画領域５７の場合、描画オブジェクトを生成し、描画オブジェクトを表示装置５に表示させる描画オブジェクト表示制御手段を備える。特に、本実施の形態では、描画オブジェクト表示制御手段として２つのモードが存在する。第１のモードでは、制御装置４は、示指１１の位置を示す点を描画オブジェクトの頂点とし、グローバル座標で描画オブジェクトを表示させる。第２のモードでは、制御装置４は、接触位置Ｔを示す点を描画オブジェクトの頂点とし、仮想操作板５２の中心位置Ａ_ｐ（ｎ）を原点とするローカル座標で描画オブジェクトを表示させる。

図１２は第１のモードにおける描画オブジェクトの表示処理の流れを示すフローチャートである。図１２に示すように、制御装置４は、グローバル座標に固定される描画オブジェクト５９を生成する（ステップＳ３１）。次に、制御装置４は、グローバル座標で現在時刻ｎにおける計測点Ｐ２の位置Ｐ_２（ｎ）を取得する（ステップＳ３２）。次に、制御装置４は、ステップＳ３２において取得されるＰ_２（ｎ）を描画オブジェクト５９の頂点に追加し、追加した順に頂点同士を結ぶ線を表示装置５に表示させる（ステップＳ３３）。次に、制御装置４は、計測点Ｐ０〜Ｐ３の全てが接触判定空間２１外か否か判定する（ステップＳ３４）。接触判定空間２１外ではない場合（ステップＳ３４のＮｏ）、制御装置４は、ステップＳ３２から繰り返す。接触判定空間２１外の場合（ステップＳ３４のＹｅｓ）、制御装置４は、示指１１と操作板２との接触が終了していると判定し、処理を終了する。

図１３は、第１のモードにおける描画オブジェクトの表示例である。図１３（ａ）は正面から見た場合の表示例、図１３（ｂ）は左側面から見た場合の表示例である。図１３（ａ）を参照すると、「秋田」という文字の描画オブジェクト５９が、仮想操作板５２と無関係に表示されていることが分かる。これは、第１のモードでは、描画オブジェクト５９の頂点、すなわち手書きの文字や図形等を描画するインクの射出口として、グローバル座標における計測点Ｐ２の位置Ｐ_２（ｎ）を用いているためである。また、図１３（ｂ）を参照すると、「秋田」という文字の描画オブジェクト５９の奥行きにばらつきがあることが分かる。これは、ユーザ１０が操作板２を左手に持ちながら、右手の示指１１によって操作板２に手書きの文字や図形等を描画する場合、描画中に操作板２の位置や姿勢がずれ易いので、計測点Ｐ２の位置Ｐ_２（ｎ）が操作板２の奥行き方向にばらつき、その結果として描画オブジェクト５９の奥行きにもばらつきが生じるためである。第１のモードは、グローバル座標に直接文字等を描画したい場合や、現実世界では描くことができない奥行きのある文字等を描画したい場合に適している。

図１４は第２のモードにおける描画オブジェクトの表示処理の流れを示すフローチャートである。図１４に示すように、制御装置４は、仮想操作板５２の中心位置Ａ_ｐ（ｎ）を原点とするローカル座標に固定される描画オブジェクト５９を生成する（ステップＳ４１）。次に、制御装置４は、仮想操作板５２の中心位置Ａ_ｐ（ｎ）を原点とするローカル座標で現在時刻ｎにおける接触位置Ｔ（ｎ）を取得する（ステップＳ４２）。次に、制御装置４は、ステップＳ４２において取得されるＴ（ｎ）を描画オブジェクト５９の頂点に追加し、追加した順に頂点同士を結ぶ線を表示装置５に表示させる（ステップＳ４３）。次に、制御装置４は、計測点Ｐ０〜Ｐ３の全てが接触判定空間２１外か否か判定する（ステップＳ４４）。接触判定空間２１外ではない場合（ステップＳ４４のＮｏ）、制御装置４は、ステップＳ４２から繰り返す。接触判定空間２１外の場合（ステップＳ４４のＹｅｓ）、制御装置４は、示指１１と操作板２との接触が終了していると判定し、処理を終了する。

図１５は、第２のモードにおける描画オブジェクトの表示例である。図１５（ａ）は正面から見た場合の表示例、図１５（ｂ）は左側面から見た場合の表示例である。図１５（ａ）を参照すると、「秋田」という文字の描画オブジェクト５９が、仮想操作板５２に張り付くように表示されていることが分かる。これは、第２のモードでは、描画オブジェクト５９の頂点、すなわち手書きの文字や図形等を描画するインクの射出口として、仮想操作板５２の中心位置Ａ_ｐ（ｎ）を原点とするローカル座標における接触位置Ｔ（ｎ）を用いているためである。また、図１５（ｂ）を参照すると、仮想操作板５２に対する描画オブジェクト５９の奥行きのばらつきがないことが分かる。第２のモードは、仮想操作板５２に文字等を固定したい場合や、現実空間と同様の間隔で文字等を描画したい場合に適している。

第２のモードでは、図１０のステップＳ２７における描画オブジェクトの切り離し処理を実行することができる。図１６は、描画オブジェクトの切り離し処理の流れを示すフローチャートである。

図１６に示すように、制御装置４は、接触位置ＴがＰＵＴボタン５８ｂと判定したときの仮想操作板５２の中心位置Ａ_ｐ（ｎ）及び回転行列Ｒ_ｐ（ｎ）を取得する（ステップＳ５１）。次に、制御装置４は、仮想操作板５２に係るローカル座標、すなわち仮想操作板５２の中心位置Ａ_ｐ（ｎ）を原点とするローカル座標への描画オブジェクト５９の固定を解除する（ステップＳ５２）。そして、制御装置４は、ステップＳ５１において取得される仮想操作板５２の中心位置Ａ_ｐ（ｎ）及び回転行列Ｒ_ｐ（ｎ）に基づいて、描画オブジェクト５９のグローバル座標における位置及び姿勢を設定する（ステップＳ５３）。

図１６に示す処理によって、それまで仮想操作板５２に張り付くように表示されていた描画オブジェクト５９は、接触位置ＴがＰＵＴボタン５８ｂと判定したときの状態でグローバル空間にそのまま残され、仮想操作板５２と切り離されて表示される。このような表示態様は、ユーザにとっては、あたかも、文字が書かれた付箋紙を仮想操作板５２から剥がし、グローバル空間にその付箋紙を貼り付けるように感じられる。このように、制御装置４が備える描画オブジェクト表示制御手段は、第２モードにおいて、仮想操作板５２の中心位置Ａ_ｐ（ｎ）を原点とするローカル座標で描画オブジェクト５９を表示させることを解除し、グローバル座標で描画オブジェクト５９を表示させることによって、仮想的な付箋紙を実現している。

図１７は、描画オブジェクトの切り離し処理の表示例である。図１７（ａ）は制御装置４によって接触位置ＴがＰＵＴボタン５８ｂと判定されたときの表示例、図１７（ｂ）は図１７（ａ）の状態から仮想操作板５２の位置を動かしたときの表示例である。図１７（ａ）と図１７（ｂ）を比較すると、仮想操作板５２に張り付くように表示されていた描画オブジェクト５９が、仮想操作板５２と切り離されて表示されていることが分かる。

以上の通り、入力システム１では、ユーザ１０は、仮想操作板５２とカーソル５１を仮想空間で確認できるので、操作板２や指示体を直接視認できなくても、容易に操作板２に指示体を接触させることができる。また、物理的な平面を有する操作板２に指示体を接触させるので、従来のタッチパネルと同様の操作感で利用することができる。従って、仮想空間に適用しても、すぐに操作に慣れることができ、容易に手書きの文字を入力することが可能である。

以上、添付図面を参照しながら、本発明に係る入力システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………入力システム
２………操作板
３………計測装置
３ａ………制御部
３ｂ………トランスミッタ
３ｃ………第１レシーバ
３ｄ………第２レシーバ
３ｅ………第３レシーバ
４………制御装置
５………表示装置
６………トラッキングカメラ
７………較正用スタイラス
８………計測点標識
９………机
１０………ユーザ
１１………示指
２１………接触判定空間
５０………仮想画面
５１………カーソル
５２………仮想操作板
５７………描画領域
５８………ボタン領域
５８ａ………ＲＥＳＥＴボタン
５８ｂ………ＰＵＴボタン
５８ｃ………色指定ボタン
５９………描画オブジェクト

Claims (4)

1. 平面を有する操作板と、
   前記操作板の位置情報及び姿勢情報並びに現実空間における位置を指し示す指示体の位置情報及び姿勢情報を計測する計測装置と、
   前記計測装置から出力されるデータに基づいて、前記指示体による入力を制御する制御装置と、
   前記制御装置による制御結果を表示する表示装置と、
   を備え、
   前記制御装置は、
   前記操作板の位置情報及び姿勢情報に基づいて前記操作板の動きに追従する仮想操作板を前記表示装置に表示させる仮想操作板表示制御手段と、
   前記指示体の位置情報及び姿勢情報に基づいて前記指示体の動きに追従するカーソルを前記表示装置に表示させるカーソル表示制御手段と、
   前記操作板の位置情報及び姿勢情報並びに前記指示体の位置情報及び姿勢情報に基づいて、前記指示体が予め定められた接触判定空間内か否かを判定し、前記指示体が前記接触判定空間内の場合、前記指示体の位置を示す座標を前記仮想操作板上に正射影して接触位置とする接触判定手段と、
   を備え、
   前記指示体がユーザの指の場合において、
   前記計測装置は、前記指の腹における複数の計測点の位置情報を計測し、
   前記接触判定手段は、複数の前記計測点の少なくとも１つが前記接触判定空間内である場合、前記指示体と前記操作板とが接触していると判定し、複数の前記計測点の中で予め定められた単一の前記計測点の座標を前記指示体の位置を示す座標とする
   ことを特徴とする入力システム。
2. 前記制御装置は、
   前記接触判定手段によって判定される前記接触位置が前記仮想操作板上の描画領域の場合、指定される複数の頂点に基づいて前記仮想操作板上に描画される描画オブジェクトを生成し、前記描画オブジェクトを前記表示装置に表示させる描画オブジェクト表示制御手段、
   を更に備え、
   前記描画オブジェクト表示制御手段は、前記指示体の位置を示す点を前記描画オブジェクトの頂点とし、グローバル座標で前記描画オブジェクトを表示させる第１モードと、前記接触位置を示す点を前記描画オブジェクトの頂点とし、前記仮想操作板の中心位置を原点とするローカル座標で前記描画オブジェクトを表示させる第２モードと、を有する
   ことを特徴とする請求項１に記載の入力システム。
3. 前記描画オブジェクト表示制御手段は、前記第２モードにおいて、前記ローカル座標で前記描画オブジェクトを表示させることを解除し、前記グローバル座標で前記描画オブジェクトを表示させる
   ことを特徴とする請求項２に記載の入力システム。
4. 前記計測装置は、磁気式の３次元位置計測装置であって、制御部と、磁界を発生させるトランスミッタと、磁界の変化を受ける第１レシーバ及び第２レシーバとを含み、
   前記第１レシーバは、前記指示体に取り付けられ、
   前記第２レシーバは、前記操作板に取り付けられ、
   前記制御部は、前記トランスミッタに対する前記第１レシーバ及び前記第２レシーバの相対的な位置情報及び姿勢情報を計測し、
   前記グローバル座標は、前記トランスミッタの中心位置を原点とする
   ことを特徴とする請求項２に記載の入力システム。

Images