JPWO2019171719A1 - 入力装置及び入力方法 - Google Patents

Abstract

３次元空間における電子ペンによる指示位置やペン姿勢を、精度や反応速度を考慮して良好に検出することができるようにする入力装置を提供する。
電子ペンとの信号の授受に応じて、電子ペンによる第１の指示位置を検出する第１の検出部と、電子ペンが存在する３次元空間における電子ペンによる第２の指示位置を検出する第２の検出部と、第１の指示位置に代えて第２の指示位置を出力するか否かの制御をする制御部とを備える入力装置である。

Description

この発明は、電子ペンを空間上で用いる場合に好適な入力装置に関する。

デジタイザと呼ばれる座標入力装置に対して、電子ペンにより連続的に位置指示することにより描画することで、アニメーション画像などを作成する描画システムが知られている。

従来から、電子ペンの傾きや回転を検出する方法として種々の方法が提案されている。特許文献１（特開２０１６−１２６５０３号公報）には、位置検出装置のセンサ部の入力面に対する傾き角や回転角の検出が可能な電子ペンが提供されている。この特許文献１の場合には、電子ペンとセンサ部を備える位置検出装置との間で、電磁誘導結合や静電容量結合などにより信号を授受することで、位置検出装置が、電子ペンにより指示された位置を検出すると共に、電子ペンの指示位置の位置座標、及び傾き角や回転角を検出する。

また、特許文献２（米国特許第９，３２９，７０３Ｂ２公報）には、電子ペンに、その動きや方位測定が可能なセンサを、内蔵あるいは装着し、そのセンサの検出出力を位置検出装置に送信することで、位置検出装置で、電子ペンの動きや状態（傾きや回転）を検出することができるようにすることが記載されている。

特開２０１６−１２６５０３号公報 米国特許第９，３２９，７０３Ｂ２公報

上述の特許文献１の場合には、電子ペンによる指示位置を中心とした周囲の複数個のループコイルから得られる複数の信号レベルを用いて、電子ペンの指示位置の位置座標及び傾きを検出する。しかし、センサ部の周辺領域では、電子ペンの指示位置の位置座標の精度が低下すると共に、電子ペンの傾きを検出すること困難になるという問題があった。

特許文献２の方法によれば、特許文献１の場合の問題は生じない。しかし、条件によっては、反応速度が遅くなったり、位置座標の精度が低下したりするという問題がある。

この発明は、以上の問題点を解消することができる入力装置を提供することを目的とする。

上記の課題を解決するために、
電子ペンとセンサ部との信号の授受に応じて、前記センサ部上の前記電子ペンによる第１の指示位置を検出する第１の検出部と、
前記電子ペンが存在する３次元空間における前記電子ペンによる第２の指示位置を検出する第２の検出部と、
前記第１の指示位置と前記第２の指示位置とに基づいて、前記電子ペンの位置情報を生成する制御部と、
を備える入力装置を提供する。

上述の構成の入力装置において、指示位置には、位置座標だけでなく姿勢（傾きや回転）も含まれるものである。そして、上述の構成の入力装置によれば、例えば、第２の検出部で検出される電子ペンによる指示位置に含まれる姿勢の情報を、第１の指示位置の位置座標と共に出力することが可能である。

この発明による入力装置の第１の実施形態を含む空間位置指示システムの構成例を説明するための図である。 図１の例の空間位置指示システムの各部の構成例を説明するためのブロック図である。 この発明による入力装置の実施形態を説明するための図である。 この発明による入力装置の第２の実施形態の各部の構成例を説明するためのブロック図である。 電子ペンとデジタイザとの信号の授受により、電子ペンの傾きを検出する動作を説明するための図である。 電子ペンとの信号の授受によりデジタイザが電子ペンの指示位置及び傾きを検出する際における検出精度が、入力面の周辺領域と他の領域とで異なることを説明するに用いる図である。 この発明による入力装置の第２の実施形態の主要な動作を説明するためのフローチャートの一部を示す図である。 この発明による入力装置の第２の実施形態の主要な動作を説明するためのフローチャートの一部を示す図である。 この発明による入力装置の第３の実施形態の構成例を説明するための図である。 この発明による入力装置の第３の実施形態の各部の構成例を説明するためのブロック図である。

以下、この発明による入力装置の実施形態を、図を参照しながら説明する。

［第１の実施形態］
以下に説明する入力装置の実施形態は、電子ペンと信号の送信及び受信の少なくとも一方を行う（以下「信号の授受」という。）センサ部を備えるデジタイザ（ペンタブレット）と、空間中における電子ペンによる指示位置情報を検出する空間位置検出用ユニットと、を備える空間位置指示システムに関する。なお、位置には、位置座標だけでなく姿勢（傾きや回転）なども含まれるが、以下の説明においては、両者を明確にするために、位置座標と姿勢の情報とは分けて説明する。

この実施形態による空間位置指示システムは、表示部がヘッドマウントディスプレイやスマートグラス等で構成され、３Ｄ描画空間をバーチャルリアリティー（ＶＲ（Virtual Reality）、ＭＲ（Mixed Reality）、ＡＲ（Augmented Reality）などを含む。以下、ＶＲと略称する）の空間として利用する。図１は、ＶＲの空間を３Ｄ描画空間とした第１の実施形態の入力装置を含む空間位置指示システムの全体の構成の概要を示す図である。図２は、第１の実施形態の入力装置を含む空間位置指示システムの各部の機能の詳細構成例を示すブロック図である。

すなわち、図１に示すように、この例の実施形態の空間位置指示システムは、電子ペン１０と、デジタイザ２０と、空間位置検出用ユニット３０と、空間描画情報生成装置４０と、ヘッドマウントディスプレイ（以下、ＨＭＤと称する）５０とを備えて構成されている。空間描画情報生成装置４０は、図２に示すように、この例では、入力情報処理部４１と表示画像生成部４２との機能を備えるもので、例えばコンピュータで構成される。

なお、この第１の実施形態の入力装置は、電子ペン１０との信号の授受に応じて、電子ペン１０による指示位置を検出する第１の検出部と 、電子ペン１０が存在する３次元空間における電子ペン１０による指示位置を検出する第２の検出部と、これらの指示位置に基づいて、電子ペン１０の位置情報を生成する制御部と 、を備える。この第１の実施形態においては、第１の検出部はデジタイザ２０で構成され、第２の検出部は、空間位置検出用ユニット３０と入力処理部４１の空間情報処理部４１０とで構成され、制御部は、入力情報処理部により構成される。

電子ペン１０は、この第１の実施形態においては、電磁誘導方式の電子ペンを例に用いるが、電磁誘導方式に限定されるものではなく、静電結合方式などを用いてもよい。デジタイザ２０は、薄型の直方体形状の筐体２１を備え、その表面を電子ペン１０による位置指示の入力面２１Ｓとしている。そして、デジタイザ２０は、センサ部２２と、位置検出部２３（図２参照）とを備える。

センサ部２２は、図示は省略するが、複数個のループコイルが、それぞれ、デジタイザ２０の筐体の横方向（Ｘ軸方向）と、筐体の縦方向（Ｙ軸方向）とに配設されて構成されている。この例では、デジタイザ２０は、電子ペン１０に合わせて電磁誘導方式のものとされているが、電磁誘導方式に限定されるものではない。

電子ペン１０は、図示は省略するが、ペン先側にコイルとコンデンサとからなる共振回路（図示は省略）を備えており、デジタイザ２０のセンサ部２２のループコイルと、電子ペン１０の共振回路との間で、電磁誘導結合することで、電子ペン１０とデジタイザ２０のセンサ部２２との間で信号の授受を行う。

デジタイザ２０の位置検出部２３は、センサ部２２のループコイルを通じて電子ペン１０に信号を供給すると共に、電子ペン１０から帰還される信号をループコイルを通じて受信し、その受信した信号に基づいて、センサ部２２の検出領域において電子ペン１０により指示された位置を検出する。なお、この実施形態では、デジタイザ２０は、電子ペン１０のペン先で指示された位置を電子ペン１０の指示位置として検出するように構成されている。

この例のデジタイザ２０では、入力面２１Ｓのほぼ全域をカバーするようにセンサ部２２の複数個のループコイルが配設されている。

そして、この実施形態では、デジタイザ２０で電子ペン１０の指示位置を検出することができる位置検出領域は、電子ペン１０のペン先がデジタイザ２０の入力面２１Ｓに接触しているときの平面領域のみならず、電子ペン１０のペン先がデジタイザ２０の入力面２１Ｓに非接触であって、入力面２１Ｓとは、当該入力面２１Ｓに直交する方向（Ｘ軸方向及びＹ軸方向に直交するＺ軸方向）に離間しているが、電磁結合による信号の授受を通して電子ペン１０の指示位置を検出することができる空間領域（電子ペン１０のホバー状態のホバー領域）を含む。

空間位置検出用ユニット３０は、この例では、デジタイザ２０が存在する３次元空間領域を設定して、当該３次元空間領域において、電子ペン１０のペン先による指示位置、電子ペン１０の傾き角や回転角などの電子ペン１０の姿勢（ペン姿勢という）を検出すると共に、デジタイザ２０の位置及び水平平面からの傾き角や傾き方向を検出することができるように構成されている。

空間位置検出用ユニット３０は、２個の発光追跡装置３１Ａ，３１Ｂと、複数個の光位置通知部（以下、トラッカーと称する）３２Ａ，３２Ｂ，３２Ｃ，３２Ｄとを含んで構成されている。なお、この実施形態では、後述するように、ＨＭＤ５０には、デジタイザ２０の位置検出領域ＤＴを含む動き検出空間領域ＭＤで描画された３Ｄ描画画像が、仮想表示画像として表示されると共に、電子ペン１０の仮想表示画像が表示される。

２個の発光追跡装置３１Ａ，３１Ｂは、同一の構成を有するもので、それぞれ赤外線レーザ光のレーザ発光部と、発光した赤外線レーザ光により動き検出空間領域ＭＤ内をサーチするようにするサーチ手段と、赤外線レーザ光を受けたトラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄの発光部の発光を検知する光位置検知手段とを備える。

トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄが装着されるオブジェクト（空間位置検出用ユニット３０の探索空間領域における探索対象物）は、この実施形態では、前述したように、電子ペン１０と、デジタイザ２０である。すなわち、この例では、デジタイザ２０の位置及び水平面に対する傾き角や傾き方向を通知することができるようにするために、薄型の直方体形状であるデジタイザ２０の筐体の左上隅と右下隅とに、トラッカー３２Ａとトラッカー３２Ｂとが装着されている。また、電子ペン１０の位置及びペン姿勢（傾き角や回転角）を通知するために、電子ペン１０には、そのペン先側にトラッカー３２Ｃが装着され、また、電子ペン１０の筐体の軸心方向において、ペン先側とは反対側の後端側に、トラッカー３２Ｄが装着されている。

発光追跡装置３１Ａ，３１Ｂは、サーチ手段によりレーザ発光部を制御して、赤外線レーザ光を、トラッカー位置を検出するように動き検出空間領域ＭＤ内を探索走査させるように出射して、サーチする。トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄのそれぞれは、赤外線レーザ光の受光を、センサで監視し、センサで赤外線レーザ光の受光を検出したときに、ＬＥＤからなる発光部を点灯する。

発光追跡装置３１Ａ，３１Ｂは、トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄの発光部の発光を検知することで、当該トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄが装着されているオブジェクトの動き検出空間領域ＭＤ内における位置を検出する。発光追跡装置３１Ａ，３１Ｂは、トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄの発光部の発光を検知したときに、当該検知した時点の、発光した赤外線レーザの発光時刻からの経過時刻をも検知することができるように構成されている。この場合に、トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄのそれぞれは、自身の識別情報に応じた異なる発光をする。

２個の発光追跡装置３１Ａ，３１Ｂは、空間描画情報生成装置４０に対して、有線で、あるいは、無線で接続されており、空間描画情報生成装置４０に対して、検知したトラッカー３２Ａ，３２，３２Ｃ，３２Ｄの動き検出空間領域ＭＤにおける空間位置情報を通知する。

２個の発光追跡装置３１Ａ，３１Ｂで検知されたトラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄの動き検出空間領域ＭＤにおける空間位置情報は、この例では、図２に示すように、空間描画情報生成装置４０の入力情報処理部４１の空間情報処理部４１０に供給される。

空間情報処理部４１０は、この例では、空間位置検出部４１０１と、ペン姿勢検出部４１０２と、デジタイザ姿勢検出部４１０３とからなる。空間位置検出部４１０１は、トラッカー３２Ａ，３２Ｂから、動き検出空間領域ＭＤにおけるデジタイザ２０の位置を検出すると共に、トラッカー３２Ｃ，３２Ｄから、電子ペン１０のペン先の位置としての電子ペン１０による指示位置と、電子ペン１０の後端の位置を検出する。ペン姿勢検出部４１０２は、この例では、トラッカー３２Ｃ及び３２Ｄから、電子ペン１０の傾き角及び回転角を含むペン姿勢を検出する。また、デジタイザ姿勢検出部４１０３は、先の位置として、電子ペン１０による指示位置を検出する。

そして、この実施形態では、入力情報処理部４１は、デジタイザ２０で検出された、位置検出領域ＤＴにおける電子ペン１０による指示位置の情報と、入力情報処理部４１の空間情報処理部４１０で検出された、動き検出空間領域ＭＤにおける電子ペン１０の位置（指示位置及び後端位置）の情報、ペン姿勢情報及びデジタイザ姿勢情報とから、表示画像生成部４２に供給する情報を生成する。そして、入力情報処理部４１は、生成した情報を、表示画像生成部４２に供給する。

そして、この実施形態では、空間描画情報生成装置４０の表示画像生成部４２は、図２に示すように、３Ｄ描画像を生成するための描画像生成部４２１と、ＨＭＤ５０に表示するＶＲ画像を生成するためのＶＲ画像生成部４２２とを備える。

描画像生成部４２１は、電子ペン１０による位置指示に基づいて３Ｄ描画像を生成すると共に、電子ペン１０の操作者により実行されたジェスチャーに基づいて、３Ｄ描画像の変形、回転、移動などの処理を行う。そして、この実施形態では、描画像生成部４２１は、電子ペン１０のデジタイザ２０の入力面２１Ｓに対する傾き角や傾き方向、回転角を含むペン姿勢をも、３Ｄ描画像の生成に反映させるようにする。例えば、電子ペン１０がデジタイザ２０と信号の授受する場合には、デジタイザ２０の入力面２１Ｓに対する傾き角や傾き方向を用いる。以下、３Ｄ描画像に関する処理を３Ｄ描画系処理という。

この実施形態では、電子ペン１０に装着されたトラッカー３２Ｃ，３２Ｄを用いて、空間位置検出用ユニット３０により、電子ペン１０の傾き角、傾き方向及び回転角を含むペン姿勢を検出することができる。そこで、この実施形態では、入力情報処理部４１は、空間位置検出用ユニット３０により検出された電子ペン１０のペン姿勢の情報を、３Ｄ描画系処理用の情報として、表示画像生成部４２に供給するように構成されている。

すなわち、後述するように、入力情報処理部４１は、３Ｄ描画像に、電子ペン１０による位置指示に基づく描画入力時の電子ペン１０の傾きや回転などのペン姿勢の情報が反映されるように、電子ペン１０による位置指示の情報（ペン先の位置の情報）と、電子ペン１０のペン姿勢の情報とを、表示画像生成部４２に供給するように構成されている。

また、表示画像生成部４２には、図２に示すように、電子ペン１０の操作者により実行されたジェスチャーを検出するためのジェスチャー検出処理部４２３が設けられている。そして、この実施形態では、入力情報処理部４１は、空間位置検出用ユニット３０において検出された電子ペン１０のペン先の位置情報（指示位置の情報に対応）と、ペン姿勢の情報とを、当該ジェスチャー検出処理部４２３に供給する情報とするように構成されている。

以上のように、この実施形態では、３Ｄ描画系処理用の情報としてデジタイザ２０で検出される電子ペン１０による指示位置の情報のみではなく、空間位置検出用ユニット３０で検出される電子ペン１０の指示位置（ペン先の位置）の情報及びペン姿勢の情報が利用される。

表示画像生成部４２のＶＲ画像生成部４２２は、ＨＭＤ５０に表示するＶＲ画像を生成する。ＶＲ画像としては、この実施形態では、電子ペン１０のＶＲ画像と、描画像生成部４２１で生成された３Ｄ描画像のＶＲ画像が含まれ、ＨＭＤ５０においては、描画像生成部４２１で生成された３Ｄ描画像のＶＲ画像と、電子ペン１０のＶＲ画像とが３Ｄ表示される。なお、ＶＲ画像生成部４２２は、デジタイザ２０のＶＲ画像をも生成するようにしてもよい。以下、ＶＲ画像生成部４２２におけるＶＲ画像の生成に関する処理をＶＲ画像系処理という。

この実施形態では、ＶＲ画像生成部４２２には、入力情報処理部４１からの電子ペン１０のＶＲ画像を生成するための情報が供給されると共に、描画像生成部４２１から、生成された３Ｄ描画像の情報が供給される。そして、ＶＲ画像生成部４２２で生成されたＶＲ画像情報が、表示ドライブ部４２４を通じて、ＨＭＤ５０に供給されて、ＨＭＤ５０の例えばＬＣＤ（Liquid Crystal Display；液晶ディスプレイ）からなる表示画面に表示される。

この場合に、電子ペン１０が位置検出領域ＤＴに存在するときには、電子ペン１０の位置（ペン先位置）を空間位置検出用ユニット３０よりも高精度で検出することができるデジタイザ２０からの電子ペンによる指示位置の情報と、空間位置検出用ユニット３０が用いられて検出される傾きや回転などのペン姿勢の情報とが、入力情報処理部４１から表示画像生成部４２のＶＲ画像生成部４２２に供給される。

また、電子ペン１０が動き検出空間領域ＭＤに存在するときには、デジタイザ２０では電子ペン１０の指示位置は検出できないので、空間位置検出用ユニット３０が用いられて検出される電子ペンによる指示位置の情報と、ペン姿勢の情報とが、入力情報処理部４１から表示画像生成部４２のＶＲ画像生成部４２２に供給される。

以上のように、この実施形態では、ＶＲ画像系処理用の情報として、空間位置検出用ユニット３０で検出される電子ペン１０の指示位置（ペン先の位置）の情報及びペン姿勢の情報のみではなく、デジタイザ２０で検出される電子ペン１０による指示位置の情報が利用される。

入力情報処理部４１は、デジタイザ２０からの情報と、空間位置検出用ユニット３０からの情報とから、以上説明したような描画系処理用の情報と、ＶＲ画像系処理用の情報とを生成して、表示画像生成部４２に供給すると共に、電子ペン１０が、位置検出領域ＤＴ及び動き検出空間領域ＭＤのいずれに存在しているかに応じた選択制御をするための切替制御信号ＳＥを生成する。

上述したように、この実施形態では、３Ｄ描画系処理及びＶＲ画像系処理のそれぞれにおいて、デジタイザ２０の位置検出領域ＤＴの空間座標系の情報と、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間座標系の情報とを相互に利用することができる。この場合に、２つの空間座標系は、それぞれ独立に設定され得るが、この実施形態では２つの空間座標系の内の一方の空間座標系の情報を、他方の空間座標系の情報に変換することにより、共通の座標空間における情報として扱えるようにする。この実施形態では、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間座標系の情報を、デジタイザ２０の位置検出領域ＤＴの空間座標系の情報に変換する。

この実施形態の空間位置指示システムにおいては、空間位置検出用ユニット３０の動き検出空間領域ＭＤで検出される電子ペン１０のペン姿勢の情報を、３Ｄ描画系処理で用いるとともに、ＶＲ画像系処理においても用いることができる。

この場合に、ＶＲ画像系処理においては、電子ペン１０のペン姿勢の情報は、電子ペン１０のＶＲ画像の姿勢に反映される。この電子ペン１０のペン姿勢の情報には、電子ペン１０の傾き角の情報が含まれているが、３Ｄ描画系処理においては、この電子ペン１０の傾き角は、デジタイザ２０のセンサ部２２の入力面に対する相対的な傾き角である。一方、空間位置検出用ユニット３０の動き検出空間領域ＭＤで検出される電子ペン１０のペン姿勢の情報は、例えば地球の重力方向あるいは水平面方向を基準にした、空間位置検出用ユニット３０の動き検出空間領域ＭＤにおける傾き角である。

デジタイザ２０を、そのセンサ部２２の入力面２１Ｓに直交する方向が、空間位置検出用ユニット３０の動き検出空間領域ＭＤのＺ軸方向と正確に一致させるように設置することができれば、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間において検出される電子ペン１０の傾き角は、デジタイザ２０のセンサ部２２の入力面に対する相対的な傾き角と一致する。しかし、実際的には、デジタイザ２０を、空間位置検出用ユニット３０の動き検出空間領域ＭＤに対して傾けて設置する場合がある。

そこで、この実施形態では、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間で検出される電子ペン１０の絶対的な傾き角は、以下に説明するようにして、デジタイザ２０のセンサ部２２の入力面に対する相対的な傾き角に変換される。

図３は、この傾き角の変換の処理を説明するために用いる図である。この図３は、電子ペン１０のペン先を球体の中心のＯ点とした球体座標系を示している。この図３におけるＸ−Ｙ平面（互いに直交するＸ軸方向とＹ軸方向とを含む面）は、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間領域における水平面としている。

図３において、電子ペン１０の筐体の軸心方向のペン先とは反対側の後端部の端縁の位置を示す点は、球面座標となる。この場合、球体の半径ｒは、電子ペン１０の筐体の軸心方向の長さとなる。図３の球体座標系において、電子ペン１０の筐体の軸心方向の後端部の端縁がＰ点にあるときの動き検出空間領域ＭＤの空間内での電子ペン１０の傾き角及び傾き方向は、空間位置検出用ユニット３０を用いることで、電子ペン１０の傾き角はδ、また、傾き方向はαとして検出することができる。また、空間位置検出用ユニット３０を用いることで、図３の例では、デジタイザ２０の筐体の、動き検出空間領域ＭＤの空間内での傾き角はδ´、また、傾き方向はα´として検出することができる。

そして、図３に示すように、電子ペン１０の筐体の軸心方向が、動き検出空間領域ＭＤの空間内で垂直方向と一致する状態なっているときの電子ペン１０の後端側の端縁の位置をＱ点とすると、電子ペン１０の筐体の軸心方向が、デジタイザ２０のセンサ部２２の入力面２１Ｓに対して垂直な方向となっているときの、電子ペン１０の後端側の端縁の位置はＲ点となる。

したがって、Ｒ点のＯ点からの空間ベクトルＯＲと、Ｐ点のＯ点からの空間ベクトルＯＰとが成す角度を求めると、その角度を用いることで、空間位置検出用ユニット３０を用いて検出された電子ペン１０の傾き角及び傾き方向から、デジタイザ２０のセンサ部２２の入力面２１Ｓに対する電子ペン１０の相対的な傾き角及び傾き方向に変換することが可能になる。

なお、上述の逆変換をすることで、デジタイザ２０のセンサ部２２の入力面２１Ｓに対する電子ペン１０の相対的な傾き角及び傾き方向を、空間位置検出用ユニット３０を用いて検出される電子ペン１０の傾き角及び傾き方向に変換することができる。

次に、以上のことを実現するように構成された図２の入力情報処理部４１の構成例について説明する。すなわち、デジタイザ２０を構成する位置検出部２３は、電子ペン１０の指示位置の検出出力を、選択部４１１に、その一方の入力信号として供給すると共に、選択部４１２に、その一方の入力信号として供給する。なお、この位置検出部２３から選択部４１１及び４１２に供給される情報には、電子ペン１０の指示位置の検出出力に加えて、電子ペン１０に印加される筆圧情報が含まれている。

また、空間情報処理部４１０の空間位置検出部４１０１は、電子ペン１０のペン先の空間位置（電子ペンの指示位置）の検出出力を、座標変換部４１３に供給する。この座標変換部４１３は、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間座標系の情報を、デジタイザ２０の位置検出領域ＤＴの空間座標系の情報に変換する。そして、座標変換部４１３は、その変換後の座標出力を、選択部４１１及び４１２に、その他方の入力信号として供給する。

そして、この実施形態においては、デジタイザ２０の位置検出部２３は、電子ペン１０からの受信信号の信号レベルの情報を、選択制御信号生成部４１４に供給する。選択制御信号生成部４１４は、電子ペン１０からの受信信号の信号レベルから、電子ペン１０のペン先のデジタイザ２０の入力面２１Ｓからの離間距離を検出し、検出した入力面２１Ｓからの離間距離に基づいて選択制御信号ＳＥを生成する。

この場合に、選択制御信号ＳＥは、電子ペン１０のペン先のデジタイザ２０の入力面２１Ｓからの離間距離が、デジタイザ２０が電子ペンのホバー状態を検出することができるＺ軸方向の臨界高さＬｚ以下のときには、デジタイザ２０の位置検出部２３からの位置検出出力を選択するように制御し、上記臨界高さＬｚよりも大きいときには、空間位置検出部４１０１からの検出出力を選択するように制御する信号である。

選択部４１１は、一方の入力と他方の入力の一方を、選択制御信号ＳＥに応じて切り替えて、３Ｄ描画系処理用の関連付け部４１５に供給する。また、選択部４１２は、一方の入力と他方の入力の一方を、選択制御信号ＳＥに応じて切り替えて、ＶＲ画像系処理用の関連付け部４１６に供給する。

なお、図２の例においては、３Ｄ描画系処理用と、ＶＲ画像系処理用とで明確になるように、それぞれの処理用として２個の選択部４１１と４１２とを設けたが、実際的には、選択部は共通の１個で良く、その共通の選択部の出力を、関連付け部４１５及び４１６のそれぞれに供給するように構成することができる。

空間位置検出用ユニット３０が用いられて空間情報処理部４１０のペン姿勢検出部４１０２で検出されたペン姿勢の情報は、そのままＶＲ画像系処理用の関連付け部４１６に供給される。

このＶＲ画像系処理用の関連付け部４１６は、選択部４１２からの電子ペン１０の指示位置の情報と、空間情報処理部４１０のペン姿勢検出部４１０２からのペン姿勢の情報とを関連付けてペアとして、表示画像生成部４２のＶＲ画像生成部４２２に供給する。この場合に、関連付け部４１６での関連付けは、選択部４１２から出力される電子ペン１０の指示位置に対して、当該電子ペン１０の指示位置において検出されるペン姿勢の情報をペアとして関連付けることを意味している。

関連付け部４１６で関連付ける電子ペン１０の指示位置の情報と、ペン姿勢の情報とが、共に空間情報処理部４１０からの情報である場合には、空間情報処理部４１０で、それらの情報の出力タイミングが調整されることで、関連付け部４１６では、単純に、同一タイミングの情報をペアリングすることで関連付けができる。

これに対して、関連付け部４１６で関連付ける電子ペン１０の指示位置の情報が、デジタイザ２０からの情報である場合には、関連付け部４１６では、デジタイザ２０と、空間位置検出用ユニット３０とでの検出結果の出力タイミングのずれ（処理遅延）を考慮することで、電子ペン１０の指示位置の情報とペン姿勢の情報との関連付けをする。

表示画像生成部４２のＶＲ画像生成部４２２は、この関連付け部４１６からの電子ペン１０の指示位置の情報とペン姿勢の情報とを用いて電子ペン１０のＶＲ画像を生成する。この場合に、電子ペン１０のＶＲ画像は、電子ペン１０の指示位置の情報に基づく位置に表示するように生成される。

この場合に、選択部４１２からの電子ペン１０の指示位置の情報は、選択制御信号ＳＥにより切り替え選択されるが、空間位置検出部４１０１からの指示位置の情報は、デジタイザ２０と空間位置検出用ユニット３０とで共通の座標空間となるように、座標変換部４１３で座標変換されるので、選択部４１２が切り替えられたときにも、電子ペン１０のＶＲ画像の表示位置がジャンプするように動くなどいうような表示ずれを生じるようなことはない。

空間情報処理部４１０のペン姿勢検出部４１０２からのペン姿勢の情報は、また、姿勢変換部４１７を通じて３Ｄ描画系処理用の関連付け部４１５に供給される。姿勢変換部４１７には、ペン姿勢検出部４１０２からのペン姿勢の情報とデジタイザ姿勢検出部４１０３で検出されたデジタイザ２０の姿勢の情報とが供給されており、姿勢変換部４１７では、図３を用いて説明した、空間位置検出用ユニット３０で検出した空間座標系における電子ペン１０のペン姿勢を、デジタイザ２０のセンサ部２２の入力面２１Ｓに対する相対的なペン姿勢に変換する処理を実行する。

３Ｄ描画系処理用の関連付け部４１５は、選択部４１１からの電子ペン１０の指示位置の情報と、姿勢変換部４１７からの、ペン姿勢検出部４１０２で検出されたペン姿勢の情報がデジタイザ２０の入力面２１Ｓに対する相対的なペン姿勢の情報に変換された情報とを関連付けてペアとして、表示画像生成部４２の描画像生成部４２１及びジェスチャー検出処理部４２３に供給する。この場合に、関連付け部４１５での関連付けも、関連付け部４１６と同様に、選択部４１２から出力される電子ペン１０の指示位置に対して、当該電子ペン１０の指示位置において検出されるペン姿勢の情報をペアとして関連付けることを意味している。

描画像生成部４２１は、デジタイザ２０からの電子ペン１０の指示位置の検出出力と、この実施形態では空間位置検出用ユニット３０で検出されたペン姿勢の情報とに基づいて、精細な線画等を描画するペン描画機能と、空間位置検出用ユニット３０により検出された電子ペン１０の空間位置とペン姿勢とに基づいてジェスチャー検出処理部４２３で検出された動き（ジェスチャー）に基づいた描画処理をするジェスチャー処理機能とを備える。

そして、この描画像生成部４２１及びジェスチャー検出処理部４２３には、選択制御信号生成部４１４からの選択制御信号ＳＥが供給されており、ジェスチャー検出処理部４２３は、電子ペン１０の指示位置が、デジタイザ２０の位置検出領域ＤＴの空間領域以外のときに動作するように制御され、描画像生成部４２１は、電子ペン１０の指示位置が、デジタイザ２０の位置検出領域ＤＴの空間領域内のときには、ペン描画機能を実行し、電子ペン１０の指示位置が、デジタイザ２０の位置検出領域ＤＴの空間領域以外のときには、ジェスチャー処理を実行するように切り替え制御される。

この場合に、この実施形態では、デジタイザ２０と空間位置検出用ユニット３０とで共通の座標空間となるように、座標変換部４１３を用いて座標変換するようにしているので、選択部４１１で、電子ペン１０の指示位置の切り替えられたとしても、電子ペン１０の指示位置がジャンプするようにずれてしまうようなことはない。また、ペン姿勢は、空間位置検出用ユニット３０で検出されたものであっても、デジタイザ２０の入力面２１Ｓに対する相対的なペン姿勢に変換されるので、３Ｄ描画像に適切に反映される。

前述したように、描画像生成部４２１で生成された３Ｄ描画画像情報は、ＶＲ画像生成部４２２に供給されてＶＲ画像とされ、表示ドライブ部４２４を通じてＨＭＤ５０に供給されて表示される。この場合において、この実施形態では、電子ペン１０の指示位置は、座標変換部４１３を用いることで、デジタイザ２０と空間位置検出用ユニット３０とで共通の空間座標となるようにしているので、３Ｄ描画像の空間座標系と、電子ペン１０などのＶＲ画像の空間座標系は同一となる。したがって、３Ｄ描画像に対する電子ペン１０の指示位置は、３Ｄ描画系処理とＶＲ画像系処理とで異なることはないので、ＶＲ画像生成部４２２では、両者の空間座標の補正をする必要はない。

以上の説明から分かるように、この第１の実施形態では、３Ｄ描画系処理において、電子ペン１０及びデジタイザ２０が、電子ペン１０の傾き角や回転角などのペン姿勢を検出する機能を備えていなくでも、空間位置検出用ユニット３０で検出した電子ペン１０のペン姿勢を、３Ｄ描画像生成に利用することができるという効果を奏する。また、この第１の実施形態では、デジタイザ２０の位置検出領域ＤＴ以外の空間領域で、空間位置検出用ユニット３０により検出した電子ペン１０のペン姿勢の情報を、３Ｄ描画像の生成のためのジェスチャー検出用とするようにできるという効果もある。さらに、この第１の実施形態では、デジタイザ２０の検出領域の空間座標と、空間位置検出用ユニット３０の検出領域の空間座標とを共通の座標として扱えるようにしたので、３Ｄ描画系処理において、デジタイザ２０からの出力と、空間位置検出用ユニット３０の出力とを切り替えたときにも、座標ずれが生じないという特徴がある。

したがって、操作者は、デジタイザ２０と、空間位置検出用ユニット３０との切り替えを意識することなく、電子ペン１０をデジタイザ２０上において空間的に移動するだけで、シームレスに、精細描画からジェスチャーによる操作をすることができる。

また、上述した第１の実施形態においては、ＶＲ画像系処理において、電子ペン１０のＶＲ画像を生成するための電子ペン１０の位置情報（ペン先の位置情報）として、デジタイザ２０の位置検出領域ＤＴの空間領域においては、空間位置検出用ユニット３０での検出出力よりも高精度で、反応速度も速いデジタイザ２０の位置検出出力を用いることができるので、実際の使用者の電子ペンの操作に応じて的確に反応するＶＲ画像が得られる。

なお、上述した空間描画情報生成装置４０は、コンピュータにより構成されるので、入力情報処理部４１及び表示画像生成部４２の各部は、ソフトウェアプログラムにより実行するソフトウェア機能部として構成することができることは言うまでもない。

［第２の実施形態］
上述の第１の実施形態は、電子ペン１０及びデジタイザ２０は、電子ペンの傾き角や回転角などのペン姿勢の検出機能は有しない例であったが、電子ペンの傾き角や回転角などのペン姿勢の検出機能を有する構成とすることができる。

以下に説明する第２の実施形態の入力装置は、上述した第１の実施形態で説明した空間位置指示システムと同様のシステムにおいて、電子ペンやデジタイザが、電子ペンの傾き角や回転角などのペン姿勢の検出機能を有する場合である。

図４に、この第２の実施形態の空間位置指示システムの要部の構成例を示す。この第２の実施形態の空間位置指示システムは、第１の実施形態と同様の構成を備えるものであるが、電子ペン１０及びデジタイザ２０の代わりに、ペン姿勢を検出するための構成を備える電子ペン１０Ａ（図４では図示を省略）とデジタイザ２０Ａとを設ける。そして、第１の実施形態における空間描画情報生成装置４０の入力情報処理部４１の代わりに、図４に示すような構成の入力情報処理部４１Ａを設ける。

この第２の実施形態の空間位置指示システムにおいては、第１の実施形態で説明した空間位置検出用ユニット３０、表示画像生成部４２、ＨＭＤ５０をも備えるが、それらは、第１の実施形態と同様であるので、図４には示していない。また、図４に示すデジタイザ２０Ａ及び入力情報処理部４１Ａにおいて、図２に示したデジタイザ２０及び入力情報処理部４１と同様の部分には、同一参照符号を付して、その詳細な説明は省略する。

図５（Ａ）に示すように、電子ペン１０Ａがセンサ部の入力面に対して垂直である場合には、所定数の複数、例えば７本のループコイル位置Ｘｉ−３、Ｘｉ−２、Ｘｉ−１、Ｘｉ、Ｘｉ＋１、Ｘｉ＋２、Ｘｉ＋３の信号レベルは、指示位置を中心として対称形を呈する。

これに対して、電子ペン１０Ａが傾いているときには、これらの７本のループコイル位置Ｘｉ−３、Ｘｉ−２、Ｘｉ−１、Ｘｉ、Ｘｉ＋１、Ｘｉ＋２、Ｘｉ＋３の信号レベルは、図５（Ｂ）に示すように、電子ペン１０Ａが傾いている方向及び傾いている角度に応じて変化する。この所定数の複数の信号レベルに基づいて、電子ペン１０Ａの指示位置の位置座標、及び傾き角、傾き方向を検出することができる。

しかしながら、図６に示すようなセンサ部の入力面（検出領域）ＩＮＳにおいては、例えば点線の位置よりも外側の斜線を付して示す周辺領域ＰＥでは、上述の所定数より少ない複数の信号レベルしか得られない。このため、この第２の実施形態では、デジタイザ２０Ａの周辺領域ＰＥでは、電子ペン１０Ａの指示位置（ペン先位置）及び電子ペン１０Ａのペン姿勢の検出精度は低くなり、この第２の実施形態の場合には、空間位置検出用ユニット３０で検出される電子ペン１０Ａの指示位置（ペン先位置）及び電子ペン１０Ａのペン姿勢の検出精度の方が高精度となっている点を考慮する。

すなわち、この第２の実施形態では、電子ペン１０Ａのペン先位置が、デジタイザ２０Ａにおいて、電子ペン１０Ａの指示位置やペン姿勢が検出することができる位置検出領域ＤＴの空間領域であっても、周辺領域ＰＥ及びその上空の空間領域にあるときには、デジタイザ２０Ａで検出される電子ペン１０Ａの指示位置及びペン姿勢の情報に代えて、空間位置検出用ユニット３０で検出される電子ペン１０Ａの指示位置及びペン姿勢の情報を用いるようにする。

図４に示すように、この第２の実施形態のデジタイザ２０Ａは、姿勢検出部２４を備える。この姿勢検出部２４は、図示を省略した電子ペン１０Ａとデジタイザ２０Ａのセンサ部２２との信号の授受に基づいて、電子ペン１０Ａの傾き角、傾き方向、回転角などのペン姿勢を検出する。そして、この姿勢検出部２４で検出された電子ペン１０Ａのペン姿勢の情報は、入力情報処理部４１Ａの選択部４１８の一方の入力端子に供給される。この選択部４１８の他方の入力端子には、空間情報処理部４１０のペン姿勢検出部４１０２からの、空間位置検出用ユニット３０が用いられて検出された電子ペン１０Ａのペン姿勢の情報が供給される。

選択部４１８からの電子ペン１０Ａのペン姿勢の情報は、関連付け部４１５に供給されて、選択部４１１からの電子ペン１０Ａの指示位置の情報と、上述と同様の関連付け処理がなされ、表示画像生成部４２の描画像生成部４２１及びジェスチャー検出処理部４２３に供給される。

また、この第２の実施形態では、空間情報処理部４１０のペン姿勢検出部４１０２で検出された電子ペン１０Ａのペン姿勢の情報は、選択部４１９の一方の入力端子に供給される。そして、デジタイザ２０Ａの姿勢検出部２４からの電子ペン１０Ａのペン姿勢の情報は、姿勢変換部４１７Ｒに供給されると共に、空間情報処理部４１０のデジタイザ姿勢検出部４１０３で検出されたデジタイザ２０Ａの傾き角及び傾き方向を含むデジタイザ姿勢の情報が、この姿勢変換部４１７Ｒに供給される。

姿勢変換部４１７Ｒでは、デジタイザ２０Ａの姿勢検出部２４からの電子ペン１０Ａのペン姿勢の情報と、空間情報処理部４１０のデジタイザ姿勢検出部４１０３からのデジタイザ２０Ａの姿勢の情報とから、姿勢変換部４１７とは逆変換がなされる。すなわち、デジタイザ２０Ａで検出された電子ペン１０Ａの、入力面２１Ｓに対する相対的なペン姿勢を、空間位置検出用ユニット３０で検出される動き検出空間領域ＭＤの空間座標系における絶対的なデジタイザ２０Ａの姿勢に変換される。

そして、この姿勢変換部４１７Ｒで姿勢変換された電子ペン１０Ａのペン姿勢の情報は、選択部４１９の他方の入力端子に供給される。選択部４１９で後述するように選択されて出力される電子ペン１０Ａのペン姿勢の情報は、関連付け部４１６に供給されて、選択部４１２からの電子ペン１０Ａの指示位置の情報と、上述と同様の関連付け処理がなされ、表示画像生成部４２のＶＲ画像生成部４２２に供給される。

この第２の実施形態の選択制御信号生成部４１４Ａは、選択部４１１、選択部４１２、選択部４１８及び選択部４１９の選択制御信号ＳＥＡを生成する。また、選択制御信号生成部４１４Ａは、上述の第１の実施形態の選択制御信号生成部４１４と同様の選択制御信号ＳＥを生成し、表示画像生成部４２の描画像生成部４２１及びジェスチャー検出処理部４２３が実行する処理を、上述の第１の実施形態と同様にして切り替え制御をする。

この第２の実施形態の選択制御信号生成部４１４Ａからの選択制御信号ＳＥＡは、電子ペン１０Ａの指示位置（ペン先位置）が、デジタイザ２０Ａの位置検出領域ＤＴの空間領域内か、それ以外の空間領域かで、選択部４１１，４１２，４１８，４１９を選択制御するだけでなく、デジタイザ２０Ａの入力面２１Ｓの周辺領域ＰＥ（図６参照）か、入力面２１Ｓの周辺領域ＰＥの内側の中央部領域かで、選択部４１１，４１２，４１８，４１９を選択制御するようにする。

このため、この第２の実施形態の選択制御信号生成部４１４Ａには、デジタイザ２０Ａの位置検出部２３からは、電子ペン１０Ａからの受信信号の信号レベルの情報に加えて、電子ペン１０Ａの指示位置の情報も供給される。そして、選択制御信号生成部４１４Ａは、電子ペン１０Ａの指示位置（ペン先の位置）が、位置検出領域ＤＴの空間領域内であり、且つ、周辺領域ＰＥの内側の中央部領域の空間領域内に在るときと、それ以外の空間領域に在るときとで、選択部４１１，４１２，４１８，４１９を選択制御する選択制御信号ＳＥＡを生成する。

選択部４１１は、選択制御信号ＳＥＡにより、電子ペン１０Ａの指示位置（ペン先の位置）が、位置検出領域ＤＴの空間領域内であり、且つ、周辺領域ＰＥの内側の中央部領域の空間領域内に在るときには、デジタイザ２０Ａの位置検出部２３からの電子ペン１０Ａの指示位置の情報を選択して、関連付け部４１５に供給し、電子ペン１０Ａの指示位置（ペン先の位置）が、上記以外の空間領域に在るときには、座標変換部４１３からの空間位置検出部４１０１からの電子ペン１０Ａの指示位置の情報を選択して、関連付け部４１５に供給する。

また、選択部４１２は、選択制御信号ＳＥＡにより、電子ペン１０Ａの指示位置（ペン先の位置）が、位置検出領域ＤＴの空間領域内であり、且つ、周辺領域ＰＥの内側の中央部領域の空間領域内に在るときには、デジタイザ２０Ａの位置検出部２３からの電子ペン１０Ａの指示位置の情報を選択して、関連付け部４１６に供給し、電子ペン１０Ａの指示位置（ペン先の位置）が、上記以外の空間領域に在るときには、座標変換部４１３で座標変換処理した空間位置検出部４１０１からの電子ペン１０Ａの指示位置の情報を選択して、関連付け部４１６に供給する。

また、選択部４１８は、選択制御信号ＳＥＡにより、電子ペン１０Ａの指示位置（ペン先の位置）が、位置検出領域ＤＴの空間領域内であり、且つ、周辺領域ＰＥの内側の中央部領域の空間領域内に在るときには、デジタイザ２０Ａの姿勢検出部２４からの電子ペン１０Ａのペン姿勢の情報を選択して、関連付け部４１５に供給し、電子ペン１０Ａの指示位置（ペン先の位置）が、上記以外の空間領域に在るときには、姿勢変換部４１７からのペン姿勢検出部４１０２で検出された電子ペン１０Ａのペン姿勢から、相対的なペン姿勢に変換されたペン姿勢の情報を選択して、関連付け部４１５に供給する。

また、選択部４１９は、選択制御信号ＳＥＡにより、電子ペン１０Ａの指示位置（ペン先の位置）が、位置検出領域ＤＴの空間領域内であり、且つ、周辺領域ＰＥの内側の中央部領域の空間領域内に在るときには、姿勢変換部４１７Ｒからのデジタイザ２０Ａの姿勢検出部２４で検出された電子ペン１０Ａのペン姿勢から、空間位置検出用ユニット３０で検出される絶対的なペン姿勢に変換されたペン姿勢の情報を選択して、関連付け部４１６に供給し、電子ペン１０Ａの指示位置（ペン先の位置）が、上記以外の空間領域に在るときには、ペン姿勢検出部４１０２からの電子ペン１０Ａのペン姿勢の情報を選択して、関連付け部４１６に供給する。

この第２の実施形態の空間位置指示システムの入力情報処理部４１Ａがコンピュータで構成される場合の処理動作の流れの一例を、図７及びその続きである図８を参照して説明する。なお、この場合には、図４に示した入力情報処理部４１Ａを構成する各ブロックは、コンピュータのプログラムによるソフトウェア機能部となる。

すなわち、入力情報処理部４１Ａは、デジタイザ２０Ａからの信号から、デジタイザ２０Ａで電子ペン１０Ａの指示位置を検出する状態になったか否か判別する（ステップＳ１）。このステップＳ１で、デジタイザ２０Ａで電子ペン１０Ａの指示位置を検出する状態になっていないと判別したときには、入力情報処理部４１Ａは、空間位置検出用ユニット３０で電子ペン１０Ａが検出できるか否か判別する（ステップＳ２）。このステップＳ２で、空間位置検出用ユニット３０で電子ペン１０Ａが検出できないと判別したときには、入力情報処理部４１Ａは、処理をステップＳ１に戻す。

ステップＳ１で、デジタイザ２０Ａで電子ペン１０Ａの指示位置を検出する状態になったと判別したときには、入力情報処理部４１Ａは、デジタイザ２０Ａで検出された電子ペン１０Ａによる指示位置の座標を取得し（ステップＳ３）、取得した指示位置の座標は、周辺領域ＰＥ内であるか否か判別する（ステップＳ４）。

ステップＳ４で、取得した指示位置の座標は、周辺領域ＰＥではなく、その内側領域であると判別したときには、入力情報処理部４１Ａは、デジタイザ２０Ａからの電子ペン１０Ａの指示位置の情報とペン姿勢の情報とを関連付けて描画像生成用として表示画像生成部４２に出力する（ステップＳ５）。

次いで、入力情報処理部４１Ａは、空間情報処理部４１０の空間位置検出部４１０１で検出した電子ペン１０Ａの指示位置の情報を、デジタイザ２０Ａと共通の座標系の情報とするための座標変換をする（ステップＳ６）。そして、入力情報処理部４１Ａは、座標変換した電子ペン１０Ａの指示位置の情報と、空間情報処理部４１０のペン姿勢検出部４１０２で検出したペン姿勢の情報とを関連付けて、ＶＲ画像生成用として表示画像生成部４２に出力する（ステップＳ７）。このステップＳ７の次には、入力情報処理部４１Ａは、処理をステップＳ１に戻し、このステップＳ１以降の処理を繰り返す。

次に、ステップＳ４で、取得した指示位置の座標は、周辺領域ＰＥ内であると判別したとき、また、ステップＳ２で、空間位置検出用ユニット３０で電子ペン１０Ａを検出することができると判別したときには、入力情報処理部４１Ａは、空間情報処理部４１０の空間位置検出部４１０１で検出した電子ペン１０Ａの指示位置の情報を、デジタイザ２０Ａと共通の座標系の情報とするための座標変換をする（図８のステップＳ１１）。また、入力情報処理部４１Ａは、空間情報処理部４１０のデジタイザ姿勢検出部４１０３で検出されたデジタイザ２０Ａの姿勢の情報を取得する（ステップＳ１２）。

次に、入力情報処理部４１Ａは、デジタイザ２０Ａの姿勢検出部２４からのペン姿勢の情報を、ステップＳ１２で取得したデジタイザ２０Ａの姿勢の情報を用いて、デジタイザ２０Ａに対する相対的な姿勢ではなく、空間領域における絶対姿勢の情報に変換する（ステップＳ１３）。そして、入力情報処理部４１Ａは、ステップＳ１１で座標変換して得た電子ペン１０Ａの指示位置の情報と、ステップＳ１３で求められた絶対姿勢の情報とを関連付けて描画像生成用として表示画像生成部４２に出力する（ステップＳ１４）。

次に、入力情報処理部４１Ａは、空間情報処理部４１０のペン姿勢検出部４１０２からのペン姿勢の情報を、ステップＳ１２で取得したデジタイザ２０Ａの姿勢の情報を用いて、デジタイザ２０Ａに対する相対的な姿勢の情報に変換する（ステップＳ１５）。そして、入力情報処理部４１Ａは、ステップＳ１１で座標変換して得た電子ペン１０Ａの指示位置の情報と、ステップＳ１３で求められた絶対姿勢の情報とを関連付けて、ＶＲ画像生成用として表示画像生成部４２に出力する（ステップＳ１６）。このステップＳ１６の次には、入力情報処理部４１Ａは、処理をステップＳ１に戻し、このステップＳ１以降の処理を繰り返す。

この第２の実施形態の空間位置指示システムの入力情報処理部４１Ａは、以上のように構成されているので、３Ｄ描画系処理及びＶＲ画像系処理における電子ペン１０Ａの指示位置の情報は、デジタイザ２０Ａの位置検出領域ＤＴの空間領域の内の、入力面２１Ｓの周辺領域ＰＥよりも内側の中央部領域では、空間位置検出用ユニット３０で検出する場合よりも高精度で、デジタイザ２０Ａの位置検出部２３で検出される電子ペン１０Ａの指示位置の情報が用いられ、そして、デジタイザ２０Ａの位置検出領域ＤＴの空間領域の内の、入力面２１Ｓの周辺領域ＰＥ（入力面２１Ｓの上空を含む）及び位置検出領域ＤＴの空間領域の外側の空間領域では、デジタイザ２０Ａの位置検出部２３で検出する場合よりも高精度で、空間位置検出用ユニット３０の空間位置検出部４１０１で検出される電子ペン１０Ａの指示位置の情報が用いられる。

また、３Ｄ描画系処理における電子ペン１０Ａのペン姿勢の情報としては、デジタイザ２０Ａの位置検出領域ＤＴの空間領域の内の、入力面２１Ｓの周辺領域ＰＥよりも内側の中央部領域では、空間位置検出用ユニット３０で検出する場合よりも高精度で、デジタイザ２０Ａの姿勢検出部２４で検出される電子ペン１０Ａのペン姿勢の情報が用いられ、そして、デジタイザ２０Ａの位置検出領域ＤＴの空間領域の内の、入力面２１Ｓの周辺領域ＰＥ（入力面２１Ｓの上空を含む）及び位置検出領域ＤＴの空間領域の外側の空間領域では、デジタイザ２０Ａの位置検出部２３で検出する場合よりも高精度で、空間位置検出用ユニット３０のペン姿勢検出部４１０２で検出される電子ペン１０Ａのペン姿勢の情報が用いられる。

したがって、この第２の実施形態においても、第１の実施形態と同様に、常に高精度の情報を用いて、３Ｄ描画系処理を行うと共に、ＶＲ画像系処理を行うことができる。この場合に、第１の実施形態と同様に、３Ｄ描画系処理及びＶＲ画像系処理のそれぞれにおいては、デジタイザ２０Ａで検出される情報と、空間位置検出用ユニット３０で検出される情報を、相互に利用することができて便利であるという利点がある。

［第３の実施形態］
以上説明した第１の実施形態及び第２の実施形態は、この発明による入力装置を空間位置指示システムに適用した場合であるが、この発明による入力装置は、デジタイザを備えるタブレット装置において、ホバー領域を含む位置検出領域ＤＴ内で電子ペンによる位置指示を検出する場合にも適用可能である。

図９は、この第３の実施形態の入力装置を含むシステムの概要を示す図である。この図９においては、電子ペン１０Ｂとデジタイザを備えるタブレット装置６０とにより、第３の実施形態の入力装置が構成される。図９に示すように、この入力装置のタブレット装置６０は、例えば机９０上に置かれており、コンピュータ８０に接続されている。また、この例では、タブレット装置６０は、机９０の載置面に対して例えば傾き角θを持って、載置されている。

そして、この第３の実施形態においては、タブレット装置６０に内蔵されるデジタイザの入力面６１Ｓの上方の３次元空間における電子ペン１０Ｂのペン姿勢を検出するためのジャイロセンサユニット７０が、電子ペン１０Ｂのペン先側とは反対側の後端側に、挿脱可能に設けられている。なお、ジャイロセンサユニット７０は、電子ペン１０Ｂのペン先側とは反対側の後端側に内蔵されていてもよい。

図１０は、この第３の実施形態の入力装置を構成する電子ペン１０Ｂ、タブレット装置６０及びジャイロセンサユニット７０の機能構成例を説明するためのブロック図である。この場合に、ジャイロセンサユニット７０は、例えば３軸ジャイロセンサ７１と、無線通信部７２とを備えて構成されている。無線通信部７２は、例えばブルートゥース（登録商標）規格の近距離無線通信手段で構成されている。無線通信部７２は、これに限らず、赤外線通信などの光通信であってもよい。

この例では、ジャイロセンサユニット７０は、電子ペン１０Ｂの筐体に対して装着されているので、３軸ジャイロセンサ７１は、電子ペン１０Ｂの３次元空間における傾き角、傾き方向、回転角に応じた出力信号を出力する。ここで、３軸ジャイロセンサ７１で検出される電子ペン１０Ｂの電子ペン１０Ｂの傾き角、傾き方向、回転角に応じた出力信号は、電子ペン１０Ｂのタブレット装置６０の入力面６１Ｓに対する相対的な姿勢に応じたものではなく、３次元空間における地軸を基準にした絶対的な姿勢に応じたものとなっている。無線通信部７２は、３軸ジャイロセンサ７１からの出力信号を、タブレット装置６０に対して無線送信する。

電子ペン１０Ｂは、タブレット装置６０のセンサ部６１とのインタラクション部１００を備えている。インタラクション部１００は、電磁誘導方式あるいは静電結合方式のいずれかにより、タブレット装置６０のセンサ部６１と結合して、信号のやり取りをする。この例の電子ペン１０Ｂのインタラクション部１００は、センサ部６１とは、電子ペン１０Ｂの指示位置の位置検出用信号のやり取りを行い、傾き角、傾き方向、回転角などのペン姿勢を検出するための信号のやり取りは行わない。

タブレット装置６０では、センサ部６１での電子ペン１０Ｂとのインタラクションの結果得られる信号から、指示位置検出部６２で、電子ペン１０Ｂの指示位置が検出される。指示位置検出部６２で検出された電子ペン１０Ｂの指示位置の情報は、関連付け部６３に供給される。

この第３の実施形態のタブレット装置６０は、ジャイロセンサユニット７０の無線通信部７２と無線通信を行う無線通信部６４を備える。この無線通信部６４で受信されたジャイロセンサユニット７０の３軸ジャイロセンサ７１の検出出力は、電子ペン姿勢検出部６５に供給されて、電子ペン１０Ｂのペン姿勢が検出される。この電子ペン姿勢検出部６５で検出された電子ペン１０Ｂのペン姿勢の情報は、相対姿勢算出部６６に供給される。

この実施形態のタブレット装置６０は、自装置の傾き角や傾き方向を検出するためのジャイロセンサ６７を備えている。このジャイロセンサ６７のセンサ出力は、タブレット姿勢検出部６８に供給される。タブレット姿勢検出部６８は、ジャイロセンサ６７のセンサ出力に基づいて、自装置の傾き角や傾き方向を検出し、その検出した自装置の傾き角や傾き方向の情報（タブレット姿勢の情報）を、相対姿勢算出部６６に供給する。

相対姿勢算出部６６は、電子ペン姿勢検出部６５からの電子ペン１０Ｂの３次元空間における絶対的なペン姿勢の情報を、タブレット姿勢検出部６８からのタブレット姿勢の情報を用いて補正することで、電子ペン１０Ｂのタブレット装置６０の入力面６１Ｓに対する相対的なペン姿勢を算出する。そして、相対姿勢算出部６６は、算出した電子ペン１０Ｂの相対的なペン姿勢の情報を、関連付け部６３に供給する。

関連付け部６３は、前述した関連付け部と同様にして、電子ペン１０Ｂの指示位置の情報と、電子ペン１０Ｂの相対的なペン姿勢の情報とを関連付けて、コンピュータ８０に対して出力するようにする。

以上のようにして、この第３の実施形態の入力装置においては、電子ペン１０Ｂのペン先による指示位置が得られるときに、これに対応して電子ペン１０Ｂの後端側に設けられたジャイロセンサユニット７０で、３次元空間において検出された電子ペン１０Ｂのペン姿勢の情報を、電子ペン１０Ｂの指示位置に対応するペン姿勢の情報として出力することができる。

［他の実施形態または変形例］
上述の第１の実施形態及び第２の実施形態においては、空間位置検出用ユニット３０は、赤外線レーザ光の発光する発光追跡装置と、トラッカーとを備える構成としたが、この構成に限られるものではないことは言うまでもない。例えば、その他の非可視光センサ、可視光線センサ又はこれらの組み合わせ等を用いた構成としてもよい。

また、上述の第１の実施形態及び第２の実施形態においては、ＨＭＤ５０を装着しているので、電子ペン１０の操作者は、デジタイザ２０は、直接的には見ることができない。そこで、ＨＭＤ５０に表示する仮想空間画像に、デジタイザ２０の仮想画像を描画して、ＨＭＤ５０の表示画面で、操作者がデジタイザ２０の位置を認識するように構成することもできる。

また、上述の第１の実施形態及び第２の実施形態においては、２つの空間座標系での誤差を補正するために、空間位置検出用ユニット３０の座標値を、デジタイザ２０の空間座標系の座標値に変換するようにしたが、逆に、デジタイザ２０の位置検出領域ＤＴの座標値を空間位置検出用ユニット３０の座標値に変換するようにしてもよい。なお、この２つの空間座標系の間の変換は、必須のものではなく、任意である。

上述の第１の実施形態及び第２の実施形態では、電子ペン及びデジタイザは、電磁誘導方式のものを用いるようにしたが、これに限られるものではなく、静電方式（アクティブ静電結合方式、パッシブ静電結合方式を含む）の電子ペンとデジタイザを用いることも、勿論できる。

また、第１の実施形態〜第２の実施形態のデジタイザ及び第３の実施形態のタブレット装置は、いわゆるスマートフォンと呼ばれる携帯型携帯電話端末であってもよい。

なお、第１の実施形態及び第２の実施形態では、空間位置指示システムにより３Ｄ描画をする場合について説明したが、描画画像は、２Ｄ描画画像や２．５Ｄ描画画像であってもよい。

１０，１０Ａ，１０Ｂ…電子ペン、２０，２０Ａ…デジタイザ、２１Ｓ…入力面、２２…センサ部、２３…位置検出部、２４…姿勢検出部、３０…空間位置検出用ユニット、４０…空間描画情報生成装置、４１…入力情報処理部、４１０１…空間位置検出部、４１０２…ペン姿勢検出部、５０…ＨＭＤ

この発明は、電子ペンを空間上において用いる場合に好適な入力装置及び入力方法に関する。

上記の課題を解決するために、
電子ペンとの信号の授受に応じて、２次元空間における前記電子ペンによる第１の指示位置を検出する第１の検出部と、
前記電子ペンが存在する３次元空間における前記電子ペンによる第２の指示位置を検出する第２の検出部と、
前記第１の指示位置及び前記第２の指示位置に基づいて、前記２次元空間又は前記３次元空間における前記電子ペンの位置情報を生成する制御部と、
を備える入力装置を提供する。

Claims (9)

1. 電子ペンとの信号の授受に応じて、前記電子ペンによる第１の指示位置を検出する第１の検出部と 、
   前記電子ペンが存在する３次元空間における前記電子ペンによる第２の指示位置を検出する第２の検出部と、
   前記第１の指示位置と前記第２の指示位置とに基づいて、前記電子ペンの位置情報を生成する制御部と 、
   を備える入力装置。
2. 前記第２の検出部で検出される前記第２の指示位置には、前記電子ペンが存在する３次元空間における前記電子ペンの第１の姿勢を含み、
   前記第１の姿勢から、前記電子ペンの前記第１の検出部に対する姿勢を算出する算出手段を備える
   ことを特徴とする請求項１に記載の入力装置。
3. 前記第２の検出部で検出される前記第２の指示位置には、前記電子ペンが存在する３次元空間における前記電子ペンの第１の姿勢を含み、
   前記第２の検出部は、前記電子ペンの角速度を検出するセンサの出力から、前記電子ペンの前記第１の姿勢を検出する
   ことを特徴とする請求項１に記載の入力装置。
4. 前記第２の検出部で検出される前記第２の指示位置には、前記電子ペンが存在する３次元空間における前記電子ペンの第１の姿勢を含み、
   前記制御部は、前記電子ペンと前記第１の検出部との信号の授受が可能な状態において、前記第２の検出部で検出された前記第１の姿勢を、前記第１の指示位置とに基づいて、前記電子ペンの位置情報を生成する
   ことを特徴とする請求項１に記載の入力装置。
5. 前記制御部は、前記電子ペンの指示位置が、前記電子ペンと前記第１の検出部との信号の授受が可能な状態において、前記第１の検出部の入力面の領域のうち、周辺領域の内側の領域では前記第１の指示位置を出力し、前記周辺領域においては前記第２の指示位置を出力する
   ことを特徴とする請求項１に記載の入力装置。
6. 前記第１の検出部で検出される前記第１の指示位置には第１の姿勢を含み、前記第２の検出部で検出される前記第２の指示位置には、第２の姿勢を含むものであり、
   前記制御部は、前記電子ペンと前記第１の検出部との信号の授受が可能な状態において、前記電子ペンの指示位置が、前記第１の検出部の入力面の領域のうち、周辺領域の内側の領域では前記第１の指示位置の情報と前記第１の姿勢の情報とを出力し、前記周辺領域においては前記第１の指示位置の情報と前記第２の姿勢の情報とを出力する
   ことを特徴とする請求項１に記載の入力装置。
7. 前記第２の指示位置に代えて前記第１の指示位置を出力するか否かを制御する第２の制御部を備える
   ことを特徴とする請求項１に記載の入力装置。
8. 前記第１の検出部で検出される前記第１の指示位置には第１の姿勢を含み、かつ、前記第１の姿勢は前記電子ペンの前記第１の検出部に対する相対姿勢であり、
   前記第１の姿勢を、前記電子ペンが存在する３次元空間における姿勢に変換する手段を備え、
   前記第２の制御部は、前記変換された前記第１の姿勢を出力する
   ことを特徴とする請求項７に記載の入力装置。
9. 前記第１の検出部で検出される前記第１の指示位置には、前記第１の姿勢を含み、前記第２の検出部で検出される前記第２の指示位置には、前記第２の姿勢を含み、
   前記第２の制御部は、前記電子ペンの指示位置が、前記電子ペンと前記第１の検出部との信号の授受が可能な状態において、前記第１の検出部の入力面の領域の内側の中央領域では、前記第２の指示位置と、前記第１の指示位置の情報とを出力し、前記第１の検出部の入力面の前記中央領域の外側の領域においては、前記第２の指示位置の情報を出力する
   ことを特徴とする請求項７に記載の入力装置。
   

Images