JP7321995B2 - 位置指示器及び位置検出システム - Google Patents

位置指示器及び位置検出システム Download PDF

Info

Publication number
JP7321995B2
JP7321995B2 JP2020507357A JP2020507357A JP7321995B2 JP 7321995 B2 JP7321995 B2 JP 7321995B2 JP 2020507357 A JP2020507357 A JP 2020507357A JP 2020507357 A JP2020507357 A JP 2020507357A JP 7321995 B2 JP7321995 B2 JP 7321995B2
Authority
JP
Japan
Prior art keywords
electronic pen
spatial
position detection
tracker
position indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020507357A
Other languages
English (en)
Other versions
JPWO2019181118A1 (ja
Inventor
博史 宗像
浩 玉野
元昊 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of JPWO2019181118A1 publication Critical patent/JPWO2019181118A1/ja
Priority to JP2023121723A priority Critical patent/JP2023129627A/ja
Application granted granted Critical
Publication of JP7321995B2 publication Critical patent/JP7321995B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means

Description

この発明は、例えば3次元描画(3D描画)のために用いて好適な位置指示器及び位置検出システムに関する。
デジタイザと呼ばれる座標入力装置に対して、電子ペンにより連続的に位置指示することにより描画することで、アニメーション画像などを作成する描画システムが知られている。この場合に、操作者は、電子ペンのペン先を、デジタイザを内蔵したタブレット装置の入力面に接触させた状態で、あるいは、タブレット装置の入力面には非接触の状態ではあるが、位置検出可能な上方領域に置いた状態(ホバー状態)で、描画画像を生成するための位置指示操作するようにする。デジタイザは、電子ペンにより指示された位置を検出し、その検出結果として描画画像を生成し、表示画面に表示する。操作者は、表示画面に表示されている描画画像を確認しながら、描画を実行するようにする。
最近は、2次元の表示画面に表示された描画画像を、視覚的に、3次元画像のように描画表現することができるようにする描画システムやアプリケーションが登場している。その場合には、描画システムやアプリケーションは、操作者の手や指の動きによる、デジタイザを用いて生成した描画画像に対して、削ったり、凹ましたり、膨らませたりなどの動き操作(ジャスチャー)を、動きセンサを用いて検出し、その検出した動き操作(ジェスチャー)に基づいて3次元の描画表現処理を行うようにするものが多い。
ところで、上述のような位置指示入力とジェスチャーなどの操作入力の両方を行えるユーザインターフェースが提供されている。例えば特許文献1(米国特許第9367169号明細書)には、操作者の指タッチを検出するタッチセンサと、動きを検出するモーションセンサを備える装置を用いるものであって、モーションセンサからの信号に応答してタッチセンサをホバーイベント検出モードからジェスチャイベント検出モードに切り替えるように構成されたタッチコントローラが開示されている。
米国特許第9367169号明細書
しかしながら、特許文献1においては、タッチセンサの入力面から限定された距離範囲の空間領域であるホバー領域において、ホバーイベント検出モードとジェスチャイベント検出モードとを切り替えるものであり、操作者は、タッチセンサに対するホバー状態を維持してジェスチャーを行う必要がある。このため、操作者は、制限された空間領域でジェスチャーを行う必要があるため、3D描画のための作業がし辛いという問題がある。また、特許文献1では、操作者の指での操作を想定しているために、より細かい指示操作がし辛いという問題もある。また、特許文献1においては、モーションセンサからの信号に応じてホバーイベント検出モードとジェスチャイベント検出モードとを切り替えるので、切替のためにデバイスの傾きを、都度、変更しなければならないという問題がある。
この発明は、以上の問題点を解決することができるようにした位置指示器及び位置検出システムを提供することを目的とする。
上記の課題を解決するために、
位置検出センサの入力面にて位置を指示するとともに、3次元空間にて位置を指示する位置指示器であって、
棒状の筐体と、
前記棒状の筐体の軸心方向の一端に設けられる開口部から突出する位置指示部と、
ーザの指によって前記棒状の筐体を握る状態において当該ユーザの掌によって把持されるグリップ部であり、前記棒状の筐体の軸心方向に直交する方向に延出する位置に設けられるグリップ部と、
記3次元空間における位置を外部装置に検出させるためのトラッカーであり、前記棒状の筐体の軸心を介して前記グリップ部と対向する位置に設けられるトラッカーと、
を有し、
前記トラッカーの位置と前記位置指示部とが特定の位置関係にある
ことを特徴とする位置指示器を提供する。
また、上記の課題を解決するために、
位置指示器と位置検出センサと空間位置検出装置とを含む位置検出システムであって、
前記位置指示器は、3次元空間にて位置を指示するものであり、
棒状の筐体と、
前記棒状の筐体の軸心方向の一端に設けられる開口部から突出する位置指示部と、
ーザの指によって前記棒状の筐体を握る状態において当該ユーザの掌によって把持されるグリップ部であり、前記棒状の筐体の軸心方向に直交する方向に延出する位置に設けられるグリップ部と、
記3次元空間における位置を前記空間位置検出装置に検出させるためのトラッカーであり、前記トラッカーの位置と前記位置指示部の位置とが特定の位置関係にあり、前記棒状の筐体の軸心を介して前記グリップ部と対向する位置に設けられるトラッカーと、
を有し、
前記空間位置検出装置は、
前記トラッカーとのインタラクションにより検出される前記トラッカーの位置および前記特定の位置関係に基づいて、前記3次元空間における前記位置指示部によって指示される位置を算出する回路を有する、
ことを特徴とする位置検出システムを提供する。
上述の構成の3次元位置指示器は、インタラクション部により位置検出センサとインタラクションすることで、棒状部の軸心方向の一端側の先端部による指示位置を位置検出センサで検出させるようにする。
そして、置指示器は、外部装置とインタラクションする空間位置指標部を備えており、外部装置である置検出システムの空間位置検出装置は、置指示器の空間位置指標部とのインタラクションにより、置指示器の3次元空間における位置及び方向を検出する。したがって、上述の置検出システムにおいては、空間位置検出装置は、置指示器の位置を、置指示器と位置検出センサとの位置関係とは無関係に検出することができる。
この構成により、上述の置検出システムにおいては、操作者は、位置検出センサの入力面上で、置指示器の棒状部の先端部による位置指示によって精細な描画ができると共に、位置検出センサとの位置関係の制限無い3次元空間で、置指示器の位置の動きに基づくジェスチャーをすることにより、3D描画像に対する入力操作をすることができる。
ここで、置指示器の空間位置指標部の位置が、棒状部の軸心方向の先端部とは異なる位置となっている場合には、位置検出センサで検出される置指示器による指示位置と、空間位置検出装置で検出される置指示器による指示位置とで異なってしまう。このようになると、置指示器を用いて、位置検出センサでの描画操作と、空間位置検出装置でのジェスチャー操作とを一連の操作として切り替えて作業するようにする場合に、置指示器による指示位置が、操作によって異なってしまうことなり、連続的な位置指示操作ができなくなってしまい、作業がスムースに行なく恐れがある。
しかし、上述の構成の置指示器では、棒状部の軸心方向の一端側の先端部は、空間位置指標部と空間位置検出装置とのインタラクションにより検出される位置及び方向と特定の位置関係及び方向関係となるように設けられている。これにより、空間位置検出装置においては、空間位置指標部とのインタラクションにより検出される位置及び方向と、上記の先端部についての特定の位置関係及び方向関係とに基づいて、棒状部の軸心方向の一端側の先端部の位置を指示位置として検出することができる。
したがって、使用者は、位置検出センサの入力面のみではなく、空間位置検出装置による3次元空間においても、棒状部の軸心方向の一端側の先端部を指示位置とすることができ、操作作業に一貫性が保たれ、スムースに3次元描画作業を行うことができるようになる。
この発明による置検出システムの第1の実施形態の概要を説明するための図である。 この発明による置検出システムの第1の実施形態の構成例を説明するためのブロック図である。 この発明による置指示システムの第1の実施形態における空間座標系を説明するための図である。 この発明による置指示システムの第1の実施形態における電子ペンの位置検出用の座標系の切り替えを説明するための図である。 この発明による置指示器の第1の実施形態の外観を示す斜視図である。 この発明による置指示器の第1の実施形態の構成例を説明するための図である。 この発明による置指示器の第1の実施形態の構成例を説明するための図である。 この発明による置指示器の第1の実施形態の他の構成例を説明するための図である。 この発明による置指示器の第2の実施形態の構成例を説明するための図である。 この発明による置検出システムの第2の実施形態の構成例を説明するためのブロック図である。 この発明による置指示器の他の実施形態の構成例を説明するための図である。
以下、この発明による位置検出システムの幾つかの実施形態を、図を参照しながら説明する。
この発明による第1の実施形態の位置検出システムは、表示部をヘッドマウントディスプレイの構成として、3D描画空間をバーチャルリアリティー(VR(Virtual Reality)、MR(Mixed Reality)、AR(Augmented Reality)などを含む。以下、VRと略称する)の空間とした空間位置検出システムの構成とした例である。
図1は、VRの空間を3D描画空間とした、この第1の実施形態の空間位置検出システムの全体の構成の概要を示す図である。また、図2は、この第1の実施形態の空間位置検出システムの各部の機能の詳細構成例を示すブロック図である。
この第1の実施形態の空間位置検出システムは、図1に示すように、3次元位置指示器と、デジタイザ20と、空間位置検出用ユニット30と、空間描画情報生成装置40と、ヘッドマウントディスプレイ(以下、HMDと称する)50とを備えて構成されている。空間描画情報生成装置40は、図2に示すように、この例では、この例では、入力情報処理部41と表示画像生成部42との機能を備えるもので、例えばパーソナルコンピュータで構成される。入力情報処理部41は、空間位置検出装置の機能を備える。なお、図2に示すように、この明細書においては、パーソナルコンピュータのプログラムで実行される処理機能のそれぞれを、説明の便宜上、各「回路」ブロックとして示している。
なお、この第1の実施形態の空間位置検出システムでは、入力情報処理部41と表示画像生成部42とを備える空間描画情報生成装置40を用いるようにしたが、この発明の空間位置検出システムとしては、3次元位置指示器と、デジタイザ20と、空間位置検出用ユニット30と、入力情報処理部41とからなる構成として、表示画像生成部42は、別途設けるように構成してもよい。
3次元位置指示器10は、棒状部の軸心方向の一端側の先端の位置を、デジタイザ20の入力面における指示位置とすると共に、空間位置検出用ユニット30を用いて入力情報処理部41の空間位置検出機能で検出する3次元空間における指示位置とする機能を有する。
図1に示すように、この例では、3次元位置指示器10の棒状部は、挿脱可能とされる電子ペン11で構成されている。この例では、電子ペン11の筒状の筐体の軸心方向の一方の端部の開口から突出する芯体の先端11a(以下、ペン先11aという)が、棒状部の軸心方向の一端側の先端となる。電子ペン11としては、この第1の実施形態においては、電磁誘導方式の電子ペンを例に用いるが、電磁誘導方式に限定されるものではなく、静電結合方式の電子ペンであってもよい。
なお、電子ペン11は、3次元位置指示器10に対して挿脱可能とせずに、一体的に、あるいは、固定されて設けられていても勿論よい。つまり、棒状部は、3次元位置指示器10に一体的に、あるいは、固定されて設けられていてもよい。3次元位置指示器10の構成例の詳細な説明については後述する。
デジタイザ20は、この例では、薄型の直方体形状の筐体21を備え、その表面を3次元位置指示器10の電子ペン11のペン先11aによる位置指示の入力面21Sとしている。そして、デジタイザ20は、位置検出センサ部22と、位置検出回路23(図2参照)とを備える。
位置検出センサ部22は、図示は省略するが、複数個のループコイルが、それぞれ、デジタイザ20の筐体の横方向(X軸方向)と、筐体の縦方向(Y軸方向)とに配設されて構成されている。3次元位置指示器10の電子ペン11は、図示は省略するが、ペン先11a側にコイルとコンデンサとからなる共振回路(図示は省略)を備えており、デジタイザ20の位置検出センサ部22のループコイルと、電子ペン11の共振回路との間で、電磁誘導結合することで、電子ペン11とデジタイザ20の位置検出センサ部22との間でインタラクションして信号の授受を行う。なお、この例では、デジタイザ20は、電子ペン11に合わせて電磁誘導方式のものとされているが、静電結合方式の場合には、電子ペンと静電結合によりインタラクションをする。
デジタイザ20の位置検出回路23は、位置検出センサ部22のループコイルを通じて電子ペン11に信号を供給すると共に、電子ペン11から帰還される信号をループコイルを通じて受信し、その受信した信号に基づいて、位置検出センサ部22の検出領域において電子ペン11のペン先11aにより指示された位置を検出する。この実施形態では、デジタイザ20は、電子ペン11のペン先11aで指示された位置を電子ペン11の指示位置として検出するように構成されている。
この例のデジタイザ20では、入力面21Sのほぼ全域をカバーするようにセンサ部22の複数個のループコイルが配設されている。
そして、この実施形態では、デジタイザ20で電子ペン11の指示位置を検出することができる位置検出領域は、電子ペン11のペン先11aがデジタイザ20の入力面21Sに接触しているときの平面領域のみならず、電子ペン11のペン先11aがデジタイザ20の入力面21Sに非接触であって、入力面21Sとは、当該入力面21Sに直交する方向(X軸方向及びY軸方向に直交するZ軸方向)に離間しているが、電磁結合による信号の授受を通して電子ペン11の指示位置を検出することができる空間領域(電子ペン11のホバー状態のホバー領域)を含む。
図3は、デジタイザ20における3次元位置指示器10の電子ペン11の指示位置の検出空間領域を説明するための図であり、後述する空間位置検出用ユニット30における3次元位置指示器10を含む検出対象物(オブジェクトという)の検出空間領域(3次元空間領域)を併せて示している。
例えば、図1において、デジタイザ20の入力面21Sの左上隅の位置P0を、X軸方向、Y軸方向及びZ軸方向の原点の座標((X,Y,Z)=(0,0,0))としたとき、デジタイザ20における電子ペン11の指示位置の検出が可能となる位置検出領域DTは、図3において、斜線を付して示す入力面21Sの平面領域及び当該入力面21Sの上方の直方体の空間領域となる。
すなわち、図3に示すように、デジタイザ20の入力面21SのX軸方向の長さをLx、Y軸方向の長さをLy、ホバー状態を検出することができるZ軸方向の臨界高さ位置をLzとすると、図3に示すように、P0(0,0,0)、P1(Lx,0,0)、P2(Lx,Ly,0)、P3(0,Ly,0)、P4(0,0,Lz)、P5(Lx,0,Lz)、P6(Lx,Ly,Lz)、P7(0,Ly,Lz)の8点の座標点位置で囲まれる領域が、デジタイザ20の位置検出領域DTとなる。このデジタイザ20において、位置検出領域DTにおいて検出された電子ペン11の指示位置の情報は、空間描画情報生成装置40の入力情報処理部41に供給される。
空間位置検出用ユニット30は、この例では、デジタイザ20が存在する3次元空間領域を設定して、当該3次元空間領域において、3次元位置指示器10の位置を検出すると共に、デジタイザ20の位置を検出することができるように構成されている。
空間位置検出用ユニット30は、図3に示すように、デジタイザ20の位置検出領域DTを含む空間領域を探索領域として、その探索領域に存するオブジェクトを探索するように構成されている。この実施形態では、空間位置検出用ユニット30で検出するオブジェクトは、3次元位置指示器10及びデジタイザ20とされている。以下の説明においては、この空間位置検出用ユニット30により設定される3次元空間領域(探索領域)を、便宜上、動き検出空間領域MDと記すこととする。
空間位置検出用ユニット30は、この実施形態では、オブジェクトとの間での光学的なインタラクションによりオブジェクトの位置を検出するもので、図1及び図2に示すように、2個の発光追跡装置31A,31Bと、オブジェクトに取り付けられた光位置通知部(以下、トラッカーと称する)とを含んで構成されている。
トラッカーは、発光追跡装置31A,31Bからの赤外線レーザ光を検知する受光センサと、受光センサで赤外線レーザ光の受光を検知したときに、発光追跡装置31A,31Bのそれを通知するための、例えばLED(Light Emitting Diode)からなる発光部とを備えている。受光センサは、いずれの方向からのレーザ光も受光することができるように、複数個が各トラッカーに設けられている。
トラッカーが装着されるオブジェクトは、この実施形態では、3次元位置指示器10と、デジタイザ20である。すなわち、この例では、デジタイザ20の動き検出空間領域MDにおける空間位置及び向き(入力面21Sの向き)を通知することができるようにするために、薄型の直方体形状であるデジタイザ20の筐体の左上隅と右下隅とに、トラッカー24Aとトラッカー24Bとが装着されている。なお、上述のように、トラッカーを用いることで、位置だけでなく方向も検出することができるので、デジタイザ20に取り付けるトラッカーは、1個でもよい。
また、3次元位置指示器10の動き検出空間領域MDにおける空間位置及び向きを通知するために、3次元位置指示器10には、この例では、電子ペン11の軸心方向のペン先11a側とは反対側の後端側にトラッカー12が装着されている。トラッカー12は、3次元位置指示器10の空間位置指標部を構成する。
トラッカーには、また、この例では、動きや方向(向き)を検出するための例えば9軸センサも設けられている。そして、トラッカーのそれぞれから、受光センサの受光出力や9軸センサの出力が、有線で、または無線で、あるいは、取り付けられているオブジェクト経由で、空間描画情報生成装置40に供給される。この場合に、トラッカー12,24A,24Bからの情報には、それぞれ自身の識別情報が含まれる。
空間描画情報生成装置40では、トラッカーからの複数個の受光センサの受光出力及び/または9軸センサの出力から、トラッカーが装着されているオブジェクトの3次元空間における姿勢や動きを検出する。なお、トラッカーが装着されているオブジェクトの3次元空間における姿勢や動きを検出するには、トラッカーには、複数個の受光センサと、9軸センサのいずれか一方が設けられていればよい。
2個の発光追跡装置31A,31Bは、同一の構成を有するもので、それぞれ赤外線レーザ光のレーザ発光部と、発光した赤外線レーザ光により動き検出空間領域MD内をサーチするようにするサーチ手段と、赤外線レーザ光を受けたトラッカー12,24A,24Bの発光部の発光を検知する光位置検知手段とを備える。
この場合に、例えば、発光追跡装置31Aは、赤外線レーザ光により、動き検出空間領域MD内を水平方向に走査すると共に、その水平方向の走査位置を、所定のピッチτXで、順次に垂直方向に移動するようにサーチする。また、発光追跡装置31Bは、赤外線レーザ光により、動き検出空間領域MD内を垂直方向に走査すると共に、その垂直方向の走査位置を、所定のピッチτYで、順次に水平方向に移動するようにサーチする。
トラッカー12,24A,24Bのそれぞれは、赤外線レーザ光の受光を、受光センサで監視し、赤外線レーザ光の受光を検出したときに、LEDからなる発光部を点灯する。
発光追跡装置31A,31Bは、トラッカー12,24A,24Bの発光部の発光を検知することで、当該トラッカー12,24A,24Bが装着されているオブジェクトの動き検出空間領域MD内における位置を検出する。発光追跡装置31A,31Bは、トラッカー12,24A,24Bの発光部の発光を検知したときに、当該検知した時点の、発光した赤外線レーザの発光時刻からの経過時刻をも検知することができるように構成されている。この場合に、トラッカー12,24A,24Bのそれぞれは、自身の識別情報に応じた異なる発光をする。
これにより、空間位置検出用ユニット30は、動き検出空間領域MD内におけるオブジェクトに取り付けられたトラッカー12,24A,24Bの位置(つまり、オブジェクトの位置)を、所定のピッチτX及び所定のピッチτYに応じた精度で、位置検出することができる。
2個の発光追跡装置31A,31Bは、空間描画情報生成装置40に対して、有線で、あるいは、無線で接続されており、空間描画情報生成装置40に対して、検知したトラッカー12,24A,24Bの動き検出空間領域MDにおける空間位置情報を通知する。この場合に、2個の発光追跡装置31A,31Bからの情報には、それぞれ自身の識別情報が含まれる。
2個の発光追跡装置31A,31Bで検知されたトラッカー12,24A,24Bの動き検出空間領域MDにおける空間位置情報は、この例では、図2に示すように、空間描画情報生成装置40の入力情報処理部41の空間位置検出回路410に供給される。
前述したように、トラッカー12,24A,24Bからの受光センサの受光出力と、9軸センサの検出出力も、空間描画情報生成装置40の入力情報処理部41の空間位置検出回路410に供給される。
空間位置検出回路410は、この例では、位置指示器検出回路4101と、指示位置算出回路4102と、デジタイザ検出回路4103とを備えると共に、この例では、後述するように、3次元位置指示器10に設けられている操作部の操作情報を検出する操作情報検出回路4104とを備える。操作情報検出回路4104で検出された操作情報は、3次元位置指示器10から、受光センサの受光出力や9軸センサの出力と共に、空間描画情報生成装置40の空間位置検出回路410に供給される。
位置指示器検出回路4101は、3次元位置指示器10のトラッカー12との光学的なインタラクションにより発光追跡装置31A及び31Bで検出された位置情報により、動き検出空間領域MD内における3次元位置指示器10の位置を検出すると共に、トラッカー12からの受光センサの受光出力と9軸センサの検出出力とから、動き検出空間領域MD内における3次元位置指示器10が向いている方向を含む3次元位置指示器10の姿勢を検出する。この場合に、3次元位置指示器10の姿勢には、棒状部としての電子ペン11の軸心方向と、この軸心方向を中心とする回転方向位置(回転角)を含む。
位置指示器検出回路4101で検出された、3次元位置指示器10の位置の情報と、向いている方向を含む3次元位置指示器10の姿勢の情報とは、指示位置算出回路4102に供給される。ここで、3次元位置指示器10の指示位置は、電子ペン11のペン先11aの位置であり、位置指示器検出回路4101で検出された3次元位置指示器10の位置とは異なっている。後述するように、3次元位置指示器10においては、電子ペン11のペン先11aは、空間位置検出回路410の位置指示器検出回路4101で検出される3次元位置指示器10の位置及び方向と特定の位置関係及び方向関係となるように取り付けられて構成されている。
指示位置算出回路4102には、上記の特定の位置関係及び方向関係から、位置指示器検出回路4101で検出される3次元位置指示器10の位置の情報及び方向の情報から、電子ペン11のペン先11aによる指示位置を検出するようにする補正情報が、補正メモリ4102Mに記憶されている。
指示位置算出回路4102は、位置指示器検出回路4101で検出された3次元位置指示器10の位置の情報と方向の情報と、補正メモリ4102Mに記憶されている補正情報とから、電子ペン11のペン先11aによる指示位置を算出し、出力する。また、指示位置算出回路4102は、位置指示器検出回路4101で検出された3次元位置指示器10の姿勢の情報に基づいて、電子ペン11の軸心方向の向き(電子ペン11の傾き)を算出すると共に、電子ペン11の回転や動きを算出し、電子ペン11の姿勢の情報として出力する。
そして、空間位置検出回路410のデジタイザ検出回路4103は、トラッカー24A,24Bとの光学的なインタラクションにより発光追跡装置31A及び31Bで検出された位置情報により、動き検出空間領域MD内におけるデジタイザ20の位置を検出する。また、デジタイザ検出回路4103は、トラッカー24A,24Bからの受光センサの受光出力と9軸センサの検出出力とから、動き検出空間領域MD内におけるデジタイザ20の入力面21Sが向いている方向を含むデジタイザ20の姿勢を検出し、検出した姿勢の情報を、位置の情報とと共に出力する。
また、操作情報検出回路4104では、3次元位置指示器10の操作部の操作情報を検出して、出力する。
入力情報処理部41では、前述したようにしてデジタイザ20で検出された、位置検出領域DTにおける3次元位置指示器10の電子ペン11のペン先11aによる指示位置の情報と、上述の空間位置検出回路410で検出された、動き検出空間領域MDにおける3次元位置指示器10の電子ペン11のペン先11aの位置(指示位置)の情報と、電子ペン11の姿勢の情報と、3次元位置指示器10の姿勢の情報と、操作情報とから、表示画像生成部42に供給する情報を生成する。そして、入力情報処理部41は、生成した情報を、表示画像生成部42に供給する。
この実施形態では、表示画像生成部42は、図2に示すように、3D描画像を生成するための描画像生成回路421と、HMD50に表示するVR画像を生成するためのVR画像生成回路422とを備える。以下、描画像生成回路421における3D描画像の生成に関する処理を3D描画系処理という。また、VR画像生成回路422におけるVR画像の生成に関する処理をVR画像系処理という。この実施形態では、HMD50には、デジタイザ20の位置検出領域DTを含む動き検出空間領域MDで描画された3D描画画像が、仮想表示画像として表示されると共に、3次元位置指示器10の電子ペン11及びデジタイザ20の仮想表示画像が表示される。
描画像生成回路421は、3次元位置指示器10の電子ペン11のペン先11aによる位置指示及び電子ペン11の姿勢の情報に基づいて3D描画像を生成すると共に、3次元位置指示器10の操作者により実行されたジェスチャーに基づいて、3D描画像の変形、回転、移動などの処理を行う。表示画像生成部42には、図2に示すように、3次元位置指示器10の操作者により実行されたジェスチャーを検出するためのジェスチャー検出処理回路423が設けられており、このジェスチャー検出処理回路423でのジェスチャーの検出結果が描画像生成回路421に供給される。ジェスチャー検出処理回路423は、3次元位置指示器10の位置の変化及び姿勢の変化から、3次元位置指示器10の操作者により実行されたジェスチャーを検出する。
表示画像生成部42のVR画像生成回路422は、HMD50に表示するVR画像を生成する。VR画像としては、この実施形態では、電子ペン11のVR画像と、デジタイザ20のVR画像と、描画像生成回路421で生成された3D描画像のVR画像が含まれる。なお、電子ペン11を含む3次元位置指示器10のVR画像を生成してもよい。
入力情報処理部41は、デジタイザ20からの情報と、空間位置検出用ユニット30からの情報とから、以上説明したような描画系処理用の情報と、VR画像系処理用の情報とを生成して、表示画像生成部42に供給する。
この場合に、入力情報処理部41は、3次元位置指示器10の電子ペン11のペン先11aの位置が位置検出領域DTに存在するときには、空間位置検出用ユニット30よりも高精度で電子ペン11のペン先11aの位置を検出することができるデジタイザ20で検出された3次元位置指示器10の電子ペン11のペン先11aによる指示位置の情報を、表示画像生成部42のVR画像生成回路422に供給する。
また、入力情報処理部41は、3次元位置指示器10の電子ペン11のペン先11aの位置が位置検出領域DT以外の空間に存在するときには、空間位置検出用ユニット30が用いられて検出される3次元位置指示器10の電子ペン11のペン先11aの位置の情報を、表示画像生成部42のVR画像生成回路422に供給する。すなわち、入力情報処理部41は、3次元位置指示器10の指示位置の情報を、3次元位置指示器10の電子ペン11のペン先11aが、位置検出領域DT及び動き検出空間領域MDのいずれに存在しているかに応じて切り替えて表示画像生成部42に供給する。
そして、この実施形態では、入力情報処理部41は、上述したように、空間位置検出用ユニット30が用いられて検出された3次元位置指示器10の姿勢の情報から、指示位置算出回路4102で算出された電子ペン11の傾きや回転を含む姿勢の情報を、電子ペン11のペン先11aが存在する空間位置に関わらず、表示画像生成部42の描画像生成回路421及びVR画像生成回路422に供給する。
[3次元位置指示器10の指示位置を検出する空間座標系間の座標変換について]
ところで、この実施形態においては、デジタイザ20の位置検出領域DTの空間座標系と、空間位置検出用ユニット30の動き検出空間領域MDの空間座標系とは、図3に示したように、独立に設定され得る。
上述したように、この実施形態では、3D描画系処理及びVR画像系処理のそれぞれにおいて、デジタイザ20の位置検出領域DTの空間座標系の情報と、空間位置検出用ユニット30の動き検出空間領域MDの空間座標系の情報とを相互に利用するようにしている。この場合に、2つの空間座標系は、全く共通にすることができれば問題はないが、上述したように、それぞれ独立に設定され得るので、以下に説明するような点を考慮する必要がある。
図3においては、動き検出空間領域MDの空間座標系の3軸は、サフィックスsを用いて、Xs軸、Ys軸、Zs軸として、デジタイザ20の検出領域DTの空間座標系のX軸、Y軸、Z軸とは区別して示している。なお、図3では、便宜上、Xs軸、Ys軸、Zs軸のそれぞれの方向は、X軸、Y軸、Z軸のそれぞれの方向と同一方向として示しているが、動き検出空間領域MD内に配設されているデジタイザ20の設置時の入力面21Sの傾きなどの関係上、Xs軸、Ys軸、Zs軸のそれぞれの方向は、X軸、Y軸、Z軸のそれぞれの方向とは異なり得る。
しかし、この実施形態では、デジタイザ20は、空間位置検出用ユニット30の動き検出空間領域MDに配置されて、空間位置検出用ユニット30の動き検出空間領域MDの空間座標系は、デジタイザ20の位置検出領域DTの空間座標系の少なくとも一部を共通領域として含むように構成されている。この実施形態では、3次元位置指示器10の電子ペン11のペン先11aによる指示位置の情報は、位置検出領域DTの空間座標系と、動き検出空間領域MDの空間座標系との共通の領域を用いることによって、後述する空間位置補正情報を用いて座標変換をするように構成されている。
なお、この場合に、Xs軸、Ys軸、Zs軸のそれぞれの方向と、X軸、Y軸、Z軸のそれぞれの方向とが同一方向であれば、位置検出領域DTの空間座標系と動き検出空間領域MDの空間座標系とは、両空間座標系の原点位置の差分を考慮することで、一つの空間座標系として共通に取り扱うことができる。すなわち、例えば位置検出領域DTの空間座標系の原点位置と、動き検出空間領域MDの空間座標系の原点位置とのX軸方向、Y軸方向、Z軸方向のオフセット値を、それぞれOFSx、OFSy、OFSzとすれば、Xs-OFSx(=X)、Ys-OFSy(=Y)、Zs-OFSz(=Z)を求めることにより、動き検出空間領域MDの空間座標系の座標値(Xs,Ys,Zs)を、位置検出領域DTの空間座標系の座標値(X,Y,Z)に変換することできる。
しかし、この第1の実施形態の空間位置指示システムにおいては、上述したように、独立に設けられるデジタイザ20の位置検出領域DTの空間座標系と空間位置検出用ユニット30の動き検出空間領域MDの空間座標系とは、X軸、Y軸、Z軸のそれぞれの方向と、Xs軸、Ys軸、Zs軸のそれぞれの方向とが異なり得る。また、X軸、Y軸、Z軸のそれぞれの方向と、Xs軸、Ys軸、Zs軸のそれぞれの方向とが同一である場合においても、原点位置のオフセット値を正確に規定することは困難であり、空間位置指示システム毎に異なってしまう恐れがある。
すると、2つの空間座標系における座標位置が異なってしまうことになり、デジタイザ20の位置検出領域DTの空間座標系と空間位置検出用ユニット30の動き検出空間領域MDの空間座標系との2つの空間座標系を切り替えたときに、例えば、HMD50の表示画面において電子ペン11のペン先11aの位置の座標がジャンプするように変化してしまう恐れがある。このようになると、描画画像を入力しようとしている使用者は、指示位置を指示し直さなければならないようになり、不便である。
そこで、この実施形態では、デジタイザ20の位置検出領域DTの少なくとも一部の領域は、空間位置検出用ユニット30の動き検出空間領域MDと共通の空間領域であることを利用して、位置検出領域DTの空間座標系と動き検出空間領域MDの空間座標系とのずれの補正情報を生成して座標変換するようにする。この例では、空間位置検出用ユニット30を用いて検出された動き検出空間領域MDの空間座標系の座標値(Xs,Ys,Zs)を、デジタイザ20の位置検出領域DTの空間座標系の座標値(X,Y,Z)に変換することで、両者のずれを補正した座標値を得ることができるようにする。その変換のための補正情報について次に説明する。
Figure 0007321995000001
(数式1)は、空間位置検出用ユニット30を用いて検出された動き検出空間領域MDの空間座標系の座標値(Xs,Ys,Zs)を、デジタイザ20の位置検出領域DTの空間座標系の座標値(X,Y,Z)に線形変換するための行列式である。この行列式は3行3列であり、その成分をaij(i,j=1、2、3)で表す。
この第1の実施形態では、デジタイザ20の位置検出領域DTの少なくとも一部は、空間位置検出用ユニット30の動き検出空間領域MDと共通の空間領域であることを利用して、位置検出領域DTの空間座標系と動き検出空間領域MDの空間座標系との間の変換のための補正情報を生成するようにする。
すなわち、図3に示すように、デジタイザ20の位置検出領域DTと空間位置検出用ユニット30の動き検出空間領域MDとの共通の空間領域内の少なくとも3点Pa,Pb,Pcを位置指定して、それぞれの点のデジタイザ20の位置検出領域DTの空間座標系の座標値(X,Y,Z)と、空間位置検出用ユニット30の動き検出空間領域MDの空間座標系の座標値(Xs,Ys,Zs)とをそれぞれのデバイスから取得する。理想的には、これらのデバイスから取得した座標値は同じ値になるが、キャリブレーションを行わなければ、これらの座標値は通常は一致しない。一般には、デジタイザ20の位置検出の精度が空間位置検出用ユニット30を用いた位置検出の精度よりも高いため、空間位置検出用ユニット30の動き検出空間領域MDの空間座標系の座標値をデジタイザ20の位置検出領域DTの空間座標系の座標値に合わせることが好ましい。
共通領域内で位置指定した1つの点につき、対応する位置検出領域DTの空間座標系の座標値(X,Y,Z)と動き検出空間領域MDの空間座標系の座標値(Xs,Ys,Zs)を数式1に代入すると3つの方程式が得られる。共通領域内で少なくとも3点の位置指定を行うことにより、a11~a33についての少なくとも9個の方程式が得られるので、a11~a33のそれぞれの値を求めることができる。また、位置検出領域DTの空間座標系と動き検出空間領域MDの空間座標系との間の変換は、上記方法に限定されず、共通領域における少なくとも3点の座標値を機械学習による学習や、ユーザによるキャリブレーションなどを用いてもよい。
以上のようにして、この実施形態の空間位置指示システムにおいては、デジタイザ20の位置検出領域DTの空間座標系と、空間位置検出用ユニット30の動き検出空間領域MDの空間座標系とのずれを補正して、共通の一つの座標系として扱うことができるようにしているが、この補正処理は、入力情報処理部41において行う。
このため、HMD50の表示画像において、電子ペン10の指示位置の情報が、デジタイザ20の位置検出領域DTの空間座標系と、空間位置検出用ユニット30の動き検出空間領域MDの空間座標系とで切り替えられたとしても、両者は、共通の一つの座標系として扱うことができるようにしているので、例えば電子ペン11のペン先11aによる指示位置が変化してしまうような状態は生じない。
[3次元位置指示器10の指示位置を検出する空間座標系の切替]
第1の実施形態の空間位置指示システムにおいては、空間位置検出用ユニット30の動き検出空間領域MD内に、デジタイザ20の位置検出領域DTの少なくとも一部を共通領域として有するように構成されている。
そして、この実施形態の空間位置指示システムでは、動き検出空間領域MDの空間内における3次元位置指示器10の電子ペン11のペン先11aの位置のデジタイザ20のセンサ部22の入力面21Sからの離間距離に応じて、デジタイザ20で検出した3次元位置指示器10の電子ペン11のペン先11aの指示位置の座標を用いるか、空間位置検出用ユニット30を用いて検出した3次元位置指示器10の電子ペン11のペン先11aの指示位置の座標を用いるかを切り替えるようにする。
この実施形態においては、切り替えポイントとなる入力面21Sからの離間距離(Z軸方向の離間距離)θthは、デジタイザ20が3次元位置指示器10の電子ペン11のホバー状態を検出することができるZ軸方向の臨界高さ距離Lz以下に設定される。この例では、切り替えポイントとなる入力面21Sからの離間距離θthは、図4に示すように、デジタイザ20が3次元位置指示器10の電子ペン11のホバー状態を検出することができるZ軸方向の臨界高さ距離Lz、すなわち、位置検出領域DTのZ軸方向の長さLzと等しく設定されている。
すなわち、この実施形態の空間位置指示システムにおいては、図4に示すように、3次元位置指示器10の電子ペン11のペン先11aの入力面21Sからの離間距離がθth以下のときには、デジタイザ20が、その位置検出領域DTにおいて検出した3次元位置指示器10の電子ペン11のペン先11aによる指示位置の情報を用いる。
また、この実施形態の空間位置指示システムにおいては、図4に示すように、3次元位置指示器10の電子ペン11のペン先11aの入力面21Sからの離間距離がθthよりも大きいときには、空間位置検出用ユニット30を用いて検出した3次元位置指示器10の電子ペン11のペン先11aによる指示位置の情報を用いる。
3次元位置指示器10の電子ペン11のペン先11aの位置の、デジタイザ20のセンサ部22の入力面21Sからの離間距離(Z軸方向の離間距離)は、この実施形態では、デジタイザ20のセンサ部22での電子ペン11からの受信信号の信号レベル(信号強度)が、離間距離に応じた値となるので、入力情報処理部41において、デジタイザ20から得られる電子ペン11からの受信信号の信号レベルに基づいて検出する。
[入力情報処理部41における切替処理]
次に、以上のことを実現するように構成された図2の入力情報処理部41の構成例について説明する。すなわち、デジタイザ20を構成する位置検出回路23は、3次元位置指示器10の電子ペン11のペン先11aの指示位置の検出出力を、選択回路411にその一方の入力信号として供給すると共に、選択回路412にその一方の入力信号として供給する。なお、この位置検出回路23から選択回路411及び412に供給される情報には、電子ペン11のペン先11aの指示位置の検出出力に加えて、電子ペン11のペン先11aに印加される筆圧情報が含まれている。
また、空間位置検出回路410の指示位置算出回路4102は、3次元位置指示器10の電子ペン11のペン先11aの空間位置(電子ペン11の指示位置)の検出出力を、座標変換回路413に供給する。この座標変換回路413は、上述の(数式1)の3行3列の行列の成分a11~a33を記憶しており、上述の(数式1)の演算を行うことにより、空間位置検出用ユニット30の動き検出空間領域MDの空間座標系の情報を、デジタイザ20の位置検出領域DTの空間座標系の情報に変換する。そして、座標変換回路413は、その変換後の座標出力を、選択回路411及び412に、その他方の入力信号として供給する。
そして、この実施形態においては、デジタイザ20の位置検出回路23は、電子ペン10からの受信信号の信号レベルの情報を、選択制御信号生成回路414に供給する。選択制御信号生成回路414は、電子ペン10からの受信信号の信号レベルから、3次元位置指示器10の電子ペン11のペン先11aのデジタイザ20の入力面21Sからの離間距離を検出し、検出した入力面21Sからの離間距離に基づいて選択制御信号SEを生成する。生成された選択制御信号SEは、選択回路411及び412に供給される。
そして、選択回路411及び412は、選択制御信号SEにより、電子ペン11のペン先11aのデジタイザ20の入力面21Sからの離間距離が、デジタイザ20が電子ペン11のホバー状態を検出することができるZ軸方向の臨界高さLz以下のときには、デジタイザ20の位置検出回路23からの位置検出出力を選択するように制御され、上記臨界高さLzよりも大きいときには、座標変換回路413からの出力を選択するように制御される。
そして、選択回路411からの3次元位置指示器10の電子ペン11のペン先11aの指示位置の情報は、3D描画系処理用の描画像生成回路421及びジェスチャー検出処理回路423に供給される。また、選択回路412からの3次元位置指示器10の電子ペン11のペン先11aの指示位置の情報は、VR画像系処理用のVR画像生成回路422に供給する。
そして、空間位置検出回路410の指示位置算出回路4102からの電子ペン11の姿勢の情報と、操作情報検出回路4104からの3次元位置指示器10の操作部の操作情報とは、描画像生成回路421、ジェスチャー検出処理回路423、VR画像生成回路422のそれぞれに供給される。また、デジタイザ検出回路4103からのデジタイザ20の位置情報及び姿勢情報は、描画像生成回路421及びVR画像生成回路422のそれぞれに供給される。後述するように、描画像生成回路421では、デジタイザ20の姿勢情報が、電子ペン11の姿勢の情報を、デジタイザ20の入力面に対する相対的な姿勢の情報に変換するために用いられる。
[表示画像生成部42の処理動作]
描画像生成回路421は、選択回路411からの、電子ペン11のペン先11aの指示位置の検出出力と空間位置検出用ユニット30で検出された電子ペン11の姿勢の情報とに基づいて、精細な線画等を描画するペン描画機能を備える。また、描画像生成回路421は、空間位置検出用ユニット30により検出された電子ペン11の空間位置と電子ペンの姿勢の情報とに基づいて、ジェスチャー検出処理回路423で検出された動き(ジェスチャー)に基づいた描画処理をするジェスチャー処理機能を備える。
この例では、この描画像生成回路421及びジェスチャー検出処理回路423には、選択制御信号生成回路414からの選択制御信号SEが供給されている。これにより、描画像生成回路421は、3次元位置指示器10の電子ペン11のペン先11aの位置が、デジタイザ20の位置検出領域DTの空間領域内のときに、ペン描画機能を実行するように動作する。また、ジェスチャー検出処理回路423は、電子ペン11のペン先11aの位置が、デジタイザ20の位置検出領域DTの空間領域以外のときに、ジェスチャー処理を実行するように動作する。
この場合に、描画像生成回路421においては、電子ペン11の姿勢の情報に含まれる傾きは描画線の太さなどに反映されるが、その傾きは、電子ペン11のペン先11aの位置が、位置検出領域DT内にあるときには、デジタイザ20の入力面21Sに対する傾きとする必要がある。
しかし、指示位置算出回路4102からの電子ペン11の姿勢の情報は、空間位置検出用ユニット30を用いて検出したものであるので、デジタイザ20の入力面21Sの面方向が、空間位置検出ユニット30における動き検出空間領域MDにおけるX-Y平面の面方向とずれている場合には、デジタイザ20の入力面21Sに対する傾きを示すものとはなっていない。
そこで、この実施形態の描画像生成回路421では、デジタイザ位置検出回路4103からのデジタイザ20の姿勢情報を用いて、空間位置検出回路410の動き検出空間領域MDの座標系で検出された電子ペン11の傾きを、デジタイザ20の入力面に対する相対的な傾きに補正する処理機能を備える。
また、描画像生成回路421及びジェスチャー検出処理回路423は、操作情報検出回路4104からの3次元位置指示器10の操作部の操作情報に基づいた処理も行う。
表示画像生成部42のVR画像生成回路422は、選択回路412からの3次元位置指示器10の電子ペン11のペン先11aの位置の情報と電子ペン11の姿勢の情報とを用いて電子ペン11のVR画像を生成する。この電子ペン11のVR画像は、電子ペン11のペン先11aの位置が、検出された指示位置に表示されるように生成される。
この場合に、空間位置検出回路410からの電子ペン11のペン先11aの指示位置の情報は、デジタイザ20とで同じ指示位置の情報となるように、座標変換回路413で座標変換されている。このため、選択回路412からの3次元位置指示器10の電子ペン11のペン先11aの位置の情報は、選択制御信号SEにより、選択回路412で切り替えられたときに変化してしまうことはないので、電子ペン11のVR画像の表示位置がジャンプするように動くなどいうような表示ずれを生じるようなことはない。
また、この実施形態では、VR画像生成回路422は、デジタイザ検出回路4103からのデジタイザ20の位置及び姿勢の情報に基づいて、デジタイザ20のVR画像を生成して、動き検出空間領域MDに表示する。そして、VR画像生成回路422は、更に、操作情報検出回路4104からの3次元位置指示器10の操作部の操作情報を受けて、例えば3D描画についてのメニューをVR表示したり、操作ボタンのVR画像を表示したりする。描画像生成回路421では、これらメニューのVR画像や操作ボタンのVR画像の動き検出空間領域MDにおける位置を認識しており、3次元位置指示器10の電子ペン11のペン先11aが、それらのVR画像位置を指示(クリックと同様)したか否かを検出して、対応する処理をすることができる。
そして、前述したようにして描画像生成回路421で生成された3D描画画像情報は、VR画像生成回路422に供給されてVR画像とされ、上述のVR画像と共に、表示ドライブ回路424を通じてHMD50に供給されて表示される。
[3次元位置指示器10の構成例」
次に、この実施形態の3次元位置指示器10の構成例を、図5~図7を参照して説明する。図5は、この実施形態の3次元位置指示器10の外観を示す斜視図である。また、図6は、この実施形態の3次元位置指示器10の構成部品及びその組み立てを説明するための図である。
この実施形態の3次元位置指示器10は、図6(A)に示す電子ペン11と、使用者が把持する把持部を構成するホルダー13とからなる。空間位置指標部を構成するトラッカー12は、ホルダー13に装着されている。
電子ペン11は、この例では、図6(B)に示すように、円筒形状の棒状の筐体110の軸心方向の一方の開口側から、芯体の先端部がペン先11aとして突出している。図示は省略するが、電子ペン11の円筒状系の筐体110の中空部内のペン先11aの近傍には、周知のようにフェライトコアに巻回されたコイルが配置されていると共に、中空部内に配設されているプリント基板には、コイルと並列に接続されて共振回路を構成するキャパシタが配設されている。また、この例では、電子ペン11には、共振回路の周波数を変化させるためのキャパシタのオンオフを制御するサイドスイッチ11sが、使用者により操作可能となるように、筐体110から露出して設けられている。
ホルダー13は、使用者が3次元位置指示器10を把持する際に掌の部分により覆われるようにされるグリップ部131と、電子ペン装着部132と、トラッカー装着部133とを備えている。
電子ペン装着部132は、円筒状形状を有し、電子ペン11が、その軸心方向に、ペン先11a側とは反対側の後端部11bから挿入されてホルダー13に係止されるように構成されている筒状凹孔部132aを備える。筒状凹孔部132aは、電子ペン11を挿入して装着したときに、電子ペン11が、そのペン先11a側を露出すると共に、サイドスイッチ11sを外部に露出させて操作可能の状態で保持されるような、軸心方向の長さを有する。
そして、この例では、電子ペン11には、図6(A)に示すように、軸心方向の後端部11b側にリング状凹溝11c設けられていると共に、筒状凹孔部132aには、この電子ペン11のリング状凹溝11cと嵌合して、電子ペン11を、筒状凹孔部132a内に係止させるようにするためのリング状突部132bが形成されている。
この例では、電子ペン11の後端部11b側には、段部11dが形成されていて、この段部11dが筒状凹孔部132aの端部に衝合するときに、電子ペン11のリング状凹溝11cと筒状凹孔部132a内のリング状突部132bとが嵌合して、電子ペン11が電子ペン装着部132の筒状凹孔部132a内に係止するように構成されている。電子ペン11を、電子ペン装着部132の筒状凹孔部132a内に係止させる構成は、この例のようなリング状凹溝11cと、リング状突部132bとを設ける構成に限られるものではなく、電子ペン11の後端部11b側の段部11dが筒状凹孔部132aの端部に衝合するときに、電子ペン11を、電子ペン装着部132の筒状凹孔部132a内に係止させることができる構成であれば、どのような構成であってもよい。
グリップ部131は、円筒状形状の電子ペン装着部132の周側面から軸心方向に直交する方向に延出されると共に、使用者が把持しやすい形状に構成されている。このグリップ部131には、使用者が把持したときに、人差し指などで操作可能な場所に、操作ボタン131a,131bが設けられていると共に、使用者の親指の腹で回転操作及び押下操作可能とされる操作部131cが設けられている。この図5及び図6に示した3次元位置指示器10の例は、3次元位置指示器10が左利きの使用者用とされており、円形操作部131cは、グリップ部131を左手で把持したときに、左手の親指で操作できるように取り付けられている。
そして、トラッカー装着部133は、円筒形状の電子ペン装着部132の周側面の、グリップ部131が形成されている角度位置とは180度異なる反対側の角度位置から軸心方向に直交する方向に延出されるように取り付けられている。このトラッカー装着部133に対して、上述したトラッカー12が設けられている。したがって、グリップ部131を使用者が掌に包むようにして把持したときに、トラッカー装着部133に取り付けられたトラッカー12は、手の甲の上方側となって手で覆われない状態となる。
この例では、トラッカー12は、図5に示すように、円板状部材の上面(平面)12aに3個の突部を備えるような形状とされている。このトラッカー12には、図5及び図6(B),(C)に示すように、いずれの方向から赤外線レーザが到来しても、当該赤外線レーザの受光を受けることができるように、3個の突部と円板状部材とに、複数個の受光センサ121が設けられている。また、トラッカー12の3個の突部の一つには、受光センサ121のいずれかで赤外線レーザを受光したときに、その受光を発光により通知するための発光素子としてのLED122が設けられている。なお、9軸センサは、トラッカー12の内部に設けられている。
なお、図示は省略するが、トラッカー12と空間描画情報生成装置40との間を有線で接続する場合には、トラッカー12には、空間描画情報生成装置40と接続するためのケーブルが接続されるコネクタが設けられ、また、無線で接続する場合には、トラッカー12の内部に通信手段が設けられる。
そして、トラッカー12は、この例では、図6(B),(C)に示すように、円板状部材の上面12aの面方向(上面12aが含まれる面が向いている方向)が、トラッカー装着部133の延出方向に対して直交する状態となると共に、円筒形状の電子ペン装着部132の軸心方向に平行となる状態で取り付けられている。そして、LED122は、トラッカー装着部133の延出方向上に取り付けられている。
上述したように、空間位置検出用ユニット30を用いることにより、空間位置検出回路410の位置指示器検出回路4101では、動き検出空間領域MDの空間座標系におけるトラッカー12の位置として、当該トラッカー12に設けられているLED122の位置Ptが検出される。また、位置指示器検出回路4101では、前述したように、3次元位置指示器10の向き(方向)として、この例では、トラッカー12の上面12aの面方向(上面が含まれる平面が向いてる方向)が検出される。
図5から明らかなように、空間位置検出回路410の位置指示器検出回路4101で検出されるトラッカー12の位置Ptは、ホルダー13に装着された電子ペン11のペン先11aの位置Ppとは異なっている。しかし、空間位置検出回路410の位置指示器検出回路4101で検出されるトラッカー12の位置Pt(LED122の位置)と、ホルダー13に装着された電子ペン11のペン先11aの位置Ppとは、3次元位置指示器10において、特定の位置関係となっている。
ここで、3次元位置指示器10の機械的構成を規定する3次元座標系は、図5に示すように、トラッカー12の位置Ptを原点として、トラッカー12の上面12aに平行であって円筒状形状の電子ペン装着部132の軸心方向に平行な方向を座標軸Ztとし、トラッカー12の上面12aに平行であって円筒状形状の電子ペン装着部132の軸心方向に直交する方向を座標軸Ytとし、トラッカー12の上面12aに直交する方向(座標軸Zt及びYtに直交する方向)を座標軸Xtとするように構成されている。このように構成されているので、空間位置検出回路410の位置指示器検出回路4101で検出されるトラッカー12の位置Ptと、ホルダー13に装着された電子ペン11のペン先11aの位置Ppとは、図7に示すような位置関係となる。
すなわち、座標軸Xt,Yt,Ztの空間においては、ホルダー13に装着された電子ペン11のペン先11aの位置Ppは、トラッカー12の位置Ptに対して、座標軸Xt方向に-Δxだけずれており、また、座標軸Zt方向に+Δzだけずれており、さらに、座標軸Yt方向のずれΔyは0(Δy=0)である位置となっている。したがって、これらの値を補正値COR(=(-Δx,Δy(=0),+Δz))として用いることで、トラッカー12の位置Ptから、電子ペン11のペン先11aの位置Ppを算出することができる。
この実施形態では、3次元位置指示器10は、機構的に上述のように構成されているので、前記Xt軸方向のずれ量Δx及び前記Zt軸方向のずれ量Δzは、3次元位置指示器10の機械的な寸法値として規定することができる。すなわち、Δxは、LED122の位置と、電子ペン装着部132の中心軸位置までの寸法として求められ、Δzは、LED122の位置と電子ペン装着部132の中心軸位置との交点位置から、電子ペン11のペン先11aの先端部までの寸法として求められる。
この場合に、空間位置検出用ユニット30を用いて空間位置検出回路410で検出されるトラッカー12の位置Ptは、空間位置検出回路410における空間座標系(Xs,Ys,Zs)であって、前述した3次元位置指示器10の機械的構成を規定する3次元座標系(Xt,Yt,Zt)とは、座標軸の方向が一致しているとは限らないことを考慮しなければならない。3次元位置指示器10は、使用者により任意の方向に向けられて使用されるからである。
しかし、この実施形態では、位置指示器検出回路4101で検出される3次元位置指示器10の向き、すなわち、トラッカー12の上面12aが向いている方向(上面12aに直交する方向)は、空間位置検出用ユニット30を用いて空間位置検出回路410で検出される。そして、このトラッカー12の上面12aが向いている方向が検出できれば、前述した3次元位置指示器10の機械的構成を規定する3次元座標系(Xt,Yt,Zt)の各座標軸の方向が、空間位置検出回路410における空間座標系(Xs,Ys,Zs)で特定できる。
このようにして、3次元位置指示器10の機械的構成を規定する3次元座標系(Xt,Yt,Zt)の各座標軸の方向が、空間位置検出回路410における空間座標系(Xs,Ys,Zs)で特定できると、空間位置検出回路410の位置指示器検出回路4101で検出されるトラッカー12の位置Ptから、前記補正値CORを用いることで、空間位置検出回路410の空間座標系(Xs,Ys,Zs)における電子ペン11のペン先11aの指示位置を算出することができる。
以上のことを踏まえ、空間位置検出回路410の指示位置算出回路4102が備える補正メモリ4102Mには、前記補正値COR(=(-Δx,Δy(=0),+Δz))が記憶されている。そして、指示位置算出回路4102で、位置指示器検出回路4101で検出される3次元位置指示器10の向きと、補正メモリ4102Mに記憶されている前記補正値CORとを用いて、上述のようにして、3次元位置指示器10のトラッカー12の位置Ptから、電子ペン11のペン先11aの指示位置が算出される。
なお、図5及び図6に示した3次元位置指示器10では、補正値CORを3次元位置指示器10の機械的な寸法値から容易に設定することができるようにするために、トラッカー12と電子ペン装着部132及び電子ペン11との位置関係が上述のようになるように構成とした。しかし、トラッカー12は、ホルダー13に対してどのような状態で取り付けられていてもよい。
その場合には、補正値CORは、次のようにして求めて、補正メモリ4102Mに記憶しておくことができる。
すなわち、3次元位置指示器10を、動き検出空間領域MDの空間内において、トラッカー12の向きを調整して、3次元位置指示器10の機械的構成を規定する3次元座標系(Xt,Yt,Zt)の各座標軸の方向と、空間位置検出用ユニット30を用いて空間位置検出回路410で検出する空間座標系(Xs,Ys,Zs)の各座標軸の方向とが一致するような状態とする。
そして、3次元位置指示器10の電子ペン11のペン先11aの位置Ppを、デジタイザ20を用いて検出し、その検出した座標値を、空間位置検出用ユニット30を用いて空間位置検出回路410で検出する空間座標系(Xs,Ys,Zs)の座標値に変換する。この変換は、数式1に示した変換とは逆変換となる。また、3次元位置指示器10のトラッカー12の位置Ptを、空間位置検出回路410で検出する空間座標系(Xs,Ys,Zs)の座標値として検出する。
そして、検出したトラッカー12の位置Ptの座標値と電子ペン11のペン先11aの位置Ppの座標値とのずれ量(Δx、Δy、Δz)を算出し、その算出したずれ量(Δx、Δy、Δz)を、補正値CORとして補正メモリ4102Mに記憶する。
この補正メモリ4102Mへの補正値CORの記憶処理は、空間位置検出システムを構築した際に行うようにしてもよいし、適宜、使用者が事後的に行うようにしてもよい。
以上説明したように、上述の実施形態の空間位置検出システムにおいては、3次元位置指示器10を用いて、デジタイザ20において描画すると共に、空間位置検出用ユニット30により規定される空間においてジェスチャー操作等をする場合において、指示位置は、常に、3次元位置指示器10の電子ペン11のペン先11aの位置とすることができるので、使用者は、描画からジェスチャーまで、一貫性を保った操作作業を行うことできるという効果を奏する。
そして、上述した第1の実施形態では、デジタイザ20の検出領域の空間座標と、空間位置検出用ユニット30の検出領域の空間座標とを共通の座標として扱えるようにしたので、3D描画系処理において、デジタイザ20からの出力と、空間位置検出用ユニット30の出力とを切り替えたときにも、座標ずれが生じないという特徴がある。
したがって、操作者は、デジタイザ20と、空間位置検出用ユニット30との切り替えを意識することなく、電子ペン10をデジタイザ20上において空間的に移動するだけで、シームレスに、精細描画からジェスチャーによる操作をすることができる。
また、上述した第1の実施形態においては、VR画像系処理において、3次元位置指示器10の電子ペン11のVR画像を生成するための電子ペン11の位置情報(ペン先11aの位置情報)として、デジタイザ20の位置検出領域DTの空間領域においては、空間位置検出用ユニット30での検出出力よりも高精度で、反応速度も速いデジタイザ20の位置検出出力を用いることができるので、実際の使用者の電子ペン11の操作に応じて的確に反応するVR画像が得られる。
なお、上述した空間描画情報生成装置40は、コンピュータにより構成されるので、入力情報処理部41及び表示画像生成部42の各回路の部分は、ソフトウェアプログラムにより実行するソフトウェア機能部として構成することができることは言うまでもない。
なお、上述の第1の実施形態では、指示位置算出回路4102の補正メモリ4102Mには、工場出荷時などにおいて、予め、補正値(Δx、Δy、Δz)の情報が記憶されるようにした。しかし、この補正メモリ4102Mは、バッファメモリとして、3次元位置指示器10から補正値の情報を送信するようにしてもよい。
その場合には、3次元位置指示器10からは、例えば図8に示すように、トラッカー12の受光センサの受光出力の情報、9軸センサの出力情報、操作ボタン131a,131bの操作情報に加えて、上記の補正値(Δx、Δy、Δz)の情報が、空間位置検出回路410に送信されるように構成される。そして、空間位置検出回路410の指示位置算出回路4102では、バッファメモリとしての補正メモリ4102Mに保持した補正値を用いて3次元位置指示器10の指示位置として、電子ペン11のペン先11aの位置を検出するようにする。なお、図8で、「ID」は、3次元位置指示器10の識別情報を意味している。
このように構成すれば、空間位置検出システムにおいて使用する3次元位置指示器としては、トラッカー12の位置と電子ペン11のペン先11aの位置とのずれ量が異なるものが利用できるようになる。そして、3次元位置指示器10には、軸心方向の長さが異なる複数種の電子ペンを装着することも可能となる。ただし、その場合には、3次元位置指示器10には、軸心方向の長さ寸法が異なる電子ペンのそれぞれに応じた補正値を記憶しておくようにすると共に、そのいずれの補正値を使用するかを、装着された電子ペンに応じて、使用者が操作手段を操作することで選択設定することができるようにする。
なお、上述の第1の実施形態の3次元位置指示器10は、電子ペン11を挿脱可能としたが、電子ペン11は、ホルダー13に固定されていてもよい。また、棒状部としては、電子ペン11を用いるのではなく、棒状部内に、電子ペン11の機能部、すなわち、フェライトコアに巻回されたコイルと、当該コイルに並列に接続されて共振回路を構成するキャパシタを配設することで、棒状部は、ホルダー13に一体的に構成するようにしてもよい。
[第2の実施形態]
第2の実施形態は、上述の第1の実施形態の変形例であり、上述の第1の実施形態の各部と同一部分には、同一の参照符号を付して、その説明は省略する。
上述の第1の実施形態の3次元位置指示器10では、電子ペン11のペン先11aの位置を、常時、3次元位置指示器10による指示位置とするようにしている。しかし、電子ペン11をホルダー13に装着しないときには、トラッカー12の位置を指示位置として、他の用途に用いることができるように構成してもよい。
すなわち、この第2の実施形態の3次元位置指示器10Aにおいては、電子ペン11をホルダー13Aに装着したときには、第1の実施形態と同様に、装着された電子ペン11のペン先11aの位置を指示位置とするが、電子ペン11をホルダー13Aに装着していないときには、トラッカー12の位置を、そのまま指示位置として使用するようにする。
図9は、この第2の実施形態の3次元位置指示器10Aの要部の構成例を説明するための図である。図9は、この第2の実施形態の3次元位置指示器10Aのホルダー13Aの、グリップ部131、電子ペン装着部132及びトラッカー装着部133の一部分の断面図を示している。
この第2の実施形態では、3次元位置指示器10Aのホルダー13Aには、電子ペン11が装着されているか否かを検出する装着検出手段が設けられている。そして、この装着検出手段における電子ペン11の装着検出出力が、この例では、トラッカー12を通じて、受光センサの受光出力などと共に、この第2の実施形態における空間描画情報生成装置40Aの空間位置検出回路410A(図10参照)に通知される。装着検出手段からの電子ペン11の装着検出出力は、トラッカー12を通じてではなく、独立して空間描画情報生成装置40Aの空間位置検出回路410Aに通知するように構成しても勿論よい。
この例では、装着検出手段としては、図9に示すように、矢印ARの方向に弾性的に変位することが可能な押圧子134aを備えるスイッチ部材134が用いられる。スイッチ部材134は、押圧子134aが押圧されずに、スイッチ部材134の筐体外に突出している状態では、例えばスイッチオフの状態となり、押圧子134aが押圧されて、スイッチ部材134の筐体内に押し込まれる状態ではスイッチオンの状態となる。
したがって、電子ペン11が、図9に示すように、電子ペン装着部132Aの筒状凹孔部132Aaに差し込まれると、当該電子ペン11の筐体により、スイッチ部材134の押圧子134aが押下されて、スイッチ部材134のスイッチ状態が変化する(この例ではスイッチオフからスイッチオンとなる)。そして、このスイッチ部材134におけるスイッチ状態が、電子ペン11の装着検出出力として、トラッカー12を通じて空間描画情報生成装置40Aの空間位置検出回路410Aに供給される。
図10に、この第2の実施形態の場合の空間描画情報生成装置40Aの、特に空間位置検出回路410Aの構成例を示す。この図10の例においても、上述した第1の実施形態の空間描画情報生成装置40及び空間位置検出回路410と同一部分には、同一の参照符号を付して、その詳細な説明は省略する。
この第2の実施形態の空間位置検出回路410Aにおいては、上述の位置指示器検出回路4101、指示位置算出回路4102、デジタイザ検出回路4103及び操作情報検出回路4104に加えて、電子ペン装着検出回路4105と、スイッチ回路4106とが設けられる。
電子ペン装着検出回路4105は、3次元位置指示器10Aからの電子ペン11の装着検出出力を受信して解析し、電子ペン11が電子ペン装着部132に装着されているか否かを検出し、その検出結果として装着検出出力DPを出力する。
スイッチ回路4106の一方の入力端Tには、位置指示器検出回路4101で検出された3次元位置指示器10Aのトラッカー12の位置の情報TIが供給され、他方の入力端Pには、指示位置算出回路4102で算出された装着されている電子ペン11のペン先11aの位置の情報PIが供給される。
そして、スイッチ回路4106には、電子ペン装着検出回路4105の装着検出出力DPが切替制御信号として供給される。スイッチ回路4106は、装着検出出力DPにより、電子ペン11が3次元位置指示器10Aに装着されていないときには、一方の入力端T側に切り替えられて出力情報としてトラッカー12の位置の情報TIが出力され、電子ペン11が3次元位置指示器10Aに装着されているときには、他方の入力端P側に切り替えられて出力情報として電子ペン11のペン先11aの位置の情報PIが出力される。そして、スイッチ回路4106の出力情報が、座標変換回路413に供給される。
また、電子ペン装着検出回路4105の装着検出出力DPは、VR画像生成回路422Aに供給される。VR画像生成回路422Aは、装着検出出力DPにより、電子ペン11が3次元位置指示器10Aに装着されていると判断したときには、電子ペン11のVR画像を、上述の第1の実施形態と同様にして生成してHMD50に表示する。また、VR画像生成回路422Aは、装着検出出力DPにより、電子ペン11が3次元位置指示器10Aに装着されてはいないと判断したときには、この第2の実施形態では、電子ペン11のVR画像は生成せずに、検出されたトラッカー12の位置に、例えばトラッカー12のVR画像や所定のマークを生成して、HMD50に表示するようにする。
以上のようにして、第2の実施形態においては、3次元位置指示器10Aに電子ペン11が装着されているときにだけ、第1の実施形態と同様の動作となる。そして、3次元位置指示器10Aに電子ペン11が装着されていないときには、トラッカー位置を用いた他の用途として用いることが可能となる。
なお、上述の例では、3次元位置指示器10Aのホルダー13の電子ペン装着部132Aに、電子ペン11が装着されたときに、それを自動的に検出するための装着検出手段として、スイッチ部材134を設けるようにしたが、装着検出手段としては、スイッチ部材134に限られる訳ではない。
また、上述の第2の実施形態では、3次元位置指示器10Aのホルダー13の電子ペン装着部132Aに、電子ペン11が装着されたときに、それを自動的に検出するための装着検出手段を設けるようにしたが、装着検出手段ではなく、使用者の操作により、電子ペン11の装着を空間描画情報生成装置40Aの空間位置検出回路410Aに通知するようにしてもよい。
また、使用者が3次元位置指示器10の操作部を操作することにより、電子ペン11の3次元位置指示器への装着を通知する例の場合には、実際には、電子ペン11が装着されていなくても、仮想的に電子ペン11が3次元位置指示器10に装着されているものとして、VR画像生成回路422Aでは、電子ペン11のVR画像を生成してHMD50に表示することができる。
[上述の実施形態の変形例]
上述の実施形態の3次元位置指示器10においては、ホルダー13は、グリップ部131を備える構成とした。しかし、図11(A),(B),(C)に示すように、グリップ部131を備えずに、電子ペン装着部132とトラッカー装着部133とからなるホルダー13Bを備える3次元位置指示器10Bを構成するようにしてもよい。なお、3次元位置指示器10Bは、図11(A),(B),(C)において同一の参照符号を付して示すように、ホルダーの構成を変更するほかは、図5及び図6を用いて説明した3次元位置指示器10と同一の構成とされている。
この3次元位置指示器10Bの場合において、図5及び図6に示した操作ボタン131a,131bは、電子ペン装着部132に設けるようにしてもよい。また、3次元位置指示器10Bにおいても、電子ペン11は、ホルダー13Bに固定されていてもよいし、棒状部としては、電子ペン11を用いるのではなく、棒状部内に、電子ペン11の機能部を配設することで、棒状部は、ホルダー13Bに一体的に構成するようにしてもよい。さらに、図11に示した3次元位置指示器10Bの構成は、第2の実施形態の場合にも適用可能であることは言うまでもない。
なお、上述の実施形態においては、空間位置検出用ユニット30は、赤外線レーザ光の発光する発光追跡装置と、トラッカーとを備える構成としたが、この構成に限られるものではないことは言うまでもない。例えば、その他の非可視光センサ、可視光線センサ又はこれらの組み合わせを用いた構成としてもよい。
また、電子ペンにバッテリーを設けると共に電波の送受信手段を設けておいて、電子ペンに対して外部から電波を送信し、当該電子ペンからの電波を受信することで電子ペンの空間位置を検出する構成としてもよい。また、磁気共鳴を用いるもの、超音波を用いるものであってもよい。また、1台または複数台のカメラで空間位置を検出する対象物(電子ペンやタブレット)を撮影し、その撮影画像を用いて対象物の空間位置を検出ものであってもよい。
また、上述の実施形態においては、デジタイザ20のVR画像を生成して、HMD50の表示画面で、操作者がデジタイザ20の位置を認識するように構成したが、HMDを、AR(拡張現実)対応のものとして、デジタイザ20を直接的に見ることができるように構成しても勿論よい。
また、上述の実施形態の説明では、デジタイザの位置検出領域DTの外側の空間領域においては、電子ペンの動きに基づくジェスチャーを検出するようにしたが、前記外側の空間領域においても、電子ペンの動きではなく、電子ペンのペン先による指示位置を検出して描画に用いるようにすることもできる。
また、上述の実施形態では、デジタイザ20のセンサ部22と、電子ペン11との間の信号の受信レベルに基づいて、電子ペン11のペン先11aの位置のデジタイザ20の入力面からの離間距離を検出するようにしたが、電子ペン11のペン先11aの位置とデジタイザ20の入力面との離間距離を検出する方法は、これに限られるものではない。
例えば、空間位置検出用ユニット30では、電子ペン10のペン先11aの位置と、デジタイザ20の入力面21Sの位置とを検出することができるので、検出された電子ペン11のペン先11aの位置とデジタイザ20の入力面21Sの位置から、電子ペン11のペン先11aの位置とデジタイザ20の入力面21Sとの離間距離を検出して、選択回路401の選択制御信号を生成するようにしてもよい。
また、3次元画像を表示する手段としては、HMDに限られるものではなく、3Dディスプレイや、AI(Aerial Imaging)プレート、さらには、ホログラム技術を用いるようにしてもよい。また、デジタイザ20に、例えばLCDなどのディスプレイを設け、そのディスプレイにおいて、3D表示をするようにしてもよい。これらの表示手段は、HMDと共に用いて、HMDの装着者以外の者がHMDに表示されている描画画像を観視するためのものとするようにしてもよい。
また、座標の変換は、空間位置検出用ユニット30で検出した電子ペンのペン先の座標値をデジタイザ20における座標系の座標値に変換するようにしたが、逆に、デジタイザ20で検出した電子ペンのペン先の座標値を空間位置検出用ユニット30における座標系の座標値に変換するようにしてもよい。
また、上述の実施形態では、電子ペン及びデジタイザは、電磁誘導方式のものを用いるようにしたが、これに限られるものではなく、静電方式(アクティブ静電結合方式、パッシブ静電結合方式を含む)やその他の方式の電子ペンとデジタイザを用いることも、勿論できる。
また、上述の実施形態のデジタイザは、いわゆるスマートフォンと呼ばれる携帯型携帯電話端末であってもよいし、また、デジタイザ付のパーソナルコンピューターであってもよい。
なお、以上の説明では、空間位置指示システムにより3D描画をする場合について説明したが、この発明の対象とする描画画像は、2D描画画像や2.5D描画画像であってもよい。
10…3次元位置指示器、11…電子ペン、11a…電子ペン11のペン先、12…トラッカー、13…ホルダー、20…デジタイザ、22…位置検出センサ、23…位置検出回路、24A,24B…トラッカー、30…空間位置検出用ユニット、31A,31B…発光追跡装置、40…空間描画情報生成装置、41…入力情報処理部、42…表示画像生成部、50…HMD、131…グリップ部、132…電子ペン装着部、133…トラッカー装着部、410…空間位置検出回路、413…座標変換回路、421…描画像生成回路、422…VR画像生成回路

Claims (16)

  1. 位置検出センサの入力面にて位置を指示するとともに、3次元空間にて位置を指示する位置指示器であって、
    棒状の筐体と、
    前記棒状の筐体の軸心方向の一端に設けられる開口部から突出する位置指示部と、
    ーザの指によって前記棒状の筐体を握る状態において当該ユーザの掌によって把持されるグリップ部であり、前記棒状の筐体の軸心方向に直交する方向に延出する位置に設けられるグリップ部と、
    記3次元空間における位置を外部装置に検出させるためのトラッカーであり、前記棒状の筐体の軸心を介して前記グリップ部と対向する位置に設けられるトラッカーと、
    を有し、
    前記トラッカーの位置と前記位置指示部とが特定の位置関係にある
    ことを特徴とする位置指示器。
  2. 前記棒状の筐体は電子ペンの筐体であるとともに、前記位置指示部は前記電子ペンの一端に設けられる位置指示部であり、
    前記トラッカーの位置と前記電子ペンの位置指示部の位置とが前記特定の位置関係を保つように前記電子ペンが装着されるホルダーを有する、
    ことを特徴とする請求項1記載の位置指示器。
  3. 前記トラッカーは、発光するLEDを有する、
    ことを特徴とする請求項1に記載の位置指示器。
  4. 前記グリップ部は前記ユーザによって操作される操作部を有し、
    前記ユーザによる前記操作部の操作に応じて、前記外部装置と通信する通信部をさらに有する、
    ことを特徴とする請求項に記載の位置指示器。
  5. 前記トラッカーは、前記グリップ部を前記ユーザが握った際に前記ユーザの手で隠れない位置に設けられる、
    ことを特徴とする請求項に記載の位置指示器。
  6. 前記電子ペンは、前記ホルダーに電子ペンが装着されている状態にて、前記ユーザによって操作可能な操作部をさらに有する、
    ことを特徴とする請求項2に記載の位置指示器。
  7. 前記ホルダーへの前記電子ペンの装着に応じて前記外部装置と通信する通信部をさらに有する、
    ことを特徴とする請求項2に記載の位置指示器。
  8. 前記ホルダーに前記電子ペンを係止する係止部をさらに有する、
    ことを特徴とする請求項2に記載の位置指示器。
  9. 前記電子ペンは前記位置検出センサと電磁誘導方式で結合することで位置を指示する、
    ことを特徴とする請求項2に記載の位置指示器。
  10. 前記電子ペンは前記位置検出センサと静電結合方式で結合することで位置を指示する、
    ことを特徴とする請求項2に記載の位置指示器。
  11. 位置指示器と位置検出センサと空間位置検出装置とを含む位置検出システムであって、
    前記位置指示器は、3次元空間にて位置を指示するものであり、
    棒状の筐体と、
    前記棒状の筐体の軸心方向の一端に設けられる開口部から突出する位置指示部と、
    ーザの指によって前記棒状の筐体を握る状態において当該ユーザの掌によって把持されるグリップ部であり、前記棒状の筐体の軸心方向に直交する方向に延出する位置に設けられるグリップ部と、
    記3次元空間における位置を前記空間位置検出装置に検出させるためのトラッカーであり、前記トラッカーの位置と前記位置指示部の位置とが特定の位置関係にあり、前記棒状の筐体の軸心を介して前記グリップ部と対向する位置に設けられるトラッカーと、
    を有し、
    前記空間位置検出装置は、
    前記トラッカーとのインタラクションにより検出される前記トラッカーの位置および前記特定の位置関係に基づいて、前記3次元空間における前記位置指示部によって指示される位置を算出する回路を有する、
    ことを特徴とする位置検出システム。
  12. 前記空間位置検出装置は、
    前記3次元空間における前記位置指示部によって指示される位置を算出するときに使用される補正値であり、前記特定の位置関係に基づいて生成される補正値を記憶するメモリーをさらに有する、
    ことを特徴とする請求項11に記載の位置検出システム。
  13. 前記空間位置検出装置は、
    前記位置検出センサで検出された前記位置指示部によって指示される位置と、前記空間位置検出装置で検出された前記位置指示器によって指示される位置とのいずれかを選択する回路をさらに有する、
    ことを特徴とする請求項11に記載の位置検出システム。
  14. 前記空間位置検出装置は、
    前記3次元空間の座標系および前記位置検出センサの入力面における座標系の一方を他方に一致させるための座標変換を実行する回路をさらに有する
    ことを特徴とする請求項11に記載の位置検出システム。
  15. 前記選択された前記位置指示器によって指示される位置の軌跡を表示するディスプレイをさらに有し、
    前記ディスプレイに表示される前記指示位置の軌跡を含む画像は、VR(Virtual Reality)画像である、
    ことを特徴とする請求項13に記載の位置検出システム。
  16. 前記棒状の筐体は電子ペンの筐体であるとともに、前記位置指示部は前記電子ペンの一端に設けられる位置指示部であり、
    前記位置指示器は、
    前記トラッカーの位置と前記電子ペンの位置指示部の位置とが特定の位置関係を保つように前記電子ペンが装着されるホルダーと、
    前記ホルダーへの前記電子ペンの装着に応じて前記空間位置検出装置と通信する通信部と、
    をさらに有し、
    前記空間位置検出装置は、
    前記位置指示器の前記通信部から前記電子ペンが装着されていることの通知を受信した場合、前記トラッカーとのインタラクションにより検出される前記トラッカーの位置および前記特定の位置関係に基づいて、前記3次元空間における前記位置指示部によって指示される位置を算出する回路、
    を有することを特徴とする請求項11に記載の位置検出システム。
JP2020507357A 2018-03-23 2018-12-20 位置指示器及び位置検出システム Active JP7321995B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023121723A JP2023129627A (ja) 2018-03-23 2023-07-26 位置指示器及び位置検出システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018055544 2018-03-23
JP2018055544 2018-03-23
PCT/JP2018/046976 WO2019181118A1 (ja) 2018-03-23 2018-12-20 3次元位置指示器及び3次元位置検出システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023121723A Division JP2023129627A (ja) 2018-03-23 2023-07-26 位置指示器及び位置検出システム

Publications (2)

Publication Number Publication Date
JPWO2019181118A1 JPWO2019181118A1 (ja) 2021-03-11
JP7321995B2 true JP7321995B2 (ja) 2023-08-07

Family

ID=67987084

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020507357A Active JP7321995B2 (ja) 2018-03-23 2018-12-20 位置指示器及び位置検出システム
JP2023121723A Pending JP2023129627A (ja) 2018-03-23 2023-07-26 位置指示器及び位置検出システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023121723A Pending JP2023129627A (ja) 2018-03-23 2023-07-26 位置指示器及び位置検出システム

Country Status (5)

Country Link
US (2) US11294478B2 (ja)
EP (1) EP3770732B1 (ja)
JP (2) JP7321995B2 (ja)
CN (1) CN111837096A (ja)
WO (1) WO2019181118A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019171719A1 (ja) * 2018-03-05 2019-09-12 株式会社ワコム 電子ペンを用いた入力装置
KR20230022886A (ko) * 2020-05-29 2023-02-16 주식회사 소니 인터랙티브 엔터테인먼트 입력 장치
US20220004262A1 (en) * 2020-07-01 2022-01-06 Wacom Co., Ltd. Systems and methods for dynamic sketching with exaggerated content
TW202232288A (zh) * 2020-10-23 2022-08-16 日商和冠股份有限公司 電腦、方法及程式
US11644907B2 (en) * 2021-02-26 2023-05-09 Logitech Europe S.A. Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment
US11397478B1 (en) * 2021-02-26 2022-07-26 Logitech Europe S.A. Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment
US11630504B2 (en) * 2021-03-16 2023-04-18 Htc Corporation Handheld input device and electronic system
CN116848494A (zh) * 2021-03-22 2023-10-03 株式会社和冠 控制器及追踪系统
TWI796965B (zh) * 2021-05-03 2023-03-21 宏達國際電子股份有限公司 手持式電子裝置
US11681370B2 (en) * 2021-09-16 2023-06-20 Htc Corporation Handheld controller and control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344060A (ja) 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd インタラクティブボード用ペン
JP2003514310A (ja) 1999-11-08 2003-04-15 イットペン ユアロップ リミテッド 消去および/またはポインティング機能をもつ筆記および描画をディジタル化するための装置
JP2010509582A (ja) 2006-11-10 2010-03-25 インテリジェント・アース・リミテッド 物体の位置及び定位検出システム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4991148A (en) * 1989-09-26 1991-02-05 Gilchrist Ian R Acoustic digitizing system
US5488204A (en) * 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
JP3995866B2 (ja) * 2000-04-14 2007-10-24 株式会社リコー 入力装置
JP4146188B2 (ja) * 2002-08-15 2008-09-03 富士通株式会社 超音波型座標入力装置
US20050190163A1 (en) * 2004-02-27 2005-09-01 Marko Sarasmo Electronic device and method of operating electronic device
JP2006092410A (ja) * 2004-09-27 2006-04-06 Pioneer Electronic Corp 電子ペンおよびタッチパネル装置
US20070073133A1 (en) * 2005-09-15 2007-03-29 Schoenefeld Ryan J Virtual mouse for use in surgical navigation
US20080166175A1 (en) * 2007-01-05 2008-07-10 Candledragon, Inc. Holding and Using an Electronic Pen and Paper
US20100021022A1 (en) * 2008-02-25 2010-01-28 Arkady Pittel Electronic Handwriting
JP2009205609A (ja) * 2008-02-29 2009-09-10 Sharp Corp ポインティング装置
JP2011018090A (ja) * 2009-07-07 2011-01-27 Panasonic Corp 電子ペン及び電子ペンシステム
US20120229384A1 (en) * 2009-12-03 2012-09-13 Sharp Kabushiki Kaisha Display device with location detection function and input location detection system
US20120250033A1 (en) * 2009-12-11 2012-10-04 Sharp Kabushiki Kaisha Optical sensor circuit, two-dimensional coordinate detection apparatus, information processing apparatus, and method of refresh-driving optical sensor element
JP2013084096A (ja) * 2011-10-07 2013-05-09 Sharp Corp 情報処理装置
WO2013160887A1 (en) * 2012-04-23 2013-10-31 N-Trig Ltd. Pressure sensitive stylus for a digitizer
US20140354553A1 (en) * 2013-05-29 2014-12-04 Microsoft Corporation Automatically switching touch input modes
JP6105075B2 (ja) * 2013-10-08 2017-03-29 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
WO2015061765A1 (en) * 2013-10-25 2015-04-30 Livescribe Inc. Combined activation mechanism of retractable marker and power status for an electronic pen
US9367169B2 (en) 2014-03-31 2016-06-14 Stmicroelectronics Asia Pacific Pte Ltd Method, circuit, and system for hover and gesture detection with a touch screen
JP2016038902A (ja) * 2014-08-06 2016-03-22 株式会社リコー 接触検出システム、情報処理方法、情報処理装置、及びプログラム
US10606381B2 (en) * 2014-10-10 2020-03-31 Nec Display Solutions, Ltd. Display system, input device, display device, and display method
JP6477130B2 (ja) * 2015-03-27 2019-03-06 セイコーエプソン株式会社 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
US9684391B1 (en) * 2015-12-11 2017-06-20 Logomark, Inc. Telescopic mechanism and touch tool for writing instrument or the like
JP2017117312A (ja) * 2015-12-25 2017-06-29 株式会社リコー 情報処理装置、情報入力システム、情報処理方法およびプログラム
JP6887060B2 (ja) 2018-05-18 2021-06-16 株式会社ワコム 位置指示装置及び情報処理装置
JP7401427B2 (ja) * 2018-05-21 2023-12-19 株式会社ワコム 位置指示デバイス及び空間位置指示システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003514310A (ja) 1999-11-08 2003-04-15 イットペン ユアロップ リミテッド 消去および/またはポインティング機能をもつ筆記および描画をディジタル化するための装置
JP2001344060A (ja) 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd インタラクティブボード用ペン
JP2010509582A (ja) 2006-11-10 2010-03-25 インテリジェント・アース・リミテッド 物体の位置及び定位検出システム

Also Published As

Publication number Publication date
WO2019181118A1 (ja) 2019-09-26
EP3770732B1 (en) 2023-06-14
CN111837096A (zh) 2020-10-27
EP3770732A4 (en) 2021-06-09
JP2023129627A (ja) 2023-09-14
US20200401245A1 (en) 2020-12-24
EP3770732A1 (en) 2021-01-27
JPWO2019181118A1 (ja) 2021-03-11
US20220179506A1 (en) 2022-06-09
US11934592B2 (en) 2024-03-19
US11294478B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
JP7321995B2 (ja) 位置指示器及び位置検出システム
JP2023053397A (ja) 座標算出システム
US10175784B2 (en) Control device, input device, control system, handheld device, and control method
JP7386152B2 (ja) 入力システム及び入力方法
US6519550B1 (en) Object scanner
CN111344663B (zh) 渲染装置及渲染方法
US20190094996A1 (en) Systems and related methods for facilitating pen input in a virtual reality environment
US20120206419A1 (en) Collapsible input device
JP5561092B2 (ja) 入力装置、入力制御システム、情報処理方法及びプログラム
JP2010146230A (ja) 入力装置およびデータ処理システム
US20230205416A1 (en) Spatial position indication system
US20220004299A1 (en) Systems and methods for dynamic shape sketching
KR20040020262A (ko) 펜 타입의 다기능 마우스 입력장치
WO2023188659A1 (ja) 情報処理システム
WO2022061263A1 (en) Systems having peripherals with magnetic field tracking
JP2023081278A (ja) 立体視画像に対する対話操作方法および立体視画像表示システム
JP2009140215A (ja) 表示システム、端末、表示装置、キャリブレーション方法、コンピュータプログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230726

R150 Certificate of patent or registration of utility model

Ref document number: 7321995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150