JP2023531302A - 動的な形状スケッチングのためのシステム及び方法 - Google Patents

動的な形状スケッチングのためのシステム及び方法 Download PDF

Info

Publication number
JP2023531302A
JP2023531302A JP2022580858A JP2022580858A JP2023531302A JP 2023531302 A JP2023531302 A JP 2023531302A JP 2022580858 A JP2022580858 A JP 2022580858A JP 2022580858 A JP2022580858 A JP 2022580858A JP 2023531302 A JP2023531302 A JP 2023531302A
Authority
JP
Japan
Prior art keywords
position indicator
core
tip
pressure applied
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022580858A
Other languages
English (en)
Inventor
ソサニャ オルワセユイ
パレデス フェンテス ダニエラ
トーマス ダニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of JP2023531302A publication Critical patent/JP2023531302A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

システムは、ユーザがオブジェクトの寸法及び形状を直感的かつ動的に指定することを可能にする位置指示器及び処理デバイスを含む。位置指示器は、位置指示器の一部に加えられた圧力を示す信号を送信する。処理デバイスは、位置指示器の一部に加えられた圧力を示す信号と、位置指示器のそれぞれの位置を示す信号とを受信する。処理デバイスは、位置指示器の一部に加えられた圧力を示す信号と、位置指示器のそれぞれの位置を示す信号とに基づいて、可視化データを生成する。可視化データは、位置指示器の一部に加えられた圧力を示す信号に基づく方向に所定の位置から延在するオブジェクトを定義する。

Description

本開示は、デジタルデータで表される多次元オブジェクトのディメンジョンを指定することに関し、より具体的には、入力デバイスとしての位置指示器を用いて実行される直感的なユーザ操作に基づいて、そのような多次元オブジェクトの形状を動的にスケッチするためのシステム及び方法に関する。
従来、ユーザは、デジタルデータで表される多次元オブジェクトのディメンジョンを指定するために、複数の入力デバイスで複雑な操作セットを実行しなければならない。例えば、ユーザがデジタルデータで表される多次元オブジェクトの形状を指定することを可能にする従来のシステムは、形状、向き、寸法などを指定するために、ユーザが、ユーザの片方の手でキーボードの１つ以上のキーを操作しながら、同時にユーザのもう片方の手でコンピュータマウスを移動させ、かつコンピュータマウスのボタンを操作することを必要とし得る。したがって、ユーザが、単一の入力デバイスを用いてデジタルデータで表される多次元オブジェクトの形状、向き、寸法などを直感的に指定することを可能にするシステム及び方法を提供することが望ましい。
米国特許出願公開第２０１２／０２０６４５２号 米国特許第９，９３９，９３１号 米国特許第９，９６４，３９５号 米国特許第９，６００，０９６号
本開示は、ユーザが、単一の入力デバイスを用いてデジタルデータで表される多次元オブジェクトの形状、向き、寸法などを直感的かつ動的に指定することを可能にするシステム及び方法を教示する。
本開示の第１の実施形態によるシステムは、位置指示器と処理デバイスとを含むものとして概要され得る。位置指示器は、複数の参照タグが外面上に設けられた筐体と、筐体内に設けられ、かつ筐体の開口部を通して筐体から突出する先端部を有する芯体と、動作時に、芯体の先端部に加えられた圧力を検出する圧力検出器と、圧力検出器に結合され、動作時に、芯体の先端部に加えられた圧力を示す１つ以上の信号を送信するトランスミッタとを含む。処理デバイスは、動作時に、位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号と、参照タグのうちの１つ以上における１つ以上のそれぞれの位置を示す１つ以上の信号とを受信する少なくとも１つのレシーバと、少なくとも１つのレシーバに結合された少なくとも１つのプロセッサと、命令を記憶している少なくとも１つのメモリデバイスであって、命令は、少なくとも１つのプロセッサによって実行されると、処理デバイスに、位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号と、参照タグのうちの１つ以上における１つ以上のそれぞれの位置を示す１つ以上の信号とに基づいて、可視化データを生成させ、可視化データは、位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号に基づく方向に所定の位置から延在するオブジェクトを記述する、少なくとも１つのメモリデバイスとを含む。
位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号が、圧力が所定の閾値よりも大きいことを示す場合に、少なくとも１つのメモリデバイスによって記憶されている命令は、少なくとも１つのプロセッサによって実行されると、処理デバイスに、オブジェクトが、可視化デバイスによって表示されるときに、所定の位置から第１の所定の方向に延在するように、可視化データを生成させてもよい。
位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号が、圧力が所定の閾値よりも小さいことを示す場合に、少なくとも１つのメモリデバイスによって記憶されている命令は、少なくとも１つのプロセッサによって実行されると、処理デバイスに、オブジェクトが、可視化デバイスによって表示されるときに、所定の位置から第１の所定の方向と反対である第２の所定の方向に延在するように、可視化データを生成させてもよい。
処理デバイスは、入力面を有するセンサを含んでもよく、センサは、動作時に、位置指示器を検出し、センサによって検知された位置指示器の入力面上の位置を示す信号を出力してもよく、少なくとも１つのメモリデバイスによって記憶されている命令は、少なくとも１つのプロセッサによって実行されると、処理デバイスに、位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号と、参照タグのうちの１つ以上における１つ以上のそれぞれの位置を示す１つ以上の信号と、センサによって検知された位置指示器の入力面上の位置を示す信号とに基づいて、可視化データを生成させてもよい。
位置指示器は、動作時に複数の位置のうちの１つにあるスイッチを含んでもよく、トランスミッタによって送信された１つ以上の信号は、芯体の先端部に加えられた圧力と、スイッチの位置とを示してもよく、少なくとも１つのメモリデバイスによって記憶されている命令は、少なくとも１つのプロセッサによって実行されると、処理デバイスに、位置指示器の芯体の先端部に加えられた圧力とスイッチの位置とを示す１つ以上の信号と、参照タグのうちの１つ以上における１つ以上のそれぞれの位置を示す１つ以上の信号とに基づいて、可視化データを生成させてもよい。
位置指示器は、動作時に処理デバイスの加速度を示す信号を出力する加速度計を含んでもよい。
トランスミッタによって送信された１つ以上の信号は、芯体の先端部に加えられた圧力と、位置指示器の加速度とを示してもよく、少なくとも１つのメモリデバイスによって記憶されている命令は、少なくとも１つのプロセッサによって実行されると、処理デバイスに、位置指示器の芯体の先端部に加えられた圧力と処理デバイスの加速度とを示す１つ以上の信号と、参照タグのうちの１つ以上における１つ以上のそれぞれの位置を示す１つ以上の信号とに基づいて、可視化データを生成させてもよい。
本開示の第２の実施形態によるシステムは、位置指示器と処理デバイスとを含むものとして概要され得る。位置指示器は、内部に芯体が設けられる筐体であって、芯体の先端部は筐体の開口部を通して筐体から突出する筐体と、動作時に、芯体の先端部に加えられた圧力を検出する圧力検出器と、圧力検出器に結合され、動作時に、圧力検出器によって検出された、芯体の先端部に加えられた圧力を示す１つ以上の信号を送信するトランスミッタとを含む。処理デバイスは、入力面を有し、動作時に、位置指示器を検出し、センサの入力面に対する芯体の先端部の位置を示す信号を出力するセンサと、動作時に、位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号を受信する少なくとも１つのレシーバと、センサ及び少なくとも１つのレシーバに結合された少なくとも１つのプロセッサと、命令を記憶している少なくとも１つのメモリデバイスであって、命令は、少なくとも１つのプロセッサによって実行されると、処理デバイスに、位置指示器の芯体の先端部の入力面上の位置を示す信号と、位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号とに基づいて、可視化データを生成させ、可視化データは、位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号に基づく方向に所定の位置から延在するオブジェクトを記述し、可視化データは、可視化デバイスによって表示のために与えられる、少なくとも１つのメモリデバイスとを含む。
位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号が、圧力が所定の閾値よりも大きいことを示す場合に、少なくとも１つのメモリデバイスによって記憶されている命令は、少なくとも１つのプロセッサによって実行されると、処理デバイスに、オブジェクトが、可視化デバイスによって表示されるときに、所定の位置から第１の所定の方向に延在するように、可視化データを生成させてもよい。
位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号が、圧力が所定の閾値よりも小さいことを示す場合に、少なくとも１つのメモリデバイスによって記憶されている命令は、少なくとも１つのプロセッサによって実行されると、処理に、オブジェクトが、可視化デバイスによって表示されるときに、所定の位置から第１の所定の方向と反対である第２の所定の方向に延在するように、可視化データを生成させてもよい。
処理デバイスは、動作時に複数の位置のうちの１つにあるスイッチを含んでもよく、トランスミッタによって送信された１つ以上の信号は、芯体の先端部に加えられた圧力と、スイッチの位置とを示してもよく、少なくとも１つのメモリデバイスによって記憶されている命令は、少なくとも１つのプロセッサによって実行されると、処理デバイスに、センサの入力面に対する芯体の先端部の位置を示す信号と、位置指示器の芯体の先端部に加えられた圧力とスイッチの位置とを示す１つ以上の信号とに基づいて、可視化データを生成させてもよい。
処理デバイスは、動作時に処理デバイスの加速度を示す信号を出力する加速度計を含んでもよく、トランスミッタによって送信された１つ以上の信号は、芯体の先端部に加えられた圧力と、処理デバイスの加速度とを示してもよく、少なくとも１つのメモリデバイスによって記憶されている命令は、少なくとも１つのプロセッサによって実行されると、処理デバイスに、センサの入力面に対する芯体の先端部の位置を示す信号と、位置指示器の芯体の先端部に加えられた圧力を示す１つ以上の信号と、処理デバイスの加速度とに基づいて、可視化データを生成させてもよい。
本開示の第３の実施形態による方法は、センサの表面を基準とする３次元空間における位置指示器の１つ以上の空間位置を示す１つ以上の信号を受信すること、位置指示器の芯体の先端部に加えられた圧力を示す信号を受信すること、位置指示器の１つ以上の位置を示す１つ以上の信号と、位置指示器の芯体の先端部に加えられた圧力を示す信号とに基づいて、可視化データを生成すること、ここで可視化データは、オブジェクトであって、表示されるときに、位置指示器の芯体の先端部に加えられた圧力を示す信号に基づいて、センサの表面の平面から遠ざかる方向に延在するオブジェクトを記述する、及び、可視化データを表示のために与えること、を含むものとして概要され得る。
位置指示器の芯体の先端部に加えられた圧力を示す信号が、圧力が所定の閾値よりも大きいことを示す場合に、オブジェクトは、所定の位置から第１の所定の方向に延在してもよい。
位置指示器の芯体の先端部に加えられた圧力を示す信号が、圧力が所定の閾値よりも小さいことを示す場合に、オブジェクトは、所定の位置から第１の所定の方向と反対である第２の所定の方向に延在してもよい。
方法は、位置指示器のスイッチの位置を示す信号を受信することをさらに含んでもよく、可視化データを生成することは、（ｉ）位置指示器の芯体の先端部に加えられた圧力を示す信号と、（ｉｉ）位置指示器の１つ以上の空間位置を示す１つ以上の信号と、（ｉｉｉ）位置指示器のスイッチの位置を示す信号とに基づいて、可視化データを生成することを含む。
方法は、位置指示器の加速度を示す信号を受信することをさらに含んでもよく、可視化データを生成することは、（ｉ）位置指示器の芯体の先端部に加えられた圧力を示す信号と、（ｉｉ）位置指示器の１つ以上の空間位置を示す１つ以上の信号と、（ｉｉｉ）位置指示器の加速度を示す信号とに基づいて、可視化データを生成することを含む。
位置指示器の１つ以上の空間位置を示す１つ以上の信号は、位置指示器上に設けられた複数の参照タグのうちの１つ以上における１つ以上のそれぞれの位置を示す１つ以上の信号を含んでもよい。
位置指示器の１つ以上の空間位置を示す１つ以上の信号は、センサの表面に対する位置指示器の先端部の位置を示す信号を含んでもよい。
方法は、可視化データに基づいて、オブジェクトの表現を表示することをさらに含んでもよい。オブジェクトの表現は、少なくとも部分的に、ヘッドマウントディスプレイによって表示されてもよい。
図１は、本開示の１つ以上の実施形態による、可視化システムのブロック図を示す。 図２は、本開示の１つ以上の実施形態による、入力デバイスとして使用される位置指示器のブロック図を示す。 図３は、本開示の１つ以上の実施形態による、図２に示す位置指示器を介して入力を受信する処理デバイスのブロック図を示す。 図４は、本開示の１つ以上の実施形態による、図１に示す可視化システムによって実行され得る方法のフローチャートを示す。 図５は、本開示の１つ以上の実施形態による、図１に示す可視化システムによって実行され得る方法のフローチャートを示す。 図６Ａは、図１に示す可視化システムによって表示され得るオブジェクトの斜視図を示す。 図６Ｂは、本開示の１つ以上の実施形態による、図６Ａに示すオブジェクトの側面図を示す。 図７Ａは、図１に示す可視化システムによって表示され得るオブジェクトの斜視図を示す。 図７Ｂは、本開示の１つ以上の実施形態による、図７Ａに示すオブジェクトの側面図を示す。
図１は、本開示の１つ以上の実施形態による、可視化システム１００のブロック図を示す。可視化システム１００は、位置指示器１０２、処理デバイス１０４、複数の追跡デバイス１０６ａ及び１０６ｂ、可視化デバイス１０８、並びにセンサ１０９を含む。
図示された実施形態では、位置指示器１０２は、一端に開口部１１２が形成された、中空の、概して円筒状の筐体１１０を含むが、位置指示器１０２の筐体は、他の異なる形態を有していてもよい。芯体１１４の先端部は、開口部１１２を通って筐体１１０から突出している。１つ以上の実施形態において、芯体１１４は、位置指示器の一部（例えば、芯体１１４の先端部）に加えられた圧力に対応する圧力を圧力検出器１１８に伝える棒状部材であり、圧力検出器１１８については、図２を参照して以下に記載する。１つ以上の実施形態において、芯体１１４は、導電材料で形成されている。１つ以上の実施形態において、芯体１１４は、非導電性であり、樹脂から形成されている。
代わりに、または組み合わせで、１つ以上の実施形態において、開口部１１２は、筐体１１０の側面に形成されており、芯体１１４は、開口部１１２を通って延在することによって、ユーザの指が、処理デバイス１０４に入力を与えるために、芯体に圧力を加えることを可能にする。図２を参照して以下に説明するように、位置指示器１０２は、処理デバイス１０４に、芯体１１４の先端部に加えられた圧力の量を示す信号を送信する。位置指示器１０２は、処理デバイス１０４の入力デバイスとして使用できる。
処理デバイス１０４は、例えばガラスなどの透明材料から形成された、入力面１１６を含む。１つ以上の実施形態において、処理デバイス１０４は、タブレットコンピュータである。図３を参照して以下に説明するように、入力面１１６の下方には、位置指示器１０２の現在の位置を追跡するセンサ１４０と、ディスプレイデバイス１３８とが設けられていてもよい。処理デバイス１０４は、ユーザによる位置指示器１０２の操作に基づいて、可視化データを生成し、可視化データを可視化デバイス１０８に送信し、可視化デバイス１０８は、可視化データに基づく画像を表示する。加えて、または代わりに、処理デバイス１０４のディスプレイデバイス１３８が、可視化データに基づく画像を表示してもよい。
１つ以上の実施形態において、可視化デバイス１０８及びディスプレイデバイス１３８は、各々、処理デバイス１０４によって生成された可視化データの部分を処理し、同時に画像を表示する。１つ以上の実施形態において、可視化デバイス１０８及びディスプレイデバイス１３８は、異なる画面リフレッシュレートで動作する。したがって、より高い画面リフレッシュレートで動作しているデバイスの処理を、より低い画面リフレッシュレートで動作しているデバイスにオフロードすることが望ましい場合がある。例えば、可視化デバイス１０８は、９０Ｈｚの画面リフレッシュレートで動作することができ、ディスプレイデバイス１３８は、６０Ｈｚの画面リフレッシュレートで動作することができ、そのような場合に、可視化デバイス１０８による可視化データの処理の一部またはすべてをディスプレイデバイス１３８にオフロードすることが望ましい場合がある。こうして、処理デバイス１０４は、可視化デバイス１０８の処理負荷がディスプレイデバイス１３８にオフロードされるように、可視化データを分割し得る。
１つ以上の実施形態において、処理デバイス１０４は、可視化デバイス１０８から、可視化デバイス１０８の現在の処理負荷を示す信号を受信し、処理デバイス１０４は、現在の処理負荷に基づいて、可視化デバイス１０８及びディスプレイデバイス１３８に送信される可視化データの量を動的に調整する。１つ以上の実施形態において、処理デバイス１０４は、可視化デバイス１０８の現在の処理負荷を推定し、推定される現在の処理負荷に基づいて、可視化デバイス１０８及びディスプレイデバイス１３８に送信される可視化データの量を動的に調整する。例えば、可視化デバイス１０８の、示されるか、または推定される現在の処理負荷が、所定の閾値以上である場合、処理デバイス１０４は、可視化デバイス１０８に送信される可視化データの量を減少させ、ディスプレイデバイス１３８に送信される可視化データの量を増加させる。加えて、または代わりに、処理デバイス１０４は、同様の方式でディスプレイデバイス１３８から可視化デバイス１０８に処理をオフロードしてもよい。
追跡デバイス１０６ａ及び１０６ｂは、位置指示器１０２、特に、いくつかの実施形態では、位置指示器１０２の芯体１１４の先端部、の位置及び／または向きを追跡する。追跡デバイス１０６ａ及び１０６ｂを、追跡デバイス１０６と総称する。図１に示す実施形態は２つのデバイス１０６を含むが、可視化システム１００は、本開示の範囲を逸脱することなく、異なる数の追跡デバイス１０６を含んでもよい。例えば、可視化システム１００は、本開示による、３つ、４つ、またはそれよりも多い追跡デバイス１０６を含んでもよい。１つ以上の実施形態において、可視化システム１００は、追跡デバイス１０６を全く含んでおらず、位置指示器１０２の芯体１１４の先端部の位置は、処理デバイス１０４のセンサ１４０のみを使用して追跡される。
１つ以上の実施形態において、追跡デバイス１０６は、位置指示器１０２の芯体１１４の先端部の位置及び／または向きを追跡するために、周知の光学モーション追跡技術を採用している。１つ以上の実施形態において、位置指示器１０２は、筐体１１０の外面上に取り付けられた光学マーカの形態をなす参照タグを有し、光学マーカは、光学的に検知できる、一意の、視覚的に識別可能な色またはパターンが各々の上に形成された、受動デバイスである。追跡デバイス１０６の各々は、光学マーカのうちの１つ以上の画像を取得して、対応する画像データを処理デバイス１０４に送信する、カメラを含み得る。処理デバイス１０４は、光学マーカの各々と位置指示器１０２の芯体１１４の先端部との間の空間的な関係を示すデータを記憶しており、周知の手法に従って画像データを処理することによって、位置指示器１０２の芯体１１４の先端部の現在の位置及び／または向きを判定する。１つ以上の実施形態において、光学マーカは、異なる波長を有する光を放出する発光デバイス（例えば、発光ダイオード）を各々が有する能動デバイスである。１つ以上の実施形態において、追跡デバイス１０６は、Ｏｃｕｌｕｓ ＶＲから入手可能なＯｃｕｌｕｓ Ｒｉｆｔシステムの一部である、Ｃｏｎｓｔｅｌｌａｔｉｏｎセンサである。１つ以上の実施形態において、追跡デバイス１０６は、レーザ式追跡デバイスである。例えば、追跡デバイス１０６は、ＨＴＣ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＨＴＣ Ｖｉｖｅシステムの一部である、ＳｔｅａｍＶＲ ２．０ Ｂａｓｅ Ｓｔａｔｉｏｎである。
可視化デバイス１０８は、処理デバイス１０４によって生成された可視化データを処理し、対応する画像を表示する。１つ以上の実施形態において、可視化デバイス１０８は、ヘッドマウントディスプレイデバイスである。１つ以上の実施形態において、可視化デバイス１０８は、ＨＴＣ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＨＴＣ Ｖｉｖｅシステムの一部である、ＨＴＣ Ｖｉｖｅ Ｐｒｏ仮想現実ヘッドセットである。１つ以上の実施形態において、可視化デバイス１０８は、Ｏｃｕｌｕｓ ＶＲから入手可能なＯｃｕｌｕｓ Ｒｉｆｔシステムの一部である、Ｏｃｕｌｕｓ Ｒｉｆｔ仮想現実ヘッドセットである。１つ以上の実施形態において、可視化デバイス１０８は、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＨｏｌｏＬｅｎｓ拡張現実ヘッドセットである。
１つ以上の実施形態において、可視化デバイス１０８は、センサ１０９を含み、センサ１０９を使用して、センサ１０９の視野内の物理オブジェクトの位置を追跡する。例えば、可視化デバイス１０８はヘッドマウントディスプレイであり、センサ１０９は一対のカメラを含み、各カメラは、可視化デバイス１０８のユーザの一方の目の近くに位置し、その目と実質的に同じである視野を有する。加えて、可視化デバイス１０８は、カメラによって撮像された画像に対応する画像データを処理デバイス１０４に送信するトランスミッタを含み、処理デバイス１０４は、画像データを処理し、カメラによって撮像されたオブジェクトの座標を、例えば従来の画像処理手法を使用して、決定する。例えば、１つ以上の実施形態において、処理デバイス１０４は、特許文献１に記載されたオブジェクト認識エンジン（例えば、段落８７を参照）と同様の方式で構成されたオブジェクト認識ソフトウェアを含み、特許文献１は、参照によってその全体が本明細書に組み込まれる。代わりに、可視化デバイス１０８は、プロセッサ、及び命令を記憶したメモリを含み、命令は、プロセッサによって実行されると、可視化デバイス１０８に、カメラによって撮像されたオブジェクトの座標を決定させ、かつそれらの座標を処理デバイス１０４へ送信させる。
可視化システム１００について概説したところで、次に、位置指示器１０２について、本開示の１つ以上の実施形態による、位置指示器１０２のブロック図を示す図２を参照して、より詳細に記載する。位置指示器１０２は、動作時に、例えばユーザが処理デバイス１０４の入力面１１６に対して芯体１１４の先端部を押圧したときに、芯体１１４の先端部に加えられる圧力を検出する、圧力検出器１１８を含む。１つ以上の実施形態において、圧力検出器１１８は、特許文献２に記載された圧力検知コンポーネント（例えば、１３欄、４９行～２２欄、１３行を参照）と同様の方式で構成されており、特許文献２は、参照によってその全体が本明細書に組み込まれる。
１つ以上の実施形態において、位置指示器１０２は、動作時に複数の位置のうちの１つにあるスイッチ１２０を含む。ユーザは、処理デバイス１０４に入力を与えるために、スイッチ１２０を作動させて、スイッチ１２０の位置を変化させることができる。例えば、スイッチ１２０は、ユーザがスイッチ１２０を押下している間、「閉」または「オン」位置にあり、ユーザがスイッチ１２０を押下しない間、「開」または「オフ」位置にある。１つ以上の実施形態において、スイッチ１２０は、特許文献２に記載されたサイドスイッチ（例えば、１１欄、２４～４９行を参照）と同様の方式で構成されている。１つ以上の実施形態において、位置指示器１０２は、コンピュータマウスの左ボタン及び右ボタンを操作することによって与えられる入力と同様の入力を与えるようにユーザが操作することができる、２つのスイッチ１２０を含む。
１つ以上の実施形態において、位置指示器１０２は、動作時に位置指示器１０２の加速度を示す信号を出力する加速度計１２２を含む。１つ以上の実施形態において、加速度計１２２は、微細加工された微小電気機械システム（ＭＥＭＳ）として構成されている。
位置指示器１０２はまた、圧力検出器１１８に結合されたトランスミッタ１２４を含み、トランスミッタ１２４は、動作時に、圧力検出器１１８によって検出された、芯体１１４の先端部に加えられた圧力を示す信号を送信する。１つ以上の実施形態において、トランスミッタ１２４は、Ｂｌｕｅｔｏｏｔｈ通信規格のうちの１つ以上に従って動作する。１つ以上の実施形態において、トランスミッタ１２４は、ＩＥＥＥ８０２．１１ファミリーの通信規格のうちの１つ以上に従って動作する。１つ以上の実施形態において、トランスミッタ１２４は、芯体１１４の先端部及び処理デバイス１０４のセンサ１４０を介して、信号を電磁誘導する。１つ以上の実施形態において、トランスミッタ１２４は、スイッチ１２０に結合されており、トランスミッタ１２４は、動作時に、スイッチ１２０の位置を示す信号を送信する。１つ以上の実施形態において、トランスミッタ１２４は、加速度計１２２に結合されており、トランスミッタ１２４は、動作時に、加速度計１２２によって検出された処理デバイス１０２の加速度を示す信号を送信する。
１つ以上の実施形態において、位置指示器１０２は、複数の参照タグ１２６ａ、１２６ｂ、及び１２６ｃを含む。参照タグ１２６ａ、１２６ｂ、及び１２６ｃを、本明細書では参照タグ１２６と総称する。参照タグ１２６は、追跡デバイス１０６によって追跡される。１つ以上の実施形態において、参照タグ１２６は、図１に関連して上述したように、位置指示器１０２の筐体１１０の外面に固設された受動光学マーカである。代わりに、またはさらに、１つ以上の実施形態において、参照タグ１２６は、追跡デバイス１０６によって検出される光または電波を能動的に放出する。図２に示す実施形態は３つの参照タグ１２６を含むが、位置指示器１０２は、異なる数の参照タグ１２６を含んでもよい。例えば、位置指示器１０２は、本開示による、４つ、５つ、６つ、またはそれよりも多い参照タグ１２６を含んでもよい。
位置指示器１０２についてより詳細に記載したところで、次に、処理デバイス１０４について、本開示の１つ以上の実施形態による、処理デバイス１０４のブロック図を示す図３を参照して、より詳細に記載する。処理デバイス１０４は、メモリ１３０及び中央処理装置（ＣＰＵ）１３２を有するマイクロプロセッサ１２８、メモリ１３４、入力／出力（Ｉ／Ｏ）回路１３６、ディスプレイデバイス１３８、センサ１４０、トランスミッタ１４２、並びにレシーバ１４４を含む。
メモリ１３４は、プロセッサ実行可能命令を記憶しており、プロセッサ実行可能命令は、ＣＰＵ１３２によって実行されると、処理デバイス１０４に、図４、６Ａ、６Ｂ、及び７に関連して記載した処理デバイス１０４の動作を実行させる。ＣＰＵ１３２は、命令を実行している間、メモリ１３０を作業メモリとして使用する。１つ以上の実施形態において、メモリ１３０は、１つ以上のランダムアクセスメモリ（ＲＡＭ）モジュール、及び／または例えば電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）またはＦｌａｓｈメモリモジュールなどの、１つ以上の不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）モジュールからなる。
１つ以上の実施形態において、Ｉ／Ｏ回路１３６は、処理デバイス１０４に対するコマンドを入力するための、ボタン、スイッチ、ダイアル、ノブ、マイクロフォン、または他のユーザインターフェース要素を含み得る。Ｉ／Ｏ回路１３６はまた、処理デバイス１０４からの情報または指示を出力するための、１つ以上のスピーカ、１つ以上の発光デバイス、または他のユーザインターフェース要素を含んでもよい。
ディスプレイデバイス１３８は、操作者に対して情報をグラフィック表示する。マイクロプロセッサ１２８は、ディスプレイデバイス１３８を、処理デバイス１０４によって生成された可視化データに基づいて情報を表示するように制御する。１つ以上の実施形態において、ディスプレイデバイス１３８は、液晶ディスプレイ（ＬＣＤ）デバイスである。１つ以上の実施形態において、ディスプレイデバイス１３８は、適当なアイウェアを装着したユーザが、例えば３次元（３Ｄ）対応テレビを介した３Ｄ画像の目視と同様の方式で、多次元画像を知覚することができるように、２つの画像を同時に表示する。
センサ１４０は、位置指示器１０２を検出し、センサ１４０の入力面（例えば、表面１１６）に対する位置指示器１０２の位置を示す信号を出力する。１つ以上の実施形態において、マイクロプロセッサ１２８は、センサ１４０から受信された信号を処理し、位置指示器１０２によって示される位置に対応するセンサ１４０の入力面上の（Ｘ，Ｙ）座標を取得する。１つ以上の実施形態において、マイクロプロセッサ１２８は、センサ１４０から受信された信号を処理し、位置指示器１０２が位置するセンサ１４０の入力面の上方の高さ（例えば、Ｚ座標）に加えて、位置指示器１０２によって示される位置に対応するセンサ１４０の入力面上の（Ｘ，Ｙ）座標を取得する。１つ以上の実施形態において、センサ１４０は、特許文献３に記載された位置検出センサ（例えば、７欄、３５行～１０欄、２７行を参照）と同様の方式で構成された誘導タイプのセンサであり、特許文献３は、参照によってその全体が本明細書に組み込まれる。１つ以上の実施形態において、センサ１４０は、特許文献４に記載された位置検出センサ（例えば、６欄、５行～８欄、１７行を参照）と同様の方式で構成された容量タイプのセンサであり、特許文献４は、参照によってその全体が本明細書に組み込まれる。
トランスミッタ１４２は、マイクロプロセッサ１２８に結合されており、トランスミッタ１４２は、動作時に、マイクロプロセッサ１２８によって生成された可視化データを可視化デバイス１０８に送信する。例えば、１つ以上の実施形態において、トランスミッタ１４２は、Ｂｌｕｅｔｏｏｔｈ及び／またはＩＥＥＥ８０２．１１ファミリーの通信規格のうちの１つ以上に従って動作する。レシーバ１４４は、マイクロプロセッサ１２８に結合されており、レシーバ１４４は、動作時に、追跡デバイス１０６及び可視化デバイス１０８から信号を受信する。例えば、１つ以上の実施形態において、レシーバ１４４は、Ｂｌｕｅｔｏｏｔｈ及び／またはＩＥＥＥ８０２．１１ファミリーの通信規格のうちの１つ以上に従って動作する。１つ以上の実施形態において、レシーバ１４４は、位置指示器１０２から信号を受信する。１つ以上の実施形態において、レシーバ１４４は、センサ１４０に含まれ、電磁誘導によって、位置指示器１０２の芯体１１４の先端部から１つ以上の信号を受信する。
可視化システム１００の構造について記載したところで、次に、可視化システム１００によって実行される方法２００の例について、本開示の１つ以上の実施形態による、方法２００のフローチャートを示す図４に関連して記載する。方法２００は、２０２において、例えば処理デバイス１０４の電源投入時に、始まる。
２０２において、位置指示器１０２の１つ以上の位置を示す１つ以上の信号が受信される。例えば、処理デバイス１０４のレシーバ１４４は、追跡デバイス１０６から１つ以上の信号を受信する。加えて、または代わりに、マイクロプロセッサ１２８は、処理デバイス１０４のセンサ１４０から１つ以上の信号を受信する。次いで、方法２００は、２０４に進む。
２０４において、位置指示器１０２のスイッチ１２０の位置を示す信号が受信される。例えば、処理デバイス１０４のレシーバ１４４は、位置指示器１０２のトランスミッタ１２４から、スイッチ１２０の位置を示す信号を受信する。次いで、方法２００は、２０６に進む。
任意選択で、２０６において、位置指示器１０２の加速度を示す信号が受信される。例えば、処理デバイス１０４のレシーバ１４４は、位置指示器１０２のトランスミッタ１２４から、位置指示器１０２の加速度を示す信号を受信する。次いで、方法２００は、２０８に進む。
２０８において、芯体１１４の先端部に加えられた圧力を示す信号が受信される。例えば、処理デバイス１０４のレシーバ１４４は、位置指示器１０２のトランスミッタ１２４から、芯体１１４の先端部に加えられた圧力を示す信号を受信する。加えて、または代わりに、処理デバイス１０４のセンサ１４０は、電磁誘導によって、位置指示器１０２の芯体１１４の先端部から、芯体１１４の先端部に加えられた圧力を示す信号を受信する。次いで、方法２００は、２１０に進む。
２１０において、可視化システム１００のユーザの近傍に位置する１つ以上の物理オブジェクトを示す１つ以上の信号が受信される。１つ以上の実施形態において、処理デバイス１０４のレシーバ１４４は、可視化デバイス１０８のセンサ１０９から、ユーザの近傍に位置する１つ以上の物理オブジェクトを示す信号を受信する。例えば、レシーバ１４４は、センサ１０９の一対のカメラによって生成された画像データを受信し、マイクロプロセッサ１２８は、画像データを処理し、カメラによって撮像されたオブジェクトの外面に対応する座標を取得する。次いで、方法２００は、２１２に進む。
２１２において、２０２、２０４、２０６、２０８、及び２１０において受信された信号が処理される。１つ以上の実施形態において、それらの信号によって送信されたデータは、タイムスタンプを付与されて、処理デバイス１０４のメモリ１３０に記憶され、ＣＰＵ１３２は、このデータを、データと関連付けられたタイムスタンプに基づいて、時系列順に処理する。図５に示すフローチャートに対応する処理が、以下で説明するように、２１２において実行されてもよい。次いで、方法２００は、２１４に進む。
２１４において、終了処理命令が受信されたかどうかの判定が行われる。例えば、マイクロプロセッサ１２８は、位置指示器１０２を使用して、処理デバイス１０４のディスプレイデバイス１３８によって表示される所定のアイコンまたはオブジェクトを選択したかどうかを判定する。他の一例として、マイクロプロセッサ１２８は、２１４において、終了操作に対応する音声コマンドが受信されたかどうかを判定する。２１４において終了操作が受信されたという判定が行われた場合、方法２００は、終了する。そうでない場合、方法２００は、２０２に戻る。
図５は、本開示の１つ以上の実施形態による、上述した方法２００の２１２において可視化システム１００によって実行され得る方法３００のフローチャートを示す。方法３００は、後で記載するように、特定のビジュアル表示をもたらす「押し出し」操作を提供する。方法３００は、３０２において、マイクロプロセッサ１２８が、押し出し操作を実行する命令が受信されたと判定することに応答して、始まる。例えば、マイクロプロセッサ１２８は、位置指示器１０２を使用して、処理デバイス１０４のディスプレイデバイス１３８によって表示される所定のアイコンまたはオブジェクトを選択したと判定する。他の一例として、方法３００は、３０２において、マイクロプロセッサ１２８が、押し出し操作を実行する命令に対応する音声コマンドが受信されたと判定することに応答して、始まる。
３０２において、芯体１１４の先端部に加えられた圧力が、閾圧力値と比較される。図示された実施形態では、芯体１１４の先端部に加えられた圧力が、閾圧力値以上であるかどうかの判定が行われる。例えば、メモリ１３４は、所定の閾圧力値を記憶しており、マイクロプロセッサ１２８は、上述した方法２００の２０８において受信された信号によって示される芯体１１４の先端部に加えられた圧力が、閾圧力値以上であるかどうかを判定する。３０２において、芯体１１４の先端部に加えられた圧力が、閾圧力値以上であると判定される場合、方法３００は、３０４に進む。そうでない場合、方法３００は、３０６に進む。
１つ以上の実施形態において、ユーザは、処理デバイス１０４に、押し出し操作が、入力面１０６の異なる一部上で他の一入力操作を実行するために、位置指示１０２を入力面１１６から相対的にすばやく持ち上げるのとは対照的に、芯体１１４の先端部を処理デバイス１０４の入力面１１６から相対的にゆっくり持ち上げることによって、実行されるものであることを示し得る。したがって、方法３００の３０２において、位置指示器１０２の加速度が閾加速度値よりも小さいかどうかに関する追加の判定が行われ得る。例えば、メモリ１３４は、所定の閾加速度値を記憶しており、マイクロプロセッサ１２８は、上述した方法２００の２０６において受信された信号によって示される位置指示器１０２の加速度が、ゼロよりも大きく、かつ閾加速度値以下であるかどうかを判定する。３０２において、位置指示器１０２の加速度が、ゼロよりも大きく、かつ閾加速度値以下であると判定されない（かつ芯体１１４の先端部に加えられた圧力が、閾圧力値以上であると判定される）場合、方法３００は、３０４に進む。そうでない場合、方法３００は、３０６に進む。
３０４において、所定の位置から第１の方向に遠ざかって延びるオブジェクトを記述する可視化データが生成される。例えば、所定の位置は、処理デバイス１０４の入力面１１６などの、ゼロのＺ座標を有する平面に対応し、第１の方向は、入力面１１６の平面に直交する、増加する負のＺ座標値に対応する。次いで、方法３００は、３０８に進む。
３０６において、所定の位置から第２の方向に遠ざかって延びるオブジェクトを記述する可視化データが生成される。例えば、所定の位置は、処理デバイス１０４の入力面１１６などの、ゼロのＺ座標を有する平面に対応し、第２の方向は、入力面１１６の平面に直交する、増加する正のＺ座標値に対応する。次いで、方法３００は、３０８に進む。
３０８において、３０４または３０６において生成された可視化データが記憶される。例えば、処理デバイス１０４のマイクロプロセッサ１２８は、可視化データをメモリ１３４に記憶する。次いで、方法３００は、３１０に進む。
３１０において、３０４または３０６において生成された可視化データが送信される。１つ以上の実施形態において、処理デバイス１０４のマイクロプロセッサ１２８は、トランスミッタ１４２に、可視化データを可視化デバイス１０８に送信させる。１つ以上の実施形態において、マイクロプロセッサ１２８は、可視化データを処理デバイス１０４のディスプレイデバイス１３８に送信する。次いで、方法３００は、３１２に進む。
３１２において、可視化データが処理され、可視化データに基づいて、オブジェクトが表示される。１つ以上の実施形態において、可視化デバイス１０８は、２次元画像のレンダリングを実行して、可視化データによって記述されるオブジェクトの３次元（３Ｄ）表現を取得する。１つ以上の実施形態において、可視化デバイス１０８は、２次元画像のレンダリングを実行して、可視化データによって記述されるオブジェクトの２．５次元（２．５Ｄ）表現を取得し、可視化デバイス１０８の出力を見る観測者の３Ｄ環境が、観測者の網膜の２Ｄ平面上に投影される。１つ以上の実施形態において、マイクロプロセッサ１２８は、処理デバイス１０４のディスプレイデバイス１３８に、可視化データをレンダリングさせ、かつオブジェクトを表示させる。次いで、方法３００は終了する。
図６Ａは、本開示の１つ以上の実施形態による、方法３００の３１２において表示され得るオブジェクト１４６の斜視図を示す。図６Ｂは、図６Ａに示すオブジェクト１４６の側面図を示す。
図示された例において、可視化システム１００のユーザの手１４８が、位置指示器１０２を保持し、かつ芯体１１４の先端部を使用して、処理デバイス１０４の入力面１１６上に正方形状１５０の輪郭を描くものとする。処理デバイス１０４は、上述した方法２００の２０２において、位置指示器１０２の対応する位置を示す１つ以上の信号を受信する。また、ユーザは、処理デバイス１０４に、位置指示器１０２を形状１５０の輪郭上に配置したまま、位置指示器１０２のスイッチ１２０を閉位置またはオン位置に移動させることによって、形状１５０に基づく押し出し操作が実行されることとなることを示すものとする。処理デバイス１０４は、上述した方法２００の２０４において、スイッチ１２０の位置を示す信号を受信する。加えて、ユーザは、芯体１１４の先端部を処理デバイス１０４の入力面１１６に対して下方に押圧することによって押し出し操作が実行されることとなる方向を示すものとする。処理デバイス１０４は、上述した方法２００の２０８において、芯体１１４の先端部に加えられた圧力を示す信号を受信する。
さらに、上述した方法３００の３０２において、芯体１１４の先端部に加えられた圧力が、閾値以上であると判定されるため、処理デバイス１０４は、上述した方法３００の３０４において、オブジェクト１４６が、ユーザから遠ざかる方向に、処理デバイス１０４の入力面１１６に対応する平面から下方に延びていく可視化データを生成するものとする。オブジェクト１４６が下方に延びる程度は、芯体１１４の先端部に加えられた圧力の大きさ、及び／または芯体１１４の先端部に圧力を加える時間に基づく。すなわち、ユーザが芯体１１４の先端部に加える圧力が大きいほど、オブジェクト１４６が下方に延びる距離が大きくなる。同様に、ユーザが芯体１１４の先端部に圧力を加える時間が長いほど、オブジェクト１４６が下方に延びる距離が大きくなる。
例えば、入力面１１６はゼロのＺ座標に対応し、Ｚ座標は、入力面１１６から上方に離れるにつれて増加し、Ｚ座標は、入力面から下方に離れるにつれて減少するものとする。また、マイクロプロセッサ１２８は、オブジェクト１４６のＸ座標及びＹ座標がそれぞれ形状１５０のＸ座標及びＹ座標に対応し、かつオブジェクト１４６のＺ座標が、ゼロから、芯体１１４の先端部に加えられた圧力の大きさに対応する負の値までの範囲をとるように、オブジェクト１４６の座標を生成するものとする。したがって、上述した方法３００の３０４において処理デバイス１０４によって生成された可視化データが、上述した方法３００の３１２において可視化デバイス１０８によって表示されるとき、オブジェクト１４６は、図６Ｂに示すように、ユーザから遠ざかる方向に、処理デバイス１０４の入力面１１６に対応する表面から下方に延在して表示される。
図７Ａは、本開示の１つ以上の実施形態による、上述した方法３００の３１２において表示され得るオブジェクト１５２の斜視図を示す。図７Ｂは、図７Ａに示すオブジェクト１５２の側面図を示す。
図示された例において、可視化システム１００のユーザの手１４８が、位置指示器１０２を保持し、かつ芯体１１４の先端部を使用して、処理デバイス１０４の入力面１１６上に正方形状１５４の輪郭を描くものとする。処理デバイス１０４は、上述した方法２００の２０２において、位置指示器１０２の対応する位置を示す１つ以上の信号を受信する。さらに、ユーザは、処理デバイス１０４に、位置指示器１０２を形状１５４の輪郭上に配置したまま、位置指示器１０２のスイッチ１２０を開位置またはオフ位置から閉位置またはオン位置に移動させることによって、形状１５４に基づく押し出し操作が実行されることとなることを示すものとする。処理デバイス１０４は、上述した方法２００の２０４において、スイッチ１２０の位置を示す信号を受信する。
加えて、または代わりに、ユーザは、処理デバイス１０４に、芯体１１４の先端部を処理デバイス１０４の入力面１１６から遠ざけて上方に相対的にゆっくり移動させることによって押し出し操作が実行されることとなることを示すものとする。処理デバイス１０４は、上述した方法２００の２０６において、位置指示１０２の加速度を示す信号を受信する。さらに、位置指示１０２の加速度が、ゼロよりも大きく、かつ閾加速度値以下であると判定され、かつ上述した方法３００の３０２において、芯体１１４の先端部に加えられた圧力が、閾圧力値以上であると判定されないため、処理デバイス１０４は、上述した方法３００の３０６において、オブジェクト１５２が、ユーザに向かう方向に、処理デバイス１０４の入力面１１６に対応する平面から上方に延びていく可視化データを生成するものとする。オブジェクト１５２が上方に延びる程度は、芯体１１４の先端部と処理デバイス１０４の入力面１１６との間の距離の大きさに基づく。すなわち、芯体１１４の先端部と処理デバイス１０４の入力面１１６との間の距離が大きいほど、オブジェクト１５２が上方に延びる距離が大きくなる。
例えば、繰り返すが、入力面１１６はゼロのＺ座標に対応し、Ｚ座標は、入力面１１６から上方に離れるにつれて増加し、Ｚ座標は、入力面１１６から下方に離れるにつれて減少するものとする。また、マイクロプロセッサ１２８は、オブジェクト１５２のＸ座標及びＹ座標のそれぞれが形状１５４のＸ座標及びＹ座標に対応し、かつオブジェクト１５２のＺ座標が、ゼロから、芯体１１４の先端部と処理デバイス１０４の入力面１１６との間の距離に対応する正の値までの範囲をとるように、オブジェクト１５２の座標を生成するものとする。したがって、上述した方法３００の３０６において処理デバイス１０４によって生成された可視化データが、上述した方法３００の３１２において可視化デバイス１０８によって表示されるとき、オブジェクト１５２は、図７Ｂに示すように、ユーザに向かう方向に、処理デバイス１０４の入力面１１６に対応する表面から上方に延在して表示される。
本発明を用いると、ユーザは、デジタルデータでのオブジェクトの形状、向き、寸法などを直感的に指定し、このオブジェクトを、記載したような単一の入力デバイスを使用して、入力面の平面の上方または下方に、多次元の外観でレンダリングすることができる。
上述した様々な実施形態を組み合わせて、さらなる実施形態を提供することができる。本明細書を参照して様々な特許の概念を採用する必要がある場合、実施形態の態様を改変して、またさらなる実施形態を提供することができる。
上記に詳述した説明に照らして、これら及び他の変更を実施形態に行うことができる。一般に、以下の特許請求の範囲において、使用される用語は、特許請求の範囲を、明細書及び特許請求の範囲に開示された特定の実施形態に限定すると解釈されるものではなく、すべての可能な実施形態を、そのような特許請求の範囲に与えられるものと均等な全範囲とともに含むと解釈されるものである。したがって、特許請求の範囲は、本開示によって限定されない。

Claims (20)

  1. システムであって、
    複数の参照タグが外面上に設けられた筐体、
    前記筐体内に設けられ、かつ前記筐体の開口部を通して前記筐体から突出する先端部を有する芯体、
    前記芯体の前記先端部に加えられた圧力を検出する圧力検出器、及び、
    前記圧力検出器に結合され、前記芯体の前記先端部に加えられた前記圧力を示す１つ以上の信号を送信するトランスミッタ、
    を含む位置指示器と、
    前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号、及び、１つ以上の前記参照タグそれぞれの位置を示す１つ以上の信号を受信する少なくとも１つのレシーバ、
    前記少なくとも１つのレシーバに結合された少なくとも１つのプロセッサ、並びに、
    前記少なくとも１つのプロセッサによって実行される命令を記憶する少なくとも１つのメモリデバイス、
    を含む処理デバイスと、を備え、
    前記命令は、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号と、前記１つ以上の前記参照タグそれぞれの位置を示す前記１つ以上の信号とに基づいて、可視化デバイスによる表示の対象である可視化データを生成する処理を前記処理デバイスに実行させるものであり、
    前記可視化データは、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号に基づく方向に向かって所定の位置から延在するオブジェクトを記述するものである、
    システム。
  2. 前記少なくとも１つのメモリデバイスによって記憶される前記命令は、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号により前記圧力が所定の閾値よりも大きいことが示される場合に、前記可視化デバイスによって表示される前記オブジェクトが前記所定の位置から第１の所定の方向に向かって延在することとなるよう、前記処理デバイスに前記可視化データを生成させる、
    請求項１に記載のシステム。
  3. 前記少なくとも１つのメモリデバイスによって記憶される前記命令は、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号により前記圧力が前記所定の閾値よりも小さいことが示される場合に、前記可視化デバイスによって表示される前記オブジェクトが、前記所定の位置から前記第１の所定の方向とは反対の方向である第２の所定の方向に向かって延在することとなるよう、前記処理デバイスに前記可視化データを生成させる、
    請求項２に記載のシステム。
  4. 前記処理デバイスは、入力面を有するセンサを含み、
    前記センサは、前記位置指示器を検出し、検出した前記位置指示器の前記入力面上における位置を示す信号を出力し、
    前記少なくとも１つのメモリデバイスによって記憶される前記命令は、前記処理デバイスに、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号と、前記１つ以上の前記参照タグそれぞれの位置を示す前記１つ以上の信号と、前記センサによって検出された前記位置指示器の前記入力面上における前記位置を示す前記信号とに基づいて、前記可視化データを生成させる、
    請求項１に記載のシステム。
  5. 前記位置指示器はスイッチを含み、
    前記トランスミッタによって送信される前記１つ以上の信号は、前記芯体の前記先端部に加えられた前記圧力と、前記スイッチの状態とを示し、
    前記少なくとも１つのメモリデバイスによって記憶される前記命令は、前記処理デバイスに、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力及び前記スイッチの前記状態を示す前記１つ以上の信号と、前記１つ以上の前記参照タグそれぞれの位置を示す前記１つ以上の信号とに基づいて、前記可視化データを生成させる、
    請求項１に記載のシステム。
  6. 前記位置指示器は、前記位置指示器の加速度を示す信号を出力する加速度計を含み、
    前記トランスミッタによって送信される前記１つ以上の信号は、前記芯体の前記先端部に加えられた前記圧力と、前記位置指示器の前記加速度とを示し、
    前記少なくとも１つのメモリデバイスによって記憶される前記命令は、前記処理デバイスに、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力及び前記処理デバイスの前記加速度を示す前記１つ以上の信号と、前記１つ以上の前記参照タグそれぞれの位置を示す前記１つ以上の信号とに基づいて、前記可視化データを生成させる、
    請求項１に記載のシステム。
  7. システムであって、
    開口部を通して外部に突出する芯体を有する筐体、
    前記芯体の前記先端部に加えられた圧力を検出する圧力検出器、及び、
    前記圧力検出器に結合され、前記芯体の前記先端部に加えられた前記圧力を示す１つ以上の信号を送信するトランスミッタ、
    を含む位置指示器と、
    入力面を有し、該入力面に対する前記芯体の前記先端部の位置を示す信号を出力するセンサ、
    前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号を受信する少なくとも１つのレシーバ、
    前記センサ及び前記少なくとも１つのレシーバに結合された少なくとも１つのプロセッサ、及び、
    前記少なくとも１つのプロセッサによって実行される命令を記憶する少なくとも１つのメモリデバイス、
    を含む処理デバイスと、を備え、
    前記命令は、前記位置指示器の前記芯体の前記先端部の前記入力面上における前記位置を示す前記信号と、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号とに基づいて、可視化デバイスによる表示の対象である可視化データを生成する処理を前記処理デバイスに実行させるものであり、
    前記可視化データは、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号に基づく方向に向かって所定の位置から延在するオブジェクトを記述するものである、
    システム。
  8. 前記少なくとも１つのメモリデバイスによって記憶される前記命令は、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号により前記圧力が所定の閾値よりも大きいことが示される場合に、前記可視化デバイスによって表示される前記オブジェクトが前記所定の位置から第１の所定の方向に向かって延在することとなるよう、前記処理デバイスに前記可視化データを生成させる、
    請求項７に記載のシステム。
  9. 前記少なくとも１つのメモリデバイスによって記憶される前記命令は、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号により前記圧力が所定の閾値よりも小さいことが示される場合に、前記可視化デバイスによって表示される前記オブジェクトが前記所定の位置から前記第１の所定の方向とは反対の方向である第２の所定の方向に向かって延在することとなるよう、前記処理デバイスに前記可視化データを生成させる、
    請求項８に記載のシステム。
  10. 前記処理デバイスはスイッチを含み、
    前記トランスミッタによって送信される前記１つ以上の信号は、前記芯体の前記先端部に加えられた前記圧力と、前記スイッチの状態とを示し、
    前記少なくとも１つのメモリデバイスによって記憶される前記命令は、前記処理デバイスに、前記センサの前記入力面に対する前記芯体の前記先端部の前記位置を示す前記信号と、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力及び前記スイッチの前記状態を示す前記１つ以上の信号とに基づいて、前記可視化データを生成させる、
    請求項７に記載のシステム。
  11. 前記処理デバイスは、前記処理デバイスの加速度を示す信号を出力する加速度計を含み、
    前記トランスミッタによって送信される前記１つ以上の信号は、前記芯体の前記先端部に加えられた前記圧力と、前記処理デバイスの前記加速度とを示し、
    前記少なくとも１つのメモリデバイスによって記憶される前記命令は、前記処理デバイスに、前記センサの前記入力面に対する前記芯体の前記先端部の前記位置を示す前記信号と、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記１つ以上の信号と、前記処理デバイスの前記加速度とに基づいて、前記可視化データを生成させる、
    請求項７に記載のシステム。
  12. 方法であって、
    センサの表面に関連する３次元空間における位置指示器の１つ以上の空間位置を示す１つ以上の信号を受信すること、
    前記位置指示器の芯体の先端部に加えられた圧力を示す信号を受信すること、
    前記位置指示器の１つ以上の位置を示す前記１つ以上の信号と、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記信号とに基づいて、可視化データを生成すること、
    前記可視化データをディスプレイに供給すること、を含み、
    前記可視化データは、前記センサの前記表面の平面から、前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記信号に基づく方向に向かって遠ざかる方向に延在するオブジェクトを記述するものである、
    方法。
  13. 前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記信号により前記圧力が所定の閾値よりも大きいことが示される場合に、前記オブジェクトは、所定の位置から第１の所定の方向に延在する、
    請求項１２に記載の方法。
  14. 前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記信号により前記圧力が前記所定の閾値よりも小さいことが示される場合に、前記オブジェクトは、前記所定の位置から前記第１の所定の方向とは反対の方向である第２の所定の方向に延在する、
    請求項１３に記載の方法。
  15. 前記位置指示器のスイッチの状態を示す信号を受信することを含み、
    前記可視化データを前記生成することは、（ｉ）前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記信号と、（ｉｉ）前記位置指示器の１つ以上の空間位置を示す前記１つ以上の信号と、（ｉｉｉ）前記位置指示器の前記スイッチの前記状態を示す前記信号とに基づいて、前記可視化データを生成することを含む、
    請求項１２に記載の方法。
  16. 前記位置指示器の加速度を示す信号を受信することを含み、
    前記可視化データを前記生成することは、（ｉ）前記位置指示器の前記芯体の前記先端部に加えられた前記圧力を示す前記信号と、（ｉｉ）前記位置指示器の１つ以上の空間位置を示す前記１つ以上の信号と、（ｉｉｉ）前記位置指示器の前記加速度を示す前記信号とに基づいて、前記可視化データを生成することを含む、
    請求項１２に記載の方法。
  17. 前記位置指示器の１つ以上の空間位置を示す前記１つ以上の信号は、前記位置指示器上に設けられた複数の参照タグのうちの１つ以上の位置をそれぞれ示す１つ以上の信号を含む、
    請求項１２に記載の方法。
  18. 前記位置指示器の１つ以上の空間位置を示す前記１つ以上の信号は、前記センサの前記表面に対する前記位置指示器の前記先端部の位置を示す信号を含む、
    請求項１２に記載の方法。
  19. 前記可視化データに基づいて、前記オブジェクトの画像を表示すること、
    をさらに含む請求項１２に記載の方法。
  20. 前記オブジェクトの前記画像は、少なくとも部分的に、ヘッドマウントディスプレイによって表示される、
    請求項１９に記載の方法。
JP2022580858A 2020-07-01 2021-06-25 動的な形状スケッチングのためのシステム及び方法 Pending JP2023531302A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/918,939 US20220004299A1 (en) 2020-07-01 2020-07-01 Systems and methods for dynamic shape sketching
US16/918,939 2020-07-01
PCT/IB2021/055649 WO2022003511A1 (en) 2020-07-01 2021-06-25 Systems and methods for dynamic shape sketching

Publications (1)

Publication Number Publication Date
JP2023531302A true JP2023531302A (ja) 2023-07-21

Family

ID=79167759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022580858A Pending JP2023531302A (ja) 2020-07-01 2021-06-25 動的な形状スケッチングのためのシステム及び方法

Country Status (5)

Country Link
US (3) US20220004299A1 (ja)
EP (1) EP4176339A4 (ja)
JP (1) JP2023531302A (ja)
CN (1) CN115735182A (ja)
WO (1) WO2022003511A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1002622S1 (en) * 2023-03-09 2023-10-24 Shenzhen Zhexin Technology Co., Ltd. Stylus for touch screens

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308441B (zh) * 2004-10-12 2010-09-22 日本电信电话株式会社 三维显示控制方法和三维显示控制装置
WO2006058292A2 (en) 2004-11-29 2006-06-01 Purdue Research Foundation Methods for retrieving shapes and drawings
US7639250B2 (en) 2005-11-01 2009-12-29 Microsoft Corporation Sketching reality
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
EP3101513B1 (en) 2014-01-31 2018-06-13 Wacom Co., Ltd. Position indicator and position detecting device
GB2522855A (en) 2014-02-05 2015-08-12 Royal College Of Art Three dimensional image generation
JP6406697B2 (ja) 2014-09-17 2018-10-17 株式会社ワコム 位置検出装置及び位置検出方法
KR102344356B1 (ko) * 2015-06-26 2021-12-29 삼성전자주식회사 입력 장치, 그 입력 장치로부터 신호를 입력받는 전자기기 및 그 제어방법
JP6713772B2 (ja) 2016-01-06 2020-06-24 株式会社ワコム 位置指示器及び位置指示方法
US10234964B2 (en) * 2016-12-19 2019-03-19 Wacom Co., Ltd. Image processing apparatus
GB2564401B (en) * 2017-07-06 2020-10-07 Sony Interactive Entertainment Inc System and method of enhancing a 3D printed model
US10509489B2 (en) 2017-09-26 2019-12-17 Yong Bum Kim Systems and related methods for facilitating pen input in a virtual reality environment
US10297088B2 (en) * 2017-09-26 2019-05-21 Adobe Inc. Generating accurate augmented reality objects in relation to a real-world surface via a digital writing device
EP3745976A4 (en) * 2018-02-02 2021-10-06 Centerline Biomedical, Inc. GRAPHIC USER INTERFACE FOR MARKING ANATOMICAL STRUCTURES
WO2019195898A1 (ru) * 2018-04-10 2019-10-17 Национальная Академия Авиации Универсальный виртуальный симулятор
WO2019220803A1 (ja) * 2018-05-18 2019-11-21 株式会社ワコム 位置指示装置及び情報処理装置
US20190369752A1 (en) * 2018-05-30 2019-12-05 Oculus Vr, Llc Styluses, head-mounted display systems, and related methods
US10719143B2 (en) * 2018-08-03 2020-07-21 Logitech Europe S.A. Input device for use in an augmented/virtual reality environment

Also Published As

Publication number Publication date
EP4176339A4 (en) 2024-03-06
EP4176339A1 (en) 2023-05-10
CN115735182A (zh) 2023-03-03
US12001629B2 (en) 2024-06-04
WO2022003511A1 (en) 2022-01-06
US20220004299A1 (en) 2022-01-06
US20240281087A1 (en) 2024-08-22
US20230143456A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
JP6288372B2 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
CN108027654B (zh) 输入设备、输入方法和程序
CN108027656B (zh) 输入设备、输入方法和程序
CN111344663B (zh) 渲染装置及渲染方法
JP2017146651A (ja) 画像処理方法及び画像処理プログラム
US20240281087A1 (en) Systems and methods for dynamic shape sketching using position indicator and processing device that displays visualization data based on position of position indicator
TR201815821T4 (tr) Bir cihazın kontrolu için yöntem.
WO2018167843A1 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019059044A1 (ja) 情報処理装置、制御方法、及びプログラム
US20230136269A1 (en) Systems and methods for dynamic sketching with exaggerated content
US20210281966A1 (en) Information processing apparatus, program, and information processing method
CN106371736A (zh) 交互方法、交互设备及操作棒
US12001646B2 (en) Computer-implemented method, computer, and program for rendering a three-dimensional object in a virtual reality space

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240618