JP2023531303A - 誇張されたコンテンツを用いた動的なスケッチのためのシステム及び方法 - Google Patents

Abstract

システムは、位置指示器の位置を示し、かつ物理オブジェクトの表面を示す信号を受信する。システムは、位置指示器の位置及び物理オブジェクトの表面を示す信号に基づいて、物理オブジェクトの表面の一部分の記述を取得する。システムはまた、位置指示器の位置を示す信号に基づいて、位置指示器が物理オブジェクトの表面の一部分上または一部分の上方にあるかどうかを判定する。位置指示器が物理オブジェクトの表面の一部分上または一部分の上方にあると判定することに応答して、システムは、位置指示器の位置を示す信号に基づいて、入力ジェスチャに対応する座標を取得及び記憶する。したがって、位置指示器を、任意の物理表面上または物理表面の上方に配置しながら入力デバイスとして使用することができる。

Description

本開示は、デジタルデータで表される多次元オブジェクトのディメンジョンを指定することに関し、より具体的には、入力面を使用してそのような多次元オブジェクトの形状を動的にスケッチするためのシステム及び方法に関する。

ソフトウェアアプリケーションは、タブレットコンピュータのユーザが、例えば、タブレットコンピュータのタッチ画面デバイス上で入力操作を実行することによって、デジタルデータで表される多次元オブジェクトをスケッチするか、または他の方法で多次元オブジェクトのディメンジョンを指定することを可能にした。しかしながら、タッチ画面デバイスの入力面よりも大きいオブジェクトをスケッチすることは困難であり得る。

したがって、ユーザがデジタルデータで表される相対的に大きいオブジェクトの形状、向き、寸法などを指定することを可能にするために、入力ジェスチャを誇張または強調するシステム及び方法を提供することが望ましい。さらに、任意のサイズを有する任意の物理表面を、デジタルデータで表される多次元オブジェクトの形状、向き、寸法などを指定するための入力面として使用することを可能にするシステム及び方法を提供することが望ましい。

米国特許出願公開第２０１２／０２０６４５２号 米国特許第９，９３９，９３１号 米国特許第９，９６４，３９５号 米国特許第９，６００，０９６号 米国付与前公開第２０１６／０３４３１７４号

本開示は、ユーザが、任意のサイズを有する任意の物理表面を使用してデジタルデータで表される多次元オブジェクトの形状、向き、寸法などを指定することを可能にするシステム及び方法を教示する。さらに、本開示は、ユーザが、誇張されたユーザ入力ジェスチャを使用してデジタルデータで表される、相対的に大きい多次元オブジェクトの形状、向き、寸法などを指定することを可能にするシステム及び方法を教示する。

本開示の第１の実施形態による方法は、３次元空間における位置指示器の複数の空間位置を示す１つ以上の信号を受信することと、前記３次元空間における物理オブジェクトの表面を示す１つ以上の信号を受信することと、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号と、前記物理オブジェクトの前記表面を示す前記１つ以上の信号とに基づいて、前記物理オブジェクトの前記表面の一部分の記述を取得することと、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号に基づいて、前記位置指示器が前記物理オブジェクトの前記表面の前記一部分上または前記一部分の上方にあるかどうかを判定することと、前記位置指示器が前記物理オブジェクトの前記表面の前記一部分上または前記一部分の上方にあると判定することに応答して、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号に基づいて、入力ジェスチャに対応する座標を取得することと、前記入力ジェスチャに対応する前記座標を記憶することとを含むものとして概要され得る。

方法は、前記位置指示器の仮想表現を、前記物理オブジェクトの前記表面の前記一部分の仮想表現とともに表示することをさらに含んでもよい。

方法は、前記位置指示器のスイッチの複数の位置を示す１つ以上の信号を受信することと、前記位置指示器の前記スイッチの前記複数の位置を示す前記１つ以上の信号に基づいて、前記位置指示器の前記スイッチが第１の位置にあるかどうかを判定することとをさらに含んでもよく、前記入力ジェスチャに対応する前記座標を取得することは、前記位置指示器が前記物理オブジェクトの前記表面の前記一部分上または前記一部分の上方にあると判定することに応答したものであり、かつ前記位置指示器の前記スイッチが前記第１の位置にあると判定することに応答したものであってもよい。

前記物理オブジェクトの前記表面の前記一部分に対応する座標を第１の座標系から第２の座標系に変換することであって、前記第１の座標系は、前記第２の座標系とは異なる、変換することをさらに含んでもよい。

前記位置指示器は、複数の参照タグを含んでもよく、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記参照タグの複数の位置を示す。前記参照タグの各々は、前記参照タグ上に形成された視覚的に識別可能なパターンを含んでもよく、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記参照タグの複数の画像に対応する画像データを含んでもよい。前記参照タグの各々は発光してもよく、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記参照タグの複数の画像に対応する画像データを含んでもよい。

本開示の第１の実施形態による方法は、３次元空間における位置指示器の複数の空間位置を示す１つ以上の信号を受信することと、倍率を示す１つ以上の信号を取得することと、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号に基づいて、前記３次元空間における入力ジェスチャに対応する座標を取得することと、前記倍率を示す前記１つ以上の信号に基づいて、前記入力ジェスチャに対応する前記座標をスケーリングすることと、前記入力ジェスチャに対応する前記座標の前記スケーリングに基づいて、前記入力ジェスチャの仮想表現を表示することとを含むものとして概要され得る。

方法は、前記倍率を表示することをさらに含んでもよい。

方法は、前記位置指示器の一部に加えられた圧力を示す信号を受信することであって、前記倍率は、前記位置指示器の前記一部に加えられた前記圧力を示す前記信号に基づく、受信することをさらに含んでもよい。

方法は、前記位置指示器の加速度を示す信号を受信することであって、前記倍率は、前記位置指示器の前記加速度を示す前記信号に基づく、受信することをさらに含んでもよい。

方法は、前記位置指示器のスイッチの複数の位置を示す１つ以上の信号を受信することと、前記位置指示器の前記スイッチの前記複数の位置を示す前記１つ以上の信号に基づいて、前記位置指示器の前記スイッチが第１の位置にあるかどうかを判定することとをさらに含んでもよく、前記入力ジェスチャに対応する前記座標を取得することは、前記位置指示器の前記スイッチが前記第１の位置にあると判定することに応答したものである。

前記位置指示器の前記スイッチの前記複数の位置を示す前記１つ以上の信号に基づいて、前記位置指示器の前記スイッチが第２の位置にあるかどうかを判定することをさらに含んでもよく、前記入力ジェスチャに対応する前記座標を取得することは、前記位置指示器の前記スイッチが前記第２の位置にあると判定することに応答して終了する。

前記位置指示器は、複数の参照タグを含んでもよく、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記参照タグの複数の位置を示す。前記参照タグの各々は、前記参照タグ上に形成された視覚的に識別可能なパターンを含んでもよく、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記参照タグの複数の画像に対応する画像データを含んでもよい。前記参照タグの各々は発光してもよく、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記参照タグの複数の画像に対応する画像データを含んでもよい。

本開示の第３の実施形態によるシステムは、動作時に、３次元空間における位置指示器の複数の空間位置を示す１つ以上の信号と、前記３次元空間における物理オブジェクトの表面を示す１つ以上の信号とを受信する、１つ以上のレシーバと、前記１つ以上のレシーバに結合された１つ以上のプロセッサと、前記１つ以上のプロセッサに結合された１つ以上のメモリデバイスとを備え、前記１つ以上のメモリデバイスは、命令を記憶しており、前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号と、前記物理オブジェクトの前記表面を示す前記１つ以上の信号とに基づいて、前記物理オブジェクトの前記表面の一部分の記述を取得させ、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号に基づいて、前記位置指示器が前記物理オブジェクトの前記表面の前記一部分上または前記一部分の上方にあるかどうかを判定させ、前記位置指示器が前記物理オブジェクトの前記表面の前記一部分上または前記一部分の上方にあると判定することに応答して、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号に基づいて、入力ジェスチャに対応する座標を取得させ、前記入力ジェスチャに対応する前記座標を記憶させるものとして概要され得る。

前記１つ以上のメモリデバイスは、前記１つ以上のプロセッサによって実行されると、前記システムに、前記位置指示器の仮想表現を、前記物理オブジェクトの前記表面の前記一部分の仮想表現とともに表示させる命令を記憶してもよい。

前記１つ以上のメモリデバイスは、前記１つ以上のプロセッサによって実行されると、前記システムに、倍率の指示を取得させ、前記倍率と前記入力ジェスチャに対応する前記座標とに基づいて、スケーリングされた入力ジェスチャに対応する座標を取得させる命令を記憶してもよい。前記１つ以上のメモリデバイスは、前記１つ以上のプロセッサによって実行されると、システムに、前記スケーリングされた入力ジェスチャの仮想表現を表示させる命令を記憶してもよい。

図１は、本開示の１つ以上の実施形態による、可視化システムのブロック図を示す。 図２は、本開示の１つ以上の実施形態による、入力デバイスとして使用される位置指示器のブロック図を示す。 図３は、本開示の１つ以上の実施形態による、図２に示す位置指示器を介して入力を受信する処理デバイスのブロック図を示す。 図４は、本開示の１つ以上の実施形態による、図１に示す可視化システムによって実行され得る方法のフローチャートを示す。 図５Ａは、本開示の１つ以上の実施形態による、図１に示す可視化システムによって実行され得る方法のフローチャートを示す。 図５Ｂは、本開示の１つ以上の実施形態による、図１に示す可視化システムによって実行され得る方法のフローチャートを示す。 図６Ａは、本開示の１つ以上の実施形態による、図１に示す可視化システムの動作を説明するための図である。 図６Ｂは、本開示の１つ以上の実施形態による、図１に示す可視化システムの動作を説明するための図である。 図６Ｃは、本開示の１つ以上の実施形態による、図１に示す可視化システムの動作を説明するための図である。 図６Ｄは、本開示の１つ以上の実施形態による、図１に示す可視化システムの動作を説明するための図である。 図７は、本開示の１つ以上の実施形態による、図１に示す可視化システムによって実行され得る方法のフローチャートを示す。 図８Ａは、本開示の１つ以上の実施形態による、図１に示す可視化システムの動作を説明するための図である。 図８Ｂは、本開示の１つ以上の実施形態による、図１に示す可視化システムの動作を説明するための図である。

図１は、本開示の１つ以上の実施形態による、可視化システム１００のブロック図を示す。可視化システム１００は、位置指示器１０２、処理デバイス１０４、複数の追跡デバイス１０６ａ及び１０６ｂ、可視化デバイス１０８、並びにセンサ１０９を含む。図示された実施形態では、位置指示器１０２は、一端に開口部１１２が形成された中空の筐体１１０を含むが、位置指示器１０２の筐体は、他の異なる形態を有していてもよい。１つ以上の実施形態において、筐体１１０は、概して円筒状の形状を有する。筐体１１０は、本開示の範囲を逸脱することなく他の形状を有していてもよい。芯体１１４の先端部は、開口部１１２を通って筐体１１０から突出している。１つ以上の実施形態において、芯体１１４は、位置指示器の一部（例えば、芯体１１４の先端部）に加えられた圧力に対応する圧力を圧力検出器１１８に伝える棒状部材であり、圧力検出器１１８については、図２を参照して以下に記載する。１つ以上の実施形態において、芯体１１４は、導電材料で形成されている。１つ以上の実施形態において、芯体１１４は、非導電性であり、樹脂から形成されている。

これに代えて、またはこれに組み合わせて、１つ以上の実施形態において、開口部１１２は、筐体１１０の側面に形成されており、芯体１１４が開口部１１２を通って延在することによって、ユーザの指が、処理デバイス１０４に入力を与えるために、芯体に圧力を加えることを可能にする。図２を参照して以下に説明するように、位置指示器１０２は、処理デバイス１０４に、芯体１１４の先端部に加えられた圧力の量を示す信号を送信する。位置指示器１０２は、処理デバイス１０４の入力デバイスとして使用できる。

処理デバイス１０４は、例えばガラスなどの透明材料から形成された、入力面１１６を含む。１つ以上の実施形態において、処理デバイス１０４は、タブレットコンピュータである。図３を参照して以下に説明するように、入力面１１６の下方には、位置指示器１０２の現在の位置を追跡するセンサ１４０と、ディスプレイデバイス１３８とが設けられていてもよい。処理デバイス１０４は、ユーザによる位置指示器１０２の操作に基づいて、可視化データを生成し、可視化データを可視化デバイス１０８に送信し、可視化デバイス１０８は、可視化データに基づく画像を表示する。加えて、または代わりに、処理デバイス１０４のディスプレイデバイス１３８が、可視化データに基づく画像を表示してもよい。

１つ以上の実施形態において、可視化デバイス１０８及びディスプレイデバイス１３８は、各々、処理デバイス１０４によって生成された可視化データの部分を処理し、同時に画像を表示する。１つ以上の実施形態において、可視化デバイス１０８及びディスプレイデバイス１３８は、異なる画面リフレッシュレートで動作する。したがって、より高い画面リフレッシュレートで動作しているデバイスの処理を、より低い画面リフレッシュレートで動作しているデバイスにオフロードすることが望ましい場合がある。例えば、可視化デバイス１０８は、９０Ｈｚの画面リフレッシュレートで動作することができ、ディスプレイデバイス１３８は、６０Ｈｚの画面リフレッシュレートで動作することができ、そのような場合に、可視化デバイス１０８による可視化データの処理の一部またはすべてをディスプレイデバイス１３８にオフロードすることが望ましい場合がある。こうして、処理デバイス１０４は、可視化デバイス１０８の処理負荷がディスプレイデバイス１３８にオフロードされるように、可視化データを分割してもよい。

１つ以上の実施形態において、処理デバイス１０４は、可視化デバイス１０８から、可視化デバイス１０８の現在の処理負荷を示す信号を受信し、処理デバイス１０４は、現在の処理負荷に基づいて、可視化デバイス１０８及びディスプレイデバイス１３８に送信される可視化データの量を動的に調整する。１つ以上の実施形態において、処理デバイス１０４は、可視化デバイス１０８の現在の処理負荷を推定し、推定される現在の処理負荷に基づいて、可視化デバイス１０８及びディスプレイデバイス１３８に送信される可視化データの量を動的に調整する。例えば、可視化デバイス１０８の、示されるまたは推定される現在の処理負荷が、所定の閾値以上である場合、処理デバイス１０４は、可視化デバイス１０８に送信される可視化データの量を減少させ、ディスプレイデバイス１３８に送信される可視化データの量を増加させる。加えて、または代わりに、処理デバイス１０４は、同様の方式でディスプレイデバイス１３８から可視化デバイス１０８に処理をオフロードしてもよい。

追跡デバイス１０６ａ及び１０６ｂは、位置指示器１０２、特に、いくつかの実施形態では、位置指示器１０２の芯体１１４の先端部、の位置及び／または向きを追跡する。追跡デバイス１０６ａ及び１０６ｂを、追跡デバイス１０６と総称する。図１に示す実施形態は２つの追跡デバイス１０６を含むが、可視化システム１００は、本開示の範囲を逸脱することなく、異なる数の追跡デバイス１０６を含んでもよい。例えば、可視化システム１００は、本開示による、３つ、４つ、またはそれよりも多い追跡デバイス１０６を含んでもよい。１つ以上の実施形態において、可視化システム１００は、追跡デバイス１０６を全く含んでおらず、位置指示器１０２の芯体１１４の先端部の位置は、処理デバイス１０４のセンサ１４０のみを使用して追跡される。

１つ以上の実施形態において、追跡デバイス１０６は、位置指示器１０２の芯体１１４の先端部の位置及び／または向きを追跡するために、既知の光学モーション追跡技術を採用している。１つ以上の実施形態において、位置指示器１０２は、筐体１１０の外面上に取り付けられた光学マーカの形態をなす参照タグを有し、光学マーカは、光学的に検知できる、一意の、視覚的に識別可能な色またはパターンが各々の上に形成された、受動デバイスである。追跡デバイス１０６の各々は、光学マーカのうちの１つ以上の画像を取得して、対応する画像データを処理デバイス１０４に送信する、カメラを含んでもよい。処理デバイス１０４は、光学マーカの各々と位置指示器１０２の芯体１１４の先端部との間の空間的な関係を示すデータを記憶しており、既知の手法に従って画像データを処理することによって、位置指示器１０２の芯体１１４の先端部の現在の位置及び／または向きを判定する。１つ以上の実施形態において、光学マーカは、異なる波長を有する光を放出する発光デバイス（例えば、発光ダイオード）を各々が有する能動デバイスである。例えば、そのような光学マーカによって放出される光は、人間の目に見えない紫外光でもよい。１つ以上の実施形態において、追跡デバイス１０６は、Ｏｃｕｌｕｓ ＶＲから入手可能なＯｃｕｌｕｓ Ｒｉｆｔシステムの一部である、Ｃｏｎｓｔｅｌｌａｔｉｏｎセンサである。１つ以上の実施形態において、追跡デバイス１０６は、レーザ式追跡デバイスである。例えば、追跡デバイス１０６は、ＨＴＣ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＨＴＣ Ｖｉｖｅシステムの一部である、ＳｔｅａｍＶＲベースステーション２．０である。

可視化デバイス１０８は、処理デバイス１０４によって生成された可視化データを処理し、対応する画像を表示する。１つ以上の実施形態において、可視化デバイス１０８は、ヘッドマウントディスプレイデバイスである。１つ以上の実施形態において、可視化デバイス１０８は、ＨＴＣ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＨＴＣ Ｖｉｖｅシステムの一部である、ＨＴＣ Ｖｉｖｅ Ｐｒｏ仮想現実ヘッドセットである。１つ以上の実施形態において、可視化デバイス１０８は、Ｏｃｕｌｕｓ ＶＲから入手可能なＯｃｕｌｕｓ Ｒｉｆｔシステムの一部である、Ｏｃｕｌｕｓ Ｒｉｆｔ仮想現実ヘッドセットである。１つ以上の実施形態において、可視化デバイス１０８は、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＨｏｌｏＬｅｎｓ拡張現実ヘッドセットである。他のタイプのヘッドセット、とりわけ、例えば、Ｍａｇｉｃ Ｌｅａｐヘッドセット及びＭｅｔａヘッドセットが使用されてもよい。

１つ以上の実施形態において、可視化デバイス１０８は、センサ１０９を含み、センサ１０９を使用して、センサ１０９の視野内の物理オブジェクトのロケーションを追跡する。例えば、可視化デバイス１０８はヘッドマウントディスプレイであり、センサ１０９は一対のカメラを含み、各カメラは、可視化デバイス１０８のユーザの一方の目の近くに位置し、その目と実質的に同じ視野を有する。加えて、可視化デバイス１０８は、カメラによって撮像された画像に対応する画像データを処理デバイス１０４に送信するトランスミッタを含み、処理デバイス１０４は、画像データを処理し、カメラによって撮像されたオブジェクトの座標を、例えば従来の画像処理手法を使用して決定する。例えば、１つ以上の実施形態において、処理デバイス１０４は、特許文献１に記載されたオブジェクト認識エンジン（例えば、段落８７を参照）と同様の方式で構成されたオブジェクト認識ソフトウェアを含む。特許文献１は、参照によってその全体が本明細書に組み込まれる。あるいは、可視化デバイス１０８は、プロセッサ、及び命令を記憶したメモリを含み、命令は、プロセッサによって実行されると、可視化デバイス１０８に、カメラによって撮像されたオブジェクトの座標を決定させ、かつそれらの座標を処理デバイス１０４へ送信させる。

可視化システム１００の概説を提供したところで、次に、位置指示器１０２について、本開示の１つ以上の実施形態による、位置指示器１０２のブロック図を示す図２を参照して、より詳細に記載する。位置指示器１０２は、動作時に、例えばユーザが処理デバイス１０４の入力面１１６に対して芯体１１４の先端部を押圧したときに、芯体１１４の先端部に加えられる圧力を検出する、圧力検出器１１８を含む。１つ以上の実施形態において、圧力検出器１１８は、特許文献２に記載された圧力検知コンポーネント（例えば、１３欄、４９行～２２欄、１３行を参照）と同様の方式で構成されている。特許文献２は、参照によってその全体が本明細書に組み込まれる。

１つ以上の実施形態において、位置指示器１０２は、動作時に複数の位置のうちの１つにあるスイッチ１２０を含む。ユーザは、処理デバイス１０４に入力を与えるために、スイッチ１２０を作動させて、スイッチ１２０の位置を変化させることができる。例えば、スイッチ１２０は、ユーザがスイッチ１２０を押下している間、「閉」または「オン」位置にあり、ユーザがスイッチ１２０を押下しない間、「開」または「オフ」位置にある。１つ以上の実施形態において、スイッチ１２０は、特許文献２に記載されたサイドスイッチ（例えば、１１欄、２４～４９行を参照）と同様の方式で構成されている。１つ以上の実施形態において、位置指示器１０２は、コンピュータマウスの左ボタン及び右ボタンを操作することによって与えられる入力と同様の入力を与えるようにユーザが操作することができる、２つのスイッチ１２０を含む。

１つ以上の実施形態において、位置指示器１０２は、動作時に位置指示器１０２の加速度を示す信号を出力する加速度計１２２を含む。１つ以上の実施形態において、加速度計１２２は、微細加工された微小電気機械システム（ＭＥＭＳ）として構成されている。

位置指示器１０２はまた、圧力検出器１１８に結合されたトランスミッタ１２４を含み、トランスミッタ１２４は、動作時に、圧力検出器１１８によって検出された、芯体１１４の先端部に加えられた圧力を示す信号を送信する。１つ以上の実施形態において、トランスミッタ１２４は、Ｂｌｕｅｔｏｏｔｈ通信規格のうちの１つ以上に従って動作する。１つ以上の実施形態において、トランスミッタ１２４は、ＩＥＥＥ８０２．１１ファミリーの通信規格のうちの１つ以上に従って動作する。１つ以上の実施形態において、トランスミッタ１２４は、芯体１１４の先端部及び処理デバイス１０４のセンサ１４０を介して、信号を電磁誘導する。１つ以上の実施形態において、トランスミッタ１２４は、スイッチ１２０に結合されており、トランスミッタ１２４は、動作時に、スイッチ１２０の位置を示す信号を送信する。１つ以上の実施形態において、トランスミッタ１２４は、加速度計１２２に結合されており、トランスミッタ１２４は、動作時に、加速度計１２２によって検出された位置検出デバイス１０２の加速度を示す信号を送信する。

１つ以上の実施形態において、位置指示器１０２は、複数の参照タグ１２６ａ、１２６ｂ、及び１２６ｃを含む。参照タグ１２６ａ、１２６ｂ、及び１２６ｃを、本明細書では参照タグ１２６と総称する。参照タグ１２６は、追跡デバイス１０６によって追跡される。１つ以上の実施形態において、参照タグ１２６は、図１に関連して上述したように、位置指示器１０２の筐体１１０の外面に固設された受動光学マーカである。これに代えて、またはこれに加えて、１つ以上の実施形態において、参照タグ１２６は、追跡デバイス１０６によって検出される光または電波を能動的に放出する。図２に示す実施形態は３つの参照タグ１２６を含むが、位置指示器１０２は、異なる数の参照タグ１２６を含んでもよい。例えば、位置指示器１０２は、本開示による、４つ、５つ、６つ、またはそれよりも多い参照タグ１２６を含んでもよい。

位置指示器１０２についてより詳細に記載したところで、次に、処理デバイス１０４について、本開示の１つ以上の実施形態による、処理デバイス１０４のブロック図を示す図３を参照して、より詳細に記載する。処理デバイス１０４は、メモリ１３０及び中央処理装置（ＣＰＵ）１３２を有するマイクロプロセッサ１２８、メモリ１３４、入力／出力（Ｉ／Ｏ）回路１３６、ディスプレイデバイス１３８、センサ１４０、トランスミッタ１４２、並びにレシーバ１４４を含む。

メモリ１３４は、プロセッサ実行可能命令を記憶しており、プロセッサ実行可能命令は、ＣＰＵ１３２によって実行されると、処理デバイス１０４に、図４、５Ａ、５Ｂ、及び７に関連して記載した処理デバイス１０４の動作を実行させる。ＣＰＵ１３２は、命令を実行している間、メモリ１３０を作業メモリとして使用する。１つ以上の実施形態において、メモリ１３０は、１つ以上のランダムアクセスメモリ（ＲＡＭ）モジュール、及び／または、例えば電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）またはＦｌａｓｈメモリモジュールなどの、１つ以上の不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）モジュールからなる。

１つ以上の実施形態において、Ｉ／Ｏ回路１３６は、処理デバイス１０４に対するコマンドを入力するための、ボタン、スイッチ、ダイアル、ノブ、マイクロフォン、または他のユーザインターフェース要素を含んでもよい。Ｉ／Ｏ回路１３６はまた、処理デバイス１０４からの情報または指示を出力するための、１つ以上のスピーカ、１つ以上の発光デバイス、または他のユーザインターフェース要素を含んでもよい。

ディスプレイデバイス１３８は、操作者に対して情報をグラフィック表示する。マイクロプロセッサ１２８は、ディスプレイデバイス１３８を制御して、処理デバイス１０４によって生成された可視化データに基づいて情報を表示させる。１つ以上の実施形態において、ディスプレイデバイス１３８は、液晶ディスプレイ（ＬＣＤ）デバイスである。１つ以上の実施形態において、ディスプレイデバイス１３８は、適当なアイウェアを装着したユーザが、例えば３Ｄ対応テレビを介して３次元（３Ｄ）画像を見るのと同様のやり方で多次元画像を知覚することができるように、２つの画像を同時に表示する。

センサ１４０は、位置指示器１０２を検出し、センサ１４０の入力面（例えば、表面１１６）に対する位置指示器１０２の位置を示す信号を出力する。１つ以上の実施形態において、マイクロプロセッサ１２８は、センサ１４０から受信された信号を処理し、位置指示器１０２によって示される位置に対応するセンサ１４０の入力面上の（Ｘ，Ｙ）座標を取得する。１つ以上の実施形態において、マイクロプロセッサ１２８は、センサ１４０から受信された信号を処理し、位置指示器１０２が位置するセンサ１４０の入力面の上方の高さ（例えば、Ｚ座標）に加えて、位置指示器１０２によって示される位置に対応するセンサ１４０の入力面上の（Ｘ，Ｙ）座標を取得する。１つ以上の実施形態において、センサ１４０は、特許文献３に記載された位置検出センサ（例えば、７欄、３５行～１０欄、２７行を参照）と同様の方式で構成された誘導タイプのセンサである。特許文献３は、参照によってその全体が本明細書に組み込まれる。１つ以上の実施形態において、センサ１４０は、特許文献４に記載された位置検出センサ（例えば、６欄、５行～８欄、１７行を参照）と同様の方式で構成された容量タイプのセンサである。特許文献４は、参照によってその全体が本明細書に組み込まれる。

トランスミッタ１４２は、マイクロプロセッサ１２８に結合されており、トランスミッタ１４２は、動作時に、マイクロプロセッサ１２８によって生成された可視化データを可視化デバイス１０８に送信する。例えば、１つ以上の実施形態において、トランスミッタ１４２は、Ｂｌｕｅｔｏｏｔｈ及び／またはＩＥＥＥ８０２．１１ファミリーの通信規格のうちの１つ以上に従って動作する。レシーバ１４４は、マイクロプロセッサ１２８に結合されており、レシーバ１４４は、動作時に、追跡デバイス１０６及び可視化デバイス１０８から信号を受信する。例えば、１つ以上の実施形態において、レシーバ１４４は、Ｂｌｕｅｔｏｏｔｈ及び／またはＩＥＥＥ８０２．１１ファミリーの通信規格のうちの１つ以上に従って動作する。１つ以上の実施形態において、レシーバ１４４は、位置指示器１０２から信号を受信する。１つ以上の実施形態において、レシーバ１４４は、センサ１４０に含まれ、電磁誘導によって、位置指示器１０２の芯体１１４の先端部から１つ以上の信号を受信する。

可視化システム１００の構造について記載したところで、次に、可視化システム１００によって実行される方法２００の例について、本開示の１つ以上の実施形態による、方法２００のフローチャートを示す図４に関連して記載する。方法２００は、２０２において、例えば処理デバイス１０４の電源投入時に、始まる。

２０２において、３次元空間における位置指示器１０２の１つ以上の空間位置を示す１つ以上の信号が受信される。例えば、処理デバイス１０４のレシーバ１４４は、追跡デバイス１０６から１つ以上の信号を受信する。これに加えて、またはこの代わりに、マイクロプロセッサ１２８は、処理デバイス１０４のセンサ１４０から１つ以上の信号を受信する。次いで、方法２００は、２０４に進む。

２０４において、位置指示器１０２のスイッチ１２０の位置を示す信号が受信される。例えば、処理デバイス１０４のレシーバ１４４は、位置指示器１０２のトランスミッタ１２４から、スイッチ１２０の位置を示す信号を受信する。次いで、方法２００は、２０６に進む。

任意選択で、２０６において、位置指示器１０２の加速度を示す信号が受信される。例えば、処理デバイス１０４のレシーバ１４４は、位置指示器１０２のトランスミッタ１２４から、位置指示器１０２の加速度を示す信号を受信する。次いで、方法２００は、２０８に進む。

２０８において、芯体１１４の先端部に加えられた圧力を示す信号が受信される。例えば、処理デバイス１０４のレシーバ１４４は、位置指示器１０２のトランスミッタ１２４から、芯体１１４の先端部に加えられた圧力を示す信号を受信する。これに加えて、またはこの代わりに、処理デバイス１０４のセンサ１４０は、電磁誘導によって、位置指示器１０２の芯体１１４の先端部から、芯体１１４の先端部に加えられた圧力を示す信号を受信する。次いで、方法２００は、２１０に進む。

２１０において、可視化システム１００のユーザの近傍に位置する１つ以上の物理オブジェクトを示す１つ以上の信号が受信される。１つ以上の実施形態において、処理デバイス１０４のレシーバ１４４は、可視化デバイス１０８のセンサ１０９から、ユーザの近傍の３次元空間に位置する１つ以上の物理オブジェクトを示す信号を受信する。例えば、レシーバ１４４は、センサ１０９の一対のカメラによって生成された画像データを受信し、マイクロプロセッサ１２８は、画像データを処理し、カメラによって撮像されたオブジェクトの外面に対応する座標群を取得する。次いで、方法２００は、２１２に進む。

２１２において、２０２、２０４、２０６、２０８、及び２１０において受信された信号が処理される。１つ以上の実施形態において、それらの信号によって送信されたデータは、タイムスタンプを付与されて、処理デバイス１０４のメモリ１３０に記憶され、ＣＰＵ１３２は、このデータを、データと関連付けられたタイムスタンプに基づいて、時系列順に処理する。図５Ａ、５Ｂ、７に示すフローチャートに対応する処理が、以下で説明するように、２１２において実行されてもよい。次いで、方法２００は、２１４に進む。

２１４において、終了処理命令が受信されたかどうかの判定が行われる。例えば、マイクロプロセッサ１２８は、位置指示器１０２を使用して、処理デバイス１０４のディスプレイデバイス１３８によって表示される所定のアイコンまたはオブジェクトを選択したかどうかを判定する。他の一例として、マイクロプロセッサ１２８は、２１４において、終了操作に対応する音声コマンドが受信されたかどうかを判定する。２１４において終了操作が受信されたという判定が行われた場合、方法２００は、終了する。そうでない場合、方法２００は、２０２に戻る。

図５Ａ及び５Ｂは、本開示の１つ以上の実施形態による、上述した方法２００の２１２において可視化システム１００によって実行され得る方法３００のフローチャートを示す。方法３００は、３０２において、マイクロプロセッサ１２８が、入力面を定義するための命令が受信されたと判定することに応答して、始まる。例えば、マイクロプロセッサ１２８は、位置指示器１０２を使用して、処理デバイス１０４のディスプレイデバイス１３８によって表示される所定のアイコンまたはオブジェクトを選択したと判定する。他の一例として、方法３００は、３０２において、マイクロプロセッサ１２８が、入力面を定義するための命令に対応する音声コマンドが受信されたと判定することに応答して、始まる。

３０２において、入力面の記述が、取得される。１つ以上の実施形態において、マイクロプロセッサ１２８は、上述した方法２００の２０２において受信された位置指示器１０２の１つ以上の空間位置を示す１つ以上の信号を使用して、入力面として使用されることとなる表面の輪郭または境界の座標群を決定する。例えば、マイクロプロセッサ１２８は、位置指示器１０２の１つ以上の空間位置を示す１つ以上の信号を使用して、可視化デバイス１０８によって使用される基準ロケーション（例えば、座標系の原点）を基準とする「ローカル」座標系における、入力面に対応する領域の輪郭を取得する。次いで、方法３００は、３０４に進む。

３０４において、入力面が、仮想面として仮想環境に固定される。入力面が仮想面として仮想環境に固定されると、仮想面は、可視化デバイス１０８を装着したユーザが異なる物理ロケーションに移動しても、仮想環境に対して静止したままである。１つ以上の実施形態において、可視化システム１００は、特許文献５に記載されたもの（例えば、段落［００７４］を参照）と同様の位置検出部を含み、処理デバイス１０４は、特許文献５の図５に示され、かつ段落［００７４］～［００９９］に記載された方法を実行することによって、仮想面を表示する。特許文献５は、参照によってその全体が本明細書に組み込まれる。

１つ以上の実施形態において、マイクロプロセッサ１２８は、上述した方法２００の２１０において受信された可視化システム１００のユーザの近傍に位置する１つ以上の物理オブジェクトを示す１つ以上の信号を使用して、仮想環境において物理オブジェクトのモデルを構築する。例えば、マイクロプロセッサ１２８は、上述した方法３００の３０２において取得された入力面を記述する座標群を、可視化デバイス１０８の位置によって使用される基準ロケーションを基準とする「ローカル」座標系から、可視化システム１００のユーザの近傍の物理ロケーションに対応する仮想基準ロケーションを使用する仮想環境に対応する「グローバル」座標系に、変換または他の方法で変えて、変換された座標群を使用して、可視化システム１００のユーザの近傍の物理表面を分割または境界付けする。言い換えると、マイクロプロセッサ１２８は、３０２において取得された入力面の記述（例えば、輪郭）上及び／または内にある物理表面の座標群を、境界付けされた物理表面に対応する仮想入力面に割り当てる。次いで、方法３００は、３０６に進む。

３０６において、３０４において取得された仮想入力面を記述するデータが送信される。１つ以上の実施形態において、処理デバイス１０４のマイクロプロセッサ１２８は、トランスミッタ１４２に、仮想入力面を記述するデータを可視化デバイス１０８に送信させる。１つ以上の実施形態において、マイクロプロセッサ１２８は、仮想入力面を記述するデータを処理デバイス１０４のディスプレイデバイス１３８に送信する。次いで、方法３００は、３０８に進む。

３０８において、仮想入力面を記述するデータがレンダリングされ、仮想入力面が表示される。１つ以上の実施形態において、可視化デバイス１０８は、２次元画像のレンダリングを実行して、仮想入力面の３次元（３Ｄ）表現を取得する。１つ以上の実施形態において、マイクロプロセッサ１２８は、処理デバイス１０４のディスプレイデバイス１３８に、可視化データをレンダリングさせ、仮想入力面を表示させる。次いで、方法３００は、３１０に進む。

３１０において、位置指示器１０２が入力面上または入力面の上方に位置するかどうかの判定が行われる。１つ以上の実施形態において、マイクロプロセッサ１２８は、上述した方法２００の２０２において受信された位置指示器１０２の１つ以上の空間位置を示す１つ以上の信号を使用して、位置指示器１０２が入力面上または入力面の上方に位置するかどうかを判定する。位置指示器１０２が入力面上または入力面の上方に位置するとの判定が行われた場合、方法３００は、３１２に進む。そうでない場合、方法３００は、３０８に戻る。

３１２において、位置指示器１０２のスイッチが押下されたかどうかの判定が行われる。例えば、マイクロプロセッサ１２８は、上述した方法２００の２０４において受信されたスイッチ１２０の位置を示す信号に基づいて、位置指示器１０２のスイッチ１２０が「オン」位置または「閉」位置にあるかどうかを判定する。位置指示器１０２のスイッチ１２０が「オン」位置または「閉」位置にあるとの判定が行われた場合、方法３００は、３１４に進む。そうでない場合、方法３００は、３０８に戻る。

３１４において、入力ジェスチャに対応する座標群が取得される。１つ以上の実施形態において、マイクロプロセッサ１２８は、位置指示器１０２が入力面上または入力面の上方に配置されている状態で上述した方法２００の２０２において受信された位置指示器１０２の１つ以上の空間位置を示す１つ以上の信号を使用して、入力ジェスチャに対応する座標群を取得する。次いで、方法３００は、３１６に進む。

３１６において、入力ジェスチャに対応する変換された座標群を取得するために、入力ジェスチャに対応する座標群が変換される。１つ以上の実施形態において、処理デバイス１０４のマイクロプロセッサ１２８は、３１４において取得された入力ジェスチャを記述する座標群を、仮想環境に対応する「グローバル」座標系から、可視化デバイス１０８によって使用される基準位置を基準とする「ローカル」座標系に、変換または他の方法で変える。次いで、方法３００は、３１８に進む。

３１８において、３１４または３１６において取得された入力ジェスチャに対応する座標群が送信される。１つ以上の実施形態において、処理デバイス１０４のマイクロプロセッサ１２８は、トランスミッタ１４２に、３１４または３１６において取得された入力ジェスチャに対応する座標群を可視化デバイス１０８に送信させる。１つ以上の実施形態において、マイクロプロセッサ１２８は、３１４または３１６において取得された入力ジェスチャに対応する座標群を処理デバイス１０４のディスプレイデバイス１３８に送信する。次いで、方法３００は、３２０に進む。

３２０において、入力ジェスチャがレンダリング及び表示される。１つ以上の実施形態において、可視化デバイス１０８は、２次元画像のレンダリングを実行して、入力ジェスチャの３次元（３Ｄ）表現を取得する。１つ以上の実施形態において、マイクロプロセッサ１２８は、処理デバイス１０４のディスプレイデバイス１３８に、入力ジェスチャをレンダリング及び表示させる。次いで、方法３００は、３２２に進む。

３２２において、位置指示器のスイッチが解放されたかどうかの判定が行われる。例えば、マイクロプロセッサ１２８は、上述した方法２００の２０４において受信されたスイッチ１２０の位置を示す信号に基づいて、位置指示器１０２のスイッチ１２０が「オフ」位置または「開」位置にあるかどうかを判定する。位置指示器１０２のスイッチ１２０が「オフ」位置または「開」位置にあるとの判定が行われた場合、入力ジェスチャに対応する座標群の取得を終了し、方法３００は、３２４に進む。そうでない場合、方法３００は、３１４に戻り、入力ジェスチャに対応する追加の座標群が取得される。

３２４において、３１４または３１６において取得された入力ジェスチャに対応する座標群が記憶される。１つ以上の実施形態において、処理デバイス１０４のマイクロプロセッサ１２８は、３１４または３１６において取得された入力ジェスチャに対応する座標群をメモリ１３０及び／またはメモリ１３４に記憶させる。次いで、方法３００は、終了する。

図６Ａ、６Ｂ、６Ｃ、及び６Ｄは、本開示の１つ以上の実施形態による、上述した方法３００の間の可視化システム１００の動作を説明するための図である。図６Ａに示すように、ユーザ１４４は、テーブル１４６を含む環境に物理的に位置するものとする。追跡デバイス１０６ａ及び１０６ｂもまた、この環境において、ユーザ１４４の近傍に物理的に位置する。さらに、ユーザ１４４は、可視化デバイス１０８を装着している。

図６Ｂに示すように、ユーザ１４４は、位置指示器１０２を使用してテーブル１４６の上面１５０上にパターン１４８をスケッチすることで、テーブル１４６の上面１５０上の部分１５２を入力面として指定する。処理デバイス１０４は、位置指示器１０２を使用して上述した方法３００の３０２においてパターン１４８をスケッチする間、位置指示器１０２の座標を受信する。次いで、ユーザ１４４は、処理デバイス１０４に、例えば、位置指示器１０２のスイッチ１２０を使用して「ダブルクリック」操作を実行することによって、または対応する音声コマンドを発行することによって、テーブル１４６の上面１５０の部分１５２が入力面として使用されることを示す。

これに応答して、処理デバイス１０４は、上述した方法３００の３０４において、テーブル１４６の上面１５０の部分１５２を入力面として固定する。次いで、処理デバイス１０４は、上述した方法３００の３０６において、テーブル１４６の上面１５０の部分１５２の対応する位置データを可視化デバイス１０８に送信する。可視化デバイス１０８は、上述した方法３００の３０８において、テーブル１４６の上面１５０の部分１５２の仮想表現を表示する。テーブル１４６の上面１５０の部分１５２を、以後、入力面１５２と称する。図６Ｃは、可視化デバイス１０８によって表示される、位置指示器１０２の仮想表現１０２'、テーブル１４６の仮想表現１４６'、及びテーブル１４６の上面１５０の仮想表現１５０'に固定された入力面１５２の仮想表現１５２'の例を示す。

１つ以上の実施形態において、可視化デバイス１０８は、視覚的に識別可能な方式で、入力面１５２の仮想表現１５２'を表示する。例えば、可視化デバイス１０８は、ユーザ１４４が可視化デバイス１０８の出力を見ながら入力面１５２の仮想表現１５２'を容易に識別することができるように、識別可能な色で、または識別可能な明るさで、入力面１５２の仮想表現１５２'を表示する。

図６Ｄに示すように、ユーザ１４４は、次いで、位置指示器１０２を入力面１５２上または入力面１５２の上方で移動させ、処理デバイス１０４のセンサ１４０の入力面１１６上または入力面１１６の上方で位置指示器１０２を使用するのと同様の方式で、入力面１５２を使用することができる。例えば、入力面１５２上または入力面１５２の上方で位置指示器１０２を使用しながら、ユーザ１４４は、位置指示器１０２のスイッチ１２０を押下して、処理デバイス１０４に、位置指示器１０２の後続のロケーション群の座標群を入力ジェスチャとして記憶するように示してもよい。処理デバイス１０４は、上述した方法３００の３１０及び３１２のそれぞれにおいて、位置指示器１０２が入力面１５２上または入力面１５２の上方に位置すること、ユーザ１４４が位置指示器１０２のスイッチ１２０を押下したこと、を判定する。

続いて、処理デバイス１０４は、上述した方法３００の３１４において、入力ジェスチャに対応する座標群を取得するが、この座標は、仮想環境に対応する「グローバル」座標系でのものである。処理デバイス１０４はまた、上述した方法３００の３１６において、この座標群を、可視化デバイス１０８の「ローカル」座標系での対応する座標群に、変換または他の方法で変える。処理デバイス１０４は、上述した方法３００の３１８において、この座標群を可視化デバイス１０８に送信する。可視化デバイス１０８は、入力ジェスチャを、例えば、入力ジェスチャに対応する座標群を相互接続する線分として表示する。次いで、ユーザ１４４は、位置指示器１０２のスイッチ１２０を解放して、処理デバイス１０４に、位置指示器１０２のロケーション群の座標群を入力ジェスチャとして記憶することを停止するように示してもよい。処理デバイス１０４は、上述した方法３００の３２２において、ユーザ１４４が位置指示器１０２のスイッチ１２０を解放したと判定する。次いで、処理デバイス１０４は、上述した方法３００の３２４において、入力ジェスチャに対応する座標群を記憶する。

図７は、本開示の１つ以上の実施形態による、上述した方法２００の２１２において可視化システム１００によって実行され得る方法４００のフローチャートを示す。方法４００は、４０２において、例えば、マイクロプロセッサ１２８が、誇張された入力処理を実行するための命令が受信されたと判定することに応答して、始まる。例えば、マイクロプロセッサ１２８は、位置指示器１０２を使用して、処理デバイス１０４のディスプレイデバイス１３８によって表示される所定のアイコンまたはオブジェクトを選択したと判定する。他の一例として、方法４００は、４０２において、マイクロプロセッサ１２８が、誇張された入力処理を実行するための命令に対応する音声コマンドが受信されたと判定することに応答して、始まる。さらに他の例として、マイクロプロセッサ１２８は、位置指示器１０２の加速度データを評価するか、または位置指示器１０２によってなされた入力ジェスチャに対応する座標データを評価し、評価されたデータから、誇張された入力処理を実行する命令が受信されたと判定してもよい。

４０２において、位置指示器１０２のスイッチ１２０が押下されたかどうかの判定が行われる。例えば、マイクロプロセッサ１２８は、２０４において受信されたスイッチ１２０の位置を示す信号に基づいて、位置指示器１０２のスイッチ１２０が「オン」位置または「閉」位置にあるかどうかを判定する。位置指示器１０２のスイッチ１２０が「オン」位置または「閉」位置にあるとの判定が行われた場合、方法４００は、４０４に進む。そうでない場合、方法４００は、４０２に戻る。

４０４において、位置指示器１０２を使用して実行された入力ジェスチャに対応する座標群が取得される。１つ以上の実施形態において、処理デバイス１０４のマイクロプロセッサ１２８は、上述した方法２００の２０２において受信された位置指示器１０２の位置を示す信号に基づいて、入力ジェスチャに対応する座標群を取得する。次いで、方法４００は、４０６に進む。

４０６において、位置指示器１０２のスイッチ１２０が解放されたかどうかの判定が行われる。例えば、マイクロプロセッサ１２８は、方法２００の２０４において受信されたスイッチ１２０の位置を示す信号に基づいて、位置指示器１０２のスイッチ１２０が「オフ」位置または「開」位置にあるかどうかを判定する。位置指示器１０２のスイッチ１２０が「オフ」位置または「開」位置にあるとの判定が行われた場合、方法４００は、４０８に進む。そうでない場合、方法４００は、４０４に戻る。

４０８において、４０４において取得された入力ジェスチャに対応する座標群がスケーリングされる。１つ以上の実施形態において、処理デバイス１０４のマイクロプロセッサ１２８は、所定の倍率を使用して、入力ジェスチャに対応する座標群をスケーリングする。例えば、マイクロプロセッサ１２８は、位置指示器１０２を使用して処理デバイス１０４のディスプレイデバイス１３８によって表示される所定のアイコンまたはオブジェクトが選択されたことに応答して、倍率を示す１つ以上の信号を取得してもよい。次いで、方法４００は、４１０に進む。

例えば、倍率が「１０」に設定される場合、マイクロプロセッサ１２８は、実際の入力ジェスチャが１０の倍率で拡大されるように、座標群をスケーリングする。言い換えると、入力ジェスチャが、ユーザが１メートルの長さを有する弧をなして位置指示器１０２を初期ロケーションから移動させることに対応する場合、マイクロプロセッサ１２８は、スケーリングされた座標群が、実際の入力ジェスチャと同じ相対形状をなす、対応する初期ロケーションから１０メートルの長さに延在する弧を定義するように、座標群をスケーリングする。

同様に、例えば、倍率が「－１０」または「１／１０」に設定される場合、マイクロプロセッサ１２８は、実際の入力ジェスチャが１０の倍率で縮小されるように、座標群をスケーリングする。言い換えると、入力ジェスチャが、ユーザが１メートルの長さを有する弧をなして位置指示器１０２を初期ロケーションから移動させることに対応する場合、マイクロプロセッサ１２８は、スケーリングされた座標群が、実際の入力ジェスチャと同じ相対形状をなす、対応する初期ロケーションから１メートルの１０分の１の長さに延在する弧を定義するように、座標群をスケーリングする。したがって、倍率を、ユーザが相対的に小さいオブジェクトをより正確にスケッチすることを可能にするように設定することができる。

１つ以上の実施形態において、処理デバイス１０４のマイクロプロセッサ１２８は、位置指示器１０２の筐体１１０の側面に形成された開口部から延在し得る芯体１１４の先端部に加えられた圧力の量に基づいて動的に取得される倍率を使用して、入力ジェスチャに対応する座標群をスケーリングする。例えば、マイクロプロセッサ１２８は、上述した方法２００の２０８において受信された芯体１１４の先端部に加えられた圧力を示す信号に基づいて、倍率を動的に取得する。したがって、ユーザは、芯体１１４の先端部に圧力を加えることによって、処理デバイス１０４に倍率を示すことができる。１つ以上の実施形態において、処理デバイス１０４は、可視化デバイス１０８及び／またはディスプレイデバイス１３８に、倍率を表示させる。したがって、表示された倍率を見るユーザは、所望の倍率を設定するために、芯体１１４の先端部に加えられる圧力を増加、減少、または維持するべきかどうかを判定することができる。

１つ以上の実施形態において、倍率は、芯体１１４の先端部に加えられる圧力に正比例する。例えば、倍率は、ユーザが芯体１１４の先端部に加える圧力が増加するにつれて増加する。他の一例として、倍率は、ユーザが芯体１１４の先端部に加える圧力が増加するにつれて減少する。

１つ以上の実施形態において、ユーザが、入力ジェスチャの種々のセグメントの間に所定の閾量よりも大きく、芯体１１４の先端部に加えられる圧力の量を変化させる場合、マイクロプロセッサ１２８は、倍率を動的に調整する。したがって、マイクロプロセッサ１２８は、入力ジェスチャの種々のセグメントに対して種々の倍率を使用してもよい。

１つ以上の実施形態において、処理デバイス１０４のマイクロプロセッサ１２８は、位置指示器１０２の加速度に基づいて動的に取得される倍率を使用して、入力ジェスチャに対応する座標群をスケーリングする。マイクロプロセッサ１２８は、上述した方法２００の２０６において受信された位置指示器１０２の加速度を示す信号に基づいて、倍率を動的に取得してもよい。例えば、ユーザは、位置指示器１０２を加速させることによって処理デバイス１０４に倍率を示すことができ、位置指示器１０２の加速度が大きいほど、処理デバイス１０４によって使用される倍率が大きい。

４１０において、４０８においてスケーリングされた入力ジェスチャに対応する座標群が記憶される。１つ以上の実施形態において、処理デバイス１０４のマイクロプロセッサ１２８は、４０８においてスケーリングされた入力ジェスチャに対応する座標群をメモリ１３０及び／またはメモリ１３４に記憶させる。次いで、方法４００は、４１２に進む。

４１２において、４１０において記憶された入力ジェスチャに対応する座標群が送信される。１つ以上の実施形態において、処理デバイス１０４のマイクロプロセッサ１２８は、トランスミッタ１４２に、４０８においてスケーリングされた入力ジェスチャに対応する座標群を可視化デバイス１０８に送信させる。１つ以上の実施形態において、マイクロプロセッサ１２８は、４０８においてスケーリングされた入力ジェスチャに対応する座標群を処理デバイス１０４のディスプレイデバイス１３８に送信する。次いで、方法４００は、４１４に進む。

４１４において、入力ジェスチャの仮想表現が表示される。１つ以上の実施形態において、可視化デバイス１０８は、２次元画像のレンダリングを実行して、入力ジェスチャの３次元（３Ｄ）表現を取得する。１つ以上の実施形態において、マイクロプロセッサ１２８は、処理デバイス１０４のディスプレイデバイス１３８に、入力ジェスチャの仮想表現を表示させる。次いで、方法４００は、終了する。

図８Ａ及び８Ｂは、本開示の１つ以上の実施形態による、上述した方法４００の間の可視化システム１００の動作を説明するための図である。位置指示器１０２のスイッチ１２０を押下しながら、ユーザ１４４は、図８Ａに示すように、位置指示器１０２を、入力ジェスチャ１５８に対応する弧をなして初期位置１５４から最終位置１５６まで移動させ、位置指示器１０２のスイッチ１２０を解放する。処理デバイス１０４は、上述した方法４００の４０２において位置指示器１０２のスイッチ１２０が押下されたと判定する。これに応答して、処理デバイス１０４は、上述した方法４００の４０６において位置指示器１０２のスイッチ１２０が解放されたと判定するまで、上述した方法４００の４０４において入力ジェスチャ１５８に対応する座標群を取得する。次いで、処理デバイス１０４は、上述した方法４００の４０８において、入力ジェスチャ１５８に対応する座標群をスケーリングする。次いで、処理デバイス１０４は、上述した方法４００の４１０において、入力ジェスチャ１５８に対応するスケーリングされた座標群を記憶する。処理デバイス１０４はまた、上述した方法４００の４１２において、入力ジェスチャ１５８に対応するスケーリングされた座標群を送信する。

可視化デバイス１０８は、上述した方法４００の４１４において、スケーリングされた入力ジェスチャ１６０の仮想表現を表示する。図８Ｂは、可視化デバイス１０８によって表示される仮想環境を示す。仮想環境は、縮尺に従ったユーザ１４４の仮想表現１４４'と、スケーリングされた入力ジェスチャ１６０の仮想表現とを含む。図８Ａと図８Ｂとを比較することによって分かるように、スケーリングされた入力ジェスチャ１６０は、実際の入力ジェスチャ１５８の何倍も大きい。上述した方法４００の４１４において、可視化デバイス１０８は、スケーリングされた入力ジェスチャ１６０を作るのに使用された倍率を示すメッセージ１６２を表示してもよい。さらに、上述した方法４００の４１４において、可視化デバイス１０８は、倍率に基づく符号１６４を表示して、スケーリングされた入力ジェスチャ１６０のスケーリングされたディメンジョンをユーザ１４４に視覚的に示してもよい。したがって、方法４００が実行される場合、ユーザ１４４は、位置指示器１０２の簡易な操作を通じて、相対的に大きいオブジェクトを容易にスケッチすることができる。

上述した様々な実施形態を組み合わせて、さらなる実施形態を提供することができる。本明細書において参照される様々な特許の概念を採用する必要がある場合、実施形態の態様を改変して、またさらなる実施形態を提供することができる。

上記に詳述した説明に照らして、これら及び他の変更を実施形態に行うことができる。一般に、以下の特許請求の範囲において、使用される用語は、特許請求の範囲を、明細書及び特許請求の範囲に開示された特定の実施形態に限定すると解釈されるものではなく、すべての可能な実施形態を、そのような特許請求の範囲に与えられるものと均等な全範囲とともに含むように解釈されるものである。したがって、特許請求の範囲は、本開示によって限定されない。

Claims (20)

1. 方法であって、
   ３次元空間における位置指示器の複数の空間位置を示す１つ以上の信号を受信することと、
   前記３次元空間における物理オブジェクトの表面を示す１つ以上の信号を受信することと、
   前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号と、前記物理オブジェクトの前記表面を示す前記１つ以上の信号とに基づいて、前記物理オブジェクトの前記表面の一部分の記述を取得することと、
   前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号に基づいて、前記位置指示器が前記物理オブジェクトの前記表面の前記一部分上または前記一部分の上方にあるかどうかを判定することと、
   前記位置指示器が前記物理オブジェクトの前記表面の前記一部分上または前記一部分の上方にあると判定することに応答して、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号に基づいて、入力ジェスチャに対応する座標群を取得することと、
   前記入力ジェスチャに対応する前記座標群を記憶することと、
   を含む方法。
2. 前記位置指示器の仮想表現を、前記物理オブジェクトの前記表面の前記一部分の仮想表現とともに表示すること、
   をさらに含む請求項１に記載の方法。
3. 前記位置指示器のスイッチの状態を示す１つ以上の信号を受信することと、
   前記位置指示器の前記スイッチの前記状態を示す前記１つ以上の信号に基づいて、前記位置指示器の前記スイッチが第１の位置にあるかどうかを判定することと、をさらに含み、
   前記入力ジェスチャに対応する前記座標群を取得することは、前記位置指示器が前記物理オブジェクトの前記表面の前記一部分上または前記一部分の上方にあると判定することに応答したものであり、かつ前記位置指示器の前記スイッチが前記第１の位置にあると判定することに応答したものである、
   請求項１に記載の方法。
4. 前記物理オブジェクトの前記表面の前記一部分に対応する座標群を、第１の座標系から、前記第１の座標系とは異なる第２の座標系に変換すること、
   をさらに含む請求項１に記載の方法。
5. 前記位置指示器は、複数の参照タグを含み、
   前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記複数の参照タグそれぞれの位置を示す、請求項１に記載の方法。
6. 前記複数の参照タグそれぞれの表面には、視覚的に識別可能なパターンが形成されており、
   前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記複数の参照タグそれぞれの画像に対応する画像データを含む、
   請求項５に記載の方法。
7. 前記参照タグの各々は発光し、
   前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記複数の参照タグそれぞれの画像に対応する画像データを含む、
   請求項５に記載の方法。
8. 方法であって、
   ３次元空間における位置指示器の複数の空間位置を示す１つ以上の信号を受信することと、
   倍率を示す１つ以上の信号を取得することと、
   前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号に基づいて、前記３次元空間における入力ジェスチャに対応する座標群を取得することと、
   前記倍率を示す前記１つ以上の信号に基づいて、前記入力ジェスチャに対応する前記座標群をスケーリングすることと、
   前記入力ジェスチャに対応する前記座標群の前記スケーリングに基づいて、前記入力ジェスチャの仮想表現を表示することと、
   を含む方法。
9. 前記倍率を表示すること、
   をさらに含む請求項８に記載の方法。
10. 前記位置指示器の一部に加えられた圧力を示す信号を受信すること、をさらに含み、
    前記倍率は、前記位置指示器の前記一部に加えられた前記圧力を示す前記信号に基づくものである、
    請求項８に記載の方法。
11. 前記位置指示器の加速度を示す信号を受信すること、をさらに含み、
    前記倍率は、前記位置指示器の前記加速度を示す前記信号に基づくものである、
    請求項８に記載の方法。
12. 前記位置指示器のスイッチの状態を示す１つ以上の信号を受信することと、
    前記位置指示器の前記スイッチの前記状態を示す前記１つ以上の信号に基づいて、前記位置指示器の前記スイッチが第１の位置にあるかどうかを判定することと、をさらに含み、
    前記入力ジェスチャに対応する前記座標群を取得することは、前記位置指示器の前記スイッチが前記第１の位置にあると判定することに応答したものである、
    請求項８に記載の方法。
13. 前記位置指示器の前記スイッチの前記状態を示す前記１つ以上の信号に基づいて、前記位置指示器の前記スイッチが第２の位置にあるかどうかを判定すること、をさらに含み、
    前記入力ジェスチャに対応する前記座標群を取得することは、前記位置指示器の前記スイッチが前記第２の位置にあると判定することに応答して終了する、
    請求項１２に記載の方法。
14. 前記位置指示器は、複数の参照タグを含み、
    前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記複数の参照タグそれぞれの位置を示す、
    請求項８に記載の方法。
15. 前記複数の参照タグそれぞれの表面には、視覚的に識別可能なパターンが形成されており、
    前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記複数の参照タグそれぞれの画像に対応する画像データを含む、
    請求項１４に記載の方法。
16. 前記参照タグの各々は発光し、
    前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号は、前記複数の参照タグそれぞれの画像に対応する画像データを含む、
    請求項１４に記載の方法。
17. システムであって、
    ３次元空間における位置指示器の複数の空間位置を示す１つ以上の信号、及び、前記３次元空間における物理オブジェクトの表面を示す１つ以上の信号を受信する、１つ以上のレシーバと、
    前記１つ以上のレシーバに結合された１つ以上のプロセッサと、
    前記１つ以上のプロセッサに結合された１つ以上のメモリデバイスと、を備え、
    前記１つ以上のメモリデバイスは、前記１つ以上のプロセッサによって実行される命令を記憶しており、
    前記命令は、前記システムに、
    前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号と、前記物理オブジェクトの前記表面を示す前記１つ以上の信号とに基づいて、前記物理オブジェクトの前記表面の一部分の記述を取得させ、
    前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号に基づいて、前記位置指示器が前記物理オブジェクトの前記表面の前記一部分上または前記一部分の上方にあるかどうかを判定させ、
    前記位置指示器が前記物理オブジェクトの前記表面の前記一部分上または前記一部分の上方にあると判定することに応答して、前記位置指示器の前記複数の空間位置を示す前記１つ以上の信号に基づいて、入力ジェスチャに対応する座標群を取得させ、
    前記入力ジェスチャに対応する前記座標群を記憶させる、
    システム。
18. 前記１つ以上のメモリデバイスは、前記システムに、前記位置指示器の仮想表現を、前記物理オブジェクトの前記表面の前記一部分の仮想表現とともに表示させる命令を記憶している、
    請求項１７に記載のシステム。
19. 前記１つ以上のメモリデバイスは、前記システムに、
    倍率の指示を取得させ、
    前記倍率と前記入力ジェスチャに対応する前記座標群とに基づいて、スケーリングされた入力ジェスチャに対応する座標群を取得させる
    命令を記憶している、
    請求項１７に記載のシステム。
20. 前記１つ以上のメモリデバイスは、前記システムに、前記スケーリングされた入力ジェスチャの仮想表現を表示させる命令を記憶している、
    請求項１９に記載のシステム。

Images