JP5902346B2 - ジェスチャーを用いた３次元グラフィックスの作成 - Google Patents

Description

本発明はコンピュータ又はゲーム環境におけるグラフィックオブジェクトを作成する分野に関する。特に、ユーザのジェスチャーを用いて第３の次元をオブジェクトに加えることに関する。

３次元（３Ｄ）グラフィックスレンダリングの出現により、コンピュータ及びテレビゲームの性質が変化し、今や多くのアプリケーションやユーザインターフェースにおいて使用されるようになった。ユーザに３Ｄ画像を見せることができる３Ｄディスプレイでは、既存の３Ｄグラフィックスレンダリングをレンダリング画像内に潜在した追加的な奥行きを持って表示させることができる。ハンドヘルドポインティングデバイスにおける安価な慣性センサと立体カメラの出現により、３Ｄの動きを３Ｄにレンダリングされたオブジェクトへの入力として使用することができるようになった。

入力システムとして、動きと慣性センサを有する周辺機器が使用されてきた。周辺機器は動きに敏感な手袋やコントローラの形態でよい。あるいは、カメラが３Ｄフリーハンドやエアージェスチャーを検知するために用いられ、スクリーン上に現れる３Ｄモデルを作り出し、操作してきた。

タッチスクリーン及びトラックパッドは、３Ｄオブジェクトの作成及び操作にも使用される。マウス及びタッチパッド入力は、２つ又は３つの次元でのデザインを作るために使用されてきた。

類似の参照番号が同様の要素を示す添付の図面の図形において、限定ではなく例として本発明の実施形態を図示する。

本発明の一実施形態に従った、タッチスクリーンデバイス上に２Ｄ形状を描く図である。

本発明の一実施形態に従った、タッチスクリーンデバイス上における描かれた２Ｄ形状の図である。

本発明の一実施形態に従った、タッチスクリーンデバイス上における描かれた２Ｄ形状の一部を握る図である。

本発明の一実施形態に従った、タッチスクリーンデバイス上における描かれた２Ｄ形状を第３の次元に引っ張る図である。

本発明の一実施形態に従った、タッチスクリーンデバイス上の他の２Ｄ形状の図であり、２Ｄ形状の一部を第３の次元に引っ張る図である。

本発明の一実施形態に従った、３Ｄディスプレイ上で見られ得る３Ｄ形状を下るボールを有する、図２Ａの拡張された３Ｄの図である。

本発明の一実施形態に従った、両手の指を同時に用いてタッチスクリーンデバイス上で３Ｄの形状を操作する図である。

本発明の一実施形態に従った、タッチスクリーンデバイス上における円形状の他の２Ｄオブジェクトの図である。

本発明の一実施形態に従った、タッチスクリーンデバイス上における２Ｄの円形の図であり、ユーザがデバイスのスクリーンから離れて球形の中心部を引っ張る図である。

本発明の一実施形態に従った、ユーザによって３Ｄの球形に変換され、タッチスクリーンデバイス上でレンダリングされた２Ｄの円形の図である。

本発明の一実施形態に従った、ポータブルコンピュータのスクリーン上における仮想バインディングの図である。

本発明の一実施形態に従った、第３の次元におけるスクリーン上の仮想バインディングを操作する図である。

本発明の一実施形態に従った、ユーザのジェスチャーを用いて２Ｄ形状を３Ｄ形状に変化させるプロセスフロー図である。

本発明の一実施形態に従った、形状を３つの次元に拡大するプロセスフロー図である。

本発明の一実施形態に従った、エアージェスチャーを用いて、レンダリングされた３Ｄオブジェクトを操作するプロセスフロー図である。

本発明の一実施形態に従った、本開示の処理を実行するのに適したコンピュータシステムのブロック図である。

本発明の一実施形態に従った、本開示の処理を実行するのに適した図８のコンピュータシステムの別の表示を行ったブロック図である。

３Ｄオブジェクトはタッチスクリーン及びエアージェスチャー入力の組み合わせによって作り出され、操作することができる。タッチとジェスチャーはゲームで一緒に用いることができる。例えば、タッチスクリーン又は他の入力は、デザイン及びゲームのパーツを作り出すために用いることができ、続いてタッチスクリーンジェスチャーと共に開始される、あるいは開始されないエアージェスチャーは、これらのオブジェクトを引っ張って３Ｄ表示にするために用いられる。第３の次元の奥行きはジェスチャーが行き来する距離に応じて作られる。

このタッチ及びエアージェスチャー入力の調整された方法は、オブジェクトが第３の次元に引っ張られる前に、さまざまな創造的で面白いコンピュータ相互作用を可能にさせる。

一実施例において、ユーザがスクリーン上にデザインを描く。次に、ユーザはタッチジェスチャーを用いてデザインの一部をつまむ。タッチジェスチャーから開始し、次にユーザはデザインのつまんだ部分を引っ張り、デザインを第３の次元に伸ばす。３Ｄディスプレイは２Ｄグラフィックスでシミュレーションされるか、あるいは実際の３Ｄディスプレイでよい。他の実施例において、ユーザはコンピュータの前の空間においてパスをトレースし、ゲームで用いられる３Ｄパスを作り出す。ユーザが３Ｄパスをトレースした後、続いて仮想オブジェクト（例えば、オレンジのボール）がパスを下る。他の実施例において、ユーザは形状をレイアウトし、ジェスチャー入力でその形状を制御する。

３Ｄエアージェスチャーの性質は、異なるアプリケーションに適合し、異なるユーザエクスペリエンスを提供するように採用され得る。一実施例において、スクリーン上をより強く押すことは、描かれた、あるいは仮想のオブジェクトを操作又は伸ばす際に、奥行きをより深くさせることができる。他の実施例において、第１の指をベースあるいはアンカーとして用いると、第２の指はｚ軸におけるオブジェクトの長さを確立するために第１の指から離れて動く。他の実施例において、両手あるいは２つの指を用いて伸ばすことにより、ユーザは３Ｄ操作の範囲に印をつける。ユーザは３Ｄ操作前にスクリーン上に形状が現れるよう、音声コマンドも使うことができる。

作成された３Ｄオブジェクトは、さまざまな使用カテゴリーに適用される。一実施例において、３Ｄレイアウトは、ボードゲームの１つであるシュート・アンド・ラダー（Ｃｈｕｔｅｓ ａｎｄ Ｌａｄｄｅｒ）のオンスクリーン版といったゲーム用に作られ得る。他の実施例において、パスは仮想オブジェクトが滑ったり、転がったりするために作り出される。他の実施例において、ゲームに従ったラインライダー（ｌｉｎｅ ｒｉｄｅｒ）や他のパスの３Ｄ版を作ることができる。３Ｄオブジェクトは芸術的で工学的な作成及び視覚化のために作り出されることもできる。

図１Ａは、支持デバイス１２上におけるタッチスクリーン１０の図である。ユーザは指１４を用いてタッチスクリーン１０上に形状１６を描く。図１Ｂでは、完成した２Ｄ形状が見られる。この形状はゲームや芸術アプリケーションのための行路（ｔｒａｃｋ）又は案内路（ｇｕｉｄｅ ｗａｙ）、あるいは工学的又は科学的用途のための任意の種類の金属又は分子コイルを表すことができる。

図１Ｃにおいて、ユーザは２Ｄ形状の一部２０において指１４及び親指１８を用いて形状１６を握る。図１Ｄにおいて、ユーザはエアージェスチャーを行い、タッチスクリーン１０の位置の外における第３の次元において握った一片を持ち上げる。これにより形状に第３の次元を作りだす。形状は、アプリケーションに応じて円形状のスライド又はコイルばねのように見える。第３の次元への程度の量はディスプレイ上に、あるいは３Ｄディスプレイで遠近法によって示され、追加された次元は、３Ｄディスプレイ上の第３の次元としてレンダリングされ得る。

図示された実施例において、タッチスクリーンデバイスはスマートフォンとして示されているが、本発明はそれに限らない。スマートフォンに実装すると、タッチスクリーンは指又はスタイラスによる描画を生み出すために用いられる。エアージェスチャーは一般にテレビ会議に用いられるフロントカメラによって観測することができる。より正確にエアージェスチャーを観測するために、ステレオフロントカメラをデバイス上に設けることができる。ステレオフロントカメラは３Ｄのテレビ会議又はビデオ録画にも用いることができる。同じ手法が同様に取り付けられたタッチパッド、メディアプレーヤー、スレートコンピュータ、ノートブックコンピュータ又はデスクトップ又は一体型機器のディスプレイと共に用いることができる。専用のゲーム機も同様に用いられる。描画は、示されるような描画を表示するスクリーン上にあるか、あるいは描画とエアージェスチャーは、別のタッチパッド及びディスプレイで構成される典型的なノートブックコンピュータ内にあるように、異なる表面上のディスプレイを有する別のタッチパッド上に作成され得る。タッチスクリーンであるディスプレイ１０及び支持デバイス１２は別のデバイスとして、あるいは追加的なディスプレイ、カメラ、そして追加的な処理リソースを有するより大きなシステムのための入力デバイスとして使用することができる。

形状である描画１６の特徴は、他のユーザ制御によって更に定義づけられる。これらの制御によりユーザはアイテムの性質を特定し、そのアイテムのアプリケーションコンテクストを確立させ、寸法を定義することができる。例えば、ユーザはコイルばねが特定のゲージ及び底面半径を有する特有の合金鋼で作られていることを示すことができる。この情報はゲームプレイのパラメータを設定するため、あるいは工学的又は科学的な目的のために用いられる。ユーザはこのようなパラメータを直接選択することができるか、あるいはパラメータはアプリケーションによって暗黙に定義され得る。例えば、アプリケーションはユーザにアプリケーションによって既に定義されたパラメータを有する特定のアイテムを作り出すように促すことができ、あるいはユーザは所定のパラメータを有する特定のアイテムを選択することができる。アイテムが決定されると、続いて描かれた形状は選択されたアイテムに基づいて定義される。

図２Ａは、ユーザが指１４を用いてスクリーン又は支持デバイスであるポータブルデバイス１２のタッチスクリーンであるタッチ表面１０に別の形状２２を描いた他の実施例を示す。ユーザは形状２２の一部３０を握り、その部分をスクリーン上に持ち上げる。図示した実施例では、握るという動きよりはむしろ、握るというのは触れたり、保持したりする動きである。形状の触れられた部分は「粘着性」を持ち、放されるまでユーザの指１４の後を追う。

図２Ｂは、結果的に生じた３Ｄ形状を示す。本実施例において、３Ｄ形状はパス、行路（ｔｒａｃｋ）又は案内路（ｇｕｉｄｅ ｗａｙ）であり、そこでは、加えられた第３の次元は高さに対応する。続いて、ユーザは３Ｄ形状の上にボール、ライダー、そり、車両又は他のオブジェクトを配置し、配置されたアイテムはパスを下る。図示するように、ユーザはパスを下る一連のボール２４、２６及び２８を配置した。

図３は、ユーザが手３２及び３４を用いてポータブルデバイス１２のディスプレイ１０上の形状３６を握る他の実施例を示す。両手を使うことで、ユーザは異なる方向に押したり、引いたりすることができ、スクリーンの平面内及び第３の次元における形状の寸法を定義することができる。図示した実施例において、ユーザは一方の手３４の指を用い、形状３６の第１の部分の位置を確保する。もう一方の手３２を使って、ユーザは形状３６の一方を握る。ユーザが握っている手３２で持ち上げるとき、握られた部分が持ち上げられる一方で、被保持部はスクリーンの平面内に残ったままである。両手のジェスチャーにより、形状に対してより精巧な制御でより多岐にわたるさまざまな形状を作り出すことができる。

上記の全ての実施例において、ユーザは形状の一部を選択し、それをスクリーンから離れて持ち上げることで２次元の形状に第３の次元を加える。これは握るジェスチャーを用いて、あるいは触れたり、保持したりするような握るコマンドを示すことによって行うことができる。引っ張ったり持ち上げたりするジェスチャーは、デバイス上あるいはデバイス付近の１つ以上のカメラによって観測することができるエアージェスチャーである。原形がユーザによって描かれるものとして示される一方、これは本発明にとって重要ではない。ユーザはアプリケーションライブラリ又は外部位置から所定の形状を選択することができる。形状はカメラを用いて得ることもできる。

持ち上げたり、引っ張ったりする動きとは別の動きとして、ユーザは代替的に、あるいは追加的に、形状の一部をスクリーンの下方へ押すことができる。押す継続時間及び圧力は、スクリーンの平面から離れた距離を決めるために用いられる。継続時間及び圧力はタッチスクリーン表面又はカメラによって検知され得る。押す動きは持ち上げる動きと組み合され、形状の一部を両方向に動かし、両方向における第３の次元を定義することができる。これは、ｚ軸と呼ぶことができ、そこではタッチスクリーンがｘ及びｙ軸を占める。水平なディスプレイよりは垂直なディスプレイで、第３の次元がｘ又はｙ軸でよい一方で、ディスプレイはｚ軸と、ｘ又はｙ軸のどちらか一方を占める。ユーザがオブジェクトを操作する間、フィードバックはスクリーン上に現れ、３Ｄ変位の方向、３Ｄ変位の度合、そしてその他の特徴を示し、ユーザは入力が受信されているということ、そしてユーザ入力から生じている変更の程度を知ることができる。

上記の実施例では曲線を用いたが、同様の技法を直線や内部領域を有する囲まれた形状に適用することができる。図４Ａは、ポータブルデバイス１２のタッチ表面１０上の円形４４を示す。図４Ｂにおいて、ユーザ４６は円形４４の中心を握り、それをタッチ表面１０から持ち上げる。図４Ｃにおける結果は、３Ｄの球体４８である。多かれ少なかれ持ち上げることで、３Ｄの体積は、楕円の体積として作り出される。任意の閉じられた２Ｄ領域がこの手法で用いられ、第３の次元の体積を領域の特定の部分に加えるか、あるいは図４Ｃにあるように、領域全体に均一に加えることができる。三角形はピラミッド型に変換され得る。四角形は立方体等に変換され得る。この追加された次元は２Ｄ又は３Ｄディスプレイ上で表示され得る。

２Ｄオブジェクトはさまざまな異なる方法で用いられ得る。図２Ｂにおいて、ボールは斜面あるいは傾斜台を転がり落ちる。図５Ａにおいて、パチンコ５４はノートブックコンピュータ５２のディスプレイ５０上に作られる。任意の種類のディスプレイ又はコンピュータデバイスは、上述のとおり、例えばデスクトップタッチスクリーンコンピュータ又は待機状態に保たれているスレートコンピュータとして使用され得る。パチンコ５４は発射体を放つためのストラップ５６を有する。ディスプレイ５０はｘ及びｙ軸を占めるものとして考えられる。しかし、他の全ての実施例と同様に、軸の名称及び調整システムの種類は任意の特定のアプリケーションに適合するように採用され得る。

図５Ｂにおいて、ユーザはストラップ５６を握り、ｙ軸の負の方向へスクリーンから離れて引っ張る。仮想のバインディングであるストラップ５６を伸ばす。ユーザがストラップ５６を放すと、仮想の発射体がパチンコ５４からディスプレイ５０における正のｙ軸において示されるオブジェクトに向かって放たれる。発射体はユーザによってストラップ５６内で選択又は配置されるか、あるいはユーザ入力なしにアプリケーションによって供給され得る。ユーザのエアージェスチャーは、ディスプレイ５０に内蔵又は結合された１つ以上のカメラ６０によって観測され得る。

これまでの図面に示した同様の、握ったり、持ち上げたりするエアージェスチャーは、図５Ｂにおいて用いられ、スクリーンから離れてオブジェクトを動かす。この場合、オブジェクトはパチンコ５４のストラップ５６である。同様の原理がカタパルト、さまざまなレバー等に適用される。ユーザの動きはディスプレイから直接離してストラップ５６を動かすためだけではなく、パチンコ５４を狙うためにも用いられる。仮想バインディングに対して放す位置を調整するために、ユーザはストラップ５６の握った部分を上下させたり、左右にさせたり、前後させたりして動かす。パチンコ５４の場合、これによってパチンコ５４は正確に狙うことができ、発射体に加えられる力を制御することができる。同様に、図１Ｃ及び図２Ａの実施例において、ユーザは形状の握った部分を異なる方向に動かし、そのｚ軸の寸法と同様にｘ及びｙ軸の寸法を調整する。

図６は、ユーザが３次元オブジェクトを作成及び使用するように相互作用しているシステムの観点から、上記で説明した動作の一実施例を示すプロセスフロー図である。プロセスフローは他のプログラムの動作中、あるいは別の処理の開始又は継続として発生する。処理は特定の実施に応じてさまざまな異なる方法で開始することができる。６０２において、処理はユーザ入力を受信することで始まり、ディスプレイ上に形状を描く。ユーザ入力はタッチスクリーン、タッチパッド又はエアージェスチャーでよく、あるいはマウス又は専用の描画デバイスによる入力でもよい。

描画入力を受信する代わりに、形状はライブラリから選択するか、あるいは異なる形状のソースからインポートすることができる。形状は曲線、直線、囲まれた領域、画像、あるいは任意のさまざまな他の形状でよい。形状は２次元又は３次元の形状でよい。

６０４において、形状がディスプレイ上に表示され、６０６において、ユーザによって形状が選択される。形状は一般的に平坦な表面として平坦な表面上に表示され、ユーザはエアージェスチャー又はタッチジェスチャーによって、あるいはポインティングデバイスを使用することによって形状を選択することができる。しかし、３Ｄ形状は代わりに平坦なスクリーン表面上に表示され得る。

６０８において、表示された形状の少なくとも一部をディスプレイから離して動かすようにジェスチャーが観測される。ジェスチャーはエアージェスチャー又はタッチジェスチャーでよい。一実施例において、ジェスチャーは形状の一部を握り、ディスプレイから離れてディスプレイの前の空間に引っ張るというものである。ユーザはひねる動きやその他の動きをジェスチャーで表し、オブジェクトを回転させたり、変形させたりすることができる。ジェスチャーは３つ全ての次元における動きでよく、ジェスチャーはディスプレイからの距離だけではなく、握る動きの開始点からの水平及び垂直の距離も定義する。当初２次元である形状では、ジェスチャーは形状がどのように３次元になるのかを示す。３次元の形状では、ジェスチャーは３次元的特性を変更することができる。

他の例において、ジェスチャーはディスプレイを押す動きであり、その圧力と時間は形状の選択された部分が、ディスプレイの平面からどれだけ遠く離れて動かされるか、を決定する。引っ張る動きと共に、押す動きは水平及び垂直の動きを有する。上記に示すように、ユーザは両手又は２つの指を使って元の形状の一部を保持し、その他を動かす。これにより、どの部分が動かされ、どの部分が動かされないのかをより正確に定義する。

形状を引っ張ったり押したりする動きは、音響効果を伴うことができ、受信したコマンドの確認が行われる。一実施例において、音響効果はピッチ内で変化し、ディスプレイ又は開始点からの動きの程度を示すストレッチ音でよい。他の音響効果が引っ掻き又は摩擦効果といった動きを示すために用いられる。

各ジェスチャーと共に、例えば握る動きといった当初の開始ジェスチャー、手や道具の動きといった動作ジェスチャー、そして放すといった終了ジェスチャーがある。ジェスチャーが周辺機器と共に行われると、デバイス上のボタンが開始及び終了を示すために用いられる。ジェスチャーが手で行われると、指の動きや音声コマンドが用いられるか、あるいはもう一方の手が、ジェスチャー、ボタンの押下又は他の方法で開始及び終了を示すために用いられ得る。

６１０において、当初の表示された形状は観測されたジェスチャーに基づいて変更される。変更は観測されたジェスチャーに対応するスクリーンから離れる方向において行われる。場合によっては、表示された形状は当初の２次元形状に第３の次元を加えて３次元形状を生成することによって変更される。

６１２において、変更された形状は３次元仮想オブジェクトとして表示される。変更された形状は６１４において３Ｄディスプレイ上に表示されるか、あるいは２Ｄディスプレイ上に奥行きを有して示される。形状は、実物のオブジェクトではなく、表示されたオブジェクトである仮想オブジェクトとして表示される。次に３Ｄ形状は上記で議論されたようにさまざまな異なる用途に適用され得る。３Ｄ形状はコンピュータ支援設計システムに用いることができる。３Ｄ形状はさまざまな工学的又は科学的用途において用いることができ、後の相互作用にも使用することができる。

場合によっては、６１６にあるように、３Ｄ形状は仮想オブジェクトを放つために選択的に使用され得る。仮想オブジェクトは変更された形状と相互作用し、この相互作用はディスプレイ上に表示される。転がるボールや発射体を放ったパチンコは、このような相互作用の例である。ユーザのジェスチャーは上記に示されたパチンコ等の変更された形状とのユーザインタラクションとして受信され得る。このような相互作用は、ユーザの使用、参照又は娯楽のためにディスプレイ上に表示される。

図７Ａは、上記に記載された使用事例のより一般化された例のプロセスフロー図である。７０２において、タブレット又はスレートコンピュータ、スマートフォン、メディアプレーヤー又はゲーム機といったタッチスクリーンデバイス、あるいはコントロ−ラは、タッチスクリーンインターフェース上のオブジェクトのトレーシングを受信する。描画はユーザの指の位置及びディスプレイにわたるユーザの指の動きを検知するスクリーン上で、ユーザの指によって描かれ得る。あるいは、スタイラス又はその他の専用デバイスを用いることができる。このようなデバイスのタッチスクリーンは一般的にディスプレイでもある。７０４において、デバイスはタッチスクリーンディスプレイ上にトレースされたオブジェクトをレンダリングする。

７０６において、デバイスはタッチスクリーン上にあるトレースされ、かつ表示されたオブジェクトの一部をつまむジェスチャーを受信する。７０８において、デバイスはタッチスクリーンから離れてつまむジェスチャーを追跡する。ユーザのつまむジェスチャーを観測する一部のタッチスクリーン又はカメラに関連する近接センサによって、動きが追跡される。タッチスクリーンに対してつまむジェスチャーの位置を決定する他の技術を用いてもよい。

７１０において、デバイスはタッチスクリーンから離れて、トレースされたオブジェクトのつままれた部分の３Ｄ拡張をレンダリングする。これは遠近法、直立投影又は３Ｄディスプレイを用いて行われる。このレンダリングによって、コイルばね、上昇したトラック（ｒａｉｓｅｄ ｔｒａｃｋ）、パチンコ、ビーチボール又は上記に説明した実施例で示される任意の他のオブジェクトが生じる。

図７Ｂは、上記に説明した仮想バインディングの例に用いることができる特定の動作のプロセスフロー図である。７２２において、タッチスクリーンデバイスはタッチスクリーンインターフェース上の仮想バインディングのトレーシングを受信する。このデバイスは上記に説明したデバイスと同じ種類のものでよい。仮想バインディングは上述のように、パチンコ、カタパルト、アーチェリーの弦、空気砲、あるいはその他の種類の仮想バインディングでよい。７２４において、デバイスはタッチスクリーンディスプレイ上で仮想バインディングをレンダリングする。

７２６において、ユーザはレンダリングされた仮想バインディングを使用することができる。そのために、ユーザは仮想バインディングを握る。これはレンダリングにおいて、ストラップ、ハンドル、レバー、あるいはデバイスの他の態様を握ることによって行われる。デバイスは、タッチスクリーン上でバインディングの握るジェスチャーを受信する。一般的に、これはタッチスクリーン上で検知され得る、手のジェスチャーによって行われる。握るジェスチャーは、７０６におけるつまむジェスチャーと共に、握られるレンダリング部分を特定する。７２８において、ユーザは握ったり、つまんだりする手をタッチスクリーンから離れて動かす。デバイスはタッチスクリーンから離れた、ジェスチャーの動きを追跡する。ジェスチャーはタッチスクリーンと直接接触することのないエアージェスチャーである。

７３０において、デバイスは追跡された動きに基づいて仮想バインディングの張力と照準を決定する。７３２において、デバイスはバインディングを放すジェスチャーを受信する。これは放すジェスチャーを行うユーザによって、あるいは状況に応じてさまざまな他のジェスチャーを行うユーザによって実行される。

７３４において、デバイスは受信した放すジェスチャーと決定された張力及び照準に基づいて仮想バインディングの弾性応答をレンダリングする。これは、一般に石や矢といった何かしらの発射体を放つことである。バインディングを放す特定の結果はバインディングが表わそうとするものに依存する。

図８は、上記で議論した動作を支持することができるコンピュータ環境のブロック図である。モジュール及びシステムは、さまざまなハードウェアアーキテクチャ内で実行され、図９で示されるものを含む要因を形成する。ブロック図において、外部インターフェースの処理はシステムボックス外に表示され、内部計算処理はボックス内で表示されるが、動作及び処理は他の実行に適用するように再配置され得る。

コマンド実行モジュール８０１は中央処理装置を含み、コマンドをキャッシュ及び実行し、他のモジュールや示されたシステム内のタスクを分配する。これには命令スタック、中間及び最終結果を記憶するキャッシュメモリ、そしてアプリケーション及びオペレーティングシステムを記憶する大容量メモリが含まれる。コマンド実行モジュール８０１はシステムに対する中央調整及びタスク割り当てユニットとして機能することもできる。

スクリーンレンダリングモジュール８２１は、ユーザが見るためにローカルデバイスの１つ以上のスクリーン上にオブジェクトを描画する。スクリーンレンダリングモジュール８２１は、下記に説明する仮想オブジェクト行動モジュール８０４からデータを受信し、描かれたオブジェクト、仮想オブジェクト及び適切なスクリーン又はスクリーン上の他のオブジェクトをレンダリングするように構成されている。このように、描画認識及びレンダリングモジュール８０８からのデータは、スクリーン上の２Ｄオブジェクトの位置及び外観を決定し、２Ｄオブジェクトが３Ｄにもたらされ、ジェスチャーを用いて操作された後、仮想オブジェクト行動モジュール８０４は対応する仮想オブジェクトの位置及びダイナミクスを決定する。例えば、スクリーンレンダリングモジュール８２１は仮想オブジェクト、そして関連するオブジェクト及びスクリーン上の環境を描画する。

ユーザ入力及びジェスチャー認識システム８２２は、ユーザの手及び腕のジェスチャーを含むコマンド及びユーザ入力を認識するように構成される。このようなモジュールは、ディスプレイに対する手、指、指のジェスチャー、手の動き及び手の位置を認識するために用いられる。例えば、オブジェクト及びジェスチャー認識モジュールは、ユーザが第３の次元においてオブジェクトを伸ばし、さまざまな位置における画像内又は画像上に仮想オブジェクトを落とす、あるいは投げるジェスチャーを行ったことを決定する。ユーザ入力及びジェスチャー認識システム８２２は、カメラ又はカメラアレイ、マイクロフォン又はマイクロフォンアレイ、タッチスクリーン又はタッチ表面、あるいはポインティングデバイス、もしくはこれらの組み合わせに結合され、ユーザからのジェスチャー及びコマンドを検知する。

ローカルセンサ８２３はローカルデバイス上に提示された、あるいはローカルデバイス上で利用できる任意の上述したセンサを含むことができる。これらは前面及び裏面カメラ、マイクロフォン、ポジショニングシステム、ＷｉＦｉ及びＦＭアンテナ、加速度計及びコンパスといったスマートフォン上で一般的に利用できるものを含む。これらのセンサは位置認識を提供するだけでなく、ローカルデバイスが、他のデバイス又は環境と相互作用するとき、その配向及び動きを決定することができる。

データ通信モジュール８２５は、システム内のすべてのデバイスが通信できるようにする有線又は無線データインターフェースを含む。各デバイスに複数のインターフェースがあってよい。一実施例において、メインコンピュータシステムはタッチパッド、ポインティングデバイス、ディスプレイ、ネットワークリソースと無線で通信することができる。メインコンピュータシステムはブルートゥースを使って通信することができ、ユーザコマンドを送信し、接続されたデバイスを通して再生するオーディオを受信する。任意の適切な有線又は無線デバイス通信プロトコルが使用され得る。

仮想オブジェクト行動モジュール８０４は他のモジュールから入力を受信し、このような入力をディスプレイ内で生成され、示されている任意の仮想オブジェクトに適用するように構成される。このように、例えばユーザ入力及びジェスチャー認識システム８２２がユーザのジェスチャーを解釈し、捉えたユーザの手の動きを認識された動きにマッピングすることによって、仮想オブジェクト行動モジュール８０４は仮想オブジェクトの位置及び動きをユーザ入力に関連づけ、ユーザ入力に対応するように仮想オブジェクトの動きを方向付けるデータを生成する。

仮想オブジェクト行動モジュール８０４は、仮想オブジェクト（生成された３Ｄオブジェクト及びＡＲ特性）がコンピュータスクリーン周辺の３次元空間に存在すべき場所を追跡するように構成される。このモジュールは、仮想オブジェクトがあるディスプレイから他のディスプレイに移動すると、それを追跡する。このモジュールの寄与は任意の仮想オブジェクトの仮想位置を追跡することである。

複合モジュール８０６はレンダリングされ、選択され、あるいは保存された２Ｄ画像を変更し、ユーザ又はソフトウェア環境によって提供された詳細及びパラメータを追加し、クライアントデバイス上のローカルセンサ８２３を介してユーザによって提供された３Ｄ情報を追加する。このモジュールはクライアントデバイス又は「クラウド」サーバに存在し得る。

描画認識及びレンダリングモジュール８０８は、ユーザ入力及びジェスチャー認識システム８２２及びローカルセンサ８２３から情報を受信し、ユーザによって作られたラスター画像をベクトル化するか、あるいはライブラリからの画像を提供する。描画認識及びレンダリングモジュール８０８は、タッチ、エアージェスチャー又はポインティングデバイス入力を用いて任意の３つの次元においてユーザがオンスクリーンオブジェクトを伸ばす、曲げる、そして動かすことができる、ユーザによって提供された変化をレンダリングする。次に、描画認識及びレンダリングモジュール８０８は、これらのレンダリングをスクリーンレンダリングモジュール８２１に提供し、スクリーン上に現れる視覚要素を作り出す。

オブジェクト及び人物特定モジュール８０７は、受信したカメラデータを用いて特定の実体オブジェクト及び人物を特定する。ユーザはオブジェクト認識を用いて２次元グラフィックオブジェクト又は制御デバイスを導入する。オブジェクトはオブジェクトを特定するために画像ライブラリと比較され得る。人物は顔認識技術を用いて、あるいはパーソナル、ローカル又はセルラー式ネットワークを通して特定された人物と関連するデバイスからデータを受信することによって特定され得る。オブジェクトや人物が特定され、識別が他のデータに適用され、描画認識及びレンダリングモジュール８０８に提供され、表示するためにオブジェクト及び人物の適切な表示が生成される。このモジュールはユーザアカウントを認証するためにも用いることができる。

ユーザ入力マッピングモジュール８０３はユーザ入力のタイミングを調整し、ユーザ及びライブラリグラフィックスのベクトル化を調整し、そしてユーザのタッチ及びジェスチャー入力を追跡して作られたオブジェクトを３つの次元で操作する。ユーザ入力マッピングモジュール８０３は仮想オブジェクト行動モジュール８０４からの入力も追跡することができ、ユーザが作り出した３Ｄオブジェクトと相互作用するようにユーザが与える入力をマッピングする。

ゲームモジュール８０２は追加的な相互作用と効果を提供する。ゲームモジュール８０２は仮想文字及び仮想オブジェクトを生成して拡張された画像に加えることができる。仮想オブジェクトに、あるいは実体オブジェクト又はアバターを有する仮想相互作用として、いくつものゲーム効果を提供することもできる。例えば、図２Ｂ、図５Ａ及び図５Ｂのゲームプレイは、全てゲームモジュール８０２によって提供される。ゲームモジュール８０２は音響効果を生むためにも使用され得る。音響効果は仮想オブジェクトの使用のためと同様に仮想オブジェクトの作成のため、フィードバックとして生成され得る。

３Ｄ画像相互作用及び効果モジュール８０５は、拡張された画像内の実体及び仮想オブジェクトと共にユーザインタラクションを追跡し、ｚ軸でのオブジェクトの影響を決定する（スクリーンの平面に向かって、かつスクリーンの平面から離れて）。これらの効果を３つの次元におけるそれぞれに対するオブジェクトの関連のある影響と一緒に提供するため、３Ｄ画像相互作用及び効果モジュール８０５は追加的処理リソースを提供する。例えば、ユーザのオブジェクトを投げる、あるいは放つジェスチャーは３Ｄにおいて追跡でき、どのようにオブジェクトが移動するかを決定する。このモジュールは、３つの次元でオブジェクトをレンダリングするためにデータ及び物理性を提供する。３Ｄ画像相互作用及び効果モジュール８０５は音響効果を生成するためにも用いられる。音響効果は仮想オブジェクトの使用のためと同様に仮想オブジェクトの作成のため、フィードバックとして生成され得る。形状が握られ、接触されるとき、そして形状が操作されるとき、特殊な音が生成され得る。エアージェスチャーがオブジェクトの一部をディスプレイから離れて動かすために、このモジュールは動きの程度、スクリーンからの変位、そしてジェスチャーの他の特徴を示すジェスチャーを伴う音と同様に、ジェスチャーの開始及び終了を確認する音を提供することができる。

図９は、パーソナルコンピュータ、ゲーム機、スマートフォン又はポータブルゲーム機といったコンピュータシステムのブロック図である。コンピュータシステム９００は、バス９０１又は情報を通信する他の通信手段、バス９０１と共に結合されたマイクロプロセッサ９０２等の情報を処理する処理手段を含む。コンピュータシステム９００は、上記で説明したように並列パイプライン及び物理的相互作用を計算する物理プロセッサ９０５を通して、特にグラフィックスをレンダリングするためのグラフィックスプロセッサ９０３と共に拡張される。これらのプロセッサはマイクロプロセッサである中央処理装置９０２に組み込まれるか、あるいは１つ以上の別のプロセッサとして提供される。

コンピュータシステム９００はランダムアクセスメモリ（ＲＡＭ）や情報及びマイクロプロセッサ９０２によって実行される命令を記憶するために、バス９０１に結合された他の動的データ記憶デバイスといったメインメモリ９０４を更に含む。メインメモリ９０４はプロセッサによる命令が行われている間、一時的な変数又は他の中間情報を記憶するために用いることもできる。コンピュータシステム９００は、読み取り専用メモリ（ＲＯＭ）９０６や静的情報及びプロセッサに対する命令を記憶するためにバス９０１に結合された他の静的データ記憶デバイスといった不揮発性メモリを含むこともできる。

磁気ディスク、光ディスク又は固体アレイ等の大容量メモリ９０７及びその対応するドライブは、情報及び命令を記憶するためにコンピュータシステム９００のバス９０１に結合されることもできる。コンピュータシステム９００は情報をユーザに表示するために、バス９０１を介して、液晶ディスプレイ（ＬＣＤ）又は有機発光ダイオード（ＯＬＥＤ）アレイといったディスプレイデバイス又はモニター９２１に結合され得る。例えば、上記で議論したさまざまな表示及びユーザインタラクションに加えて、インストール状態、動作状態、そしてその他の情報のグラフィック及びテキスト表示は、ディスプレイデバイス９２１上でユーザに提示される。ディスプレイデバイス９２１は、スピーカーや発振器等のオーディオ及び触覚に関するコンポーネントを含み、ユーザに音、振動及びその他の効果としての追加情報を提供する。

一般的に、英数字、ファンクションそして他のキーを有するキーボードといったユーザ入力デバイス９２２は、プロセッサに情報及びコマンド選択を通信するためにバス９０１に結合されて得る。追加的なユーザ入力デバイスはマウス、トラックボール、トラックパッド又はカーソル指向キー等のカーソル制御入力デバイスを含むことができ、指示情報及びコマンド選択をプロセッサに通信するため、そしてディスプレイデバイス９２１上のカーソルの動きを制御するためにバスに結合される。

カメラ及びマイクロフォンアレイ９２３はバス９０１に結合され、ジェスチャー、レコードオーディオ及びビデオを観測し、上述したように視覚及びオーディオコマンドを受信する。

通信インターフェース９２５もバス９０１に結合される。通信インターフェース９２５は、モデムやネットワークインターフェースカード、そして他の既存のデバイスを含むことができる。他の既存のデバイスには、イーサネット（登録商標）、トークンリング、あるいは、例えばローカル又は広域ネットワーク（ＬＡＮ又はＷＬＡＮ）をサポートする通信リンクを提供するための他の種類の物理的な有線又は無線の付属品に結合するために用いられるものがある。このように、コンピュータシステム９００は、例えばイントラネット又はインターネットを含む従来のネットワークインフラを介して、多くの周辺機器、クライアント、コントロールサーフェス、コンソール又はサーバに結合され得る。

上記の例よりも、より少なく、あるいはより多く具備したシステムは特定の実施にとって好ましいということが理解される。それゆえ、例示的なコンピュータシステム８００及び９００の構成は、価格制約、性能要件、技術的進歩、あるいは他の状況といった多数の要因によって実施が異なる。電子機器又はコンピュータシステムの実施例として、モバイルデバイス、携帯情報端末、モバイルコンピューティングデバイス、スマートフォン、セルラー式電話機、ハンドセット、一方向ポケットベル、双方向ポケットベル、メッセージングデバイス、コンピュータ、パーソナルコンピュータ（ＰＣ）、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ハンドヘルドコンピュータ、タブレットコンピュータ、サーバ、サーバアレイ又はサーバファーム、ウェブサーバ、ネットワークサーバ、インターネットサーバ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、スーパーコンピュータ、ネットアプライアンス、ウェブアプライアンス、分散型コンピューティングシステム、マルチプロセッサシステム、プロセッサベースのシステム、家庭用電化製品、プログラマブル家庭用電化製品、テレビ、デジタルテレビ、セットトップボックス、無線アクセスポイント、基地局、加入者局、モバイル加入者センタ、無線ネットワークコントローラ、ルータ、ハブ、ゲートウェイ、ブリッジ、スイッチ、機械又はこれらの組み合わせを含むがこれらに限らない。

実施形態は、マザーボード、ハードワイヤード論理、メモリデバイスによって記憶され、マイクロプロセッサによって実行されるソフトウェア、ファームウェア、特定用途向け集積回路（ＡＳＩＣ）及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を用いて相互接続された１つ以上のマイクロチップ又は集積回路のいずれか、あるいはこれらの組み合わせとして実施されてもよい。「論理」という用語は、例えばソフトウェア又はハードウェア及び／又はソフトウェア及びハードウェアの組み合わせといったものを含む。

実施形態は、例えば、コンピュータ、コンピュータのネットワーク又は他の電子機器等の１つ以上の機械によって実行されるとき、本発明の一実施形態に従った動作を実行する１つ以上の機械をもたらすことができる機械実行可能命令を記憶した、１つ以上の機械可読媒体を含むことができるコンピュータプログラム製品として提供され得る。機械可読媒体には、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ（コンパクトディスク読み取り専用メモリ）、磁気−光ディスク、ＲＯＭ（読み取り専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＥＰＲＯＭ（消去可能プログラマブル読み取り専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラマブル読み取り専用メモリ）、磁気又は光カード、フラッシュメモリ又は他の種類の機械実行可能命令を記憶するのに適当な媒体／機械可読媒体を含むことができるが、これらに限らない。

また、実施形態はコンピュータプログラム製品としてダウンロードされることができ、プログラムは遠隔のコンピュータ（例えば、サーバ）から要求コンピュータ（例えば、クライアント）に、具現化された、かつ／あるいは通信リンク（例えば、モデム及び／又はネットワーク接続）を介して搬送波又は他の伝搬媒体によって変調された１つ以上のデータ信号によって転送することができる。従って、本明細書で使用されるように、機械可読媒体はこのような搬送波を含むが、これを要求されない。

「１つの実施形態（“ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ”）」、「一実施形態（“ａｎ ｅｍｂｏｄｉｍｅｎｔ”）」、「例示的な実施形態（“ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔ）」、「さまざまな実施形態（“ｖａｒｉｏｕｓ ｅｍｂｏｄｉｍｅｎｔ”）」等といった表現は、そのように記載されている発明の実施形態が、特定の特徴、構造又は特性を含んでよいことを示すが、必ずしも全ての実施形態がこれら特定の特徴、構造又は特性を含む必要はない。更に、一部の実施形態が他の実施形態のために記載されている特徴の一部又は全てを含んでよいし、あるいは全く含まなくてもよい。

以下の明細書及び特許請求の範囲で、「結合された（“ｃｏｕｐｌｅｄ”）」という語、並びにそれらの派生形が使用され得る。「結合された（“ｃｏｕｐｌｅｄ”）」という語を使用して、２つ以上の要素が、互いに協働又は相互作用し得ることを意味するが、それらの間に、介在する物理的又は電気的なコンポーネントがあってもなくてもよい。

特許請求の範囲で用いられるように、特段の定めのない限り、「第１」、「第２」、「第３」等の序数の形容詞は、共通の要素を説明するために用いられており、言及する類似した要素の異なる事例を示しているにすぎず、そのように記載する要素が、時間的に、空間的に、格付的に、あるいは何らかの他の方法における特定の順序でなければならない、という意味ではない。

下記の実施例は更なる実施形態に関する。実施例における特質は、１つあるいはそれ以上の実施形態のどこにでも使用され得る。一実施形態において、方法は：形状の選択を受信する工程と；ディスプレイ上に選択された形状を表示する工程と；ディスプレイから離れて、表示された形状の少なくとも一部を動かすジェスチャーを観測する工程と；観測されたジェスチャーに対応するディスプレイから離れた方向において観測されたジェスチャーに基づいて表示された形状を変更する工程と；観測されたジェスチャーに基づいて表示された形状を変更した後、３次元仮想オブジェクトとして変更された形状を表示する工程と、を含む。

実施形態は上記の方法を含み、表示された形状は２次元形状であり、表示された形状を変更する工程は、第３の次元を２次元形状に加えて３次元形状を生成する、追加工程を含む。

実施形態は上記方法のいずれかを含み、表示された形状は曲線であるか、あるいは表示された形状は領域を有する囲まれた形状であり、３次元仮想オブジェクトは体積を有する。

実施形態は上記の方法のいずれか含み、表示された形状は２次元画像である。

実施形態は上記の方法のいずれか含み、変更された形状を表示する工程は、３次元ディスプレイ上で３つの次元において変更された形状を表示する工程を含む。

実施形態は上記の方法のいずれか含み、方法は、タッチスクリーン上のジェスチャーを検知することによって表示された形状の一部の選択を受信する工程を更に含み、ジェスチャーを観測する工程は、表示された形状の選択された一部を動かすジェスチャーを観測する工程を含む。

実施形態は上記の方法を含み、ジェスチャーを観測する工程は、形状が表示されるディスプレイの平面へ、ディスプレイから離れて、表示された形状の選択された一部を押すジェスチャーを観測する工程を含むか、あるいは表示された形状は２次元形状で、表示された形状を変更する工程は、押すジェスチャーに基づいて第３の次元を２次元形状に加える工程を含むか、あるいは第３の次元の程度は、押すジェスチャーに基づいて決定される。

実施形態は上記の方法のいずれか含み、形状の選択を受信する工程は、カメラでエアージェスチャーを観測する工程、音声コマンドを受信する工程及びタッチスクリーンコマンドを受信する工程のうち、少なくとも１つを含むか、あるいはジェスチャーを観測する工程は、表示された形状の一部に向けられた握るジェスチャーと、表示された形状の握られた一部を２次元ディスプレイから離れて、第３の次元に引っ張ることとを観測する工程を含む。

実施形態は上記の方法のいずれかを含み、上記の方法はユーザ入力を受信してディスプレイ上に表示された形状を描く、受信工程を更に含み、ディスプレイ上に形状を表示する工程は、描かれた形状を表示する工程を含む。

実施形態は上記の方法のいずれかを含み、上記の方法は観測されたジェスチャーに基づいて音響効果を表示し、ディスプレイから離れた動きの量を示す、表示工程を更に含む。

実施形態は上記の方法のいずれかを含み、上記の方法は変更された形状と相互作用する仮想オブジェクトを放つ工程と、ディスプレイ上に相互作用を表示する工程とを更に含む。

実施形態は上記の方法のいずれかを含み、上記の方法は変更された形状と相互作用する更なるジェスチャーを観測する工程と、ディスプレイ上に相互作用を表示する工程とを更に含む。

他の実施形態において、命令を有する機械可読媒体であって、命令はコンピュータによって作動されるとき、コンピュータに：形状の選択を受信すること；ディスプレイ上に選択された形状を表示すること；ディスプレイから離れて、表示された形状の少なくとも一部を動かすジェスチャーを観測すること；観測されたジェスチャーに対応するディスプレイから離れた方向において観測されたジェスチャーに基づいて表示された形状を変更すること；観測されたジェスチャーに基づいて表示された形状を変更した後、３次元仮想オブジェクトとして変更された形状を表示すること、を含む動作を行わせる。

実施形態は上記の媒体を含み、動作はジェスチャーを観測する前のジェスチャー開始コマンドと、ジェスチャーの観測の終了をもたらすジェスチャー終了コマンドとを受信することを更に含む。

実施形態は上記の媒体のいずれかを含み、ジェスチャーを観測することは、開始コマンドとしての握るジェスチャーを観測することと、終了コマンドとしての放すジェスチャーを観測することとを含む。

他の実施形態において、装置は：形状の選択を受信するジェスチャー入力及び認識システムと；ディスプレイ上に選択された形状を表示するスクリーンレンダリングモジュールであり、ジェスチャー入力及び認識システムは、ディスプレイから離れて、表示された形状の少なくとも一部を動かすジェスチャーを更に観測する、スクリーンレンダリングモジュールと；観測されたジェスチャーに対応するディスプレイから離れた方向において観測されたジェスチャーに基づき表示された形状を変更する描画認識及びレンダリングモジュールであり、スクリーンレンダリングモジュールは、観測されたジェスチャーに基づいて表示された形状を変更した後、変更された形状を３次元仮想オブジェクトとして表示する、描画認識及びレンダリングモジュールと、を含む。

実施形態は上記の装置を含み、ジェスチャー入力及び認識モジュールは、ディスプレイから離れた動きの程度を決定し、描画認識及びレンダリングモジュールは、動きの程度に基づいて第３の次元の量を提供する。

実施形態は上記の装置のいずれかを含み、ジェスチャー入力及び認識システムは、エアージェスチャーを観測するカメラとタッチスクリーンコマンドを受信するタッチスクリーンインターフェースとを含む。

他の実施形態において、上述の動作のいずれか１つ又はそれ以上を実行する手段を含む。

図面及び前述の説明は、実施形態の例を与えるものである。当業者は、１つ又はそれ以上の記載された要素を単一の機能要素にうまく組み合せることが可能であることを理解することができる。あるいは、ある種の要素が複数の機能要素に分割されてもよい。１つの実施形態からの要素が別の実施形態に加えられてもよい。例えば、本明細書に記載される処理の順序は、変更されてもよく、本明細書に記載される様式に限定されるものではない。更に、任意のフロー図の動作は、示されている順序で実施される必要はなく、それらの動作の全てが実行される必要はない。また、他の動作に依存しない前述の動作は、その他の動作と並列して行うことができる。本発明の範囲は、それらの特定の実施例に決して限定されるものではない。明細書に明示的に記載されているか否かに拘わらず、構造、大きさ、材料の使用といった多数の変形が可能である。本発明の範囲は、少なくとも以下の特許請求の範囲によって記載されたものと同様な広さを有する。

Claims (24)

1. 形状についての選択を受け取る工程と、
   前記選択された形状をディスプレイに表示する工程と、
   前記ディスプレイから離れて前記の表示された形状の少なくとも一部を動かすジェスチャーを観測する工程と、
   前記の観測されたジェスチャーに対応する前記ディスプレイから離れる方向において、前記の観測されたジェスチャーに基づいて前記の表示された形状を変更する工程と、
   前記の観測されたジェスチャーに基づいて前記の表示された形状を変更した後、該変更された形状を３次元仮想オブジェクトとして表示する工程と、
   前記３次元仮想オブジェクトを使用して、前記３次元仮想オブジェクトから第３のオブジェクトへ向かう第２の仮想オブジェクトを放つ工程と
   を含む方法。
2. 前記の表示された形状は２次元形状であり、前記の表示された形状を変更する工程は、第３の次元を前記２次元形状に加えて３次元形状を生成する、追加工程を含む、請求項１に記載の方法。
3. 前記の表示された形状は曲線である、請求項１に記載の方法。
4. 前記の表示された形状は領域を有する囲まれた形状であり、前記３次元仮想オブジェクトは体積を有する、請求項１に記載の方法。
5. 前記の表示された形状は２次元画像である、請求項１に記載の方法。
6. 前記の変更された形状を表示する工程は、３次元ディスプレイ上で３つの次元において前記の変更された形状を表示する工程を含む、請求項１に記載の方法。
7. タッチスクリーン上のジェスチャーを検知することによって前記の表示された形状の一部についての選択を受け取る工程を更に含み、前記ジェスチャーを観測する工程は、前記の表示された形状の前記の選択された一部を動かす前記ジェスチャーを観測する工程を含む、請求項１に記載の方法。
8. 前記ジェスチャーを観測する工程は、前記形状が表示される前記ディスプレイの平面へ、前記ディスプレイから離れて前記の表示された形状の前記の選択された一部を押すジェスチャーを観測する工程を含む、請求項７に記載の方法。
9. 前記の表示された形状は２次元形状で、前記の表示された形状を変更する工程は、前記の押すジェスチャーに基づいて第３の次元を前記２次元形状に加える工程を含む、請求項８に記載の方法。
10. 前記第３の次元の程度は、前記の押すジェスチャーに基づいて決定される、請求項９に記載の方法。
11. 前記形状についての選択を受け取る工程は、カメラでエアージェスチャーを観測する工程、音声コマンドを受信する工程及びタッチスクリーンコマンドを受信する工程のうち、少なくとも１つを含む、請求項１に記載の方法。
12. 前記ジェスチャーを観測する工程は、前記の表示された形状の一部に向けられた握るジェスチャーと、前記の表示された形状の前記の握られた一部を、２次元ディスプレイから離れて第３の次元へ引っ張ることとを観測する工程を含む、請求項１に記載の方法。
13. ユーザ入力を受信して前記ディスプレイ上に前記の表示された形状を描く、受信工程を更に含み、前記ディスプレイ上に前記形状を表示する工程は、前記の描かれた形状を表示する工程を含む、請求項１に記載の方法。
14. 前記の観測されたジェスチャーに基づいて音響効果を表示し、前記ディスプレイから離れた動きの量を示す、表示工程を更に含む、請求項１に記載の方法。
15. 前記の変更された形状と相互作用する仮想オブジェクトを放つ工程と、前記ディスプレイ上に前記の相互作用を表示する工程とを更に含む、請求項１に記載の方法。
16. 前記の変更された形状と相互作用する更なるジェスチャーを観測する工程と、前記ディスプレイ上に前記の相互作用を表示する工程とを更に含む、請求項１に記載の方法。
17. コンピュータによって実行されると、該コンピュータに、
    形状についての選択を受け取ること、
    前記選択された形状をディスプレイに表示すること、
    前記ディスプレイから離れて前記の表示された形状の少なくとも一部を動かすジェスチャーを観測すること、
    前記の観測されたジェスチャーに対応する前記ディスプレイから離れる方向において、前記の観測されたジェスチャーに基づいて前記の表示された形状を変更すること、
    前記の観測されたジェスチャーに基づいて前記の表示された形状を変更した後、該変更された形状を３次元仮想オブジェクトとして表示すること、
    前記３次元仮想オブジェクトを使用して、前記３次元仮想オブジェクトから第３のオブジェクトへ向かう第２の仮想オブジェクトを放つことと
    を含む動作を実行させる、プログラム。
18. 前記動作は、前記ジェスチャーを観測する前のジェスチャー開始コマンドと、前記ジェスチャーの観測の終了をもたらすジェスチャー終了コマンドとを受信することを更に含む、請求項１７に記載のプログラム。
19. ジェスチャーを観測することは、開始コマンドとしての握るジェスチャーを観測することと、終了コマンドとしての放すジェスチャーを観測することとを含む、請求項１８に記載のプログラム。
20. 形状についての選択を受け取るジェスチャー入力及び認識システムと、
    前記選択された形状をディスプレイに表示するスクリーンレンダリングモジュールであり、前記ジェスチャー入力及び認識システムは、前記ディスプレイから離れて前記の表示された形状の少なくとも一部を動かすジェスチャーを更に観測する、スクリーンレンダリングモジュールと、
    前記の観測されたジェスチャーに対応する前記ディスプレイから離れる方向において、前記の観測されたジェスチャーに基づいて前記の表示された形状を変更する描画認識及びレンダリングモジュールであって、前記スクリーンレンダリングモジュールは、前記の観測されたジェスチャーに基づいて前記の表示された形状を変更した後、該変更された形状を３次元仮想オブジェクトとして表示し、該３次元仮想オブジェクトを使用して、前記３次元仮想オブジェクトから第３のオブジェクトへ向かう第２の仮想オブジェクトを放つ、描画認識及びレンダリングモジュールと、
    を含む装置。
21. 前記ジェスチャー入力及び認識モジュールは、前記ディスプレイから離れた動きの程度を決定し、前記描画認識及びレンダリングモジュールは、前記動きの程度に基づいて第３の次元の量を提供する、請求項２０に記載の装置。
22. 前記ジェスチャー入力及び認識システムは、エアージェスチャーを観測するカメラとタッチスクリーンコマンドを受信するタッチスクリーンインターフェースとを含む、請求項２０に記載の装置。
23. 請求項１の各動作を行う手段を含む装置。
24. 請求項１７乃至１９のうちのいずれか１項に記載のプログラムを記憶したコンピュータ読取可能記憶媒体。

Images