JP5859456B2 - プレゼンテーション用カメラ・ナビゲーション - Google Patents

プレゼンテーション用カメラ・ナビゲーション Download PDF

Info

Publication number
JP5859456B2
JP5859456B2 JP2012544541A JP2012544541A JP5859456B2 JP 5859456 B2 JP5859456 B2 JP 5859456B2 JP 2012544541 A JP2012544541 A JP 2012544541A JP 2012544541 A JP2012544541 A JP 2012544541A JP 5859456 B2 JP5859456 B2 JP 5859456B2
Authority
JP
Japan
Prior art keywords
user
presentation
information
users
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012544541A
Other languages
English (en)
Other versions
JP2013514585A (ja
Inventor
フレンド,ジョセフ・エフ
プラトリー,クリストファー・ヒュー
クップサミー,アショク
バティチェ,スティーブン
ディーツ,ロバート・スコット
Original Assignee
マイクロソフト テクノロジー ライセンシング,エルエルシー
マイクロソフト テクノロジー ライセンシング,エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US12/640,731 priority Critical patent/US9244533B2/en
Priority to US12/640,731 priority
Application filed by マイクロソフト テクノロジー ライセンシング,エルエルシー, マイクロソフト テクノロジー ライセンシング,エルエルシー filed Critical マイクロソフト テクノロジー ライセンシング,エルエルシー
Priority to PCT/US2010/057260 priority patent/WO2011084245A2/en
Publication of JP2013514585A publication Critical patent/JP2013514585A/ja
Application granted granted Critical
Publication of JP5859456B2 publication Critical patent/JP5859456B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/02Accessories
    • A63F13/06Accessories using player-operated means for controlling the position of a specific area display
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009Teaching or communicating with deaf persons
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/812Ball games, e.g. soccer or baseball
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6045Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011Ball
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/10Network-specific arrangements or communication protocols supporting networked applications in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/30Network-specific arrangements or communication protocols supporting networked applications involving profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/36Network-specific arrangements or communication protocols supporting networked applications involving the display of network or application conditions affecting the network application to the application user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/38Protocols for telewriting; Protocols for networked simulations, virtual reality or games

Description

従来技術

[0001] コンピューター・ゲーム、マルチメディア・アプリケーション、オフィス・アプリケーション等のような計算アプリケーションの多くは、ゲーム・キャラクターまたはアプリケーションの他の態様を操作することをユーザーに行わせるために、制御部を使用する。通例、このような制御部は、例えば、コントローラー、リモコン、キーボード、マウス等を使用する入力である。例えば、プレゼンテーション管理では、通例、ユーザーがコントローラー・クリッカー(clicker)等と対話処理すること、および/または提示している計算デバイスと直接対話処理することを伴う。

これらの制御方法には、種々の欠点がある。例えば、このような制御は習得するのが困難であり、ユーザーとこのようなゲームおよびアプリケーションとの間に障壁ができる可能性がある。コントローラーは、通例、ボタンの数が限られているので、限られたナビゲーションしか利用できず、コマンドのタイプは、異なるタイプおよび能力のクリッカー間で幅広く異なることもあり得る。プレゼンテーションしながらコントローラーを使用することは、聴衆にとって気が散る可能性がある。そして、複数のユーザー間でプレゼンテーションの制御を共有するためには、これらのユーザーは、各々がコントローラーにアクセスすることができ、および/またはコントローラーを操れなければならない。

[0002] 本明細書において開示するのは、ジェスチャー・ベースのシステムにおいて情報のプレゼンテーションを管理する技法であり、ジェスチャーは物理空間におけるユーザーの身体の位置および動きから得られる。ユーザーは、情報が提示される態様を制御するために、またそれ以外ではジェスチャー・ベース・システムと対話処理するためにジェスチャーを使用することができる。例えば、キャプチャー・デバイスは、ユーザーのジェスチャーを表すデーターを取り込むことができ、ジェスチャー認識技法を採用して、ジェスチャー・ベース・システムの態様を制御するために適用可能なジェスチャーを認識することができる。情報のプレゼンター(presenter)は、アバターまたは他の視覚表現を介して、プレゼンテーションの中に入り込むことができる。つまり、ユーザーは、情報のプレゼンテーションと対話処理することができる視覚表現の形態で、システムに埋め込まれる。プレゼンテーションの聴衆も同様にシステムに埋め込むことができる。つまり、プレゼンターおよび見物者双方を含む、システム・ユーザーの埋め込みによって、単純な情報の表示よりもインタラクティブな仮想関係をユーザー間に設ける。

[0003] ユーザーは、システムの態様を制御するジェスチャーを使用して聴衆に情報を提示することができ、または複数のユーザーがジェスチャーを使用して一緒に作業を行い、システムの制御を共有することができる。つまり、実施形態の一例では、一人のユーザーがジェスチャーによって聴衆への情報のプレゼンテーションを制御することができる。他の実施形態の一例では、複数の参加者が、キャプチャー・デバイスによって取り込まれたジェスチャーを介して、プレゼンテーションの制御を共有することができ、またそうでなければシステムと対話処理してプレゼンテーションの態様を制御することができる。ジェスチャーは、種々のプレゼンテーション・フォーマットに適用可能にすることができる。実施形態の一例では、ジェスチャーは、非逐次フォーマット(non-sequential format)の情報を含むプレゼンテーション・アプリケーションの態様を制御する。

[0004] この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために使用されることを意図するのでもない。

[0005] 以上の摘要、および以下の実施形態例の詳細な説明は、添付図面と合わせて読むと一層深く理解することができる。本開示を例示するために、図面では、これらの実施形態の構造例が示される。しかしながら、実施形態は、開示される具体的な方法や手段に限定されるのではない。図面において、
図1は、ターゲット認識、分析、および追跡システムの一実施形態例を、ゲームをプレーするユーザーと共に示す。 図2Aは、プレゼンテーション体験共有の一実施形態例を示す。 図2Bは、プレゼンテーション体験共有の一実施形態例を示す。 図2Cは、ターゲット認識、分析、および追跡システムの一例、ならびに物理空間における複数のユーザー、および各ユーザーの視覚表現の表示の一実施形態例を示す。 図2Dは、側面からのターゲット認識、分析、および追跡システムの一例、ならびにポイントおよびフォーカス機能によって対話処理するユーザーの一実施形態例を示す。 図2Eは、上面からのターゲット認識、分析、および追跡システムの一例、ならびにポイントおよびフォーカス機能によって対話処理するユーザーの一実施形態例を示す。 図3は、ネットワークを介したプレゼンテーションの共有制御の図である。 図4は、ターゲット認識、分析、および追跡システムにおいて使用することができるキャプチャー・デバイスの一実施形態例を示す。 図5Aは、図3に示したようなターゲット認識、分析、および追跡システムから生成されたユーザーのスケルトン・マッピングを示す。 図5Bは、図4に示したような、ジェスチャー認識アーキテクチャーの更なる詳細を示す。 図6は、共有プレゼンテーション体験を作り、物理空間において複数のユーザーを表す視覚表現を生成する方法の流れ図例を示す。 図7は、本明細書において記載する技法を具体化することができる計算環境の一実施形態例を示す。 図8は、本明細書において記載する技法を具体化することができる計算環境の他の実施形態例を示す。

[0017] 本明細書において開示するのは、ジェスチャーによって聴衆への情報のプレゼンテーションを管理する技法である。開示する実施形態の主題について、法的要件を満たすために具体性をもって説明する。しかしながら、説明自体は、本特許の範囲を限定することは意図していない。むしろ、本発明者は、特許請求する主題は、本文書において記載するエレメントと同様のエレメントを含むように、他の現在または今後の技術と関連付けて、他の方法で具現化することもできる。

[0018] ジェスチャーは、物理空間におけるユーザーの位置および動きから得ることができ、走る、指を動かす、または静止姿勢というような、動的または静的な、任意のユーザーの動きを含むことができる。一実施形態例によれば、カメラのようなキャプチャー・デバイスが、ユーザー画像データーを取り込むことができ、このユーザー画像データーは、ユーザーのジェスチャー(1つまたは複数)を表すデーターを含む。ユーザーの三次元物理空間においてユーザーによって行われたジェスチャーを認識および分析して、ユーザーのジェスチャーを解釈してシステムまたはアプリケーション空間の態様を制御するために、コンピューター環境を使用することができる。このコンピューター環境は、ユーザーのジェスチャー(1つまたは複数)を画面上のアバターにマッピングすることによって、ユーザー・フィードバックを表示することができる。

[0019] ジェスチャー・ベース・システムは、ジェスチャーを使用して情報のプレゼンテーションを管理または制御する技法を採用することができる。ユーザーは、その情報が提示される態様を制御するために、またそれ以外では、ジェスチャー・ベース・システムと対話処理するために、ジェスチャーを使用することができる。一実施形態例では、一人のユーザーが、ジェスチャーによって、聴衆への情報のプレゼンテーションを制御することができる。他の実施形態例では、複数の参加者が、キャプチャー・デバイスによって取り込まれたジェスチャーによって、プレゼンテーションの制御を共有することができ、またそれ以外では、プレゼンテーションの態様を制御するためにシステムと対話処理することができる。

[0020] 本プレゼンテーション管理のシステム、方法、技法、およびコンポーネントは、ゲーミング・コンソールのようなマルチメディア・コンソールにおいて具体化することができ、またはターゲットの視覚表現を表示することが望まれる他の任意の計算環境において具体化することができる。全く限定を意図しない一例として、この計算環境には、衛星受信機、セット・トップ・ボックス、アーケード・ゲーム、パーソナル・コンピューター(PC)、携帯電話、パーソナル・ディジタル・アシスタント(PDA)、および他のハンドヘルド・デバイスが含まれる。

[0021] 図1は、ジェスチャーによって対話処理を可能にするジェスチャー・ベース・システムにユーザーを埋め込むために、開示される技法を採用することができる、ターゲット認識、分析、および追跡システム10の構成の一実施形態例を示す。この実施形態例では、ユーザー18がボーリング・ゲームをプレーしている。一実施形態例では、システム10は、ユーザー18のような人間のターゲットを認識、分析、および/または追跡することができる。システム10は、物理空間におけるユーザーの動き、顔の表情、ボディー・ランゲージ、感情等に関する情報を収集することができる。例えば、本システムは、人間のターゲット18を特定し、走査することができる。システム10は、身体姿勢認識技法を使用して、人間のターゲット18の身体タイプを特定することができる。システム10は、ユーザー18の身体部分を特定し、これらがどのように動くのか識別することができる。

[0022] 図1に示すように、ターゲット認識、分析、および追跡システム10は、計算環境212を含むことができる。計算環境212は、マルチメディア・コンソール、パーソナル・コンピューター(PC)、ゲーミング・システムまたはコンソール、ハンドヘルド計算デバイス、PDA、移動体電話機、クラウド・コンピューター、キャプチャー・デバイス等とすることができる。一実施形態例によれば、計算環境212は、アプリケーションを実行するために計算環境212を使用できるように、ハードウェア・コンポーネントおよび/またはソフトウェア・コンポーネントを含むことができる。アプリケーションとは、ワード・プロセッサー、表計算、メディア・プレーヤー、データーベース・アプリケーション、コンピューター・ゲーム、ビデオ・ゲーム、チャット、フォーラム、コミュニティ、インスタント・メッセージング等のような、ゲーミング・アプリケーションおよび非ゲーミング・アプリケーション双方を含む、この計算環境を動作させるプログラム、またはこの計算環境によって実行されるプログラムのうち任意のものとすることができる。

[0023] 図1に示すように、ターゲット認識、分析、および追跡システム10は、キャプチャー・デバイス202を含むことができる。キャプチャー・デバイス202は、例えば、カメラとすることができ、ユーザー18のような1人以上のユーザーを視覚的に監視するために使用することができ、アプリケーション内において1つ以上の制御または動作を実行するために、これら1人以上のユーザーによって行われるジェスチャーを取り込み、分析し、そして追跡できるようにする。図1に示す実施形態例では、仮想物体がボーリングのボールとなっており、ユーザーは、実際にボーリングのボールを扱うかのように、三次元物理空間において動く。この物理空間におけるユーザーのジェスチャーは、画面14に表示されるボーリングのボール17を制御することができる。実施形態例では、ユーザー18のような人間のターゲットは実物の物体を実際に有することもできる。このような実施形態では、ジェスチャー・ベース・システムのユーザーは、ゲームのパラメーターを調節および/または制御するために当該プレーヤーおよび物体の動きを使用することができるように、ジェスチャー・ベース・システムのユーザーが物体を保持しているのであってもよい。例えば、ラケットを保持しているプレーヤーの動きを追跡して、電子スポーツ・ゲームにおける画面上のラケットを制御するために利用することができる。他の実施形態例では、物体を保持しているプレーヤーの動きを追跡して、電子戦闘ゲームにおいて画面上の兵器を制御するために利用することができる。

[0024] 一実施形態例によれば、ターゲット認識、分析、および追跡システム10は、ユーザー18のようなユーザーにゲームあるいはアプリケーションの表示および/またはオーディオをテレビジョン、モニター、高品位テレビジョン(HDTV)等のような、オーディオ・ビジュアル・デバイス16に接続することができる。例えば、計算環境212は、ゲーム・アプリケーション、非ゲーム・アプリケーション等と関連のあるオーディオ・ビジュアル信号を供給することができる、グラフィクス・カードのようなビデオ・アダプター、および/またはサウンド・カードのようなオーディオ・アダプターを含むことができる。オーディオ・ビジュアル・デバイス16は、計算環境212からオーディオ・ビジュアル信号を受け取り、次いでこのオーディオ・ビジュアル信号と関連のあるゲームまたはアプリケーションの表示および/またはオーディオをユーザー18に出力することができる。一実施形態によれば、オーディオ・ビジュアル・デバイス16は、例えば、S−Videoケーブル、同軸ケーブル、HDMIケーブル、DVIケーブル、VGAケーブル等を介して計算環境212に接続することもできる。

[0025] 本明細書において使用される場合、計算環境とは、1つの計算デバイスまたは計算システムを指すことができる。計算環境は、非計算コンポーネントを含んでもよい。本明細書において使用される場合、計算システム、計算デバイス、計算環境、コンピューター、プロセッサー、または他の計算コンポーネントは、相互交換可能に使用されてもよい。例えば、計算環境が、図1に示すターゲット認識、分析、および追跡システム10全体を含むのであってもよい。計算環境は、オーディオ・ビジュアル・デバイス16および/またはキャプチャー・デバイス202を含むこともできる。一例としてあげたオーディオ・ビジュアル・デバイス16またはキャプチャー・デバイス202のいずれかまたは双方は、別個であるが計算環境に結合されているエンティティであってもよく、または、例えば、処理および表示を行う計算デバイスの一部であってもよい。つまり、計算環境は、取り込んだデーターを処理することができるプロセッサーを含む単体のキャプチャー・デバイスであってもよい。つまり、キャプチャー・デバイス202は、取り込んだデーターを処理するためだけではなく、データーを分析および格納し、そしてこのデーターを画面に出力する等のために装備されているのであってもよい。

[0026] 図1に示すように、ターゲット認識、分析、および追跡システム10は、ユーザー18のような人間のターゲットを認識、分析、および/または追跡するために使用することができる。例えば、ユーザー18のジェスチャーを制御部として解釈し、コンピューター環境212によって実行されているアプリケーションに影響を及ぼすためにこれらを使用することができるように、キャプチャー・デバイス202を使用してユーザー18を追跡することができる。つまり、一実施形態例によれば、ユーザー18はアプリケーションを制御するために彼または彼女の身体を動かすことができる。システム10は、ユーザーの身体、およびアプリケーション、オペレーティング・システム等のような、システムの態様を制御するジェスチャーを含む、ユーザーの身体によって行われる動きを追跡することができる。

[0027] システム10は、キャプチャー・デバイス202への入力を、アニメーションに変換することができ、この入力がユーザーの動きを表し、その入力によってアニメーションを動かすようにすることができる。つまり、ユーザーの動きは、アバターのような視覚表現にマッピングして、物理空間におけるユーザーの動きがアバターによってエミュレートされるようにすることができる。画像データーのフレームが取り込まれて表示されるレートは、視覚表現の表示される動きの連続性のレベルを決定することができる。

[0028] 図1は、ユーザー18がプレーしているのであってもよいボーリング・ゲームとすることができる、計算環境212において実行しているアプリケーションの一実施形態例を示す。この例では、計算環境212は、オーディオ・ビジュアル・デバイス16を使用して、ボーリング・アレイおよびボーリング・レーンの視覚表現をユーザー18に与える。また、計算環境212は、オーディオ・ビジュアル・デバイス16を使用して、プレーヤー・アバター19の視覚表現も与えることができ、ユーザー18は彼または彼女の動きで、このプレーヤー・アバター19を制御することができる。ターゲット認識、分析、および追跡システム10のコンピューター環境212ならびにキャプチャー・デバイス202は、ユーザーの三次元物理空間においてユーザー18によって行われたジェスチャーを認識および分析するために使用され、ユーザーのジェスチャーを解釈してゲーム空間においてプレーヤー・アバター19を制御することができるようになっている。例えば、図1に示すように、ユーザー18は物理空間においてボーリングの動きを行うことによって、プレーヤー・アバター19にゲーム空間においてボーリングの動きを行わせる。ユーザー18による他の動きも、歩く、ボールを選択する、ボーリング・レーン上にアバターを位置付ける、ボールを振る等のための制御というような、制御または動作として解釈することができる。

[0029] 複数のユーザーが離れた場所から互いに対話処理することができる。計算環境212は、オーディオ・ビジュアル・デバイス16を使用して、プレーヤー・アバターの視覚表現を提供することができ、他のユーザーはこのプレーヤー・アバターを、彼または彼女の動きで制御することができる。例えば、オーディオ・ビジュアル・デバイス16における他のボーラーの視覚表現が、先のユーザーと共に物理空間にいる第2のユーザーのような、他のユーザーを表すことができ、または第2の物理空間にいてネットワークで繋がれたユーザーとすることもできる。尚、実世界環境を取り込んだ表示を介して、このシステムに関与する複数のユーザーが、各々、没入型ディスプレイまたはルック(look)を装着することができれば、効果的であろう。例えば、ユーザーは広いエリアの環境を見ることができるとよく、または個人の没入型ディスプレイを調節することによって、この環境内にある対象の物体またはイベントに照準を当てることができるとよい。没入型ディスプレイの一例は、キャプチャー・デバイスおよび表示コンポーネントを含む、装着可能なヘッド・ピースである。

[0030] ジェスチャーは、図1に示すボーリング・ゲームの例のような、ビデオ・ゲーム特定コンテキストにおいて使用することができる。運転ゲームのような他のゲーム例では、手および足の種々の動きが、方向、ギア・シフト、加速、および制動における車両の操縦に対応することができる。プレーヤーのジェスチャーは、一般的な計算コンテキストにおける入力に使用されるジェスチャーのような、アバター19を制御する以外の動作に対応する制御として解釈することができる。例えば、ユーザー18の手または他の身体部分の種々の動きが、終了する、ゲームを保存する、レベルを選択する、高得点を見る、友人と通信すること等に対応することができる。

[0031] 図1はビデオ・ゲーム特定のコンテキストにおけるユーザーを描画したが、ターゲット認識、分析、および追跡システム10は、ゲームの範囲の外側にあるオペレーティング・システムおよび/またはアプリケーションの態様を制御するために、ターゲットの動きを解釈することもできる。オペレーティング・システムおよび/またはアプリケーションの事実上あらゆる制御可能な態様を、ユーザー18のようなターゲットの動きによって制御することができる。例えば、ユーザーのジェスチャーは、階層リストにおいて上下にナビゲートする、ファイルを開く、ファイルを閉じる、およびファイルを保存するというような、共通のシステム全域におけるタスクに対応することができる。ユーザーのジェスチャーは、オペレーティング・システム、ゲームのゲーミング以外の態様、または非ゲーミング・アプリケーションに適用可能な制御とすることもできる。例えば、ユーザーのジェスチャーは、ユーザー・インターフェースを制御するというような、物体走査として解釈することができる。例えば、左から右に垂直に並べられたブレード(blade)またはタブ付きインターフェース(tabbed interface)を有するユーザー・インターフェースについて考える。ここでは、各ブレードまたはタブを選択すると、アプリケーションまたはシステム内における種々の制御に対する選択肢が開く。このシステムは、ユーザーの手の動きを、タブの動きに対して特定することができ、物理空間におけるユーザーの手は、アプリケーション空間におけるタブと仮想的に位置合わせさせられる。静止、掴む動き、次いで左にさっと動かすことを含むジェスチャーは、タブの選択、次いで次のタブを開くためにそれを逸らせて動かすこととして解釈することができる。

[0032] 図2Aおよび図2Bは、物理空間201において、図示のようなユーザーまたは複数のユーザーを取り込むことができるジェスチャー・ベース・システム200についての実施形態例を示す。システム200は、取り込んだデーターからジェスチャーを認識することができる。このジェスチャーは、システム200の制御に対応する。ユーザーは、情報のプレゼンテーションを管理するために、ジェスチャーを使用することができ、または複数のユーザーがジェスチャーによって、提示された情報と協調するように一緒に作業することができる。

[0033] システム200は、任意の数の計算環境、キャプチャー・デバイス、ディスプレイ、またはその任意の組み合わせを含むことができる。図2Aに示すシステム200は、キャプチャー・デバイス202、計算環境212、およびディスプレイ・デバイス222を含む。図2Bに示すシステム200は、複数の計算環境212、213、214、キャプチャー・デバイス202、203、204、およびディスプレイ222、223、224を有するジェスチャー・ベース・システム200を表す。計算環境とは、マルチメディア・コンソール、パーソナル・コンピューター(PC)、ゲーミング・システムまたはコンソール、ハンドヘルド計算デバイス、PDA、移動体電話機、クラウド・コンピューター等とすることができ、キャプチャー・デバイスまたはディスプレイを含むこと、またそうでなければこれに接続することができる。キャプチャー・デバイス、計算デバイス、およびディスプレイ・デバイスは、図1に関して先に説明したデバイス、または図3から図8に関して以下で説明するデバイスというような、所望の機能を実行する任意の適したデバイスを構成することができる。

[0034] 図2Aおよび図2Bの双方は、例えば、ユーザー260、261、262、263のような、物理空間において複数のユーザーが関与する場合もあるコンピューター管理に対する生産性シナリオ(productivity scenario)の一例を示す。例えば、物理空間は会議室であることもあり、ユーザー260、261、262、263は会議に出席しているかまたはアイディアを共同で出すために出席しているのであってもよい。また、リモート・ユーザーが、ホールから隔たった第2の場所から、あるいは他の州に位置するユーザーの自宅またはオフィスからというようなそれよりも更に離れた場所から、システム200と対話処理するのであってもよいことも考えられる。以下で説明する図3は、このようなシナリオにおいてコンピューター管理のためにジェスチャー・ベース・システムを介して対話処理することを、ローカル・ユーザーおよびリモート・ユーザー双方に可能にするネットワーク型環境の一例を示す。

[0035] このコンテキストにおける生産性シナリオは、例えば、図2Aおよび図2Bに示したシステム例のような、ジェスチャー・ベース・システム200によって管理することができる情報プレゼンテーションの任意の形態であってよい。シナリオの一例では、ユーザー260、261、262、263は会議中であり、プレゼンテーション・アプリケーションの出力がディスプレイ222に表示されているのであってもよい。情報のプレゼンテーションは、アニメーション、グラフィクス、テキスト等を含むことができ、ワード・プロセッサー・フォーマット、ビデオおよび/またはオーディオ・プレゼンテーション、スライド・ショー、データーベース・アプリケーション、メディア・プレーヤー、チャート(例えば、フロー・チャート、円グラフ)、チャット、フォーラム、コミュニティ、インスタント・メッセージング、または任意の他の形態の作業生産物で提示することができる。

[0036] キャプチャー・デバイス202は、ユーザー260、261、262、263の各々のジェスチャーのような、ユーザーのジェスチャーを表すデーターを取り込むことができる。図2Aおよび図2Bに示すように、ユーザーは、システム200からまたはこのシステムにおける特定のコンポーネントからの距離が様々である可能性があるが、それでも本システムの態様に対して制御することができる。ジェスチャーは、情報のプレゼンテーション制御として認識することができる。ジェスチャーは、ジェスチャー・ベース・システムの種々の態様を制御することができる。ジェスチャーは、文書に単語を追加する、下方にスクロールする、または文書全体のページをめくる、表計算において列の範囲を決める、三次元図を旋回または回転させる、拡大または縮小する等のような、画面上におけるあらゆる表示を制御することができる。例えば、ディスプレイ222が仮想黒板(chalk board)またはホワイト・ボード(dry erase board)を示し、ユーザーのジェスチャーを認識して画面に描画するまたは文字を書く、スライド・ショーにおいてスライド間で切り替える、スライド・ショーを一時停止する等を行うことができる。ユーザーは、ワード文書に黒丸を追加するためにジェスチャーを行うこともできる。

[0037] ジェスチャーは、オーディオ・コマンドを組み込むこともでき、またはオーディオ・コマンドがユーザーのジェスチャーを補うこともできる。例えば、ユーザーは、黒丸を文書に追加し、次いで単語を発声して、これらの単語を文書の黒丸の後ろに追加するためにジェスチャーを行うことができる。本システムは、黒丸を追加するジェスチャーと、黒丸を追加し次いで黒丸に続くように発声した単語を書くための制御としてのオーディオとの組み合わせを認識することができる。ユーザーはプレゼンテーションを制御するためにジェスチャーを行うことができるので、ユーザーは部屋中を動き回る高い柔軟性がある。

[0038] ユーザーは、計算環境において、コントローラーの使用や、直接ボタンを押さなければならないことに限定されるのではない。しかしながら、ジェスチャーの使用をコントローラー/ボタンの使用と組み合わせて、双方のタイプの制御に対処するとよいと考えられる。一部のジェスチャーでは、例えば、身体の動きから成るユーザーのジェスチャーに加えて、コントローラーによる情報入力を使用することができる場合がある。

[0039] 例示の目的のために、図2Aに示した情報のプレゼンテーション例のスナップショットは、画面上に表示されたグラフ225を含む。ユーザー261のようなユーザーが、部屋の中にいる他のユーザー260、262、263および/またはリモート・ユーザー(図示せず)に、情報を提示しているシナリオについて考える。ジェスチャーは、コントローラーの必要性、またはプレゼンテーションを管理する同様の必要性に置き換わる、またはこれを補充することができる。マウス、またはクリッカー、またはレーザー、またはマイクロフォン、あるいは他の周辺デバイスによって行うことができるアプリケーションの態様は、ジェスチャーによって行うことができる。ジェスチャーは、以前にはコントローラーのユーザーに要求していたこともある、ジェスチャー・ベース・システムのあらゆる態様を制御することができる。例えば、ジェスチャーが、画面上に光を表示する仮想レーザーを制御することができる。ディスプレイ上に小さな明るい光のスポットを投射することによって、関心のある何かを強調するためにレーザー・ポインターを使用する代わりに、ユーザーは、指でジェスチャーを行うことができる。ユーザーの指の動きが、レーザー・ポインターの動きを模擬することができ、本システムはこのジェスチャーを認識して、指の動きに対応する光のスポットを画面上に表示することができる。コントローラーは、実際に不要となる。また、ジェスチャーは、コントローラーによる制御とは異なる、またはそれ以外では利用できない、システムの態様を制御することもできる。例えば、物理空間におけるユーザーの動きに直接対応する仮想表現の動きを制御することは、ジェスチャーによって得ることができるが、一方仮想表現のアニメーションは、入力のためにコントローラーが必要となるときには、ユーザーのジェスチャーの直接的な変換とはならない。

[0040] 図2Bは、物理空間201においてユーザーを取り込み、取り込んだデーターを仮想環境における仮想表現にマッピングすることができるシステム200の他の実施形態例を示す。図2Aと同様、システム200は、キャプチャー・デバイス202、計算環境212、およびディスプレイ・デバイス222を含む。しかしながら、この例では、システム200は、他のキャプチャー・デバイス205、ユーザー260、263とそれぞれ関連付けられこれらに対して近距離で位置付けられている計算環境213、214というような、追加の計算環境、ならびに計算環境213、214とそれぞれ関連付けられたキャプチャー・デバイス203および204も含む。

[0041] ジェスチャー・ベース・システムにおける種々のデバイスまたはコンポーネントは、ネットワークを介して互いにハンドシェークし、情報を共有するために通信することができる。例えば、キャプチャー・デバイス202、203、204、205、および各計算環境212、213、214は、例えば、ケーブル接続、Wi−Fi接続、またはホーム・ワイヤレス・ネットワークを介してというようにして、有線またはワイヤレス接続を経由して通信することができる。種々のキャプチャー・デバイス202、203、204、205は、取り込まれたデーターを互いに共有することができ、または中央計算環境が、データーを処理し解釈するために、データーを集めることができる。例えば、計算環境212は、物理空間における複数のユーザー260、261、262、263に見ることができるプレゼンテーション・アプリケーションを格納し実行する計算環境であるとすることができる。計算環境212は、例えば、キャプチャー・デバイス204から直接、または、例えば、計算環境214からというように、システムにおける他のコンポーネントから取り込まれたデーターを受け取ることができる。

[0042] ディスプレイ222は、部屋の前方にある主ディスプレイとすることができ、この部屋にいるユーザーの全員ではないにしても、殆どに見ることができるサイズに選択することができる。このディスプレイは、没入型デバイスのような、頭部装着ディスプレイであってもよい。例えば、頭部装着ディスプレイは、ユーザーのを人工仮想環境と置き換えることができる。他の例では、ユーザーの視野のうち一部の視野のみが、人工環境と置き換えられる。例えば、頭部装着ディスプレイは、ユーザーの視野の表示上に情報を重ねるために、頭部を追跡することができるとよい。このディスプレイは、ユーザーの頭部が向いている方向に依存して、表示されている画像を調節することができる。例えば、ユーザーがディスプレイ上で地図を見ている場合、各ユーザーの頭部装着ディスプレイは、ユーザーが見ているところを表す部分を拡大して含むことができる。あるいは、ユーザーは、彼または彼女のディスプレイとの対話処理によって、部屋にいる他のユーザーとは異なる方法でプレゼンテーションをナビゲートすることができる。つまり、仮想環境の現実感が、シミュレーションの環境を一層魅力的にすることができ、ユーザーは一層現実的で個人的な対話処理を仮想現実と行うことができる。

[0043] 主ディスプレイ222に取り付けられた計算環境212は、キャプチャー・デバイス202、203、204、205および計算環境213、214からのデーターを集めて、物理空間において取り込まれた取り込みデーターを纏めたものを分析することができる。この集められたデーターからジェスチャーを認識することができ、ジェスチャー・ベース・システムの態様の制御を結果的に行うことができる。このようなジェスチャー・ベース・システムにおけるコンポーネント間における通信のために用意されたネットワーク設定の一例について、図3に関して以下で更に詳しく説明する。

[0044] 図2Bに示した例によって反映されるように、複数のユーザー260、261、262、263がネットワーク型システム・コンポーネントを介して対話処理していることもあり得ると考えられる。本システムは、複数のコンポーネントが、適用されるジェスチャーに対してそれらの入力を組み合わせることを可能にする。つまり、複数のユーザー260、261、262、263は、システムの態様を制御することができる。例えば、タッチ、深さ、オーディオ、ビデオ等を取り込む能力が異なる複数のキャプチャー・デバイスが、複数のユーザー260、261、262、263に関するデーターを物理空間から取り込むことができる。取り込まれたデーターは、集められて、複数のユーザーに代わってシステムの態様を制御するために処理することができる。これによって、複数のユーザーがジェスチャーおよび本システムを介して互いに対話処理することが可能になり、生産性環境における協調の本質を、ジェスチャーによって高めることができる。

[0045] 図2Bに関して、ユーザー260、261、262、263が会議中であり、キャプチャー・デバイス205によって取り込まれており、ユーザー260が他のキャプチャー・デバイス203と関連付けられており、ユーザー263が他のキャプチャー・デバイス204と関連付けられている場合について考える。物理空間は、例えば、大きな会議室のような、広い空間であってもよく、ユーザー263のようなユーザーが、キャプチャー・デバイス205から離れて座っていてもよい。このユーザーは、物理空間においてキャプチャー・デバイス204の方に近接して位置付けられていてもよいが、例えば、ディスプレイ224またはセルラ・デバイス(図示せず)のようなものを介して、もっと近く小さな画面上で、共有されるプレゼンテーションを見ているのであってもよい。計算環境212は、プレゼンテーション・アプリケーションを実行し、ディスプレイ222、223、および224のような複数のディスプレイに出力することができる。

[0046] キャプチャー・デバイスのうち任意のものから取り込まれたデーターは、ジェスチャー認識のために分析することができ、したがって、ネットワーク型キャプチャー・デバイスの視野内にいるユーザーのうち任意の者が、ジェスチャーによって、主ディスプレイ222上に表示されているプレゼンテーションを制御することができる。ユーザーは、物理空間における第2の計算環境またはキャプチャー・デバイスを使用してジェスチャーを行うことによって、共有されるプレゼンテーションの態様を制御することができる。例えば、ユーザーは、ユーザー263に一層近い計算環境214に対しては小規模なジェスチャーを行うこともできる。小規模なジェスチャーは、例えば、他のユーザーやディスプレイ224のような部屋内における物体がキャプチャー・デバイスの視野を遮る場合、キャプチャー・デバイス205によって取り込まれない場合もある。ユーザー263のジェスチャーは、キャプチャー・デバイス204によって取り込まれ、ローカル計算環境214によって処理するか、または、例えば、ネットワークを介して計算環境212、213と共有することもできる。したがって、同じジェスチャー・ベース・システムにおいてネットワークに接続されている任意の計算環境が、このジェスチャー・ベース・システムにおいて同様にネットワーク接続されている任意の数のキャプチャー・デバイスから取り込まれたデーターを処理することができる。ユーザー263のジェスチャーは、計算環境間で共有されるプレゼンテーションの制御として見なすことができる。つまり、第1キャプチャー・デバイス/計算環境と関連のある第1ユーザーのジェスチャーが、第2計算環境の態様を制御することができる。

[0047] 例えば、ユーザー260、263は、それぞれ、ジェスチャーを介して近距離の計算環境213、214と対話処理することができ、対応する制御が、主計算環境212または本システムにネットワーク接続されている他の個人計算環境というような、本システムにおける他の計算環境に移ることができる。ユーザーのジェスチャーは、セッションにおける他の計算環境を制御することができ、および/またはジェスチャーの結果を一人一人のディスプレイ上にレンダリングすること、またそうでなければジェスチャーの結果を指示することができる。例えば、ユーザー263は、計算環境214と近距離でジェスチャーを行うことができる。ユーザー263のジェスチャーは、主ディスプレイ222上に表示されるプレゼンテーションの管理に寄与することができる。近距離キャプチャー・デバイス204は、ユーザー263のジェスチャーを表すデーターを取り込むことができ、計算環境214は、ジェスチャー認識技法を使用して、この取り込まれたデーターからジェスチャーを識別することができる。ジェスチャーは、ユーザー263と関連のある計算環境214の特定の態様を制御することができる。ジェスチャーは、主計算環境212の制御に変換することができる。つまり、ユーザーは近距離デバイスおよび/またはキャプチャー・デバイスに対してジェスチャーを行うことができ、彼らが主計算システムに対してジェスチャーを行っているかのように、同じ効果を有することができる。

[0048] 追加のキャプチャー・デバイスおよび/または計算環境を使用することによって、システム200の制御に対する柔軟性を高めることができる。例えば、大きな会議室があり、この部屋の後ろの方にユーザーが座っている場合を考える。場合によっては、部屋の前の方にあるキャプチャー・デバイスが、部屋の後ろに座っているユーザーを取り込むことができないこともある。例えば、ユーザーとキャプチャー・デバイスとの間に視野の遮断があるかもしれず、キャプチャー・デバイスがユーザーを登録できないかもしれず、あるいはキャプチャー・デバイスが、例えば、ユーザーを特定するまたはユーザーのアクセス・レベルを特定するだけの分解能を有していないかもしれない。ユーザーは、もっとユーザーに近接して位置付けられているキャプチャー・デバイスまたはユーザーの個人計算環境と関連付けられているキャプチャー・デバイスというような、物理空間において本システムとネットワーク接続されている第2キャプチャー・デバイスを使用してジェスチャーすることができる。つまり、本ジェスチャー・ベース・システムは、種々の方法で複数のユーザーをシステムに統合し、プレゼンテーションの態様を管理することができる。

[0049] 一実施形態例では、図2Aおよび図2Bにおいて示したシナリオ例におけるように、一人のユーザーまたは主要なユーザーが情報のプレゼンテーションを管理する場合もある。共同動作システムは、聴衆のメンバーが本システムの態様を制御することができるように、ジェスチャーによる聴衆の参加を可能にしそして促進する。ディスプレイ222の上面に取り付けられているキャプチャー・デバイス202、または壁からぶら下がっているキャプチャー・デバイス205というような、1つのキャプチャー・デバイス、あるいはキャプチャー・デバイスの組み合わせが、物理空間における複数の人を表すデーターを取り込むことができる。複数の人は、計算環境212において実行するアプリケーションのような、1つのアプリケーションを制御するためにジェスチャーを行うことができる。例えば、このアプリケーションが地図作成プログラムであり、ユーザーが一緒に作業して旅行計画を立てようとしている場合、種々のユーザーが1つの地図作成プログラムと対話処理して、拡大、回転等を行うことができる。複数のユーザーがジェスチャーを介してアプリケーションの態様を制御する入力を供給することができるので、複数のコントローラーを部屋中に引き回す必要はない。追加のユーザーが部屋に加わることもでき、彼らも、例えば、余分なコントローラーを捜す必要なく、ジェスチャーを行うことができる。

[0050] 本システムは、複数のユーザーおよび彼らのジェスチャーを表す取り込みデーターを、システム制御以外の他の目的のために、受動的に評価することができる。例えば、ユーザーのジェスチャーは、本システムの態様を制御するためにユーザーによって意図的に行われなくてもよく、それでもなおデーター収集目的のためにジェスチャーを特定することができる。つまり、ジェスチャーまたはこのジェスチャーに関する情報を集めて記録することができる。物理空間に複数のユーザー260、261、262、および263がいる場合を考える。本システムは、ディスプレイ222上で質問することができ、または、例えば、スピーカ・システムを介して聞こえるように質問を伝えることができる。この質問は、他のユーザーに情報を提示しているかもしれないユーザー261のような、ユーザーによって促されるのであってもよい。本システムは、質問に応答して、ジェスチャーに対応する動きを含む、複数のユーザーによって行われた動きを識別することができる。情報は、リアルタイムで集められ、メモリーに格納されているファイルのような出力、またはディスプレイに供給することができる。

[0051] 例えば、本システムは、ユーザーまたは当該システムが行った質問の結果として、聴衆にポールすることができる。質問は、単純にはいまたはいいえで答えることができ、あるいは複数の可能な答えを含むことができ、各答えが1つのジェスチャーに対応することができる。例えば、質問は、「選択肢Aに投票した人は何人ですか」とすることができ、「はい」という答えは、ユーザーが手を真上に上げたことを含むジェスチャーによって表すことができる。本システムは、取り込んだデーターから、彼または彼女の手を上げている各ユーザー、および上げていない各ユーザーを検出することができる。したがって、本システムはユーザー毎に識別されたジェスチャーに基づいて、「はい」という答えの数を数えることができる。このように、本システムは瞬時的な調査結果を示すことができる。

[0052] プレゼンテーションの間に本システムによって認識されたジェスチャーは、本システムによるその後の動作を引き起こすことができる。例えば、本システムは2人のユーザー間における握手を認識することができ、この握手は、部屋にいる2人のユーザー間における「紹介」のジェスチャーとして認識することができる。この「紹介」のジェスチャーは、2人の人が握手することを含む。本システムは、各ユーザーを識別し、「紹介」のジェスチャーを特定し、会議の終了時に各ユーザーに与えられるログにおいてユーザー毎の連絡先情報を自動的に記録することができる。このように、ユーザーは、このユーザーが握手した人毎に連絡先情報を、連絡先情報を編集したリストにアクセスすることによって得ることができる。会議の間に記録される情報の他の例を挙げると、ユーザーに関心がある、ディスプレイにおけるポイントの識別が考えられ、情報の記録は、ジェスチャーによって引き起こすことができる。例えば、会議の間、一人のユーザーが、プレゼンテーションにおける特定のスクリーンショットまたはポイントが、このユーザーに関心があることを示すために、ジェスチャーを行うことができ、本システムは、このユーザーが後の時点で見直すためにこの情報を容易に発見できるように、識別情報をログに含ませることができる。このジェスチャーは、テーブルを指で叩く、または指を上げるというような、些細な動きを含めばよい。このように、プレゼンテーションの流れを中断することなく、本システムは、各ユーザーの種々のジェスチャーに基づいて、ユーザー毎にデーターを記録することができる。次いで、各ユーザーは、このユーザーに特定の情報ログにアクセスすることができる。

[0053] システムによるジェスチャーの認識時に、他の動作を引き起こすこともできる。例えば、先に論じたもの以外で、会議参加者に責任を委任する、リモート・ユーザーに電話をかける、ある種の文書のコピーを望むユーザーを示す等のような、会議にわたって生ずる他の共通なイベントについて考える。会議の一部に、種々のユーザーに責任を委任することが含まれる場合がある。本システムまたはユーザーはボランティアを要求または指定することができ、ユーザーの指定に対して認識されるジェスチャーが、そのボランティアを指し示すプレゼンター、または彼または彼女の手を上げているボランティアを含むことができる。本システムは、このジェスチャーを、行動項目(action item)の受入として認識して、項目別に記入したリストまたは表計算シートにおけるように、ユーザーをこの行動項目と関連付けることができる。他の例では、「この文書のコピーが欲しいですか?」というような質問をユーザーに提示してもよく、部屋における「はい」ジェスチャーに依存して、本システムは、自動的に電子メールを生成し、「はい」のジェスチャーを行った各ユーザーと関連付けられた電子メール・アドレスを含ませ、そしてこの電子メールに文書を添付して各ユーザーに送ることができる。この動作は、リアルタイムで行うことができ、ユーザーは、会議中であっても、文書へのアクセスを得ることができる。または、この動作は、会議の終了時に、本システムによって動作がなされるように、キューの中に置くことができる。

[0054] この動作は、本システムにおけるハードウェア・コンポーネントによる動作を引き起こすこともできる。例えば、ユーザーが彼または彼女の手を上げると、第1のキャプチャー・デバイスが取り込みデーターを受け取り、処理して、上げられた手を、ユーザーが本システムと対話処理したいことを示すジェスチャーとして認識することができる。第1のキャプチャー・デバイスは、ユーザーが第2のキャプチャー・デバイスの視野に入るように、またはユーザーに焦点がもっと良く合うように、ユーザーに向けて回る命令を第2のキャプチャー・デバイスに与えることができる。他のジェスチャーが、提示された情報の一部をメモリーに、またはユーザー263と関連のある計算環境214のような個人計算デバイス内にあるローカル・メモリーのような、ユーザーのローカル・メモリーに保存する命令であってもよい。ユーザーのジェスチャーは、光を点ける、画面を下げる、ディスプレイ・デバイスを点ける等の命令であってもよい。

[0055] ジェスチャーの結果引き起こされる動作は、例えば、マクロのような、省略フォーマットで表される1組の命令によって決定することができる。つまり、特定のジェスチャーの結果本システムが行う動作は、会議の開始に先立ってというように、前もって定めておくことができる。本システムは、特定のジェスチャーの結果実施される任意の数のマクロを有することができ、その結果、ログに情報を追加する、または結果をプレゼンターに与えるというような、ユーザーにとってシームレスであるとよい動作が得られる。あるいは、ユーザーのジェスチャーを介して要求された情報を含む電子メールの受信時というようなときに、これらをユーザーに知らせてもよい。マクロは、システムまたはアプリケーションに予めパッケージされていてもよく、またユーザーが定義してもよい。

[0056] また、本システムは、ジェスチャーの結果として、動的に動作を行うこともできる。例えば、一人のユーザーが、ジェスチャーおよび/または口頭のコマンドの組み合わせを使用し、電子メールで文書を受信することに関心があるユーザーに空中で手を上げるように要求し、選択されたユーザーに電子メールを送る命令を伝えることができる。本システムは、このコマンドおよびジェスチャーの組み合わせに応答し、主題の文書を、手を上げた各ユーザーに電子メールで送ることができる。

[0057] 他の例では、本システムは、物理空間におけるユーザーの行動に関するデーターを集めることができる。例えば、プレゼンターにとって、彼または彼女のプレゼンテーション方法の有効性に関するフィードバックを有することが望ましい場合がある。プレゼンテーションの間、例えば、本システムは顔または身体認識技法を使用して、顔の表情/動きまたは身体の位置/動きを、物理空間にいる種々のユーザーについて認識することができる。顔の表情/動き、身体の位置/動き、またはこれらの組み合わせは、ユーザーの特定の表現または感情を示すジェスチャーに対応することができる。本システムは、プレゼンターに、注目度、警戒度(alertness)、または聴衆の中にいるメンバーについての関連行動を示す情報を提供することができる。ユーザーは、この情報を使用して、プレゼンテーションにわたって使用される有効なプレゼンテーション方法を特定することができる。例えば、本システムが、ある割合のユーザーが退屈そうな仕草または関心がなさそうな仕草を表したことを示す、ユーザーについてのデーターを集め、これを、ユーザーがディスプレイ上で大量の単語を表示していたときと相関付ける場合、ユーザーは、大量の単語を表示することはこのグループにとっては効果的でないことを示すために、これを使用することができる。しかしながら、異なる聴衆では、文書の単語が聴衆のメンバーによって評価されているときのように、これらの単語が適切である場合もある。他の例では、ユーザーは、アニメーション技法および対話処理技法を使用することができ、本システムは、興奮したユーザーの参加または積極的なユーザーの参加を認識することができる。つまり、プレゼンターは、ユーザーにリアルタイムで提供される情報に基づいてプレゼンテーションの最中に、または以前に集められたデーターに基づいて会議の準備中に、ユーザーに対するプレゼンテーションをその場に合わせることができる。

[0058] 本システムは、プレゼンテーションの状況に相関付けられた聴衆の行動の検出に基づいて、ユーザーに動的な提案を与えることができる。例えば、プレゼンテーションの間、本システムは、テキストが多いスライドの間における退屈そうな仕草を識別し、テキストが多いスライドを飛ばすようにユーザーに提案することができる。本システムは、ユーザーが脇の方に座っているのを止めて部屋の前の方に移動しているときに、このユーザーがより良い聴衆参加を得たことを識別することができる。本システムは、ユーザーにこのような情報をプレゼンテーションの間に提供することができ、または本システムは経時的な聴衆の熱中度(engagement)を監視し、結果を示す報告をユーザーに生成することができる。

[0059] 参加している各ユーザーが、情報を提示しているのであれ、ジェスチャーを介して本システムと対話処理しているのであれ、プレゼンテーションを見物しているのであれ、または単にキャプチャー・デバイスの視野内にいるだけであれ、各ユーザーを仮想表現によって表すことができる。図2Cは、他のジェスチャー・ベース・システム200の例を示し、キャプチャー・デバイス292、計算デバイス294、およびディスプレイ・デバイス291を含む。例えば、キャプチャー・デバイス292、計算デバイス294、およびディスプレイ・デバイス291は、各々、本明細書において記載したデバイスのような、所望の機能を実行する任意の適したデバイスを含むことができる。

[0060] この例では、深度カメラ292が、複数のユーザー260、262、263がいる物理空間293においてシーンを取り込む。深度カメラ292は、深度情報を処理し、および/またはこの深度情報をコンピューター294のようなコンピューターに提供する。深度情報は、ユーザー260、262、263の視覚表現の表示のために解釈することができる。例えば、深度カメラ292、または、図示のように、それが接続されている計算デバイス294はディスプレイ291に出力することができる。

[0061] この視覚表現は、通例、二次元(2D)または三次元(3D)モデルの形態をなすコンピューター表現である。物理空間293におけるユーザーの視覚表現は、アニメーション、キャラクター、アバター等のように、任意の形態をなすことができる。例えば、この視覚表現は、ユーザー260および263をそれぞれ表す、図2Cに示されるアバター295または296のような、アバターとすることができる。視覚表現は、ユーザー262を表す、カーソル、矢印、または手のシンボル297のような他のシンボルであってもよい。この例では、猿のキャラクター295がユーザー260を表し、キャプチャー・デバイス292によって取り込まれたユーザー260の身体位置と同様の身体位置を表示する。ユーザー263を表すアバター296は、ユーザー263と同様の物理特性を有し、ユーザー263の衣服でさえも、キャプチャー・デバイスによって分析され、ユーザーの視覚表現296に適用される。

[0062] 視覚表現を共有プレゼンテーション体験に導入することによって、ユーザーに仮想空間内における識別の感覚を与えることにより、他の次元を体験に追加することができる。ユーザーの視覚表現は、ディスプレイ上にレンダリングすることができ、セッションにおける他のユーザーのアバターは、各人のディスプレイ上にレンダリングすることができ、これらのユーザーが異なる物理空間にいるのであっても、同じ仮想空間においてアバターのグループが得られる。セッションにおける各人のアバターは、各々、各人のテレビジョンまたはモニター上にレンダリングすることができ、その結果、アバターのグループが仮想空間において対話しているように見える。セッションにおけるユーザーはリモート・ユーザーおよびローカル・ユーザーの双方を含むこともあるので、ディスプレイは、これらのユーザー全てが、各視覚表現の存在に基づいて他の参加者を識別できるように、リモート・ユーザーおよびローカル・ユーザーの双方の視覚表現をレンダリングすることができる。

[0063] 各ユーザーは、カスタム化したアバターまたはキャラクターのような、彼ら自身のカスタム化した表現によって表すことができる。ユーザーの仮想表現は、キャプチャー・デバイスによって取り込まれたユーザーの特性を反映することができる。例えば、キャプチャー・デバイスは、身体/顔認識技法を採用し、取り込んだデーターを、ユーザーに似た視覚表現に変換することができる。つまり、画面上のアバターは、ユーザーに似ており、ユーザーのように行動することができる。物理空間293において検出されたユーザーの視覚表現は、アニメーション、キャラクター、アバター等のような、代わりの形態をなすこともできる。ユーザーは、本システムまたはアプリケーションによって与えられる種々の蓄えモデル(stock model)から、ユーザーの画面上表現のために選択することができる。例えば、ユーザーを視覚的に表現する在庫モデルは、有名人、1片のタフィー(taffy)、または象の表現というような、任意のキャラクター表現を含むことができる。在庫モデルは、奇抜なキャラクター(例えば、龍、怪物)、またはシンボル(例えば、カーソルまたは手のシンボル)であってもよい。

[0064] 視覚表現は、ユーザーの特徴およびアニメーションの組み合わせを含むこともできる。例えば、ユーザーの視覚表現は、キャラクター295のような、猿のキャラクターであってもよいが、物理空間において取り込まれたときのユーザーの衣服を身につけているか、または物理空間において検出されたユーザーのように、めがねをかけている。ユーザーの顔の表現、身体位置、発声する単語、または任意の他の検出可能な特性を、視覚表現に適用することができる。在庫モデルは、プログラムと一緒にパッケージされているというような、アプリケーションに特定であってもよく、あるいは蓄えモデルはアプリケーションを跨いで入手可能であるかまたはシステム規模で入手可能であるとよい。

[0065] ユーザーのジェスチャーは、このジェスチャーと関連付けられた制御に対応するマルチメディア応答を発生させることができる。例えば、ユーザーの視覚表現のアニメーションを、ジェスチャーの結果として、ディスプレイ上にレンダリングすることができる。マルチメディア応答は、視覚表現の動きのようなアニメーション、画面上に現れるテキスト・メッセージ、オーディオ、静止画像、ビデオ等のうち任意の1つまたはその組み合わせとすることができる。例えば、ワープロ・アプリケーションを実行するシステムによって認識されたユーザーのジェスチャーが、次のページにめくるジェスチャーを含む場合、ワープロ文書の制御を、この文書における次のページに移すことができる。このジェスチャーを実行したユーザーと関連付けられている視覚表現は、例えば、大きな風刺漫画の手であって、本ジェスチャー・ベース・システムによって取り込まれそして特定された、物理空間におけるユーザーのめがねと同様のめがねをかけているのであってもよい。次のページに進むユーザーのジェスチャーに応答して、この大きな風刺漫画の手が画面を横切って動き、文書の角を掴むように見え、次いで文書における次のページを明示するためにそれを下に下ろすことができる。つまり、このユーザーに独特の視覚表現のアニメーションを見物することに基づいて、他のユーザーが、この特定のユーザーがそのジェスチャーを実行したことがわかるだけでなく、このアニメーションが、ジェスチャーを介してシステムを制御する体験に加わる。ユーザーは、彼または彼女のジェスチャーの結果を可視化することができ、他のユーザーはその結果を可視化することができる。ユーザーは、ジェスチャーが認識され、本システムによって適正に適用されたことを、一層容易に確認することができる。

[0066] マルチメディア応答は、他の各ユーザーのテレビジョンまたはモニター上に現れるアニメーションを表示するというように、システム規模であってもよい。ユーザーが彼または彼女のアバターに身振りで表現させると、このジェスチャーを全てのクライアントの位置において同期して提示することができる。同様に、ユーザーが、例えば、音声チャットによってオーディオ・イベントを発声したとき、または他の方法で生成したとき、あるいは、例えば、テキスト・チャットによってテキスト・イベントを発声したとき、または他の方法で生成したとき、このオーディオまたはテキストを全てのクライアントの位置において同期して提示することができる。

[0067] 特定の視覚表現を、特定のユーザーと関連付けることもできる。つまり、各ユーザーは、当該ユーザーによって行われるジェスチャーに相関付けるアニメーションを演ずることができる彼自身または彼女自身の仮想表現であるアバターを有することができる。本システムが特定の視覚表現のアニメーションを表示すると、当該ユーザーおよび他のユーザーは、この特定の視覚表現と関連付けられたユーザーを見分けることができる。つまり、ユーザーがジェスチャーを行い、このジェスチャーと関連付けられた制御に対応するように視覚表現が動かされると、どの視覚表現が動かされたのかに基づいて、どのユーザーがそのジェスチャーを行ったのか見分けることが可能になる。他の実施形態例では、ユーザーの視覚表現が、ユーザー間で包括的または共通であり、区別できる特徴がなくてもよい。つまり、表示されたアニメーションから、特定の視覚表現に対応するのはどのユーザーであるのか常に伝えることができないのであってもよい。

[0068] 一実施形態例では、本システムは、モーション・キャプチャー・ファイルに格納されている、追跡対象ユーザーの動きを表す情報を格納することができる。本システムは、特定のモーション・キャプチャー・ファイルからのユーザーに特定の動きを、アバターまたはゲーム・キャラクターに適用し、このアバターまたはゲーム・キャラクターがユーザーの動きと同様に動きを真似するように、動かすことができるようにする。例えば、モーション・キャプチャー・ファイルは、ユーザーがジャンプする様子の指示を含むことができる。ジャンプするアニメーションがユーザーの視覚表現に適用されるとき、本システムは、モーション・キャプチャー・ファイルからのジャンプを適用して、この視覚表現が、本システムによって取り込まれたユーザーの実際の動きを真似するようにすることができる。他の実施形態例では、キャプチャー・ファイルが、ユーザー間で共通である包括的動きを含む。例えば、モーション・キャプチャー・ファイルからのジャンプが、包括的であるか、または本システムと共に予めパッケージされていてもよく、本システムによって適用されたときに、視覚表現がこの包括的ジャンプを行うようにすることができる。マルチメディア応答は、格納されているアニメーション、または特定のジェスチャーの識別に応答して実施されるオーディオ・クリップのような、所定の応答であってもよい。

[0069] マルチメディア応答ライブラリーが、本システムによって認識されたユーザーのジェスチャーを表す選択肢を含むこともできる。例えば、マルチメディア応答ライブラリーは、予め決められたまたは予め記録された、そして特定のジェスチャーと関連付けられたアニメーション・データーを含むことができる。あるいは、マルチメディア応答は、特定のジェスチャーを認識したときに実施する種々の選択肢を含むことができ、種々の状況に基づいて、選択を行うことができる。例えば、特定のアプリケーション、特定のユーザー、特定のジェスチャー、特定の動き、特定の習熟レベル等に適用することができるために、特定のアニメーションを選択するのであってもよい。

[0070] 一実施形態例では、アバターに適用されるアニメーションは、例えば、プログラム、アプリケーション、またはシステムに同梱されるような、予めパッケージされているアニメーションのライブラーから選択されたアニメーションであってもよい。選択されたアニメーションは、本システムによって学習されたユーザーの入力に対応するアニメーションであってもよい。他の実施形態例では、ライブラリーの中にあるアニメーションは、ユーザーによって入力され、アバターのアニメーション・ボキャブラリーに記録されたアニメーションとすることもできる。

[0071] アニメーションの中には、ユーザーがジェスチャーを行っていなくても、ユーザーの視覚表現に適用できるものもある。例えば、ユーザーのボディー・ランゲージを推定するときに、本システムは、ユーザーの気質を反映するために、ユーザーの視覚表現に適用するのに適したアニメーションを決定することができる。他の例では、本システムは、特定のユーザーが一定の時間期間怠慢である、即ち、ジェスチャーを行っていないことを検出することができる。本システムは、このユーザーの怠慢さを反映するために、ユーザーの視覚表現を動かすことができる。例えば、このユーザーの視覚表現が猿のキャラクターである場合、本システムは、仮想枕を掴んでいる猿キャラクターを含むアニメーションを適用し、この猿の近くに「ZZZZZ」と表示して、この猿が眠りに落ちたことを暗示することができる。

[0072] 一実施形態例では、マルチメディア応答は、音響と組み合わせて示される所定のアバター・アニメーションを含むことができる。例えば、アバターを歩かせるとき、軽い足の運びの音を再生することができる。他の例では、アバターを走らせるとき、重い足の運びの音を再生することができる。他の例では、アバターに機銃掃射させるとき、引きずる足または滑らせる足の運びの音を生成することができる。他の例では、アバターに物体衝突させるとき、衝突する音を再生することができる。他の例では、アバターが物体を落とすとき、または他の物体と衝突させるとき、重い衝突の音を再生することができる。

[0073] アニメーションのレベル、またはアニメーションの量は、例えば、現在実行中のアプリケーション、または聴衆の年齢層に依存して、様々に変化することができる。例えば、裁判手続き中に法的文書を提示するアプリケーションは、運動場における安全性について教えるための子供へのプレゼンテーションよりも、含むアニメーションは遙かに少ないほうがよい。つまり、アニメーションには、システムによって定められるカテゴリーおよびレベル、および/またはユーザーの好みに対応するようにユーザーによって変化させられるカテゴリーおよびレベルがあるとよい。

[0074] 一例では、プレゼンテーションの枠組みを、連続スライドプレゼンテーションとすることができる。連続スライドプレゼンテーションには、所定の順序で提示される1組のスライドがある。他の例では、アプリケーションが、連続ではないやり方で、情報を提示することができる。例えば、プレゼンテーションが、スライド、写真、画像、テキスト等の編集を含むことができ、このプレゼンテーションをセクションに編成することができる。プレゼンテーションの間、プレゼンターは個々のスライド、およびスライド・ショーにおけるスライド・セクションを拡大および縮小することができる。予め定められた順序を定めなくてもよい。

[0075] このような非逐次プレゼンテーションのためのプレゼンテーション素材の表示は、多くの形態をなすことができる。例えば、主画面が、地図または大きなフロー・チャートを含むことができる。ユーザーは、この地図またはフロー・チャートの異なる部分で拡大することができ、その部分に対応するスライド(1つまたは複数)を、画面上で拡大することができる。ユーザーは、予め定められた順序に全く従う必要なく、この地図またはフロー・チャート上で動き回ることができる。多くのドアがある通路または家があるプレゼンテーション・フォーマットが画面上に表示されている場合を考える。ユーザーは、漸次ドアからドアまでジャンプし、ドアを開けて入る等を行うことができる。ユーザーは、ズーム可能キャンバスを使用して、スライドを提示することができ、このキャンバスは、ユーザーまたは聴衆からの参加者が、プレゼンテーションの1つの部分から他の部分にジャンプすること、拡大および縮小すること、ならびにセクションを定めることを可能にする。前述のように、聴衆のメンバーは、ジェスチャーによって、プレゼンテーションの異なる部分にナビゲートすることができ、視覚表現は、種々の形態のプレゼンテーション・スタイルと相互作用することができる。つまり、プレゼンテーションは、コンテンツを編集したものとしてもよいが、提示する特定の順序を要求しない。ユーザーは、本質的に、視覚表現を介して、仮想世界に入ることができ、ジェスチャーを介してプレゼンテーションの態様を制御することができる。つまり、本ジェスチャー・ベース・システムは、議論のためにアセットのキャンバスを表示することができ、ユーザーは、この情報全体にわたってリアルタイムにナビゲートすることができる。このキャンバスは、複数の情報を含むことができ、プレゼンターは、聴衆に依存して、このキャンバスの一部を選択することができる。このキャンバスまたはプレゼンテーションは、提示されるよりも多い情報を含むこともできるが、柔軟なフォーマットのために、ユーザーおよび/またはプレゼンターは、その議論に適用可能な情報のセクションを選択することができる。

[0076] 図2Aおよび図2Bに示したような一実施形態例では、一人のユーザーまたは主ユーザーが情報のプレゼンテーションを管理するのであってもよい。例えば、一人のユーザーが、聴衆のメンバーからの対話的制御を使用せずに、プレゼンテーションを管理していることが望ましい場合もある。ユーザー260が会議を司っている、または1クラスの学生に教えている場合を考えると、彼または彼女だけがプレゼンテーションの制御をしたいと思う場合がある。つまり、一人のユーザーが情報のプレゼンテーションの司会を務め、ジェスチャーによって情報のプレゼンテーションを制御することができるが、部屋にいる他のユーザーのジェスチャーは、情報のプレゼンテーションを制御することはできない。他の実施形態例では、複数のユーザーが本システムの態様を制御することができるとよい場合もある。例えば、複数のプレゼンターが本システムの態様を制御することができることが望ましい場合があり、あるいは少なくとも一人の聴衆メンバーに制御を任せることが望ましい場合もある。つまり、ユーザーのチームが、1つまたは複数のキャプチャー・デバイスによって、プレゼンテーションの制御を共有して、一層優れた共同作業を可能にすることができる。

[0077] ユーザーは、アクセスを共有するのであっても、制限されたアクセスを有するのであっても、またはプレゼンテーションの態様制御にアクセスできないのであってもよい。例えば、あるユーザーが、例えば、主ユーザー、副ユーザー、または見物ユーザーであってもよい。主ユーザーとは、本システムの態様を制御する選択肢を有する任意のユーザーである。主ユーザーは、制御を他のユーザーに分散する選択肢を有することもできる。例えば、主ユーザーは、部屋の中にいる第2のユーザーを、他の主ユーザーとして、副ユーザーとして、または見物ユーザーとして指定することができる。見物ユーザーとは、他のユーザーと対話することができるが、ジェスチャーを介してシステムを制御することはないユーザーとすればよい。

[0078] 副ユーザーには、本システムの態様を制御する選択肢を付与することができる。副ユーザーには一時的制御を与えればよく、この制御は、一旦付与されると無期限に永続することもでき、または取り去るまで制御が永続するのでもよい。例えば、主ユーザーが情報を提示しているが、初期状態では聴衆からの対話を望まない場合もあり得る。しかしながら、ユーザーのプレゼンテーションの終了時に、主ユーザーは、聴衆のメンバーからのコメントおよびフィードバックを要請することもある。一例では、主ユーザーは特定のユーザーを選択して、副ユーザーがフィードバックを与えている間、本システムを制御するための一時的アクセスをこのユーザーに与えることができる。副ユーザーは、ワープロ文書における以前のページに戻り、あるセクションを協調し、またはディスプレイ上に仮想の線(例えば、円および矢印)を描くことによってというようにして、表示された情報を制御するために、ジェスチャーを行うことができる。このように、副ユーザーは、ジェスチャーによって容易に情報と相互作用することができ、ユーザーのフィードバックを一層効率的に与え、より良い理解を得ることができる。完了したときに、主ユーザーは、副ユーザーの制御するためのアクセスを取り除くか、または副ユーザーが制御を放棄することもできる。

[0079] 本システムの制御は、ユーザー間で移すこと、または複数のユーザー間で共有することができる。ジェスチャーによって制御を移すまたは共有することにより、例えば、コントローラーの回りを歩き回る必要なく、またはプレゼンテーションの態様を制御するために計算環境の近くに移動する必要もなく、ユーザーが情報を管理するための一層容易な方法を提供する。ユーザーは、彼らの席からジェスチャーによって本システムと対話することができる。複数のプレゼンターがいる場合のように、一人よりも多いユーザーが主ユーザーになることもできる。各プレゼンターは、彼らが一緒にいる間、提示されるコンテンツが特定的であり、特定のユーザーによってアクセス可能となるように、プレゼンテーションの特定の態様を制御することができる。

[0080] 他の例では、主ユーザーが、任意のユーザーからのフィードバックを求めて、発言権を解放することによって、副ユーザー・アクセスを部屋にいる任意のユーザーに与えることができる。主ユーザーは、聴衆の中にいる任意のユーザーのような、任意の参加者によるジェスチャーを介した情報の制御にアクセスさせることができる。例えば、プレゼンテーションの終了時に、主ユーザーは本システムにコマンドを発行して、部屋にいる任意のユーザーによるジェスチャーを本システムに処理させ認識させて、このジェスチャーを制御に変換させることができる。他の例では、本システムは、制御の要求を認識し、この要求を許可するか否か判断することができる。例えば、制御を要求するジェスチャーは、ユーザーの腕を真っ直ぐ上に上げることを含むことができる。本システムは、聴衆のメンバーによって行われたジェスチャーを認識することができる。本システムは、ユーザーがジェスチャーを介して制御を要求したことを示すことができる。本システムは、制御を要求するジェスチャーを認識したときに、当該システムの態様を制御するために、ユーザーに自動的にアクセスを与えることができ、または本システムは、副ユーザー制御を与える主ユーザーの許可まで待つこともできる。

[0081] 他の例では、プレゼンターによって設定された設定値によってというようにして、副ユーザーによる任意のアクセスを与えるために、プレゼンテーションにおいて一定時間まで待つように本システムに指令することもできる。例えば、他のユーザーに制御することを許可する前に、主ユーザーがフィードバックを要求するのを待つように、本システムに指令することができ、これは、システムによる認識のために、ジェスチャーによって指示することができる。しかしながら、その間に、本システムは、制御を要求するジェスチャーを行う各ユーザーを識別することによって、ユーザー要求のキューを生成することができる。次いで、主ユーザーが聴衆からのフィードバックの準備ができたときに、本システムは、ユーザーが制御を要求した順序を示すために、このキューを表示することができる。

[0082] 本システムは、現在の情報のプレゼンテーションのように、要求するユーザーのジェスチャーの他の状況を識別することができる。例えば、主ユーザーのプレゼンテーションの最中に、聴衆のメンバーが制御を要求するジェスチャーを行って、ユーザーがフィードバックを与えることおよび/または本システムを制御することを望んでいることを示すことができる。この時点で聴衆のメンバーに制御を与える代わりに、前述のように、本システムはユーザーのジェスチャーを認識して、キューにおいてそのユーザーを識別することができる。主ユーザーがフィードバックを要求したときに、本システムは、ユーザーの要求を示すことができるだけでなく、プレゼンテーションにおいてユーザーがジェスチャーを行った時点まで戻ることができる。このように、本システムは、ユーザーのジェスチャーの時点で最新であった表示に自動的に戻ることができる。

[0083] 尚、ユーザーが視野の中に入っているキャプチャー・デバイスのうち任意のものによってデーターを取り込むことができ、このキャプチャー・デバイスにネットワーク接続されている任意の計算環境が、取り込まれたデーターに対してジェスチャー認識技法を採用できることを注記しておく。例えば、ジェスチャー認識は、キャプチャー・デバイス205によって取り込まれたデーターに対して、主計算環境210によって採用することができる。他の例では、特定のユーザーと関連付けられている計算環境がジェスチャーを認識することもできる。例えば、ユーザー263が計算環境214と対話処理することができ、キャプチャー・デバイス204がユーザー263のジェスチャーを表すデーターを取り込むことができる。

[0084] 本システムの同じ制御に対するジェスチャーが、様々に変化してもよい。上の例では、ユーザーが、腕をいっぱいに広げて手を上げることによって、制御を要求するジェスチャーを行うことができる。しかしながら、制御を要求するジェスチャーは、指または手の動きというような、小規模のジェスチャーであってもよい。プレゼンテーションの流れにおいて解釈を制限するように、ジェスチャーを定めることもできる。ジェスチャーは、ユーザーが対話処理する計算環境に依存して、様々に変化することができる。例えば、図2Bにおけるユーザー263は、小規模な計算環境214と対話処理することができ、ユーザーまたは計算環境に特定のジェスチャーを適用することができる。ユーザーは、例えば、このユーザーの個人計算環境またはセル・フォンにおいて利用可能な、1組の定められたジェスチャーを有することができる。したがって、このユーザーは、ユーザーの個人的好みに依存して、一意にジェスチャーを行うことができる。

[0085] ユーザーのアクセス・レベルに対する指定は、物理空間にいる他のユーザーによって、またはアプリケーションの管理者によって、システム自体によって等というように、複数の利用可能なソースを介して付与することができる。例えば、本システムは物理空間においてデーターを取り込むことができる。この取り込んだデーターから、本システムは4人のユーザー260、261、262、263全てを物理空間において識別することができる。本システムは、単純に、人間のターゲットが物理空間にいることを識別することができるか、あるいは、例えば、身体/顔認識技法に基づいて、特定のユーザーを識別することができるとよい。本システムは、ユーザー毎に特定のアクセス・レベルを指定することができる。

[0086] 本システムは、存在のみに基づいて、または物理空間におけるユーザーの位置に基づいて、ユーザーのアクセス・レベルを指定することができる。例えば、本システムは、図2Aおよび図2Bに示すキャプチャー・デバイス202によって取り込まれたデーターを分析し、この取り込んだデーターから人間を識別することができる。物理空間において検出された各ユーザーには、デフォルトで、特定のアクセス・レベルを指定することができる。例えば、単に存在のみに基づいたユーザーのアクセス・レベルを、デフォルトとして、副ユーザーのアクセスに設定することができる。本システムは、部屋におけるユーザーの位置に基づいて、ユーザーのアクセス・レベルを特定することができる。例えば、座っているユーザー、例えば、部屋のある部分にいるユーザーまたは子供は、デフォルトで、見物ユーザーとして指定してもよい。ユーザーのアクセス・レベルの指定を変更することもできる。ユーザーの指定は、動的にして、ユーザーの活動を反映するように変化することができる。例えば、ユーザーが話しているとき、本システムは、ジェスチャー制御のために、この話しているユーザーに的を絞ることもできる。

[0087] 複数の参加者がある種々のシナリオには、各々、異なる要望があることもあり、したがって、本明細書において記載される種々の特徴は1つのシナリオに対して独特であり、任意に変化する特徴の組み合わせを含むこともある。例えば、本明細書において記載した方法例、または物理空間において主ユーザーを特定するための他のこのような同様の方法からの第1の方法が、第1のシナリオには一層適しているが、主ユーザーを選択するための第2の方法の方が、他のシナリオには適している場合もある。同様に、アプリケーション、会議の種類、ユーザーの種類、提示される情報のタイプ、1日の時刻でさえも、または部屋における照明というような、任意の特性に依存して、アクセス・レベルが様々に変化してもよい。

[0088] 他の例では、あるユーザーが本システムにログインすることができ、このユーザーの識別を、特定のアクセス・レベルと関連付けることもできる。例えば、情報のプレゼンテーションの制作者を主ユーザーとして関連付けることができ、この制作者を物理空間において特定したときに、本システムはこのターゲットを主ユーザーとして指定することができる。本システムによって検出された他のユーザーには、副ユーザーの指定を与えることができる。あるいは、主ユーザーのプレゼンテーションの聴衆に入るはずのユーザーが本システムにログインすることができ、このユーザーがログインしたときに指定を与えてもよい。または、主ユーザーが、会議の参加者に対して、アクセス・レベルを定めることができる。

[0089] ユーザー・プロファイルが、特定のユーザーに対してしかるべきアクセス・レベルを示すこともできる。例えば、本システムは、ユーザー・プロファイル情報のデーターベース(例えば、身体または顔の特徴データー)を有することができ、ユーザーをユーザー・プロファイルに相関付けることができる。本システムは、ユーザー・プロファイルに基づいて、または、取り込まれたデーターから識別された身体特性に基づいて、特定のユーザーを識別することができる。例えば、本システムは、キャプチャー・デバイス202によって取り込まれたデーターを分析し、身体/顔認識技法を使用して特定のユーザーを識別することができる。あるユーザーに対してユーザー・プロファイルが存在しない場合、本システムはそれを作ることができる。ユーザーのプロファイルは、本システムが採用すべきユーザーのアクセス・レベルの指示を与えることができる。

[0090] 主ユーザー、副ユーザー、または見物ユーザーとしてのユーザーの指定は、永続的指定とすることもできる。あるいは、指定が変化すること、または指定を変化させることもできる。更に、アクセス・レベル毎の設定/限度/制約も変更することができる。例えば、副ユーザーが本システムの態様を制御するためのアクセスを有することもできるが、他のユーザーに制御を付与する権限を有することはできないとしてもよい。しかしながら、これらの設定は、副ユーザーが他の人にアクセスを付与することができるように、変更することもできる。本システムまたはアプリケーションが、デフォルト情報に基づいてアクセス・レベルを設定してもよく、あるいはシナリオに対して特定的にレベルを定めてもよい。

[0091] 前述のように、一人のユーザーが、他のユーザーのアクセス・レベルを指定するためにジェスチャーを行うことができる。また、ジェスチャーは、情報のプレゼンテーションの態様を制御または管理するために適用可能にしてもよい。例えば、ワープロ・アプリケーションの形態でプレゼンテーションが実行される場合、ユーザーは、文書において1ページずつ前または後ろに動かすためのジェスチャーを行うことができる。ジェスチャーは、表示されているプレゼンテーションにアクセスしているユーザーによる一層厳密な分析のために、文書の一態様を強調するおよび/または画面上でそれを拡大するために適用可能であってもよい。

[0092] 視覚表現が、本システムの制御を共有する方法に対応することもできる。例えば、本システムの制御が一人のユーザーから次のユーザーに移される場合、視覚表現は同じままであってもよいが、制御を得たユーザーに対応するように、それに関連付けられたユーザーに移すことができる。他の例では、前述のように、各ユーザーが、彼または彼女と関連付けられた視覚表現を有することができる。本システムは、ユーザーの視覚表現に関する何らかの指示によって、どのユーザーが現在制御を有するのか示すことができる。例えば、制御を有していないユーザーの視覚表現をディスプレイから徐々に消していく、即ち、フェードすることができる。他の実施形態例では、現在ジェスチャーを行っているユーザーの視覚表現(1つまたは複数)のみを表示するおよび/または動かすこともできる。

[0093] 制御の指定は、ジェスチャーによって行うことができる。例えば、主ユーザーが、本システムの態様を制御する選択肢を副ユーザーに与えるために、ある種の様式でジェスチャーを行うことができる。図2Bにおけるユーザー260のような主ユーザーが、ユーザー261、262、263のような、ユーザーのグループにプレゼンテーションを行っている場合について考える。この主ユーザーは、表示を切り替える、画面上で物を動かす、画面上で垂直に線を引く、文書のセクションを強調する等というように、情報のプレゼンテーションを管理するために、ジェスチャーを使用していることもあり得る。

[0094] 本システムは、ユーザーに必ずしも特定的ではなく、そうであっても、異なる様式に関する情報を含むプロファイルにも、アクセスすることまたそうでなければ格納することができる。例えば、様式プロファイルは、あるタイプのプレゼンテーション、あるタイプのプレゼンター、あるタイプの聴衆等に適用可能なジェスチャー情報を含むことができる。好みを設定することもでき、または様式毎に適用されるジェスチャーを定めるデフォルト情報を含むこともできる。ユーザーは、特定のプレゼンテーションに対して実施される様式プロファイルのタイプを選択することができる。例えば、プレゼンターが、音楽を1クラスの学生に教える作曲者である場合、ジェスチャーは広く、大きな円を描くジェスチャーとするとよい。しかしながら、プレゼンターが、控えめなジェスチャーを行う司書である場合、プレゼンターは、最も小さな規模の動きを含むジェスチャーを選択すればよい。潜在的顧客のグループにゲームについての情報を提示する販売担当者と、裁判の手続き中に裁判官に情報を提示する弁護士との間に存在し得る違いについて考える。販売担当者は、もてなすような、愉快な口調とするとよいやり方で提示することを望むかもしれない。つまり、プレゼンテーションに適用可能な様式プロファイルは、より大きな、円を描く動きのうちの1つとするとよく、この様式プロファイルが、高いレベルのアニメーションと共に視覚表現を表示すべきことを示すことができる。裁判手続きの例では、しかしながら、様式プロファイルは、もっと小さなジェスチャーおよび最小限のアニメーションを含むのがよい。

[0095] 前述のように、リモート計算環境がネットワークを介してリソースを共有することができ、このリソースは、アプリケーション、およびそれぞれの物理空間におけるユーザーからの入力による本システムの制御を含む。つまり、図2Aまたは図2Bに示す物理空間201から離れたユーザーは、このユーザーのローカルな物理空間においてジェスチャーを行うことによって、システム200の態様を制御することができる。ネットワークを介して、このリモート・ユーザーにローカルな計算環境が、他のリモート計算環境またはローカル計算環境と、ネットワークを介して情報を共有することができ、リモート・ユーザーが、ジェスチャーによって、システムにネットワーク接続されている他の計算環境の態様を制御することが可能になる。つまり、例えば、あるアプリケーションがリモート・システムにおいて実行している場合、ユーザーのジェスチャーを処理し分析して、このリモート・システムの態様を制御することができる。

[0096] 図2Dおよび図2Eは、キャプチャー・デバイス202、計算デバイス212、およびディスプレイ・デバイス222を含むことができるシステム200を示す。例えば、キャプチャー・デバイス202、計算デバイス212、およびディスプレイ・デバイス222は、各々、本明細書において記載したデバイスのように、所望の機能を実行する任意の適したデバイスを含むことができる。

[0097] 図2Dおよび図2Eは、ターゲット認識、分析、および追跡システムの一例を、それぞれ、側面図および上面図で示し、更にポイントおよびフォーカス機能によって対話処理するユーザー265の一実施形態例を示す。この例は、ユーザーの視点に関するときの制御例を表す。このユーザーは、指し示すジェスチャーでシステムと対話処理することができ、このシステムはポイントおよびフォーカス機能双方が可能である。言い換えると、ユーザーの指し示すジェスチャーについての本システムの分析は、多次元的であり、ユーザーの見通し線および手の動きを、ユーザーの画面上における焦点を判定するために、考慮に入れることができる。例えば、キャプチャー・デバイス202は、ユーザーの頭の位置を追跡して、ユーザーの頭が回された方向を判定することができる。このキャプチャー・デバイスは、ユーザーの実際の目の動きを追跡する忠実度を有し、画面上の位置に対応するユーザーの目の見通し線を検出することができる。また、本システムは、物理空間におけるユーザーの手、腕、または指の位置変化を追跡するというように、ユーザーの手、腕、および指の動きも追跡することができる。本システムは、動きを分析して、ユーザーの身体部分と画面上における意図する対象位置との間の見通し線を判定することができる。手/腕/指の座標を使用して頭/目の見通し線を追跡することによって、本システムは、ユーザーは画面上における特定の場所を指し示すときに、ユーザーが一層自然で直感的な動きで動くことまたはジェスチャーを行うことを可能にし、本システムはユーザーに関するキャプチャー・デバイスからの追加入力を使用して、画面上における対象位置を判定する。本システムは、ユーザーがどこを指しているのかについての本システムの解釈を表すカーソルまたは他のシンボルを、画面上に表示することができる。

[0098] 図3は、生産性シナリオを改良するために、開示された技法を組み込むことができるネットワーク型または分散型システム例300の一例である。勿論、実際のネットワークおよびデーターベース環境は、種々の設定(configuration)で構成することができるが、ここに示す環境例は、一実施形態が動作することができるタイプの環境を理解するためのフレームワークを示す。

[0099] システム300は、計算環境302、304、306、308、およびキャプチャー・デバイス312、314、316のネットワークを含むことができる。これらのエンティティ302、304、306、308、312、314、および316の各々は、プログラム、方法、データー・ストア、プログラマブル・ロジック等を含む、または利用することができる。ユーザー322、324、326、328が、それぞれ、計算環境302、306、304とローカルに関連付けられて、示されている。本明細書において開示する種々の実施形態では、ユーザーのグループが、実在する世界における他のユーザーとの会議の体験を複製し、会議タイプの設定において共同作業することができる。この体験は、ユーザーが異なる物理位置におりネットワークを介して通信することができる仮想世界において複製することができる。ユーザーの場所にあるディスプレイが、このグループのユーザーを表すアバターをレンダリングすることができる。

[0100] 計算環境302、304、306、308、およびキャプチャー・デバイス312、314、316は、ネットワーク250を介して通信することができる。ネットワーク250は、同じまたは異なる場所にある計算環境302、304、306、308を任意のタイプ、数、またはその組み合わせのネットワークによってネットワーク接続することができるように、任意の数またはタイプのネットワークを表すことができる。ネットワーク250は、メッセージをこのネットワークの1つの部分から他の部分に、任意の数のリンクまたはノードを経由して受け渡すことができるように構成されている、任意のネットワークとすることができる。例えば、現在開示されている主題の一態様によれば、計算環境、キャプチャー・デバイス、およびディスプレイ・デバイスの各エンティティは、離散機能プログラム・モジュールを含むことができる。これらの離散機能プログラム・モジュールは、APIあるいは他のオブジェクト、ソフトウェア、ファームウェア、および/またはハードウェアを利用して、他の計算環境、キャプチャー・デバイス、およびディスプレイ・デバイスのうち1つ以上のサービスを要求することができる。任意の数のそれぞれのローカル計算環境と関連付けられた任意の数のユーザーが、ネットワーク250を介して、同じアプリケーションにアクセスすることができる。つまり、ネットワーク250を介して通信することによって、任意の数のユーザーがジェスチャーによって複数の他のユーザーと対話することができる。例えば、第1の場所において行われたジェスチャーは、変換してこの第1の場所を含む複数の場所においてディスプレイにマッピングすることができる。

[0101] ネットワーク250は、それ自体が、本明細書において記載するジェスチャー・ベース・システムにサービスを提供する、他の計算エンティティを含むことができ、それ自体が、複数の相互接続されたネットワークを表すことができる。ネットワーク250は、例えば、イントラネット、インターネット(an internet)、インターネット(the Internet)、パーソナル・エリア・ネットワーク(PAN)、キャンパス・エリア・ネットワーク(CAN)、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、コンピューター・ネットワーク、ゲーミング・ネットワーク等を含むことができる。また、ネットワーク250は、光ファイバー、公衆電話交換網(PSTN)、セルラ電話ネットワーク、グローバル・テレックス・ネットワーク、ワイヤレスLAN、イーサネット、電力線通信等のような、ネットワークにおいて個々のデバイスを接続する技術を代表することもできる。計算環境は、有線システムまたはワイヤレス・システムによって、ローカル・ネットワークまたは広く分散されたネットワークによって、互いに接続することができる。ネットワーク通信には、任意の適したワイヤレス・インターフェースを利用することができる。例えば、ワイヤレス・リンクは、以下のプロトコルに準拠することができる。GSM(登録商標)、CDMA、UMTS、LTE、WIMAX、WIFI、ZIGBEE、またはその組み合わせ。ネットワークは、クラウドまたはクラウド計算を含むこともできる。例えば、クラウド・インフラストラクチャは、データー・センターを介して配信されサーバー上で組み立てられる複数のサービスを含むことができる。これらのサービスは、ネットワーキング・インフラストラクチャへのアクセスを与えるところであれば、どこからでもアクセスすることができる。クラウドは、ユーザーにとって1つのアクセス・ポイントのように見えるかもしれず、インフラストラクチャはクライアントには見えないのであってもよい。

[0102] 前述のように、計算環境は、専用ビデオ・ゲーム・コンソールのような、キャプチャー・デバイスによって受け取られたデーターを処理するのに適した任意のデバイス、あるいはセルラ電話機またはパーソナル・コンピューターのような、もっと一般的な計算デバイスであってもよい。例示の目的で、計算環境308はサーバーであり、計算官許306は移動体ハンドヘルド計算デバイスであり、計算環境302および306は任意のタイプの計算環境を表すものとする。

[0103] これらの例では、キャプチャー・デバイス312、314、および316のようなキャプチャー・デバイスは、ユーザーがいる物理空間においてシーンを取り込むことができる。ユーザー322、324、326、および328のようなユーザーは、それぞれ、位置#1、#2、#3、および#4においてキャプチャー・デバイス312、314、および316の撮影視野の中にいることができる。各キャプチャー・デバイスは、その場所におけるユーザーのジェスチャーを表すデーターを取り込むことができる。各場所におけるキャプチャー・デバイスは、有線接続、ワイヤレス接続、および/またはネットワーク接続を介して、ローカルな計算環境に接続することができる。例えば、場所#1において、キャプチャー・デバイス312は、ワイヤー304を介して計算環境302に接続されていることが示されている。有線接続は、キャプチャー・デバイスを計算環境に結合する、S−ビデオ・ケーブル、同軸ケーブル、HDMIケーブル、DVIケーブル、VGAケーブル等のようなケーブルを含むことができる。キャプチャー・デバイスは、計算環境に直接差し込むように構成することができ、またそうでなければ、キャプチャー・データーを処理することができる計算環境に組み込むことができる。

[0104] キャプチャー・デバイスは、処理のために、取り込んだデーターを計算環境に供給することができる。この計算環境は、データーに対してジェスチャー認識技法を使用することができ、ユーザーは、計算環境またはアプリケーションの態様を含む、ジェスチャー・ベース・システムの態様を制御するためにジェスチャーを行うことができる。一実施形態例では、キャプチャー・デバイスは、それ自体が、取り込んだデーターを処理することができる計算環境であってもよい。例えば、任意のキャプチャー・デバイス312、314、416が、プロセッサーのように、キャプチャー・データーを処理しジェスチャー認識技法を使用する能力を有することもできる。例えば、場所#2において、キャプチャー・デバイス314は、ハンドヘルド計算デバイス304に組み込まれている場合が示されている。

[0105] 各計算環境302、304、306、308、および対応するキャプチャー・デバイスが、場所#1、場所#2、場所#3、および場所#4に示されている。本明細書において使用する場合、場所とは、本システムの種々の部分を配置することができる任意の場所を含む、広い用語である。例えば、場所#1、#2、#3、および#4は、家の中における異なる部屋のように、互いに非常に近接していてもよく、異なる州におけるように、互いに非常に離れていてもよく、またはその任意の組み合わせでもよい。これらの場所は、1つの同じ、一般的な、ローカルな場所に広がる特定の場所を指してもよい。例えば、各場所#1、#2、#3、および#4は、会議室のような、一般的な場所内における本システムのコンポーネントの特定の場所を指すのであってもよい。システム300の種々の部分は、ネットワーク250を介してというようにして、ローカルにまたは離れて通信することができる。

[0106] 例えば、ネットワーク接続されたシステムがあり、このシステムが作業環境に対応することがわかるとよい場合を考える。例えば、場所#1および場所#3は、計算環境302、306およびキャプチャー・デバイス312、314が同じ部屋の中にあるように、同じ会議室を表すことができる。ローカル・デバイスが、ネットワーク250を介してというように、ローカル接続を介して接続されていてもよい。場所#2は、離れた場所であって、リモート・サーバー308をこの離れた場所に維持できるようにしているのでもよい。そして、計算環境304は住居であってもよく、ユーザーが自宅から作業を行い、家庭用ネットワーク接続を介してネットワーク250にログインする。

[0107] このように、場所は、ジェスチャーを取り込むまたは処理するデバイスを配置することができる任意の場所を指すことを想定している。他の例では、リモート・ユーザーが、サーバー308においてホストされているゲーミング・サービスに接続するゲーミング・ネットワークを考える。各場所#1、#3、および#4にいるリモート・ユーザーは、ネットワーク250を介して接続することができ、互いを相手に同じゲームをプレーすることができる。他の例では、場所はローカルであってもよく、ローカル・ユーザーが同じ部屋においてそれぞれの計算環境で作業しており、ローカル・エリア・ネットワーク250を介して互いに対話するのであってもよい。

[0108] キャプチャー・デバイスは、取り込んだデーターを、処理のために計算環境に供給することができる。この計算環境は、このデーターに対してジェスチャー認識技法を使用し、ユーザーは、計算環境またはアプリケーションの態様を含む、ジェスチャー・ベース・システムの態様を制御するためにジェスチャーを行うことができる。一実施形態例では、キャプチャー・デバイスは、それ自体が、取り込んだデーターを処理することができる計算環境であってもよい。例えば、任意のキャプチャー・デバイス312、314、316が、プロセッサーのような、キャプチャー・データーを処理しジェスチャー認識技法を使用する、能力を有することもできる。例えば、場所#2において、キャプチャー・デバイス314が、ハンドヘルド計算デバイス304に組み込まれている場合が示されている。

[0109] 場所#1では、キャプチャー・デバイス312が、ワイヤー305を介して計算環境に接続されている場合が示されているが、ネットワーク250への接続251を介してローカル計算環境と通信することもできる。例えば、同じ場所#1にあるキャプチャー・デバイス312および計算環境302は、家庭用ワイヤレス・ネットワークの一部であってもよい。キャプチャー・デバイス312は、ユーザー322のジェスチャーを表すデーターを取り込み、このデーターを、家庭用ワイヤレス・ネットワーク250を介して、計算環境302に供給することができる。このように、キャプチャー・デバイス312および計算環境302は異なる部屋、例えば、もっと一般的な場所、場所#1にあってもよい。例えば、計算環境302は、家庭用ワイヤレス・ネットワーク250における中心計算環境302であってもよく、事務所のような、1つの部屋に配置することもできる。キャプチャー・デバイス312およびディスプレイ303は、家の中にあるメディアまたはゲーム室のような、他の部屋に配置されていてもよい。キャプチャー・デバイス312がユーザー322のデーターを取り込み、それを処理のために計算環境302に供給し、計算環境からディスプレイ303への出力を受け取ることができるように、キャプチャー・デバイス312を計算環境302にネットワーク接続することができる。

[0110] 同様に、前述の計算環境またはキャプチャー・デバイスが、これらの計算環境またはキャプチャー・デバイスのいずれかまたは双方に対してローカルまたはリモートであるディスプレイに出力することもできる。例えば、場所#1では、計算環境302が、ディスプレイ・コンポーネント303と共に示されている。しかしながら、キャプチャー・デバイス304と同様、有線接続、ワイヤレス接続、および/またはネットワーク接続を介して、ディスプレイ303を計算環境302に接続してもよいことが考えられる。つまり、ディスプレイ・コンポーネント303は、例えば、家庭用ワイヤレス・ネットワーク250の一部であってもよく、ワイヤーまたはネットワーク250を介してキャプチャー・デバイス304から表示用出力を受け取ることができる。

[0111] ネットワーク型システムのコンポーネントは、ある場所内においてローカルに、または複数の場所を跨いで離れて情報を共有することができる。一実施形態例では、ローカル計算環境302は、ユーザー322を表すデーターをキャプチャー・デバイス312から受け取る。計算環境302は、計算環境302のディスプレイ・コンポーネント303、またそうでなければ計算環境302に接続されている他のディスプレイ・デバイスのような、ローカル・ディスプレイに出力することができる。計算環境302は、代わりにまたは加えて、データーをリモート計算環境またはリモート・ディスプレイ・コンポーネントに、表示のために供給することもできる。例えば、計算環境302はネットワーク250を介して計算環境316と通信することができる。計算環境306は、計算環境302からデーターを受け取り、ユーザー322のジェスチャーを、計算環境306にローカルなディスプレイ・コンポーネント307にマッピングすることができる。

[0112] 他の実施形態例では、キャプチャー・デバイス312は、計算環境304、306、または308のような、リモート計算環境による分析または表示のために、ネットワーク250を介してデーターを供給することができる。このように、ユーザーからはリモートである計算環境が、ユーザー322に対してローカルであるキャプチャー・デバイス312によって取り込まれたデーターを処理することができるが、リモート計算環境におけるユーザーの視覚表示を表示することができる。

[0113] 分散型計算環境をサポートする種々のシステム、コンポーネント、およびネットワーク構成がある。例えば、計算システム同士を、有線システムまたはワイヤレス・システムによって、ローカル・ネットワークまたは広く分散されたネットワークによって接続することができる。現在、多くのネットワークがインターネットに結合されており、広く分散された計算のためのインフラストラクチャが設けられ、多くの異なるネットワークを含む。このようなインフラストラクチャであれば、インターネットに結合されていてもいなくても、任意のものを、提供される本システムおよび方法と共に使用することができる。

[0114] ネットワーク・インフラストラクチャが、クライアント/サーバー、ピーア・ツー・ピア、または混成アーキテクチャーのような、ネットワーク・トポロジーの後援(host)を可能にするのであってもよい。「クライアント」とは、他のクラスのサービスを使用するクラスまたはグループ、あるいはそれが関係付けられていないグループの一メンバーである。計算において、クライアントはプロセスであり、即ち、大まかには、他のプログラムによって提供されるサービスを要求する1組の命令またはタスクである。クライアント・プロセスは、他のプログラムやサービス自体についての作業詳細を全く必要とせずに、要求したサービスを利用する。クライアント/サービス・アーキテクチャ、特にネットワーク型システムでは、クライアントは、通常、他のコンピューター、例えば、サーバーによって提供される共有ネットワーク・リソースにアクセスするコンピューターである。状況に依存して、任意のエンティティ302、304、306、308、312、314、および316を、クライアント、サーバー、または双方と見なすことができる。そして、更に、娯楽用コンソールに関して、これはサーバーに対するクライアントとすることができる。

[0115] 必ずしもそうとは限らないが、サーバーは、通例、インターネットのような、リモート・ネットワークまたはローカル・ネットワークを介してアクセスできるリモート・コンピューター・システムである。クライアント・プロセスは、第1コンピューター・システムにおいてアクティブになり、サーバーは第2コンピューター・システムにおいてアクティブになって、通信媒体を介して互いに通信することができ、こうして分散型機能が設けられ、複数のクライアントがこのサーバーの情報収集機能を利用することが可能になる。任意のソフトウェア・オブジェクトを、複数の計算デバイスまたはオブジェクトに跨がって分散させることもできる。

[0116] クライアント(1つまたは複数)およびサーバー(1つまたは複数)は、プロトコル・レイヤー(1つまたは複数)によって提供される機能を利用して、互いに通信する。例えば、HyperText Transfer Protocol(HTTP)は、ワールド・ワイド・ウェブ(WWW)即ち「ウェブ」と共に使用されている極一般的なプロトコルである。通例、インターネット・プロトコル(IP)アドレスのようなコンピューター・ネットワーク・アドレス、またはユニバーサル・リソース・ロケーター(URL)のような他の参照を使用して、サーバーまたはクライアント・コンピューターを互いに特定することができる。ネットワーク・アドレスを、URLアドレスと呼ぶことができる。通信は、通信媒体を介して行うことができ、例えば、クライアント(1つまたは複数)およびサーバー(1つまたは複数)を、高容量通信用のTCP/IP接続(1つまたは複数)を介して互いに結合することができる。

[0117] このように、場所とは、ジェスチャー・データーを処理するまたは取り込むためのデバイスを配置することができる任意の場所を指すことが考えられる。他の例では、リモート・ユーザーがサーバー308においてホストされているゲーミング・サービスに接続するゲーミング・ネットワークを考える。各場所#1、#3、および#4にいるリモート・ユーザーは、ネットワーク250を介して接続すればよく、互いを相手にして同じゲームをプレーすることができる。他の例では、場所は、ローカルであってもよく、ローカル・ユーザーが同じ部屋においてそれぞれの計算環境で作業しており、同じシステム・コンポーネントを介してまたはローカル・エリア・ネットワークを介して互いに対話するのであってもよい。

[0118] 本明細書において使用する場合、システムに対する参照は、図2Aから図3において示したシステム200の任意の1つの部分、その組み合わせ、あるいは同様の機能を実行することができる任意の追加コンポーネントまたは計算環境に対する参照とすることができる。例えば、計算環境302は、図2に示した計算デバイス212に関して説明した機能、または図8に関して以下で説明するコンピューターに関して説明する機能を提供することができる。尚、図1から図2Cからの210、212、213、214のような、本明細書において記載した計算環境、または図3からの計算環境302、304、306のうち任意の1つを、図1に関して説明したターゲット認識、分析、および追跡システム10のような、ターゲット認識、分析、および追跡システムとして構成してもよく、更にこれらの計算環境のうち任意の1つが、ジェスチャー認識、スケーリング、または変換技法を採用してもよいことが考えられる。図1、図2Aから図2E、および図3に示すように、計算環境210、212、213、214は、ディスプレイ・デバイスを含むことができ、またそうでなければ、ディスプレイ・デバイスに接続することができる。計算環境は、それ自体のカメラ・コンポーネントを含むことができ、単体のキャプチャー・デバイスに接続することができ、またはキャプチャー・デバイス202のような、カメラ・コンポーネントを有するデバイスに接続することもできる。例えば、物理空間からデーターを取り込むことができるキャプチャー・デバイス202から、ユーザー204についてのジェスチャー情報に、計算環境212を結合することができ、またそうでなければこのジェスチャー情報を受け取ることができる。

[0119] 本明細書において提供される一般的なフレームワークにしたがって構築することができる様々な計算環境、および図3のような計算環境において計算に生じる可能性がある更に他の多様化に照らして、本明細書において提供するシステムおよび方法は、特定の計算アーキテクチャーやオペレーティング・システムに限定されるように解釈することは、全く不可能である。逆に、現在開示されている主題は、任意の1つの実施形態に限定されるのではなく、添付した特許請求の範囲にしたがってその広さおよび範囲が解釈されてしかるべきである。

[0120] 最後に、本明細書において記載した種々の技法は、ハードウェアまたはソフトウェア、あるいは適している場合には、双方の組み合わせと共に実現してもよいことも、注記してしかるべきである。つまり、現在開示されている主題の方法、コンピューター読み取り可能媒体、およびシステム、あるいはある種の態様またはその一部は、フロッピー・ディスケット、CD−ROM、ハード・ドライブ、または任意の他の機械読み取り可能記憶媒体のような、有形媒体に具体化されたプログラム・コード(即ち、命令)の形態をなすことができ、このプログラム・コードを、コンピューターのような、機械(machine)にロードして実行すると、この機械が主題を実施する装置となる。

[0121] プログラマブル・コンピューターにおけるプログラム・コード実行の場合、計算環境は、一般に、プロセッサー、このプロセッサーによって読み取り可能な記憶媒体(揮発性および不揮発性メモリー、および/または記憶エレメントを含む)、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスを含むことができる。コンピューター・システムと通信するために、例えば、データー処理API等の使用によって、本開示のドメイン特定プログラミング・モデルの態様の作成および/または実施を利用することができる1つ以上のプログラムが、高度手順またはオブジェクト指向プログラミング言語で実現されることが好ましい。しかしながら、プログラム(1つまたは複数)は、望ましければ、アセンブリーまたは機械語で実現することもできる。いずれの場合でも、言語は、コンパイル言語またはインタプリタ言語とすることができ、ハードウェアの実施態様と組み合わせることができる。

[0122] 図4は、ターゲット認識、分析、および追跡に使用することができるキャプチャー・デバイス202の一実施形態例を示し、ターゲットはユーザーまたは物体とすることができる。一実施形態例によれば、キャプチャー・デバイス202は、例えば、飛行時間、構造化照明、立体画像等を含む任意の適した技法によって、深度値を含むことができる深度画像を含む深度情報と共にビデオを取り込むように構成することができる。一実施形態によれば、キャプチャー・デバイス202は、計算された深度情報を「Zレイヤー」、または見通し線に沿って深度カメラから延びるZ軸に垂直であればよいレイヤーに編成することができる。

[0123] 図4に示すように、キャプチャー・デバイス202は画像カメラ・コンポーネント22を含むことができる。一実施形態によれば、画像カメラ・コンポーネント22は、シーンの深度画像を取り込むことができる深度カメラとするとよい。深度画像は、取り込まれたシーンの二次元(2D)画素エリアを含むことができ、この2D画素エリアにおける各画素が、例えば、カメラから取り込まれたシーンにおける物体のセンチメートル、ミリメートル等を単位とした、長さまたは距離のような、深度値を表すことができる。

[0124] 図4に示すように、一実施形態例によれば、画像カメラ・コンポーネント22は、IR照明コンポーネント24、三次元(3D)カメラ26、およびシーンの深度画像を取り込むために使用することができるRGBカメラ28を含むことができる。例えば、飛行時間分析では、キャプチャー・デバイス202のIR照明コンポーネント24は赤外線光を画面上に放出することができ、次いでセンサー(図示せず)を使用して、例えば、3Dカメラ26および/またはRGBカメラ28を使用して、シーンの中にある1つ以上のターゲットおよび物体の表面から後方散乱した光を検出することができる。実施形態の中には、出立光パルスと対応する入来光パルスとの間の時間を測定し、キャプチャー・デバイス202からのシーンの中にあるターゲットまたは物体上の特定位置までの物理的距離を判定するために、この時間を使用することができるように、パルス状赤外線光を使用するとよい場合がある。加えて、他の実施形態例では、出立光波の位相を、入来光波の位相と比較して、位相ずれを判定することもできる。次いで、この位相ずれは、キャプチャー・デバイス202からターゲットまたは物体上の特定位置までの物理的距離を判定するために使用することができる。

[0125] 他の実施形態例によれば、例えば、散乱光パルス撮像を含む種々の技法によって経時的に反射光ビームの強度を分析することによって、キャプチャー・デバイス202からターゲットまたは物体上の特定位置までの物理的距離を間接的に判定するために、飛行時間分析を使用することもできる。

[0126] 他の実施形態例では、キャプチャー・デバイス202は構造化照明を使用して深度情報を取り込むこともできる。このような分析では、パターン化光(即ち、格子パターンまたは縞模様パターンのような既知のパターンとして表示される光)を、例えば、IR照明コンポーネント24によって画面上に投射するとよい。画面における1つ以上のターゲットまたは物体の表面に衝突すると、このパターンは、応答して、変形することができる。このパターンのこのような変形は、例えば、3Dカメラ26および/またはRGBカメラ28によって取り込むことができ、次いでこれを分析して、キャプチャー・デバイス202からターゲットまたは物体上の特定位置までの物理距離を判定することができる。

[0127] 他の実施形態によれば、キャプチャー・デバイス202は2つ以上の物理的に分離されたカメラを含むこともでき、これらが1つのシーンを異なる角度から見て視覚的立体データーを得て、このデーターを分解して深度情報を生成することができる。他の実施形態例では、キャプチャー・デバイス202はポイント・クラウド・データー(point cloud data)およびターゲット・ディジタル化技法を使用して、ユーザーの特徴を検出することもできる。

[0128] 更に、キャプチャー・デバイス202は、マイクロフォン30、またはマイクロフォンのアレイを含むこともできる。マイクロフォン30は、音響を受けて電気信号に変換する変換器またはセンサーを含むことができる。一実施形態によれば、マイクロフォンは、ターゲット認識、分析、および追跡システム10においてキャプチャー・デバイス202と計算環境212との間におけるフィードバックを減らすために使用することができる。加えて、マイクロフォン30は、計算環境212によって実行することができる、ゲーム・アプリケーション、ゲーム以外のアプリケーション等のようなアプリケーションを制御するために、ユーザーによって与えることもできるオーディオ信号を受けるために使用することもできる。

[0129] 一実施形態例では、キャプチャー・デバイス202は、更に、画像カメラ・コンポーネント22と動作的に通信することができるプロセッサー32も含むことができる。プロセッサー32は、命令を実行することができる標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができる。これらの命令には、深度画像を受け取り、この深度画像に適したターゲットが含まれ得るか否か判定を行い、適したターゲットをそのターゲットのスケルトン表現またはモデルに変換する命令、または任意の他の適した命令を含むことができる。例えば、コンピューター読み取り可能媒体は、シーンのデーターを受け取るコンピューター実行可能命令を含むことができ、このデーターは、物理空間におけるターゲットを表すデーターを含む。前述の命令は、本明細書において記載するような、ジェスチャー・プロファイル個人化およびジェスチャー・プロファイル・ローミング(roaming)のための命令を含む。

[0130] キャプチャー・デバイス202は、更に、メモリー・コンポーネント34も含むことができる。メモリー・コンポーネント34は、プロセッサー32によって実行することができる命令、3Dカメラ26またはRGBカメラ28によって取り込まれた画像または画像のフレーム、あるいは任意の他の適した情報、画像等を格納することができる。一実施形態例によれば、メモリー・コンポーネント34は、ランダム・アクセス・メモリー(RAM)、リード・オンリー・メモリー(ROM)、キャッシュ、フラッシュ・メモリー、ハード・ディスク、または任意の他の適した記憶コンポーネントを含むことができる。図4に示すように、一実施形態では、メモリー・コンポーネント34は、画像キャプチャー・コンポーネント22およびプロセッサー32と通信することができる別個のコンポーネントであってもよい。他の実施形態によれば、メモリー・コンポーネント34は、プロセッサー32および/または画像キャプチャー・コンポーネント22に統合されてもよい。

[0131] 図4に示すように、キャプチャー・デバイス202は、通信リンク36を介して、計算環境212と通信することができる。通信リンク36は、例えば、USB接続、Firewire接続、イーサネット・ケーブル接続等を含む有線接続、および/またはワイヤレス802.11b、g、a、またはn接続のようなワイヤレス接続とすることができる。一実施形態によれば、計算環境212は、クロックをキャプチャー・デバイス202に供給することができる。このクロックは、例えば、通信リンク36を介してシーンをいつ取り込むべきか判定するために使用することができる。

[0132] 加えて、キャプチャー・デバイス202は、例えば、3Dカメラ26および/またはRGBカメラ28によって取り込まれた深度情報および画像、ならびにキャプチャー・デバイス202によって生成することができるスケルトン・モデルを、計算環境212に、通信リンク36を介して供給することができる。すると、計算環境212は、このスケルトン・モデル、深度情報、および取り込まれた画像を使用して、例えば、ゲームまたはワード・プロセッサーのようなアプリケーションを制御することができる。例えば、図4に示すように、計算環境212はジェスチャー・ライブラリー192を含むことができる。

[0133] 図4に示すように、計算環境212は、ジェスチャー・ライブラリー192と、ジェスチャー認識エンジン190とを含むことができる。ジェスチャー認識エンジン190は、ジェスチャー・フィルター191の集合体を含むことができる。フィルターは、ジェスチャーを認識する、あるいはそうでなければ深度、RGB、またはスケルトン・データーを処理することができる、コードおよび関連付けられたデーターを含むことができる。各フィルター191は、ジェスチャーを定める情報を、そのジェスチャーに対するパラメーター、またはメタデーターと共に含むことができる。例えば、投げる動作は、手の1つが身体の背後から身体の前方を通過する動きを含み、その動きが深度カメラによって取り込まれるに連れて、ユーザーの手の1つが身体の背後から身体の前方を通過する動きを表す情報を含むジェスチャー・フィルター191として実装することができる。次いで、このジェスチャーに対してパラメーターを設定することができる。このジェスチャーが投げる動作である場合、パラメーターは、手が達しなければならないしきい値速度、手が移動しなければならない距離(ユーザー全体のサイズに対して絶対的、または相対的のいずれか)、および認識エンジンによる、ジェスチャーが行われたことの信頼度格付けとするとよい。ジェスチャーに対するこれらのパラメーターは、アプリケーション間、1つのアプリケーションのコンテキスト間、または1つのアプリケーションの1つのコンテキスト内において経時的に様々に変化するのであってもよい。

[0134] ジェスチャー認識エンジン190がジェスチャー・フィルターの集合体を含むことができると考えられる場合、フィルターが深度、RGB、またはスケルトン・データーを処理するコードを含むかまたそうでなければコンポーネントを表すことができ、フィルターの使用は、分析をフィルターに限定することを意図するのではない。フィルターは、システムによって受け取られたシーンのデーターを分析し、そのデーターをジェスチャーを表す基準情報と比較するコードのコンポーネント例またはセクション例を表す。分析の結果、本システムは、入力データーがそのジェスチャーに対応するか否かに対応する出力を生成することができる。ジェスチャーを表す基準データーは、ユーザーのキャプチャー・モーションを表すデーターの履歴において繰り返す特徴に対応するように、調節することができる。例えば、基準情報は、前述のようなジェスチャー・フィルターの一部であってもよい。しかし、入力データーおよびジェスチャー・データーを分析するのに適した任意のやり方が考えられる。

[0135] 一実施形態例では、ジェスチャーは、変更モードに入るためのトリガーとして認識することができ、ユーザーは、そのユーザーのジェスチャー・プロファイルにおけるジェスチャー・パラメーターを変更することができる。例えば、ジェスチャー・フィルター191は、変更トリガー・ジェスチャーを認識する情報を含むことができる。この変更トリガー・ジェスチャーが認識された場合、アプリケーションは変更モードに入ることができる。変更トリガー・ジェスチャーは、アプリケーション間、システム間、ユーザー間等で様々に変化してもよい。例えば、テニス・ゲーム・アプリケーションにおける同じジェスチャーが、ボーリング・ゲーム・アプリケーションにおける同じ変更トリガー・ジェスチャーでなくてもよい。

[0136] カメラ26、28およびデバイス202によってスケルトン・モデルの形態で取り込まれたデーター、ならびにそれと関連付けられた動きは、ジェスチャー・ライブラリー192においてジェスチャー・フィールド191と比較され、いつユーザー(スケルトン・モデルによって表された)が1つ以上のジェスチャーを行ったのか特定することができる。つまり、フィルター191のようなフィルターへの入力は、関節において1つになる骨によって形成される角度のような、ユーザーの関節位置についての関節データー、シーンからのRGBカラー・データー、およびユーザーの態様の変化率というような項目を含むことができる。前述のように、ジェスチャーに対してパラメーターを設定することができる。フィルター191からの出力は、所与のジェスチャーが行われていることの信頼度、ジェスチャーの動きが行われる速度、およびジェスチャーが行われた時刻というような項目を含むことができる。

[0137] 計算環境212は、プロセッサー195を含むことができる。プロセッサー195は、深度画像を処理して、部屋におけるユーザー18または物体のような、シーンのなかにあるターゲットが何であるのか判定することができる。これは、例えば、同様の距離値を共有する深度画像の画素を一緒にグループ化することによって行うことができる。また、この画像を解析して、ユーザーのスケルトン表現を生成することもでき、関節、および関節間にある組織のような特徴が特定される。深度カメラによって人を取り込み、それから、手の関節、手首、肘、膝、鼻、踝、肩、および骨盤が脊椎と交わるところといった、そのユーザーの骨格上における種々のスポットを判定する、スケルトン・マッピング技法が存在する。他の技法には、画像をその人の身体モデル表現に変換し、この画像をその人のメッシュ・モデル表現に変換することが含まれる。

[0138] 一実施形態では、キャプチャー・デバイス202自体において処理が実行され、深度および色(キャプチャー・デバイス202が3Dカメラ26を含む場合)の生画像データーが、リンク36を介して、計算環境212に送られる。他の実施形態では、カメラ402に結合されているプロセッサー32によって処理が実行され、解析された画像データーは計算環境212に送られる。更に他の実施形態では、生画像データーおよび解析した画像データーの双方が、計算環境212に送られる。計算環境212は、解析された画像データーを受け取ればよいが、更に、現在のプロセスまたはアプリケーションを実行するために、生データーも受け取るとよい。例えば、コンピューター・ネットワークを経由して他のユーザーにシーンの画像が送られる場合、計算環境212は、他の計算環境による処理のために、この生データーを送ることができる。

[0139] 計算環境212は、図4に示すようなジェスチャー・プロファイル205と共に、ジェスチャー・ライブラリー192を使用して、スケルトン・モデルの動きを解釈し、この動きに基づいてアプリケーションを制御することができる。計算環境212は、アバターの形態のような、ユーザーの表現、またはディスプレイ・デバイス193におけるような、ディスプレイ上のポインタをモデル化し表示することができる。ディスプレイ・デバイス193は、コンピューター・モニター、テレビジョン画面、または任意の適したディスプレイ・デバイスを含むことができる。例えば、カメラ制御型コンピューター・システムが、ユーザー画像データーを取り込み、ユーザーのジェスチャーにマッピングするテレビジョン画面上にユーザー・フィードバックを表示することができる。このユーザー・フィードバックは、図1に示したように、画面上のアバターとして表示することができる。このアバターの動きをユーザーの動きにマッピングすることによって、アバターの動きを直接制御することができる。ユーザーのジェスチャーを解釈して、アプリケーションのある種の態様を制御することができる。

[0140] 一実施形態例によれば、ターゲットは、立っているまたは座っているというような、任意の位置にいる人間のターゲット、物体を持っている人間のターゲット、2人以上の人間のターゲット、一人以上の人間のターゲットの1つ以上の四肢等とすることができ、このターゲットを走査、追跡、モデル化、および/または評価して、仮想画面を生成し、このユーザーを1つ以上の格納されているプロファイルと比較し、および/または計算環境212のような計算環境に、このユーザーと関連付けられているジェスチャー・プロファイル205を格納することができる。ジェスチャー・プロファイル205は、ユーザー、アプリケーション、またはシステムに特定的とすることができる。ジェスチャー・プロファイル205には、アプリケーションを介してアクセス可能とするか、または、例えば、システム規模で利用可能とするとよい。ジェスチャー・プロファイル205は、特定のユーザー・プロファイル情報をロードするための参照表を含むことができる。仮想画面は、図1に関して先に説明した計算環境212によって実行することができるアプリケーションと相互作用することができる。

[0141] ジェスチャー・プロファイル205は、とりわけ、走査または推定したターゲットの身体サイズ、スケルトン・モデル、身体モデル、音声サンプルまたはパスワード、ターゲットの性別、ターゲットの年齢、以前のジェスチャー、ターゲットの制限、および座る傾向、左利きまたは右利き、あるいはキャプチャー・デバイスに非常に近接して立つ傾向というような、システムのターゲットによる標準的使用というような、ユーザー識別データーを含むことができる。この情報は、キャプチャー・シーンにおけるターゲットと一人以上のユーザーとの間に一致があるか否か判断するために使用することができる。一致があった場合、そのユーザーについてのジェスチャー・プロファイル205をロードすることができ、そして一実施形態では、ジェスチャー認識技法をこのユーザーに適応させること、またはジェスチャー・プロファイル205にしたがって計算またはゲーミング体験の他の要素を適応させることを、本システムに可能にすることができる。

[0142] 1つ以上のジェスチャー・プロファイル205を計算環境212に格納し、複数のユーザー・セッションにおいて使用することができ、あるいは1つのセッションのみのために、1つ以上のプロファイルを作ることができる。ユーザーは、音声または身体走査、年齢、個人的な好み、左利きまたは右利き、アバター、名前等のような情報を本システムに提供できるときに、プロファイルを作る選択肢を有することができる。また、ジェスチャー・プロファイルは、取り込み空間に進入せず本システムに全く情報を提供しない「ゲスト」についても、生成または提供することができる。一人以上のゲストに対して、一時的個人プロファイルを作ることもできる。ゲスト・セッションの終了時に、ゲスト・ジェスチャー・プロファイルを格納しても削除してもよい。

[0143] ジェスチャー・ライブラリー192、ジェスチャー認識エンジン190、およびジェスチャー・プロファイル205は、ハードウェア、ソフトウェア、または双方の組み合わせによって実現することができる。例えば、ジェスチャー・ライブラリー192、およびジェスチャー認識エンジン190は、図4に示す計算環境212のプロセッサー195、または図7の処理ユニット101、または図8の処理ユニット259のような、プロセッサーにおいて実行するソフトウェアとして実現することができる。

[0144] 尚、図4ならびに以下で説明する図7および図8に図示したブロック図は一例であって、特定の実施態様を暗示することを意図するのではないことを強調しておく。つまり、図4におけるプロセッサー195または32、図7の処理ユニット101、および図8の処理ユニット259は、1つのプロセッサーまたは複数のプロセッサーとして実現することができる。複数のプロセッサーを分散すること、または集中的に配置することができる。例えば、ジェスチャー・ライブラリー192は、キャプチャー・デバイスのプロセッサー32において実行するソフトウェアとして実現することができ、または計算環境212におけるプロセッサー32において実行するソフトウェアとして実現することもできる。本明細書において開示される技法を実行するのに適したプロセッサーの任意の組み合わせが考えられる。複数のプロセッサーが、ワイヤレスで、ハード・ワイヤーを介して、またはその組み合わせで通信することができる。

[0145] ジェスチャー・ライブラリーおよびフィルター・パラメーターは、ジェスチャー・ツールによって、アプリケーションまたはアプリケーションのコンテキストに対して調整することができる。コンテキストは、文化的コンテキスト(cultural context)とすることができ、そして環境コンテキストとすることもできる。文化的コンテキストとは、システムを使用するユーザーの文化を指す。異なる文化が同様のジェスチャーを使用して、全く異なる意味を与えることもある。例えば、他のユーザーに「見ろ」または「彼の目を使え」と言いたいアメリカ人は、彼の人差し指を彼の目の遠端側近くで彼の頭部に置けばよい。しかしながら、イタリア人のユーザーにとって、このジェスチャーは、マフィアに言及するものとして解釈される可能性がある。

[0146] 同様に、1つのアプリケーションの異なる環境間で異なるコンテキストがある場合もある。自動車を運転することを伴うファースト・パーソン・シューター・ゲーム(first-person shooter game)を取り上げる。ユーザーが歩きながら、指を地面に向けて拳を作り、身体から離れるように前方にその拳を広げると、パンチを打つジェスチャーを表すことができる。ユーザーが運転のコンテンツにある間では、その同じ動きが「ギア・シフト」ジェスチャーを表すこともある。

[0147] ジェスチャーは、相補ジェスチャーのジャンル・パッケージに纏めてグループ化することができ、相補ジェスチャーは、そのジャンルの中にあるアプリケーションによって使用される可能性が高い。相補ジェスチャーは、一般に一緒に使用されるものにおける相補、または1つのパラメーターを変化させると、他のパラメーターも変化するという場合のような相補のいずれであっても、纏めてジャンル・パッケージにグループ化することができる。これらのパッケージをアプリケーションに供給することができ、アプリケーションはそのうち少なくとも1つを選択することができる。このアプリケーションは、ジェスチャーまたはジェスチャー・フィルター191のパラメーターを調整または変更し、当該アプリケーションの独特の態様に最もよく合わせることができる。そのパラメーターを調整すると、これらのパラメーターが相補であり続けるように、ジェスチャーまたは第2のジェスチャーのいずれかの相補パラメーター(相互依存の意味で)も調整される。ビデオ・ゲームに対するジャンル・パッケージは、ファースト・ユーザー・シューター、アクション、運転、およびスポーツというようなジャンルを含むことができる。

[0148] 図5Aは、キャプチャー・デバイス202から生成することができるユーザーのスケルトン・マッピングの一例を示す。この実施形態では、種々の関節および骨が識別され、各手502、各前腕504、各肘506、各上腕二頭筋508、各肩510、各臀部512、各腿514、各膝516、各前肢518、各足520、頭部522、胴524、脊椎の最上部526および最下部528、ならびにウェスト530がある。もっと多くのポイントを追跡する場合、指またはつま先の骨および関節、あるいは鼻および目のような顔の個々の構造というような、追加の構造を識別すればよい。

[0149] ユーザーは、彼の身体を動かすことによって、ジェスチャーを行うことができる。ジェスチャーは、ユーザーによる動きまたはポーズを含み、画像データーとして取り込み、解析して意味を求めることができる。ジェスチャーは、ボールを投射する真似をするというような動きを含み、動的であってもよい。ジェスチャーは、人が胴体524の前で前腕504を組んだままにしているというような、静止ポーズであってもよい。ジェスチャーは、1つの動き(例えば、ジャンプ)、または連続したジェスチャー(例えば、運転)であってもよく、期間が短くても、または期間が長くても(例えば、202分間の運転)よい。また、ジェスチャーは、偽の剣を振るというように、小道具を組み込んでもよい。また、ジェスチャーは、手502同士を叩くというような、1つよりも多い身体部分を含んでもよく、または人がその唇をすぼめるというような些細な動きであてもよい。

[0150] ジェスチャーは、一般的な計算コンテキストにおける入力に使用することができる。例えば、手502または他の身体部分の種々の動きは、階層リストにおいて上下にナビゲートする、ファイルを開く、ファイルを閉じる、ファイルをセーブするというような、共通するシステム全体のタスクに対応することもできる。例えば、ユーザーは指を広げ掌をキャプチャー・デバイス202に向けた状態で手を保持することができる。次いで、彼は彼の指を掌に向けて閉じて拳を作ることができ、これが、ウィンドウ・ベースのユーザー・インターフェース計算環境において注目されているウィンドウを閉じることを指示するジェスチャーとすることができる。また、ユーザーは、ゲームに依存して、ジェスチャーをビデオ・ゲーム特定のコンテキストで使用することもできる。例えば、運転ゲームでは、手502および5320の種々の動きが、ある方向に車両を操縦すること、ギアをシフトすること、アクセルを踏むこと、およびブレーキをかけることに対応することができる。このように、ジェスチャーは、表示されているユーザー表現にマッピングする広範囲の動きを、ビデオ・ゲーム、テキスト・エディター、ワープロ、データー管理等のような、多種多様のアプリケーションにおいて、示すことができる。

[0151] ユーザーは、彼自身がその場で歩行または走行することによって、歩行または走行に対応するジェスチャーを生成することができる。例えば、ユーザーは、動くことなく歩行を模擬するには、各足512〜520を交互に上げ下げすればよい。本システムは、各臀部512および各腿514を分析することによって、このジェスチャーを解析することができる。1つの臀部−膝の角度(垂直線に対して測定する。この場合、直立しているときの足の臀部−腿の角度は0度であり、前方に水平に延ばした足の臀部−腿の角度は90度である)が、他方の腿に対してあるしきい値を超えたときに、1歩(step)を認識することができる。歩行または走行は、交互の足によるある回数の連続する歩進の後に、認識することができる。最後の2回の歩進間の時間は、周期と考えることができる。ある回数の周期の後、しきい値角度が満たされない場合、本システムは、歩行または走行ジェスチャーが停止したと判断することができる。

[0152] 「歩行または走行」ジェスチャーを想定した場合、アプリケーションは、このジェスチャーと関連のあるパラメーターに値を設定することができる。これらのパラメーターは、前述のしきい値角、歩行または走行ジェスチャーを開始するのに必要な歩進数、ジェスチャーを終了するために歩進が行われなかった周期の数、およびジェスチャーが歩行または走行か否か判断するしきい値周期を含むことができる。ユーザーが彼の足を素早く動かしたときの速い周期は走行に対応することができ、それよりも遅い周期は歩行に対応することができる。

[0153] ジェスチャーには、1組のデフォルト・パラメーターを最初に関連付けることができ、アプリケーションは、それ自体のパラメーターで、デフォルト・パラメーターを無効にすることができる。このシナリオでは、アプリケーションはパラメーターを供給することを強制されないが、代わりに、アプリケーションが定めたパラメーターがない場合にジェスチャーを認識することを可能にする1組のデフォルト・パラメーターを使用することができる。ジェスチャーに関する情報は、プリキャンド・ジェスチャー・アニメーション(pre-canned gesture animation)の目的のために格納することができる。

[0154] ジェスチャーと関連付けることができる種々の出力がある。ジェスチャーが行われているか否かについて、「はいまたはいいえ」というベースラインがあるとよい。また、ユーザーの追跡されている動きがジェスチャーに対応する可能性に対応する、確実度レベルがあってもよい。これは、0および1の間で、0および1を含む浮動小数点数を範囲とする線形目盛りとすることができる。このジェスチャー情報を受け取ったアプリケーションが擬陽性を入力として受け入れることができない場合、認識されたジェスチャーのうち、少なくとも0.95というような、高い確実度レベルを有するもののみを使用するとよい。アプリケーションが、擬陽性を犠牲にしてでも、そのジェスチャーのあらゆるインスタンスを認識しなければならない場合、0.2よりも僅かに大きいというような、遙かに低い確実度レベルを少なくとも有するジェスチャーを使用してもよい。ジェスチャーは、最後の2回の歩進間の時間についての出力を有することができ、最初の歩進のみが登録されている場合、これを、−1のような、予約値に設定するとよい(何故なら、任意の2回の歩進の間の時間は、正でなければならないからである)。また、ジェスチャーは、最新の歩進間に達した最も高い腿の角についての出力も有することもできる。

[0155] 他のジェスチャー例に、「踵上げジャンプ」(heel lift jump)がある。この場合、ユーザーは、彼の踵を地面から上げるが、彼のつま先を付けたままにすることによって、このジェスチャーを行うことができる。あるいは、ユーザーは空中にジャンプすることもでき、この場合彼の両足520は完全に地上から離れている。本システムは、肩510、臀部512、および膝516の角度関係を分析することによって、このジェスチャーについてスケルトンを解析し、これらが、真っ直ぐに起立するときと等しい並び(alignment)の位置にあるか否か調べることができる。次いで、これらのポイントならびに上下の脊椎点526および528を監視して、あらゆる上方向への加速度を求めることができる。十分な加速度の組み合わせがあると、ジャンプ・ジェスチャーをトリガーすることができる。加速を特定のジェスチャーと十分に組み合わせることによって、遷移点のパラメーターを満たすことができる。

[0156] この「踵上げジャンプ」ジェスチャーを想定した場合、アプリケーションは、このジェスチャーと関連のあるパラメーターに対して値を設定することができる。これらのパラメーターは、このジェスチャーをトリガーするためには、ユーザーの肩510、臀部512、および膝516の何らかの組み合わせが、どの位速く上に動かなければならないかを決定する前述の加速度しきい値、ならびに、ジャンプをまだトリガーすることができる肩510、臀部512、および膝516の間の並びの最大角を含むことができる。出力は、確実度レベル、およびジャンプの時点におけるユーザーの身体の角度を含むとことができる。

[0157] ジェスチャーを受け取るアプリケーションの特性(particulars)に基づいてそのジェスチャーについてのパラメーターを設定することは、ジェスチャーを精度高く識別するには重要である。ジェスチャーおよびユーザーの意図を適正に識別すると、疑いの余地のないユーザー体験を作り出すのに大いに役立つ。

[0158] アプリケーションは、プリキャン・アニメーションを使用すべきポイントを特定するために、種々の遷移点と関連付けられたパラメーターに対して値を設定することができる。遷移点は、特定のジェスチャーの識別、速度、ターゲットまたは物体の角度、またはその任意の組み合わせというような、種々のパラメーターによって定めることができる。遷移点が、少なくとも部分的に、特定のジェスチャーの識別によって定められた場合、ジェスチャーと適正に識別することによって、遷移点のパラメーターが満たされたことの信頼度レベルを高めるのに役立つ。

[0159] ジェスチャーに対する他のパラメーターは、動いた距離とするとよい。ユーザーのジェスチャーが仮想環境におけるアバターの行為を制御する場合、そのアバターがボールからの腕の距離であってもよい。ユーザーがボールと相互作用しそれを掴みたい場合、ユーザーが、掴むジェスチャーを行いながら、彼の腕502〜510を最大限延ばすことが必要になる。この状況では、同様の掴むジェスチャーであっても、ユーザーが彼の腕502〜510を部分的に延ばすだけでは、ボールと相互作用するという結果には至らないようにするとよい。同様に、遷移点のパラメーターが、掴むジェスチャーの識別であることもでき、ユーザーが彼の腕502〜510を部分的にしか延ばさなかったために、ボールと相互作用する結果には至らなかったなら、ユーザーのジェスチャーは、遷移点のパラメーターも満たさない。

[0160] ジェスチャーまたはその一部は、それが行われなければならない空間のボリュームを、パラメーターとして有してもよい。この空間のボリュームは、通例、身体に関して表現することができ、ジェスチャーが身体の動きを含む。例えば、右利きのユーザーがフットボールを投げるジェスチャーは、右肩510aよりも高い空間のボリューム、そして頭部522の投げる腕502a〜510aと同じ側だけで認識されればよい。この投射ジェスチャーの場合のように、ボリュームの全ての境界を定める必要はない場合もある。この場合、身体から遠ざかる外側の境界は定められないままにされており、ボリュームは定められずに広がるか、または監視されているシーンのエッジまで広がる。

[0161] 図5Bは、図4のジェスチャー認識エンジン190の一実施形態例を更に詳細に示す。図示のように、ジェスチャー認識エンジン190は、1つのジェスチャーまたは複数のジェスチャーを判定するために、少なくとも1つのフィルター519を備えることができる。フィルター519は、ジェスチャー526(以後、「ジェスチャー」と呼ぶ)を定める情報を含み、そのジェスチャー526についての少なくとも1つのパラメーター528、またはメタデーター含むことができる。例えば、投げる動作は、一方の手が身体の背後から身体の前を通過する動きが含まれ、この動きが深度カメラによって取り込まれると、ユーザーの一方の手が身体の背後から身体の前を通過する動きを表す情報を含むジェスチャー526として実現することができる。次いで、このジェスチャー526に合わせて、パラメーター528を設定することができる。ジェスチャー526が「投げる」の場合、パラメーター528は、手が到達しなければならないしきい値速度、手が移動しなければならない距離(絶対的な距離またはユーザー全体の大きさに対して相対的な距離)、および認識エンジン190による、そのジェスチャー526が行われたことの確実度の格付けとすることができる。ジェスチャー526についてのこれらのパラメーター528は、アプリケーション間、1つのアプリケーションのコンテキスト間、または1つのアプリケーションの1つのコンテキスト内において経時的に変化してもよい。

[0162] フィルターは、モジュール状または相互交換可能であるとよい。一実施形態では、フィルターは、複数の入力と複数の出力とを有し、これらの入力の各々がタイプを有し、これらの出力の各々がタイプを有する。この状況では、認識エンジンのアーキテクチャーの他の態様を全く変更することなく、第1のフィルターを、この第1のフィルターと同じ数および同じタイプの入力と出力とを有する第の2フィルターと交換することができる。例えば、入力としてスケルトン・データーを取り込み、そのフィルターと関連のあるジェスチャーが行われている確実度と、操縦角度とを出力する駆動用第1フィルターがあってもよい。おそらくは第2駆動フィルターの方が効率的であり必要な処理リソースが少なくて済むために、この第1駆動フィルターを第2駆動フィルターと交換したい場合、第2フィルターが同じ入力および出力、即ち、スケルトン・データー型である1つの入力と、確実度タイプおよび角度タイプである2つの出力を有する限り、単に第1フィルターを第2フィルターと交換することによって、そうすることができる。

[0163] フィルターがパラメーター528を有する必要はない。例えば、ユーザーの身長を戻す「ユーザー身長」フィルターが、調整することができるあらゆるパラメーターを考慮することはない。代わりの「ユーザー身長」フィルターが、ユーザーの身長を判定するときに、ユーザーの靴、髪型、帽子、および姿勢を考慮に入れるべきか否かというような、調整可能なパラメーターを有すればよい。

[0164] フィルターへの入力は、関節において合体する骨によって形成される角度のような、ユーザーの関節位置についての関節データー、シーンからのRGBカラー・データー、およびユーザーの態様の変化率、というような事項を含むことができる。フィルターからの出力は、所与のジェスチャーが行われる確実度、ジェスチャーの動きが行われる速度、およびジェスチャーの動きが行われた時刻というような事項を含むことができる。

[0165] ジェスチャー認識エンジン190は、ジェスチャー・フィルター519に機能を与える基本認識エンジン517を有することができる。一実施形態では、認識エンジン517が実装する機能は、認識されたジェスチャーおよび他の入力を追跡する経時的入力アーカイブ、隠れマルコフ・モデルの実装(モデル化されるシステムは、未知のパラメーターを有するマルコフ・プロセスであると仮定される。このプロセスでは、現在の状態が、今後の状態を判定するために必要な任意の過去の状態情報をカプセル化するので、この目的のために他の過去の状態情報を維持しなくてもよい。隠れているパラメーターは、見物可能なデーターから判定される)、およびジェスチャー認識の特定の実例(instance)を解決するために必要とされる他の機能を含む。

[0166] 基本認識エンジン517は、ジェスチャー・プロファイル520を含む。例えば、基本認識エンジン517は、ジェスチャー・プロファイル520をユーザーのために一時的にジェスチャー認識エンジンにロードし、ジェスチャー・プロファイル520にジェスチャー・フィルター情報を格納し、またそれ以外では離れた場所からジェスチャー・プロファイル520にアクセスすることができる。ジェスチャー・プロファイル520は、特定のユーザーに対応するために、フィルター519における情報を適応させるパラメーターを供給することができる。例えば、前述のように、ジェスチャー526は、しきい値速度または手が移動しなければならない距離に対するパラメーター528を有する、「投げる」であるとすることができる。ジェスチャー・プロファイル520は、投げるジェスチャー526に対して、しきい値速度または手が移動しなければならない距離を定め直すことができる。したがって、基本認識エンジン517は、フィルター519におけるパラメーターを、ジェスチャー・プロファイル520からのパラメーターで補足するか、または置き換えることができる。フィルター519は、デフォルト・ジェスチャー情報とすることができ、ジェスチャー・プロファイル520は、特定のユーザーに特定的にロードすることができる。

[0167] フィルター519は、基本認識エンジン517の上にロードおよび実装され、エンジン517によって全てのフィルター519に提供されるサービスを利用することができる。一実施形態では、基本認識エンジン517は、受け取ったデーターを処理して、それが任意のフィルター519の要件を満たすか否か判定する。入力を解析するというような、これらの提供されるサービスは、各フィルター519によってではなく、基本認識エンジン517によって1回提供されるので、このようなサービスは、ある時間期間に1回だけ処理されればよく、その期間中フィルター519毎に1回処理されるのではないので、ジェスチャーを判定するために必要とされる処理が減少する。

[0168] アプリケーションは、認識エンジン190によって提供されるフィルター519を使用することができ、またはそれ自体のフィルター519を設け、基本認識エンジン517にプラグインしてもよい。同様に、ジェスチャー・プロファイルが基本認識エンジン517にプラグインすることもできる。一実施形態では、全てのフィルター519がこのプラグイン特性をイネーブルするために、共通のインターフェースを有する。更に、全てのフィルター519がパラメーター528を利用することができるので、以下で説明するような1つのジェスチャー・ツールを使用して、フィルター・システム519全体をデバッグおよび調整することができる。

[0169] これらのパラメーター528は、ジェスチャー・ツール521によって、アプリケーションに対してまたはアプリケーションのコンテキストに対して調整することができる。一実施形態では、ジェスチャー・ツール521は、複数のスライダー523を備えており、各スライダー523が1つのパラメーター528、および身体524の描画表現に対応する。パラメーター528が対応するスライダー523によって調節されるに連れて、身体524は、これらのパラメーター528によってジェスチャーとして認識される行為、およびこれらのパラメーター528によってジェスチャーとして認識されるのではなく、そのまま識別される行為の双方を表すことができる。このジェスチャーのパラメーター528の可視化によって、ジェスチャーをデバッグし微調整する有効な手段が得られる。

[0170] 図6は、複数のユーザーのために共有プレゼンテーション体験を作る方法の流れ図の一例を示す。例えば、図1から図3に示したような、システム200、300が、ここで示す動作を実行することができる。

[0171] 602において、本システムは情報のプレゼンテーションをレンダリングすることができる。前述のように、情報のプレゼンテーションは、情報が提示されている任意の生産性シナリオを含むことができ、プレゼンテーションは種々のフォーマットを取ることができる。604において、本システムは、ユーザーまたは人間以外のターゲットというようなターゲットを含む物理空間からデーターを取り込むことができる。前述のように、キャプチャー・デバイスが、シーンの深度画像のようなシーンのデーターを取り込み、このシーンにおけるターゲットを走査することができる。キャプチャー・デバイスは、このシーンにおける1つ以上のターゲットが、ユーザーのような人間のターゲットに対応するか否か判定を行うことができる。例えば、シーンにおけるターゲットまたは物体が人間のターゲットに対応するか否か判定を行うために、これらのターゲットの各々を塗りつぶし(flood filled)、人間の身体モデルのパターンと比較することができる。次に、この人間の身体モデルと一致した各ターゲットまたは物体を走査して、それと関連のあるスケルトン・モデルを生成することができる。例えば、人間として識別されたターゲットを走査して、それと関連のあるスケルトン・モデルを生成することができる。次に、このスケルトン・モデルを計算環境に供給して、このスケルトン・モデルを追跡し、このスケルトン・モデルと関連のある視覚表現をレンダリングすることができる。

[0172] 既知/未知の物体を走査し、人間を走査し、シーンにおける背景の態様(aspects)(例えば、床、壁)を走査する能力を与える、任意の既知の技法または本明細書において開示した技法は、物理空間におけるターゲットの特徴を検出するために使用することができる。各々についての走査データーは、深度およびRGBデーターの組み合わせを含むことができ、物体の三次元モデルを作るために使用することができる。RGBデーターは、モデルの対応するエリアに適用される。フレームからフレームへの時間的追跡は、信頼度を高め、オブジェクト・データーをリアルタイムで適応させることができる。つまり、オブジェクトのプロパティ、およびこのオブジェクトのプロパティの経時的な変化の追跡を使用して、フレーム毎にリアルタイムで位置および向きが変化する物体を信頼性高く追跡することができる。キャプチャー・デバイスは、インタラクティブ・レート(interactive rate)でデーターを取り込み、データーの忠実度を高め、開示した技法が、生の深度データーを処理し、シーンにおける物体をデジタル化し、物体の表面および表面模様を抽出し、ディスプレイがシーンのリアルタイムの描画を提供できるようにこれらの技法のうち任意のものをリアルタイムで実行することを可能にする。更に、複数のキャプチャー・デバイスが物理空間のデーターを取り込むこともできる。このデーターは、認識が追加データーに基づく場合に、ジェスチャー認識の忠実度が高まるように、併合することができる。キャプチャー・デバイスを一人のユーザーに合焦させることもでき、または多くのユーザーに関するデーターを取り込むこともできる。複数のキャプチャー・デバイスがあって、これらがデーターを共有することができる場合、そして第1のキャプチャー・デバイスがユーザーの視野を有さないまたはユーザーの相応しい視野を有さない場合、物理空間における第2のキャプチャー・デバイスがそのユーザーのデーターを取り込むことができる。

[0173] 本システムは、606において、物理空間におけるユーザーの各々を識別し、614において、各ユーザーを視覚表現と関連付けることができる。本システムは、608において、ユーザー毎に制御レベルを指定することができ、制御は、物理空間におけるジェスチャーを介して行われる。例えば、ユーザーは、主ユーザー、副ユーザー、または見物ユーザーとすることができる。ジェスチャーおよびこのジェスチャーを行うユーザーに依存して、ジェスチャーは情報のプレゼンテーションの態様を制御することができる。本システムは、610において、ユーザーがジェスチャーを行ったか否か判定を行い、612において、プログラムを制御するためにこのジェスチャーを使用することができる。例えば、ジェスチャーは、ユーザーの位置または動きを含むことができ、これは入力データーとして取り込まれ、意味を解析することができる。解析された画像データーは、例えば、ジェスチャー認識エンジンによって、フィルター処理され、610においてジェスチャーが行われたか否か判定することができる。このように、本ジェスチャー・ベース・システムによって、情報のプレゼンテーションを複数のユーザーによって制御可能にすることができる。制御は、プレゼンテーションの種々の参加者間で共有する、移管する等を行うことができる。

[0174] 視覚表現は、614において、各ユーザーと関連付けることができ、本システムは、616において、ジェスチャーまたはこのジェスチャーから得られる制御に対応させるために、この視覚表現を動画化することができる。視覚表現は、一人よりも多いユーザーと関連付けることもでき、または各ユーザーが一意の視覚表現を有することもできる。例えば、複数のユーザーが同じ視覚表現と関連付けられている場合、本システムはユーザー間で制御を移すことができる。

[0175] 618において、情報のプレゼンテーションが非逐次である場合、前述のように、ジェスチャーは非逐次情報の態様を制御することができる。つまり、この非逐次情報から所望の部分をユーザーが選択するときに、ジェスチャーを適用することができる。選択された部分を表示することによって、非逐次情報のキャンパスを、このようなキャンバスの重点部分に転換することができる。ユーザーは、キャンバス全域をナビゲートして、プレゼンテーションにおいて利用可能なアセットの合焦部分を変化させることができる。

[0176] コンピューター実行可能命令は、本明細書において記載したように、共有プレゼンテーション体験を作り、ユーザー間で制御を移すための命令を含むことができる。本明細書において記載した、ジェスチャーによる共有プレゼンテーション体験に対する方法のうち任意のものを、コンピューター実行可能命令として実現することができる。

[0177] 図7は、ターゲット認識、分析、および追跡システムにおいて1つ以上のジェスチャーを解釈するために使用することができる計算環境の一実施形態例を示す。図1に関して先に説明した計算環境212のような計算環境は、ゲーミング・コンソールのような、マルチメディア・コンソール100とすることができる。図7に示すように、マルチメディア・コンソール100は、レベル1キャッシュ102、レベル2キャッシュ104、およびフラッシュROM(リード・オンリー・メモリー)106を有する中央処理ユニット(CPU)101を有する。レベル1キャッシュ102およびレベル2キャッシュ104は、一時的にデーターを格納し、こうしてメモリー・アクセス・サイクルの回数を減らすことによって、処理速度およびスループットを向上させる。CPU101は、1つよりも多いコア、つまり、追加のレベル1およびレベル2キャッシュ102および104を有するように設けることもできる。フラッシュROM106は、実行可能コードを格納することができる。実行可能コードは、マルチメディア・コンソール100の電源をオンにしたときに、ブート・プロセスの初期段階中にロードされる。

[0178] グラフィクス処理ユニット(GPU)108およびビデオ・エンコーダー/ビデオ・コデック(コーダー/デコーダー)114が、高速および高分解能グラフィクス処理のためにビデオ処理パイプラインを形成する。データーは、バスを介して、グラフィクス処理ユニット108からビデオ・エンコーダー/ビデオ・コデック114に送られる。ビデオ処理パイプラインは、テレビジョンまたは他のディスプレイに送信するために、データーをA/V(オーディオ/ビデオ)ポート140に出力する。メモリー・コントローラー110がGPU108に接続されており、限定ではなく、RAM(ランダム・アクセス・メモリー)のような、種々のタイプのメモリー112にプロセッサーがアクセスし易くなっている。

[0179] マルチメディア・コンソール100は、I/Oコントローラー120、システム管理コントローラー122、オーディオ処理ユニット123、ネットワーク・インターフェース・コントローラー124、第1USBホスト・コントローラー126、第2USBコントローラー128、およびフロント・パネルI/Oサブアセンブリ130を含む。好ましくは、これらはモジュール118に実装される。USBコントローラー126および128は、周辺コントローラー142(1)〜142(2)、ワイヤレス・アダプター148、および外部メモリー・デバイス146(例えば、フラッシュ・メモリー、外部CD/DVD ROMドライブ、リムーバブル媒体等)のためのホストとしての役割を果たす。ネットワーク・インターフェース124および/またはワイヤレス・アダプター148は、ネットワーク(例えば、インターネット、ホーム・ネットワーク等)へのアクセスを与え、イーサネット・カード、モデム、Bluetoothモジュール、ケーブル・モデム等を含む広範囲の種々の有線またはワイヤレス・アダプター・コンポーネントのうち任意のものとすることができる。

[0180] システム・メモリー143は、ブート・プロセスの間にロードされるアプリケーション・データーを格納するために設けられている。メディア・ドライブ144が設けられており、DVD/CDドライブ、ハード・ドライブ、またはその他のリムーバブル・メディア・ドライブ等を含むことができる。メディア・ドライブ144は、マルチメディア・コンソール100の内部にあっても外部にあってもよい。アプリケーション・データーは、実行、再生等のためにマルチメディア・コンソール100によってメディア・ドライブ144を介してアクセスすることができる。メディア・ドライブ144は、シリアルATAバスまたはその他の高速接続(例えば、IEEE1394)のようなバスを介して、I/Oコントローラー120に接続されている。

[0181] システム管理コントローラー122は、メディア・コンソール100が利用可能であることの確保に関する種々のサービス機能を提供する。オーディオ処理ユニット123およびオーディオ・コデック132は、高忠実度およびステレオ処理を行う、対応のオーディオ処理パイプラインを形成する。オーディオ・データーは、通信リンクを介して、オーディオ処理ユニット123とオーディオ・コデック132との間で伝えられる。オーディオ処理パイプラインは、外部オーディオ・プレーヤーまたはオーディオ処理能力を有するデバイスによる再生のために、データーをA/Vポート140に出力する。

[0182] フロント・パネルI/Oサブアセンブリ130は、電力ボタン150およびイジェクト・ボタン152の機能をサポートするだけでなく、マルチメディア・コンソール100の外面上に露出する任意のLED(発光ダイオード)またはその他のインディケーターもサポートする。システム電源モジュール136が、マルチメディア・コンソール100のコンポーネントに電力を供給する。ファン138は、マルチメディア・コンソール100内部にある回路を冷却する。

[0183] CPU101、GPU108、メモリー・コントローラー110、およびマルチメディア・コンソール100内部にある種々のその他のコンポーネントは、1系統以上のバスを介して相互接続されている。これらのバスには、シリアル・バスおよびパラレル・バス、メモリー・バス、周辺バス、ならびに種々のバス・アーキテクチャーのうち任意のものを使用するプロセッサー・バスまたはローカル・バスが含まれる。一例として、このようなアーキテクチャーは、ペリフェラル・コンポーネント相互接続(PCI)バス、PCI−Expressバス等を含むことができる。

[0184] マルチメディア・コンソール100の電源をオンにすると、システム・メモリー143からメモリー112および/またはキャッシュ102、104にアプリケーション・データーをロードし、CPU101において実行することができる。アプリケーションは、グラフィカル・ユーザー・インターフェースを提示することができる。このグラフィカル・ユーザー・インターフェースは、マルチメディア・コンソール100において利用可能な異なるタイプのメディアにナビゲートするときに、一貫性のあるユーザー体験を提供する。動作において、アプリケーションおよび/またはメディア・ドライブ144に含まれている他のメディアをメディア・ドライブ144から起動または再生して、マルチメディア・コンソール100に追加の機能を設けることもできる。

[0185] マルチメディア・コンソール100は、単にシステムをテレビジョンまたはその他のディスプレイに接続することによって、スタンドアロン・システムとして動作させることができる。このスタンドアロン・モードでは、マルチメディア・コンソール100は、一人以上のユーザーがシステムと相互作用を行い、ムービーを見ること、または音楽を聞くことを可能にする。しかしながら、ネットワーク・インターフェース124またはワイヤレス・アダプター148によって利用可能となるブロードバンド接続機能を統合することにより、更に大きなネットワーク・コミュニティにおける一関与要素(participant)としてマルチメディア・コンソール100を動作させることもできる。

[0186] マルチメディア・コンソール100の電源をオンにすると、マルチメディア・コンソールのオペレーティング・システムによって、設定されている量のハードウェア・リソースがシステムの使用のために確保される。これらのリソースは、メモリー(例えば、16MB)、CPUおよびGPUサイクル(例えば、5%)、ネットワーキング帯域幅(例えば、8kbs)等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。

[0187] 特に、メモリーの確保は、起動カーネル、コンカレント・システム・アプリケーション、およびドライバーを含めるのに十分大きいことが好ましい。確保されたCPUの使用がそのシステム・アプリケーションによって使用されない場合、アイドル状態にあるスレッドが未使用サイクルのうち任意のものを消費するように、CPUの確保を一定にすることが好ましい。

[0188] GPUの確保に関して、GPU割り込みを使用することによって、システム・アプリケーション(例えば、ポップアップ)が生成する軽量メッセージを表示して、ポップアップをオーバーレイにレンダリングするコードをスケジューリングする。オーバーレイに必要とされるメモリー量は、オーバーレイ・エリアのサイズに依存し、オーバーレイは画面の解像度と共に拡縮する(scale)ことが好ましい。コンカレント・システム・アプリケーションによってフル・ユーザー・インターフェースが使用される場合、アプリケーションの解像度とは独立した解像度を使用することが好ましい。周波数を変更しTVの同期を取り直す必要性をなくすように、スケーラーを使用してこの解像度を設定するとよい。

[0189] マルチメディア・コンソール100がブートして、システム・リソースが確保された後、コンカレント・システム・アプリケーションが実行してシステム機能を提供する。これらのシステム機能は、前述の確保したシステム・リソースの内部で実行する1組のシステム・アプリケーションの中にカプセル化されている。オペレーティング・システム・カーネルは、システム・アプリケーション・スレッドと、ゲーミング・アプリケーション・スレッドとの間でスレッドを識別する。一貫したシステム・リソース・ビューをアプリケーションに提供するために、システム・アプリケーションは、所定の時点および間隔でCPU101において実行するようにスケジューリングされていることが好ましい。このスケジューリングは、コンソールにおいて実行しているゲーミング・アプリケーションに対するキャッシュの分裂(disruption)を最少に抑えるためにある。

[0190] コンカレント・システム・アプリケーションがオーディオを必要とする場合、時間に敏感であるため、オーディオ処理を非同期にゲーミング・アプリケーションにスケジューリングする。マルチメディア・コンソール・アプリケーション管理部(以下で説明する)は、システム・アプリケーションがアクティブのとき、ゲーミング・アプリケーションのオーディオ・レベル(例えば、無音化、減衰)を制御する。

[0191] 入力デバイス(例えば、コントローラー142(1)および142(2))は、ゲーミング・アプリケーションおよびシステム・アプリケーションによって共有される。これらの入力デバイスは、確保されたリソースではないが、システム・アプリケーションおよびマルチメディア・アプリケーションの各々がそのデバイスのフォーカス(a focus of the device)を有するようにシステム・アプリケーションとマルチメディア・アプリケーションとの間で切り換えられる。アプリケーション管理部は、好ましくは、マルチメディア・アプリケーションの知識を使用せずに入力ストリームの切換を制御し、ドライバーはフォーカス・スイッチ(focus switches)に関する状態情報を維持する。カメラ26、28およびキャプチャー・デバイス202は、コンソール100に対して追加の入力デバイスを定めることができる。

[0192] 図8は、ターゲット認識、分析、および追跡システムにおいて1つ以上のジェスチャーを解釈するために使用される、計算環境220の他の実施形態例を示す。この実施形態例は、図1に示した計算環境212とすることができる。計算システム環境220は、適した計算環境の一例に過ぎず、本明細書において開示される主題の使用範囲または機能に関して、いかなる限定を示唆する意図もない。また、計算環境220が、本明細書において例示される任意の1つのコンポーネントまたはコンポーネントの組み合わせに関して何らかの依存性または要件を有するように解釈してはならない。実施形態によっては、図示された種々の計算エレメントが、本開示の特定の態様をインスタンス化するように構成されている回路を含むこともあり得る。例えば、本開示において使用される回路という用語は、ファームウェアまたはスイッチによって機能(1つまたは複数)を実行するように構成されている特殊ハードウェア・コンポーネントを含むことができる。別の実施形態例では、回路という用語は、機能(1つまたは複数)を実行するために動作可能なロジックを具現化するソフトウェア命令によって構成される汎用処理ユニット、メモリー等を含むことができる。回路がハードウェアおよびソフトウェアの組み合わせを含む実施形態例では、実装者(implementer)は、ロジックを具現化するソース・コードを書くことができ、ソース・コードを機械読み取り可能コードにコンパイルすることができ、この機械読み取り可能コードを汎用処理ユニットによって処理することができる。技術的現状では、ハードウェア、ソフトウェア、またはハードウェア/ソフトウェアの組み合わせの間には殆ど差がないというところまで発展していることを当業者は認めることができるので、特定の機能を実行するためにハードウェアまたはソフトウェアのどちらを選択するかということは、実装者に委ねられた設計選択事項である。更に具体的には、ソフトウェア・プロセスを等価のハードウェア構造に変換することができ、更にハードウェア構造自体を等価のソフトウェア・プロセスに変換することができることを、当業者は認めることができる。つまり、ハードウェアの実施態様およびソフトウェアの実施態様のどちらを選択するかということは、実装者に委ねられた設計選択事項の1つである。

[0193] 図8において、計算環境220は、コンピューター241を含む。コンピューター241は、通例、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体は、コンピューター241がアクセス可能な入手可能な媒体であればいずれでも可能であり、揮発性および不揮発性の双方、リムーバブル、および非リムーバブル媒体を含む。システム・メモリー222は、リード・オンリー・メモリー(ROM)223およびランダム・アクセス・メモリー(RAM)260のような揮発性メモリーおよび/または不揮発性メモリーの形態で、コンピューター記憶媒体を含む。基本入出力システム224(BIOS)は、起動中のように、コンピューター241内のエレメント間におけるデーター転送を補助する基本的なルーチンを含み、通例ROM223内に格納されている。RAM260は、通例、処理ユニット259が直ちにアクセス可能であるデーターおよび/またはプログラム・モジュール、または現在処理ユニット259によって処理されているデーターおよび/またはプログラム・モジュールを含む。一例として、そして限定ではなく、図8は、オペレーティング・システム225、アプリケーション・プログラム226、その他のプログラム・モジュール227、およびプログラム・データー228を示す。

[0194] また、コンピューター241は、その他のリムーバブル/非リムーバブル揮発性/不揮発性コンピューター記憶媒体も含むことができる。一例にすぎないが、図8は、非リムーバブル不揮発性磁気媒体からの読み取りおよびこれへの書き込みを行うハード・ディスク・ドライブ238、リムーバブル不揮発性磁気ディスク254からの読み取りおよびこれへの書き込みを行う磁気ディスク・ドライブ239、ならびにCD ROMまたはその他の光媒体のようなリムーバブル不揮発性光ディスク253からの読み取りおよびこれへの書き込みを行う光ディスク・ドライブ240を示す。本動作環境の一例において使用可能なその他のリムーバブル/非リムーバブル、揮発性/不揮発性コンピューター記憶媒体には、限定する訳ではないが、磁気テープ・カセット、フラッシュ・メモリー・カード、ディジタル・バーサタイル・ディスク、ディジタル・ビデオ・テープ、ソリッド・ステートRAM、ソリッド・ステートROM等が含まれる。ハード・ディスク・ドライブ238は、通例、インターフェース234のような非リムーバブル・メモリー・インターフェースを介してシステム・バス221に接続され、磁気ディスク・ドライブ239および光ディスク・ドライブ240は、通例、インターフェース235のようなリムーバブル・メモリー・インターフェースによって、システム・バス221に接続される。

[0195] 先に論じ図8に示すドライブおよびそれらと関連のあるコンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、およびコンピューター241のその他のデーターを格納する。図8では、例えば、ハード・ディスク・ドライブ238は、オペレーティング・システム258、アプリケーション・プログラム257、他のプログラム・モジュール256、およびプログラム・データー255を格納するように示されている。尚、これらのコンポーネントは、オペレーティング・システム225、アプリケーション・プログラム226、他のプログラム・モジュール227、およびプログラム・データー228と同じであることも異なることも可能であることを注記しておく。オペレーティング・システム258、アプリケーション・プログラム257、他のプログラム・モジュール256、およびプログラム・データー255は、ここでは、少なくともこれらが異なるコピーであることを示すために、異なる番号が与えられている。ユーザーは、キーボード251、および一般にマウス、トラックボールまたはタッチ・パッドと呼ばれているポインティング・デバイス252のような入力デバイスによって、コマンドおよび情報をコンピューター241に入力することができる。他の入力デバイス(図示せず)には、マイクロフォン、ジョイスティック、ゲーム・パッド、衛星ディッシュ、スキャナー等を含むことができる。これらおよびその他の入力デバイスは、多くの場合、ユーザー入力インターフェース236を介して、処理ユニット259に接続されている。ユーザー入力インターフェース236は、システム・バスに結合されているが、パラレル・ポート、ゲーム・ポート、またはユニバーサル・シリアル・バス(USB)によって接続することも可能である。カメラ26、28およびキャプチャー・デバイス202は、コンソール100の追加入力デバイスを定めることができる。モニター242またはその他のタイプの表示装置も、ビデオ・インターフェース232のようなインターフェースを介して、システム・バス221に接続されている。モニターに加えて、コンピューターは、スピーカー244およびプリンター243のような、その他の周辺出力装置も含むことができ、これらは出力周辺インターフェース233を介して接続することができる。

[0196] コンピューター241は、リモート・コンピューター246のような1つ以上のリモート・コンピューターへの論理接続を使用して、ネットワーク環境において動作することも可能である。リモート・コンピューター246は、パーソナル・コンピューター、サーバー、ルータ、ネットワークPC、ピア・デバイス、またはその他の共通ネットワーク・ノードとすることができ、通例、コンピューター241に関して先に説明したエレメントの多くまたは全てを含むが、図8にはメモリー記憶装置247のみを示す。図8に示す論理接続は、ローカル・エリア・ネットワーク(LAN)245およびワイド・エリア・ネットワーク(WAN)249を含むが、他のネットワークも含むことができる。このようなネットワーキング環境は、事務所、企業規模のコンピューター・ネットワーク、イントラネットおよびインターネットにおいては一般的である。

[0197] LANネットワーキング環境で使用される場合、コンピューター241は、ネットワーク・インターフェースまたはアダプター237を介してLAN245に接続される。WANネットワーキング環境で使用される場合、コンピューター241は、通例、モデム250、またはインターネットのようなWAN249を介して通信を設定するその他の手段を含む。モデム250は、内蔵でも外付けでもよく、ユーザー入力インターフェース236またはその他の適切な機構を介してシステム・バス221に接続することができる。ネットワーク接続された環境では、コンピューター241に関係付けて図示したプログラム・モジュール、またはその一部は、リモート・メモリー記憶装置に格納することもできる。一例として、そして限定ではなく、図8は、リモート・アプリケーション・プログラム248がメモリー・デバイス247に存在するものとして示している。尚、図示のネットワーク接続は一例であり、コンピューター間で通信リンクを設定する他の手段も使用可能であることは認められよう。

[0198] 尚、本明細書において記載した構成および/または手法は、本質的に例示であること、そしてこれら具体的な実施形態または例を限定と見なしてはならないことは言うまでもない。本明細書において記載したこれら具体的なルーチンおよび方法は、任意の数の処理方策のうち1つ以上を表すことができる。したがって、例示した種々の動作(act)は、例示したシーケンスで、他のシーケンスで、並行して等で実行することができる。同様に、前述のプロセスの順序も変更することができる。

[0199] 更に、種々の図に示されるような特定の態様に関連付けて本開示について説明したが、他の同様の態様も使用することができ、本開示から逸脱することなく、その同じ機能を実行するために、記載された態様に対して変更や追加を行ってもよいことは、言うまでもない。本開示の主題は、種々のプロセス、システムおよび構成、ならびにその他の機構、機能、動作、および/または本明細書において開示した特性の全ての新規で非自明のコンビネーションおよびサブコンビネーションを含み、更にはそのあらゆる均等物および全ての均等物を含むものとする。つまり、現在開示されている主題の方法、コンピューター読み取り可能媒体、およびシステム、あるいはある種の態様またはその一部は、フロッピー・ディスケット、CD−ROM、ハード・ドライブ、または任意の他の機械読み取り可能記憶媒体のような、有形媒体に具体化されたプログラム・コード(即ち、命令)の形態をなすことができる。このプログラム・コードを、コンピューターのような、機械にロードして実行すると、この機械が開示された実施形態を実施するように構成された装置となる。

[0200] 本明細書において明示的に記載された特定の実施態様に加えて、他の態様および実施態様も、ここに開示した明細書の考慮から当業者には明白となろう。したがって、本開示は、いずれの1つの態様にも限定されることはなく、むしろ添付した特許請求の範囲にしたがってその広さおよび範囲が解釈されてしかるべきである。例えば、本明細書において説明した種々の手順は、ハードウェアまたはソフトウェア、あるいは双方の組み合わせによって実現することができる。

Claims (32)

  1. 共有プレゼンテーション体験において視覚表現をレンダリングする方法であって、
    情報のプレゼンテーションをレンダリングするステップと、
    物理空間のデーターを取り込むステップであって、前記取り込まれた物理空間のデーターが、前記物理空間における複数のユーザーを表す、ステップと、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第1のユーザーの識別を決定するステップと、
    前記第1のユーザーの識別に基づき、前記第1のユーザーの格納されたユーザー・プロファイルにアクセスするステップであって、前記格納されたユーザー・プロファイルが、前記情報のプレゼンテーションを提示するために前記第1のユーザーがアクセスを有するかどうかを示す、ステップと、
    前記格納されたユーザー・プロファイルに基づき前記第1のユーザーが前記情報のプレゼンテーションを提示するためにアクセスを有することを決定するステップと、
    前記第1のユーザーが前記プレゼンテーションを提示するためにアクセスを有することの決定に基づいて、レンダリングされた前記情報のプレゼンテーションを前記第1のユーザーが制御できることを決定するステップと、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングするステップであって、前記少なくとも1つの視覚表現が、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、ステップと、
    を含む、方法であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第2のユーザーの識別を決定するステップと、
    前記取り込まれた物理空間のデーターに基づいて前記情報のプレゼンテーションを受ける要求を示す動きまたはポーズを前記第2のユーザーが行ったと決定するステップと、
    前記第2のユーザーの識別に基づいて前記第2のユーザーの電子メール・アドレスを決定するステップと、
    前記第2のユーザーの動きまたはポーズに基づいて前記第2のユーザーに対し前記情報のプレゼンテーションを電子メールで知らせるステップと、
    を含む、方法。
  2. 共有プレゼンテーション体験において視覚表現をレンダリングする方法であって、
    情報のプレゼンテーションをレンダリングするステップと、
    物理空間のデーターを取り込むステップであって、前記取り込まれた物理空間のデーターが、前記物理空間における複数のユーザーを表す、ステップと、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第1のユーザーの識別を決定するステップと、
    前記第1のユーザーの識別に基づき、前記第1のユーザーの格納されたユーザー・プロファイルにアクセスするステップであって、前記格納されたユーザー・プロファイルが、前記情報のプレゼンテーションを提示するために前記第1のユーザーがアクセスを有するかどうかを示す、ステップと、
    前記格納されたユーザー・プロファイルに基づき前記第1のユーザーが前記情報のプレゼンテーションを提示するためにアクセスを有することを決定するステップと、
    前記第1のユーザーが前記プレゼンテーションを提示するためにアクセスを有することの決定に基づいて、レンダリングされた前記情報のプレゼンテーションを前記第1のユーザーが制御できることを決定するステップと、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングするステップであって、前記少なくとも1つの視覚表現が、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、ステップと、
    を含む、方法であって、更に、
    前記取り込まれた物理空間のデーターに基づいて前記複数のユーザーのうちの第2のユーザーが注目していないあるいは警戒していないと決定するステップと、
    前記第2のユーザーの注目していないあるいは警戒していないことを前記第1のユーザーに知らせるステップと、
    を含む、方法。
  3. 共有プレゼンテーション体験において視覚表現をレンダリングする方法であって、
    情報のプレゼンテーションをレンダリングするステップと、
    物理空間のデーターを取り込むステップであって、前記取り込まれた物理空間のデーターが、前記物理空間における複数のユーザーを表す、ステップと、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第1のユーザーの識別を決定するステップと、
    前記第1のユーザーの識別に基づき、前記第1のユーザーの格納されたユーザー・プロファイルにアクセスするステップであって、前記格納されたユーザー・プロファイルが、前記情報のプレゼンテーションを提示するために前記第1のユーザーがアクセスを有するかどうかを示す、ステップと、
    前記格納されたユーザー・プロファイルに基づき前記第1のユーザーが前記情報のプレゼンテーションを提示するためにアクセスを有することを決定するステップと、
    前記第1のユーザーが前記プレゼンテーションを提示するためにアクセスを有することの決定に基づいて、レンダリングされた前記情報のプレゼンテーションを前記第1のユーザーが制御できることを決定するステップと、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングするステップであって、前記少なくとも1つの視覚表現が、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、ステップと、
    を含む、方法であって、更に、
    前記情報のプレゼンテーションの現在の部分が大量のテキストを含むときに、前記取り込まれた物理空間のデーターに基づいて前記複数のユーザーのうちの第2のユーザーが注目していないあるいは警戒していないと決定するステップと、
    前記情報のプレゼンテーションの今後の部分が大量のテキストを含むことを前記第1のユーザーに知らせるステップと、
    を含む、方法。
  4. 共有プレゼンテーション体験において視覚表現をレンダリングする方法であって、
    情報のプレゼンテーションをレンダリングするステップと、
    物理空間のデーターを取り込むステップであって、前記取り込まれた物理空間のデーターが、前記物理空間における複数のユーザーを表す、ステップと、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第1のユーザーの識別を決定するステップと、
    前記第1のユーザーの識別に基づき、前記第1のユーザーの格納されたユーザー・プロファイルにアクセスするステップであって、前記格納されたユーザー・プロファイルが、前記情報のプレゼンテーションを提示するために前記第1のユーザーがアクセスを有するかどうかを示す、ステップと、
    前記格納されたユーザー・プロファイルに基づき前記第1のユーザーが前記情報のプレゼンテーションを提示するためにアクセスを有することを決定するステップと、
    前記第1のユーザーが前記プレゼンテーションを提示するためにアクセスを有することの決定に基づいて、レンダリングされた前記情報のプレゼンテーションを前記第1のユーザーが制御できることを決定するステップと、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングするステップであって、前記少なくとも1つの視覚表現が、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、ステップと、
    を含む、方法であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第2のユーザーの識別を決定するステップと、
    前記取り込まれた物理空間のデーターに基づいて、前記第1のユーザーと前記第2のユーザーが互いに紹介しあったことを決定するステップと、
    前記第1のユーザーの識別に基づいて前記第1のユーザーの連絡先情報を決定するステップと、
    前記第2のユーザーの識別に基づいて前記第2のユーザーの連絡先情報を決定するステップと、
    前記第1のユーザーと前記第2のユーザーが互いに紹介しあったことに基づいて、前記第1のユーザーの連絡先情報を前記第2のユーザーに送り、前記第2のユーザーの連絡先情報を前記第1のユーザーに送るステップと、
    を含む、方法。
  5. 共有プレゼンテーション体験において視覚表現をレンダリングする方法であって、
    情報のプレゼンテーションをレンダリングするステップと、
    物理空間のデーターを取り込むステップであって、前記取り込まれた物理空間のデーターが、前記物理空間における複数のユーザーを表す、ステップと、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第1のユーザーの識別を決定するステップと、
    前記第1のユーザーの識別に基づき、前記第1のユーザーの格納されたユーザー・プロファイルにアクセスするステップであって、前記格納されたユーザー・プロファイルが、前記情報のプレゼンテーションを提示するために前記第1のユーザーがアクセスを有するかどうかを示す、ステップと、
    前記格納されたユーザー・プロファイルに基づき前記第1のユーザーが前記情報のプレゼンテーションを提示するためにアクセスを有することを決定するステップと、
    前記第1のユーザーが前記プレゼンテーションを提示するためにアクセスを有することの決定に基づいて、レンダリングされた前記情報のプレゼンテーションを前記第1のユーザーが制御できることを決定するステップと、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングするステップであって、前記少なくとも1つの視覚表現が、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、ステップと、
    を含む、方法であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第2のユーザーがある時間ジェスチャーをしなかったことを決定するステップと、
    を含み、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングすることが、
    前記第2のユーザーが何もしていないことの指示を前記第2のユーザーにレンダリングすること、
    を含む、方法。
  6. 請求項1〜5のいずれか一項に記載の方法において、前記少なくとも1つの視覚表現が、前記プレゼンテーションの一部と相互作用するアニメーションを介して、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、方法。
  7. 請求項6に記載の方法において、前記少なくとも1つの視覚表現のアニメーションが、前記複数のユーザーのうち少なくとも一人のジェスチャーに対応する、方法。
  8. 請求項6又は7に記載の方法であって、更に、アバター・ライブラリーから前記アニメーションを前記少なくとも1つの視覚表現に適用するステップを含む、方法。
  9. 請求項1〜8のいずれか一項に記載の方法において、前記複数のユーザーの各々が、別個の視覚表現に対応する、方法。
  10. 請求項1〜8のいずれか一項に記載の方法において、前記複数のユーザーの各々が、同じ視覚表現に対応する、方法。
  11. 請求項1〜10のいずれか一項に記載の方法において、前記少なくとも1つの視覚表現が、キャプチャー・デバイスによって検出されたユーザーの特徴に対応する、方法。
  12. 請求項1〜11のいずれか一項に記載の方法において、前記複数のユーザーのうち少なくとも一人への前記プレゼンテーションの制御が、前記複数のユーザーのうち前記少なくとも一人に対応する前記視覚表現の特徴によって示すことができる、方法。
  13. 請求項1〜12のいずれか一項に記載の方法であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第3のユーザーの識別を決定するステップと、
    レンダリングされた前記情報のプレゼンテーションと相互作用する権限を前記第3のユーザーが欠いていることを決定するステップ、
    を含み、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングすることが、
    レンダリングされた前記情報のプレゼンテーションと相互作用する権限を前記第3のユーザーが欠いていることの指示を、前記第3のユーザーにレンダリングすること、
    を含む、方法。
  14. 請求項1〜12のいずれか一項に記載の方法であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第3のユーザーの識別を決定するステップと、
    前記取り込まれた物理空間のデーターにおける前記第3ユーザーの位置に基づき、前記第3のユーザーがレンダリングされた前記情報のプレゼンテーションと相互作用するアクセス・レベルを決定するステップ、
    を含む、方法。
  15. 請求項1〜12のいずれか一項に記載の方法であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第3のユーザーの識別を決定するステップと、
    前記取り込まれた物理空間のデーターに基づいて、レンダリングされた前記情報のプレゼンテーションと相互作用する制御を、前記第3のユーザーが要求したことを決定するステップと、
    前記要求に応答して、レンダリングされた前記情報のプレゼンテーションと相互作用する制御を前記第3のユーザーに与えるステップと、
    を含む、方法。
  16. 請求項1〜15のいずれか一項に記載の方法を実行するためのプログラム。
  17. 請求項1〜15のいずれか一項に記載の方法を実行するためのプログラムを記録した記録媒体。
  18. 共有プレゼンテーション体験において視覚表現をレンダリングする装置であって、
    情報のプレゼンテーションをレンダリングする手段と、
    物理空間のデーターを取り込む手段であって、前記取り込まれた物理空間のデーターが、前記物理空間における複数のユーザーを表す、手段と、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第1のユーザーの識別を決定する手段と、
    前記第1のユーザーの識別に基づき、前記第1のユーザーの格納されたユーザー・プロファイルにアクセスする手段であって、前記格納されたユーザー・プロファイルが、前記情報のプレゼンテーションを提示するために前記第1のユーザーがアクセスを有するかどうかを示す、手段と、
    前記格納されたユーザー・プロファイルに基づき前記第1のユーザーが前記情報のプレゼンテーションを提示するためにアクセスを有することを決定する手段と、
    前記第1のユーザーが前記プレゼンテーションを提示するためにアクセスを有することの決定に基づいて、レンダリングされた前記情報のプレゼンテーションを前記第1のユーザーが制御できることを決定する手段と、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングする手段であって、前記少なくとも1つの視覚表現が、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、手段と、
    を含む、装置であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第2のユーザーの識別を決定する手段と、
    前記取り込まれた物理空間のデーターに基づいて前記情報のプレゼンテーションを受ける要求を示す動きまたはポーズを前記第2のユーザーが行ったと決定する手段と、
    前記第2のユーザーの識別に基づいて前記第2のユーザーの電子メール・アドレスを決定する手段と、
    前記第2のユーザーの動きまたはポーズに基づいて前記第2のユーザーに対し前記情報のプレゼンテーションを電子メールで知らせる手段と、
    を含む、装置。
  19. 共有プレゼンテーション体験において視覚表現をレンダリングする装置であって、
    情報のプレゼンテーションをレンダリングする手段と、
    物理空間のデーターを取り込む手段であって、前記取り込まれた物理空間のデーターが、前記物理空間における複数のユーザーを表す、手段と、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第1のユーザーの識別を決定する手段と、
    前記第1のユーザーの識別に基づき、前記第1のユーザーの格納されたユーザー・プロファイルにアクセスする手段であって、前記格納されたユーザー・プロファイルが、前記情報のプレゼンテーションを提示するために前記第1のユーザーがアクセスを有するかどうかを示す、手段と、
    前記格納されたユーザー・プロファイルに基づき前記第1のユーザーが前記情報のプレゼンテーションを提示するためにアクセスを有することを決定する手段と、
    前記第1のユーザーが前記プレゼンテーションを提示するためにアクセスを有することの決定に基づいて、レンダリングされた前記情報のプレゼンテーションを前記第1のユーザーが制御できることを決定する手段と、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングする手段であって、前記少なくとも1つの視覚表現が、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、手段と、
    を含む、装置であって、更に、
    前記取り込まれた物理空間のデーターに基づいて前記複数のユーザーのうちの第2のユーザーが注目していないあるいは警戒していないと決定する手段と、
    前記第2のユーザーの注目していないあるいは警戒していないことを前記第1のユーザーに知らせる手段と、
    を含む、装置。
  20. 共有プレゼンテーション体験において視覚表現をレンダリングする装置であって、
    情報のプレゼンテーションをレンダリングする手段と、
    物理空間のデーターを取り込む手段であって、前記取り込まれた物理空間のデーターが、前記物理空間における複数のユーザーを表す、手段と、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第1のユーザーの識別を決定する手段と、
    前記第1のユーザーの識別に基づき、前記第1のユーザーの格納されたユーザー・プロファイルにアクセスする手段であって、前記格納されたユーザー・プロファイルが、前記情報のプレゼンテーションを提示するために前記第1のユーザーがアクセスを有するかどうかを示す、手段と、
    前記格納されたユーザー・プロファイルに基づき前記第1のユーザーが前記情報のプレゼンテーションを提示するためにアクセスを有することを決定する手段と、
    前記第1のユーザーが前記プレゼンテーションを提示するためにアクセスを有することの決定に基づいて、レンダリングされた前記情報のプレゼンテーションを前記第1のユーザーが制御できることを決定する手段と、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングする手段であって、前記少なくとも1つの視覚表現が、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、手段と、
    を含む、装置であって、更に、
    前記情報のプレゼンテーションの現在の部分が大量のテキストを含むときに、前記取り込まれた物理空間のデーターに基づいて前記複数のユーザーのうちの第2のユーザーが注目していないあるいは警戒していないと決定する手段と、
    前記情報のプレゼンテーションの今後の部分が大量のテキストを含むことを前記第1のユーザーに知らせる手段と、
    を含む、装置。
  21. 共有プレゼンテーション体験において視覚表現をレンダリングする装置であって、
    情報のプレゼンテーションをレンダリングする手段と、
    物理空間のデーターを取り込む手段であって、前記取り込まれた物理空間のデーターが、前記物理空間における複数のユーザーを表す、手段と、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第1のユーザーの識別を決定する手段と、
    前記第1のユーザーの識別に基づき、前記第1のユーザーの格納されたユーザー・プロファイルにアクセスする手段であって、前記格納されたユーザー・プロファイルが、前記情報のプレゼンテーションを提示するために前記第1のユーザーがアクセスを有するかどうかを示す、手段と、
    前記格納されたユーザー・プロファイルに基づき前記第1のユーザーが前記情報のプレゼンテーションを提示するためにアクセスを有することを決定する手段と、
    前記第1のユーザーが前記プレゼンテーションを提示するためにアクセスを有することの決定に基づいて、レンダリングされた前記情報のプレゼンテーションを前記第1のユーザーが制御できることを決定する手段と、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングする手段であって、前記少なくとも1つの視覚表現が、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、手段と、
    を含む、装置であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第2のユーザーの識別を決定する手段と、
    前記取り込まれた物理空間のデーターに基づいて、前記第1のユーザーと前記第2のユーザーが互いに紹介しあったことを決定する手段と、
    前記第1のユーザーの識別に基づいて前記第1のユーザーの連絡先情報を決定する手段と、
    前記第2のユーザーの識別に基づいて前記第2のユーザーの連絡先情報を決定する手段と、
    前記第1のユーザーと前記第2のユーザーが互いに紹介しあったことに基づいて、前記第1のユーザーの連絡先情報を前記第2のユーザーに送り、前記第2のユーザーの連絡先情報を前記第1のユーザーに送る手段と、
    を含む、装置。
  22. 共有プレゼンテーション体験において視覚表現をレンダリングする装置であって、
    情報のプレゼンテーションをレンダリングする手段と、
    物理空間のデーターを取り込む手段であって、前記取り込まれた物理空間のデーターが、前記物理空間における複数のユーザーを表す、手段と、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第1のユーザーの識別を決定する手段と、
    前記第1のユーザーの識別に基づき、前記第1のユーザーの格納されたユーザー・プロファイルにアクセスする手段であって、前記格納されたユーザー・プロファイルが、前記情報のプレゼンテーションを提示するために前記第1のユーザーがアクセスを有するかどうかを示す、手段と、
    前記格納されたユーザー・プロファイルに基づき前記第1のユーザーが前記情報のプレゼンテーションを提示するためにアクセスを有することを決定する手段と、
    前記第1のユーザーが前記プレゼンテーションを提示するためにアクセスを有することの決定に基づいて、レンダリングされた前記情報のプレゼンテーションを前記第1のユーザーが制御できることを決定する手段と、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングする手段であって、前記少なくとも1つの視覚表現が、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、手段と、
    を含む、装置であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第2のユーザーがある時間ジェスチャーをしなかったことを決定する手段と、
    を含み、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングすることが、
    前記第2のユーザーが何もしていないことの指示を前記第2のユーザーにレンダリングすること、
    を含む、装置。
  23. 請求項1822のいずれか一項に記載の装置において、前記少なくとも1つの視覚表現が、前記プレゼンテーションの一部と相互作用するアニメーションを介して、前記レンダリングされた情報のプレゼンテーションと相互作用するように構成された、装置。
  24. 請求項23に記載の装置において、前記少なくとも1つの視覚表現のアニメーションが、前記複数のユーザーのうち少なくとも一人のジェスチャーに対応する、装置。
  25. 請求項23又は24に記載の装置であって、更に、アバター・ライブラリーから前記アニメーションを前記少なくとも1つの視覚表現に適用する手段を含む、装置。
  26. 請求項1825のいずれか一項に記載の装置において、前記複数のユーザーの各々が、別個の視覚表現に対応する、装置。
  27. 請求項1825のいずれか一項に記載の装置において、前記複数のユーザーの各々が、同じ視覚表現に対応する、装置。
  28. 請求項1827のいずれか一項に記載の装置において、前記少なくとも1つの視覚表現が、キャプチャー・デバイスによって検出されたユーザーの特徴に対応する、装置。
  29. 請求項1828のいずれか一項に記載の装置において、前記複数のユーザーのうち少なくとも一人への前記プレゼンテーションの制御が、前記複数のユーザーのうち前記少なくとも一人に対応する前記視覚表現の特徴によって示すことができる、装置。
  30. 請求項1829のいずれか一項に記載の装置であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第3のユーザーの識別を決定する手段と、
    レンダリングされた前記情報のプレゼンテーションと相互作用する権限を前記第3のユーザーが欠いていることを決定する手段、
    を含み、
    前記複数のユーザーの各々に対応する少なくとも1つの視覚表現をレンダリングすることが、
    レンダリングされた前記情報のプレゼンテーションと相互作用する権限を前記第3のユーザーが欠いていることの指示を、前記第3のユーザーにレンダリングすること、
    を含む、装置。
  31. 請求項1829のいずれか一項に記載の装置であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第3のユーザーの識別を決定する手段と、
    前記取り込まれた物理空間のデーターにおける前記第3ユーザーの位置に基づき、前記第3のユーザーがレンダリングされた前記情報のプレゼンテーションと相互作用するアクセス・レベルを決定する手段、
    を含む、装置。
  32. 請求項1829のいずれか一項に記載の装置であって、更に、
    前記取り込まれた物理空間のデーターに基づいて、前記複数のユーザーのうちの第3のユーザーの識別を決定する手段と、
    前記取り込まれた物理空間のデーターに基づいて、レンダリングされた前記情報のプレゼンテーションと相互作用する制御を、前記第3のユーザーが要求したことを決定する手段と、
    前記要求に応答して、レンダリングされた前記情報のプレゼンテーションと相互作用する制御を前記第3のユーザーに与える手段と、
    を含む、装置。
JP2012544541A 2009-12-17 2010-11-18 プレゼンテーション用カメラ・ナビゲーション Active JP5859456B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/640,731 US9244533B2 (en) 2009-12-17 2009-12-17 Camera navigation for presentations
US12/640,731 2009-12-17
PCT/US2010/057260 WO2011084245A2 (en) 2009-12-17 2010-11-18 Camera navigation for presentations

Publications (2)

Publication Number Publication Date
JP2013514585A JP2013514585A (ja) 2013-04-25
JP5859456B2 true JP5859456B2 (ja) 2016-02-10

Family

ID=44152959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012544541A Active JP5859456B2 (ja) 2009-12-17 2010-11-18 プレゼンテーション用カメラ・ナビゲーション

Country Status (7)

Country Link
US (1) US9244533B2 (ja)
EP (1) EP2513866A4 (ja)
JP (1) JP5859456B2 (ja)
KR (2) KR101855639B1 (ja)
CN (1) CN102656542B (ja)
HK (1) HK1173239A1 (ja)
WO (1) WO2011084245A2 (ja)

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
GB2483168B (en) 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US9344753B2 (en) * 2009-12-30 2016-05-17 Crytek Gmbh Mobile input and sensor device for a computer-controlled video entertainment system
JP5012968B2 (ja) * 2010-07-15 2012-08-29 コニカミノルタビジネステクノロジーズ株式会社 会議システム
US20120102383A1 (en) * 2010-10-20 2012-04-26 Jerald Liu Creating, Sharing and Modifying Documents That Include Content and an Integrated Software Application
JP2012094060A (ja) * 2010-10-28 2012-05-17 Sharp Corp 電子装置
US10242241B1 (en) * 2010-11-09 2019-03-26 Open Invention Network Llc Advanced mobile communication device gameplay system
US10043209B2 (en) 2010-11-19 2018-08-07 Mastercard International Incorporated Method and system for consumer transactions using voice or human based gesture actions
US9836780B2 (en) 2010-11-19 2017-12-05 Mastercard International Incorporated Method and system for consumer transactions using voice or human based gesture actions
US8656279B2 (en) * 2010-12-14 2014-02-18 Sap Ag Global settings for the enablement of culture-based gestures
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US9021607B2 (en) 2011-02-25 2015-04-28 Avaya Inc. Advanced user interface and control paradigm including digital rights management features for multiple service operator extended functionality offers
US9183514B2 (en) 2011-02-25 2015-11-10 Avaya Inc. Advanced user interface and control paradigm including contextual collaboration for multiple service operator extended functionality offers
US8819729B2 (en) * 2011-02-25 2014-08-26 Avaya Inc. Advanced user interface and control paradigm for multiple service operator extended functionality offers
US8726366B2 (en) 2011-03-30 2014-05-13 Elwha Llc Ascertaining presentation format based on device primary control determination
US8726367B2 (en) * 2011-03-30 2014-05-13 Elwha Llc Highlighting in response to determining device transfer
US9317111B2 (en) 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
US8918861B2 (en) 2011-03-30 2014-12-23 Elwha Llc Marking one or more items in response to determining device transfer
US8713670B2 (en) 2011-03-30 2014-04-29 Elwha Llc Ascertaining presentation format based on device primary control determination
US9153194B2 (en) 2011-03-30 2015-10-06 Elwha Llc Presentation format selection based at least on device transfer determination
US8745725B2 (en) * 2011-03-30 2014-06-03 Elwha Llc Highlighting in response to determining device transfer
US8863275B2 (en) 2011-03-30 2014-10-14 Elwha Llc Access restriction in response to determining device transfer
US8739275B2 (en) 2011-03-30 2014-05-27 Elwha Llc Marking one or more items in response to determining device transfer
US8868684B2 (en) * 2011-06-17 2014-10-21 At&T Intellectual Property I, L.P. Telepresence simulation with multiple interconnected devices
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
JP5889559B2 (ja) * 2011-07-13 2016-03-22 ソニー株式会社 情報処理方法および情報処理システム
US9245193B2 (en) 2011-08-19 2016-01-26 Qualcomm Incorporated Dynamic selection of surfaces in real world for projection of information thereon
US20130063560A1 (en) * 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
CA2848624A1 (en) 2011-09-16 2013-03-21 Landmark Graphics Corporation Methods and systems for gesture-based petrotechnical application control
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
US8886925B2 (en) 2011-10-11 2014-11-11 Citrix Systems, Inc. Protecting enterprise data through policy-based encryption of message attachments
US20140032733A1 (en) 2011-10-11 2014-01-30 Citrix Systems, Inc. Policy-Based Application Management
US20130159939A1 (en) * 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
US20130104089A1 (en) * 2011-10-20 2013-04-25 Fuji Xerox Co., Ltd. Gesture-based methods for interacting with instant messaging and event-based communication applications
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9032334B2 (en) * 2011-12-21 2015-05-12 Lg Electronics Inc. Electronic device having 3-dimensional display and method of operating thereof
KR101885295B1 (ko) * 2011-12-26 2018-09-11 엘지전자 주식회사 전자기기 및 그 제어방법
KR20130088493A (ko) * 2012-01-31 2013-08-08 삼성전자주식회사 Ui 제공 방법 및 이를 적용한 영상 수신 장치
US9349131B2 (en) * 2012-02-02 2016-05-24 Kodak Alaris Inc. Interactive digital advertising system
US20130201095A1 (en) * 2012-02-07 2013-08-08 Microsoft Corporation Presentation techniques
JP5982917B2 (ja) * 2012-03-22 2016-08-31 株式会社リコー 情報処理装置、操作権限付与プログラム及び投影システム
JP2013200784A (ja) * 2012-03-26 2013-10-03 Yahoo Japan Corp 操作入力装置、操作入力方法およびプログラム
US9264660B1 (en) 2012-03-30 2016-02-16 Google Inc. Presenter control during a video conference
EP2834774A4 (en) * 2012-04-01 2016-06-08 Intel Corp Analyzing human gestural commands
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
JP5966596B2 (ja) * 2012-05-16 2016-08-10 株式会社リコー 情報処理装置、投影システム及び情報処理プログラム
US20140007115A1 (en) * 2012-06-29 2014-01-02 Ning Lu Multi-modal behavior awareness for human natural command control
JP2015038537A (ja) * 2012-06-29 2015-02-26 株式会社東芝 映像表示装置およびその制御方法
US20140006550A1 (en) * 2012-06-30 2014-01-02 Gamil A. Cain System for adaptive delivery of context-based media
CN104508599A (zh) 2012-07-13 2015-04-08 株式会社果汁 要素选择装置、要素选择方法、及程序
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
US9774658B2 (en) 2012-10-12 2017-09-26 Citrix Systems, Inc. Orchestration framework for connected devices
US8745755B2 (en) 2012-10-12 2014-06-03 Citrix Systems, Inc. Controlling device access to enterprise resources in an orchestration framework for connected devices
US9516022B2 (en) * 2012-10-14 2016-12-06 Getgo, Inc. Automated meeting room
US8910239B2 (en) 2012-10-15 2014-12-09 Citrix Systems, Inc. Providing virtualized private network tunnels
US20140109176A1 (en) 2012-10-15 2014-04-17 Citrix Systems, Inc. Configuring and providing profiles that manage execution of mobile applications
US9606774B2 (en) 2012-10-16 2017-03-28 Citrix Systems, Inc. Wrapping an application with field-programmable business logic
US20140108793A1 (en) 2012-10-16 2014-04-17 Citrix Systems, Inc. Controlling mobile device access to secure data
US9971585B2 (en) 2012-10-16 2018-05-15 Citrix Systems, Inc. Wrapping unmanaged applications on a mobile device
RU2627096C2 (ru) * 2012-10-30 2017-08-03 Сергей Анатольевич Гевлич Способы изготовления прототипов мультимедиа-презентаций, устройства для изготовления прототипов мультимедиа-презентаций, способы использования устройств для изготовления прототипов мультимедиа-презентаций (варианты)
CN108845668A (zh) * 2012-11-07 2018-11-20 北京三星通信技术研究有限公司 人机交互系统和方法
US9684372B2 (en) * 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
US20140173504A1 (en) * 2012-12-17 2014-06-19 Microsoft Corporation Scrollable user interface control
US9759420B1 (en) 2013-01-25 2017-09-12 Steelcase Inc. Curved display and curved display support
US9261262B1 (en) 2013-01-25 2016-02-16 Steelcase Inc. Emissive shapes and control systems
US20140223326A1 (en) * 2013-02-06 2014-08-07 International Business Machines Corporation Apparatus and methods for co-located social integration and interactions
US9564102B2 (en) * 2013-03-14 2017-02-07 Microsoft Technology Licensing, Llc Client side processing of player movement in a remote gaming environment
US9161168B2 (en) * 2013-03-15 2015-10-13 Intel Corporation Personal information communicator
US9280377B2 (en) 2013-03-29 2016-03-08 Citrix Systems, Inc. Application with multiple operation modes
US9413736B2 (en) 2013-03-29 2016-08-09 Citrix Systems, Inc. Providing an enterprise application store
US9355223B2 (en) 2013-03-29 2016-05-31 Citrix Systems, Inc. Providing a managed browser
US9985850B2 (en) 2013-03-29 2018-05-29 Citrix Systems, Inc. Providing mobile device management functionalities
US8850049B1 (en) 2013-03-29 2014-09-30 Citrix Systems, Inc. Providing mobile device management functionalities for a managed browser
US10284627B2 (en) 2013-03-29 2019-05-07 Citrix Systems, Inc. Data management for an application with multiple operation modes
US9215225B2 (en) 2013-03-29 2015-12-15 Citrix Systems, Inc. Mobile device locking with context
WO2014165476A1 (en) 2013-04-01 2014-10-09 Gollakota Shyamnath Devices, systems, and methods for detecting gestures using wireless communication signals
US9234742B2 (en) 2013-05-01 2016-01-12 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
WO2014185808A1 (en) * 2013-05-13 2014-11-20 3Divi Company System and method for controlling multiple electronic devices
JP6229314B2 (ja) 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US20140364208A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment America Llc Systems and Methods for Reducing Hops Associated with A Head Mounted System
US10031586B2 (en) * 2013-06-12 2018-07-24 Amazon Technologies, Inc. Motion-based gestures for a computing device
US9873038B2 (en) 2013-06-14 2018-01-23 Intercontinental Great Brands Llc Interactive electronic games based on chewing motion
US20150006669A1 (en) * 2013-07-01 2015-01-01 Google Inc. Systems and methods for directing information flow
US9582167B2 (en) * 2013-08-14 2017-02-28 International Business Machines Corporation Real-time management of presentation delivery
TWI505135B (en) * 2013-08-20 2015-10-21 Utechzone Co Ltd Control system for display screen, control apparatus and control method
US9261966B2 (en) * 2013-08-22 2016-02-16 Sony Corporation Close range natural user interface system and method of operation thereof
KR20150029463A (ko) * 2013-09-10 2015-03-18 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
US9630110B2 (en) 2013-09-23 2017-04-25 Empire Technology Development Llc Location graph adapted video games
US9507429B1 (en) * 2013-09-26 2016-11-29 Amazon Technologies, Inc. Obscure cameras as input
US9787904B2 (en) * 2013-10-31 2017-10-10 InsideMaps Inc. Methods and apparatuses for capturing images used for generating 3D models of rooms
US9430046B2 (en) * 2014-01-16 2016-08-30 Denso International America, Inc. Gesture based image capturing system for vehicle
US20150220159A1 (en) * 2014-02-04 2015-08-06 Pointgrab Ltd. System and method for control of a device based on user identification
US9823748B2 (en) * 2014-02-07 2017-11-21 Lenovo (Singapore) Pte. Ltd. Control input handling
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
JP2015187856A (ja) * 2014-03-14 2015-10-29 本田技研工業株式会社 動作推定装置、ロボット、及び動作推定方法
JP6170457B2 (ja) * 2014-03-27 2017-07-26 京セラドキュメントソリューションズ株式会社 プレゼンテーション管理装置およびプレゼンテーション管理プログラム
TW201543361A (en) * 2014-05-07 2015-11-16 Giga Byte Tech Co Ltd Input system for rapidly activating macro function
KR20150139376A (ko) * 2014-06-03 2015-12-11 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US9602191B2 (en) * 2014-06-27 2017-03-21 X Development Llc Streaming display data from a mobile device using backscatter communications
KR20160032611A (ko) * 2014-09-16 2016-03-24 삼성전자주식회사 터치 입력을 이용하여 전자 장치를 제어하는 방법 및 장치
US9269374B1 (en) * 2014-10-27 2016-02-23 Mattersight Corporation Predictive video analytics system and methods
JP6472252B2 (ja) * 2015-01-20 2019-02-20 Nttテクノクロス株式会社 仮想タッチパネルポインティングシステム
WO2016130160A1 (en) * 2015-02-13 2016-08-18 Halliburton Energy Services, Inc. Using augmented reality to collect, process and share information
JP6455310B2 (ja) * 2015-05-18 2019-01-23 本田技研工業株式会社 動作推定装置、ロボット、及び動作推定方法
CN104994297B (zh) * 2015-07-09 2019-01-08 厦门美图之家科技有限公司 全景拍照的对焦测光锁定方法和系统
WO2017030255A1 (en) * 2015-08-18 2017-02-23 Samsung Electronics Co., Ltd. Large format display apparatus and control method thereof
FR3041804A1 (fr) * 2015-09-24 2017-03-31 Dassault Aviat Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
US20160077598A1 (en) * 2015-11-19 2016-03-17 International Business Machines Corporation Client device motion control via a video feed
CN105607742A (zh) * 2016-01-20 2016-05-25 陈鹏 一种基于虚拟现实技术避免晕车的方法
CN105844705B (zh) * 2016-03-29 2018-11-09 联想(北京)有限公司 一种三维虚拟对象模型生成方法及电子设备
US10218793B2 (en) 2016-06-13 2019-02-26 Disney Enterprises, Inc. System and method for rendering views of a virtual space
WO2018005692A1 (en) * 2016-06-28 2018-01-04 Against Gravity Corp . Systems and methods for detecting collaborative virtual gestures
EP3267289B1 (en) * 2016-07-05 2019-02-27 Ricoh Company, Ltd. Information processing apparatus, position information generation method, and information processing system
CN107728482A (zh) * 2016-08-11 2018-02-23 阿里巴巴集团控股有限公司 控制系统、控制处理方法及装置
US20180093185A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Delivery of Spectator Feedback Content to Virtual Reality Environments Provided by Head Mounted Display
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
JP2018136766A (ja) * 2017-02-22 2018-08-30 ソニー株式会社 情報処理装置、情報処理方法、プログラム
CN107454336A (zh) * 2017-09-11 2017-12-08 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN107743205A (zh) * 2017-09-11 2018-02-27 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质

Family Cites Families (226)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (en) 1988-10-14 1990-08-07 David G Capper Control interface device
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
JPH03103822U (ja) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
JPH06131437A (ja) 1992-10-20 1994-05-13 Hitachi Ltd 複合形態による操作指示方法
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US6046750A (en) * 1993-06-25 2000-04-04 International Business Machines Corporation Method and apparatus for controlling presentations of objects on a user interface of a data processing system
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5473745A (en) * 1994-12-14 1995-12-05 International Business Machines Corporation Exposing and hiding a title bar behind its window using a visual cue
US5557725A (en) * 1995-02-13 1996-09-17 International Business Machines Corporation Method and system for switching between users in a conference enabled application
JPH08227415A (ja) * 1995-02-21 1996-09-03 Fuji Xerox Co Ltd 文書編集装置
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6061050A (en) * 1995-10-27 2000-05-09 Hewlett-Packard Company User interface device
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
AU3283497A (en) 1996-05-08 1997-11-26 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US6069637A (en) * 1996-07-29 2000-05-30 Eastman Kodak Company System for custom imprinting a variety of articles with images obtained from a variety of different sources
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特・挪利斯拉莫维奇・拉都包 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US5966126A (en) * 1996-12-23 1999-10-12 Szabo; Andrew J. Graphic user interface for database system
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6256046B1 (en) 1997-04-18 2001-07-03 Compaq Computer Corporation Method and apparatus for visual sensing of humans for active public interfaces
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Communications Research Laboratory, Ministry of Posts and Telecommunications Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6249292B1 (en) * 1998-05-04 2001-06-19 Compaq Computer Corporation Technique for controlling a presentation of a computer generated object having a plurality of movable components
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
JP2000105748A (ja) 1998-09-29 2000-04-11 Fuji Xerox Co Ltd 協調作業支援装置および記録媒体
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US6346933B1 (en) 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
JP3852814B2 (ja) * 1999-09-24 2006-12-06 富士通株式会社 プロファイル作成方法及びシステム
US6554707B1 (en) * 1999-09-24 2003-04-29 Nokia Corporation Interactive voice, wireless game system using predictive command input
US6384829B1 (en) * 1999-11-24 2002-05-07 Fuji Xerox Co., Ltd. Streamlined architecture for embodied conversational characters with reduced message traffic
JP2001160021A (ja) 1999-12-03 2001-06-12 Sony Corp 仮想空間による通信システム
AU3436001A (en) 1999-12-23 2001-07-03 Justsystem Corporation Method and apparatus for vision-based coupling between pointer actions and projected images
US7028269B1 (en) 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7788323B2 (en) * 2000-09-21 2010-08-31 International Business Machines Corporation Method and apparatus for sharing information in a virtual environment
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6910186B2 (en) * 2000-12-08 2005-06-21 Kyunam Kim Graphic chatting with organizational avatars
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US20030046316A1 (en) * 2001-04-18 2003-03-06 Jaroslav Gergic Systems and methods for providing conversational computing via javaserver pages and javabeans
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
JP2003067074A (ja) 2001-08-28 2003-03-07 Nec Gumma Ltd コンピュータセキュリティシステム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20040128350A1 (en) * 2002-03-25 2004-07-01 Lou Topfl Methods and systems for real-time virtual conferencing
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US20070113181A1 (en) * 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
KR100588042B1 (ko) 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
US7458029B2 (en) * 2004-01-15 2008-11-25 Microsoft Corporation System and process for controlling a shared display given inputs from multiple users using multiple input modalities
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7529690B2 (en) 2004-05-22 2009-05-05 Altaf Hadi System and method for delivering real time remote buying, selling, meeting, and interacting in a virtual reality environment
US7512883B2 (en) 2004-06-30 2009-03-31 Microsoft Corporation Portable solution for automatic camera management
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
EP2487624A1 (en) 2005-01-07 2012-08-15 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
JP4686595B2 (ja) 2005-03-17 2011-05-25 ザ オハイオ ステート ユニバーシティー リサーチ ファウンデーション クリティカルポイント解析に基づくポーズ推定
KR101430761B1 (ko) 2005-05-17 2014-08-19 퀄컴 인코포레이티드 방위-감응 신호 출력
US20090049388A1 (en) * 2005-06-02 2009-02-19 Ronnie Bernard Francis Taib Multimodal computer navigation
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7783702B2 (en) 2005-11-30 2010-08-24 Microsoft Corporation Using a mobile phone to control a personal computer
US20070176921A1 (en) * 2006-01-27 2007-08-02 Koji Iwasaki System of developing urban landscape by using electronic data
JP2007243253A (ja) 2006-03-06 2007-09-20 Fuji Xerox Co Ltd 情報配信システム及び情報配信方法
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US20080180519A1 (en) 2007-01-31 2008-07-31 Cok Ronald S Presentation control system
US20080215994A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7957565B1 (en) * 2007-04-05 2011-06-07 Videomining Corporation Method and system for recognizing employees in a physical space based on automatic behavior analysis
WO2008124820A1 (en) * 2007-04-10 2008-10-16 Reactrix Systems, Inc. Display using a three dimensional vision system
JP2008282092A (ja) 2007-05-08 2008-11-20 Canon Inc ジェスチャーコマンドを覚えながら操作できる情報処理装置
US8154583B2 (en) * 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
JP4295807B2 (ja) 2007-09-20 2009-07-15 メキキ・クリエイツ株式会社 ユーザ所在状況確認装置、ユーザ所在状況確認方法、及びユーザ所在状況確認プログラム
JP5559691B2 (ja) 2007-09-24 2014-07-23 クアルコム,インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
JP5177741B2 (ja) 2007-10-19 2013-04-10 株式会社コナミデジタルエンタテインメント ユーザ管理システム、ユーザ管理方法、ならびに、ユーザ管理プログラム
WO2009067676A1 (en) 2007-11-21 2009-05-28 Gesturetek, Inc. Device access control
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US8255396B2 (en) * 2008-02-25 2012-08-28 Atigeo Llc Electronic profile development, storage, use, and systems therefor
US8205157B2 (en) * 2008-03-04 2012-06-19 Apple Inc. Methods and graphical user interfaces for conducting searches on a portable multifunction device
JP2009231949A (ja) 2008-03-19 2009-10-08 Univ Of Aizu マルチメディア会議システム、アプリケーションサーバ、混合パターン決定方法および混合パターン決定用プログラム
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US20090295713A1 (en) * 2008-05-30 2009-12-03 Julien Piot Pointing device with improved cursor control in-air and allowing multiple modes of operations
US20090307601A1 (en) * 2008-06-05 2009-12-10 Ibm Corporation Method for reflexive securing of computer displays
US9403087B2 (en) * 2008-06-09 2016-08-02 Disney Enterprises, Inc. System and method of providing access to virtual spaces that are associated with physical analogues in the real world
US8463430B2 (en) * 2008-10-23 2013-06-11 Utique, Inc Interactive and 3-D multi-senor touch selection interface for an automated retail store, vending machine, digital sign, or retail display
US8161398B2 (en) * 2009-05-08 2012-04-17 International Business Machines Corporation Assistive group setting management in a virtual world
US20100289743A1 (en) * 2009-05-15 2010-11-18 AFA Micro Co. Laser pointer and gesture-based input device
US20100333037A1 (en) * 2009-06-29 2010-12-30 International Business Machines Corporation Dioramic user interface having a user customized experience
US8887068B2 (en) * 2009-07-31 2014-11-11 Verizon Patent And Licensing Inc. Methods and systems for visually chronicling a conference session
US9152317B2 (en) * 2009-08-14 2015-10-06 Microsoft Technology Licensing, Llc Manipulation of graphical elements via gestures
US20110061025A1 (en) * 2009-09-04 2011-03-10 Walline Erin K Auto Scroll In Combination With Multi Finger Input Device Gesture
JP2011107912A (ja) * 2009-11-16 2011-06-02 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US20110234481A1 (en) * 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras

Also Published As

Publication number Publication date
CN102656542A (zh) 2012-09-05
KR20120123330A (ko) 2012-11-08
HK1173239A1 (en) 2014-07-25
WO2011084245A2 (en) 2011-07-14
US20110154266A1 (en) 2011-06-23
CN102656542B (zh) 2014-03-12
EP2513866A2 (en) 2012-10-24
US9244533B2 (en) 2016-01-26
KR101855639B1 (ko) 2018-05-04
WO2011084245A3 (en) 2011-10-27
EP2513866A4 (en) 2016-02-17
KR20170059486A (ko) 2017-05-30
JP2013514585A (ja) 2013-04-25

Similar Documents

Publication Publication Date Title
Dalsgaard et al. Performing perception—staging aesthetics of interaction
CN102222347B (zh) 使用波阵面编码来创建深度图像
US9183676B2 (en) Displaying a collision between real and virtual objects
Bobick et al. The KidsRoom: A perceptually-based interactive and immersive story environment
CN102193624B (zh) 用于基于姿势的用户界面的物理交互区
CN102184009B (zh) 跟踪系统中的手位置后处理精炼
EP2384464B1 (en) Standard gestures
US9690982B2 (en) Identifying gestures or movements using a feature matrix that was compressed/collapsed using principal joint variable analysis and thresholds
US9400559B2 (en) Gesture shortcuts
CN102129152B (zh) 具有集成vcsel阵列的深度投影仪系统
US8654152B2 (en) Compartmentalizing focus area within field of view
CN102362293B (zh) 链接动画
US8578302B2 (en) Predictive determination
CN102008823B (zh) 控制视频游戏中物体移动的方法和系统
CN102448561B (zh) 姿势教练
CN101872241B (zh) 建立网游共享空间的方法和系统
KR101917630B1 (ko) 증강 및 가상 현실을 위한 시스템 및 방법
CN102413886B (zh) 示出身体位置
RU2555220C2 (ru) Управление виртуальными портами
US8451278B2 (en) Determine intended motions
US9280203B2 (en) Gesture recognizer system architecture
US20100306710A1 (en) Living cursor control mechanics
CN102222431B (zh) 用于翻译手语的计算机实现的方法
US8744121B2 (en) Device for identifying and tracking multiple humans over time
US8803889B2 (en) Systems and methods for applying animations or motions to a character

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150331

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150514

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150812

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151216

R150 Certificate of patent or registration of utility model

Ref document number: 5859456

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250