JP5566397B2 - 拡張現実アプリケーションのためのモバイル装置 - Google Patents

拡張現実アプリケーションのためのモバイル装置 Download PDF

Info

Publication number
JP5566397B2
JP5566397B2 JP2011538878A JP2011538878A JP5566397B2 JP 5566397 B2 JP5566397 B2 JP 5566397B2 JP 2011538878 A JP2011538878 A JP 2011538878A JP 2011538878 A JP2011538878 A JP 2011538878A JP 5566397 B2 JP5566397 B2 JP 5566397B2
Authority
JP
Japan
Prior art keywords
visual
information
mobile device
virtual
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011538878A
Other languages
English (en)
Other versions
JP2012510673A (ja
Inventor
ゾントロップ，パスカル
ブルーノ フリーダ ゴードン，マルク
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2012510673A publication Critical patent/JP2012510673A/ja
Application granted granted Critical
Publication of JP5566397B2 publication Critical patent/JP5566397B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5378—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、請求項１のプリアンブルに提示されるような拡張現実アプリケーションのためのモバイル装置に関する。
ＰＣＴ出願ＰＣＴ／ＣＨ２００６／０００１９６は、カメラを含むモバイル装置、選択されたアプリケーションを外部視覚情報と関連付けるためのならびに視覚背景情報およびモバイル装置のオリエンテーションに基づく選択されたアプリケーションの実行を開始するための制御モジュールを開示する。視覚背景に関するモバイル装置のオリエンテーションは、ユーザがそのモバイル装置を位置付けている方法に関連するため、それはユーザ関連入力情報と考えられることができる。先行技術のモバイル装置は前記アプリケーションに応答して視覚出力信号を生成するためのおよびこれらの視覚出力信号をモバイル装置のディスプレイに提供するための出力ジェネレータをさらに含む。
したがって、モバイル装置がたとえば携帯電話である場合、先行技術の解決法は、携帯電話のディスプレイ上に、そのアプリケーションから生じるいくつかの仮想オブジェクトで拡張された、実視覚背景を備える拡張現実ピクチャを表示することを想定している。これは、この拡張現実が、携帯電話のこの小さい画面上でのみ可視であることを意味する。ゲーム・アプリケーションの場合、小さい画面はそのゲーム体験を著しく制限し得る。ラップトップ・コンピュータがモバイル装置として使用される場合、ディスプレイは既にはるかに大きいが、そのときでさえも、たとえばゲーム自体に固有の、ユーザのある種の物理的動きを含む、ユーザのさらにアクティブな参加をもつことがより望ましいいくつかのアプリケーションに関しては、ユーザ体験は制限されることがある。これは、たとえば、モバイル装置自体のいくつかの制御ボタンをマニュアルで制御することによってだけではなく、サッカーボールを蹴る、止めるまたは迎えうつ動きを実行することなどによって、よりアクティブに参加したいとユーザが考えることのあるサッカー・ゲームに当てはまり得る。
ＰＣＴ出願ＰＣＴ／ＣＨ２００６／０００１９６
従って、本発明の目的は、前述の知られている種類ではあるが、先行技術の装置に関連する問題を解決することができる、モバイル装置を提供することである。
この目的のために、本発明によるモバイル装置はさらに、第１の請求項の特徴部分に記載される特徴を含む。
モバイル端末に含まれるプロジェクタ装置は、それによって、いくつかの仮想視覚オブジェクトを実視覚背景に投影することができることになる。前述のサッカー・ゲームの例の場合、この仮想視覚オブジェクトはそのとき、プレー中にプレーヤが現在立っている床の上に投影されることになる仮想サッカーボールでもよい。ユーザがそれに対して蹴る行為を行うことができる、床の上の投影されたボールを用いて、プレーヤはそのとき、本発明の目的であった、よりエキサイティングなゲーム体験をもつこと：はるかにアクティブなゲーム参加を行うことおよびヒューマン／装置インタフェースの質を高めることができる。モバイル装置のプロジェクタは、仮想視覚オブジェクトを背景に投影するだけでよく、従ってこの仮想視覚オブジェクト情報を処理装置から受信するだけでよい。従って、処理装置は、このタイプの信号をこのプロジェクタに提供するようになされる。この仮想視覚オブジェクトを背景に投影することによって、外部視覚背景情報は、アプリケーション自体に応答してもちろん変化することになる。
本発明のもう１つの独特の特徴は、請求項２に記載される。この場合、ユーザ関連入力情報は、前記背景情報に含まれる、サッカーボールプレーヤの足の画像などの視覚情報を備える。このユーザ関連情報は、前記モバイル装置内に組み込まれた運動検出器によって検出される、および、たとえば前記視覚背景情報に関する前記モバイル装置のオリエンテーションを判定することなどによって、背景に関するモバイル装置の動きを検出するようになされた、動き情報もまた備えることができる。
本発明の追加の特徴は、請求項４乃至６に記載される。前述の視覚入力装置（Ｃ）から受信される前記外部視覚情報から、実視覚背景情報と仮想視覚オブジェクトを区別することによって、および、それらからメタデータ情報を連続的に抽出することによって、モバイル装置上のいくつかのアプリケーションにプラグインすることを可能にする汎用プラットフォームが実現される。
請求項７乃至１０は、ある実施形態において処理装置が、前記モバイル装置に備えられたディスプレイに提供するための前記仮想視覚オブジェクトに関連する第２の視覚出力信号を生成するようになされることを述べる。これらの実施形態のうちのいくつかでは、仮想視覚オブジェクトはそのときモバイル装置の画面上にも現れることになる。他の実施形態では、この処理装置はさらに、少なくとも１つの他の仮想視覚オブジェクトを備えるものとして前述の第２の視覚出力信号を生成するようになされる。これは、たとえば、モバイル装置の画面が仮想スコアボード上にプレーヤの得点を示すことのみでき、仮想サッカーボールは床の上に投影されるのみである、前述のサッカー・ゲームにも当てはまり得る。さらに他の実施形態では、処理装置は、前記アプリケーションおよび／または視覚背景情報によって生成される少なくとも１つの他の仮想視覚オブジェクトをオーバーレイする前記仮想視覚オブジェクトを備えるものとして前記第２の視覚出力信号を生成するようにさらになされる。前述のサッカー・ゲームの例では、モバイル装置のディスプレイは次に、仮想ゴール、仮想スコアボード、および場合によっては、ユーザがその上に立っている、そして仮想サッカーボールが投影される床と共に、サッカーボールを見せることができる。他の組合せもまた想定されることができる。
添付の図面とともに実施形態の以下の説明を参照することによって、前述および他の本発明の目的および特徴がさらに明らかとなり、本発明自体が最もよく理解されよう。
本発明によるモバイル装置ＭＤを使用してサッカー・ゲームをプレーする１人のプレーヤＵを概略的に表す図である。 本発明によるモバイル装置ＭＤの一実施形態の可能な詳細な実装を示す図である。 図２の処理装置の画像アナライザおよびアプリケーション・エンジンによって生成されるメタデータの一例を示す図である。 本発明によるモバイル装置ＭＤ１およびＭＤ２を使用する２人のプレーヤの多人数参加状況を概略的に示す図である。 本発明によるモバイル装置上で走るもう１つのアプリケーションを概略的に示す図である。 本発明によるモバイル装置上で走るさらに別のアプリケーションを概略的に示す図である。
本発明は、拡張現実アプリケーションのためのモバイル装置に関する。これらのモバイル装置は、以下の限定的なリスト、携帯電話、パーソナル・デジタル・アシスタント、ラップトップ・コンピュータなどのモバイルコンピュータ、タブレット・コンピュータ、ゲーム機、ＧＰＳ端末などのモバイル装置に備えられることができる。概して、視覚情報を収集することができる、この視覚情報をアプリケーションでの使用のために処理することができる、および以下の項で説明されるように背景に仮想オブジェクトを投影することができる、任意の携帯用装置が、本発明を実装するために使用されることができる。
図１は、ユーザＵによって操作される、かかるモバイル装置ＭＤの一実施形態を示す。モバイル装置ＭＤは、ＶＢＩで略記される、実視覚背景情報（ｒｅａｌ ｖｉｓｕａｌ ｂａｃｋｇｒｏｕｎｄ ｉｎｆｏｒｍａｔｉｏｎ）を備える外部視覚情報自体を収集することができる、カメラ、デジタル画像システム、ＣＣＤセンサなどの視覚入力装置Ｃを備える。この実視覚背景情報は概して、視覚情報がＶＶＯで略記される仮想視覚オブジェクト（ｖｉｒｔｕａｌ ｖｉｓｕａｌ ｏｂｊｅｃｔｓ）によって示されることになる、ソフトウェア・アプリケーションなどによって生成される視覚情報とは対照的に、「実」世界から来る情報として参照される。ユーザＵが彼／彼女のモバイル装置ＭＤでゲームをプレーしている、図１に示す状況では、この実視覚背景情報は、この例ではユーザがその上に立っている床の方に向くことがある、カメラによって収集される視覚情報を備える。実視覚背景情報ＶＢＩはそのとき、ユーザＵの脚部Ｌおよび／または足Ｆの部分とともに、床の画像を備えることになる。ユーザの足Ｆおよび脚部Ｌのこの情報はユーザ関連入力情報であり、従ってこの場合、次の項で説明されるように、モバイル装置上で走るアプリケーションによって使用されることになる実視覚背景情報の部分である。
図１はまた、カメラがこの「実」背景情報を収集しているだけではなく、投影されたサッカーボールＢの画像もまた収集していることを示す。この投影されたサッカーボールＢは、「実」サッカーボールの投影された画像ではなく、それ自体はゲームなどのアプリケーションの結果であり、処理装置ＰＤ上で走り、モバイル装置ＭＤの内部にあり、従って図１には示されていない、仮想サッカーボールの投影された画像である。図示された例では、このゲームは従って、外部視覚情報、即ちこの場合にはユーザ関連情報もまた備える、実視覚背景情報ＶＢＩ、ならびに、この場合には投影されたサッカーボールから成る、投影された仮想オブジェクト情報の両方を入力として使用する、サッカー・ゲームである。投影されたボールＢに関するユーザの足の位置によって、ゲームによって生成されるものとしての次の状態および出力は更新されることになる。サッカー・ゲームの例では、これは、図１に示された実施形態においてはモバイル装置の画面Ｓ上に表示されるだけである、ユーザが得点をしたか、仮想ゴールの外にボールを蹴ったかのいずれかを示し得る、次の状態をゲームが提供することを意味し得る。この仮想ゴールは、これもまた「実」の物理的なゴールには相当しないので、それ自体が別の仮想視覚オブジェクトである。従って、処理装置は、それら自体は収集された外部視覚情報に依存する、ゲームのパラメータを継続的に更新し、ゲーム内のボールの新しい位置を計算し、更新された視覚情報を投影装置Ｐに送り返して後者がこの仮想ボールを更新された位置に投影することができるようにすることが必要である。この更新された投影位置は、この場合、実視覚背景に関するモバイル装置の相対的位置にも依存している。この相対的位置はまた、ユーザ関連入力情報にも関連する。かかる位置情報は、モバイル装置に組み込まれた運動検出器によって検出されることができるが、別法としてこの動き情報はまた、前に収集された画像を互いに比較することによって外部視覚情報に実行されるイメージング技法によっても抽出されることができる。これはさらに、次の項で説明される。
モバイル装置ＭＤに組み込まれた投影装置Ｐは、当技術分野で現在知られているミニプロジェクタでもよい。いかなる場合にも、仮想ボールの更新されたピクチャまたは画像は、床の上の更新された位置に投影されることになる。
本発明のある実施形態では、プロジェクタ装置Ｐだけが１つまたは複数の仮想視覚オブジェクトを表示する。他の実施形態では、仮想視覚オブジェクトは、プロジェクタ装置Ｐによって投影されるだけではなく、モバイル装置の画面Ｓ上にも示される。また、さらに他の実施形態では、画面Ｓは、図１に示す例に表すような、いくつかの仮想視覚オブジェクトを表示することになる。この実施形態では、仮想ボール、ならびに仮想ゴール、ならびにプレーヤの生成された、従って仮想の、画像が画面上に表示される。さらに他の実施形態では、カメラによって収集された脚部および足などの実視覚背景からの情報、ならびに１つまたはいくつかの仮想視覚オブジェクトもまた、画面上に表示されることになる。
図２は、モバイル装置ＭＤに組み込まれた、処理装置ＰＤの可能な実施形態のさらに詳細な図を示す。処理装置ＰＤの多数の他の実施形態が可能であり、この図２はこの特定の実施形態で実行されることになるいくつかの主要なブロックおよび処理ステップの概略図を与えるのみであることに留意されたい。かかる処理装置ＰＤは、当業者にはよく知られているように、専用のプロセッサを用いて、または汎用プロセッサ上の組込みソフトウェアを用いて、またはＡＳＩＣを介してなどで実装されることができる。従って、異なるブロックは説明のためにすぎない。単一の処理装置だけがすべてのステップを実行する他の実施形態もまた可能である。
図２はさらに、モバイル装置の異なるビルティング・ブロックを非常に概略的に示す：図２にカメラとして示される視覚入力装置Ｃ、図２には「従来の」プロジェクタＰとして示されるプロジェクタ装置、図２には携帯電話の画面として示されるディスプレイＳ。図２に示されたモバイル装置ＭＤの処理装置ＰＤの実施形態はさらに、いくつかの機能ブロックを含む：リアリティ・アブストラクタ（ｒｅａｌｉｔｙ ａｂｓｔｒａｃｔｏｒ）２、画像アナライザ３、アプリケーション・エンジン４、仮想画像アニメータ５、二重出力ジェネレータ６および仮想画像バッファ９。この二重出力ジェネレータは、１つはプロジェクタＰへ、もう１つは画面Ｓへの二重出力を生成するこれらの実施形態においてのみ存在する。モバイル装置のある実施形態では、プロジェクタＰに送信されることになる単一の画像を生成のみするようになされた、単一の出力ジェネレータが組み込まれる。
リアリティ・アブストラクタ、ブロック２は、「画像」で示されるカメラＣによって提供される入力外部視覚情報を、実視覚背景情報ＶＢＩと仮想視覚オブジェクトＶＶＯに分割するようになされたモジュールである。アプリケーション・エンジンによって前に生成された仮想視覚オブジェクトとアプリケーションの現在の周期で生成されることになるものを区別するために、表記ＶＶＯ（ｎ）が前に生成され前に投影されたものに使用され、ＶＶＯ（ｎ＋１）が現在の周期で生成され投影されることになる更新されたものに使用されることになる。ある実施形態では、開始時に、仮想視覚オブジェクト情報が一切入手可能ではない。その場合、入力画像は完全に実視覚背景情報で構成される。入力外部視覚情報を分割するために、リアリティ・アブストラクタは、仮想オブジェクトまたはオブジェクトの投影された画像がどのように見えるかを知る必要がある。任意の仮想画像を最初に含むことができない開始時の入力画像は別として、他のすべての画像キャプション中にこの投影された画像Ｐ（ｎ）は、前の周期で二重出力ジェネレータによって作成され、一時的に保存された、または仮想画像バッファ９にバッファリングされた。そのバッファから保存された投影された画像を得たのちに、リアリティ・アブストラクタは、カメラの画像内に同じパターンを見つけようと試みる。これは、当業者には知られているように、画像認識技法を介して行われることができる。これらのパターンを見つけるとき、リアリティ・アブストラクタは、モバイル装置が背景に関連してどのように位置付けられているかに関するいくらかの情報を要約することもできる（投影画像のスケーリングを介して）が、これは任意選択である。それがパターンを認識し、場合によってはスケーリング情報を導出するとき、それは全画像から仮想画像全体を減算してそれによって実視覚背景情報を導出し、カメラによって収集されたものとしての仮想投影入力画像ＶＶＯ（ｎ）と、これが新しいおよび実際の情報に既に関係するとき、実背景情報ＶＢＩ（ｎ＋１）との両方を別個の情報として画像アナライザ３に送信する。開始時には、仮想画像バッファは一般に空であるので、入力画像は実視覚背景情報に相当し、従って、ＶＶＯ信号はその瞬間には関連情報を含まない。
処理装置の実施形態中の次のモジュール、画像アナライザ３は、入力画像の収集された仮想視覚オブジェクト情報ＶＶＯおよびリアリティ・アブストラクタ２によって提供されるものとしての収集された実視覚情報ＶＢＩを受信するようになされる。画像アナライザの主要な機能は、これらの画像からメタデータを抽出および／または生成することである。この目的のために、いくつかの反復が、結果を改良するためなどに、必要とされ得る。これは、図２には画像アナライザのフィードバック矢印を用いて示されている。メタデータを抽出するための技法は、当業者には知られており、パターン認識、デジタル幾何学および／または信号処理を備え得る。
このような文脈において、本明細書で理解されるべきメタデータは、ある種の意味論的意味をもつパラメータである。サッカー・ゲームの例は：オブジェクト＝ボール、背景＝床・・・であり、図３に示されている。従って、かかるメタデータを生成するために、画像アナライザは、背景の変更を分析し、そこからカメラの前で起こった特定の動作を導出するようにもなされることができる。これらの動作は、サッカー・ゲームの場合には、ユーザの脚部／足の動きでもよい。別法として、この動き情報は、運動検出器によって提供されることができる。画像アナライザ３はそのときさらに、図３に示すＸＭＬ形式などの、この処理装置上で走ることができるアプリケーションが理解する形式でかかるメタデータを生成するようになされる。従って、図２に太い矢印およびＭ（ｎ）で示されるそして画像アナライザによって生成されるメタデータ出力は、たとえば足が７度ボールの方へ動いたことを示す情報などの、アプリケーションにとって価値のあるおよび理解可能な情報を含む。
画像アナライザによって生成されたメタデータＭ（ｎ）は次に、アプリケーション・エンジン４に提供される。このアプリケーション・エンジンでは、いくつかのアプリケーションが走ることができる。かかるアプリケーションは一般に、場合によってはサード・パーティの開発者によって書かれたものでもよいコンパイル済みのソフトウェアを備える。このアプリケーションは、画像アナライザから着信する入力された情報の形式を理解するようになされる。別法として、ある種の入力形式をアプリケーションによって理解可能な形式に変換するための、何らかの変換モジュールが提供されることができる。
前述のサッカー・ゲームの例では、従って、このサッカー・ゲームは、アプリケーションに相当する。いくつかの他のアプリケーションが以下の項に記載される。これらのアプリケーションは概して、広まっており、当業者に知られているので、それらの内部動作は本明細書ではさらには論じない。
アプリケーションによって生成される出力は通常、最終的に実背景に投影される必要がある更新された仮想視覚オブジェクトに関連する情報を備える更新されたメタデータＭ（ｎ＋１）を備える。図３は、アプリケーションへのメタデータ入力、およびアプリケーションによって生成されているメタデータの一例を示す。
図２に示す実施形態では、アプリケーション・エンジン４によって生成され、提供されるものとしてのこの更新されたメタデータＭ（ｎ＋１）は最初に、仮想画像アニメータ５である次のモジュールに提供される。
この仮想画像アニメータ５は、アプリケーション・エンジンによって提供されるものとしての更新されたメタデータ情報信号Ｍ（ｎ＋１）を受信するようになされ、アプリケーションの実際の状態または周期に対応するものとしてアプリケーション・エンジンによって決定されたものに従って表示されることになる適合された仮想視覚オブジェクトまたはオブジェクトＶＶＯ（ｎ＋１）をそこから生成するようにさらになされる。既述のサッカー・ゲームの場合には、１つのみの仮想オブジェクトが投影される。しかし、サッカー・ゲームを含む他の多数のアプリケーションでは、仮想ボールおよび仮想ゴールなど、いくつかの仮想視覚オブジェクトが投影され得る。ボールの形をもつ画像を備えるこの実施形態では、床に投影されることになる仮想オブジェクトは次に、モバイル装置の特定の実施形態に応じて、二重または単一出力ジェネレータへとさらに渡される。しかし、図２に示す実施形態は、プロジェクタが仮想サッカーボール画像を背景に投影しているが、モバイル装置自体のディスプレイもまた別の仮想視覚オブジェクト、この実施形態では仮想スコアボード、を表示している、モバイル装置ＭＤを示す。この目的のために、追加の仮想視覚オブジェクトＶＶＯＳ（ｎ＋１）が仮想画像アニメータによって生成されることになり、この実施形態ではこの追加の仮想視覚オブジェクトは従ってスコアボードの形をもつ。画面上に表示されることになる画像は投影されることになるものとは異なるので、二重出力ジェネレータが図２の実施形態に含まれる。たとえ同一の仮想視覚オブジェクトが両方とも画面上に示され、背景に投影された場合でも、２つの別個の画像が生成される必要があるため：１つは投影されるために、もう１つはモバイル装置の画面に表示されるために、やはり二重出力ジェネレータは処理装置に含まれることになる。
従って、二重出力ジェネレータ６は、一方でモバイル装置ＭＤ自体の画面またはディスプレイＳのために、そして他方ではプロジェクタまたは投影装置Ｐのための両方で出力信号を生成する役割を負う。仮想画像ジェネレータによって生成される画像は、ボールの基本的形状などの基本的な形状情報を単に含み、出力ジェネレータはこの画像を正しいサイズに調節し、プロジェクタがそれを背景上に正しく投影することができるように、これをその正しい位置に位置付ける役割を負う。これは、この実施形態において、この二重出力ジェネレータが最新の仮想オブジェクトＶＶＯ（ｎ＋１）およびＶＶＯＳ（ｎ＋１）と最新の視覚背景情報ＶＢＩ（ｎ＋１）とを受信し、ディスプレイに送信されることになる第１の出力信号Ｓ（ｎ＋１）および投影装置Ｐに提供するための第２の出力信号Ｐ（ｎ＋１）を提供するためにそれらをさらに処理しなければならないことを意味する。図示された実施形態Ｓ（ｎ＋１）は主にＶＶＯＳ（ｎ＋１）に関連し、Ｐ（ｎ＋１）は主にＶＶＯ（ｎ＋１）に関連する。しかし、他の実施形態では、ディスプレイに送信されることになる出力信号は、ＶＶＯ（ｎ＋１）および、実背景には投影されず、ディスプレイ上だけに示される仮想スコアボードとしての他の仮想オブジェクトから構成されることができる。別法として、何らかの仮想サッカーボール競技場、仮想ゴールおよび仮想スコアボードに加えて、ユーザの足または脚部などの実背景に関する何らかの情報もまた画面上に示されることができる。当業者には知られているように、主にアプリケーション自体に応じて、多数の他の可能性が想定されることができる。
背景自体への仮想オブジェクトの投影のために投影装置Ｐに送信されることになる出力Ｐ（ｎ＋１）の生成のために、この二重出力ジェネレータ６は必ずリアリティ・アブストラクタ２から直接最新の実背景ＶＢＩ（ｎ＋１）を得る。これは、背景入力がほぼ実時間であることを意味する。投影された拡張現実仮想オブジェクト画像Ｐ（ｎ＋１）について、二重出力ジェネレータは、正しい仮想オブジェクトが正しいサイズで正しい場所の実背景に投影されていることを確認する必要がある。それは、最新の背景を前の背景と比較することによって、これを行うことができる。この前の景色は、二重出力ジェネレータの内部バッファに保存されることができ、図面には示されていない。装置は投影された画像の座標およびサイズが正確であることを確認しなければならないので、この比較ステップはカメラが行った動きの計算とともに実行されることができる。これは、たとえば、モバイル装置が実オブジェクトのより近くにとどめられているときに投影された仮想画像が大き過ぎないように、装置のあり得る動きのため、そのサイズおよび座標は絶えず調整されなければならないためである（投影開始角度に留意）。別法として、この動き情報は、画像アナライザから、または別個の動きもしくはオリエンテーション検出器から取得されることができる。
もちろん代替実施形態が可能である。更新された仮想オブジェクト画像をバッファにフィードバックする代わりに、生成されたメタデータも代替バッファにフィードバックされることができる。その場合、リアリティ・アブストラクタは次に、入力画像とのさらなる比較のために、最新の投影仮想オブジェクトを生成するためなどに、仮想画像アニメータのおよび二重出力ジェネレータの機能のうちのいくらかを組み込む必要がある。当業者には知られているように、さらに他の実施形態が可能である。
図４は、２人のユーザＵ１およびＵ２が今彼らのそれぞれのモバイル装置ＭＤ１およびＭＤ２上でこのサッカー・ゲームをプレーしており、従って、この実施形態では彼らのそれぞれのモバイル端末のディスプレイに示される、仮想の投影されたボールをゴールへ蹴ろうとしている、多人数参加型体験の状況を示す。別法として、この仮想ゴールは床に投影されることもできる。いずれの場合にも、モバイル装置は、当業者にはよく知られているように、多人数参加型アプリケーションを可能にする通信ツールをさらに備えている必要がある。
前述のサッカー・ゲームの例とは別に、他のアプリケーションが本方法および実施形態を使用することができる。これらの中でも、プロジェクタが、背景に足跡を投影することによって、たとえばある人が鉄道の駅を見つけようとするときに彼／彼女が進まなければならない方向を示すことができる、アプリケーションがある。この場合、本方法はゲーム体験を改良しないが、ヒューマン・コンピュータ・インタフェースの質を高め、明確にするために使用される。モバイル装置はそのとき、より直感的に人々を案内することができる。これは図６に概略的に示される。
もう１つのアプリケーションは、携帯電話の投影装置によって、ユーザの買い物リストにある品目のみを店の棚の中で強調表示することに関する。これは、図７に概略的に示される。
さらに別の例は、画面上にテキストを形成するために、ユーザが次に「叩く」または「押す」ことができる、テーブル上の仮想キーボードを投影することで構成され得る。このキーボードはまた、適切な関連付けられた音を生成するために、ユーザが「演奏」することができる、ピアノのキーボードにも関する。
さらに別の例は、競技場、たとえばテーブル上に仮想卓球ボールを投影することで構成される。モバイル装置を傾けることによって、ユーザはそのモバイル装置によって仮想ボールを「打つ」ことができる。この場合、入力情報は、固定された背景に関して、および投影されたボールに関して、携帯電話などのモバイル装置の動きおよびオリエンテーション情報を備える。この卓球アプリケーションもまた、もちろん、多人数参加型ゲームとして実現されることができる。
本発明の原理が特定の装置に関して前述されているが、本記述は例としてのみ行われ、添付の特許請求の範囲に定義されるような、本発明の範囲への制限としてではないことを明確に理解されたい。本明細書の特許請求の範囲において、特定の機能を実行する手段として述べられるいずれの要素もその機能を実行するいかなる方法も含むよう意図されている。これは、たとえば、ａ）その機能を実行する電気的または機械的要素の組合せ、または、ｂ）その機能を実行するためのそのソフトウェアを実行するための適切な回路と組み合わせた、ファームウェア、マイクロコードなどを結果として含む、あらゆる形式のソフトウェア、ならびに、もしあればソフトウェア制御回路と結合された機械的要素を含み得る。かかる特許請求の範囲によって定義されるものとしての本発明は、さまざまな列挙された手段によって提供される機能が本特許請求の範囲が要求する形で結合され、まとめられるという事実の中に存在し、他にそのように定義されない限り、いかなる物理的構造も請求される本発明の新規性にとってほぼ全く重要ではない。従って、出願者は、それらの機能を提供することができるいかなる手段も本明細書に示されるものと同等と見なす。

Claims (8)

  1. 実視覚背景情報（ＶＢＩ（ｎ＋１））を含む外部視覚情報（画像Ｂ、Ｌ、Ｆ）を収集するための視覚入力装置（Ｃ）と、選択されたアプリケーションを該外部視覚情報（画像）と関連付け、該外部視覚情報（画像）およびユーザ関連入力情報に基づいて該選択されたアプリケーションを実行し、該アプリケーションに応答して少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ＋１））に関連する視覚出力信号（Ｐ（ｎ＋１））を生成するための処理装置（ＰＤ）とを備えるモバイル装置（ＭＤ）であって、
    前記処理装置（ＰＤ）は、プロジェクタ装置（Ｐ）が前記視覚背景に前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ＋１））に関連する前記視覚出力信号（Ｐ（ｎ＋１））を投影するように、前記モバイル装置（ＭＤ）内に含まれる前記プロジェクタ装置（Ｐ）に前記ユーザ関連入力情報に基づいて構成された前記視覚出力信号（Ｐ（ｎ＋１））を提供し、それによって前記外部視覚情報を変更するように構成されており、
    前記ユーザ関連入力情報が前記実視覚背景情報（ＶＢＩ（ｎ＋１））に含まれる実視覚情報（Ｌ、Ｆ）を含み、
    前記ユーザ関連入力情報が、前記モバイル装置（ＭＤ）内に組み込まれ、前記視覚背景に関して前記モバイル装置（ＭＤ）の動きを決定するようになされた、運動検出器（Ｄ）によって検出される動き情報を備える
    ことを特徴とする、モバイル装置（ＭＤ）。
  2. 前記処理装置（ＰＤ）がさらに、前記視覚入力装置（Ｃ）から受信された前記外部視覚情報（画像）と、前記実視覚背景情報（ＶＢＩ（ｎ＋１））および前記背景に前に投影された少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ））を見分けるようになされた、請求項１に記載のモバイル装置（ＭＤ）。
  3. 前記処理装置（ＰＤ）がさらに、前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ））および前記実視覚背景情報（ＶＢＩ（ｎ＋１））からメタデータ情報（M（ｎ））を決定するために前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ））および前記実視覚背景情報（ＶＢＩ（ｎ＋１））を分析するようになされた、請求項２に記載のモバイル装置（ＭＤ）。
  4. 前記処理装置（ＰＤ）がさらに前記メタデータ情報に基づいて前記選択されたアプリケーションを実行するようになされた、請求項３に記載のモバイル装置（ＭＤ）。
  5. 前記処理（ＰＤ）装置が、前記モバイル装置（ＭＤ）に備えられたディスプレイ（Ｓ）への提供のために前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ＋１））に関連する第２の視覚出力信号（Ｓ（ｎ＋１））を生成するようになされた、請求項１乃至４のいずれか１項に記載のモバイル装置（ＭＤ）。
  6. 前記処理装置（ＰＤ）がさらに、前記背景情報（ＶＢＩ（ｎ＋１））にオーバーレイする前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ＋１））を備えるものとして前記第２の視覚出力信号（Ｓ（ｎ＋１））を生成するようになされた、請求項５に記載のモバイル装置（ＭＤ）。
  7. 前記処理装置がさらに、少なくとも１つの他の仮想視覚オブジェクト（ＶＶＯＳ（ｎ＋１））を備えるものとして第２の視覚出力信号（Ｓ（ｎ＋１））を生成するようになされた、請求項１乃至４のいずれか１項に記載のモバイル装置（ＭＤ）。
  8. 前記処理装置（ＰＤ）がさらに、前記アプリケーションおよび／または前記背景情報（ＶＢＩ（ｎ＋１））によって生成される前記少なくとも１つの他の仮想視覚オブジェクト（ＶＶＯＳ（ｎ＋１））をオーバーレイする前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ＋１））を備えるものとして前記第２の視覚出力信号（Ｓ（ｎ＋１））を生成するようになされた、請求項５または６に記載のモバイル装置（ＭＤ）。
JP2011538878A 2008-12-03 2009-11-24 拡張現実アプリケーションのためのモバイル装置 Active JP5566397B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08291135.5A EP2193825B1 (en) 2008-12-03 2008-12-03 Mobile device for augmented reality applications
EP08291135.5 2008-12-03
PCT/EP2009/008430 WO2010063409A1 (en) 2008-12-03 2009-11-24 Mobile device for augmented reality application

Publications (2)

Publication Number Publication Date
JP2012510673A JP2012510673A (ja) 2012-05-10
JP5566397B2 true JP5566397B2 (ja) 2014-08-06

Family

ID=40549528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011538878A Active JP5566397B2 (ja) 2008-12-03 2009-11-24 拡張現実アプリケーションのためのモバイル装置

Country Status (8)

Country Link
US (1) US8907982B2 (ja)
EP (1) EP2193825B1 (ja)
JP (1) JP5566397B2 (ja)
KR (1) KR101610984B1 (ja)
CN (1) CN102238987B (ja)
MY (1) MY165839A (ja)
SG (2) SG171901A1 (ja)
WO (1) WO2010063409A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082450B2 (en) 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
US9582937B2 (en) * 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP2011197777A (ja) * 2010-03-17 2011-10-06 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US8550903B2 (en) 2010-11-15 2013-10-08 Bally Gaming, Inc. System and method for bonus gaming using a mobile device
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
CN106603688B (zh) * 2011-08-27 2020-05-05 中兴通讯股份有限公司 访问增强现实用户上下文的方法
US10474858B2 (en) 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
JP6281857B2 (ja) * 2012-01-13 2018-02-21 株式会社ドワンゴ 映像システム、および撮影方法
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
EP2629498A1 (en) * 2012-02-17 2013-08-21 Sony Ericsson Mobile Communications AB Portable electronic equipment and method of visualizing sound
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9224184B2 (en) 2012-10-21 2015-12-29 Digimarc Corporation Methods and arrangements for identifying objects
US9753534B2 (en) * 2012-11-09 2017-09-05 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
KR101984915B1 (ko) 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US20150042678A1 (en) * 2013-08-09 2015-02-12 Metaio Gmbh Method for visually augmenting a real object with a computer-generated image
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9776364B2 (en) 2013-08-09 2017-10-03 Apple Inc. Method for instructing a 3D printing system comprising a 3D printer and 3D printing system
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
GB201410285D0 (en) * 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
JP2016038889A (ja) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. モーション感知を伴う拡張現実
CN104407696B (zh) * 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US10181219B1 (en) 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US10127725B2 (en) 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
EP3391658B1 (en) * 2015-12-17 2021-08-25 InterDigital Madison Patent Holdings, SAS Personalized presentation enhancement using augmented reality
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
CN106228614A (zh) * 2016-07-29 2016-12-14 宇龙计算机通信科技(深圳)有限公司 一种场景再现方法和装置
US11127212B1 (en) 2017-08-24 2021-09-21 Sean Asher Wilens Method of projecting virtual reality imagery for augmenting real world objects and surfaces
CN108806681A (zh) * 2018-05-28 2018-11-13 江西午诺科技有限公司 语音控制方法、装置、可读存储介质及投影设备
US11126861B1 (en) 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
US10789780B1 (en) * 2019-03-29 2020-09-29 Konica Minolta Laboratory U.S.A., Inc. Eliminating a projected augmented reality display from an image
KR20220101106A (ko) 2019-11-26 2022-07-19 에프. 호프만-라 로슈 아게 분석 측정을 수행하는 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3558104B2 (ja) * 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
FR2775814B1 (fr) * 1998-03-06 2001-01-19 Rasterland Sa Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel
EP1567234A4 (en) * 2002-11-05 2006-01-04 Disney Entpr Inc VIDEO INTERACTIVE ENVIRONMENT
US7377650B2 (en) 2003-02-03 2008-05-27 Siemens Aktiengesellschaft Projection of synthetic information
JP4047822B2 (ja) * 2004-02-27 2008-02-13 ソフトバンクモバイル株式会社 電子機器
ZA200504242B (en) * 2004-05-27 2006-02-22 Aruze Corp Gaming machine.
JP2006006912A (ja) 2004-05-27 2006-01-12 Aruze Corp 遊技機
US8226011B2 (en) 2005-04-06 2012-07-24 Eidgenoessische Technische Hochshcule Zuerich Method of executing an application in a mobile device
JPWO2006134778A1 (ja) * 2005-06-14 2009-01-08 国立大学法人 電気通信大学 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム
US8933967B2 (en) * 2005-07-14 2015-01-13 Charles D. Huston System and method for creating and sharing an event using a social network
EP1929430A4 (en) * 2005-08-29 2011-06-29 Evryx Technologies Inc INTERACTIVITY OF MOBILITY RECOGNITION
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
US9122707B2 (en) * 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
US9317133B2 (en) * 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
JP5704962B2 (ja) * 2011-02-25 2015-04-22 任天堂株式会社 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
US20120231887A1 (en) * 2011-03-07 2012-09-13 Fourth Wall Studios, Inc. Augmented Reality Mission Generators
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer

Also Published As

Publication number Publication date
KR20110100207A (ko) 2011-09-09
US8907982B2 (en) 2014-12-09
CN102238987A (zh) 2011-11-09
WO2010063409A1 (en) 2010-06-10
US20110254860A1 (en) 2011-10-20
CN102238987B (zh) 2014-11-26
KR101610984B1 (ko) 2016-04-08
EP2193825A1 (en) 2010-06-09
SG10201400315UA (en) 2014-07-30
EP2193825B1 (en) 2017-03-22
MY165839A (en) 2018-05-17
SG171901A1 (en) 2011-07-28
JP2012510673A (ja) 2012-05-10

Similar Documents

Publication Publication Date Title
JP5566397B2 (ja) 拡張現実アプリケーションのためのモバイル装置
JP5254906B2 (ja) 電子機器
US8439750B2 (en) Storage medium storing game program, game apparatus and game controlling method
JP2012090905A (ja) データ生成装置、データ生成装置の制御方法、及びプログラム
JP2006320424A (ja) 動作教示装置とその方法
KR20010027533A (ko) 비디오 게임장치 및 그 제어방법
WO2013035125A1 (ja) 運動支援システムおよびネットワークシステム
TW201016272A (en) Game device, method for processing game, information recording medium, and program
JP2010137097A (ja) ゲーム装置および情報記憶媒体
JP2002253718A (ja) トレーニング評価装置、トレーニング評価方法およびトレーニング評価プログラム
JP2023027113A (ja) プログラム、電子機器および制御方法
JP2014164644A (ja) 信号処理装置、表示装置、及びプログラム
JP2006318385A (ja) 画像生成システム、プログラムおよび情報記憶媒体
JP6841985B2 (ja) ゲームシステム、ゲーム装置、及びプログラム
CN114028819A (zh) 舞蹈数据处理方法、装置及跳舞设备
JP2021053466A (ja) ゲームプログラム、ゲームプログラムを実行する方法、および情報処理装置
KR101092183B1 (ko) 사이버 러닝머신 시스템
JP2015007986A (ja) 電子機器、電子機器制御用プログラム、及び電子機器の制御方法
JP3827093B2 (ja) ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム
JP3734035B2 (ja) ビデオゲームにおけるイベント制御方法およびビデオゲーム装置
TW592753B (en) Dance training device
JP2023108719A (ja) プログラム、ゲーム装置、及びゲームシステム
JP2024058733A (ja) ゲームシステム、ゲームシステムの制御方法及びコンピュータプログラム
JP2023149618A (ja) 生成方法、生成システム、並びに制御プログラム、及びゲームシステム
JP6491502B2 (ja) 撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120131

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130517

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131210

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131217

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140210

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140617

R150 Certificate of patent or registration of utility model

Ref document number: 5566397

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250