JP6367926B2 - 拡張現実（ａｒ）キャプチャおよびプレイ - Google Patents

拡張現実（ａｒ）キャプチャおよびプレイ Download PDF

Info

Publication number
JP6367926B2
JP6367926B2 JP2016514052A JP2016514052A JP6367926B2 JP 6367926 B2 JP6367926 B2 JP 6367926B2 JP 2016514052 A JP2016514052 A JP 2016514052A JP 2016514052 A JP2016514052 A JP 2016514052A JP 6367926 B2 JP6367926 B2 JP 6367926B2
Authority
JP
Japan
Prior art keywords
objects
target objects
image
target
editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016514052A
Other languages
English (en)
Other versions
JP2016524221A (ja
JP2016524221A5 (ja
Inventor
ラファエル・グラセット
ハートマット・サイヒター
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2016524221A publication Critical patent/JP2016524221A/ja
Publication of JP2016524221A5 publication Critical patent/JP2016524221A5/ja
Application granted granted Critical
Publication of JP6367926B2 publication Critical patent/JP6367926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示の態様は、拡張現実(AR)物体に関し、特に、ARのインタラクションで使用するために物理的スケッチ(sketch)または物理的な物体からAR物体を生成することに関する。
モバイルARアプリケーションの現在の生成は、ユーザとのインタラクションに関して言えば制限される可能性がある。たとえば、多くのアプリケーションは、エンドユーザが印刷された目標にかぶせられた予め定義された3Dコンテンツを操作すること(たとえば、選択、移動、ゲームアクション)またはナビゲートすること(たとえば、向きの変更、接近)を可能にするだけである。予め定義されたコンテンツは、これまで、アーティスト、デザイナー、または開発者によってオフラインでオーサリングされ、アプリケーションの一部として組み込まれ、リアルタイムで修正され得ない。これらの手法は、AR体験の柔軟性および創造的な潜在力を制限する。
拡張現実(AR)物体をリアルタイムで生成し、キャプチャするための方法、システム、コンピュータ可読媒体、および装置が、示される。加えて、AR物体が、ユーザによってマルチタッチインタラクションを用いてリアルタイムで修正され得る。
ユーザがモバイルARアプリケーションのために物理的スケッチとマルチタッチインタラクションとを組み合わせることを可能にする特定の実施形態が、説明される。一部の実施形態において、AR物体をリアルタイムで生成するための物理的スケッチは、紙に基づく可能性がある。
一部の実施形態においては、モバイルデバイスによって1つまたは複数の拡張現実(AR)物体を生成するための方法が、1つまたは複数の目標の物体の画像をキャプチャするステップであって、1つまたは複数の目標の物体が、予め定義された背景上に配置される、ステップを含む。方法は、1つまたは複数の目標の物体に対応する1つまたは複数のエリアと予め定義された背景に対応する1つまたは複数のエリアとに画像を分割するステップも含む。加えて、方法は、1つまたは複数の目標の物体に対応する1つまたは複数のエリアをデジタル画像に変換するステップを含む。方法は、デジタル画像に少なくとも部分的に基づいて1つまたは複数の目標の物体に対応する1つまたは複数のAR物体を生成するステップをさらに含む。
一部の実施形態においては、画像を分割するステップが、画像から予め定義された背景を取り去るステップをさらに含む。
一部の実施形態においては、方法が、ユーザ入力に応答して1つまたは複数のAR物体を編集するステップをさらに含む。
一部の実施形態においては、編集するステップが、1つまたは複数のAR物体のうちの少なくとも1つを複数のARパーツに分けるステップと、複数のARパーツの中の指定されたARパーツに関連するユーザ入力を受け取るステップと、受け取られたユーザ入力に基づいて指定されたARパーツを操作するステップとをさらに含む。
一部の実施形態においては、受け取られたユーザ入力に基づいて指定されたARパーツを操作するステップが、モバイルデバイスのディスプレイ上の判定された指の圧力に基づいて指定されたARパーツに深度を加えるステップ、モバイルデバイスのディスプレイ上で行われたユーザのジェスチャに基づいて指定されたARパーツを回転させるステップ、指定されたARパーツを1つもしくは複数のレイヤへと組み立てるステップ、モバイルデバイスのディスプレイ上に表示可能な1つもしくは複数の位置へと指定されたARパーツを動かすステップ、または指定されたARパーツを押し出すステップのうちの少なくとも1つを含む。
一部の実施形態においては、1つまたは複数の目標の物体のうちの1つが、2次元(2D)のスケッチを含む。
一部の実施形態においては、1つまたは複数の目標の物体のうちの1つが、3次元(3D)の物体を含む。
一部の実施形態においては、1つまたは複数の目標の物体のうちの1つが、予め定義された背景と同一平面上にある。
一部の実施形態においては、予め定義された背景が、特徴追跡目標である。
一部の実施形態においては、方法が、1つまたは複数の目標の物体に対応する1つまたは複数のエリアのうちの1つを改善するステップをさらに含む。
一部の実施形態においては、1つまたは複数のAR物体が、キャプチャされた画像内の2次元(2D)ブロッブの検出に基づいて生成され、2Dブロッブの検出が、予め定義された背景上に配置された1つまたは複数の目標の物体に関連する表面の反射率に基づく。
一部の実施形態においては、予め定義された背景が、水平トラッキングエリアおよび垂直トラッキングエリアを含む。
一部の実施形態は、方法が、モバイルデバイスのディスプレイ上に1つまたは複数のAR物体をリアルタイムで表示するステップをさらに含む。
一部の実施形態においては、1つまたは複数のAR物体を生成するための装置が、メモリと、1つまたは複数の目標の物体の画像をキャプチャするように構成された画像キャプチャモジュールであって、1つまたは複数の目標の物体が、予め定義された背景上に配置される、画像キャプチャモジュールと、1つまたは複数の目標の物体に対応する1つまたは複数のエリアと予め定義された背景に対応する1つまたは複数のエリアとに画像を分割するように構成された画像処理モジュールと、メモリ、画像キャプチャモジュール、および画像処理モジュールに結合されたプロセッサとを含む。プロセッサは、1つまたは複数の目標の物体に対応する1つまたは複数のエリアをデジタル画像に変換し、デジタル画像に少なくとも部分的に基づいて1つまたは複数の目標の物体に対応する1つまたは複数のAR物体を生成するように構成される可能性がある。
一部の実施形態においては、1つまたは複数の非一時的コンピュータ可読媒体が、実行されるときに、モバイルデバイスに含まれる1つまたは複数のコンピューティングデバイスに、1つまたは複数の目標の物体の画像をキャプチャすることであって、1つまたは複数の目標の物体が、予め定義された背景上に配置される、キャプチャすることと、1つまたは複数の目標の物体に対応する1つまたは複数のエリアと予め定義された背景に対応する1つまたは複数のエリアとに画像を分割することと、1つまたは複数の目標の物体に対応する1つまたは複数のエリアをデジタル画像に変換することと、デジタル画像に少なくとも部分的に基づいて1つまたは複数の目標の物体に対応する1つまたは複数の拡張現実(AR)物体を生成することとを行わせる1つまたは複数のAR物体を生成するためのコンピュータが実行可能な命令を記憶する。
一部の実施形態においては、1つまたは複数の拡張現実(AR)物体を生成するための装置が、1つまたは複数の目標の物体の画像をキャプチャするための手段であって、1つまたは複数の目標の物体が、予め定義された背景上に配置される、手段と、1つまたは複数の目標の物体に対応する1つまたは複数のエリアと予め定義された背景に対応する1つまたは複数のエリアとに画像を分割するための手段と、1つまたは複数の目標の物体に対応する1つまたは複数のエリアをデジタル画像に変換するための手段と、デジタル画像に少なくとも部分的に基づいて1つまたは複数の目標の物体に対応する1つまたは複数のAR物体を生成するための手段とを含む。
本開示の態様は、例として示される。添付の図面において、同様の参照番号は、同様の要素を示す。
一部の実施形態による例示的なモバイルデバイスを示すブロック図である。 エンドユーザ対開発者の観点から見た異なる種類のARアプリケーションと比較して本発明の実施形態を示す図である。 トラッキングエリアを用いる本発明の実施形態を示す図である。 一実施形態による、モバイルARアプリケーションのために物理的スケッチとマルチタッチインタラクションとを組み合わせるための方法を示す流れ図である。 モバイルARアプリケーションのために物理的スケッチとマルチタッチインタラクションとを組み合わせるための方法の例を示す図である。 モバイルARアプリケーションのために物理的スケッチとマルチタッチインタラクションとを組み合わせるための方法の例を示す図である。 モバイルARアプリケーションのために物理的スケッチとマルチタッチインタラクションとを組み合わせるための方法の例を示す図である。 一部の実施形態に従って使用され得る異なる種類のスケッチを示す図である。 一部の実施形態に従って使用され得る異なる種類のスケッチを示す図である。 一部の実施形態に従って使用され得る異なる種類のスケッチを示す図である。 一実施形態による、トラッキングエリア内にスケッチされた物体または物理的な物体を置き、キャプチャする例示的な方法を示す図である。 一実施形態による、モバイルインターフェースを用いるAR編集方法を示す図である。 別の実施形態による、モバイルインターフェースを用いるAR編集方法を示す図である。 一部の実施形態による異なる編集モードを示す表である。 一実施形態による、2.5Dのステージを用いて2Dレイヤにおいて単純化された物理学を適用することを示す図である。 一実施形態による、目標のAR物体をキャプチャするための方法を示す流れ図である。 1つまたは複数の実施形態が実装され得るコンピューティングシステムの例を示す図である。 本発明の実施形態に関連するタスクを実行するための異なるソフトウェアモジュールを有する画像処理モジュールの例を示す図である。
いくつかの例示的な実施形態が、以降、本明細書の一部を形成する添付の図面に関連して説明される。本開示の1つまたは複数の態様が実装され得る特定の実施形態が以降で説明されるが、本開示の範囲または添付の請求項の精神を逸脱することなくその他の実施形態が使用される可能性があり、様々な修正がなされる可能性がある。
拡張現実(AR)は、音声、テキスト、グラフィックス、動画、および位置(たとえば、全地球航法衛星システム(GNSS))データなどであるがこれらに限定されないコンピュータによって生成された感覚入力(sensory input)によって要素が拡張される物理的な現実世界の環境の生の直接的または間接的な像である可能性がある。
物体認識などのARテクノロジーを用いることによって、ユーザの周囲の現実世界についての情報がインタラクティブになり、指で操作され得るようになる。ユーザの環境およびその環境の物体についての人工的な情報が、現実世界にかぶせられる可能性がある。
本発明の実施形態は、拡張現実(AR)物体を対象とし、特に、モバイルARアプリケーションのために物理的スケッチとマルチタッチインタラクションとを組み合わせることを対象とする。加えて、AR物体は、ユーザによってマルチタッチインタラクションを用いてリアルタイムで修正され得る。
ユーザがモバイルARアプリケーションのために物理的スケッチとマルチタッチインタラクションとを組み合わせることを可能にする特定の実施形態が、説明される。一部の実施形態において、AR物体をリアルタイムで生成するための物理的スケッチは、紙に基づく可能性がある。
一部の実施形態によれば、ユーザは、マーカ(たとえば、目標エリア)の直上の(たとえば、紙に基づく)現実のコンテンツとインタラクションすることができる可能性がある。場合によっては、AR物体は、エンドユーザによってオンラインで作成される現実のコンテンツに基づく可能性がある。これは、仮想的なコンテンツがデジタルツールで開発者によりオフラインで作成される現在の実装と対照的である可能性がある。
結果として、本発明の実施形態は、ユーザがこれまでのデジタルツールを必要とせずにAR物体およびコンテンツを作成するためのより直感的な方法を可能にする。加えて、飛び出す絵本(pop-up book)およびコラージュアートワークの概念を用いて、ARコンテンツの作成は、エンドユーザがさらに利用しやすくなる可能性がある。さらに、本発明の実施形態は、現実世界から情報をリアルタイムでキャプチャすることを含み得るARインタラクションのための新しい手法を提供し得る。
図1は、一部の実施形態による例示的なモバイルデバイス100を示すブロック図である。モバイルデバイス100は、画像処理モジュール121に結合された画像キャプチャモジュール111を含む。画像処理モジュール121は、1つまたは複数の汎用プロセッサである可能性がある。加えて、画像処理モジュール121は、バスインターフェース103によってバス101に接続される可能性があり、画像キャプチャモジュール111は、バスインターフェース103によってバス101に接続される可能性があり、メモリ161が、バスインターフェース103によってバス101に接続される可能性がある。
画像処理モジュール121は、バスインターフェース103およびバス101を介してディスプレイモジュール181にも結合される可能性がある。加えて、画像キャプチャモジュール111および画像処理モジュール121は、バスインターフェース103およびバス101を介してユーザ入力モジュール191に接続される可能性がある。画像処理モジュール121は、画像キャプチャモジュール111から受信される到着する画像データまたは動画データから目標の物体の画像を検出し、キャプチャするように構成され得る。目標の物体の画像は、予め定義された背景に対して配置された物体を含む可能性がある。画像処理モジュール121は、予め定義された背景を目標の物体の画像と比較し、比較に基づいてスケッチを決定することができる。その後、画像処理モジュール121は、ディスプレイモジュールに表示するためにスケッチに基づいてAR物体を生成することができる。
バスインターフェース103は、画像処理モジュール121、画像キャプチャモジュール111、およびそれらが関連付けられるメモリ161と統合される可能性がある。様々な実施形態においては、機能が、RAM、ROM、FLASH、またはディスクドライブなどのコンピュータ可読ストレージ媒体上など、メモリ161に1つまたは複数の命令またはコードとして記憶され、画像処理モジュール121によって実行され得る。メモリ161は、説明される機能を画像処理モジュール121に実行させるように構成されたソフトウェアコード(プログラミングコード、命令など)を記憶するプロセッサ可読メモリおよび/またはコンピュータ可読メモリである可能性がある。その他の実施形態において、説明される機能は、ハードウェアで実行される可能性がある。
さらに、一部の実施形態において、モバイルデバイス100は、全地球航法衛星システム(GNSS)受信機171に結合されたGNSSアンテナ172を介してGNSS信号174を受信することができるGNSS受信機171を含み得る。また、GNSS受信機171は、GNSS無線信号174を全体的にまたは部分的に処理し、GNSS信号174を用いてモバイルデバイス100の位置を判定し得る。GNSS受信機171は、位置に基づく情報でモバイルARアプリケーションを支援することができる。
さらに、一部の実施形態において、モバイルデバイス100は、バスインターフェース103によってバス101に接続されたワイヤレストランシーバ131も含む可能性がある。ワイヤレストランシーバ131は、アンテナ152を介してワイヤレス信号154を受信するように動作可能である可能性がある。ワイヤレス信号154は、ワイヤレスネットワークを介して送信され得る。一部の実施形態において、ワイヤレスネットワークは、インターネット、パーソナルアクセスネットワーク(PAN)、またはセルラーネットワーク(たとえば、GSM（登録商標）、WCDMA（登録商標）、LTE、CDMA2000ネットワーク)などであるがこれらに限定されない任意のワイヤレスネットワークである可能性がある。一部の実施形態において、アンテナ152および172は、同じアンテナである可能性がある。2つのアンテナが図1に示されるが、その他の実施形態においては、任意の数のアンテナがモバイルデバイス100に存在する可能性があり、ワイヤレストランシーバ131およびGNSS受信機171が通信を目的として1つまたは複数のこれらのアンテナを共有する可能性があることが、理解され得る。ワイヤレストランシーバ131は、ネットワーク(たとえば、インターネット)との通信によってモバイルARアプリケーションを支援することができる。
モバイルデバイス100は、セル電話、スマートフォン、PDA、タブレット、ラップトップ、追跡デバイス、または何らかのその他のワイヤレスのサポート可能および移動可能なデバイスである可能性があり、モバイル端末、移動局(MS)、端末、デバイス、ワイヤレスデバイス、ユーザ機器(UE)、SUPL対応端末(SET)、目標デバイス、目標と呼ばれるか、または何らかのその他の名前で呼ばれる可能性がある。
一部の実施形態によれば、画像キャプチャモジュール111は、1つまたは複数の目標の物体および予め定義された背景の画像をキャプチャするように構成され得るレンズおよびイメージセンサを含む可能性があり、1つまたは複数の目標の物体は、予め定義された背景上に配置される。場合によっては、キャプチャされる画像は、動画である可能性があり、動画は、リアルタイムでキャプチャされる可能性がある。したがって、本明細書に記載の用語、画像は、動画および音声データを含み得る。画像キャプチャモジュール111は、1つもしくは複数のデジタルスチルカメラ、1つもしくは複数のビデオカメラ、1つもしくは複数のマイクロホン、またはこれらの任意の組合せを含み得る。画像キャプチャモジュール111の例は、RGBカメラ、深度カメラ、ステレオカメラなどを含み得るがこれらに限定されない。用語「カメラ」は、異なる種類である可能性がある複数のカメラ(たとえば、RGBカメラおよび深度カメラ)を指す可能性もある。
一部の実施形態によれば、画像処理モジュール121は、図16の方法1600に関連して説明されるように、画像キャプチャモジュール111によって受信された画像データから1つまたは複数の目標の物体を検出し、ディスプレイモジュール181に表示するための拡張された画像データを生成するように構成され得る。拡張された画像データを生成するために、画像キャプチャモジュール111は、キャプチャされた画像を1つまたは複数の目標の物体に対応する1つまたは複数のエリアと予め定義された背景に対応する1つまたは複数のエリアとに分割し得る。それから、画像キャプチャモジュール111は、1つまたは複数の目標の物体に対応する1つまたは複数のエリアをデジタル画像に変換し得る。画像キャプチャモジュール111は、1つまたは複数の目標の物体に対応する1つまたは複数のAR物体を生成し続け得る。一部の実施形態において、1つまたは複数の目標の物体は、ユーザによる手書きのスケッチを含む可能性がある。
場合によっては、ディスプレイモジュール181は、生成されたAR物体を表示するように構成される。たとえば、ディスプレイモジュール181は、モバイルデバイスのディスプレイスクリーンまたはその他の視覚的なディスプレイデバイス(たとえば、プロジェクタ、ヘッドマウントディスプレイ、車両のディスプレイ、スマートウォッチ、カメラのディスプレイなど)を含む可能性がある。一部の実施形態において、生成されたAR物体は、図7に示されるように、拡張された画像内の埋め込まれたAR物体として表示され得る。
一部の実施形態において、ユーザ入力モジュール191は、ユーザがディスプレイモジュール181によって表示された3次元AR物体を制御する(たとえば、アニメーションさせる)ことを可能にする。たとえば、ユーザ入力モジュール191は、1つまたは複数のスイッチ、ボタン、ジョイスティック、またはキーなどの1つまたは複数の物理的なコントロールを含み得る。その他の例として、ユーザ入力モジュール191は、ディスプレイモジュール181のタッチスクリーン、スピーチインターフェース、ジェスチャ認識機、別のユーザ入力メカニズム、またはこれらの任意の組合せを含む可能性がある。一部の実施形態において、ユーザ入力モジュール191は、モバイルデバイス100とは別の異なるデバイス内にある可能性がある。
場合によっては、画像処理モジュール121の少なくとも一部は、専用回路によって実装される可能性がある。その他の実施形態において、画像処理モジュール121の少なくとも一部は、画像処理モジュール121によって実行されるコンピュータが実行可能なコードの実行によって実装される可能性がある。例示するために、メモリ161は、画像処理モジュール121によって実行可能であるプログラム命令を記憶する非一時的コンピュータ可読ストレージ媒体を含む可能性がある。プログラム命令は、画像キャプチャモジュール111から受信された画像データ内の1つまたは複数の目標の物体を検出するためのコードと、1つまたは複数の目標の物体に対応する1つまたは複数のAR物体を生成するためのコードとを含み得る。
図2は、エンドユーザまたは開発者の観点から見た異なる種類のARアプリケーションを比較する。図2は、リアルタイムのARオーサリングおよび/またはリアルタイムのARスケッチのためのARアプリケーションの部類を表す本発明の実施形態をさらに示す。
一部の実施形態によれば、エンドユーザがリアルタイムでコンテンツを作成するためにARアプリケーションを使用することを可能にするための方法が、開示される。リアルタイムARスケッチアプリケーション215に示されるように、エンドユーザは、仮想的なARコンテンツを作成し、使用することができる。
対照的に、これまでのモバイルARアプリケーション205においては、アーティストおよび開発者が、仮想的なARコンテンツをオフラインで作成し、その仮想的なARコンテンツが、モバイルARアプリケーション205に組み込まれる可能性がある。そして、エンドユーザは、この予め定義された仮想的なARコンテンツをオンラインで操作またはナビゲーションし得るが、コンテンツをリアルタイムで修正または編集することはできない。
代替的に、これまでのARブラウザのモバイルアプリケーション210において、エンドユーザは、仮想的なおよび現実のコンテンツを作成することができるが、コンテンツは、これまでのデジタルオーサリングツールを用いて、別のプラットフォーム上でやはりオフラインで生成される。用語「オフライン」は、本明細書において使用されるとき、エンドユーザがARコンテンツとインタラクションするために最終的に使用し得るプラットフォーム以外のプラットフォーム上でコンテンツを作成することを指す可能性があることが、理解され得る。たとえば、デスクトッププラットフォームのためにのみ仕立てられる可能性があるこれまでのARブラウザのモバイルアプリケーション210においては、エンドユーザは、画像を作成し、それらのエンドユーザのデスクトップに印および3Dモデルを置き、それらをウェブオーサリングツールを用いてサーバに追加し、そして、デスクトップ以外のモバイルデバイスまたはその他のデバイスを用いて後でコンテンツを体験する可能性がある。この例に示されるように、たとえエンドユーザが仮想的なまたは現実のコンテンツを作成することを実装が可能にし得るとしても、作成は、プロ向けのデジタルツールによるオフラインの作成だけにやはり制限される。
本発明の実施形態は、リアルタイムARスケッチアプリケーション215に示されるように、ユーザがオンラインでしかもユーザにより生成されるコンテンツを作成することを可能にするARツールおよびモバイルARユーザインターフェースを説明する。用語「オンライン」は、本明細書において使用されるとき、エンドユーザがARコンテンツとインタラクションするために最終的に使用し得る同じプラットフォーム上でコンテンツをリアルタイムで作成することを指す可能性があることが、理解され得る。場合によっては、リアルタイムARスケッチアプリケーション215は、ユーザがモバイルARユーザインターフェースを用いてリアルタイムの仮想的なコンテンツを作成することを可能にすることができる。たとえば、モバイルARユーザインターフェースは、入力(たとえば、タブレット上のユーザの絵、写真編集、3Dモデリング)を受け取り、入力に基づいて仮想的なコンテンツをリアルタイムで更新することができる。
加えて、本発明の実施形態は、物理的スケッチをARの仮想的なコンテンツと組み合わせることができる。場合によっては、組合せは、図2の一番下のリアルタイムARスケッチアプリケーション215のより詳細な説明に示されるように、モバイルARインターフェース上でこれまでのスケッチをマルチタッチインタラクションと統合した結果である可能性がある。
リアルタイムARスケッチアプリケーション215は、仮想ARスケッチ220モードと、紙ARスケッチ225モードと、ARスケッチおよびプレイ230モードとを含み得る。これらのモードを用いて、リアルタイムARスケッチアプリケーション215は、エンドユーザが仮想的なコンテンツと現実のコンテンツとの両方を作成し、使用することを可能にするために物理的スケッチ(たとえば、現実世界)およびタッチインタラクションを可能にする。
一部の実施形態によれば、リアルタイムARスケッチアプリケーション215によって使用される方法は、現実世界のコンテンツをキャプチャするために専用の空間(たとえば、トラッキングエリア)を使用する概念に基づく可能性がある。たとえば、トラッキングエリア(たとえば、クアルコム自然特徴追跡(NFT)マーカ(Qualcomm Natural Feature Tracking (NFT) Marker))が、現実世界のコンテンツをキャプチャするための専用の空間として使用される可能性がある。加えて、トラッキングエリアは、コンテンツを編集するために使用され得る(たとえば、キャプチャアンドプレイ(capture-and-play)空間)。場合によっては、リアルタイムARスケッチアプリケーション215は、現実の物体をキャプチャし、トラッキングエリア上で操作され得る(たとえば、仮想的な)デジタルの対応物を作成することができる。トラッキングエリア(たとえば、トラッキングエリア305)は、図3においてさらに検討される。
これまでの仮想的なスケッチ220モードにおいては、ユーザが、AR物体を作成するためにデジタルデバイス上でスケッチすることができる。加えて、ユーザは、仮想的なコンテンツを作成するためにマーカ(たとえば、知られている寸法を有する物体、トラッキングエリア)上の作成されたAR物体を追跡し得る。一部の実施形態によれば、モバイルデバイス100の以下のモジュール、すなわち、画像キャプチャモジュール111 (たとえば、デジタルカメラおよび/またはその他の光センサ)、画像処理モジュール121、加速度計、GNSS受信機171、ジャイロスコープ、ソリッドステートコンパス(solid state compass)、およびワイヤレストランシーバ131のうちの1つまたは複数が、追跡するために使用され得る。
これまでの紙ARスケッチ225モードにおいては、ユーザが、仮想的なコンテンツを作成するためにマーカ(たとえば、トラッキングエリア)上のAR物体をスケッチすることと追跡することとの両方が可能である。加えて、ユーザは、スケッチが追跡されている間にマーカ上のスケッチを操作することによってAR物体をいじることができる。
現在の実装は、完全に3Dの再構築にのみ焦点を当てる可能性がある。対照的に、本発明の実施形態は、2次元(2D)から2.5次元(2.5D)までの再構築を可能にする技術を使用する可能性がある。たとえば、飛び出す絵本およびコラージュアートワークなどの2Dから2.5Dまでの物体が、創造的な作業を教える際の教育のための要素である可能性がある。したがって、より少ない次元を有することによって、アプリケーションは、ユーザ(たとえば、子供)によってより使用されやすくなる可能性があり、ユーザによってより想像力が働きやすくなる可能性がある。加えて、2Dから2.5Dまでの物体は、ゲーム、教育、エンターテインメント、アニメーション/操り人形芝居、芸術作品などのために使用されるときにより優れた機能を有する可能性がある。
本明細書において説明される実装を具現化するARスケッチおよびプレイ230モードにおいては、ユーザが2Dから2.5Dまでの物体を用いる媒体上でスケッチすることができる。加えて、ユーザは、仮想的なコンテンツを作成するためにマーカ(たとえば、トラッキングエリア)上でキャプチャおよび編集を行うことができる。さらに、ユーザは、生成された1つまたは複数のAR物体をいじる(たとえば、操作する)ことができる。
図3は、空間的な環境内の本発明の実施形態を示す。たとえば、図3に示されるように、リアルタイムARスケッチアプリケーション215は、マーカ(たとえば、図3のトラッキングエリア305、物理的スケッチおよびプレイエリア)を用いて、抽出すること、キャプチャすること、いじることを同時に行うことができる。加えて、マーカ(たとえば、トラッキングエリア305)は、3次元(3D)のリアルタイムコンテンツを生成するために使用され得る。
場合によっては、ユーザは、トラッキングエリア305に物理的なコンテンツ310 (たとえば、スケッチ、絵、3Dの物理的な物体)を追加することができ、画像キャプチャモジュール111および画像処理モジュール121は、トラッキングエリア305上に配置された(たとえば、置かれた)物理的なコンテンツ310に基づいて1つまたは複数のAR物体315を生成することができる。たとえば、図16は、トラッキングエリア305上に置かれた物理的なコンテンツに基づいて1つまたは複数のAR物体を生成するための例示的な方法を示す。その後、ユーザは、生成されたAR物体を編集し、いじることができる。
たとえば、一部の実施形態において、リアルタイムARスケッチアプリケーション215は、マーカに基づく環境のための編集技術を含み得るキャプチャまたは編集メカニズムを用いて実装され得る。一部の実施形態において、キャプチャまたは編集メカニズムは、マーカに基づく環境の編集を可能にするために画像処理モジュール121とインタラクションし得る。結果として、複雑なコンピュータビジョン(CV) 3Dモデリングおよび取得は、AR環境を編集するために必要とされない可能性がある。
図4は、一実施形態による、モバイルARアプリケーションのために物理的スケッチとマルチタッチインタラクションとを組み合わせるための方法400の実施形態を示す流れ図である。
ブロック405において、ユーザは、現実の紙を用いて物体をスケッチし、切る可能性がある。代替的に、ユーザは、物体を描くかまたは貼り付ける可能性がある。図5は、ユーザが現実の紙を用いて物体(たとえば、人の姿505)をスケッチする例を示す。
410において、ユーザは、物体をトラッキングエリア305 (たとえば、キャプチャアンドプレイ空間)内に置く可能性がある。図6は、ユーザがトラッキングエリア305内に物体(たとえば、人の姿505)を置く例を示す。図6に示されるように、トラッキングエリア305は、予め定義された背景である可能性がある。トラッキングエリア305の一部の例は、AR追跡目標(AR tracking target)、クアルコムNFTマーカなどを含むがこれらに限定されない。
415において、リアルタイムARスケッチアプリケーション215は、コンテンツをキャプチャする可能性がある。図16の流れ図は、コンテンツをキャプチャする方法をさらに示す。加えて、上述のように、画像キャプチャモジュール111は、トラッキングエリア305上に配置された(たとえば、置かれた) 1つまたは複数の目標の物体を検出するように構成され得る。
420において、リアルタイムARスケッチアプリケーション215は、キャプチャされた物体を取り込み、デジタル化する可能性がある。場合によっては、リアルタイムARスケッチアプリケーション215は、ブロック405およびブロック410からのスケッチをデジタル化し、そのスケッチをデジタル画像に変換する可能性がある。画像処理モジュール121は、画像キャプチャモジュール111から受信される到着する動画/画像データ内の1つまたは複数の目標の物体を検出し、ディスプレイモジュール181に表示するために1つまたは複数の目標の物体に対応する1つまたは複数のAR物体を生成するように構成され得る。
これらのステップはモバイルデバイス100によってリアルタイムで実行される可能性があることが、理解され得る。
その他の場合、画像処理モジュール121は、画像キャプチャモジュール111から受信される動画/画像データ内の目標の画像を検出するように構成され得る。画像処理モジュール121は、検出された目標の画像に基づいてスケッチおよび拡張現実(AR)データを生成するように構成され得る。
425において、ユーザは、リアルタイムARスケッチアプリケーション215を用いてキャプチャされたコンテンツを編集する可能性がある。ユーザインターフェースは、マルチタッチインターフェースである可能性がある。図12〜図13は、リアルタイムARスケッチアプリケーション215を用いる異なる編集方法を示す。キャプチャされたコンテンツを編集する方法は、キャプチャされたコンテンツの寸法を修正することと、マーカ(トラッキングエリア305)上のキャプチャされたコンテンツの初期配置を修正することと、物体を用いたアニメーションを作成することと、物体にさらなる特性(たとえば、音、物理的な挙動)を追加することとを含む可能性があるが、これらに限定されない。これらの編集方法は、図14に図示される表にさらに示される。
430において、ユーザは、編集されたコンテンツまたはキャプチャされたコンテンツをいじる可能性がある。図7は、キャプチャされたコンテンツを編集するおよび/またはいじる例を示す。コンテンツをいじることは、コンテンツとのアニメーション、操作、およびビデオゲームインタラクションを含む可能性があるが、これらに限定されない。
図5〜図7は、モバイルARアプリケーションのために物理的スケッチとマルチタッチインタラクションとを組み合わせるための方法400の例を示す。図3および図5に示されるように、ユーザは、ブロック405において既に説明されたように物体(たとえば、人の姿505)をスケッチすることができる。加えて、図6は、ブロック410において既に説明されたようにトラッキングエリア305上に物体(たとえば、人の姿505)を置く例を示す。さらに、図7は、ブロック425およびブロック430において既に説明されたようにトラッキングエリア305上のキャプチャされたコンテンツを編集するかまたはいじる例を示す。
ブロック405において使用されたスケッチ物体は、トラッキングエリア305上に置かれた絵、スケッチ、および3Dの物理的な物体を含むがこれらに限定されない広範な異なる媒体の物を含み得る。場合によっては、3Dの物理的な物体は、2Dでしかキャプチャされない可能性がある。スケッチ物体405は、はっきりと区別可能であり、トラッキングエリア305と同一平面上にある必要がある可能性がある。加えて、スケッチされた物体は、安定した追跡を保証するためにトラッキングエリア305の一部のみを覆うようにして置かれる可能性がある。スケッチされた物体は1つまたは複数の目標の物体の例であることが、理解され得る。
図8〜図10は、一部の実施形態に従って使用され得るスケッチされた物体の様々な例を示す。たとえば、ユーザは、図8に示されるように、棒線画(stick figure) 805をスケッチし、トラッキングエリア305上に物体を置く可能性がある。代替的に、ユーザは、図9に示されるように、車両905をスケッチし、トラッキングエリア上にスケッチを置く可能性がある。別の実施形態において、ユーザは、図10に示されるように、トラッキングエリア上におもちゃの車1005などの3Dの物体を置く可能性がある。
図16の流れ図にさらに示されるように、リアルタイムARスケッチアプリケーション215は、トラッキングエリア305上に置かれた物体(たとえば、棒線画805、車両905、3Dのおもちゃの車1005)をキャプチャし、キャプチャされた物体に基づいてAR物体を生成することができる。示されるように、スケッチ物体は、絵、スケッチ、および3Dの物理的な物体を含むがこれらに限定されない広範な異なる媒体の物を含み得る。
図11は、ブロック410およびブロック415において既に説明されたように、トラッキングエリア305内に複数の物体を置き、キャプチャする例示的な方法を示す。たとえば、リアルタイムARスケッチアプリケーション215は、第1の物体1105および第2の物体1110がトラッキングエリア305上に配置される(たとえば、置かれる)とき、複数の物体をキャプチャする可能性がある。図16に示される方法と同様の方法が、複数の物体をキャプチャするために使用され得る。場合によっては、ユーザは、安定した追跡を保証するためにトラッキングエリア305の一部のみを覆うようにして1つまたは複数のスケッチされた物体を置く可能性がある。加えて、好ましくは、スケッチされた物体または物理的な物体は、中心に置かれるべきである。別の実施形態において、リアルタイムARスケッチアプリケーション215は、画像内で最も大きい物のみをキャプチャする可能性がある。
画像キャプチャモジュール111によってキャプチャされた画像1115に示されるように1つまたは複数の物体がトラッキングエリア305上に置かれた後、リアルタイムARスケッチアプリケーション215は、背景差分技術を用いて、背景差分画像1120に示されるように、予め定義された背景上に配置された目標の物体を判定することができる。場合によっては、リアルタイムARスケッチアプリケーション215は、インタラクティブ性能のために尺度空間(scale space)の高オクターブ(octave)を使用する可能性があり、インタラクティブ性能は、ユーザからの手引きに基づく。加えて、背景差分技術は、物体の純粋な反射能(albedo)を得るために局所的な光の推定によって補足される可能性がある。
さらに、固有画像分解(intrinsic image decomposition)または基本的な光の推定が、キャプチャされた物体からの表面の反射率を復元するために適用される可能性がある。場合によっては、無反射の媒体が好ましく、よりキャプチャしやすい可能性がある。1つまたは複数の物体がキャプチャされると、リアルタイムARスケッチアプリケーション215は、キャプチャされた物体の画像1125に示されるように、キャプチャされた物体からの表面のキャプチャされた反射率に基づいて1つまたは複数の2Dブロッブを生成する可能性がある。
さらに、画像分割アルゴリズム(たとえば、GrabCutアルゴリズム)が、ブロッブの輪郭または形状(たとえば、スケッチされたキャラクタなどの物体の輪郭)を改善するために使用され得る。そして、1つまたは複数の目標の物体に対応する1つまたは複数のAR物体が、生成され得る。
図12〜図13は、ブロック425において既に説明されたようにリアルタイムARスケッチアプリケーション215を用いる異なる編集方法を示す。図12は、1つまたは複数のAR物体を編集するために使用される輪郭選択技術を示す。代替的に、図13は、1つまたは複数のAR物体を編集するために使用されるホットスポット(hotspot)選択技術を示す。さらに、異なる編集モードが、リアルタイムARスケッチアプリケーション215を用いて制御され得る。
図14に示されるように、異なる編集モードは、(たとえば、キャプチャされた物体の寸法を修正する)寸法モード1410と、(たとえば、マーカ上のコンテンツの初期配置を修正する)位置モード1420と、(たとえば、物体を用いたアニメーションを作成する)アニメーションモード1430と、(たとえば、音声モードおよび物理的な挙動などのさらなる特性を物体に追加する)さらなる特性モード1440と、プレイモード1450 (ローカルのインタラクション、視覚化、または記録)とを含み得る。場合によっては、異なる編集モードの選択は、ボタン、ジェスチャ、および/またはホットスポットを用いて行われる可能性がある。
寸法モード1410は、基本編集1411と、押し出し編集1412と、深度編集1413と、旋回(revolving)編集1414と、複数パーツ編集1415と、スケルトン化(skeletonization)編集1416と、シンボル編集1417と、準3D編集1418とをさらに含み得る。場合によっては、寸法モードの異なる編集の選択は、ボタン、ジェスチャ、および/またはホットスポットを用いて操作される可能性がある。
基本編集1411は、キャプチャされた物体から2D平面ポリゴンモデルを生成すること(たとえば、凸包、ポリゴン化)を含む。
押し出し編集1412は、ユーザが物体の表面に対する斜めの動きの入力に基づいて物体の一部を押し出すことを可能にすることを含む。
深度編集1413は、ユーザが物体に触れることによって、キャプチャされた物体の一部に何らかの深度を加えることを含む。場合によっては、より長い圧力が、より深い深度をもたらす可能性がある。加えて、否定/肯定ボタン(negative/positive button)が、モードを切り替える可能性がある。
旋回編集1414は、ユーザが旋回軸を描き、物体を作成するためのスワイプジェスチャを実行することを含み得る。
複数パーツ編集1415は、物体の指定された異なるレイヤ(たとえば、木の上の林檎)または物体の異なる面(たとえば、家の面)へと異なる絵を組み立てることを含む可能性がある。
スケルトン化編集1416は、キャプチャされた目標の外殻(たとえば、抽出されたブロッブ)に対して形態的な方法を使用することを含む可能性がある。
シンボル編集1417は、形状記述子(shape descriptor)を用いてシンボルを認識することを含む可能性がある。加えて、リアルタイムARスケッチアプリケーション215は、結果として得られる再構築に対する適用されるインタラクションを制約する可能性がある。
準3D編集1418は、スケッチ内で見つかった筆致から3Dの再構築を作ることを含む可能性がある。
別のモードにおいて、位置モード1420は、回転編集1421および移動編集1422を含む可能性がある。たとえば、回転編集1421は、異なる方向のスワイプジェスチャを用いて、キャプチャされた物体を特定の軸の中心からの回転させる方法を含む可能性がある。加えて、ユーザは、既定のホットスポットをクリックして回転の中心を変更し得る。
位置編集1420の移動編集1422構成要素において、キャプチャされた物体は、トラッキングエリア305上で移動され得る。場合によっては、スケッチ(たとえば、スケッチ505)とマーカとの間のレイキャスト(ray cast)が、位置を定義する可能性がある。さらに、AR物体を動かすために使用される異なる案内は、マーカの表面、マーカのXおよびYの向きの接線(tangent) (または従法線(bi-tangent))に沿って、マーカ上の垂直な平面(すなわち、Z軸)、ならびにマーカの前または後ろ(たとえば、マーカの周りの境界平面)を含む可能性がある。上述のように、モードのいずれかの異なる編集の選択は、ボタン、ジェスチャ、および/またはホットスポットを用いて操作される可能性がある。
別のモードにおいて、アニメーションモード1430は、基本編集1431、パス編集1432、およびストップモーション編集1433を含む可能性がある。基本編集1431は、スピン、ジャンプ、ループなどのアニメーションの挙動を予め定義する可能性がある。パス編集1432は、ユーザが、デジタル化されたスケッチに関するパスを記録することを可能にし得る。ストップモーション編集1433は、ユーザがデジタル化されたスケッチに関するアニメーションされるシーケンスを定義することを可能にし得る。
別のモードにおいて、さらなる特性モード1440は、音声編集1441および物理的挙動編集1442などであるがこれらに限定されないさらなる特性を物体に追加する可能性がある。音声編集1441は、記録ボタンを使用することによって物体に音声を追加することができる。場合によっては、記録ボタンは、デジタル化されたスケッチの近くにある可能性がある。物理的挙動編集1442は、ジャンプする、走るなどの物理的な挙動をデジタル化された物体に追加し得る。
さらに別のモードにおいて、プレイモード1450は、スケルトン編集1451およびハンドジェスチャ編集1452に基づく可能性がある。プレイモード1450は、ストローク(stroke)によるスケルトン編集1451を含む可能性があり、ノードが、モデルの距離変換に基づいて検出され、単純化されたインバースキネマティクス(IK)モデルを生成する。たとえば、3DアニメーションのIKモデルは、足が地形の上にしっかりと着地するなど、ゲームキャラクタを周辺に物理的に結びつける可能性がある。
一部の実施形態において、プレイモード1450では、ARコンテンツのスナップショット1453がキャプチャおよび/または記録され、記録制御を可能にする可能性がある。言い換えれば、ARは、ハイブリット/現実-仮想ストップモーションアニメーション、ハイブリッドマシニマ、ストーリーテリングなどの一種を作成するために使用され得る。キャプチャされた動画シーケンスは、動画シーケンスエクスポート1454機能を用いてエクスポートされ得る。
加えて、プレイモード1450において、AR物体(たとえば、アニメーションされる形姿)は、キネマティックチェーン(kinematic chain)と呼ばれる、関節に接続された硬いセグメントのスケルトンによってモデリングされる可能性がある。形姿の運動学的等式が、形姿の関節の角度とその形姿の構成との間の関係を定義する可能性がある。場合によっては、関節の角度を直接操作するのではなく、AR物体の動く部分、または腕および脚によって形姿の空間的な構成を定義することによってAR物体をアニメーションさせる方が、より容易である。したがって、エンドユーザによってAR物体を容易にアニメーションさせるために、リアルタイムARスケッチアプリケーション215においてインバースキネマティクスが使用される可能性がある。
たとえば、スケルトン編集1451は、エンドユーザが3Dの人のAR物体の手を所望の位置および向きに動かすことを可能にし、手首、肘、および肩の関節の適切な角度を自動的に選択するためのリアルタイムARスケッチアプリケーションのアルゴリズムを有する可能性がある。
プレイモード1450のハンドジェスチャ編集1452において、AR物体のノードは、手のジェスチャによってアニメーションさせられ得る。たとえば、リアルタイムARスケッチアプリケーション215は、ユーザの指先をAR物体のスケルトンの外側のノードの点にマッピングする可能性がある。加えて、ハンドジェスチャ編集1452は、準3Dモードに基づく可能性があり、リアルタイムARスケッチアプリケーション215は、手のジェスチャを準3Dの再構築されたモデルにマッピングする可能性がある。
さらに、コンテンツのアニメーション(たとえば、ポップアップ、物語本(storytelling book))、記録(たとえば、ユーザがアニメーションをあちこち動かし、それを記録することができる、パペットモード)、およびゲームモード(たとえば、物理学が適用される可能性があり、物体が操作される可能性がある)などの異なる規定のモードが、さらに追加される可能性がある。
一部の実施形態によれば、ユーザは、人の体のジェスチャを用いてヘッドマウントディスプレイ(HMD)上でAR物体を編集する可能性がある。たとえば、ハンドジェスチャ編集1452は、HMDによって実装される可能性がある。HMDは、画像キャプチャモジュール111用のメガネフレームに搭載された1つまたは複数の主観視点カメラ(egocentric camera)を含む可能性がある。HMDは、光センサ、加速度計、GNSS受信機171、ジャイロスコープ、ソリッドステートコンパス、無線周波数識別(RFID)、およびワイヤレストランシーバ131を含む可能性もある。HMDは、ユーザが物理的な物体と仮想的な物体との両方を見ることができるディスプレイモジュール181としてユーザの視界内に透明な表示エリアを有する可能性がある。ユーザ入力デバイスとして内蔵カメラを用いて、HMDは、ユーザのハンドジェスチャ編集1452に応じて手のジェスチャをキャプチャすることができる。
HMDの例において、HMDは、ユーザによって見られる物理的な物体を、たとえば、物理的な物体に関連するかまたはユーザの位置および/もしくは状況に関連するデジタルコンテンツ(たとえば、テキスト、画像、動画)で覆うことによってAR機能を提供する可能性がある。
さらに、実施形態はHMDに関連して本明細書において説明されるが、当業者は、その他の形態のヘッドマウントディスプレイが利用され得ることを理解するであろう。たとえば、本明細書において説明される実施形態は、ユーザが着用し得る1つもしくは複数のコンタクトレンズに関連して実装される可能性がありおよび/またはユーザが視界を知覚し得る別の形態のディスプレイにおいて実装される可能性がある。
本発明の実施形態は、本明細書に記載のキャプチャ、編集、およびプレイ方法をさらに拡張することができる。
たとえば、キャプチャ方法は、雑誌の画像を撮影することまたは人の顔を記録することなどの目標に基づかないキャプチャを行うように拡張され得る。場合によっては、キャプチャされた画像は、ブロッブの形状を得るために後処理される必要がある可能性があり、したがって、目標に基づくキャプチャよりも信頼性が低い可能性がある。加えて、目標に基づくキャプチャ方法においては、ブロッブの形状が、より少ない処理でキャプチャされ、リアルタイムに行われ得る。
加えて、キャプチャ方法は、現実世界からテクスチャまたは色情報を獲得する可能性もある(たとえば、物体をマーカ上に置き、物体の色をデジタル化する)。さらに、キャプチャステップは、動的なコンテンツをキャプチャする(たとえば、表情をキャプチャする)ように拡張される可能性もある。場合によっては、これらの拡張されたキャプチャ方法は、後処理を必要とする可能性がある。
編集方法は、デジタル化されたスケッチ上にスケルトンを作成する方法も含むように拡張される可能性がある。たとえば、ユーザは、後でアニメーションされ得る関節でつなげられたモデルを構築し得る。
プレイ方法は、追跡されるコンテンツ(たとえば、手、タンジブルユーザインターフェース(Tangible User Interface)としての手段による物理的な代理物体(physical proxy object))を含むように拡張され得る。たとえば、ユーザの手の中の車のモデルが、マーカ上で動かされる可能性があり、デジタル化されたコンテンツが、そのモデルに関連付けられる(つまり、手を動かすとき、車両のデジタル化されたスケッチが、手の動きに追従する)。
図15は、一部の実施形態による、インタラクティブな人形劇場体験およびゲームをサポートし、作り出すための2.5Dのステージを示す。場合によっては、1つの水平トラッキングエリア1510および1つの垂直トラッキングエリア1515を有するL字形マーカ構成1505を使用することによる。L字形マーカ構成1505は、斜めの角度で上からの、しかしさらに劇場の客がステージを見るような横からの様々なカメラ位置を想定し得る。
加えて、ユーザは、木、山、家、家具などの様々なステージの小道具(舞台道具)をデジタル化する可能性がある。これらのデジタル小道具は、ステージ上で垂直に見える。2つのトラッキングエリアを使用することによって、小道具は、決まった数の(たとえば、5つの)深度(観察者からの距離)が深くなるレイヤから選択された任意のレイヤに置かれ得る。ユーザは、レイヤを選択し、小道具の左右の配置を調節し、複数のコピーを作成することができる。
さらに、それから、ユーザは、本明細書に記載の方法を用いてシーン中で物体(たとえば、動物、その他のキャラクタ)を動かし、アニメーションのパスを作成することができる。物体は、指定されたレイヤ内で動くことができる。場合によっては、動く物体の動きは、動く物体のパス上の小道具に基づいて停止または修正される可能性がある。動きは、人形劇場と同様のアニメーションシステムを作り出すことができ、そのアニメーションシステムは、自由度がかなり少ないので使用するのが簡単である可能性がある。
一部の実施形態によれば、手でアニメーションされるキャラクタを用いることによって、ユーザは、アニメーションシーケンスに複数のAR物体(たとえば、デジタル化された絵)を割り当てることができる。たとえば、歩いている人が、いくつかの(たとえば、2〜3個の)足のポーズによってアニメーションされる可能性がある。リアルタイムARスケッチアプリケーション215は、単純なタイムラインに絵のシーケンスを載せることによってこれらのシーケンスを知る可能性がある。これらのアニメーションを定めた後、ユーザは、アニメーションされるキャラクタを呼び出し得る。リアルタイムARスケッチアプリケーション215は、右の歩くシーケンスを左の歩くシーケンスにひっくり返すためにアニメーションを鏡のように映し取る可能性もある。
さらに、図15に示される2.5Dのステージは、2Dレイヤメカニズムを用いる単純化された物理学を適用する可能性もある。たとえば、リアルタイムARスケッチアプリケーション215は、2.5Dのステージのレイヤを用いることによってユーザのより近くに岩を動かすことによって丘の小道具を転がり落ちる岩を示すことができる。レイヤおよび2Dの物理学を用いることによって、リアルタイムARスケッチアプリケーション215は、小道具に関連する物理的なアニメーションをモバイルデバイス100においてリアルタイムで計算することができる。場合によっては、リアルタイムARスケッチアプリケーション215は、次の物理的なアニメーション、すなわち、重力、衝突、摩擦、風、および水を含む可能性がある。
図16は、一部の実施形態による、目標のAR物体をキャプチャするための方法1600の実施形態を示す流れ図である。図11に示されるように、リアルタイムARスケッチアプリケーション215は、AR追跡目標(たとえば、トラッキングエリア305)上に置かれた現実のコンテンツ(たとえば、第1の物体1105、第2の物体1110)をキャプチャし、モバイルインターフェースを用いてインタラクティブに使用されるようにコンテンツを変換し得る。
ブロック1605において、1つまたは複数の目標の物体の画像が、キャプチャされる。目標の物体は、予め定義された背景上に配置され得る。予め定義された背景は、マーカまたは特徴追跡目標である可能性がある。目標の物体は、2Dのスケッチまたは3Dの物体を含み得るがこれらに限定されない。目標の物体は、予め定義された背景と同一平面上にある可能性もある。予め定義された背景は、水平トラッキングエリアおよび垂直トラッキングエリアを含む可能性がある。
ブロック1610において、画像は、1つまたは複数の目標の物体に対応する1つまたは複数のエリアと予め定義された背景に対応する1つまたは複数のエリアとに分割される可能性がある。画像を分割することは、画像から予め定義された背景を取り去ることを含み得る。
ブロック1615において、1つまたは複数の目標の物体に対応する1つまたは複数のエリアは、デジタル画像に変換される可能性がある。
ブロック1620においては、1つまたは複数のAR物体が生成される。1つまたは複数のAR物体は、1つまたは複数の目標の物体に対応する可能性があり、デジタル画像に少なくとも部分的に基づいて生成される可能性がある。1つまたは複数のAR物体は、キャプチャされた画像内の2次元(2D)ブロッブの検出に基づいて生成される可能性があり、2Dブロッブの検出は、予め定義された背景上に配置された1つまたは複数の目標の物体に関連する表面の反射率に基づく。
1つまたは複数のAR物体は、ユーザ入力に応じて編集される可能性がある。編集は、1つまたは複数のAR物体のうちの少なくとも1つを複数のARパーツに分けることを含む可能性がある。ユーザ入力は、複数のARパーツの中のARパーツを指定し得る。そして、指定されたARパーツは、受け取られたユーザ入力に基づいて操作され得る。指定されたARパーツを操作することは、以下、すなわち、モバイルデバイスのディスプレイ上の判定された指の圧力に基づいて指定されたARパーツに深度を加えること、モバイルデバイスのディスプレイ上で行われたユーザのジェスチャに基づいて指定されたARパーツを回転させること、指定されたARパーツを1つもしくは複数のレイヤへと組み立てること、モバイルデバイスのディスプレイ上に表示可能な1つもしくは複数の位置へと指定されたARパーツを動かすこと、または指定されたARパーツを押し出すことのうちの1つまたは複数を含み得る。
一部の実施形態においては、1つまたは複数の目標の物体に対応する1つまたは複数のエリアが、改善される可能性がある。それから、生成されたAR物体は、モバイルデバイスのディスプレイ上に表示され得る。
図17は、1つまたは複数の実施形態が実装され得るコンピューティングシステムの例を示す。
コンピュータシステム1700は、ローカルおよび/もしくはネットワークアクセス可能なストレージを限定なしに含む可能性があり、ならびに/またはディスクドライブ、ドライブアレイ、光学式ストレージデバイス、ランダムアクセスメモリ(「RAM」)および/もしくはプログラミング可能、フラッシュ更新可能などである可能性がある読み出し専用メモリ(「ROM」)などのソリッドステートストレージデバイスを限定なしに含む可能性がある1つまたは複数の非一時的ストレージデバイス1725をさらに含む(および/もしくはそのような非一時的ストレージデバイス1725と通信する)可能性がある。そのようなストレージデバイスは、様々なファイルシステム、データベース構造などを限定なしに含む任意の適切なデータストアを実装するように構成され得る。
コンピュータシステム1700は、モデム、(ワイヤレスまたは有線)ネットワークカード、赤外線通信デバイス、ワイヤレス通信デバイス、および/または(Bluetooth (登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備などの)チップセットなどを限定なしに含み得る通信サブシステム1730も含む可能性がある。通信サブシステム1730は、データがネットワーク、その他のコンピュータシステム、および/または任意のその他の電気的なデバイス/周辺機器とやりとりされることを可能にするための1つまたは複数の入力および/また出力通信インターフェースを含み得る。多くの実施形態において、コンピュータシステム1700は、上述のように、RAMまたはROMデバイスを含み得る作業メモリ1735をさらに含む。場合によっては、通信サブシステム1730は、モバイルデバイス100のワイヤレストランシーバ131およびGNSS受信機171の例である可能性がある。
コンピュータシステム1700は、オペレーティングシステム1740、デバイスドライバ、実行可能ライブラリ、ならびに/または様々な実施形態によって提供されるコンピュータプログラムを含む可能性があり、および/もしくは本明細書に記載のその他の実施形態によって提供される方法を実装しおよび/もしくはシステムを構成するように設計される可能性がある1つもしくは複数のアプリケーション1745などのその他のコードを含む、作業メモリ1735に現在配置されているものとして示されるソフトウェア要素も含む可能性がある。単に例として、図4に関連して説明された方法400および図16に関連して説明された方法1600などの上で検討された方法に関連して説明された1つまたは複数の手順の一部は、コンピュータ(および/またはコンピュータ内の処理ユニット)によって実行可能なコードおよび/または命令として実装される可能性があり、そのとき、一態様において、そのようなコードおよび/または命令は、説明された方法に従って1つまたは複数の動作を実行するように多目的コンピュータ(またはその他のデバイス)を構成および/または適合するために使用され得る。場合によっては、作業メモリ1735は、モバイルデバイス100のメモリ161の例である可能性がある。
1組のこれらの命令および/またはコードは、上述のストレージデバイス1725などの非一時的コンピュータ可読ストレージ媒体に記憶される可能性がある。場合によっては、ストレージ媒体は、コンピュータシステム1700などのコンピュータシステム内に組み込まれる可能性がある。その他の実施形態において、ストレージ媒体は、コンピュータシステムと分かれており(たとえば、光ディスクなどの取り外し可能な媒体)、ならびに/またはストレージ媒体がそのストレージ媒体に記憶された命令/コードによって多目的コンピュータをプログラミング、構成、および/もしくは適合するために使用され得るようにインストールパッケージで提供される可能性がある。これらの命令は、コンピュータシステム1700によって実行可能である実行可能コードの形態をとる可能性があり、ならびに/または(たとえば、様々な広く利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのいずれかを用いて)コンピュータシステム1700上でコンパイルおよび/もしくはインストールされると実行可能コードの形態をとるソースおよび/もしくはインストール可能なコードの形態をとる可能性がある。場合によっては、ストレージデバイス1725は、モバイルデバイス100のメモリ161の例である可能性がある。
特定の要件に応じてかなりの変更がなされ得ることは、当業者に明らかであろう。たとえば、カスタマイズされたハードウェアが使用される可能性もあり、および/または特定の要素がハードウェア、(アプレットなどのポータブルソフトウェアを含む)ソフトウェア、もしくはこれら両方で実装される可能性がある。さらに、ネットワーク入力/出力デバイスなどのその他のコンピューティングデバイスへの接続が、使用される可能性がある。
上述のように、一態様において、一部の実施形態は、本発明の様々な実施形態による方法を実行するために(コンピュータシステム1700などの)コンピュータシステムを使用する可能性がある。1組の実施形態によれば、そのような方法の手順の一部またはすべては、作業メモリ1735に含まれる(オペレーティングシステム1740および/またはアプリケーションプログラム1745などのその他のコードに組み込まれる可能性がある) 1つまたは複数の命令の1つまたは複数のシーケンスをプロセッサ1710が実行することに応じてコンピュータシステム1700によって実行される。そのような命令は、ストレージデバイス1725のうちの1つまたは複数などの別のコンピュータ可読媒体から作業メモリ1735に読み込まれる可能性がある。単に例として、作業メモリ1735に含まれる命令のシーケンスの実行が、プロセッサ1710に本明細書に記載の方法の1つまたは複数の手順を実行させる可能性がある。追加的にまたは代替的に、本明細書に記載の方法の一部は、専用のハードウェアによって実行される可能性がある。単に例として、方法400および方法1600などの上で検討された方法に関連して説明された1つまたは複数の手順の一部は、プロセッサ1710によって実装される可能性がある。場合によっては、プロセッサ1710は、モバイルデバイス100の画像処理モジュール121の例である可能性がある。一部の例において、アプリケーションプログラム1745は、リアルタイムARスケッチアプリケーション215の例である可能性がある。
本明細書において使用されるとき、用語「機械可読媒体」および「コンピュータ可読媒体」は、機械を特定の方法で動作させるデータを提供することに関与する任意の媒体を指す。コンピュータシステム1700を使用して実装される一実施形態において、様々なコンピュータ可読媒体は、実行するためにプロセッサ1710に命令/コードを与えることに関与する可能性があり、ならびに/またはそのような命令/コードを記憶するおよび/もしくは運ぶために使用される可能性がある。多くの実装において、コンピュータ可読媒体は、物理的および/または有形のストレージ媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとる可能性がある。不揮発性媒体は、たとえば、ストレージデバイス1725などの光および/または磁気ディスクを含む。揮発性媒体は、作業メモリ1735などの動的メモリを限定なしに含む。
よくある形態の物理的および/または有形のコンピュータ可読媒体は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意のその他の磁気媒体、CD-ROM、任意のその他の光媒体、穴のパターンを用いる任意のその他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、任意のその他のメモリチップもしくはカートリッジ、またはコンピュータが命令および/もしくはコードを読むことができる任意のその他の媒体を含む。
様々な形態のコンピュータ可読媒体が、実行するためにプロセッサ1710に1つまたは複数の命令の1つまたは複数のシーケンスを運ぶことに関与させられる可能性がある。単に例として、命令は、最初、リモートコンピュータの磁気ディスクおよび/または光ディスクで運ばれる可能性がある。リモートコンピュータは、命令をそのリモートコンピュータの動的メモリにロードし、コンピュータシステム1700によって受信および/または実行されるように送信媒体を介して命令を信号として送信する可能性がある。
概して、通信サブシステム1730 (および/または通信サブシステム1730の構成要素)が、信号を受信し、そして、バス1705が、信号(および/または信号によって運ばれるデータ、命令など)を作業メモリ1735に運ぶ可能性があり、作業メモリ1735からプロセッサ1710が命令を取り出し、実行する。作業メモリ1735によって受信された命令は、任意で、プロセッサ1710による実行の前かまたは後かのどちらかに非一時的ストレージデバイス1725に記憶される可能性がある。
図18は、本発明の実施形態に関連するタスクを実行するための異なるソフトウェアモジュールを有する画像処理モジュール121の例を示す。一部の構成においては、異なるソフトウェアモジュールに関連するタスクを遂行するための命令/コードは、モバイルデバイスのメモリ161に記憶される可能性がある。
代替的に、図18に示されたソフトウェアモジュールは、図17のプロセッサ1710によって実行される可能性がある。一部の構成においては、異なるソフトウェアモジュールに関連するタスクを遂行するための命令/コードは、ストレージデバイス1725に記憶される可能性がある。
一部の実施形態によれば、ソフトウェアモジュールは、抽出モジュール1810、挿入モジュール1820、および編集モジュール1830を含み得る。
1つまたは複数の構成において、抽出モジュール1810は、背景画像に対して配置された1つまたは複数の物体に対応する目標画像の部分を抽出することができる。場合によっては、抽出は、背景画像を目標画像と比較して背景に対して配置された1つまたは複数の物体に対応する目標画像の部分を判定することに基づく可能性がある。たとえば、目標画像の部分は、ユーザによって描かれたスケッチ、または背景上に置かれた3Dの物理的な物体に基づく可能性がある。加えて、抽出モジュール1810は、1つまたは複数の物体に対応する目標画像の部分に基づいてAR物体1815を生成することができる。一部に実施形態によれば、抽出モジュール1810によって使用される受信される画像データ(たとえば、目標画像)は、画像キャプチャモジュール111から受信される可能性がある。
1つまたは複数の構成において、挿入モジュール1820は、ディスプレイスクリーン上にAR物体を表示するためにリアルタイムARスケッチアプリケーションによって使用され得る。たとえば、ディスプレイスクリーンは、モバイルデバイス100のディスプレイモジュール181である可能性がある。加えて、挿入モジュール1820は、拡張された画像/動画1825内で画像キャプチャモジュール111からの受信された画像データ(たとえば、目標画像)と生成されたAR物体とを組み合わせることができる。
1つまたは複数の構成において、編集モジュール1830は、拡張された画像/動画上に表示された埋め込まれたAR物体を編集することができる。場合によっては、編集モジュールは、ユーザ入力モジュール191からユーザ入力を受け取ることができる。既に検討されたように、図14は、AR物体を編集するためにユーザが使用し得る編集方法の例を示す。図14の表に示されるように、編集モジュール1830は、寸法モード1410、位置モード1420、アニメーションモード1430、さらなる特性モード1440、およびプレイモード1450を含み得る。
上で検討された方法、システム、およびデバイスは、例である。様々な構成は、必要に応じて様々な手順または構成要素を省略、置換、または追加する可能性がある。たとえば、代替的な構成において、方法は、説明された順序とは異なる順序で実行される可能性があり、ならびに/または様々な段階が、追加され、省略され、および/もしくは組み合わされる可能性がある。また、特定の構成に関連して説明された特徴は、様々なその他の構成で組み合わされる可能性がある。構成の異なる態様および要素は、同様にして組み合わされる可能性がある。さらに、テクノロジーは発展し、したがって、要素の多くは例であり、本開示または請求項の範囲を限定しない。
(実装を含む)例示的な構成が完全に理解されるように、説明において特定の詳細が与えられている。しかし、構成は、これらの特定の詳細なしに実施され得る。たとえば、よく知られている回路、プロセス、アルゴリズム、構造、および技術は、構成を曖昧にすることを避けるために不必要な詳細なしに示された。この説明は、例示的な構成を提供するだけであり、請求項の範囲、適用可能性、または構成を限定しない。むしろ、構成の前述の説明は、説明された技術を実装するための実施を可能にする説明を当業者に与える。本開示の精神または範囲を逸脱することなく、要素の機能および構成に様々な変更がなされ得る。
また、構成は、流れ図またはブロック図として示されるプロセスとして説明され得る。それぞれは動作を連続的なプロセスとして示す可能性があるが、動作の多くは、並列的にまたは同時に実行され得る。加えて、動作の順序は、再編成され得る。プロセスは、図に含まれていない追加のステップを有する可能性がある。さらに、方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、ストレージ媒体などの非一時的コンピュータ可読媒体に記憶され得る。プロセッサが、説明されたタスクを実行する可能性がある。
いくつかの例示的な構成を説明したが、本開示の精神から逸脱することなく様々な修正、代替的な構造、および均等物が使用され得る。たとえば、上記の要素は、より大きなシステムの構成要素である可能性があり、その他の規則が、本発明の応用よりも優先するか、またはそうでなければ本発明の応用を修正する可能性がある。また、いくつかのステップが、上記の要素が考慮される前に、間に、または後に開始される可能性がある。したがって、上記の説明は、請求項の範囲を拘束しない。
100 モバイルデバイス
101 バス
103 バスインターフェース
111 画像キャプチャモジュール
121 画像処理モジュール
131 ワイヤレストランシーバ
152 アンテナ
154 ワイヤレス信号
161 メモリ
171 全地球航法衛星システム(GNSS)受信機
172 GNSSアンテナ
174 GNSS信号
181 ディスプレイモジュール
191 ユーザ入力モジュール
205 モバイルARアプリケーション
210 これまでのARブラウザのモバイルアプリケーション
215 リアルタイムARスケッチアプリケーション
220 仮想ARスケッチ
225 紙ARスケッチ
230 ARスケッチおよびプレイ
305 トラッキングエリア
310 物理的なコンテンツ
315 AR物体
400 方法
405 スケッチ物体
505 人の姿
805 棒線画
905 車両
1005 おもちゃの車
1105 第1の物体
1110 第2の物体
1115 画像
1120 背景差分画像
1125 キャプチャされた物体の画像
1410 寸法モード
1411 基本編集
1412 押し出し編集
1413 深度編集
1414 回転編集
1415 複数パーツ編集
1416 スケルトン化編集
1417 シンボル編集
1418 準3D編集
1420 位置モード
1421 回転編集
1422 移動編集
1430 アニメーションモード
1431 基本編集
1432 経路編集1432
1433 ストップモーション編集
1440 特性モード
1441 音声編集
1442 物理的挙動編集
1450 プレイモード
1451 スケルトン編集
1452 ハンドジェスチャ編集
1453 スナップショット
1454 動画シーケンスエクスポート
1505 L字形マーカ構成
1510 水平トラッキングエリア
1515 垂直トラッキングエリア
1600 方法
1700 コンピュータシステム
1705 バス
1710 プロセッサ
1725 非一時的ストレージデバイス
1730 通信サブシステム
1735 作業メモリ
1740 オペレーティングシステム
1745 アプリケーション
1810 抽出モジュール
1815 AR物体
1820 挿入モジュール
1825 拡張された画像/動画
1830 編集モジュール

Claims (15)

  1. モバイルデバイスによって1つまたは複数の拡張現実(AR)物体を生成するための方法であって、
    1つまたは複数の目標の物体からの情報をキャプチャするステップであって、前記1つまたは複数の目標の物体が、予め定義された背景上に配置され、前記1つまたは複数の目標の物体は物理的スケッチまたは物理的な物である、ステップと、
    前記キャプチャされた前記予め定義された背景との比較により前記1つまたは複数の目標の物体を決定するステップと、
    前記決定された1つまたは複数の目標の物体に対応する1つまたは複数のエリアと前記予め定義された背景に対応する1つまたは複数のエリアとに画像を分割するステップと、
    前記1つまたは複数の目標の物体に対応する前記1つまたは複数のエリアをデジタル画像に変換するステップと、
    前記デジタル画像に少なくとも部分的に基づいて前記1つまたは複数の目標の物体に対応する1つまたは複数のAR物体を生成するステップと、
    ユーザ入力に応じて前記1つまたは複数のAR物体を編集するステップと、
    を含む、方法。
  2. 前記画像を分割するステップが、前記画像から前記予め定義された背景を取り去るステップをさらに含む請求項1に記載の方法。
  3. 前記編集するステップが、
    前記1つまたは複数のAR物体のうちの少なくとも1つを複数のARパーツに分けるステップと、
    前記複数のARパーツの中の指定されたARパーツに関連するユーザ入力を受け取るステップと、
    受け取られたユーザ入力に基づいて前記指定されたARパーツを操作するステップとをさらに含む請求項1に記載の方法。
  4. 前記受け取られたユーザ入力に基づいて前記指定されたARパーツを操作するステップが、
    前記モバイルデバイスのディスプレイ上で行われたユーザのジェスチャに基づいて前記指定されたARパーツを回転させるステップ、
    前記指定されたARパーツを1つもしくは複数のレイヤのうち1つへと組み立てるステップ、
    前記モバイルデバイスの前記ディスプレイ上に表示可能な1つもしくは複数の位置のうち1つへと前記指定されたARパーツを動かすステップ、または
    前記指定されたARパーツを押し出すステップ
    のうちの少なくとも1つを含む請求項3に記載の方法。
  5. 前記1つまたは複数の目標の物体のうちの1つが、2次元(2D)のスケッチを含む請求項1に記載の方法。
  6. 前記1つまたは複数の目標の物体のうちの1つが、3次元(3D)の物体を含む請求項1に記載の方法。
  7. 前記1つまたは複数の目標の物体のうちの1つが、前記予め定義された背景と同一平面上にある請求項1に記載の方法。
  8. 前記予め定義された背景が物体追跡領域を定義する、請求項1に記載の方法。
  9. 前記1つまたは複数の目標の物体に対応する前記1つまたは複数のエリアのうちの1つを改善するステップをさらに含む請求項1に記載の方法。
  10. 前記1つまたは複数のAR物体が、キャプチャされた画像内の2次元(2D)ブロッブの検出に基づいて生成され、前記2Dブロッブの前記検出が、前記予め定義された背景上に配置された前記1つまたは複数の目標の物体に関連する表面の反射率に基づく請求項1に記載の方法。
  11. 前記モバイルデバイスのディスプレイ上に前記1つまたは複数のAR物体をリアルタイムで表示するステップをさらに含む請求項1に記載の方法。
  12. 1つまたは複数の拡張現実(AR)物体を生成するための装置であって、
    メモリと、
    1つまたは複数の目標の物体からの情報をキャプチャするように構成された画像キャプチャモジュールであって、前記1つまたは複数の目標の物体が、予め定義された背景上に配置され、前記1つまたは複数の目標の物体は物理的スケッチまたは物理的な物である、画像キャプチャモジュールと、
    前記キャプチャされた前記予め定義された背景との比較により前記1つまたは複数の目標の物体を決定し、前記決定された1つまたは複数の目標の物体に対応する1つまたは複数のエリアと前記予め定義された背景に対応する1つまたは複数のエリアとに画像を分割するように構成された画像処理モジュールと、
    前記メモリ、前記画像キャプチャモジュール、および前記画像処理モジュールに結合されたプロセッサであって、
    前記1つまたは複数の目標の物体に対応する前記1つまたは複数のエリアをデジタル画像に変換し、
    前記デジタル画像に少なくとも部分的に基づいて前記1つまたは複数の目標の物体に対応する1つまたは複数のAR物体を生成し、
    ユーザ入力に応答して前記1つまたは複数のAR物体を編集する
    ように構成される、プロセッサとを含む、装置。
  13. 実行されるときに、モバイルデバイスに含まれる1つまたは複数のコンピューティングデバイスに、
    1つまたは複数の目標の物体からの情報をキャプチャすることであって、前記1つまたは複数の目標の物体が、予め定義された背景上に配置され、前記1つまたは複数の目標の物体は物理的スケッチまたは物理的な物である、キャプチャすることと、
    前記キャプチャされた前記予め定義された背景との比較により前記1つまたは複数の目標の物体を決定することと、
    前記決定された1つまたは複数の目標の物体に対応する1つまたは複数のエリアと前記予め定義された背景に対応する1つまたは複数のエリアとに画像を分割することと、
    前記1つまたは複数の目標の物体に対応する前記1つまたは複数のエリアをデジタル画像に変換することと、
    前記デジタル画像に少なくとも部分的に基づいて前記1つまたは複数の目標の物体に対応する1つまたは複数の拡張現実(AR)物体を生成することと、
    ユーザ入力に応答して前記1つまたは複数のAR物体を編集することと、
    を行わせる1つまたは複数のAR物体を生成するためのコンピュータが実行可能な命令を記憶する1つまたは複数の非一時的コンピュータ可読媒体。
  14. 前記コンピュータが実行可能な命令が、実行されるときに、前記モバイルデバイスに含まれる前記1つまたは複数のコンピューティングデバイスに、さらに、
    前記1つまたは複数のAR物体のうちの少なくとも1つを複数のARパーツに分けさせ、
    前記複数のARパーツの中の指定されたARパーツに関連するユーザ入力を受け取らせ、
    受け取られたユーザ入力に基づいて前記指定されたARパーツを操作させる、
    請求項13に記載の非一時的コンピュータ可読媒体。
  15. 前記1つまたは複数のAR物体は1つまたは複数の2次元AR物体であり、
    前記方法は、
    前記1つまたは複数のAR物体の少なくとの１つのパーツに深度を加えるステップと、
    前記加えられた深度を備えた前記1つまたは複数の2次元AR物体を用いてターゲット画像を拡張するステップと、
    をさらに備える請求項１に記載の方法。
JP2016514052A 2013-05-14 2014-05-13 拡張現実（ａｒ）キャプチャおよびプレイ Active JP6367926B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361823295P 2013-05-14 2013-05-14
US61/823,295 2013-05-14
US14/275,523 2014-05-12
US14/275,523 US10509533B2 (en) 2013-05-14 2014-05-12 Systems and methods of generating augmented reality (AR) objects
PCT/US2014/037932 WO2014186420A2 (en) 2013-05-14 2014-05-13 Augmented reality (ar) capture & play

Publications (3)

Publication Number Publication Date
JP2016524221A JP2016524221A (ja) 2016-08-12
JP2016524221A5 JP2016524221A5 (ja) 2017-06-22
JP6367926B2 true JP6367926B2 (ja) 2018-08-01

Family

ID=51896865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016514052A Active JP6367926B2 (ja) 2013-05-14 2014-05-13 拡張現実（ａｒ）キャプチャおよびプレイ

Country Status (6)

Country Link
US (3) US10509533B2 (ja)
EP (2) EP2997548A2 (ja)
JP (1) JP6367926B2 (ja)
KR (1) KR102190721B1 (ja)
CN (1) CN105210117B (ja)
WO (1) WO2014186420A2 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9696867B2 (en) 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US20160217699A1 (en) * 2013-09-02 2016-07-28 Suresh T. Thankavel Ar-book
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US20160171739A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Augmentation of stop-motion content
US9242379B1 (en) * 2015-02-09 2016-01-26 The Trustees Of The University Of Pennysylvania Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation
AU2016250773A1 (en) 2015-04-23 2017-10-12 Hasbro, Inc. Context-aware digital play
US10146414B2 (en) 2015-06-09 2018-12-04 Pearson Education, Inc. Augmented physical and virtual manipulatives
US20170124890A1 (en) * 2015-10-30 2017-05-04 Robert W. Soderstrom Interactive table
US10197998B2 (en) 2015-12-27 2019-02-05 Spin Master Ltd. Remotely controlled motile device system
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
US10949882B2 (en) * 2016-04-03 2021-03-16 Integem Inc. Real-time and context based advertisement with augmented reality enhancement
CN109074679A (zh) * 2016-04-14 2018-12-21 英特吉姆公司股份有限公司 具有增强现实强化的基于场景的实时广告
CN105854296A (zh) * 2016-04-21 2016-08-17 苏州探寻文化科技有限公司 一种基于增强现实的互动体验系统
WO2017188863A1 (ru) * 2016-04-30 2017-11-02 Виталий Витальевич АВЕРЬЯНОВ Устройство для воздействия на виртуальные объекты дополненной реальности
US10074205B2 (en) 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
US10720082B1 (en) 2016-09-08 2020-07-21 Ctskh, Llc Device and system to teach stem lessons using hands-on learning method
CN106362400A (zh) * 2016-10-12 2017-02-01 大连文森特软件科技有限公司 具有在线编辑功能的vr游戏系统
CN107992188B (zh) * 2016-10-26 2021-12-07 宏达国际电子股份有限公司 虚拟现实交互方法、装置与系统
US10853651B2 (en) 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
EP3316080B1 (en) * 2016-10-26 2021-08-25 HTC Corporation Virtual reality interaction method, apparatus and system
EP3340187A1 (en) 2016-12-26 2018-06-27 Thomson Licensing Device and method for generating dynamic virtual contents in mixed reality
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US11176712B2 (en) * 2017-01-18 2021-11-16 Pcms Holdings, Inc. System and method for selecting scenes for browsing histories in augmented reality interfaces
CN106803921A (zh) * 2017-03-20 2017-06-06 深圳市丰巨泰科电子有限公司 基于ar技术的即时音视频通信方法及装置
WO2018191720A1 (en) * 2017-04-14 2018-10-18 Penrose Studios, Inc. System and method for spatial and immersive computing
WO2019040539A1 (en) 2017-08-21 2019-02-28 Flow Immersive, Inc. INCREASED VIRTUAL REALITY
US10430658B2 (en) 2017-10-06 2019-10-01 Steve Rad Augmented reality system and kit
EP3692520A4 (en) 2017-10-06 2021-07-28 Rad, Steve AUGMENTED REALITY SYSTEM AND KIT
CN108063936B (zh) * 2017-12-29 2020-11-03 光锐恒宇（北京）科技有限公司 增强现实ar的实现方法、装置和计算机可读存储介质
KR20190101620A (ko) 2018-02-23 2019-09-02 주식회사 로로아트플랜 증강현실 기술을 이용한 무빙 트릭아트 구현 방법
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN108874471B (zh) * 2018-05-30 2022-06-07 如你所视(北京)科技有限公司 一种房源的功能间附加元素添加方法及系统
US10984596B2 (en) 2018-05-30 2021-04-20 Ke.com (Beijing)Technology Co., Ltd. Systems and methods for enriching a virtual reality tour
US10825223B2 (en) * 2018-05-31 2020-11-03 Microsoft Technology Licensing, Llc Mixed reality animation
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
CN111723806A (zh) * 2019-03-19 2020-09-29 北京京东尚科信息技术有限公司 增强现实方法和装置
WO2020250110A1 (en) * 2019-06-08 2020-12-17 Pankaj Raut A system and a method for generating a 3d visualization using mixed reality-based hmd
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11308669B1 (en) 2019-09-27 2022-04-19 Apple Inc. Shader for graphical objects
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
GB2607226A (en) * 2020-02-14 2022-11-30 Vika Books Ltd Instruction of a sign language
KR20220167323A (ko) * 2020-04-13 2022-12-20 스냅 인코포레이티드 메시징 시스템 내의 3d 데이터를 포함하는 증강 현실 콘텐츠 생성기들
KR20210134229A (ko) * 2020-04-30 2021-11-09 삼성전자주식회사 이미지 증강을 위한 방법 및 전자 장치
US20220051050A1 (en) * 2020-08-12 2022-02-17 Micron Technology, Inc. Presentation of digitized images from user drawings
US20220165024A1 (en) * 2020-11-24 2022-05-26 At&T Intellectual Property I, L.P. Transforming static two-dimensional images into immersive computer-generated content
CN112672185B (zh) * 2020-12-18 2023-07-07 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质
WO2022244948A1 (en) 2021-05-18 2022-11-24 Samsung Electronics Co., Ltd. System and method of controlling brightness on digital displays for optimum visibility and power consumption
CN113577766B (zh) * 2021-08-05 2024-04-02 百度在线网络技术（北京）有限公司 对象处理方法及装置
CN113886775A (zh) * 2021-09-10 2022-01-04 上海阿吉必信息技术有限公司 数字权益证明的生成方法和装置
CN115002442B (zh) * 2022-05-24 2024-05-10 北京字节跳动网络技术有限公司 一种图像展示方法、装置、电子设备及存储介质
KR20240051400A (ko) * 2022-10-12 2024-04-22 한국전자기술연구원 실시간 3d ar 객체 획득 장치, 시스템 및 방법

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344314A (ja) 1992-06-05 1993-12-24 Konica Corp 画像処理装置
WO1999019840A1 (en) * 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
JP2001014421A (ja) * 1999-06-28 2001-01-19 Matsushita Electric Ind Co Ltd バーコード読み取り装置
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7050625B2 (en) * 2002-10-21 2006-05-23 Hewlett-Packard Development Company, L.P. Method and digital camera for indicating when image data has been captured for a three-dimensional target object
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2005063225A (ja) 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
JP4318580B2 (ja) 2004-03-31 2009-08-26 独立行政法人科学技術振興機構 ３次元樹木形状生成装置
KR20060066340A (ko) * 2004-12-13 2006-06-16 삼성전자주식회사 3차원 구조 스케치 제작장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록매체
US7852317B2 (en) * 2005-01-12 2010-12-14 Thinkoptics, Inc. Handheld device for handheld vision based absolute pointing system
RU2008110056A (ru) 2005-08-15 2009-09-27 Конинклейке Филипс Электроникс Н.В. (Nl) Система, устройство и способ для очков расширенной реальности для программирования конечным пользователем
FR2911707B1 (fr) 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US20080215994A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
US20090141023A1 (en) * 2007-11-29 2009-06-04 Brian Mark Shuster Selective filtering of user input data in a multi-user virtual environment
US8396296B2 (en) * 2007-12-31 2013-03-12 Intel Corporation Brand image detection
TWI348120B (en) * 2008-01-21 2011-09-01 Ind Tech Res Inst Method of synthesizing an image with multi-view images
FR2933218B1 (fr) 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
JP2010049323A (ja) 2008-08-19 2010-03-04 Kawai Musical Instr Mfg Co Ltd 演出画像作成装置、演出画像作成方法、演出画像作成プログラム及び記録媒体
WO2010029553A1 (en) 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
JP5581002B2 (ja) 2009-04-20 2014-08-27 株式会社タイトー ゲーム機、ゲームプログラム
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
KR101585245B1 (ko) * 2009-06-19 2016-01-13 엘지전자 주식회사 이미지 처리 방법 및 이를 적용한 이미지 표시 장치
KR20120089452A (ko) 2009-08-04 2012-08-10 아이큐 비젼 테크놀로지즈 리미티드 물체 추출 시스템 및 방법
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
TWI434227B (zh) 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
KR101082487B1 (ko) * 2010-01-29 2011-11-11 키위플 주식회사 객체 인식시스템 및 이를 이용하는 객체 인식 방법
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US20110248995A1 (en) 2010-04-09 2011-10-13 Fuji Xerox Co., Ltd. System and methods for creating interactive virtual content based on machine analysis of freeform physical markup
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US8633947B2 (en) 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
US9684989B2 (en) * 2010-06-16 2017-06-20 Qualcomm Incorporated User interface transition between camera view and map view
US8417058B2 (en) 2010-09-15 2013-04-09 Microsoft Corporation Array of scanning sensors
KR101788046B1 (ko) 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2012072617A1 (en) * 2010-11-29 2012-06-07 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Computer-implemented method and apparatus for tracking and re-shaping a human shaped figure in a digital video
KR101269773B1 (ko) * 2010-12-13 2013-05-30 주식회사 팬택 증강 현실 제공 단말기 및 방법
KR101669119B1 (ko) 2010-12-14 2016-10-25 삼성전자주식회사 다층 증강 현실 시스템 및 방법
US10109065B2 (en) 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US8509483B2 (en) 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
US9116616B2 (en) * 2011-02-10 2015-08-25 Blackberry Limited Portable electronic device and method of controlling same
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
JP5724543B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
KR101824005B1 (ko) * 2011-04-08 2018-01-31 엘지전자 주식회사 이동 단말기 및 그의 영상 깊이감 조절방법
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US20130063487A1 (en) 2011-09-12 2013-03-14 MyChic Systems Ltd. Method and system of using augmented reality for applications
US20130104087A1 (en) * 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8855366B2 (en) * 2011-11-29 2014-10-07 Qualcomm Incorporated Tracking three-dimensional objects
EP2813069A4 (en) * 2012-02-08 2016-12-07 Intel Corp CREATING AN ADVANCED REALITY WITH A REAL SCENE
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
CN102929391B (zh) 2012-10-23 2015-11-04 中国石油化工股份有限公司 增强现实的分布式控制系统人机交互设备及方法
GB2507314B (en) 2012-10-25 2018-05-23 Sony Interactive Entertainment Europe Ltd Apparatus and method of augmented reality
CN103177468A (zh) 2013-03-29 2013-06-26 渤海大学 一种基于无标记的三维运动物体增强现实注册方法
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
CN103729885B (zh) 2014-01-21 2016-08-24 北京邮电大学 多视角投影与三维注册联合的手绘场景三维建模方法
JP5916248B2 (ja) * 2014-02-25 2016-05-11 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体

Also Published As

Publication number Publication date
CN105210117A (zh) 2015-12-30
EP3907704A1 (en) 2021-11-10
CN105210117B (zh) 2019-06-14
WO2014186420A3 (en) 2015-04-23
EP2997548A2 (en) 2016-03-23
US11112934B2 (en) 2021-09-07
US10509533B2 (en) 2019-12-17
US20140344762A1 (en) 2014-11-20
JP2016524221A (ja) 2016-08-12
KR102190721B1 (ko) 2020-12-14
WO2014186420A2 (en) 2014-11-20
KR20160010475A (ko) 2016-01-27
US20200089389A1 (en) 2020-03-19
US11880541B2 (en) 2024-01-23
US20210373743A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
US11880541B2 (en) Systems and methods of generating augmented reality (AR) objects
KR102376390B1 (ko) 메타버스 서비스를 제공하는 방법 및 장치
US10331222B2 (en) Gesture recognition techniques
KR101135186B1 (ko) 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
US9659381B2 (en) Real time texture mapping for augmented reality system
US10133342B2 (en) Human-body-gesture-based region and volume selection for HMD
US11461950B2 (en) Object creation using body gestures
KR20180121494A (ko) 단안 카메라들을 이용한 실시간 3d 캡처 및 라이브 피드백을 위한 방법 및 시스템
ES2688643T3 (es) Aparato y método de realidad aumentada
KR20230107844A (ko) 개인화된 아바타 실시간 모션 캡처
KR20150130483A (ko) 평면의 자연스러운 특성 타겟들의 인시츄 생성
KR20230107654A (ko) 보철 림을 위한 실시간 모션 전달
CN116897375A (zh) 扩展现实环境中的图像捕获
CN113129411A (zh) 一种仿生动画生成方法及电子设备
TW202311815A (zh) 在實體表面上顯示數位媒體內容
CN117173756A (zh) 一种增强现实ar系统、计算机设备及存储介质
KR102635477B1 (ko) 증강현실 기반의 공연 콘텐츠 제공장치 및 방법
US20240073402A1 (en) Multi-perspective augmented reality experience
US20230410441A1 (en) Generating user interfaces displaying augmented reality graphics
Ucchesu A Mixed Reality application to support TV Studio Production
KR20240006814A (ko) 신분증 인식 딥러닝을 위한 트레이닝 데이터 생성 방법 및 시스템
Shiratori User Interfaces for Character Animation and Character Interaction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180705

R150 Certificate of patent or registration of utility model

Ref document number: 6367926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250