JP6334715B2 - 拡張現実スキンの評価 - Google Patents

拡張現実スキンの評価 Download PDF

Info

Publication number
JP6334715B2
JP6334715B2 JP2016547936A JP2016547936A JP6334715B2 JP 6334715 B2 JP6334715 B2 JP 6334715B2 JP 2016547936 A JP2016547936 A JP 2016547936A JP 2016547936 A JP2016547936 A JP 2016547936A JP 6334715 B2 JP6334715 B2 JP 6334715B2
Authority
JP
Japan
Prior art keywords
skin
image data
evaluation
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016547936A
Other languages
English (en)
Other versions
JP2017508199A (ja
Inventor
ウル,シュムエル
メダン,ヨーブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Empire Technology Development LLC
Original Assignee
Empire Technology Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Empire Technology Development LLC filed Critical Empire Technology Development LLC
Publication of JP2017508199A publication Critical patent/JP2017508199A/ja
Application granted granted Critical
Publication of JP6334715B2 publication Critical patent/JP6334715B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2024Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本願は、「Augmented Reality Skin Manager(拡張現実スキンのマネージャ)」(代理人整理番号M−6300.202)、「Subject Selected Augmented Reality Skin(主題選択拡張現実スキン)」(代理人整理番号M−6300.204)および「Evaluation of Augmented Reality Skins(拡張現実スキンの評価)」(代理人整理番号M−6300.205)に関連している。
本明細書に別段に指示がない限り、本セクションで述べる資料は、本願の請求項に対する先行技術でなく、本セクションに含めることによって先行技術であると認めるものでもない。
拡張現実は、バックグラウンドとして実世界を使用し、拡張情報の1つまたは複数の層を追加することができる。センサは、実世界に関する実際の画像データを捕らえることができる。プロセッサは、実際の画像データ中で基準ポイントを識別することができる。プロセッサは、基準ポイントに基づき実際の画像データに拡張現実データを付加する命令を実行することができる。拡張現実装置のユーザは、実際の画像データに対する拡張現実データの付加を制御することができる。
いくつかの例では、評価画像を生成するための方法を全体的に述べる。この方法は、第1の時間のインスタンスに初期画像データを受け取ることを含むことができる。初期画像データは、実物体に対応することができる。方法は、また、中間データを生成するために、初期画像データに第1のスキンを適用することを含むことができる。方法は、また、拡張データを生成するために、中間データに第2のスキンを適用することを含むことができる。方法は、また、第2の時間のインスタンスに評価画像データを受け取ることを含むことができる。評価画像データは、実物体に対応することができる。方法は、また、第1のスキンの指標を含む入力を受け取ることを含むことができる。方法は、また、入力に応答して、評価データを発生するために、評価画像データに第1のスキンを適用することを含むことができる。評価データは、拡張データと異なることがある。方法は、また、評価データに基づき評価画像を描画することを含むことができる。
いくつかの例では、評価画像を生成するのに有効なシステムを全体的に述べる。システムは、メモリ、カメラ、拡張現実表示装置およびプロセッサを含むことができる。プロセッサは、メモリ、カメラおよび拡張現実表示装置と通信状態にあるように構成することができる。カメラは、第1の時間のインスタンスに初期画像データを捕らえるように構成することができる。初期画像データは、実物体に対応することができる。プロセッサは、メモリ中に初期画像データを格納するように構成することができる。プロセッサは、また、中間データを生成するために、初期画像データに第1のスキンを適用するように構成することができる。プロセッサは、また、拡張データを生成するために、中間データに第2のスキンを適用するように構成することができる。プロセッサは、また、拡張現実表示装置上に拡張データに基づき拡張画像を描画するように構成することができる。カメラは、第2の時間のインスタンスに評価画像データを捕らえるように構成することができる。評価画像データは、実物体に対応することができる。プロセッサは、また、第1のスキンの指標を含む入力を受け取るように構成することができる。プロセッサは、また、入力に応答して、評価データを発生するために、評価画像データに第1のスキンを適用するように構成することができる。評価データは、拡張データと異なることがある。プロセッサは、また、拡張現実表示装置上に評価データに基づき評価画像を描画するように構成することができる。
いくつかの例では、評価画像を生成するための方法を全体的に述べる。この方法は、中間データを生成するために、初期画像データに第1のスキンを適用するのに有効な拡張現実命令を識別することを含むことができる。初期画像データは、実物体に対応することができる。方法は、また、拡張データを生成するために、中間データに第2のスキンを適用するのに有効な拡張現実命令を識別することを含むことができる。方法は、また、評価画像データを受け取ることを含むことができる。評価画像データは、実物体に対応することができる。方法は、また、第1のスキンの指標を含む入力を受け取ることを含むことができる。方法は、また、入力に応答して、評価データを発生するために、評価画像データに第1のスキンを適用することを含むことができる。評価データは、拡張データと異なることがある。方法は、また、評価データに基づき評価画像を描画することを含むことができる。
前述の概要は、例示するだけであって、決して限定すると意図しない。上記に述べた例示的な態様、実施形態および特徴に加えて、さらなる態様、実施形態および特徴は、図面および以下の詳細な記述を参照すると明らかになるはずである。
本開示の前述および他の特徴は、添付図面とともに検討すると、以下の記述および添付した請求項からより完全に明らかになるはずである。これらの図面が本開示によるいくつかの実施形態だけを図示しており、したがってその範囲を限定すると見なすべきでなく、本開示は、添付図面の使用によってさらなる特性および細部を追加して述べることにすることを理解していただきたい。
拡張現実スキンの評価を実施するために利用することができるシステム例を例示する図である。 評価インターフェースに関する細部を追加した図1のシステム例を例示する図である。 評価インターフェース中の選択領域に関する細部を追加した図1のシステム例を例示する図である。 中間画像がメモリ中に格納される実行形態例に関する細部を追加した図1のシステム例を例示する図である。 中間画像の間の差がメモリ中に格納される別の実行形態例に関する細部を追加した図1のシステム例を例示する図である。 拡張現実スキンの評価を実施するためのプロセス例に関するフロー図を例示する図である。 拡張現実スキンの評価を実施するために利用することができるコンピュータプログラム製品例を例示する図である。 拡張現実スキンの評価を実施するように構成されるコンピューティングデバイス例を例示するブロック図である。 すべては、本明細書に述べる少なくともいくつかの実施形態によって構成される。
以下の詳細な記述では、添付図面を参照し、それは、この記述の一部を形成する。図面では、同様のシンボルは、通常、文脈が他に指示していない限り、同様の構成要素を識別する。詳細な記述、図面および請求項によって述べる例示的な実施形態は、限定すると意味しない。本明細書に提示する主題の趣旨または範囲から逸脱せずに、他の実施形態を利用することができ、他の変更も行うことができる。本開示の態様は、本明細書に全体的に述べ図で例示するように、そのすべてが本明細書で明白に予期される広範な様々な構成によって、構成する、置換する、組み合わせる、分離する、および設計することができることを容易に理解されるはずである。
本開示は、とりわけ拡張現実スキンの評価に関する方法、装置、システム、デバイスおよびコンピュータプログラム製品に対して全体的に描いている。
簡単に述べると、拡張現実スキンの実行の見直しを容易にする上で役立つことができる評価画像を生成するのに有効な方法およびシステムに関する技術を全体的に述べる。いくつかの例では、プロセッサは、物体から反射された光によって発生された初期画像データを受け取ることができる。初期画像データは、第1の時間のインスタンスにおける実物体に対応することができる。プロセッサは、中間データを生成するために、初期画像データ中の特徴の画素を修正するように第1のスキンを適用し、拡張データを生成するために、中間データ中の特徴の画素に第2のスキンを適用することができる。スキンは、画像データ中の画素を修正することができる。プロセッサは、第1または第2のスキンの実行を評価するために使用することができる評価画像データを受け取ることができる。評価画像データは、第2の時間のインスタンスにおける実物体に対応することができる。プロセッサは、拡張データと異なる評価データを発生するために、評価画像データに対して第1のスキンを適用することができ、そのスキンは、メモリ中で入手できるスキンのすべてより少なくなり得る。評価データは、拡張データと異なることがある、というのは第2のスキンが適用されていないからである。ユーザは、ユーザが各スキンの実行を評価することができるように、拡張現実スキンのいくらか、ただしすべてでなく、その実行を見直すことができる。
図1は、本明細書に述べる少なくともいくつかの実施形態によって構成される、拡張現実スキンの評価を実施するために利用することができるシステム例100を例示する。システム100は、拡張現実装置108を含むことができる。拡張現実装置108は、プロセッサ110、メモリ112、拡張現実表示装置114および/またはカメラ116を含むことができる。拡張現実装置108は、たとえば携帯電話、タブレットコンピュータおよび/または拡張現実眼鏡などのウエアラブルデバイスとすることができる。プロセッサ110は、メモリ112、拡張現実表示装置114および/またはカメラ116と通信状態にあるように構成することができる。
カメラ116は、所定の時間のインスタンスに実物体104から反射された光を捕らえるように構成することができ、それに応じて初期画像データ144を発生することができる。初期画像データ144は、拡張現実表示装置114上で描画されるとき、初期画像146を生成することができる。プロセッサ110は、拡張データ128を生成するために、スキン(以下で議論する)を適用することなどによって、初期画像データ144を処理することができる。拡張データ128は、拡張現実表示装置114上で描画されるとき、実物体104をオーバーレイすることができる拡張画像138を生成することができる。別の例では、カメラ116は、評価画像データ148を発生することができる。評価画像データ148は、拡張現実表示装置114上で描画されるとき、評価画像160を生成することができる。
メモリ112は、評価アプリケーション142および/または1つまたは複数のスキン122、124、126を格納することができる。評価アプリケーション142は、以下でより詳細に述べるように、スキン122、124、126の間の1つまたは複数のスキンの評価を容易にする命令を含むことができる。スキンは、たとえば、拡張データ128を生成するために、初期画像データ144に適用される命令および/またはデータとすることができる。拡張データ128は、プロセッサ110によるスキン122、124、126の実行の結果とすることができる。プロセッサ110によるスキン122、124、126の実行は、中間データ、最終的には拡張データ128を発生するために、初期画像データ144にスキン122、124、126を適用することを含むことができる。拡張データ128は、拡張現実表示装置114上で描画されるとき、実物体104上にオーバーレイされた拡張画像138を生成することができる。初期画像データ144へのスキン122、124、126の適用に先立ち、プロセッサ110は、メモリ112中に初期画像データ144を格納することができる。
スキン122、124、126中のデータは、仮想物体132、134、136のそれぞれに対応する、画素値など、画像データとすることができる。スキン122、124、126中の命令は、画像データ146中または中間データ中で基準ポイントを識別することに(以下で述べる)、および/または基準ポイントに関連する画素をそれぞれのスキンデータに替えることに有効なプロシージャとすることができる。例では、スキンは、画像データ中で唇(基準ポイント)を識別し、画像データの一部をその基準ポイントと関連付け、唇(基準ポイント)に関連する画素を口髭(スキンデータ)に替えることができる。メモリ112は、命令120をさらに格納することができる。命令120は、スキン122、124、126に対応する処理シーケンスを含むことができる。たとえば、命令120は、第1の中間データを生成するために、初期画像データ144に最初にスキン122を適用し、次いで、第2の中間データを生成するために、第1の中間データにスキン126を適用し、次いで、拡張データ128または評価画像データ148を生成するために、第2の中間データにスキン124を適用するように、プロセッサ110に命令することができる。
ユーザ102は、拡張現実装置108を装着する、またはユーザ102の目と実物体104の間に拡張現実装置108を位置付けることなどによって、拡張現実装置108を使用して視線101に沿って実物体104を眺めることができる。ユーザ102は、拡張現実表示装置114上で、実物体104をオーバーレイする拡張画像138を視線101に沿って見ることができる。
ユーザ102が、拡張現実装置108を使用して実物体104を眺めているとき、ユーザ102は、拡張画像138中で特徴を識別することができ、その特徴に関する特定のスキンを識別したいと望むことがある。特徴に関する特定のスキンの識別によって、ユーザが、不適切に実行しているスキンを識別することが可能になる。たとえば、特徴は、拡張画像138の好ましくない性質または属性のものとすることができる。好ましくない性質または属性の例は、人の画像をオーバーレイするどぎつい仮想の口紅であり得る。特定の特徴または属性を識別するために、ユーザ102は、音声入力によって、または拡張現実装置108のインターフェースを使用することによってなどで、プロセッサ110に評価リクエスト140を送ることができる。評価リクエスト140を受け取ったことに応答して、プロセッサ110は、メモリ112中の評価アプリケーション142を実行することができる。評価アプリケーション142の実行の間、プロセッサ110は、拡張現実表示装置114上に評価インターフェース150を発生することができる。
プロセッサ110は、評価アプリケーション142を実行する間、ユーザ入力170に応答して、所定の時点に実物体104から反射された光を捕らえ、実物体104に対応する評価画像データ148を発生するように、カメラ116に命令することができる。プロセッサ110は、カメラ116から評価画像データ148を受け取ることができ、メモリ112中に評価画像データ148を格納することができる。プロセッサ110は、評価画像データ148にスキン122、124、126の1つまたは複数を適用することができる。プロセッサ110は、評価データ158を生成するために、命令120で定められた処理シーケンスに基づきスキン122、124、126を適用することができる。評価データ158は、拡張現実表示装置114上で描画されるとき、評価インターフェース150中に評価画像160を生成することができる。評価画像160は、1つまたは複数、ただし恐らくメモリ112中に格納されたスキンの全数より少ないスキンの評価画像データ148に対する適用の結果を表すことができる。
以下でより詳細に議論するように、別の例では、ユーザ102は、不要な特徴、性質または属性を有する拡張画像138の領域を識別することができる。ユーザ102は、その領域を識別するように、ユーザ入力をプロセッサ110に送ることができる。プロセッサ110は、領域を識別し、その領域中に基準ポイントを有する特定のスキンを識別することができ、そして、それらのスキンは、不要な特徴、性質または属性をもたらしている恐れがある。プロセッサ110は、評価データ158を発生するために、評価画像データ148にその特定のスキンを適用することができる。プロセッサ110は、拡張現実表示装置114上で評価データ158を描画することによって、評価画像160を生成することができる。プロセッサ110が評価画像160を生成することに応答して、ユーザ102は、特定のスキンを識別するために、評価インターフェース150を使用して評価画像160を見直すことができる。
すべてのスキンが適用された場合、評価画像160は、拡張現実表示装置114上で眺めたとき、実物体104を覆う拡張画像138に似ていることがあり得る、というのは、評価画像160が、実物体104に対応する初期画像データ144および適用されたスキンを含むからである。評価インターフェース150は、表示領域152および評価領域154を含むことができる。表示領域152は、評価画像160を表示することができる。評価領域154は、以下により詳細に述べるように、表示領域152中に表示された評価画像160に基づく1つまたは複数のスキンのユーザ102による評価を容易にする構成要素を含むことができる。
図2は、本明細書に述べる少なくともいくつかの実施形態によって構成される、評価インターフェースに関する細部が追加された図1のシステム例100を例示する。図2は、図1のシステム100と実質的に同様であり、細部を追加したものである。図1の構成要素と同一であると分類される図2のそれら構成要素は、明瞭にする目的で再び述べないことにする。
上記で議論したように、プロセッサ110は、評価インターフェース150を発生することができる。評価インターフェース150は、表示領域152および評価領域154を含むことができる。表示領域152は、プロセッサ110によって生成された評価画像160を表示することができる。評価領域154は、スライダ230、スキントラッカ234およびボタン240などの1つまたは複数のボタンを含むことができる。拡張現実スキンの評価の実行形態例は、評価インターフェース150の評価領域154中のスライダ230、スキントラッカ234およびボタン240など、構成要素の動作に基づくことができる。
スライダ230は、開始点210および終点220など、ポイントを含むことができる。ポイント数は、メモリ112中に格納されたスキンの総数に基づき開始点210と終点220の間で定めることができる。例では、メモリ112は、計3つのスキン(スキン122、124、126)を格納することができる。評価アプリケーション142は、開始点210と終点220の間でスライダ230上に2つのポイント214、216を定めるようにプロセッサに命令する命令を含むことができる。開始点210と終点220の間のポイント数は、メモリ112への、および/またはそれからのスキンの追加および/または除去に応じて、変えることができる。開始点210、終点220およびポイント214、216は、それぞれが間隔212によって隔てることができる。間隔212の大きさは、メモリ112中に格納されたスキンの数に基づき変えることができる。いくつかの例では、開始点210、終点220および/またはポイント214、216は、評価インターフェース150が拡張現実表示装置114上に表示されたとき、ユーザが見ることができる。いくつかの例では、開始点210、終点220および/またはポイント214、216は、評価インターフェース150が拡張現実表示装置114上に表示されたとき、ユーザが見ることができないことがある。
マーカ232は、開始点210と終点220の間で第1の方向202または第2の方向204にスライダ230に沿って移動することができる。いくつかの例では、拡張現実装置108は、スライダ230に沿ってマーカ232を移動するために、ボタンなど、ユーザインターフェースを含むことができる。いくつかの例では、ユーザ102は、スライダ230に沿って移動するようにマーカ232に命令するために、音声入力を与えることができる。マーカ232は、ユーザ入力170に基づきスライダ230上で開始点210、終点220、ポイント214またはポイント216に移動することができる。
マーカ232の移動または配置は、スキン数評価信号を生成するのに有効であり得る。プロセッサ110は、スキン数評価信号を受け取って処理し、そしてスキン数評価信号に対応して評価画像データ158にいくつかのスキンを適用することができる。たとえば、第1の方向202におけるマーカ232の移動によって、プロセッサ110が評価画像データ148に適用するスキンの数を増加させることができる。第2の方向204におけるマーカ232の移動によって、プロセッサ110が評価画像データ158に適用するスキンの数を減少させることができる。また、評価画像160は、評価画像データ148に適用されるスキンの数の変更に応じて変えることができる。プロセッサ110が評価インターフェース150を出力したとき、マーカ232は、スライダ230上で、開始点210など、デフォルトポイントに移動させることができる。
例では、メモリ112中の命令120は、スキン122を、次いでスキン126を、次いでスキン124を初期画像データ144に適用する処理シーケンスを含むことができる。ユーザ102は、拡張画像138中で望ましくない特徴を識別することができていて、スキン122、126および124の適用を評価したいと望むことがある。ユーザ102は、スキンの評価を求めてプロセッサ110に評価リクエスト140を送ることができる。評価リクエスト140の受け取りに応答して、プロセッサ110は、実物体104から反射された光を捕らえて評価画像データ148を発生するように、カメラ116に命令することができる。また、評価リクエスト140の受け取りに応答して、プロセッサ110は、評価画像データ148に基づき評価画像160を描画することができ、拡張現実表示装置114上に評価インターフェース150を出力することができる。当初、マーカ232は、開始点210に位置付けることができ、評価画像160は、スキンが適用されていない画像とすることができる。いくつかの例では、評価画像160は、マーカ232が開始点210に位置付けられたとき、初期画像146と似ていることがあり得る。
ユーザ102は、ユーザ入力170を生成するために、第1の方向202または第2の方向204にマーカ232を移動することができる。ユーザ102がポイント214でマーカ232の移動を停止した場合、ユーザ入力170は、ポイント214の指標を含むことができる。プロセッサ110は、ユーザ入力170を受け取ることができる。プロセッサ110は、ユーザ入力170を解析することができ、ポイント214の指標を識別することができる。解析に応じて、プロセッサ110は、評価データ158を発生するために、評価画像データ148にスキン122を適用することができる。評価データ158は、評価画像160を生成するために、拡張現実表示装置114上で描画することができる。評価画像160は、表示領域152中に表示することができ、実物体104を覆う仮想物体132(眼帯)と似る画像になり得る(ポイント214からの破線矢印によって図示されるように)。ユーザ102がポイント216でマーカ232の移動を停止した場合、ユーザ入力170は、ポイント216の指標を含むことができる。プロセッサ110は、ユーザ入力170を受け取ることができ、ユーザ入力170を解析することができ、ポイント216の指標を識別することができる。解析に応じて、プロセッサ110は、評価データ158を発生するために、評価画像データ148にスキン122、126を適用することができる。評価画像160は、表示領域152中に表示することができ、実物体104を覆う仮想物体132、136(眼帯および髪)と似る画像になり得る。
例では、ユーザ102は、第1の方向202で終点220にマーカ232を移動し続けることができる。ユーザ102は、スキン122、124、126が実物体104を覆っている評価画像160を見ることができる。ユーザ102は、スキン122、126を評価するために、第2の方向204でポイント214にマーカ232を移動することができる。
マーカ232がポイント216にあるとき、評価画像160は、スキン122、126の適用を評価するために使用することができる。ユーザ102は、スキン122、126に対する評価プロセスを開始するために、ボタン240を選択することができる。評価プロセス例は、スキン122、126の間で1つまたは複数のスキンを再配置し、サイズを変更し、または除去することができる。いくつかの例では、ユーザ102は、特定のスキンを適用すべきとき、その条件または状態を示すことができる。いくつかの例では、ユーザ102は、評価画像に影響を及ぼし修正して描画するために、スキンのいくつかの属性を変更することができる。
スキントラッカ234の値は、マーカ232の位置に基づき修正することができ、命令120によって定められた処理シーケンス中の評価画像データ158に適用されるスキンの数を示すのに有効であり得る。たとえば、スキントラッカ234は、マーカ232がポイント214に移動されたとき、値を1/3とすることができ、インディケータがポイント216に移動されたとき、値を2/3とすることができる(図示されるように)。
図3は、本明細書に述べる少なくともいくつかの実施形態によって構成される、評価インターフェース中の選択領域に関する細部が追加された図1および2のシステム例を例示する。図3は、細部が追加された図1および2のシステム100と実質的に同様である。図1および2の構成要素と同一であると分類される図3中のそれら構成要素は、明瞭にする目的で再び述べないことにする。
拡張現実スキンの評価システム100の実行形態例は、評価画像160中での領域の選択に基づくことができる。評価インターフェース150は、ポインタ310をさらに表示することができる。ポインタ310は、評価インターフェース150の境界内で移動可能とすることができる。いくつかの例では、拡張現実装置108は、ユーザ102がポインタ310を制御するために、ボタンなどのユーザインターフェースを含むことができる。いくつかの例では、ユーザ102は、ポインタ310を制御するために、音声入力を与えることができる。ユーザ102は、選択情報300を生成するために、ポインタ310を使用することができる。選択情報300は、評価画像160の領域に対応するデータを含むことができる。
図示される例では、ユーザ102は、プロセッサ110に評価リクエスト140を送ることができる。評価リクエスト140の受け取りに応答して、プロセッサ110は、実物体104から反射された光を捕らえて評価画像データ148を発生するように、カメラ116に命令することができる。また、評価リクエスト140の受け取りに応答して、プロセッサ110は、評価画像データ148に基づき評価画像160を描画することができ、拡張現実表示装置114上に評価インターフェース150を出力することができる。評価画像160は、メモリ112中のすべてのスキンの適用を含むことができる。当初、ポインタ310は、評価インターフェース150の境界内で任意の位置にあることができる。いくつかの例では、評価インターフェース150の評価領域154は、ユーザ102に当初見えないことがある。評価画像160は、スキン122、124、126が適用された画像とすることができ、マーカ232は、終点220に当初位置付けることができる。
ユーザ102は、評価画像160中で領域320を識別するために、ポインタ310を移動することができる。ユーザ102は、領域320のまわりである形状を指す、または描くことなどによって、領域320を識別する選択情報300を生成することができる。プロセッサ110は、選択情報300を受け取ることができ、基準ポイントが領域320中にあるスキンを識別するために、メモリ112を解析することができる。本明細書に議論するように、スキンは、画像データ中で基準ポイントを識別し、基準ポイントに関連する画素をスキンデータに替えるように構成することができる。図示される例では、プロセッサ110は、領域320中に基準ポイントを有するものとしてスキン122、126を識別することができる。プロセッサ110は、スキン122および126の見直しを容易にするために、評価画像160(示すように)および評価領域154を含むように、評価インターフェース150を更新することができる。スキントラッカ234、スライダ230、開始点210および終点220は、メモリ110中の他のスキンには実施しないが、スキン122および126の見直しおよびナビゲーションを反映するように更新することができる。プロセッサ110は、拡張現実表示装置114上に評価インターフェース150を出力することができる。当初、マーカ232は、開始点210に位置付けることができる。ユーザ102は、ユーザ入力170を生成するために、第1の方向202または第2の方向204にマーカ232を移動することができる。
ユーザ102は、第1の方向202でポイント214にマーカ232を移動することができる。マーカ232がポイント214で止められたとき、ユーザ入力170は、ポイント214の指標を含むことができる。プロセッサ110は、ユーザ入力170を受け取ることができ、評価データ158を発生するために、評価画像データ148にスキン122を適用することができる。評価データ158は、評価画像160を生成するために、拡張現実表示装置114上で描画することができる。評価画像160は、表示領域152中に表示することができ、実物体104を覆う仮想物体132(眼帯)と似る画像になり得る。
ユーザ102は、ここでは終点220と同じであるポイント216に第1の方向202でマーカ232を移動し続けることができる。プロセッサ110は、ユーザ入力170を受け取ることができ、評価データ158を発生するために、評価画像データ148にスキン122、126を適用することができる。評価画像160は、表示領域152中に表示することができ、実物体104を覆う仮想物体132、136(眼帯および髪)と似る画像になり得る。ユーザ102は、スキン126が不要な特徴を含んでいると決定することができ、ボタン240の選択などによって、評価インターフェース150を使用してデバッグする、スキン126を再適用する、または仮想物体136を操作するなどの処理をさらに実施するように、プロセッサ110に命令することができる。
いくつかの例では、ユーザ102は、評価するスキンの数を削減するために、領域320の広さを減少させるように、プロセッサ110に要求することができる。いくつかの例では、領域320は、評価インターフェース150上でユーザ102が見ることができる。いくつかの例では、領域320は、評価インターフェース150上でユーザ102が見ることができないことがある。
図4は、本明細書に述べる少なくともいくつかの実施形態によって構成される、中間画像がメモリ中に格納される実行形態例に関する細部が追加された図1、2および3のシステム例を例示する。図4は、細部が追加された図1、2および3のシステム100と実質的に同様である。図1、2および3の構成要素と同一であると分類される図4のそれら構成要素は、明瞭にする目的で再び述べないことにする。
別の例では、以下により詳細に議論するように、プロセッサ110は、スキンの適用によって生成された中間画像または中間画像の間の差を格納することができる。これらの中間画像または差は、スキン中で不要な特徴または属性を識別するために、ユーザが見直すことができる。中間画像は、所定の期間、たとえば1分間格納することができ、次いで、新しい中間画像または差が古い中間画像を上書きすることができる。プロセッサ110は、カメラ116から画像データを受け取ることができる。プロセッサ110は、第1の中間画像データを発生するために、受け取った画像データに第1のスキンを適用することができる。プロセッサ110は、第2の中間画像データを発生するために、第1の中間画像データに第2のスキンを適用することができる。次いで、プロセッサ110は、拡張データのフレームを生成するために、命令120中で処理シーケンスの最後のスキンが適用されるまで、先行する中間画像データにそれに続くスキンを適用し続けることができる。拡張データは、拡張画像のフレームを生成するように描画することができる。プロセッサ110は、それぞれ発生された中間画像データまたは中間データの間の差、および拡張データのフレームをメモリ112中に格納することができる。ユーザ102は、メモリ112中に格納されたフレーム中をナビゲートすることができ、評価するフレームを選択することができる。フレームを選択したとき、ユーザ102は、興味あるスキンを評価するために、選択されたフレームに関する中間画像または差の中をナビゲートすることができる。
図示される例では、実物体404は、実物体104に隣接していることができる。ユーザ102は、拡張現実装置108を使用したとき、実物体104、404を眺めることができる。拡張現実装置108のカメラ116は、実物体104、404から反射された光を捕らえるように構成することができ、それぞれの画像データを発生することができる。たとえば、カメラ116は、1秒間に60個の画像データを発生するように構成することができる。プロセッサ110は、カメラ116から発生された特定の画像データを読み出すように構成することができる。たとえば、プロセッサ110は、カメラ116によって発生された10個の画像データ毎に、たとえば第1番目の、第11番目の、第21番目のデータなど、1個の画像データを読み出すように構成することができる。いくつかの例では、ユーザ102は、カメラ116の動作速度を修正することができ、プロセッサ110がカメラ116から画像データを読み出す速度を修正することができる。
この例では、ユーザ102は、視線101に沿って実物体404を眺めるために、拡張現実装置108を使用していてよい。カメラ116は、第1の時間のインスタンスに第1の画像データ410を発生することができる。第1の画像データ410は、拡張現実表示装置114などの上で描画されるとき、第1の画像412を生成することができる。プロセッサ110は、カメラ116から第1の画像データ410を読み出すことができる。プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン122を読み出すことができる。プロセッサ110は、第1の画像データ410中でスキン122に関連する基準ポイントの有無を決定することができる。プロセッサ110は、命令120中で処理シーケンスを解析し続けてスキン126、124を読み出し、第1の画像データ410へのスキン126、124の適用を試みることができる。プロセッサ110は、第1の画像データ410に適用することができるスキンが、もうメモリ112中に格納されていないと決定することができる。いくつかの例では、第1の画像データ410に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、第1の画像データ410に対応するフレーム418を発生することができる。プロセッサ110は、メモリ112中にフレーム418を格納することができる。いくつかの例では、第1の画像データ410に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、フレーム418を発生して格納する代わりに、それに続く画像データを処理し続けることができる。
この例では、所定の期間の後、実物体404と実物体104の間の位置に視線101を向けることができる。カメラ116は、第2の画像データ420を発生することができる。プロセッサ110は、カメラ116から第2の画像データを読み出すことができる。第2の画像データ420は、拡張現実表示装置114などの上で描画されるとき、第2の画像422を生成することができる。プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン122を読み出すことができる。プロセッサ110は、第2の画像データ420中でスキン122に関連する基準ポイントの有無を決定することができる。プロセッサ110は、命令120中で処理シーケンスを解析し続けてスキン126、124を読み出し、第2の画像データ430へのスキン126、124の適用を試みることができる。プロセッサ110は、第2の画像データ420に適用することができるスキンが、もうメモリ112に格納されていないと決定することができる。いくつかの例では、第2の画像データ420に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、第2の画像データ420に対応するフレーム428を発生することができる。プロセッサ110は、メモリ112中にフレーム428を格納することができる。いくつかの例では、第2の画像データ420に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、フレーム428を発生して格納する代わりに、それに続く画像データを処理し続けることができる。
別の期間が経過した後、実物体104に視線101を向けることができる。カメラ116は、第3の画像データ430を発生することができる。プロセッサ110は、カメラ116から第3の画像データ430を読み出すことができる。第3の画像データ430は、拡張現実表示装置114上で描画されるとき、第3の画像432を生成することができる。プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン122を読み出すことができる。プロセッサ110は、第3の画像データ430中で第1の基準ポイント(たとえば実物体104の目)を識別することができる。プロセッサ110は、第3の画像データ430にスキン122を適用することができ、それに応じて中間画像データ433を発生することができる。中間画像データ433は、拡張現実表示装置114上で描画されるとき、中間画像434を生成することができる。プロセッサ110は、命令120中に中間画像データ433を格納することができる。
プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン126を読み出すことができる。プロセッサ110は、中間画像データ433中で第2の基準ポイント(たとえば実物体104の額)を識別することができる。プロセッサ110は、中間画像データ433にスキン126を適用することができ、それに応じて中間画像データ435を発生することができる。中間画像データ435は、拡張現実表示装置114上で描画されるとき、中間画像436を生成することができる。プロセッサ110は、メモリ112中に中間画像データ435を格納することができる。
同様に、プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン124を読み出すことができる。プロセッサ110は、中間画像データ435中で第3の基準ポイント(たとえば実物体104の口もと)を識別することができる。プロセッサ110は、中間画像データ435にスキン124を適用することができ、それに応じて中間画像データ437を発生することができる。プロセッサ110は、スキン124が命令120の処理シーケンス中で最後のスキンであると決定することができる。中間画像データ437は、拡張現実表示装置114上で描画されるとき、フレーム438を生成することができる。プロセッサ110は、メモリ112中に中間画像データ437を格納することができる。プロセッサ110は、第3の画像データ430に対して影響を及ぼさないスキンに関する画像データを発生する必要がない。
この例では、ユーザ102は、拡張現実表示装置114上に示された特定のフレームおよび/またはスキンを評価したいと望むことがある。ユーザ102は、プロセッサ110に評価リクエスト140を送ることができる。評価リクエスト140の受け取りに応答して、プロセッサ110は、拡張現実表示装置114にプレゼンテーション450を出力することができる。いくつかの例では、プレゼンテーション450は、フレーム418、428、438を含むビデオとすることができる。ユーザ102は、拡張現実表示装置114上でプレゼンテーション450を眺めることができる。いくつかの例では、ユーザ102は、拡張現実表示装置114上に表示されたビデオ再生インターフェースなどを使用することによってプレゼンテーション450を眺めたとき、フレーム418、428、428の間を移動することができる。プレゼンテーション450の長さは、評価リクエスト140に基づき修正することができる。たとえば、ユーザ102は、過去の5秒、10秒または1分間などのフレームを評価したいと要求することができる。
ユーザ102がプレゼンテーション450を眺めているとき、ユーザ102は、フレーム438など、プレゼンテーション450中の特定のフレームを評価したいと望むことがある。ユーザ102は、プレゼンテーション450中でフレーム438を選択することなどによって選択情報400を生成することができる。選択情報400は、フレーム438の指標を含むことができる。プロセッサ110は、ユーザ102から選択情報400を受け取ることができる。選択情報400の受け取りに応答して、プロセッサ110は、選択情報400中でフレーム438の指標を識別することができ、評価データ158を発生することができる。
この例では、ユーザ102は、フレーム438を評価するために、評価インターフェース150を使用することができる。当初、マーカ232は、終点220に位置付けることができ、評価画像160は、フレーム438に対応することができる。ユーザ102は、ユーザ入力170を生成するために、第1の方向202または第2の方向204にマーカ232を移動することができる。ユーザ102がポイント214で移動を止めた場合、ユーザ入力170は、3つのスキンの1つの適用に対応するポイント214の指標を含むことができる。プロセッサ110は、ユーザ入力170を解析することができ、ポイント214の指標を識別することができる。その解析に応答して、プロセッサ110は、メモリ112から中間画像データ435を読み出すことができ、表示領域152中に中間画像436を出力することができる。3つのスキンの2つの適用に対応するポイント216で、ユーザ102がマーカ232の移動を止めた場合、ユーザ入力170は、ポイント216の指標を含むことができる。プロセッサ110は、ユーザ入力170を解析することができ、ポイント216の指標を識別することができる。その解析に応答して、プロセッサ110は、メモリ112から中間画像データ435を読み出すことができ、表示領域152中に中間画像436を出力することができる。ユーザ102は、フレーム438に関する1つまたは複数のスキンを評価するために、マーカ232を移動し続けることができる。
図5は、本明細書に述べる少なくともいくつかの実施形態によって構成される、中間画像の間の差がメモリ中に格納される別の実行形態例に関する細部が追加された図1、2、3および4のシステム例を例示する。図5は、細部が追加された図1、2、3および4のシステム100と実質的に同様である。図1、2、3および4の構成要素と同一であると分類される図5のそれら構成要素は、明瞭にする目的で再び述べないことにする。
別の例では、以下でより詳細に議論するように、プロセッサ110は、スキンの適用によって生成された中間画像の間の、または中間画像と初期画像の間の差を格納することができる。これらの差は、スキン中で不要な特徴または属性を識別するために、ユーザが見直すことができる。プロセッサ110は、第1の中間画像データを発生するために、受け取った画像データに第1のスキンを適用することができる。プロセッサ110は、第1の中間画像データと受け取った画像データの間の第1の差画像データを決定することができる。プロセッサ110は、メモリ112中に第1の差画像データを格納することができる。プロセッサ110は、第2の中間画像データを発生するために、第1の中間画像データに第2のスキンを適用することができる。プロセッサ110は、第1の中間画像データと第2の中間画像データの間で第2の差画像データを決定することができる。プロセッサ110は、メモリ112中に第2の差画像データを格納することができる。プロセッサ110は、拡張データのフレームを生成するために、最後のスキンが適用されるまで、先行する中間画像データにそれに続くスキンを適用し続けることができる。最後のスキンの適用に応答して、プロセッサ110は、フレームを発生することができ、メモリ112中に発生されたフレームを格納することができる。プロセッサ110によって決定された各差画像データも、メモリ112中に格納することができる。ユーザ102は、評価するフレームを選択するために、メモリ112中に格納されたフレーム中をナビゲートすることができる。フレームの選択に応答して、ユーザ102は、選択されたフレームに関する特定のスキンを評価するために、評価インターフェース150を使用することができる。中間画像データの代わりに差画像データを格納すると、メモリ112中に格納されるデータ量を減少させることができる。
この例では、プロセッサ110は、カメラ116から第1の画像データ410を読み出すことができる。プロセッサ110は、第1の画像データ410に適用することができるスキンが、もうメモリ112中に格納されていないと決定することができる。第1の画像データ410に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、差画像データを発生することができないと決定することができる。
プロセッサ110は、カメラ116から第2の画像データ420を読み出し続けることができる。プロセッサ110は、第2の画像データ420に適用することができるスキンが、もうメモリ112中に格納されていないと決定することができる。第2の画像データ420に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、差画像データを発生することができないと決定することができる。プロセッサ110は、カメラ116から第3の画像データ430を読み出し続けることができる。
プロセッサ110がカメラ116から第3の画像データ430を読み出すことに応答して、プロセッサ110は、命令120中で処理シーケンスを解析することができる。プロセッサ110は、メモリ112からスキン122を読み出すことができる。プロセッサ110は、第3の画像データ430中で第1の基準ポイント(実物体104の目)を識別することができる。プロセッサ110は、第3の画像データ430にスキン122を適用することができ、それに応じて中間画像データ433を発生することができる。プロセッサ110は、中間画像データ433から第3の画像データ430を引くことなどによって差画像データ533を決定することができる。差画像データ533は、プロセッサ110などによって描画されるとき、差画像534を生成することができる。プロセッサ110は、メモリ112中に差画像データ533を格納することができる。
プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン126を読み出すことができる。プロセッサ110は、中間画像データ433中で第2の基準ポイント(実物体104の額)を識別することができる。プロセッサ110は、中間画像データ433にスキン126を適用することができ、それに応じて中間画像データ435を発生することができる。プロセッサ110は、中間画像データ435から中間画像データ433を引くことなどによって差画像データ535を決定することができる。差画像データ535は、プロセッサ110によって描画されるとき、差画像536を生成することができる。プロセッサ110は、メモリ112中に差画像データ535を格納することができる。
同様に、プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン124を読み出すことができる。プロセッサ110は、中間画像データ435中で第3の基準ポイント(実物体104の口もと)を識別することができる。プロセッサ110は、中間画像データ435にスキン124を適用することができ、それに応じて中間画像データ437を発生することができる。プロセッサ110は、中間画像データ437から中間画像データ435を引くことなどによって差画像データ537を決定することができる。差画像データ537は、プロセッサ110などによって描画されるとき、差画像538を生成することができる。プロセッサ110は、スキン124が命令120の処理シーケンス中で最後のスキンであると決定することができる。スキン124が処理シーケンス中で最後のスキンであるという決定に応答して、プロセッサ110は、フレーム540を発生することができる。また、プロセッサ110は、メモリ112中に差画像データ537およびフレーム540を格納することができる。
この例では、ユーザ102は、特定のスキンを評価したいと望むことがある。ユーザ102は、プロセッサ110に評価リクエスト140を送ることができる。評価リクエスト140の受け取りに応答して、プロセッサ110は、拡張現実表示装置114にプレゼンテーション450を出力することができる。ユーザ102は、拡張現実表示装置114上でプレゼンテーション450を眺めることができる。プレゼンテーション450は、フレーム540など、1つまたは複数のフレームを含むことができる。ユーザ102は、プレゼンテーション450中の1つまたは複数のフレームの間でフレーム540を選択することなどによって選択情報400を生成することができる。プロセッサ110は、ユーザ102から選択情報400を受け取ることができる。選択情報400の受け取りに応答して、プロセッサ110は、評価データ158を発生することができる。評価データ158は、フレーム540の指標を含むことができる。プロセッサ110は、評価インターフェース150を出力することができ、表示領域152中に評価画像160を表示するために、拡張現実表示装置114に評価データ158を送ることができる。
例では、ユーザ102は、フレーム540を評価するために、評価インターフェース150を使用することができる。当初、マーカ232は、終点220に位置付けることができ、評価画像160は、差画像538に対応することができる。ユーザ102は、ユーザ入力170を生成するために、第1の方向202または第2の方向204にマーカ232を移動することができる。ユーザ102がポイント214でマーカ232の移動を止めた場合、ユーザ入力170は、ポイント214の指標を含むことができる。プロセッサ110は、ユーザ入力170を解析することができ、ポイント214の指標を識別することができる。解析に応答して、プロセッサ110は、メモリ112から差画像データ533を読み出すことができ、表示領域152中に差画像534を出力することができる。ユーザ102がポイント216でマーカ232の移動を止めた場合、ユーザ入力170は、ポイント216の指標を含むことができる。プロセッサ110は、ユーザ入力170を解析することができ、ポイント216の指標を識別することができる。解析に応答して、プロセッサ110は、メモリ112から差画像データ535を読み出すことができ、表示領域152中に差画像536を出力することができる。ユーザ102は、フレーム538に関する1つまたは複数のスキンを評価するために、マーカ232を移動し続けることができる。
いくつかの例では、プロセッサ110は、メモリ112中に格納された視線追跡アプリケーション580に基づき画像データおよび/またはフレームの一部分を格納するように構成することができる。視線追跡アプリケーション580は、プロセッサ110にユーザ102の1つまたは複数の目を追跡させる命令を含むことができる。プロセッサ110は、拡張現実表示装置114の境界内で領域582を識別するために、ユーザ102の目を追跡することができる。例では、ユーザ102が拡張現実装置108を使用して実物体104を眺めているとき、領域582は、図示されるように実物体104の額および口もとなど、基準ポイントを含むことができる。視線追跡アプリケーション580中の命令に基づき、プロセッサ110は、その基準ポイントが領域582内にあるスキンを含む中間画像データまたは差画像データを格納することができる。いくつかの例では、プロセッサ110は、メモリ112中に格納されるデータの量を減少させるために、メモリ112中に格納される画像データの一部分の、解像度など、画像の性質を低下させることができる。たとえば、中間画像データまたは差画像データを格納するとき、プロセッサ110は、領域582の外側にある画素の解像度を低下させることができる。
他の可能な利点の中でもとりわけ、本開示によるシステムによって、ユーザが拡張現実スキンを評価することが可能になる。また、システムによって、ユーザが拡張現実スキンをデバッグすることが可能になる。また、システムは、拡張現実装置のユーザにセキュリティをもたらすことができる。システムがスキン適用に関する画像データを格納するように構成される例では、拡張現実装置のユーザは、現在の見える拡張画像が疑わしいものなのかどうかを決定するために、拡張現実表示装置上で見られる先行するフレームを評価することができる。
図6は、本明細書に提示する少なくともいくつかの実施形態によって構成される、拡張現実スキンの評価を実施するためのプロセス例に関するフロー図を例示する。図6のプロセスは、たとえば上記で議論したシステム100を使用して実施することができるはずである。プロセス例は、ブロックS2、S4、S6、S8、S10、S12および/またはS14の1つまたは複数によって例示されるような1つまたは複数の動作、処置または機能を含むことができる。様々なブロックが個別のブロックとして例示されているが、ブロックは、所望の実行形態に依存して、さらなるブロックに分ける、より少ないブロックに組み合わせる、または削除することができる。
処理は、ブロックS2「プロセッサによって、第1の時間のインスタンスに初期画像データを受け取る、その初期画像データは、実物体に対応することができる」から始まることができる。ブロックS2で、プロセッサは、第1の時間のインスタンスに初期画像データを受け取ることができる。初期画像データは、実物体に対応することができる。
処理は、ブロックS2からブロックS4「プロセッサによって、中間データを生成するために、初期画像データに第1のスキンを適用する」に続くことができる。ブロックS4で、プロセッサは、中間データを生成するために、初期画像データに第1のスキンを適用することができる。第1のスキンは、命令およびスキンデータを含むことができる。
処理は、ブロックS4からブロックS6「プロセッサによって、拡張データを生成するために、中間データに第2のスキンを適用する」に続くことができる。ブロックS6で、プロセッサは、拡張データを生成するために、中間データに第2のスキンを適用することができる。
処理は、ブロックS6からブロックS8「プロセッサによって、第2の時間のインスタンスに評価画像データを受け取る、評価画像データは、実物体に対応することができる」に続くことができる。ブロックS8で、プロセッサは、第2の時間のインスタンスに評価画像データを受け取ることができる。評価画像データは、実物体に対応することができる。
処理は、ブロックS8からブロックS10「プロセッサによって、第1のスキンの指標を含む入力を受け取る」に続くことができる。ブロックS10で、プロセッサは、第1のスキンの指標を含む入力を受け取ることができる。いくつかの例では、入力は、評価画像データ中の領域のIDを含むことができる。いくつかの例では、入力は、ユーザインターフェースにおけるマーカの位置を含むことができる。いくつかの例では、入力の受け取りに先立ち、プロセッサは、拡張データに基づき拡張画像を描画することができる。
処理は、ブロックS10からブロックS12「入力に応答して、プロセッサによって、評価データを発生するために、評価画像データに第1のスキンを適用する、評価データは、拡張データと異なることがある」に続くことができる。ブロックS12で、入力に応答して、プロセッサは、評価データを発生するために、評価画像データに第1のスキンを適用することができる。評価データは、拡張データと異なることがある。
評価画像データへの第1のスキンの適用は、第1のスキンの命令に基づき評価画像データ中で基準ポイントを識別することと、評価画像データの一部分を基準ポイントと関連付けることとを含むことができる。また、評価画像データへの第1のスキンの適用は、評価画像データの一部分をスキンデータに替えることを含むことができる。評価画像データへの第1のスキンの適用は、基準ポイントが入力中で識別された領域と対応すると決定することを含むことができる。
処理は、ブロックS12からブロックS14「プロセッサによって、評価データに基づき評価画像を描画する」に続くことができる。ブロックS14で、プロセッサは、評価データに基づき評価画像を描画することができる。
図7は、本明細書に述べる少なくともいくつかの実施形態によって構成される、拡張現実スキンの評価を実施するために利用することができるコンピュータプログラム製品例700を例示する。プログラム製品700は、信号担持媒体702を含むことができる。信号担持媒体702は、たとえばプロセッサによって実行されたとき、図1〜6に関して上記に述べた機能性を果たすことができる1つまたは複数の命令704を含むことができる。それゆえ、たとえばシステム100を参照すると、プロセッサ110は、媒体702によってシステム100に伝達された命令704に応答して、図6に示したブロックの1つまたは複数を引き受けることができる。
いくつかの実行形態では、信号担持媒体702は、たとえば、ただしこれらに限定されないが、ハードディスクドライブ、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープ、メモリなど、コンピュータ可読媒体706を包含することができる。いくつかの実行形態では、信号担持媒体702は、たとえば、ただしこれらに限定されないが、メモリ、リード/ライト(R/W)CD、R/W DVDなど、記録可能媒体708を包含することができる。いくつかの実行形態では、信号担持媒体702は、たとえば、ただしこれらに限定されないが、デジタルおよび/またはアナログの通信媒体(たとえば光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど)など、通信媒体710を包含することができる。それゆえ、たとえば、プログラム製品700は、RF信号担持媒体702によってシステム100の1つまたは複数のモジュールに伝えることができ、信号担持媒体702は、無線通信媒体710(たとえばIEEE802.11標準に合致する無線通信媒体)によって伝えられる。
図8は、本明細書に述べる少なくともいくつかの実施形態によって構成される、拡張現実スキンの評価を実施するように構成されるコンピューティングデバイス例800を例示するブロック図である。まさに基本的な構成802では、コンピューティングデバイス800は、通常、1つまたは複数のプロセッサ804およびシステムメモリ806を含む。メモリバス808は、プロセッサ804とシステムメモリ806の間で通信するために使用することができる。
所望の構成に依存して、プロセッサ804は、ただしこれらに限定されないが、マイクロプロセッサ(μP)、マイクロコントローラ(μC)、デジタル信号プロセッサ(DSP)またはそれらのいずれかの組合せを含む、いずれものタイプのものとすることができる。プロセッサ804は、レベル1キャッシュ810およびレベル2キャッシュ812などの1つまたは複数のレベルのキャッシング、プロセッサコア814およびレジスタ816を含むことができる。プロセッサコア例814は、算術論理演算ユニット(ALU)、浮動小数点演算ユニット(FPU)、デジタル信号処理コア(DSP Core)またはそれらのいずれかの組合せを含むことができる。メモリコントローラ例818も、プロセッサ804とともに使用することができる、またはいくつかの実行形態では、メモリコントローラ818は、プロセッサ804の内部部品とすることができる。
所望の構成に依存して、システムメモリ806は、ただしこれらに限定されないが、揮発性メモリ(RAMなど)、不揮発性メモリ(ROM、フラッシュメモリなど)またはそれらのいずれかの組合せを含む、いずれものタイプのものとすることができる。システムメモリ806は、オペレーティングシステム820、1つまたは複数のアプリケーション822およびプログラムデータ824を含むことができる。アプリケーション822は、図1〜7のシステム100に関して述べた機能を含む、本明細書に述べたような機能を果たすように構成される拡張現実スキンの評価アルゴリズム826を含むことができる。プログラムデータ824は、本明細書に述べたような、拡張現実スキンの評価の実施に役立つことができる拡張現実スキンの評価データ828を含むことができる。いくつかの実施形態では、アプリケーション822は、拡張現実スキンの評価を実施することができるように、オペレーティングシステム820上でプログラムデータ824を用いて動作するように構成することができる。この述べた基本構成802は、内側破線内のそれら構成要素によって図8に例示されている。
コンピューティングデバイス800は、基本構成802といずれもの必要なデバイスおよびインターフェースとの間での通信を容易にするために、追加の特徴または機能性および追加のインターフェースを有することができる。たとえば、基本構成802と1つまたは複数のデータストレージ832との間でのストレージインターフェースバス834を介する通信を容易にするために、バス/インターフェースコントローラ830を使用することができる。データストレージ832は、取外し式ストレージ836、非取外し式ストレージ838、またはその組合せとすることができる。取外し式ストレージおよび非取外し式ストレージの例は、数例を挙げると、フレキシブルディスクドライブおよびハードディスクドライブ(HDD)などの磁気ディスクデバイス、コンパクトディスク(CD)ドライブまたはデジタル多用途ディスク(DVD)ドライブなどの光ディスクドライブ、半導体ドライブ(SSD)およびテープドライブを含む。コンピュータストレージ媒体例は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなど、情報を記憶するためのいずれかの方法または技術によって実現される揮発性および不揮発性の取外し式および非取外し式媒体を含むことができる。
システムメモリ806、取外し式ストレージ836および非取外し式ストレージ838は、コンピュータストレージ媒体の例である。コンピュータストレージ媒体は、ただしこれらに限定されないが、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ストレージ、または所望の情報を格納するために使用することができ、かつコンピューティングデバイス800がアクセスすることができるいずれもの他の媒体を含む。いずれものそのようなコンピュータストレージ媒体は、コンピューティングデバイス800の一部とすることができる。
また、コンピューティングデバイス800は、様々なインターフェース装置(たとえば出力装置842、周辺インターフェース844および通信装置846)から基本構成802へのバス/インターフェースコントローラ830を介する通信を容易にするために、インターフェースバス840を含むことができる。出力装置例842は、グラフィック処理ユニット848およびオーディオ処理ユニット850を含み、それらは、表示装置またはスピーカなどの様々な外部装置と1つまたは複数のA/Vポート852を介して通信するように構成することができる。周辺インターフェース例844は、シリアルインターフェースコントローラ854またはパラレルインターフェースコントローラ856を含み、それらは、入力装置(たとえばキーボード、マウス、ペン、音声入力装置、タッチ入力装置など)または他の周辺装置(たとえばプリンタ、スキャナなど)など、外部装置と1つまたは複数のI/Oポート858を介して通信するように構成することができる。通信デバイス例846は、ネットワークコントローラ860を含み、それは、1つまたは複数の他のコンピューティングデバイス862とネットワーク通信リンク上で1つまたは複数の通信ポート864を介して通信するのを容易にするように構成することができる。
ネットワーク通信リンクは、通信媒体の1つの例とすることができる。通信媒体は、通常、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波または他の搬送機構などの変調されたデータ信号の形での他のデータによって具体化することができ、いずれもの情報配給媒体を含むことができる。「変調されたデータ信号」は、その特性の1つまたは複数が、信号中に情報をコード化するように設定される、または変化する信号とすることができる。例としてだけで限定せずに、通信媒体は、有線ネットワークまたは直接配線接続などの有線媒体、および音波、無線周波数(RF)、マイクロ波、赤外線(IR)および他の無線媒体などの無線媒体を含むことができる。用語のコンピュータ可読媒体は、本明細書で使用するとき、ストレージ媒体と通信媒体の両方を含むことができる。
コンピューティングデバイス800は、上記の機能のいずれかを含むセル式携帯電話、携帯情報端末(PDA)、パーソナルメディアプレーヤ装置、無線ウェブウォッチ装置、パーソナルヘッドセット装置、特定用途向け装置またはハイブリッド装置など、小さいフォームファクタの携帯型(または可搬型)電子デバイスの一部として実現することができる。また、コンピューティングデバイス800は、ラップトップコンピュータおよび非ラップトップコンピュータの両方の構成を含むパーソナルコンピュータとして実現することができる。
本開示は、本願で述べた特定の実施形態の点から限定すべきでなく、これは、様々な態様の例示として意図される。当業者に明らかになるはずのように、その趣旨および範囲から逸脱せずに、多くの修正および変更を行うことができる。本開示の範囲内に含まれる機能的に同等の方法および装置は、本明細書に列挙したそれらに加えて、上述の記述から明らかになるはずである。かかる修正および変形は、添付の請求項の範囲内に含まれると意図される。本開示は、かかる請求する権利が与えられる同等物の全範囲とともに添付の請求項の用語によってのみ限定すべきである。本開示は、特定の方法、試薬、合成物組成または生物学的なシステムに限定されず、それらは、もちろん、変わることができることを理解すべきである。また、本明細書で使用した用語が特定の実施形態を述べる目的だけのものであり、限定すると意図されないことを理解すべきである。
本明細書における実質的にすべての複数形および/または単数形の用語の使用に対して、当業者は、状況および/または用途に適切なように、複数形から単数形に、および/または単数形から複数形に変換することができる。様々な単数形/複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
通常、本明細書において、特に添付の特許請求の範囲(たとえば、添付の特許請求の範囲の本体部)において使用される用語は、全体を通じて「オープンな(open)」用語として意図されていることが、当業者には理解されよう(たとえば、用語「含む(including)」は、「含むがそれに限定されない(including but not limited to)」と解釈されるべきであり、用語「有する(having)」は、「少なくとも有する(having at least)」と解釈されるべきであり、用語「含む(includes)」は、「含むがそれに限定されない(includes but is not limited to)」と解釈されるべきである、など)。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことも、当業者には理解されよう。たとえば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも1つの(at least one)」および「1つまたは複数の(one or more)」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「1つまたは複数の」または「少なくとも1つの」および「a」または「an」などの不定冠詞を含む場合であっても、不定冠詞「a」または「an」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に1つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない(たとえば、「a」および/または「an」は、「少なくとも1つの」または「1つまたは複数の」を意味すると解釈されるべきである)。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう(たとえば、他の修飾語なしでの「2つの記載(two recitations)」の単なる記載は、少なくとも2つの記載、または2つ以上の記載を意味する)。さらに、「A、BおよびC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(たとえば、「A、B、およびCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。「A、B、またはC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(たとえば、「A、B、またはCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。2つ以上の代替用語を提示する事実上いかなる離接する語および/または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方(one of the terms)、当該用語のいずれか(either of the terms)、または両方の用語(both terms)を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。たとえば、句「AまたはB」は、「A」または「B」あるいは「AおよびB」の可能性を含むことが理解されよう。
当業者が理解されるはずのように、いずれもおよびすべての目的のために、書面による明細書を提供する点などから、本明細書に開示するすべての範囲は、いずれもおよびすべての可能な部分範囲およびその部分範囲の組合せも包含する。いずれもの列挙した範囲は、十分に述べるものであって、同じ範囲を少なくとも等しい半分、3分の1、4分の1、5分の1、10分の1などに分割することができるものとして容易に認識することができる。非限定の例として、本明細書に議論した各範囲は、下側の3分の1、中間の3分の1および上側の3分の1などに容易に分割することができる。また、当業者が理解されるはずのように、「まで(up to)」、「少なくとも(at least)」、「より大きい(greater than)」、「より小さい(less than)」および同等のものなど、すべての用語は、述べた数を含み、上記に議論したように、その後で部分範囲に分割することができる範囲をいう。最後に、当業者が理解されるはずのように、範囲は、各個別のメンバを含む。それゆえ、たとえば1〜3個のセルを有するグループは、1、2または3個のセルを有するグループをいう。同様に、1〜5個のセルを有するグループは、1、2、3、4または5個のセルを有するグループをいう等。
本明細書に様々な態様および実施形態を開示してきたが、他の態様および実施形態も当業者に明らかになるはずである。本明細書に開示した様々な態様および実施形態は、例示目的であり、限定する意図はなく、真の範囲および趣旨は、以下の請求項によって示される。

Claims (15)

  1. 評価画像を生成する方法であって、前記方法は、プロセッサによって、
    第1の時間のインスタンスに初期画像データを受け取ることであって、前記初期画像データは、実物体に対応する、受け取ることと、
    第1のスキンに対応する第1の中間画像データを生成するために、前記初期画像データに前記第1のスキンを適用することと、
    前記第1のスキンの識別のために、前記第1の中間画像データと前記受け取った初期画像データの間の第1の差画像データを決定することと、
    拡張データを生成するために、前第1の中間画像データに第2のスキンを適用することと
    前記第2のスキンの識別のために、前記拡張データと前記第1の中間画像データの間の第2の差画像データを決定することと、
    前記拡張データに基づき拡張画像を描画することと、
    前記描画された拡張画像における前記第1のスキンまたは前記第2のスキンの少なくとも1つを評価するための第1の入力を受け取ることと、
    前記第1の差画像データに関係する第1の差画像に対応する評価画像、または前記第2の差画像データに関係する第2の差画像に対応する評価画像を表示することであって、前記受け取った第1の入力が前記第1のスキンの評価に対応する場合、第1の差画像が表示され、前記受け取った第1の入力が前記第2のスキンの評価に対応する場合、第2の差画像が表示される、表示することと、
    前記第1の差画像が表示される場合において前記第1の差画像における前記第1のスキンを修正するための、または前記第2の差画像が表示される場合において前記第2の差画像における前記第2のスキンを修正するための、第2の入力を受け取ることと、
    前記第2の入力を受け取ることに応じて、前記第1の差画像が表示される場合において前記第1の差画像における前記第1のスキンを修正すること、または前記第2の差画像が表示される場合において前記第2の差画像における前記第2のスキンを修正することと、
    前記拡張データに前記修正した第1のスキンまたは前記修正した第2のスキンを適用することと、
    前記修正した第1のスキン及び前記修正した第2のスキンのうちの1つを用いて、前記拡張画像を描画することと、
    を含む、方法。
  2. 前記第1の入力を受け取ることは、ユーザインターフェースにおいてマーカの位置を識別することを含む、請求項1に記載の方法。
  3. 前記第1のスキンは、命令およびスキンデータを含む、請求項1に記載の方法。
  4. 評価画像を生成するのに有効なシステムであって、前記システムは、
    メモリと、
    カメラと、
    拡張現実表示装置と、
    前記メモリ、前記カメラおよび前記拡張現実表示装置と通信状態にあるように構成されるプロセッサとを含み、
    前記カメラは、第1の時間のインスタンスに初期画像データを捕らえるように構成され、前記初期画像データは、実物体に対応し、
    前記プロセッサは、
    前記メモリ中に前記初期画像データを格納し、
    第1のスキンに対応する第1の中間画像データを生成するために、前記初期画像データに前記第1のスキンを適用し、
    前記第1のスキンの識別のために、前記第1の中間画像データと前記初期画像データの間の第1の差画像データを決定し、
    拡張データを生成するために、前第1の中間画像データに第2のスキンを適用し
    前記第2のスキンの識別のために、前記拡張データと前記第1の中間画像データの間の第2の差画像データを決定し、
    前記拡張データに基づき拡張画像を前記拡張現実表示装置に描画し、
    前記描画された拡張画像における前記第1のスキンまたは前記第2のスキンの少なくとも1つを評価するための第1の入力を受け取り、
    前記第1の差画像データに関係する第1の差画像に対応する評価画像、または前記第2の差画像データに関係する第2の差画像に対応する評価画像を表示し、前記受け取った第1の入力が前記第1のスキンの評価に対応する場合、第1の差画像が表示され、前記受け取った第1の入力が前記第2のスキンの評価に対応する場合、第2の差画像が表示され、
    前記第1の差画像が表示される場合において前記第1の差画像における前記第1のスキンを修正するための、または前記第2の差画像が表示される場合において前記第2の差画像における前記第2のスキンを修正するための、第2の入力を受け取り、
    前記受け取った第2の入力に応じて、前記第1の差画像が表示される場合において前記第1の差画像における前記第1のスキンを修正し、または前記第2の差画像が表示される場合において前記第2の差画像における前記第2のスキンを修正し、
    前記拡張データに前記修正した第1のスキンまたは前記修正した第2のスキンを適用し、
    前記修正した第1のスキン及び前記修正した第2のスキンのうちの1つを用いて、前記拡張画像を描画するように構成される、システム。
  5. 前記第1の入力の受け取りは、ユーザインターフェースにおけるマーカの位置の識別を含む、請求項4に記載のシステム。
  6. 評価画像を生成する方法であって、前記方法は、プロセッサによって、
    拡張現実命令を識別することであって、前記拡張現実命令は、
    第1の中間画像データを生成するために、初期画像データに第1のスキンを適用することであって、前記初期画像データは、実物体に対応する、適用すること、および
    拡張データを生成するために、前第1の中間画像データに第2のスキンを適用することに有効である、識別することと、
    前記拡張データに基づき拡張画像を描画することと、
    前記描画された拡張画像の領域に対応する第1の入力を受け取ることと、
    評価画像データを受け取ることであって、前記評価画像データは、前記実物体に対応し、前記描画された拡張画像の前記領域を含む、受け取ることと、
    前記評価画像データに前記第1のスキンを適用するために、スライダ上の第1の位置にマーカを位置させることに基づいて第2の入力を受け取ることと、
    前記第2の入力に応答して、評価データを発生するために、前記評価画像データに前記第1のスキンを適用することであって、前記評価データは、前記拡張データと異なる、適用することと、
    前記評価データに基づき前記評価画像を描画することと
    前記評価画像データに前記第2のスキンを適用するために、前記スライダ上の第2の位置に前記マーカを位置させることに基づいて第3の入力を受け取ることと、
    前記第3の入力に応答して、前記拡張データを生成するために、前記評価画像データに前記第2のスキンを適用することと、
    前記拡張データに基づき拡張画像を描画することと、
    を含む、方法。
  7. 前記1のスキンは、命令およびスキンデータを含み、
    前記評価画像データに前記第1のスキンを適用することは、
    前記命令に基づき前記評価画像データ中で基準ポイントを識別することと、
    前記評価画像データの一部を前記基準ポイントと関連付けることと、
    前記評価画像データの前記一部を前記スキンデータに替えることとを含み、
    前記第1の入力を受け取ることは、
    前記評価画像データ中の領域のIDを受け取ることと、
    前記基準ポイントが前記入力中で識別された前記領域に対応すると決定することとを含む、請求項6に記載の方法。
  8. 前記描画された拡張画像における前記第1のスキンまたは前記第2のスキンの少なくとも1つを評価するための第1の入力を受け取ることは、
    前記描画された拡張画像の、ある属性を有する領域に対応する前記第1の入力を受け取ることを含み、前記ある属性は、前記描画された拡張画像の残りの領域の属性とは異なる、請求項1記載の方法
  9. 前記描画された拡張画像の前記領域に対応する前記第1の入力を受け取ることは、
    前記描画された拡張画像の、ある属性を有する領域に対応する前記第1の入力を受け取ることを含み、前記ある属性は、前記描画された拡張画像の残りの領域の属性とは異なる、請求項6記載の方法
  10. 前記拡張現実表示装置は、第1の方向及び第2の方向にスライダに沿って移動可能なマーカを含む、請求項4記載のシステム。
  11. 前記マーカは、特定のスキンを特定の画像データに適用するために前記スライダに沿って移動可能である、請求項10記載のシステム。
  12. 前記第1の差画像における前記第1のスキンを修正すること、または前記第2の差画像における前記第2のスキンを修正することは、
    前記第1のスキンまたは前記第2のスキンを再配置すること、サイズを変更すること、除去することのうち少なくとも1つを含む、請求項1記載の方法。
  13. 前記第1の差画像における前記第1のスキンの修正、または前記第2の差画像における前記第2のスキンの修正は、
    前記第1のスキンまたは前記第2のスキンを再配置すること、サイズを変更すること、除去することのうち少なくとも1つを含む、請求項4記載のシステム。
  14. 前記第1のスキンまたは前記第2のスキンの少なくとも1つを評価するための第1の入力を受け取ることに応じて、前記第1の差画像または前記第2の差画像を読みだす、請求項1記載の方法。
  15. 前記第1のスキンまたは前記第2のスキンの少なくとも1つを評価するための第1の入力を受け取ることに応じて、前記第1の差画像または前記第2の差画像を読みだす、請求項4記載のシステム。
JP2016547936A 2014-01-31 2014-01-31 拡張現実スキンの評価 Expired - Fee Related JP6334715B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/014207 WO2015116182A1 (en) 2014-01-31 2014-01-31 Augmented reality skin evaluation

Publications (2)

Publication Number Publication Date
JP2017508199A JP2017508199A (ja) 2017-03-23
JP6334715B2 true JP6334715B2 (ja) 2018-05-30

Family

ID=53757568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016547936A Expired - Fee Related JP6334715B2 (ja) 2014-01-31 2014-01-31 拡張現実スキンの評価

Country Status (4)

Country Link
US (1) US9990772B2 (ja)
EP (1) EP3100256A4 (ja)
JP (1) JP6334715B2 (ja)
WO (1) WO2015116182A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7127520B2 (en) 2002-06-28 2006-10-24 Streamserve Method and system for transforming input data streams
US10606921B2 (en) * 2016-05-27 2020-03-31 Open Text Sa Ulc Document architecture with fragment-driven role-based access controls
CN106373085A (zh) * 2016-09-20 2017-02-01 福州大学 一种基于增强现实的智能终端3d手表试戴方法及系统
US11184574B2 (en) * 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
US20210201543A1 (en) * 2019-06-06 2021-07-01 Shmuel Ur Innovation Ltd. Augmented Reality Systems
US10991128B2 (en) * 2019-06-06 2021-04-27 Shmuel Ur Innovation Ltd. Markers for augmented reality
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
US11551426B2 (en) 2021-06-10 2023-01-10 Bank Of America Corporation System for implementing steganography-based augmented reality platform
US11888793B2 (en) 2022-02-22 2024-01-30 Open Text Holdings, Inc. Systems and methods for intelligent delivery of communications

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2024223A1 (en) 1990-05-07 1991-11-08 Merrill P. Womach Personal custom video recording and the process and apparatus for making same
US6672961B1 (en) 2000-03-16 2004-01-06 Sony Computer Entertainment America Inc. Computer system and method of displaying images
US7039222B2 (en) 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US7484176B2 (en) * 2003-03-03 2009-01-27 Aol Llc, A Delaware Limited Liability Company Reactive avatars
JP2007503966A (ja) * 2003-05-13 2007-03-01 エレクトロニック アーツ インコーポレイテッド モーフターゲットと別の要素からのモーフィングを用いたビデオゲーム内のプレーヤーのカスタマイズ
JP2005260912A (ja) * 2004-02-10 2005-09-22 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
US7660482B2 (en) 2004-06-23 2010-02-09 Seiko Epson Corporation Method and apparatus for converting a photo to a caricature image
US20060028674A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Printer with user ID sensor
US7626569B2 (en) 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
DE602005013752D1 (de) * 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
JP5191665B2 (ja) * 2006-01-17 2013-05-08 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US8766983B2 (en) * 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US20090220170A1 (en) 2008-03-03 2009-09-03 Zippy Technology Corp. Three-dimensional image spreading apparatus
KR20100026240A (ko) 2008-08-29 2010-03-10 김상국 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치
US8745494B2 (en) 2009-05-27 2014-06-03 Zambala Lllp System and method for control of a simulated object that is associated with a physical location in the real world environment
US8190939B2 (en) 2009-06-26 2012-05-29 Microsoft Corporation Reducing power consumption of computing devices by forecasting computing performance needs
US8645220B2 (en) 2009-08-28 2014-02-04 Homer Tlc, Inc. Method and system for creating an augmented reality experience in connection with a stored value token
US8730312B2 (en) 2009-11-17 2014-05-20 The Active Network, Inc. Systems and methods for augmented reality
KR101657565B1 (ko) 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US8451266B2 (en) 2009-12-07 2013-05-28 International Business Machines Corporation Interactive three-dimensional augmented realities from item markers for on-demand item visualization
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US8416263B2 (en) 2010-03-08 2013-04-09 Empire Technology Development, Llc Alignment of objects in augmented reality
US8682879B2 (en) 2010-04-16 2014-03-25 Bizmodeline Co., Ltd. Marker search system for augmented reality service
KR101106104B1 (ko) * 2010-04-27 2012-01-18 (주)클로버추얼패션 3차원 의상 자동 전이 착장 방법 및 그 장치와, 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능 기록매체
US9582166B2 (en) 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US20110279446A1 (en) 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
WO2011146776A1 (en) 2010-05-19 2011-11-24 Dudley Fitzpatrick Apparatuses,methods and systems for a voice-triggered codemediated augmented reality content delivery platform
JP4794678B1 (ja) 2010-05-24 2011-10-19 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像通信システム
EP2537141B1 (en) 2010-06-10 2016-03-30 Sartorius Stedim Biotech GmbH Assembling method, operating method, augmented reality system and computer program product
US9910866B2 (en) 2010-06-30 2018-03-06 Nokia Technologies Oy Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
KR101500798B1 (ko) 2010-07-06 2015-03-10 한국전자통신연구원 아바타 생성 방법 및 장치
US9245369B2 (en) 2010-07-06 2016-01-26 Electronics And Telecommunications Research Institute Method and apparatus for generating an avatar
KR101363559B1 (ko) * 2010-07-23 2014-02-17 주식회사 팬택 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법
US9247212B2 (en) 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
US8743145B1 (en) 2010-08-26 2014-06-03 Amazon Technologies, Inc. Visual overlay for augmenting reality
US10026227B2 (en) * 2010-09-02 2018-07-17 The Boeing Company Portable augmented reality
KR101317532B1 (ko) 2010-10-13 2013-10-15 주식회사 팬택 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법
US8550903B2 (en) 2010-11-15 2013-10-08 Bally Gaming, Inc. System and method for bonus gaming using a mobile device
KR101733512B1 (ko) 2010-12-22 2017-05-10 에스케이플래닛 주식회사 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
US8601380B2 (en) 2011-03-16 2013-12-03 Nokia Corporation Method and apparatus for displaying interactive preview information in a location-based user interface
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム,インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
EP2521097B1 (en) 2011-04-15 2020-01-22 Sony Interactive Entertainment Europe Limited System and Method of Input Processing for Augmented Reality
CN102292707B (zh) 2011-05-11 2014-01-08 华为终端有限公司 实现增强现实应用的方法及系统
US8963957B2 (en) * 2011-07-15 2015-02-24 Mark Skarulis Systems and methods for an augmented reality platform
US20150040074A1 (en) 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US8963956B2 (en) 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
US8581738B2 (en) 2011-08-25 2013-11-12 Sartorius Stedim Biotech Gmbh Assembling method, monitoring method, and augmented reality system used for indicating correct connection of parts
US9380270B1 (en) 2011-08-31 2016-06-28 Amazon Technologies, Inc. Skin detection in an augmented reality environment
US20130063487A1 (en) * 2011-09-12 2013-03-14 MyChic Systems Ltd. Method and system of using augmented reality for applications
JP2015504616A (ja) 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
FR2981254A1 (fr) 2011-10-18 2013-04-19 Pierre Ollivier Methode de simulation d'une chevelure a colorimetrie variable et dispositif pour la mise en oeuvre de la methode
US9230367B2 (en) * 2011-12-13 2016-01-05 Here Global B.V. Augmented reality personalization
EP2795936B1 (en) 2011-12-20 2019-06-26 Intel Corporation User-to-user communication enhancement with augmented reality
US8743224B2 (en) 2012-07-13 2014-06-03 Intel Corporation Context based management for secure augmented reality applications
WO2014033354A1 (en) 2012-08-30 2014-03-06 Nokia Corporation A method and apparatus for updating a field of view in a user interface
US8893037B2 (en) * 2012-12-19 2014-11-18 Orca Health, Inc. Interactive and dynamic medical visualization interface tools
CN104166835A (zh) 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置
US20150123966A1 (en) 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US9607437B2 (en) 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
US9865088B2 (en) 2014-01-31 2018-01-09 Empire Technology Development Llc Evaluation of augmented reality skins

Also Published As

Publication number Publication date
WO2015116182A1 (en) 2015-08-06
JP2017508199A (ja) 2017-03-23
EP3100256A4 (en) 2017-06-28
US20160253841A1 (en) 2016-09-01
US9990772B2 (en) 2018-06-05
EP3100256A1 (en) 2016-12-07

Similar Documents

Publication Publication Date Title
JP6334715B2 (ja) 拡張現実スキンの評価
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US11217020B2 (en) 3D cutout image modification
US9619471B2 (en) Background removal tool for a presentation application
JP6392881B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
US9865088B2 (en) Evaluation of augmented reality skins
TWI606384B (zh) 透過自由形式描繪之吸引人的顯示
KR20120138187A (ko) 인쇄매체 기반 혼합현실 구현 장치 및 방법
JP6205498B2 (ja) 対象者選択式拡張現実スキン
US10008042B2 (en) Augmented reality rendered structured content
CN106796810B (zh) 在用户界面上从视频选择帧
US20140212042A1 (en) Input/output apparatus
US20220189433A1 (en) Application programming interface for setting the prominence of user interface elements
EP2902874A1 (en) Display device, control method, and control program
KR102593043B1 (ko) 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품
JP5550446B2 (ja) 電子機器及び動画像生成方法
US12063343B2 (en) Representation of media data
US12131001B2 (en) Image processing apparatus capable of operating three dimensional virtual object, control method therefor, and storage medium storing control program therefor
US20180321828A1 (en) Personalizing perceivability settings of graphical user interfaces of computers
US20240211094A1 (en) Image processing apparatus capable of operating three dimensional virtual object, control method therefor, and storage medium storing control program therefor
CN110662104B (zh) 视频拖动条生成方法、装置、电子设备及存储介质
JP2024018907A (ja) Xrマルチウィンドウ制御

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180426

R150 Certificate of patent or registration of utility model

Ref document number: 6334715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees