JP6515179B2 - ウェアラブル調整現実システムおよび方法 - Google Patents

ウェアラブル調整現実システムおよび方法 Download PDF

Info

Publication number
JP6515179B2
JP6515179B2 JP2017508677A JP2017508677A JP6515179B2 JP 6515179 B2 JP6515179 B2 JP 6515179B2 JP 2017508677 A JP2017508677 A JP 2017508677A JP 2017508677 A JP2017508677 A JP 2017508677A JP 6515179 B2 JP6515179 B2 JP 6515179B2
Authority
JP
Japan
Prior art keywords
sensor
projector
image
information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017508677A
Other languages
English (en)
Other versions
JP2017535095A (ja
Inventor
ダーラム、レニトラ、エム.
アンダーソン、グレン、ジェイ.
ヴィースト、ジョン、シー.
ラッファ、ジュゼッペ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2017535095A publication Critical patent/JP2017535095A/ja
Application granted granted Critical
Publication of JP6515179B2 publication Critical patent/JP6515179B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

最新の衣類アクセサリおよび他のウェアラブルアクセサリは、コンピューティングまたは他の先端電子技術を組み込み得る。そのようなコンピューティングおよび/または先端電子技術は、様々な機能的理由で組み込まれる場合があり、または純粋に美的理由で組み込まれる場合がある。そのような衣類アクセサリおよび他のウェアラブルアクセサリは、概ね「ウェアラブル技術」または「ウェアラブルコンピューティングデバイス」と称される。
しかし、ウェアラブルデバイスは通常、利用可能な表示スペースに関して重大な欠点を有する。より具体的には、デバイスとインタラクトするユーザに利用可能な表示スペースの量は、多くの場合限定されている。これは、時計、シューズ、眼鏡、イヤリング等のウェアラブルデバイスに特にあてはまる。限定された表示スペースは、デバイスの機能およびユーザビリティに直接影響を与える。
ウェアラブルコンピューティングデバイスからの投影は、小さいウェアラブルディスプレイで可能なものよりも著しく大きい面積を有するディスプレイを形成し得る。しかし、投影されるディスプレイとインタラクトするための従来技術は、カメラ、ミラー、およびウェアラブルセンサ(例えば、グローブ、指先センサ等)を必要とする。そのような追加の機器は、ウェアラブルコンピューティングデバイスに関連するユーザビリティおよびユーザエクスペリエンスにとり有害となり得る。
調整現実システムの実施形態を示す。 画像を投影する調整現実システムの複数の部分の例を示す。 画像を投影する調整現実システムの複数の部分の例を示す。 画像を投影する調整現実システムの複数の部分の例を示す。 画像を投影する調整現実システムの複数の部分の例を示す。 図1の調整現実システムの一部の例を示す。 調整現実システムの別の実施形態を示す。 一実施形態によるロジックフローの例を示す。 一実施形態によるロジックフローの例を示す。 一実施形態によるロジックフローの例を示す。 一実施形態によるストレージ媒体を示す。 一実施形態による処理アーキテクチャを示す。
様々な実施形態は概ね、調整現実を生成するためのシステムを対象とする。言い換えれば、本開示は、ディスプレイのウェアラブルコンピューティングデバイスからの投影、およびディスプレイとのインタラクトを提供する。より具体的には、いくつかの例において、本開示は、タッチ入力デバイス(例えば、トラックパッド、タッチディスプレイ等)およびプロジェクタを用いたウェアラブルコンピューティングデバイスを提供する。動作中に、プロジェクタは、ディスプレイを投影し得るが、タッチ入力デバイスは、ユーザがタッチ入力デバイスを介して投影されるディスプレイとインタラクトすることを可能にする。別の例として、プロジェクタを用いるウェアラブルコンピューティングデバイスが提供される。ウェアラブルコンピューティングデバイスは、ユーザコンテキストに基づいて画像を表面上に投影するように構成される。より具体的には、デバイスは、ユーザコンテキストに基づいて特定の遠近感で特定の表面上に画像を投影するように構成され、特定の表面および特定の遠近感は、所望の時点で画像が投影され、ユーザの視覚内に入るように選択される。
ここで図面を参照する。全体を通して、同一の符号は同一の要素を指すべく用いられる。以下の説明において、説明を目的として、多数の具体的な詳細は、十分な理解を提供するべく記載される。しかし、新規な複数の実施形態がこれらの具体的な詳細を用いることなく実施され得ることが明らかであり得る。他の複数の例において、周知の複数の構造体およびデバイスは、その説明を容易にするべくブロック図の形態で示される。その意図は、特許請求の範囲内の全ての修正形態、均等物、および代替形態を包含することである。
図1は、ウェアラブルコンピューティングデバイス100を組み込む調整現実システム1000の実施形態のブロック図である。画像を表面300上に投影するように構成され、投影画像200をもたらすウェアラブルコンピューティングデバイス100が、全体として示される。より具体的には、コンピューティングデバイス100は、視野内にある表面(例えば、表面300)上に画像を投影するように構成される。本明細書において用いられるように、視野は、物理的範囲、地理的範囲、または他の範囲であり得る。具体的には、視野は、人(例えば、1または複数の人の眼)または電子デバイス(例えば、視覚入力デバイス等)により認識できる範囲であり得る。本明細書に提示される多くの例において、提示を分かりやすくすることを目的として、視野という用語は、ユーザの視点と同義語として用いられている。例えば、コンピューティングデバイス100は、デバイス100のユーザの視点に対応する視野内に投影画像200を生成するように構成され得る。しかし、例はこの文脈において限定されない。
更に、ウェアラブルコンピューティングデバイス100は、表面、コンテキスト、物体、および/またはタッチ入力を検出し、検出された表面、コンテキスト、物体、および/またはタッチ入力に基づいてプロジェクタにより投影されるべき画像を選択し、および/または生成するように構成され得る。表面300は、例えば、壁、通り、テーブル等であってもよいことに留意することが重要である。更に、表面300は、空、またはそうでなければ透明もしくは不定形面であってもよい。従って、画像が何に投影されるかという文脈において「表面」という用語の使用は、限定されるものではない。
様々な実施形態において、ウェアラブルコンピューティングデバイス100は、プロセッサコンポーネント110、グラフィックス処理コンポーネント(GPU)120、ストレージ130、プロジェクタ140、カメラ150、タッチ入力デバイス160、インタフェース170、およびセンサ180のうちの1または複数を組み込む。ストレージ130は、制御ルーチン131、画像132、検出された表面133、コンテキスト情報134、ライフロギング情報135、複数のセンサ読み取り値136、およびプロジェクタ制御指示137のうちの1または複数を格納する。
示されないが、ウェアラブルコンピューティングデバイス100は、ネットワークを介して1または複数の他のコンピューティングデバイス(図4を参照)に動作可能に接続され得る。具体的には、ウェアラブルコンピューティングデバイス100は、ネットワークを介して情報(例えば、コンテキスト情報、ライフロギング情報、ディスプレイ情報、タッチ入力情報等)を伝達する複数の信号を複数の他のコンピューティングデバイス(図4を参照)と交換し得る。更に、以下により詳細に説明されるように、デバイス100と共に説明される複数の動作、および/またはメモリ120に格納されるものとして示されるデータは、ウェアラブルコンピューティングデバイス100に通信可能に接続された1または複数のコンピューティングデバイス上で実行され、および/または格納され得る。
ウェアラブルコンピューティングデバイス100において、制御ルーチン131は、様々な機能を実行するロジックを実装するメインプロセッサコンポーネントおよび/またはGPUとしての役割において、プロセッサコンポーネント110および/またはGPU120において機能する命令のシーケンスを組み込む。制御ルーチン131を実行するときに、プロセッサコンポーネント110および/またはGPU120は、プロジェクタ140により投影されるべき画像132を決定する。概して、プロセッサコンポーネント110および/またはGPU120は、タッチ入力デバイス160、コンテキスト情報134、ライフロギング情報135、および/または複数のセンサ読み取り値136からの入力に基づいて画像132を決定する。様々な画像がウェアラブルコンピューティングデバイスにより投影され得ることを理解されたい。更に、特定の画像(例えば、画像132)は、多数の要因に基づいて変わり、そのいくつかは、実装に依存し得る。提示の目的で若干の例がここに提供される。しかし、これらは限定を意図しない。
いくつかの例において、プロセッサコンポーネント110および/またはGPU120は、ウェアラブルコンピューティングデバイスにおいて実行され得る特定のアプリケーションに基づいて画像132を決定し得る。例えば、ウェアラブルコンピューティングデバイスは、例えば、電子メールアプリケーション、コンタクトマネジメントアプリケーション、ウェブブラウザ、マッピングアプリケーション、フィットネスアプリケーション、拡張現実アプリケーション等のような1または複数のアプリケーションを実行するように構成され得る。プロセッサコンポーネント110および/またはGPU120は、アプリケーションの1または複数のユーザインタフェースコンポーネントに基づいて画像132を決定し得る。
制御ルーチン131を実行するときに、プロセッサコンポーネント110および/またはGPU120は、プロジェクタ140に画像132を表面300上に投影させ、投影画像200をもたらす。概して、プロセッサコンポーネント110および/またはGPU120は、ユーザの視点内にあるように、適切な特性(例えば、向き、色、キーストーン補正、明るさ等)を用いて適切な時点においてプロジェクタ140に画像を特定の表面(例えば、表面300)上に投影させる。
例示的な画像、プロセッサコンポーネント110および/またはGPU120による画像の決定、および処理コンポーネント110による特定の表面の選択が以下により詳細に説明される。しかし、複数のそのような動作を説明する前に、(i)コンテキスト情報134を生成する例、および(ii)ライフロギング情報135を生成する例を説明することが有益である。
[コンテキスト情報の生成]
いくつかの例において、プロセッサコンポーネント110および/またはGPU120は、コンテキスト情報134に基づいて画像132を決定し得る。更に、プロセッサコンポーネント110は、コンテキスト情報134に基づいて表面300、および/または画像132を表面300に投影するための方法もしくは形式を決定し得る。概して、コンテキスト情報134は、ウェアラブルコンピューティングデバイス100、および/またはウェアラブルコンピューティングデバイスのユーザ、および/または周囲の環境の特定の「コンテキスト」についての複数の指標を含み得る。具体的には、コンテキスト情報134は、活動レベル、社会的環境、位置、近接コンピューティングデバイス、デバイスまたはユーザの環境、ユーザ特性(例えば、身長、体重、障害等)、ユーザの動き、日付/時間パラメータ、輸送パラメータ(例えば、自動車、航空機、自転車等)、デバイス特性、近接ユーザ、セーフティパラメータ、セキュリティパラメータ、認証パラメータ、センサ情報等の指標を含み得る。
いくつかの例において、処理コンポーネント110は、複数のセンサ読み取り値136からコンテキスト情報134を判断し得る。複数のセンサ読み取り値136は、複数のセンサ180から受信される1または複数の信号、読み取り、指標、または情報に対応し得る。いくつかの例において、複数のセンサ180は、加速度計を含み得る。制御ルーチン131を実行するときに、処理コンポーネント110は、加速度計から出力を受信し、出力を複数のセンサ読み取り値136として格納し得る。次に、コンテキスト情報134は、加速度計からの出力に部分的に基づいて判断された(例えば、動かないことと走ることとの間の値域を定める等の)活動レベルの指標を含み得る。
いくつかの例において、複数のセンサ180は、マイクを含み得る。制御ルーチン131を実行するときに、処理コンポーネント110は、マイクから出力を受信し、出力を複数のセンサ読み取り値136に格納し得る。次に、コンテキスト情報134は、マイクからの出力に部分的に基づいて判断された(例えば、自宅、地下鉄、自動車、オフィスにおける等の)社会的環境の指標を含み得る。
いくつかの例において、複数のセンサ180は、光センサを含み得る。制御ルーチン131を実行するときに、処理コンポーネント110は、光センサから出力を受信し、出力を複数のセンサ読み取り値136に格納し得る。次に、コンテキスト情報134は、光センサからの出力に部分的に基づいて判断された環境光の指標を含み得る。
センサ180がセンサアレイであり得、任意の数のセンサを含み得ることに留意することが重要である。更に、複数のセンサ180のうちの1または複数は、(例えば、図1に示される)ウェアラブルコンピューティングデバイス100内に配置されてもよく、複数のセンサ180のうちの1または複数は、ウェアラブルコンピューティングデバイス100の外部に配置されてもよい。具体的には、ウェアラブルコンピューティングデバイス100は、複数のセンサ180(例えば、近接ビーコン、気象台、モノのインターネット(Internet of Things)等)に通信可能に結合され、出力および複数の信号(例えば、複数のセンサ読み取り値の複数の指標を含む)を複数のセンサ180から受信し得る。
いくつかの例において、プロセッサコンポーネント110は、カメラ150から受信された出力からコンテキスト情報134を判断し得る。例えば、プロセッサコンポーネント110は、カメラ150により撮像された複数の画像の指標を含む出力を、カメラから受信してこれらの画像を複数のセンサ読み取り値136として格納し得る。次に、コンテキスト情報134は、カメラ150から撮像された複数の画像に部分的に基づいて判断されたプライバシーレベル(例えば、グループにおける、1または複数の既知の個々人との、単独等)の指標を含み得る。
[ライフロギング情報の生成]
いくつかの例において、処理コンポーネント110は、複数のセンサ読み取り値136および/またはカメラ出力150からライフロギング情報135を判断し得る。例えば、上述のように、複数のセンサ読み取り値は、カメラ150により撮像された複数の画像の指標を含み得る。処理コンポーネント110は、これらの画像に部分的に基づいてライフロギング情報135を判断し得る。例えば、プロセッサコンポーネント110は、アクセスされた複数の位置、複数のアイテム(例えば、キー、遠隔制御器、財布等)の配置を識別し、そのような情報の複数の指標をライフロギング情報135として格納し得る。
いくつかの例において、複数のセンサ180は、全地球測位システム(GPS)センサを含み得る。制御ルーチン131を実行するときに、処理コンポーネント110は、GPSセンサから出力を受信し、出力を複数のセンサ読み取り値136として格納し得る。次に、ライフロギング情報135は、GPSセンサからの出力に部分的に基づいて判断されるGPS追跡、アクセスされた区域、複数の特定位置における時間等の指標を含み得る。
いくつかの例において、プロセッサコンポーネント110は、カメラ150から受信された出力からライフロギング情報135を判断し得る。例えば、ライフロギング情報135は、カメラ150から撮像された複数の画像に部分的に基づいて判断される、アイテム(例えば、キー、財布、遠隔制御器等)が最後に見られた位置の指標を含み得る。
[画像投影]
上述のように、処理コンポーネント110および/またはGPU120は、画像132を決定する。更に、処理コンポーネント110は、画像1232を投影するための表面を選択すると共に、様々な投影特性を決定する。例えば、処理コンポーネント110および/またはGPU120は、アプリケーションのユーザインタフェース要素、コンテキスト情報134、および/またはライフロギング情報135の1または複数に基づいて画像132を決定し得る。
処理コンポーネント110および/またはGPU120は、アプリケーション用のユーザインタフェースを含むように画像132を生成し得る。更に、処理コンポーネント110および/またはGPU120は、タッチ入力デバイス160から受信された入力に基づいて画像132を生成するように構成され得る。例えば、画像132は、電子メールアプリケーション用のユーザインタフェースを含み得る。処理コンポーネント110および/またはGPU120は、電子メールアプリケーション用のユーザインタフェース、およびタッチ入力デバイス160から受信されたタッチ入力の指標を含む複数の信号に基づいて、画像132を生成し得る。より具体的には、画像132は、電子メールアプリケーション用のユーザインタフェースを含み得、タッチ入力デバイスからの入力に基づいて動的に変化し得る。
いくつかの例において、処理コンポーネント110および/またはGPU120は、ライフロギング情報135に基づいて画像132を生成するように構成され得る。例えば、画像132は、1または複数の実物体の上方、この周囲、または隣接して投影されるインジケータ(例えば、矢印、星、輪郭、符号等)を含み得る。そのようにして、ウェアラブルコンピューティングデバイス100は、拡張現実、具体的には実際の現実に最小限だけ侵入する拡張現実を提供し得る。例えば、処理コンポーネント110および/またはGPU120は、最後の既知の位置がライフロギング情報135に記録された複数の物体を強調表示するように画像132を生成し得る。別の例において、処理コンポーネント110および/またはGPUは、ライフロギング情報135に記録された経路または進路を再追跡するように画像132を生成し得る。
いくつかの例において、処理コンポーネント110および/またはGPU120は、コンテキスト情報134に基づいて画像132を生成するように構成され得る。例えば、画像132は、フィットネスアプリケーション用のユーザインタフェースを含み得る。処理コンポーネント110および/またはGPU120は、フィットネスアプリケーション用のユーザインタフェースおよびコンテキスト情報134に基づいて画像132を生成し得る。具体的には、画像132は、ユーザインタフェースの複数のコンポーネントがコンテキスト情報に基づいて変化する、フィットネスアプリケーション用のユーザインタフェースを含み得る。例えば、ユーザインタフェースは、カウントがコンテキスト情報134に基づいて変化する「反復カウンタ」(例えば、カウントアップ、カウントダウン等)を含み得る。上述のように、コンテキスト情報134は、複数のセンサ180から受信された複数の信号に基づいた動きの複数の指標を含み得る。
従って、コンテキスト情報134は、(例えば、複数のセンサ180から受信された複数の信号に基づいて)反復的な動きが生じた回数を含み得る。そのような情報は、画像132に表され得る。特に具体的な例において、コンテキスト情報134は、完了した運動(例えば、腹筋運動、腕立て伏せ、懸垂、スクワット、ベンチプレス等)の反復回数を表し得る。処理コンポーネント110および/またはGPU120は、反復回数の指標を含む画像132を生成するように構成され得る。例えば、画像132は、完了した反復回数、知られた反復のセットに残された反復回数等を含み得る。
いくつかの例において、処理コンポーネント110および/またはGPU120は、コンテキスト情報134に基づいて画像132を生成するように構成され得る。例えば、画像132は、マッピングアプリケーション用のユーザインタフェースを含み得る。処理コンポーネント110および/またはGPU120は、コンテキスト情報134における位置情報(例えば、GPS位置、通り認識情報等)に基づいて、取る方向または経路を示すように投影されるインジケータ(例えば、矢印等)を含む画像132を生成し得る。処理コンポーネント110および/またはGPU120は、コンテキスト情報の変更(例えば、位置の変更等)に基づいて画像132を動的に変更し得る。
制御ルーチン131を実行するときに、処理コンポーネント110は、ウェアラブルデバイス100に隣接する多数の表面(例えば、表面300)を検出する。いくつかの例において、プロセッサコンポーネント110は、カメラ150から、ウェアラブルコンピューティングデバイス100に隣接する複数の表面の指標を含む複数の信号を受信し得る。具体的には、プロセッサコンポーネント110は、壁、テーブル、フロア、道路、建物、机の縁部等をウェアラブルコンピューティングデバイス100に隣接する表面として検出し得る。言い換えれば、処理コンポーネント110は、カメラ150から出力を受信し、出力に少なくとも部分的に基づいてウェアラブルコンピューティングデバイスに隣接する多数の表面を検出し得る。更に、処理コンポーネント110は、検出された複数の表面の指標を検出された表面133として格納し得る。いくつかの例において、処理コンポーネント110は、コンテキスト情報134および/または複数のセンサ読み取り値136に基づいて、表面を空間(例えば、空)における地点として検出し得る。具体的には、処理コンポーネント110は、コンテキスト情報134および/または複数のセンサ読み取り値136に含まれるユーザの頭部の位置、ユーザの眼の方向等の指標から空間における地点を検出し得る。
制御ルーチン131を実行するときに、処理コンポーネント110は、画像132を投影するための表面を決定する。より具体的には、処理コンポーネント110は、画像132が投影される表面300を決定する。概して、処理コンポーネント110は、検出された複数の表面133から表面300を決定する。いくつかの例において、処理コンポーネント110は、プロジェクタ140に基づいて表面300を決定する。例えば、処理コンポーネント110は、検出された複数の表面133、およびプロジェクタ140が投影することができる表面のタイプ(例えば、平坦、つや消し、色等)に基づいて表面300を決定し得る。いくつかの例において、プロジェクタ140は、ホログラフィックプロジェクタであり得る。従って、検出された複数の表面133は、空、ガラス、または他の複数のタイプのプロジェクタが投影するには好適でない場合がある表面(例えば、LCD、CRT等)を含み得る。
いくつかの例において、処理コンポーネント110は、画像132のコンテンツ、ならびにコンテキスト情報134および/またはライフロギング情報135に基づいて検出された複数の表面から表面300を決定し得る。例えば、画像132がマッピングアプリケーションを含む場合、処理コンポーネント110は、コンテキスト情報134において示される移動速度および/またはコンテキスト情報134において示されるユーザの視点に基づいて表面300を決定し得る。具体的には、処理コンポーネント110は、表面が道路、建物の壁等であると判断し得る。更に、処理コンポーネント110は、コンテキスト情報134に基づいて投影画像200の焦点および/または解像度を調整し得る。例えば、ユーザの頭部が動いている(例えば、ユーザが腹筋運動を行っている等)ことをコンテキスト情報が示す場合、処理コンポーネント110は、ユーザの頭部が動くときに、画像がユーザに焦点を合わせたままになるように投影画像200の焦点を動的に調整し得る。
別の例として、画像132が私的および/または秘密情報を含む場合、処理コンポーネント110は、コンテキスト情報134に示される社会的環境および/またはユーザの視点に基づいて表面300を決定し得る。具体的には、処理コンポーネント110は、表面300がユーザには見えるが、当該社会的環境内の他者には見えない表面であると判断し得る。
制御ルーチン131を実行するときに、処理コンポーネント110は、プロジェクタ制御指示137を生成する。概して、プロジェクタ制御指示137は、表面300上に画像132を投影するようにプロジェクタ140に指示し、投影画像200をもたらす。いくつかの例において、処理コンポーネント110は、画像132を投影するための向きの複数の指標を含むようにプロジェクタ制御指示137を生成し得る。いくつかの例において、処理コンポーネント110は、画像132に対する色の複数の指標を含むようにプロジェクタ制御指示137を生成し得る。いくつかの例において、処理コンポーネント110は、画像132に対するキーストーン補正の複数の指標を含むようにプロジェクタ制御指示137を生成し得る。いくつかの例において、処理コンポーネント110は、画像132に対する最適なカラーパレットの複数の指標を含むようにプロジェクタ制御指示137を生成し得る。
いくつかの例において、処理コンポーネント110は、画像を投影するべく用いられる電力を保持するようにプロジェクタ制御指示137を生成し得る。具体的には、処理コンポーネント110は、電力消費量が低減されるように、投影画像200をユーザの視点に対して表示することを目的としてプロジェクタ制御指示137を生成し得る。例えば、運動を行うユーザは、表面300から周期的に視線をそらす場合がある(例えば、反復の一部の最中、走っている最中に一歩幅おきに等)。従って、プロジェクタ制御指示137は、プロジェクタ140に画像132を周期的に投影させ得る。具体的には、プロジェクタ140は、ユーザが表面300を見ていると予期される期間中は画像132を投影し、ユーザが表面300を見ていると予期されない場合には画像132を投影することができない。
様々な実施形態において、プロセッサコンポーネント110および/または複数のプロセッサコンポーネント210は、多種多様な商業上入手可能なプロセッサのいずれかを含み得る。更に、これらのプロセッサコンポーネントのうちの1または複数としては、マルチプロセッサ、マルチスレッドプロセッサ、マルチコアプロセッサ(複数のコアが同一または別個のダイ上に共存しているか否かを問わない)、および/または複数の物理的に別個のプロセッサが何らかの形でリンクされるいくつかの他の様々なマルチプロセッサアーキテクチャが挙げられ得る。
様々な実施形態において、GPU120は、多種多様な商業上入手可能なグラフィックス処理ユニットのいずれかを含み得る。更に、これらのグラフィックス処理ユニットのうちの1または複数は、専用メモリ、マルチスレッド処理機能、および/またはいくつかの他の並行処理機能を有し得る。
様々な実施形態において、ストレージ130は、場合によって電力の中断されない提供を必要とする複数の揮発性技術を含み、場合によって取り外し可能であり得るか、そうでない場合がある機械可読ストレージ媒体の使用を必要とする複数の技術を含む、多種多様な情報ストレージ技術のいずれかに基づき得る。従って、これらのストレージの各々は、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、ダイナミックRAM(DRAM)、ダブルデータレートDRAM(DDR‐DRAM)、シンクロナスDRAM(SDRAM)、スタティックRAM(SRAM)、プログラマブルROM(PROM)、消去可能プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、フラッシュメモリ、ポリマーメモリ(例えば、強誘電体ポリマーメモリ)、オボニックメモリ、相変化もしくは強誘電体メモリ、シリコン・酸化物・窒化物・酸化物・シリコン(SONOS)メモリ、磁気もしくは光カード、1もしくは複数の個別の強磁性ディスクドライブ、または1もしくは複数のアレイに組織化された複数のストレージデバイス(例えば、独立ディスク冗長アレイによるアレイ、すなわちRAIDアレイに組織化された複数の強磁性ディスクドライブ)を含むが、これらに限定されない多種多様なタイプのストレージデバイス(または複数のタイプの組み合わせ)のいずれかを含み得る。これらのストレージの各々は、単一のブロックとして図示されるが、これらのうちの1または複数は、異なる複数のストレージ技術に基づき得る複数のストレージデバイスを含み得ることに留意されたい。従って、例えば、これらの図示される複数のストレージの各々のうち1または複数は、複数のプログラムおよび/またはデータが何らかの形態の機械可読ストレージ媒体上に格納および搬送され得る光ドライブもしくはフラッシュメモリカードリーダ、比較的長期間、複数のプログラムおよび/もしくはデータをローカルに格納するための強磁性ディスクドライブ、ならびに複数のプログラムおよび/またはデータへの比較的速いアクセスを可能にする1もしくは複数の揮発性ソリッドステートメモリデバイス(例えば、SRAMもしくはDRAM)の組み合わせを表し得る。また、これらのストレージの各々は、同一のストレージ技術に基づく複数のストレージコンポーネントから構成され得ることにも留意されたい。しかし、これらは、使用法が専門化した結果として別々に維持され得る(例えば、いくつかのDRAMデバイスは、メインストレージとして使用されるが、他の複数のDRAMデバイスは、グラフィックスコントローラの別個のフレームバッファとして使用される)。
様々な実施形態において、プロジェクタ140は、例えば、LCDプロジェクタ、CRTプロジェクタ、LEDプロジェクタ、DLPプロジェクタ、ホログラフィックプロジェクタ等のような様々なプロジェクタのいずれかを含み得る。
様々な実施形態において、カメラ150は、3Dカメラを含む、画像を撮像するように構成された電子センサを含む様々なカメラのいずれかを含み得る。
様々な実施形態において、タッチ入力デバイス160は、ユーザのタッチに応答して出力を生成するように構成された様々なデバイスのいずれかであり得る。例えば、タッチ入力デバイス160は、静電容量型タッチデバイス、電気機械型タッチデバイス等であり得る。
様々な実施形態において、インタフェース170は、説明されたように複数のコンピューティングデバイスが複数の他のデバイスに結合されることを可能にする多種多様なシグナリング技術のいずれかを使用し得る。これらのインタフェースの各々は、そのような結合を可能にするのに必須の機能のうちの少なくともいくつかを提供する回路を含み得る。しかし、これらのインタフェースの各々は、やはり、(例えば、プロトコルスタックまたは他の複数の機能を実装するべく)複数のプロセッサコンポーネントのうちの対応するものにより実行される複数の命令の複数のシーケンスと共に少なくとも部分的に実装され得る。電気的および/または光学的伝導性のケーブル配線が使用される場合、これらのインタフェースは、RS‐232C、RS‐422、USB、Ethernet(登録商標)(IEEE‐802.3)、またはIEEE‐1394を含むが、これらに限定されない様々な業界標準のいずれかに適合するシグナリングおよび/または複数のプロトコルを使用し得る。無線信号送信の使用が必要とされる場合、これらのインタフェースは、IEEE802.11a、802.11b、802.11g、802.11n、802.16、802.20(通常、「モバイルブロードバンド無線アクセス」と称される)、Bluetooth(登録商標)、Zigbee(登録商標)、または汎用パケット無線サービスを用いるGSM(登録商標)(GSM(登録商標)/GPRS)、CDMA/1xRTT、広域展開用高速データレート(EDGE)、エボリューション・データオンリ/オプティマイズド(EV‐DO)、エボリューション・フォー・データ・アンド・ボイス(EV‐DV)、高速ダウンリンクパケットアクセス(HSDPA)、高速アップリンクパケットアクセス(HSUPA)、4G LTE等のようなセルラー無線電話サービスを含むが、これらに限定されない様々な業界標準のいずれかに適合するシグナリングおよび/または複数のプロトコルを使用し得る。
様々な例において、センサ180は、例えば、加速度計、マイク、ジャイロスコープ、GPSセンサ、磁気センサ等のような1または複数のセンサを含み得る。
図2A〜図2Dは、プロジェクタ制御指示137および画像132に基づいてプロジェクタ140により投影され得る例示的な複数の投影画像200を示す。概して、画像132は、投影画像200の複数の指標を含む。具体的には、画像132は、光を投影して表面300上に表示される投影画像200をもたらすためにプロジェクタ140に必要なデータを含む。
図2Aをより具体的に参照すると、画像132およびプロジェクタ制御指示137に基づいてプロジェクタ140により投影され得る例示的な投影画像201が示されている。示されるように、投影画像201は、UIコンポーネント211、212、および213を有するユーザインタフェース(UI)210を含み得る。電子メールアプリケーションの文脈において、UIコンポーネント211、212、および213は、メールボックスにおける電子メールに対応し得る。投影画像201は、強調表示部分220も含み得る。強調表示部分220は、タッチ入力デバイス160から受信される複数の信号に基づいて動的に変化し得る。例えば、ユーザは、タッチ入力デバイス160を用いてUIコンポーネント211、212、および213を「スクロール」し得る。
図2Bをより具体的に参照すると、画像132およびプロジェクタ制御指示137に基づいてプロジェクタ140により投影され得る別の例示的な投影画像202が示されている。示されるように、投影画像202は、物体301の周囲に投影され得る。具体的には、多数の物体(例えば、301‐1、301‐2、301‐3、301‐4、および301‐5)が表面300上に示されている。プロセッサコンポーネント110は、複数の物体301のうちの1つを認識し、画像を認識された物体上、その上方、周囲、または隣接して投影するように構成され得る。例えば、物体301‐5の周囲の表面300上に投影された画像202が示される。従って、ウェアラブルコンピューティングデバイス100は、ユーザキー等のユーザ用の物体を「強調表示」または「ポイント」し得る。
図2Cをより具体的に参照すると、画像132およびプロジェクタ制御指示137に基づいてプロジェクタ140により投影され得る別の例示的な投影画像203が示されている。示されるように、画像203は、UIコンポーネント231を有するユーザインタフェース(UI)230を含む。フィットネスアプリケーションの文脈において、UIコンポーネント231は、反復カウンタ、タイマ等に対応し得る。UIコンポーネント231は、コンテキスト情報134(例えば、検出された動き、動きが開始して以来の経過時間等)に基づいて動的に変化し得る。例えば、UIコンポーネント231は、ユーザが活動の反復回数および/または経過時間を見ることができるように動的に変化し得る。
図2Dをより具体的に参照すると、画像132およびプロジェクタ制御指示137に基づいてプロジェクタ140により投影され得る別の例示的な投影画像204が示されている。示されるように、投影画像204は、表面300上に投影され得るインジケータ(例えば、矢印)である。例えば、マッピングアプリケーションの文脈において、インジケータは、表面(例えば、歩道等)上に投影され、進む方向の視覚的指標を提供し得る。インジケータは、コンテキスト情報134(例えば、検出された動き、検出された位置等)に基づいて(例えば、カーブした矢印、停止サイン等に)動的に変化し得る。
図3は、図1の調整現実システム1000の実施形態における複数の部分のブロック図である。図3は、システム1000の動作の複数の態様を全体として示す。様々な実施形態において、制御ルーチン131は、オペレーティングシステム、デバイスドライバ、および/またはアプリケーションレベルルーチン(例えば、ディスク媒体において提供されるいわゆる「ソフトウェアスイート」、遠隔サーバから取得される「アプレット」等)のうちの1または複数を含み得る。オペレーティングシステムが含まれる場合、オペレーティングシステムは、プロセッサコンポーネント110および/またはGPU120のうちの対応するものが何であっても適している、様々な利用可能なオペレーティングシステムのいずれかであり得る。1または複数のデバイスドライバが含まれる場合、それらのデバイスドライバは、ハードウェアコンポーネントまたはソフトウェアコンポーネントであるかを問わず、ウェアラブルコンピューティングシステム100の様々な他のコンポーネントのいずれかに対するサポートを提供し得る。
図3に示されるように、制御ルーチン131(例えば、制御ルーチン131‐1)は、表面検出器1314および投影コーディネータ1315を含む。更に、いくつかの例において、制御ルーチン131(例えば、制御ルーチン131‐2)は、コンテキストエンジン1311、ライフロギングエンジン1312、および物体アウェアネスエンジン1313を含む。いくつかの実施形態では、コンテキスト情報134およびライフロギング情報135の生成、ならびに物体の認識および追跡は、別のコンピューティングデバイスにより実行され得ることに留意することが重要である(図4を参照)。例えば、ウェアラブルコンピューティングデバイスに(例えば、無線ネットワーク等を介して)通信可能に接続されたコンピューティングデバイスは、より演算集約的な複数の動作を実行し得る。更に、いくつかの情報(例えば、コンテキスト情報134および/またはライフロギング情報135)は、例えば、ウェアラブルコンピューティングデバイス100において利用可能なメモリを保持するべく、別のコンピューティングデバイスに格納され得る。
概して、制御ルーチン131は、画像132を表面300上に投影させ、投影画像200をもたらす。具体的には、制御ルーチン131は、表面、コンテキスト、物体、および/またはタッチ入力を検出する。制御ルーチン131は、ユーザに見える特定の特性を有し、プロジェクタにより特定の表面上に投影される画像を生成する。画像、表面、および特性は、検出された表面、コンテキスト、物体、および/またはタッチ入力に基づいて決定される。
投影コーディネータ1315は、ウェアラブルコンピューティングデバイス100のコンテキストの指標を含むコンテキスト情報134に基づいて、プロジェクタ制御指示137を生成する。具体的には、コンテキストは、複数のセンサ180からの出力(例えば、複数のセンサ読み取り値136)に基づいたデバイス100のコンテキストに関する情報を含む。プロジェクタ制御指示137は、プロジェクタ140に画像132を表面300上に投影させ、ユーザの視野および/または焦点内にある投影画像200をもたらす。
いくつかの例において、投影コーディネータ1315は、コンテキスト情報134およびタッチ入力デバイス160からの出力に基づいて、プロジェクタ制御指示を生成する。より具体的には、投影コーディネータ1315は、タッチ入力デバイス160を介してユーザが投影画像200とインタラクトすることを可能にし得る。
いくつかの例において、投影コーディネータ1315は、画像を投影するための表面(例えば、表面300)を決定する。具体的には、投影コーディネータ1315は、表面検出器により検出された1または複数の表面から当該表面を決定し得る。表面検出器1314は、装置に隣接する1または複数の表面を検出する。いくつかの例において、表面検出器1314は、カメラ150から撮像された複数の画像に基づいてデバイス100に隣接する複数の表面を検出する。投影コーディネータ1315は、ユーザの視点の複数の指標に基づいて画像を投影するための表面を決定し得る。具体的には、コンテキストは、例えば、複数のセンサ読み取り値136および/またはカメラ150により撮像された複数の画像に基づいたユーザの視点の指標を含み得る。
いくつかの例において、投影コーディネータ1315は、(i)ユーザの視点および(ii)ユーザの視点内の表面を決定する。例えば、投影コーディネータ1315は、センサ出力および/またはユーザの視点を追跡するべく用いられる様々なデバイスから受信された複数の信号からユーザの視点を決定し得る。具体的には、投影コーディネータ135は、視標追跡デバイス、頭部着用カメラ、および/または(例えば、光検出器等により検出される)光の検出可能な投影から受信された複数の信号から、ユーザの視点を決定し得る。
更に、投影コーディネータ1315は、例えば、向き、キーストーン補正、および最適なカラーパレット等のような画像を投影するための1または複数の特性を決定し得る。そのような特性は、コンテキスト情報134、ライフロギング情報135、または他の情報に基づき得る。プロジェクタ制御指示137は、プロジェクタ140に所望の特性で画像132を投影させるべく、これらの特性を含み得る。
いくつかの例において、コンテキストは、活動レベルである。例えば、センサ180は、加速度計を含み得る。従って、コンテキスト情報134は、加速度計から受信された複数の信号に基づく活動レベルの指標を含み得る。いくつかの例において、コンテキスト情報134は、カメラから撮像された画像に基づき得る。具体的には、コンテキスト情報は、カメラ150により撮像された画像に適応される複数の画像分析技術(例えば、顔認識、位置認識等)に基づいて決定され得るもののような社会的環境の指標を含み得る。
いくつかの例において、複数のセンサ180は、全地球測位システム(GPS)センサを含む。複数のそのような例において、コンテキスト情報134は、デバイス100の位置の指標を含み得る。
いくつかの例においては、制御ルーチン131は、コンテキストエンジン1311を含む。複数のそのような例において、コンテキストエンジンは、ネットワーク接続されたコンピューティングデバイスからコンテキスト情報134を受信するように構成され得る。別の例として、コンテキストエンジン1311は、複数のセンサ読み取り値136および/またはカメラ150により撮像された複数の画像に基づいてコンテキスト情報134を判断するように構成され得る。
いくつかの例において、投影コーディネータ1315は、ライフロギング情報135に基づいてプロジェクタ制御指示137を生成する。概して、ライフロギング情報135は、複数のセンサ読み取り値136および/またはカメラ150により撮像された複数の画像に少なくとも部分的に基づいたデバイス100の履歴の指標を含む。具体的には、ライフロギング情報135は、デバイス100によりアクセスされた位置、特定の複数の物体が配置された箇所等の履歴を含み得る。
いくつかの例においては、制御ルーチンは、ライフロギングエンジン1312を含む。複数のそのような例において、ライフロギングエンジン1312は、ネットワーク接続されたコンピューティングデバイスからライフロギング情報135を受信するように構成され得る。別の例として、ライフロギングエンジン1312は、複数のセンサ読み取り値136および/またはカメラ150により撮像された複数の画像に基づいてライフロギング情報135を判断するように構成され得る。
いくつかの例において、制御ルーチン131は、物体アウェアネスエンジン1313を含み得る。概して、物体アウェアネスエンジンは、カメラ150により撮像された複数の画像における複数の物体を識別または認識するように構成される。例えば、物体アウェアネスエンジン1313は、カメラ150により撮像された複数の画像における特定のアイテム(例えば、キー、財布、眼鏡、遠隔制御器等)を検出し得る。従って、物体アウェアネスエンジン1313は、見られた物体、またはデバイス100のユーザもしくは着用者の視野内の物体を検出するように構成され得る。
図4は、調整現実システム1001を示す。示されるように、システム1001は、画像を表面300上に投影するように構成されたウェアラブルコンピューティングデバイス100を含み、投影画像200をもたらす。更に、システム1001は、ネットワーク600を介してウェアラブルコンピューティングデバイス100に通信可能に結合されたサーバ400および第2のウェアラブルコンピューティングデバイス500を含む。システム1001は、図1および図3のシステム1000と共に説明される。更に、第2のウェアラブルコンピューティングデバイス500は、上記のウェアラブルコンピューティングデバイス100に実質的に類似し得る。具体的には、画像を表面301上に投影し、投影画像205をもたらす第2のウェアラブルコンピューティングデバイス500が示される。
概して、サーバ400は、ウェアラブルコンピューティングデバイス100および/または第2のウェアラブルコンピューティングデバイス500から複数のセンサ読み取り値136を受信して、コンテキスト情報134およびライフロギング情報135を判断するように構成され得る。更に、サーバ400は、ウェアラブルコンピューティングデバイス100および/または500のカメラ150により撮像された複数の画像において複数の物体を認識するように構成され得る。
ウェアラブルコンピューティングデバイス100は、上記のように画像132およびプロジェクタ制御指示137を生成するように構成され得る。更に、ウェアラブルコンピューティングデバイス100は、第2のウェアラブルコンピューティングデバイス500と調整して画像132およびプロジェクタ制御指示137を生成するように構成され得る。より具体的には、サーバ400は、デバイス100およびデバイス500の両方からの複数のセンサ読み取り値に基づいて、コンテキスト情報134およびライフロギング情報135を判断するように構成され得る。従って、ウェアラブルコンピューティングデバイス100は、デバイス100および500の両方からの複数のセンサ読み取り値に基づいて、画像132およびプロジェクタ制御指示137を生成し得る。更に、ウェアラブルコンピューティングデバイス100は、デバイス500の複数の投影機能、デバイス500に隣接する複数の表面等に基づいて、画像132およびプロジェクタ制御指示137を生成し得る。
いくつかの例において、デバイス100および500は、同一面上への複数の画像の投影を調整し得る。より具体的には、表面300および表面301は、いくつかの例における同一面であり得る。
図5〜図7は、システム1000内の複数のコンポーネントにより実装され得る複数のロジックフローの例示的な実施形態を示す。示される複数のロジックフローは、本明細書に説明される1または複数の実施形態により実行される動作のうちのいくつか、または全てを表し得る。より具体的には、これらのロジックフローは、少なくとも制御ルーチン131を実行するときに、複数のプロセッサコンポーネント110および/またはGPU120により実行される複数の動作を示し得る。
複数のロジックフローは、図1、図2A〜図2Dおよび図3を参照して説明されるが、例はこの文脈において限定されない。
図5をより具体的に参照すると、ロジックフロー1100が示されている。ロジックフロー1100は、ブロック1110において開始し得る。ブロック1110において、調整現実システムにおけるウェアラブルコンピューティングデバイスのプロセッサコンポーネント(例えば、システム1000におけるウェアラブルコンピューティングデバイス100のプロセッサコンポーネント110)は、複数の隣接面を検出する。例えば、制御ルーチン131が投影コーディネータ1315を実行することにより、ウェアラブルコンピューティングデバイス100に、表面300を含む複数の隣接面を検出させ、これらの隣接面の指標を検出された表面133として格納させ得る。
ブロック1120へと続いて、ウェアラブルコンピューティングデバイスのプロセッサコンポーネントは、コンテキスト情報に部分的に基づいて、検出された複数の表面から1つの表面を決定する。例えば、投影コーディネータ1315は、コンテキスト情報134に基づいて、検出された表面133から表面300を決定し得る。具体的には、投影画像200がユーザの視点および焦点内にあるように、投影コーディネータ1315は、ユーザの視点および/または焦点の指標を含むコンテキスト情報134に基づいて表面300を決定し得る。
ブロック1130へと続いて、ウェアラブルコンピューティングデバイスのプロセッサコンポーネントは、プロジェクタに画像を決定された表面上に投影させるべくプロジェクタ制御指示を生成する。例えば、投影コーディネータ1315は、プロジェクタ400に画像132を表面300上に投影させべく、プロジェクタ制御指示137を生成し得る。
図6をより具体的に参照すると、ロジックフロー1200が示されている。ロジックフロー1200は、ブロック1210において開始し得る。ブロック1210において、調整現実システムにおけるウェアラブルコンピューティングデバイスのプロセッサコンポーネント(例えば、システム1000におけるウェアラブルコンピューティングデバイス100のプロセッサコンポーネント110)は、投影を起動するための要求を受信する。例えば、投影コーディネータ1315は、(例えば、音声コマンド、モーションジェスチャ、タッチジェスチャ、ボタン押し等により)ウェアラブルコンピューティングデバイス100の複数の投影機能を起動するための要求を受信し得る。
ブロック1220へと続いて、ウェアラブルコンピューティングデバイスのプロセッサコンポーネントは、複数の隣接面を検出する。例えば、制御ルーチン131が投影コーディネータ1315を実行することにより、ウェアラブルコンピューティングデバイス100に、表面300を含む複数の隣接面を検出させ、これらの隣接面の指標を検出された表面133として格納させ得る。
ブロック1230へと続いて、ウェアラブルコンピューティングデバイスのプロセッサコンポーネントは、コンテキスト情報に部分的に基づいて、検出された複数の表面から1つの表面を決定する。例えば、投影コーディネータ1315は、コンテキスト情報134に基づいて、検出された表面133から表面300を決定し得る。具体的には、投影画像200がユーザの視点および焦点内にあるように、投影コーディネータ1315は、ユーザの視点および/または焦点の指標を含むコンテキスト情報134に基づいて表面300を決定し得る。
ブロック1240へと続いて、ウェアラブルコンピューティングデバイスのプロセッサコンポーネントは、ユーザのタッチの指標を含むタッチ入力デバイスから複数の信号を受信する。例えば、投影コーディネータ1315は、タッチ入力デバイス160から複数の信号を受信し得る。ブロック1250へと続いて、ウェアラブルコンピューティングデバイスのプロセッサコンポーネントは、プロジェクタに画像を決定された表面上に投影させるべくプロジェクタ制御指示を生成し、この画像は、ユーザのタッチの受信された指標に応答する。例えば、投影コーディネータ1315は、プロジェクタ400に画像132を表面300上に投影させるべくプロジェクタ制御指示137を生成し得、投影画像200は、ユーザのタッチ(例えば、タッチ入力デバイス160から受信された複数の信号)に応答する。
図7をより具体的に参照すると、ロジックフロー1300が示されている。ロジックフロー1300は、ブロック1310において開始し得る。ブロック1310において、調整現実システムにおけるウェアラブルコンピューティングデバイスのプロセッサコンポーネント(例えば、システム1000におけるウェアラブルコンピューティングデバイス100のプロセッサコンポーネント110)は、投影を起動するための要求を受信する。例えば、投影コーディネータ1315は、(例えば、音声コマンド、モーションジェスチャ、タッチジェスチャ、ボタン押し等により)ウェアラブルコンピューティングデバイス100の複数の投影機能を起動するための要求を受信し得る。
ブロック1320へと続いて、ウェアラブルコンピューティングデバイスのプロセッサコンポーネントは、複数の隣接面を検出する。例えば、制御ルーチン131が投影コーディネータ1315を実行することにより、ウェアラブルコンピューティングデバイス100に、表面300を含む複数の隣接面を検出させ、これらの隣接面の指標を検出された表面133として格納させ得る。
ブロック1330へと続いて、ウェアラブルコンピューティングデバイスのプロセッサコンポーネントは、コンテキスト情報に部分的に基づいて、検出された複数の表面から1つの表面を決定する。例えば、投影コーディネータ1315は、コンテキスト情報134に基づいて、検出された表面133から表面300を決定し得る。具体的には、投影画像200がユーザの視点および焦点内にあるように、投影コーディネータ1315は、ユーザの視点および/または焦点の指標を含むコンテキスト情報134に基づいて表面300を決定し得る。
ブロック1340へと続いて、ウェアラブルコンピューティングデバイスのプロセッサコンポーネントは、ライフロギング情報に基づいて物体の位置を判断する。具体的には、プロセッサコンポーネントは、ユーザの視野内の物体の位置を判断する。例えば、物体アウェアネスエンジン1313は、カメラ150により撮像された複数の画像における物体を認識して、これらの撮像画像および/またはユーザの視野内にある物体の位置を判断し得る。ブロック1250へと続いて、ウェアラブルコンピューティングデバイスのプロセッサコンポーネントは、プロジェクタに決定された表面上に画像を投影させるべくプロジェクタ制御指示を生成し、この画像は、認識された物体の位置を強調表示する。例えば、投影コーディネータ1315は、プロジェクタ400に画像132を表面300上に投影させるべくプロジェクタ制御指示137を生成し得、投影画像は、認識された物体の位置を強調表示する。
図8は、ストレージ媒体2000の実施形態を示す。ストレージ媒体2000は、製造物品を備え得る。いくつかの例において、ストレージ媒体2000は、光ストレージ、磁気ストレージ、または半導体ストレージ等、任意の非一時的コンピュータ可読媒体または機械可読媒体を含み得る。ストレージ媒体2000は、ロジックフロー1100、1200、および/または1300を実装するための複数の命令等、様々なタイプのコンピュータ実行可能命令2001を格納し得る。コンピュータ可読または機械可読ストレージ媒体の例としては、揮発性メモリもしくは非揮発性メモリ、リムーバブルメモリもしくは非リムーバブルメモリ、消去可能もしくは非消去可能メモリ、書き込み可能メモリまたは再書き込み可能メモリ等を含む、電子データを格納することができる任意の有形媒体が挙げられ得る。コンピュータ実行可能命令の例としては、ソースコード、コンパイル済みコード、変換済みコード、実行可能コード、スタティックコード、ダイナミックコード、オブジェクト指向コード、視覚コード等のような任意の好適なタイプのコードが挙げられ得る。例はこの文脈において限定されるものではない。
図9は、上記の様々な実施形態を実装するのに好適な例示的な処理アーキテクチャ3000の実施形態を図示する。より具体的には、処理アーキテクチャ3000(またはその変形形態)は、ウェアラブルコンピューティングデバイス100の一部として実装され得る。
処理アーキテクチャ3000は、1または複数のプロセッサ、マルチコアプロセッサ、コプロセッサ、メモリユニット、チップセット、コントローラ、周辺機器、インタフェース、発振器、タイミングデバイス、ビデオカード、オーディオカード、マルチメディア入出力(I/O)コンポーネント、電源等を含むがこれらに限定されない、デジタル処理において一般に使用される様々な要素を含み得る。本願において用いられるように、「システム」および「コンポーネント」という用語は、デジタル処理が実行されるコンピューティングデバイスのエンティティを指すことを意図し、当該エンティティは、ハードウェア、ハードウェアおよびソフトウェアの組み合わせ、ソフトウェア、または実行中のソフトウェアであり、これらの例は、図示されるこの例示的な処理アーキテクチャにより提供される。例えば、コンポーネントは、プロセッサコンポーネント上で実行される処理、プロセッサコンポーネント自体、光および/もしくは磁気ストレージ媒体を使用し得るストレージデバイス(例えば、ハードディスクドライブ、アレイにおける複数のストレージドライブ等)、ソフトウェアオブジェクト、複数の命令の実行可能なシーケンス、実行スレッド、プログラム、ならびに/またはコンピューティングデバイス全体(例えば、コンピュータ全体)であり得るが、これらに限定されない。例示として、サーバ上で実行されるアプリケーションおよびサーバの両方が、コンポーネントであり得る。1または複数のコンポーネントは、処理および/または実行スレッド内に存在し得、コンポーネントは、1つのコンピューティングデバイス上に局部化され、および/または2つまたはそれより多くのコンピューティングデバイスの間に分散され得る。更に、複数のコンポーネントは、複数の動作を調整するための様々なタイプの通信媒体により互いに通信可能に結合され得る。調整は、情報の一方向または双方向の交換を伴い得る。例えば、複数のコンポーネントは、通信媒体を介して通信される複数の信号の形態で情報を通信し得る。情報は、1または複数の信号線に割り当てられた複数の信号として実装され得る。(コマンド、ステータス、アドレス、またはデータのメッセージを含む)メッセージは、複数のそのような信号のうちの1つであってもよく、または複数のそのような信号であってもよく、様々な接続および/またはインタフェースのいずれかを介してシリアルもしくは実質的にパラレルのいずれかで送信されてもよい。
示されるように、処理アーキテクチャ3000を実装するときに、コンピューティングデバイスは、少なくともプロセッサコンポーネント950、ストレージ960、複数の他のデバイスへのインタフェース990、および結合955を含み得る。説明されるように、そのようなコンピューティングデバイスは、意図される使用および/または使用の条件を含む、処理アーキテクチャ3000を実装するコンピューティングデバイスの様々な態様に応じて、ディスプレイインタフェース985のような追加の複数のコンポーネントを更に含み得るが、これらに限定されない。
結合955は、1もしくは複数のバス、ポイントツーポイント相互接続、トランシーバ、バッファ、クロスポイントスイッチ、ならびに/または少なくともプロセッサコンポーネント950をストレージ960に通信可能に結合する他の複数の導体および/もしくはロジックを含み得る。
結合955は、インタフェース990、オーディオサブシステム970、およびディスプレイインタフェース985(これらおよび/または更に複数の他のコンポーネントのどれが存在するかに応じて)のうちの1または複数に、プロセッサコンポーネント950を更に結合し得る。プロセッサコンポーネント950は、そのように結合955により結合されるので、前述の複数のコンピューティングデバイスのいずれが処理アーキテクチャ3000を実装するにしても、プロセッサコンポーネント950は、縷々上記した複数のタスクの様々なものを実行することができる。結合955は、複数の信号が光学的および/または電気的に搬送される様々な複数の技術または複数の技術の組み合わせのいずれかを用いて実装され得る。更に、結合955の少なくとも複数の部分は、アクセラレーティッドグラフィックスポート(AGP)、CardBus、拡張業界標準アーキテクチャ(E‐ISA)、マイクロチャネルアーキテクチャ(MCA)、NuBus、周辺構成要素相互接続(拡張)(PCI‐X)、PCIエクスプレス(PCI‐E)、パーソナルコンピュータメモリカード国際協会(PCMCIA)バス、ハイパートランスポート(登録商標)、QuickPath等を含むが、これらに限定されない多種多様な業界標準のいずれかに適合する複数のタイミングおよび/またはプロトコルを使用し得る。
上述のように、プロセッサコンポーネント950(プロセッサコンポーネント110および/または210に対応する)は、多種多様な技術のいずれかを使用し、任意の数の態様で物理的に組み合わされた1または複数のコアと共に実装される、多種多様な商業上入手可能なプロセッサのいずれかを含み得る。
上述のように、ストレージ960(ストレージ130および/または230に対応する)は、多種多様な技術または複数の技術の組み合わせのいずれかに基づいた1または複数の別個のストレージデバイスから構成され得る。より具体的には、図示されるように、ストレージ960は、揮発性ストレージ961(例えば、RAM技術の1または複数の形態に基づくソリッドステートストレージ)、不揮発性ストレージ962(例えば、コンテンツを保持するべく電力の恒常的プロビジョニングを必要としないソリッドステートストレージ、強磁性ストレージ、もしくは他のストレージ)、およびリムーバブルメディアストレージ963(例えば、複数のコンピューティングデバイス間で情報が搬送され得るリムーバブルディスクもしくはソリッドステートメモリカードストレージ)のうちの1または複数を含み得る。場合によって複数の別個のタイプのストレージを含むものとしてストレージ960をこのように図示することにより、あるタイプが比較的高速の読み取りおよび書き込み機能を提供し、プロセッサコンポーネント950によりデータのより迅速な操作を可能にし、(しかし、場合によっては電力を絶えず必要とする「揮発性」技術を用いる)が、別のタイプが比較的高密度の不揮発性ストレージを提供する(しかし、比較的低速の読み取りおよび書き込み機能を提供する可能性がある)2つ以上のタイプのストレージデバイスがコンピューティングデバイスにおいて通常使用されることが認識される。
異なる複数の技術を使用する異なるストレージデバイスのしばしば異なる特性を考慮すると、そのような複数の異なるストレージデバイスが、異なる複数のインタフェースを介して異なる複数のストレージデバイスに結合される異なる複数のストレージコントローラを介して、コンピューティングデバイスの他の複数の部分に結合されることもよく見られる。揮発性ストレージ961が提示され、RAM技術に基づく例としては、揮発性ストレージ961は、場合によって行および列のアドレス指定を使用する揮発性ストレージ961に適切なインタフェースを提供するストレージコントローラ965aを介して、結合955に通信可能に結合され得、ストレージコントローラ965aは、揮発性ストレージ961内に格納された情報を保持する助けとなるように、行リフレッシュおよび/または他の複数のメンテナンスタスクを実行し得る。別の例として、不揮発性ストレージ962が存在し、1または複数の強磁性ディスクドライブおよび/またはソリッドステートディスクドライブを含む場合、不揮発性ストレージ962は、ストレージコントローラ965bを介して結合955に通信可能に結合され、場合により情報ならびに/または複数のシリンダおよびセクタの複数のブロックのアドレス指定を使用する不揮発性ストレージ962に、適切なインタフェースを提供し得る。リムーバブルメディアストレージ963が存在し、1または複数個の機械可読ストレージ媒体969を使用する1または複数の光および/またはソリッドステートディスクドライブを含む更に別の例として、リムーバブルメディアストレージ963は、ストレージコントローラ965cを介して結合955に通信可能に結合され、場合によって情報の複数のブロックのアドレス指定を使用するリムーバブルメディアストレージ963に、適切なインタフェースを提供し得、ストレージコントローラ965cは、機械可読ストレージ媒体969の耐用年数を伸ばすことに固有の態様で読み取り、消去、書き込みの動作を調整し得る。
揮発性ストレージ961および不揮発性ストレージ962の一方または他方は、各々が基づく技術に応じて、様々な実施形態を実装するために、プロセッサコンポーネント950により実行可能な複数の命令のシーケンスを含むルーチンが格納され得る機械可読ストレージ媒体の形態の製造物品を含み得る。例として、不揮発性ストレージ962が強磁性ベースの複数のディスクドライブ(例えば、いわゆる「ハードドライブ」)を含む場合、そのような各ディスクドライブは通常、複数の命令のシーケンス等の情報をフロッピディスケット等のストレージ媒体と類似の態様で格納するべく、磁気的応答性粒子のコーティングが堆積され、様々なパターンで磁気的に方向付けられた1または複数の回転プラッタを使用する。別の例として、不揮発性ストレージ962は、命令の複数のシーケンス等の情報をコンパクトフラッシュ(登録商標)カードに類似の態様で格納するための複数のソリッドステートストレージデバイスのバンクから構成され得る。また、異なる時点で複数の実行可能ルーチンおよび/またはデータを格納するべく、コンピューティングデバイスにおいて異なるタイプのストレージデバイスを使用することは通常のことである。従って、様々な実施形態を実装するべくプロセッサコンポーネント950により実行される複数の命令のシーケンスを含むルーチンは、機械可読ストレージ媒体969に最初に格納され得、リムーバブルメディアストレージ963は、次に、機械可読ストレージ媒体969の継続的存在を必要としないより長い期間の格納のための不揮発性ストレージ962に、および/または当該ルーチンが実行される場合にプロセッサコンポーネント950によるより迅速なアクセスを可能とする揮発性ストレージ961に当該ルーチンをコピーするときに使用され得る。
上述のように、インタフェース990(インタフェース160および/または260に対応する)は、コンピューティングデバイスを1または複数の他のデバイスに通信可能に結合するべく使用され得る様々な通信技術のいずれかに対応する様々なシグナリング技術のいずれかを使用し得る。また、様々な形態の有線または無線シグナリングの一方または両方は、場合によってはネットワークまたは相互接続されたネットワークのセットを介してプロセッサコンポーネント950が複数の入出力デバイス(例えば、示される例示的なキーボード920もしくはプリンタ925)、および/または複数の他のコンピューティングデバイスとインタラクトすることを可能にするべく使用され得る。多くの場合に任意の1つのコンピューティングデバイスによりサポートされなければならない複数のタイプのシグナリングおよび/またはプロトコルのしばしば大幅に異なる性質を認識して、インタフェース990は、複数の異なるインタフェースコントローラ995a、995b、および995cを含むものとして図示される。インタフェースコントローラ995aは、シリアルに送信される複数のメッセージを、図示されるキーボード920のような複数のユーザ入力デバイスから受信するべく、様々なタイプの有線のデジタルシリアルインタフェースまたは無線周波数の無線インタフェースのいずれかを使用し得る。インタフェースコントローラ995bは、図示されるネットワーク300(場合によっては1または複数のリンクで構成されるネットワーク、より小さい複数のネットワーク、または場合によってはインターネット)を介して複数の他のコンピューティングデバイスにアクセスするべく、様々なケーブルベースもしくは無線のシグナリング、タイミング、および/またはプロトコルのいずれかを使用し得る。インタフェース995cは、様々な導電性のケーブル配線のいずれかを使用して、シリアルまたはパラレル信号伝送のいずれかの使用を可能にし、図示されるプリンタ925にデータを搬送し得る。インタフェース990の1または複数のインタフェースコントローラを介して通信可能に結合され得る複数のデバイスの他の例としては、マイク、遠隔制御器、スタイラスペン、カードリーダ、指紋リーダ、仮想現実インタラクショングローブ、グラフィカル入力タブレット、ジョイスティック、他のキーボード、網膜スキャナ、タッチスクリーンのタッチ入力コンポーネント、トラックボール、様々なセンサ、人々がコマンドおよび/またはジェスチャおよび/または顔の表情によりそれらの人々よってシグナリングされたデータを受け取る動きをモニタリングするためのカメラもしくはカメラアレイ、サウンド、レーザプリンタ、インクジェットプリンタ、機械ロボット、ミリングマシン等が挙げられるが、これらに限定されない。
コンピューティングデバイスがディスプレイ(例えば、ディスプレイ150および/または250に対応する、示された例示的なディスプレイ980)に通信可能に結合され(または場合により、実際にこれを組み込む)場合、処理アーキテクチャ3000を実装するそのようなコンピューティングデバイスは、ディスプレイインタフェース985も含み得る。より一般化された複数のタイプのインタフェースがディスプレイに通信可能に結合する場合に使用され得るが、多くの場合に、ディスプレイ上で様々な形態のコンテンツを視覚的に表示するときに必要とされるやや特殊な追加の処理、ならびに用いられる複数のケーブルベースのインタフェースのやや特殊な性質は、多くの場合、所望の別個のディスプレイインタフェースのプロビジョニングを行う。ディスプレイ980の通信結合においてディスプレイインタフェース985により使用され得る有線および/または無線シグナリング技術は、様々なアナログビデオインタフェース、デジタルビデオインタフェース(DVI)、DisplayPort等のいずれかを含むが、これらに限定されない様々な業界標準のいずれかに適合するシグナリングおよび/または複数のプロトコルを用い得る。
より一般的には、本明細書に説明され、図示される複数のコンピューティングデバイスの様々な要素は、様々なハードウェア要素、ソフトウェア要素、または双方の組み合わせを含み得る。複数のハードウェア要素の例としては、デバイス、論理デバイス、コンポーネント、プロセッサ、マイクロプロセッサ、回路、プロセッサコンポーネント、回路素子(例えば、トランジスタ、レジスタ、コンデンサ、インダクタ等)、集積回路、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、メモリユニット、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等が挙げられ得る。ソフトウェア要素の例としては、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、ソフトウェア開発プログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、方法、手順、ソフトウェアインタフェース、アプリケーションプログラムインタフェース(API)、命令セット、演算コード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、記号、またはこれらの任意の組み合わせが挙げられ得る。しかし、所与の実装に所望されるように、実施形態がハードウェア要素および/またはソフトウェア要素を用いて実装されるか否かの判断は、所望の演算レート、電力レベル、耐熱性、処理サイクルバジェット、入力データレート、出力データレート、メモリリソース、データバスの速度、および他の設計または性能の制約等、任意の数の要因に応じて変わり得る。
いくつかの実施形態は、「一実施形態」または「実施形態」という表現を、それらの派生語と共に用いて説明され得る。これらの用語は、実施形態に関連して説明される特定の機能、構造、または特性が少なくとも一実施形態に含まれることを意味する。本明細書の様々な箇所において「一実施形態において」という文言が現れる場合、その全てが同一の実施形態を必ずしも指すわけではない。 更に、いくつかの実施形態は、「結合される」および「接続される」という表現を、それらの派生語と共に用いて説明され得る。これらの用語は、互いに同義語として必ずしも意図されるものではない。例えば、いくつかの実施形態は、2またはそれより多くの要素が互いに直に物理的または電気的に接触することを示すべく、「接続される」および/または「結合される」という用語を用いて説明される場合がある。しかし、「結合される」という用語は、2つまたはそれより多い要素が互いに直には接触しないが、互いになおも協働または相互作用することも意味し得る。更に、異なる実施形態の態様または要素は、組み合わされてもよい。
本開示の要約は、読者が技術的開示の本質を速やかに確認することを可能にするべく提供されていることが強調される。本開示は、特許請求の範囲または意味を解釈または限定するべく用いられるものではないとの理解に従うものと考えられる。更に、上述の詳細な説明において、様々な機能は、本開示を効率的なものにする目的で単一の実施形態に互いにグループ化されることを見て取ることができる。本開示のこの方法は、特許請求される実施形態が各請求項において明示的に列挙されるものより多くの機能を必要とするとの意図を反映すると解釈されるものではない。むしろ、以下の特許請求の範囲が反映するように、発明の主題は、開示される単一の実施形態の全ての機能よりは少ないものに存する。従って、以下の特許請求の範囲は、本明細書の詳細な説明に組み込まれ、各請求項は、別個の実施形態として独立している。添付の特許請求の範囲において、「含む」および「その中で(in which)という用語は、「備える(comprising)」および「そこで(wherein)」という各用語と同等の平易な英語として各々用いられる。更に、「第1の」、「第2の」、「第3の」等の用語は、単に符号として用いられ、その対象に数値的要求を課することを意図しない。
上記された事柄は、開示されるアーキテクチャの複数の例を含む。勿論、複数のコンポーネントおよび/または方法論の考えられるあらゆる組み合わせを記載することは可能ではないが、当業者は、多くの更なる組み合わせおよび変形が可能であることを認識し得る。従って、新規なアーキテクチャは、添付の特許請求の範囲の趣旨および範囲内に包含される全てのそのような変更形態、修正形態、および変形形態を含むことを意図する。ここで、詳細な本開示は、更なる実施形態に関する複数の例の提供に取り掛かる。以下に提供される複数の例は、限定的であることを意図しない。
例1。複数の画像を投影するように構成されたウェアラブルコンピューティングデバイスのための装置であって、装置は、画像を投影するためのプロジェクタと、出力を生成するためのセンサと、プロジェクタおよびセンサに動作可能に結合された投影コーディネータとを備え、投影コーディネータは、センサの出力に少なくとも部分的に基づいて視野を決定し、プロジェクタに画像を視野内の表面上に投影させるためのプロジェクタ制御指示を生成する。
例2。例1の装置において、センサは、デバイスのユーザに対するコンテキスト情報を生成し、投影コーディネータは、コンテキスト情報に部分的に基づいてプロジェクタ制御指示を生成する。
例3。例1の装置において、センサは、第1のセンサであり、装置は、投影コーディネータに動作可能に結合された第2のセンサを備え、第2のセンサは、デバイスのユーザに対するコンテキスト情報を生成し、投影コーディネータは、コンテキスト情報に部分的に基づいてプロジェクタ制御指示を生成する。
例4。例1の装置において、センサは、視標追跡デバイス、カメラ、または光検出器のうちの1または複数を更に有し、投影コーディネータは、視標追跡デバイス、カメラ、または光検出器から受信された複数の信号に基づいて視野を決定する。
例5。例1の装置において、センサは、センサアレイであり、センサアレイは、タッチ入力デバイスを含み、投影コーディネータは、更に、タッチ入力デバイスから受信された複数の信号に部分的に基づいてプロジェクタ制御指示を生成する。
例6。例1の装置は、投影コーディネータに動作可能に結合されたカメラを備え、投影コーディネータは、カメラにより撮像された画像に部分的に基づいて、社会的環境の指標を含むコンテキスト情報を生成し、社会的環境に部分的に基づいてプロジェクタ制御指示を生成する。
例7。例1の装置において、センサは、ユーザに対するコンテキスト情報を生成し、センサは、ユーザの活動レベルを示すコンテキスト情報を生成するための加速度計を有し、投影コーディネータは、コンテキスト情報に部分的に基づいてプロジェクタ制御指示を生成する。
例8。例1の装置において、センサは、デバイスに対するコンテキスト情報を生成し、センサは、デバイスの位置を示すコンテキスト情報を生成するべく、全地球測位システム(GPS)センサを有し、投影コーディネータは、コンテキスト情報に部分的に基づいてプロジェクタ制御指示を生成する。
例9。例2〜8のいずれか1つの装置は、ネットワーク接続されたコンピューティングデバイスからコンテキスト情報を受信するためのコンテキストエンジンを備える。
例10。例2〜8のいずれか1つの装置は、センサ出力に基づいてコンテキスト情報を判断するためのコンテキストエンジンを備える。
例11。例1の装置において、投影コーディネータは、更にライフロギング情報に部分的に基づいてプロジェクタ制御指示を生成し、ライフロギング情報は、センサ出力に部分的に基づいたデバイスの履歴の指標を含む。
例12。例1の装置は、投影コーディネータに動作可能に結合されたカメラを備え、投影コーディネータは、更にライフロギング情報に部分的に基づいてプロジェクタ制御指示を生成し、ライフロギング情報は、カメラにより撮像された画像に部分的に基づいたデバイスの履歴の指標を含む。
例13。例12の装置において、投影コーディネータは、更に、カメラにより撮像された画像において認識された物体に部分的に基づいてプロジェクタ制御指示を生成する。
例14。例13の装置は、認識された物体の指標をネットワーク接続されたコンピューティングデバイスから受信するための物体アウェアネスエンジンを備える。
例15。例11〜14のいずれか1つの装置は、ネットワーク接続されたコンピューティングデバイスからライフロギング情報を受信するためのライフロギングエンジンを備える。
例16。例11〜14のいずれか1つの装置は、センサ出力に基づいてライフロギング情報を判断するためのライフロギングエンジンを備える。
例17。例12〜14のいずれか1つの装置は、カメラにより撮像された画像に基づいてライフロギング情報を判断するためのライフロギングエンジンを備える。
例18。例1の装置は、投影コーディネータに動作可能に結合された表面検出器を備え、表面検出器は、装置に隣接する1または複数の表面を検出する。
例19。例18の装置は、投影コーディネータおよび表面検出器に動作可能に結合されたカメラを備え、表面検出器は、カメラにより撮像された画像に基づいて1または複数の表面を検出する。
例20。例18〜19のいずれか1つの装置において、投影コーディネータは、コンテキスト情報に少なくとも部分的に基づいて、検出された1または複数の表面から画像を投影するための表面を決定する。
例21。例20の装置において、コンテキスト情報は、視野の指標を含み、投影コーディネータは、視野に基づいて検出された1または複数の表面から表面を決定する。
例22。例1〜21のいずれか1つの装置において、プロジェクタ制御指示は、向きの指標、キーストーン補正の指標、または最適なカラーパレットの指標のうちの少なくとも1つを含む。
例23。例1〜21のいずれか1つの装置において、装置は、ウェアラブルコンピューティングデバイスである。
例24。例1〜21のいずれか1つの装置において、ウェアラブルコンピューティングデバイスは、リング、時計、ネックレス、ブレスレット、眼鏡、ベルト、シューズ、グローブ、帽子、イヤピース、イヤリング、プロテーゼ、または取り外し可能な衣類を備える。
例25。例1〜21のいずれか1つの装置において、視野は、デバイスのユーザにより認識することができる地理的範囲である。
例26。複数の画像を投影するように構成されたウェアラブルコンピューティングデバイスにより実装される方法であって、方法は、1または複数の表面を検出する段階と、センサからの出力に少なくとも部分的に基づいて視野内で検出された1または複数の表面のうちの1つを決定する段階と、プロジェクタに視野内の表面上に画像を投影させるためのプロジェクタ制御指示を生成する段階とを備える。
例27。例26の方法は、視標追跡デバイス、カメラ、または光検出器のうちの1または複数から受信された複数の信号に基づいて視野を決定する段階を備える。
例28。例26の方法は、カメラにより撮像された画像に基づいて1または複数の表面を検出する段階を備える。
例29。例26の方法において、センサは、センサアレイであり、センサアレイは、タッチ入力デバイスを含み、方法は、更に、タッチ入力デバイスから受信された複数の信号に部分的に基づいてプロジェクタ制御指示を生成する段階を備える。
例30。例26の方法は、デバイスのユーザに対するコンテキスト情報を受信する段階を備え、コンテキスト情報は、センサからの出力に基づく。
例31。例26の方法は、コンテキスト情報を受信する段階を備え、コンテキスト情報は、カメラにより撮像された画像に部分的に基づく社会的環境の指標を含む。
例32。例26の方法において、センサは、加速度計を含み、方法は、加速度計からの出力に基づいてユーザの活動レベルを示すコンテキスト情報を受信する段階を備える。
例33。例26の方法において、センサは、全地球測位システム(GPS)センサを含み、方法は、GPSセンサからの出力に基づいて、デバイスの位置の指標を含むコンテキスト情報を受信する段階を備える。
例34。例30〜33のいずれか1つの方法は、ネットワーク接続されたコンピューティングデバイスからコンテキスト情報を受信する段階を備える。
例35。例30〜33のいずれか1つの方法は、センサ出力に基づいてコンテキスト情報を判断する段階を備える。
例36。例26の方法は、更にライフロギング情報に部分的に基づいてプロジェクタ制御指示を生成する段階を備え、ライフロギング情報は、センサ出力に部分的に基づく装置の履歴の指標を含む。
例37。例26の方法は、更にライフロギング情報に部分的に基づいてプロジェクタ制御指示を生成する段階を備え、ライフロギング情報は、カメラにより撮像された画像に部分的に基づいた装置の履歴の指標を含む。
例38。例37の方法は、更に、カメラにより撮像された画像において認識された物体に部分的に基づいてプロジェクタ制御指示を生成する段階を備える。
例39。例38の方法は、認識された物体の指標をネットワーク接続されたコンピューティングデバイスから受信する段階を備える。
例40。例36〜39のいずれか1つの方法は、ネットワーク接続されたコンピューティングデバイスからライフロギング情報を受信する段階を備える。
例41。例36〜39のいずれか1つの方法は、センサ出力に基づいてライフロギング情報を判断する段階を備える。
例42。例36〜39のいずれか1つの方法は、カメラにより撮像された画像に基づいてライフロギング情報を判断する段階を備える。
例43。例30〜33のいずれか1つの方法は、コンテキストに少なくとも部分的に基づいて検出された1または複数の表面から表面を決定する段階を備える。
例44。例43の方法において、コンテキストは、視野の指標を含み、方法は、視野に基づいて検出された1または複数の表面から表面を決定する段階を備える。
例45。例26〜44のいずれか1つの方法において、視野は、デバイスのユーザにより認識することができる地理的範囲である。
例46。例26〜44のいずれか1つの方法において、プロジェクタ制御指示は、向きの指標、キーストーン補正の指標、または最適なカラーパレットの指標のうちの少なくとも1つを含む。
例47。少なくとも1つの機械可読媒体は、複数の画像を投影するように構成されたウェアラブルコンピューティングデバイス上で実行されることに応答して、ウェアラブルコンピューティングデバイスに例26〜46のいずれかの方法を実行させる複数の命令を備える。
例48。複数の画像を投影するように構成されたウェアラブルコンピューティングデバイスのための装置であって、装置は、プロセッサと、プロセッサに動作可能に接続されたプロジェクタと、プロセッサにより実行されることにに応答して、プロジェクタに、例26〜46のいずれか1つの方法に従って表面上に画像を投影させる複数の命令を含むメモリとを備える。
例49。複数の画像を投影するように構成されたウェアラブルコンピューティングデバイスのための装置であって、装置は、1または複数の表面を検出するための手段と、センサからの出力に少なくとも部分的に基づいて視野内で検出された1または複数の表面のうちの1つを決定するための手段と、プロジェクタに視野内の表面上に画像を投影させるためのプロジェクタ制御指示を生成するための手段とを備える。
例50。例49の装置は、視標追跡デバイス、カメラ、または光検出器のうちの1または複数から受信された複数の信号に基づいて視野を決定するための手段を備える。
例51。例49の装置は、カメラにより撮像された画像に基づいて1または複数の表面を検出するための手段を備える。
例52。例49の装置において、センサは、センサアレイであり、センサアレイは、タッチ入力デバイスを含み、装置は、更に、タッチ入力デバイスから受信された複数の信号に部分的に基づいてプロジェクタ制御指示を生成するための手段を備える。
例53。例49の装置は、デバイスのユーザに対するコンテキスト情報を受信するための手段を備え、コンテキスト情報は、センサからの出力に基づく。
例54。例49の装置は、コンテキスト情報を受信するための手段を備え、コンテキスト情報は、カメラにより撮像された画像に部分的に基づく社会的環境の指標を含む。
例55。例49の装置において、センサは、加速度計を含み、装置は、加速度計からの出力に基づいてユーザの活動レベルを示すコンテキスト情報を受信するための手段を備える。
例56。例49の装置において、センサは、全地球測位システム(GPS)センサを含み、装置は、GPSセンサからの出力に基づいて、デバイスの位置の指標を含むコンテキスト情報を受信するための手段を備える。
例57。例53〜56のいずれか1つの装置は、ネットワーク接続されたコンピューティングデバイスからコンテキスト情報を受信するための手段を備える。
例58。例53〜56のいずれか1つの装置は、センサ出力に基づいてコンテキスト情報を判断するための手段を備える。
例59。例49の装置は、更にライフロギング情報に部分的に基づいてプロジェクタ制御指示を生成するための手段を備え、ライフロギング情報は、センサ出力に部分的に基づいた装置の履歴の指標を含む。
例60。例49の装置は、更にライフロギング情報に部分的に基づいてプロジェクタ制御指示を生成するための手段を備え、ライフロギング情報は、カメラにより撮像された画像に部分的に基づいた装置の履歴の指標を含む。
例61。例60の装置は、更に、カメラにより撮像された画像において認識された物体に部分的に基づいてプロジェクタ制御指示を生成するための手段を備える。
例62。例61の装置は、認識された物体の指標をネットワーク接続されたコンピューティングデバイスから受信するための手段を備える。
例63。例59〜62のいずれか1つの装置は、ネットワーク接続されたコンピューティングデバイスからライフロギング情報を受信するための手段を備える。
例64。例59〜62のいずれか1つの装置は、センサ出力に基づいてライフロギング情報を判断するための手段を備える。
例65。例59〜62のいずれか1つの装置は、カメラにより撮像された画像に基づいてライフロギング情報を判断するための手段を備える。
例66。例59〜62のいずれか1つの装置は、コンテキストに少なくとも部分的に基づいて検出された1または複数の表面から表面を決定するための手段を備える。
例67。例66の装置において、コンテキストは、視野の指標を含み、装置は、視野に基づいて検出された1または複数の表面から表面を決定するための手段を備える。
例68。例48〜67のいずれか1つの装置において、視野は、デバイスのユーザにより認識することができる地理的範囲である。
例69。例48〜67のいずれか1つの装置において、プロジェクタ制御指示は、向きの指標、キーストーン補正の指標、または最適なカラーパレットの指標のうちの少なくとも1つを含む。

Claims (34)

  1. ウェアラブルコンピューティングデバイスのための装置であって、
    画像を投影するためのプロジェクタと、
    出力を生成するためのセンサと、
    前記プロジェクタおよび前記センサに動作可能に結合された投影コーディネータとを備え、
    前記投影コーディネータは、
    前記センサの出力に少なくとも部分的に基づいて視野を決定し
    前記センサの出力に部分的に基づく物体が配置された箇所の履歴を含むライフロギング情報に部分的に基づいて、前記プロジェクタに、前記物体を強調表示するインジケータを含む第1の画像を前記視野内の表面上に投影させるプロジェクタ制御指示を生成する、装置。
  2. 前記投影コーディネータは、前記ライフロギング情報に記録された進路を再追跡するように、前記プロジェクタに、進む方向を示すインジケータを含む第2の画像を前記視野内の表面上に投影させるプロジェクタ制御指示を生成する、請求項1に記載の装置。
  3. 前記表面は、前記プロジェクタが投影することができる表面のタイプに基づいて決定される、請求項1または2に記載の装置。
  4. 前記センサは、視標追跡デバイス、カメラ、または光検出器のうちの1または複数を更に有し、
    前記投影コーディネータは、前記視標追跡デバイス、前記カメラ、または前記光検出器から受信された複数の信号に基づいて前記視野を決定する、請求項1から3のいずれか一項に記載の装置。
  5. 前記センサは、センサアレイであり、
    前記センサアレイは、タッチ入力デバイスを含み、
    前記投影コーディネータは、更に、前記タッチ入力デバイスから受信された複数の信号に部分的に基づいて前記プロジェクタ制御指示を生成する、請求項1から3のいずれか一項に記載の装置。
  6. 前記投影コーディネータに動作可能に結合されたカメラを備え、
    前記投影コーディネータは、前記カメラにより撮像された画像に部分的に基づいて、社会的環境の指標を含むコンテキスト情報を生成し、前記社会的環境に部分的に基づいてプロジェクタ制御指示を生成する、請求項1から5のいずれか一項に記載の装置。
  7. 前記センサは、コンテキスト情報を生成し、
    前記投影コーディネータは、前記コンテキスト情報に部分的に基づいてプロジェクタ制御指示を生成し、
    前記センサは、ユーザの活動レベルを示す前記コンテキスト情報を生成するための加速度計を有し、または前記センサは、デバイスの位置を示す前記コンテキスト情報を生成するための全地球測位システム(GPS)センサを有する、請求項1から5のいずれか一項に記載の装置。
  8. 前記投影コーディネータに動作可能に結合された表面検出器を備え、
    前記表面検出器は、前記装置に隣接する1または複数の表面を検出する、請求項1から5のいずれか一項に記載の装置。
  9. 前記投影コーディネータおよび前記表面検出器に動作可能に結合されたカメラを備え、
    前記表面検出器は、前記カメラにより撮像された画像に基づいて前記1または複数の表面を検出する、請求項8に記載の装置。
  10. 前記投影コーディネータは、コンテキスト情報に少なくとも部分的に基づいて、検出された前記1または複数の表面から前記画像を投影するための表面を決定する、請求項9に記載の装置。
  11. 前記プロジェクタ制御指示は、向きの指標、キーストーン補正の指標、または最適なカラーパレットの指標のうちの少なくとも1つを含む、請求項1から10のいずれか1項に記載の装置。
  12. 前記視野は、デバイスのユーザにより認識することができる地理的範囲である、請求項1から11のいずれか1項に記載の装置。
  13. 複数の画像を投影するウェアラブルコンピューティングデバイスのための装置であって、
    1または複数の表面を検出するための手段と、
    センサからの出力に少なくとも部分的に基づいて、視野内で検出された前記1または複数の表面のうちの1つの表面を決定するための手段と
    前記センサの出力に部分的に基づく物体が配置された箇所の履歴を含むライフロギング情報に部分的に基づいて、プロジェクタに、前記物体を強調表示するインジケータを含む第1の画像を前記視野内の決定された前記表面上に投影させるプロジェクタ制御指示を生成するための手段とを備える、装置。
  14. 前記ライフロギング情報に記録された進路を再追跡するように前記プロジェクタに、進む方向を示すインジケータを含む第2の画像を前記視野内の決定された前記表面上に投影させるプロジェクタ制御指示を生成する手段を更に備える、請求項13に記載の装置。
  15. 前記表面は、前記プロジェクタが投影することができる表面のタイプに基づいて決定される、請求項13または14に記載の装置。
  16. 前記ライフロギング情報は、カメラにより撮像された画像に部分的に基づくデバイスの履歴の指標を含む、請求項13から15のいずれか一項に記載の装置。
  17. 更に、前記カメラにより撮像された前記画像において認識された物体に部分的に基づいて前記プロジェクタ制御指示を生成するための手段を備える、請求項16に記載の装置。
  18. 前記カメラにより撮像された前記画像に基づいて前記ライフロギング情報を判断するための手段を備える、請求項17に記載の装置。
  19. ネットワーク接続されたコンピューティングデバイスから前記ライフロギング情報を受信するための手段を備える、請求項13から18のいずれか1項に記載の装置。
  20. 認識された前記物体の指標をネットワーク接続されたコンピューティングデバイスから受信するための手段を備える、請求項13から19のいずれか一項に記載の装置。
  21. コンピュータに、
    1または複数の表面を検出する手順と、
    センサからの出力に少なくとも部分的に基づいて視野内で検出された前記1または複数の表面のうちの1つの表面を決定する手順と
    前記センサの出力に部分的に基づく物体が配置された箇所の履歴を含むライフロギング情報に部分的に基づいて、プロジェクタに、前記物体を強調表示するインジケータを含む第1の画像を前記視野内の決定された前記表面上に投影させるプロジェクタ制御指示を生成する手順とを実行させる、コンピュータプログラム。
  22. 前記ライフロギング情報に記録された進路を再追跡するように前記プロジェクタに、進む方向を示すインジケータを含む第2の画像を前記視野内の決定された前記表面上に投影させるプロジェクタ制御指示を生成する手順を前記コンピュータに更に実行させる、請求項21に記載のコンピュータプログラム。
  23. 前記表面は、前記プロジェクタが投影することができる表面のタイプに基づいて決定される、請求項21または22に記載のコンピュータプログラム。
  24. 更に、カメラにより撮像された画像に基づいて、前記コンピュータに前記1または複数の表面を検出する手順を実行させる、請求項21から23のいずれか一項に記載のコンピュータプログラム。
  25. 前記センサは、センサアレイであり、
    前記センサアレイは、タッチ入力デバイスを含み、
    更に前記タッチ入力デバイスから受信された複数の信号に部分的に基づいて、前記コンピュータに前記プロジェクタ制御指示を更に生成する手順を実行させる、請求項21から24のいずれか一項に記載のコンピュータプログラム。
  26. 前記センサは、加速度計であり、
    コンテキスト情報は、装置の活動レベルの指標を含む、請求項21から25のいずれか一項に記載のコンピュータプログラム。
  27. 前記コンピュータに、ネットワーク接続されたコンピューティングデバイスからコンテキスト情報を更に受信する手順を実行させる、請求項21から26のいずれか一項に記載のコンピュータプログラム。
  28. 前記コンピュータに、コンテキストに少なくとも部分的に基づいて検出された前記1または複数の表面から前記表面を更に決定する手順を実行させる、請求項21から27のいずれか一項に記載のコンピュータプログラム。
  29. ウェアラブルコンピューティングデバイスにより実装される方法であって、
    1または複数の表面を検出する段階と、
    第1のセンサからの出力に基づいて視野を決定する段階と、
    第2のセンサからの出力に少なくとも部分的に基づいて、前記視野内で検出された前記1または複数の表面のうちの1つの表面を決定する段階と
    前記第1のセンサまたは前記第2のセンサの出力に部分的に基づく物体が配置された箇所の履歴を含むライフロギング情報に部分的に基づいて、プロジェクタに、前記物体を強調表示するインジケータを含む第1の画像を前記視野内の決定された前記表面上に投影させるプロジェクタ制御指示を生成する段階とを備える、方法。
  30. 前記ライフロギング情報に記録された進路を再追跡するように、前記プロジェクタに、進む方向を示すインジケータを含む第2の画像を前記視野内の決定された前記表面上に投影させるプロジェクタ制御指示を生成する段階を更に備える、請求項29に記載の方法。
  31. 前記表面は、前記プロジェクタが投影することができる表面のタイプに基づいて決定される、請求項29または30に記載の方法。
  32. 記ライフロギング情報は、カメラにより撮像された画像に部分的に基づく装置の履歴の指標を含む、請求項29から31のいずれか一項に記載の方法。
  33. 更に、前記カメラにより撮像された前記画像において認識された物体に部分的に基づいて前記プロジェクタ制御指示を生成する段階を備える、請求項32に記載の方法。
  34. 請求項21から28のいずれか1項に記載のコンピュータプログラムを格納するためのコンピュータ可読記録媒体。
JP2017508677A 2014-09-23 2015-08-21 ウェアラブル調整現実システムおよび方法 Active JP6515179B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/494,146 2014-09-23
US14/494,146 US9924143B2 (en) 2014-09-23 2014-09-23 Wearable mediated reality system and method
PCT/US2015/046223 WO2016048504A1 (en) 2014-09-23 2015-08-21 Wearable mediated reality system and method

Publications (2)

Publication Number Publication Date
JP2017535095A JP2017535095A (ja) 2017-11-24
JP6515179B2 true JP6515179B2 (ja) 2019-05-15

Family

ID=55526994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017508677A Active JP6515179B2 (ja) 2014-09-23 2015-08-21 ウェアラブル調整現実システムおよび方法

Country Status (7)

Country Link
US (1) US9924143B2 (ja)
EP (1) EP3198860A4 (ja)
JP (1) JP6515179B2 (ja)
KR (1) KR102321132B1 (ja)
CN (1) CN106576156B (ja)
TW (1) TWI641968B (ja)
WO (1) WO2016048504A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159539B (zh) * 2015-09-10 2018-06-01 京东方科技集团股份有限公司 可穿戴设备的触控响应方法、装置及可穿戴设备
US10891574B2 (en) * 2015-11-17 2021-01-12 Target Brands, Inc. Planogram resetting using augmented reality in a retail environment
US10297085B2 (en) 2016-09-28 2019-05-21 Intel Corporation Augmented reality creations with interactive behavior and modality assignments
DE102017200484A1 (de) 2017-01-13 2018-07-19 Audi Ag System zum Ausgeben eines Ausgabesignals an einen Nutzer
CN107577344B (zh) * 2017-09-01 2020-04-28 广州励丰文化科技股份有限公司 一种mr头显设备的互动模式切换控制方法及系统
EP3506661A1 (en) * 2017-12-29 2019-07-03 Nokia Technologies Oy An apparatus, method and computer program for providing notifications

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10306578A1 (de) 2003-02-17 2004-08-26 Carl Zeiss Anzeigevorrichtung mit elektrooptischer Fokussierung
CN101770073B (zh) 2003-12-03 2013-03-27 株式会社尼康 信息显示装置
JP4747575B2 (ja) * 2003-12-26 2011-08-17 株式会社ニコン 情報表示装置
JP2008527806A (ja) * 2005-01-03 2008-07-24 ブミー インコーポレイテッド 夜間監視のシステムおよび方法
JP2007121600A (ja) * 2005-10-27 2007-05-17 Yokogawa Electric Corp 画像情報表示装置
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
TWI428726B (zh) * 2007-08-13 2014-03-01 Asustek Comp Inc 可攜式電腦
JP5374906B2 (ja) * 2008-04-07 2013-12-25 株式会社ニコン プロジェクタ
CN101488308B (zh) * 2009-01-21 2011-01-26 东北大学 智能导游系统及方法
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8382295B1 (en) * 2010-06-30 2013-02-26 Amazon Technologies, Inc. Optical assembly for electronic devices
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
EP3654147A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
WO2013104988A1 (en) * 2012-01-09 2013-07-18 Epson Norway Research And Development As Low interference system and method for synchronization, identification and tracking of visual and interactive systems
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
JP2014044166A (ja) * 2012-08-28 2014-03-13 Sharp Corp 電子機器、進行方向提示方法およびプログラム
JP5942840B2 (ja) * 2012-12-21 2016-06-29 ソニー株式会社 表示制御システム及び記録媒体
US9060127B2 (en) * 2013-01-23 2015-06-16 Orcam Technologies Ltd. Apparatus for adjusting image capture settings
US9475422B2 (en) * 2014-05-22 2016-10-25 Applied Invention, Llc Communication between autonomous vehicle and external observers
US10609267B2 (en) * 2014-07-23 2020-03-31 Orcam Technologies Ltd. Systems and methods for analyzing advertisement effectiveness using wearable camera systems

Also Published As

Publication number Publication date
TW201621552A (zh) 2016-06-16
CN106576156B (zh) 2019-07-02
US20160088268A1 (en) 2016-03-24
US9924143B2 (en) 2018-03-20
WO2016048504A1 (en) 2016-03-31
EP3198860A4 (en) 2018-09-19
KR20170036725A (ko) 2017-04-03
CN106576156A (zh) 2017-04-19
KR102321132B1 (ko) 2021-11-02
JP2017535095A (ja) 2017-11-24
TWI641968B (zh) 2018-11-21
EP3198860A1 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
JP6515179B2 (ja) ウェアラブル調整現実システムおよび方法
US11587297B2 (en) Virtual content generation
US11750770B2 (en) Real time painting of a video stream
KR20210121182A (ko) 증강 현실 시스템
US11132842B2 (en) Method and system for synchronizing a plurality of augmented reality devices to a virtual reality device
US11398205B2 (en) Reducing latency in augmented reality (AR) displays
US20240031678A1 (en) Pose tracking for rolling shutter camera
CN116261706A (zh) 用于使用融合数据进行对象跟踪的系统和方法
TW202326365A (zh) 手持裝置的追蹤
US9820513B2 (en) Depth proximity layering for wearable devices
US20220375026A1 (en) Late warping to minimize latency of moving objects
WO2022246384A1 (en) Late warping to minimize latency of moving objects

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190415

R150 Certificate of patent or registration of utility model

Ref document number: 6515179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250