JP6718873B2 - 仮想焦点フィードバック - Google Patents

Description

焦点合わせを必要とする光学システムにおいて、焦点合わせ機構の位置決めは、結果として、伝えられるイメージの焦点の変更を直接もたらす。手動で焦点合わせされるシステムにおいて、ユーザは、イメージの焦点が所望の状態を達成するまで焦点合わせ要素を調整する。オートフォーカスシステムは、レンジファインダーを使用することによって又はイメージの焦点の度合いを測定することによって同様のゴールを達成するよう努める。

光学システムの焦点合わせには、依然として問題が存在する。

本テクノロジーの実施形態は、カメラを焦点合わせするシステム及び方法に関する。一実施形態において、カメラは、ディスプレイユニットと目位置及び追跡アセンブリとを含むヘッドマウントディスプレイデバイス内にある。ディスプレイユニットは、左右の目の視覚に対してイメージを表示する。目位置及び追跡アセンブリは、１つ以上の光源と１つ以上のカメラとを含むことができる。ＨＭＤにおいて１つ以上のカメラを焦点合わせすることについて、手法が開示される。上記手法は、ＨＭＤにおいてカメラを焦点合わせすることに限定されない。

一実施形態において、ディスプレイ及びカメラと通信する処理ロジックが、カメラに関連付けられたデータを受信し、該データに基づいてカメラが焦点内である度合いを決定する。処理ロジックは、カメラが焦点内である度合いに逆相関するぼやけの度合いを有する代理イメージを生成し、代理イメージをディスプレイに表示する。ユーザが、カメラ焦点機構を調整して代理イメージをより良く焦点合わせするよう指示される。

代替的な一実施形態が下記を含む。カメラに関連付けられたデータが受信される。カメラが焦点内である度合いが、受信されたデータに基づいて決定される。カメラが焦点内である度合いに逆相関するぼやけの度合いを有する代理イメージが、生成される。代理イメージは、ディスプレイ画面に表示される。前述のことが繰り返され、このことには、カメラに関連付けられた更新されたデータを受信することと、カメラが焦点内である新しい度合いを決定することと、カメラの焦点の新しい度合いに逆相関するように代理イメージのぼやけの度合いを修正することとが含まれる。

別の実施形態が、ヘッドマウントディスプレイ（ＨＭＤ）を含み、このＨＭＤは、目の近くのシースルーディスプレイと、赤外線（ＩＲ）カメラと、赤外線カメラ及び目の近くのシースルーディスプレイと通信するプロセッサとを含む。プロセッサは、ＩＲカメラから赤外線イメージを受信し、赤外線イメージが焦点から外れている度合いを決定する。プロセッサは、ベースイメージをぼやけさせて、赤外線イメージが焦点から外れている度合いに相関するぼやけの度合いを有する代理イメージを作成する。プロセッサは、代理イメージを目の近くのシースルーディスプレイに表示する。プロセッサは、代理イメージを表示した後にＩＲカメラから新しい赤外線イメージを受信し、赤外線イメージが焦点から外れている新しい度合いを決定する。プロセッサは、赤外線イメージが焦点から外れている新しい度合いに相関するように代理イメージのぼやけの度合いを修正する。プロセッサは、修正されたぼやけの度合いに基づいて更新された代理イメージを表示する。

本発明の概要は、下記で詳細な説明にさらに記載される概念のうち選択されたものを簡素化された形式で紹介するよう提供される。本発明の概要は、請求される対象事項の重要な特徴又は必須の特徴を識別するものではなく、請求される対象事項の範囲を決定することの助けとして使用されるべきものでもない。

複合現実環境を１以上のユーザに提示するシステムの一実施形態の例示的コンポーネントの図である。 ヘッドマウントディスプレイユニットの一実施形態の透視図である。 ヘッドマウントディスプレイユニットの一実施形態の一部分の側面図である。 眼鏡において具現化されたＨＭＤ内の注視検出要素のそれぞれのセットの位置の例示的配置を各々示す。 眼鏡において具現化されたＨＭＤ内の注視検出要素のそれぞれのセットの位置の例示的配置を各々示す。 眼鏡において具現化されたＨＭＤ内の注視検出要素のそれぞれのセットの位置の例示的配置を各々示す。 ヘッドマウントディスプレイユニットのコンポーネントの一実施形態のブロック図である。 ヘッドマウントディスプレイユニットに関連付けられた処理ユニットのコンポーネントの一実施形態のブロック図である。 カメラを焦点合わせするシステムの一実施形態の図である。 カメラを焦点合わせする処理の一実施形態を示す。 代理イメージを生成する処理の一実施形態のフローチャートである。 図８の処理に使用できる一例示的なベースイメージを示す。 図８の処理で生成できる一例示的な代理イメージを示す。 代理イメージのぼやけの度合いがカメラの焦点の度合いに逆相関することを表現するグラフを表す。 カメラを焦点合わせするシステムの一実施形態の図である。 カメラを焦点合わせするシステムの別の実施形態の図である。 本明細書に説明されるコンピューティングシステムを実装するのに使用できるコンピューティングシステムの一実施形態のブロック図である。

本テクノロジーの実施形態が次に説明され、実施形態は、一般に、カメラを焦点合わせする（focusing）システム及び方法に関する。一実施形態において、システムは、カメラが焦点から外れている度合いに相関した程度までぼやけた代理イメージを生成する。ユーザは、焦点合わせ機構を調整するよう求められて、代理イメージを焦点に至らせるよう試みることができる。このことは、ユーザがカメラからイメージを見てみる必要なく、カメラが焦点合わせされることを可能にする。上記は、例えば、赤外線カメラを焦点合わせするのに用いることができる。赤外線カメラは、ヘッドマウントディスプレイデバイスなどの装置内の追跡カメラであり得る。

ヘッドマウントディスプレイデバイスは、ディスプレイ要素を含むことができる。ディスプレイ要素はある程度透明であり、したがって、ユーザはディスプレイ要素をとおしてユーザの視野（field of view）（ＦＯＶ）内に実世界オブジェクトを見ることができる。ディスプレイ要素は仮想イメージをユーザのＦＯＶに投影する能力をさらに提供し、そのため、仮想イメージもまた実世界オブジェクトと一緒に出現することができる。システムはユーザが見ているところを自動的に追跡し、したがって、システムはユーザのＦＯＶ内で仮想イメージをどこに挿入すべきかを決定することができる。システムが仮想イメージをどこに投影すべきか分かると、イメージはディスプレイ要素を用いて投影される。

ヘッドマウントディスプレイデバイスは、実在オブジェクトと仮想オブジェクトとを含む複合現実（mixed reality）環境を実施するのに使用することができる。複合現実は、ホログラフィックの又は仮想の像（imagery）が実世界物理環境と混合される（mixed）ことを可能にするテクノロジーである。シースルーの、ヘッドマウント型の、複合現実ディスプレイデバイスをユーザが装着して、ユーザの視野内に表示される実在オブジェクトと仮想オブジェクトとの混合された像を見ることができる。３次元深度の錯覚を容易にするために、仮想オブジェクトのイメージが、該イメージ間に小さい両眼視差のある状態で、ヘッドマウントディスプレイデバイスによって右目と左目とに対して独立して表示される。この両眼視差は、複合現実環境内の仮想オブジェクトの深度（depth）を示すものとして脳により解釈される。

図１は、仮想オブジェクト２１をユーザのＦＯＶ内の実在内容と融合することにより複合現実体験を提供するシステム１０を例示する。図１は複数のユーザ１８ａ、１８ｂ、１８ｃを示しており、各々がヘッドマウントディスプレイデバイス（head mounted display device）２を装着して独自の視点から仮想オブジェクト２１などの仮想オブジェクトを見ている。さらなる例において、３人より多い又は少ないユーザが存在してもよい。図２及び図３から分かるとおり、ヘッドマウントディスプレイデバイス２は、統合された処理ユニット４を含むことができる。他の実施形態において、処理ユニット４はヘッドマウントディスプレイデバイス２から別個であってもよく、有線又は無線通信を介してヘッドマウントディスプレイデバイス２と通信してもよい。

ヘッドマウントディスプレイデバイス２は、一実施形態において眼鏡の形状であり、ユーザの頭部に装着される。したがって、ユーザは、ディスプレイをとおして見てみることができ、これにより、ユーザの前の空間についての実際の直接的視界を有することができる。用語「実際の直接的視界（actual direct view）」の使用は、オブジェクトについての作り出されたイメージ表現を目にするのでなく、人間の目で直接的に実世界オブジェクトを目にする能力を参照する。例えば、眼鏡をとおして部屋を見ることは、ユーザがその部屋の実際の直接的視界を有することを可能にし、テレビジョンで部屋のビデオを視ることは、その部屋の実際の直接的視界ではない。ヘッドマウントディスプレイデバイス２のさらなる詳細が下記に提供される。

処理ユニット４は、ヘッドマウントディスプレイデバイス２を動作させるのに用いられる計算能力の多くを含むことができる。実施形態において、処理ユニット４は１つ以上のハブコンピューティングシステム１２に対して無線で（例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、又は他の無線通信手段）通信する。以降説明されるように、ハブコンピューティングシステム１２は処理ユニット４からリモートに提供されてもよく、したがって、ハブコンピューティングシステム１２と処理ユニット４とはＬＡＮ又はＷＡＮなどの無線ネットワークを介して通信する。さらなる実施形態において、ハブコンピューティングシステム１２が省略されて、ヘッドマウントディスプレイデバイス２と処理ユニット４とを用いてモバイルの複合現実体験を提供してもよい。

ヘッドマウントディスプレイデバイス２は、それ自体によってか又はハブコンピューティングシステム１２と関連して複合現実体験を提供することができ、これにおいて、１つ以上の仮想イメージ、例えば図１における仮想オブジェクト２１などを、シーン内の実世界オブジェクトと一緒に混合することができる。図１は、ユーザのＦＯＶ内に出現する実世界オブジェクトとして植物２３又はユーザの手２３の例を示す。

図２及び図３Ａは、ヘッドマウントディスプレイデバイス２の透視図及び側面図を示す。図３Ａは、ヘッドマウントディスプレイデバイス２の右側面を示し、テンプル１０２と鼻梁部１０４とを有するデバイスの一部分を含む。鼻梁部１０４に組み込まれているのはマイクロフォン１１０であり、マイクロフォン１１０は下記に説明されるように、音を記録し、そのオーディオデータを処理ユニット４に送信する。ヘッドマウントディスプレイデバイス２の前部には部屋向き（room-facing）ビデオカメラ１１２があり、該ビデオカメラ１１２はビデオ及び静止画を捕捉することができる。こうしたイメージが、下記に説明されるように処理ユニット４に送信される。

ヘッドマウントディスプレイデバイス２のフレームの一部分が、（１つ以上のレンズを含む）ディスプレイを囲むことになる。ヘッドマウントディスプレイデバイス２のコンポーネントを示すために、ディスプレイを囲むフレームの一部分は描かれていない。ディスプレイは、光ガイド光学要素１１５、不透明フィルタ（opacity filter）１１４、シースルーレンズ１１６、及びシースルーレンズ１１８を含む。一実施形態において、不透明フィルタ１１４はシースルーレンズ１１６の後ろにあり、シースルーレンズ１１６に位置合わせされ（aligned）、光ガイド光学要素１１５は不透明フィルタ１１４の後ろにあり、不透明フィルタ１１４に位置合わせされ、シースルーレンズ１１８は光ガイド光学要素１１５の後ろにあり、光ガイド光学要素１１５に位置合わせされる。シースルーレンズ１１６及び１１８は眼鏡に使用される標準レンズであり、任意の処方（処方なしを含む）に対して作ることができる。光ガイド光学要素１１５は人工光を目に向ける（channels）。

制御回路１３６は、ヘッドマウントディスプレイデバイス２の他のコンポーネントをサポートする様々な電子装置を提供する。制御回路１３６のさらなる詳細が下記で図４に関連して提供される。テンプル１０２の内部に、又はテンプル１０２に取り付けられて、イヤホン１３０、慣性測定ユニット１３２、及び温度センサ１３８がある。図４に示される一実施形態において、慣性測定ユニット１３２（又は、ＩＭＵ１３２）は、慣性センサ、例えば、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂ、及び３軸加速度計１３２Ｃなどを含む。慣性測定ユニット１３２は、ヘッドマウントディスプレイデバイス２の位置、向き、及び突然の加速（ピッチ、ロール、及びヨー）を感知する。ＩＭＵ１３２は、磁力計１３２Ａ、ジャイロ１３２Ｂ、及び加速度計１３２Ｃに追加で又は代わって、他の慣性センサを含んでもよい。

マイクロディスプレイ１２０は、レンズ１２２をとおしてイメージを投影する。マイクロディスプレイ１２０を実装するのに使用できる種々のイメージ生成テクノロジーが存在する。例えば、マイクロディスプレイ１２０は、透過投影テクノロジーの使用において実装されることがあり、これにおいて、光源は光学的活性物質（active material）により変調され、白色光でバックライトを当てられる。こうしたテクノロジーは、ＬＣＤタイプのディスプレイを用いて、強力なバックライトと高い光エネルギー密度とで大抵実装される。マイクロディスプレイ１２０はさらに、外部の光が反射され光学的活性物質により変調される反射テクノロジーを用いて実装されてもよい。照射は、テクノロジーに依存して、白色源又はＲＧＢ源によって前方に照らされる（forward lit）。ＤＬＰ（登録商標）（Digital light processing）、ＬＣＯＳ（liquid crystal on silicon）、及びＱｕａｌｃｏｍ社から提供されるＭｉｒａｓｏｌ（登録商標）ディスプレイテクノロジーはすべて、ほとんどのエネルギーが変調構造から離れて反射される効率的な反射テクノロジーの例であり、本システムに使用することができる。さらに、マイクロディスプレイ１２０は、放出テクノロジーを用いて実装されてもよく、これにおいて、光はディスプレイにより生成される。例えば、Ｍｉｃｒｏｖｉｓｉｏｎ社から提供されるＰｉｃｏＰ^ＴＭ（登録商標）ディスプレイエンジンは、透過要素として作用するごく小さい画面へと誘導するマイクロミラーを用いてか、又は目へと直接発せられる（例えば、レーザ）、レーザ信号を放出する。

光ガイド光学要素１１５は、マイクロディスプレイ１２０からの光を、ヘッドマウントディスプレイデバイス２を装着しているユーザの目１４０へ透過させる（transmits）。光ガイド光学要素１１５はさらに、矢印１４２により表されるように、ヘッドマウントディスプレイデバイス２の前からの光が光ガイド光学要素１１５をとおして目１４０へ透過されることを可能にし、これにより、ユーザは、マイクロディスプレイ１２０からの仮想イメージを受け取ることに追加で、ヘッドマウントディスプレイデバイス２の前の空間の実際の直接的視界を有することができる。ゆえに、光ガイド光学要素１１５の壁部は、シースルーである。光ガイド光学要素１１５は、第１の反射面１２４（例えば、ミラー又は他の表面）を含む。マイクロディスプレイ１２０からの光は、レンズ１２２を通過し、反射面１２４での入射になる。反射面１２４は、マイクロディスプレイ１２０からの入射光を反射し、そのため、光は、内部反射によって、光ガイド光学要素１１５を含む平面基板（substrate）の内側に捕らえられる。基板の表面からのいくつかの反射の後、捕らえられた光波は、選択的反射面１２６のアレイに到達する。図面の過密化を防止するために、５つの表面のうち１つが１２６とラベル付けされていることに留意する。反射面１２６は、これら反射面上に入射する光波を、基板から外へ、ユーザの目１４０へ結合する。

本テクノロジーの態様に従い、ヘッドマウントディスプレイデバイス２は、ユーザの目の位置を位置特定し（locating）及び追跡するシステムをさらに含むことができる。このシステムは、目位置及び追跡アセンブリ（eye position and tracking assembly）１３４を含み（図３Ａ）、該アセンブリは、目追跡照射デバイス１３４Ａと目追跡センサ１３４Ｂとを有する（図４）。一実施形態において、目追跡照射デバイス１３４Ａは１つ以上の赤外線（ＩＲ）エミッタを含み、該ＩＲエミッタは目に向けてＩＲ光を放出する。一実施形態において、目追跡センサ１３４Ｂは、反射されたＩＲ光を感知する１つ以上のカメラを含む。別法として、目追跡センサ１３４Ｂは、ＲＧＢ又は深度センサであってもよい。実施形態において、複数のセンサ１３４Ｂが存在してもよい。

ユーザの目の位置と、目の中の瞳とは、角膜の反射を検出する既知の撮像手法により識別することができる。こうした手法は、追跡センサ１３４Ｂに対する目の中心の位置を位置特定することができる。実施形態において、左右の目の各々について別個の目位置及び追跡アセンブリ１３４が存在してもよく、したがって、ユーザのＩＰＤを決定することができる。さらなる実施形態において、左目又は右目のいずれかの中心を識別する単一の目位置及び追跡アセンブリ１３４が存在してもよい。

一実施形態において、システムは、長方形配置における４つのＩＲ ＬＥＤと４つのＩＲ光検出器（IR photo detectors）とを使用し、したがって、ヘッドマウントディスプレイデバイス２のレンズの各角部に、１つのＩＲ ＬＥＤ及びＩＲ光検出器が存在することになる。ＬＥＤからの光は、目に反射する。４つのＩＲ光検出器の各々で検出された赤外光の量が、センサ１３４Ｂに対しての目の位置と、瞳方向とを決定する。詳細には、目の中の白色対黒色の量が、特定の光検出器についての目に反射された光の量を決定することになる。ゆえに、光検出器は、目の中の白色又は黒色の量の測定を有することになる。４つのサンプルから、システムは目の方向を決定することができる。

別の代替例は、上記で論じられたような４つの赤外線ＬＥＤを使用し、ただし、ヘッドマウントディスプレイデバイス２のレンズの側部にある１つの赤外線ＣＣＤを使用する。このＣＣＤは、小さいミラー及び／又はレンズ（魚眼）を使用し、そのため、ＣＣＤはメガネフレームから見える目の最大７５％まで撮像することができる。ＣＣＤは、それから、上記でかなり論じられたように、イメージを感知し、コンピュータビジョンを使用してイメージを見つけることになる。ゆえに、図３は１つのＩＲ送信機を有する１つのアセンブリを示しているが、図３の構造は４つのＩＲ送信機及び／又は４つのＩＲセンサを有するように調整することができる。４つのＩＲ送信機及び／又は４つのＩＲセンサよりも多数又は少数がさらに使用可能である。

目の方向を追跡する別の実施形態は、電荷追跡に基づく。この概念は、網膜が測定可能な正電荷を運び、角膜が負電荷を有するという観察に基づく。センサがユーザの耳に（イヤホン１３０の近くに）取り付けられて、目が動き回る間に電位を検出し、目が何をしているかをリアルタイムで効率的に読み出す。このことは、ヘッドマウントディスプレイデバイスに対するユーザの目の位置と、ユーザの瞳の位置との双方を提供する。ヘッドマウントディスプレイデバイスに対してユーザの目の位置を決定する他の実施形態がさらに使用可能である。

上記で説明された実施形態のうち任意のものを使用して、目位置及び追跡システム１３４は、目位置及び追跡システム１３４の位置に対する左目及び右目の位置を決定することができる。光学要素１１５に対するシステム１３４の既知の位置及びジオメトリを用いて、左右の目に対する光学要素１１５の位置がさらにわかる。この位置は、ｘ軸に沿った目と光学要素との相対的位置を含む（例えば、水平の位置決め）。この位置は、ｙ軸に沿った目と光学要素との相対的位置を含む（例えば、垂直の位置決め）。さらに、この位置は、ｚ軸に沿った目と光学要素との相対的位置を含む（例えば、目と光学要素との間の距離）。

位置に追加で、左右の目に対する光学要素１１５の角度向き（ピッチ、ヨー、及びロール）を決定することもまた有益である。この目的で、目位置及び追跡アセンブリ１３４は、各々の目の中心と、目の中心から真っ直ぐの目ベクトルとをさらに決定する。

目の中心は、複数の方法で決定することができる。センサ１３４Ｂが目のイメージを（カラーイメージとして及び／又は深度イメージとして）捕捉する場合、このイメージは、目の中心を決定するよう解析することができる。例えば、イメージセンサが角膜表面を調べ、このことから主軸及び角膜中心を決定することができる。さらなる一実施形態において、イメージセンサは、瞳、強膜（目の白色部分）、及び／又はまつげを含む目の他の特徴を調べてもよい。顔の他の特徴、例えば、まゆげ、鼻、鼻梁などが、左目及び右目の中心を決定するのにさらに撮像され、使用されてもよい。

ＩＲ送信機／受信機を含む例は、目の中心と中心から真っ直ぐの目ベクトルとをさらに決定してもよい。例えば、４つなどの複数のＩＲ送信機／受信機が存在する場合に、これらコンポーネントの各々は、これらが検出する目の中の強膜の量を測定することができる。これら４つの独立した値を決定し、比較することができる。各々が目の中に同量の強膜を測定するとき、目は中心に置かれており（真っ直ぐ前を見ている）、目ベクトルは瞳から垂直に真っ直ぐとることができる。この位置は、各ＩＲ送信機／受信機が目の中に同量の強膜を測定するときに見つけることができ、あるいはこの位置は、４つの送信機／受信機ペアが目の中に異なる値の強膜を測定する場合に測定から外挿することができる。

上記で述べられたとおり、各々の目はその独自の位置及び追跡アセンブリ１３４を有することができ、別個の目ベクトルを各々について決定することができる。別法として、目は対称的であり一緒に移動することが仮定されてもよく、双方の目について単一の目ベクトルが決定され、使用されてもよい。

図３Ａは、ヘッドマウントディスプレイデバイス２の半分を示す。フルのヘッドマウントディスプレイデバイスは、もう１組のシースルーレンズ、もう１つの不透明フィルタ、もう１つの光ガイド光学要素、もう１つのマイクロディスプレイ１２０、もう１つのレンズ１２２、部屋向きカメラ１１２、目位置及び追跡アセンブリ１３４、マイクロディスプレイ、イヤホン、及び温度センサを含むことになる。

一実施形態において、ディスプレイ及び不透明フィルタは、同時にレンダリングされ（rendered）、空間におけるユーザの正確な位置に対して較正されて角度オフセット問題について補償する。（例えば、目追跡カメラ１３４を用いた）目追跡を採用して、視ている視野の限界における正しいイメージオフセットを計算することができる。目追跡はまた、前向きカメラ１１３又は別のカメラに焦点合わせするためのデータを提供するのに使用することができる。目追跡カメラ１３４と、目ベクトルを計算するための他のロジックとは、一実施形態において目追跡システムであると考えられる。

図３Ｂは、眼鏡において具現化されたＨＭＤ２内の注視検出要素のそれぞれのセットの位置の、一例示的な配置を示す。各々の目のためのレンズのように見えるものは、各々の目のためのディスプレイ光学システム１４を表し、例えば、１４ｒ及び１４ｌである。ディスプレイ光学システムは、普通の眼鏡のようにシースルーレンズを含み、しかしさらに、仮想コンテンツとレンズ６をとおして目にされる実際の及び直接の実世界視界とをシームレスに融合するための光学要素（例えば、ミラー、フィルタ）を含む。ディスプレイ光学システム１４は、シースルーレンズの中心に一般にある光学軸を有し、該シースルーレンズにおいて、光は、無歪みの視界を提供するよう一般に平行にされる。例えば、アイケアの専門家が普通の眼鏡をユーザの顔にフィットさせるとき、１つのゴールは、各瞳がそれぞれのレンズの中心又は光学軸に位置合わせされ、概して平行にされた光がクリアな又は無歪みの視界のためにユーザの目に結果として到達する位置において、眼鏡がユーザの鼻にすわることである。

図３Ｂの例においては、少なくとも１つのセンサの検出エリア１３９ｒ、１３９ｌがそのそれぞれのディスプレイ光学システム１４ｒ、１４ｌの光学軸に位置合わせされ、したがって、検出エリア１３９ｒ、１３９ｌの中心は光学軸に沿って光を捕捉している。ディスプレイ光学システム１４がユーザの瞳に位置合わせされる場合、それぞれのセンサ１３４の各検出エリア１３９はユーザの瞳に位置合わせされる。検出エリア１３９の反射された光は、１つ以上の光学要素を介してカメラの実際イメージセンサ１３４に伝えられ、センサ１３４は、この例では、フレーム１１５の内側にあるものとして破線で例示されている。

一例において、ＲＧＢカメラとも一般に呼ばれる可視光カメラがセンサであってもよく、光学要素又は光方向付け要素の一例が、部分的に透過的であり部分的に反射的である可視光反射ミラーである。ＩＲ光検出器１６２が、スペクトルのＩＲ部分内の反射である閃光（glints）を捕捉する間、可視光カメラは、ユーザの目の瞳のイメージデータを提供する。可視光カメラが使用される場合、仮想イメージの反射が、カメラにより捕捉される目データの中に出現し得る。イメージフィルタリング手法が使用されて、所望に応じて仮想イメージ反射を除去してもよい。ＩＲカメラは、目における仮想イメージ反射に対して敏感でない。

一実施形態において、少なくとも１つのセンサ１３４は、ＩＲ放射が向けられ得るＩＲカメラ又は位置感知検出器（position sensitive detector）（ＰＳＤ）である。例えば、熱い反射面は、可視光を透過させ、しかしＩＲ放射を反射することがある。目から反射されたＩＲ放射は、照射器１６３若しくは他のＩＲ照射器（図示せず）の入射放射からか、又は目に反射した周囲のＩＲ放射からであり得る。いくつかの例において、センサ１３４は、ＲＧＢ及びＩＲカメラの組み合わせであってもよく、光学的な光方向付け要素は、可視光反射又は方向転換（diverting）要素とＩＲ放射反射又は方向転換要素とを含んでもよい。いくつかの例において、カメラは小さくてもよく、例えば、２ミリメール（ｍｍ）×２ｍｍである。こうしたカメラセンサの一例が、Ｏｍｎｉｖｉｓｉｏｎ ＯＶ７７２７である。他の例において、カメラは、イメージセンサ又はカメラ１３４がディスプレイ光学システム１４の光学軸上又は他の場所において中心に置かれ（centered）得るのに十分なほど小さくてもよく、例えば、Ｏｍｎｉｖｉｓｉｏｎ ＯＶ７７２７である。例えば、カメラ１３４は、システム１４のレンズ内に埋め込まれてもよい。さらに、イメージフィルタリング手法が適用されて、ユーザに対していかなる気を散らすものも少なくするようにユーザ視野にカメラをブレンドしてもよい。

図３Ｂの例において、照射器１６３が光検出器１６２とペアにされバリア１６４により分離された４つのセットが存在し、バリア１６４は、照射器１６３により生成される入射光と光検出器１６２において受け取られる反射光との間の干渉を回避する。図面における不要な乱雑さを回避するために、図面の数字は代表ペアに関して示されている。各照射器は、ほぼ所定波長で光の狭いビームを生成する赤外線（ＩＲ）照射器であってもよい。光検出器の各々は、ほぼ上記所定波長で光を捕捉するよう選択することができる。赤外線は、近赤外線をさらに含んでもよい。照射器又は光検出器の波長ドリフトが存在する可能性があるか、あるいは波長に関して小さい範囲が受け入れ可能であり得るとき、照射器及び光検出器は、生成及び検出する波長に関して許容範囲を有してもよい。センサがＩＲカメラ又はＩＲ位置感知検出器（ＰＳＤ）である実施形態において、光検出器は、追加データ捕捉デバイスであってもよく、さらに、照射器の動作、例えば、波長ドリフト、ビーム幅変化等を監視するのに使用されてもよい。光検出器は、センサ１３４として可視光カメラを用いて閃光データをさらに提供してもよい。

上述されたとおり、注視ベクトルを決定することの一部として角膜中心を算出する実施形態においては、２つの閃光と、したがって２つの照射器とで十分であることになる。しかしながら、他の実施形態が、瞳位置とゆえに注視ベクトルとを決定することにおいてさらなる閃光を使用してもよい。閃光を表す目データが、繰り返し、例えば１秒当たり３０フレーム又はそれ以上で捕捉されるとき、１つの閃光についてのデータが、まぶたによって、又はまつげによってでさえブロックされることがあり、しかしデータは、別の照射器により生成される閃光によって収集することができる。

図３Ｃは、眼鏡における注視検出要素のそれぞれのセットの位置の、別の例示的配置を示す。この実施形態においては、２組の照射器１６３及び光検出器１６２ペアが、ディスプレイ光学システム１４を囲む各フレーム部分１１５の上部近くに位置付けられ、別の２組の照射器及び光検出器ペアが、各フレーム部分１１５の下部近くに位置付けられて、照射器とゆえに該照射器が生成する閃光との間の、幾何学的関係の別の例を示している。上記の閃光の配置は、垂直方向における瞳位置に対するさらなる情報を提供することができる。

図３Ｄは、注視検出要素のそれぞれのセットの位置の、また別の例示的配置を示す。この例においては、センサ１３４ｒ、１３４ｌはそのそれぞれのディスプレイ光学システム１４ｒ、１４ｌの光学軸と一直線にあり、あるいは該光学軸に位置合わせされており、しかしシステム１４の下のフレーム１１５に位置する。さらに、いくつかの実施形態において、カメラ１３４は深度カメラであってもよく、あるいは深度センサを含んでもよい。深度カメラは、３Ｄにおいて目を追跡するのに使用することができる。この例においては、２セットの照射器１６３及び光検出器１６２が存在する。

図４は、ヘッドマウントディスプレイデバイス２の様々なコンポーネントを表すブロック図である。図５は、処理ユニット４の様々なコンポーネントを説明するブロック図である。図４にそのコンポーネントが表されているヘッドマウントディスプレイデバイス２は、１つ以上の仮想イメージをシームレスに実世界のユーザの視界に融合することにより複合現実体験をユーザに提供するのに使用される。さらに、図４のヘッドマウントディスプレイデバイスは、様々な条件を追跡する複数のセンサを含む。ヘッドマウントディスプレイデバイス２は、処理ユニット４から仮想イメージに関する指示を受信し、処理ユニット４に戻るセンサ情報を提供する。図５にそのコンポーネントが表されている処理ユニット４は、ヘッドマウントディスプレイデバイス２からセンサ情報を受信する。

上記情報と、可能性としてハブコンピューティングシステム１２からの情報とを用いて、処理ユニット４は、ユーザに対する仮想イメージをどこに及びいつ提供すべきかを決定し、このことに応じて指示を図４のヘッドマウントディスプレイデバイスに送ることができる。以降に説明されるように、目位置及び追跡アセンブリ１３４からの情報を用いて、処理ユニット４は、目位置及び追跡アセンブリ１３４内のカメラが焦点合わせされる度合いをさらに決定することができる。上記情報は、マイクロディスプレイ１２０（及び、ゆえにディスプレイ光学システム１４又は様々な要素１２４、１１５、１２６等）上に提示される代理イメージを生成するのに使用することができる。ユーザが、カメラ焦点機構を調整することにより代理イメージを焦点合わせするように指示されてもよい。こうして、カメラが焦点合わせされてもよい。

図４のコンポーネントのいくつか（例えば、部屋向きカメラ１１２、目追跡センサ１３４Ｂ、マイクロディスプレイ１２０、不透明フィルタ１１４、目追跡照射１３４Ａ、イヤホン１３０、及び温度センサ１３８）が、これらデバイスの各々が２つ、ヘッドマウントディスプレイデバイス２の左側について１つと右側について１つ存在することを示すように陰で（in shadow）示されている。図４は、電力管理回路２０２と通信する制御回路２００を示す。制御回路２００は、プロセッサ２１０、メモリ２１４（例えば、Ｄ−ＲＡＭ）と通信するメモリコントローラ２１２、カメラインターフェース２１６、カメラバッファ２１８、ディスプレイドライバ２２０、ディスプレイ整形器（display formatter）２２２、タイミング生成器２２６、ディスプレイアウトインターフェース２２８、及びディスプレイインインターフェース２３０を含む。

一実施形態において、制御回路２００のコンポーネントのすべてが専用ライン又は１つ以上のバスを介して互いに通信する。別の実施形態において、制御回路２００のコンポーネントの各々がプロセッサ２１０と通信する。カメラインターフェース２１６は、２つの部屋向きカメラ１１２に対するインターフェースを提供し、部屋向きカメラから受信したイメージをカメラバッファ２１８に記憶する。ディスプレイドライバ２２０は、マイクロディスプレイ１２０を駆動する。ディスプレイ整形器２２２は、マイクロディスプレイ１２０上に表示されている仮想イメージに関する情報を、不透明フィルタ１１４を制御する不透明制御（opacity control）回路２２４に提供する。タイミング生成器２２６は、システムのためのタイミングデータを提供するのに使用される。ディスプレイアウトインターフェース２２８は、部屋向きカメラ１１２からのイメージを処理ユニット４に提供するバッファである。ディスプレイインインターフェース２３０は、マイクロディスプレイ１２０上に表示されることになる仮想イメージなどのイメージを受信するバッファである。ディスプレイアウトインターフェース２２８及びディスプレイインインターフェース２３０は、処理ユニット４に対するインターフェースであるバンドインターフェース２３２と通信する。

電力管理回路２０２は、電圧調節器２３４、目追跡及び照射ドライバ２３６、オーディオＤＡＣ及び増幅器２３８、マイクロフォン前置増幅器及びオーディオＡＤＣ２４０、温度センサインターフェース２４２、及びクロック生成器２４４を含む。電圧調節器２３４は、バンドインターフェース２３２を介して処理ユニット４から電力を受信し、その電力をヘッドマウントディスプレイデバイス２の他のコンポーネントに提供する。目追跡照射ドライバ２３６は、上記で説明されたように、目追跡照射１３４ＡのためのＩＲ光源を提供する。オーディオＤＡＣ及び増幅器２３８は、オーディオ情報をイヤホン１３０に出力する。マイクロフォン前置増幅器及びオーディオＡＤＣ２４０は、マイクロフォン１１０のためのインターフェースを提供する。温度センサインターフェース２４２は、温度センサ１３８のためのインターフェースである。電力管理回路２０２はまた、電力を提供し、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂ、及び３軸加速度計１３２Ｃから戻るデータを受信する。

図５は、処理ユニット４の様々なコンポーネントを説明するブロック図である。図５は、電力管理回路３０６と通信する制御回路３０４を示す。制御回路３０４は、中央処理ユニット（ＣＰＵ）３２０、グラフィックス処理ユニット（ＧＰＵ）３２２、キャッシュ３２４、ＲＡＭ３２６、メモリ３３０（例えば、Ｄ−ＲＡＭ）と通信するメモリコントローラ３２８、フラッシュメモリ３３４（又は、他タイプの不揮発記憶装置）と通信するフラッシュメモリコントローラ３３２、バンドインターフェース３０２及びバンドインターフェース２３２を介してヘッドマウントディスプレイデバイス２と通信するディスプレイアウトバッファ３３６、バンドインターフェース３０２及びバンドインターフェース２３２を介してヘッドマウントディスプレイデバイス２と通信するディスプレイインバッファ３３８、マイクロフォンに接続する外部マイクロフォンコネクタ３４２と通信するマイクロフォンインターフェース３４０、無線通信デバイス３４６に接続するＰＣＩエクスプレスインターフェース、及び（１つ以上の）ＵＳＢポート３４８を含む。一実施形態において、無線通信デバイス３４６は、Ｗｉ−Ｆｉ対応通信デバイス、ＢｌｕｅＴｏｏｔｈ通信デバイス、赤外線通信デバイス等を含むことができる。ＵＳＢポートが使用されて、処理ユニット４をハブコンピューティングシステム１２にドッキングさせ（dock）て、処理ユニット４上へデータ又はソフトウェアをロードし、処理ユニット４を充電することができる。一実施形態において、ＣＰＵ３２０及びＧＰＵ３２２は、ユーザの視界への仮想３次元オブジェクトをどこに、いつ、及び如何にして挿入すべきかを決定する主力（main workhorses）である。さらなる詳細が下記に提供される。

電力管理回路３０６は、クロック生成器３６０、アナログツーデジタルコンバータ３６２、バッテリ充電器３６４、電圧調節器３６６、ヘッドマウントディスプレイ電力源３７６、及び温度センサ３７４と通信する（可能性として処理ユニット４のリストバンド上に位置する）温度センサインターフェース３７２を含む。アナログツーデジタルコンバータ３６２は、バッテリ電圧及び温度センサを監視し、バッテリ充電機能を制御するのに使用される。電圧調節器３６６は、システムに電力を供給するバッテリ３６８と通信する。バッテリ充電器３６４は、充電ジャック３７０から電力を受信すると（電圧調節器３６６を介して）バッテリ３６８を充電するのに使用される。ＨＭＤ電力源３７６は、ヘッドマウントディスプレイデバイス２に電力を提供する。

図６は、カメラ６０４を焦点合わせするシステム６００の一実施形態の図である。システム６００は、処理ロジック６０２、カメラ６０４、及びディスプレイ６０６を含む。一実施形態において、システム６００はＨＭＤ２の一部である。カメラ６０４は、本明細書に説明されるカメラのうち任意のものとすることができる。一実施形態において、カメラ６０４はＩＲカメラである。カメラ６０４は、目位置及び追跡アセンブリ１３４の一部であってもよい。例えば、カメラ６０４は目追跡カメラ１３４Ｂであり得る。カメラ６０４はまた、部屋向きカメラ１１２であってもよい。焦点合わせされるべきカメラは、こうした例に限定されない。

一実施形態において、ディスプレイ６０６には、本明細書に説明されるＨＭＤ２の１つ以上の要素が含まれる。例えば、ディスプレイ６０６には、マイクロディスプレイ１２０を含むことができる。さらに、反射面１２４、光ガイド光学要素１１５、選択的反射面１２６などの要素の組み合わせが、ディスプレイ６０６であると考えられてもよい。図３Ｂ〜３Ｄを参照すると、ディスプレイ６０６には、ディスプレイ光学システム１４を含むことができる。ディスプレイ６０６は、右目のためのディスプレイと左目のためのディスプレイとを含み得ることに留意する。しかしながら、各々の目について別個のディスプレイが存在することは必要とされない。

処理ロジック６０２は、カメラ６０４が焦点合わせされている度合いを検出する焦点検出６１２を有する。焦点検出６１２は、カメラ６０４に関連付けられたデータを入力し、カメラ６０４が焦点合わせされている度合いを決定するのに使用することができる。上記データは、カメラ６０４からのイメージデータであってもよい。上記データは、イメージデータ以外のデータであってもよく、例えば、カメラ６０４が焦点合わせすべきオブジェクトから該カメラ６０４がどれほど離れているかを示すデータなどである。焦点検出６１２は、カメラ６０４が焦点合わせされている度合い（又は、カメラが「焦点内（in-focus）」である度合い）を示す信号を出力する。

レンダリング（rendering）６１４は、焦点検出６１２から信号を入力し、カメラ６０４が焦点内である度合いに逆相関するぼやけの度合いを有するイメージ（例えば、「代理イメージ（proxy image）」）を生成する。このことは、カメラがより焦点内にあるときに代理イメージ内により少ないぼやけが存在し得るという点で、逆の相関であり得ることに留意する。別の言い方をすると、カメラがより焦点から外れるとき、代理イメージ内により多くのぼやけが存在し得る。「ぼやけた」イメージはディスプレイ６０６上に提示される。一実施形態において、レンダリングはグラフィックス処理ユニット（ＧＰＵ）上に実装される。

カメラ焦点機構６０５は、カメラ６０４が焦点合わせされることを可能にする。例えば、ユーザが、カメラ焦点機構６０５を手動で調整することができる。一例として、カメラ６０４は、（カメラの対物レンズに追加で、）カメラ６０４を焦点合わせするのに動かされる焦点合わせレンズを有してもよい。しかしながら、多くの他タイプのカメラ焦点機構６０５が使用可能である。ＨＭＤ２について、ユーザは、自身の目とカメラ６０４との間の距離を調整してカメラ６０４を焦点合わせしてもよい。この例において、カメラ焦点機構６０５は、ユーザがＨＭＤ２を装着している間にカメラの場所をユーザの目に対して動かすことができるＨＭＤ上の構造であり得る。

イメージ処理６１０は、カメラ６０４からイメージデータを入力し、イメージデータのいくつかの種類の処理を実行する。目追跡が一例であるが、処理はいかなるものであってもよい。処理ロジック６０２、焦点検出６１２、レンダリング６１４、及びイメージ処理６１０は各々、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアとの何らかの組み合わせで実装することができる。図４及び図５内の様々な要素が使用可能である。例えば、レンダリング６１４がＧＰＵ（図５、３２２）により実行されてもよく、イメージ処理６１０及び焦点検出６１２がＣＰＵ（図５、３２０）により実行されてもよい。プロセッサ（図４、２１０）もまた、イメージ処理６１０、レンダリング６１４、及び／又は焦点検出６１２に使用されてもよい。様々なプロセッサ２１０、３２０、３２２上で実行される命令は、メモリ（例えば、メモリ２４４、３３０、３３４、キャッシュ３２４、ＲＡＭ３２６）内に記憶することができる。上記は単に例であり、限定であることは意図されない。さらに、処理ロジック６０２、レンダリング６１４、及び／又は焦点検出６１２がプロセッサ上で実行される命令により実装されることは必要とされない。例えば、特定用途向け集積回路（ＡＳＩＣ）が使用されてもよい。

図７は、カメラを焦点合わせする処理の一実施形態を示す。この処理は、図６のシステム６００に用いることができる。図６内の要素に対して参照が行われるが、上記処理はシステム６００に限定されない。上記処理はＨＭＤ２に用いることができるが、このことは必要とはされない。上記処理は、一実施形態において、赤外線カメラを焦点合わせするのに使用される。上記処理は、多数の方法で開始することができる。１つの可能性として、システム（例えば、ＨＭＤ）が、カメラが焦点合わせされる必要があると判断し、このことに応答して上記処理開始する。

上記処理は、ユーザに代理イメージを提示することを含む。ステップ７０２において、システム６００は、ユーザに、ユーザが処理の間に代理イメージを焦点合わせするよう試みるべきであると指示する。システム６００は、上記指示が提供されるとき、代理イメージを提示していてもよく、あるいはしていなくてもよいことに留意する。システム６００は、代理イメージを焦点合わせするための指示をさらに提供してもよい。この指示は、ユーザがカメラ焦点機構を調整して代理イメージをより良い焦点に至らせるよう試みるためのものであり得る。

ステップ７０４において、システム６００は、カメラ６０４に関連付けられたデータを受信する。一実施形態において、このデータはカメラ６０４からのイメージデータである。例えば、上記データはＩＲイメージであり得る。上記データがカメラからのイメージデータであることは必要とされない。一実施形態において、上記データは、カメラ６０４と、カメラ６０４が焦点合わせされるべきオブジェクトとの間の距離を示す。

ステップ７０６において、システム６００は、カメラ６０４が焦点合わせされている度合いを決定する。一実施形態において、システム６００は、カメラ６０４からのイメージが焦点合わせされている度合いを決定する。しかしながら、システム６００は、上記決定をイメージ以外の情報に基づかせてもよい。例えば、上記決定は、カメラ６０４と、カメラが焦点合わせされるべきオブジェクトとの間の距離を示すデータに基づいてもよい。

ステップ７０８において、システム６００は、カメラ６０４が焦点内である度合いに逆相関するぼやけの度合いを有する代理イメージを生成する。上述されたとおり、このことは、逆の相関であり得る。別の言い方をすると、代理イメージ内のぼやけの度合いは、カメラ６０４が焦点から外れる度合いに相関する。さらなる詳細が下記で説明される。

ステップ７１０において、システム６００は、代理イメージをディスプレイ６０６に表示する。このイメージは、一実施形態においてＨＭＤ上に表示される。上述されたとおり、ディスプレイ６０６には、ディスプレイ光学システム１４、マイクロディスプレイ１２０、反射面１２４、光ガイド光学要素１１５、選択的反射面１２６を含むことができる。

ステップ７１２において、ユーザは、カメラ焦点合わせ機構を調整する。ユーザは、代理イメージを焦点に至らせるよう試みる。さらなる詳細が下記で説明される。

ステップ７１４において、システム６００は、カメラ６０４が適切に焦点合わせされているかを決定する。そうである場合、処理は完了である。そうでない場合、処理はステップ７０４に戻って、カメラ６０４に関連付けられたさらなるデータを受信する。ユーザがカメラ焦点合わせ機構に対する調整を行ったと仮定して、システム６００は、カメラ焦点の度合いが変わったと（ステップ７０６において）判断する。ゆえに、ステップ７０８において生成される代理イメージは、該代理イメージがカメラ焦点の新しい度合いに逆相関するように更新されたそのぼやけの度合いを有することになる。

図８は、代理イメージを生成する処理の一実施形態のフローチャートである。この処理は、図７のステップ７０８の一実施形態である。再びになるが、この処理がシステム６００に限定されないという理解と共に、図６の要素に対して参照が行われる。ステップ８０２において、システム６００は、プロセッサ読取可能記憶装置からのベースイメージ（base image）にアクセスする。ベースイメージは、典型的に、可視スペクトル内であるイメージである。ベースイメージの内容は必ずしも重大でない。このイメージはユーザに対して示されることになるため、このイメージは、ユーザがそれを焦点合わせできるための良い属性を有することに基づいて選択することができる。直接ＩＲカメライメージから基づいて生成され得るイメージは、ユーザが焦点合わせするのに適さない可能性があることに留意する。例えば、ＩＲイメージが、該イメージが可視であるように波長においてシフトされることになる場合、こうしたイメージをユーザが焦点合わせするのは、容易でない可能性がある。議論のために、図９Ａは、植木鉢内に植物を有する一例示的なベースイメージ９１０を示す。このベースイメージ９１０はカメラ６０４からのイメージでないことに留意する。

ステップ８０４において、システム６００は、ベースイメージ９１０をぼやけさせて代理イメージを形成する。議論のために、図９Ｂは、ベースイメージ９１０のぼやけたバージョンである一例示的な代理イメージ９２０を示す。ぼやけさせることは、一実施形態において数学的関数を使用することにより実行される。例えば、点広がり関数（ＰＳＦ）が使用されてもよい。ＰＳＦは、ベースイメージ９１０内の各画素に適用することができ、このことは、各々のそれぞれの画素の光強度を近隣の画素に広げる働きをし得る。それから、その結果が合計されて、代理イメージ９２０が作り出される。ＰＳＦの幅は、所望のぼやけ度合いを引き起こすよう設定することができる。ステップ８０４は、一実施形態においてＧＰＵ上で実行される。

上記で論じられたとおり、代理イメージ９２０のぼやけの度合いは、カメラの焦点の度合いに逆相関する。例えば、カメラ６０４がより焦点内であるほど、代理イメージ９２０はよりぼやけなくなる。ゆえに、このことは、逆相関と称され得る。別法として、カメラ６０４がより焦点から外れるほど、代理イメージ９２０がよりぼやけると言われてもよい。

図９Ｃは、代理イメージ９２０のぼやけの度合いがカメラ６０４の焦点の度合いに逆相関することを表現する曲線９５０を有するグラフを表す。システム６００は、カメラ焦点の度合いを表す値を決定することができ、この度合いはｘ軸で表すことができる。システム６００は、所望の逆相関が作り出されるように代理イメージのための適切なぼやけの度合いを決定することができる。

図１０Ａは、カメラを焦点合わせするシステムの一実施形態の図である。このシステムは図６のシステム６００の一変形であり、これにおいて、焦点検出６１２ａはイメージデータを入力して、カメラ６０４が焦点内である度合いを決定する。イメージデータは、一実施形態においてＩＲイメージデータである。例えば、カメラ６０４が赤外線波長におけるイメージを捕捉する。図１０ＡのシステムはＨＭＤ２であり得る。図の分かりにくさを回避するために、すべての要素が表されているわけではない。

焦点検出６１２ａは、一実施形態において、イメージ処理手法を使用して、カメライメージが焦点内である度合いを決定する。カメラ６０４からのイメージが焦点内である度合いを決定するための、当業者に知られる複数の手法が存在する。任意の簡便な手法が使用されてよい。例えば、コントラスト検出が使用可能である。コントラスト検出は、カメライメージ内のコントラストを測定する。隣接する画素間の強度差は、正しいイメージ焦点と共に増加するものである。そのため、光学システムは、最大コントラストが検出されるまで調整することができる。カメライメージを解析する他の手法を使用して、カメライメージが焦点内である度合いを決定してもよい。

ベースイメージ９１０は、レンダリング６１４に入力されるものとして示され、レンダリング６１４は、代理イメージ９２０を出力する。代理イメージ９２０はディスプレイ６０６上に提示される。ユーザ（目１４０により表される）はカメラ焦点機構６０５を手動で調整することができる。例えば、ユーザは、カメラ焦点機構６０５に沿った両方向矢印により示されるようにカメラ６０４を動かすことにより、自身の（１つ又は複数の）目とカメラ６０４との間の距離を調整することができる。カメラ焦点機構６０５は、一例として、目１４０に対するカメラ６０４の距離を調整できる任意の構造であってよい。カメラ焦点機構６０５は、目に対してのカメラ場所を移動できるＨＭＤ２のフレーム上の構造であってもよい。他の手法を使用してカメラ６０４の焦点を調整してもよい。

図１０Ａの例において、処理ロジック６０２は目追跡１０１０を有し、目追跡１０１０はカメライメージデータを入力する。目追跡１０１０は、図６からのイメージ処理６１０の一例である。

焦点検出６１２がイメージ解析を使用することは必要とされない。図１０Ｂは、焦点検出６１２ｂが距離データを使用してカメラ６０４が焦点内である度合いを決定する一実施形態の図である。距離データは、一実施形態において、カメラ６０４が、該カメラが焦点合わせしているオブジェクトからどれほど離れているかを示す。距離データは、一実施形態において、カメラ６０４がユーザの目１４０からどれほど離れているかを示す。図１０ＡのシステムはＨＭＤ２であり得る。図の分かりにくさを回避するために、すべての要素が表されているわけではない。

焦点検出６１２ｂは、カメラ６０４があるべきターゲット距離を有することができる。焦点検出６１２ｂは、一例として、焦点の度合いを各距離に関連付ける値を有するテーブルにアクセスしてもよい。別の例として、焦点検出６１２ｂは、数学的方程式を採用して、入力された距離とカメラ６０４の既知の属性、例えば焦点距離などとに基づいて焦点の度合いを決定してもよい。

距離データは、カメラ６０４自体により提供されてもよい。例えば、カメラ６０４は、該カメラ自体と焦点合わせされるべきオブジェクトとの間の距離を決定することができるレンジファインダーを有してもよい。距離データは、焦点合わせされているカメラ６０４以外の要素により提供することもできる。例えば、ＨＭＤ上に、距離を決定するのに使用できるの別のカメラがあってもよい。別法として、距離データ（ＨＭＤ上のカメラのための）は、ＨＭＤ上にないデバイス、例えば近くの別のカメラなどにより決定されてもよい。

図１１は、本明細書に開示されるハブコンピューティングシステム１２又は他のプロセッサを実装するのに使用できるコンピューティングシステムの一例示的な実施形態を示す。図１１に示されるように、コンピューティングシステム５００は中央処理ユニット（ＣＰＵ）５０１を有し、ＣＰＵ５０１は、レベル１キャッシュ５０２、レベル２キャッシュ５０４、及びフラッシュＲＯＭ（読取専用メモリ）５０６を有する。レベル１キャッシュ５０２及びレベル２キャッシュ５０４は、データを一時的に記憶し、ゆえにメモリアクセスサイクル数を低減させ、これにより処理スピード及びスループットを向上させる。ＣＰＵ５０１は、２つ以上のコアと、ゆえにさらなるレベル１キャッシュ５０２及びレベル２キャッシュ５０４とを有して提供されてもよい。フラッシュＲＯＭ５０６は、コンピューティングデバイス５００が電源オンされるとき、ブート処理の初期フェーズの間にロードされる実行可能コードを記憶することができる。

グラフィックス処理ユニット（ＧＰＵ）５０８及びビデオエンコーダ／ビデオコーデック（コーダ／デコーダ）５１４は、高スピード及び高解像度グラフィックス処理のためのビデオ処理パイプラインを形成する。データが、バスを介してグラフィックス処理ユニット５０８からビデオエンコーダ／ビデオコーデック５１４に運ばれる。ビデオ処理パイプラインは、テレビジョン又は他のディスプレイに対する送信のためにデータをＡ／Ｖ（オーディオ／ビデオ）ポート５４０に出力する。メモリコントローラ５１０がＧＰＵ５０８に接続されて、様々なタイプのメモリ５１２、例えば、これらに限られないがＲＡＭ（ランダムアクセスメモリ）などに対するプロセッサアクセスを容易にする。

コンピューティングデバイス５００は、Ｉ／Ｏコントローラ５２０、システム管理コントローラ５２２、オーディオ処理ユニット５２３、ネットワークインターフェース５２４、第１のＵＳＢホストコントローラ５２６、第２のＵＳＢコントローラ５２８、及びフロントパネルＩ／Ｏサブアセンブリ５３０を含み、これらは、好ましくはモジュール５１８上に実装される。ＵＳＢコントローラ５２６及び５２８は、ペリフェラルコントローラ５４２（１）〜５４２（２）、無線アダプタ５４８、及び外部メモリデバイス５４６（例えば、フラッシュメモリ、外部ＣＤ／ＤＶＤ ＲＯＭドライブ、リムーバブルメディア等）のためのホストとして機能する。ネットワークインターフェース５２４及び／又は無線アダプタ５４８は、ネットワーク（例えば、インターネット、ホームネットワーク等）に対するアクセスを提供し、イーサネット（登録商標）カード、モデム、Ｂｌｕｅｔｏｏｔｈモジュール、ケーブルモデムなどを含む広範囲の様々な有線又は無線アダプタコンポーネントのうち任意のものであってよい。

システムメモリ５４３は、ブート処理の間にロードされるアプリケーションデータを記憶するよう提供される。メディアドライブ５４４が提供され、メディアドライブ５４４には、ＤＶＤ／ＣＤドライブ、Ｂｌｕ−Ｒａｙ（登録商標）ドライブ、ハードディスクドライブ、又は他のリムーバブルメディアドライブ等を含むことができる。メディアドライブ５４４は、コンピューティングデバイス５００に対して内部又は外部であり得る。アプリケーションデータは、コンピューティングデバイス５００による実行、再生等のためにメディアドライブ５４４を介してアクセスすることができる。メディアドライブ５４４は、シリアルＡＴＡバス又は他の高スピード接続（例えば、ＩＥＥＥ１３９４）などのバスを介してＩ／Ｏコントローラ５２０に接続される。

システム管理コントローラ５２２は、コンピューティングデバイス５００の可用性を保証することに関連した様々なサービス機能を提供する。オーディオ処理ユニット５２３及びオーディオコーデック５３２は、対応するオーディオ処理パイプラインを高い忠実度及びステレオ処理で形成する。オーディオデータが、通信リンクを介してオーディオ処理ユニット５２３とオーディオコーデック５３２との間で運ばれる。オーディオ処理パイプラインは、オーディオ能力を有する外部オーディオユーザ又はデバイスによる復元のためにデータをＡ／Ｖポート５４０に出力する。

フロントパネルＩ／Ｏサブアセンブリ５３０は、電源ボタン５５０及び取出しボタン５５２と、コンピューティングデバイス５００の外側表面上にさらされる任意のＬＥＤ（発光ダイオード）又は他のインジケータとの機能性をサポートする。システム電力供給モジュール５３６が、コンピューティングデバイス５００のコンポーネントに電力を提供する。ファン５３８が、コンピューティングデバイス５００内の回路を冷却する。

ＣＰＵ５０１、ＧＰＵ５０８、メモリコントローラ５１０、及びコンピューティングデバイス５００内の様々な他のコンポーネントは、１つ以上のバスを介して相互接続され、上記バスには、様々なバスアーキテクチャのうち任意のものを用いたシリアル及びパラレルバス、メモリバス、ペリフェラルバス、及びプロセッサ又はローカルバスが含まれる。例として、こうしたアーキテクチャには、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、ＰＣＩエクスプレスバス等を含むことができる。

コンピューティングデバイス５００が電源オンされるとき、アプリケーションデータがシステムメモリ５４３からメモリ５１２及び／又はキャッシュ５０２、５０４にロードされ、ＣＰＵ５０１上で実行されることができる。アプリケーションは、コンピューティングデバイス５００上で利用可能な種々のメディアタイプにナビゲートするときに一貫性のあるユーザ体験を提供するグラフィカルユーザインターフェースを提示することができる。動作において、メディアドライブ５４４内に含まれるアプリケーション及び／又は他のメディアは、メディアドライブ５４４から起動され又は再生されて、コンピューティングデバイス５００にさらなる機能性を提供することができる。

コンピューティングデバイス５００は、システムをテレビジョン又は他のディスプレイに単に接続することにより、スタンドアロンシステムとして動作することができる。このスタンドアロンモードにおいて、コンピューティングデバイス５００は、１以上のユーザがシステムと対話し、動画を鑑賞し、又は音楽を聴くことを可能にする。しかしながら、ネットワークインターフェース５２４又は無線アダプタ５４８をとおして可能にされるブロードバンド接続性の統合で、コンピューティングデバイス５００はさらに、より大きいネットワークコミュニティ内の参加者として動作することができる。さらに、コンピューティングデバイス５００は、無線アダプタ５４８を介して処理ユニット４と通信することができる。

任意的な入力デバイス（例えば、コントローラ５４２（１）及び５４２（２））が、ゲーミングアプリケーション及びシステムアプリケーションにより共有される。入力デバイスは、予約されたリソースでないが、システムアプリケーションとゲーミングアプリケーションとの間で各々がデバイスのフォーカス（focus）を有することになるように切り換えられる。アプリケーションマネージャが、好ましくは、ゲーミングアプリケーションの知識を知ることなく入力ストリームの切り換えを制御し、ドライバが、フォーカス切り換えに関する状態情報を維持する。捕捉デバイス２０は、ＵＳＢコントローラ５２６又は他のインターフェースを介してデバイス５００のためのさらなる入力デバイスを定義することができる。他の実施形態において、ハブコンピューティングシステム１２は他のハードウェアアーキテクチャを用いて実装されてもよい。ハードウェアアーキテクチャは必要とはされない。

対象事項が構造的特徴及び／又は方法論的動作に固有の言語で説明されたが、別記の請求項に定義される対象事項は必ずしも上記で説明された具体的な特徴又は動作に限定されないことが理解されるべきである。むしろ、上記で説明された具体的な特徴及び動作は、請求項を実施する例示的な形態として開示されている。本発明の範囲は、別記される請求項により定義されることが意図される。

Claims (14)

1. ディスプレイと、
   カメラと、
   前記ディスプレイ及び前記カメラと通信する処理ロジックと、を備え、
   前記処理ロジックは、
   前記カメラに関連付けられたイメージデータを受信し、
   前記イメージデータに基づいて前記カメラが焦点内である度合いを決定し、
   前記カメラからの前記イメージデータの内容と独立した内容を有する可視のベースイメージをぼやけさせて、前記カメラが焦点内である前記度合いに逆相関するぼやけの度合いを有する代理イメージを生成し、
   前記代理イメージを前記ディスプレイに表示し、
   カメラ焦点機構を調整して前記代理イメージにより良く焦点合わせするようにユーザに指示する、
   ように構成される、装置。
2. 前記処理ロジックは、前記代理イメージを表示した後に前記カメラに関連付けられた更新されたイメージデータを受信し、前記カメラが焦点内である新しい度合いを決定し、前記カメラが焦点内である新しい度合いに逆相関するように前記代理イメージのぼやけの度合いを修正し、前記の修正されたぼやけの度合いに基づいて更新された代理イメージを表示する、請求項１に記載の装置。
3. 前記処理ロジックが受信する、前記カメラに関連付けられた前記イメージデータは、前記カメラからのイメージであり、前記処理ロジックは、前記イメージが焦点内である度合いに基づいて、前記カメラが焦点内である度合いを決定する、請求項１又は２に記載の装置。
4. 前記カメラからの前記イメージは赤外線（ＩＲ）イメージである、請求項３に記載の装置。
5. 前記処理ロジックにより受信される、前記カメラに関連付けられた前記イメージデータは、オブジェクトから前記カメラがある距離を含み、前記処理ロジックは、前記距離に基づいて前記カメラが焦点内である度合いを決定する、請求項１又は２に記載の装置。
6. 前記ディスプレイは、目の近くのシースルーディスプレイであり、当該装置は、ヘッドマウントディスプレイ（ＨＭＤ）であり、前記カメラは、前記ＨＭＤを装着しているユーザに対して焦点合わせされる、請求項１乃至５のうちいずれか１項に記載の装置。
7. グラフィックス処理ユニット（ＧＰＵ）、をさらに含み、前記処理ロジックは、前記可視のベースイメージをぼやけさせて前記ＧＰＵで前記代理イメージを作成する、請求項１に記載の装置。
8. カメラに関連付けられたイメージデータを受信することと、
   前記の受信されたイメージデータに基づいて前記カメラが焦点内である度合いを決定することと、
   プロセッサ読取可能記憶装置からの可視のベースイメージにアクセスすることであり、前記可視のベースイメージは、前記カメラからのイメージの内容と一致しない内容を有する、ことと、
   前記可視のベースイメージをぼやけさせて、前記カメラが焦点内である前記度合いに逆相関するぼやけの度合いを有する代理イメージを生成することと、
   前記代理イメージをディスプレイに表示することと、
   前記カメラが適切な度合いに焦点合わせされるまで、前記受信すること、決定すること、ぼやけさせること、及び表示することを繰り返すことであって、前記カメラに関連付けられた更新されたイメージデータを受信することと、前記カメラが焦点内である新しい度合いを決定することと、前記カメラが焦点内である前記新しい度合いに逆相関するように前記代理イメージのぼやけの度合いを修正することと、前記の修正された代理イメージを前記ディスプレイに表示することとを含む、ことと、
   を含む方法。
9. 前記カメラに関連付けられた焦点機構を調整して前記代理イメージをより良い焦点に至らせるよう試みるようにユーザに指示すること、
   をさらに含む請求項８に記載の方法。
10. 前記カメラに関連付けられたイメージデータを受信することは、前記カメラから前記イメージを受信することを含み、
    前記イメージデータに基づいて前記カメラが焦点内である度合いを決定することは、前記の受信されたイメージが焦点内である度合いを決定することを含む、
    請求項８又は９に記載の方法。
11. 前記カメラからの前記イメージは赤外線（ＩＲ）イメージである、請求項１０に記載の方法。
12. 前記カメラに関連付けられたイメージデータを受信することは、オブジェクトから前記カメラがある距離を示すデータを受信することを含み、
    前記カメラが焦点内である度合いを決定することは、前記距離に基づいて前記カメラが焦点内である度合いを決定することを含む、
    請求項８又は９に記載の方法。
13. 前記可視のベースイメージをぼやけさせて前記代理イメージを生成することは、
    前記可視のベースイメージを数学的にぼやけさせて前記代理イメージを作成すること
    を含む、請求項８乃至１２のうちいずれか１項に記載の方法。
14. 前記可視のベースイメージを数学的にぼやけさせて前記代理イメージを作成することは、グラフィックス処理ユニット（ＧＰＵ）でグラフィックスイメージ処理を用いることを含む、請求項１３に記載の方法。

Images