JP7207809B2 - センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム - Google Patents

Description

本開示は、概して、ヘッドマウントディスプレイのためのポジショントラッキングに関する。

１つの現世代の仮想現実（"ＶＲ"）または拡張現実（"ＡＲ"）エクスペリエンスは、ヘッドマウントディスプレイ（"ＨＭＤ"）を用いて生成され、それは、据え付け型のコンピュータ（パーソナルコンピュータ（"ＰＣ"）、ラップトップ、またはゲームコンソールなど）にテザリングされることができ、スマートフォンおよび／またはそれと関連付けられたディスプレイと組み合わされ、および／または、統合されることができ、または自己完結型であることができる。概して、ＨＭＤは、ユーザの頭部に装着され、一方の目（単眼ＨＭＤ）またはそれぞれの目（双眼ＨＭＤ）の前方に小さなディスプレイデバイスを有するディスプレイデバイスである。このディスプレイユニットは、典型的には小型であり、例えば、ＣＲＴ、ＬＣＤ、シリコン上液晶（ＬＣｏｓ）、またはＯＬＥＤ技術を含んでよい。双眼ＨＭＤは、それぞれの目に対して異なる像を表示する可能性を有する。この機能は、立体画像を表示するために使用される。

スマートフォン、高精細テレビ、および、他の電子デバイスの発達により、より高性能なディスプレイの需要が高まっている。特にＨＭＤを用いた仮想現実および拡張現実システムの普及の高まりは、このような需要をさらに増大させる。仮想現実システムは、一般的に、装着者の目を完全に包み込み、装着者の前における実際のまたは物理的なビュー（または実際の現実）を、"仮想"現実で置換する一方で、拡張現実システムは、一般的に、装着者の目の前における１または複数の画面の半透明または透明なオーバーレイを提供して、実際のビューが追加の情報とともに拡張されるようにし、媒介現実システムは、現実世界の要素を仮想要素と組み合わせた情報をビューアに同様に提示してよい。仮想現実および拡張現実システムの多くにおいて、このようなヘッドマウントディスプレイの装着者の動きは、表示されている画像がユーザの動きを反映できるように、例えば、ヘッドマウントディスプレイ内部、および／または、外部のセンサを介して様々なやり方でトラックされてよい。

ポジショントラッキングは、ＨＭＤが周囲の環境との相対的なポジションを推定できるようにする。ポジショントラッキングは、ＨＭＤの絶対的なポジションの検出を実現するために、ハードウェアおよびソフトウェアの組み合わせを用いてよい。ポジショントラッキングは、ＡＲまたはＶＲシステムにとって重要な技術であり、６自由度（６ＤＯＦ）でＨＭＤ（および／またはコントローラまたは他の周辺機器）の動きをトラックすることを可能とする。

ポジショントラッキング技術は、ジャンプまたはしゃがむ等の異なるアクションを反映するようにユーザの視点を変化させるために用いられてよく、仮想環境内におけるユーザの手や他のオブジェクトの正確な表現を可能としてよい。ポジショントラッキングは、また、例えば、手のポジションを用いて仮想オブジェクトをタッチにより移動することによって、物理および仮想環境との間のコネクションを増加してよい。ポジショントラッキングは、視差のためユーザの仮想環境の３次元認識を改善し、距離の認識を支援する。また、ポジショナルトラッキングは、目で見ているものと、ユーザの耳の前庭系により感じていることとの入力の不一致により引き起こされる乗り物酔いを最小減に抑えることを支援してよい。

ポジショナルトラッキングの異なる複数の方法が存在する。このような方法は、音響トラッキング、慣性トラッキング、磁気トラッキング、光トラッキング、それらの組み合わせ等を含んでよい。

ヘッドマウントディスプレイは、ユーザの頭に装着可能な支持構造と、支持構造により担持されるカメラであって、動作中にカメラは、カメラ視野におけるイメージセンサデータを第１フレームレートで撮像する、カメラと、支持構造により担持される複数のオプティカルフローセンサ集積回路（ＩＣ）であって、動作中に複数のオプティカルフローセンサＩＣのそれぞれは、複数のセンサＩＣ視野のそれぞれにおけるイメージセンサデータを第２フレームレートで撮像し、複数のセンサＩＣ視野はカメラ視野より狭く、第２フレームレートは第１フレームレートより大きい、複数のオプティカルフローセンサＩＣと、プロセッサ実行可能命令またはデータの少なくとも１つを格納する少なくとも１つの非一時的プロセッサ可読記録媒体と、カメラ、複数のオプティカルフローセンサＩＣ、および、少なくとも１つの非一時的プロセッサ可読記録媒体に動作可能に結合される少なくとも１つのプロセッサであって、動作中に少なくとも１つのプロセッサは、カメラおよび複数のオプティカルフローセンサＩＣからイメージセンサデータを受信し、受信したイメージセンサデータを処理し、受信したイメージセンサデータの処理に少なくとも部分的に基づいて、ヘッドマウントディスプレイのポジションをトラックする、少なくとも１つのプロセッサと、を含むように要約されてよい。少なくとも１つのプロセッサは、カメラおよび複数のオプティカルフローセンサＩＣからのイメージセンサデータを結合して、ヘッドマウントディスプレイのポジションをトラックしてよい。

ヘッドマウントディスプレイは、少なくとも１つのプロセッサに動作可能に結合された慣性測定ユニット（ＩＭＵ）センサをさらに含んでよく、動作中に少なくとも１つのプロセッサは、ＩＭＵセンサからＩＭＵセンサデータを受信し、ＩＭＵセンサデータ、および、カメラおよび複数のオプティカルフローセンサＩＣから受信したイメージセンサデータを処理し、受信したＩＭＵセンサデータおよび受信したイメージセンサデータの処理に少なくとも部分的に基づいて、ヘッドマウントディスプレイのポジションをトラックする。複数のオプティカルフローセンサＩＣのそれぞれは、イメージセンシング回路およびイメージ処理回路を有するシングルダイを含んでよい。第１フレームレートは、毎秒１００フレーム以下であってよく、第２フレームレートは、毎秒１０００フレーム以上であってよい。少なくとも１つのプロセッサは、受信したイメージセンサデータを処理して、ヘッドマウントディスプレイが動作する環境に存在する１または複数の特徴を検出してよい。複数のセンサＩＣ視野のそれぞれは、カメラ視野の一部と重なってよい。少なくとも１つのプロセッサは、複数のセンサＩＣ視野をカメラ視野に登録してよい。カメラ視野は１００度より大きくてよい。

ヘッドマウントディスプレイは、それぞれがユーザの一方の目にディスプレイを提供する第１および第２ディスプレイサブシステムをさらに含んでよく、動作中に少なくとも１つのプロセッサは、カメラから得られた画像を第１および第２ディスプレイサブシステムを介して選択的に提示する。

ヘッドマウントディスプレイを動作させる方法であって、ヘッドマウントディスプレイは、ユーザの頭に装着可能な支持構造と、支持構造により担持されるカメラと、支持構造により担持される複数のオプティカルフローセンサ集積回路（ＩＣ）と、を含み、方法は、カメラを介して、カメラ視野におけるイメージセンサデータを第１フレームレートで撮像することと、複数のオプティカルフローセンサＩＣを介して、複数のセンサＩＣ視野のそれぞれにおけるイメージセンサデータを第２フレームレートで撮像することであって、複数のセンサＩＣ視野はカメラ視野より狭く、第２フレームレートは第１フレームレートより大きい、撮像することと、少なくとも１つのプロセッサにより、カメラおよび複数のオプティカルフローセンサＩＣからイメージセンサデータを受信することと、少なくとも１つのプロセッサにより、受信したイメージセンサデータを処理することと、少なくとも１つのプロセッサにより、受信したイメージセンサデータの処理に少なくとも部分的に基づいて、ヘッドマウントディスプレイのポジションをトラックすることと、を含むように要約されてよい。受信したイメージセンサデータを処理することは、カメラおよび複数のオプティカルフローセンサＩＣからのイメージセンサデータを結合して、ヘッドマウントディスプレイのポジションをトラックすることを含んでよい。

ヘッドマウントディスプレイは、少なくとも１つのプロセッサに動作可能に結合された慣性測定ユニット（ＩＭＵ）センサを含んでよく、方法はさらに、少なくとも１つのプロセッサにより、ＩＭＵセンサからＩＭＵセンサデータを受信することと、少なくとも１つのプロセッサにより、ＩＭＵセンサデータ、および、カメラおよび複数のオプティカルフローセンサＩＣから受信したイメージセンサデータを処理することと、少なくとも１つのプロセッサにより、受信したＩＭＵセンサデータおよび受信したイメージセンサデータの処理に少なくとも部分的に基づいて、ヘッドマウントディスプレイのポジションをトラックすることと、含んでよい。

複数のオプティカルフローセンサＩＣを介してイメージセンサデータを撮像することは、それぞれがイメージセンシング回路およびイメージ処理回路を有するシングルダイを含む複数のオプティカルフローセンサＩＣを介して、イメージセンサデータを撮像することを含んでよい。カメラ視野におけるイメージセンサデータを第１フレームレートで撮像することは、カメラ視野におけるイメージセンサデータを、毎秒１００フレーム以下である第１フレームレートで撮像することを含んでよく、複数のセンサＩＣ視野におけるイメージセンサデータを第２フレームレートで撮像することは、複数のセンサＩＣ視野におけるイメージセンサデータを、毎秒１０００フレーム以上である第２フレームレートで撮像することを含んでよい。受信したイメージセンサデータを処理することは、受信したイメージセンサデータを処理して、ヘッドマウントディスプレイが動作する環境に存在する１または複数の特徴を検出することを含んでよい。複数のセンサＩＣ視野のそれぞれは、カメラ視野の一部と重なってよい。受信したイメージセンサデータを処理することは、複数のセンサＩＣ視野をカメラ視野に登録することを含んでよい。カメラ視野は１００度より大きくてよい。

ヘッドマウントディスプレイはさらに、それぞれがユーザの一方の目にディスプレイを提供する第１および第２ディスプレイサブシステムを含んでよく、方法はさらに、カメラから得られた画像を第１および第２ディスプレイサブシステムを介して選択的に提示することを含んでよい。

複数の図面において、同一の複数の参照番号は、類似の複数の要素または動作を識別する。複数の図面における複数の要素の寸法および相対的位置は、縮尺通りに必ずしも描かれない。例えば、様々な要素の形状および角度は、必ずしも縮尺通りに描かれておらず、これらの要素のうちのいくつかは、図面の読みやすさを改善すべく、任意に拡大および配置されてよい。さらに、これらの要素の描かれている特定の形状は、それら特定の要素の実際の形状に関する何らかの情報を伝えることが必ずしも意図されるものではなく、図面中で認識されることを容易にするために選択されただけであってよい。
本開示の例示的な実施形態による、双眼ディスプレイサブシステム、前方カメラ、および、複数のセンサ集積回路を含むヘッドマウントディスプレイシステムの上面図を示す。 本開示の例示的な実施形態による、双眼ディスプレイサブシステム、前方カメラ、および、複数のセンサ集積回路を含むヘッドマウントディスプレイシステムの前面絵図を示す。 本開示の例示的な実施形態による、図２に示されるヘッドマウントディスプレイシステムの上面図である。 本開示の例示的な実施形態による、ヘッドマウントディスプレイシステムの概略ブロック図である。 本開示の例示的な実施形態による、使用中におけるヘッドマウントディスプレイシステムのポジション、向き、および／または、動きをトラックするためにヘッドマウントディスプレイシステムのポジショントラッキングシステムを動作させる方法のためのフロー図である。

以下の説明において、開示された様々な実装の完全な理解を提供するために、特定の具体的な詳細が述べられる。しかしながら、これらの具体的な詳細の１または複数が無くとも、もしくは、他の方法、コンポーネント、材料などによっても、これらの実装例が実施され得ることを当業者は認識するであろう。他の場合において、これらの実施例の記載を不必要に曖昧にすることを回避すべく、コンピュータシステム、サーバコンピュータ、および／または通信ネットワークに関連付けられた既知の構造は示されていない、または、詳細に記載されていない。

文脈が要求しない限り、下記の明細書および特許請求の範囲を通じて、"備える"という用語は"含む"と同義であり、包括的または制限がない（すなわち、追加の、列挙されていない要素または方法の動作を排除しない）。

本明細書全体にわたった"一実装"または"実装"への参照は、実装に関連して説明された特定の特徴、構造、または、特性が少なくとも１つの実装に含まれることを意味する。従って、本明細書を通して様々な箇所における"一実装例において"または"実装例において"という表現の出現は、必ずしも、全てが同じ実装例を参照するものではない。さらに、特定の特徴、構造、または特性は、１または複数の実装例において、任意の適切な態様で組み合わされてよい。

本明細書および添付の特許請求の範囲で使用されるように、単数形"ａ"、"ａｎ"、および"ｔｈｅ"は、そうでないことを文脈が明確に規定していない限り、複数の指示対象を含む。 "または"という用語は、概して、そうでないことを文脈が明確に規定していない限り、その意味において"および／または"を含むように用いられることもまた、留意されるべきである。

本明細書で提供される見出しおよび開示の要約は、便宜上のものであり、実装の範囲または意味を解釈するものではない。

本開示の１または複数の実装例は、ヘッドマウントディスプレイ（ＨＭＤ）のポジションを、ＨＭＤの装着者による使用中に、正確にトラックするためのシステムおよび方法を対象とする。少なくともいくつかの実装例において、ＨＭＤは、前方を向いたカメラ（"前方カメラ"または"フロントカメラ"）および複数のオプティカルフローセンサ集積回路（ＩＣ）または"センサＩＣ"を担持する支持構造を含む。前方カメラは、前方カメラ視野におけるイメージセンサデータを第１フレームレート（例えば、３０Ｈｚ、９０Ｈｚ）で撮像する。複数のセンサＩＣのそれぞれは、複数のセンサＩＣ視野のそれぞれにおけるイメージセンサデータを第２フレームレート（例えば、１０００Ｈｚ、２０００Ｈｚ）で撮像する。少なくともいくつかの実装例において、複数のセンサＩＣ視野は前方カメラ視野より狭くてよい。例えば、前方カメラは、９０°、１２０°、または１５０°の比較的広い前方カメラ視野を有し、センサＩＣのそれぞれは、１５°、３０°、４５°等の比較的狭いセンサＩＣ視野を有してよい。少なくともいくつかの実装例において、複数のセンサＩＣ視野は、前方カメラ視野の異なる部分と重なるそれぞれのセンサＩＣ視野により、前方カメラ視野の少なくとも実質的な部分を集合的にカバーしてよい。

動作中に、前方カメラおよび複数のセンサＩＣに動作可能に結合される少なくとも１つのプロセッサは、カメラおよび複数のオプティカルフローセンサＩＣからイメージセンサデータを受信してよい。少なくとも１つのプロセッサは、受信したイメージセンサデータを処理して、受信したイメージセンサデータの処理に少なくとも部分的に基づいて、ヘッドマウントディスプレイのポジションをトラックしてよい。例えば、少なくとも１つのプロセッサは、前方カメラおよび複数のセンサＩＣからのセンサデータを結合して、環境に存在する１または複数の特徴をトラックしてよい。少なくともいくつかの実装例において、イメージセンサデータは、ＨＭＤの慣性測定ユニット（ＩＭＵ）からのセンサデータのような他のセンサからのセンサデータと結合されてよい。本開示の実装の様々な特徴は、図を参照して以下で詳細に述べられる。

図１は、ニアツーアイディスプレイシステム１０２および１０４の組を含むＨＭＤシステム１００の簡略化された上面図である。ニアツーアイディスプレイシステム１０２および１０４は、それぞれ、ディスプレイ１０６および１０８（例えば、ＯＬＥＤマイクロディスプレイ）、および、それぞれが１または複数の光学レンズを有するそれぞれの光学レンズシステム１１０および１１２を含む。ディスプレイシステム１０２および１０４は、支持構造またはフレーム１１４またはフロント部１１６、左テンプル１１８、および、右テンプル１２０を含む他のマウント構造に取り付けられてよい。２つのディスプレイシステム１０２および１０４は、装着者ユーザ１２４の頭１２２に装着可能な眼鏡構成でフレーム１１４に固定されてよい。左テンプル１１８および右テンプル１２０は、それぞれ、ユーザの耳１２６および１２８上に置かれてよく、一方、鼻用部品（図示されない）は、ユーザの鼻１３０上に置かれてよい。フレーム１１４は、２つの光学システム１１０および１１２のそれぞれを、ユーザの目１３２および１３４のうちの一方の前方にそれぞれ位置させるような形状およびサイズであってよい。フレーム１１４は説明のために眼鏡と同様に簡略化して示されているが、実際には、ディスプレイシステム１０２および１０４をユーザ１２４の頭１２２に支持および配置するために、より高度な構造（例えば、ゴーグル、統合ヘッドバンド、ヘルメット、ストラップ等）が用いられてよいことが理解されるべきである。

図１のＨＭＤシステム１００は、毎秒３０フレーム（または画像）または毎秒９０フレームのような表示レートで提示される対応するビデオを介するなどして、仮想現実ディスプレイをユーザ１２４に提示することができる一方、同様のシステムの他の実施形態は、拡張現実ディスプレイをユーザ１２４に提示してよい。ディスプレイ１０６および１０８のそれぞれは、それぞれの光学システム１１０および１１２により透過され、ユーザ１２４の目１３２および１３４にそれぞれ焦点を合わされる光を生成し得る。ここでは図示されていないが、それぞれの目は、そこから光が目に入る瞳孔の開口部を含み、典型的な瞳孔のサイズは、非常に明るい条件では直径２ｍｍ（ミリメータ）から暗い条件では最大８ｍｍであり、瞳孔が含まれるより大きな虹彩はおよそ１２ｍｍのサイズを有してよく、瞳孔（およびそれを囲む虹彩）は一般的に、開いたまぶたの下で目の可視部分内で水平および／または垂直方向に数ミリメータ移動してよく、また、眼球がその中心の周りを旋回するときに、異なる水平および垂直位置のために、光学レンズまたはディスプレイの他の物理的な要素から異なる深度に瞳孔を移動する（瞳孔が移動できる３次元のボリュームをもたらす）。ユーザの瞳孔に入射する光は、ユーザ１２４により画像および／またはビデオとして見られる。いくつかの実装において、光学システム１１０および１１２のそれぞれとユーザの目１３２および１３４との間の距離は比較的短くてよく（例えば、３０ｍｍ未満、２０ｍｍ未満）、これにより、光学システムおよびディスプレイシステムの重量がユーザの顔に比較的近いため、ＨＭＤシステム１００をユーザにより軽くみせ、また、ユーザにより大きな視野を提供し得る。

ＨＭＤシステム１００は、また、外向きまたは前方カメラ１３６を含んでよい。前方カメラ１３６は、例えば、拡張現実アプリケーションにおいて、または仮想現実アプリケーションと併せて、ユーザ１２４に選択的に提示されてよい画像データを撮像するように動作可能であってよい。追加的にまたは代替的に、前方カメラ１３６は、以下でさらに述べられるように、使用中にＨＭＤシステム１００のポジションをトラックするために、ＨＭＤシステム１００のポジショントラッキングシステムにより用いられてよい。一例として、前方カメラ１３６は、ビデオカメラ、および、比較的広いアングル（例えば、６０°、９０°、１２０°、１５０°）を有するフロントカメラ視野における画像をあるフレームレート（例えば、３０Ｈｚ、６０Ｈｚ、９０Ｈｚ）で撮像する関連するレンズシステムを備えてよい。

ＨＭＤシステム１００は、また、複数の（６つが示される）オプティカルフローセンサＩＣ１３８ａ－１３８ｆ（集合的に"オプティカルＩＣ１３８"）を含んでよい。センサＩＣ１３８のそれぞれは、例えば、光学マウスで使用されるセンサＩＣと同様または同一であってよい。概して、オプティカルフローは、観察者（例えば、センサＩＣ）と場面との間の相対運動によって生じる視覚的な場面における、物体、表面、および縁部の明らかな運動のパターンである。センサＩＣ１３８は、ＨＭＤシステム１００にトラッキングを提供するために、オプティカルフローデータを用いてよい。

少なくともいくつかの実装例において、センサＩＣ１３８のそれぞれは、オプティカルフローまたは視覚運動の計測、および、オプティカルフローに基づく計測値の出力が可能な視覚センサであり得る。センサＩＣ１３８は、様々な構成を有してよい。１つの構成例は、オプティカルフローアルゴリズムを実行するようにプログラムされたプロセッサに接続されたイメージセンサチップである。他の構成例は、ビジョンチップを使用してよく、これは、同じダイ上にイメージセンサおよび処理回路の両方を有する集積回路であり得、コンパクトな実装を可能にする。少なくともいくつかの実装例において、処理回路は、最小限の電流消費により高速オプティカルフロー算出を可能にするために、アナログまたは混合信号回路を使用して実装されてよい。センサＩＣのそれぞれは、１６×１６画素、３２×３２画素等のような画素のアレイを形成するために、光電子材料（例えば、相補的金属酸化半導体（ＣＭＯＳ））の光電子センサアレイを含んでよい。さらに、センサＩＣ１３８のそれぞれは、所望の光学的特徴（例えば、ＦＯＶ）を実現するために、関連するレンズシステムを含んでよい。上述のように、センサＩＣ１３８のそれぞれは、前方カメラ１３６のフレームレート（例えば、３０Ｈｚ、９０Ｈｚ）と比較して、比較的高いフレームレート（例えば、１０００Ｈｚより大きい）を有してよい。

図１には図示されていないが、このようなＨＭＤシステムのいくつかの実施形態は、例えば、目１３２および１３４ごとに別々に瞳孔トラッキングを実行して、頭の位置および向きを（例えば、ヘッドトラッキングの一部として）トラックし、ユーザの体の様々な他のタイプの動きおよびポジションをトラックするための様々な追加的な内部および／または外部センサ、外部の（例えば、環境の）画像を記録するための他のカメラ等を含んでよい。

さらに、記載される技術は、図１に示されるものと同様のディスプレイシステムを有するいくつかの実施形態において用いられてよく、他の実施形態においては、単一の光学レンズおよびディスプレイデバイスまたは複数のこのような光学レンズおよびディスプレイデバイスを含む他のタイプのディスプレイシステムが用いられてよい。他のこのようなデバイスの非排他的な例は、カメラ、望遠鏡、顕微鏡、双眼鏡、スポッティングスコープ、測量スコープ等を含む。さらに、記載される技術は、１または複数のユーザが１または複数の光学レンズを通して見る画像を形成するために光を放出する多種多様なディスプレイパネルまたは他のディスプレイデバイスとともに用いられてよい。他の実施形態において、ユーザは、他の光源からの光を部分的または全体的に反射する表面上など、ディスプレイパネルを介する以外の方法で生成される１または複数の画像を１または複数の光学レンズを通して見てよい。

図２は、ユーザ２０２の頭に装着されたときの例示的なＨＭＤシステム２００の前面図を示す。図３は、ＨＭＤシステム２００の上面図を示し、ＨＭＤシステム２００のいくつかのコンポーネントの例示的な視野２１０および２１２を示している。ＨＭＤシステム２００は、前方を向いたまたは前方カメラ２０６および複数のセンサＩＣ２０８ａ－２０８ｎ（集合的に、２０８）を支持する支持構造２０４を含む。前方カメラ２０６およびセンサＩＣ２０８は、それぞれ、図１を参照して上述した前方カメラ１３６およびセンサＩＣ１３８と同様または同一であってよい。センサＩＣ２０８の特定の数は、図に示されているセンサＩＣの数より少なくても多くてもよい。

示されるように、前方カメラ２０６およびセンサＩＣ２０８は、ユーザ２０２がＨＭＤシステム２００を動作させるシーンまたは環境２１４（図３）に向かって前方に向けられる。環境２１４は、その中に１または複数のオブジェクト２１３（１つが示されている）を含んでよく、それは、壁、天井、家具、階段、車、木、トラッキングマーカ、または、あらゆる他のタイプのオブジェクトを含んでよい。

説明の目的で、センサＩＣ２０８ａ、２０８ｄ、２０８ｊおよび２０８ｌのみが図３に示されている。示されるように、前方カメラ２０６は、ＦＯＶアングル２０７（例えば、６０°、９０°、１２０°、１５０°）を有する前方カメラＦＯＶ２１０を含む。示されるように、センサＩＣ２０８ａ、２０８ｄ、２０８ｊおよび２０８ｌのそれぞれは、それぞれのＦＯＶアングル２０９ａ、２０９ｄ、２０９ｊおよび２０９ｌ（集合的に、２０９）を有するそれぞれのセンサＩＣ ＦＯＶ２１２ａ、２１２ｄ、２１２ｊおよび２１２ｌ（集合的に、２１２）を有する。少なくともいくつかの実装例において、センサＩＣの２０８のＦＯＶアングル２０９は、前方カメラ２０６のＦＯＶアングル２０７より狭い。例えば、少なくともいくつかの実装例において、センサＩＣの２０８のＦＯＶ２１２は、ＦＯＶ２１０の異なる部分を覆うそれぞれのＦＯＶ２１２により、前方カメラ２０６のＦＯＶ２１０の少なくとも実質的な部分を集合的にカバーしてよい。

ＨＭＤシステム２００はまた、支持構造２０４により担持される慣性測定ユニット（ＩＭＵ）２１６を含んでよい。ＩＭＵ２１６は、加速度計、ジャイロスコープ、および、任意で磁力計の組み合わせを用いて、ＨＭＤシステム２００固有の力、角速度、および／またはＨＭＤシステムを取り巻く磁場を測定および報告する電子デバイスであってよい。前方カメラ２０６と比較して、ＩＭＵ２１６は、比較的高い更新または報告レート（例えば、毎秒５００、毎秒１０００）を有してよい。

動作中に、ＨＭＤシステム２００は、前方カメラ２０６、センサＩＣ２０８、および、任意でＩＭＵ２１６からのデータを結合またはそうでなければ組み合わせて、ユーザ２０２による動作中にＨＭＤシステム２００のポジションをトラックしてよい。一例として、前方カメラ２００は、センサＩＣの２０８の第２フレームレート（例えば、１０００Ｈｚ、２０００Ｈｚ）より実質的に低い第１フレームレート（例えば、６０Ｈｚ）を有してよい。ＨＭＤシステム２００は、光ＩＣ２０８のそれぞれのＦＯＶ２１２を前方カメラ２０６のより広いＦＯＶ２１０に登録して、前方カメラ２０６のＦＯＶ２１０のすべてまたは実質的にすべてにわたって高い帯域幅の特徴トラッキングを提供してよい。任意で、ＨＭＤシステム２００はまた、ＩＭＵ２１６からのセンサデータを結合して、ＨＭＤシステムのポジショントラッキングをさらに改善してよい。上記のように、センサＩＣと同様に、ＩＭＵ２１６はまた、比較的高い帯域幅または更新レートを有してよい。したがって、センサＩＣまたはＩＭＵ２１６により、ポジションデータは、前方カメラ２０６からのイメージセンサデータのフレームの間において生成されてよく、より高精度なポジショントラッキングを提供する。

少なくともいくつかの実装例において、前方カメラ２０６、センサＩＣ２０８、および／または、ＩＭＵ２１６は、ＨＭＤシステム２００のポジションをトラックするために、１または複数のベースステーションまたは他の技術（例えば、マーカ）と併せて用いられてよい。一例として、このようなコンポーネントは、Ｖａｌｖｅ Ｃｏｒｐｏｒａｔｉｏｎによって開発されたＬｉｇｈｔｈｏｕｓｅ（登録商標）ベースステーションと併せて用いられてよい。より一般的には、本明細書で述べた特徴は、次の米国特許で述べられているシステムおよび方法のうちのいずれかと、または組み合わせて用いられてよい。米国特許第２０１４／０２６７６６７号。米国特許第２０１６／０１２４５０２号。米国特許第２０１６／０１３１７６１号。米国特許第２０１６／０１２４５０２号。米国特許第２０１７／０２４９０１９号。これらの内容全体が参照により本明細書に組み込まれる。

前方カメラ２０６、センサＩＣ２０８、および／または、ＩＭＵ２１６は、ＨＭＤシステム２００のポジションが環境に対してどのように変化するかを判断するために用いられてよい。ＨＭＤシステム２００が移動すると、センサ２０６、２０８、および、２１６は、環境２１４におけるＨＭＤシステム２００のポジションを再調節し、仮想環境はリアルタイムで応答してよい。カメラ２０６およびセンサＩＣ２０８は、周囲の環境２１４の特徴を観察する。マーカ（例えば、プリミティブ形状、コード、アクティブベースステーション）が用いられる場合、このようなマーカは、トラッキングシステムにより容易に検出され、特定の領域に置かれるように設計されてよい。マーカレストラッキングでは、ＨＭＤシステム２００のポジション、向き、および、動きをリアルタイムに判断するために、環境２１４において標準的に存在する際立った特性または特徴はトラックされてよい。例えば、ＨＭＤシステム２００は、特定の画像、形状、または、特徴を識別する１または複数のアルゴリズムを用いてよく、それらを用いて、空間内におけるＨＭＤシステムのポジション、向き、および／または、動きを算出してよい。上記のように、ＩＭＵ２１４または他のセンサからのデータはまた、ＨＭＤシステム２００のポジショナルトラッキングの精度を高めるために用いられてよい。

図４は、本開示の１または複数の実装例によるＨＭＤシステム４００の概略ブロック図を示す。ＨＭＤシステム４００は、上述のＨＭＤシステム１００および２００と同様または同一であってよい。したがって、ＨＭＤシステム１００および２００に関する上記の議論は、ＨＭＤシステム４００にも適用してよい。

ＨＭＤシステム４００は、プロセッサ４０２、前方を向いたまたは前方カメラ４０４、複数のセンサＩＣ４０６、および、任意でＩＭＵ４０７を含む。ＨＭＤシステム４００は、ディスプレイサブシステム４０８（例えば、２つのディスプレイおよび対応する光学システム）を含んでよい。ＨＭＤシステム４００はまた、ポジショントラッキング４１２のための命令またはデータ、ディスプレイ機能４１４（例えば、ゲーム）のための命令またはデータ、および／または、他のプログラム４１６を格納してよい非一時的データストレージ４１０を含んでよい。

ＨＭＤシステム４００はまた、１または複数のユーザインタフェース（例えば、ボタン、タッチパッド、スピーカ）、１または複数の有線または無線通信インタフェース等を含んでよい様々なＩ／Ｏコンポーネント４１８を含んでよい。一例として、Ｉ／Ｏコンポーネント４１８は、ＨＭＤシステム４００が有線または無線通信リンク４２２を介して外部デバイス４２０と通信することを可能とする通信インタフェースを含んでよい。非限定的な例として、外部デバイス４２０は、ホストコンピュータ、サーバ、モバイルデバイス（例えば、スマートフォン、ウェアラブルコンピュータ）等を含んでよい。ＨＭＤシステム４００の様々なコンポーネントは、単一の筐体（例えば、図２および３の支持構造２０２）に収容されてよく、別個の筐体（例えば、ホストコンピュータ）、またはそれらの組み合わせに収容されてもよい。

示されたコンピューティングシステムおよびデバイスは単に例示的なものであり、本開示の範囲を制限することを意図されていないことが理解されるであろう。例えば、ＨＭＤ４００および／または外部デバイス４２０は、インターネットのような１または複数のネットワークを通して、またはウェブを介してなど、図示されていない他のデバイスに接続されてよい。より一般的には、このようなコンピューティングシステムまたはデバイスは、デスクトップコンピュータ、ラップトップコンピュータ、スレートコンピュータ、タブレットコンピュータ、または、他のコンピュータ、スマートフォンコンピューティングデバイス、および、他の携帯電話、インターネットアプライアンス、ＰＤＡ、および、他の電子手帳、データベースサーバ、ネットワーク記憶デバイス、および、他のネットワークデバイス、ワイヤレス電話、ページャ、テレビベースシステム（例えば、セットトップボックス、および／または、パーソナル／デジタルビデオレコーダ、および／または、ゲームコンソール、および／または、メディアサーバの使用）、および、適切な相互通信機能を含む他の様々なコンシューマ製品を含むがこれらに限定されない適切なソフトウェアでプログラムされたまたはそうでなければ構成された場合など、記載されたタイプの機能を相互作用および実行できるハードウェアの任意の組み合わせを備えてよい。例えば、例示のシステム４００および４２０は、特定のコンピューティングシステムまたはデバイスによりロードおよび／または実行されると、それらシステムまたはデバイスのプロセッサを構成するように、それらシステムまたはデバイスをプログラムまたはそうでなければ構成するために使用され得る、少なくともいくつかの実施形態における実行可能なソフトウェア命令および／またはデータ構造を含んでよい。代替的に、他の実施形態においては、ソフトウェアシステムのいくつかまたは全ては、他のデバイス上のメモリで実行され、コンピュータ間通信を介して、図示されたコンピューティングシステム／デバイスと通信してよい。さらに、様々なアイテムが様々な時間（例えば使用中）にメモリまたはストレージに格納されるように示されているが、これらアイテムまたはそれらの一部は、メモリ管理および／またはデータ統合性の目的で、メモリとストレージ間および／またはストレージデバイス間（例えば、異なる位置の）で転送されることができる。

したがって、少なくともいくつかの実施形態において、例示のシステムは、プロセッサおよび／または他のプロセッサ手段により実行されると、システムのための記載された動作を自動的に実行するようにプロセッサをプログラムするソフトウェア命令を含むソフトウェアベースシステムである。さらに、いくつかの実施形態において、システムのいくつかまたは全ては、１または複数の特定用途向け集積回路（ＡＳＩＣ）、標準の集積回路、コントローラ（例えば、適切な命令を実行し、マイクロコントローラおよび／または組み込まれたコントローラを含むことによって）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複雑なプログラマブルロジックデバイス（ＣＰＬＤ）等を含むがこれらに限定されない少なくとも部分的なファームウェアおよび／またはハードウェア手段のような、他の方法で実装または提供されてよい。システムまたはデータ構造のいくつかまたは全てはまた、ハードディスクまたはフラッシュドライブまたは他の不揮発性格納デバイス、揮発性または不揮発性メモリ（例えば、ＲＡＭ）、ネットワーク記憶装置、または適切なドライブによりまたは適切な接続を介して読み取られるポータブルメディア製品（例えば、ＤＶＤディスク、ＣＤディスク、光ディスク、フラッシュメモリデバイス等）のような非一時的コンピュータ可読記録媒体に（例えば、ソフトウェア命令コンテンツまたは構造化データコンテンツとして）格納されてよい。システム、モジュール、および、データ構造はまた、いくつかの実施形態において、無線ベースおよび有線／ケーブルベースの媒体を含み、様々な形式（例えば、単一のまたは多重化されたアナログ信号または複数の個別のデジタルパケットまたはフレームの一部として）をとることができる様々なコンピュータ可読送信媒体上で、生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）送信されてよい。このようなコンピュータプログラム製品はまた、他の実施形態において他の形式を取ってよい。したがって、本開示は、他のコンピュータシステム構成で実施されてよい。

図５は、ＨＭＤシステムを動作させてそれらの使用中におけるポジションをトラックする例示的な方法５００のフロー図である。方法５００は、例えば、図４に示されるＨＭＤシステム４００のポジショントラッキングシステムまたはモジュール４１２により実行されてよい。

方法５００の図示された実装は、動作５０２で始まり、そこにおいて前方を向いたカメラおよび複数のセンサＩＣを有するＨＭＤシステムが提供される。フロントカメラは、フロントカメラ視野におけるイメージセンサデータを第１フレームレートで撮像してよい。複数のセンサＩＣは、例えば、オプティカルフローを検出するように動作可能であってよい。動作中に、複数のセンサＩＣのそれぞれは、複数のセンサＩＣ視野のそれぞれにおけるイメージセンサデータを第２フレームレートで撮像する。少なくともいくつかの実装例において、複数のセンサＩＣ視野はフロントカメラ視野より狭く、センサＩＣの第２フレームレートはフロントカメラの第１フレームレートより大きい。例えば、少なくともいくつかの実装例において、第１フレームレートは毎秒１００フレーム以下であり、第２フレームレートは毎秒１０００フレーム以上である。少なくともいくつかの実装例において、複数のセンサＩＣ視野がフロントカメラ視野の少なくとも実質的な部分（例えば、５０％、８０％、９０％、１００％）を集合的にカバーするように、複数のセンサＩＣ視野のそれぞれは、フロントカメラ視野の一部と重なっている。少なくともいくつかの実装例において、センサＩＣのそれぞれは、イメージセンシング回路およびイメージ処理回路を有するシングルダイを備えてよい。

５０４において、ＨＭＤシステムと関連付けられた少なくとも１つのプロセッサは、フロントカメラおよび複数のセンサＩＣからセンサデータを受信してよい。一例として、少なくとも１つのプロセッサは、フロントカメラからより低い第１のレートでセンサデータを受信してよく、複数のセンサＩＣからより高い第２のレートでセンサデータを受信してよい。

５０６において、ＨＭＤシステムに関連付けられた少なくとも１つのプロセッサは、慣性トラッキング機能を提供するように動作可能な慣性測定ユニット（ＩＭＵ）からセンサデータを任意で受信してよい。

５０８において、ＨＭＤシステムに関連付けられた少なくとも１つのプロセッサは、受信したセンサデータを処理してよい。例えば、少なくとも１つのプロセッサは、センサデータのいくつかまたは全てをともに結合して、ＨＭＤシステムが動作する環境に存在する１または複数の特徴をトラックしてよい。センサデータは、フロントカメラからのセンサデータ、複数のセンサＩＣのうちの少なくとも一つからのセンサデータ、および、任意でＩＭＵからのセンサデータを含んでよい。

５１０において、ＨＭＤシステムに関連付けられた少なくとも１つのプロセッサは、環境内におけるユーザによるＨＭＤシステムの使用中に、ＨＭＤシステムのポジション、向き、および／または、動きをリアルタイムにトラックしてよい。方法５００は、上述のように、ＨＭＤの動作中に継続して、ＨＭＤシステムのポジション、向き、および／または、動きを連続的にトラックしてよい。

前述の詳細な説明は、ブロック図、概略図、および例を使用することにより、デバイスおよび／または処理の様々な実装を示してきた。そのような複数のブロック図、概略図、および例が１または複数の機能および／または動作を含む限りにおいて、当業者は、そのような複数のブロック図、フロー図、または例における各機能および／または動作が広範なハードウェア、ソフトウェア、ファームウェア、または事実上、それらのいずれかの組み合わせにより個別に、および／または集合的に実装され得ることを理解するであろう。一実装において、本主題は、特定用途向け集積回路（ＡＳＩＣ）を介して実装されてよい。しかしながら、当業者は、本明細書に開示された実装が、１または複数のコンピュータ上で動作する１または複数のコンピュータプログラムとして（例えば、１または複数のコンピュータシステム上で動作する１または複数のプログラムとして）、１または複数のコントローラ（例えば、マイクロコントローラ）上で動作する１または複数のプログラムとして、１または複数のプロセッサ（例えば、マイクロプロセッサ）上で動作する１または複数のプログラムとして、ファームウェアとして、または、回路の設計および／またはソフトウェアおよび／またはファームウェアのコードの記述が本開示に照らして当業者の技能の十分な範囲内である実質的にそれらの任意の組み合わせとして、全体的または部分的に、標準的な集積回路で同等に実装できることを認識するであろう。

当業者は、本明細書に記載された方法またはアルゴリズムセットの多くが、追加の動作を採用し得、いくつかの動作を省略し得、および／または規定とは異なる順序で動作を実行し得ることを認識するであろう。

さらに、当業者は、本明細書で教示される複数の機構が、様々な形式でプログラム製品として配布可能であり、例示的な実装は、実際に配布を実行するために用いられる信号担持媒体の特定のタイプにかかわらず等しく適用されることを理解するであろう。信号担持媒体の例としては、フロッピー（登録商標）、ハードディスクドライブ、ＣＤ－ＲＯＭ、デジタルテープ、およびコンピュータメモリ等、記録可能なタイプの媒体が挙げられるが、これらに限定されない。

上記の様々な実装を組み合わせて、さらなる実装を提供することができる。本明細書で言及されている特定の教示および定義と矛盾しない範囲で、２０１８年１月１８日に出願された米国仮出願６２／６１８，９２８号を含む、本明細書で言及されているすべての米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、および、非特許公報の全体が参照により本明細書に組み込まれる。必要に応じて、実装の複数の態様を変更して、様々な特許、アプリケーション、および、公報のシステム、回路、および、概念を採用し、さらに別の実装を提供することができる。

上記の詳細な説明に照らして、これらおよび他の変更を実装に加えることができる。一般に、以下の請求項において、使用される用語は、請求項を明細書および請求項に開示された特定の実装に制限するものと解釈されるべきではなく、そのような請求の対象となる同等の範囲全体に沿って可能なすべての実装を含むものと解釈されるべきである。したがって、特許請求の範囲は、本開示によって限定されない。

Claims (20)

1. ユーザの頭に装着可能な支持構造と、
   前記支持構造により担持されるカメラであって、動作中に前記カメラはカメラ視野におけるイメージセンサデータを第１フレームレートで撮像する、カメラと、
   前記支持構造により担持される複数のオプティカルフローセンサ集積回路（複数のオプティカルフローセンサＩＣ）であって、動作中に前記複数のオプティカルフローセンサＩＣのそれぞれは、複数のセンサＩＣ視野のそれぞれにおけるイメージセンサデータを第２フレームレートで撮像し、前記複数のセンサＩＣ視野は前記カメラ視野より狭く、前記第２フレームレートは前記第１フレームレートより大きい、複数のオプティカルフローセンサＩＣと、
   プロセッサ実行可能命令またはデータの少なくとも１つを格納する少なくとも１つの非一時的プロセッサ可読記録媒体と、
   前記カメラ、前記複数のオプティカルフローセンサＩＣ、および、前記少なくとも１つの非一時的プロセッサ可読記録媒体に動作可能に結合される少なくとも１つのプロセッサであって、動作中に前記少なくとも１つのプロセッサは、
   前記カメラおよび前記複数のオプティカルフローセンサＩＣから前記イメージセンサデータを受信し、
   受信した前記イメージセンサデータを処理し、
   受信した前記イメージセンサデータの前記処理に少なくとも部分的に基づいて、ヘッドマウントディスプレイのポジションをトラックする、少なくとも1つのプロセッサと、
   を備える、ヘッドマウントディスプレイ。
2. 前記少なくとも１つのプロセッサは、前記カメラおよび前記複数のオプティカルフローセンサＩＣからの前記イメージセンサデータを結合して、前記ヘッドマウントディスプレイの前記ポジションをトラックする、請求項１に記載のヘッドマウントディスプレイ。
3. 前記少なくとも１つのプロセッサに動作可能に結合された慣性測定ユニットセンサ（ＩＭＵセンサ）をさらに備え、
   動作中に前記少なくとも１つのプロセッサは、
   前記ＩＭＵセンサからＩＭＵセンサデータを受信し、
   前記ＩＭＵセンサデータ、および、前記カメラおよび前記複数のオプティカルフローセンサＩＣから受信した前記イメージセンサデータを処理し、
   受信した前記ＩＭＵセンサデータおよび受信した前記イメージセンサデータの前記処理に少なくとも部分的に基づいて、前記ヘッドマウントディスプレイの前記ポジションをトラックする、請求項１または２に記載のヘッドマウントディスプレイ。
4. 前記複数のオプティカルフローセンサＩＣのそれぞれは、イメージセンシング回路およびイメージ処理回路を有するシングルダイを備える、請求項１から３のいずれか一項に記載のヘッドマウントディスプレイ。
5. 前記第１フレームレートは、毎秒１００フレーム以下であり、前記第２フレームレートは、毎秒１０００フレーム以上である、請求項１から４のいずれか一項に記載のヘッドマウントディスプレイ。
6. 前記少なくとも１つのプロセッサは、受信した前記イメージセンサデータを処理して、前記ヘッドマウントディスプレイが動作する環境に存在する１または複数の特徴を検出する、請求項１から５のいずれか一項に記載のヘッドマウントディスプレイ。
7. 前記複数のセンサＩＣ視野のそれぞれは、前記カメラ視野の一部と重なる、請求項１から６のいずれか一項に記載のヘッドマウントディスプレイ。
8. 前記少なくとも１つのプロセッサは、前記複数のセンサＩＣ視野を前記カメラ視野に登録する、請求項１から７のいずれか一項に記載のヘッドマウントディスプレイ。
9. 前記カメラ視野は１００度より大きい、請求項１から８のいずれか一項に記載のヘッドマウントディスプレイ。
10. それぞれがユーザの一方の目にディスプレイを提供する第１および第２ディスプレイサブシステムをさらに備え、動作中に前記少なくとも１つのプロセッサは、前記カメラから得られた画像を前記第１および第２ディスプレイサブシステムを介して選択的に提示する、請求項１から９のいずれか一項に記載のヘッドマウントディスプレイ。
11. ヘッドマウントディスプレイを動作させる方法であって、前記ヘッドマウントディスプレイは、ユーザの頭に装着可能な支持構造と、前記支持構造により担持されるカメラと、前記支持構造により担持される複数のオプティカルフローセンサ集積回路（複数のオプティカルフローセンサＩＣ）と、を備え、前記方法は、
    前記カメラを介して、カメラ視野におけるイメージセンサデータを第１フレームレートで撮像することと、
    前記複数のオプティカルフローセンサＩＣを介して、複数のセンサＩＣ視野のそれぞれにおけるイメージセンサデータを第２フレームレートで撮像することであって、前記複数のセンサＩＣ視野は前記カメラ視野より狭く、前記第２フレームレートは前記第１フレームレートより大きい、撮像することと、
    少なくとも１つのプロセッサにより、前記カメラおよび前記複数のオプティカルフローセンサＩＣから前記イメージセンサデータを受信することと、
    前記少なくとも１つのプロセッサにより、受信した前記イメージセンサデータを処理することと、
    前記少なくとも１つのプロセッサにより、受信した前記イメージセンサデータの前記処理に少なくとも部分的に基づいて、前記ヘッドマウントディスプレイのポジションをトラックすることと、
    を備える、方法。
12. 受信した前記イメージセンサデータを処理することは、前記カメラおよび前記複数のオプティカルフローセンサＩＣからの前記イメージセンサデータを結合して、前記ヘッドマウントディスプレイの前記ポジションをトラックすることを備える、請求項１１に記載の方法。
13. 前記ヘッドマウントディスプレイは、前記少なくとも１つのプロセッサに動作可能に結合された慣性測定ユニットセンサ（ＩＭＵセンサ）を備え、前記方法はさらに、
    前記少なくとも１つのプロセッサにより、前記ＩＭＵセンサからＩＭＵセンサデータを受信することと、
    前記少なくとも１つのプロセッサにより、前記ＩＭＵセンサデータ、および、前記カメラおよび前記複数のオプティカルフローセンサＩＣから受信した前記イメージセンサデータを処理することと、
    前記少なくとも１つのプロセッサにより、受信した前記ＩＭＵセンサデータおよび受信した前記イメージセンサデータの前記処理に少なくとも部分的に基づいて、前記ヘッドマウントディスプレイの前記ポジションをトラックすることと、を備える、請求項１１または１２に記載の方法。
14. 前記複数のオプティカルフローセンサＩＣを介してイメージセンサデータを撮像することは、それぞれがイメージセンシング回路およびイメージ処理回路を有するシングルダイを備える複数のオプティカルフローセンサＩＣを介して、イメージセンサデータを撮像することを備える、請求項１１から１３のいずれか一項に記載の方法。
15. カメラ視野におけるイメージセンサデータを第１フレームレートで撮像することは、カメラ視野におけるイメージセンサデータを、毎秒１００フレーム以下である第１フレームレートで撮像することを備え、前記複数のセンサＩＣ視野におけるイメージセンサデータを第２フレームレートで撮像することは、前記複数のセンサＩＣ視野におけるイメージセンサデータを、毎秒１０００フレーム以上である第２フレームレートで撮像することを備える、請求項１１から１４のいずれか一項に記載の方法。
16. 受信した前記イメージセンサデータを処理することは、受信した前記イメージセンサデータを処理して、前記ヘッドマウントディスプレイが動作する環境に存在する１または複数の特徴を検出することを備える、請求項１１から１５のいずれか一項に記載の方法。
17. 前記複数のセンサＩＣ視野のそれぞれは、前記カメラ視野の一部と重なる、請求項１１から１６のいずれか一項に記載の方法。
18. 受信した前記イメージセンサデータを処理することは、前記複数のセンサＩＣ視野を前記カメラ視野に登録することを備える、請求項１１から１７のいずれか一項に記載の方法。
19. 前記カメラ視野は１００度より大きい、請求項１１から１８のいずれか一項に記載の方法。
20. 前記ヘッドマウントディスプレイは、それぞれがユーザの一方の目にディスプレイを提供する第１および第２ディスプレイサブシステムをさらに備え、前記方法はさらに、
    前記カメラから得られた画像を前記第１および第２ディスプレイサブシステムを介して選択的に提示することを備える、請求項１１から１９のいずれか一項に記載の方法。

Images