JP7435596B2

JP7435596B2 - ヘッドマウントディスプレイシステム、ステレオ画像を撮像するように動作可能であるステレオ深度カメラ、および、ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法

Info

Publication number: JP7435596B2
Application number: JP2021510364A
Authority: JP
Inventors: マークハッドマン、ジョシュア; ウェイドラウシュ、カメロン
Original assignee: バルブコーポレーション
Priority date: 2018-09-27
Filing date: 2019-09-26
Publication date: 2024-02-21
Anticipated expiration: 2039-09-26
Also published as: CN112655202B; KR20210065167A; EP3857873A4; JP2022501876A; CN112655202A; US10764558B2; EP3857873A1; WO2020069201A1; US20200107013A1

Description

本開示は概して、ヘッドマウントディスプレイシステム用の深度カメラに関する。現世代の仮想現実（ＶＲ）体験のうちの１つは、ヘッドマウントディスプレイ（ＨＭＤ）を用いて生成される。ＨＭＤは、据え置き型コンピュータ（パーソナルコンピュータ（ＰＣ）、ラップトップまたはゲームコンソールなど）にテザリングされることができ、スマートフォンおよび／またはその関連するディスプレイと組み合わされ、および／または統合され、または自己完結型である。ＨＭＤは概して、ユーザの頭に装着され、一方の目（単眼ＨＭＤ）またはそれぞれの目（双眼ＨＭＤ）の前に小さいディスプレイデバイスを有するディスプレイデバイスである。これらのディスプレイユニットは、典型的には小型化されており、例えば、ＣＲＴ技術、ＬＣＤ技術、シリコン上液晶（ＬＣｏｓ）技術またはＯＬＥＤ技術を含み得る。双眼ＨＭＤは、異なる画像をそれぞれの目に表示する可能性を有する。この機能は、立体画像を表示するために用いられる。

［関連技術の説明］
スマートフォン、高精細度テレビおよび他の電子デバイスの発展に伴い、高性能のディスプレイの需要が高まっている。仮想現実システムおよび拡張現実システム、特に、ＨＭＤを用いたものが普及してきていることで、そのような需要はさらに高まっている。仮想現実システムは、典型的には、装着者の眼を完全に包み込み、装着者の前の実際の眺めまたは物理的な眺め（または実際の現実）を「仮想」現実に置き換えるが、拡張現実システムは、典型的には、実際の眺めが追加の情報で拡張されるように装着者の目の前に１または複数のスクリーンの半透明または透明なオーバーレイを提供し、媒介現実システムは、現実世界の要素を仮想要素と組み合わせた情報を視聴者へ同様に提示し得る。多くの仮想現実システムおよび拡張現実システムでは、ユーザの動きを反映するように画像が示されることを可能にすべく、そのようなヘッドマウントディスプレイの装着者の動きは、例えば、ヘッドマウントディスプレイの内部および／または外部のセンサを介して、様々な方式でトラッキングされ得る。

位置トラッキングにより、ＨＭＤは、絶対位置を検出するためにハードウェアとソフトウェアとの組み合わせを用いて、周りの環境に対する自らの位置を推定することが可能になる。位置トラッキングは、仮想現実における重要な機能である。この機能により、６自由度（６ＤＯＦ）で動きをトラッキングすることが可能になる。位置トラッキングにより、仮想現実体験に対する様々な利点が促進される。例えば、位置トラッキングにより、かがむ、前方へもたれかかるまたはジャンプするなどの異なる動作を反映するようにユーザの視点が変わり得ると共に、仮想環境内でのユーザの両手または他の被写体の表現が可能になり得る。また、位置トラッキングにより、視差（すなわち、目により近い被写体が遠く離れた被写体よりも速く動くこと）が原因で、仮想環境の３Ｄ認識が向上する。

位置トラッキングには、音響トラッキング、慣性トラッキング、磁気トラッキング、光学トラッキング等および／またはそれらの組み合わせを含む異なる方法がある。インサイドアウトトラッキングは、位置トラッキングの一種であり、ＨＭＤおよび／または関連被写体（例えば、コントローラ）の位置をトラッキングするために用いられ得る。インサイドアウトトラッキングは、ＨＭＤの位置を決定するために用いられるカメラまたは他のセンサの位置により、アウトサイドイントラッキングとは異なる。インサイドアウトトラッキングでは、カメラまたはセンサは、ＨＭＤ上またはトラッキング中の被写体上に位置するが、アウトサイドアウトトラッキングでは、カメラまたはセンサは、環境内の固定位置に配置される。

インサイドアウトトラッキングを利用するＨＭＤは、１または複数のカメラを利用して「見張る」ことで、自らの位置が環境に対してどのように変化しているかを決定する。ＨＭＤが動いた場合、センサは、部屋内でのそれらの場所を再調節し、仮想環境は、それに対してリアルタイムで応答する。この種の位置トラッキングは、環境内に配置されるマーカの有無にかかわらず実現され得る。

ＨＭＤ上に配置されたカメラは、周囲環境の特徴を観察する。マーカを用いる場合、マーカは、トラッキングシステムにより容易に検出されるように設計され、特定のエリアに配置される。「マーカのない」インサイドアウトトラッキングでは、ＨＭＤシステムは、環境内に元々存在する際立った特性（例えば、自然の特徴）を用いて、位置および向きを決定する。ＨＭＤシステムのアルゴリズムは、特定の画像または形状を識別し、それらを用いて空間内でのデバイスの位置を計算する。加速度計およびジャイロスコープからのデータは、位置トラッキングの精度を上げるためにも用いられ得る。

ヘッドマウントディスプレイシステムは、支持構造と、支持構造により支えられており、ステレオ画像を撮像するように動作可能であるステレオ深度カメラとを備えるものと要約され得る。ステレオ深度カメラは、ヘッドマウントディスプレイシステムの前方向からゼロではない角度だけ外側へ傾斜させられた左カメラであって、左カメラセンサアレイと、左カメラセンサアレイの前方に配置された左カメラレンズとを含み、左カメラレンズは、左カメラレンズの中心を実質的に主点に合わせるために左カメラセンサアレイの中心から支持構造の中心に向かって横方向にずらされた光軸を含む、左カメラと、左カメラから水平方向に離間しており、かつ、ヘッドマウントディスプレイシステムの前方向からゼロではない角度だけ外側へ傾斜させられた右カメラであって、右カメラセンサアレイと、右カメラセンサアレイの前方に配置された右カメラレンズとを含み、右カメラレンズは、右カメラレンズの中心を実質的に主点に合わせるために右カメラセンサアレイの中心から支持構造の中心に向かって横方向にずらされた光軸を含む、右カメラとを有する。

左カメラレンズおよび右カメラレンズのそれぞれは、魚眼レンズを含んでよい。左カメラレンズの光軸は、左カメラセンサアレイの中心から左ずれ距離だけ横方向にずらされてよく、右カメラレンズの光軸は、右カメラセンサアレイの中心から右ずれ距離だけ横方向にずらされてよく、左ずれ距離は、右ずれ距離に等しくてよい。左カメラおよび右カメラはそれぞれ、前方向から５度と１０度との間であるゼロではない角度だけ外側へ傾斜させられてよい。左カメラレンズおよび右カメラレンズのそれぞれの横方向のずれは、５ピクセル未満である、左カメラおよび右カメラにより撮像される画像の対応する点の間の水平方向視差を提供してよい。左カメラレンズおよび右カメラレンズは、カメラレンズの歪みの中心が、ヘッドマウントディスプレイシステムの前方向にあるシーン中心に来るように、横方向にずらされてよい。

ステレオ画像を撮像するように動作可能であるステレオ深度カメラは、ヘッドマウントディスプレイシステムの前方向からゼロではない角度だけ外側へ傾斜させられた左カメラであって、左カメラセンサアレイと、左カメラセンサアレイの前方に配置された左カメラレンズとを有し、左カメラレンズは、左カメラレンズの中心を実質的に主点に合わせるために左カメラセンサアレイの中心からヘッドマウントディスプレイシステムの中心に向かって横方向にずらされた光軸を含む、左カメラと、左カメラから水平方向に離間しており、かつ、ヘッドマウントディスプレイシステムの前方向からゼロではない角度だけ外側へ傾斜させられた右カメラであって、右カメラセンサアレイと、右カメラセンサアレイの前方に配置された右カメラレンズとを有し、右カメラレンズは、右カメラレンズの中心を実質的に主点に合わせるために右カメラセンサアレイの中心からヘッドマウントディスプレイシステムの中心に向かって横方向にずらされた光軸を含む、右カメラとを備えるものと要約され得る。

ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法は、ヘッドマウントディスプレイシステムの前方向からゼロではない角度だけ外側へ傾斜させられた左カメラであって、左カメラセンサアレイと、左カメラセンサアレイの前方に配置された左カメラレンズとを含み、左カメラレンズは、左カメラレンズの中心を実質的に主点に合わせるために左カメラセンサアレイの中心から支持構造の中心に向かって横方向にずらされた光軸を含む、左カメラをヘッドマウントディスプレイシステムの支持構造に結合する段階と、ヘッドマウントディスプレイシステムの前方向からゼロではない角度だけ外側へ傾斜させられた右カメラであって、右カメラセンサアレイと、右カメラセンサアレイの前方に配置された右カメラレンズとを含み、右カメラレンズは、右カメラレンズの中心を実質的に主点に合わせるために右カメラセンサアレイの中心から支持構造の中心に向かって横方向にずらされた光軸を含む、右カメラをヘッドマウントディスプレイシステムの支持構造に結合する段階とを備えるものと要約され得る。

左カメラおよび右カメラをヘッドマウントディスプレイシステムの支持構造に結合する段階は、左カメラおよび右カメラをヘッドマウントディスプレイシステムの支持構造に結合する段階であって、左カメラレンズおよび右カメラレンズのそれぞれは、魚眼レンズを含んでよい、結合する段階を有してよい。左カメラおよび右カメラをヘッドマウントディスプレイシステムの支持構造に結合する段階は、左カメラおよび右カメラをヘッドマウントディスプレイシステムの支持構造に結合する段階であって、左カメラレンズの光軸は、左カメラセンサアレイの中心から左ずれ距離だけ横方向にずらされてよく、右カメラレンズの光軸は、右カメラセンサアレイの中心から右ずれ距離だけ横方向にずらされており、左ずれ距離は、右ずれ距離に等しくてよい、結合する段階を有してよい。左カメラおよび右カメラをヘッドマウントディスプレイシステムの支持構造に結合する段階は、左カメラおよび右カメラをヘッドマウントディスプレイシステムの支持構造に結合する段階であって、左カメラおよび右カメラはそれぞれ、前方向から５度と１０度との間であるゼロではない角度だけ外側へ傾斜させられてよい、結合する段階を有してよい。

図面において、同一の参照番号は、同様の要素または動作を識別する。図面内の要素のサイズおよび相対位置は、必ずしも縮尺通りに描かれているわけではない。例えば、様々な要素の形状および角度は、必ずしも縮尺通りに描かれておらず、これらの要素のうちのいくつかは、図面の読みやすさを向上させるために任意に拡大および配置され得る。さらに、要素の描かれている特定の形状は、特定の要素の実際の形状に関する何らかの情報を伝えることが必ずしも意図されているわけではなく、図面内での認識を容易にするために選択されているに過ぎない可能性がある。

本開示の説明される技術による特定の実施形態における特定の方式の、双眼ディスプレイを含むヘッドマウントディスプレイシステムの上面図を示す。

本開示の説明される技術による特定の実施形態における特定の方式の、ステレオ深度カメラのコンポーネントである双眼ディスプレイサブシステムと前方カメラとを含むヘッドマウントディスプレイシステムの前面図である。

図２に示されるヘッドマウントディスプレイシステムの上面図であり、本開示の説明される技術による特定の実施形態における特定の方式の、ステレオ深度カメラのカメラの特定の特徴を示す。

本開示の説明される技術による特定の実施形態における特定の方式の、レンズの中心がセンサ上にある状態の従来の右側カメラ用のセンサおよびレンズの上面図である。

本開示の説明される技術による特定の実施形態における特定の方式の、レンズの中心がセンサ上にある状態の従来の左側カメラ用のセンサおよびレンズの上面図である。

本開示の説明される技術による特定の実施形態における特定の方式の、レンズがセンサの中心に対して内側へ横方向にずらされた状態の右側カメラ用のセンサおよびレンズの上面図である。

本開示の説明される技術による特定の実施形態における特定の方式の、レンズがセンサの中心に対して内側へ横方向にずらされた状態の左側カメラ用のセンサおよびレンズの上面図である。

本開示の説明される技術による特定の実施形態における特定の方式の、図５Ａおよび図５Ｂに示される２つのカメラのそれぞれのセンサおよびレンズアセンブリの上面図である。

本開示の説明される技術による特定の実施形態における特定の方式の、図４Ａおよび図４Ｂに示される従来のカメラのレンズアセンブリおよびセンサの視野の関数としてのパーセント歪みのプロットを含むグラフである。

本開示の説明される技術による特定の実施形態における特定の方式の、図５Ａおよび図５Ｂに示されるカメラのレンズアセンブリおよびセンサの視野の関数としてのパーセント歪みのプロットを含むグラフである。

本開示の説明される技術による特定の実施形態における特定の方式の例示的なヘッドマウントディスプレイシステムの概略ブロック図である。

以下の説明では、様々な開示される実装についての完全な理解を提供すべく、特定の具体的な詳細を記載する。しかしながら、当業者であれば、これらの具体的な詳細のうちの１つまたは複数なしで、または他の方法、コンポーネント、材料等を用いて実装が実施され得ることを認識するであろう。他の事例では、実装の説明を不必要に不明瞭にすることを回避するために、コンピュータシステム、サーバコンピュータおよび／または通信ネットワークに関連する周知の構造については、詳細に図示または説明していない。

文脈上別段の解釈が必要でない限り、本明細書およびそれに続く特許請求の範囲の全体にわたって、「備える」という語は、「含む」と同義であり、包括的またはオープンエンドである（すなわち、追加の記載されていない要素または方法の動作を排除しない）。

本明細書の全体にわたって、「一実装」または「実装」への言及は、当該実装に関連して説明する特定の特徴、構造または特性が少なくとも１つの実装に含まれることを意味する。故に、本明細書の全体にわたって様々な箇所に「一実装において」または「実装において」という語句が現れた場合、必ずしも全てが同じ実装に言及しているわけではない。さらに、特定の特徴、構造または特性は、１または複数の実装において任意の適切な方式で組み合わされ得る。

本明細書および添付の特許請求の範囲において用いられる場合、文脈上別段の明確な記載がない限り、単数形は、「ａ」、「ａｎ」および「ｔｈｅ」を形成し、複数形は、複数の指示対象を含む。文脈上別段の明確な記載がない限り、「または」という用語は概して、「および／または」を含む意味で使用されていることにも留意されたい。

本明細書において提供される見出しおよび要約書は、便宜のためのみのものであり、実装の範囲または意味を解釈するものではない。

本開示のシステムおよび方法は、ステレオ深度カメラを提供することにより、低減されたメモリ要件および／または処理要件を必要とするヘッドマウントディスプレイシステム用のインサイドアウトトラッキングを実装することに関する。少なくともいくつかの実装において、ステレオ深度カメラは、ヘッドマウントディスプレイシステムの支持構造により支えられる。ステレオ深度カメラは、左側カメラおよび右側カメラを含み得る。左側カメラおよび右側カメラは、本明細書において、左カメラおよび右カメラまたは第１のカメラおよび第２のカメラとも称される。左カメラおよび右カメラは、ある距離（例えば、６０～６５ｍｍ）だけ互いに離間している。少なくともいくつかの実装において、ステレオ深度カメラ用の比較的広い全体的な視野（ＦОＶ）を提供するために、左カメラおよび右カメラのそれぞれは、ヘッドマウントディスプレイシステムの前方向からゼロではない角度（例えば、５～１０度）だけ水平方向に外側へ傾斜させられ得る。以下でさらに述べるように、左カメラは、左カメラセンサアレイと、左カメラセンサアレイの前方に配置された、魚眼レンズなどの左カメラレンズ（またはレンズアセンブリ）とを含み得る。左カメラレンズは、左カメラレンズの中心を実質的にシーン中心または主点に合わせるために左カメラセンサアレイの中心から支持構造の中心に向かって横方向にずらされた光軸を含み得る。同様に、右カメラは、右カメラセンサアレイと、右カメラセンサアレイの前方に配置された、魚眼レンズなどの右カメラレンズとを含み得る。右カメラレンズは、右カメラレンズの中心を実質的にシーン中心または主点に合わせるために右カメラセンサアレイの中心から支持構造の中心に向かって横方向にずらされた光軸を含み得る。以下でさらに述べるように、これらの特徴により、左センサアレイおよび右センサアレイによって撮像される画像のピクセルが位置合わせされることで、メモリ内でのピクセルシフトを実行する必要が減るかまたはなくなり、また、メモリ要件の低減が可能になり、および／または、利用可能なメモリを他の目的（例えば、歪み補正）で用いることが可能になる。

概して、深度検知ステレオカメラまたは「ステレオ深度カメラ」は、互いに基準距離（例えば、おおよそ目と目の間の距離）だけ離れて配置された、視野内の被写体の深度を検知できる２つのセンサまたはカメラを含む。これは、ステレオ式の三角測量または再構築を介して実現され得る。ステレオ式の三角測量または再構築では、ステレオカメラ式またはマルチカメラ式のセットアップシステムを用いて取得されるデータから、ピクセルの深度データが決定される。このように、例えばそれらの焦点の間の線の中心点からシーン内の点までの深度を決定することが可能である。ステレオカメラシステムを用いて深度測定の問題を解決すべく、異なる画像における対応する点をまず見つけることが必要である。対応関係の問題を解決することは、この種の技術を用いる場合の主な問題のうちの１つである。例えば、レンズの歪みまたは対象点検出の誤差から生じる幾何学的ノイズなどの様々な種類のノイズは、測定された画像の座標の誤りにつながる。

例として、２つのステレオ画像間の特徴の視差は、右画像が見られている場合における左画像内の画像特徴の左へのシフトとして計算され得る。例えば、左カメラにより取得される左画像におけるｘ座標ｔ（ピクセル内で測定される）に現れる単一の点（または他の特徴）は、右カメラにより取得される右画像におけるｘ座標ｔ～３０に存在し得る。この場合、右画像内のその位置における水平方向視差は、ピクセル３０個分であろう。複数のカメラからの画像の位置合わせには、望ましくないことに、かなりのメモリまたは他のリソース（例えば、処理、データ送信）が必要となり得る。これらのメモリまたは他のリソースは、リアルタイム用途、および／または、重量、サイズまたはコストを最小化することが望ましい用途など、様々な用途において制限され得る。

さらに、魚眼レンズなど、大きい視野において比較的大きい歪みを有するレンズでは、２つのステレオ画像間の特徴の視差が大きいと、対応する特徴の識別が妨げられ得る。例えば、用いられるレンズが大きい視野において多くの歪みを有し得るので、プロセッサ（例えば、画像信号プロセッサ）は、左画像と右画像との間の相関関係を見つけるのが難しい時があり得る。なぜなら、システムが視野の関数として探している特徴の形状を歪みが変化させてしまうからである。故に、１つのカメラ（例えば、左カメラ）のＦОＶの中心にある、歪みが少ないエリアをユーザが見ている場合、この中心では、特徴に歪みがほとんどないか、または全くない。他のカメラ（例えば、右カメラ）のＦОＶの縁部または周辺に同じ特徴が配置されている場合、同じ特徴にはかなりの歪みがある。そのような場合、システムは、２つの画像内の特徴の歪みがばらついていることに起因して、これらの点が一致しているとは判断しないことがある。

故に、ステレオ深度カメラの２つのカメラにどれくらいの歪みが許容され得るかには限界がある。この限界は、利用可能なメモリにより制され得る。例えば、画像信号プロセッサ用に利用可能な特定の量のメモリがある場合、画像の小さいセクションは、歪み除去または補正され得る。例えば、画像信号プロセッサは、おおよそ１０パーセントの歪みのみを許容し得るが、カメラは、周辺において３３～３４パーセントの歪みを有し得る。結果として、本明細書において述べた実装を利用することなく、深度が、画像の中心部分（例えば、この例では、歪みが１０パーセント未満である部分）上でのみ計算され得る。

本開示の少なくともいくつかの実装では、メモリ内のピクセルをシフトして２つのカメラの画像を位置合わせするのではなく、それぞれのカメラについて、レンズの光軸または位置合わせ軸がセンサの中心に対して位置合わせされないが、むしろ、カメラの外側への傾きに起因してレンズがずらされているであろう量に対応するあるオフセット値に対して位置合わせされるように、レンズがセンサの中心からずらされる。したがって、左カメラおよび右カメラの画像内のピクセルは、メモリ内でのシフトを行う必要なく、少なくとも実質的に互いに位置合わせされる。センサの中心ではなくシーン中心に合うようにレンズをずらすことにより、システムは、ピクセルの数（例えば、メモリ内の３０個のピクセル）だけ画像をずらして２つのカメラをシーンに位置合わせする必要がなくなる。図を参照して、本開示の様々な特徴を以下でさらに述べる。

図１は、一対のニアツーアイディスプレイシステム１０２および１０４を含むＨＭＤシステム１００の簡略上面図である。ニアツーアイディスプレイシステム１０２および１０４は、ディスプレイ１０６および１０８（例えば、ＯＬＥＤマイクロディスプレイ）をそれぞれ含み、１または複数の光学レンズを各々が有するそれぞれの光学レンズシステム１１０および１１２を含む。ディスプレイシステム１０２および１０４は、支持構造もしくはフレーム１１４に、またはフロント部１１６と、左テンプル１１８と、右テンプル１２０とを含む他のマウント構造に取り付けられ得る。２つのディスプレイシステム１０２および１０４は、ユーザ１２４の頭１２２に装着され得る眼鏡構成内のフレーム１１４に固定され得る。左テンプル１１８および右テンプル１２０はそれぞれ、ユーザの耳１２６および１２８の上に載っていてよく、一方、鼻アセンブリ（不図示）は、ユーザの鼻１３０の上に載っていてよい。フレーム１１４は、２つの光学系１１０および１１２のそれぞれを、それぞれユーザの目１３２および１３４の一方の前に配置するような形状およびサイズにされ得る。フレーム１１４は、説明の目的で眼鏡と同様に簡略化した方式で示されているが、実際には、より洗練された構造（例えば、ゴーグル、統合ヘッドバンド、ヘルメット、ストラップ等）を用いて、ユーザ１２４の頭１２２の上にディスプレイシステム１０２および１０４を支持および配置し得ることを理解されたい。

図１のＨＭＤシステム１００は、毎秒３０フレーム（または画像）または毎秒９０フレームのような表示レートで提示される対応するビデオを介するなどして、仮想現実ディスプレイをユーザ１２４に提示できる。一方、他の実施形態の同様のシステムは、拡張現実ディスプレイをユーザ１２４に提示し得る。ディスプレイ１０６および１０８のそれぞれは、それぞれの光学系１１０および１１２を介して透過され、かつ、ユーザ１２４の目１３２および１３４にそれぞれ焦点が合わせられる光を生成し得る。ここでは図示されていないが、目のそれぞれは、光が目に入る所である、瞳孔の開口を含む。典型的な瞳孔サイズの範囲は、非常に明るい条件における直径２ｍｍ（ミリメートル）から暗い条件における最大８ｍｍであり、一方、瞳孔が含まれる、より大きい虹彩は、およそ１２ｍｍのサイズを有し得る。瞳孔（およびそれを囲む虹彩）は、典型的には、まぶたが開いた状態の目の可視部分内で水平方向および／または垂直方向に数ミリメートル動くことがある。これはまた、眼球がその中心を軸として回る時に、異なる水平方向位置および垂直方向位置に対してディスプレイの光学レンズまたは他の物理要素から異なる深度へ瞳孔を動かす（そして、瞳孔が動き得る３次元ボリュームがもたらされる）。ユーザの瞳孔に入った光は、ユーザ１２４により画像および／またはビデオとして見られる。いくつかの実装において、光学系１１０および１１２のそれぞれとユーザの目１３２および１３４との間の距離は、比較的短くてよい（例えば、３０ｍｍ未満、２０ｍｍ未満）。この結果、光学系およびディスプレイシステムの重量がユーザの顔に比較的近いので、ＨＭＤシステム１００が有利なことにユーザにとってより軽く思えるものになり、また、より大きい視野がユーザに提供され得る。

ＨＭＤシステム１００は、ステレオ深度カメラ１３６のカメラであってよい前方カメラ１３６ａおよび１３６ｂも含み得る。ステレオ深度カメラ１３６は、例えば、拡張現実用途において、または仮想現実用途と併せて、ユーザ１２４へ選択的に提示され得る画像データを撮像するように動作可能であってよい。追加的にまたは代替的に、ステレオ深度カメラ１３６は、本明細書の他の箇所で述べるように、使用中にＨＭＤシステム１００の位置をトラッキングするために、ＨＭＤシステム１００の位置トラッキングシステムにより用いられ得る。例として、カメラ１３６ａおよび１３６ｂのそれぞれは、ビデオカメラと、比較的広い角度（例えば、６０°、９０°、１２０°、１５０°）を有し、前方カメラの視野内の画像をあるフレームレート（例えば、３０Ｈｚ、６０Ｈｚ、９０Ｈｚ）で撮像する関連するレンズシステムとを備え得る。

図１には示されていないが、そのようなＨＭＤシステムのいくつかの実施形態は、例えば、瞳孔のトラッキングをそれぞれの目１３２および１３４について別個に実行したり、（例えば、頭のトラッキングの一部として）頭の位置および向きをトラッキングしたり、様々な他の種類のユーザの体の動きおよび位置をトラッキングしたりするための様々な追加の内部センサおよび／または外部センサ、外部の（例えば、環境の）画像を記録するための他のカメラ等を含み得る。

さらに、説明される技術は、図１に示されるものと同様のディスプレイシステムを有するいくつかの実施形態において用いられてよく、一方、他の実施形態では、単一の光学レンズおよびディスプレイデバイスを有するものまたは複数のそのような光学レンズおよびディスプレイデバイスを有するものを含む他の種類のディスプレイシステムが用いられてよい。他のそのようなデバイスの非排他的な例には、カメラ、望遠鏡、顕微鏡、双眼鏡、スポッティングスコープ、測量スコープ等が含まれる。加えて、説明される技術は、１または複数のユーザが１または複数の光学レンズを通して見る画像を形成するために光を発する多種多様なディスプレイパネルまたは他のディスプレイデバイスとともに用いられ得る。他の実施形態において、ユーザは、別の光源からの光の一部または全体を反射する表面上など、ディスプレイパネルを介する以外の方式で生成される１または複数の画像を１または複数の光学レンズを通して見てよい。

図２は、ユーザ２０２の頭に装着された場合の例示的なＨＭＤシステム２００の正面図を示す。図３は、ＨＭＤシステム２００の上面図を示し、ＨＭＤシステム２００の前方カメラ２０６ａおよび２０６ｂの例示的な視野２０８ａおよび２０８ｂをそれぞれ示している。ＨＭＤシステム２００は前方を向いたまたは前方ステレオ深度カメラ２０６ａおよび２０６ｂを支持する支持構造２０４を含む。カメラ２０６ａは、本明細書において左カメラ２０６ａと称されることがあり、カメラ２０６ｂは、本明細書において右カメラ２０６ｂと称されることがある。ステレオ深度カメラ２０６ａおよび２０６ｂは、図１を参照して上で述べたカメラ１３６ａおよび１３６ｂと同様または同一であってよい。

図３に示されるように、カメラ２０６ａおよび２０６ｂは、ユーザ２０２がＨＭＤシステム２００を操作するシーンまたは環境２１４に向かって前方へ向けられる。環境２１４は、１または複数の被写体２１３（１つが示されている）を内部に含んでよく、被写体２１３は、壁、天井、家具、階段、車、木、トラッキングマーカまたは任意の他の種類の被写体を含み得る。

カメラ２０６ａおよび２０６ｂは、それぞれの視野２０８ａおよび２０８ｂを有し得る。非限定的な例として、視野２０８ａおよび２０８ｂは、比較的大きい角度（例えば、６０°、９０°、１２０°、１５０°）であってよい。矢印２１０ａによって示されるように、左カメラ２０６ａは、前方向からゼロではない角度２１２ａだけ水平方向に外側へ傾斜させられ得るかまたは傾けられ得る（ヘッドマウントディスプレイシステム２００の矢印２１６ａによって示される）。同様に、矢印２１０ｂによって示されるように、右カメラ２０６ｂは、前方向からゼロではない角度２１２ｂだけ水平方向に外側へ傾斜させられ得るかまたは傾けられ得る（ヘッドマウントディスプレイシステム２００の矢印２１６ｂによって示される）。例えば、ゼロではない角度２１２ａおよび２１２ｂは、５度から１０度の間（例えば、５度、７度、１０度）であってよい。２つのカメラ２０６ａおよび２０６ｂは、カメラが直接前方または内側へ向けられる（「トーイン」）実装と比較して、比較的大きい視野（例えば、１５０°から１８０°）上で画像を撮像するための異なる指向角（「トーアウト」）をそれぞれ有する。

図４Ａおよび図４Ｂは、左カメラ３００ａ（図４Ｂ）用のセンサアレイ３０２ａおよびレンズ３０４ａならびに右カメラ３００ｂ（図４Ａ）用のセンサアレイ３０２ｂおよびレンズ３０４ｂの正面図を示す。センサアレイ３０２ａおよび３０２ｂの水平方向中心はそれぞれ、破線３０６ａおよび３０６ｂにより示され、これらのセンサアレイの垂直方向中心はそれぞれ、破線３０８ａおよび３０８ｂにより示される。従来の構成を示すこの例では、レンズ３０４ａは、センサアレイ３０２ａの中心上に直接配置され、レンズ３０４ｂは、センサアレイ３０２ｂの中心上に直接配置されている。上で述べ、図３に示されるように、２つのカメラ３００ａおよび３００ｂが外側へ傾斜させられているので、図４Ａおよび図４Ｂに示されるように、カメラ３００ａおよび３００ｂの両方のシーン中心または主点３１０は、特定の量だけ互いに内側へずらされている。特に、左カメラ３００ａでは、中心３１０が、センサアレイ３０２ａの水平方向中心３０６ａの内側へ（示されるように左へ）配置されている。同様に、右カメラ３００ｂでは、中心３１０が、センサアレイ３０２ｂの水平方向中心３０６ｂの内側へ（示されるように右へ）配置されている。従来のシステムでは、カメラ３００ａおよび３００ｂを中心に配置すべく、ヘッドマウントディスプレイシステムのソフトウェアは、中心点３１０を見つけて実質的な量のメモリを利用することで画像をシフトして、ＦОＶ上の歪みを補正する。このように中心に配置すると、そうでなければ画像の歪みを除去するために用いられ得るメモリを望ましくないのに要してしまう。つまり、ソフトウェアは、ピクセルをシフト（または変換）して、歪み補正に用いる新しい中心を決定する。

例として、ヘッドマウントディスプレイシステムの画像信号プロセッサは、６０個または７０個のピクセル（ピクセルの列）を格納でき得るので、画像が、最大でそのピクセルの数だけずらされ得る。カメラが外側へ傾けられていることに起因して、実際のデータが相関付けに用いられる前の読み出し中、およそ３０個のピクセルが格納され得る。なぜなら、ここには２つのカメラの間の中心があるので、３０ピクセル後に画像が相関付けを開始するピクセルが読み出されるからである。

図５Ａ、図５Ｂおよび図６は、左カメラ３００ａ（図５Ｂおよび図６）および右カメラ３００ｂ（図５Ａおよび図６）の例示的な実装を示す。この実装では、図５Ｂおよび図６に示されるように、左カメラレンズ３０４ａおよびその対応する光軸３１２ａは、左カメラレンズの中心を実質的にシーン中心または主点３１０に合わせるために、左カメラセンサアレイ３０２ａの水平方向中心３０６ａからヘッドマウントディスプレイシステムの中心に向かって距離「ｈ」だけ横方向にずらされる。同様に、図５Ａおよび図６に示されるように、右カメラレンズ３０４ｂおよびその対応する光軸３１２ｂは、右カメラレンズの中心を実質的にシーン中心または主点３１０に合わせるために、左カメラセンサアレイ３０２ｂの水平方向中心３０６ｂからヘッドマウントディスプレイシステムの中心に向かって距離「ｈ」だけ横方向にずらされる。少なくともいくつかの実装において、横方向のずれの距離「ｈ」は、左カメラレンズ３０４ａおよび右カメラレンズ３０４ｂについて同じであってよい。

故に、ピクセルをずらすためのメモリを用いるのではなく、図４Ａおよび図４Ｂに示されるカメラ構成でのように、レンズ３０４ａおよび３０４ｂをそれぞれセンサアレイ３０２ａおよび３０２ｂに対して内側へずらすことにより、ここでは、歪みの中心は、シーン中心３１０に来る。したがって、カメラ３００ａおよび３００ｂにより生成される画像の相関ウィンドウがうまく一致する。なぜなら、両方の画像がシーン中心３１０に合わされているからである。

図７は、図４Ａおよび図４Ｂに示される従来のレンズアセンブリおよびセンサの視野の関数としてのパーセント歪みのプロット３２２を含むグラフ３２０である。示されているように、カメラ３００ａおよび３００ｂの外側への傾きに起因して、歪みは、視野に対してずらされている。

図８は、図５Ａ、図５Ｂおよび図６に示されるレンズアセンブリおよびセンサの視野の関数としてのパーセント歪みのプロット３３２を含むグラフ３３０である。示されているように、レンズ３０４ａおよび３０４ｂがそれぞれ、上で述べたように、センサアレイ３０２ａおよび３０２ｂの中心に対して内側へ横方向にずらされていることに起因して、歪みの中心は、シーン中心（すなわちＦОＶの中心における最小の歪み、）に来る。

図９は、本開示の１または複数の実装によるＨＭＤシステム４００の概略ブロック図を示す。ＨＭＤシステム４００は、上で述べたＨＭＤシステム１００および２００と同様または同一であってよい。故に、ＨＭＤシステム１００および２００に関する上記の議論は、ＨＭＤシステム４００にも当てはまり得る。

ＨＭＤシステム４００は、プロセッサ４０２、第１のカメラ４０４（例えば、左カメラ）および第２のカメラ４０６（例えば、右カメラ）を含む。これらのカメラは、ステレオ深度カメラのコンポーネントである。図５Ａ、図５Ｂおよび図６を参照して上で述べたように、第１のカメラ４０４は、センサアレイ４０４ｂと、センサアレイの中心から横方向にずらされたレンズ４０４ａとを含み得る。上で述べたように、第２のカメラ４０６は、センサアレイ４０６ｂと、センサアレイの中心から横方向にずらされたレンズ４０６ａとを含み得る。

ＨＭＤシステム４００は、ディスプレイサブシステム４０８（例えば、２つのディスプレイおよび対応する光学系）を含み得る。ＨＭＤシステム４００は、歪み補正４１２用、位置トラッキング用の命令またはデータ、表示機能４１４（例えば、ゲーム）用の命令またはデータおよび／または他のプログラム４１６を格納し得る非一時的データストレージ４１０も含み得る。

ＨＭＤシステム４００は、１または複数のユーザインタフェース（例えば、ボタン、タッチパッド、スピーカ）、１または複数の有線または無線通信インタフェース等を含み得る様々なＩ／Ｏコンポーネント４１８も含み得る。例として、Ｉ／Ｏコンポーネント４１８は、ＨＭＤシステム４００が有線または無線通信リンク４２２を介して外部デバイス４２０と通信することを可能にする通信インタフェースを含み得る。非限定的な例として、外部デバイス４２０は、ホストコンピュータ、サーバ、モバイルデバイス（例えば、スマートフォン、ウェアラブルコンピュータ）等を含み得る。ＨＭＤシステム４００の様々なコンポーネントは、単一のハウジング（例えば、図２および図３の支持構造２０４）に収容されてもよく、別個のハウジング（例えば、ホストコンピュータ）またはそれらの任意の組み合わせに収容されてもよい。

図示されているコンピューティングシステムおよびデバイスは、例示的なものに過ぎず、本開示の範囲を限定するようには意図されていないことが理解されよう。例えば、ＨＭＤ４００および／または外部デバイス４２０は、インターネットのような１または複数のネットワークを通じて、またはウェブを介してなど、図示されていない他のデバイスに接続され得る。より一般的には、そのようなコンピューティングシステムまたはデバイスは、例えば適切なソフトウェアでプログラミングまたはそうでなければ構成された場合に相互作用して説明された種類の機能を実行できるハードウェアの任意の組み合わせを備え得る。このハードウェアは、限定されるわけではないが、デスクトップコンピュータ、ラップトップコンピュータ、スレートコンピュータ、タブレットコンピュータもしくは他のコンピュータ、スマートフォンコンピューティングデバイスおよび他の携帯電話、インターネット機器、ＰＤＡおよび他の電子手帳、データベースサーバ、ネットワークストレージデバイスおよび他のネットワークデバイス、無線電話、ページャ、（例えば、セットトップボックスおよび／またはパーソナル／デジタルビデオレコーダおよび／またはゲームコンソールおよび／またはメディアサーバを用いた）テレビベースシステム、適切な相互通信機能を含む様々な他の消費者製品を含む。例えば、少なくともいくつかの実施形態において、図示されているシステム４００および４２０は、特定のコンピューティングシステムまたはデバイス上でロードされ、および／またはそれらにより実行された場合、例えばそれらのシステムまたはデバイスのプロセッサを構成するためになど、それらのシステムまたはデバイスをプログラムまたはそうでなければ構成するために用いられ得る実行可能なソフトウェア命令および／またはデータ構造を含み得る。代替的に、他の実施形態において、ソフトウェアシステムのいくつかまたは全てが、別のデバイス上のメモリで実行され、コンピュータ間通信を介して、図示されたコンピューティングシステム／デバイスと通信し得る。加えて、様々なアイテムが様々な時点（例えば、用いられている間）でメモリまたはストレージに格納されるように示されているが、これらのアイテムまたはそれらの部分は、メモリ管理および／またはデータ統合性の目的で、メモリとストレージとの間で、および／または（例えば、異なる位置の）ストレージデバイス間で転送され得る。

故に、少なくともいくつかの実施形態において、図示されているシステムは、プロセッサおよび／または他のプロセッサ手段により実行された場合、説明した動作をそのシステムのために自動的に実行するようにプロセッサをプログラムするソフトウェア命令を含むソフトウェアベースのシステムである。さらに、いくつかの実施形態において、システムのいくつかまたは全ては、少なくとも部分的に、１または複数の特定用途向け集積回路（ＡＳＩＣ）、標準的集積回路、コントローラ（例えば、適切な命令を実行し、マイクロコントローラおよび／または埋め込みコントローラを含むことによる）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コンプレックスプログラマブルロジックデイバス（ＣＰＬＤ）等を含むがこれらに限定されないファームウェアおよび／またはハードウェア手段においてなど、他の方式で実装または提供され得る。また、システムまたはデータ構造のいくつかまたは全ては、ハードディスクもしくはフラッシュドライブもしくは他の不揮発性ストレージデバイス、揮発性メモリもしくは不揮発性メモリ（例えば、ＲＡＭ）、ネットワークストレージデバイス、または、適切なドライブによりもしくは適切な接続を介して読み込まれるポータブルメディア製品（例えば、ＤＶＤディスク、ＣＤディスク、光ディスク、フラッシュメモリデバイス等）などの非一時的コンピュータ可読記憶媒体に（例えば、ソフトウェア命令コンテンツまたは構造化データコンテンツとして）格納され得る。システム、モジュール、およびデータ構造はまた、いくつかの実施形態において、無線ベースの媒体と有線／ケーブルベースの媒体とを含む様々なコンピュータ可読送信媒体上で、生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）送信されてよく、様々な形式を取ることができる（例えば、単一または多重化されたアナログ信号の一部として、または複数の個別のデジタルパケットまたはフレームとして）。そのようなコンピュータプログラム製品は、他の実施形態において、他の形式も取り得る。したがって、本開示は、他のコンピュータシステム構成で実施され得る。

当業者であれば、本明細書に記載される方法またはアルゴリズムの多くが、追加の動作を利用してよく、いくつかの動作を省略してよく、および／または、指定されるものとは異なる順序で動作を実行してよいことを認識するであろう。

上で説明した様々な実装は、さらなる実装を提供するために組み合わされ得る。上記の詳細な説明を考慮して、これらの変更および他の変更が実装に対して行われ得る。概して、以下の特許請求の範囲において、用いられている用語は、本明細書および特許請求の範囲において開示されている特定の実装に特許請求の範囲を限定するように解釈されるべきではなく、そのような特許請求の範囲の対象となる均等物の範囲全体と共に全ての可能な実装を含むように解釈されるべきである。したがって、特許請求の範囲は、本開示によって限定されない。

Claims

支持構造と、
前記支持構造により支えられており、ステレオ画像を撮像するように動作可能であるステレオ深度カメラと
を備えるヘッドマウントディスプレイシステムであって、
前記ステレオ深度カメラは、
前記ヘッドマウントディスプレイシステムの前方向からゼロではない角度だけ水平方向に外側へ傾斜させられた左カメラであって、左カメラセンサアレイと、前記左カメラセンサアレイの前に配置された左カメラレンズとを含み、前記左カメラレンズは、前記左カメラレンズの中心を実質的に主点に合わせるために前記左カメラセンサアレイの中心から前記支持構造の中心に向かって横方向にずらされた光軸を含む、左カメラと、
前記左カメラから水平方向に離間しており、かつ、前記ヘッドマウントディスプレイシステムの前記前方向からゼロではない角度だけ水平方向に外側へ傾斜させられた右カメラであって、右カメラセンサアレイと、前記右カメラセンサアレイの前に配置された右カメラレンズとを含み、前記右カメラレンズは、前記右カメラレンズの中心を実質的に前記主点に合わせるために前記右カメラセンサアレイの中心から前記支持構造の前記中心に向かって横方向にずらされた光軸を含む、右カメラと
を有する、
ヘッドマウントディスプレイシステム。
前記左カメラレンズおよび前記右カメラレンズのそれぞれは、魚眼レンズを含む、請求項１に記載のヘッドマウントディスプレイシステム。
前記左カメラレンズの前記光軸は、前記左カメラセンサアレイの前記中心から左ずれ距離だけ横方向にずらされており、前記右カメラレンズの前記光軸は、前記右カメラセンサアレイの前記中心から右ずれ距離だけ横方向にずらされており、前記左ずれ距離は、前記右ずれ距離に等しい、請求項１または２に記載のヘッドマウントディスプレイシステム。
前記左カメラおよび前記右カメラはそれぞれ、前記前方向から５度と１０度との間であるゼロではない角度だけ外側へ傾斜させられている、請求項１から３のいずれか一項に記載のヘッドマウントディスプレイシステム。
前記左カメラレンズおよび前記右カメラレンズのそれぞれの前記横方向のずれは、５ピクセル未満である、前記左カメラおよび前記右カメラにより撮像される画像の対応する点の間の水平方向視差を提供する、請求項１から４のいずれか一項に記載のヘッドマウントディスプレイシステム。
前記左カメラレンズおよび前記右カメラレンズは、前記左カメラレンズおよび前記右カメラレンズの歪みの中心が、前記ヘッドマウントディスプレイシステムの前記前方向にあるシーン中心に来るように、横方向にずらされている、請求項１から５のいずれか一項に記載のヘッドマウントディスプレイシステム。
ヘッドマウントディスプレイシステムの前方向からゼロではない角度だけ水平方向に外側へ傾斜させられた左カメラであって、左カメラセンサアレイと、前記左カメラセンサアレイの前に配置された左カメラレンズとを有し、前記左カメラレンズは、前記左カメラレンズの中心を実質的に主点に合わせるために前記左カメラセンサアレイの中心から前記ヘッドマウントディスプレイシステムの中心に向かって横方向にずらされた光軸を含む、左カメラと、
前記左カメラから水平方向に離間しており、かつ、前記ヘッドマウントディスプレイシステムの前記前方向からゼロではない角度だけ水平方向に外側へ傾斜させられた右カメラであって、右カメラセンサアレイと、前記右カメラセンサアレイの前に配置された右カメラレンズとを有し、前記右カメラレンズは、前記右カメラレンズの中心を実質的に前記主点に合わせるために前記右カメラセンサアレイの中心から前記ヘッドマウントディスプレイシステムの前記中心に向かって横方向にずらされた光軸を含む、右カメラと
を備える、ステレオ画像を撮像するように動作可能であるステレオ深度カメラ。
前記左カメラレンズおよび前記右カメラレンズのそれぞれは、魚眼レンズを含む、請求項７に記載のステレオ深度カメラ。
前記左カメラレンズの前記光軸は、前記左カメラセンサアレイの前記中心から左ずれ距離だけ横方向にずらされており、前記右カメラレンズの前記光軸は、前記右カメラセンサアレイの前記中心から右ずれ距離だけ横方向にずらされており、前記左ずれ距離は、前記右ずれ距離に等しい、請求項７または８に記載のステレオ深度カメラ。
前記左カメラおよび前記右カメラはそれぞれ、前記前方向から５度と１０度との間であるゼロではない角度だけ外側へ傾斜させられている、請求項７から９のいずれか一項に記載のステレオ深度カメラ。
前記左カメラレンズおよび前記右カメラレンズのそれぞれの前記横方向のずれは、５ピクセル未満である、前記左カメラおよび前記右カメラにより撮像される画像の対応する点の間の水平方向視差を提供する、請求項７から１０のいずれか一項に記載のステレオ深度カメラ。
前記左カメラレンズおよび前記右カメラレンズは、前記左カメラレンズおよび前記右カメラレンズの歪みの中心が、前記ヘッドマウントディスプレイシステムの前記前方向にあるシーン中心に来るように、横方向にずらされている、請求項７から１１のいずれか一項に記載のステレオ深度カメラ。
ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法であって、
ヘッドマウントディスプレイシステムの前方向からゼロではない角度だけ水平方向に外側へ傾斜させられた左カメラであって、左カメラセンサアレイと、前記左カメラセンサアレイの前に配置された左カメラレンズとを含み、前記左カメラレンズは、前記左カメラレンズの中心を実質的に主点に合わせるために前記左カメラセンサアレイの中心から支持構造の中心に向かって横方向にずらされた光軸を含む、左カメラを前記ヘッドマウントディスプレイシステムの前記支持構造に結合する段階と、
前記ヘッドマウントディスプレイシステムの前記前方向からゼロではない角度だけ水平方向に外側へ傾斜させられた右カメラであって、右カメラセンサアレイと、前記右カメラセンサアレイの前に配置された右カメラレンズとを含み、前記右カメラレンズは、前記右カメラレンズの中心を実質的に前記主点に合わせるために前記右カメラセンサアレイの中心から前記支持構造の前記中心に向かって横方向にずらされた光軸を含む、右カメラを前記ヘッドマウントディスプレイシステムの前記支持構造に結合する段階と
を備える、方法。
左カメラおよび右カメラをヘッドマウントディスプレイシステムの支持構造に結合する段階は、前記左カメラおよび前記右カメラを前記ヘッドマウントディスプレイシステムの前記支持構造に結合する段階であって、前記左カメラレンズおよび前記右カメラレンズのそれぞれは、魚眼レンズを含む、結合する段階を有する、請求項１３に記載の方法。
左カメラおよび右カメラをヘッドマウントディスプレイシステムの支持構造に結合する段階は、前記左カメラおよび前記右カメラを前記ヘッドマウントディスプレイシステムの前記支持構造に結合する段階であって、前記左カメラレンズの前記光軸は、前記左カメラセンサアレイの前記中心から左ずれ距離だけ横方向にずらされており、前記右カメラレンズの前記光軸は、前記右カメラセンサアレイの前記中心から右ずれ距離だけ横方向にずらされており、前記左ずれ距離は、前記右ずれ距離に等しい、結合する段階を有する、請求項１３または１４に記載の方法。
左カメラおよび右カメラをヘッドマウントディスプレイシステムの支持構造に結合する段階は、前記左カメラおよび前記右カメラを前記ヘッドマウントディスプレイシステムの前記支持構造に結合する段階であって、前記左カメラおよび前記右カメラはそれぞれ、前記前方向から５度と１０度との間であるゼロではない角度だけ外側へ傾斜させられている、結合する段階を有する、請求項１３から１５のいずれか一項に記載の方法。