JPWO2019246129A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2019246129A5 JPWO2019246129A5 JP2020570198A JP2020570198A JPWO2019246129A5 JP WO2019246129 A5 JPWO2019246129 A5 JP WO2019246129A5 JP 2020570198 A JP2020570198 A JP 2020570198A JP 2020570198 A JP2020570198 A JP 2020570198A JP WO2019246129 A5 JPWO2019246129 A5 JP WO2019246129A5
- Authority
- JP
- Japan
- Prior art keywords
- camera
- environment
- head
- mounted display
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 14
- 230000003565 oculomotor Effects 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 claims description 5
- 210000003128 head Anatomy 0.000 claims description 4
- 238000000034 method Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 description 3
Description
（ｉ）頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の査定、および／または（ｉｉ）環境の内の１つ以上の仮想画像コンテンツ場所と視認ゾーンの比較に基づいて、画像処理は、カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変するステップ、および／または処理されるカメラによって取得されたフレーム上の処理の量を調節するステップを含むことができる。
本発明は、例えば、以下を提供する。
（項目１）
頭部搭載型ディスプレイシステムであって、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置されるディスプレイであって、前記ディスプレイは、仮想画像と関連付けられる光を前記ユーザの眼の中に投影し、仮想画像コンテンツをユーザに表示するように構成され、さらに、前記環境からの光をユーザの眼に透過させ、前記環境の一部のビューをユーザに提供するように構成される、ディスプレイと、
前記環境の画像をあるフレームレートで取得するように構成されるカメラであって、前記カメラは、ある視野および第１のフレームレートを有する、カメラと、
前記カメラによって取得された画像を受信および処理するように構成される処理電子機器であって、前記画像処理は、
前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動を査定することであって、前記相対的運動の査定は、前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるかを決定すること、および／または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかを決定することを含む、ことと、
前記場所が前記ディスプレイ内に現れるときに、レンダリング可能仮想画像コンテンツがユーザに現れる場所に対応する前記環境内の１つ以上の仮想画像コンテンツ場所を決定することと、
前記環境内の１つ以上の仮想画像コンテンツ場所と、前記カメラの視野の少なくとも一部を含む視認ゾーンとを比較することと、
（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変すること、および／または処理される前記カメラによって取得された前記フレーム上の処理の量を調節することと
を含む、処理電子機器と
を備える、システム。
（項目２）
前記処理電子機器と通信する、運動センサをさらに備え、前記運動センサは、前記相対的運動の査定のための測定を実施するように構成される、項目１に記載のシステム。
（項目３）
前記運動センサは、慣性測定ユニット（ＩＭＵ）を備える、項目２に記載のシステム。
（項目４）
前記相対的運動の査定は、少なくとも部分的に、角度または線形加速の測定に基づく、前記項目のいずれかに記載のシステム。
（項目５）
前記相対的運動の査定は、少なくとも部分的に、角度または線形速度の測定に基づく、前記項目のいずれかに記載のシステム。
（項目６）
前記相対的運動の査定は、少なくとも部分的に、前記頭部搭載型ディスプレイの角度または線形加速の測定に基づく、前記項目のいずれかに記載のシステム。
（項目７）
前記相対的運動の査定は、少なくとも部分的に、前記頭部搭載型ディスプレイの角度または線形速度の測定に基づく、前記項目のいずれかに記載のシステム。
（項目８）
前記相対的運動の査定は、少なくとも部分的に、前記環境内の１つ以上の特徴の角度または線形加速の測定に基づく、前記項目のいずれかに記載のシステム。
（項目９）
前記相対的運動の査定は、少なくとも部分的に、前記環境内の１つ以上の特徴の角度または線形速度の測定に基づく、前記項目のいずれかに記載のシステム。
（項目１０）
前記相対的運動の査定は、前記頭部搭載型ディスプレイの運動または予期される運動が閾値を超えることを決定することを含む、前記項目のいずれかに記載のシステム。
（項目１１）
前記相対的運動の査定は、前記環境内の１つ以上の特徴の運動または予期される運動が閾値を超えることを決定することを含む、前記項目のいずれかに記載のシステム。
（項目１２）
前記第２のフレームレートは、前記カメラが、前記相対的運動の査定に基づいて、低減されたフレームレートで動作するように構成されるように、前記第１のフレームレートより低い、前記項目のいずれかに記載のシステム。
（項目１３）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動した、移動中である、または移動することが予期されること、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されること、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目１４）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内の場所を含まないことの決定に基づいて低減される、項目１３に記載のシステム。
（項目１５）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、前記項目のいずれかに記載のシステム。
（項目１６）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）前記視認ゾーンを越え、かつ（ｉｉ）近距離動眼視野領域を越える遠距離動眼視野内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目１７）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内の場所を含まないことの決定に基づいて低減される、項目１６に記載のシステム。
（項目１８）
前記視認ゾーンは、前記カメラの視野を含む、前記項目のいずれかに記載のシステム。
（項目１９）
前記カメラの視野は、約４５ ｏ ～１３５ ｏ である、項目１８に記載のシステム。
（項目２０）
前記視認ゾーンは、前記カメラの視野に対応し、前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンを比較することは、前記環境内の１つ以上の仮想画像コンテンツ場所が、前記カメラの視野内にあるかどうかを決定することを含む、項目１８または１９のいずれかに記載のシステム。
（項目２１）
前記第２のフレームレートは、前記第１のフレームレートより低い、前記項目のいずれかに記載のシステム。
（項目２２）
前記第１のフレームレートは、約３０ｆｐｓ～６０ｆｐｓである、前記項目のいずれかに記載のシステム。
（項目２３）
前記第２のフレームレートは、約５ｆｐｓ～２０ｆｐｓである、前記項目のいずれかに記載のシステム。
（項目２４）
前記システムは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラの第２のフレームレートを設定するように構成される、前記項目のいずれかに記載のシステム。
（項目２５）
前記システムは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラによって取得された前記フレーム上の処理の量を低減させるように構成される、前記項目のいずれかに記載のシステム。
（項目２６）
前記システムは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラによって取得されたより少ないフレームからのデータを処理するように構成される、前記項目のいずれかに記載のシステム。
（項目２７）
前記システムはさらに、前記システムの運動についての情報をあるサンプリングレートで受信する運動センサを備える、前記項目のいずれかに記載のシステム。
（項目２８）
前記システムは、（ｉ）前記頭部搭載型ディスプレイが、移動したか、移動中であるか、または移動することが予期されるかの決定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラのフレームレートを低減させるが、前記運動センサのサンプリングレートを維持するように構成される、項目２７に記載のシステム。
（項目２９）
前記運動センサのサンプリングレートは、前記カメラのフレームレートの低減後、前記カメラのフレームレートより高速である、項目２７に記載のシステム。
（項目３０）
前記運動センサは、慣性センサまたは加速度計を備える、項目２７－２９のいずれかに記載のシステム。
（項目３１）
前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定は、前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されることを決定することを含む、前記項目のいずれかに記載のシステム。
（項目３２）
前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定は、カメラを使用して、前記環境の１つ以上の特徴を検出することを含む、前記項目のいずれかに記載のシステム。
（項目３３）
前記環境の１つ以上の特徴は、前記環境内のオブジェクトの縁または角のうちの少なくとも１つを含む、項目３２に記載のシステム。
（項目３４）
前記カメラを使用して、前記環境の１つ以上の特徴を検出することは、Ｋａｌｍａｎフィルタ、Ｓｏｂｏｌアルゴリズム、またはＨａｒｒｉｓアルゴリズムのうちの少なくとも１つを使用することを含む、項目３２または３３に記載のシステム。
（項目３５）
少なくとも１つの第２のカメラを備える、前記項目のいずれかに記載のシステム。
（項目３６）
前記カメラおよび前記第２のカメラは、前記環境の非同一部分を検出するように構成される、項目３５に記載のシステム。
（項目３７）
前記カメラは、前記環境の第１の部分を検出するように構成され、前記第２のカメラは、前記環境の第２の部分を検出するように構成され、前記環境の第１の部分は、前記環境の第２の部分と部分的に重複する、項目３５または３６に記載のシステム。
（項目３８）
前記カメラおよび前記第２のカメラは、前記ユーザの左眼に対応する前記フレームの左側上に配置される、項目３５－３７のいずれかに記載のシステム。
（項目３９）
前記カメラおよび前記第２のカメラは、前記ユーザの右眼に対応する前記フレームの右側上に配置される、項目３５－３７のいずれかに記載のシステム。
（項目４０）
（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記複数のカメラのうちの前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量を減少させることをさらに含む、項目３５－３９のいずれかに記載のシステム。
（項目４１）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目４２）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内を含まないことの決定に基づいて低減される、項目４１に記載のシステム。
（項目４３）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、項目３５－４０のいずれかに記載のシステム。
（項目４４）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）前記視認ゾーンを越え、（ｉｉ）近距離動眼視野領域を越える遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目４５）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内の場所を含まないことの決定に基づいて低減される、項目４４に記載のシステム。
（項目４６）
前記カメラは、前記第２のカメラよりこめかみ側寄りである、項目３５－３９のいずれかに記載のシステム。
（項目４７）
前記カメラは、前記第２のカメラより鼻側寄りである、項目３５－３９のいずれかに記載のシステム。
（項目４８）
前記カメラのフレームレートは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記第２のカメラのフレームレートより低く設定される、項目４６または４７に記載のシステム。
（項目４９）
前記カメラ上の処理の量は、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記第２のカメラによって取得された前記フレーム上の処理の量より低く設定される、項目４６または４８のいずれかに記載のシステム。
（項目５０）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５１）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目５２）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または予期される移動の決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５３）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記頭部搭載型ディスプレイの運動または予期される運動が閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５４）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の特徴の運動または予期される運動が閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５５）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記頭部搭載型ディスプレイの運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５６）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の特徴の運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５７）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５８）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）前記視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５９）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目６０）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）前記視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目６１）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目６２）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目６３）
前記カメラからの前記フレームの処理の量を低減させることは、処理される前記カメラによって捕捉されたフレームの数を低減させることを含む、前記項目のいずれかに記載のシステム。
（項目６４）
前記カメラからの前記フレームの処理の量を低減させることは、前記カメラによって捕捉されたフレームの第２の部分未満の前記カメラによって捕捉されたフレームの第１の部分を処理することを含む、前記項目のいずれかに記載のシステム。
本発明は、例えば、以下を提供する。
（項目１）
頭部搭載型ディスプレイシステムであって、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置されるディスプレイであって、前記ディスプレイは、仮想画像と関連付けられる光を前記ユーザの眼の中に投影し、仮想画像コンテンツをユーザに表示するように構成され、さらに、前記環境からの光をユーザの眼に透過させ、前記環境の一部のビューをユーザに提供するように構成される、ディスプレイと、
前記環境の画像をあるフレームレートで取得するように構成されるカメラであって、前記カメラは、ある視野および第１のフレームレートを有する、カメラと、
前記カメラによって取得された画像を受信および処理するように構成される処理電子機器であって、前記画像処理は、
前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動を査定することであって、前記相対的運動の査定は、前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるかを決定すること、および／または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかを決定することを含む、ことと、
前記場所が前記ディスプレイ内に現れるときに、レンダリング可能仮想画像コンテンツがユーザに現れる場所に対応する前記環境内の１つ以上の仮想画像コンテンツ場所を決定することと、
前記環境内の１つ以上の仮想画像コンテンツ場所と、前記カメラの視野の少なくとも一部を含む視認ゾーンとを比較することと、
（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変すること、および／または処理される前記カメラによって取得された前記フレーム上の処理の量を調節することと
を含む、処理電子機器と
を備える、システム。
（項目２）
前記処理電子機器と通信する、運動センサをさらに備え、前記運動センサは、前記相対的運動の査定のための測定を実施するように構成される、項目１に記載のシステム。
（項目３）
前記運動センサは、慣性測定ユニット（ＩＭＵ）を備える、項目２に記載のシステム。
（項目４）
前記相対的運動の査定は、少なくとも部分的に、角度または線形加速の測定に基づく、前記項目のいずれかに記載のシステム。
（項目５）
前記相対的運動の査定は、少なくとも部分的に、角度または線形速度の測定に基づく、前記項目のいずれかに記載のシステム。
（項目６）
前記相対的運動の査定は、少なくとも部分的に、前記頭部搭載型ディスプレイの角度または線形加速の測定に基づく、前記項目のいずれかに記載のシステム。
（項目７）
前記相対的運動の査定は、少なくとも部分的に、前記頭部搭載型ディスプレイの角度または線形速度の測定に基づく、前記項目のいずれかに記載のシステム。
（項目８）
前記相対的運動の査定は、少なくとも部分的に、前記環境内の１つ以上の特徴の角度または線形加速の測定に基づく、前記項目のいずれかに記載のシステム。
（項目９）
前記相対的運動の査定は、少なくとも部分的に、前記環境内の１つ以上の特徴の角度または線形速度の測定に基づく、前記項目のいずれかに記載のシステム。
（項目１０）
前記相対的運動の査定は、前記頭部搭載型ディスプレイの運動または予期される運動が閾値を超えることを決定することを含む、前記項目のいずれかに記載のシステム。
（項目１１）
前記相対的運動の査定は、前記環境内の１つ以上の特徴の運動または予期される運動が閾値を超えることを決定することを含む、前記項目のいずれかに記載のシステム。
（項目１２）
前記第２のフレームレートは、前記カメラが、前記相対的運動の査定に基づいて、低減されたフレームレートで動作するように構成されるように、前記第１のフレームレートより低い、前記項目のいずれかに記載のシステム。
（項目１３）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動した、移動中である、または移動することが予期されること、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されること、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目１４）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内の場所を含まないことの決定に基づいて低減される、項目１３に記載のシステム。
（項目１５）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、前記項目のいずれかに記載のシステム。
（項目１６）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）前記視認ゾーンを越え、かつ（ｉｉ）近距離動眼視野領域を越える遠距離動眼視野内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目１７）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内の場所を含まないことの決定に基づいて低減される、項目１６に記載のシステム。
（項目１８）
前記視認ゾーンは、前記カメラの視野を含む、前記項目のいずれかに記載のシステム。
（項目１９）
前記カメラの視野は、約４５ ｏ ～１３５ ｏ である、項目１８に記載のシステム。
（項目２０）
前記視認ゾーンは、前記カメラの視野に対応し、前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンを比較することは、前記環境内の１つ以上の仮想画像コンテンツ場所が、前記カメラの視野内にあるかどうかを決定することを含む、項目１８または１９のいずれかに記載のシステム。
（項目２１）
前記第２のフレームレートは、前記第１のフレームレートより低い、前記項目のいずれかに記載のシステム。
（項目２２）
前記第１のフレームレートは、約３０ｆｐｓ～６０ｆｐｓである、前記項目のいずれかに記載のシステム。
（項目２３）
前記第２のフレームレートは、約５ｆｐｓ～２０ｆｐｓである、前記項目のいずれかに記載のシステム。
（項目２４）
前記システムは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラの第２のフレームレートを設定するように構成される、前記項目のいずれかに記載のシステム。
（項目２５）
前記システムは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラによって取得された前記フレーム上の処理の量を低減させるように構成される、前記項目のいずれかに記載のシステム。
（項目２６）
前記システムは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラによって取得されたより少ないフレームからのデータを処理するように構成される、前記項目のいずれかに記載のシステム。
（項目２７）
前記システムはさらに、前記システムの運動についての情報をあるサンプリングレートで受信する運動センサを備える、前記項目のいずれかに記載のシステム。
（項目２８）
前記システムは、（ｉ）前記頭部搭載型ディスプレイが、移動したか、移動中であるか、または移動することが予期されるかの決定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラのフレームレートを低減させるが、前記運動センサのサンプリングレートを維持するように構成される、項目２７に記載のシステム。
（項目２９）
前記運動センサのサンプリングレートは、前記カメラのフレームレートの低減後、前記カメラのフレームレートより高速である、項目２７に記載のシステム。
（項目３０）
前記運動センサは、慣性センサまたは加速度計を備える、項目２７－２９のいずれかに記載のシステム。
（項目３１）
前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定は、前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されることを決定することを含む、前記項目のいずれかに記載のシステム。
（項目３２）
前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定は、カメラを使用して、前記環境の１つ以上の特徴を検出することを含む、前記項目のいずれかに記載のシステム。
（項目３３）
前記環境の１つ以上の特徴は、前記環境内のオブジェクトの縁または角のうちの少なくとも１つを含む、項目３２に記載のシステム。
（項目３４）
前記カメラを使用して、前記環境の１つ以上の特徴を検出することは、Ｋａｌｍａｎフィルタ、Ｓｏｂｏｌアルゴリズム、またはＨａｒｒｉｓアルゴリズムのうちの少なくとも１つを使用することを含む、項目３２または３３に記載のシステム。
（項目３５）
少なくとも１つの第２のカメラを備える、前記項目のいずれかに記載のシステム。
（項目３６）
前記カメラおよび前記第２のカメラは、前記環境の非同一部分を検出するように構成される、項目３５に記載のシステム。
（項目３７）
前記カメラは、前記環境の第１の部分を検出するように構成され、前記第２のカメラは、前記環境の第２の部分を検出するように構成され、前記環境の第１の部分は、前記環境の第２の部分と部分的に重複する、項目３５または３６に記載のシステム。
（項目３８）
前記カメラおよび前記第２のカメラは、前記ユーザの左眼に対応する前記フレームの左側上に配置される、項目３５－３７のいずれかに記載のシステム。
（項目３９）
前記カメラおよび前記第２のカメラは、前記ユーザの右眼に対応する前記フレームの右側上に配置される、項目３５－３７のいずれかに記載のシステム。
（項目４０）
（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記複数のカメラのうちの前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量を減少させることをさらに含む、項目３５－３９のいずれかに記載のシステム。
（項目４１）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目４２）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内を含まないことの決定に基づいて低減される、項目４１に記載のシステム。
（項目４３）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、項目３５－４０のいずれかに記載のシステム。
（項目４４）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）前記視認ゾーンを越え、（ｉｉ）近距離動眼視野領域を越える遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目４５）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内の場所を含まないことの決定に基づいて低減される、項目４４に記載のシステム。
（項目４６）
前記カメラは、前記第２のカメラよりこめかみ側寄りである、項目３５－３９のいずれかに記載のシステム。
（項目４７）
前記カメラは、前記第２のカメラより鼻側寄りである、項目３５－３９のいずれかに記載のシステム。
（項目４８）
前記カメラのフレームレートは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記第２のカメラのフレームレートより低く設定される、項目４６または４７に記載のシステム。
（項目４９）
前記カメラ上の処理の量は、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記第２のカメラによって取得された前記フレーム上の処理の量より低く設定される、項目４６または４８のいずれかに記載のシステム。
（項目５０）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５１）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目５２）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または予期される移動の決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５３）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記頭部搭載型ディスプレイの運動または予期される運動が閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５４）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の特徴の運動または予期される運動が閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５５）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記頭部搭載型ディスプレイの運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５６）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の特徴の運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５７）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５８）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）前記視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５９）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目６０）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）前記視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目６１）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目６２）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目６３）
前記カメラからの前記フレームの処理の量を低減させることは、処理される前記カメラによって捕捉されたフレームの数を低減させることを含む、前記項目のいずれかに記載のシステム。
（項目６４）
前記カメラからの前記フレームの処理の量を低減させることは、前記カメラによって捕捉されたフレームの第２の部分未満の前記カメラによって捕捉されたフレームの第１の部分を処理することを含む、前記項目のいずれかに記載のシステム。
Claims (21)
- 頭部搭載型ディスプレイシステムであって、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置されるディスプレイであって、前記ディスプレイは、仮想画像と関連付けられる光を前記ユーザの眼の中に投影し、仮想画像コンテンツをユーザに表示するように構成され、環境からの光をユーザの眼に透過させ、前記環境の一部のビューをユーザに提供するようにさらに構成される、ディスプレイと、
前記環境の画像をあるフレームレートで取得するように構成されるカメラであって、前記カメラは、ある視野および第１のフレームレートを有する、カメラと、
前記カメラによって取得された画像を受信および処理するように構成される処理電子機器であって、前記画像処理は、
前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動を査定することであって、前記相対的運動の査定は、前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるかを決定すること、および／または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかを決定することを含む、ことと、
レンダリング可能仮想画像コンテンツがユーザに現れる場所に対応する前記環境内の１つ以上の仮想画像コンテンツ場所を、前記場所が前記ディスプレイ内に現れるときに、決定することと、
前記環境内の前記１つ以上の仮想画像コンテンツ場所と、前記カメラの前記視野の少なくとも一部を含む視認ゾーンとを比較することと、
（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記環境内の前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの前記比較とに基づいて、前記カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変すること、および／または処理される前記カメラによって取得された前記フレーム上の処理の量を調節することと
を含む、処理電子機器と
を備える、システム。 - 前記処理電子機器と通信する運動センサをさらに備え、前記運動センサは、前記相対的運動の査定のための測定を実施するように構成される、請求項１に記載のシステム。
- 前記運動センサは、慣性測定ユニット（ＩＭＵ）を備える、請求項２に記載のシステム。
- 前記相対的運動の査定は、前記頭部搭載型ディスプレイの角度または線形加速の測定に少なくとも部分的に基づく、請求項１～３のいずれかに記載のシステム。
- 前記相対的運動の査定は、前記頭部搭載型ディスプレイの角度または線形速度の測定に少なくとも部分的に基づく、請求項１～４のいずれかに記載のシステム。
- 前記相対的運動の査定は、前記環境内の前記１つ以上の特徴の角度または線形加速の測定に少なくとも部分的に基づく、請求項１～５のいずれかに記載のシステム。
- 前記相対的運動の査定は、前記環境内の前記１つ以上の特徴の角度または線形速度の測定に少なくとも部分的に基づく、請求項１～６のいずれかに記載のシステム。
- 前記相対的運動の査定は、前記頭部搭載型ディスプレイの運動または予期される運動が閾値を超えることを決定することを含む、請求項１～７のいずれかに記載のシステム。
- 前記相対的運動の査定は、前記環境内の前記１つ以上の特徴の運動または予期される運動が閾値を超えることを決定することを含む、請求項１～８のいずれかに記載のシステム。
- 前記第２のフレームレートは、前記カメラが、前記相対的運動の査定に基づいて、低減されたフレームレートで動作するように構成されるように、前記第１のフレームレートより低い、請求項１～９のいずれかに記載のシステム。
- 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動した、移動中である、または移動することが予期されること、または前記環境内の前記１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されること、および（ｉｉ）前記環境内の前記１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、請求項１～１０のいずれかに記載のシステム。
- 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内の場所を含まないことの決定に基づいてさらに低減される、請求項１１に記載のシステム。
- 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の前記１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、請求項１～１２のいずれかに記載のシステム。
- 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の前記１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の前記１つ以上の仮想画像コンテンツ場所が、（ｉ）前記視認ゾーンを越え、かつ（ｉｉ）近距離動眼視野領域を越える遠距離動眼視野内の場所を含むことの決定に基づいて低減される、請求項１～１３のいずれかに記載のシステム。
- 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉｉｉ）前記環境内の前記１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内の場所を含まないことの決定に基づいてさらに低減される、請求項１４に記載のシステム。
- 前記第２のフレームレートは、前記第１のフレームレートより低い、請求項１～１５のいずれかに記載のシステム。
- 前記システムは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの前記比較とに基づいて、前記カメラによって取得されたより少ないフレームからのデータを処理するように構成される、請求項１～１６のいずれかに記載のシステム。
- 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の前記１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の前記１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、請求項１～１７のいずれかに記載のシステム。
- 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または予期される移動の決定に基づいて低減される、請求項１～１８のいずれかに記載のシステム。
- 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記頭部搭載型ディスプレイの運動または予期される運動が閾値を超えないことの決定に基づいて低減される、請求項１～１９のいずれかに記載のシステム。
- 前記カメラからの前記フレームの処理の量を低減させることは、処理される前記カメラによって捕捉されたフレームの数を低減させることを含む、請求項１～２０のいずれかに記載のシステム。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862686644P | 2018-06-18 | 2018-06-18 | |
| US62/686,644 | 2018-06-18 | ||
| US201862702817P | 2018-07-24 | 2018-07-24 | |
| US62/702,817 | 2018-07-24 | ||
| PCT/US2019/037773 WO2019246129A2 (en) | 2018-06-18 | 2019-06-18 | Augmented reality display with frame modulation functionality |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2021527998A JP2021527998A (ja) | 2021-10-14 |
| JPWO2019246129A5 true JPWO2019246129A5 (ja) | 2022-06-27 |
| JP7378431B2 JP7378431B2 (ja) | 2023-11-13 |
Family
ID=68838824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020570198A Active JP7378431B2 (ja) | 2018-06-18 | 2019-06-18 | フレーム変調機能性を伴う拡張現実ディスプレイ |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10986270B2 (ja) |
| EP (1) | EP3807710B1 (ja) |
| JP (1) | JP7378431B2 (ja) |
| CN (1) | CN112567287A (ja) |
| WO (1) | WO2019246129A2 (ja) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3807710B1 (en) | 2018-06-18 | 2024-01-17 | Magic Leap, Inc. | Augmented reality display with frame modulation functionality |
| WO2019246044A1 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Head-mounted display systems with power saving functionality |
| US10867164B2 (en) * | 2018-06-29 | 2020-12-15 | Intel Corporation | Methods and apparatus for real-time interactive anamorphosis projection via face detection and tracking |
| GB2575509A (en) * | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial audio capture, transmission and reproduction |
| US10937191B2 (en) * | 2018-10-23 | 2021-03-02 | Dell Products, Lp | Predictive simultaneous localization and mapping system using prior user session positional information |
| CN109756723B (zh) * | 2018-12-14 | 2021-06-11 | 深圳前海达闼云端智能科技有限公司 | 获取影像的方法和装置，存储介质和电子设备 |
| US11315354B2 (en) * | 2018-12-24 | 2022-04-26 | Samsung Electronics Co., Ltd. | Method and apparatus that controls augmented reality (AR) apparatus based on action prediction |
| DE102019135676A1 (de) * | 2018-12-26 | 2020-07-02 | Htc Corporation | Objektverfolgungssystem und objektverfolgungsverfahren |
| WO2020164693A1 (en) * | 2019-02-12 | 2020-08-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Method, computer program, and devices for image acquisition |
| US11070778B2 (en) * | 2019-02-14 | 2021-07-20 | Facebook Technologies, Llc | Multi-projector display architecture |
| CN110287764B (zh) * | 2019-05-06 | 2022-01-11 | 深圳大学 | 姿势预测方法、装置、计算机设备和存储介质 |
| US11265487B2 (en) | 2019-06-05 | 2022-03-01 | Mediatek Inc. | Camera view synthesis on head-mounted display for virtual reality and augmented reality |
| FR3098605B1 (fr) * | 2019-07-10 | 2021-07-23 | Photonis France | Appareil de vision nocturne de type numerique avec vitesse d’acquisition d’image ajustable. |
| US10916062B1 (en) * | 2019-07-15 | 2021-02-09 | Google Llc | 6-DoF tracking using visual cues |
| US11048091B1 (en) * | 2019-09-13 | 2021-06-29 | Facebook Technologies, Llc | Wide-field image light and inset image light for head mounted displays |
| US11023041B1 (en) * | 2019-11-07 | 2021-06-01 | Varjo Technologies Oy | System and method for producing images based on gaze direction and field of view |
| WO2021113782A1 (en) * | 2019-12-04 | 2021-06-10 | Magic Leap, Inc. | Variable-pitch color emitting display |
| US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| JP2021168436A (ja) * | 2020-04-09 | 2021-10-21 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
| CN115515491A (zh) * | 2020-04-20 | 2022-12-23 | 奇跃公司 | 使用基于图像运动度量的表情预测 |
| US11763779B1 (en) | 2020-04-23 | 2023-09-19 | Apple Inc. | Head-mounted display systems with alignment monitoring |
| JP6935545B1 (ja) * | 2020-06-18 | 2021-09-15 | 三菱電機ビルテクノサービス株式会社 | 人物追跡支援装置および人物追跡支援システム |
| US11436742B2 (en) * | 2020-07-22 | 2022-09-06 | Microsoft Technology Licensing, Llc | Systems and methods for reducing a search area for identifying correspondences between images |
| CN111914730B (zh) * | 2020-07-28 | 2023-11-24 | 上海工程技术大学 | 一种基于联合时空采样的无监督视频序列行人再识别方法 |
| US11321838B2 (en) * | 2020-08-31 | 2022-05-03 | Facebook Technologies, Llc. | Distributed sensor module for eye-tracking |
| US11385992B2 (en) * | 2020-09-17 | 2022-07-12 | International Business Machines Corporation | Wearable device test case execution |
| EP4226237A1 (en) * | 2020-09-25 | 2023-08-16 | Apple Inc. | Structured display shutdown for video pass-through electronic devices |
| KR20230079411A (ko) * | 2020-09-30 | 2023-06-07 | 스냅 인코포레이티드 | 증강 현실 및 컴퓨터 비전 애플리케이션들을 위한 다목적 카메라들 |
| CN112527102B (zh) * | 2020-11-16 | 2022-11-08 | 青岛小鸟看看科技有限公司 | 头戴式一体机系统及其6DoF追踪方法和装置 |
| US20220236782A1 (en) * | 2021-01-28 | 2022-07-28 | Dell Products, Lp | System and method for intelligent multi-application and power management for multimedia collaboration applications |
| US11221493B1 (en) * | 2021-02-03 | 2022-01-11 | Jamaul Baker | Virtual reality body suit assembly |
| US12008157B2 (en) * | 2021-03-01 | 2024-06-11 | Qualcomm Incorporated | Movement detection of a head mounted device |
| WO2022212916A1 (en) * | 2021-04-01 | 2022-10-06 | Giant.Ai, Inc. | Hybrid computing architectures with specialized processors to encode/decode latent representations for controlling dynamic mechanical systems |
| US11490338B1 (en) * | 2021-05-25 | 2022-11-01 | Microsoft Technology Licensing, Llc | Motion-responsive transmission power management |
| JP2023028300A (ja) * | 2021-08-19 | 2023-03-03 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US11889200B2 (en) * | 2021-12-07 | 2024-01-30 | Thales Defense & Security, Inc. | Methods and systems for generating a high-rate video for a camera in motion |
| US20230222625A1 (en) * | 2022-01-12 | 2023-07-13 | Htc Corporation | Method for adjusting virtual object, host, and computer readable storage medium |
| US11775057B1 (en) | 2022-05-25 | 2023-10-03 | Microsoft Technology Licensing, Llc | Head-mounted display operation based on face tracking |
| US11720168B1 (en) | 2022-05-25 | 2023-08-08 | Microsoft Technology Licensing, Llc | Inferred body movement using wearable RF antennas |
| WO2024043438A1 (ko) * | 2022-08-24 | 2024-02-29 | 삼성전자주식회사 | 카메라 모듈을 제어하는 웨어러블 전자 장치 및 그 동작 방법 |
Family Cites Families (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| WO2009019867A1 (ja) * | 2007-08-09 | 2009-02-12 | Panasonic Corporation | 録画装置 |
| JP2013521576A (ja) | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| EP2656135B1 (en) | 2010-12-24 | 2022-05-04 | Magic Leap, Inc. | Freeform waveguide prism |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| WO2012154620A2 (en) | 2011-05-06 | 2012-11-15 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
| EP3258671B1 (en) | 2011-10-28 | 2018-09-05 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| NZ700887A (en) | 2012-04-05 | 2016-11-25 | Magic Leap Inc | Wide-field of view (fov) imaging devices with active foveation capability |
| GB2501761A (en) | 2012-05-04 | 2013-11-06 | Sony Comp Entertainment Europe | Head mountable display |
| WO2013186806A1 (ja) * | 2012-06-11 | 2013-12-19 | 株式会社ソニー・コンピュータエンタテインメント | 画像撮像装置および画像撮像方法 |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
| IL301489B1 (en) | 2013-01-15 | 2024-04-01 | Magic Leap Inc | A system for scanning electromagnetic imaging radiation |
| EP2967322A4 (en) | 2013-03-11 | 2017-02-08 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| KR20230113418A (ko) * | 2013-03-15 | 2023-07-28 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| CN105829953B (zh) | 2013-10-16 | 2019-05-28 | 奇跃公司 | 具有可调节的瞳距的虚拟或增强现实头戴设备 |
| CN110542938B (zh) | 2013-11-27 | 2023-04-18 | 奇跃公司 | 虚拟和增强现实系统与方法 |
| US10175478B2 (en) | 2014-05-30 | 2019-01-08 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| NZ722903A (en) | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
| JP2015163947A (ja) | 2014-02-03 | 2015-09-10 | キヤノン株式会社 | 光源光学系およびこれを用いた光源装置、画像表示装置 |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US9971153B2 (en) | 2014-03-29 | 2018-05-15 | Frimory Technologies Ltd. | Method and apparatus for displaying video data |
| CN106537290B (zh) | 2014-05-09 | 2019-08-27 | 谷歌有限责任公司 | 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法 |
| USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
| USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
| GB2533788A (en) | 2014-12-30 | 2016-07-06 | Nokia Technologies Oy | Method for determining the position of a portable device |
| CN107530034A (zh) | 2015-03-16 | 2018-01-02 | 奇跃公司 | 增强现实脉冲血氧定量法 |
| CN108140259B (zh) | 2015-08-18 | 2022-06-14 | 奇跃公司 | 虚拟和增强现实系统和方法 |
| US10306187B2 (en) * | 2015-10-16 | 2019-05-28 | Vivint, Inc. | Adjustable movement detection doorbell |
| US10638047B2 (en) * | 2015-12-16 | 2020-04-28 | Gopro, Inc. | Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence |
| USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
| USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
| GB2548154A (en) * | 2016-03-11 | 2017-09-13 | Sony Computer Entertainment Europe Ltd | Virtual reality |
| EP3479160A4 (en) | 2016-06-30 | 2020-03-25 | Magic Leap, Inc. | ESTIMATE OF THE POSE IN A 3D SPACE |
| GB2557593A (en) | 2016-12-09 | 2018-06-27 | Sony Interactive Entertainment Inc | Virtual reality |
| US10212428B2 (en) * | 2017-01-11 | 2019-02-19 | Microsoft Technology Licensing, Llc | Reprojecting holographic video to enhance streaming bandwidth/quality |
| US10187607B1 (en) * | 2017-04-04 | 2019-01-22 | Gopro, Inc. | Systems and methods for using a variable capture frame rate for video capture |
| US10769438B2 (en) | 2017-05-23 | 2020-09-08 | Samsung Electronics Company, Ltd. | Augmented reality |
| GB201709199D0 (en) * | 2017-06-09 | 2017-07-26 | Delamont Dean Lindsay | IR mixed reality and augmented reality gaming system |
| US10338400B2 (en) * | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
| US10726627B2 (en) * | 2017-07-25 | 2020-07-28 | Facebook Technologies, Llc | Sensor system based on stacked sensor layers |
| US11314399B2 (en) * | 2017-10-21 | 2022-04-26 | Eyecam, Inc. | Adaptive graphic user interfacing system |
| EP3807710B1 (en) | 2018-06-18 | 2024-01-17 | Magic Leap, Inc. | Augmented reality display with frame modulation functionality |
-
2019
- 2019-06-18 EP EP19822291.1A patent/EP3807710B1/en active Active
- 2019-06-18 US US16/445,060 patent/US10986270B2/en active Active
- 2019-06-18 CN CN201980053296.4A patent/CN112567287A/zh active Pending
- 2019-06-18 WO PCT/US2019/037773 patent/WO2019246129A2/en unknown
- 2019-06-18 JP JP2020570198A patent/JP7378431B2/ja active Active
-
2021
- 2021-04-20 US US17/235,820 patent/US20210385379A1/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2019246129A5 (ja) | ||
| JP5137833B2 (ja) | 視線方向検出装置および視線方向検出方法 | |
| WO2018030515A1 (ja) | 視線検出装置 | |
| US10365710B2 (en) | Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration | |
| US20170272768A1 (en) | System and method for data compressing optical sensor data prior to transferring to a host system | |
| JP5127531B2 (ja) | 画像監視装置 | |
| JP5420793B1 (ja) | 画像の視認距離を調整できるヘッドマウントディスプレイ | |
| JP2019506768A (ja) | レンジゲート式デプスカメラ部品 | |
| US10634918B2 (en) | Internal edge verification | |
| US10546430B1 (en) | Image plane adjustment in a near-eye display | |
| KR20220110205A (ko) | 헤드 장착식 디스플레이들에 대한 컨텐츠 안정화 | |
| WO2011158463A1 (ja) | 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法 | |
| WO2004106856A1 (ja) | ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム | |
| WO2016027627A1 (ja) | 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム | |
| US11455810B2 (en) | Driver attention state estimation | |
| US20130163825A1 (en) | Head movement detection apparatus | |
| US11024040B2 (en) | Dynamic object tracking | |
| KR20200035003A (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
| US11903647B2 (en) | Gaze detector, method for controlling gaze detector, method for detecting corneal reflection image position, and storage medium | |
| US11694345B2 (en) | Moving object tracking using object and scene trackers | |
| JP5799776B2 (ja) | 情報表示装置及びプログラム | |
| JP4246691B2 (ja) | 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車 | |
| JP2006209442A (ja) | 眼位置検出装置 | |
| JP7247371B2 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
| JP7269617B2 (ja) | 顔画像処理装置、画像観察システム、及び瞳孔検出システム |