JP7145944B2 - 視覚キューを提供する手段を用いる表示装置および表示方法 - Google Patents

視覚キューを提供する手段を用いる表示装置および表示方法 Download PDF

Info

Publication number
JP7145944B2
JP7145944B2 JP2020520816A JP2020520816A JP7145944B2 JP 7145944 B2 JP7145944 B2 JP 7145944B2 JP 2020520816 A JP2020520816 A JP 2020520816A JP 2020520816 A JP2020520816 A JP 2020520816A JP 7145944 B2 JP7145944 B2 JP 7145944B2
Authority
JP
Japan
Prior art keywords
image
light emitting
user
emitting elements
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020520816A
Other languages
English (en)
Other versions
JP2021500601A (ja
JP2021500601A5 (ja
Inventor
オイヴァ サールステン
Original Assignee
ヴァルヨ テクノロジーズ オーユー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴァルヨ テクノロジーズ オーユー filed Critical ヴァルヨ テクノロジーズ オーユー
Publication of JP2021500601A publication Critical patent/JP2021500601A/ja
Publication of JP2021500601A5 publication Critical patent/JP2021500601A5/ja
Application granted granted Critical
Publication of JP7145944B2 publication Critical patent/JP7145944B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232Special driving of display border areas

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本開示は概して仮想現実および拡張現実に関し、より具体的には、画像レンダラと、出射光学素子と、視覚キューを提供する手段と、処理部とを備える表示装置に関する。また、本開示は前述の表示装置を介した表示方法にも関する。
背景
近年、模擬環境をユーザに提示するための、仮想現実、拡張現実などの技術の開発や利用が急速に進んでいる。具体的には、そのような技術は、立体視などの現代の技術を用いて模擬環境への完全な没入感をユーザにもたらす。したがって、そのような模擬環境は、ユーザが知覚するユーザ周囲の現実感を向上させる。また、そのような模擬環境は、完全な仮想環境(すなわち、仮想現実環境)と、仮想オブジェクトが上に重ね合わされた実世界環境(すなわち、拡張現実環境)とに関する。
一般的に、そのような模擬環境を体験するために、ユーザは、例えば仮想現実デバイス、拡張現実デバイスなどのデバイスを用いることができる。概して、仮想現実デバイスおよび拡張現実デバイスは、ユーザの片眼ごとに専用の表示光学素子を備える双眼デバイスである。仮想現実デバイスの例として、ヘッドマウント仮想現実デバイス、仮想現実眼鏡などがある。また、拡張現実デバイスの例として、拡張現実ヘッドセット、拡張現実眼鏡などがある。
しかしながら、従来の仮想現実デバイスおよび拡張現実デバイスには、一定の制限が伴う。第一に、仮想現実デバイスおよび/または拡張現実デバイスの画像レンダリング機器は、ユーザの眼の視野よりも可視幅(visual width)が比較的狭い。したがって、画像レンダリング機器によって表示された画像は、画像レンダリング機器の縁部周囲で不連続的に見える。このため、ユーザに、そのような不連続の画像を用いて作成された模擬環境の視覚的シーンの周囲に境界(すなわち、黒い縁部)が見える場合がある。また、そのような境界により、没入感が最適ではなくなり、模擬環境におけるユーザ体験の質がかなり低下する。第二に、ユーザは、仮想現実デバイスおよび/または拡張現実デバイスの画像レンダリング機器の可視幅外(すなわち、ビューポート外)に広がる模擬環境の視覚的シーンを知覚しないことが多い。このため、そのような画像レンダリング機器の可視幅外に広がる視覚的シーンに対するユーザの反応がかなり制限される。
前述の説明を鑑みて、従来の仮想現実デバイスおよび拡張現実デバイスに関する前述の欠点を克服する必要がある。
摘要
本開示は、表示装置を提供することを目標とする。また、本開示は、そのような表示装置を介した表示方法を提供することも目標とする。本開示は、従来の仮想現実デバイスおよび拡張現実デバイスの画像により表示される画像の縁部周囲が不連続になり、模擬環境においてユーザが体験する没入感が最適ではなくなる、という既存の問題に対する解決策を提供することを目標とする。本開示の目的は、従来技術に見られる問題を少なくとも部分的に克服し、既存の表示装置における前述の問題を排除する堅牢で信頼性が高く効率的な表示装置を提供する解決策を提供することである。
ある態様において、本開示の一実施形態は表示装置を提供する。前記表示装置は、
・ 画像をレンダリングする少なくとも1つの画像レンダラと、
・ 出射光学素子と、
・ 視覚キューを提供する手段と、
・ 前記少なくとも1つの画像レンダラと前記視覚キューを提供する手段とに接続される処理部と、を備え
前記表示装置がユーザの頭部に装着される場合、レンダリングされた画像の投影は前記出射光学素子を通って前記表示装置から出射して前記ユーザの眼に入射し、
前記視覚キューは、前記出射光学素子のビューポートを実質的に取り囲み前記ユーザの視野内にある周辺領域内に提供され、
前記処理部は、前記レンダリングされた画像の、前記出射光学素子の前記ビューポート内に見えない領域に少なくとも部分的に基づいて駆動信号を生成し、前記駆動信号を介して、前記視覚キューを提供する手段を制御するように構成される。
別の態様において、本開示の一実施形態は、表示装置を介した表示方法を提供する。前記表示装置は、少なくとも1つの画像レンダラと、出射光学素子と、視覚キューを提供する手段とを備え、前記方法は、
・ 前記少なくとも1つの画像レンダラにおいて画像をレンダリングすることであって、前記表示装置がユーザの頭部に装着される場合、レンダリングされた画像の投影は、前記出射光学素子を通って前記表示装置から出射して前記ユーザの眼に入射する、レンダリングすることと、
・ 前記レンダリングされた画像の、前記出射光学素子のビューポート内に見えない領域に少なくとも部分的に基づいて駆動信号を生成することと、
・ 前記出射光学素子の前記ビューポートを実質的に取り囲み前記ユーザの視野内にある周辺領域内に視覚キューを提供するように、前記駆動信号を介して、前記視覚キューを提供する手段を制御することと、を含む。
本開示の実施形態は、従来技術における前述の問題を実質的に排除または少なくとも部分的に対処し、画像の縁部周囲の連続性と、周辺領域内にありユーザの視野内にある視覚的シーンについてユーザに示す視覚キューの作成を促進する。
本開示の別の態様、利点、特徴、および目的は、以下に添付する特許請求の範囲と併せて解釈される、例示的実施形態の図面および詳細な説明から明らかにされるであろう。
本開示の特徴は、添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、様々に組合せ可能であることを理解されたい。
前記の摘要と、下記の例示的な実施形態の詳細な説明は、添付の図面と共に読むことでよりよく理解される。本開示の説明の目的で、本開示の例示的な構成を図面に示している。しかしながら、本開示は、ここに開示する具体的な方法および手段に限定されるわけではない。また、図面は縮尺に従ったものではないことを、当業者は理解されるであろう。可能なかぎり、同様の要素は同番号で示している。
以下、本開示における実施形態を、単なる例示として、かつ添付の図面を参照して説明する。
図1は、本開示の一実施形態による表示装置のアーキテクチャのブロック図である。 図2Aは、本開示の一実施形態により、表示装置がユーザの頭部に装着される場合のユーザの眼の視野を示す例示的な図である。 図2Bは、本開示の一実施形態により、図2Aの出射光学素子のビューポートを実質的に取り囲む周辺領域に配置された、視覚キューを提供する手段を示す例示的な図である。 図3は、本開示の別の実施形態による表示装置の例示的な実装を示す図である。 図4は、本開示の別の実施形態による表示装置の例示的な実装を示す図である。 図5は、本開示の一実施形態による表示装置を介した表示方法のステップを示す図である。
添付図面において下線の引かれた番号は、その番号が位置するアイテムやその番号が隣接するアイテムを表すために使用される。下線が引かれていない番号は、その番号と線で結ばれて特定されるアイテムに関連している。番号に下線が引かれず矢印と共に記されている場合、その番号は矢印が指すアイテム全般を特定するために使用される。
実施形態の詳細説明
以下の詳細な説明は、本開示の実施形態およびそれらの実施形態を実装できる方法について説明している。本開示を実行する態様の一部を開示しているが、本開示を実行または実践する他の実施形態も可能であることを当業者は認識されるであろう。
ある態様において、本開示の一実施形態は表示装置を提供する。前記表示装置は、
・ 画像をレンダリングする少なくとも1つの画像レンダラと、
・ 出射光学素子と、
・ 視覚キューを提供する手段と、
・ 前記少なくとも1つの画像レンダラと前記視覚キューを提供する手段とに接続される処理部と、を備え
前記表示装置がユーザの頭部に装着される場合、レンダリングされた画像の投影は前記出射光学素子を通って前記表示装置から出射して前記ユーザの眼に入射し、
前記視覚キューは、前記出射光学素子のビューポートを実質的に取り囲み前記ユーザの視野内にある周辺領域内に提供され、
前記処理部は、前記レンダリングされた画像の、前記出射光学素子の前記ビューポート内に見えない領域に少なくとも部分的に基づいて駆動信号を生成し、前記駆動信号を介して、前記視覚キューを提供する手段を制御するように構成される。
別の態様において、本開示の一実施形態は、表示装置を介した表示方法を提供する。前記表示装置は、少なくとも1つの画像レンダラと、出射光学素子と、視覚キューを提供する手段とを備え、前記方法は、
・ 前記少なくとも1つの画像レンダラにおいて画像をレンダリングすることであって、前記表示装置がユーザの頭部に装着される場合、レンダリングされた画像の投影は、前記出射光学素子を通って前記表示装置から出射して前記ユーザの眼に入射する、レンダリングすることと、
・ 前記レンダリングされた画像の、前記出射光学素子のビューポート内に見えない領域に少なくとも部分的に基づいて駆動信号を生成することと、
・ 前記出射光学素子の前記ビューポートを実質的に取り囲み前記ユーザの視野内にある周辺領域内に視覚キューを提供するように、前記駆動信号を介して、前記視覚キューを提供する手段を制御することと、を含む。
本開示は、前述の表示装置と、そのような表示装置を介した前述の表示方法とを提供する。本明細書において説明する表示装置は、該表示装置によって表示される画像の縁部周囲における不連続性を排除することができる。また、該表示装置により、ユーザは、コントラストおよび色が改善された画像を見ることができる。したがって、該表示装置は、該表示装置のユーザによる、より没入感のある模擬環境の体験を促進する。さらに、本明細書において説明する表示装置により、ユーザは、該表示装置の出射光学素子の可視幅外に広がる(すなわち、生じる)視覚的シーンを知覚することができる。
本開示全体において、本明細書で用いる「表示装置」という用語は、表示装置のユーザに画像を表示(すなわち、提示)するように構成された専用機器に関する。そのような場合、表示装置は、画像をユーザに提示するための(例えば、仮想現実ヘッドセット、拡張現実ヘッドセット、仮想現実眼鏡、拡張現実眼鏡などの)デバイスとして機能するように動作可能である。
前述のように、少なくとも1つの画像レンダラは画像をレンダリングする。具体的には、表示装置がユーザの頭部に装着される場合、レンダリングされた画像はユーザの眼に投影される。一実施形態によると、本明細書で用いる「画像」という用語は、表示装置によって表示される模擬環境(例えば、仮想現実環境など)の仮想シーンの表現に関する。
別の実施形態によると、本明細書で用いる「画像」という用語は、少なくとも1つの仮想オブジェクトの画像に関する。少なくとも1つの仮想オブジェクトの例として、仮想ナビゲーションツール、仮想ガジェット、仮想メッセージ、仮想エンティティ、仮想メディアなどが挙げられるが、これらに限定されない。また、そのような実施形態において、画像を実世界画像の投影上に重ね合わせて、結果として得られる模擬環境(例えば、拡張現実環境など)の視覚的シーンを構成してもよい。本開示全体において、本明細書で用いる「実世界画像」という用語は、ユーザが位置する実際の周囲を描写する画像に関する。任意で、表示装置は、実世界画像を撮像する少なくとも1つのカメラを備える。また任意で、表示装置は、前述の重ね合せ動作を実行し、結果として得られる模擬環境を、表示装置(例えば、拡張現実ヘッドセット、拡張現実眼鏡など)のユーザの眼に投影するために、少なくとも1つの光学機器をさらに備える。
さらに別の実施形態によると、本明細書で用いる「画像」という用語は、被写体の絵画的表現(すなわち、視覚認知)に関する。被写体の例として、物体、人物、地図、絵、風景、回路図、文章などが挙げられるが、これらに限定されない。任意で、画像は被写体の二次元表現である。
本開示全体において、本明細書で用いる「少なくとも1つの画像レンダラ」という用語は、画像のレンダリングを促進するように構成された機器に関する。任意で、少なくとも1つの画像レンダラは、少なくとも、コンテキスト画像をレンダリングするコンテキスト画像レンダラと、フォーカス画像をレンダリングするフォーカス画像レンダラとを備え、レンダリングされたコンテキスト画像の投影とレンダリングされたフォーカス画像の投影とは共に、レンダリングされた画像の投影を形成する。そのような場合、画像はコンテキスト画像とフォーカス画像とを含む。したがって、コンテキスト画像およびフォーカス画像は、少なくとも1つの画像レンダラにおいてレンダリングされる画像を集合的に構成するためにレンダリングされる。コンテキスト画像は、少なくとも1つのコンテキスト画像レンダラを介してレダリングおよび投影される、仮想シーン、少なくとも1つの仮想オブジェクト、または被写体の広角画像に関することを理解されたい。また、フォーカス画像は、少なくとも1つのフォーカス画像レンダラを介してレダリングおよび投影される、仮想シーン、少なくとも1つの仮想オブジェクト、または被写体の一部(すなわち、部分)を描写する別の画像に関する場合があることを理解されたい。さらに、フォーカス画像の寸法はコンテキスト画像よりも小さい。
任意で、レンダリングされたコンテキスト画像の投影の角度幅は40度から220度までの範囲であり、レンダリングされたフォーカス画像の投影の角度幅は5度から60度までの範囲である。そのような場合、レンダリングされたコンテキスト画像の投影の角度幅は、例えば、40、50、60、70、80、90、100、110、120、130、140、150、160、または170度から、70、80、90、100、110、120、130、140、150、160、170、180、190、200、210、または220度までであってもよく、レンダリングされたフォーカス画像の投影の角度幅は、例えば、5、10、15、20、25、30、35、40、45、または50度から、15、20、25、30、35、40、45、50、55、または60度までであってもよい。
本開示全体において、「角度幅」という用語は、表示装置を装着したユーザの眼から見た任意の投影の角度幅を指す。任意で、レンダリングされたコンテキスト画像の投影の角度幅は、レンダリングされたフォーカス画像の投影の角度幅より大きいことを理解されたい。これは、レンダリングされたフォーカス画像は通常はユーザの眼の中心窩およびその周囲に投影され、レンダリングされたコンテキスト画像はユーザの眼の網膜に投影されるためである。
本開示全体において、本明細書で用いる「コンテキスト画像レンダラ」という用語は、コンテキスト画像のレンダリングを促進するように構成された機器に関する。同様に、本明細書で用いる「フォーカス画像レンダラ」という用語は、フォーカス画像のレンダリングを促進するように構成された機器に関する。
一実施形態では、少なくとも1つの画像レンダラは、少なくとも1つのプロジェクタおよびそれに関連付けられた投影スクリーンとして実装される。任意で、少なくとも1つの画像レンダラを実装するために用いられる少なくとも1つのプロジェクタ間で1つの投影スクリーンを共有してもよい。別の実施形態では、少なくとも1つの画像レンダラは、レンダリングされた画像の投影を放射するように構成された少なくとも1つのディスプレイとして実装される。
前述のように、任意で、少なくとも1つの画像レンダラは、コンテキスト画像をレンダリングするコンテキスト画像レンダラと、フォーカス画像をレンダリングするフォーカス画像レンダラとを備える。したがって、一実施形態では、コンテキスト画像レンダラおよび/またはフォーカス画像レンダラは、前述の少なくとも1つのプロジェクタおよびそれに関連付けられた前述の投影スクリーンとして実装される。任意で、コンテキスト画像レンダラおよびフォーカス画像レンダラを実装するために用いられる少なくとも1つのプロジェクタ間で前述の1つの投影スクリーンを共有してもよい。別の実施形態では、コンテキスト画像レンダラは、レンダリングされたコンテキスト画像の投影を放射するように構成された少なくとも1つのコンテキストディスプレイとして実装され、フォーカス画像レンダラは、レンダリングされたフォーカス画像の投影を放射するように構成された少なくとも1つのフォーカスディスプレイとして実装される。
また任意で、表示装置は、レンダリングされたコンテキスト画像の投影と、レンダリングされたフォーカス画像の投影とを組み合わせて画像を作成する、少なくとも1つの光コンバイナを備える。
一実施形態では、処理部は、画像をレンダリングする少なくとも1つの画像レンダラを制御するように構成される。別の実施形態では、外部処理部(すなわち、表示装置の外部にある処理部)が、画像をレンダリングする少なくとも1つの画像レンダラを制御するように構成される。一例として、外部処理部は、表示装置に通信可能に接続された携帯電子デバイスの処理部であってもよい。
前述のように、表示装置がユーザの頭部に装着される場合、レンダリングされた画像の投影は、出射光学素子を通って表示装置から出射し、ユーザの眼に入射する。本開示全体において、「出射光学素子」という用語は、表示装置がユーザの頭部に装着される場合、レンダリングされた画像の投影をユーザの眼に向けるように構成された光学素子に関する。任意で、出射光学素子は、表示装置がユーザの頭部に装着される場合、レンダリングされたコンテキスト画像の投影およびレンダリングされたフォーカス画像の投影をユーザの眼に向けるように構成される。
任意で、出射光学素子は、レンダリングされた画像の投影のサイズ(または角度寸法)を拡大する。そのような場合、拡大光学素子を用いることにより、表示装置内で寸法の小さい構成要素(すなわち、寸法の小さい少なくとも1つの画像レンダラ)を用いることができる。また任意で、出射光学素子は、凸レンズ、平凸レンズ、液晶(Liquid Crystal:LC)レンズ、液体レンズ、フレネルレンズ、非球面レンズ、色消しレンズ、の少なくとも1つとして実装される。
任意で、出射光学素子は、ユーザの眼に対向する曲面を有する。そのような場合、曲面は凸状(すなわち、ユーザの眼に向かって膨らんでいる)または凹状(すなわち、ユーザの眼から離れるように内側に膨らんでいる)であってもよい。
前述のように、視覚キューを提供する手段は、周辺領域に視覚キューを提供する。周辺領域は、出射光学素子のビューポートを実質的に取り囲み、ユーザの視野内にある。本開示全体において、「周辺領域」という用語は、表示装置がユーザの頭部に装着される場合、ユーザの視野内の領域であって、ユーザの視野の境界と出射光学素子のビューポートとの間に実質的に位置する領域に関する。周辺領域は、表示装置がユーザの頭部に装着される場合、ユーザの眼の視野から出射光学素子のビューポートの領域を差し引くことで求められることを理解されたい。
また、本開示全体において、「視覚キュー」という用語は、表示装置を介してユーザの眼に提供される視覚的指示(すなわち、光の形式による指示)に関する。視覚キューは、レンダリングされた画像内におけるユーザの没入感(すなわち、視覚認知)を向上させることを理解されたい。一例として、視覚キューにより表示装置のユーザは、表示装置における出射光学素子のビューポート(すなわち、可視幅)内には見えない視覚的シーンを知覚することができ、有益である。また、別の例として、視覚キューにより、レンダリングされた画像の後に、少なくとも1つの画像レンダラによってレンダリングされる少なくとも1つの後続画像に関する指示を提供することができ、有益である。さらに、前述のように、視覚キューは、ユーザの視野内に位置するように、出射光学素子のビューポートの周囲(すなわち、周辺領域内)に設けられる。
本開示全体において、「視覚キューを提供する手段」という用語は、ユーザに視覚キューを提供するように構成された機器に関する。任意で、視覚キューを提供する手段は、表示装置のユーザに光の形式による指示を提供する。
前述のように、処理部は、少なくとも1つの画像レンダラと、視覚キューを提供する手段とに接続される。処理部は、レンダリングされた画像の、出射光学素子のビューポート内に見えない領域に少なくとも部分的に基づいて、駆動信号を生成するように構成される。駆動信号は、レンダリングされた画像の、出射光学素子のビューポート内に見えない領域に少なくとも部分的に基づくことによって、ユーザがそのような領域を直接見なくてもその領域を知覚できるようにすることを理解されたい。
一実施形態では、処理部は、表示装置の動作の制御に適切なハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せとして実装される。
本開示全体において、本明細書で用いる「駆動信号」という用語は、視覚キューを提供する手段の動作の制御に用いられる動作信号に関する。前述のように、駆動信号は、レンダリングされた画像の、出射光学素子のビューポート内に見えない領域に少なくとも部分的に基づく。任意で、駆動信号は、出射光学素子のビューポート内に見えるレンダリングされた画像の性質、レンダリングされた画像の後に少なくとも1つの画像レンダラにおいてレンダリングされる少なくとも1つの後続画像の性質、ユーザの選択項目、ユーザの実際の周囲における環境光、の少なくとも1つに、少なくとも部分的に基づく。レンダリングされた画像および/または少なくとも1つの後続画像の性質の例として、レンダリングされた画像および/または少なくとも1つの後続画像の輝度、コントラスト、色、環境光、影などが挙げられるが、これらに限定されない。
処理部は、駆動信号を介して、視覚キューを提供する手段を制御するように構成される。視覚キューを提供する手段のそのような制御により、処理部は、例えば、提供される視覚キューの数、視覚キューを提供する期間、視覚キューを提供する領域、視覚キューの視覚属性などを制御できることを理解されたい。視覚キューの視覚属性の例として、視覚キューの色、視覚キューの輝度、視覚キューの鮮明度、視覚キューの寸法などが挙げられるが、これらに限定されない。
一例として、レンダリングされた画像Iは、家と、その家に隣接する公園との仮想シーンを描写する。そのような例において、画像Iにおける家を描写する領域R1は、出射光学素子のビューポート内に見えてもよく、画像Iにおける公園を描写する別の領域R2は、出射光学素子のビューポート内に見えなくてもよい。そのような場合、レンダリングされた画像Iの領域R2は、画像Iの領域R1とは異なる性質を有してもよい(例えば、公園を描写する領域R2のほうが明るくてもよい)。そのような場合、処理部は、領域R2に少なくとも部分的に基づいて駆動信号D1を生成し、出射光学素子のビューポート内に公園が見えなくても、公園の指示を提供することができる。したがって処理部は、生成された駆動信号D1を介して、白色光で周辺領域を照明するように、視覚キューを提供する手段を制御してもよい。
別の例として、ホラーゲームの模擬環境を表示装置を介して提示してもよい。そのような場合、レンダリングされた画像Aは、廃墟の城の環境における視覚的シーンを描写してもよい。レンダリングされた画像において廃墟の城内の部屋を描写する領域RRは、出射光学素子のビューポート内に見えてもよく、レンダリングされた画像において廃墟の城内の書斎を描写する領域RLは、出射光学素子のビューポート内に見えなくてもよいことを理解されたい。そのような場合、表示装置のユーザは、周辺領域に提供される視覚キューを暗色にし、輝度を低くすることを選択することがある。したがって、処理部は、レンダリングされた画像Aの、出射光学素子のビューポート内に見えない領域RLと、ユーザの選択項目とに基づいて駆動信号を生成してもよい。
任意で、処理部は、レンダリングされた画像の後に、少なくとも1つの画像レンダラにおいてレンダリングされる少なくとも1つの後続画像に基づいて駆動信号を生成するように構成される。そのような場合、処理部は、表示装置によってレンダリングされる少なくとも1つの後続画像を受信してもよく、該少なくとも1つの後続画像の性質を特定してもよい。その後、処理部は、少なくとも1つの後続画像の性質に基づいて駆動信号を生成してもよい。例えば、レンダリングされた画像X1が低輝度の視覚的シーンを描写し、(レンダリングされた画像X1の後に、少なくとも1つの画像レンダラにおいてレンダリングされる)後続画像X2が高輝度である場合、処理部は、後続画像X2(すなわち、後続画像X2の性質)に基づいて駆動信号を生成してもよい。
任意で、視覚キューを提供する手段は、周辺領域に配置される複数の発光素子を備え、処理部は、複数の発光素子によって放射される光の色および/または強度を制御するように構成される。そのような場合、複数の発光素子は、表示装置がユーザに装着される場合に周辺領域を照明する光を放射するために用いられる。また、複数の発光素子は、出射光学素子のビューポートを実質的に取り囲む周辺領域に配置される。したがって、複数の発光素子はユーザの視野内にあり、そこから放射される光をユーザが見ることができる。複数の発光素子は、ユーザの片眼または両眼を照明するように動作可能であることを理解されたい。
本開示全体において、本明細書で用いる「複数の発光素子」という用語は、ユーザに視覚キューを提供するために、ユーザの眼に光を放射するように構成された少なくとも1つの光源に関する。この点において、任意で、複数の発光素子は、可視波長を有する光を放射するように構成される。複数の発光素子によって放射された光は、出射光学素子のビューポートを実質的に取り囲む、環境光効果をもたらし、レンダリングされた画像およびそのような光がユーザの眼に入射すると、没入感を向上させる。任意で、複数の発光素子は、ディスプレイ、好ましくは低解像度液晶ディスプレイ(Liquid Crystal Display:LCD)として実装される。任意で、複数の発光素子は、発光ダイオード、光レーザ、投光器などの少なくとも1つとして実装される。別の実施形態では、複数の発光素子は、ディスプレイと、発光ダイオードなどの他の発光素子とを組み合わせて実装される。
前述のように、任意で、複数の発光素子によって放射される光の色および/または強度は調整可能である。そのような場合、任意で、放射される光の色および/または強度は、駆動信号の調整を介して調整可能であってもよい。放射される光の色および/または強度の前述の調整により、視覚キューの視覚属性を制御できることを理解されたい。一例として、低振幅の駆動信号により、複数の発光素子が低強度の光を放射するように制御してもよく、高振幅の駆動信号により、複数の発光素子が高強度の光を放射するように制御してもよい。任意で、処理部は、複数の発光素子によって放射される光の他の性質(例えば、波長、光路など)を制御するようにさらに構成される。
一実施形態では、処理部は、駆動信号を介して、複数の発光素子によって放射される光の色を制御するように構成される。別の実施形態では、処理部は、駆動信号を介して、複数の発光素子によって放射される光の強度を制御するように構成される。さらに別の実施形態では、処理部は、駆動信号を介して、複数の発光素子によって放射される光の色および強度を制御するように構成される。別の実施形態では、処理部は、発光素子に画像をレンダリングするように構成される。
説明目的のみにおいて、表示装置が画像Yをレンダリングする例について検討する。レンダリングされた画像Yは、家の内部環境の視覚的シーンを描写してもよい。そのような例において、画像Yにおける、家の中の薄暗い収納室を描写する領域Y1は、出射光学素子のビューポート内に見えてもよく、画像Yにおける、その家の収納室に隣接する、日光で照らされたリビングルームを描写する領域Y2は、出射光学素子のビューポート内に見えなくてもよい。そのような場合、レンダリングされた画像Yの領域Y2は、画像Yの領域Y1とは異なる性質を有してもよい(例えば、リビングルームを描写する領域Y2のほうがより明るく照明されていてもよい)。そのような場合、処理部は、領域Y2に少なくとも部分的に基づいて駆動信号Sを生成し、出射光学素子のビューポート内にリビングルームが見えなくても、リビングルームを照らす明るい日光の指示を提供することができる。したがって、処理部は、生成された駆動信号Sを介して、周辺領域を黄色い光で照明するように(すなわち、リビングルームを照らす日光の存在を示すように)、複数の発光素子によって放射される光の色を制御してもよい。また、処理部は、生成された駆動信号Sを介して、複数の発光素子によって放射される黄色い光の強度を制御してもよい。この場合、複数の発光素子は高強度の光を周辺領域に提供する。
任意で、表示装置がユーザの頭部に装着される場合、複数の発光素子とユーザの眼との間の距離は、出射光学素子とユーザの眼との間の距離とほぼ同じである。そのような場合、複数の発光素子は任意で、それらの形状/物理的構造がユーザの眼の焦点外に留まるように配置される。したがって、ユーザは複数の発光素子を見ることはできないが、それらから放射される光は見ることができる。そのような場合、ユーザの眼に関して周辺領域の空間解像度が低いため、複数の発光素子が互いに空間的に離れて位置する場合でも、複数の発光素子によって放射される光が均一に見えるため、有益である。発光素子が、画像がレンダリングされるディスプレイである場合、レンダリングされた画像はユーザの眼の焦点外になるため、低解像度のディスプレイで十分である。
また任意で、視覚キューを提供する手段は、複数の発光素子によって放射される光を拡散する複数の拡散体をさらに備える。複数の発光素子によって放射される光が散乱または広がってソフトライト効果をもたらすように、複数の拡散体は複数の発光素子に接続される。動作時には、複数の拡散体は、複数の発光素子によって放射される光の光路内に配置される。複数の拡散体は、放射された光を周辺領域内で徐々に(すなわち、わずかに)分散させる。
本開示全体において、「複数の拡散体」という用語は、複数の発光素子によって放射される光を均一または不均一に分散させて、目立って明るいおよび/または暗い箇所がないようにするために用いられる光学構成要素に関する。任意で、複数の拡散体は、すりガラス拡散体、テフロン(登録商標)拡散体、ホログラフィ拡散体、オパールガラス拡散体、灰色ガラス拡散体、の少なくとも2つとして実装される。
さらに任意で、複数の発光素子は、少なくとも第1の発光素子セットと第2の発光素子セットとを含み、第1の発光素子セットによって放射される光の色および/または強度は、第2の発光素子セットによって放射される光の色および/または強度と異なる。そのような場合、処理部は任意で、第1の発光素子セットおよび第2の発光素子セットを制御するための個別の駆動信号を生成する。また任意で、第1の発光素子セットおよび第2の発光素子セットは、第1の発光素子セットおよび第2の発光素子セットが互いに空間的に離間されるように周辺領域内に配置される。あるいは任意で、第1の発光素子セットおよび第2の発光素子セットは、周辺領域全体にわたって分散される。そのような場合、第1の発光素子セットおよび第2の発光素子セットは、周辺領域内での分散が均一であっても均一でなくてもよい。
一例において、表示装置がユーザの頭部に装着される場合、第1の発光素子セットは、周辺領域内において出射光学素子のビューポートの左側に配置されてもよく、第2の発光素子セットは、周辺領域内において出射光学素子のビューポートの右側に配置されてもよい。別の例において、第1の発光素子セットは、周辺領域内において出射光学素子のビューポートの上側に配置されてもよく、第2の発光素子セットは、周辺領域内において出射光学素子のビューポートの下側に配置されてもよい。さらに別の例において、第1の発光素子セットおよび第2の発光素子セットは、周辺領域内にランダムに分散されてもよい。
前述のように、任意で、第1の発光素子セットおよび第2の発光素子セットは、異なる色および/または強度を有する光を放射するように構成される。説明目的のみにおいて、一例について検討する。この例では、表示装置は少なくとも1つの画像レンダラにおいて視覚的シーンの画像Zをレンダリングしてもよく、画像Zは2つのオブジェクトOB1およびOB2を描写する。また、そのような場合、画像ZにおけるオブジェクトOB1を描写する領域Z1は、出射光学素子のビューポート内に見えてもよく、画像ZにおけるオブジェクトOB2を描写する領域Z2は、出射光学素子のビューポート内に見えなくてもよい。例えば画像Zは、領域Z1に実質的に対応する左部分と、領域Z2に実質的に対応する右部分とを含んでもよく、領域Z1を見ているユーザが頭部を右に向けると、出射光学素子のビューポート内に領域Z2が見えるようになってもよい。したがって、そのような場合、出射光学素子のビューポートの右側から領域Z2が視覚的シーンに入ってくるように見える。また、そのような例において、第1の発光素子セットは前述のビューポートの左側に配置されてもよく、第2の発光素子セットは前述のビューポートの右側に配置されてもよい。したがって任意で、処理部は、オブジェクトOB1およびOB2の属性に基づいて、第1の発光素子セットおよび第2の発光素子セット用に異なる駆動信号を生成してもよく、第1の発光素子セットによって放射される光の色がオブジェクトOB1の色と実質的に同じになり、第2の発光素子セットによって放射される光の色がオブジェクトOB2の色と実質的に同じになるようにしてもよい。そのような実装により、オブジェクトOB2が出射光学素子のビューポート内に見えない場合でも、オブジェクトOB2に関する視覚的指示を提供できることを理解されたい。
任意で、表示装置は、動作検知器をさらに備える。動作検知器は、表示装置がユーザの頭部に装着される場合、ユーザの頭部の動きを検知するように構成される。さらに任意で、動作検知器は、加速計、ジャイロスコープ動作センサなどの少なくとも1つである。この点において、任意で、処理部は動作検知器および視覚キューを提供する手段と通信可能に接続され、処理部は、検知されたユーザの頭部の動きを動作検知器から受信し、検知されたユーザの頭部の動きに基づいて、駆動信号を介して、視覚キューを提供する手段を制御するように構成される。
一例として、表示装置は、少なくとも1つの画像レンダラにおいて視覚的シーンの画像Mをレンダリングしてもよく、画像Mは2つのオブジェクトO1およびO2を描写する。そのような例において、第1の発光素子セットは出射光学素子のビューポートの左側に配置されてもよく、第2の発光素子セットはビューポートの右側に配置されてもよい。また、そのような場合、画像MにおけるオブジェクトO1を描写する領域M1は、出射光学素子のビューポート内に見えてもよく、画像MにおけるオブジェクトO2を描写する領域M2は、出射光学素子のビューポート内に見えなくてもよい。ただし、領域M1を見ているユーザが頭部を右に向けると、出射光学素子のビューポート内にオブジェクトO2が見えるようになってもよい。そのような例において、領域M2内にあるオブジェクトO2が花火を描写する場合、処理部は、領域M2内にあるオブジェクトO2の属性に基づいて、駆動信号を介して、第2の発光素子セットを制御してもよい。例えば、処理部は、駆動信号を介して、第2の発光素子セットによって放射される光の色が黄色い光になるように(すなわち、花火の存在を示すように)制御してもよい。任意で、処理部は、第2の発光素子セットを定期的に点滅するように制御して、頭部を右に向けさせる視覚キューをユーザに提供してもよい。また、表示装置の動作検知器は、ユーザの頭部の右向きの動きを検知してもよく、ユーザの頭部の検知された動きを示す信号を処理部に送信してもよい。ユーザの頭部の動きにより、領域M2のオブジェクトO2が出射光学素子のビューポート内に見えるようになった場合、処理部は、駆動信号DS1を介して、視覚キューを提供する手段を制御して、第2の発光素子セットによる光の放射を停止または変更してもよい。任意で、ユーザの頭部の動きが、所望の方向から離れる(すなわち、左向き、上向き、または下向きの)動きである場合、処理部は、駆動信号DS2の送信を継続して、第2の発光素子セットから光を放射できるようにしてもよい。
また任意で、視覚キューを提供する手段は、少なくとも1つの画像レンダラにおけるレンダリング境界の少なくとも一部から放射される光を周辺領域へと導くことにより、周辺領域を照明する、少なくとも1つの光学素子を備える。この点において、任意で、少なくとも1つの光学素子は、少なくとも1つの画像レンダラのレンダリング境界に沿って配置される。
本開示全体において、「少なくとも1つの画像レンダラのレンダリング境界」という用語は、レンダリングされた画像の縁部に実質的に沿った、少なくとも1つの画像レンダラの領域に関する。一実施形態では、「少なくとも1つの画像レンダラのレンダリング境界」という用語は、少なくとも1つの画像レンダラを実装するために用いられる投影スクリーンの領域であって、そのような投影スクリーンにレンダリングされた画像の縁部に実質的に沿った領域に関する。別の実施形態では、「少なくとも1つの画像レンダラのレンダリング境界」という用語は、少なくとも1つのコンテキストディスプレイの領域であって、そのような少なくとも1つのコンテキストディスプレイにレンダリングされたコンテキスト画像の縁部に実質的に沿った領域に関する。
本開示全体において、本明細書で用いる「少なくとも1つの光学素子」という用語は、少なくとも1つの画像レンダラによって放射された光を周辺領域に導く(すなわち、方向付ける)ように動作可能な光学素子に関する。少なくとも1つの画像レンダラによって放射された光は、レンダリングされた画像の投影に実質的に対応することを理解されたい。したがって、少なくとも1つの光学素子を用いて、レンダリングされた画像に関する視覚キューを提供することができる。そのような視覚キューは、レンダリングされた画像と継ぎ目なく合成されるように見えてもよく、それによってレンダリングされた画像におけるユーザの没入感が向上するため、有益である。
任意で、少なくとも1つの光学素子は、レンズと光ファイバ要素の少なくとも一方として実装される。一実施形態では、少なくとも1つの光学素子は、レンズ(例えば、凸レンズなど)として実装される。別の実施形態では、少なくとも1つの光学素子は、光ファイバ要素として実装される。さらに別の実施形態では、光ファイバ要素およびレンズが少なくとも1つの光学素子として用いられる。
一例として、少なくとも1つの画像レンダラは、200×100画素の矩形ディスプレイとして実装されてもよい。そのような例において、ディスプレイは、水平方向(すなわち、長手方向)に200画素を有し、垂直方向(すなわち、幅方向)に100画素を有してもよい。そのような場合、視覚キューを提供する手段は、例えば、矩形ディスプレイにおけるレンダリング境界の少なくとも一部から放射される光を周辺領域へと導く、少なくとも1つの光学素子を備える。したがって、そのような矩形ディスプレイのレンダリング境界は、600画素(すなわち、ディスプレイの上側境界と下側境界それぞれに200画素ずつと、ディスプレイの左側境界と右側境界それぞれに100画素ずつ)を有してもよい。そのような場合、1つの光学素子が、レンダリング境界の20画素から放射された光をユーザの眼に導いてもよい。すなわち、ディスプレイの上側境界と下側境界の両方から放射された光を導くために20個の光学素子を用いてもよく、ディスプレイの左側境界と右側境界の両方から放射された光を導くために10個の光学素子を用いてもよい。別の例において、そのようなディスプレイが、アイピースのユーザ側でアイピースの近くにおいて、周辺領域内に配置されてもよい。
一実施形態では、少なくとも1つの光学素子によって放射される光が散乱または広がってソフトライト効果をもたらすように、複数の拡散体が少なくとも1つの光学素子に接続される。動作時には、複数の拡散体は、周辺領域を照明する光を放射する少なくとも1つの光学素子の一部に配置される。複数の拡散体は、放射された光を周辺領域内で徐々に(すなわち、わずかに)分散させる。
また任意で、表示装置は、処理部と通信可能に接続された、視線方向を検出するための手段を備える。表示装置の処理部は、
(a) 視線方向を検出するための手段から、検出されたユーザの視線方向を受信し、
(b) 表示装置のユーザに表示する画像を受信し、検出されたユーザの視線方向を用いて、画像の高精度視領域を特定し、
(c) 第1解像度を有するコンテキスト画像と、第2解像度を有するフォーカス画像とを生成するために画像を処理し、ここで
- 入力画像の高精度視領域に実質的に相当するコンテキスト画像の領域がマスクされ、
- フォーカス画像は、入力画像の高精度視領域に実質的に相当し、
- 第2解像度は、第1解像度よりも高く、
(d) コンテキスト画像をコンテキスト画像レンダラに、かつフォーカス画像をフォーカス画像レンダラに、実質的に同時にレンダリングし、一方で、少なくとも1つの光コンバイナを制御して、レンダリングされたフォーカス画像の投影が、レンダリングされたコンテキスト画像のマスクされた領域の投影と実質的に重なるように、レンダリングされたコンテキスト画像の投影とレンダリングされたフォーカス画像の投影を組み合わせる、
ように構成される。
任意で、表示装置のユーザに表示される画像は、表示装置と通信可能に接続された撮像デバイスおよび/または記憶部から受信される。また、本明細書で用いる「高精度視領域」という用語は、表示装置のユーザが画像を見るときに、検出されたユーザの視線方向が向けられている(すなわち、フォーカスしている)画像の領域に関することを理解されたい。したがって、高精度視領域は画像内の凝視領域である。
また任意で、(フォーカス画像の)第2解像度は(コンテキスト画像の)第1解像度よりも高い。これは、レンダリングされたフォーカス画像は通常は表示装置によってユーザの眼の中心窩およびその周囲に投影され、レンダリングされたコンテキスト画像は表示装置によってユーザの眼の網膜に投影されるためである。フォーカス画像およびコンテキスト画像のそのような解像度により、表示装置のユーザが画像を見る際に人間の視覚系の特徴をエミュレートすることが可能になる。
また任意で、画像の高精度視領域が、低解像度のレンダリングされたコンテキスト画像と、高解像度のレンダリングされたフォーカス画像の両方の中で表現される。さらに、高解像度のレンダリングされたフォーカス画像は、低解像度のレンダリングされたコンテキスト画像より、画像の高精度視領域に関する情報をより多く含む場合がある。したがって、フォーカス画像の投影がレンダリングされたコンテキスト画像の投影と組み合わされるとき、画像の高精度視領域の光学的歪みを防ぐために、処理部は任意で、画像の高精度視領域に実質的に相当するコンテキスト画像の領域をマスクすることを理解されたい。
したがって、任意で、表示装置内で視線方向を検出するための手段を使用すると、表示装置内で能動的な中心窩視(すなわち、視線随伴性)を実行することができる。したがって、そのような表示装置は人間の視覚系の特徴を詳細にエミュレートする。
本開示は、前述の方法にも関する。前述の様々な実施形態およびその変形は、該方法にも同様に当てはまる。
図面の詳細な説明
図1を参照すると、本開示の一実施形態による表示装置100のアーキテクチャのブロック図が示されている。図示のとおり、表示装置100は、画像をレンダリングする少なくとも1つの画像レンダラ(画像レンダラ102として図示される)と、出射光学素子(図2Aおよび図2Bに図示される)と、視覚キューを提供する手段104と、少なくとも1つの画像レンダラ102と視覚キューを提供する手段104とに接続される処理部106と、を備え、表示装置100がユーザの頭部に装着される場合、レンダリングされた画像の投影は出射光学素子を通って表示装置100から出射してユーザの眼に入射し、視覚キューは、出射光学素子のビューポートを実質的に取り囲みユーザの視野内にある周辺領域(図2Aおよび図2Bに図示される)内に提供される。処理部106は、レンダリングされた画像の、出射光学素子のビューポート内に見えない領域に少なくとも部分的に基づいて駆動信号を生成し、駆動信号を介して、視覚キューを提供する手段104を制御するように構成される。任意で、処理部106は、レンダリングされた画像の後に、少なくとも1つの画像レンダラ102においてレンダリングされる少なくとも1つの後続画像に基づいて駆動信号を生成するように構成される。
図2Aを参照すると、本開示の一実施形態により、表示装置(例えば、図1の表示装置100など)がユーザの頭部に装着される場合のユーザの眼の視野200を示す例示的な図が示されている。図示のとおり、ユーザの眼の視野200は、出射光学素子204のビューポート202と、周辺領域206とを含む。周辺領域206は、出射光学素子204のビューポート202を実質的に取り囲み、ユーザの視野200内にある。
図2Bを参照すると、本開示の一実施形態により、図2Aの出射光学素子204のビューポート202を実質的に取り囲む周辺領域206に配置された、視覚キューを提供する手段208を示す例示的な図が示されている。図示のとおり、視覚キューを提供する手段208は、任意で複数の発光素子を備える。これらの発光素子は、周辺領域206内に配置された発光素子208a、208b、208c、208d、208e、および208fとして図示されている。
図3および図4を参照すると、表示装置(図示しない)内で用いられる、本開示の様々な実施形態による(図1に示すような)表示装置100の例示的な実装が示されている。図3および図4は、明確さのために表示装置100の実装の配置を簡略化したものであり、本明細書の請求の範囲を不当に限定するものではないことを当業者は理解されるであろう。当業者は、本開示の実施形態の多様な変形、変更、修正を認識されるであろう。
図3を参照すると、本開示の一実施形態による表示装置300(例えば、図1の表示装置100など)の例示的な実装が示されている。図示のとおり、表示装置300は、画像をレンダリングする少なくとも1つの画像レンダラ(画像レンダラ302として図示される)と、出射光学素子304とを備える。表示装置300がユーザの頭部に装着される場合、レンダリングされた画像の投影は出射光学素子304を通って表示装置300から出射してユーザの眼306に入射する。表示装置300は、視覚キューを提供する手段308をさらに備える。視覚キューは、出射光学素子304のビューポートを実質的に取り囲みユーザの視野内にある周辺領域内に提供される。表示装置300は、少なくとも1つの画像レンダラ302と視覚キューを提供する手段308とに接続される処理部(図1の処理部106など)をさらに備える。処理部は、レンダリングされた画像の、出射光学素子304のビューポート内に見えない領域に少なくとも部分的に基づいて駆動信号を生成し、駆動信号を介して、視覚キューを提供する手段308を制御するように構成される。
任意で、図3に示すように、視覚キューを提供する手段308は、周辺領域に配置される複数の発光素子(発光素子308a、308b、308c、308d、308e、および308fとして図示される)を備え、処理部は、複数の発光素子308aから308fによって放射される光の色および/または強度を制御するように構成される。また任意で、表示装置300がユーザの頭部に装着される場合、複数の発光素子308aから308fとユーザの眼306との間の距離は、出射光学素子304とユーザの眼306との間の距離とほぼ同じである。さらに任意で、複数の発光素子308aから308fは、少なくとも第1の発光素子セットと第2の発光素子セットとを含み、第1の発光素子セットによって放射される光の色および/または強度は、第2の発光素子セットによって放射される光の色および/または強度と異なる。例えば、第1の発光素子セットは発光素子308a、308b、および308cを含んでもよく、第2の発光素子セットは発光素子308d、308e、および308fを含んでもよい。また任意で、視覚キューを提供する手段308は、複数の発光素子308aから308fによって放射される光を拡散する複数の拡散体(図示しない)をさらに備える。
図4を参照すると、本開示の別の実施形態による表示装置400(例えば、図1の表示装置100など)の例示的な実装が示されている。表示装置400は、画像をレンダリングする少なくとも1つの画像レンダラ(画像レンダラ402として図示される)と、出射光学素子404とを備える。表示装置400がユーザの頭部に装着される場合、レンダリングされた画像の投影は出射光学素子404を通って表示装置400から出射してユーザの眼406に入射する。表示装置400は、視覚キューを提供する手段408をさらに備える。視覚キューは、出射光学素子404のビューポートを実質的に取り囲みユーザの視野内にある周辺領域内に提供される。表示装置は、少なくとも1つの画像レンダラ402と視覚キューを提供する手段408とに接続される処理部(図1の処理部106など)をさらに備える。処理部は、レンダリングされた画像の、出射光学素子404のビューポート内に見えない領域に少なくとも部分的に基づいて駆動信号を生成し、駆動信号を介して、視覚キューを提供する手段408を制御するように構成される。
任意で、視覚キューを提供する手段は、少なくとも1つの画像レンダラ402におけるレンダリング境界の少なくとも一部から放射される光を周辺領域の一部412へと導くことにより、周辺領域を照明する、少なくとも1つの光学素子410(光学素子410として図示される)を備える。また任意で、少なくとも1つの光学素子410は、レンズと光ファイバ要素の少なくとも一方として実装される。
図5を参照すると、本開示の一実施形態による表示装置(例えば、図1の表示装置100など)を介した表示方法500のステップが示されている。ステップ502で、少なくとも1つの画像レンダラにおいて画像がレンダリングされる。表示装置がユーザの頭部に装着される場合、レンダリングされた画像の投影は、出射光学素子を通って表示装置から出射し、ユーザの眼に入射する。ステップ504で、レンダリングされた画像の、出射光学素子のビューポート内に見えない領域に少なくとも部分的に基づいて、駆動信号が生成される。ステップ506で、周辺領域内に視覚キューを提供するように、駆動信号を介して、視覚キューを提供する手段が制御される。周辺領域は、出射光学素子のビューポートを実質的に取り囲み、ユーザの視野内にある。
ステップ502から506は単なる例示であり、本明細書の請求の範囲から逸脱することなく、1つ以上のステップを追加したり、1つ以上のステップを省略したり、1つ以上のステップを異なる順序で提供したりすることにより、他のステップを提供することも可能である。例えば、方法500は、レンダリングされた画像の後に、少なくとも1つの画像レンダラにおいてレンダリングされる少なくとも1つの後続画像に基づいて駆動信号を生成することをさらに含む。任意で、方法500において、視覚キューを提供する手段は、周辺領域に配置される複数の発光素子を備え、方法500は、複数の発光素子によって放射される光の色および/または強度を制御することをさらに含む。また任意で、方法500において、視覚キューを提供する手段は、複数の発光素子によって放射される光を拡散する複数の拡散体をさらに備える。さらに任意で、方法500において、複数の発光素子は、少なくとも第1の発光素子セットと第2の発光素子セットとを含み、光の色および/または強度を制御するステップは、第1の発光素子セットによって放射される光の色および/または強度が、第2の発光素子セットによって放射される光の色および/または強度と異なるように、第1の発光素子セットと第2の発光素子セットとを制御することを含む。任意で、方法500において、視覚キューを提供する手段は、少なくとも1つの画像レンダラにおけるレンダリング境界の少なくとも一部から放射される光を周辺領域へと導くことにより、周辺領域を照明する、少なくとも1つの光学素子を備える。また任意で、方法500において、少なくとも1つの光学素子は、レンズと光ファイバ要素の少なくとも一方として実装される。
添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、前述した本開示の実施形態への修正が可能である。本開示の記述と特許請求の範囲で用いられる「含む」、「備える」、「包含する」、「有する」、「存在する」などの表現は、明示的に記載されていないアイテムや部品、構成要素も含まれうる包括的構成であると解釈されることを意図している。単数による表記は、複数の場合も関連すると解釈される。

Claims (8)

  1. ・ 画像をレンダリングする少なくとも1つの画像レンダラと、
    ・ 出射光学素子と、
    ・ 視覚キューを提供する手段と、
    ・ 前記少なくとも1つの画像レンダラと前記視覚キューを提供する手段とに接続される処理部と、を備える表示装置であって、
    前記表示装置がユーザの頭部に装着される場合、レンダリングされた画像の投影は前記出射光学素子を通って前記表示装置から出射して前記ユーザの眼に入射し、
    前記視覚キューは、前記出射光学素子のビューポートを実質的に取り囲み前記ユーザの視野内にある周辺領域内に提供され、
    前記処理部は、前記レンダリングされた画像の、前記出射光学素子の前記ビューポート内に見えない領域に少なくとも部分的に基づいて駆動信号を生成し、前記駆動信号を介して、前記視覚キューを提供する手段を制御するように構成され、
    前記視覚キューを提供する手段は、前記周辺領域に配置される複数の発光素子を備え、
    前記処理部は、前記複数の発光素子によって放射される光の色および/または強度を制御するように構成され、
    前記表示装置が前記ユーザの頭部に装着される場合、前記複数の発光素子と前記ユーザの眼との間の距離は、前記出射光学素子と前記ユーザの眼との間の距離とほぼ同じであり、
    前記視覚キューを提供する手段は、前記複数の発光素子によって放射される光を拡散する複数の拡散体をさらに備え、
    前記処理部は、前記レンダリングされた画像の後に、前記少なくとも1つの画像レンダラにおいてレンダリングされる少なくとも1つの後続画像に基づいて前記駆動信号を生成するように構成される表示装置。
  2. 前記複数の発光素子は、少なくとも第1の発光素子セットと第2の発光素子セットとを含み、
    前記第1の発光素子セットによって放射される光の色および/または強度は、前記第2の発光素子セットによって放射される光の色および/または強度と異なる、
    請求項に記載の表示装置。
  3. 前記視覚キューを提供する手段は、前記少なくとも1つの画像レンダラにおけるレンダリング境界の少なくとも一部から放射される光を前記周辺領域へと導くことにより、前記周辺領域を照明する、少なくとも1つの光学素子を備える、請求項1又は2に記載の表示装置。
  4. 前記少なくとも1つの光学素子は、レンズと光ファイバ要素の少なくとも一方として実装される、請求項に記載の表示装置。
  5. 少なくとも1つの画像レンダラと、出射光学素子と、視覚キューを提供する手段とを備える表示装置を介した表示方法であって、
    ・ 前記少なくとも1つの画像レンダラにおいて画像をレンダリングすることであって、前記表示装置がユーザの頭部に装着される場合、レンダリングされた画像の投影は、前記出射光学素子を通って前記表示装置から出射して前記ユーザの眼に入射する、レンダリングすることと、
    ・ 前記レンダリングされた画像の、前記出射光学素子のビューポート内に見えない領域に少なくとも部分的に基づいて駆動信号を生成することと、
    ・ 前記出射光学素子の前記ビューポートを実質的に取り囲み前記ユーザの視野内にある周辺領域内に視覚キューを提供するように、前記駆動信号を介して、前記視覚キューを提供する手段を制御することと、
    を含み、
    前記視覚キューを提供する手段は、前記周辺領域に配置される複数の発光素子を備え、
    前記方法は、前記複数の発光素子によって放射される光の色および/または強度を制御することをさらに含み、
    前記表示装置が前記ユーザの頭部に装着される場合、前記複数の発光素子と前記ユーザの眼との間の距離は、前記出射光学素子と前記ユーザの眼との間の距離とほぼ同じであり、
    前記視覚キューを提供する手段は、前記複数の発光素子によって放射される光を拡散する複数の拡散体をさらに備え、
    前記駆動信号を生成することは、前記レンダリングされた画像の後に、前記少なくとも1つの画像レンダラにおいてレンダリングされる少なくとも1つの後続画像に基づいて実行される方法。
  6. 前記複数の発光素子は、少なくとも第1の発光素子セットと第2の発光素子セットとを含み、
    前記光の色および/または強度を制御することは、前記第1の発光素子セットによって放射される光の色および/または強度が、前記第2の発光素子セットによって放射される光の色および/または強度と異なるように、前記第1の発光素子セットと前記第2の発光素子セットとを制御することを含む、請求項に記載の方法。
  7. 前記視覚キューを提供する手段は、前記少なくとも1つの画像レンダラにおけるレンダリング境界の少なくとも一部から放射される光を前記周辺領域へと導くことにより、前記周辺領域を照明する、少なくとも1つの光学素子を備える、請求項5又は6に記載の方法。
  8. 前記少なくとも1つの光学素子は、レンズと光ファイバ要素の少なくとも一方として実装される、請求項に記載の方法。
JP2020520816A 2017-10-23 2018-10-19 視覚キューを提供する手段を用いる表示装置および表示方法 Active JP7145944B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/790,234 US10488665B2 (en) 2017-10-23 2017-10-23 Display apparatus and method of displaying using means for providing visual cues
US15/790,234 2017-10-23
PCT/FI2018/050769 WO2019081809A1 (en) 2017-10-23 2018-10-19 DISPLAY APPARATUS AND DISPLAY METHOD USING MEANS FOR PROVIDING VISUAL REFERENCES

Publications (3)

Publication Number Publication Date
JP2021500601A JP2021500601A (ja) 2021-01-07
JP2021500601A5 JP2021500601A5 (ja) 2021-10-07
JP7145944B2 true JP7145944B2 (ja) 2022-10-03

Family

ID=64109895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020520816A Active JP7145944B2 (ja) 2017-10-23 2018-10-19 視覚キューを提供する手段を用いる表示装置および表示方法

Country Status (5)

Country Link
US (1) US10488665B2 (ja)
EP (1) EP3655814B1 (ja)
JP (1) JP7145944B2 (ja)
CN (1) CN111247473B (ja)
WO (1) WO2019081809A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021055230A1 (en) * 2019-09-19 2021-03-25 Akalana Management Llc Optical systems with low resolution peripheral displays
WO2022118911A1 (ja) * 2020-12-02 2022-06-09 国立大学法人筑波大学 画像表示装置、及び画像表示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008256946A (ja) 2007-04-05 2008-10-23 Tokyo Institute Of Technology 画像表示装置のための酔い防止装置
JP2013257492A (ja) 2012-06-14 2013-12-26 Sony Corp 制御装置、表示装置、制御方法、照明制御方法及びプログラム
US20170039766A1 (en) 2015-08-07 2017-02-09 Ariadne's Thread (Usa), Inc. (Dba Immerex) Modular multi-mode virtual reality headset

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585813A (en) 1992-10-05 1996-12-17 Rockwell International Corporation All aspect head aiming display
JP2979981B2 (ja) * 1994-11-16 1999-11-22 三菱電機株式会社 映像表示装置
ATE297634T1 (de) 2002-07-04 2005-06-15 Koninkl Philips Electronics Nv Anzeigevorrichtung
US8212859B2 (en) * 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
US7928927B1 (en) * 2008-03-17 2011-04-19 Rockwell Collins, Inc. Head worn head up display system
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
EP3112985A1 (en) 2015-06-30 2017-01-04 Nokia Technologies Oy An apparatus for video output and associated methods
US9454010B1 (en) * 2015-08-07 2016-09-27 Ariadne's Thread (Usa), Inc. Wide field-of-view head mounted display system
US9606362B2 (en) * 2015-08-07 2017-03-28 Ariadne's Thread (Usa), Inc. Peripheral field-of-view illumination system for a head mounted display
US10558043B2 (en) * 2015-12-02 2020-02-11 Rockwell Collins, Inc. Worn display using a peripheral view

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008256946A (ja) 2007-04-05 2008-10-23 Tokyo Institute Of Technology 画像表示装置のための酔い防止装置
JP2013257492A (ja) 2012-06-14 2013-12-26 Sony Corp 制御装置、表示装置、制御方法、照明制御方法及びプログラム
US20170039766A1 (en) 2015-08-07 2017-02-09 Ariadne's Thread (Usa), Inc. (Dba Immerex) Modular multi-mode virtual reality headset

Also Published As

Publication number Publication date
US10488665B2 (en) 2019-11-26
JP2021500601A (ja) 2021-01-07
CN111247473A (zh) 2020-06-05
WO2019081809A1 (en) 2019-05-02
EP3655814A1 (en) 2020-05-27
EP3655814B1 (en) 2020-12-02
US20190122618A1 (en) 2019-04-25
CN111247473B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN107376349B (zh) 被遮挡的虚拟图像显示
US10573086B2 (en) Opacity filter for display device
EP3330771B1 (en) Display apparatus and method of displaying using focus and context displays
US10459230B2 (en) Compact augmented reality / virtual reality display
US9311751B2 (en) Display of shadows via see-through display
US9147111B2 (en) Display with blocking image generation
CN107710284B (zh) 用于在虚拟图像生成系统中更有效地显示文本的技术
TWI629507B (zh) 頭戴式顯示裝置以及適應性遮罩方法
US20160292921A1 (en) System, apparatus, and method for displaying an image using light of varying intensities
US20200225734A1 (en) Display apparatus and method of indicating level of immersion using visual indicator
US20210041732A1 (en) Virtual reality and/or augmented reality viewer having variable transparency
US20180158390A1 (en) Digital image modification
JP7145944B2 (ja) 視覚キューを提供する手段を用いる表示装置および表示方法
EP3441847A1 (en) Controller for use in a display device
EP3762896B1 (en) System and method for producing images for display apparatus
US20230379594A1 (en) Image blending

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220920

R150 Certificate of patent or registration of utility model

Ref document number: 7145944

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150