JP7370340B2 - ヘッドアップディスプレイ上での拡張現実エクスペリエンスの強化 - Google Patents

ヘッドアップディスプレイ上での拡張現実エクスペリエンスの強化 Download PDF

Info

Publication number
JP7370340B2
JP7370340B2 JP2020560821A JP2020560821A JP7370340B2 JP 7370340 B2 JP7370340 B2 JP 7370340B2 JP 2020560821 A JP2020560821 A JP 2020560821A JP 2020560821 A JP2020560821 A JP 2020560821A JP 7370340 B2 JP7370340 B2 JP 7370340B2
Authority
JP
Japan
Prior art keywords
occupant
display
image
display system
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020560821A
Other languages
English (en)
Other versions
JP2021523595A (ja
Inventor
ラシュミ ラオ，
ベンジャミン エドワード ルイス，
アンドリュー デシシオロ，
Original Assignee
ハーマン インターナショナル インダストリーズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハーマン インターナショナル インダストリーズ インコーポレイテッド filed Critical ハーマン インターナショナル インダストリーズ インコーポレイテッド
Publication of JP2021523595A publication Critical patent/JP2021523595A/ja
Application granted granted Critical
Publication of JP7370340B2 publication Critical patent/JP7370340B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/211—
    • B60K35/23—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/29—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays characterised by the geometry of the lenticular array, e.g. slanted arrays, irregular arrays or arrays of varying shape or size
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/33—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G09G3/3426—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B60K2360/149—
    • B60K2360/166—
    • B60K2360/167—
    • B60K2360/177—
    • B60K2360/23—
    • B60K2360/25—
    • B60K2360/332—
    • B60K2360/349—
    • B60K2360/741—
    • B60K2360/785—
    • B60K35/10—
    • B60K35/28—
    • B60K35/415—
    • B60K35/60—
    • B60K35/65—
    • B60K35/81—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/013—Head-up displays characterised by optical features comprising a combiner of particular shape, e.g. curvature
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Description

関連出願の相互参照
本出願は、「ＭＩＲＲＯＲＬＥＳＳ ＨＥＡＤＳ ＵＰ ＤＩＳＰＬＡＹ」と題され、２０１８年５月４日に出願された米国仮出願第６２／６６７，３５５号に優先権を主張する。上記で特定された本出願の全内容は、あらゆる目的のために参照により本明細書に援用される。
本開示は、３次元ヘッドアップディスプレイを含むシースルーディスプレイ構成によって提供される拡張現実エクスペリエンスに関する。
拡張現実システムを使用し、仮想（例えば、コンピュータ生成）オブジェクトをユーザの視野内に挿入し、実世界環境内に統合される仮想オブジェクトをユーザに出現させる。例えば、シースルーディスプレイデバイスは、仮想オブジェクトを表示すること、及び実世界環境からの光が視聴者に通過することを可能にすることの両方ができることにより、視聴者は、ディスプレイデバイスを通して実世界環境及び仮想オブジェクトを見る。
車両用ヘッドアップディスプレイを含む、シースルーディスプレイをさまざまな環境で使用することができる。これらのようなヘッドアップディスプレイは、最大２面（例えば、近接面及び遠隔面）を占める投影空間中に画像をオーバーレイする、２次元ディスプレイ及び／または拡張現実エクスペリエンスを提供することが多い。このエクスペリエンスを２面に制限することにより、拡張現実画像と実世界環境との間の関係は、特に車両の走行中に使用されるヘッドアップディスプレイを備える車両の環境などの移動環境では、制限される。本開示は、画像の画素ごとに左目及び右目の画像を分割した後に、視線追跡を使用して、左目及び右目の画像を合成してユーザの目の焦点が合う位置に返す光学素子を含む３次元拡張現実ディスプレイシステムを提供する。このように、本開示は、画像を互いに合成する位置の焦点を変更して、ユーザが焦点を合わせているどんな位置でも連続面を作成し、そこに立体画像を作成した後に、環境及び／またはユーザ焦点が移動するにつれて、その立体画像を移動させ続けるという動的な方式を提供する。このように、投影画像は、近接場及び遠隔場の位置に限定されなくなることができるが、ユーザの３次元視野内のどこにでも（例えば、水平、垂直、及び深度のいずれかの位置に）位置決めされ、環境及び／またはユーザ焦点が移動するにつれて、連続して再位置決めされることができる。例えば、他の拡張現実システムにおいて投影画像は、２つの深度（例えば、近接場及び遠隔場）のうちの１つにのみ位置決めされることができるが、開示されたシステムによって生成される投影画像は、範囲内の任意の深度に位置決めされることができる（例えば、非限定的な一例の範囲として、５メートルから７５メートル、ユーザから離れたいずれかの位置にあるように出現する）。
車両内のヘッドアップディスプレイなどのシースルーディスプレイに関する別の考察は、ワールドロックされた仮想画像（例えば、環境とともに移動する画像または画像の部分）、及び視聴者ロックされた（または車両ロックされた）仮想画像（例えば、視聴者／車両が環境を通じて移動する場合でさえ視聴者に対して同じ位置にとどまっているように出現する画像または画像の部分）のうちの一方または両方を提供するためのプロビジョニングを含む。本開示は、上記に考察される、画像ロック機能のさまざまな組み合わせを提供するためのメカニズムを提供する。
３次元拡張現実エクスペリエンスを提供するディスプレイシステムを操作する例示的な方法は、ディスプレイからの画像光の出力がディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子を通過するように調整することを含み、光を透明面上に衝突させ、視線追跡モジュールによって決定される視線のユーザ焦点及び／または起点位置に基づく連続面上に３次元画像を生成することを含む。
本開示は、上述される３次元拡張現実エクスペリエンスを提供するための例示的なディスプレイシステムを提供する。一例として、本開示は、３次元拡張現実ヘッドアップディスプレイを提供する。３次元ディスプレイは、光学の回折格子を利用してミラーレス撮像及び／または投影を作成することができる。自動立体画像を生成するために、視差またはレンチキュラー素子（例えば、フィルム）をディスプレイ構成内に含むことができる。考察されるように、生成された画像は、視線追跡機能を利用して、画像を連続面内に位置決めすることができる。視差またはレンチキュラー素子内の光学素子は、重複している場合があるため、元の画像生成に低解像度のソースの使用を可能にし、この低解像度のソースは、低コスト、高効率（高透過）、及び低消費電力のディスプレイ（重複する光学素子を利用しないディスプレイと比較して）を提供する。元の画像生成器は、透過型ディスプレイテクノロジー（例えば、液晶ディスプレイ、ＬＣＤ）及び／または微小素子ベースのテクノロジー（例えば、デジタル光処理微小電気機械システム、ＤＬＰ ＭＥＭＳ）を利用することができる。透過型ディスプレイを利用する例は、バックライト素子を含むことができ、このバックライト素子は、他のバックライト構成と比較してディスプレイの電力効率を向上させる、発光ダイオード（ＬＥＤ）のマトリックスを含む。例えば、バックライトは、ローカライズされた減光テクノロジーを利用して、所望の画像を生成する際に使用されていないバックライトへの電力供給を回避することができる。バックライトは、ミニ発光ダイオード（ミニＬＥＤ）またはマイクロ発光ダイオード（マイクロＬＥＤ）のマトリックスを含むことができる。フリーフォームＬＥＤをシリカに埋め込み、バックライトについて嵩が低い、及び／または小型のパッケージ化を提供することができる。運転者または他のユーザの視線は、追跡され、視線と交差するように（または視線を介して提供される入力に反応するように）ディスプレイの部分を駆動するために使用されることができる。
上述されたディスプレイのいくつかの例では、ディスプレイ構成に含まれる視差またはレンチキュラーレンズ素子などの３次元素子は、３次元奥行き知覚を動的に変更するために可動であることができる。また、３次元素子の可動性により、ディスプレイ上の日射量を自動的に低減させるために、高い日射量環境が検出されるときに光学素子の位置を制御することが可能であることができる。例えば、赤外線（ＩＲ）検出は、コールドミラー（例えば、ディスプレイ構成内の）の背面のフォトダイオードを使用して、日射量を能動的に検出し、大きなミラー及び／またはレンチキュラー／視差素子を制御して移動させ、日射量への対策を提供するために実行されることができる。上述されたディスプレイ構成のうちの１つにおけるレンチキュラーレンズの追加または代替の機能は、可変処方機能を含む。例えば、レンチキュラーレンズの処方は、遠隔場の像面湾曲を補正する、及び／またはその他の方法により相殺するように調整される（例えば、レンチキュラーレンズの一部分の半径及び／または配向を変えることにより）ことができる。
別の例では、１つ以上のレンズ素子は、ユーザ入力を介して調整可能な位置を有することができる。例えば、ディスプレイ構成内の１つ以上のレンズは、ディスプレイ構成によって生成される画像を見やすくするために、ユーザ入力に基づいて空間内で調整されることができる。調整可能なズームレンズは、ディスプレイ構成に含まれることができ、物理空間内を移動して（例えば、ユーザ入力に応答して）、空間内に見られる画像の被写界深度を変更することができる。
また、本開示は、空間内で複数の重複する像面（例えば、複数の２次元の重複する像面）を提供するディスプレイ構成を提供する。一例のディスプレイでは、クロマチックフィルムを使用して、高密度スペクトル結合を提供し、複数の画像を作成することができる。例えば、クロマチックフィルムは、ある特定の光が通過することを可能にするが、他の光を反射させ、３次元空間内で結像を重複させることを可能にすることができる。別の例として、ディスプレイ構成は、重複する結像を提供するために複数のホログラフィックシートを作成するレーザを含むことができる。別の例では、ディスプレイ構成は、複数の像面を作成するために複数のＬＣＤディスプレイを含むことができる。例えば、２つのＬＣＤ透過型ディスプレイは、ブリュースター角での反射を可能にする、特定の角度での偏光を可能にするように位置決めされることができる。それらのような例では、追加の位相差フィルムをディスプレイ構成内で使用し、複数の像面を作成することができる。さらに別の例として、有機発光ダイオード（ＯＬＥＤ）または光学コーティング及び投影技術を使用して、複数の近接面及び遠隔面の投影を提供することができる。例えば、近接面は、ウインドシールドガラスとして、またはウインドシールドガラスに埋め込まれた感光性材料として透明ＯＬＥＤを介して提供されることができ、遠隔面は、ＬＣＤまたはＭＥＭＳベースの投影を使用して提供されることができる。上述された構成は、体積が大きい／嵩高い投影系を使用せずに、複数の像面を可能にすることができることにより、他の投影系よりも低い消費電力を有することができる。上記の機能のいずれかを組み合わせて使用して、ヘッドアップディスプレイ上で強化された拡張現実エクスペリエンスを提供することができることを理解されたい。
本明細書は、例えば、以下の項目も提供する。
（項目１）
ディスプレイシステムを操作する方法であって、
ディスプレイからの画像光の出力が前記ディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子を通過するように調整することを含み、光を透明面上に衝突させて、視線追跡モジュールによって決定される視線のユーザ焦点及び／または起点位置に基づく連続面上に３次元画像を生成することを含む、
前記方法。
（項目２）
前記ユーザ焦点を有するユーザの環境が移動するときに、前記連続面上の前記関連した３次元画像の位置を動的に変更することをさらに備える、項目１に記載の方法。
（項目３）
前記ユーザ焦点が移動するときに基づいて、前記３次元画像及び／または前記連続面の前記位置を動的に変更することをさらに備える、項目１に記載の方法。
（項目４）
１つ以上の乗員監視センサから乗員監視データを受信し、前記乗員監視データに基づいて前記画像光の出力を制御することをさらに備える、項目１に記載の方法。
（項目５）
前記乗員監視データは、乗員識別子及び／または乗員位置を含み、前記乗員識別子が前記乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、項目４に記載の方法。
（項目６）
前記関連付けられた３次元画像は、前記乗員位置に基づく前記連続面上の位置、及び前記乗員識別子と関連付けられる前記乗員の前記乗員プロファイル及び／または前記パーソナライズされた乗員履歴に基づく出現及び／またはコンテンツを有する、項目５に記載の方法。
（項目７）
前記乗員の前記パーソナライズされた乗員履歴は、前記ディスプレイシステムと前記乗員の履歴インタラクションを含む、項目５に記載の方法。
（項目８）
３次元拡張現実エクスペリエンスを提供するためのディスプレイシステムであって、
ディスプレイ、
少なくとも１つのマイクロレンズアレイ、
前記ディスプレイと前記少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子、
ユーザ焦点を示す視線追跡センサから視線追跡データを受信するように構成される視線追跡モジュール、及び
プロセッサ及びメモリを備えるディスプレイコントローラ、
を備え、
前記メモリは前記ディスプレイからの画像光の出力が前記光学素子及び前記少なくとも１つのマイクロレンズアレイを通過して透明面上に衝突し、前記ユーザ焦点に基づく連続面上に３次元画像を生成するように制御する、前記プロセッサによって実行可能な命令を格納する、前記ディスプレイシステム。
（項目９）
前記光学素子は、選択された画像の各画素を分割して、左目画像及び右目画像を作成するように構成され、前記左目画像及び前記右目画像が前記生成された３次元画像を形成する、項目８に記載のディスプレイシステム。
（項目１０）
１つ以上の乗員監視センサから乗員監視データを受信するように構成される乗員監視モジュールをさらに備える、項目８に記載のディスプレイシステム。
（項目１１）
前記命令は、前記乗員監視データに基づいて前記画像光の出力を制御するために、前記プロセッサによってさらに実行可能である、項目１０に記載のディスプレイシステム。
（項目１２）
前記乗員監視データは、乗員識別子及び／または乗員位置を含み、前記乗員識別子が前記乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、項目１１に記載のディスプレイシステム。
（項目１３）
前記生成された３次元画像は、前記乗員位置に基づく前記連続面上の位置、及び前記乗員識別子と関連付けられる前記乗員の前記乗員プロファイル及び／または前記パーソナライズされた乗員履歴に基づく出現及び／またはコンテンツを有する、項目１２に記載のディスプレイシステム。
（項目１４）
前記ディスプレイシステムは、車両内に含まれ、前記透明面は、前記車両のウインドシールドである、項目８に記載のディスプレイシステム。
（項目１５）
前記３次元画像は、前記車両が環境を通して移動するにつれて、前記連続面内の異なる深度に位置決めされるように前記ディスプレイコントローラによって制御される、項目１４に記載のディスプレイシステム。
（項目１６）
前記３次元画像は、前記ユーザ焦点が変化するにつれて、前記連続面内の異なる深度に位置決めされるように前記ディスプレイコントローラによって制御される、項目１４に記載のディスプレイシステム。
（項目１７）
前記光学素子は、レンチキュラーレンズまたは視差障壁であり、前記ディスプレイシステムは、発光ダイオードのマトリックスを備える前記ディスプレイ用のバックライトをさらに備える、項目８に記載のディスプレイシステム。
（項目１８）
車両用のディスプレイシステムであって、
ディスプレイ、
少なくとも１つのマイクロレンズアレイ、
前記ディスプレイと前記少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子、
ユーザ焦点を示す視線追跡センサから視線追跡データを受信するように構成される視線追跡モジュール、
１つ以上の乗員監視センサから乗員監視データを受信するように構成される乗員監視モジュール、及び
プロセッサ及びメモリを備えるディスプレイコントローラ、
を備え、
前記メモリは前記ディスプレイからの画像光の出力が前記光学素子及び前記少なくとも１つのマイクロレンズアレイを通過して前記車両のウインドシールド上に衝突し、前記車両についてヘッドアップディスプレイ画像を生成するように制御する、前記プロセッサによって実行可能な命令を格納し、前記ヘッドアップディスプレイ画像は前記ユーザ焦点に作成される連続面上の選択された深度に位置決めされる３次元画像を含み、前記選択された深度は前記視線追跡データ及び／または前記乗員監視データに基づいて選択される、前記ディスプレイシステム。
（項目１９）
前記乗員監視データは、乗員識別子及び／または乗員位置を含み、前記乗員識別子は前記乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、項目１８に記載のディスプレイシステム。
（項目２０）
前記３次元画像が位置決めされる前記連続面上の前記選択された深度は、環境を通した前記車両の移動の関数として動的に変更される、項目１８に記載のディスプレイシステム。
本開示は、添付の図面を参照することにより、非限定的な実施形態の以下の説明を読むことからより良く理解され得る。
本開示の１つ以上の実施形態による、拡張現実環境の一例を示す。 本開示の１つ以上の実施形態による、ミラーレスディスプレイ構成の例示的なブロック図を示す。 本開示の１つ以上の実施形態による、車室内のミラーレスディスプレイ構成の例示的な概略図を示す。 本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。 本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。 本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。 本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。 本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。 本開示の１つ以上の実施形態による、ディスプレイを調整する方法の例示的なフローチャートを示す。 本開示の１つ以上の実施形態による、乗員監視に基づいてディスプレイを調整する方法の例示的なフローチャートを示す。 本開示の１つ以上の実施形態による、多面ディスプレイ構成の一例を示す。 本開示の１つ以上の実施形態による、調整可能な光学系を含むディスプレイ構成の一例を示す。
本開示は、車両などの環境内でヘッドアップディスプレイを形成する際に生じる可能性がある上記の問題に対処するディスプレイ構成を提供する。例えば、本開示は、他のディスプレイ構成と比較してパッケージサイズを縮小させることができるミラーレス３次元ディスプレイ構成を説明する。また、本開示は、ディスプレイ用の選択的に減光可能なバックライトを利用して、他のディスプレイ構成と比較して消費電力を低減させる構成例を説明する。また、本開示は、可動光学素子を提供することにより、他のディスプレイ構成と比較して、ユーザエクスペリエンスを向上させる（例えば、表示された画像の被写界深度を調整することによりユーザの快適さを向上させる）ことを説明する。他のディスプレイ構成と比較して、表示された画像を背景環境とよりよく統合するために、近接面投影及び遠隔面投影を使用する例も説明する。湾曲場（例えば、湾曲したウインドシールド）を使用して画像を表示するときの画質を向上させるために、レンチキュラーレンズの処方への調整などの光学素子の構造構成への調整を説明する。説明された特徴を任意の組み合わせで使用して、所与の環境で発生する特定の複雑な問題に対処するディスプレイ構成を達成することができる。
図１は、例示的な拡張現実環境１００を示し、そこでは、車両１０３の車載ディスプレイシステム１０２は、仮想画像をユーザ１０４の環境内に投影するように制御される。図示された例では、この環境は車両であるが、本開示の範囲から逸脱することなく、以下に説明される構成要素のうちの１つ以上が別の拡張現実環境に使用されるディスプレイ構成に含まれることができることを理解されたい。
ディスプレイシステム１０２は、表示部１０６を含む光源を備え、光源は、仮想画像を形成するために制御された方式で光を投影することができる。表示部１０６は、平面または非球面であることができる折り返しミラー１０８に向けて光を投影することができ、この折り返しミラーは、非球面であることができる回転可能なミラー１１０に向けて受光した光を反射する。この回転可能なミラーは、グレアトラップ１１２及びライトトラップ１１４に向けて光を指向することができ、光が、仮想位置１１８に出現するようにウインドシールド１１６を通して可視である位置に出現するように制御するために使用可能である。仮想位置１１８は、ユーザ１０４の頭部動作及びアイボックス１２２から始まり、ユーザ１０４の可視範囲の少なくとも一部分を表す光路１２０内にあるように制御されることができる。
図１に示されるように、ディスプレイ構成でのミラーの使用は、ディスプレイシステムに車両１０３内の大量のスペースを占有させる。図２Ａは、ミラー付きディスプレイ構成と比較してパッケージサイズを縮小させるために使用されることができる、ミラーレス３次元ディスプレイ構成２０２の一例を示す。図２Ａのディスプレイ構成２０２は、車両２０４の内側に含まれ、ウインドシールド２０６上に、及び／またはこれを通じて光を投影するように構成されることができる。ディスプレイ構成は、ディスプレイ２０８、１つ以上のマイクロレンズアレイ２１０ａ及び２１０ｂ、ならびにディスプレイ２０８とマイクロレンズアレイ２１０ａとの間に位置決めされる３次元素子２１２を含むことができる。３次元素子２１２は、ディスプレイ２０８の出力から自動立体画像を生成する視差またはレンチキュラー素子（例えば、フィルム）を含むことができる。ディスプレイ２０８は、透過型ディスプレイテクノロジー（例えば、液晶ディスプレイ、ＬＣＤ）及び／または微小素子ベースのディスプレイテクノロジー（例えば、デジタル光処理微小電気機械システム、ＤＬＰ ＭＥＭＳ）を含むことができる。マイクロレンズアレイ（複数可）は、ウインドシールド２０６全体、またはウインドシールドの選択された一部分が表示面（例えば、３次元表示画像が投影される透明面）として機能するように、ウインドシールド２０６に対して位置決めされることができる。このようにして、ディスプレイシステムの視野は、他の構成（例えば、ミラー付き構成）よりも広い視野を有するディスプレイを提供することができる、マイクロレンズアレイの数及び配置に従ってサイズ設定されることができる。ディスプレイ２０８は、ディスプレイ２０８の背面沿いに分散する光源（例えば、発光ダイオード）のマトリックスを含む、バックライトアレイ２０９を介して照明されることができる。示されるように、ディスプレイ２０８、バックライト２０９、３Ｄ素子２１２、及びマイクロレンズアレイ（複数可）２１０ａ及び／または２１０ｂは、合わせて表示部２０７を形成することができる。別々に示されているが、いくつかの例では、ディスプレイコントローラ２１４も表示部２０７に含むことができる。
簡潔に図２Ｂを参照して、車両２０４の車室２０３の概略図を示し、図中、ユーザ２０５が着席している。画像光が、仮想位置２１１に出現するようにウインドシールド２０６を通して可視である位置に出現するように制御するために、複数の表示部２０７は、ウインドシールド２０６にわたり分散する（例えば、表示部２０７のアレイを形成するために）。仮想位置２１１は、ユーザ２０５の頭部動作及びアイボックス２１５から始まり、ユーザ２０５の可視範囲の少なくとも一部分を表す光路２１３内にあるように制御されることができる。図２Ａに関して上述されるように、各表示部２０７は、バックライト（例えば、バックライト２０９）のアレイを含むディスプレイ（例えば、ディスプレイ２０８）、１つ以上のマイクロレンズアレイ（例えば、マイクロレンズアレイ２１０ａ及び／または２１０ｂ）、及びディスプレイとマイクロレンズアレイ（複数可）との間に位置決めされる３Ｄ素子（例えば、３Ｄ素子２１２）を備えることができる。各表示部２０７は個々のディスプレイコントローラ（例えば、ディスプレイコントローラ２１４）によって制御されることができる、及び／または単一のディスプレイコントローラは各表示部２０７のディスプレイを制御することができる。
図２Ｃ～２Ｇは、ウインドシールド２０６上に／これを通じて表示部２０７を介して画像を表示するためのさまざまな表示シナリオを概略的に示す。図２Ｃでは、車両２０４の車室２０３の内側についての図は、図２Ｂに概略的に示されるような車室２０３に対して異なる後方視点から概略的に示される。図２Ｃの例では、車室２０３は、２人の乗員、第一乗員２２４及び第二乗員２２６を含む。両方の乗員は、車両２０４の環境内の同じ物体を標的とするユーザ焦点２２７を有することができるが、車室内の乗員の異なる位置（及び乗員のそれぞれの視線の軌跡の起点として機能する、乗員の目の異なる位置）に起因して、第一乗員２２４は、第二乗員２２６の第二視線の軌跡２３０とは異なる第一視線の軌跡２２８を有することができる。その結果、表示部２０７は、第一乗員対第二乗員についてのユーザ焦点で可視である画像を提示することとは異なり、光をウインドシールド上に指向することができる。
図２Ｄは、立体画像２３６ａ及び２３６ｂを使用する標識２３４などの実世界の物体上に仮想画像２３２をオーバーレイするための例示的な投影を示す。立体画像２３６ａ及び２３６ｂは、第一乗員２２４の視点からのユーザ焦点２２７に仮想画像２３２を提示するように構成される。図示された例では、そのような位置決めは、左端の表示部２０７の連動された使用によって達成される。図２Ｅは、第二乗員２２６の視点からのユーザ焦点２２７に仮想画像２３２’を提示するように構成される立体画像２３８ａ及び２３８ｂを使用して、標識２３４上に仮想画像２３２’をオーバーレイするための例示的な投影を示す。仮想画像は、３次元であり、乗員のためにカスタマイズされることができるので、仮想画像２３２は、仮想画像２３２’とは異なることができる。例えば、第一乗員２２４はレストランまでの距離に最も関心がある場合があり（例えば、レストランに関心を示す、第一乗員から受信するような情報についての要求に基づいて、及び／または最後の食事からの時間のような第一乗員の最近の活動または挙動の調査に基づいて）、第二乗員２２６はホテルまでの距離に最も関心がある場合がある（例えば、ホテルに対する関心を示す、第二乗員から受信するような情報についての要求に基づいて、及び／または眠気レベルのような第二乗員の最近の活動または挙動の調査に基づいて）。その結果、仮想画像２３２は、レストランまでの距離に関する情報を含むことができ、仮想画像２３２’は、ホテルまでの距離に関する情報を含むことができる。そのような情報ターゲティングは、各乗客についての目的地がわかっており、それぞれの目的地についての関連情報が各乗客に提示されるタクシーまたはライドシェアシナリオでも有用である場合がある。
２人の乗員の位置における差異により、立体画像２３８ａ／ｂは、立体画像２３６ａ／ｂとは異なる位置に位置決めされる。図示された例では、立体画像２３８ａ／ｂを投影するために使用される表示部に対して、異なる表示部２０７（例えば、中央の表示部）が立体画像２３６ａ／ｂを投影するために使用される。他の例では、同じ表示部は、立体画像のいずれかのセットを投影するために使用されることができ、出力光及び／または他のパラメータ（例えば、選択された表示部についてのバックライトの選択的な減光）の指向性は、異なる位置に立体画像を表示するために調整されることができる。図２Ｄ及び２Ｅの各例では、それぞれの乗員についての立体画像は、それぞれの乗員の視点からの仮想画像のアライメントを確保するために、そのそれぞれの乗員の目の位置及び視線に基づいて位置決めされる。選択された乗員の目の位置及び視線に基づいて仮想画像を位置決めすることにより、投影された画像は、車両のいかなる乗員にも対応することができ、乗員が車両内のどこにでも着席することができるドライバーレス車両シナリオなどのシナリオでは有用であることができる。
いくつかの例では、仮想画像２３２’は、実世界の物体が環境内で移動するときに（または車両がこの環境を通じて実世界の物体に関して移動するときに）、実世界の物体の位置を追跡するように構成されることができる。図２Ｆは、標識の位置が車両２０４に関して移動する場合に仮想画像２３２’と標識２３４の位置とのアライメントを維持するために、立体画像２３８ａ／ｂの移動の一例を示す。その結果、図２Ｅ及び２Ｆにおける、立体画像２３８ａ／ｂ及び標識２３４の相対的な位置決めは、第二乗員の視点からみた場合の標識２３４とのアライメントを維持するために、実質的に縮尺どおりに、実世界における標識２３４の移動と、立体画像の結果として生じる移動（及び結果として生じる仮想画像）とを示すことができる。
図２Ｇは、例示的なシナリオを示し、このシナリオでは、複数の表示部を使用してウインドシールド２０６を介して複数の画像を投影することができ、ウインドシールド２０６の大部分（例えば、ウインドシールド全体）を表示面として使用することが可能である。例えば、図２Ｆに関して上述される立体画像２３８ａ／ｂに加えて、別の表示部は、現在速度表示装置２４０（例えば、ウインドシールドの左端上の表示部）を投影することができ、さらに他の表示部は、ナビゲーション命令２４２（例えば、ウインドシールドの右端上の表示部）を投影することができる。速度表示装置２４０及びナビゲーション命令２４２は、近接場（例えば、仮想画像２３２’に関して異なる場）に表示されることができ、仮想画像２３２’は、遠隔場に表示されることができる。図示されるように、所与の画像を表示するために使用される表示部の数は異なることができる。いくつかの例では、さまざまな仮想画像またはインジケータをウインドシールド上に／これを通して表示するために使用される表示部は、ウインドシールド上に／これを通して表示される仮想画像及び／またはインジケータの数よりも多くてもよい。他の例では、ウインドシールド上に／これを通して表示される仮想画像及び／またはインジケータのその数を表示するために、同じ数の、またはより少ない表示部を使用することができる。所与の１つの仮想画像、または仮想画像セットを表示するために使用される表示部の数は、サイズ、解像度、コンテンツ、色などのような仮想画像（複数可）のパラメータに依存することができる。
図示された例では、表示部２０７は、ウインドシールドを介してさまざまな画像を表示するために利用されるが、画像が本明細書に開示される他のディスプレイ配置を使用して提示されることができることを理解されたい。例えば、速度表示装置２４０及び／またはナビゲーション命令２４０は、ウインドシールド２０６によって形成されるシースルーディスプレイを介して表示されることができ、仮想画像２３２’は、ミラーレス表示部２０７を介して表示されることができる。他の例では、表示部２０７のうちの１つ以上は、いくつかの例ではミラーを含むことができる、本明細書に開示される他のディスプレイ構成を代替に含むことができる。
図２Ａに戻り、ディスプレイ２０８は、ディスプレイコントローラ２１４を介して制御されることができる。ディスプレイコントローラ２１４は、専用ディスプレイコントローラ（例えば、ディスプレイのみを制御する専用電子制御部）または複合型コントローラ（例えば、ディスプレイ及び１つ以上の他の車両システムを制御する共有電子制御部）であることができる。いくつかの例では、ディスプレイコントローラは、車両２０４のヘッドユニット（例えば、インフォテインメントユニット及び／または他の車載コンピューティングシステム）であってもよい。ディスプレイコントローラは、メモリ及びプロセッサを含むことができ、このプロセッサは、メモリに格納される命令を実行してディスプレイ２０８の出力を制御する。ディスプレイコントローラ２１４は、メモリに格納される命令に基づいて、及び／または他の入力に基づいて特定の画像を投影するようにディスプレイ２０８を制御することができる。また、ディスプレイコントローラ２１４は、ディスプレイの状態、及び／またはディスプレイの周囲条件に基づいて電力を節約する、及び／または熱を低下させるために、バックライトアレイ２０９からバックライトを当てる部分を選択的にオフにする（例えば、減光する）ようにディスプレイ２０８を制御することができる。例えば、画像領域が黒色である場合、画像の黒色領域の位置に対応するバックライトアレイ２０９の部分をオフにすることができる。別の例として、熱負荷が閾値を上回ると予測された、または検出された場合、バックライトアレイ２０９の選択された光源をオフにして発熱を低減させることができる（例えば、このアレイ内の光源を交互にする、スイッチをオフにすることができるため、光源の半分だけが発熱しながら画像全体を表示することができる、または画像のサイズを縮小させて、画像の新たな黒色領域の位置に対応するアレイ内の光源をオフにすることができる）。ディスプレイ２０８の機構を制御するためのディスプレイコントローラ２１４への入力の例は、視線追跡モジュール２１６、日射量監視モジュール２１８、ユーザ入力インタフェース２２０、及び車両入力インタフェース２２２を含む。
視線追跡モジュール２１６は、ユーザ（例えば、運転者）の目の動きを追跡するために、１つ以上のイメージセンサを含む、及び／またはこれらと通信することができる。例えば、１つ以上のイメージセンサは、車両２０４の車室に取り付けられ、車両内のユーザの瞳孔または他の目の特徴の画像をキャプチャする（例えば、連続的に）ように位置決めされることができる。いくつかの例では、目を追跡するイメージセンサからの画像データは、視線方向及び／または他の視線追跡の詳細を決定するように処理するために、ディスプレイコントローラに送信されてもよい。他の例では、視線追跡モジュール２１６は、目のキャプチャされた画像を分析し、視線方向及び／または他の視線追跡の詳細を決定するように構成される、１つ以上の処理モジュール（例えば、車両のヘッドユニットの処理モジュールなどの車両内のローカルモジュール、及び／またはクラウドベースのサーバなどの車両外のリモートモジュール）を含むことができる、及び／またはそれらと通信することができる。それらのような例では、視線方向及び／または他の視線追跡情報を示す処理結果をディスプレイコントローラに送信することができる。視線追跡情報は、ディスプレイコントローラによって受信されたか、ディスプレイコントローラで決定されたかにかかわらず、１つ以上の表示特性を制御するためにディスプレイコントローラによって使用されることができる。表示特性は、表示データの位置（例えば、視線方向内にある）、ローカライズされた減光制御（例えば、視線方向の外側にある領域内のバックライトを減光する）、表示データのコンテンツ（例えば、視線方向を使用してグラフィカルユーザインタフェース上で選択を決定し、グラフィカルユーザインタフェース上で選択に対応するコンテンツをレンダリングする）、及び／または他の表示特性を含むことができる。いくつかの例では、他の視線追跡データを使用して、目を細めるユーザの検出に応答して表示されたデータの視認性（例えば、不透明度、サイズなど）を調整するなど、表示特性を調整することができる。
日射量監視モジュール２１８は、ウインドシールド及び／または表示素子上に衝突する太陽光（または他の光）の量を決定するために、赤外線センサなどの１つ以上の太陽光検出センサを含む、及び／またはこれらと通信することができる。イメージセンサ及び視線追跡データに関して上記で説明されるように、日射量監視データは、ローカルに（例えば、日射量監視モジュール２１８によって、ディスプレイコントローラ２１４によって、及び／または車両２０４のヘッドユニットの処理モジュールなどの別の車載処理モジュールによって）、リモートに（例えば、クラウドベースのサーバなどの車両外のリモートサービスによって）、及び／またはそれらのいくつかの組み合わせで処理されることができる。日射量監視データは、ディスプレイ構成に関連する車両の所与の領域（例えば、表示部、ディスプレイ２０８からのディスプレイ光が投影されることができるウインドシールド領域、ディスプレイ２０８から発せられる光の光路内の他の位置など）内の太陽光（または他の光）の量を含むことができる。この光量は、１つ以上の閾値と比較され、１つ以上の表示特性を調整するためにディスプレイコントローラ２１４によって使用されることができる。例えば、ウインドシールドの特定の領域での日射量が閾値を上回る場合、ディスプレイコントローラ及び／または別の適切なコントローラは、光学素子（例えば、３Ｄ素子２１２）の物理的位置を調整して、ディスプレイ構成の焦点距離を増加させ、ディスプレイ構成の光学系の倍率を低減させることによって表示素子（例えば、ＬＣＤディスプレイの薄膜トランジスタ、ＴＦＴ）上の日射量を減少させることができる。
ユーザ入力インタフェース２２０及び車両入力インタフェース２２２を使用して、それぞれユーザ入力及び車両データ／状態に基づいてディスプレイを制御するための命令をディスプレイコントローラ２１４に提供することができる。例えば、表示される情報のタイプを変更する（例えば、速度／ＲＰＭなどのような機器データと、回動方向などのナビゲーションデータとの間で選択する）ためのユーザ入力、グラフィカルユーザインタフェースが表示されたときにオプションを選択するためのユーザ入力、及び／またはその他の方法により、ユーザ選好を示すためのユーザ入力は、ディスプレイコントローラ２１４に提供され、ディスプレイ構成２０２を介して表示されるデータのコンテンツ及び／またはフォーマットを変更するために処理されることができる。ユーザ入力インタフェースは、タッチスクリーン、車載アクチュエータ（例えば、ボタン、スイッチ、ノブ、ダイヤルなど）、マイクロフォン（例えば、音声コマンド用）、外部デバイス（例えば、車両乗員のモバイルデバイス）、及び／または他のユーザ入力デバイスを含むが、これらに限定されない、任意の適切なユーザ入力デバイスからユーザ入力を受信することができる。車両入力インタフェース２２２は、車両状態及び／または他の車両データを示す車両センサ及び／またはシステムからデータを受信することができ、このデータをディスプレイコントローラ２１４に送信してディスプレイ構成２０２を介して表示されるデータのコンテンツ及び／またはフォーマットを調整することができる。例えば、現在の速度を車両入力インタフェースに提供し（例えば、車両のコントローラエリアネットワーク、ＣＡＮ、バスを介して）、ディスプレイコントローラに送信し、車両の現在の速度の表示を更新することができる。車両入力インタフェースは、車両のヘッドユニットのナビゲーションモジュール、及び／または車両内の他の情報源からの入力も受信することができる。
図３は、視線追跡、日射量、ユーザ入力、及び／または車両入力に基づいてディスプレイを制御する例示的な方法３００のフローチャートである。方法３００は、図２Ａの視線追跡モジュール２１６、日射量監視モジュール２１８、ユーザ入力インタフェース２２０、及び車両入力インタフェース２２２などの他のデバイスと相関している、図２Ａのディスプレイコントローラ２１４などのディスプレイコントローラによって実行されることができる。３０２において、方法は、視線追跡データを受信したかどうかを決定することを含む。視線追跡データを受信した場合（例えば、３０２において「はい」）、方法は、３０４に示されるように、視線追跡データから視線方向を決定することを含む。任意選択で、方法は、３０６に示されるように、視線方向に基づいて表示されたデータの位置及び／または出現を調整することをさらに含む。例えば、表示されたデータの位置は、視線方向とアライメントを取るように（例えば、視線の検出とアライメントを取るように更新される新しい連続面上に位置決めされるように）調整されることができる。別の例として、表示されたコンテンツは、視線方向が表示されたデータの位置とアライメントを取らないときに、表示されたコンテンツは減少する、及び／または軽減される（例えば、ディスプレイの出力を減少させる）（例えば、視聴者が表示されたデータから目をそらしているときに、表示されたデータは電力資源を節約するために減少することができる）。
３０８において、方法は、ユーザ選択可能な素子が表示されているかどうかを決定することを含む。ユーザ選択可能な素子が表示されている場合（例えば、３０８において「はい」）、この方法は、３１０に示されるように、視線方向に基づいてユーザ選択を決定することを含む。例えば、視線方向をユーザの視野内に表示された素子の位置と比較して、ユーザの視線が交差する選択可能なアイテム（もしあれば）を決定することができる。３１２において、この方法は、ユーザ選択に基づいてディスプレイのコンテンツを調整することを含む。例えば、異なる表示された情報は、異なるビューを選択するユーザ入力に応答して提示されてもよい。
コンテンツを調整すると、またはユーザ選択可能な素子が表示されない場合（例えば、３０８において「いいえ」）、または視線追跡データが受信されない場合（例えば、３０２において「いいえ」）、方法は、３１４に示されるように、日射量データが受信されたかどうかを決定することを含む。日射量データが受信された場合（例えば、３１４において「はい」）、方法は、３１６に示されるように、日射量データから、日射量が影響するディスプレイ領域を決定することを含む。３１８において、方法は、いずれかの領域が閾値を上回る日射量を有するかどうかを決定することを含む。ディスプレイの１つ以上の領域が閾値を上回る日射量を有する場合（例えば、３１８において「はい」）、方法は、３２０に示されるように、影響した領域（例えば、閾値を上回る日射量を有する１つ以上の領域）における日射量を減少させるために光学素子の位置を変更することを含む。３２２において、この方法は、日射量に基づいて表示された画像の視認性を向上させるためにバックライトを調整することを含む。例えば、閾値の日射量を上回る領域における結像の輝度またはコントラストを向上させて、ディスプレイのこれらの領域の視認性を向上させることができる。
日射量を相殺するようにディスプレイを調整すると、または領域が閾値を上回る日射量を有さない場合（例えば、３１８において「いいえ」）、または日射量データが受信されない場合（例えば、３１４において「いいえ」）、方法は、３２４に示されるように、ユーザまたは車両入力が受信されたかどうかを決定することを含む。ユーザまたは車両入力が受信されない場合（例えば、３２４において「いいえ」）、方法は、３２８に示されるように、表示コンテンツ及び／または出現を維持する（例えば、ディスプレイを変更しない）ことを含むことができる。いくつかの例では、表示コンテンツ及び／または出現を維持することは、表示をまったく変更しないことを含むことができるが、他の例では、表示コンテンツ及び／または出現を維持することは、表示コンテンツの相対的な位置決め及び／または出現を維持することを含むことができる。例えば、表示されたコンテンツが実世界の物体上にオーバーレイされ、オブジェクトが環境を通して移動する、及び／またはユーザ／車両に対して移動するときに（例えば、ユーザ／車両がオブジェクトに対する環境を通して移動するときに）そのオブジェクトにロックされるように構成される場合、表示コンテンツ及び／または出現を維持することは、実世界の物体（車両のウインドシールドなどの表示媒体上に表示コンテンツの位置を移動させることを含むことができる）とアライメントを取るように表示コンテンツの位置決めを維持することを含むことができる。
ユーザまたは車両入力が受信された場合（例えば、３２４において「はい」）、方法は、３２６に示されるように、ユーザ及び／または車両入力に基づいて表示されたデータのコンテンツ及び／または出現を調整することを含む。例えば、表示されたデータを調整して、メニューオプションを選択するユーザ入力を登録する（例えば、３１２に上述されるように）、及び／またはユーザ選好（例えば、ユーザがディスプレイサイズの増加、もしくはディスプレイ出現の別の変更を指定することができる、またはユーザが別のディスプレイモード、ディスプレイのシャットダウンなどを指定することができる）を満たすことができる。ユーザ入力は、音声入力（例えば、車両に関連するマイクロフォンによって検出される）、タッチ入力（例えば、車両に関連するタッチセンサによって検出される）、作動入力（例えば、車両と関連する１つ以上のボタン／アクチュエータによって検出される）、視線入力（例えば、車両に関連する１つ以上の視線センサによって検出される）、及び／または任意の他のユーザ入力メカニズムとして受信されることができる。
別の例として、表示されたデータは、車両パラメータを示す車両からのデータに応答して、更新された車両パラメータ（例えば、車両速度、エンジンＲＰＭなど）を出力するように調整されることができる。ユーザ／車両入力は、表示されたデータのパラメータを変更するために使用されるユーザの作業負荷または環境条件を反映するユーザ／車両状態をも含むことができる。例えば、ユーザからのインディケーション（例えば、ストレス検出）及び／または車両からのインディケーション（例えば、障害物検出、交通量の増加、困難なナビゲーション操作、荒天条件など）に応答して、表示されたデータは、ユーザが運転タスクに集中するのを支援するように調整されることができる（例えば、表示されたデータはサイズ／輝度が低減すること、表示されたデータはウインドシールドの遠隔側などのあまり目立たない位置に移動すること、表示されたデータは一時的にオフにされることなどができる）。同様に、ヘッドアップディスプレイが気をそらさないことができるステート（例えば、交通量の減少、障害物の消失、困難なナビゲーション操作の通過、天気の晴れなど）に、運転条件及び／またはユーザステータスが戻ったと決定した後に、表示されたデータは、前の位置及び／または出現に戻されることができる、及び／またはオンに戻されることができる。
ユーザ／車両入力は、車両システムからの情報を使用して、乗員に基づいてディスプレイのパーソナライゼーションを制御することができるような、乗員監視を含むことができる。図４は、乗員監視に基づいてディスプレイを調整するための例示的な方法４００を示す。例えば、方法４００は、方法３００の３２６における調整を提供するために実行されることができる。方法４００は、図２のディスプレイコントローラ２１４などのディスプレイコントローラを含むことができる、車載コンピューティングシステムによって実行されることができる。
４０２において、この方法は、乗員を識別することを含む。乗員は、視覚に基づいて（例えば、車室内のカメラ／検出器、及び／または車両と通信しているモバイルデバイスのカメラ／検出器などの車両にアクセス可能なカメラ／検出器を使用する、顔検出、目のスキャン、指紋スキャン、及び／または他のバイオメトリックスキャンなどの特徴検出に基づいて）識別されることができる。乗員は、通信された認証情報（例えば、乗員によって搬送される、または乗員に埋め込まれる無線周波数チップからの信号、乗員のモバイルデバイスまたは他の認証されたデバイスからの信号など）を使用してさらに識別されることができる。
４０４において、この方法は、乗員についてのプロファイルまたはパーソナライズされた履歴（例えば、車載コンピューティングシステムに対してローカルにメモリに格納される、及び／または車載コンピューティングシステムからアクセス可能である）が利用可能であるかどうかを決定することを含む。乗員のプロファイル及び／またはパーソナライズされた履歴は、車載コンピューティングシステム及び／または他のコンピューティングシステムとの乗員の履歴インタラクションに関する情報と、乗員監視（例えば、乗員のディスプレイ使用パターンを識別する、及び／または異なるディスプレイ構成への乗員の反応を識別する）を介して学習される、及び／または乗員から直接入力されることができる、ディスプレイ設定に関する格納された選好（例えば、ディスプレイ出現選好、ユーザインタフェース選好、表示コンテンツ選好など）とを含むことができる。乗員のプロファイル及び／またはパーソナライズされた履歴は、メモリに格納され、乗員ＩＤに関連付けられることができる。乗員のプロファイル及び／またはパーソナライズされた履歴が利用可能ではない場合（例えば、４０４で「いいえ」）、この方法は、４０６に示されるように、識別された乗員についてプロファイルを任意選択で作成し始める、及び／または監視アクティビティを任意選択で開始し始める。例えば、車載コンピューティングシステムは、乗員の１つ以上の識別可能な特性（例えば、４０２で乗員を識別するために取得される情報）に関連付けられる、乗員について乗員ＩＤを登録し、車載コンピューティングシステム／ディスプレイの乗員使用に関するデータを収集し始め、収集されたデータを登録されたＩＤと関連付けることができる。
乗員のプロファイル及び／またはパーソナライズされた履歴が利用可能である場合（例えば、４０４で「はい」）、及び／またはプロファイル／履歴が乗員について開始されると、方法は、４０８に示されるように、乗員の位置を決定することを含む。例えば、車載コンピューティングシステムは、車両の１つ以上のセンサから（または車両と通信して）情報を受信し、乗員の位置を決定することができる（例えば、乗員の視線追跡、乗員の音声のオーディオ追跡などを使用して）。４１０において、この方法は、乗員ＩＤに基づいて（例えば、乗員のプロファイル／履歴に基づいて）、そして乗員の位置に基づいて表示素子の表示設定及び／または位置を調整することを含む。例えば、表示された情報の位置は、乗員の視線にある、及び／または乗員の位置と関連する位置にあることを目標にすることができる（例えば、乗員が右側助手席にいる場合、ディスプレイはウインドシールドの右側などの車室のその位置から最も良く見える位置に位置決めされることができる）。複数の乗員についての表示コンテンツが互いから異なる深度、水平位置、及び／または垂直位置を占めることができるように、表示されたコンテンツの位置は、ディスプレイシステムによって作成される連続面内の任意の位置を含むことができる。例えば、車両の後部内の乗員を対象とする表示データは、ユーザ同士の相対的な位置を表すために、車両の前部内の乗員を対象とする表示データよりも近い視野内に位置決めされることができる。さらに、各乗員について表示されたコンテンツは、それぞれの乗員の目の焦点とアライメントを取ることを目標にすることができる。また、４１０において調整される表示設定は、表示されたコンテンツの出現（例えば、サイズ、色、透明度、スタイル／フォント、配置など）、コンテンツの永続性（例えば、コンテンツが表示されながら維持される期間）、及び／または実際のコンテンツ（例えば、所与の入力及び／またはユーザ／車両状態に応答して表示されるコンテンツ）を含むことができる。
また、本開示は、空間内の複数の２次元重複面などの複数の面投影を使用して情報を表示することを提供する。例えば、２つの異なる画像生成装置を車両または他の環境に組み込んで、異なる距離で画像情報をオーバーレイするヘッドアップディスプレイを提供することができる。図５は、第一ディスプレイ５０２を使用して第一近接場画像を提供することができ、第二ディスプレイ５０４を使用して第二遠隔場画像を提供することができる（またはその逆の場合もある）例示的なディスプレイ構成５００を示す。第一及び第二ディスプレイはそれぞれ、いくつかの例では、ＬＣＤ透過型ディスプレイを含むことができる。図示された例では、第一及び第二ディスプレイは、互いに対して約９０度で位置決めされる。第一及び第二ディスプレイは、ブリュースター角での反射を可能にする特定の角度で偏光を可能にするように位置決めされることができる。第一ディスプレイ５０２及び第二ディスプレイ５０４のそれぞれは、光をミラー５０６に向けて透過させることができ、このミラーは、第一表面（例えば、第一ディスプレイ側の表面５０８）に到達する光を透過させ、第二表面（例えば、第二ディスプレイ側の表面５１０）に到達する光を反射するように構成されることができる。このようにして、第一及び第二ディスプレイのそれぞれからの光は、光調整素子５１２に向けて指向されることができ、この光調整素子は、波長板（例えば、四分の一波長板）または位相差フィルム（例えば、サングラスによって提供される偏光を補償することによりサングラスを通して見ることを可能にする）を含むことができる。光調整素子５１２及び／または１つ以上の他の光学素子（例えば、レンズ系）を使用して、第一ディスプレイからの光が近接場に出現し、第二ディスプレイからの光が遠隔場（例えば、近接場よりも遠くにある場）に出現するように、第一及び第二ディスプレイからのそれぞれの光の面をシフトすることができる。
いくつかの追加の、または代替の例では、高密度スペクトル結合を実行するクロマチックフィルムを使用することで複数の面を作成し、ある特定の光を通過させて他の光を反射することを可能にすることによって３次元空間内で結像を重複することを可能にすることで複数の画像を作成することができる。別の例として、ディスプレイ構成は、複数の像面効果を生成するために複数のホログラフィックシートを作成するレーザを含むことができる。
別の例として、複数の近接面及び遠隔面の投影は、ウインドシールドガラス（例えば、図２Ａのウインドシールド２０６）として透明有機発光ダイオード（ＯＬＥＤ）を使用して、またはウインドシールドガラス内に感光性材料を埋め込んで、近接面画像を生成して、そしてＬＣＤまたはＭＥＭＳベースの投影を使用して（例えば、上述される投影例のいずれかを使用して）遠隔面画像を生成して、作成されることができる。上記の例示的な構造体は、体積が大きい、及び／または嵩高いプロジェクションシステムを使用することなく、複数の像面を生成することを可能にする。さらに、上記の例示的な構造体は、他の構造体に比べて消費電力を削減している。
複数の面に画像を生成する上述された例では、関連するディスプレイは、異なる面距離から利益を得る異なる画像を生成するように制御されることができる。例えば、近接面画像は、環境が移動するとしても、視聴者／車両に関して比較的に静止した位置にとどまることができる画像のような、向上した鮮鋭度及び安定性から利益を得る画像であるように制御されてもよい。詳細な例として、近接面画像は、車両速度、車両警報／警告（例えば、オイルレベル、温度、メンテナンスリマインダ、診断コード警告など）、エンジンＲＰＭ、タコメータ情報、残存燃料レベル／残存燃料で走行することができる推定距離、通知（例えば、着信などの接続されたモバイルデバイスからの）、現在時刻、ラジオ／オーディオ情報（例えば、現在のラジオ局、現在再生されている曲など）、グラフィカルユーザインタフェース制御、及び／または他の表示素子などの車両状態情報及び／またはインストルメントパネルタイプの表示データを含むことができる。遠隔面画像は、周囲環境とのインタラクションから利益を得る画像（例えば、ワールドロックされている画像、または周囲環境に関して同じ位置を維持して周囲環境を拡張する画像）であるように制御されることができる。例えば、遠隔面画像は、ナビゲーション方向（例えば、路面、道路標識、他の車両などの上にオーバーレイされ、その上に表示データが置かれている環境特徴との静止した関係を維持するために視聴者に対して移動することができる）、環境特徴についてステータス情報を識別する、または提供する情報ディスプレイ、及び／または他の表示されたデータを含むことができる。上述された近接面画像及び遠隔面画像は、近接面内の画像がより近い第一深度範囲を占め、遠隔面内の画像がより遠い第二深度範囲を占めるように、異なる連続面に生成されることができる。非限定的な一例として、近接面内の画像は、５メートルから２５メートルのユーザから離れた範囲内にあるようにユーザに対して出現するように位置決めされることができ、遠隔面内の画像は、２６メートルから７５メートルのユーザから離れた範囲内にあるようにユーザに対して出現するように位置決めされることができる。
図６は、表示されたデータの位置または被写界深度を調整するために可動である可動光学系６０２を含む例示的なディスプレイ構成６００を示す。図６の構成は、図２Ａの構成に類似するが、可動光学系６０２が本明細書に開示されるその他の構成を含む、任意の適切なディスプレイ構成に組み込まれることができることを理解されたい。ディスプレイ構成６００は、ＬＣＤ、ＤＬＰ ＭＥＭＳ、または他のディスプレイテクノロジーであることができる、ディスプレイ６０４を含む。ディスプレイ６０４は、可動光学系６０２を通過する３次元画像を生成するために、レンチキュラーレンズまたは視差障壁などの３Ｄ素子６０６によって覆われることができる、及び／またはこの３Ｄ素子を通して光を指向することができる。可動光学系６０２は、ディスプレイ上（及び３Ｄ素子上）に位置決めされる調整可能なレンズまたはレンズのアレイ（例えば、ズーム光学系）を含むことができる。示されるように、可動光学系６０２が位置６０２ａにあるとき、ディスプレイ６０４からの画像光は、ウインドシールド６０８を透過して、６１０ａに示される第一被写界深度で画像を生成することができる。可動光学系を位置６０２ｂに移動させることに応答して、ディスプレイ６０４からの画像光は、ウインドシールド６０８を透過して、６１０ｂに示される第二被写界深度で画像を生成することができる。その結果、空間内で可動光学系を移動させることに応答して、ｄで示されるようにウインドシールド上に衝突する光の距離または角度の変化をもたらし、表示された画像の被写界深度は、ウインドシールド／視聴者からより近い、またはより遠い、ｄ’で示される被写界深度の距離の変化に調整されることができる。
可動光学系は、ユーザ入力デバイス６１４からのユーザ入力に応答して、及び／またはディスプレイコントローラ６１６からの命令に応答して、レンズアクチュエータ６１２を介して制御されることができる（ユーザ入力デバイス６１４からのユーザ入力によって少なくとも部分的に制御されることもできる）。ディスプレイコントローラ６１６は、ディスプレイ６０４の出力を制御することができる（例えば、図２Ａのディスプレイコントローラ２１４に関して上述されるように）。レンズアクチュエータ６１２は、可動光学系６０２を物理的に移動させてディスプレイ構成内の可動光学系の物理的位置を変更するために１つ以上の構成要素を含むことができる。図６は、図示された例では、横方向の移動（例えば、ディスプレイから同じ距離を維持し、ディスプレイに対する横方向の位置を変更する）を示すが、可動光学系６０２がディスプレイから発せられる光の方向沿いの移動（例えば、光学系とディスプレイとの間の距離の変更）、及びディスプレイに対する光学系の配向における変更を含む、いずれかの適切な方式で移動することができることを理解されたい。
ディスプレイシステム／構成の上記の例のいずれかでは、複数のディスプレイを使用して、３次元画像を生成するための画像光を出力することができる。複数のディスプレイは、１つ以上のディスプレイの１つ以上のアレイを含むことができる。ディスプレイ及び／またはアレイは、いくつかの例では、異なる強度または特性を有するディスプレイを含むことができる。例えば、ディスプレイシステムは、ディスプレイの相対強度を利用するために、少なくとも１つの有機発光ダイオード（ＯＬＥＤ）ディスプレイ及び少なくとも１つの液晶ディスプレイ（ＬＣＤ）を含むことができる。ＯＬＥＤディスプレイ（複数可）は、低い環境光条件、及び／または高いコントラスト比が望まれる条件の間、主に有効にされる（例えば、ＬＣＤディスプレイの代替に）ことができる。ＬＣＤディスプレイ（複数可）は、高い環境光条件、及び／または高レベルの輝度が望まれる条件の間、主に有効にされる（例えば、ＯＬＥＤディスプレイの代替に）ことができる。詳細で、非限定的な例として、ディスプレイシステムが閾値量を上回る（例えば、５００ニトを上回る）環境光を検出するときに、ディスプレイシステム内のＬＣＤディスプレイのみを有効にすることができる、またはディスプレイシステム内の他のディスプレイよりも多いＬＣＤディスプレイを有効にすることができる。ディスプレイシステムが閾値量を下回る環境光を検出するときに、ディスプレイシステム内のＯＬＥＤディスプレイのみを有効にすることができる、またはディスプレイシステム内の他のディスプレイよりも多いＯＬＥＤディスプレイを有効にすることができる。いくつかの例では、異なるディスプレイは、ディスプレイに提供されるバックライトを制御することによって有効にされる、または無効にされることができる（例えば、選択されるディスプレイに対応するバックライト光源のマトリックスの部分をオフにすることによって無効にされる、及び／または選択されるディスプレイに対応するバックライト光源のマトリックスの部分をオンにすることによって有効にされる）。
上述された例は、他のディスプレイ構成と比較して、パッケージサイズを縮小させる（例えば、ミラーレス３次元ディスプレイ構成を提供することによって）、消費電力を減少させる（例えば、バックライトを選択的に減光することによって）、熱負荷を低減させる（例えば、構成要素の間隔を制御し、バックライトを減少させることによって）、及び／またはユーザエクスペリエンスを向上させる（例えば、表示された画像の被写界深度を調整することでユーザの快適さを向上させる）という技術的効果を有する１つ以上の機能を含むディスプレイ構成を含む。いくつかの例では、出力画像は、環境とよりよく統合する（例えば、連続面表示または投影を使用して）ために、及び／または画質を向上させる（例えば、レンチキュラーレンズの部分の半径を調整して）ために、他のディスプレイ構成によって出力される画像と比較して変えられることができる。さらに、ウインドシールドまたは他の大きな透明面を上述されるような表示面に変えるマイクロレンズアレイの使用は、画像の忠実度に影響することなく、結果として得られるディスプレイの視野を拡大することができる。
本開示は、ディスプレイシステムを操作する方法を提供し、この方法は、ディスプレイからの画像光の出力がディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子を通過するように調整することを含み、光を透明面上に衝突させて、視線追跡モジュールによって決定される視線のユーザ焦点及び／または起点位置に基づく連続面上に３次元画像を生成することを含む。第一例では、この方法は、追加で、または代替に、ユーザ焦点を有するユーザの環境が移動するときに、連続面上の関連した３次元画像の位置を動的に変更することをさらに備えることができる。第二例は、第一例を任意選択で含み、ユーザ焦点が移動するときに基づいて、３次元画像及び／または連続面の位置を動的に変更することをさらに備える方法をさらに含む。第三例は、第一例及び第二例の一方または両方を任意選択で含み、１つ以上の乗員監視センサから乗員監視データを受信すること、及び乗員監視データに基づいて画像光の出力を制御することをさらに備える方法をさらに含む。第四例は、第一から第三例のうちの１つ以上を任意選択で含み、乗員監視データが乗員識別子及び／または乗員位置を含み、乗員識別子が乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、方法をさらに含む。第五例は、第一から第四例のうちの１つ以上を任意選択で含み、関連した３次元画像が、乗員位置に基づく連続面上の位置、及び乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴に基づく出現及び／またはコンテンツを含む方法をさらに含む。第六例は、第一から第五例のうちの１つ以上を任意選択で含み、乗員のパーソナライズされた乗員履歴がディスプレイシステムと乗員の履歴インタラクションを含む、方法をさらに含む。
また、本開示は、３次元拡張現実エクスペリエンスを提供するためのディスプレイシステムを提供し、このディスプレイシステムは、ディスプレイ、少なくとも１つのマイクロレンズアレイ、ディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子、ユーザ焦点を示す視線追跡センサから視線追跡データを受信するように構成される視線追跡モジュール、ならびにプロセッサ及びメモリを含むディスプレイコントローラを備え、このメモリは、ディスプレイからの画像光の出力が光学素子及び少なくとも１つのマイクロレンズアレイを通過して透明面上に衝突し、ユーザ焦点に基づく連続面上に３次元画像を生成するように制御する、プロセッサによって実行可能な命令を格納する。第一例では、光学素子は、選択された画像の各画素を分割して左目画像及び右目画像を作成し、左目画像及び右目画像が生成された３次元画像を形成するように追加で、または代替に構成される。第二例は、第一例を任意選択で含み、１つ以上の乗員監視センサから乗員監視データを受信するように構成される乗員監視モジュールをさらに備える、ディスプレイシステムをさらに含む。第三例は、第一例及び第二例の一方または両方を任意選択で含み、命令が乗員監視データに基づいて画像光の出力を制御するためにプロセッサによってさらに実行可能である、ディスプレイシステムをさらに含む。第四例は、第一から第三例のうちの１つ以上を任意選択で含み、乗員監視データが乗員識別子及び／または乗員位置を含み、乗員識別子が乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、ディスプレイシステムをさらに含む。第五例は、第一から第四例のうちの１つ以上を任意選択で含み、生成された３次元画像が、乗員位置に基づく連続面上の位置、及び乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴に基づく出現及び／またはコンテンツを有する、ディスプレイシステムをさらに含む。第六例は、第一から第五例のうちの１つ以上を任意選択で含み、ディスプレイシステムが車両内に含まれ、透明面が車両のウインドシールドである、ディスプレイシステムをさらに含む。第七例は、第一から第六例のうちの１つ以上を任意選択で含み、車両が環境を通して移動するにつれて、３次元画像は連続面内の異なる深度に位置決めされるようにディスプレイコントローラによって制御される、ディスプレイシステムをさらに含む。第八例は、第一から第七例のうちの１つ以上を任意選択で含み、３次元画像はユーザ焦点が変化するにつれて連続面内の異なる深度に位置決めされるようにディスプレイコントローラによって制御される、ディスプレイシステムをさらに含む。第九例は、第一から第八例のうちの１つ以上を任意選択で含み、光学素子がレンチキュラーレンズまたは視差障壁である、ディスプレイシステムをさらに含む。
また、本開示は、車両用のディスプレイシステムを提供し、このディスプレイシステムは、ディスプレイ、少なくとも１つのマイクロレンズアレイ、ディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子、ユーザ焦点を示す視線追跡センサから視線追跡データを受信するように構成される視線追跡モジュール、１つ以上の乗員監視センサから乗員監視データを受信するように構成される乗員監視モジュール、ならびにプロセッサ及びメモリを備えるディスプレイコントローラを含み、このメモリは、ディスプレイからの画像光の出力が光学素子及び少なくとも１つのマイクロレンズアレイを通過して車両のウインドシールド上に衝突し、車両用のヘッドアップディスプレイ画像を生成するように制御する、プロセッサによって実行可能な命令を格納し、このヘッドアップディスプレイ画像は、ユーザ焦点に作成される連続面上の選択された深度に位置決めされる３次元画像を含み、選択された深度は、視線追跡データ及び／または乗員監視データに基づいて選択される。第一例では、乗員監視データは、乗員識別子及び／または乗員位置を追加で、または代替に含むことができ、乗員識別子は乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる。第二例は、第一例を任意選択で含み、３次元画像が位置決めされる連続面上の選択された深度は環境を通した車両の移動の関数として動的に変更される、ディスプレイシステムをさらに含む。
実施形態の説明は、例示及び説明の目的で提示している。実施形態に対する好適な修正及び変形は、上記の説明に照らして実行され得、または方法を実践することから得られ得る。例えば、別に記載されない限り、記載される方法のうちの１つ以上は、図２Ａを参照して記載されるディスプレイコントローラ２１４など、適切なデバイス及び／またはデバイスの組み合わせによって実行されることができる。方法は、ストレージデバイス、メモリ、ハードウェアネットワークインタフェース／アンテナ、スイッチ、アクチュエータ、クロック回路などのような、１つ以上の追加のハードウェア素子と組み合わせて１つ以上の論理デバイス（例えば、プロセッサ）を用いて格納された命令を行うことによって実行されることができる。また、記述された方法及び関連した動作は、本出願に記載された順序に加えて、さまざまな順序で、並行して、及び／または同時に実行されることができる。記載したシステムは、本質的に例示的なものであり、追加の要素を含み得、及び／または要素を省略し得る。本開示の発明の主題は、さまざまなシステム及び構成のすべての新しくかつ非自明の組み合わせ及び組み合わせの構成要素、ならびに開示される他の機構、機能、及び／または特性を含む。
本出願で使用する場合、単数形で記載した、「ａ」または「ａｎ」という語が先行する要素またはステップは、排除の記載がない限り、複数の当該要素またはステップを排除しないものとして理解されたい。さらに、本開示の「一実施形態」または「一実施例」への言及は、列挙した特徴も組み込んだ追加の実施形態の存在を排除するものとして解釈されることを意図していない。「第一」、「第二」、及び「第三」などの用語は、単にラベルとして使用しており、数的要件または特定の位置的順序をそれらの物体に課すことを意図していない。以下の特許請求の範囲は、新しくかつ非自明と見なされる上記の開示からの主題を具体的に指し示す。

Claims (19)

  1. ディスプレイシステムを操作する方法であって、前記方法は、
    日射量監視モジュールから日射量監視データを受信することであって、前記日射量監視データは、透明面及び／またはディスプレイの１つ以上の領域における太陽光の量を含む、ことと、
    閾値を上回る日射量を前記１つ以上の領域が有することを決定することに応答して、
    前記１つ以上の領域における日射量を減少させるように、前記ディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子の位置を変更すること、及び、
    前記ディスプレイからの画像光の出力が前記光学素子を通過するように調整することであって、光を前記透明面上に衝突させて、視線追跡モジュールによって決定される視線のユーザ焦点及び／または起点位置に基づく連続面上に３次元画像を生成することを含む、こと
    を行うことと
    を含む、方法。
  2. 前記ユーザ焦点を有するユーザの環境が移動するときに、前記連続面上の前記３次元画像の位置を動的に変更することをさらに備える、請求項１に記載の方法。
  3. 前記ユーザ焦点が移動するときに基づいて、前記３次元画像及び／または前記連続面の前記位置を動的に変更することをさらに備える、請求項１に記載の方法。
  4. １つ以上の乗員監視センサから乗員監視データを受信し、前記乗員監視データに基づいて前記画像光の出力を制御することをさらに備える、請求項１に記載の方法。
  5. 前記乗員監視データは、乗員識別子及び／または乗員位置を含み、前記乗員識別子が前記乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、請求項４に記載の方法。
  6. 前記３次元画像は、前記乗員位置に基づく前記連続面上の位置、及び前記乗員識別子と関連付けられる前記乗員の前記乗員プロファイル及び／または前記パーソナライズされた乗員履歴に基づく出現及び／またはコンテンツを有する、請求項５に記載の方法。
  7. 前記乗員の前記パーソナライズされた乗員履歴は、前記ディスプレイシステムと前記乗員の履歴インタラクションを含む、請求項５に記載の方法。
  8. ３次元拡張現実エクスペリエンスを提供するためのディスプレイシステムであって、前記ディスプレイシステムは、
    ディスプレイ、
    少なくとも１つのマイクロレンズアレイ、
    前記ディスプレイと前記少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子、
    ユーザ焦点を示す視線追跡センサから視線追跡データを受信するように構成される視線追跡モジュール、及び
    プロセッサ及びメモリを備えるディスプレイコントローラ、
    を備え、
    前記メモリは前記ディスプレイからの画像光の出力が前記光学素子及び前記少なくとも１つのマイクロレンズアレイを通過して透明面上に衝突し、前記ユーザ焦点に基づく連続面上に３次元画像を生成するように制御する、前記プロセッサによって実行可能な命令を格納し、
    前記光学素子は、選択された画像の各画素を分割して、左目画像及び右目画像を作成するように構成され、前記左目画像及び前記右目画像が前記生成された３次元画像を形成する、ディスプレイシステム。
  9. １つ以上の乗員監視センサから乗員監視データを受信するように構成される乗員監視モジュールをさらに備える、請求項８に記載のディスプレイシステム。
  10. 前記命令は、前記乗員監視データに基づいて前記画像光の出力を制御するために、前記プロセッサによってさらに実行可能である、請求項９に記載のディスプレイシステム。
  11. 前記乗員監視データは、乗員識別子及び／または乗員位置を含み、前記乗員識別子が前記乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、請求項１０に記載のディスプレイシステム。
  12. 前記生成された３次元画像は、前記乗員位置に基づく前記連続面上の位置、及び前記乗員識別子と関連付けられる前記乗員の前記乗員プロファイル及び／または前記パーソナライズされた乗員履歴に基づく出現及び／またはコンテンツを有する、請求項１１に記載のディスプレイシステム。
  13. 前記ディスプレイシステムは、車両内に含まれ、前記透明面は、前記車両のウインドシールドである、請求項８に記載のディスプレイシステム。
  14. 前記３次元画像は、前記車両が環境を通して移動するにつれて、前記連続面内の異なる深度に位置決めされるように前記ディスプレイコントローラによって制御される、請求項１３に記載のディスプレイシステム。
  15. 前記３次元画像は、前記ユーザ焦点が変化するにつれて、前記連続面内の異なる深度に位置決めされるように前記ディスプレイコントローラによって制御される、請求項１３に記載のディスプレイシステム。
  16. 前記光学素子は、レンチキュラーレンズまたは視差障壁であり、前記ディスプレイシステムは、発光ダイオードのマトリックスを備える前記ディスプレイ用のバックライトをさらに備える、請求項８に記載のディスプレイシステム。
  17. 車両用のディスプレイシステムであって、前記ディスプレイシステムは、
    ディスプレイ、
    少なくとも１つのマイクロレンズアレイ、
    前記ディスプレイと前記少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子、
    ユーザ焦点を示す視線追跡センサから視線追跡データを受信するように構成される視線追跡モジュール、
    １つ以上の乗員監視センサから乗員監視データを受信するように構成される乗員監視モジュール、
    日射量監視データを取得するための日射量監視モジュールであって、前記日射量監視データは、前記車両のウインドシールド及び／または前記ディスプレイの１つ以上の領域における太陽光の量を含む、日射量監視モジュール、及び
    プロセッサ及びメモリを備えるディスプレイコントローラ、
    を備え、
    前記メモリは、
    前記日射量監視モジュールから前記日射量監視データを受信することと、
    閾値を上回る日射量を前記１つ以上の領域が有することを決定することに応答して、
    前記１つ以上の領域における日射量を減少させるように、前記光学素子の位置を変更すること、及び、
    前記ディスプレイからの画像光の出力が前記光学素子及び前記少なくとも１つのマイクロレンズアレイを通過して前記車両の前記ウインドシールド上に衝突し、前記車両についてヘッドアップディスプレイ画像を生成するように制御すること
    を行うことと
    を行うように前記プロセッサによって実行可能な命令を格納し、前記ヘッドアップディスプレイ画像は前記ユーザ焦点に作成される連続面上の選択された深度に位置決めされる３次元画像を含み、前記選択された深度は前記視線追跡データ及び／または前記乗員監視データに基づいて選択される、ディスプレイシステム。
  18. 前記乗員監視データは、乗員識別子及び／または乗員位置を含み、前記乗員識別子は前記乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、請求項１７に記載のディスプレイシステム。
  19. 前記３次元画像が位置決めされる前記連続面上の前記選択された深度は、環境を通した前記車両の移動の関数として動的に変更される、請求項１７に記載のディスプレイシステム。
JP2020560821A 2018-05-04 2019-03-27 ヘッドアップディスプレイ上での拡張現実エクスペリエンスの強化 Active JP7370340B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862667355P 2018-05-04 2018-05-04
US62/667,355 2018-05-04
PCT/US2019/020617 WO2019212634A1 (en) 2018-05-04 2019-03-27 Enhanced augmented reality experience on heads up display

Publications (2)

Publication Number Publication Date
JP2021523595A JP2021523595A (ja) 2021-09-02
JP7370340B2 true JP7370340B2 (ja) 2023-10-27

Family

ID=65763923

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2020560825A Active JP7324232B2 (ja) 2018-05-04 2019-03-04 多面ヘッドアップディスプレイ用の再構成可能な光学系
JP2020560763A Active JP7301880B2 (ja) 2018-05-04 2019-03-04 ミラーレスヘッドアップディスプレイ
JP2020557330A Active JP7319292B2 (ja) 2018-05-04 2019-03-04 調整可能な３次元拡張現実ヘッドアップディスプレイ
JP2020560821A Active JP7370340B2 (ja) 2018-05-04 2019-03-27 ヘッドアップディスプレイ上での拡張現実エクスペリエンスの強化

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2020560825A Active JP7324232B2 (ja) 2018-05-04 2019-03-04 多面ヘッドアップディスプレイ用の再構成可能な光学系
JP2020560763A Active JP7301880B2 (ja) 2018-05-04 2019-03-04 ミラーレスヘッドアップディスプレイ
JP2020557330A Active JP7319292B2 (ja) 2018-05-04 2019-03-04 調整可能な３次元拡張現実ヘッドアップディスプレイ

Country Status (6)

Country Link
US (3) US11287651B2 (ja)
EP (4) EP3788430A1 (ja)
JP (4) JP7324232B2 (ja)
KR (4) KR20210006892A (ja)
CN (4) CN112074770B (ja)
WO (4) WO2019212633A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7105173B2 (ja) * 2018-11-02 2022-07-22 京セラ株式会社 ３次元表示装置、ヘッドアップディスプレイ、移動体、およびプログラム
JP7188981B2 (ja) * 2018-11-05 2022-12-13 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、及び移動体
JP7207954B2 (ja) * 2018-11-05 2023-01-18 京セラ株式会社 ３次元表示装置、ヘッドアップディスプレイシステム、移動体、およびプログラム
CN212255878U (zh) * 2019-05-17 2020-12-29 未来（北京）黑科技有限公司 一种抬头显示系统
US11882268B2 (en) * 2019-05-30 2024-01-23 Kyocera Corporation Head-up display system and movable object
JP7247851B2 (ja) * 2019-10-11 2023-03-29 トヨタ自動車株式会社 運転者支援装置
GB2588920A (en) * 2019-11-14 2021-05-19 Continental Automotive Gmbh An autostereoscopic display system and method of projecting a gaze position for the same
CN113109941B (zh) * 2020-01-10 2023-02-10 未来（北京）黑科技有限公司 一种分层成像的抬头显示系统
JP7333460B2 (ja) * 2020-02-21 2023-08-24 マクセル株式会社 情報表示装置
JP7036139B2 (ja) 2020-03-13 2022-03-15 カシオ計算機株式会社 画像加工装置、投影装置、プログラム及び画像加工方法
DE102020107644A1 (de) * 2020-03-19 2021-09-23 Bayerische Motoren Werke Aktiengesellschaft Anzeigeverbundsystem zum Einsatz in einem Fahrzeug
CN114326119A (zh) * 2020-05-15 2022-04-12 华为技术有限公司 抬头显示装置和抬头显示方法
DE102020113716A1 (de) 2020-05-20 2021-11-25 Bayerische Motoren Werke Aktiengesellschaft Armaturenbrett für Kraftfahrzeuge mit Micro-LED Anzeige
DE102020118040A1 (de) * 2020-07-08 2022-01-13 Bayerische Motoren Werke Aktiengesellschaft Anzeigesystem für ein Kraftfahrzeug
US11482191B2 (en) * 2020-10-08 2022-10-25 Ford Global Technologies, L.L.C Enhanced augmented reality vehicle pathway
KR20220068377A (ko) * 2020-11-19 2022-05-26 주식회사 홀로랩 미소미러배열 소자 기반의 홀로그래픽 헤드업디스플레이 동작방법 및 시스템
US11610485B2 (en) * 2021-01-26 2023-03-21 GM Global Technology Operations LLC Traffic signal change visualization systems and methods
WO2022210172A1 (ja) * 2021-03-30 2022-10-06 株式会社デンソー 車両用表示システム、車両用表示方法、及び車両用表示プログラム
FR3122000B1 (fr) * 2021-04-16 2023-12-08 Faurecia Interieur Ind Interface homme-machine holographique et véhicule associé
US11735138B2 (en) * 2021-04-22 2023-08-22 GM Global Technology Operations LLC Dual image plane HUD with automated illuminance setting for AR graphics displayed in far virtual image plane
US11946814B2 (en) * 2021-06-10 2024-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Window-based temperature determination and/or display
DE102021115158A1 (de) 2021-06-11 2022-12-15 Bayerische Motoren Werke Aktiengesellschaft Head-Up Anzeigevorrichtung für ein Fahrzeug
WO2022264294A1 (ja) * 2021-06-16 2022-12-22 三菱電機株式会社 空中映像表示装置及び空中映像表示方法
US11605152B1 (en) * 2021-06-22 2023-03-14 Arnold Chase Dynamic positional control system
US20230121260A1 (en) * 2021-10-15 2023-04-20 Hyundai Mobis Co., Ltd. System for controlling vehicle display based on occupant's gaze
WO2023126669A1 (en) * 2021-12-29 2023-07-06 Bosch Car Multimedia Portugal S.A Device and method for displaying a visual flow to prevent motion sickness on autonomous vehicles
US11733531B1 (en) * 2022-03-16 2023-08-22 GM Global Technology Operations LLC Active heads up display system
US11697346B1 (en) * 2022-03-29 2023-07-11 GM Global Technology Operations LLC Lane position in augmented reality head-up display system
US20230314157A1 (en) * 2022-04-05 2023-10-05 Gm Global Technology Operaitons Llc Parking assist in augmented reality head-up display system
US20230418106A1 (en) * 2022-06-28 2023-12-28 N.S. International, Ltd. Local dimming system for head up display
DE102022118472A1 (de) * 2022-07-25 2024-01-25 Valeo Schalter Und Sensoren Gmbh Head-Up-Display für ein Kraftfahrzeug und Bilderzeugungseinrichtung für ein Head-Up-Display
CN117681656A (zh) * 2022-08-25 2024-03-12 纬创资通股份有限公司 用于配置抬头显示器的电子装置和方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302643A (ja) 2003-03-28 2004-10-28 Denso Corp 表示方法及び表示装置
JP2005049872A (ja) 2003-07-28 2005-02-24 Samsung Electronics Co Ltd ２次元及び３次元映像の互換が可能な多視点３次元映像システムの映像表示部
JP2005070255A (ja) 2003-08-22 2005-03-17 Denso Corp 虚像表示装置
JP2005091508A (ja) 2003-09-12 2005-04-07 Advanced Telecommunication Research Institute International 立体画像表示装置および立体画像表示方法
JP2005130087A (ja) 2003-10-22 2005-05-19 Canon Inc マルチメディア情報機器
JP2006106608A (ja) 2004-10-08 2006-04-20 Canon Inc 画像表示装置
JP2007272137A (ja) 2006-03-31 2007-10-18 Pioneer Electronic Corp 立体的二次元画像表示装置
JP2009294509A (ja) 2008-06-06 2009-12-17 Sony Corp ３次元像表示装置
JP2010067175A (ja) 2008-09-12 2010-03-25 Toshiba Corp ハイブリッド型コンテンツ推薦サーバ、推薦システムおよび推薦方法
JP2013026770A (ja) 2011-07-20 2013-02-04 Nissan Motor Co Ltd 車輌用映像表示装置
JP2015162901A (ja) 2014-02-27 2015-09-07 ハーマン インターナショナル インダストリーズ インコーポレイテッド ライブ映像を有する仮想透過型インストルメントクラスタ
WO2016051586A1 (ja) 2014-10-03 2016-04-07 三菱電機株式会社 表示制御装置
WO2017127832A1 (en) 2016-01-20 2017-07-27 Gerard Dirk Smits Holographic video capture and telepresence system
JP2017175621A (ja) 2016-03-24 2017-09-28 トヨタ自動車株式会社 音声コマンドに対応した視覚コンテキストを表示する三次元ヘッドアップディスプレイ装置

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62139727A (ja) * 1985-12-12 1987-06-23 Nippon Denso Co Ltd 車両用表示装置
GB2203855B (en) 1987-04-16 1990-10-03 Yazaki Corp Display apparatus for a vehicle
JPS63164038U (ja) * 1987-04-16 1988-10-26
JPH0398136U (ja) * 1990-01-29 1991-10-11
JPH08271828A (ja) * 1995-01-27 1996-10-18 Asahi Glass Co Ltd ホログラフィック表示装置
JP2828023B2 (ja) * 1996-04-22 1998-11-25 株式会社日立製作所 透過型スクリーン
JP2000111834A (ja) 1998-10-08 2000-04-21 Nissan Motor Co Ltd 車両用ステレオ画像表示装置
US20030052903A1 (en) * 2001-09-20 2003-03-20 Weast John C. Method and apparatus for focus based lighting
DE10359403B4 (de) * 2003-12-18 2005-12-15 Seereal Technologies Gmbh Autostereoskopisches Multi-User-Display
US20050231978A1 (en) * 2004-03-23 2005-10-20 Kvenvold Anthony M High efficiency low power LED backlighting system for liquid crystal display
EP1751499B1 (en) * 2004-06-03 2012-04-04 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
US7864419B2 (en) 2004-06-08 2011-01-04 Ellis Amalgamated LLC Optical scanning assembly
JP2007094394A (ja) * 2005-08-31 2007-04-12 Nidec Sankyo Corp ヘッドアップディスプレイ用光学系
US7414790B2 (en) * 2006-11-10 2008-08-19 Genie Lens Technologies, Llc Ultrathin lens arrays for viewing interlaced images with dual lens structures
JP2008225381A (ja) 2007-03-15 2008-09-25 Toshiba Matsushita Display Technology Co Ltd 表示装置
JP2009008722A (ja) * 2007-06-26 2009-01-15 Univ Of Tsukuba ３次元ヘッドアップディスプレイ装置
JP2010066731A (ja) * 2008-09-12 2010-03-25 Nippon Sheet Glass Co Ltd レンズ光学系、画像表示装置およびヘッドアップディスプレイ
CN101465107B (zh) * 2008-12-31 2010-12-08 华为终端有限公司 一种显示装置、使用该显示装置的终端及显示方法
JP2011085790A (ja) 2009-10-16 2011-04-28 Seiko Epson Corp 電気光学装置及び電子機器
US20120200601A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with state triggered eye control interaction with advertising facility
RU2564049C2 (ru) * 2010-05-21 2015-09-27 Конинклейке Филипс Электроникс Н.В. Многовидовое устройство формирования изображения
JP2011249087A (ja) 2010-05-25 2011-12-08 Sanyo Electric Co Ltd 表示装置
KR101131983B1 (ko) 2010-07-28 2012-03-29 안희경 차량속도에 따라 가상 영상정보 이미지의 투영위치를 변화시키는 차량용 헤드업 디스플레이 장치
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
US8503088B2 (en) * 2011-12-21 2013-08-06 Delphi Technologies, Inc. Windshield display system using electrowetting lenses
CN104169838B (zh) * 2012-04-12 2017-07-21 英特尔公司 基于人眼追踪而选择性地使显示器背光
JP6135048B2 (ja) * 2012-04-24 2017-05-31 日本精機株式会社 ヘッドアップディスプレイ装置
JP6024035B2 (ja) 2012-05-08 2016-11-09 株式会社ユピテル 車載用表示装置
US20130342427A1 (en) * 2012-06-25 2013-12-26 Hon Hai Precision Industry Co., Ltd. Monitoring through a transparent display
FR2996928B1 (fr) * 2012-10-17 2014-12-19 Renault Sa Dispositif et procede d'affichage tete haute
JP2016065886A (ja) * 2013-02-12 2016-04-28 パナソニック株式会社 画像表示装置
DE102013208971A1 (de) 2013-05-15 2014-11-20 Robert Bosch Gmbh Vorrichtung und Verfahren zum Projizieren einer Bildinformation in ein Blickfeld eines Fahrzeuginsassen eines Fahrzeugs
CN103680423B (zh) * 2013-12-09 2016-08-24 合肥京东方光电科技有限公司 一种控制局部色域的方法、系统、背光源和显示器件
JP6315240B2 (ja) * 2014-02-03 2018-04-25 株式会社リコー 画像表示装置、移動体及びレンズアレイ
TWI500966B (zh) * 2014-02-20 2015-09-21 中強光電股份有限公司 抬頭顯示器
US20160280136A1 (en) * 2014-03-05 2016-09-29 Guy M. Besson Active-tracking vehicular-based systems and methods for generating adaptive image
JP6213323B2 (ja) * 2014-03-19 2017-10-18 アイシン・エィ・ダブリュ株式会社 ヘッドアップディスプレイ装置
JP6410167B2 (ja) 2014-05-12 2018-10-24 パナソニックＩｐマネジメント株式会社 表示装置及びその表示方法
NZ764952A (en) * 2014-05-30 2022-05-27 Magic Leap Inc Methods and system for creating focal planes in virtual and augmented reality
US10723267B2 (en) * 2014-09-19 2020-07-28 Be Topnotch, Llc Display rear passenger view on a display screen in vehicle
CN104575406A (zh) * 2015-02-09 2015-04-29 京东方科技集团股份有限公司 驱动背光板的方法及时序控制器、背光驱动板
US20160274365A1 (en) * 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
JP6544569B2 (ja) 2015-06-24 2019-07-17 日本精機株式会社 液晶表示装置
DE102015114376B4 (de) * 2015-08-28 2017-10-12 Visteon Global Technologies, Inc. Vorrichtung und Verfahren zur Charakterisierung subjektiver Speckle-Bildung
US10302953B2 (en) * 2015-12-11 2019-05-28 Volvo Truck Corporation Adjustable head-up display arrangement for a vehicle
FR3046468B1 (fr) * 2016-01-04 2023-06-23 Valeo Comfort & Driving Assist Afficheur tete-haute
CN108463764B (zh) * 2016-01-16 2022-10-28 镭亚股份有限公司 基于多束衍射光栅的平视显示器
CN105590591B (zh) * 2016-03-15 2019-02-22 昆山龙腾光电有限公司 色域控制方法、背光源及显示装置
US9922464B2 (en) * 2016-05-10 2018-03-20 Disney Enterprises, Inc. Occluded virtual image display
KR102629584B1 (ko) 2016-07-19 2024-01-25 삼성전자주식회사 빔 조향 백라이트 유닛 및 이를 포함하는 홀로그래픽 디스플레이 장치
KR101851937B1 (ko) * 2016-07-20 2018-04-25 (주)케이제이 프리텍 백라이트 장치 및 백라이트 장치의 디밍 방법
FR3054899B1 (fr) * 2016-08-03 2018-08-17 Valeo Comfort And Driving Assistance Dispositif de generation d'images pour ecran et afficheur tete-haute
JP6798847B2 (ja) * 2016-10-04 2020-12-09 マクセル株式会社 ヘッドアップディスプレイ装置とその光源装置
TWI615632B (zh) * 2016-10-04 2018-02-21 財團法人工業技術研究院 可變焦距抬頭顯示裝置
JP3209552U (ja) * 2017-01-12 2017-03-23 怡利電子工業股▲ふん▼有限公司 多重表示ヘッドアップディスプレイデバイス
US10481304B2 (en) 2017-06-27 2019-11-19 Panasonic Intellectual Property Management Co., Ltd. Lens sheet, method of forming lens sheet, augmented reality device and system
KR102116783B1 (ko) * 2018-10-10 2020-05-29 네이버랩스 주식회사 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302643A (ja) 2003-03-28 2004-10-28 Denso Corp 表示方法及び表示装置
JP2005049872A (ja) 2003-07-28 2005-02-24 Samsung Electronics Co Ltd ２次元及び３次元映像の互換が可能な多視点３次元映像システムの映像表示部
JP2005070255A (ja) 2003-08-22 2005-03-17 Denso Corp 虚像表示装置
JP2005091508A (ja) 2003-09-12 2005-04-07 Advanced Telecommunication Research Institute International 立体画像表示装置および立体画像表示方法
JP2005130087A (ja) 2003-10-22 2005-05-19 Canon Inc マルチメディア情報機器
JP2006106608A (ja) 2004-10-08 2006-04-20 Canon Inc 画像表示装置
JP2007272137A (ja) 2006-03-31 2007-10-18 Pioneer Electronic Corp 立体的二次元画像表示装置
JP2009294509A (ja) 2008-06-06 2009-12-17 Sony Corp ３次元像表示装置
JP2010067175A (ja) 2008-09-12 2010-03-25 Toshiba Corp ハイブリッド型コンテンツ推薦サーバ、推薦システムおよび推薦方法
JP2013026770A (ja) 2011-07-20 2013-02-04 Nissan Motor Co Ltd 車輌用映像表示装置
JP2015162901A (ja) 2014-02-27 2015-09-07 ハーマン インターナショナル インダストリーズ インコーポレイテッド ライブ映像を有する仮想透過型インストルメントクラスタ
WO2016051586A1 (ja) 2014-10-03 2016-04-07 三菱電機株式会社 表示制御装置
WO2017127832A1 (en) 2016-01-20 2017-07-27 Gerard Dirk Smits Holographic video capture and telepresence system
JP2017175621A (ja) 2016-03-24 2017-09-28 トヨタ自動車株式会社 音声コマンドに対応した視覚コンテキストを表示する三次元ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
US20210055548A1 (en) 2021-02-25
CN112074770A (zh) 2020-12-11
JP7319292B2 (ja) 2023-08-01
WO2019212633A1 (en) 2019-11-07
US20210055547A1 (en) 2021-02-25
KR20210006894A (ko) 2021-01-19
EP3788429A1 (en) 2021-03-10
JP2021523595A (ja) 2021-09-02
EP3788431A1 (en) 2021-03-10
JP2021523394A (ja) 2021-09-02
WO2019212635A1 (en) 2019-11-07
US20210132377A1 (en) 2021-05-06
EP3788430A1 (en) 2021-03-10
WO2019212634A1 (en) 2019-11-07
KR20210003131A (ko) 2021-01-11
WO2019212636A1 (en) 2019-11-07
CN112088329A (zh) 2020-12-15
JP2021523396A (ja) 2021-09-02
US11880035B2 (en) 2024-01-23
US11287651B2 (en) 2022-03-29
JP2021522534A (ja) 2021-08-30
KR20210006892A (ko) 2021-01-19
US20210070176A1 (en) 2021-03-11
CN112088329B (zh) 2022-12-02
JP7301880B2 (ja) 2023-07-03
KR20210006893A (ko) 2021-01-19
CN112074770B (zh) 2023-08-22
CN112074774A (zh) 2020-12-11
CN112105982A (zh) 2020-12-18
EP3788432A1 (en) 2021-03-10
JP7324232B2 (ja) 2023-08-09

Similar Documents

Publication Publication Date Title
JP7370340B2 (ja) ヘッドアップディスプレイ上での拡張現実エクスペリエンスの強化
US9678341B2 (en) Head-up display apparatus
EP3245550B1 (en) Dual head-up display apparatus
KR101759945B1 (ko) 디스플레이 장치
JPWO2017134865A1 (ja) ヘッドアップディスプレイ装置
CN105988220B (zh) 用于运行车辆用的自动立体观测的视野显示器的方法和控制设备
US9684166B2 (en) Motor vehicle and display of a three-dimensional graphical object
CN116631341A (zh) 平视显示器
KR20180046567A (ko) 차량용 헤드 업 디스플레이 제어 장치 및 방법
US10338396B2 (en) Optical system and a method for operating an HUD
US11971541B2 (en) Reconfigurable optics for multi-plane heads-up displays
WO2023152403A1 (en) Three-dimensional visualization device and method
CN115469462A (zh) 抬头显示器及抬头显示设备
WO2019070080A1 (ja) 表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231017

R150 Certificate of patent or registration of utility model

Ref document number: 7370340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150