WO2021152683A1 - 表示制御装置、表示制御システム及び表示制御方法 - Google Patents

表示制御装置、表示制御システム及び表示制御方法 Download PDF

Info

Publication number
WO2021152683A1
WO2021152683A1 PCT/JP2020/002865 JP2020002865W WO2021152683A1 WO 2021152683 A1 WO2021152683 A1 WO 2021152683A1 JP 2020002865 W JP2020002865 W JP 2020002865W WO 2021152683 A1 WO2021152683 A1 WO 2021152683A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
image
projection target
setting unit
viewpoint position
Prior art date
Application number
PCT/JP2020/002865
Other languages
English (en)
French (fr)
Inventor
弥生 林
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/002865 priority Critical patent/WO2021152683A1/ja
Publication of WO2021152683A1 publication Critical patent/WO2021152683A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments

Definitions

  • the present disclosure has been made to solve the above-mentioned problems, and an object of the present disclosure is to suppress the occurrence of misalignment in a HUD corresponding to autostereoscopic viewing.
  • FIG. It is a block diagram which shows the main part of the vehicle including the display control system which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the example of the information source in the vehicle including the display control system which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the main part of the ECU in the display control system which concerns on Embodiment 1.
  • FIG. It is explanatory drawing which shows the example of the eye box range in the explanatory drawing which shows the example of the positional relationship of a display part, a projected member, a head, and a virtual image. It is explanatory drawing which shows the example of the state which the right eye is located in the eye box range, and the left eye is located in the eye box range.
  • the minimum binocular virtual image perception range in HUD4 is referred to as "minimum binocular virtual image perception range”. That is, the minimum binocular virtual image perception range corresponds to the binocular virtual image perception range in a state where the AR image is projected on the entire projected region 7. In other words, the minimum binocular virtual image perception range corresponds to the binocular virtual image perception range in a state where the AR image is displayed on the entire display unit 6.
  • the AR image generated by the image generation unit 30 is displayed as the right eye image.
  • the AR image generated by the image generation unit 30 is displayed as the left eye image.
  • both eyes are set as the projection target eyes by the projection target eye setting unit 27, the AR image generated by the image generation unit 30 is displayed as a binocular image.
  • the ECU 3 has a processor 41 and a memory 42.
  • the memory 42 stores programs corresponding to a plurality of functions F1 to F10.
  • the processor 41 reads and executes the program stored in the memory 42. As a result, a plurality of functions F1 to F10 are realized.
  • the ECU 3 has a processor 41, a memory 42, and a processing circuit 43 (not shown).
  • a program corresponding to a part of the plurality of functions F1 to F10 is stored in the memory 42.
  • the processor 41 reads and executes the program stored in the memory 42. As a result, some of these functions are realized.
  • the processing circuit 43 executes processing corresponding to the remaining functions of the plurality of functions F1 to F10. As a result, such a residual function is realized.
  • the viewpoint position setting unit 28 uses the binocular center position information acquired in step ST31 to use the binocular center position information.
  • the center position of both eyes is set to the viewpoint position (step ST35).
  • the center position of both eyes is set to the viewpoint position P1
  • the AR target position P2 corresponding to the position of the AR object O is set
  • the virtual image display position P3 corresponding to the viewpoint position P1 and the AR target position P2 is set.
  • the AR image is projected at the projection position corresponding to the virtual image display position P3, and the virtual image VI is perceived by both eyes.
  • the virtual image VI is perceived at the AR target position P2.
  • the display control method is a display control method for HUD4, in which the projection target eye setting unit 27 selects the right eye, the left eye, or both eyes based on the right eye position and the left eye position.
  • Step ST7 that sets the AR image as the projection target eye and outputs a setting signal indicating the projection target eye
  • step ST8 in which the viewpoint position setting unit 28 sets the viewpoint position according to the projection target eye.
  • the viewpoint position setting unit 28a acquires each eye position information output by each eye position information acquisition unit 25.
  • the viewpoint position setting unit 28a acquires the binocular center position information output by the binocular center position calculation unit 26.
  • the viewpoint position setting unit 28a acquires the projection target eye information output by the projection target eye setting unit 27.
  • the viewpoint position setting unit 28a sets the viewpoint position in the HUD 4 by using the acquired eye position information, the acquired binocular center position information, and the acquired projection target eye information.
  • a method of setting the viewpoint position by the viewpoint position setting unit 28a will be described.
  • the code of "F8b” may be used for the function of the viewpoint position setting unit 28b. Further, the reference numeral “F11” may be used for the function of the dominant eye information acquisition unit 31.
  • FIG. 33 the same steps as those shown in FIG. 10 are designated by the same reference numerals, and the description thereof will be omitted.
  • the image generation unit 30a acquires the correction amount output by the correction amount acquisition unit 32.
  • the image generation unit 30a executes a distortion correction process based on the acquired correction amount.
  • Various known techniques can be used for the distortion correction process. Detailed description of these techniques will be omitted.
  • steps ST1 to ST4 are executed. Further, the processes of steps ST5 to ST8 are executed.
  • the display control system 100c can employ various modifications similar to those described in the first embodiment.
  • the image generation unit 30a executes a distortion correction process with a correction amount according to the viewpoint position. As a result, the misalignment caused by the strain can be further suppressed. As a result, more appropriate AR can be realized.

Abstract

表示制御装置(200)は、HUD(4)用の表示制御装置(200)であって、右眼位置及び左眼位置に基づき右眼、左眼又は両眼を選択的にAR画像の投影対象眼に設定して、投影対象眼を示す設定信号を出力する投影対象眼設定部(27)と、投影対象眼に応じた視点位置を設定する視点位置設定部(28)と、視点位置に基づきAR画像の表示位置を設定する表示位置設定部(29)と、表示位置に応じたAR画像を生成して、AR画像を示す画像信号を出力する画像生成部(30)と、を備え、HUD(4)により表示されるAR画像は、右眼用画像、左眼用画像又は両眼用画像を選択的に含み、右眼が投影対象眼に設定された場合、右眼用画像が表示されて、左眼が投影対象眼に設定された場合、左眼用画像が表示されて、両眼が投影対象眼に設定された場合、両眼用画像が表示される。

Description

表示制御装置、表示制御システム及び表示制御方法
 本開示は、表示制御装置、表示制御システム及び表示制御方法に関する。
 従来、ヘッドアップディスプレイ(以下「HUD」と記載する。)を用いて、いわゆる「拡張現実」による表示を実現する技術が開発されている。以下、拡張現実を「AR」と記載する。特許文献1には、車載用の両眼式のHUDが開示されている。
特開平6-247184号公報
 以下、HUDにおけるAR用の画像を「AR画像」という。通常、両眼式のHUDにおける個々のAR画像は、1組の画像(以下「両眼用画像」という。)により構成されている。両眼用画像は、右眼に対する投影用の画像(以下「右眼用画像」という。)及び左眼に対する投影用の画像(以下「左眼用画像」という。)により構成されている。右眼用画像が右眼に投影されるとともに、左眼用画像が左眼に投影されることにより、いわゆる「裸眼立体視」が実現される。すなわち、両眼用画像が両眼にそれぞれ投影されることにより、裸眼立体視が実現される。
 従来の両眼式のHUDにおいては、いわゆる「両眼中心位置」が視点位置に設定される(例えば、特許文献1の段落[0033]~段落[0035]参照。)。両眼中心位置が視点位置に設定されている場合、AR画像が両眼に投影されることにより、ARの対象となる物又は者(以下「AR対象物」という。)の位置に対応する位置(以下「AR目標位置」という。)に虚像が知覚される。これにより、適切なARが実現される。
 しかしながら、HUD用の被投影部材(例えばウインドシールド又はコンバイナ)におけるAR画像のサイズ、被投影部材におけるAR画像の位置、及びHUDの使用者(例えば車両の運転者)の頭部の位置などにより、AR画像が片眼のみに投影される状態が生ずることがある。かかる状態にて、両眼中心位置が視点位置に設定されている場合、AR目標位置と異なる位置に虚像が知覚される。すなわち、いわゆる「位置ずれ」が発生する。これにより、適切なARが実現されない問題があった。
 本開示は、上記のような課題を解決するためになされたものであり、裸眼立体視に対応したHUDにおいて、位置ずれの発生を抑制することを目的とする。
 本開示に係る表示制御装置は、HUD用の表示制御装置であって、右眼位置及び左眼位置に基づき右眼、左眼又は両眼を選択的にAR画像の投影対象眼に設定して、投影対象眼を示す設定信号を出力する投影対象眼設定部と、投影対象眼に応じた視点位置を設定する視点位置設定部と、視点位置に基づきAR画像の表示位置を設定する表示位置設定部と、表示位置に応じたAR画像を生成して、AR画像を示す画像信号を出力する画像生成部と、を備え、HUDにより表示されるAR画像は、右眼用画像、左眼用画像又は両眼用画像を選択的に含み、右眼が投影対象眼に設定された場合、右眼用画像が表示されて、左眼が投影対象眼に設定された場合、左眼用画像が表示されて、両眼が投影対象眼に設定された場合、両眼用画像が表示されるものである。
 本開示によれば、上記のように構成したので、裸眼立体視に対応したHUDにおいて、位置ずれの発生を抑制することができる。
実施の形態1に係る表示制御システムを含む車両の要部を示すブロック図である。 実施の形態1に係る表示制御システムを含む車両における情報源の例を示すブロック図である。 実施の形態1に係る表示制御システムにおけるECUの要部を示すブロック図である。 表示部、被投影部材、頭部及び虚像の位置関係の例を示す説明図において、アイボックス範囲の例を示す説明図である。 右眼がアイボックス範囲内に位置しており、かつ、左眼がアイボックス範囲内に位置している状態の例を示す説明図である。 右眼がアイボックス範囲内に位置しており、かつ、左眼がアイボックス範囲外に位置している状態の例を示す説明図である。 右眼がアイボックス範囲外に位置しており、かつ、左眼がアイボックス範囲内に位置している状態の例を示す説明図である。 実施の形態1に係る表示制御システムにおけるECUの要部のハードウェア構成を示すブロック図である。 実施の形態1に係る表示制御システムにおけるECUの要部の他のハードウェア構成を示すブロック図である。 実施の形態1に係る表示制御システムの動作を示すフローチャートである。 実施の形態1に係る表示制御システムにおける投影対象眼設定部の詳細な動作を示すフローチャートである。 実施の形態1に係る表示制御システムにおける視点位置設定部の詳細な動作を示すフローチャートである。 頭部が両眼虚像知覚範囲内に位置しているとき、両眼中心位置が視点位置に設定されていることにより虚像がAR目標位置に知覚される状態の例を示す説明図である。 図13に示す状態にて知覚される虚像を示す説明図である。 頭部が左眼虚像知覚範囲内に位置しているとき、両眼中心位置が視点位置に設定されていることにより虚像がAR目標位置と異なる位置に知覚される状態の例を示す説明図である。 図15に示す状態にて知覚される虚像を示す説明図である。 頭部が左眼虚像知覚範囲内に位置しているとき、左眼位置が視点位置に設定されていることにより虚像がAR目標位置に知覚される状態の例を示す説明図である。 図17に示す状態にて知覚される虚像を示す説明図である。 実施の形態1に係る他の表示制御システムの要部を示すブロック図である。 実施の形態1に係る他の表示制御システムの要部を示すブロック図である。 実施の形態1に係る他の表示制御システムの要部を示すブロック図である。 実施の形態1に係る他の表示制御システムの要部を示すブロック図である。 実施の形態2に係る表示制御システムを含む車両の要部を示すブロック図である。 実施の形態2に係る表示制御システムにおけるECUの要部を示すブロック図である。 右眼がアイボックス範囲内に位置しており、かつ、左眼がアイボックス範囲内に位置している場合において、両眼中心位置が視点位置に設定された状態の例を示す説明図である。 右眼がアイボックス範囲内に位置しており、かつ、左眼がアイボックス範囲内に位置している場合において、両眼中心位置を左方にずらしてなる位置が視点位置に設定された状態の例を示す説明図である。 右眼がアイボックス範囲外に位置しており、かつ、左眼がアイボックス範囲内に位置している場合において、左眼位置を右方にずらしてなる位置が視点位置に設定された状態の例を示す説明図である。 右眼がアイボックス範囲外に位置しており、かつ、左眼がアイボックス範囲内に位置している場合において、左眼位置が視点位置に設定された状態の例を示す説明図である。 実施の形態2に係る表示制御システムの動作を示すフローチャートである。 実施の形態2に係る表示制御システムにおける視点位置設定部の詳細な動作を示すフローチャートである。 実施の形態2に係る表示制御システムにおける視点位置設定部の詳細な動作を示すフローチャートである。 実施の形態2に係る表示制御システムにおける視点位置設定部の詳細な動作を示すフローチャートである。 実施の形態2に係る表示制御システムにおける視点位置設定部の詳細な動作を示すフローチャートである。 実施の形態3に係る表示制御システムを含む車両の要部を示すブロック図である。 実施の形態3に係る表示制御システムにおけるECUの要部を示すブロック図である。 実施の形態3に係る表示制御システムの動作を示すフローチャートである。 実施の形態3に係る表示制御システムにおける視点位置設定部の詳細な動作を示すフローチャートである。 実施の形態4に係る表示制御システムを含む車両の要部を示すブロック図である。 実施の形態4に係る表示制御システムにおけるECUの要部を示すブロック図である。 実施の形態4に係る表示制御システムの動作を示すフローチャートである。
 以下、この開示をより詳細に説明するために、この開示を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
 図1は、実施の形態1に係る表示制御システムを含む車両の要部を示すブロック図である。図2は、実施の形態1に係る表示制御システムを含む車両における情報源の例を示すブロック図である。図3は、実施の形態1に係る表示制御システムにおけるECUの要部を示すブロック図である。図1~図3を参照して、実施の形態1に係る表示制御システムについて説明する。
 図1に示す如く、車両1は、情報源2、電子制御ユニット(以下「ECU」と記載する。)3、HUD4及び被投影部材5を有している。ECU3により、表示制御システム100の要部が構成されている。なお、ECU3は、HUD4内に設けられたものであっても良い。また、ECU3は、HUD4外に設けられた第1のECU及びHUD4内に設けられた第2のECUにより構成されているものであっても良い。
 HUD4は、例えば、車両1のダッシュボードに設けられている。HUD4の表示部6は、例えば、液晶ディスプレイにより構成されている。表示部6は、ECU3による制御の下、AR画像を表示するものである。当該表示されたAR画像は、被投影部材5における所定の領域(以下「被投影領域」という。)7内に投影される。当該投影されたAR画像は、被投影部材5により反射される。当該反射されたAR画像は、HUD4の使用者の右眼及び左眼のうちの少なくとも一方に投影される。これにより、当該投影されたAR画像に対応する虚像が知覚される。
 被投影部材5は、例えば、ウインドシールド又はコンバイナにより構成されている。以下、被投影部材5がウインドシールドにより構成されている場合の例を中心に説明する。また、HUD4の使用者は、例えば、車両1の運転者又は車両1の同乗者である。以下、HUD4の使用者が車両1の運転者である場合の例を中心に説明する。
 ここで、HUD4は、裸眼立体視に対応したものである。裸眼立体視には、例えば、パララックスバリア又はシート状のレンチキュラーレンズが用いられる。このほか、裸眼立体視には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
 図2に示す如く、情報源2は、例えば、先進運転支援システム(以下「ADAS」と記載する。)11を含むものである。ADAS11は、センサ12及び車外撮像用のカメラ13のうちの少なくとも一方を用いるものである。センサ12は、ライダ、ミリ波レーダ及び超音波センサのうちの少なくとも一つを含むものである。また、例えば、情報源2は、ナビゲーションシステム14を含むものである。ナビゲーションシステム14は、GNSS(Global Navigation Satellite System)受信機15を用いるものである。また、例えば、情報源2は、運転者監視システム(以下「DMS」と記載する。)16を含むものである。DMS16は、車内撮像用のカメラ17を用いるものである。
 図3に示す如く、ECU3は、車外環境情報取得部21、ナビゲーション情報取得部22、AR対象物設定部23、表示内容設定部24、各眼位置情報取得部25、両眼中心位置算出部26、投影対象眼設定部27、視点位置設定部28、表示位置設定部29及び画像生成部30を有している。投影対象眼設定部27、視点位置設定部28、表示位置設定部29及び画像生成部30により、表示制御装置200の要部が構成されている。
 車外環境情報取得部21は、車両1に対する前方の領域における物体に関する情報(以下「車外物体情報」という。)を取得するものである。車外物体情報は、当該物体の種別(例えば他車両、歩行者、自転車、縁石又は塀)を示す情報、及び車両1に対する当該物体の相対的な位置を示す情報などを含むものである。また、車外環境情報取得部21は、車両1に対する前方の領域における地形に関する情報(以下「車外地形情報」という。)を取得するものである。車外地形情報は、当該領域における道路の形状を示す情報などを含むものである。
 以下、車外環境情報取得部21により取得される情報を総称して「車外環境情報」ということがある。車外環境情報は、例えば、情報源2のうちのADAS11から取得される。ただし、車外環境情報のうちの少なくとも一部の情報は、情報源2のうちのセンサ12又はカメラ13から取得されるものであっても良い。車外環境情報取得部21は、当該取得された車外環境情報をAR対象物設定部23に出力するものである。
 ナビゲーション情報取得部22は、ナビゲーションシステム14による案内に関する情報(以下「ナビゲーション情報」という。)を取得するものである。ナビゲーション情報は、車両1の位置座標を示す情報、ナビゲーションシステム14による案内の対象となる地点(例えば交差点)の位置座標を示す情報、及び当該地点における車両1の進行方向を示す情報などを含むものである。または、ナビゲーション情報は、車両1に対する当該地点の相対的な位置を示す情報、及び当該地点における車両1の進行方向を示す情報などを含むものである。
 ナビゲーション情報は、例えば、情報源2のうちのナビゲーションシステム14から取得される。ただし、ナビゲーション情報のうちの一部の情報は、情報源2のうちのGNSS受信機15から取得されるものであっても良い。ナビゲーション情報取得部22は、当該取得されたナビゲーション情報をAR対象物設定部23に出力するものである。
 AR対象物設定部23は、車外環境情報取得部21により出力された車外環境情報を取得するものである。AR対象物設定部23は、ナビゲーション情報取得部22により出力されたナビゲーション情報を取得するものである。AR対象物設定部23は、当該取得された車外環境情報及び当該取得されたナビゲーション情報のうちの少なくとも一方を用いて、HUD4によるAR対象物を設定するものである。
 例えば、AR対象物設定部23は、上記取得された車外環境情報に含まれる車外物体情報を用いて、車両1に対する前方の領域における歩行者をAR対象物に設定する。または、例えば、AR対象物設定部23は、上記取得された車外環境情報に含まれる車外物体情報を用いて、車両1に対する前方の領域における他車両をAR対象物に設定する。または、例えば、AR対象物設定部23は、上記取得されたナビゲーション情報を用いて、車両1に対する前方の領域における交差点をAR対象物に設定する。
 AR対象物設定部23は、当該設定されたAR対象物の種別を示す情報(以下「AR対象物種別情報」という。)を表示内容設定部24に出力するものである。また、AR対象物設定部23は、車両1に対する当該設定されたAR対象物の相対的な位置を示す情報(以下「AR対象物位置情報」という。)を表示位置設定部29に出力するものである。
 表示内容設定部24は、AR対象物設定部23により出力されたAR対象物種別情報を取得するものである。ここで、表示内容設定部24は、AR対象物の種別とARによる表示の内容(以下「表示内容」という。)との対応関係を示すデータベース(以下「表示内容データベース」という。)を有している。表示内容設定部24は、表示内容データベースを用いて、当該取得されたAR対象物種別情報が示す種別に対応する表示内容を設定するものである。表示内容設定部24は、当該設定された表示内容を示す情報(以下「表示内容情報」という。)を画像生成部30に出力するものである。
 例えば、表示内容データベースにおいて、AR対象物の種別「歩行者」と表示内容「強調用の矩形状の枠」とが対応付けられているものとする。また、表示内容データベースにおいて、AR対象物の種別「他車両」と表示内容「強調用の楕円」とが対応付けられているものとする。この場合において、AR対象物種別情報が種別「歩行者」を示しているとき、表示内容設定部24は、表示内容を「強調用の矩形状の枠」に設定する。また、この場合において、AR対象物種別情報が種別「他車両」を示しているとき、表示内容設定部24は、表示内容を「強調用の楕円」に設定する。
 各眼位置情報取得部25は、HUD4の使用者の右眼の位置(以下「右眼位置」という。)を示す情報(以下「右眼位置情報」という。)を取得するものである。また、各眼位置情報取得部25は、HUD4の使用者の左眼の位置(以下「左眼位置」という。)を示す情報(以下「左眼位置情報」という。)を取得するものである。
 以下、右眼位置情報及び左眼位置情報を総称して「各眼位置情報」ということがある。各眼位置情報は、例えば、情報源2のうちのDMS16から取得される。なお、各眼位置情報は、情報源2のうちのカメラ17から取得されるものであっても良い。各眼位置情報取得部25は、当該取得された各眼位置情報を両眼中心位置算出部26、投影対象眼設定部27及び視点位置設定部28に出力するものである。
 両眼中心位置算出部26は、各眼位置情報取得部25により出力された各眼位置情報を取得するものである。両眼中心位置算出部26は、当該取得された各眼位置情報を用いて、HUD4の使用者の両眼中心位置(以下単に「両眼中心位置」という。)を算出するものである。両眼中心位置の算出には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。両眼中心位置算出部26は、当該算出された両眼中心位置を示す情報(以下「両眼中心位置情報」という。)を視点位置設定部28に出力するものである。
 以下、HUD4の使用者の右眼を単に「右眼」ということがある。また、HUD4の使用者の左眼を単に「左眼」ということがある。また、HUD4の使用者の両眼を単に「両眼」ということがある。
 投影対象眼設定部27は、各眼位置情報取得部25により出力された各眼位置情報を取得するものである。投影対象眼設定部27は、当該取得された各眼位置情報を用いて、AR画像の投影の対象となる眼(以下「投影対象眼」という。)を設定するものである。より具体的には、投影対象眼設定部27は、当該取得された各眼位置情報が示す右眼位置及び左眼位置に基づき、右眼、左眼又は両眼を選択的に投影対象眼に設定するものである。投影対象眼設定部27は、当該設定された投影対象眼を示す情報(以下「投影対象眼情報」という。)を視点位置設定部28に出力するものである。また、投影対象眼設定部27は、当該設定された投影対象眼を示す信号(以下「設定信号」という。)を表示部6に出力するものである。
 ここで、投影対象眼の設定方法について説明する。通常、両眼式のHUDにおいては、HUDの使用者の頭部が所定の範囲内に位置しているとき(すなわちHUDの使用者の両眼が所定の範囲内に位置しているとき)、両眼にAR画像が投影されて両眼により虚像が知覚される状態が生じ得る。すなわち、欠けのない虚像が知覚される状態が生じ得る。以下、かかる範囲を「両眼虚像知覚範囲」という。また、両眼虚像知覚範囲に対する左方にて、HUDの使用者の頭部が所定の範囲内に位置しているとき、右眼のみにAR画像が投影されて右眼のみにより虚像が知覚される状態が生じ得る。以下、かかる範囲を「右眼虚像知覚範囲」という。また、両眼虚像知覚範囲に対する右方にて、HUDの使用者の頭部が所定の範囲内に位置しているとき、左眼のみにAR画像が投影されて左眼のみにより虚像が知覚される状態が生じ得る。以下、かかる範囲を「左眼虚像知覚範囲」という。
 以下、両眼虚像知覚範囲、右眼虚像知覚範囲及び左眼虚像知覚範囲により構成されている範囲を「虚像知覚範囲」ということがある。虚像知覚範囲のサイズは、被投影領域7におけるAR画像のサイズ(以下「投影サイズ」という。)に応じて異なるものである。すなわち、投影サイズが大きいほど、虚像知覚範囲のサイズが小さくなる。換言すれば、投影サイズが小さいほど、虚像知覚範囲のサイズが大きくなる。また、虚像知覚範囲の位置は、被投影領域7におけるAR画像の位置に応じて異なるものである。すなわち、AR画像が被投影領域7における右方に位置しているほど、虚像知覚範囲が左方に位置するものとなる。換言すれば、AR画像が被投影領域7における左方に位置しているほど、虚像知覚範囲が右方に位置するものとなる。
 以下、HUD4における最小の両眼虚像知覚範囲を「最小両眼虚像知覚範囲」という。すなわち、最小両眼虚像知覚範囲は、仮に被投影領域7の全体にAR画像が投影された状態における両眼虚像知覚範囲に相当するものである。換言すれば、最小両眼虚像知覚範囲は、仮に表示部6の全体にAR画像が表示された状態における両眼虚像知覚範囲に相当するものである。
 投影対象眼設定部27には、所定の範囲(以下「アイボックス範囲」という。)を示す情報(以下「アイボックス範囲情報」という。)が予め記憶されている。ここで、アイボックス範囲は、最小両眼虚像知覚範囲に対応する範囲に設定されている。すなわち、アイボックス範囲は、最小両眼虚像知覚範囲と同等の範囲に設定されている。図4は、表示部6、被投影部材5、HUD4の使用者Uの頭部H、及び虚像VIの位置関係の例を示している。また、図4は、アイボックス範囲ERの例を示している。
 投影対象眼設定部27は、当該記憶されているアイボックス範囲情報及び上記取得された各眼位置情報を用いて、右眼がアイボックス範囲内に位置しているか否かを判定する。また、投影対象眼設定部27は、これらの情報を用いて、左眼がアイボックス範囲内に位置しているか否かを判定する。
 右眼がアイボックス範囲内に位置しており、かつ、左眼がアイボックス範囲内に位置していると判定された場合、投影対象眼設定部27は、両眼を投影対象眼に設定する。右眼がアイボックス範囲内に位置しており、かつ、左眼がアイボックス範囲外に位置していると判定された場合、投影対象眼設定部27は、右眼を投影対象眼に設定する。右眼がアイボックス範囲外に位置しており、かつ、左眼がアイボックス範囲内に位置していると判定された場合、投影対象眼設定部27は、左眼を投影対象眼に設定する。
 図5は、右眼がアイボックス範囲ER内に位置しており、かつ、左眼がアイボックス範囲ER内に位置している状態の例を示している。この場合、投影対象眼設定部27は、両眼を投影対象眼に設定する。図6は、右眼がアイボックス範囲ER内に位置しており、かつ、左眼がアイボックス範囲ER外に位置している状態の例を示している。この場合、投影対象眼設定部27は、右眼を投影対象眼に設定する。図7は、右眼がアイボックス範囲ER外に位置しており、かつ、左眼がアイボックス範囲ER内に位置している状態の例を示している。この場合、投影対象眼設定部27は、左眼を投影対象眼に設定する。
 ここで、図5におけるWは、アイボックス範囲ERの幅を示している。また、図5におけるW/2は、幅Wに対する半分の値を示している。また、図5におけるD_Rは、両眼中心位置と右眼中心位置との間隔を示している。また、図5におけるD_Lは、両眼中心位置と左眼中心位置との間隔を示している。
 このようにして、投影対象眼が設定される。
 なお、右眼がアイボックス範囲外に位置しており、かつ、左眼がアイボックス範囲外に位置していると判定された場合、投影対象眼設定部27は、投影対象眼の設定をキャンセルする。この場合における投影対象眼情報は、投影対象眼の設定がキャンセルされたことを示す情報となる。換言すれば、この場合における投影対象眼情報は、投影対象眼が非設定であることを示す情報となる。
 視点位置設定部28は、各眼位置情報取得部25により出力された各眼位置情報を取得するものである。視点位置設定部28は、両眼中心位置算出部26により出力された両眼中心位置情報を取得するものである。視点位置設定部28は、投影対象眼設定部27により出力された投影対象眼情報を取得するものである。視点位置設定部28は、当該取得された各眼位置情報、当該取得された両眼中心位置情報及び当該取得された投影対象眼情報を用いて、HUD4における視点位置を設定するものである。
 すなわち、上記取得された投影対象眼情報が両眼を示している場合、視点位置設定部28は、上記取得された両眼中心位置情報を用いて、両眼中心位置を視点位置に設定する。上記取得された投影対象眼情報が右眼を示している場合、視点位置設定部28は、上記取得された各眼位置情報に含まれる右眼位置情報を用いて、右眼位置を視点位置に設定する。上記取得された投影対象眼情報が左眼を示している場合、視点位置設定部28は、上記取得された各眼位置情報に含まれる左眼位置情報を用いて、左眼位置を視点位置に設定する。視点位置設定部28は、当該設定された視点位置を示す情報(以下「視点位置情報」という。)を表示位置設定部29に出力するものである。
 なお、上記取得された投影対象眼情報が非設定を示している場合、視点位置設定部28は、視点位置の設定をキャンセルする。この場合における視点位置情報は、視点位置の設定がキャンセルされたことを示す情報となる。換言すれば、この場合における視点位置情報は、視点位置が非設定であることを示す情報となる。
 表示位置設定部29は、AR対象物設定部23により出力されたAR対象物位置情報を取得するものである。表示位置設定部29は、視点位置設定部28により出力された視点位置情報を取得するものである。表示位置設定部29は、当該取得されたAR対象物位置情報及び当該取得された視点位置情報を用いて、被投影領域7におけるAR画像が投影される位置(以下「投影位置」という。)を設定するものである。
 すなわち、表示位置設定部29は、AR対象物位置情報が示す位置に応じたAR目標位置を設定する。次いで、表示位置設定部29は、当該設定されたAR目標位置と視点位置情報が示す視点位置とを結ぶ直線を導出する。次いで、表示位置設定部29は、当該導出された直線に基づき、被投影領域7にAR画像が投影されることにより虚像が表示される位置(以下「虚像表示位置」という。)を導出する。次いで、表示位置設定部29は、被投影領域7における当該導出された虚像表示位置に対応する位置を投影位置に設定する。
 また、表示位置設定部29は、当該設定された投影位置に基づき、表示部6におけるAR画像が表示される位置(以下「表示位置」という。)を設定するものである。表示位置の設定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。表示位置設定部29は、当該設定された表示位置を示す情報(以下「表示位置情報」という。)を画像生成部30に出力するものである。
 画像生成部30は、表示内容設定部24により出力された表示内容情報を取得するものである。画像生成部30は、表示位置設定部29により出力された表示位置情報を取得するものである。画像生成部30は、当該取得された表示内容情報及び当該取得された表示位置情報を用いて、表示部6により表示されるAR画像を生成するものである。
 AR画像の生成には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。画像生成部30は、当該生成されたAR画像を示す信号(以下「画像信号」という。)を表示部6に出力するものである。
 表示部6は、投影対象眼設定部27により出力された設定信号を取得するとともに、画像生成部30により出力された画像信号を取得する。表示部6は、当該取得された画像信号が示すAR画像を、当該取得された設定信号が示す投影対象眼に対応する画像(すなわち右眼用画像、左眼用画像又は両眼用画像)として表示する。
 これにより、投影対象眼設定部27により右眼が投影対象眼に設定された場合、画像生成部30により生成されたAR画像が右眼用画像として表示される。また、投影対象眼設定部27により左眼が投影対象眼に設定された場合、画像生成部30により生成されたAR画像が左眼用画像として表示される。また、投影対象眼設定部27により両眼が投影対象眼に設定された場合、画像生成部30により生成されたAR画像が両眼用画像として表示される。
 このようにして、表示制御システム100の要部が構成されている。
 以下、車外環境情報取得部21の機能に「F1」の符号を用いることがある。また、ナビゲーション情報取得部22の機能に「F2」の符号を用いることがある。また、AR対象物設定部23の機能に「F3」の符号を用いることがある。また、表示内容設定部24の機能に「F4」の符号を用いることがある。また、各眼位置情報取得部25の機能に「F5」の符号を用いることがある。また、両眼中心位置算出部26の機能に「F6」の符号を用いることがある。また、投影対象眼設定部27の機能に「F7」の符号を用いることがある。また、視点位置設定部28の機能に「F8」の符号を用いることがある。また、表示位置設定部29の機能に「F9」の符号を用いることがある。また、画像生成部30の機能に「F10」の符号を用いることがある。
 次に、図8及び図9を参照して、ECU3の要部のハードウェア構成について説明する。
 図8に示す如く、ECU3は、プロセッサ41及びメモリ42を有している。メモリ42には、複数個の機能F1~F10に対応するプログラムが記憶されている。プロセッサ41は、メモリ42に記憶されているプログラムを読み出して実行する。これにより、複数個の機能F1~F10が実現される。
 または、図9に示す如く、ECU3は、処理回路43を有している。処理回路43は、複数個の機能F1~F10に対応する処理を実行する。これにより、複数個の機能F1~F10が実現される。
 または、ECU3は、プロセッサ41、メモリ42及び処理回路43を有している(不図示)。メモリ42には、複数個の機能F1~F10のうちの一部の機能に対応するプログラムが記憶されている。プロセッサ41は、メモリ42に記憶されているプログラムを読み出して実行する。これにより、かかる一部の機能が実現される。また、処理回路43は、複数個の機能F1~F10のうちの残余の機能に対応する処理を実行する。これにより、かかる残余の機能が実現される。
 プロセッサ41は、1個以上のプロセッサにより構成されている。個々のプロセッサは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)を用いたものである。
 メモリ42は、1個以上の不揮発性メモリにより構成されている。または、メモリ42は、1個以上の不揮発性メモリ及び1個以上の揮発性メモリにより構成されている。すなわち、メモリ42は、1個以上のメモリにより構成されている。個々のメモリは、例えば、半導体メモリ又は磁気ディスクを用いたものである。
 より具体的には、個々の揮発性メモリは、例えば、RAM(Random Access Memory)を用いたものである。また、個々の不揮発性メモリは、例えば、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、ソリッドステートドライブ又はハードディスクドライブを用いたものである。
 処理回路43は、1個以上のデジタル回路により構成されている。または、処理回路43は、1個以上のデジタル回路及び1個以上のアナログ回路により構成されている。すなわち、処理回路43は、1個以上の処理回路により構成されている。個々の処理回路は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)、SoC(System on a Chip)又はシステムLSI(Large Scale Integration)を用いたものである。
 ここで、プロセッサ41が複数個のプロセッサにより構成されているとき、複数個の機能F1~F10と複数個のプロセッサとの対応関係は任意である。すなわち、複数個のプロセッサの各々は、複数個の機能F1~F10のうちの対応する1個以上の機能に対応するプログラムを読み出して実行するものであっても良い。
 また、メモリ42が複数個のメモリにより構成されているとき、複数個の機能F1~F10と複数個のメモリとの対応関係は任意である。すなわち、複数個のメモリの各々は、複数個の機能F1~F10のうちの対応する1個以上の機能に対応するプログラムを記憶するものであっても良い。
 また、処理回路43が複数個の処理回路により構成されているとき、複数個の機能F1~F10と複数個の処理回路との対応関係は任意である。すなわち、複数個の処理回路の各々は、複数個の機能F1~F10のうちの対応する1個以上の機能に対応する処理を実行するものであっても良い。
 次に、図10のフローチャートを参照して、表示制御システム100の動作について説明する。図10に示す処理は、所定の条件が満たされているとき(例えば車両1におけるイグニッション電源がオンされているとき)、繰り返し実行される。
 まず、車外環境情報取得部21が車外環境情報を取得する(ステップST1)。次いで、ナビゲーション情報取得部22がナビゲーション情報を取得する(ステップST2)。次いで、AR対象物設定部23がAR対象物を設定する(ステップST3)。次いで、表示内容設定部24が表示内容を設定する(ステップST4)。
 また、各眼位置情報取得部25が各眼位置情報を取得する(ステップST5)。次いで、両眼中心位置算出部26が両眼中心位置を算出する(ステップST6)。次いで、投影対象眼設定部27が投影対象眼を設定して、設定信号を出力する(ステップST7)。次いで、視点位置設定部28が視点位置を設定する(ステップST8)。
 次いで、表示位置設定部29が表示位置を設定する(ステップST9)。次いで、画像生成部30がAR画像を生成して、画像信号を出力する(ステップST10)。
 次に、図11のフローチャートを参照して、投影対象眼設定部27の詳細な動作について説明する。すなわち、ステップST7における詳細な処理内容について説明する。
 まず、投影対象眼設定部27は、各眼位置情報取得部25により出力された各眼位置情報を取得する(ステップST21)。次いで、投影対象眼設定部27は、予め記憶されているアイボックス範囲情報及び当該取得された各眼位置情報を用いて、右眼がアイボックス範囲内に位置しているか否かを判定するとともに、左眼がアイボックス範囲内に位置しているか否かを判定する(ステップST22~ST24)。
 右眼がアイボックス範囲内に位置しており、かつ、左眼がアイボックス範囲内に位置していると判定された場合(ステップST22“YES”)、投影対象眼設定部27は、両眼を投影対象眼に設定する(ステップST25)。
 右眼がアイボックス範囲内に位置しており、かつ、左眼がアイボックス範囲外に位置していると判定された場合(ステップST22“NO”かつステップST23“YES”)、投影対象眼設定部27は、右眼を投影対象眼に設定する(ステップST26)。
 右眼がアイボックス範囲外に位置しており、かつ、左眼がアイボックス範囲内に位置していると判定された場合(ステップST22“NO”かつステップST23“NO”かつステップST24“YES”)、投影対象眼設定部27は、左眼を投影対象眼に設定する(ステップST27)。
 右眼がアイボックス範囲外に位置しており、かつ、左眼がアイボックス範囲外に位置していると判定された場合(ステップST22“NO”かつステップST23“NO”かつステップST24“NO”)、投影対象眼設定部27は、投影対象眼の設定をキャンセルする(ステップST28)。
 次いで、投影対象眼設定部27は、これらの処理の結果に対応する投影対象眼情報を出力する(ステップST29)。また、投影対象眼設定部27は、これらの処理の結果に対応する設定信号を出力する(ステップST30)。
 次に、図12のフローチャートを参照して、視点位置設定部28の詳細な動作について説明する。すなわち、ステップST8における詳細な処理内容について説明する。
 まず、視点位置設定部28は、各眼位置情報取得部25により出力された各眼位置情報、両眼中心位置算出部26により出力された両眼中心位置情報、及び投影対象眼設定部27により出力された投影対象眼情報を取得する(ステップST31)。
 ステップST31にて取得された投影対象眼情報が両眼を示している場合(ステップST32“YES”)、視点位置設定部28は、ステップST31にて取得された両眼中心位置情報を用いて、両眼中心位置を視点位置に設定する(ステップST35)。
 ステップST31にて取得された投影対象眼情報が右眼を示している場合(ステップST32“NO”かつステップST33“YES”)、視点位置設定部28は、ステップST31にて取得された各眼位置情報に含まれる右眼位置情報を用いて、右眼位置を視点位置に設定する(ステップST36)。
 ステップST31にて取得された投影対象眼情報が左眼を示している場合(ステップST32“NO”かつステップST33“NO”かつステップST34“YES”)、視点位置設定部28は、ステップST31にて取得された各眼位置情報に含まれる左眼位置情報を用いて、左眼位置を視点位置に設定する(ステップST37)。
 ステップST31にて取得された投影対象眼情報が非設定を示している場合(ステップST32“NO”かつステップST33“NO”かつステップST34“NO”)、視点位置設定部28は、視点位置の設定をキャンセルする(ステップST38)。
 次いで、視点位置設定部28は、これらの処理の結果に対応する視点位置情報を出力する(ステップST39)。
 次に、表示制御システム100の効果について説明する。
 上記のとおり、両眼虚像知覚範囲のサイズは、投影サイズに応じて異なるものである。また、両眼虚像知覚範囲の位置は、投影位置に応じて異なるものである。
 このため、右眼が最小両眼虚像知覚範囲内に位置しており、かつ、左眼が最小両眼虚像知覚範囲内に位置しているときは、投影サイズ及び投影位置にかかわらず、右眼が両眼虚像知覚範囲内に位置した状態となり、かつ、左眼が両眼虚像知覚範囲内に位置した状態となる。すなわち、投影サイズ及び投影位置にかかわらず、頭部が両眼虚像知覚範囲内に位置した状態となる。
 他方、右眼が最小両眼虚像知覚範囲内に位置しており、かつ、左眼が最小両眼虚像知覚範囲外に位置しているときは、投影サイズ及び投影位置に応じて、左眼が両眼虚像知覚範囲内に位置した状態となることもあるし、又は左眼が両眼虚像知覚範囲外に位置した状態となることもある。すなわち、投影サイズ及び投影位置に応じて、頭部が両眼虚像知覚範囲内に位置した状態となることもあるし、又は頭部が右眼虚像知覚範囲内に位置した状態となることもある。
 また、右眼が最小両眼虚像知覚範囲外に位置しており、かつ、左眼が最小両眼虚像知覚範囲内に位置しているときは、投影サイズ及び投影位置に応じて、右眼が両眼虚像知覚範囲内に位置した状態となることもあるし、又は右眼が両眼虚像知覚範囲外に位置した状態となることもある。すなわち、投影サイズ及び投影位置に応じて、頭部が両眼虚像知覚範囲内に位置した状態となることもあるし、又は頭部が左眼虚像知覚範囲内に位置した状態となることもある。
 これに対して、表示制御システム100は、最小両眼虚像知覚範囲に対応する所定の範囲(すなわちアイボックス範囲)に基づき投影対象眼を設定するものである。また、表示制御システム100は、当該設定された投影対象眼に応じた視点位置を設定するものである。これにより、投影対象眼及び視点位置について、投影サイズ及び投影位置に対する適応的な制御を不要とすることができる。また、位置ずれの発生を抑制することができる。また、頭部が両眼虚像知覚範囲内に位置しているときにARを実現することができるのはもちろんのこと、頭部が右眼虚像知覚範囲内に位置しているときもARを実現することができる。さらに、頭部が左眼虚像知覚範囲内に位置しているときもARを実現することができる。このように、広範囲に亘りARを実現することができる。
 次に、図13~図18を参照して、位置ずれの発生が抑制される効果について詳細に説明する。
 図13及び図14は、右眼がアイボックス範囲内に位置しており、かつ、左眼がアイボックス範囲内に位置している状態の例を示している。図13及び図14に示す例において、頭部Hは、両眼虚像知覚範囲内に位置している。
 このとき、両眼中心位置が視点位置P1に設定されて、AR対象物Oの位置に応じたAR目標位置P2が設定されて、視点位置P1及びAR目標位置P2に応じた虚像表示位置P3が導出される。虚像表示位置P3に応じた投影位置にAR画像が投影されて、両眼により虚像VIが知覚される。この結果、AR目標位置P2に虚像VIが知覚される。
 これに対して、図15~図18は、右眼がアイボックス範囲外に位置しており、かつ、左眼がアイボックス範囲内に位置している状態の例を示している。図15~図18に示す例において、頭部Hは、左眼虚像知覚範囲内に位置している。
 このとき、従来のHUDにおいては、図15及び図16に示す如く、両眼中心位置が視点位置P1に設定されて、AR対象物Oの位置に応じたAR目標位置P2が設定されて、視点位置P1及びAR目標位置P2に応じた虚像表示位置P3が導出される。虚像表示位置P3に応じた投影位置にAR画像が投影されて、左眼のみにより虚像VIが知覚される。この結果、AR目標位置P2と異なる位置に虚像VIが知覚される。すなわち、位置ずれが発生する。
 他方、実施の形態1に係るHUD4においては、図17及び図18に示す如く、左眼位置が視点位置P1に設定されて、AR対象物Oの位置に応じたAR目標位置P2が設定されて、視点位置P1及びAR目標位置P2に応じた虚像表示位置P3が導出される。虚像表示位置P3に応じた投影位置にAR画像が投影されて、左眼のみにより虚像VIが知覚される。この結果、AR目標位置P2に虚像VIが知覚される。このようにして、位置ずれの発生が抑制される。
 次に、図19~図22を参照して、表示制御システム100の変形例について説明する。
 車両1に携帯情報端末8が持ち込まれるものであっても良い。ECU3及び携帯情報端末8は、相互に通信自在なものであっても良い。ECU3は、車両1外のサーバ9と通信自在なものであっても良い。携帯情報端末8は、車両1外のサーバ9と通信自在なものであっても良い。
 複数個の機能F1~F10の各々は、ECU3にて実現されるものであっても良く、携帯情報端末8にて実現されるものであっても良く、ECU3及び携帯情報端末8が連携することにより実現されるものであっても良く、ECU3及びサーバ9が連携することにより実現されるものであっても良く、又は携帯情報端末8及びサーバ9が連携することにより実現されるものであっても良い。
 すなわち、例えば、図19に示す如く、ECU3及び携帯情報端末8により表示制御システム100の要部が構成されているものであっても良い。または、例えば、図20に示す如く、ECU3及びサーバ9により表示制御システム100の要部が構成されているものであっても良い。または、例えば、図21又は図22に示す如く、ECU3、携帯情報端末8及びサーバ9により表示制御システム100の要部が構成されているものであっても良い。
 次に、表示制御システム100の他の変形例について説明する。
 投影対象眼設定部27は、右眼位置及び左眼位置の各々をアイボックス範囲と比較するのに代えて、右眼位置及び左眼位置の各々をアイボックス範囲を所定量縮小してなる範囲(以下「縮小アイボックス範囲」という。)と比較するものであっても良い。この場合において、図6に示す処理が繰り返し実行されることにより、投影対象眼及び視点位置について以下のような制御が実現される。
 すなわち、右眼位置がアイボックス範囲内にてアイボックス範囲の右端部に近づくとき、右眼位置が当該右端部に到達するよりも先に投影対象眼が両眼から左眼に切り替わる。また、このとき、右眼位置が当該右端部に到達するよりも先に視点位置が両眼中心位置から左眼位置に切り替わる。これにより、右眼位置が当該右端部に到達するタイミングに対して、投影対象眼及び視点位置が切り替わるタイミングを先行させることができる。この結果、HUD4の使用者が頭部を右方に移動させるとき、頭部の移動に対するHUD4によるAR画像の表示の遅延を考慮した制御を実現することができる。
 他方、左眼位置がアイボックス範囲内にてアイボックス範囲の左端部に近づくとき、左眼位置が当該左端部に到達するよりも先に投影対象眼が両眼から右眼に切り替わる。また、このとき、左眼位置が当該左端部に到達するよりも先に視点位置が両眼中心位置から右眼位置に切り替わる。これにより、左眼位置が当該左端部に到達するタイミングに対して、投影対象眼及び視点位置が切り替わるタイミングを先行させることができる。この結果、HUD4の使用者が頭部を左方に移動させるとき、頭部の移動に対するHUD4によるAR画像の表示の遅延を考慮した制御を実現することができる。
 次に、表示制御システム100の他の変形例について説明する。
 表示制御システム100は、車両1と異なる移動体におけるHUDに用いられるものであっても良い。例えば、表示制御システム100は、航空機、船舶又は遊具におけるHUDに用いられるものであっても良い。
 次に、表示制御システム100の他の変形例について説明する。
 右眼又は左眼が投影対象眼に設定された場合、視点位置の設定において両眼位置情報は不要である。このため、両眼中心位置算出部26は、右眼又は左眼が投影対象眼に設定された場合、両眼中心位置の算出をキャンセルするものであっても良い。換言すれば、両眼中心位置算出部26は、両眼が投影対象眼に設定された場合にのみ、両眼中心位置を算出するものであっても良い。
 以上のように、実施の形態1に係る表示制御装置200は、HUD4用の表示制御装置200であって、右眼位置及び左眼位置に基づき右眼、左眼又は両眼を選択的にAR画像の投影対象眼に設定して、投影対象眼を示す設定信号を出力する投影対象眼設定部27と、投影対象眼に応じた視点位置を設定する視点位置設定部28と、視点位置に基づきAR画像の表示位置を設定する表示位置設定部29と、表示位置に応じたAR画像を生成して、AR画像を示す画像信号を出力する画像生成部30と、を備え、HUD4により表示されるAR画像は、右眼用画像、左眼用画像又は両眼用画像を選択的に含み、右眼が投影対象眼に設定された場合、右眼用画像が表示されて、左眼が投影対象眼に設定された場合、左眼用画像が表示されて、両眼が投影対象眼に設定された場合、両眼用画像が表示される。これにより、裸眼立体視に対応したHUD4において、位置ずれの発生を抑制することができる。この結果、適切なARを実現することができる。また、広範囲に亘りARを実現することができる。
 また、実施の形態1に係る表示制御システム100は、HUD4用の表示制御システム100であって、右眼位置及び左眼位置に基づき右眼、左眼又は両眼を選択的にAR画像の投影対象眼に設定して、投影対象眼を示す設定信号を出力する投影対象眼設定部27と、投影対象眼に応じた視点位置を設定する視点位置設定部28と、視点位置に基づきAR画像の表示位置を設定する表示位置設定部29と、表示位置に応じたAR画像を生成して、AR画像を示す画像信号を出力する画像生成部30と、を備え、HUD4により表示されるAR画像は、右眼用画像、左眼用画像又は両眼用画像を選択的に含み、右眼が投影対象眼に設定された場合、右眼用画像が表示されて、左眼が投影対象眼に設定された場合、左眼用画像が表示されて、両眼が投影対象眼に設定された場合、両眼用画像が表示される。これにより、裸眼立体視に対応したHUD4において、位置ずれの発生を抑制することができる。この結果、適切なARを実現することができる。また、広範囲に亘りARを実現することができる。
 また、実施の形態1に係る表示制御方法は、HUD4用の表示制御方法であって、投影対象眼設定部27が、右眼位置及び左眼位置に基づき右眼、左眼又は両眼を選択的にAR画像の投影対象眼に設定して、投影対象眼を示す設定信号を出力するステップST7と、視点位置設定部28が、投影対象眼に応じた視点位置を設定するステップST8と、表示位置設定部29が、視点位置に基づきAR画像の表示位置を設定するステップST9と、画像生成部30が、表示位置に応じたAR画像を生成して、AR画像を示す画像信号を出力するステップST10と、を備え、HUD4により表示されるAR画像は、右眼用画像、左眼用画像又は両眼用画像を選択的に含み、右眼が投影対象眼に設定された場合、右眼用画像が表示されて、左眼が投影対象眼に設定された場合、左眼用画像が表示されて、両眼が投影対象眼に設定された場合、両眼用画像が表示される。これにより、裸眼立体視に対応したHUD4において、位置ずれの発生を抑制することができる。この結果、適切なARを実現することができる。また、広範囲に亘りARを実現することができる。
実施の形態2.
 図23は、実施の形態2に係る表示制御システムを含む車両の要部を示すブロック図である。図24は、実施の形態2に係る表示制御システムにおけるECUの要部を示すブロック図である。図23及び図24を参照して、実施の形態2に係る表示制御システムについて説明する。なお、図23において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、図24において、図3に示すブロックと同様のブロックには同一符号を付して説明を省略する。
 図23に示す如く、車両1は、情報源2、ECU3a、HUD4及び被投影部材5を有している。ECU3aにより、表示制御システム100aの要部が構成されている。なお、ECU3aは、HUD4内に設けられたものであっても良い。また、ECU3aは、HUD4外に設けられた第1のECU及びHUD4内に設けられた第2のECUにより構成されているものであっても良い。
 図24に示す如く、ECU3aは、車外環境情報取得部21、ナビゲーション情報取得部22、AR対象物設定部23、表示内容設定部24、各眼位置情報取得部25、両眼中心位置算出部26、投影対象眼設定部27、視点位置設定部28a、表示位置設定部29及び画像生成部30を有している。投影対象眼設定部27、視点位置設定部28a、表示位置設定部29及び画像生成部30により、表示制御装置200aの要部が構成されている。
 視点位置設定部28aは、各眼位置情報取得部25により出力された各眼位置情報を取得するものである。視点位置設定部28aは、両眼中心位置算出部26により出力された両眼中心位置情報を取得するものである。視点位置設定部28aは、投影対象眼設定部27により出力された投影対象眼情報を取得するものである。視点位置設定部28aは、当該取得された各眼位置情報、当該取得された両眼中心位置情報及び当該取得された投影対象眼情報を用いて、HUD4における視点位置を設定するものである。以下、視点位置設定部28aによる視点位置の設定方法について説明する。
 第一に、上記取得された投影対象眼情報が両眼を示している場合、視点位置設定部28aは、上記取得された両眼中心位置情報を用いて、アイボックス範囲の中心部に対する両眼中心位置のずれ量ΔR1,ΔL1を算出する。より具体的には、視点位置設定部28aは、右方に対するずれ量(以下「第1右方ずれ量」又は「右方ずれ量」という。)ΔR1を算出するとともに、左方に対するずれ量(以下「第1左方ずれ量」又は「左方ずれ量」という。)ΔL1を算出する。視点位置設定部28aは、当該算出された第1右方ずれ量ΔR1を所定の閾値(以下「第1閾値」という。)Th1と比較するとともに、当該算出された第1左方ずれ量ΔL1を第1閾値Th1と比較する。第1閾値Th1は、例えば、アイボックス範囲の幅Wに対する半分の値(W/2)に対する70%に相当する値に設定されている。
 第1右方ずれ量ΔR1が第1閾値Th1以上であると判定された場合、視点位置設定部28aは、上記取得された両眼中心位置情報を用いて、両眼中心位置を左方に所定量ずらしてなる位置を視点位置に設定する。これにより、両眼中心位置と左眼位置間の位置が視点位置に設定される。すなわち、このときのずらし量は、両眼中心位置と左眼位置との間隔D_Lよりも小さい値に設定される。なお、このときのずらし量は、第1右方ずれ量ΔR1に応じて異なる値に設定されるものであっても良い。
 第1左方ずれ量ΔL1が第1閾値Th1以上であると判定された場合、視点位置設定部28aは、上記取得された両眼中心位置情報を用いて、両眼中心位置を右方に所定量ずらしてなる位置を視点位置に設定する。これにより、両眼中心位置と右眼位置間の位置が視点位置に設定される。すなわち、このときのずらし量は、両眼中心位置と右眼位置との間隔D_Rよりも小さい値に設定される。なお、このときのずらし量は、第1左方ずれ量ΔL1に応じて異なる値に設定されるものであっても良い。
 第1右方ずれ量ΔR1が第1閾値Th1未満であり、かつ、第1左方ずれ量ΔL1が第1閾値Th1未満であると判定された場合、視点位置設定部28aは、上記取得された両眼中心位置情報を用いて、両眼中心位置を視点位置に設定する。
 第二に、上記取得された投影対象眼情報が右眼を示している場合、視点位置設定部28aは、上記取得された両眼中心位置情報を用いて、アイボックス範囲の左端部に対する両眼中心位置のずれ量ΔL2を算出する。より具体的には、視点位置設定部28aは、左方に対するずれ量(以下「第2左方ずれ量」又は「左方ずれ量」という。)ΔL2を算出する。視点位置設定部28aは、当該算出された第2左方ずれ量ΔL2を所定の閾値(以下「第2閾値」という。)Th2と比較する。第2閾値Th2は、例えば、アイボックス範囲の幅Wに対する半分の値(W/2)に対する30%に相当する値に設定されている。
 第2左方ずれ量ΔL2が第2閾値Th2以上であると判定された場合、視点位置設定部28aは、上記取得された各眼位置情報に含まれる右眼位置情報を用いて、右眼位置を視点位置に設定する。
 第2左方ずれ量ΔL2が第2閾値Th2未満であると判定された場合、視点位置設定部28aは、上記取得された各眼位置情報に含まれる右眼位置情報を用いて、右眼位置を左方に所定量ずらしてなる位置を視点位置に設定する。これにより、右眼位置と両眼中心位置間の位置が視点位置に設定される。すなわち、このときのずらし量は、右眼位置と両眼中心位置との間隔D_Rよりも小さい値に設定される。なお、このときのずらし量は、第2左方ずれ量ΔL2に応じて異なる値に設定されるものであっても良い。
 第三に、上記取得された投影対象眼情報が左眼を示している場合、視点位置設定部28aは、上記取得された両眼中心位置情報を用いて、アイボックス範囲の右端部に対する両眼中心位置のずれ量ΔR2を算出する。より具体的には、視点位置設定部28aは、右方に対するずれ量(以下「第2右方ずれ量」又は「右方ずれ量」という。)ΔR2を算出する。視点位置設定部28aは、当該算出された第2右方ずれ量ΔR2を第2閾値Th2と比較する。
 第2右方ずれ量ΔR2が第2閾値Th2以上であると判定された場合、視点位置設定部28aは、上記取得された各眼位置情報に含まれる左眼位置情報を用いて、左眼位置を視点位置に設定する。
 第2右方ずれ量ΔR2が第2閾値Th2未満であると判定された場合、視点位置設定部28aは、上記取得された各眼位置情報に含まれる左眼位置情報を用いて、左眼位置を右方に所定量ずらしてなる位置を視点位置に設定する。これにより、左眼位置と両眼中心位置間の位置が視点位置に設定される。すなわち、このときのずらし量は、左眼位置と両眼中心位置との間隔D_Lよりも小さい値に設定される。なお、このときのずらし量は、第2右方ずれ量ΔR2に応じて異なる値に設定されるものであっても良い。
 図25及び図26は、右眼がアイボックス範囲ER内に位置しており、かつ、左眼がアイボックス範囲ER内に位置している状態の例を示している。図25に示す例においては、第1右方ずれ量ΔR1が第1閾値Th1未満であり、かつ、第1左方ずれ量ΔL1(不図示)が第1閾値Th1未満である。このため、両眼中心位置が視点位置P1に設定される。他方、図26に示す例においては、第1右方ずれ量ΔR1が第1閾値Th1以上である。このため、両眼中心位置を左方にずらしてなる位置が視点位置P1に設定される。
 図27及び図28は、右眼がアイボックス範囲ER外に位置しており、かつ、左眼がアイボックス範囲ER内に位置している状態の例を示している。図27に示す例においては、第2右方ずれ量ΔR2が第2閾値Th2未満である。このため、左眼位置を右方にずらしてなる位置が視点位置P1に設定される。他方、図28に示す例においては、第2右方ずれ量ΔR2が第2閾値Th2以上である。このため、左眼位置が視点位置P1に設定される。
 このようにして、視点位置が設定される。
 以下、視点位置設定部28aの機能に「F8a」の符号を用いることがある。
 ECU3aの要部のハードウェア構成は、実施の形態1にて図8及び図9を参照して説明したものと同様である。このため、詳細な説明は省略する。すなわち、ECU3aは、複数個の機能F1~F7,F8a,F9,F10を有している。複数個の機能F1~F7,F8a,F9,F10の各々は、プロセッサ41及びメモリ42により実現されるものであっても良く、又は処理回路43により実現されるものであっても良い。
 次に、図29のフローチャートを参照して、表示制御システム100aの動作について説明する。なお、図29において、図10に示すステップと同様のステップには同一符号を付して説明を省略する。
 まず、ステップST1~ST4の処理が実行される。
 また、ステップST5~ST7の処理が実行される。次いで、視点位置設定部28aが視点位置を設定する(ステップST8a)。
 次いで、ステップST9,ST10の処理が実行される。
 次に、図30のフローチャートを参照して、視点位置設定部28aの詳細な動作について説明する。すなわち、ステップST8aにおける詳細な処理内容について説明する。なお、図30において、図12に示すステップと同様のステップには同一符号を付して説明を省略する。
 まず、ステップST31の処理が実行される。
 ステップST31にて取得された投影対象眼情報が両眼を示している場合(ステップST32“YES”)、視点位置設定部28aは、ステップST31にて取得された両眼中心位置情報を用いて、第1右方ずれ量ΔR1及び第1左方ずれ量ΔL1を算出する(ステップST35-1)。次いで、視点位置設定部28aは、当該算出された第1右方ずれ量ΔR1を第1閾値Th1と比較するとともに(ステップST35-2)、当該算出された第1左方ずれ量ΔL1を第1閾値Th1と比較する(ステップST35-3)。
 第1右方ずれ量ΔR1が第1閾値Th1以上であると判定された場合(ステップST35-2“YES”)、視点位置設定部28aは、ステップST31にて取得された両眼中心位置情報を用いて、両眼中心位置を左方にずらしてなる位置を視点位置に設定する。これにより、両眼中心位置と左眼位置間の位置が視点位置に設定される(ステップST35-4)。
 第1左方ずれ量ΔL1が第1閾値Th1以上であると判定された場合(ステップST35-2“NO”かつステップST35-3“YES”)、視点位置設定部28aは、ステップST31にて取得された両眼中心位置情報を用いて、両眼中心位置を右方にずらしてなる位置を視点位置に設定する。これにより、両眼中心位置と右眼位置間の位置が視点位置に設定される(ステップST35-5)。
 第1右方ずれ量ΔR1が第1閾値Th1未満であり、かつ、第1左方ずれ量ΔL1が第1閾値Th1未満であると判定された場合(ステップST35-2“NO”かつステップST35-3“NO”)、視点位置設定部28aは、ステップST31にて取得された両眼中心位置情報を用いて、両眼中心位置を視点位置に設定する(ステップST35-6)。
 ステップST31にて取得された投影対象眼情報が右眼を示している場合(ステップST32“NO”かつステップST33“YES”)、視点位置設定部28aは、ステップST31にて取得された両眼中心位置情報を用いて、第2左方ずれ量ΔL2を算出する(ステップST36-1)。次いで、視点位置設定部28aは、当該算出された第2左方ずれ量ΔL2を第2閾値Th2と比較する(ステップST36-2)。
 第2左方ずれ量ΔL2が第2閾値Th2以上であると判定された場合(ステップST36-2“YES”)、視点位置設定部28aは、ステップST31にて取得された各眼位置情報に含まれる右眼位置情報を用いて、右眼位置を視点位置に設定する(ステップST36-3)。
 第2左方ずれ量ΔL2が第2閾値Th2未満であると判定された場合(ステップST36-2“NO”)、視点位置設定部28aは、ステップST31にて取得された各眼位置情報に含まれる右眼位置情報を用いて、右眼位置を左方にずらしてなる位置を視点位置に設定する。これにより、右眼位置と両眼中心位置間の位置が視点位置に設定される(ステップST36-4)。
 ステップST31にて取得された投影対象眼情報が左眼を示している場合(ステップST32“NO”かつステップST33“NO”かつステップST34“YES”)、視点位置設定部28aは、ステップST31にて取得された両眼中心位置情報を用いて、第2右方ずれ量ΔR2を算出する(ステップST37-1)。次いで、視点位置設定部28aは、当該算出された第2右方ずれ量ΔR2を第2閾値Th2と比較する(ステップST37-2)。
 第2右方ずれ量ΔR2が第2閾値Th2以上であると判定された場合(ステップST37-2“YES”)、視点位置設定部28aは、ステップST31にて取得された各眼位置情報に含まれる左眼位置情報を用いて、左眼位置を視点位置に設定する(ステップST37-3)。
 第2右方ずれ量ΔR2が第2閾値Th2未満であると判定された場合(ステップST37-2“NO”)、視点位置設定部28aは、ステップST31にて取得された各眼位置情報に含まれる左眼位置情報を用いて、左眼位置を右方にずらしてなる位置を視点位置に設定する。これにより、左眼位置と両眼中心位置間の位置が視点位置に設定される(ステップST37-4)。
 ステップST31にて取得された投影対象眼情報が非設定を示している場合(ステップST32“NO”かつステップST33“NO”かつステップST34“NO”)、ステップST38の処理が実行される。
 次いで、ステップST39の処理が実行される。
 次に、表示制御システム100aの効果について説明する。
 HUD4の使用者が頭部を右方又は左方に移動させているとき、図29に示す処理が繰り返し実行されることにより、視点位置について以下のような制御が実現される。
 すなわち、右眼位置がアイボックス範囲内にてアイボックス範囲の右端部に近づくにつれて、視点位置が両眼中心位置から左眼位置に向かうように次第に遷移するものとなる。これにより、視点位置が両眼中心位置から左眼位置に急に切り替わるのを回避することができる。また、左眼位置がアイボックス範囲内にてアイボックス範囲の左端部に近づくにつれて、視点位置が両眼中心位置から右眼位置に向かうように次第に遷移するものとなる。これにより、視点位置が両眼中心位置から右眼位置に急に切り替わるのを回避することができる。
 また、左眼がアイボックス範囲内に位置しているとき、右眼位置がアイボックス範囲外にてアイボックス範囲の右端部に近づくにつれて、視点位置が左眼位置から両眼中心位置に向かうように次第に遷移するものとなる。これにより、視点位置が左眼位置から両眼中心位置に急に切り替わるのを回避することができる。また、右眼がアイボックス範囲内に位置しているとき、左眼位置がアイボックス範囲外にてアイボックス範囲の左端部に近づくにつれて、視点位置が右眼位置から両眼中心位置に向かうように次第に遷移するものとなる。これにより、視点位置が右眼位置から両眼中心位置に急に切り替わるのを回避することができる。
 このように、視点位置が急に切り替わるのを回避することができる。換言すれば、視点位置の切替えを滑らかにすることができる。この結果、HUD4における視認性の向上を図ることができる。
 なお、表示制御システム100aは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 以上のように、視点位置設定部28aは、両眼が投影対象眼に設定された場合において、アイボックス範囲の中心部に対する両眼中心位置の右方ずれ量ΔR1が第1閾値Th1以上であるとき、両眼中心位置と左眼位置間の位置を視点位置に設定して、両眼が投影対象眼に設定された場合において、中心部に対する両眼中心位置の左方ずれ量ΔL1が第1閾値Th1以上であるとき、両眼中心位置と右眼位置間の位置を視点位置に設定して、両眼が投影対象眼に設定された場合において、右方ずれ量ΔR1が第1閾値Th1未満であり、かつ、左方ずれ量ΔL1が第1閾値Th1未満であるとき、両眼中心位置を視点位置に設定する。これにより、視点位置の切替えを滑らかにすることができる。この結果、HUD4における視認性の向上を図ることができる。
 また、視点位置設定部28aは、右眼が投影対象眼に設定された場合において、アイボックス範囲の左端部に対する両眼中心位置の左方ずれ量ΔL2が第2閾値Th2以上であるとき、右眼位置を視点位置に設定して、右眼が投影対象眼に設定された場合において、左方ずれ量ΔL2が第2閾値Th2未満であるとき、右眼位置と両眼中心位置間の位置を視点位置に設定する。これにより、視点位置の切替えを滑らかにすることができる。この結果、HUD4における視認性の向上を図ることができる。
 また、視点位置設定部28aは、左眼が投影対象眼に設定された場合において、アイボックス範囲の右端部に対する両眼中心位置の右方ずれ量ΔR2が第2閾値Th2以上であるとき、左眼位置を視点位置に設定して、左眼が投影対象眼に設定された場合において、右方ずれ量ΔR2が第2閾値Th2未満であるとき、左眼位置と両眼中心位置間の位置を視点位置に設定する。これにより、視点位置の切替えを滑らかにすることができる。この結果、HUD4における視認性の向上を図ることができる。
実施の形態3.
 図31は、実施の形態3に係る表示制御システムを含む車両の要部を示すブロック図である。図32は、実施の形態3に係る表示制御システムにおけるECUの要部を示すブロック図である。図31及び図32を参照して、実施の形態3に係る表示制御システムについて説明する。なお、図31において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、図32において、図3に示すブロックと同様のブロックには同一符号を付して説明を省略する。
 図31に示す如く、車両1は、情報源2、ECU3b、HUD4及び被投影部材5を有している。ECU3bにより、表示制御システム100bの要部が構成されている。なお、ECU3bは、HUD4内に設けられたものであっても良い。また、ECU3bは、HUD4外に設けられた第1のECU及びHUD4内に設けられた第2のECUにより構成されているものであっても良い。
 図32に示す如く、ECU3bは、車外環境情報取得部21、ナビゲーション情報取得部22、AR対象物設定部23、表示内容設定部24、各眼位置情報取得部25、両眼中心位置算出部26、投影対象眼設定部27、視点位置設定部28b、表示位置設定部29、画像生成部30及び利き眼情報取得部31を有している。投影対象眼設定部27、視点位置設定部28b、表示位置設定部29及び画像生成部30により、表示制御装置200bの要部が構成されている。
 以下、HUD4の使用者の利き眼を単に「利き眼」ということがある。利き眼情報取得部31は、利き眼を示す情報(以下「利き眼情報」という。)を取得するものである。すなわち、利き眼情報は、右眼及び左眼のうちのいずれが利き眼であるかを示すものである。利き眼情報は、例えば、HUD4の使用者により入力されたものである。利き眼情報は、例えば、情報源2又はメモリ42から取得される。図32において、情報源2と利き眼情報取得部31間の接続線は図示を省略している。利き眼情報取得部31は、当該取得された利き眼情報を視点位置設定部28bに出力するものである。
 視点位置設定部28bは、各眼位置情報取得部25により出力された各眼位置情報及び投影対象眼設定部27により出力された投影対象眼情報を取得するものである。また、視点位置設定部28bは、両眼中心位置算出部26により出力された両眼中心位置情報及び利き眼情報取得部31により出力された利き眼情報のうちの少なくとも一方を取得するものである。視点位置設定部28bは、これらの情報を用いて、HUD4における視点位置を設定するものである。
 すなわち、上記取得された投影対象眼情報が両眼を示している場合、視点位置設定部28bは、上記取得された両眼中心位置情報を用いて、両眼中心位置を視点位置に設定する。または、この場合、視点位置設定部28bは、上記取得された各眼位置情報及び上記取得された利き眼情報を用いて、利き眼の位置(以下「利き眼位置」という。)を視点位置に設定する。上記取得された投影対象眼情報が右眼を示している場合、視点位置設定部28bは、上記取得された各眼位置情報に含まれる右眼位置情報を用いて、右眼位置を視点位置に設定する。上記取得された投影対象眼情報が左眼を示している場合、視点位置設定部28bは、上記取得された各眼位置情報に含まれる左眼位置情報を用いて、左眼位置を視点位置に設定する。
 このようにして、視点位置が設定される。
 以下、視点位置設定部28bの機能に「F8b」の符号を用いることがある。また、利き眼情報取得部31の機能に「F11」の符号を用いることがある。
 ECU3bの要部のハードウェア構成は、実施の形態1にて図8及び図9を参照して説明したものと同様である。このため、詳細な説明は省略する。すなわち、ECU3bは、複数個の機能F1~F7,F8b,F9~F11を有している。複数個の機能F1~F7,F8b,F9~F11の各々は、プロセッサ41及びメモリ42により実現されるものであっても良く、又は処理回路43により実現されるものであっても良い。
 次に、図33のフローチャートを参照して、表示制御システム100bの動作について説明する。なお、図33において、図10に示すステップと同様のステップには同一符号を付して説明を省略する。
 まず、ステップST1~ST4の処理が実行される。
 また、利き眼情報取得部31が利き眼情報を取得する(ステップST11)。次いで、ステップST5~ST7の処理が実行される。次いで、視点位置設定部28bが視点位置を設定する(ステップST8b)。
 次いで、ステップST9,ST10の処理が実行される。
 次に、図34を参照して、視点位置設定部28bの詳細な動作について説明する。すなわち、ステップST8bにおける詳細な処理内容について説明する。なお、図34において、図12に示すステップと同様のステップには同一符号を付して説明を省略する。
 まず、視点位置設定部28bは、各眼位置情報取得部25により出力された各眼位置情報及び投影対象眼設定部27により出力された投影対象眼情報を取得する(ステップST31-1)。次いで、視点位置設定部28bは、両眼中心位置算出部26により出力された両眼中心位置情報及び利き眼情報取得部31により出力された利き眼情報のうちの少なくとも一方を取得する(ステップST31-2)。
 ステップST31-1にて取得された投影対象眼情報が両眼を示している場合(ステップST32“YES”)、視点位置設定部28bは、ステップST31-2にて取得された両眼中心位置情報を用いて、両眼中心位置を視点位置に設定する(ステップST35a)。または、この場合、視点位置設定部28bは、ステップST31-1にて取得された各眼位置情報及びステップST2にて取得された利き眼情報を用いて、利き眼位置を視点位置に設定する(ステップST35a)。
 ステップST31-1にて取得された投影対象眼情報が右眼を示している場合(ステップST32“NO”かつステップST33“YES”)、視点位置設定部28bは、ステップST31-1にて取得された各眼位置情報に含まれる右眼位置情報を用いて、右眼位置を視点位置に設定する(ステップST36)。
 ステップST31-1にて取得された投影対象眼情報が左眼を示している場合(ステップST32“NO”かつステップST33“NO”かつステップST34“YES”)、視点位置設定部28bは、ステップST31-1にて取得された各眼位置情報に含まれる左眼位置情報を用いて、左眼位置を視点位置に設定する(ステップST37)。
 ステップST31-1にて取得された投影対象眼情報が非設定を示している場合(ステップST32“NO”かつステップST33“NO”かつステップST34“NO”)、ステップST38の処理が実行される。
 次いで、ステップST39の処理が実行される。
 なお、表示制御システム100bは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 以上のように、視点位置設定部28bは、両眼が投影対象眼に設定された場合、利き眼位置を視点位置に設定する。右眼がアイボックス範囲内に位置しており、かつ、左眼がアイボックス範囲内に位置している場合、両眼中心位置を視点位置に設定することによりARを実現することができるのはもちろんのこと、利き眼位置を視点位置に設定することによりARを実現することもできる。
実施の形態4.
 図35は、実施の形態4に係る表示制御システムを含む車両の要部を示すブロック図である。図36は、実施の形態4に係る表示制御システムにおけるECUの要部を示すブロック図である。図35及び図36を参照して、実施の形態4に係る表示制御システムについて説明する。なお、図35において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、図36において、図3に示すブロックと同様のブロックには同一符号を付して説明を省略する。
 図35に示す如く、車両1は、情報源2、ECU3c、HUD4及び被投影部材5を有している。ECU3cにより、表示制御システム100cの要部が構成されている。なお、ECU3cは、HUD4内に設けられたものであっても良い。また、ECU3cは、HUD4外に設けられた第1のECU及びHUD4内に設けられた第2のECUにより構成されているものであっても良い。
 図36に示す如く、ECU3cは、車外環境情報取得部21、ナビゲーション情報取得部22、AR対象物設定部23、表示内容設定部24、各眼位置情報取得部25、両眼中心位置算出部26、投影対象眼設定部27、視点位置設定部28、表示位置設定部29、画像生成部30a及び補正量取得部32を有している。投影対象眼設定部27、視点位置設定部28、表示位置設定部29及び画像生成部30aにより、表示制御装置200cの要部が構成されている。
 補正量取得部32は、視点位置設定部28により出力された視点位置情報を取得するものである。ここで、補正量取得部32は、視点位置とAR画像に対する歪み補正処理に用いられるパラメータ(以下「補正量」という。)との対応関係を示すデータベース(以下「補正量データベース」という。)を有している。補正量取得部32は、補正量データベースを用いて、当該取得された視点位置情報が示す視点位置に対応する補正量を取得するものである。補正量取得部32は、当該取得された補正量を画像生成部30aに出力するものである。
 画像生成部30aは、表示内容設定部24により出力された表示内容情報を取得するものである。画像生成部30aは、表示位置設定部29により出力された表示位置情報を取得するものである。画像生成部30aは、当該取得された表示内容情報及び当該取得された表示位置情報を用いて、AR画像を生成するものである。
 ここで、画像生成部30aは、補正量取得部32により出力された補正量を取得する。画像生成部30aは、AR画像を生成するとき、当該取得された補正量による歪み補正処理を実行するようになっている。歪み補正処理には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
 これにより、視点位置に応じた歪み補正を実現することができる。この結果、歪みにより発生する位置ずれを更に抑制することができる。
 以下、画像生成部30aの機能に「F10a」の符号を用いることがある。また、補正量取得部32の機能に「F12」の符号を用いることがある。
 ECU3cの要部のハードウェア構成は、実施の形態1にて図8及び図9を参照して説明したものと同様である。このため、詳細な説明は省略する。すなわち、ECU3cは、複数個の機能F1~F9,F10a,F12を有している。複数個の機能F1~F9,F10a,F12の各々は、プロセッサ41及びメモリ42により実現されるものであっても良く、又は処理回路43により実現されるものであっても良い。
 次に、図37のフローチャートを参照して、表示制御システム100cの動作について説明する。なお、図37において、図10に示すステップと同様のステップには同一符号を付して説明を省略する。
 まず、ステップST1~ST4の処理が実行される。また、ステップST5~ST8の処理が実行される。
 次いで、補正量取得部32が補正量を取得する(ステップST12)。次いで、ステップST9の処理が実行される。次いで、画像生成部30aがAR画像を生成して、画像信号を出力する(ステップST10a)。このとき、画像生成部30aは、ステップST12にて取得された補正量による歪み補正処理を実行する。
 なお、表示制御システム100cは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 また、表示制御システム100cは、視点位置設定部28に代えて視点位置設定部28aを有するものであっても良い。
 また、表示制御システム100cは、利き眼情報取得部31を有するものであっても良い。すなわち、表示制御システム100cは、視点位置設定部28に代えて視点位置設定部28bを有するものであっても良い。
 以上のように、画像生成部30aは、AR画像を生成するとき、視点位置に応じた補正量による歪み補正処理を実行する。これにより、歪みにより発生する位置ずれを更に抑制することができる。この結果、更に適切なARを実現することができる。
 なお、本願開示はその開示の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
 本開示に係る表示制御装置、表示制御システム及び表示制御方法は、HUDに用いることができる。
 1 車両、2 情報源、3,3a,3b,3c 電子制御ユニット(ECU)、4 ヘッドアップディスプレイ(HUD)、5 被投影部材、6 表示部、7 被投影領域、8 携帯情報端末、9 サーバ、11 先進運転支援システム(ADAS)、12 センサ、13 カメラ、14 ナビゲーションシステム、15 GNSS受信機、16 運転者監視システム(DMS)、17 カメラ、21 車外環境情報取得部、22 ナビゲーション情報取得部、23 AR対象物設定部、24 表示内容設定部、25 各眼位置情報取得部、26 両眼中心位置算出部、27 投影対象眼設定部、28,28a,28b 視点位置設定部、29 表示位置設定部、30,30a 画像生成部、31 利き眼情報取得部、32 補正量取得部、41 プロセッサ、42 メモリ、43 処理回路、100,100a,100b,100c 表示制御システム、200,200a,200b,200c 表示制御装置。

Claims (15)

  1.  HUD用の表示制御装置であって、
     右眼位置及び左眼位置に基づき右眼、左眼又は両眼を選択的にAR画像の投影対象眼に設定して、前記投影対象眼を示す設定信号を出力する投影対象眼設定部と、
     前記投影対象眼に応じた視点位置を設定する視点位置設定部と、
     前記視点位置に基づき前記AR画像の表示位置を設定する表示位置設定部と、
     前記表示位置に応じた前記AR画像を生成して、前記AR画像を示す画像信号を出力する画像生成部と、を備え、
     前記HUDにより表示される前記AR画像は、右眼用画像、左眼用画像又は両眼用画像を選択的に含み、
     前記右眼が前記投影対象眼に設定された場合、前記右眼用画像が表示されて、前記左眼が前記投影対象眼に設定された場合、前記左眼用画像が表示されて、前記両眼が前記投影対象眼に設定された場合、前記両眼用画像が表示される
     ことを特徴とする表示制御装置。
  2.  前記投影対象眼設定部は、所定のアイボックス範囲に対する前記右眼の位置関係及び前記アイボックス範囲に対する前記左眼の位置関係に基づき前記投影対象眼を設定することを特徴とする請求項1記載の表示制御装置。
  3.  前記アイボックス範囲は、前記HUDにおける最小両眼虚像知覚範囲に対応する範囲に設定されていることを特徴とする請求項2記載の表示制御装置。
  4.  前記投影対象眼設定部は、
     前記右眼が前記アイボックス範囲内に位置しており、かつ、前記左眼が前記アイボックス範囲内に位置している場合、前記両眼を前記投影対象眼に設定して、
     前記右眼が前記アイボックス範囲内に位置しており、かつ、前記左眼が前記アイボックス範囲外に位置している場合、前記右眼を前記投影対象眼に設定して、
     前記右眼が前記アイボックス範囲外に位置しており、かつ、前記左眼が前記アイボックス範囲内に位置している場合、前記左眼を前記投影対象眼に設定する
     ことを特徴とする請求項2又は請求項3記載の表示制御装置。
  5.  前記視点位置設定部は、前記両眼が前記投影対象眼に設定された場合、両眼中心位置を前記視点位置に設定して、前記右眼が前記投影対象眼に設定された場合、前記右眼位置を前記視点位置に設定して、前記左眼が前記投影対象眼に設定された場合、前記左眼位置を前記視点位置に設定することを特徴とする請求項4記載の表示制御装置。
  6.  前記視点位置設定部は、
     前記両眼が前記投影対象眼に設定された場合において、前記アイボックス範囲の中心部に対する両眼中心位置の右方ずれ量が第1閾値以上であるとき、前記両眼中心位置と前記左眼位置間の位置を前記視点位置に設定して、
     前記両眼が前記投影対象眼に設定された場合において、前記中心部に対する前記両眼中心位置の左方ずれ量が前記第1閾値以上であるとき、前記両眼中心位置と前記右眼位置間の位置を前記視点位置に設定して
     前記両眼が前記投影対象眼に設定された場合において、前記右方ずれ量が前記第1閾値未満であり、かつ、前記左方ずれ量が前記第1閾値未満であるとき、前記両眼中心位置を前記視点位置に設定する
     ことを特徴とする請求項4記載の表示制御装置。
  7.  前記視点位置設定部は、
     前記右眼が前記投影対象眼に設定された場合において、前記アイボックス範囲の左端部に対する両眼中心位置の左方ずれ量が第2閾値以上であるとき、前記右眼位置を前記視点位置に設定して、
     前記右眼が前記投影対象眼に設定された場合において、前記左方ずれ量が前記第2閾値未満であるとき、前記右眼位置と前記両眼中心位置間の位置を前記視点位置に設定する
     ことを特徴とする請求項4記載の表示制御装置。
  8.  前記視点位置設定部は、
     前記左眼が前記投影対象眼に設定された場合において、前記アイボックス範囲の右端部に対する両眼中心位置の右方ずれ量が第2閾値以上であるとき、前記左眼位置を前記視点位置に設定して、
     前記左眼が前記投影対象眼に設定された場合において、前記右方ずれ量が前記第2閾値未満であるとき、前記左眼位置と前記両眼中心位置間の位置を前記視点位置に設定する
     ことを特徴とする請求項4記載の表示制御装置。
  9.  前記視点位置設定部は、前記両眼が前記投影対象眼に設定された場合、利き眼位置を前記視点位置に設定することを特徴とする請求項4記載の表示制御装置。
  10.  前記画像生成部は、前記AR画像を生成するとき、前記視点位置に応じた補正量による歪み補正処理を実行することを特徴とする請求項1記載の表示制御装置。
  11.  前記右眼位置が前記アイボックス範囲内にて前記アイボックス範囲の右端部に近づくにつれて、前記視点位置が両眼中心位置から前記左眼位置に次第に遷移するものであり、
     前記左眼位置が前記アイボックス範囲内にて前記アイボックス範囲の左端部に近づくにつれて、前記視点位置が前記両眼中心位置から前記右眼位置に次第に遷移するものである
     ことを特徴とする請求項4記載の表示制御装置。
  12.  前記右眼位置が前記アイボックス範囲外にて前記アイボックス範囲の右端部に近づくにつれて、前記視点位置が前記左眼位置から両眼中心位置に次第に遷移するものであり、
     前記左眼位置が前記アイボックス範囲外にて前記アイボックス範囲の左端部に近づくにつれて、前記視点位置が前記右眼位置から前記両眼中心位置に次第に遷移するものである
     ことを特徴とする請求項4記載の表示制御装置。
  13.  前記右眼位置が前記アイボックス範囲内にて前記アイボックス範囲の右端部に近づくとき、前記右眼位置が前記右端部に到達するよりも先に前記視点位置が両眼中心位置から前記左眼位置に切り替わるものであり、
     前記左眼位置が前記アイボックス範囲内にて前記アイボックス範囲の左端部に近づくとき、前記左眼位置が前記左端部に到達するよりも先に前記視点位置が前記両眼中心位置から前記右眼位置に切り替わるものである
     ことを特徴とする請求項2又は請求項3記載の表示制御装置。
  14.  HUD用の表示制御システムであって、
     右眼位置及び左眼位置に基づき右眼、左眼又は両眼を選択的にAR画像の投影対象眼に設定して、前記投影対象眼を示す設定信号を出力する投影対象眼設定部と、
     前記投影対象眼に応じた視点位置を設定する視点位置設定部と、
     前記視点位置に基づき前記AR画像の表示位置を設定する表示位置設定部と、
     前記表示位置に応じた前記AR画像を生成して、前記AR画像を示す画像信号を出力する画像生成部と、を備え、
     前記HUDにより表示される前記AR画像は、右眼用画像、左眼用画像又は両眼用画像を選択的に含み、
     前記右眼が前記投影対象眼に設定された場合、前記右眼用画像が表示されて、前記左眼が前記投影対象眼に設定された場合、前記左眼用画像が表示されて、前記両眼が前記投影対象眼に設定された場合、前記両眼用画像が表示される
     ことを特徴とする表示制御システム。
  15.  HUD用の表示制御方法であって、
     投影対象眼設定部が、右眼位置及び左眼位置に基づき右眼、左眼又は両眼を選択的にAR画像の投影対象眼に設定して、前記投影対象眼を示す設定信号を出力するステップと、
     視点位置設定部が、前記投影対象眼に応じた視点位置を設定するステップと、
     表示位置設定部が、前記視点位置に基づき前記AR画像の表示位置を設定するステップと、
     画像生成部が、前記表示位置に応じた前記AR画像を生成して、前記AR画像を示す画像信号を出力するステップと、を備え、
     前記HUDにより表示される前記AR画像は、右眼用画像、左眼用画像又は両眼用画像を選択的に含み、
     前記右眼が前記投影対象眼に設定された場合、前記右眼用画像が表示されて、前記左眼が前記投影対象眼に設定された場合、前記左眼用画像が表示されて、前記両眼が前記投影対象眼に設定された場合、前記両眼用画像が表示される
     ことを特徴とする表示制御方法。
PCT/JP2020/002865 2020-01-28 2020-01-28 表示制御装置、表示制御システム及び表示制御方法 WO2021152683A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/002865 WO2021152683A1 (ja) 2020-01-28 2020-01-28 表示制御装置、表示制御システム及び表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/002865 WO2021152683A1 (ja) 2020-01-28 2020-01-28 表示制御装置、表示制御システム及び表示制御方法

Publications (1)

Publication Number Publication Date
WO2021152683A1 true WO2021152683A1 (ja) 2021-08-05

Family

ID=77078370

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002865 WO2021152683A1 (ja) 2020-01-28 2020-01-28 表示制御装置、表示制御システム及び表示制御方法

Country Status (1)

Country Link
WO (1) WO2021152683A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011180351A (ja) * 2010-03-01 2011-09-15 Equos Research Co Ltd ヘッドアップディスプレイ装置
JP2014068331A (ja) * 2012-09-06 2014-04-17 Nippon Seiki Co Ltd 立体表示装置及びその表示方法
JP2014199385A (ja) * 2013-03-15 2014-10-23 日本精機株式会社 表示装置及びその表示方法
JP2016186561A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2017049468A (ja) * 2015-09-03 2017-03-09 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011180351A (ja) * 2010-03-01 2011-09-15 Equos Research Co Ltd ヘッドアップディスプレイ装置
JP2014068331A (ja) * 2012-09-06 2014-04-17 Nippon Seiki Co Ltd 立体表示装置及びその表示方法
JP2014199385A (ja) * 2013-03-15 2014-10-23 日本精機株式会社 表示装置及びその表示方法
JP2016186561A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2017049468A (ja) * 2015-09-03 2017-03-09 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム

Similar Documents

Publication Publication Date Title
JP6201690B2 (ja) 車両情報投影システム
JP6494877B2 (ja) 表示制御装置及び表示制御方法
US20180370544A1 (en) Driving assistance apparatus
KR102105447B1 (ko) 3차원 증강현실 헤드업 디스플레이의 주변 환경에 따른 오류를 최소화하기 위한 방법 및 장치
WO2019189308A1 (ja) 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
CN110955045B (zh) 显示装置、显示控制方法及存储介质
US10944918B2 (en) Peripheral display device for a vehicle
US20140043466A1 (en) Environment image display apparatus for transport machine
US11216906B2 (en) Display apparatus to control display form of virtual object
JP6184607B2 (ja) 表示制御装置
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP6257978B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2017220760A (ja) 車両用画像処理装置
US11153484B2 (en) Image processing device and image processing method
CN114025983A (zh) 显示控制装置、图像显示系统、移动体、显示控制方法、程序
US20220013046A1 (en) Virtual image display system, image display method, head-up display, and moving vehicle
WO2019208080A1 (ja) 悪路判定装置、表示制御ユニット、及び悪路判定プログラム
WO2021152683A1 (ja) 表示制御装置、表示制御システム及び表示制御方法
US11106045B2 (en) Display system, movable object, and design method
WO2022230995A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
US20220355665A1 (en) Display control device, display device, vehicle, display control method, and recording medium recorded with display control program
JP7066271B2 (ja) 画像処理装置、画像処理方法及びヘッドアップディスプレイシステム
US20200047686A1 (en) Display device, display control method, and storage medium
WO2023003045A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
WO2023074288A1 (ja) 車両用表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20916467

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 20916467

Country of ref document: EP

Kind code of ref document: A1