JP6844510B2

JP6844510B2 - 虚像表示システム

Info

Publication number: JP6844510B2
Application number: JP2017220897A
Authority: JP
Inventors: 圭成原
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2017-11-16
Filing date: 2017-11-16
Publication date: 2021-03-17
Anticipated expiration: 2037-11-16
Also published as: JP2019090964A; WO2019097843A1

Description

本開示は、虚像表示システムに関する。

従来、投影部へ虚像用画像を投影することにより、虚像用画像を視認可能に虚像表示する虚像表示システムが知られている。例えば特許文献１に開示のシステムは、画像表示部、光学部材、アクチュエータ、記憶部、及び表示制御部を備えている。画像表示部は、虚像用画像を表示し、その表示光を投影部側へ向けて射出する。アクチュエータは、光学部材を回転又は移動させる。記憶部は、アクチュエータを駆動させる契機となるトリガ信号に対応付けられた基準ワーピングパラメタを格納している。表示制御部は、トリガ信号とワーピングパラメタとを用いて、虚像用画像を変形表示させる。

特開２０１５−８７６１９号公報

しかしながら、特許文献１のシステムでは、画像表示部の虚像用画像を変形表示するものの、その変形は光学部材の位置又は角度で自動的に決まってしまう。したがって、ユーザ各人の好む形状に、虚像を表示させることができなかった。

開示されるひとつの目的は、ユーザの好む形状に、虚像を表示させることが可能な虚像表示システムを提供することにある。

ここに開示された虚像表示システムは、投影部（３ａ）へ虚像用画像を投影することにより、虚像用画像を視認可能に虚像表示する虚像表示システムであって、
虚像用画像を表示し、虚像用画像の表示光を投影部側へ向けて射出する画像表示部（１４）と、
虚像用画像に定義された操作マーカ（ＯＭ）の座標を変位させるユーザ操作を、検出する操作検出部（３１，３８，２２９）と、
画像表示部に虚像用画像として表示される調整画像を、操作マーカの座標変位情報に基づいた形状にて変形表示させる表示制御部（２３，２２３）と、
ユーザ操作の操作対象としての複数の操作マーカ及び各操作マーカの間を結ぶ格子を含んだ操作画像、を表示するマーカ表示部（３３，３６，２２５）と、を備え、
マーカ表示部は、操作検出部と一体的なタッチパネル状に形成され、
調整画像は、操作画像の操作マーカ及び格子に連動する操作マーカ及び格子を含んでいる。

このような虚像表示システムによると、画像表示部に表示される虚像用画像の表示を制御する表示制御部は、操作マーカの座標変位情報に基づいた形状にて、当該虚像用画像を当該画像表示部にて変形表示させる。こうした座標変位情報を構成する操作マーカの座標の変位は、操作検出部が操作マーカの座標を変位させるユーザ操作を検出することで、反映される。すなわち、ユーザが操作マーカの座標を変位させると、この変位に応じて、画像表示部に表示される虚像用画像が変形することとなる。変形した虚像用画像の表示光が投影部側へ向けて射出されることにより、当該虚像用画像が変形表示を反映させて虚像表示されるのである。したがって、虚像表示システムは、ユーザの好む形状に虚像を表示させることができる。

なお、括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。

第１実施形態の虚像表示システムの車両への搭載状態を示す模式図である。第１実施形態の虚像表示システムの概略的なブロック図である。第１実施形態の操作マーカの定義について説明するための図である。第１実施形態の操作マーカのユーザ操作について説明するための図である。第１実施形態において、調整モードの開始時の表示例を示す図であって、（ａ）は虚像の表示、（ｂ）は操作用画像を示している。第１実施形態において、調整モードの終了時の表示例を示す図であって、（ａ）は虚像の表示、（ｂ）は操作用画像を示している。第１実施形態における曲線近似を説明するための図である。第１実施形態の調整モードにおけるフローチャートである。第１実施形態の調整モードにおけるフローチャートである。第２実施形態における図２に対応する図である。第２実施形態における図４に対応する図である。第２実施形態における虚像の表示を説明する図である。

以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。

（第１実施形態）
図１に示すように、本開示の第１実施形態による虚像表示システム１００は、車両１に用いられ、当該車両１に搭載されている。虚像表示システム１００は、車両１のウインドシールド３に設定された投影部３ａへ向けて虚像用画像を投影する。これにより虚像表示システム１００は、虚像用画像を、ユーザとしての車両１の乗員により視認可能に虚像表示する。すなわち、投影部３ａにて反射される虚像用画像の表示光が、車両１の室内において運転席４に着座するユーザのアイポイントＥＰに到達し、当該ユーザが当該表示光を虚像ＶＲＩとして知覚する。虚像用画像として虚像表示される各種情報としては、例えば車速、燃料残量等の車両１の状態を示す情報、又は視界補助情報、道路情報等のナビゲーション情報等が挙げられる。

以下において、特に断り書きが無い限り、前方、後方、前後方向、上方、下方、上下方向、左方、右方、及び左右方向は、水平面ＨＰ上の車両１を基準として表記される。

車両１のウインドシールド３は、例えばガラスないしは合成樹脂により透光性の板状に形成され、インストルメントパネル２よりも上方に配置されている。ウインドシールド３は、表示光が投影される投影部３ａを、滑らかな凹面状又は平面状に形成している。なお、投影部３ａは、ウインドシールド３に設けられていなくてもよい。例えば車両１と別体となっているコンバイナを車両１内に設置して、当該コンバイナに投影部３ａが設けられていてもよい。

このような投影部３ａを用いて虚像ＶＲＩを表示する虚像表示システム１００の具体的構成を、以下に説明する。虚像表示システム１００は、図２にも示すように、ヘッドアップディスプレイ（以下、ＨＵＤ）１０及びセンターパッド（以下、ＣＰ）３０等により構成されている。

ＨＵＤ１０は、虚像ＶＲＩを表示するための表示光を投射する虚像表示装置である。ＨＵＤ１０は、インストルメントパネル２内に設置されており、ハウジング１１、画像表示部１４、導光部１８、及び演算部２２等により構成されている。

ハウジング１１は、ＨＵＤ１０の他の要素を収容する中空形状を呈している。ハウジング１１は、インストルメントパネル２の上面部に設けられた開口を介して投影部３ａと対向する上方に、窓部１１ａを有している。窓部１１ａは、表示光を透過可能な防塵カバー１２で覆われている。

画像表示部１４は、例えば液晶式の表示器である。画像表示部１４は、液晶パネル１５及びバックライト１６をケーシング１４ａに収容して形成されている。画像表示部１４は、バックライト１６により液晶パネル１５の表示画面１５ａを透過照明することで、当該表示画面１５ａに虚像用画像を表示し、虚像用画像の表示に寄与する表示光を光路上の投影部３ａ側へ向けて射出するようになっている。

ここで本実施形態の液晶パネル１５は、薄膜トランジスタ（Thin Film Transistor、ＴＦＴ）を用いた液晶パネルであって、例えば２次元方向に配列された複数の液晶画素から形成されたアクティブマトリクス型の液晶パネルである。液晶パネル１５は、バックライト１６からの光の入射により、液晶画素毎の当該光の透過率を制御可能となっており、表示画面１５ａから射出される表示光によって虚像用画像を形成することが可能となっている。

より隣り合う液晶画素には、互いに異なる色（例えば、赤色、緑色、及び青色）のカラーフィルタが設けられており、これらの組み合わせにより様々な色が実現されるようになっている。

なお、画像表示部１４のパネルには、液晶パネル以外の、例えば有機ＥＬ方式のパネルが採用されてもよい。また、画像表示部１４には、レーザ光速が入射するマイクロミラーの向きを走査することでスクリーン上に画像を形成するレーザスキャナ方式、又はＤＬＰ（Digital Light Processing；登録商標）方式を採用することができる。

導光部１８は、画像表示部１４から入射した表示光を、投影部３ａへと導光する。導光部１８は、例えば平面鏡１９及び凹面鏡２０を有している。平面鏡１９は、合成樹脂ないしはガラス等からなる基材の表面に、アルミニウムを蒸着させること等により反射面を形成した反射鏡である。平面鏡１９の反射面は、滑らかな平面状に形成されている。画像表示部１４から平面鏡１９に入射した表示光は、反射面により凹面鏡２０へ向けて反射される。

凹面鏡２０は、合成樹脂ないしはガラス等からなる基材の表面に、アルミニウムを蒸着させること等により反射面を形成した反射鏡である。凹面鏡２０の反射面は、凹状に湾曲することで、滑らかな凹面状に形成されている。凹面鏡２０に入射した表示光は、反射面により投影部３ａへ向けて反射される。ここで、凹面鏡２０での反射面での反射によって虚像ＶＲＩを拡大することが可能となると共に、反射面を自由曲面状に形成することで、虚像ＶＲＩの歪みを低減することができる。また、凹面鏡２０は、左右方向に延びる回転軸１８ａまわりに回動可能となっており、虚像ＶＲＩが表示される上下方向の位置を調整することができるようになっている。

こうして凹面鏡２０の反射面に反射された表示光は、防塵カバー１２を透過することでＨＵＤ１０の外部へ射出され、ウインドシールド３の投影部３ａに入射するのである。こうして投影部３ａに反射された表示光がユーザの眼に到達すると、当該ユーザは虚像ＶＲＩを視認可能となるのである。

演算部２２は、少なくとも１つのプロセッサ、メモリ２２ａ、入出力インターフェース等を基板上に実装した電子回路となっている。プロセッサは、入出力インターフェースを通じて入力された信号に基づいて、メモリ２２ａに記憶されているコンピュータプログラムを実行することで、各種処理を実施可能となっている。また、演算部２２は、入出力インターフェースを通じて、画像表示部１４と通信可能となっていると共に、ＣＰ３０とも通信可能となっている。

ここでいう通信可能な状態は、ケーブル等による電気的接続により実現されていてもよいし、無線通信により実現されていてもよい。

ＣＰ３０は、インストルメントパネル２において左右方向に並ぶ運転席４と助手席との中間位置、すなわちインストルメントパネル２の中心位置に設置されている操作入力装置である。ＣＰ３０は、２つのパネル３１，３３を一体的に形成することで、操作用画像を表示可能にされていると共に、タッチ面３０ａ上へのタッチ等のユーザ操作を検出可能なタッチパネル状に形成されている。ＣＰ３０は、検出パネル３１、表示パネル３３及び演算部３５等により構成されている。

検出パネル３１は、例えば透光性の基板にカバーフィルムが貼り付けられて形成されている。カバーフィルムは、薄肉のフィルムであり、ユーザ側に露出することで、矩形状のタッチ面３０ａを形成している。カバーフィルムには、電極が複数設けられており、ユーザのタッチ操作に応じて生ずる電極間の静電容量の変化に基づいて、タッチ操作されたタッチ面３０ａ上の位置を特定可能となっている。なお、検出パネル３１は、静電容量方式以外の、例えば抵抗膜方式によりタッチ操作を検出するようにしてもよい。

表示パネル３３は、検出パネル３１を挟んでタッチ面３０ａとは反対側に配置され、操作用画像を表示することが可能な液晶パネルである。本実施形態の表示パネル３３は、薄膜トランジスタ（Thin Film Transistor、ＴＦＴ）を用いた液晶パネルであって、例えば２次元方向に配列された複数の液晶画素から形成されたアクティブマトリクス型の液晶パネルである。表示パネル３３は、バックライトからの光の入射により、液晶画素毎の当該光の透過率を制御可能となっており、表示画面から射出される表示光によって操作用画像を形成することが可能となっている。こうした表示光が検出パネル３１を透過することで、ユーザは、操作用画像を視認可能となっている。

なお、表示パネル３３には、液晶パネル以外の、例えば有機ＥＬ方式の表示パネルが採用されてもよい。

演算部３５は、少なくとも１つのプロセッサ、メモリ３５ａ、入出力インターフェース等を基板上に実装した電子回路となっている。プロセッサは、入出力インターフェースを通じて入力された信号に基づいて、メモリ３５ａに記憶されているコンピュータプログラムを実行することで、各種処理を実施可能となっている。また、演算部３５は、入出力インターフェースを通じて、検出パネル３１及び表示パネル３３と通信可能となっていると共に、ＨＵＤ１０とも通信可能となっている。

このような虚像表示システム１００において、表示される虚像ＶＲＩは、表示光の凹面鏡２０での反射及び投影部３ａでの反射等により、画像表示部１４で表示された虚像用画像に対して、多少歪んだ状態で表示され得る。ＨＵＤ１０により表示される虚像ＶＲＩに生じる光学的な歪みとして代表的又は特徴的なものは、所謂スマイル歪みである。スマイル歪みとは、例えば、画像表示部１４で矩形状に表示された虚像用画像が、虚像ＶＲＩとして表示される際、中央部分から左方及び右方に向かう程、上方又は下方へ少しずつずれるように湾曲して歪んでしまう歪みである。その他にも、投影部３ａの形状に応じて、虚像ＶＲＩに複雑な歪みが発生し得る。

本実施形態の虚像表示システム１００では、画像表示部１４で表示される虚像用画像を予め変形表示することで、こうした歪んだ表示状態をユーザが好む形に調整することが可能となっている。例えば、ユーザがＣＰ３０に表示された調整アイコンをタッチ操作することにより、調整モードが開始される。以下、調整モード、及び調整モードでの調整の結果による虚像用画像の変形表示について詳細に説明する。

ＣＰ３０の演算部３５において、プロセッサがコンピュータプログラムとしての操作入力プログラムを実行することにより、機能ブロックが構築されている。演算部３５は、こうした機能ブロックとして、マーカ画像生成部３６、変位検出部３８、及び情報出力部３９を有している。マーカ画像生成部３６は、マーカ態様設定部３７を有している。

ＨＵＤ１０の演算部２２において、プロセッサがコンピュータプログラムとしての画像変形プログラムを実行することにより、機能ブロックが構築されている。演算部２２は、こうした機能ブロックとして、情報取得部２８及び表示制御部２３を有している。表示制御部２３は、マーカ定義部２４、調整画像表示部２５、曲線近似部２６、及び画像変形部２７を有している。

マーカ画像生成部３６は、虚像用画像に定義された操作マーカＯＭを表示パネル３３に表示するための操作用画像を生成する。操作マーカＯＭは、マーカ定義部２４により、図３に示すように定義されている。

具体的に本実施形態では、非変形状態の虚像用画像が、横方向４区画かつ縦方向２区画に仮想的に実質等間隔で分割されている。この区画の境界線は、格子状に表現でき、この格子ＧＲの交点に、操作マーカＯＭが仮想的に定義されている。本実施形態において、操作マーカＯＭは、全ての交点に定義されておらず、一部の交点に定義されている。詳細に、操作マーカＯＭは、格子ＧＲの最外周部において、横方向の並びに３つ、縦方向の並びに３つ定義されている。すなわち最外周部では、横方向にて交点を１つ飛ばしで３つの操作マーカＯＭが定義され、縦方向にて各交点に操作マーカＯＭが定義されている。格子ＧＲの中心の交点Ｐ８は、虚像用画像の中心に対応しているため、変位できないようにすることが好ましく、本実施形態では操作マーカＯＭが定義されていない。したがって、図３におけるＰ１，Ｐ３，Ｐ５，Ｐ６，Ｐ１０，Ｐ１１，Ｐ１３，Ｐ１５の合計８交点に操作マーカＯＭがそれぞれ定義されている。

なお、ここでいう横方向とは、虚像用画像が虚像表示されるときに車両１の左右方向に重なる方向であり、縦方向とは、虚像用画像が虚像表示されるときに車両１の上下方向に重なる方向である。

こうした操作マーカＯＭの定義に基づいて、マーカ画像生成部３６は、格子ＧＲ及び各操作マーカＯＭを操作用画像上に描画する。各操作マーカＯＭの表示態様は、マーカ態様設定部３７にて設定される。マーカ態様設定部３７は、各操作マーカＯＭの形状、色及び大きさを設定する。具体的に本実施形態では、マーカ態様設定部３７は、各操作マーカＯＭの形状を、丸形状に設定する。これと共に、マーカ態様設定部３７は、各操作マーカＯＭを、互いに異なる表示色に設定する。したがって、各操作マーカＯＭは、表示パネル３３にて、互いに異なる態様で表示される。

調整モードの開始時には、各操作マーカＯＭは初期位置に存在するので、実質矩形状の格子ＧＲと、直線的に並んだ各操作マーカＯＭがＣＰの表示パネル３３に表示される。

変位検出部３８は、検出パネル３１からの電気信号に基づいて、各操作マーカＯＭの座標を変位させるユーザ操作を検出する。すなわち、ユーザは、表示パネル３３に表示された操作対象としての操作マーカＯＭの１つをタッチした状態でスライドする操作を行なうことにより、当該操作マーカＯＭの座標を変位させることができる。変位検出部３８は、こうしたユーザ操作を検出すると、当該ユーザ操作のスライド方向及びスライド量から該当操作マーカＯＭの座標の変位量を算出する。

情報出力部３９は、変位検出部３８が算出した変位量を、座標変位情報として、ＨＵＤ１０の演算部２２に対して電気信号として出力する。

また、座標変位情報に基づいて、マーカ画像生成部３６は、格子ＧＲ及び各操作マーカＯＭを操作用画像上に再描画する。すなわち、座標が変位した操作マーカＯＭの表示位置を、変位量に基づいて変更すると共に、格子ＧＲとして表示されている各直線を、表示位置が変更された各操作マーカＯＭ間を結ぶように変更する。

一方、情報取得部２８は、情報出力部３９がＨＵＤ１０の演算部２２に出力した座標変位情報を取得する。こうした座標変位情報のデータは、例えば演算部２２のメモリ２２ａに保存される。こうした保存形態より、メモリ２２ａの記憶容量を極端に低減することができる。本実施形態では、調整モードを開始する時に、ユーザを選択又は登録できるようになっており、座標変位情報のデータは、当該ユーザ毎に保存されている。

表示制御部２３は、画像表示部１４による虚像用画像の表示を制御する。調整モードにおいては、調整画像表示部２５が虚像用画像としての調整画像を画像表示部１４に表示させる。したがって、図４に示すように、操作用画像と共に、調整画像の表示に対応した虚像ＶＲＩが表示される。調整画像は、マーカ画像生成部３６により表示パネル３３に操作用画像として表示された格子ＧＲ及び各操作マーカＯＭに連動した画像である。特に本実施形態の調整画像は、凹面鏡２０等の反射を考慮して画像が上下反転されていることを除けば、実質的に操作用画像と同様の画像となっている。

そして、ユーザ操作によって操作マーカＯＭの座標が変位すると、調整画像表示部２５は、情報取得部２８が取得した座標変位情報を反映して、格子ＧＲ及び各操作マーカＯＭを調整画像上に再描画する。こうして操作用画像と調整画像とは、調整モード中、連動して表示される。

ここで、調整モードの開始時には、図５に示すように、実質矩形状の格子ＧＲと、直線的に並んだ各操作マーカＯＭがＨＵＤ１０の画像表示部１４に表示されるのであるが、ＨＵＤ１０では、表示光が凹面鏡２０及び投影部３ａを経由する間に、光学的に歪みが発生する。このため、調整画像が虚像表示されるときには、歪みを伴って表示されることとなる。

しかしながら、ユーザは、虚像表示に際して歪みを伴った調整画像を参照しながら、ＣＰ３０に対して操作マーカＯＭの座標を変位させるユーザ操作を行なうことができる。したがって、ユーザは、例えば図６に示すように調整画像が矩形状の格子ＧＲと、直線的に並んだ各操作マーカＯＭとして虚像表示されるように、ユーザ操作を繰り返して、虚像ＶＲＩが所望の形状になるように調整することができる。

調整モードが終了すると、上述のように調整の結果が座標変位情報のデータとして、メモリ２２ａに保存される。こうした座標変位情報のデータは、調整モード中以外にＣＰ３０を操作することにより、適宜呼び出すことができる。

曲線近似部２６は、呼び出された座標変位情報のデータを基に、格子ＧＲの各交点を曲線近似により補間する。より詳細に、曲線近似部２６は、図７に示すように、横方向の各交点を、２次関数により曲線で近似する。

例えば、操作マーカＯＭの座標が変位された状態の交点Ｐｎの座標が（Ｘ_ｎ，Ｙ_ｎ）であるとする。ここでｎは、図３，７における各交点Ｐ１，…，Ｐ１５の数字部分である。このとき、横方向に並ぶ交点Ｐ１〜Ｐ５は、ｙ＝ａ・ｘ^２＋ｂ・ｘ＋ｃの２次関数で近似でき、交点Ｐ６〜Ｐ１０は、ｙ＝ｄ・ｘ^２＋ｅ・ｘ＋ｆの２次関数で近似でき、交点Ｐ１〜Ｐ５は、ｙ＝ｇ・ｘ^２＋ｈ・ｘ＋ｉの２次関数で近似できる。

そして、操作マーカＯＭが定義されなかった各交点Ｐ２，Ｐ４，Ｐ７，Ｐ９，Ｐ１２，Ｐ１４の座標（Ｘ_ｎ，Ｙ_ｎ）は、Ｘ_ｎ＝（Ｘ_ｎ−１，Ｘ_ｎ＋１）／２及びＹ_ｎ＝（ａ・Ｘ_ｎ ^２＋ｂ・Ｘ_ｎ＋ｃ）で表すことができる。ここでａ，ｂ，ｃは、近似式の係数であって、交点Ｐ２，Ｐ４については、上述の２次関数の係数ａ，ｂ，ｃをそのまま適用し、交点Ｐ７，Ｐ９については、上述の２次関数の係数ｄ，ｅ，ｆを代入し，交点Ｐ１２，Ｐ１４については、上述の２次関数の係数ｇ，ｈ，ｉを代入する。

画像変形部２７は、虚像用画像として表示する予定の変形前の画像を、曲線近似部２６により算出された各交点の座標及び曲線を用いて変形処理する。変形処理後の虚像用画像が画像表示部１４の表示画面１５ａに表示される。

このようにして、表示制御部２３は、画像表示部１４に表示される虚像用画像を、操作マーカＯＭの座標変位情報に基づいた形状にて変形表示するのである。そうすると、画像表示部１４から射出された表示光は、凹面鏡２０等を経由することにより、光学的な歪み作用を受けることとなるが、実際に表示される虚像ＶＲＩは、事前に調整モードでの調整により予め変形表示された虚像用画像を投影したものであるので、ユーザの好みが反映された形状となっている。すなわち、ユーザが調整モードで格子ＧＲの歪みを感じないように操作マーカＯＭを変位設定すると、凹面鏡２０等による光学的な歪みが相殺された虚像ＶＲＩを視認することができる。

以下、このような虚像表示システム１００により、調整モードにて実行される処理を、図８のフローチャートに基づいて説明する。

まず、ステップＳ１０１では、マーカ定義部２４が操作マーカＯＭを定義する。ステップＳ１０１の処理後、ステップＳ１０２へ移る。

ステップＳ１０２では、マーカ態様設定部３７が、操作マーカＯＭの表示態様を設定する。ステップＳ１０２の処理後、ステップＳ１０３へ移る。

ステップＳ１０３では、マーカ画像生成部３６が、格子ＧＲ及び各操作マーカＯＭを操作用画像上に生成し、当該操作用画像をＣＰ３０の表示パネル３３に表示する。同様に、調整画像表示部２５は、虚像用画像としての調整画像をＨＵＤ１０の画像表示部１４に表示する。ステップＳ１０３の処理後、ステップＳ１０４へ移る。

ステップＳ１０４では、変位検出部３８は、ユーザ操作の受付を開始する。ステップＳ１０４の処理後、ステップＳ１０５へ移る。

ステップＳ１０５では、検出パネル３１に対してユーザ操作が行われると、変位検出部３８がユーザ操作による操作マーカＯＭの座標の変位を検出する。こうした検出に基づいて操作マーカＯＭの変位量が算出される。こうして検出されたステップＳ１０５の処理後、ステップＳ１０６へ移る。

ステップＳ１０６では、ステップＳ１０５により算出された変位量を反映した座標変位情報に基づいて、マーカ画像生成部３６は、格子ＧＲ及び各操作マーカＯＭを操作用画像に再描画する。こうした再描画に連動して、調整画像表示部２５も、格子ＧＲ及び各操作マーカＯＭを虚像用画像に再描画する。ステップＳ１０６の後、ステップＳ１０７へ移る。

ステップＳ１０７にて、調整モードが終了されない場合には、再びステップＳ１０４へ戻り、調整モードが終了される場合には、ステップＳ１０８へ移る。

ステップＳ１０８では、演算部２２のメモリ２２ａに座標変位情報が保存される。ステップＳ１０８を以って一連の処理を終了する。

以下、虚像表示システム１００により、虚像用画像を変形表示する処理を、図９のフローチャートに基づいて説明する。

まず、ステップＳ２０１では、現在のユーザが以前調整モードにて保存した座標変位情報を呼び出す。ステップＳ２０１の処理後、ステップＳ２０２へ移る。

ステップＳ２０２では、曲線近似部２６は、呼び出された座標変位情報に基づき、格子ＧＲの各交点を曲線近似により補完する。ステップＳ２０２の処理後、ステップＳ２０３へ移る。

ステップＳ２０３では、画像変形部２７は、虚像用画像を変形処理する。ステップＳ２０３の処理後、ステップＳ２０４へ移る。

ステップＳ２０４では、表示制御部２３は、変形処理後の虚像用画像をＨＵＤ１０の画像表示部１４にて表示する。ステップＳ２０４を以って一連の処理を終了する。

なお、第１実施形態では、検出パネル３１又は変位検出部３８がユーザ操作を検出する「操作検出部」に相当し、表示パネル３３又はマーカ画像生成部３６が操作マーカＯＭを表示する「マーカ表示部」に相当する。

（作用効果）
以上説明した本実施形態の作用効果を改めて説明する。

第１実施形態の虚像表示システム１００によると、画像表示部１４に表示される虚像用画像の表示を制御する表示制御部２３は、操作マーカＯＭの座標変位情報に基づいた形状にて、当該虚像用画像を当該画像表示部１４にて変形表示させる。こうした座標変位情報を構成する操作マーカＯＭの座標の変位は、操作検出部としての検出パネル３１及び変位検出部３８が操作マーカＯＭの座標を変位させるユーザ操作を検出することで、反映される。すなわち、ユーザが操作マーカＯＭの座標を変位させると、この変位に応じて、画像表示部１４に表示される虚像用画像が変形することとなる。変形した虚像用画像の表示光が投影部３ａ側へ向けて射出されることにより、当該虚像用画像が変形表示を反映させて虚像表示されるのである。したがって、虚像表示システム１００は、ユーザの好む形状に虚像ＶＲＩを表示させることができる。

また、第１実施形態によると、マーカ表示部としての表示パネル３３及びマーカ画像生成部３６が操作マーカＯＭを表示するので、ユーザが操作対象としての操作マーカＯＭの表示を明確に視認することができる。したがって、ユーザは、操作マーカＯＭの表示を確認しながら、容易に操作マーカＯＭの座標を変位させることができる。したがって、ユーザの好む形状に虚像ＶＲＩを表示させるにあたって、ユーザ操作の良好な操作性を実現することができる。

また、第１実施形態によると、マーカ表示部と操作検出部とが一体的なタッチパネル状に形成されているので、ユーザは、マーカ表示部に対して直接的にユーザ操作を行なうことができる。したがって、ユーザの好む形状に虚像ＶＲＩを表示させるにあたって、ユーザ操作の良好な操作性を実現することができる。

また、第１実施形態によると、ユーザは、マーカ表示部により表示された操作マーカＯＭをタッチした状態でスライドすることにより、操作マーカＯＭの座標を変位させることができる。このため、より直感的にユーザ操作を行なうことができる。したがって、ユーザの好む形状に虚像ＶＲＩを表示させるにあたって、ユーザ操作の良好な操作性を実現することができる。

また、第１実施形態によると、操作マーカＯＭが虚像用画像の横方向の並びに３つ以上、かつ、虚像用画像の縦方向の並びに３つ以上、定義されているので、中間の操作マーカＯＭの座標を変位することにより、虚像表示において光学的に発生し易いスマイル歪みを、容易に相殺して表示することが可能となる。

また、第１実施形態によると、座標変位情報のデータは、情報保存部としてのメモリ２２ａにてユーザ毎に保存されている。このようにすることで、各ユーザが虚像表示システム１００を表示する毎にユーザ操作を行わなくても、以前にユーザ操作により調整した自分の座標変位情報のデータを呼び出すことで、各ユーザの好む形状に虚像ＶＲＩを表示させることができる。

また、第１実施形態の虚像表示装置としてのＨＵＤ１０によると、画像表示部１４に表示される虚像用画像の表示を制御する表示制御部２３は、操作マーカＯＭの座標変位情報に基づいた形状にて、当該虚像用画像を当該画像表示部１４にて変形表示させる。こうした座標変位情報を構成する操作マーカＯＭの座標の変位は、情報保存部としてのメモリ２２ａが操作マーカＯＭの座標を変位させるユーザ操作により生成されたデータを保存することにより、反映され得る。すなわち、ユーザが操作マーカＯＭの座標を変位させると、この変位に応じて、画像表示部１４に表示される虚像用画像が変形することとなる。変形した虚像用画像の表示光が投影部３ａ側へ向けて射出されることにより、当該虚像用画像が変形表示を反映させて虚像表示されるのである。したがって、ユーザの好む形状に虚像ＶＲＩを表示させることができる。

また、第１実施形態の操作入力装置としてのＣＰ３０によると、情報出力部３９が虚像用画像に定義された操作マーカＯＭの座標変位情報を出力する。こうした座標変位情報を構成する操作マーカＯＭの座標の変位は、操作検出部が操作マーカＯＭの座標を変位させるユーザ操作を検出することで、反映される。ここで、マーカ表示部が操作マーカＯＭを表示するので、ユーザが操作対象としての操作マーカＯＭの表示を視認しながら、容易に操作マーカＯＭの座標を変位させることできる。こうしたユーザ操作に応じて、画像表示部１４の虚像用画像は操作マーカＯＭの座標変位情報に基づいた形状にて変形表示されることとなる。変形した虚像用画像の表示光が投影部３ａ側へ向けて射出されることにより、当該虚像用画像が変形表示を反映させて虚像表示されるのである。したがって、ＣＰにより、ユーザの好む形状に虚像ＶＲＩを表示させるにあたって、良好な操作性を実現することができる。

また、第１実施形態の虚像表示方法によると、操作マーカＯＭの座標変位情報に基づいた形状にて、虚像用画像を当該画像表示部にて変形表示する。こうした座標変位情報を構成する操作マーカＯＭの座標の変位は、虚像用画像に操作マーカＯＭを定義し、操作マーカＯＭの座標を変位させるユーザ操作を受け付け、さらにユーザ操作の検出結果から当該座標変位情報を生成することで、反映される。すなわち、ユーザが操作マーカＯＭの座標を変位させると、この変位に応じて、画像表示部１４に表示される虚像用画像が変形することとなる。そして、変形表示された虚像用画像の表示光を投影部３ａ側へ向けて射出するので、当該虚像用画像が変形表示を反映させて虚像表示されるのである。したがって、この虚像表示方法によって、ユーザの好む形状に虚像ＶＲＩを表示させることができる。

また、第１実施形態のプログラムによると、画像表示部１４に表示される虚像用画像の表示を制御す表示制御部２３は、操作マーカＯＭの座標変位情報に基づいた形状にて、当該虚像用画像を当該画像表示部１４にて変形表示させる。こうした座標変位情報を構成する操作マーカＯＭの座標の変位は、操作検出部が操作マーカＯＭの座標を変位させるユーザ操作を検出することで、反映される。すなわち、ユーザが操作マーカＯＭの座標を変位させると、この変位に応じて、画像表示部１４に表示される虚像用画像が変形することとなる。変形した虚像用画像の表示光が投影部３ａ側へ向けて射出されることにより、当該虚像用画像が変形表示を反映させて虚像表示されるのである。したがって、ユーザの好む形状に虚像ＶＲＩを表示させることができる。

（第２実施形態）
図１０〜１２に示すように、第２実施形態は第１実施形態の変形例である。第２実施形態について、第１実施形態とは異なる点を中心に説明する。

第２実施形態の虚像表示システム２００は、図１０に示すように、ＣＰ３０を用いておらず、その代り、リモートタッチコントローラ（以下、ＲＴＣ）２０５を用いている。図１１に示すようにＲＴＣ２０５は、例えば運転席４と助手席との間のセンタコンソールに設置されている。ＲＴＣ２０５は、ＨＵＤ２１０と通信可能となっている。ＲＴＣ２０５は、各方位に傾倒可能な操作ノブ２０５ａを有しており、コンピュータ操作に用いられるマウスと同様の感覚でユーザ操作を行なうことが可能となっている。

第２実施形態のＨＵＤ２１０の演算部２２２は、こうした機能ブロックとして、表示制御部２２３及び変位検出部２２９を有している。表示制御部２２３は、マーカ定義部２４、調整画像表示部２２５、曲線近似部２６、及び画像変形部２７を有している。

ここで、第２実施形態の調整画像表示部２２５は、第１実施形態におけるマーカ画像生成部３６の機能も兼ねている。すなわち、調整モードにおいて、調整画像表示部２２５は、マーカ定義部２４による操作マーカＯＭの定義に基づいて、格子ＧＲ及び各操作マーカＯＭを虚像用画像としての調整画像上に描画する。

さらに図１２に示すように、調整画像表示部２２５は、格子ＧＲ及び各操作マーカＯＭに重畳するように、カーソルＣＳと、操作マーカＯＭの理想の位置を示す表示としてのガイド枠ＧＦを描画する。カーソルＣＳは、例えば矢印状に表示されるポインタであり、ＲＴＣ２０５の操作ノブ２０５ａを操作することにより表示位置が移動するようになっている。カーソルＣＳは、操作対象としての操作マーカＯＭを指し示すことが可能となっている。

ガイド枠ＧＦは、予めメモリ２２ａに記憶されている理想の座標変位情報に基づいて、ユーザ操作をガイドするべく表示される表示物であって、格子ＧＲの最外周部に対応した矩形枠状に表示される。この理想の座標変位情報は、ユーザに想定される視点に対して、変形後の虚像用画像が虚像ＶＲＩの歪みが最小となるように、設計段階で実験又は光学シミュレーションにより求めた結果得られた変位量を、予め記憶したものである。すなわち、調整モードにてユーザが理想の位置を示す表示と重なるように各操作マーカＯＭの座標を変位させて調整を行なうと、調整後、光学的な歪みが実質最小の虚像ＶＲＩを視認することができるようになる。

変位検出部２２９は、ＲＴＣ２０５の操作ノブ２０５ａからの信号に基づいて、各操作マーカＯＭの座標を変位させるユーザ操作を検出する。すなわち、ユーザは、虚像ＶＲＩとして表示された操作対象としての操作マーカＯＭを１つに対して、カーソルＣＳによりドラックアンドドロップ操作を行なうことにより、当該操作マーカＯＭの座標を変位させることができる。変位検出部２２９は、こうしたユーザ操作を検出すると、当該ユーザ操作のスライド方向及びスライド量から該当操作マーカＯＭの座標の変位量を算出する。

そして、ユーザ操作によって操作マーカＯＭの座標が変位すると、調整画像表示部２２５は、変位後の座標変位情報を反映して、格子ＧＲ及び各操作マーカＯＭを調整画像上に再描画する。このとき、操作マーカＯＭがガイド枠ＧＦと重なると、当該操作マーカＯＭの表示態様が変化するようになっている。特に本実施形態では、操作マーカＯＭの色が緑色に変化するようになっている。

なお、第２実施形態では、変位検出部２２９がユーザ操作を検出する「操作検出部」に相当し、調整画像表示部２２５が操作マーカＯＭを表示する「マーカ表示部」に相当する。

以上説明した第２実施形態によると、画像表示部１４を用いることにより、操作対象としての操作マーカＯＭが虚像表示されるので、ユーザは、直に虚像ＶＲＩ上の操作マーカＯＭの座標を変位させて、ユーザ操作を行なうことができる。したがって、ユーザの好む形状に虚像ＶＲＩを表示させるにあたって、ユーザ操作の良好な操作性を実現することができる。

また、第２実施形態によると、ユーザは、虚像表示されたポインタとしてのカーソルＣＳにより操作マーカＯＭのドラッグアンドドロップ操作をすることにより、操作マーカＯＭの座標を変位させることができるので、虚像ＶＲＩ上に直接的なユーザ操作を行なうことができる。したがって、ユーザの好む形状に虚像ＶＲＩを表示させるにあたって、ユーザ操作の良好な操作性を実現することができる。

また、第２実施形態によると、操作マーカＯＭに重畳して、操作マーカＯＭの理想の位置を示す表示としてのガイド枠ＧＦが表示されるので、ユーザは、当該理想の位置を示す表示を目安にしながら、ユーザ操作を行なうことができる。このようにすると、虚像用画像を著しく変形させてしまうような誤操作が発生し難くなるので、ユーザの好む形状に虚像ＶＲＩを表示させるにあたって、ユーザ操作の良好な操作性を実現することができる。

（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

具体的に第１実施形態に関する変形例１としては、ＣＰ３０の演算部３５に構築されたマーカ画像生成部３６及び変位検出部３８等の少なくとも一部を、ＣＰ３０の演算部３５の代わりに、ＨＵＤ１０の演算部２２に構築することができる。また、ＨＵＤ１０の演算部２２に構築された表示制御部２３等の少なくとも一部を、ＨＵＤ１０の演算部２２の代わりに、ＣＰ３０の演算部３５に構築することができる。あるいは、ＨＵＤ１０及びＣＰ３０とは別の電子制御装置の演算部にて、ＨＵＤ１０の演算部２２の機能及びＣＰ３０の演算部３５の機能の少なくとも一部を実現することができる。このとき、画像表示部１４、検出パネル３１及び表示パネル３３に対しては、通信により信号の入出力をすることで、第１実施形態と同様の機能を実現することができる。この例として、ＣＰ３０の代わりに、ユーザが携帯するスマートフォン等の機器を上述の電子制御装置として用いることができる。

第２実施形態に関する変形例２としては、ＨＵＤ１０とは別の電子制御装置の演算部にて、ＨＵＤ１０の演算部３５の機能の少なくとも一部を実現することができる。このとき、画像表示部１４に対しては、通信により信号の入出力をすることで、第１実施形態と同様の機能を実現することができる。

変形例３としては、操作入力プログラム及び画像変形プログラムの少なくとも一部は、虚像表示システム１００，２００の製造時及び工場出荷時に演算部２２，３５にインストールされていなくてもよく、後からインストールされていてもよい。

変形例４としては、虚像用画像の変形表示は、虚像ＶＲＩの光学的な歪みを相殺する目的に限られない。例えば、ユーザは、虚像用画像を縮小することにより、車両１の前景をより見易く変更することができる。またユーザは、虚像用画像のうち例えば速度表示の文字部分を部分的に拡大して、文字を認識し易く変更することができる。

変形例５としては、操作マーカＯＭは、実質的に操作対象として座標を変位することができるようになっていれば、明確に表示されていなくてもよい。例えば、ユーザは、格子ＧＲの交点に操作マーカＯＭが存在しているとみなして、操作マーカＯＭの座標を変位させるユーザ操作を行なうことができる。また例えば、調整モードにて、格子ＧＲ及び操作マーカＯＭに代えて、通常時に虚像表示される画像のサンプルが表示され、ユーザはその画像の外周部（例えば角部）に操作マーカＯＭが存在しているとみなして、操作マーカＯＭの座標を変位させるユーザ操作を行なうことができる。

変形例６としては、複数の操作マーカＯＭの表示態様を互いに相違させるにあたっては、色以外の、例えば形状、サイズ等を相違させることができる。

変形例７としては、虚像表示システム１００，２００は、航空機、船舶、あるいは移動しない筐体等の各種の乗り物に適用することができる。

１００，２００虚像表示システム、３ａ投影部、１０ＨＵＤ（虚像表示装置）、１４画像表示部、２２演算部、２２ａメモリ（情報保存部）、２３表示制御部、３０ＣＰ（操作入力装置）、３１検出パネル（操作検出部）、３３表示パネル（マーカ表示部）、３６マーカ画像生成部（マーカ表示部）、３８，２２９変位検出部（操作検出部）、ＯＭ操作マーカ

Claims

投影部（３ａ）へ虚像用画像を投影することにより、前記虚像用画像を視認可能に虚像表示する虚像表示システムであって、
前記虚像用画像を表示し、前記虚像用画像の表示光を前記投影部側へ向けて射出する画像表示部（１４）と、
前記虚像用画像に定義された操作マーカ（ＯＭ）の座標を変位させるユーザ操作を、検出する操作検出部（３１，３８，２２９）と、
前記画像表示部に前記虚像用画像として表示される調整画像を、前記操作マーカの座標変位情報に基づいた形状にて変形表示させる表示制御部（２３，２２３）と、
前記ユーザ操作の操作対象としての複数の前記操作マーカ及び各前記操作マーカの間を結ぶ格子を含んだ操作画像、を表示するマーカ表示部（３３，３６，２２５）と、を備え、
前記マーカ表示部は、前記操作検出部と一体的なタッチパネル状に形成され、
前記調整画像は、前記操作画像の前記操作マーカ及び前記格子に連動する前記操作マーカ及び前記格子を含んでいる虚像表示システム。
前記操作検出部は、前記マーカ表示部により表示された前記操作マーカをタッチした状態でスライドする操作として、前記操作マーカの座標を変位させる前記ユーザ操作を、検出する請求項１に記載の虚像表示システム。
前記操作マーカは、複数定義され、互いに異なる態様にて表示される請求項１又は２に記載の虚像表示システム。
前記操作マーカの理想の位置を示す表示（ＧＦ）が前記操作マーカに重畳して表示される請求項１から３のいずれか１項に記載の虚像表示システム。
前記操作マーカは、前記虚像用画像の横方向の並びに３つ以上、かつ、前記虚像用画像の縦方向の並びに３つ以上、定義されている請求項１から４のいずれか１項に記載の虚像表示システム。
前記座標変位情報のデータを、ユーザ毎に保存する情報保存部（２２ａ）をさらに備える請求項１から５のいずれか１項に記載の虚像表示システム。