JP6401925B2

JP6401925B2 - 虚像表示装置、制御方法、プログラム、及び記憶媒体

Info

Publication number: JP6401925B2
Application number: JP2014062319A
Authority: JP
Inventors: 敬明氏家; 純一岡村
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2014-03-25
Filing date: 2014-03-25
Publication date: 2018-10-10
Anticipated expiration: 2034-03-25
Also published as: JP2015182672A

Description

本発明は、虚像を表示する技術に関する。

実際の風景に存在する施設や交通標識などのオブジェクトに対応する情報を示す虚像を、風景中のそれらのオブジェクトの位置に対応させて表示するヘッドアップディスプレイが公知である。一方、ヘッドアップディスプレイには、運転者の体格の違いなどによって、実際の位置と虚像の表示位置がずれてしまうという問題がある。これに対し、実際の風景中のオブジェクトと、当該オブジェクトを案内する虚像とが適切に対応付けて表示されるように、虚像の表示位置の調整を行う技術が存在する。例えば、特許文献１には、２つのカメラでドライバの顔を撮影し、各々の画像上で検出した視点の位置変化に応じて、表示情報の位置及び大きさを調整するヘッドアップディスプレイが開示されている。

特開平０６−２４７１８４号公報

特許文献１では、運転者の顔を撮影するカメラを２台使用するため、システムが高価になってしまうという問題がある。

本発明は、上記のような課題を解決するためになされたものであり、実際の風景と対応付けて虚像を適切に表示させるように調整可能な虚像表示装置を提供することを主な目的とする。

請求項に記載の発明は、虚像表示装置であって、移動体の前方風景と見かけ上で重なるように虚像を表示可能な第１表示手段に、マーカ画像を前記虚像として表示させ、且つ前記移動体の室内に配置され前記前方風景を撮像する撮像手段により撮像された画像に基づく調整用画像を、前記第１表示手段とは異なる第２表示手段に表示させる制御手段と、前記虚像の観察者が、前記マーカ画像が重なって視認される前記前方風景中の位置を、前記調整用画像中で指定する操作を検知する操作検知手段と、を備え、前記制御手段は、前記操作検知手段が検知した操作により指定された指定位置と、前記マーカ画像の表示位置に対応して予め記憶された前記調整用画像上の適正位置との相対位置関係に応じて、前記虚像として表示する１以上のオブジェクトの少なくとも１つの表示位置または拡大率の少なくとも一方を変化させて前記第１表示手段に表示させることを特徴とする。

また、請求項に記載の発明は、虚像表示装置が実行する制御方法であって、移動体の前方風景と見かけ上で重なるように虚像を表示可能な第１表示手段に、マーカ画像を前記虚像として表示させ、且つ前記移動体の室内に配置され前記前方風景を撮像する撮像手段により撮像された画像に基づく調整用画像を、前記第１表示手段とは異なる第２表示手段に表示させる第１制御工程と、前記虚像の観察者が、前記マーカ画像が重なって視認される前記前方風景中の位置を、前記調整用画像中で指定する操作を検知する操作検知工程と、前記操作検知工程が検知した操作により指定された指定位置と、前記マーカ画像の表示位置に対応して予め記憶された前記調整用画像上の適正位置との相対位置関係に応じて、前記虚像として表示する１以上のオブジェクトの少なくとも１つの表示位置または拡大率の少なくとも一方を変化させて前記第１表示手段に表示させる第２制御工程と、を有することを特徴とする。

また、請求項に記載の発明は、コンピュータが実行するプログラムであって、移動体の前方風景と見かけ上で重なるように虚像を表示可能な第１表示手段に、マーカ画像を前記虚像として表示させ、且つ前記移動体室内に配置され前記前方風景を撮像する撮像手段により撮像された画像に基づく調整用画像を、前記第１表示手段とは異なる第２表示手段に表示させる制御手段と、前記虚像の観察者が、前記マーカ画像が重なって視認される前記前方風景中の位置を、前記調整用画像中で指定する操作を検知する操作検知手段、として前記コンピュータを機能させ、前記制御手段は、前記操作検知手段が検知した操作により指定された指定位置と、前記マーカ画像の表示位置に対応して予め記憶された前記調整用画像上の適正位置との相対位置関係に応じて、前記虚像として表示する１以上のオブジェクトの少なくとも１つの表示位置または拡大率の少なくとも一方を変化させて前記第１表示手段に表示させることを特徴とする。

表示システムの概略構成を示す。ナビゲーション装置の概略構成を示す。ヘッドアップディスプレイの概略構成を示す。光源ユニットの概略構成を示す。調整モードの手順を示すフローチャートである。調整モードの実行時でのコンバイナ及びディスプレイの表示例を示す。調整モードの実行前後での虚像の表示位置を示す。変形例において、調整モードの実行時でのディスプレイ及びコンバイナの表示例を示す。変形例において、調整モードの実行時でのコンバイナの表示例を示す。

本発明の１つの好適な実施形態では、虚像表示装置は、移動体の前方風景と見かけ上で重なるように１以上のオブジェクトを含む虚像を表示する第１表示手段の観察者が、前記前方風景を撮像する撮像手段により撮像された画像に基づく調整用画像と、前記前方風景と、に基づいて行う操作を検知する操作検知手段と、前記操作検知手段により検知した操作に基づいて、前記１以上のオブジェクトの少なくとも１つの表示位置または拡大率の少なくとも一方を変化させて前記第１表示手段に表示させる制御手段と、を備える。

上記虚像表示装置は、操作検知手段と、制御手段とを備える。操作検知手段は、移動体の前方風景と見かけ上で重なるように１以上のオブジェクトを含む虚像を表示する第１表示手段の観察者が、移動体の前方風景を撮像する撮像手段により撮像された画像に基づく調整用画像と、前方風景と、に基づいて行う操作を検知する。制御手段は、操作検知手段により検知した操作に基づいて、１以上のオブジェクトの少なくとも１つの表示位置または拡大率の少なくとも一方を変化させて第１表示手段に表示させる。この態様により、虚像表示装置は、観察者の体格等によらず、第１表示手段により表示させる虚像を、前方風景に好適に対応付けて表示させることができる。

上記虚像表示装置の一態様では、前記制御手段は、前記調整用画像を、前記第１表示手段に虚像として表示させる。この態様により、虚像表示装置は、本来表示されるべき虚像の位置や大きさと現在の虚像の位置や大きさとの違いを観察者に好適に認識させ、観察者の操作に基づき虚像の表示位置やサイズを適切に調整することができる。

上記虚像表示装置の他の一態様では、前記操作検知手段は、前記第１表示手段に虚像として表示された調整用画像と前記前方風景とを見かけ上一致させるための操作を検知し、前記制御手段は、前記操作検知手段が検知した操作に基づいて、前記第１表示手段に虚像として表示させる前記調整用画像の表示位置または拡大率の少なくとも一方を変化させる。この態様により、虚像表示装置は、観察者の操作に基づき虚像の表示位置やサイズを適切に調整することができる。

上記虚像表示装置の他の一態様では、前記制御手段は、前記調整用画像を第１表示手段とは異なる第２表示手段に表示させる。

上記虚像表示装置の他の一態様では、前記制御手段は、基準位置を示すマーカ画像を虚像として前記第１表示手段に表示させ、前記操作検知手段は、前記第１表示手段に虚像として表示される前記マーカ画像と見かけ上重なる前記前方風景の部位が表示される前記第２表示手段上の位置を指定する操作を検知する。この態様により、虚像表示装置は、基準位置に表示されるマーカ画像が実際に見える前方風景の位置を把握し、運転者の視点位置に応じて、虚像の表示位置や大きさを好適に調整することができる。

上記虚像表示装置の他の一態様では、前記制御手段は、基準位置を示すマーカ画像を前記調整用画像に重ねて前記第２表示手段に表示させ、前記操作検知手段は、前記マーカ画像と重なって表示される前記前方風景の部位が視認される前記第１表示手段上の位置を指定する操作を検知する。この態様によっても、虚像表示装置は、マーカ画像に基づき運転者が第１表示手段上で視認する前方風景の位置を好適に把握し、運転者の体格等に応じて、虚像の表示位置や大きさを好適に調整することができる。

本発明の他の好適な実施形態では、虚像表示装置が実行する制御方法であって、移動体の前方風景と見かけ上で重なるように１以上のオブジェクトを含む虚像を表示する第１表示手段の観察者が、前記前方風景を撮像する撮像手段により撮像された画像に基づく調整用画像と、前記前方風景と、に基づいて行う操作を検知する操作検知工程と、前記操作検知工程により検知した操作に基づいて、前記１以上のオブジェクトの少なくとも１つの表示位置または拡大率の少なくとも一方を変化させて前記第１表示手段に表示させる制御工程と、を有する。虚像表示装置は、この制御方法を実行することで、観察者の体格等によらず、第１表示手段により表示させる虚像を、前方風景に好適に対応付けて表示させることができる。

本発明の他の好適な実施形態では、コンピュータが実行するプログラムであって、移動体の前方風景と見かけ上で重なるように１以上のオブジェクトを含む虚像を表示する第１表示手段の観察者が、前記前方風景を撮像する撮像手段により撮像された画像に基づく調整用画像と、前記前方風景と、に基づいて行う操作を検知する操作検知手段と、前記操作検知手段により検知した操作に基づいて、前記１以上のオブジェクトの少なくとも１つの表示位置または拡大率の少なくとも一方を変化させて前記第１表示手段に表示させる制御手段として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、観察者の体格等によらず、第１表示手段により表示させる虚像を、前方風景に好適に対応付けて表示させることができる。好適には、上記プログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。

［概略構成］
（１）システム構成
図１は、実施例に係る表示システム１００の構成例を示す。図１に示すように、表示システム１００は、車両Ｖｅに搭載され、ナビゲーション装置１と、ヘッドアップディスプレイ２と、カメラ３とを備える。そして、表示システム１００は、運転者の視点位置に応じ、ヘッドアップディスプレイ２が表示する虚像が前方風景に適切に対応付けて表示されるように虚像の表示位置等の調整（即ちキャリブレーション）を行う。

ナビゲーション装置１は、出発地から目的地までのルート案内を行う機能などを有する。ナビゲーション装置１は、例えば、車両Ｖｅに設置される据え置き型のナビゲーション装置、ＰＮＤ（ＰｏｒｔａｂｌｅＮａｖｉｇａｔｉｏｎＤｅｖｉｃｅ）、又はスマートフォンなどの携帯端末とすることができる。

ヘッドアップディスプレイ２は、運転を補助する情報を表示する画像（「案内画像」とも呼ぶ。）を生成し、当該案内画像を運転者の目の位置（アイポイント）から虚像として視認させる装置である。ヘッドアップディスプレイ２は、案内画像として、例えば、案内ルートの方向を示す矢印、右左折地点などの案内地点に関する情報、車速などの車両Ｖｅの走行に関する情報、施設マークを示す情報、前方の方位を示す情報、及び交通法規に関する情報などを表示する。ヘッドアップディスプレイ２には、案内ルートの情報などの案内画像の生成に必要な各種情報がナビゲーション装置１から供給される。

カメラ３は、車両Ｖｅの前方に向けて固定され、所定の間隔ごとに車両Ｖｅの前方を撮影した画像（「前方画像Ｉｍ」とも呼ぶ。）を生成する。カメラ３は、生成した前方画像Ｉｍをヘッドアップディスプレイ２へ供給する。好適には、カメラ３は、ルームミラーの裏などの運転者の視点の近傍に設置される。

なお、ナビゲーション装置１がスマートフォンなどの携帯端末である場合、ナビゲーション装置１は、クレードルなどによって保持されても良い。この場合、ナビゲーション装置１は、クレードルなどを介して、ヘッドアップディスプレイ２と情報の授受を行うこととしても良い。また、ナビゲーション装置１がスマートフォンなどの携帯端末である場合、カメラ３は携帯端末に内蔵されているものであってもよい。また、カメラ３は、前方画像Ｉｍをナビゲーション装置１の代わりにヘッドアップディスプレイ２に供給し、ヘッドアップディスプレイ２は、ナビゲーション装置１へ前方画像Ｉｍを転送してもよい。

（２）ナビゲーション装置の構成
図２は、ナビゲーション装置１の構成を示す。図２に示すように、ナビゲーション装置１は、自立測位装置１０、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、インタフェース３９、表示ユニット４０、音声出力ユニット５０、及び入力装置６０を備える。

自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両Ｖｅの加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両Ｖｅの方向変換時における車両Ｖｅの角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両Ｖｅの車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。

ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両Ｖｅの絶対的な位置（「現在位置」とも呼ぶ。）を検出するために用いられる。

システムコントローラ２０は、インタフェース２１、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２２、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２３及びＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２４を含んでおり、ナビゲーション装置１全体の制御を行う。

インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。

システムコントローラ２０、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。

ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。

データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。地図データは、道路に相当するリンクと、道路の接続部分に相当するノードとにより表された道路データや、各施設に関する施設情報などを含む。施設情報には、例えば、登録された施設ごとの施設マークの情報や当該施設の位置情報が含まれている。

通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯端末や専用の通信モジュールなどにより構成され、通信用インタフェース３７を介して、ＶＩＣＳ（登録商標、ＶｅｈｉｃｌｅＩｎｆｏｒｍａｔｉｏｎＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍ）センタから配信される渋滞や交通情報などの道路交通情報、その他の情報を受信する。また、通信装置３８は、ＧＰＳ受信機１８から取得した現在位置の情報、自立測位装置１０から取得した車速パルス等の情報及び地図データなど、ナビゲーション処理に用いられる各種情報をヘッドアップディスプレイ２に送信する。また、通信装置３８は、カメラ３から、所定間隔ごとに前方画像Ｉｍを受信する。さらに、通信装置３８は、ヘッドアップディスプレイ２から所定の指示信号を受信する。

表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データなどを表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、画像表示部として機能し、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。

音声出力ユニット５０は、システムコントローラ２０の制御の下、ＣＤ−ＲＯＭドライブ３１又はＤＶＤ−ＲＯＭ３２、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（ＤｉｇｉｔａｌｔｏＡｎａｌｏｇ）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。

入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、据置型のナビゲーション装置の場合、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、入力装置６０は、ディスプレイ４４に積層されたタッチパネル６１を有する。

（３）ヘッドアップディスプレイの構成
図３は、ヘッドアップディスプレイ２の概略構成図である。図３に示すように、本実施例に係るヘッドアップディスプレイ２は、光源ユニット４と、コンバイナ９とを備え、フロントウィンドウ２５、天井部２７、ボンネット２８、及びダッシュボード２９などを備える車両Ｖｅに取り付けられる。

光源ユニット４は、支持部材５ａ、５ｂを介して車室内の天井部２７に設置され、運転を補助する情報を示す案内画像を構成する光を、コンバイナ９に向けて出射することで、コンバイナ９を介して運転者に虚像「Ｉｖ」を視認させる。

コンバイナ９は、光源ユニット４から出射される表示像が投影されると共に、表示像を運転者のアイポイント「Ｐｅ」へ反射することで当該表示像を虚像Ｉｖとして表示させる。そして、コンバイナ９は、天井部２７に設置された支持軸部８を有し、支持軸部８を支軸として回動する。支持軸部８は、例えば、フロントウィンドウ２５の上端近傍の天井部２７、言い換えると運転者用の図示しないサンバイザが設置される位置の近傍に設置される。なお、支持軸部８は、上述のサンバイザに代えて設置されてもよい。コンバイナ９は、本発明における「表示手段」の一例である。

（４）光源ユニットの構成
図４は、光源ユニット４の構成を概略的に示した図である。図４に示すように、光源ユニット４は、光源５４と、制御部５５と、通信部５６と、入力部５７とを有する。

光源５４は、例えば赤色、青色及び緑色の各色のレーザ光源を有し、制御部５５の制御に基づき、コンバイナ９に照射させる表示像を構成する光（「表示光」とも呼ぶ。）を出射する。

通信部５６は、制御部５５の制御に基づき、ナビゲーション処理に用いられる各種情報をナビゲーション装置１から受信する。例えば、通信部５６は、ナビゲーション装置１から案内ルートの情報や現在位置の情報などの案内画像の生成に必要な情報を受信する。また、通信部５６は、制御部５５の制御に基づき、ナビゲーション装置１へ所定の指示信号を送信する。入力部５７は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。

制御部５５は、ＣＰＵ、ＣＰＵが実行する制御プログラムやデータなどを記憶するＲＯＭ、ＣＰＵが動作する際のワークメモリとして各種データが逐次読み書きされるＲＡＭなどを有し、ヘッドアップディスプレイ２の全般的な制御を行う。

例えば、制御部５５は、ナビゲーション装置１から送信される情報に基づき、案内画像を生成し、案内画像を構成する表示光を光源５４に出射させることでコンバイナ９に虚像Ｉｖを表示させる。例えば、施設マークを表す案内画像を表示する場合、制御部５５は、まず、ナビゲーション装置１から受信したＧＰＳ受信機１８の測定情報及び自立測位装置１０の測定情報に基づき、車両Ｖｅの位置及び進行方向を認識する。そして、制御部５５は、車両Ｖｅの進行方向から所定角度以内にあり、かつ、車両Ｖｅから所定距離以内にある施設を示すマーク画像を案内画像として生成し、これらの案内画像を構成する光を光源５４に出射させる。

また、本実施例では、制御部５５は、入力部５７等への所定の操作を検知した場合に、虚像Ｉｖの位置及び拡大率を調整するための調整モードを開始する。そして、調整モードでは、制御部５５は、前方画像Ｉｍをディスプレイ４４に表示させるべき旨等を示す指示信号を、通信部５６を介してナビゲーション装置１に送信する。そして、制御部５５は、本発明における「操作検知手段」、「制御手段」、及びプログラムを実行するコンピュータの一例である。

［調整モード］
次に、調整モードで制御部５５が実行する処理について説明する。概略的には、制御部５５は、調整モードでは、調整用のマーカ画像（「マーカ画像Ｍｋ」とも呼ぶ。）を虚像Ｉｖとして複数表示させ、各マーカ画像Ｍｋに重なって表示される前方風景の位置を、前方画像Ｉｍが表示されたディスプレイ４４上で指定させる入力を受け付ける。これにより、制御部５５は、運転者の体格等に起因して生じた虚像Ｉｖの表示位置や表示サイズのずれを認識し、虚像Ｉｖの表示位置等を適切に調整する。

（１）処理フロー
図５は、調整モードでの処理手順を示すフローチャートの一例である。制御部５５は、図５に示すフローチャートの処理を、ナビゲーション装置１又はヘッドアップディスプレイ２への所定の操作を検知した場合に実行する。

まず、制御部５５は、２つのマーカ画像Ｍｋをコンバイナ９上に表示させる（ステップＳ１０１）。このとき、好適には、制御部５５は、後述する拡大率の誤差を少なくするため、マーカ画像Ｍｋを互いに離れた位置に表示させるとよい。以後では、ステップＳ１０１で表示させる２つのマーカ画像Ｍｋを、それぞれ「第１マーカ画像Ｍｋ１」及び「第２マーカ画像Ｍｋ２」とも呼ぶ。

また、ステップＳ１０１と同時に、制御部５５は、前方画像Ｉｍをナビゲーション装置１のディスプレイ４４に表示させ、各マーカ画像Ｍｋに重なる前方風景の表示位置を指定する入力を受け付ける（ステップＳ１０２）。例えば、制御部５５は、前方画像Ｉｍを表示すべき旨の指示信号をナビゲーション装置１に送信することで、ナビゲーション装置１に前方画像Ｉｍを表示させる。そして、制御部５５は、第１マーカ画像Ｍｋ１、第２マーカ画像Ｍｋ２の順に、これらに重なる風景を表示したディスプレイ４４上の位置を指定すべき旨の案内をナビゲーション装置１に出力させる。そして、ナビゲーション装置１は、第１マーカ画像Ｍｋ１及び第２マーカ画像Ｍｋ２のそれぞれに対するディスプレイ４４上の位置指定をタッチパネル６１等により検知した場合、入力された位置の情報を制御部５５へ送信する。これにより、制御部５５は、第１マーカ画像Ｍｋ１に対するディスプレイ４４（即ち前方画像Ｉｍ）上の入力位置（「第１入力位置」とも呼ぶ。）と、第２マーカ画像Ｍｋ２に対するディスプレイ４４上の入力位置（「第２入力位置」とも呼ぶ。）とを認識する。第１入力位置、第２入力位置は、例えばディスプレイ４４上の２次元座標位置を示す。ステップＳ１０２の具体例については、図６（Ｂ）を参照して後述する。

そして、制御部５５は、各マーカ画像Ｍｋに対する位置指定の入力を検知したか否か判定する（ステップＳ１０３）。具体的には、制御部５５は、第１マーカ画像Ｍｋ１に対する第１入力位置と、第２マーカ画像Ｍｋ２に対する第２入力位置とをそれぞれ指定する入力があったか否か判定する。そして、制御部５５は、各マーカ画像Ｍｋに対する第１及び第２入力位置の指定があったと判断した場合（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０４へ処理を進める。一方、制御部５５は、第１入力位置又は第２入力位置の少なくともいずれか一方を指定する入力を検知していないと判断した場合（ステップＳ１０３；Ｎｏ）、引き続きステップＳ１０２を実行し、ナビゲーション装置１に前方画像Ｉｍを表示させ、マーカ画像Ｍｋに対するディスプレイ４４上での位置を指定する入力を受け付ける。

各マーカ画像Ｍｋに対する位置指定の入力があった後、制御部５５は、ステップＳ１０２で認識した第１及び第２入力位置から、公知のキャリブレーション技術等に基づき、虚像Ｉｖの表示位置及び拡大率を認識する（ステップＳ１０４）。例えば、制御部５５は、虚像Ｉｖと前方風景との対応がとれているときの第１マーカ画像Ｍｋの表示位置に対応するディスプレイ４４（即ち前方画像Ｉｍ）上の位置（「第１基準位置」とも呼ぶ。）と、第２マーカ画像Ｍｋの表示位置に対応するディスプレイ４４上の位置（「第２基準位置」とも呼ぶ。）とを予め記憶しておく。そして、制御部５５は、記憶した上述の第１及び第２基準位置とステップＳ１０２で認識した第１及び第２入力位置との相対位置関係に基づき、虚像Ｉｖと前方風景との対応をとるために必要なコンバイナ９上での虚像Ｉｖの上下方向又は／及び左右方向の移動幅と必要な虚像Ｉｖの拡大率とを設定する。例えば、この場合、制御部５５は、第１基準位置に対する第１入力位置の相対位置座標及び第２基準位置に対する第２入力位置の相対位置座標に対する適切な虚像Ｉｖの上下左右での移動幅及び拡大率を指定したマップ又は式を予め記憶しておく。上述のマップ等は、例えば予め実験等に基づき作成され、制御部５５のメモリ等に記憶される。

（２）表示例
次に、図５に基づいて調整モードを開始した場合の表示例について、図６及び図７を参照して説明する。

図６は、調整モードの実行時でのコンバイナ９及びディスプレイ４４の表示例を示す。具体的には、図６（Ａ）は、図５のステップＳ１０１に基づき第１マーカ画像Ｍｋ１及び第２マーカ画像Ｍｋ２が表示されたコンバイナ９の表示例である。また、図６（Ｂ）は、図５のステップＳ１０２に基づき前方画像Ｉｍが表示されたディスプレイ４４の正面図を示す。図６の例では、道路９０と、信号機９１と、太陽９２とを含む前方風景を、コンバイナ９を介して運転者が視認する。

図６（Ａ）に示すように、制御部５５は、調整モードの開始後、第１マーカ画像Ｍｋ１と第２マーカ画像Ｍｋ２とを表示させる。なお、制御部５５は、各マーカ画像Ｍｋを同時に表示してもよく、ステップＳ１０３で第１マーカ画像Ｍｋ１に対する位置指定の入力を検知した後に第２マーカ画像Ｍｋ２を表示させてもよい。

また、図６（Ａ）に示すマーカ画像Ｍｋの表示と同時に、図６（Ｂ）に示すように、制御部５５は、ナビゲーション装置１に所定の指示信号を送信することで、ディスプレイ４４上に前方画像Ｉｍを表示させる。さらに、制御部５５は、第１マーカ画像Ｍｋ１が見えるディスプレイ４４上の位置をタッチし、その後に第２マーカ画像Ｍｋ２が見えるディスプレイ４４上の位置をタッチすべき旨を示した指示画像８０を前方画像Ｉｍに重ねてナビゲーション装置１に表示させている。そして、制御部５５は、最初にタッチパネル６１が検出したディスプレイ４４上の位置を、第１入力位置としてナビゲーション装置１から取得し、次にタッチパネル６１が検出したディスプレイ４４上の位置を、第２入力位置としてナビゲーション装置１から取得する。その後、制御部５５は、図５のステップＳ１０４に基づき、取得した第１入力位置及び第２入力位置と、予め記憶した第１及び第２基準位置との相対位置関係に基づき、所定のマップ又は式を参照し、必要なコンバイナ９上での虚像Ｉｖの上下左右での変更幅及び拡大率を決定する。

図７は、調整モードの実行前後でのコンバイナ９を介して視認される虚像Ｉｖの表示位置を示す。図７の例では、制御部５５は、建物９３Ａ〜９３Ｆの施設マークを吹き出し内に表示したマーク画像８１Ａ〜８１Ｆを虚像Ｉｖとしてコンバイナ９上に表示させている。また、図７では、調整モードの実行前のマーク画像８１Ａ〜８１Ｆを破線により示し、調整モードの実行後のマーク画像８１Ａ〜８１Ｆを実線により示している。

図７の例では、制御部５５は、調整モードにより、虚像Ｉｖをコンバイナ９の上方向に所定幅（図７ではコンバイナ９の短手幅の約１／４）だけずらす必要があること、及び、虚像Ｉｖを全体として所定率（図７では約８０％）の拡大率によりサイズ変更する必要があることを認識する。そして、制御部５５は、調整モード前の虚像Ｉｖの表示位置を調整モードにより認識した上下左右での調整幅に基づきずらした位置を、調整モード後の虚像Ｉｖの表示位置とする。また、制御部５５は、調整モード前の虚像Ｉｖの表示サイズを調整モードにより認識した拡大率に基づき変更した表示サイズを、調整モード後の虚像Ｉｖの表示サイズとする。その結果、図７の例では、制御部５５は、調整モード実行後に、各マーク画像８１Ａ〜８１Ｆを、風景上の建物９３Ａ〜９３Ｆに適切に対応付けて表示している。これにより、制御部５５は、運転者の体格に応じてコンバイナ９を介して視認される前方風景が異なる場合であっても、運転者の視点位置に適した位置に虚像Ｉｖを表示させ、虚像Ｉｖと前方風景とを好適に対応付けて運転者に視認させることができる。

以上説明したように、本実施例に係るヘッドアップディスプレイ２は、光源ユニット４と、コンバイナ９とを有する。光源ユニット４の制御部５５は、車両Ｖｅの前方風景と見かけ上で重なるように虚像Ｉｖを表示するコンバイナ９の観察者が、カメラ３により撮像されてディスプレイ４４に表示された前方画像Ｉｍと、前方風景とに基づいて行うディスプレイ４４上での位置指定の操作を検知する。そして、制御部５５は、検知した位置に基づいて、虚像Ｉｖの表示位置または拡大率の少なくとも一方を変化させてコンバイナ９に表示させる。この態様により、ヘッドアップディスプレイ２は、観察者の体格等によらず、コンバイナ９により表示させる虚像Ｉｖを、前方風景に好適に対応付けて表示させることができる。

［変形例］
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。

（変形例１）
制御部５５は、マーカ画像Ｍｋをコンバイナ９上に表示させ、マーカ画像Ｍｋと重なる風景が表示されたディスプレイ４４上の位置を指定させる代わりに、マーカ画像Ｍｋをディスプレイ４４上に表示させ、マーカ画像Ｍｋと重なる風景が視認されるコンバイナ９上の位置を指定させてもよい。

図８（Ａ）は、本変形例に係るディスプレイ４４の表示例を示し、図８（Ｂ）は、本変形例に係るコンバイナ９の表示例を示す。図８の例では、コンバイナ９は、タッチパネルが積層されており、当該タッチパネルは、検出したコンバイナ９上の位置を示す信号をヘッドアップディスプレイ２へ送信する。

図８（Ａ）に示すように、制御部５５は、調整モードを開始した場合、ディスプレイ４４上に第１マーカ画像Ｍｋ１及び第２マーカ画像Ｍｋ２を表示させる。また、図８（Ｂ）に示すように、制御部５５は、第１マーカ画像Ｍｋ１が見えるコンバイナ９上の位置をタッチし、その後に第２マーカ画像Ｍｋ２が見えるコンバイナ９上の位置をタッチすべき旨を示した指示画像８０を虚像Ｉｖとして表示させる。そして、制御部５５は、コンバイナ９に積層されたタッチパネルが最初に検出したコンバイナ９上の位置を、第１入力位置として取得し、次に上記タッチパネルが検出したコンバイナ９上の位置を、第２入力位置として取得する。

その後、制御部５５は、取得した第１入力位置及び第２入力位置に基づき、必要なコンバイナ９上での虚像Ｉｖの上下左右での移動幅及び拡大率を認識する。この場合、図５のステップＳ１０４と同様、制御部５５は、虚像Ｉｖと前方風景との対応がとれているときの第１マーカ画像Ｍｋ１に対応するコンバイナ９上の位置である第１基準位置と、第２マーカ画像Ｍｋ２に対応するコンバイナ９上の位置である第２基準位置とをそれぞれ予め記憶しておく。そして、制御部５５は、コンバイナ９上での第１基準位置に対する第１入力位置の相対位置と、コンバイナ９上での第２基準位置に対する第２入力位置の相対位置とに基づき、所定のマップ等を参照して、必要なコンバイナ９上での虚像Ｉｖの上下左右での移動幅及び拡大率を決定する。

このように、マーカ画像Ｍｋをディスプレイ４４上に表示させ、マーカ画像Ｍｋと重なる風景が視認されるコンバイナ９上の位置を指定させた場合であっても、制御部５５は、好適に虚像Ｉｖの表示位置等を調整することができる。

（変形例２）
制御部５５は、マーカ画像Ｍｋをコンバイナ９上に表示させる代わりに、前方画像Ｉｍをコンバイナ９上に表示させることで、虚像Ｉｖの表示位置等を調整する操作を受け付けてもよい。

図９は、本変形例におけるコンバイナ９の表示例を示す。図９では、制御部５５は、前方画像Ｉｍを虚像Ｉｖとしてコンバイナ９上に表示させている。また、図９の例では、コンバイナ９は、タッチパネルが積層されており、当該タッチパネルは、検出したコンバイナ９上の位置を示す信号をヘッドアップディスプレイ２へ送信する。

この場合、制御部５５は、コンバイナ９に積層されたタッチパネルへの入力に基づき、前方画像Ｉｍの表示位置や表示サイズを調整する。例えば、制御部５５は、コンバイナ９に積層されたタッチパネル上で指をスライドさせる操作を検知した場合、指がスライドした方向（図９では左方向）に前方画像Ｉｍを移動させる。また、制御部５５は、例えば、タッチパネルに接触させた２本指の幅を縮める操作を検知した場合に前方画像Ｉｍを縮小させ、タッチパネルに接触させた２本指の幅を広げる操作を検知した場合に前方画像Ｉｍを拡大させる。これにより、運転者は、コンバイナ９を介して視認される前方風景と、前方画像Ｉｍにより表示された前方風景とが重なるように、前方画像Ｉｍの表示位置及び表示サイズを調整する操作を行う。具体的には、運転者は、コンバイナ９を介して視認される前方風景中の道路９０、信号機９１、太陽９２等が、コンバイナ９上に表示された前方画像Ｉｍ中の道路領域９０Ａ、信号機領域９１Ａ、太陽領域９２Ａと一致するように、前方画像Ｉｍの表示位置及び表示サイズを調整する操作を行う。

そして、制御部５５は、調整モードを終了すべき旨の入力を検知した場合に、調整操作により移動した前方画像Ｉｍの上下左右での移動幅及び変更された拡大率の情報を記憶する。その後、制御部５５は、記憶した表示位置の上下左右での移動幅及び拡大率を反映させて虚像Ｉｖを表示させる。

なお、制御部５５は、コンバイナ９に積層されたタッチパネルへの入力に基づき、コンバイナ９上の前方画像Ｉｍの移動やサイズ変更を行う代わりに、ヘッドアップディスプレイ２に付属するリモートコントローラなどへの入力に基づき、前方画像Ｉｍの移動やサイズ変更を行ってもよい。他の例では、制御部５５は、前方画像Ｉｍが表示されたディスプレイ４４上への操作に基づき、コンバイナ９上の前方画像Ｉｍの移動やサイズ変更を行ってもよい。この場合、制御部５５は、ナビゲーション装置１から、タッチパネル６２等が検知した入力信号を受信することで、前方画像Ｉｍの移動処理等を行う。

（変形例３）
図３では、ヘッドアップディスプレイ２は、コンバイナ９を有し、コンバイナ９で反射させた光源ユニット４の出射光に基づき運転者に虚像Ｉｖを視認させていた。しかし、本発明が適用可能な構成はこれに限定されない。これに代えて、ヘッドアップディスプレイ２は、コンバイナ９を有さず、フロントガラス２５で反射させた光源ユニット４の出射光に基づき運転者に虚像Ｉｖを視認させてもよい。

また、光源ユニット４の位置は、天井部２７に設置される場合に限定されない。これに代えて、光源ユニット４は、ダッシュボード２９上に設置されたり、ダッシュボード２９の内部に設置されたりしてもよい。ダッシュボード２９上に設置される場合、ダッシュボード２９には、コンバイナ９を設けるか、又はフロントガラス２５に光源ユニット４から直接光を反射させ運転者に虚像Ｉｖを認識させる。ダッシュボード内に設置される場合、ダッシュボード２９には、コンバイナ９又はフロントガラス２５に光を通過させるための開口部が設けられる。

（変形例４）
制御部５５の処理の一部を、システムコントローラ２０が実行してもよい。

例えば、図５のフローチャートの処理を、制御部５５に代えて、システムコントローラ２０が実行してもよい。この場合、システムコントローラ２０は、ステップＳ１０１では、マーカ画像Ｍｋを表示させる旨の指示信号をヘッドアップディスプレイ２へ送信することでマーカ画像Ｍｋをコンバイナ９上に表示させる。また、システムコントローラ２０は、ステップＳ１０４において、第１入力位置、第２入力位置に基づき虚像Ｉｖの表示位置及び大きさを決定し、決定した虚像Ｉｖの表示位置及び大きさを指定する信号をヘッドアップディスプレイ２へ送信する。この場合、システムコントローラ２０は、本発明における「操作検知手段」、「制御手段」、及びプログラムを実行するコンピュータの一例である。

また、ヘッドアップディスプレイ２が表示するための案内画像をシステムコントローラ２０が生成し、ヘッドアップディスプレイ２の光源ユニット４が当該案内画像を受信する態様であってもよい。

また、他の例では、ヘッドアップディスプレイ２は、ナビゲーション装置１の一部又は全部の機能を有してもよい。この場合、光源ユニット４は、例えば、地図データを記憶するメモリやＧＰＳ受信機などの各センサなどを有してもよい。

（変形例５）
図６（Ｂ）の例では、ヘッドアップディスプレイ２は、タッチパネル６１によりマーカ画像Ｍｋの位置を指定する入力を受け付けた。これに代えて、ヘッドアップディスプレイ２は、ナビゲーション装置１に設けられた操作キーやボタン、リモートコントローラ等によりマーカ画像Ｍｋの位置を指定する入力を受け付けてもよい。

（変形例６）
実施例では、ヘッドアップディスプレイ２は、２つのマーカ画像Ｍｋをコンバイナ９上に表示させたが、これに代えて、３つ以上のマーカ画像Ｍｋをコンバイナ９上に表示させ、それぞれに対応するディスプレイ４４上の位置をユーザに指定させてもよい。この場合、制御部５５は、例えば公知のキャリブレーション技術を用いて、指定されたディスプレイ４４上の入力位置に基づき、虚像Ｉｖの表示位置や表示サイズを調整する。

（変形例７）
実施例では、ヘッドアップディスプレイ２は、２つのマーカ画像Ｍｋをコンバイナ９上に表示させたが、これに代えて、１つのマーカ画像Ｍｋをコンバイナ９上に表示させ、それに対応するディスプレイ４４上の位置をユーザに指定させてもよい。好適にはマーカ画像Ｍｋをコンバイナ上の略中央に表示させ、それに対応するディスプレイ４４上の位置をユーザに指定させてもよい。この場合、制御部５５は、指定されたディスプレイ４４上の入力位置に基づき、虚像Ｉｖの表示位置を調整する。これにより、ユーザは少ない手数で虚像Ｉｖの表示位置のみを調整できる。

（変形例８）
ヘッドアップディスプレイ２は、一部の虚像Ｉｖのみに対し、調整モードでの認識結果に基づき表示位置や拡大率を変更してもよい。例えば、ヘッドアップディスプレイ２は、表示すべき虚像Ｉｖのうち、車速や交通規制に関する情報などの前方風景と対応付ける必要がない情報を表す虚像Ｉｖについては、調整モードの実行前後において、表示位置や拡大率を変更しなくてもよい。即ち、この場合、ヘッドアップディスプレイ２は、前方風景と対応付ける必要がある情報を表す虚像Ｉｖについてのみ、調整モードの実行前後において、表示位置や拡大率を変更する。

また、ヘッドアップディスプレイ２は、一部の虚像Ｉｖについては、調整モードの実行前後において、表示位置のみを変更し、拡大率を変更しなくともよい。例えば、ヘッドアップディスプレイ２は、施設マークなどの施設の位置を知らせるための情報については、調整モードの実行前後において、表示位置のみを変更し、案内ルートをその道路形状に合わせてケーブル状に表示した虚像Ｉｖについては、表示位置及び拡大率の両方を変更する。

１ナビゲーション装置
２ヘッドアップディスプレイ
４光源ユニット
９コンバイナ
２５フロントガラス
２８ボンネット
２９ダッシュボード
１００表示システム

Claims

移動体の前方風景と見かけ上で重なるように虚像を表示可能な第１表示手段に、マーカ画像を前記虚像として表示させ、且つ前記移動体の室内に配置され前記前方風景を撮像する撮像手段により撮像された画像に基づく調整用画像を、前記第１表示手段とは異なる第２表示手段に表示させる制御手段と、
前記虚像の観察者が、前記マーカ画像が重なって視認される前記前方風景中の位置を、前記調整用画像中で指定する操作を検知する操作検知手段と、
を備え、
前記制御手段は、前記操作検知手段が検知した操作により指定された指定位置と、前記マーカ画像の表示位置に対応して予め記憶された前記調整用画像上の適正位置との相対位置関係に応じて、前記虚像として表示する１以上のオブジェクトの少なくとも１つの表示位置または拡大率の少なくとも一方を変化させて前記第１表示手段に表示させることを特徴とする虚像表示装置。
前記制御手段は、それぞれの表示位置が異なる複数の前記マーカ画像を前記第１表示手段に表示させ、前記操作検知手段が検知した操作により指定された前記複数のマーカ画像のそれぞれに対する複数の指定位置と、前記複数のマーカ画像のそれぞれの表示位置に対応して予め記憶された前記調整用画像上の適正位置との相対位置関係に応じて、前記１以上のオブジェクトの少なくとも１つの表示位置または拡大率の少なくとも一方を変化させて前記第１表示手段に表示させることを特徴とする請求項１に記載の虚像表示装置。
虚像表示装置が実行する制御方法であって、
移動体の前方風景と見かけ上で重なるように虚像を表示可能な第１表示手段に、マーカ画像を前記虚像として表示させ、且つ前記移動体の室内に配置され前記前方風景を撮像する撮像手段により撮像された画像に基づく調整用画像を、前記第１表示手段とは異なる第２表示手段に表示させる第１制御工程と、
前記虚像の観察者が、前記マーカ画像が重なって視認される前記前方風景中の位置を、前記調整用画像中で指定する操作を検知する操作検知工程と、
前記操作検知工程が検知した操作により指定された指定位置と、前記マーカ画像の表示位置に対応して予め記憶された前記調整用画像上の適正位置との相対位置関係に応じて、前記虚像として表示する１以上のオブジェクトの少なくとも１つの表示位置または拡大率の少なくとも一方を変化させて前記第１表示手段に表示させる第２制御工程と、
を有することを特徴とする制御方法。
コンピュータが実行するプログラムであって、
移動体の前方風景と見かけ上で重なるように虚像を表示可能な第１表示手段に、マーカ画像を前記虚像として表示させ、且つ前記移動体室内に配置され前記前方風景を撮像する撮像手段により撮像された画像に基づく調整用画像を、前記第１表示手段とは異なる第２表示手段に表示させる制御手段と、
前記虚像の観察者が、前記マーカ画像が重なって視認される前記前方風景中の位置を、前記調整用画像中で指定する操作を検知する操作検知手段、
として前記コンピュータを機能させ、
前記制御手段は、前記操作検知手段が検知した操作により指定された指定位置と、前記マーカ画像の表示位置に対応して予め記憶された前記調整用画像上の適正位置との相対位置関係に応じて、前記虚像として表示する１以上のオブジェクトの少なくとも１つの表示位置または拡大率の少なくとも一方を変化させて前記第１表示手段に表示させることを特徴とするプログラム。
請求項４に記載のプログラムを記憶したことを特徴とする記憶媒体。