JP6731116B2 - ヘッドアップディスプレイ装置およびその表示制御方法 - Google Patents

Description

本発明は、ヘッドアップディスプレイ（ＨＵＤ：Head Up Display）装置等の表示装置の技術に関し、拡張現実（ＡＲ：Augmented Reality）の画像情報を運転者に提供する技術に関する。

ＡＲ機能を有するＡＲ表示装置やそのシステムとして、自動車等に搭載されるＨＵＤ装置がある。そのＨＵＤ装置（ＡＲ−ＨＵＤと呼ばれる場合もある）では、運転者等の利用者の視界におけるウィンドシールドやコンバイナ等の視認領域（画面）において、透過される実像に対し、映像光の投射によって虚像を重畳表示する。以下、虚像をＡＲ画像と記載する場合がある。虚像は、例えば、自車の前方の道路や車等を含む実像に対する、運転支援等のための画像情報が挙げられる。詳しい例としては、車速等の車両情報の画像、進行方向を示すナビゲーション等の矢印画像、対向車や歩行者及び自転車等の接近を示す注意喚起や標識等の強調のための枠画像、等が挙げられる。また、虚像の生成のための元データとしては、車載のセンサやエンジン制御部やカーナビゲーションシステム等の情報が利用可能である。

ＨＵＤ装置は、例えば、表示素子、光源、映像光を視認領域に導くためのレンズやミラー等の光学系を備える。表示素子からの映像光は、ミラー等を経由して、ウィンドシールドやコンバイナ等の視認領域内の領域（以下、ＡＲ表示領域、ＨＵＤ表示範囲等と記載する場合がある）に投射される。画面内の領域で反射された光は、運転者の目に入射して網膜に結像し、運転者が虚像として認識する。

車載のＨＵＤ装置に関する先行技術例としては、特開２０１０−７００６６号公報（特許文献１）が挙げられる。特許文献１には、ヘッドアップディスプレイとして、映像の投影位置が、車両の振動や運転者の姿勢の変化により一方の目の視線上からずれることを低減し、表示される情報の視認性を高める旨が記載されている。

特開２０１０−７００６６号公報

従来のＨＵＤ装置を含む車載システムでは、ＡＲ機能を用いてウィンドシールド等の視認領域において、透過される実像に虚像を重畳表示する。その際、運転者の目の位置（視点位置と記載する場合がある）によっては、その視認領域を見た場合に実像の物体と虚像とで表示のずれが生じる場合がある。言い換えると、ＨＵＤ装置による設計上の虚像の表示位置と、実際に運転者が視認する虚像の表示位置とで、一致しない場合がある。

上記実像と虚像との表示のずれが生じる要因としては、運転者が動いて姿勢を変える等の動作により目の位置が基本設定の目の位置から変動する場合や、体格等が異なる人が同じ基本設定のＨＵＤ装置の視認領域を見る場合等が挙げられる。

ＨＵＤ技術では、視認領域を見る者（例えば運転者）の目の位置、例えば鉛直方向の高さ位置によって、虚像と実像の相対位置関係がずれる等の見え方が異なってくる。ＨＵＤ装置が形成する虚像の位置と、見る者の目の位置との関係によって、見る者の網膜に結像される像の状態が定まる。ＨＵＤ装置による虚像の位置と、見る者の目の位置とが所定の関係を満たさない場合には、見る者が虚像を視認できない。見る者が画像を視認できるために目の位置が入らなければならない範囲はアイボックスと呼ばれる。

例えば、運転者の視点位置が、基本設定の視点位置を含むアイボックスの範囲に対し、鉛直方向に変動して、アイボックスの範囲から外に出た場合は虚像もしくは虚像の全表示範囲を見る事が出来ない。運転者は虚像が見えるように光学系、例えばミラー等の角度調整を行うが、調整した結果として実像と虚像との表示のずれが発生する。運転者の視界の視認領域では、実像の物体に対して大きくずれた位置に虚像が表示されて、運転者が虚像を視認しにくい、または視認できない。実像と虚像との表示のずれが大きいほど、運転者は、虚像が視認しにくく、実像と虚像とを関係付けた認識がしにくい。すなわち、運転者にとって、そのような虚像は不適である。

本発明の目的は、ＡＲ機能を持つＨＵＤ装置の技術に関して、実像と虚像との表示のずれを低減して、好適なＡＲ表示が実現できる技術を提供することである。

本発明のうち代表的な実施の形態は、ヘッドアップディスプレイ装置であって、以下に示す構成を有することを特徴とする。

一実施の形態のヘッドアップディスプレイ装置は、車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置であって、カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力部と、前記画像内の前記物体の位置を含む物体情報、および空間内の前記物体との距離を含む距離情報を取得する情報取得部と、前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成部と、前記取得された情報を用いて、前記ウィンドシールドまたはコンバイナの視認領域に前記画像を表示可能な範囲である表示領域の位置、および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換部と、前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御部と、前記制御に従って前記視認領域に対して前記画像を重畳表示する表示部と、を備え、前記変換部は、基本設定の運転者の視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う。

本発明のうち代表的な実施の形態によれば、ＡＲ機能を持つＨＵＤ装置の技術に関して、実像と虚像との表示のずれを低減して、好適なＡＲ表示が実現できる。

本発明の実施の形態１のＨＵＤ装置を含む、車載システムの構成を示す図である。 実施の形態１で、自動車の運転座席付近を横から見た状態を示す図である。 実施の形態１で、運転者から前方の物体や虚像を見た場合の位置や距離等を示す図である。 実施の形態１で、運転者の視点の位置の変動の第１状態を示す図である。 実施の形態１で、運転者の視点の位置の変動の第２状態を示す図である。 実施の形態１で、運転者の視点の位置の変動の第３状態を示す図である。 実施の形態１で、運転者の視点の位置の変動の第４状態を示す図である。 実施の形態１で、運転者の視点の位置の変動の第５状態を示す図である。 実施の形態１で、運転者の視点の位置の変動の第６状態を示す図である。 実施の形態１で、制御部の主要処理のフローを示す図である。 実施の形態１で、運転者から見た視認領域の例として、表示のずれがない状態を示す図である。 実施の形態１で、運転者から見た視認領域の例として、表示のずれが有る状態の第１例を示す図である。 実施の形態１で、運転者から見た視認領域の例として、表示のずれが有る状態の第２例を示す図である。 実施の形態１で、カメラの画像の例を示す図である。 実施の形態１で、空間内の自車と他車との距離等を示す図である。 実施の形態１で、ＡＲ平面および変換後のＡＲ表示領域を示す図である。 実施の形態１で、ＡＲ平面のＡＲ表示領域にＡＲ画像を配置する例を示す図である。 実施の形態１で、ＡＲ平面から曲面の視認領域への座標変換を示す図である。 実施の形態１で、ＡＲ画像の変換の例を示す図である。 実施の形態１で、表示位置変換部の変換テーブルを用いた計算を示す図である。 本発明の実施の形態２のＨＵＤ装置を含む、車載システムの構成を示す図である。 実施の形態２で、運転者から見た視認領域の例として、表示のずれが低減された状態の例を示す図である。 実施の形態２で、表示位置変換部の変換処理を示す図である。 実施の形態２で、表示位置変換部の変換処理の一部として、ＡＲ平面から曲面の視認領域への座標変換を示す図である。 本発明の実施の形態３のＨＵＤ装置を含む、車載システムの構成を示す図である。 実施の形態３で、自動車の運転座席付近を横から見た状態を示す図である。 実施の形態３で、表示位置変換部の変換処理を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
図１〜図２０を用いて、本発明の実施の形態１のヘッドアップディスプレイ装置（ＨＵＤ装置）等について説明する。実施の形態１のＨＵＤ装置は、ＡＲ機能を持つＡＲ表示装置であり、車載のＡＲ−ＨＵＤとして実装される場合を示す。実施の形態１の表示制御方法は、実施の形態１のＨＵＤ装置で実行されるステップを有する方法である。実施の形態１のＨＵＤ装置は、制御部のプログラム処理によって、ＡＲ表示の際に実像と虚像との表示位置のずれを自動的に補正する変換処理を行う機能を有する。実施の形態１では、運転者が光学系のミラー等を調節しない場合でも、その設定状態でＡＲ表示内容を補正する。

［比較例の課題］
実施の形態１に対する比較例として、従来のＨＵＤ装置を含む車載システムでは、以下のような課題がある。比較例のＨＵＤ装置は、実施の形態１のような実像と虚像との表示のずれを補正する機能を持たない。従来、利用例として、運転者は、自動車の運転座席に座って座席を自分の体格や姿勢に合わせて調節した後、ＨＵＤ装置の視認領域のＡＲ表示領域（ＡＲ画像が表示可能なＨＵＤ表示範囲）を調節して基本設定を行う。例えば、運転者は、自分の視線の先の視認領域内の好適な位置にＡＲ表示領域の虚像が見える状態になるように、ＨＵＤ装置の光学系のミラーの角度を手動で調節する。なお、このような調節を基本設定と記載する場合がある。

運転者が標準的な体格の人である場合、この基本設定が完了した状態では、視認領域のＡＲ表示領域に表示される虚像を好適に視認でき、運転中のＡＲ機能の利用が可能である。運転者の視点位置が多少変動したとしても、基本設定のアイボックスの範囲内に入っている限り、ＡＲ表示領域には余裕があり、虚像の視認が可能である。その場合、運転者は、ミラーの角度の再調節等も特に必要ない。

しかしながら、比較例のＨＵＤ装置では、ＡＲ機能の利用時、ＨＵＤ装置の設計上のＡＲ表示領域内の虚像の表示位置に対し、実際に運転者の視点から見た虚像の表示位置にずれが生じる場合がある。例えば、運転者の視点位置が基本設定の視点位置から鉛直方向に変化した場合に、運転者の視界の視認領域では、実像の物体に対してずれた位置に虚像が表示されて、運転者が虚像を視認しにくい場合がある。例えば、運転者の視点位置の変化が大きく、基本設定の視点位置を含むアイボックスの範囲から外に出る場合、虚像が視認されないか、実像と虚像との表示のずれが大きい状態で視認される。表示のずれは、視認領域内での実像と虚像との距離等に現れる。ずれの大きさがある程度までの場合、運転者が物体と虚像とを関係付けて認識できる。しかし、ずれの大きさがある程度以上になる場合、ＡＲの虚像としては不適である。

また、比較例のＨＵＤ装置では、運転者の視点位置と、ＡＲ機能に用いるためのカメラの位置とが異なる。また、比較例のＨＵＤ装置では、カメラの撮影方向や画角と、運転者の視点から見たＡＲ表示領域の方向や画角とが異なる。そのため、比較例のＨＵＤ装置では、設計上のＡＲ画像の表示位置と、運転者から見えるＡＲ画像の位置とでずれが生じる場合がある。

［ＨＵＤ装置および車載システム］
図１は、実施の形態１のＨＵＤ装置１を含む、車載システム１００の構成を示す。車載システム１００は、自動車に搭載されているシステムである。利用者である運転者は、車載システム１００およびＨＵＤ装置１を操作し利用する。このＨＵＤ装置１は、特にＡＲ機能を持つＡＲ−ＨＵＤ装置である。

車載システム１００は、ＥＣＵ（Engine Control Unit：エンジン制御部）１０１、ＨＵＤ装置１、カメラ２を含む車外撮影部１０２、映像データ記憶部１０３、通信部１０４、ＧＰＳ（Global Positioning System）受信器１０５、カーナビ部１０６、センサ部１０８、ＤＢ部１０９等を有し、それらが車載バスおよびＣＡＮ（Car Area Network）１１０に接続されている。車載システム１００は、その他図示しない音声出力部、操作部、電源部等を有する。

ＨＵＤ装置１は、制御部１０、表示部２０を有する。ＨＵＤ装置１は、ＡＲ機能を有する。ＨＵＤ装置１は、ＡＲ機能を用いて、ウィンドシールド９の視認領域５のＡＲ表示領域７にＡＲ画像を表示することで、運転者に各種の情報を伝えることができる。ＨＵＤ装置１は、視認領域５に虚像が表示可能なＨＵＤ表示範囲であるＡＲ表示領域７の位置を自動的に補正する機能を有する。この機能により、運転者の視点から視認領域５を見た時の実像と虚像との表示のずれが低減される。ＨＵＤ装置１は、音声出力部を併用して、運転者に音声出力、例えばカーナビ機能やＡＲ機能による案内やアラーム等を行うこともできる。ＨＵＤ装置１は、操作パネルや操作ボタン等も備え、運転者による手動操作入力、例えばＡＲ機能のオン／オフやユーザ設定、光学系２４のミラーの角度の調節、等も可能である。

制御部１０は、ＨＵＤ装置１の全体を制御する。制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアおよび対応するソフトウェアを備える。制御部１０や他の各部は、マイコンやＦＰＧＡ等のハードウェアによって実装されてもよい。制御部１０は、例えばＣＰＵによりＲＯＭからプログラムを読み出してプログラムに従った処理を実行することで、画像入力部１１等の各部を実現する。制御部１０は、必要に応じて各種のデータや情報を内部のメモリまたは外部のメモリに格納し、読み出し等を行う。制御部１０は、メモリのうちの不揮発性メモリに、ＡＲ機能のための設定情報等を保持する。設定情報は、表示位置変換部１４の変換処理のための設定情報や、ユーザ設定情報を含む。ユーザ設定情報は、光学系２４のミラーの角度の基本設定情報等を含む。

制御部１０は、カメラ２で撮影された画像を入力し、取得した各情報を用いながら、視認領域５のＡＲ表示領域７に虚像を表示するためのＡＲデータである映像データを生成し、表示部２０に与える。制御部１０は、ＡＲデータの生成の際に、視認領域５のＡＲ表示領域７の位置およびＡＲ表示領域７内のＡＲ画像の表示位置を補正する機能を有する。また、制御部１０は、表示部２０を制御して、光学系２４のミラーの角度の状態を調節でき、これにより、視認領域５のＡＲ表示領域７の位置を調節して基本設定ができる。

表示部２０は、投射型映像表示装置（プロジェクタ）等によって構成される。表示部２０は、表示駆動回路２１、表示素子２２、光源２３、光学系２４、駆動部２５を有し、それらが接続されている。表示部２０は、制御部１０からの制御および映像データに基づいて、視認領域５に虚像を表示するための映像光を生成して視認領域５に投射する。

表示駆動回路２１は、ＡＲ表示部１５からの映像データに従って、ＡＲ表示のための表示駆動信号を生成し、表示素子２２および光源２３に与えて駆動制御する。

光源２３は、表示駆動信号に基づいて、表示素子２２への照明光を発生する。光源２３は、例えば高圧水銀ランプ、キセノンランプ、ＬＥＤ素子、またはレーザー素子等で構成される。光源２３からの光は、図示しない照明光学系を通じて表示素子２２に入射される。照明光学系は、照明光を集光し、均一化して、表示素子２２に照射する。

表示素子２２は、表示駆動信号および光源２３からの照明光に基づいて、映像光を生成し、光学系２４へ出射する。表示素子２２は、例えばＳＬＭ（Spatial Light Modulator：空間光変調器）、ＤＭＤ（Digital Micromirror Device、登録商標）、ＭＥＭＳデバイス、またはＬＣＤ（透過型液晶パネルや反射型液晶パネル）等で構成される。

光学系２４は、表示素子２２からの映像光をウィンドシールド９の視認領域５へ導くためのレンズやミラー等の素子を含む（図２）。光学系２４には、駆動部２５が接続されている。表示素子２２からの映像光は、光学系２４のレンズによって拡大等され、ミラーによって反射等されて、視認領域５に投射される。すなわち、視認領域５の一部には、映像光が投射されるＨＵＤ表示範囲であるＡＲ表示領域７が構成される。その映像光は、視認領域５のＡＲ表示領域７で反射され、運転者の目に入射し、網膜に結像する。これにより、運転者の視界の視認領域５では、ＡＲ表示領域７において、透過されている実像に虚像が重畳表示される。

駆動部２５は、光学系２４を駆動するための光学系駆動部であり、レンズやミラー等を駆動するためのモータ等の部品を含む。駆動部２５は、運転者の手動操作入力、あるいは制御部１０からの制御に従って、光学系２４を駆動し、例えばミラーの角度を変更する。駆動部２５は、例えばミラーの角度を調節するための操作ボタンを備えている。運転者は、その操作ボタンの上下の手動操作によって、ミラーの角度を標準に設定された角度を基準として正負に変更可能である。例えば、操作ボタンの第１部分が押されている間、ミラーの角度が正方向（角度を大きくする方向）に変化し、第２部分が押されている間、ミラーの角度が負方向（角度を小さくする方向）に変化する。

ＥＣＵ１０１は、エンジン制御を含む車両制御、車載システム１００の全体の制御を行う。ＥＣＵ１０１は、言い換えると車両制御部である。ＥＣＵ１０１は、運転支援や運転自動制御のための高度な機能を有してもよい。その場合、ＥＣＵ１０１は、その機能に係わる情報をＨＵＤ装置１に出力してＨＵＤ装置１を制御し、ＨＵＤ装置１にその機能に係わるＡＲ画像の表示を行わせてもよい。ＥＣＵ１０１は、センサ部１０８からの検出情報に基づいて、車速等の走行状態を含む車両情報を把握し、制御に用いる。また、ＨＵＤ装置１は、ＥＣＵ１０１から車両情報を取得してＡＲ表示に利用できる。

車外撮影部１０２は、カメラ２を含み、自車の停止中や走行中等に、１台以上のカメラ２を用いて、自車の外界の状況を撮影し、映像データ（時系列の画像フレームを含む）および車両周囲情報を取得する。車外撮影部１０２は、その映像データ等を、映像データ記憶部１０３に格納し、あるいはＥＣＵ１０１やＨＵＤ装置１へ出力する。

カメラ２は、車外カメラであり、車両の所定の位置に所定の向きや画角で設置されている（図２）。カメラ２の位置は、例えば車両前部バンパー付近、ウィンドシールド９の辺付近、あるいは車両横部のバックミラー付近等である。カメラ２は、車両および運転者の前方を含むように、所定の向き（撮影方向）で所定の画角の範囲で撮影し、映像データを出力する。

車外撮影部１０２は、カメラ２の画像を処理する信号処理部を備えてもよいし、備えなくてもよい。その信号処理部は、１台以上のカメラ２の画像を処理して、車両周囲情報等を計算して得てもよい。その信号処理部は、ＥＣＵ１０１やＨＵＤ装置１に備えてもよい。車外撮影部１０２は、カメラ２の画像の解析に基づいて、自車の周囲の他車や人や建物や路面や地形や天候等の状況を判断してもよい。

車外撮影部１０２は、自車と実像の物体との距離を計測する機能を備えてもよい。車外撮影部１０２にカメラ２として２つ以上のカメラ、例えばステレオカメラを備える場合、その左右の２つのカメラが撮影した２つの画像を用いて、公知の両眼視差に基づいた距離計測方式で、物体との距離が計算できる。また、車外撮影部１０２に１つのカメラしか備えない場合でも、そのカメラの画像内の物体の位置から物体との距離を計算できる。また、カメラ２の画像と他のセンサの検出情報とを併用することで、物体との距離を計算してもよい。

映像データ記憶部１０３は、カメラ２からの映像データ等を記憶する。映像データ記憶部１０３は、車外撮影部１０２内にあってもよいし、ＨＵＤ装置１内にあってもよい。

通信部１０４は、車外の移動体網やインターネット等に対する通信を行う通信インタフェース装置を含む部分である。通信部１０４は、ＥＣＵ１０１やＨＵＤ装置１等からの制御に基づいて、例えばインターネット上のサーバ等と通信ができる。例えば、ＨＵＤ装置１は、通信部１０４を介してサーバからＡＲ表示に用いるための元データや関連情報等を参照、取得できる。

通信部１０４は、車車間通信用無線受信機、路車間通信用無線受信機、ＶＩＣＳ（Vehicle Information and Communication System：道路交通情報通信システム、登録商標）受信機等を含んでもよい。車車間通信は、自車と周辺の他車との間の通信である。路車間通信は、自車と周辺の道路や信号機等の機器との間の通信である。

ＧＰＳ受信器１０５は、ＧＰＳ衛星からの信号に基づいて、自車の現在の位置情報（例えば緯度、経度、高度等）を取得する。ＥＣＵ１０１やＨＵＤ装置１やカーナビ部１０６は、ＧＰＳ受信器１０５から自車の現在の位置情報を取得して、制御に用いることができる。

カーナビ部１０６は、車に搭載されている既存のカーナビゲーションシステムの部分であり、地図情報や、ＧＰＳ受信器１０５から取得した位置情報等を保持し、それらの情報を用いて公知のナビゲーション処理を行う。ＥＣＵ１０１やＨＵＤ装置１は、カーナビ部１０６から情報を取得して制御を行うことができる。ＨＵＤ装置１は、カーナビ部１０６から地図情報等を参照してＡＲ表示の元データとして用いてもよい。例えば、ＨＵＤ装置１は、その元データに基づいて、ＡＲ画像の例として、目的地への進行方向のナビゲーションのための矢印画像を生成してもよい。

センサ部１０８は、自動車に搭載されている公知のセンサ群を有し、検出情報を出力する。ＥＣＵ１０１やＨＵＤ装置１は、その検出情報を取得して制御を行う。センサ部１０８に含むセンサデバイスの例として、車速計、加速度センサ、ジャイロセンサ、地磁気センサ（電子コンパス）、エンジン始動センサ、シフトポジションセンサ、ハンドル操舵角センサ、ヘッドライトセンサ、外光センサ（色度センサや照度センサ）、赤外線センサ（近接物体センサ）、温度センサ、等がある。加速度センサおよびジャイロセンサは、自車の状態として、加速度、角速度および角度等を検出する。

センサ部１０８は、自車と物体との距離を計測する距離センサを備えてもよい。距離センサは、例えば光学的センサで実現でき、発した光が物体に当たって戻ってくるまでの時間から距離を計算できる。距離センサがある場合、ＨＵＤ装置１の情報取得部１２は、その距離センサから距離情報を取得できる。

ＤＢ部１０９は、ストレージ等で構成され、ＤＢに、ＡＲ表示に利用するための元データや情報が格納されている。元データは、例えばＡＲ画像（例：枠画像）を生成するための基本画像データ等がある。情報は、例えば物体（例：対向車）に関する基本情報や関連情報、基準画像等がある。なお、ＤＢ部１０９は、ＨＵＤ装置１内に設けられてもよいし、車載システム１００の外部の通信網上のデータセンタ等に設けられてもよい。ＤＢ部１０９のＤＢには、通信部１０４を介して外部から取得された情報が格納されてもよい。また、ＤＢ部１０９のＤＢは、カーナビ部１０６のＤＢとの併合でもよい。

ウィンドシールド９は、自動車の一部であり、透過性および剛性を持つガラス、所定の光学特性のフィルム等で構成されている（図２）。ウィンドシールド９の視認領域５には、ＡＲ機能の利用時にＡＲ表示領域７が構成され、ＡＲ表示領域７において実像に対し虚像が重畳表示される。なお、ウィンドシールド９の手前にＡＲ専用表示板（コンバイナ等）が設けられてもよい。視認領域５は、調節によってＡＲ表示領域７が配置できる範囲に対応している。

画像入力部１１は、カメラ２で撮影された画像を入力し、画像からＡＲのための所定の物体を抽出する。情報取得部１２は、ＡＲ表示および表示位置変換等のために必要な情報として、物体情報、距離情報、車両情報等を取得する。物体情報は、画像内の物体の位置を含む情報である。距離情報は、空間内の自車と物体との距離を含む情報である。車両情報は、車速等を含む情報である。ＡＲ画像生成部１３は、物体に対して重畳表示するための基本的なＡＲ画像を生成する。

表示位置変換部１４は、言い換えると補正部である。表示位置変換部１４は、情報取得部１２で取得された情報を用いて、視認領域５にＡＲ画像を表示可能なＨＵＤ表示範囲であるＡＲ表示領域７の位置、およびＡＲ表示領域７内のＡＲ画像の表示位置を補正する変換処理を行う。ＡＲ表示部１５は、補正後のデータを用いて、視認領域５に対してＡＲ画像を重畳表示する制御を表示部２０に対して行う。

［運転座席］
図２は、実施の形態１で、自動車の運転座席付近を横（Ｘ方向）から見た平面で、各部の配置構成例を概略的に示す。運転座席の前方にウィンドシールド９があり、その一部として視認領域５があり、視認領域５の一部としてＡＲ表示領域７がある。運転座席の前方のダッシュボードの一箇所、例えばコンソールの位置には、ＨＵＤ装置１の表示部２０や、図示しないがカーナビ部１０６等が設置されている。図２では、表示素子２２と光学系２４のうちのミラー２４Ａとを示している。表示素子２２から例えば前方（Ｚ方向）に映像光が出射され、ミラー２４Ａによって上方（Ｙ方向）のウィンドシールド９の方へ反射される場合を示す。ミラー２４Ａからの反射光は、ウィンドシールド９の内側の視認領域５で運転者の目の方へ反射される。なお、光学系２４の構成は、これに限らず可能であり、視認領域５に映像光（ミラー２４Ａの反射光）を投射する位置および角度が可変であればよい。

運転者の目および視点の位置を点ｐ１で示す。また、目の位置の点ｐ１からの視線Ｌ１を一点鎖線で示す。なお、視点位置は、目の位置と異なってもよい。例えば、視点位置は、左右の両目の中間点として計算されてもよいし、頭や顔の中心点等として計算されてもよい。

視認領域５におけるＡＲ表示領域７および虚像の位置を表す点ｐ５を示す。点ｐ５は、例えばＡＲ表示領域７の中心点である。運転者の視線Ｌ１がその点ｐ５を通る場合を示す。点ｐ５は、視線Ｌ１の先の視認領域５との交点である。

車両におけるカメラ２の設置位置の点ｐ２および撮影方向Ｌ２を示す。本例では、車両横部のバックミラー付近にカメラ２が設置されている。撮影方向Ｌ２がＺ方向である場合を示す。

映像光の光軸を一点鎖線で示す。図２では、ＡＲ表示領域７に対応する映像光の範囲を示している。光学系２４の一部として、ミラー２４Ａを有する。ミラー２４Ａは、自由曲面ミラー等であり、例えば凹面鏡である。ミラー２４Ａは、設置および向きの角度θを有する。ミラー２４Ａは、駆動部２５からの駆動によって角度θが可変である。ミラー２４Ａは、Ｘ方向（視認領域５内の水平方向、左右方向に対応する）に延在する回転軸を有する。ミラー２４Ａは、その回転軸での回動によって、角度θが変更される。角度θは、図示するＹＺ面内での回転角度であり、所定の角度範囲内で可変である。

図２では、ミラー２４Ａの角度θの定義として、表示素子２２からの入射方向（Ｚ方向）に対応する水平面を０度として、ミラー２４Ａの反射面である凹面の中心軸（破線で示す）が成す角度（仰角）として示している。本例では角度θが４５度程度である。制御に用いるミラー２４Ａの角度は、この角度θに限らず、他の角度を使用してもよい。いずれにせよ、視認領域５に対する反射光の投射の角度が可変である。凹面における映像光の反射角度や視認領域５への投射角度は、角度θ等に基づいて計算できる。

上記のように少なくとも角度θが可変であるミラー２４Ａの構造に基づいて、視認領域５内のＡＲ表示領域７のＹ方向（視認領域５内の垂直方向、上下方向に対応する）の位置が調節可能である。すなわち、特に、角度θに応じて、運転者の視点から見て視認領域５内でＡＲ表示領域７を上下に移動するように調節（基本設定）が可能である。

なお、Ｘ方向に関しても同様にミラー２４Ａの所定の角度（例えばＺ方向の回転軸の角度）を可変とした構造としてもよい。その場合、視認領域５内のＡＲ表示領域７のＸ方向の位置を調節可能である。また、ミラー２４Ａの曲面の設計によっては、後述のＡＲ平面８から曲面の視認領域５への座標変換（歪み補正）の機能を持たせることもできる。

カメラ２と視点との位置関係については以下である。車載システム１００およびＨＵＤ装置１では、空間内のカメラ２の位置（点ｐ２）が予め設定されている。また、運転者の視点位置（点ｐ１）は、運転座席の付近に対応する所定の範囲内の位置に概ね決まる。そのため、カメラ２の位置（点ｐ２）と視点の位置（点ｐ１）とは、所定の関係として概ね一定の距離等の関係を有し、それらの位置は計算によって相互に変換可能である。

［位置や距離］
図３は、図２と同様の自動車の運転座席の運転者から前方の道路上の物体の実像と、その実像に重畳表示される虚像とを見る場合の位置や距離等について概略的に示す。図３の右側から、運転者の視点（目）の位置Ｐ１（図２の点ｐ１に対応する）、カメラ２の位置Ｐ２（点ｐ２に対応する）、視認領域５上のＡＲ表示領域７および虚像の位置Ｐ５（点ｐ５に対応する）、視認領域５の前方の空間内のＡＲ表示領域７および虚像の位置Ｐ３、視認領域５の前方の実像の物体の位置Ｐ４を示す。各位置は、３次元空間内の位置座標を有する。例えば、位置Ｐ１の位置座標（Ｘ１，Ｙ１，Ｚ１）を有する。同様に、位置Ｐ２（Ｘ２，Ｙ２，Ｚ２）、位置Ｐ３（Ｘ３，Ｙ３，Ｚ３）、位置Ｐ４（Ｘ４，Ｙ４，Ｚ４）、位置Ｐ５（Ｘ５，Ｙ５，Ｚ５）等を有する。

図３のように、実施の形態１のＨＵＤ装置１の計算上では、視認領域５の前方の実像３０１の物体の位置Ｐ４に対応させるように、視認領域５の前方の位置Ｐ３にＡＲ表示領域７および虚像３０２が構成される。運転者の視点位置から見た視認領域５では、位置Ｐ３のＡＲ表示領域７および虚像３０２が、位置Ｐ５（図２の点ｐ５）のＡＲ表示領域７および虚像として構成される。視線Ｌ１の先には、実像３０１の物体（例えば対向車、路面のマーク等）が存在する。また、その実像３０１の物体に対する虚像を重畳表示する場合、視認領域５の前方にＡＲ表示領域７内の虚像３０２が計算される。視点位置Ｐ１からは、視認領域５の点ｐ５のＡＲ表示領域７内にその虚像が見える。

目の位置Ｐ１とカメラ２の位置Ｐ２との距離を距離Ｄ１２で示す。図３では特にＺ方向の距離成分のみを示すが、Ｘ方向およびＹ方向の距離成分もある。目の位置Ｐ１と虚像３０２の位置Ｐ３との距離（虚像距離）Ｄ１３や、カメラ２の位置Ｐ２と虚像３０２の位置Ｐ３との距離Ｄ２３を示す。目の位置Ｐ１と実像３０１の物体の位置Ｐ４との距離（物体距離）Ｄ１４や、カメラ２の位置Ｐ２と実像３０１の物体の位置Ｐ４との距離Ｄ２４を示す。カメラ２の位置Ｐ２と自車の前方先端（バンパー付近）との距離Ｄ６を示す。また、目の位置Ｐ１における地面からの鉛直方向（Ｙ方向）の高さ（視点高さ）Ｈ１を示す。同様にカメラ２の位置Ｐ２の高さＨ２を示す。

自車の位置は、目の位置Ｐ１またはカメラ２の位置Ｐ２または視認領域５の位置Ｐ５等に基づいて適宜換算される。自車の位置からの物体（実像３０１）との距離のうち、Ｙ方向の成分を距離ＤＹで示す。

カメラ２の撮影方向Ｌ２は、水平面よりも少し下向きの場合を示す。水平方向（Ｚ方向）に対するカメラ２の撮影方向Ｌ２の角度φを示す。カメラ２の撮像画角を画角φｃで示す。視点の位置Ｐ１からＡＲ表示領域７を見る場合の画角を画角βで示す。

車載システム１００およびＨＵＤ装置１は、前述のように、車外撮影部１０２またはセンサ部１０８等を用いて、自車と物体との距離を計測する機能を有する。この距離計測機能は、公知の各種の手段を適用可能である。自車と物体との距離は、カメラ２の位置Ｐ２と物体の位置Ｐ４との距離Ｄ２４や、視点位置Ｐ１と物体の位置Ｐ４との距離Ｄ１４と概略的には同じである。自車のウィンドシールド９の視認領域５、カメラ２、運転者の視点等は、所定の位置関係を有するので、その関係に基づいて、それらの各種の距離は、相互に換算可能である。例えば、カメラ２の位置Ｐ２からの物体との距離Ｄ２４から、距離Ｄ１２を反映する計算をすれば、視点位置Ｐ１からの物体との距離Ｄ１４が得られる。また、自車と物体との距離が得られた場合、ＧＰＳによる自車の位置情報を用いて、物体の位置情報もある程度の精度で計算可能である。

［視点位置（１）］
図４〜図９は、実施の形態１および比較例を含め、運転座席での運転者の視点位置や視線およびそれらの変動等について示す。

図４は、運転者の視点位置等の第１状態を示す。第１状態は、第１運転者として標準的な体格の人が、運転座席を調節後、その姿勢（第１姿勢）での視点位置に合わせるように、ミラー２４Ａ（図４では図示しない）の角度θを調節し、視認領域５にＡＲ表示領域７が基本設定された状態である。

この第１状態で、第１運転者の目の位置Ｐ１Ａを示す。位置Ｐ１Ａは、位置座標（Ｘ１Ａ，Ｙ１Ａ，Ｚ１Ａ）を有する。位置Ｐ１Ａは、Ｙ方向では高さＨ１Ａ、位置Ｙ１Ａを有する。位置Ｐ１Ａは、Ｚ方向では位置Ｚ１Ａを有する。位置Ｐ１Ａを中心とした基本設定のアイボックスＥＡも示す。位置Ｐ１Ａからの視線Ｌ１Ａを示す。

視認領域５の前方にある基本設定のＡＲ表示領域７を、破線のＡＲ表示領域７ａで示す。対応する視認領域５内のＡＲ表示領域７を、破線のＡＲ表示領域７ｂで示す。視認領域５の点ＣＡは、ＡＲ表示領域７ａおよびＡＲ表示領域７ｂの中心点を示す。視線Ｌ１Ａは、位置Ｐ１Ａから視線Ｌ１ＡでＡＲ表示領域７の点ＣＡを見る場合の視線を示す。その場合、視線Ｌ１Ａは、ＡＲ表示領域７の画角βＡを有する。視線Ｌ１Ａは、水平面を０度とした伏せ角度として角度αｈを有する。伏せ角度は、目が視認領域５越し前方に虚像３０２を見る際の水平面に対する角度である。

［視点位置（２）］
図５は、第２状態として、図４に対し、運転者の視点位置が異なる場合を示す。比較のために第１状態の位置Ｐ１Ａ等も示す。第２状態は、例えば、図４の第１運転者と同じ人が、運転座席や姿勢を変更した場合の第２姿勢の状態を示す。あるいは、図４の第１運転者と違う人である第２運転者、例えば相対的に体格が大きい人の場合の第２姿勢の状態を示す。特に、第２姿勢では、目の位置が、第１状態の位置Ｐ１ＡよりもＹ方向で高くＺ方向で後ろの位置Ｐ１Ｂになっている。位置Ｐ１Ｂは、位置座標（Ｘ１Ｂ，Ｙ１Ｂ，Ｚ１Ｂ）、および地面からの高さＨ１Ｂを有する。位置Ｐ１Ｂを中心とする場合のアイボックスＥＢも示す。位置Ｐ１Ｂは、第１状態の位置Ｐ１ＡのアイボックスＥＡからは外に出た位置である。

視線Ｌ１Ａ２は、第２状態の目の位置Ｐ１Ｂから、図４と同じ基本設定のＡＲ表示領域７の点ＣＡを見る場合の視線を示す。視線Ｌ１Ａ２では、ＡＲ表示領域７の画角βＡ２を有する。視線Ｌ１Ａ２では、虚像を見る場合の伏せ角度として角度αｈ２を有する。

［視点位置（３）］
図６は、第３状態として、図５の第１または第２運転者の第２姿勢の視点の位置Ｐ１Ｂと同じであるが、視線が異なる場合を示す。図６は、図５の視点の位置Ｐ１Ｂに合わせてミラー２４Ａ（図６では図示しない）の角度によりＡＲ表示領域７の位置を調節した後、位置Ｐ１Ｂから調節後のＡＲ表示領域７の中心の点ＣＢを見る場合の視線Ｌ１Ｂ等を示す。視認領域５のＡＲ表示領域７ｂの点ＣＢは、図５のＡＲ表示領域７ｂの点ＣＡよりもＹ方向で上側に移動している。視線Ｌ１Ｂは、ＡＲ表示領域７の画角βＢを有する。視線Ｌ１Ｂは、伏せ角度として角度αｈ３を有する。

［視点位置（４）］
図７は、第４状態として、図４の第１状態の視点の位置Ｐ１Ａから基本設定のＡＲ表示領域７の点ＣＡを見る場合の視線Ｌ１Ａと、図５の第２状態の視点の位置Ｐ１Ｂから同じＡＲ表示領域７の点ＣＡを見る場合の視線Ｌ１Ａ２とを重ねた状態を示す。また、図７では、視認領域５の前方の位置Ｐ３のＡＲ表示領域７および虚像３０２も含めて横から見た状態を示す。この状態で、ミラー２４Ａの角度θの状態は角度θＡである。図７の状態は、言い換えると、図５に対応して、第１状態の人の視点の位置Ｐ１Ａに合わせた基本設定のＡＲ表示領域７を、第２状態の人の視点の位置Ｐ１Ｂから見る場合を示す。

第１状態の位置Ｐ１Ａから点ＣＡを経由して先に見えるＡＲ表示領域７ａ１と、第２状態の位置Ｐ１Ｂから点ＣＡを経由して先に見えるＡＲ表示領域７ａ２とを示す。基本設定状態では、ＨＵＤ装置１が計算上構成しているのはＡＲ表示領域７ａ１である。第１姿勢の人の場合には、視点の位置Ｐ１Ａからの視線Ｌ１Ａで、実像の物体と、ＡＲ表示領域７ａ１の虚像とがずれなく見える。それに対し、姿勢変更後の第２姿勢の人の場合には、視点の位置Ｐ１Ｂからの視線Ｌ１Ａ２で、実際に見えるのは、ＡＲ表示領域７ａ２の虚像となる。そのため、ＡＲ表示領域７ａ１の先にある実像の物体と、ＡＲ表示領域７ａ２の先にある実像の物体と、それぞれの虚像とでは、表示のずれが生じる。

視点位置からＡＲ表示領域７および虚像を見る場合の見込み角度を角度αで示す。見込み角度は、水平面を０度とした仰角で示す。位置Ｐ１Ａから点ＣＡを通る視線Ｌ１ＡでＡＲ表示領域７ａ１の虚像を見る場合が角度α１である。位置Ｐ１Ｂから同じ点ＣＡを通る視線Ｌ１Ａ２でＡＲ表示領域７ａ２の虚像を見る場合が角度α２である。角度α１と角度α２とが異なっている。第２状態の視点からの見込み角度が、第１状態の視点からの見込み角度よりも大きくなっている（α１＜α２）。なお、見込み角度と伏せ角度とが対応関係を有する。このように、視点位置および視線の見込み角度等の変化に応じて、実像と虚像との表示のずれが生じる。この第４状態の場合、第２姿勢の運転者の視点の位置Ｐ１Ｂからは、ＡＲ表示領域７内の虚像が視認しにくいか、視認困難となる。

［視点位置（５）］
図８は、第５状態として、図４の第１状態の視点の位置Ｐ１Ａから基本設定のＡＲ表示領域７の点ＣＡを見る場合の視線Ｌ１Ａと、図６の第３状態の視点の位置Ｐ１Ｂから調節後のＡＲ表示領域７の点ＣＢを見る場合の視線Ｌ１Ｂとを重ねた状態を示す。また、図８では、同様に、視認領域５の前方の位置Ｐ３のＡＲ表示領域７および虚像３０２も含めて横から見た状態を示す。この状態で、ミラー２４Ａの角度θの状態は、調節によって角度θＡから角度θＢに変更されている。図８の状態は、言い換えると、図６に対応して、第２状態の人の視点に合わせたＡＲ表示領域７を、第２状態の人の視点Ｐ１Ｂから見る場合を示す。

第１状態の位置Ｐ１Ａから点ＣＡを経由して先に見えるＡＲ表示領域７ａ１と、第２状態の位置Ｐ１Ｂから点ＣＢを経由して先に見えるＡＲ表示領域７ａ３とを示す。調節および姿勢変更後の第２姿勢の人の場合には、視点の位置Ｐ１Ｂからの視線Ｌ１Ｂで、実際に見えるのは、ＡＲ表示領域７ａ３の虚像となる。そのため、その人の視界では、ＡＲ表示領域７ａ１の先にある実像の物体と、ＡＲ表示領域７ａ３の虚像とで、表示位置のずれが生じる。

位置Ｐ１Ｂから点ＣＢを通る視線Ｌ１ＢでＡＲ表示領域７ａ３の虚像を見る場合の伏せ角度が角度α３である。調節によって、角度α３は、角度α２よりも小さくなっている。そのため、実像と虚像との表示のずれは、図７の第４状態の場合より低減されているものの、依然としてずれがある。すなわち、第２状態の人の視点の位置Ｐ１Ｂからは、ＡＲ表示領域７の虚像が視認しにくい。

また、従来、図７の状態から図８の状態になるようにミラー２４Ａの角度θを再度調節する場合にも、第２姿勢の運転者の視点の位置Ｐ１ＢからはＡＲ表示領域７の虚像が視認しにくいので、調節作業もしにくい。例えば、相対的に体格が大きい人である第２運転者が、運転座席を調節後の視点の位置Ｐ１Ｂに合わせてＡＲ表示領域７を再度調節しようとする。その際、ＨＵＤ装置１は、視認領域５にＡＲ表示領域７の設定および調節のためのガイドとなる画像（例えばＡＲ表示領域７の枠を示す画像または所定のマーク等）を虚像として表示する。その際、運転者がミラー２４Ａの角度θを手動操作で少し変えると、視認領域５でのＡＲ表示領域７の位置が比較的大きく変化する。これにより、変化後のＡＲ表示領域７が視認領域５から外に出てしまう場合もあり、調節がしにくい。視認領域５内の点ＣＢにＡＲ表示領域７が調節できたとしても、上記のようにずれが依然としてあるので、虚像の視認性に課題がある。

実施の形態１に対する比較例のＨＵＤ装置では、図３で、カメラ２の画角φｃと、ＡＲ表示領域７の画角βとが異なる。また、視点の位置Ｐ１の高さＨ１等と、カメラ２の位置Ｐ２の高さＨ２等とが異なる。そのため、比較例のＨＵＤ装置では、実像と虚像との表示のずれが生じる。そこで、実施の形態１のＨＵＤ装置１では、それらの画角および位置を合わせるように、自動的に補正を行う機能を有する。実施の形態１のＨＵＤ装置１では、制御部１０の処理によって、カメラ２で撮影した画像に基づいて、視認領域５のＡＲ表示領域７の位置を自動的に補正する変換処理を行う。その変換処理では、画像内物体位置や距離に基づいて、視認領域５の前方のＡＲ表示領域７の位置およびＡＲ表示領域７内のＡＲ画像の表示位置が計算される。これにより、実像と虚像との表示のずれがない、または低減された好適なＡＲ表示が実現される。

［視点位置（６）］
図９は、第６状態として、図７や図８の状態に対し、実施の形態１での自動的な補正によって、ＡＲ表示領域７の位置およびＡＲ表示領域７内のＡＲ画像の表示位置が補正された場合の状態を示す。ミラー２４Ａの角度θの状態は図８と同じ角度θＢである。視点の位置Ｐ１Ｂからの視線Ｌ１Ｂの先のＡＲ表示領域７ａ３の虚像に対し、補正後の状態では、視点の位置Ｐ１Ｂからの視線Ｌ１Ｃの先のＡＲ表示領域７ａ４の虚像として見える。ＡＲ表示領域７は、変換によって、補正前のＡＲ表示領域７ａ３から、補正後のＡＲ表示領域７ａ４となっている。視線Ｌ１Ｃは、位置Ｐ１Ｂから補正後のＡＲ表示領域７の中心の点ＣＣを通してＡＲ表示領域７ａ４の虚像を見る場合の視線である。これにより、第２姿勢の運転者の視点の位置Ｐ１ＢからＡＲ表示領域７を見た場合に、実像と虚像との表示のずれがない、または低減されている。

［処理フロー］
図１０は、ＨＵＤ装置１の制御部１０の主要処理のフローを示す。この処理は、ＡＲ表示領域７の位置の変換処理を含む。制御部１０は、自車の走行中およびＡＲ機能の利用中に、このような処理をリアルタイムで行う。図１０は、ステップＳ１〜Ｓ６を有する。以下、ステップの順に説明する。

（Ｓ１） 制御部１０の画像入力部１１は、車外撮影部１０２のカメラ２の映像データの画像フレームを、映像データ記憶部１０２から読み出す等して順次に入力する。

（Ｓ２） 画像入力部１１は、入力された画像内から、ＡＲのための所定の物体の領域や位置等を抽出する処理を行う。所定の物体は、例えばＡＲ画像を表示する対象となる対向車や歩行者、自転車等、ＡＲ制御のために必要な路面の車線やマーク、路側帯、建物、交通標識等である。なお、この抽出処理は、特徴量抽出や画像マッチング等の画像解析を含む公知技術によって実現できる。

（Ｓ３） 情報取得部１２は、Ｓ１の入力画像および抽出物体に対し、ＡＲ画像生成およびＡＲ表示領域７の位置の変換のために必要な所定の情報を取得する。所定の情報は、物体情報、距離情報、車両情報等がある。

情報取得部１２は、以下のように物体情報を取得する。情報取得部１２は、例えば、Ｓ１の画像からの物体の抽出結果情報として、画像内の物体領域の位置やサイズや形状、判別された物体の種類（例えば対向車、人、自転車、路面、標識等）、等の情報を取得する。また、情報取得部１２は、カーナビ部１０６やＤＢ部１０９のＤＢから、予め登録されている物体情報を参照し取得してもよい。

情報取得部１２は、以下のように距離情報を取得する。情報取得部１２は、例えば、車外撮影部１０２またはセンサ部１０８から、自車と物体との距離を含む距離情報を取得する。情報取得部１２は、例えば、車外撮影部１０２が距離計測機能を持つ場合には、車外撮影部１０２から距離情報を取得する。情報取得部１２は、センサ部１０８が距離センサを持つ場合には、センサ部１０８から距離情報を取得する。あるいは、情報取得部１２は、画像入力部１１やセンサ部１０８から取得した画像や情報を用いて、距離を計算する。

情報取得部１２は、以下のように車両情報を取得する。情報取得部１２は、例えば、ＥＣＵ１０１またはセンサ部１０８から、走行情報を含む車両情報を取得する。走行情報は、例えば、右折、左折、直進等の状態を表す情報を含む。ＥＣＵ１０１は、センサ部１０８に基づいて、自車の車速等を含む車両情報を把握している。情報取得部１２は、ＥＣＵ１０１からその車両情報を取得する。また、情報取得部１２は、例えばセンサ部１０８やＧＰＳ受信器１０５またはカーナビ部１０６から、自車の現在の位置情報や走行方向情報等を取得する。情報取得部１２は、カーナビ部１０６からナビゲーション情報を取得してもよい。情報取得部１２は、通信部１０４を介して外部から車車間通信情報や路車間通信情報やＶＩＣＳ情報を取得してもよい。

（Ｓ４） ＡＲ画像生成部１３は、Ｓ１〜Ｓ３の画像や情報に基づいて、対象物体に関連付けて重畳表示するための基本的なＡＲ画像を生成する。その際、ＡＲ画像生成部１３は、ＡＲ画像の生成のために、カーナビ部１０６、ＥＣＵ１０１、ＤＢ部１０９等から、元データを入力して用いてもよい。元データは、例えば、カーナビ部１０６の地図情報や自車の現在の位置情報や目的地や経路の情報、ＥＣＵ１０１の車両情報、ＤＢ内の物体情報等が挙げられる。これらは、ＡＲ機能としてどのような画像情報を提供するかに依るものであり、特に限定しない。本例では、後述の図１１のように、ＡＲ画像として、少なくとも対向車の枠画像や、ナビゲーションの矢印画像等を提供するので、そのための元データを有する。ＡＲ画像生成部１３は、生成したＡＲ画像データを出力する。

（Ｓ５） 一方、表示位置変換部１４では、Ｓ１〜Ｓ３の情報、およびＳ４のＡＲ画像データに基づいて、視認領域５のＡＲ表示領域７の位置およびＡＲ表示領域７内のＡＲ画像の表示位置を自動的に補正および決定するための変換処理を行う。この補正は、実像と虚像との表示のずれに関する補正であり、言い換えると視認領域５内のＡＲ表示領域７の位置のずれに関する補正である。表示位置変換部１４は、変換後のＡＲ表示領域７内にＡＲ画像を配置する。すなわち、表示位置変換部１４は、変換後のＡＲ表示領域７内のＡＲ画像の表示位置を決定する。

表示位置変換部１４は、所定の変換テーブル（または所定の変換計算式）に基づいた変換処理を行うことで、変換後のＡＲ表示領域７の位置、およびそのＡＲ表示領域７内のＡＲ画像の表示位置を決定する。表示位置変換部１４は、入力値を変換テーブルに入力して変換処理を行い、出力値を出力する。入力値は、Ｓ３の取得情報に基づいた、画像内の物体の位置座標や、空間内の自車と物体との距離等である。出力値は、視認領域５（ＡＲ平面８）内のＡＲ表示領域７やＡＲ画像の位置等である。変換処理の内容詳細については後述する。

（Ｓ６） ＡＲ表示部１５は、Ｓ４およびＳ５のデータおよび情報に基づいて、視認領域５のＡＲ表示領域７にＡＲ画像を表示するための制御処理を行って表示部２０にＡＲ表示を行わせる。ＡＲ表示部１５は、Ｓ５の変換後（補正後）のデータを用いて、視認領域５に対応する計算上のＡＲ平面８において、ＡＲ表示領域７にＡＲ画像を表示するためのＡＲデータを生成する。また、この際、ＡＲ表示部１５は、ＡＲ平面８からウィンドシールド９の曲面の視認領域５へ対応付けるための座標変換（歪み補正）の処理も行う。ＡＲ表示部１５は、生成したＡＲデータである映像データを、表示部２０へ与える。その後、前述のように、表示駆動回路２１は、ＡＲデータに従って表示駆動信号を生成し、光源２３および表示素子２２を駆動する。これにより、表示素子２２からの映像光が光学系２４のミラー２４Ａ等を経由して視認領域５のＡＲ表示領域７に投射および反射され、実像の物体に対しＡＲ画像が重畳表示される。以上のような主要処理が同様に繰り返し行われる。以下、具体例を用いながら、ＡＲ表示領域７の位置の変換処理等を説明する。

［視認領域（１）］
図１１は、運転者の視点位置から見たウィンドシールド９の視認領域５におけるＡＲ表示領域７やＡＲ画像の例を示す。図１１は、実像と虚像とで表示のずれがない状態の場合を示す。なお、図１１等では視認領域５を簡易的に矩形のＸＹ平面で示す。視認領域５内には、実像として、自車の前方の道路５００、対向車５０１、建物、空等が視認されている。視認領域５のＡＲ表示領域７の位置の例を破線枠で示す。この破線枠は実際には表示されない。本例では、視認領域５の中央付近に、比較的小さいサイズで矩形のＡＲ表示領域７が設定されている場合を示すが、これに限らず可能である。点Ｃ１は、ＡＲ表示領域７の中心位置を示す。

ＡＲ表示領域７内で、必要に応じてＡＲ画像が表示される。ＡＲ画像の例として、ＡＲ画像Ｇ１，Ｇ２を示す。ＡＲ画像Ｇ１は、対向車５０１の存在を強調するために、対向車５０１の領域を囲むような枠画像を表示する例である。ＡＲ画像Ｇ１によって運転者に注意を促すことができる。ＡＲ画像Ｇ１は、カメラ２の画像からの対向車の検出に応じて表示可能である。ＡＲ画像Ｇ１は、例えばＥＣＵ１０１からの車両情報に基づいた表示制御も可能である。例えば、自車の車速、および対向車５０１との距離の判断に基づいて、ＡＲ画像Ｇ１の表示の有無、表示色、点滅の有無等が制御されてもよい。ＡＲ画像Ｇ２は、自車の前方の道路５００の路面上に、自車の進行方向のナビゲーションのための矢印画像を表示する例である。ＡＲ画像Ｇ２は、例えば右折を表す矢印画像である。ＡＲ画像Ｇ２は、例えばカーナビ部１０６の目的地および経路の情報に基づいて生成および表示されている。なお、上記のようなＡＲ画像の内容や表示の仕方に関しては一例であって限定されない。

点Ｑ１は、視認領域５内およびカメラ２の画像内の物体である対向車５０１の領域の中心位置を示す。ＡＲ画像Ｇ１の表示中心位置は、点Ｑ１である。点Ｑ２は、道路５００上の１つの位置（例えば交差路内）である。ＡＲ画像Ｇ２の表示中心位置は、点Ｑ２である。

図３等のように、カメラ２の位置と運転者の視点位置とは異なるので、カメラ２で撮影した画像の内容は、運転者の視界の視認領域５の内容とは異なるが、概ね対応した内容となる。制御部１０は、カメラ２の位置と運転者の視点位置との異なり（距離Ｄ１２）に対応する補正の計算を行うことにより、カメラ２の画像と視認領域５とを対応付ける。なお、以下では、説明を簡単にするために、視認領域５と画像６とがほとんど同じとする。言い換えると、カメラ２の位置Ｐ２が自車位置や視点位置に一致していると仮定した場合を示す。これらの位置関係は、様々な場合があるが、前述のように相互に変換可能である。自車位置は、自車領域のうちで予め設定されている任意の点の位置であり、例えば図１５の自車の位置Ｍ１であり、ウィンドシールド９の中心点等である。

なお、図１１のＡＲ画像の表示例は、実像の物体の位置とＡＲ画像の表示位置とを同じ点にする方式の場合であるが、これに限らず可能である。他の方式として、物体の位置の近隣位置に、ＡＲ画像を引き出し線等を付けて関連付けて表示する方式等も可能である。

［視認領域（２）］
図１２は、運転者の視界の視認領域５、およびそれに対応するカメラ２の画像６の例を示す。図１２の例は、視認領域５内にＡＲ表示領域７が設定されているが、実像と虚像とで表示のずれがある状態の場合を示す。この場合は、図７や図８の場合に対応する。カメラ２の画像６において、２次元座標系として、横方向（面内水平方向）を小文字のｘ、縦方向（面内垂直方向）を小文字のｙで表す。画像６内の画素の点Ｑの位置座標を（ｘ，ｙ）で表す。

図１２の状態では、視認領域５および画像６内の対向車５０１の位置（点Ｑ１）に対し、ＡＲ表示領域７およびＡＲ画像Ｇ１，Ｇ２の位置が、図１１の状態よりも下にずれた位置になっている。例えば、ＡＲ画像Ｇ１である枠画像は、対向車５０１の領域に対してずれがあり、対向車５０１の領域に一部が重なっているものの、対向車５０１の領域を囲んでいない。表示のずれの大きさがある程度までなら、運転者が対向車５０１とＡＲ画像Ｇ１との関係性を認識できるが、このずれが大きくなるほど、ＡＲ画像として不適となる。

［視認領域（３）］
図１３は、視認領域５の他の例として、視認領域５内から外にＡＲ表示領域７の一部が出てしまっている場合を示す。例えば、前述の図７の状態から図８の状態にミラー２４Ａの角度θを調節する際に、うまく調節できずに図１３のような状態になる場合がある。図１３の状態では、表示のずれが大きく、ＡＲ画像として不適である。ＡＲ画像Ｇ１は、途切れて一部しか表示されておらず、視認しにくく、対向車５０１との関係を認識できない。ＡＲ画像Ｇ２は、全く見えない。運転者は、実像と虚像とのずれが大きいほど、実像と虚像とを関連付ける認識がしにくい。このような表示のずれは、なるべく小さい方が望ましい。

［カメラ画像］
図１４は、図１１等に対応するカメラ２の画像６の例を示し、特に画像６から対向車５０１の領域を抽出する場合について概略的に示す。画像入力部１１は、カメラ２の画像６から、特徴抽出等の画像解析に基づいて、ＡＲ表示領域７内に含まれているＡＲ対象である所定の物体の領域および位置座標を検出する。本例では、図１１の対向車５０１が対象物体である。画像入力部１１は、その物体の中心の点Ｑ１の位置座標（ｘ１，ｙ１）を検出し、その点Ｑ１を中心とする領域６０１を抽出する。領域６０１は、ここでは単純に、対向車５０１の領域を包含する四角形としているが、これに限らず可能である。画像入力部１１は、対象物体領域を、台形や楕円等の領域として検出してもよいし、より詳しく画素領域や形状等を検出してもよい。なお、画像入力部１１の物体領域の抽出の際には、予め設定されている物体の特徴情報や定義情報、あるいは基準画像等に基づいて、公知の手法で検出可能である。

画像６内のＡＲ表示領域７は、基本設定の例における視認領域５内のＡＲ表示領域７の位置に対応付けられた位置を示す。ＡＲ表示領域７の中心の点Ｃ１は、画像６内の位置座標（ｘｃ１，ｙｃ１）を有する。

同様に、自車の前方の道路５００の路面の交差路等を対象物体とする場合に、その物体領域の代表的な１つの位置を、点Ｑ２の位置座標（ｘ２，ｙ２）として示す。画像入力部１１は、交差路等の領域の点Ｑ２を検出する。

［物体との距離］
図１５は、３次元空間の水平面（ＸＺ平面）における、自車と他車との位置関係および距離を示す。他車はＡＲ対象物体である、例えば対向車５０１である。自車の位置をＭ１とし、その位置座標を（Ｘｍ１，Ｙｍ１，Ｚｍ１）で示す。他車の位置をＭ２とし、その位置座標を（Ｘｍ２，Ｙｍ２，Ｚｍ２）で示す。なお、ここでの自車および他車の位置座標は、ＧＰＳによる位置座標（緯度、経度、高度等）と対応付けられる。また、ここでの自車および他車の位置は、ウィンドシールドの中央付近に設定する場合を示す。前述のように、自車のウィンドシールド９の視認領域５、運転者の視点位置、カメラ２の位置等は、所定の位置関係を持ち、それらが相互に変換可能である。

空間内の自車の位置Ｍ１と他車の位置Ｍ２との距離を、距離Ｄで示す。距離Ｄのうち、自車の前方に対応するＺ方向における、自車の位置Ｍ１と他車の位置Ｍ２との距離を、距離ＤＺで示す。また、距離Ｄのうち、自車の左右に対応するＸ方向における、自車の位置Ｍ１と他車の位置Ｍ２との距離（間隔）を、距離ＤＸで示す。図示しないが、高さ方向（Ｙ方向）においても距離成分（図３での距離ＤＹが相当する）を有する。距離ＤＺは、図３では、距離Ｄ１４または距離Ｄ２４が対応する。

ＨＵＤ装置１は、所定の方式で、自車の位置Ｍ１と他車（対向車５０１）の位置Ｍ２との距離を計測する。例えば、前述の車外撮影部１０２のステレオカメラを用いる場合、左右の２つの画像内での物体（他車）の位置座標（ｘ，ｙ）に基づいて、両眼視差方式によって距離Ｄが計算できる。

［ＡＲ平面（１）］
図１６は、ＨＵＤ装置１のＡＲ機能の計算上の２次元平面であるＡＲ平面８を示す。視認領域５および画像６に対応付けられてＡＲ平面８が構成されている。このＡＲ平面８は、実際の曲面の視認領域５のＡＲ表示領域７にＡＲ画像を表示する前の状態の平面である。ＡＲ平面８において、画像６と同様に、横軸を小文字のｘ、縦軸を小文字のｙで示し、点Ｑの位置座標を（ｘ，ｙ）で示す。

表示位置変換部１４は、ＡＲ平面８において、ＡＲ表示領域７およびＡＲ画像の変換処理を行う。表示位置変換部１４は、変換前のＡＲ表示領域７に基づいて、変換処理により、変換後のＡＲ表示領域７を決定し、ＡＲ平面８に配置する。変換後のＡＲ表示領域７の中心点を、点Ｒ１の位置座標（ｘｒ１，ｙｒ１）で示す。ＡＲ表示領域７は、設定に基づいた横幅ＲＨ１や縦幅ＲＨ２も有する。

表示位置変換部１４は、情報取得部１２からの物体情報（図１４の物体の位置座標）および距離情報（図１５の距離Ｄ）を用いて、所定の変換処理によって、ＡＲ平面８におけるＡＲ表示領域７内のＡＲ画像の表示位置を得る。このＡＲ平面８でのＡＲ画像の表示位置を、点Ｖの位置座標（ｘ，ｙ）で表す。点Ｖは、ＡＲ画像を配置する際の基準点（例えば中心点）である。例えば、対向車５０１の領域の点Ｑ１の位置座標（ｘ１，ｙ１）に対応した点Ｖ１の位置座標（ｘｖ１，ｙｖ１）が決定されている。また、路面上の点Ｑ２の位置座標（ｘ２，ｙ２）に対応した点Ｖ２の位置座標（ｘｖ２，ｙｖ２）が決定されている。

［ＡＲ平面（２）］
図１７は、図１６のＡＲ平面８でのＡＲ表示領域７に対するＡＲ画像の配置例を示す。表示位置変換部１４は、ＡＲ表示領域７内の決定された各位置座標にＡＲ画像を配置する。配置後のＡＲ画像ｇ１，ｇ２を示す。例えば、ＡＲ表示領域７内の点Ｖ１を中心とした表示位置に、ＡＲ画像ｇ１（ＡＲ画像Ｇ１に対応する）が配置されている。また、点Ｖ２を中心とした表示位置に、ＡＲ画像ｇ２（ＡＲ画像Ｇ２に対応する）が配置されている。ＡＲ画像ｇ１やＡＲ画像ｇ２は、ＡＲ画像生成部１３で生成された基本ＡＲ画像に基づいた画像である。ＡＲ画像生成部１３は、例えば、元データの枠画像に基づいて、物体領域サイズに対応させた表示サイズや、所定の表示色等を持つように調整した基本ＡＲ画像（枠画像）７０１を生成している。ＡＲ画像生成部１３は、例えば、元データの矢印画像に基づいて、表示サイズや表示色や表示傾き（例えば路面に平行）等を調整した基本ＡＲ画像（矢印画像）７０２を生成している。表示位置変換部１４は、基本ＡＲ画像７０１，７０２に基づいて、ＡＲ表示領域７にＡＲ画像ｇ１，ｇ２を配置している。

なお、上記処理例では、表示位置変換部１４が、ＡＲ表示領域７の位置の変換、および変換後のＡＲ表示領域７内のＡＲ画像の配置（表示位置の決定）を行っているが、これに限らず可能である。例えば、表示位置変換部１４では、ＡＲ表示領域７の位置の変換のみを行い、ＡＲ画像生成部１３またはＡＲ表示部１５が、変換後のＡＲ表示領域７内へのＡＲ画像の配置（表示位置の決定）を行ってもよい。

なお、ＡＲ平面８と実際の視認領域５との間に、ミラー２４Ａ等の光学系２４が介在するので、表示素子２２およびＡＲ平面８の画像内容は、上下反転等の内容になる場合を含む。

［座標変換（歪み補正）］
図１８は、ＡＲ平面８から、ウィンドシールド９に対応する３次元の曲面の視認領域５へ対応させるための座標変換（歪み補正）について示す。予め、自動車のウィンドシールド９の視認領域５の曲面形状やサイズ等がわかっているので、ＡＲ平面８から視認領域５への座標変換を、所定の補正計算として規定可能である。この座標変換は、所定の投影、射影変換等によって規定できる。図１８の（Ａ）は、変換前のＡＲ平面８を示し、ｘ軸、ｙ軸を持つ直交座標系である。図１８の（Ｂ）は、変換後の曲面の視認領域５を簡易的に２次元の座標系で示す（Ｚ方向を省略した）。なお、この座標変換は、変換テーブル内の一部としてまとめることもできる。

この座標変換によって、ＡＲ平面８でのＡＲ表示領域７の位置およびＡＲ画像の表示位置が、曲面の視認領域５での位置に対応付けられる。例えば、（Ａ）のＡＲ平面８のＡＲ表示領域７の中心の点Ｒ１は、（Ｂ）の変換後の曲面のＡＲ表示領域７Ｗの点Ｗとなっている。例えば、ＡＲ画像ｇ１の点Ｖ１（ｘｖ１，ｙｖ１）は、変換後のＡＲ表示領域７Ｗの点Ｗ１（ｘｗ１，ｙｗ１）となっている。

ＡＲ表示部１５は、図１８の（Ｂ）のような変換後のデータをＡＲデータとして表示部２０に与える。これにより、表示部２０からの投射表示によって視認領域５に図１１のようなＡＲ内容（ＡＲ画像Ｇ１等）が表示される。この際には、図１２のような実像と虚像（ＡＲ表示領域７のＡＲ画像）とのずれが低減されている。

［処理詳細（１−１）］
次に、制御部１０の処理の詳細および具体例について説明する。

（１）まず、前述のＳ１、Ｓ２で、画像入力部１１は、カメラ２の画像６内の物体の領域およびその中心点の位置座標（ｘ，ｙ）等を得ている。例えば、図１４の画像６内の対向車５０１の領域６０１および点Ｑ１の位置座標（ｘ１，ｙ１）等が得られる。

（２）Ｓ３で、情報取得部１２は、画像６内の物体の位置座標（ｘ，ｙ）に基づいて、空間内の自車の位置と、物体の位置との距離を取得する。例えば、図１５の対向車５０１との距離Ｄ（ＤＸ，ＤＹ，ＤＺ）が得られる。

距離取得の詳細は以下である。例えば、車外撮影部１０２のカメラ２であるステレオカメラを用いて距離を測定する場合、まず、カメラ２の左右の２つの画像を用いて、公知の両眼視差方式に基づいて、図３のカメラ２の位置Ｐ２と物体の位置Ｐ４との距離Ｄ２４が計算できる。あるいは、同様に、距離センサを用いる場合、距離センサと物体との距離が検出できる。

次に、情報取得部１２は、得られた距離Ｄ２４を、運転者の視点の位置Ｐ１と物体との距離Ｄ１４に換算する。これは、例えばカメラ２の位置Ｐ２と視点の位置Ｐ１との距離Ｄ１２を用いて換算できる。距離Ｄ１２は、予め設定された概略値を用いてもよい。あるいは、後述の運転者撮影部１０７を備える場合には、その機能を用いて視点の位置Ｐ１を測定して、距離Ｄ１２を計算してもよい。

（３）Ｓ４で、ＡＲ画像生成部１３は、物体に重畳表示するための基本ＡＲ画像を生成する。例えば、ＡＲ画像Ｇ１に対応する図１７の基本ＡＲ画像７０１等である。制御部１０は、表示位置変換部１４を用いて、以下のＡＲ表示領域７およびＡＲ画像の変換処理を行わせる。

（４）Ｓ５で、表示位置変換部１４は、画像６内の物体の位置座標（ｘ，ｙ）および空間内の物体との距離等の情報を用いて、ＡＲ平面８においてＡＲ表示領域７の位置、およびＡＲ表示領域７内のＡＲ画像の表示位置等を決定する。この際、表示位置変換部１４は、変換テーブルに基づいた変換処理を行う。表示位置変換部１４は、入力値を変換テーブルに入力して変換後の出力値を出力する。図１６の例では、変換後のＡＲ表示領域７の位置として中心の点Ｒ１の位置座標（ｘｒ１，ｙｒ１）、横幅ＲＨ１、縦幅ＲＨ２が得られ、そのＡＲ表示領域７内のＡＲ画像の表示位置として点Ｖ１（ｘｖ１，ｙｖ１）や点Ｖ２（ｘｖ２，ｙｖ２）等が得られる。

（５）Ｓ５で、表示位置変換部１４は、ＡＲ平面８において、変換後のＡＲ表示領域７内の決定された表示位置にＡＲ画像を配置する。図１７の例では、点Ｖ１にＡＲ画像ｇ１が配置され、点Ｖ２にＡＲ画像ｇ２が配置されている。ＡＲ表示部１５は、ＡＲ画像配置後のＡＲ平面８から曲面の視認領域５への座標変換を行って、表示用のＡＲデータを生成する。図１８の例では、座標変換後のＡＲ表示領域７ＷおよびＡＲ画像が生成されている。

［処理詳細（１−２）］
実施の形態１の表示位置変換部１４の変換処理（Ｓ５）の詳細について以下である。

まず、ＡＲ画像情報に関する座標変換については以下である。図１４の例のように、カメラ２の画像６における対象物体の基準点の画素座標をＱ（ｘ，ｙ）で表す。例えば、対向車５０１の領域６０１に対応する点Ｑ１の画像座標が（ｘ１，ｙ１）である。

カメラ２の初期設定値として以下とする。

・地上からの設置位置：Ｈ （図３の点ｐ２、位置Ｐ２、高さＨ２）
・水平面に対する取付角度：φ （図３の撮影方向Ｌ２を表す角度φ）
・カメラセンサの垂直画角：φｖ （図３の画角φｃの垂直成分）
・カメラセンサの水平画角：φｈ （図３の画角φｃの水平成分）
・カメラセンサの垂直画素数：Ｎｙ （図１４の画像６の縦幅Ｎｙ）
・カメラセンサの水平画素数：Ｎｘ （図１４の画像６の横幅Ｎｘ）
・カメラセンサと自車Ｚ方向先端（フロントバンパー等）との間の距離：Ｊ （図３の距離Ｄ６。または点ｐ２と点ｐ５との距離としてもよい）。

また、ここでは、自車からの対象物体までの前方（Ｚ方向）の距離をＥ（図１５の距離ＤＺ）とする。自車からの対象物体までの横方向（Ｘ方向）の距離をＦ（図１５の距離ＤＸ）とする。

この場合、対象物体の画素座標（ｘ，ｙ）に基づいて、距離Ｅは、下記の式１で計算でき、距離Ｆは、下記の式２で計算できる。なお、距離Ｆの値に関して、符号が負の場合は左、符号が正の場合は右を示すとする。

（式１） Ｅ＝Ｈ・tan（９０°−（φ＋φｖ／２）＋（ｙ／Ｎｙ）・φｖ）−Ｊ
（式２） Ｆ＝Ｅ・tan（（（ｘ−（Ｎｘ／２））／Ｎｘ）・（φｈ／２））
ＨＵＤ装置１の初期設定値として以下とする。

・虚像の伏せ角度：αhud （図４の角度αｈ等）
・地面からの運転者の目の位置：Ｈhud （図３の高さＨ１）
・ＨＵＤの垂直画角：βｖ （図３のＡＲ表示領域７の画角βの垂直成分）
・ＨＵＤの水平画角：βｈ （図３のＡＲ表示領域７の画角βの水平成分）
・ＨＵＤの垂直画素数：Ｎｙhud （図１６のＡＲ表示領域７の縦幅ＲＨ２）
・ＨＵＤの水平画素数：Ｎｘhud （図１６のＡＲ表示領域７の横幅ＲＨ１）。

自車の視認領域５の前方の虚像３０２の表示位置距離情報を、距離Ｅｎ、距離Ｆｎとする。距離Ｅｎは、前方（Ｚ方向）の距離である（図３の距離Ｄ１３や距離Ｄ２３が対応する）。距離Ｆｎは、左右（Ｘ方向）の距離である。また、ＨＵＤ装置１の表示素子２２における表示画素座標を（ｘhud，ｙhud）とする。距離Ｅｎは、下記の式３で表される。距離Ｆｎは、下記の式４で表される。表示画素座標（ｘhud，ｙhud）は、下記の式３および式４を満足するように設定される。

（式３） Ｅｎ＝Ｈhud・tan（９０°−（αhud＋βｖ／２）＋（ｙhud／Ｎｙhud）・βｖ）−Ｊ
（式４） Ｆｎ＝Ｅｎ・tan（（（ｘhud−（Ｎｘhud／２））／Ｎｘhud)・(βｈ／２))
次に、図１７のようにＡＲ表示領域７にＡＲ画像を配置する際のＡＲ画像の変換の詳細について示す。図１９は、そのＡＲ画像の変換の例を示す。本例は、図１１のＡＲ画像Ｇ２に関して、図１７の矢印画像である基本ＡＲ画像７０２からＡＲ画像ｇ２への変換を示す。図１９の（Ａ）は、変換前の矢印画像を示す。このＡＲ画像は、矢印画像を包含する枠が直角を持つ長方形の形状である。長方形のコーナーの４点を点ｃ１〜ｃ４で示す。長方形の横幅ｇｒ、縦幅ｇｓを示す。点ｃ１の表示画素座標を（ｘhud，ｙhud）とする。

図１９の（Ｂ）は、第１変換後の矢印画像を示す。このＡＲ画像は、矢印画像を包含する枠が台形となる。第１変換は、路面に平行な矢印画像にするための変換であり、まだＡＲ表示領域７の位置の変換前である。例えば、ＡＲ画像生成部１３は、第１変換までを行う。台形のコーナーの４点を点ｃ１ｂ〜ｃ４ｂで示す。第１変換は、変換前の長方形の４点（ｃ１〜ｃ４）に基づいて、公知の射影変換によって、変換後の台形の４点（ｃ１ｂ〜ｃ４ｂ）が得られる。台形の下辺の幅をｇｒ２、上辺の幅をｇｒ３、縦幅をｇｓ２で示す。

図１９の（Ｃ）は、第２変換後の矢印画像を示す。第１変換後の矢印画像から、ＡＲ表示領域７の位置の変換に対応する第２変換によって、第２変換後の矢印画像の台形の４点（ｃ１ｗ〜ｃ４ｗ）が得られる。第２変換の計算の際には、上記の式３、式４において、点ｃ１ｗ〜ｃ４ｗの４点の位置座標を満足するように、４点の表示位置距離情報（Ｅｎ，Ｆｎ）が計算される。表示位置変換部１４（またはＡＲ表示部１５）は、得た４点ｃ１ｗ〜ｃ４ｗを基準に、公知の射影変換によって、矢印画像全体を図１９の（Ｂ）から（Ｃ）のように変形させる。

制御部１０は、上記計算に基づいて、カメラ２の画像６内の物体の位置座標情報（ｘ，ｙ）および空間内の物体との距離情報から、空間内の実像３０１の物体の位置情報（図１５の位置Ｍ２）を計算する。空間内の物体の位置は、自車の位置（図１５の位置Ｍ１）を基準として、式１および式２の距離Ｅおよび距離Ｆ（図１５の距離Ｄ）を用いて計算できる。

制御部１０は、上記空間内の実像３０１の物体の位置情報（位置Ｍ２）に合わせるように、空間内のＡＲ表示領域７内の虚像３０２の表示位置を決定する。すなわち、視点の位置Ｐ１からの視線Ｌ１上に虚像３０２および実像３０１の物体の位置が重なるように、ＡＲ表示領域７内の虚像３０２の表示位置が決定される。その虚像３０２の表示位置は、図３の空間では位置Ｐ３（Ｘ３，Ｙ３，Ｚ３）に対応し、図１６のＡＲ平面８では例えば点Ｖ１（ｘｖ１，ｙｖ１）に対応する。制御部１０は、その虚像３０２の表示位置に基づいて、ＡＲ平面８のＡＲ表示領域７内にＡＲ画像を配置する（図１７）。そして、制御部１０は、配置後のＡＲ平面８を座標変換し（図１８）、ＡＲデータとして出力する。

また、ＡＲ表示部１５は、図１８のように２軸の平面の座標変換を行う際には、２軸の各方向を複数に分割し、分割領域の交点のデータを保持する。図１８の例では、ｘ方向で９点を用いて８単位領域に分割し、ｙ方向で５点を用いて４単位領域に分割している。そして、ＡＲ表示部１５は、所定の座標変換テーブルを用いて座標変換を行う。ＡＲ表示部１５は、交点以外の点のデータについては、交点からの補間演算を用いて得る。

［変換テーブル（１）］
図２０は、実施の形態１における表示位置変換部１４の変換テーブルを用いた計算の概念を示す。実施の形態１で、表示位置変換部１４は、変換テーブルＴ１（第１変換テーブル）を使用する。変換テーブルＴ１は、例えば予め制御部１０内のメモリ（ＲＯＭ）に設定されている。

表示位置変換部１４は、前述の画像内の物体の位置（Ｑ（ｘ，ｙ））、および自車と物体との距離Ｄを入力値として、変換テーブルＴ１に入力し、変換テーブルＴ１での変換により、出力値として、ＡＲ表示領域７内のＡＲ画像の表示位置（Ｖ（ｘ，ｙ））を出力する。

［効果等］
上記のように、実施の形態１のＨＵＤ装置１によれば、ＡＲ表示領域７およびＡＲ画像の位置を自動的に補正する機能を有するので、実像と虚像との表示のずれをなくす、または低減して、好適なＡＲ表示が実現できる。自車のカメラ２の位置Ｐ２や、運転者の視点の位置Ｐ１については、従来よりも変動が許容される範囲を広くすることができる。

なお、実施の形態１では、ＡＲ表示領域７およびＡＲ画像の位置を、主に上下方向（Ｙ方向）に補正および変換することを説明したが、これに限らず可能であり、左右方向（Ｘ方向）でも同様に補正および変換が可能である。

（実施の形態２）
図２１〜図２４を用いて、本発明の実施の形態２のＨＵＤ装置等について説明する。実施の形態２等における基本的な構成は、実施の形態１と同様である。以下では、実施の形態２等における実施の形態１とは異なる構成部分について説明する。実施の形態２のＨＵＤ装置１では、カメラ２の画像に基づいて制御部１０の処理によって表示のずれを補正することに加え、光学系２４のミラー２４Ａの角度θを検出する機能を有し、その角度θに基づいて表示のずれを補正する。例えば、運転者の視点位置が基本設定の視点位置よりも上下に大きく変動した場合、実像と虚像との表示のずれが大きくなり、実施の形態１の補正の機能のみでは対応できない。そのため、実施の形態２では、光学系２４のミラー２４Ａの角度θを調節することでＡＲ表示領域７の位置を変更できる機構に基づいて、その角度θの状態に応じてＡＲ表示内容を補正する機能を有する。

［比較例の課題］
実施の形態２に対する比較例のＨＵＤ装置では以下の課題がある。前述の図４〜図８のように、運転者の姿勢や体格の状態に応じて、視点位置が異なり、また、ＡＲ表示領域を見る場合の視線が異なる。運転者は、自分の視点位置に応じて、視認領域５にＨＵＤのＡＲ表示領域７の虚像が見えるように、ミラー２４Ａの角度θの調節を含む基本設定を行う。

例えば、標準的な姿勢や体格の人の場合には、図３や図４のような状態になり、基本設定として、視点の位置Ｐ１ＡおよびアイボックスＥＡである。この基本設定の状態後、視点位置がアイボックスＥＡ内に入っている場合、実像と虚像との表示のずれがないまたは小さいので、運転者は虚像を視認しやすい。例えば、位置Ｐ１Ａからは図１１のように視認領域５が見える。この状態後、第１運転者が姿勢を図５の第２姿勢に変えた場合や、体格が異なる第２運転者が第２姿勢で利用する場合等に、視点位置が基本設定のアイボックスＥＡ外に出る。その場合には、実像と虚像との表示のずれが大きくなり、運転者は虚像が視認しにくくなる。

図５および図７の例では、第２姿勢の人の視点の位置Ｐ１Ｂから、第１姿勢の人の視点Ｐ１Ａに合わせた基本設定のＡＲ表示領域７の虚像を見る場合に、実像と虚像とのずれが大きく、虚像が視認しにくい。図６および図８の例では、第２姿勢の人の視点の位置Ｐ１Ｂから、第２姿勢の人の視点Ｐ１Ｂに合わせて調節したＡＲ表示領域７の虚像を見る場合に、実像と虚像とのずれがあり、依然として虚像が視認しにくい。例えば、相対的に体格が大きい第２運転者の場合に、ミラー２４Ａの角度θが再度調節により角度θＡから角度θＢの状態に変更されている。

図８の例では、ミラー２４Ａの角度θの状態として、第１姿勢の人の視点の位置Ｐ１Ａに対応する基本設定では、（Ａ）の位置のミラー２４Ａで示す角度θＡである。角度θＡの状態では、映像光の中心軸が、視認領域５の点ＣＡの位置に投射されて反射されている。視線Ｌ１Ａは、視認領域５のＡＲ表示領域７の点ＣＡを通って、視認領域５の前方のＡＲ表示領域７ａ１の虚像３０２を見る場合である。第２姿勢の人の視点の位置Ｐ１Ｂに対応する設定では、（Ｂ）の位置のミラー２４Ａで示す角度θＢである。角度θＢの状態では、映像光の中心軸が、視認領域５の点ＣＢの位置に投射されて反射されている。視線Ｌ１Ｂは、視認領域５のＡＲ表示領域７の点ＣＢを通って、視認領域５の前方のＡＲ表示領域７ａ３の虚像３０２を見る場合である。

第２姿勢の人の視点の位置Ｐ１Ｂは、第１姿勢の人の視点の位置Ｐ１Ａよりも高い（Ｈ１Ａ＜Ｈ１Ｂ，Ｙ１Ａ＜Ｙ１Ｂ）。そのため、視認領域５では、図１２の例のように、実像３０１の物体（例えば対向車５０１）の位置に対して虚像（例えばＡＲ画像Ｇ１）が下側の位置にずれて見える。

図７や図８の例のように、運転者の姿勢等に応じた視点位置からＡＲ表示領域７の虚像を見る際の視線の見込み角度や伏せ角度が異なる。例えば、図７ではα１≠α３である。その角度に応じて、実像３０１の物体と虚像３０２との間にずれが生じる。

実施の形態２に対する比較例のＨＵＤ装置として、実施の形態２のＨＵＤ装置１の機能を持たない場合、図５や図６の第２姿勢の人の視点の位置Ｐ１Ｂからは、例えば図１２や図１３のように、視認領域５で実像と虚像との表示のずれがある。そのため、運転者は虚像が視認しにくい、または視認できない。

比較例のＨＵＤ装置では、基本設定機能として、ミラー２４Ａの角度θを手動操作で調節する機構を有するが、視認領域５に対するＡＲ表示領域７の位置をおおまかに調節できるものの、実像と虚像との表示のずれについての自動的な補正はできない。また、例えば相対的に体格が大きい人や小さい人の場合、そもそも基本設定の際に、視認領域５内にＡＲ表示領域７の虚像が見える状態になるようにする調節がしにくい。

そこで、実施の形態２のＨＵＤ装置１では、光学系２４のミラー２４Ａの角度θの状態を検出し、その角度θの状態に合わせて、ＡＲ表示領域７内のＡＲ画像の表示位置を補正するように変換処理を行う機能を有する。これにより、運転者が視点位置に合わせてミラー２４Ａの角度θを調節した場合に、従来よりも実像と虚像との表示のずれが少ない好適なＡＲ表示が実現される。

［ＨＵＤ装置］
図２１は、実施の形態２のＨＵＤ装置１を含む車載システム１００の構成を示す。ＨＵＤ装置１の表示部２０は、駆動部２５に検出部２６を備える。検出部２６は、光学系２４のミラー２４Ａの角度θ等を検出する。駆動部２５には、図示しないが、ミラー２４Ａの角度θを運転者の手動操作によって変更できる操作ボタン等を備えている。また、駆動部２５には、制御部１０からの制御に従って角度θを変更する機能を備えている。この操作ボタン等の入力に基づいて、駆動部２５からモータ等を駆動してミラー２４Ａの角度θが変更される（例えば図８）。角度θが変更された場合、検出部２６は、その時の角度θを検出する。検出部２６は、常時に角度θを検出、出力してもよいし、変更された時のみ検出、出力してもよい。検出部２６は、検出した角度θを含む角度情報を、制御部１０に出力する。なお、検出部２６が角度θを検出する方式については、特に限定しない。

制御部１０の情報取得部１２は、検出部２６からの角度情報を取得し、他の情報と共に表示位置変換部１４に出力する。なお、表示位置変換部１４が検出部２６から角度情報を入力してもよい。表示位置変換部１４は、その角度情報、および前述の物体情報や距離情報を用いて、ＡＲ表示領域７およびＡＲ画像の表示位置の変換処理等を行う。この変換処理は、実施の形態１の変換処理とは異なる。表示位置変換部１４は、ミラー２４Ａの角度θの状態に応じて、ＡＲ表示領域７内のＡＲ画像の表示位置を、上下方向（Ｙ方向）に補正するように決定する。これにより、実像３０１の物体に対する虚像３０２の表示位置が適切な位置に一致させられる。

［視認領域］
実施の形態２のＨＵＤ装置１では、角度θの状態に応じてＡＲ表示領域７内のＡＲ画像の表示位置を補正する。よって、例えば、図５や図６の第２姿勢の人の視点の位置Ｐ１Ｂから視認領域５のＡＲ表示領域７を見た場合、例えば図２２のように、実像と虚像との表示のずれが低減された視認領域５が見える。

図２２は、実施の形態２における視認領域５の例を示す。この視認領域５では、ＡＲ表示領域７の位置については、図１２のＡＲ表示領域７の位置とあまり変わらず、実像３０１の物体（例えば対向車５０１）に対して少し下側の位置にずれている。しかしながら、ＡＲ表示領域７内のＡＲ画像の表示位置については、実施の形態２の変換によって、ずれが低減されるように補正されている。例えば、ＡＲ画像Ｇ１ｂ，Ｇ２ｂが表示されている。ＡＲ画像Ｇ１ｂである枠画像は、図１２のＡＲ画像Ｇ１の表示位置に対し、より上側の位置になるように補正されており、図１１の対向車５０１の位置（点Ｑ１）に近付いている。ＡＲ画像Ｇ１ｂでは、変換によって表示サイズも補正されている。物体領域（対向車５０１）に対し、虚像（ＡＲ画像Ｇ１ｂ）が概ね重なるように、表示位置関係が概ね適切な状態に改善されている。第２姿勢の人の視点の位置Ｐ１Ｂからは、実像と虚像との表示のずれが低減された視認領域５として見える。また、ＡＲ画像Ｇ２ｂである矢印画像についても、同様に、図１２のＡＲ画像Ｇ２の表示位置に対し、より上側の位置になるように補正されており、図１１の位置（点Ｑ２）に近付いている。視点の位置Ｐ１Ｂからは、ＡＲ画像Ｇ２ｂは概ね交差路の路面上に見える。運転者は、ＡＲ画像Ｇ１ｂ，Ｇ２ｂを概ね好適に視認できる。

［処理詳細（２−１）］
次に、実施の形態２における制御部１０の処理の詳細および具体例について説明する。

（１）運転者は、運転座席に座り、運転座席の状態を、自分の体格や姿勢に合わせるように調節する。例えば、標準的な体格の第１運転者の場合、図４の第１姿勢となる。例えば、相対的に体格が大きい第２運転者の場合、図５の第２姿勢となる。

（２）運転者は、ＨＵＤ装置１のＡＲ機能を利用する場合、基本設定として、ＡＲ表示領域７の調節を行う。運転者は、手動操作、例えば操作ボタンの上下の入力によって、表示部２０のミラー２４Ａの角度θを調節することで、視認領域５内のＡＲ表示領域７の位置を調節する。駆動部２５は、手動操作の入力信号に従って、モータを駆動して、ミラー２４Ａの角度θを正負の方向に変化させる。なお、この際、ＨＵＤ装置１は、視認領域５に、調節のためのガイドとなる所定の虚像を表示する。手動操作に応じてそのガイドの虚像が動くことになる。運転者は、そのガイドの虚像を見ながら、自分が好適に感じる位置になるように調節する。なお、調節（基本設定）に応じて、その時点の視点の位置Ｐ１に対応するアイボックスも決定されている。例えばアイボックスＥＡが設定される。

（３）検出部２６は、調節されたミラー２４Ａの角度θを検出し、その角度情報を制御部１０へ出力する。

（４）表示位置変換部１４は、カメラ２の画像６内の物体の点Ｑの位置座標（ｘ，ｙ）、空間内の物体との距離Ｄ、および角度θに基づいて、ＡＲ平面８のＡＲ表示領域７において、視点の位置からＡＲ表示領域７を見た場合のＡＲ画像の表示位置を補正するように変換処理を行う。この変換処理は、リアルタイムで行われ、以下のような処理を含む。

表示位置変換部１４は、実施の形態１と同様に画像６内の物体の中心の点Ｑの位置座標（ｘ，ｙ）、および空間内の物体との距離Ｄの情報に基づいて、ＡＲ表示領域７内のＡＲ画像の表示位置の点Ｖの画素座標（ｘ，ｙ）を計算する。その際、表示位置変換部１４は、実施の形態２のための変換テーブルを用いて、変換処理を行う。

［変換テーブル（２）］
図２３は、実施の形態２における表示位置変換部１４の変換テーブルを用いた計算の概念を示す。実施の形態２で、表示位置変換部１４は、変換テーブルＴ２（第２変換テーブル）を用いる。変換テーブルＴ２は、実施の形態１の変換テーブルＴ１と、所定の係数Ｋ１との乗算で構成される。

実施の形態２における変換の基準は、例えば予め図２〜図４のような標準的な姿勢の人の第１状態の視点位置等に対応させて設計されている。すなわち、基準として、まず、実施の形態１と同様の変換テーブルＴ１を用いることができる。この変換テーブルＴ１に、実施の形態２でミラー２４Ａの角度θを考慮するための係数Ｋ１を乗算して、変換テーブルＴ２を構成する。

係数Ｋ１は、所定の関数Ｆ２によって決定される。関数Ｆ２は、ミラー２４Ａの角度θを変数として含む関数である。関数Ｆ２の入力値として角度θを含む。係数Ｋ１は、関数Ｆ２の出力値として得られる。関数Ｆ２は、ほとんどミラー２４Ａの形状に応じて規定される。関数Ｆ２は、例えば予め制御部１０内のメモリ（ＲＯＭ）に設定されている。

更に、実施の形態２の変形例としては、変換テーブルＴ２を用いた変換処理の計算を高速化するために、以下のような方式を適用することができる。変換テーブルＴ２の乗算（Ｔ１×Ｋ１）や、関数Ｆ２が複雑になる場合がある。その場合、変形例として、公知のラグランジュ補完方式を用いて、その計算を簡易化して高速化する。なお、この簡易化によって、計算の精度は低下せず、ＡＲ表示のずれの補正の精度は確保される。

［処理詳細（２−２）］
実施の形態２での変換処理の詳細について以下である。この変換処理は、実施の形態１の変換処理に対して異なる構成点としては、運転者の視点位置、上下方向（Ｙ方向）のずれを用いる点がある。ＨＵＤ装置１を含むシステムにおいて、図７や図８の例のように、運転者の視点から虚像を見る際の見込み角度や対応する伏せ角度が異なる場合、前述の式３および式４における伏せ角度αhudが異なる。伏せ角度αhudが異なる結果として、表示素子２２の表示画素座標（ｘhud，ｙhud）が異なる。そのため、変換テーブルＴ１に関する補正が必要であり、係数Ｋ１を用いて補正して変換テーブルＴ２となる。例えば、伏せ角度αhudが大きい場合と小さい場合とを比較すると、図２４のようになる。

図２４は、実施の形態２で、ＡＲ表示領域７の変換に係わるＡＲ平面８の変換を示す。この変換は、前述の座標変換を含む。表示位置変換部１４は、変換処理の一部として、ＡＲ平面８から曲面の視認領域５への座標変換も行う。図２４の（Ａ）は変換前のＡＲ平面８およびＡＲ表示領域７を示し、前述と同様に２軸（ｘ，ｙ）の平面である。ここでは、簡略化して、ＡＲ平面８とＡＲ表示領域７を同じで示す。図２４の（Ｂ）は変換後のＡＲ平面８およびＡＲ表示領域７を示す。変換後のＡＲ平面８において、実線のマトリクス８０１は、伏せ角度αhudが小さい場合を示し、実施の形態１の変換テーブルＴ１と対応している。破線のマトリクス８０２は、伏せ角度αhudが大きい場合を示し、実施の形態２の変換テーブルＴ２と対応している。マトリクス８０２は、マトリクス８０１に対してより傾いた台形形状として見える。

実施の形態１の変換テーブルＴ１に、ミラー２４Ａの角度θに応じた補正のための係数Ｋ１を乗算することで、変換テーブルＴ２として用いることができる。言い換えると、マトリクス８０１に対して係数Ｋ１を乗算することでマトリクス８０２が得られる。マトリクス８０２のように、角度θに対応付けられた視点位置や伏せ角度に応じた変換テーブルＴ２を適用して、ＡＲ表示領域７内のＡＲ画像の表示位置が変換される。これにより、運転者の視点位置から見た視認領域５では、実像と虚像との表示のずれが低減される。なお、実施の形態２で、伏せ角度αhudが小さい場合には、係数Ｋ１を１とすれば、変換テーブルＴ１の適用に相当する。

［効果等］
上記のように、実施の形態２のＨＵＤ装置１によれば、ミラー２４Ａの角度θの状態に応じて自動的にＡＲ表示領域７内のＡＲ画像の表示位置を補正する機能を有するので、実像と虚像との表示位置のずれをなくす、または低減して、好適なＡＲ表示が実現できる。運転者の姿勢や体格の違いに応じてミラー２４Ａの角度θを調節してＡＲ表示領域７の位置を調節できる機構を持つ場合に、表示のずれを低減させたより好適なＡＲ表示が実現できる。

（実施の形態３）
図２５〜図２７を用いて、本発明の実施の形態３のＨＵＤ装置等について説明する。実施の形態３のＨＵＤ装置１では、実施の形態１の制御部１０の処理によるＡＲ表示内容の補正、および実施の形態２のミラー２４Ａの角度θに応じた補正等に加え、運転者の視点位置を検出する機能を有する。この機能は、車載システム１００の運転者撮影部１０７を用いる。実施の形態３のＨＵＤ装置１では、その運転者の視点位置に応じてミラー２４Ａの角度θを自動的に調節する機能を有する。すなわち、角度θに応じて視認領域５内のＡＲ表示領域７の位置が設定される。そして、実施の形態３のＨＵＤ装置では、その視点位置、角度θ、およびＡＲ表示領域７の位置の状態に応じて、ＡＲ表示領域７内のＡＲ画像の表示位置を補正する機能を有する。

［比較例の課題］
実施の形態３に対する比較例のＨＵＤ装置では以下の課題がある。基本的な課題としては、実施の形態１および実施の形態２の比較例のＨＵＤ装置の課題と同様である。まず、図４〜図８で、第１姿勢や第２姿勢の運転者の視点の位置Ｐ１に応じて、ＡＲ表示領域７のＡＲ画像が見える位置になるように、ミラー２４Ａの角度θが調節される。例えば、図８の場合で、第２姿勢の人の視点の位置Ｐ１Ｂに合わせるように、ミラー２４Ａの角度θが角度θＡから角度θＢに変更される。そのような場合に、視点の位置Ｐ１Ｂから視認領域５の前方の位置Ｐ３のＡＲ表示領域７の虚像３０２を見る際の見込み角度や伏せ角度が異なる。これにより、運転者の視点から見た場合に実像と虚像との表示のずれが生じる。

そこで、実施の形態３のＨＵＤ装置１では、運転者の視点位置（図３の位置Ｐ１）の検出に応じて、その視点位置に合わせるように、ＡＲ表示領域７内のＡＲ画像の表示位置を補正する変換処理を行う機能を有する。

［ＨＵＤ装置］
図２５は、実施の形態３のＨＵＤ装置１を含む車載システム１００の構成を示す。車載システム１００は、運転者撮影部１０７を備える。運転者撮影部１０７は、カメラ３を含み、１台以上のカメラ３を用いて、運転者の目を含む車内の所定の範囲を撮影し、所定の処理を行う。カメラ３は、運転者カメラ、車内カメラであり、撮影した映像データを出力する。カメラ３は、車両の所定の位置に、所定の撮影方向や画角で設置されている（図２６）。運転者撮影部１０７は、１台以上のカメラ３の画像を用いて、運転者の視点の位置Ｐ１（点ｐ１）や視線Ｌ１を検出する（図２６）。運転者撮影部１０７は、少なくとも、検出した視点位置や視線を含む視点情報を、ＨＵＤ装置１の制御部１０へ出力する。なお、目の位置Ｐ１を含む視点情報は、左右の両目の各位置の情報としてもよいし、両目の中間点等の位置としてもよい。

運転者撮影部１０７は、カメラ３の映像データや、所定の処理によって得た視点情報等を、ＨＵＤ装置１やＥＣＵ１０１へ出力する。ＨＵＤ装置１やＥＣＵ１０１は、その視点情報等を用いて制御を行うことができる。運転者撮影部１０７は、カメラ３の映像データや得た情報を、映像データ記憶部１０３に格納してもよい。

運転者撮影部１０７は、カメラ３の画像を用いて所定の処理を行う信号処理部を備える。その信号処理部は、ＥＣＵ１０１やＨＵＤ装置１内に備えてもよい。運転者撮影部１０７の機能は、公知技術を用いて構成できる。実施の形態３では、運転者撮影部１０７は、カメラ２の画像の解析に基づいて、運転者の目の位置や、視線方向等を検出する機能、すなわちいわゆるアイトラッキング（視線追跡）機能を有する。なお、運転者撮影部１０７は、アイトラッキング（視線追跡）装置として実装されてもよい。なお、実施の形態１でも、変形例として、車載システム１００に、運転者撮影部１０７を備えていてもよい。

制御部１０は、運転者撮影部１０７と連携して運転者の視点位置を検出する視点位置検出機能を備える。実施の形態３では、特に、視点位置検出機能は、情報取得部１２を用いて実現されている。情報取得部１２は、運転者撮影部１０７から視点位置や視線を含む視点情報を取得する。情報取得部１２は、前述の物体情報、距離情報、車両情報の他に、視点情報を保持および出力する。なお、運転者撮影部１０７ではなく、制御部１０等によって視点位置等を計算してもよい。その場合、例えば、情報取得部１２は、運転者撮影部１０７からカメラ３の画像を入力し、その画像を公知の手法で解析して、視点位置等を得る。

表示位置変換部１４は、情報取得部１２からの視点情報における目の位置Ｐ１等を用いて、ＡＲ表示領域７内のＡＲ画像の表示位置の変換処理等を行う。この変換処理は、実施の形態１や実施の形態２の変換処理とは異なる。表示位置変換部１４は、視点の位置Ｐ１および角度θの状態に応じて、ＡＲ表示領域７内のＡＲ画像の表示位置を、上下方向（Ｙ方向）に補正する。これにより、運転者の視点位置から見た場合の実像に対する虚像の表示位置を適切な位置に一致させる。

運転者撮影部１０７は、例えば以下の機能を有する。運転者撮影部１０７は、カメラ３の画像から目の部分を判断して、空間内（車内）の運転者の目の位置を検出する。図２６では、点ｐ１（位置Ｐ１）の位置座標（Ｘ１，Ｙ１，Ｚ１）である。また、運転者撮影部１０７は、頭や目の位置から、運転者の姿勢や動き等を判断、検出してもよい。また、運転者撮影部１０７は、例えば目の中の瞳孔や光反射点を判断する公知の方式に基づいて、運転者の視線方向（図２６の視線Ｌ１）を検出してもよい。また、例えば、運転者撮影部１０７は、画像内の目のまばたき等の状態を判断することで、運転者の疲労状態や居眠り等を検出できる。

［運転座席］
図２６は、図２と概ね同様であるが、実施の形態３での運転座席付近を示す。図２６では、車内の所定の位置Ｐ３に、運転者撮影部１０７のカメラ３が設置されている。車両におけるカメラ３の設置位置の点ｐ３および撮影方向Ｌ３を示す。本例では、運転座席の斜め上付近にカメラ３が設置されている。撮影方向Ｌ３は斜め下の運転座席および運転者の顔を向いている場合を示す。実施の形態３では、カメラ３を含む運転者撮影部１０７を有するので、運転者の視点位置が変動する場合にも、その視点位置を追跡して検出可能である。すなわち、変動する視点位置と物体との距離等も計測可能である。

［視認領域］
実施の形態３のＨＵＤ装置１では、視点位置の状態に応じてミラー２４Ａの角度θを自動的に調節して視認領域５のＡＲ表示領域７の位置を補正すると共に、ＡＲ表示領域７内のＡＲ画像の表示位置を補正する機能を有する。よって、例えば図７の第２姿勢の人の視点の位置Ｐ１Ｂから視認領域５を見た場合に、実像と虚像との表示のずれが低減された視認領域５として見える。例えば、実施の形態２の図２２の例と同様な視認領域５が見える。この視認領域５では、ＡＲ表示領域７内のＡＲ画像の表示位置が実像の物体に近付くように補正されており、表示のずれが低減されている。また、視点位置の変動に応じた補正に伴い、ミラー２４Ａの角度θも例えば図７の角度θＡの状態から図８の角度θＢの状態に自動的に調節される。すなわち、手動操作による調節が不要であり、運転者の手間が削減できる。

［処理詳細（３−１）］
次に、実施の形態３における制御部１０の処理の詳細および具体例について説明する。

（１）ＨＵＤ装置１は、ＡＲ機能の利用時には、運転者撮影部１０７のカメラ３を用いて、運転者の目の位置を検出し、視点情報を出力する。

（２）制御部１０の情報取得部１２は、その視点情報を取得する。情報取得部１２は、視点情報に含まれている、空間内の目の位置Ｐ１の情報、例えば両目の中間点の位置座標（Ｘ１，Ｙ１，Ｚ１）に基づいて、視点位置が変動する場合の変動量（ずれ量Δとする）を計算する。情報取得部１２は、その計算の際、基準となる基本設定の視点位置、例えば図４の位置Ｐ１Ａを中心とするアイボックスＥＡを用いて、基準の位置Ｐ１Ａからの変動後の目の位置の変動量（ずれ量Δ）を計算する。ずれ量Δは、例えば、Ｙ方向（上下）のずれ量Δｈ、およびＺ方向（前後）のずれ量Δｄを含む。なお、運転者撮影部１０７が、そのずれ量Δを計算する機能を備えている場合には、制御部１０でのずれ量Δの計算を省略できる。情報取得部１２は、そのずれ量Δを含む視点情報を、表示位置変換部１４へ出力する。

（３）表示位置変換部１４は、視点位置の変動に応じて、ミラー２４Ａの角度θを調整するように駆動部２５を制御する。駆動部２５は、制御部１０からの制御信号に従ってミラー２４Ａの角度θを変更する。

（４）制御部１０は、視点位置の変動に応じて、ミラー２４Ａの角度θを調整するように駆動部２５を制御する。駆動部２５は、制御部１０からの制御信号に従ってミラー２４Ａの角度θを変更する。

（５）検出部２６は、自動調節によって変更されたミラー２４Ａの角度θの状態を検出し、角度情報を制御部１０の情報取得部１２へ出力する。

（６）制御部１０の情報取得部１２は、その調整後の角度θの状態を把握し、表示位置変換部１４に角度θの状態を出力する。

（７）表示位置変換部１４は、ずれ量Δを含む視点情報および角度θの状態に基づいて、実施の形態３のための所定の変換テーブルＴ３（第３変換テーブル）を用いて、ＡＲ平面８でのＡＲ表示領域７内のＡＲ画像の位置座標（ｘ，ｙ）を決定する変換処理を行う。この変換処理は、リアルタイムで行われ、以下のような処理を含む。表示位置変換部１４は、実施の形態１と同様に画像６内の物体の点Ｑの位置座標（ｘ，ｙ）、および空間内の物体との距離Ｄの情報に基づいて、ＡＲ表示領域７内のＡＲ画像の表示位置の点Ｖの画素座標（ｘ，ｙ）を計算する。その際、表示位置変換部１４は、変換テーブルＴ３を用いて変換処理を行う。

（８）その後も、制御部１０は、（１）から同様に、視点位置の変動の検出に応じた角度θの調節（ＡＲ表示領域７の位置の設定）およびＡＲ表示領域７内のＡＲ画像の補正を行う。

［変換テーブル（３）］
図２７は、実施の形態３における表示位置変換部１４の変換テーブルＴ３を用いた計算の概念を示す。変換テーブルＴ３は、視点の位置Ｐ１に応じた変換として規定されている。変換の基準は、例えば予め図２〜図４のような標準的な人の第１状態に対応させて設計されている。すなわち、基準として、実施の形態１と同様の変換テーブルＴ１が適用できる。この変換テーブルＴ１に、実施の形態３のための係数Ｋ２を乗算して、変換テーブルＴ３を構成する。係数Ｋ２は、視点位置に応じた係数である。

係数Ｋ２は、所定の関数Ｆ３によって決定される。関数Ｆ３は、視点位置のずれ量Δを変数として含む関数である。関数Ｆ３の入力値として視点位置のずれ量Δを含む。係数Ｋ２は、関数Ｆ３の出力値として得られる。関数Ｆ３は、ほとんどミラー２４Ａの形状に応じて決まる。関数Ｆ３は、予め制御部１０のメモリ（ＲＯＭ）内に格納されている。

ずれ量Δは、基準の目の位置（例えば位置Ｐ１Ａ）からの変動の際のずれ量であり、Ｙ方向のずれ量Δｈ、Ｚ方向のずれ量Δｄを含む。Ｙ方向のずれ量Δは、例えば図５の位置Ｙ１Ａ（高さＨ１Ａ）と位置Ｙ１Ｂ（高さＨ１Ｂ）との差分に相当する。情報取得部１２は、そのずれ量Δを運転者撮影部１０７から取得するか、あるいは取得した視点情報に基づいてずれ量Δを計算して得る。

また、実施の形態３で、変形例としては、変換テーブルＴ３を用いた変換処理の計算を高速化するために、実施の形態２と同様に、ラグランジュ補間方式を適用することができる。

なお、実施の形態３の変形例として、制御部１０は、視点位置のずれ量Δの大きさに応じて、例えば閾値範囲との比較に応じて、ミラー２４Ａの角度θおよびＡＲ表示領域７の調節の実行有無やタイミング等を制御してもよい。例えば、制御部１０は、視点位置のずれ量Δが、基準のアイボックスに対応する範囲内である場合には、角度θの変更および変換処理を実行せず、範囲外である場合には、角度θの変更および変換処理を実行するように制御してもよい。

［処理詳細（３−２）］
ＨＵＤ装置１を含むシステムにおいて、基準となる目の位置（基本設定のアイボックス内の位置）に対し、運転者の姿勢の変化等によって、視点位置が変動する。例えば、図４の位置Ｐ１Ａから図５の位置Ｐ１Ｂに変動する。この変動の際の視点位置のずれ量Δとして、上下方向（Ｙ方向）のずれ量Δｈ、および前後方向（Ｚ方向）のずれ量Δｄとする。この場合、図７や図８の例のように、運転者の視点位置から虚像を見る際の見込み角度や伏せ角度が異なる。そのため、前述の式３および式４における伏せ角度αhudが異なる。伏せ角度αhudが異なる結果として、表示素子２２の表示画素座標（ｘhud，ｙhud）が異なる。そのため、変換テーブルＴ１に関する補正が必要であり、係数Ｋ２を用いて補正して変換テーブルＴ３となる。

実施の形態３では、制御部１０は、変動する視点位置の把握に基づいて、光学系２４のミラー２４Ａの角度θを自動的に調節する。制御部１０は、視点位置のずれ量Δに応じて、適切な角度θ（または角度θの変更量）を計算する。この計算は、ずれ量Δと角度θとの関係を規定する所定の関数等を用いて実現できる。制御部１０は、角度θを調節する場合、駆動部２４にそのための制御信号を出力する。駆動部２４は、その制御信号に従って、モータ等を駆動してミラー２４Ａの角度θを変更させる。

［効果等］
上記のように、実施の形態３のＨＵＤ装置１によれば、運転者の目の位置Ｐ１の状態に応じて自動的にＡＲ表示領域７内のＡＲ画像の表示位置を補正する機能を有するので、実像と虚像との表示のずれをなくす、または低減して、好適なＡＲ表示が実現できる。また、実施の形態３では、運転者の手動操作によるミラー２４Ａの調節の手間を削減できる。

以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は上述した実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。実施の形態の構成要素の追加や削除、分離や併合、置換、組合せ等が可能である。実施の形態の機能等は、一部または全部が集積回路等のハードウェアで実現されてもよいし、ソフトウェアプログラム処理で実現されてもよい。各ソフトウェアは、製品出荷時点で予め装置内に格納されていてもよいし、製品出荷後に外部装置から通信を介して取得されてもよい。本発明は、車載システムに限らず、各種の用途に適用可能である。

１…ＨＵＤ装置、２…カメラ、３…カメラ、５…視認領域、７…ＡＲ表示領域、９…ウィンドシールド、１０…制御部、１１…画像入力部、１２…情報取得部、１３…ＡＲ画像生成部、１４…表示位置変換部、１５…ＡＲ表示部、２０…表示部、２１…表示駆動回路、２２…表示素子、２３…光源、２４…光学系、２５…駆動部、１００…車載システム、１０１…ＥＣＵ、１０２…車外撮影部、１０３…映像データ記憶部、１０４…通信部、１０５…ＧＰＳ受信器、１０６…カーナビ部、１０８…センサ部、１０９…ＤＢ部。

Claims (13)

1. 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置であって、
   カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力部と、
   前記画像内の前記物体の位置を含む物体情報、および空間内の前記物体との距離を含む距離情報を取得する情報取得部と、
   前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成部と、
   前記取得された情報を用いて、前記ウィンドシールドまたはコンバイナの視認領域に前記画像を表示可能な範囲である表示領域の位置、および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換部と、
   前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御部と、
   前記制御に従って前記視認領域に対して前記画像を重畳表示する表示部と、
   を備え、
   前記変換部は、基本設定の運転者の視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
   ヘッドアップディスプレイ装置。
2. 請求項１記載のヘッドアップディスプレイ装置において、
   前記変換部は、前記物体情報および前記距離情報を入力値として変換テーブルに入力して前記変換処理を行い、出力値として前記表示領域内の前記画像の表示位置を得る、
   ヘッドアップディスプレイ装置。
3. 請求項１記載のヘッドアップディスプレイ装置において、
   車載システムに搭載され、
   前記表示部は、前記車両の前記ウィンドシールドまたはコンバイナに構成される前記視認領域の前記表示領域に対して投射表示を行う、
   ヘッドアップディスプレイ装置。
4. 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置における表示制御方法であって、
   カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力ステップと、
   前記画像内の前記物体の位置を含む物体情報、および空間内の前記物体との距離を含む距離情報を取得する情報取得ステップと、
   前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成ステップと、
   前記取得された情報を用いて、前記ウィンドシールドまたはコンバイナの視認領域に前記画像を表示可能な範囲である表示領域の位置、および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換ステップと、
   前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御ステップと、
   前記制御に従って前記視認領域に対して前記画像を重畳表示する表示ステップと、
   を備え、
   前記変換ステップは、基本設定の運転者の視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
   表示制御方法。
5. 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させる虚像を表示するヘッドアップディスプレイ装置であって、
   カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力部と、
   前記画像内の前記物体の位置を含む物体情報、および空間内の前記物体との距離を含む距離情報を取得する情報取得部と、
   前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成部と、
   前記取得された情報を用いて、前記ウィンドシールドまたはコンバイナの視認領域に前記画像を表示可能な範囲である表示領域の位置および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換部と、
   前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御部と、
   前記制御に従って前記視認領域に対して前記画像を重畳表示する表示部と、
   を備え、
   前記表示部は、
   前記画像の映像光を前記視認領域に導くための光学系として、角度が可変であるミラーを含み、前記角度に応じて前記視認領域への前記映像光の投射位置が変わることで前記視認領域内の前記表示領域の位置が変わる構成を有する前記光学系と、
   運転者の操作または前記制御に基づいて、前記ミラーの前記角度を変えるように駆動する駆動部と、
   前記ミラーの前記角度を検出する検出部と、
   を有し、
   前記変換部は、前記ミラーの前記角度に応じた基本設定の前記運転者の視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
   ヘッドアップディスプレイ装置。
6. 請求項５記載のヘッドアップディスプレイ装置において、
   前記変換部は、前記角度に応じた係数を決定し、前記係数に応じて決定される変換テーブルを用いて、前記物体情報および前記距離情報を入力値として前記変換テーブルに入力して前記変換処理を行い、出力値として前記表示領域内の前記画像の表示位置を得る、
   ヘッドアップディスプレイ装置。
7. 請求項５記載のヘッドアップディスプレイ装置において、
   車載システムに搭載され、
   前記表示部は、前記車両の前記ウィンドシールドまたはコンバイナに構成される前記視認領域の前記表示領域に対して投射表示を行う、
   ヘッドアップディスプレイ装置。
8. 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させる虚像を表示するヘッドアップディスプレイ装置における表示制御方法であって、
   カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力ステップと、
   前記画像内の前記物体の位置を含む物体情報、および空間内の前記物体との距離を含む距離情報を取得する情報取得ステップと、
   前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成ステップと、
   前記取得された情報を用いて、前記ウィンドシールドまたはコンバイナの視認領域に前記画像を表示可能な範囲である表示領域の位置および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換ステップと、
   前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御ステップと、
   を備え、
   前記ヘッドアップディスプレイ装置は、
   前記制御に従って前記視認領域に対して前記画像を重畳表示する表示部として、
   前記画像の映像光を前記視認領域に導くための光学系として、角度が可変であるミラーを含み、前記角度に応じて前記視認領域への前記映像光の投射位置が変わることで前記視認領域内の前記表示領域の位置が変わる構成を有する前記光学系と、
   運転者の操作または前記制御に基づいて、前記ミラーの前記角度を変えるように駆動する駆動部と、
   前記ミラーの前記角度を検出する検出部と、
   を有し、
   前記変換ステップは、前記ミラーの前記角度に応じた基本設定の前記運転者の視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
   表示制御方法。
9. 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させる虚像を表示するヘッドアップディスプレイ装置であって、
   カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力部と、
   前記画像内の前記物体の位置を含む物体情報、空間内の前記物体との距離を含む距離情報、および前記ウィンドシールドまたはコンバイナの視認領域を見る運転者の視点位置を含む視点情報を取得する情報取得部と、
   前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成部と、
   前記取得された情報を用いて、前記視認領域に前記画像を表示可能な範囲である表示領域の位置および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換部と、
   前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御部と、
   前記制御に従って前記視認領域に対して前記画像を投射表示によって重畳表示する表示部と、
   を備え、
   前記変換部は、前記運転者の前記視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
   ヘッドアップディスプレイ装置。
10. 請求項９記載のヘッドアップディスプレイ装置において、
    前記表示部は、
    前記画像の映像光を前記視認領域に導くための光学系として、角度が可変であるミラーを含み、前記角度に応じて前記視認領域への前記映像光の投射の位置が変わることで前記視認領域内の前記表示領域の位置が変わる構成を有する前記光学系と、
    前記運転者の操作または前記制御に基づいて、前記ミラーの前記角度を変えるように駆動する駆動部と、
    前記ミラーの前記角度を検出する検出部と、
    を有し、
    前記変換部は、前記視点位置に応じて、前記ミラーの前記角度を調節するように制御し、前記調節された前記角度に応じた前記視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
    ヘッドアップディスプレイ装置。
11. 請求項９記載のヘッドアップディスプレイ装置において、
    前記変換部は、前記視点位置またはそのずれ量に応じた係数を決定し、前記係数に応じて決定される変換テーブルを用いて、前記物体情報および前記距離情報を入力値として前記変換テーブルに入力して前記変換処理を行い、出力値として前記表示領域内の前記画像の表示位置を得る、
    ヘッドアップディスプレイ装置。
12. 請求項９記載のヘッドアップディスプレイ装置において、
    車載システムに搭載され、
    前記表示部は、前記車両の前記ウィンドシールドまたはコンバイナに構成される前記視認領域の前記表示領域に対して投射表示を行う、
    ヘッドアップディスプレイ装置。
13. 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させる虚像を表示するヘッドアップディスプレイ装置における表示制御方法であって、
    カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力ステップと、
    前記画像内の前記物体の位置を含む物体情報、空間内の前記物体との距離を含む距離情報、および前記ウィンドシールドまたはコンバイナの視認領域を見る運転者の視点位置を含む視点情報を取得する情報取得ステップと、
    前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成ステップと、
    前記取得された情報を用いて、前記視認領域に前記画像を表示可能な範囲である表示領域の位置および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換ステップと、
    前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御ステップと、
    前記制御に従って前記視認領域に対して前記画像を投射表示によって重畳表示する表示ステップと、
    を備え、
    前記変換ステップは、前記運転者の前記視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
    表示制御方法。

Images