JP6809763B2 - 表示システム - Google Patents

Description

本発明は、ヘッドアップディスプレイを用いた拡張現実（ＡＲ：Augmented Reality）を表示可能な表示システムに関する。

運転者の視線移動を減らす表示システムとして、運転者の視線方向に画像を投射するヘッドアップディスプレイ（以下、ＨＵＤという）が実用化されている。代表的なＨＵＤは、車内に設置された画像投射装置（プロジェクタ）により画像をフロントウィンドに投射し、運転者がスクリーン越しの視線方向にＡＲ表示（虚像）を見ることを可能にする。さらに近年では、撮像カメラなどで撮像された現実空間の画像データにＡＲ画像データを合成する表示も行われている。

ＨＵＤは、上記したように、現実空間に虚像を見せることができる投射システムであるが、運転者から虚像が生成されるまでの距離に応じて投射する画像のフレームレートを変更する技術が存在する。例えば、特許文献１のＨＵＤは、運転者から近い位置に虚像を表示する場合には、その画像のフレームレートを高くし、運転者から遠い位置に虚像を表示する場合には、その画像のフレームレートを低くしている。

特開２０１５−１６６２２９号公報

図１２ないし図１６は、従来のＡＲ表示システムの構成を説明する図である。図１２に示すＡＲ表示システムでは、ＨＵＤの投射光学系の焦点距離が一定であり、運転者または自車Ｍから虚像までの距離Ｌ１（以下、虚像距離という）は一定である。自車Ｍから距離Ｌ１に一致する対象物Ｏ１が存在するとき、虚像距離と対象物までの距離が一致しているため、運転者は、対象物Ｏ１に合致する虚像ＡＲを見ることができる（図１２（Ａ））。しかし、対象物Ｏ１が虚像距離Ｌ１よりも遠くにあるとき（図１２（Ｂ））、あるいは対象物Ｏ１が虚像距離Ｌ１よりも前方にあるとき（図１２（Ｃ））、運転者には、虚像ＡＲが対象物Ｏ１からズレたり、ぼやけて見え、図１２（Ｂ）と図１２（Ｃ）とでは、虚像ＡＲが逆向きに見えてしまう。

虚像距離が一定であると、虚像距離に一致しない対象物への虚像（ＡＲ表示）が不正確に見えてしまう。これを解消する方法として、虚像距離を可変する方法がある。図１３は、虚像距離を可変にしたＡＲ表示システムの例である。図１３（Ａ）に示すように、対象物Ｏ２が自車Ｍから距離Ｌ２にある場合、虚像距離をＬ２にすれば虚像ＡＲ２が対象物Ｏ２に一致して鮮明に見える。また、対象物Ｏ３が自車Ｍから距離Ｌ３にあるとき（図１３（Ｂ））、虚像距離をＬ３にすれば虚像ＡＲ３が対象物Ｏ３に一致して鮮明に見え、対象物Ｏ４が自車Ｍから距離Ｌ４にあるとき（図１３（Ｃ））、虚像距離をＬ４にすれば虚像ＡＲ４が対象物Ｏ４に一致して鮮明に見える。このように、対象物までの距離に応じて虚像距離を可変させれば、対象物に正確にかつ鮮明にＡＲ表示を行うことができる。

また、実際の走行中では、３つの対象物Ｏ２、Ｏ３、Ｏ４が同時に出現することもある。この場合、ＨＵＤは、３つの対象物Ｏ２、Ｏ３、Ｏ４についての３つの画像を、それぞれの虚像距離Ｌ２、Ｌ３，Ｌ４に可変しながら時分割で表示する。例えば、ＨＵＤのフレームレートが６０ｆｐｓ（１秒間に６０フレーム）であるとき、虚像ＡＲ２に２０フレーム、虚像ＡＲ３に２０フレーム、虚像ＡＲ４に２０フレームが割り当てられるように画像および虚像距離が変更される。

図１４は、虚像距離の切替えを説明する図である。虚像距離Ｌ５にある対象物Ｏ５の虚像ＡＲ５と、虚像距離Ｌ６にある対象物Ｏ６の虚像ＡＲ６とが同時に存在するとき、虚像距離の変更を、例えば、１／６０秒の速度で行えば、虚像ＡＲ５と虚像ＡＲ６とを対象物Ｏ５と対象物Ｏ６に正確に表示させることができる。この場合、ＨＵＤは、虚像ＡＲ５と虚像ＡＲ６についての２つ画像をそれぞれ交互に表示し、つまり、それぞれの画像には３０フレームが割り当てられる。

図１５は、虚像距離を変更する機能を備えたＨＵＤの一例を示す図である。同図において、ＨＵＤ１は、ＡＲ画像を生成するプロジェクタ等のＰＧＵ（Picture Generation Unit）２と、ＰＧＵ２から出力された光を２次元的な画像に変換するスクリーン３と、虚像距離を変化させる虚像距離可変装置４と、スクリーン３に映された画像をフロントガラスへ向けて反射させる主鏡５とを含む。虚像距離可変装置４は、生成されるＡＲ画像と同期して虚像距離を高速で切り替える。なお、虚像距離可変装置４は、通常、レンズ位置を調整することで光学的距離を変更するが、図１６に示すように、ドライブ回路４Ｂからの駆動電圧によって焦点距離を変化させることができるレンズ４Ａを用いて虚像距離を可変するようにしても良い。

このように、従来のＡＲ表示システムでは、複数の対象物についての複数の虚像を表示させる場合には、それぞれの画像を時分割表示し、かつ画像に同期して虚像距離を変更している。しかしながら、対象物の数が多くなると、１つの虚像に割り当てられるフレーム数つまり時間が減少し、虚像（ＡＲ表示）のちらつきまたは不鮮明さが問題となる。また、運転者にとって、複数のＡＲ表示のいずれもが同一の重要度を意味するわけではなく、運転者によって極めて重要なＡＲ表示にちらつきや不鮮明さが生じてしまうことも考えられる。

本発明は、このような従来の課題を解決するものであり、運転者にとって重要度の高い拡張現実の表示を見やすくする表示システムを提供することを目的とする。

本発明に係る表示システムは、車両の前方を撮像する撮像手段と、前記撮像手段により撮像された撮像データに基づき拡張現実の表示対象となる対象物を抽出する抽出手段と、前記対象物の重要度を判定する判定手段と、前記対象物の拡張現実用の画像データを生成する画像生成手段と、前記重要度に基づき前記画像データのフレームレートを設定する設定手段と、前記設定されたフレームレートに従い前記画像データに基づき空間変調された画像をフロントガラスに投射する投射手段と、を有する。

好ましくは前記設定手段は、重要度が高い対象物の画像データのフレームレートを、重要度が低い対象物の画像データのフレームレートよりも高くする。好ましくは前記判定手段は、高速走行時には車両の遠方側の対象物の重要度が高いと判定し、低速走行時には車両の手前側の対象物の重要度が高いと判定する。好ましくは前記画像生成手段は、前記重要度に応じて画像データの面積または奥行の長さを変更する。好ましくは前記判定手段は、対象物の種別に基づき対象物の重要度を判定する。好ましくは前記判定手段は、対象物と車両との間の相対距離の変化に基づき対象物の重要度を判定する。好ましくは前記判定手段は、運転者の視線方向に基づき対象物の重要度を判定する。好ましくは表示システムはさらに、前記拡張現実の虚像が生成される位置を可変するための可変手段を含み、当該可変手段は、前記投射手段の焦点距離を可変する。

本発明によれば、対象物の重要度に応じて拡張現実用の画像データのフレームレートを変更するようにしたので、運転者は、重要度が高い対象物の拡張現実の表示を鮮明に見ることができる。

本発明の実施例に係るＡＲ表示システムの構成を示すブロック図である。 本発明の実施例に係るＨＵＤの構成を示す図である。 焦点距離の調整機構の一例を示す図である。 本発明の実施例に係る表示制御プログラムの機能的な構成を示す図である。 図５（Ａ）は、高速走行時の運転者の視界の例示、図５（Ｂ）は、低速走行時の運転者の視界の例示である。 図６（Ａ）は、高速走行時に割り当てられるフレーム数の一例を示すテーブル、図６（Ｂ）は、低速走行時に割り当てられるフレーム数の一例を示すテーブルである。 本発明の第１の実施例に係る表示制御プログラムの動作を示すフロー図である。 本発明の第２の実施例に係るＡＲ画像の生成例を示す図である。 本発明の第３の実施例に係るＡＲ表示の例示である。 本発明の第５の実施例に係る表示制御プログラムの機能的な構成を示す図である。 本発明の第５の実施例に係るＡＵ表示の例示である。 従来のＡＲ表示システムの構成を例示する図である。 従来のＡＲ表示システムの構成を例示する図である。 従来のＡＲ表示システムにおける虚像距離の切替えを説明する図である。 従来のＡＲ表示システムの虚像距離可変装置を説明する図である。 従来のＡＲ表示システムの虚像距離可変装置を説明する図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明に係る表示システムは、ヘッドアップディスプレイ（ＨＵＤ）に代表される画像投射装置を含み、ＨＵＤにより車両のフロントガラス越しに見えるＡＲ表示を行う。ＡＲ表示は、運転者が視線方向に見る実空間上の虚像である。

図１は、本発明の実施例に係るＡＲ表示システムの構成を示すブロック図である。本実施例のＡＲ表示システム１００は、ユーザーからの指示を受け取る入力部１１０、車両に関する車両情報を取得する車両情報取得部１２０、車両周辺の画像を撮像する撮像部１３０、記憶部１４０、ＡＲ表示を行うためのＨＵＤ１５０、および制御部１６０を含む。但し、ここに示す構成は一例であり、これら以外の構成や機能を備えるものであっても良い

車両情報取得部１２０は、車両の速度情報を取得する。取得の経路は任意であるが、例えば、車内バス等を介して車速パルス情報、ブレーキ情報、ギア情報などを取得する。あるいは、車両情報取得部１２０は、ＧＰＳ信号を取得することができ場合には、ＧＰＳ信号の変化量から車両の速度を算出するようにしてもよい。

撮像部１３０は、少なくとも車両の前方を撮像する撮像カメラを含み、撮像された撮像データは制御部１６０へ提供される。制御部１６０は、撮像データを画像処理し、車両前方に存在するＡＲ表示対象となる対象物の認識および抽出を行う。記憶部１４０は、ＡＲ表示システム１００にとって必要な情報などを格納する。例えば、対象物についてのＡＲ表示用の画像データを格納する。

ＨＵＤ１５０は、車両のフロントガラスまたはフロントウィンドウに画像を投射し、運転者は、視線方向にその虚像であるＡＲ表示を見ることができる。図２は、ＨＵＤ１５０の構成の一例である。ＨＵＤ１５０は、光源１５１、光源１５１からの光を集光する光学系１５２、光学系１５２から入射された光を画像データに基づき変調する光変調手段１５３、光変調手段１５３により変調された画像を投射する投射光学系１５４、投射光学系１５４の光学系（例えば、光軸や焦点距離など）を調整するためのアクチュエータ１５５を含む。

光変調手段１５３は、例えば、液晶デバイス、あるいは複数の可変ミラーが２次元的に配置されたディジタルミラーデバイス（ＤＭＤ）などから構成される。光変調手段１５３は、記憶部１４０から一定のフレームレートでＡＲ表示用の画像データを読出し、読み出した画像データに基づき光学系１５２から入射された光を変調し、ＡＲ投射画像を出力する。例えば、フレームレートが６０ｆｐｓであれば、光変調手段１５３は、１秒間に６０フレームのＡＲ表示用の画像データを読出し、これと同期してＡＲ投射画像を出力する。

投射光学系１５４は、光変調手段１５３により生成されたＡＲ投射画像をフロントガラスに向けて投射し、運転者は、視線方向においてＡＲ投射画像の虚像（ＡＲ表示）を実空間に重ね合せて見ることができる。投射光学系１５４は、レンズやミラー等の光学部材を含み、アクチュエータ１５５は、例えば、レンズの位置等を可変することで投射光学系１５４の焦点距離を可変することができる。投射光学系１５４の焦点距離を変化させることで、虚像距離（例えば、図１３のＬ２、Ｌ３、Ｌ４）が可変される。

アクチュエータ１５５は、投射光学系１５４の焦点距離を可変とするための駆動機構（例えば、モータなど）を含み、駆動機構は、制御部１６０からの制御信号によって制御される。アクチュエータ１５５の構成は任意であるが、例えば、図１６に示すような電圧によってレンズの焦点距離を可変する機構であっても良い。また、図３（Ａ）に示すように、投射光学系１５４が、レンズ１５４Ａとレンズ１５４Ａからの光をフロントガラスに向けて反射するメインミラー１５４Ｂとを備えているとき、レンズ１５４Ａを高速シフトさせて焦点距離を可変するようにしてもよい。あるいは、図３（Ｂ）に示すように、焦点距離の異なるレンズ１５７Ａ、１５７Ｂ、１５７Ｃ、１５７Ｄ、１５７Ｅ、１５７Ｆを円盤１５８に取り付け、円盤１５８を軸Ｃを中心に回転させることで、選択されたレンズを光路上に配置させ、投射光学系１５４の焦点距離を変化させてもよい。

制御部１６０は、ＡＲ表示システム１００の各部を制御する。好ましい態様では、制御部１６０は、ＲＯＭ、ＲＡＭなどを含むマイクロコントローラ等を含み、ＡＲ表示を制御する表示制御プログラム２００を実行する。図４は、表示制御プログラム２００の機能的な構成を示す図である。表示制御プログラム２００は、撮像データ取得部２１０、対象物抽出部２２０、虚像距離決定部２３０、アクチュエータ制御部２４０、重要度判定部２５０、ＡＲ画像生成部２６０およびフレームレート設定部２７０を含む。

撮像データ取得部２１０は、撮像部１６０により撮像された車両前方の撮像データを取得する。対象物抽出部２２０は、取得した撮像データを画像処理し、そこに含まれる対象物を抽出する。対象物とは、ＡＲ表示の対象となるものであり、例えば、車両、二輪車、人、障害物、信号機、交差点、白線、道路、標識等である。どのようなものをＡＲ表示の対象にするかは任意であり、対象物は予め設定される。対象物抽出部２２０は、例えば、パターンマッチングによりＡＲ表示の対象となる対象物を撮像データの中から識別し、これを抽出する。

虚像距離決定部２３０は、対象物抽出部２２０により抽出された対象物についてのＡＲ表示をするための虚像距離を決定する。複数の対象物が同時に抽出された場合には、それぞれの対象物についての虚像距離を決定する。例えば、撮像データ内に映された対象物の座標位置に基づき、自車から対象物までの距離を推定し、この推定された距離に基づき虚像距離を決定する。また、ミリ波レーダ等の障害物を検知する障害物センサの検知結果を利用することができる場合には、この検知結果から障害物までの距離を推定するようにしてもよい。

アクチュエータ制御部２４０は、虚像距離決定部２３０により決定された虚像距離に基づきアクチュエータ１５５を制御する。それぞれの虚像距離が異なる複数のＡＲ表示を行う場合には、アクチュエータ制御部２４０は、それぞれのＡＲ表示と同期して虚像距離を変更する。例えば、図１３に示すように、虚像距離Ｌ２、Ｌ３、Ｌ４の虚像ＡＲ２、ＡＲ３、ＡＲ４を時分割表示させるとき、アクチュエータ制御部２４０は、虚像ＡＲ２の表示のときに虚像距離Ｌ２を設定し、虚像ＡＲ３の表示のときに虚像距離Ｌ３を設定し、虚像ＡＲ４の表示のときに虚像距離Ｌ４を設定する。

重要度判定部２５０は、抽出された対象物の重要度を判定する。１つの好ましい態様では、重要度判定部２５０は、車両情報取得部１２０により取得された自車の速度に基づき対象物の重要度を判定する。運転者の視野は、速度に応じて異なるものであり、高速になると、運転者の視野が狭くなり、運転者はより遠方を見ることになる。従って、高速走行時には、遠方領域が手前側よりも重要度が高くなる。他方、低速になると、運転者の視野が手前側にシフトし、運転者は手前側を見ることになる。このため、低速走行時には、手前側が遠方領域よりも重要度が高くなる。従って、重要度判定部２５０は、高速走行時には、撮像データの遠方領域で抽出された対象物の重要度が高いと判定し、手前側で抽出された対象物の重要度が低いと判定し、反対に、低速走行時には、撮像データの手前側で抽出された対象物の重要度が高く、遠方領域で抽出された対象物の重量度が低いと判定する。

図５（Ａ）は、高速走行時の運転者の視界の例示であり、図５（Ｂ）は、低速走行時の運転者の視界の例示である。高速走行時の場合、手前側から遠方側に向けて重要度が高いと判定する（矢印Ｖ１）。低速走行時の場合、遠方側から手前側に向けて重要度が高いと判定する(矢印Ｖ２)。重要度の判定は、矢印Ｖ１、Ｖ２のように線形に変化するものでもよいし、あるいは、手前側から遠方側に向けて領域を複数に分割し、分割された領域のそれぞれに重要度を割り当てるようにしてもよい。この場合、速度の判定は、分割された領域の数に応じて複数段階で行われる。

ＡＲ画像生成部２６０は、対象物抽出部２２０によって抽出された対象物の種別に応じたＡＲ表示用のＡＲ画像データを生成する。ＡＲ画像生成部２６０は、例えば、記憶部１４０に格納されたＡＲ画像データを読出したり、あるいはリアルタイムでＡＲ画像データを生成してもよい。光変調手段１５３は、ＡＲ画像生成部２６０によって生成されたＡＲ画像データに基づき空間変調されたＡＲ投射画像を出力する。

フレームレート設定部２７０は、重要度判定部２５０により判定された対象物の重要度に基づき当該対象物のＡＲ画像データのフレームレートを設定する。つまり、フレームレート設定部２７０は、重要度が高い対象物のＡＲ画像データのフレームレートを、重要度が低い対象物のＡＲ画像データのフレームレートよりも高くなるようにフレームレートの割り当て設定する。光変調手段１５３が、例えば、６０ｆｐｓ（１秒間に６０フレーム）で動作するとき、フレームレート設定部２７０は、６０フレームを、対象物の重要度に応じてそれぞれのＡＲ画像データに割り当てる。対象物が１つであるとき、すなわちＡＲ表示が1つである場合には、そのＡＲ画像データには６０フレームが割り当てられることになる。

例えば、図５（Ａ）に示すように、高速走行時、３つの虚像ＡＲ１０、１１、１２が表示させる場合、フレームレート設定部２７０は、虚像ＡＲ１０についてのＡＲ画像データのフレームレートＦ＿１０が、虚像ＡＲ１１についてのＡＲ画像データのフレームレートＦ＿１１よりも高く、虚像ＡＲ１１についてのＡＲ画像データのフレームレートＦ＿１１が、虚像ＡＲ１２についてのＡＲ画像データのフレームレートＦ＿１２よりも高くなるようにフレーム数の割合が調整される。また、図５（Ｂ）に示すように、低速走行時、３つの虚像ＡＲ１３、１４、１５を表示させる場合、フレームレート設定部２７０は、虚像ＡＲ１５についてのＡＲ画像データのフレームレートＦ＿１５が、虚像ＡＲ１４についてのＡＲ画像データのフレームレートＦ＿１４よりも高く、虚像ＡＲ１４についてのＡＲ画像データのフレームレートＦ＿１４が、虚像ＡＲ１３についてのＡＲ画像データのフレームレートＦ＿１３よりも高くなるようにフレーム数の割合が調整される。

フレームレート設定部２７０は、例えば、図６（Ａ）、（Ｂ）に示すような重要度に応じて割り当てるフレーム数を規定したテーブルを用意しておき、それに従いフレームレートを設定するようにしてもよい。この場合、テーブルに複数のパターンを用意しておき、速度に応じていずれかのパターンを選択するようにしてもよい。

こうしてＨＵＤ１５０は、フレームレート設定部２７０によって設定されたフレームレートに従い、ＡＲ画像データに基づきＡＲ投射画像を出力する。図５（Ａ）の高速走行時、虚像ＡＲ１０についてのフレームレートは、虚像ＡＲ１１、ＡＲ１２についてのフレームレートよりも高いため、虚像ＡＲ１０のチラツキが抑制され、より鮮明となる。運転者は、より遠方を注視するため、虚像ＡＲ１０のチラツキが少なければ、手前側の虚像ＡＲ１３のチラツキが多少大きくてもそれほど気にならない。また、図５（Ｂ）の低速走行時、虚像ＡＲ１５についてのフレームレートは、虚像ＡＲ１４、ＡＲ１３についてのフレームレートよりも高いため、虚像ＡＲ１５のチラツキが抑制され、より鮮明となる。運転者は、手前を注視するため、虚像ＡＲ１４、ＡＲ１５のチラツキが多少大きくてもそれほど気にはならない。

次に、本実施例のＡＲ表示システムの動作について図７のフローを参照して説明する。まず、撮像部１６０により車両の前方を撮像した撮像データが取得され（Ｓ１００）、次いで、撮像データが解析され、対象物抽出部２２０によりＡＲ表示の対象となる対象物が撮像データの中から抽出される（Ｓ１０２）。次に、重要度判定部２２０は、速度情報に基づき対象物の重要度を判定する（Ｓ１０４）。例えば、上記したように、高速走行時、対象物が遠方側で抽出されればその重要度は高く、低速走行時、対象物が手前側で抽出されればその重要度は高いと判定される。次に、ＡＲ画像生成部２６０は、抽出された対象物に対応するＡＲ画像データを生成し、フレームレート設定部２７０は、重要度に基づきＡＲ画像データのフレームレートを設定する（Ｓ１０６）。また、アクチュエータ制御部２４０は、ＡＲ画像データのフレームレートと同期して、虚像距離決定部２３０により決定された虚像距離に従い投射光学系１５４の焦点距離を可変する。これにより、各対象物についてのＡＲ表示（虚像）が時分割表示され、その中で、運転者にとって重要度の高いＡＲ表示がより鮮明に表示される。

次に、本発明の第２の実施例について説明する。第２の実施例は、重要度に応じてＡＲ画像データの奥行方向の長さまたは面積を変更する。つまり、運転者にとって重要度が高い対象物のＡＲ表示（虚像）をさらに見易くする。

図８（Ａ）には、低速走行時のＡＲ画像データの一例が示されている。同図に示すように、手前側から順に、面積Ｓ１のＡＲ画像データ３０１、面積Ｓ２のＡＲ画像データ３０２、面積Ｓ３のＡＲ画像データ３０３がＡＲ画像生成部２６０により生成され、Ｓ１＞Ｓ２＞Ｓ３の関係にある。あるいは、別の態様では、奥行きＺ１のＡＲ画像データ３０１、奥行きＺ２のＡＲ画像データ３０２、奥行きＺ３のＡＲ画像データ３０３が生成され、Ｚ１＞Ｚ２＞Ｚ３の関係にある。低速走行時、運転者の視線は手前側にシフトされるので、手前側のＡＲ表示を相対的に大きくし、見易くする。他方、高速走行時は、その反対に、図８（Ｂ）に示すように、遠方側の方が注視され易いので、遠方側から順に、面積Ｓ１のＡＲ画像データ３１１、面積Ｓ２のＡＲ画像データ３１２、面積Ｓ３のＡＲ画像データ３１３がＡＲ画像生成部２６０により生成され、Ｓ１＞Ｓ２＞Ｓ３の関係にある。あるいは、別の態様では、奥行きＺ１のＡＲ画像データ３１１、奥行きＺ２のＡＲ画像データ３１２、奥行きＺ３のＡＲ画像データ３１３が生成され、Ｚ１＞Ｚ２＞Ｚ３の関係にある。

なお、図８は、矩形状のＡＲ画像データを例示しているが、ＡＲ画像データは、例えば、距離や速度などを表す数字などであってもよい。この場合にも、重要度が高い対象物についての数字データが相対的に大きく生成され、重要度が低い対象物についての数字データが小さく生成される。

次に、本発明の第３の実施例について説明する。第１の実施例では、対象物の重要度を判定するために車両の速度情報を用いたが、第３の実施例では、抽出された対象物の種別に応じて重要度を判定する。具体的には、重要度判定部２５０は、対象物抽出部２２０により抽出された対象物が人物か否かを判定し、人物である場合には重要度が高いと判定する。

図９は、車両前方の風景であり、これが撮像部１３０により撮像されたものとする。ここには、車両前方に人物Ｕ１ないしＵ４が存在し、対象物抽出部２２０は、ＡＲ表示の対象として人物Ｕ１〜Ｕ４を抽出する。重要度判定部２５０は、抽出された対象物が人物であるとき、対象物の重要度が高いと判定する。フレームレート設定部２７０は、重要度が高いと判定された人物についてのＡＲ画像データのフレームレートが他の対象物についてのＡＲ画像データのフレームレートよりも高くする。これにより、運転者は、人物Ｕ１〜Ｕ４についてのチラツキの少ない鮮明な虚像ＡＲ１６〜ＡＲ１９を見ることができる。

また、第３の実施例は、第１または第２の実施例と組合せるものであってもよい。第１の実施例と組合わせる場合には、対象物が人物であるか否か、および車両の速度に基づき重要度が判定される。例えば、高速走行時に遠方に人物が存在すれば、その対象物の重要度が最も高くなり、低速走行時に手前側に人物が存在すれば、その対象物の重要度が最も高くなる。また、第２の実施例と組み合わせる場合には、対象物が人物であるときのＡＲ画像データが相対的に他のＡＲ画像データよりも大きく生成される。

なお、上記実施例では、対象物が人物であるときに対象物の重要度を高いと判定したが、これは一例であり、どのような対象物の重要度を高くするかは任意に設定することが可能である。例えば、対象物が車両であるときに重要度が高いと判定するようにしてもよい。

次に、本発明の第４の実施例について説明する。第４の実施例では、対象物と自車との間の相対距離の変化に基づき対象物の重要度を判定する。具体的には、対象物が自車に向かってくる場合には、相対距離が減少するのでその対象物は重要度が高いと判定し、対象物が自車から遠ざかる場合には、相対距離が増加するのでその対象物の重要度が低いと判定する。例えば、図９に示すシーンにおいて、対象物抽出部２２０は、時刻ｔ１において人物Ｕ１〜Ｕ４を抽出し、時刻ｔ２において人物Ｕ１〜Ｕ４を抽出し、つまり、対象物抽出部２２０は、一定の時間間隔で人物Ｕ１〜Ｕ４を抽出する。重要度判定部２５０は、一定の時間間隔で抽出された人物Ｕ１〜Ｕ４の位置と自車の位置との間の相対距離の変化に基づき人物Ｕ１〜Ｕ４が自車に接近しているか否かを判定し、接近していれば重要度が高いと判定し、接近していなければ、重要度が低いと判定する。フレームレート設定部２７０は、この判定結果に基づき、人物Ｕ１〜Ｕ４についての各ＡＲ画像データのフレームレートを設定する。図９の例では、人物Ｕ１、Ｕ２が自車に接近し、人物Ｕ３、Ｕ４が自車から遠ざかり、人物Ｕ１、Ｕ２についてのＡＲ画像データのフレームレートが人物Ｕ３、Ｕ４についてのＡＲ画像データのフレームレートよりも高くなり、それ故、運転者は、人物Ｕ１、Ｕ２についての虚像ＡＲ１６、ＡＲ１７を、人物Ｕ３、Ｕ４の虚像ＡＲ１８、ＡＲ１９よりも鮮明に見ることができる。

なお、対象物が接近しているか否かの判定は、ミリ波レーダなどを用いた障害物センサが車両に搭載されている場合には、障害物センセの検出結果を利用するようにしてもよい。

次に、本発明の第５の実施例について説明する。上記実施例では、車両の速度情報、対象物の種別、対象物との相対距離の変化に基づき対象物の重要度を判定したが、第５の実施例は、運転者の視線方向に基づき重要度を判定する。図１０は、第５の実施例に係る表示制御プログラム２００Ａの機能的な構成を示す図であり、図４と同一構成については同一参照番号を付してある。

本実施例の表示制御プログラム２００Ａはさらに、運転者の視線情報を取得するための視線情報取得部２８０を含む。運転者の視線情報は、例えば、車内に搭載された運転者の顔を撮像する撮像データを画像解析することで得ることができる。重要度判定部２５０は、視線情報取得部２８０で取得された運転者の視線方向または視線方向の一定範囲内に存在する対象物の重要度が高いと判定する。フレームレート設定部２７０は、この判定結果に基づき重要度が高い対象物のＡＲ画像データのフレームレートを他のものよりも高くする。

図１１は、第５の実施例に係るＡＲ表示の一例である。同図に示す例では、運転者の視線方向が前方の車両Ｍ１であり、それ故、車両Ｍ１についてのＡＲ画像データのフレームレートが、人物Ｕ５についてのＡＲ画像データのフレームレートよりも高く設定される。このため、運転者は、車両Ｍ１の虚像ＡＲ２０をより鮮明に見ることができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：ＡＲ表示システム １１０：入力部
１２０：車両情報取得部 １３０：撮像部
１４０：記憶部 １５０：ＨＵＤ
１５１：光源 １５２：光学系
１５３：光変調手段 １５４：投射光学系
１５５：アクチュエータ １６０：制御部

Claims (8)

1. 車両の前方を撮像する撮像手段と、
   前記撮像手段により撮像された撮像データに基づき拡張現実の表示対象となる対象物を抽出する抽出手段と、
   前記抽出手段によって抽出された対象物の拡張現実を表示するための虚像距離を決定する決定手段と、
   前記対象物の重要度を判定する判定手段と、
   前記対象物の拡張現実用の画像データを生成する画像生成手段と、
   前記重要度に基づき前記画像データを表示するためのフレームレートを設定する設定手段と、
   前記設定されたフレームレートに従い前記画像データに基づき空間変調された画像をフロントガラスまたはフロントウィンドウに投射する投射手段と、
   前記決定手段により決定された虚像距離に基づき前記投射手段の焦点距離を制御する制御手段とを有し、
   前記抽出手段により複数の対象物が抽出された場合、複数の拡張現実の画像データの設定されたフレームレートに従う時分割表示に同期して焦点距離が可変される、表示システム。
2. 前記設定手段は、複数の対象物の重要度が運転者の手前側から遠方側に向けて高くなる場合、手前側の対象物の画像データのフレームレートよりも遠方側の対象物の画像データのフレームレートを高く設定し、複数の対象物の重要度が運転者の遠方側から手前側に向けて高くなる場合、遠方側の対象物の画像データのフレームレートよりも手前側の対象物の画像データのフレームレートを高く設定する、請求項１に記載の表示システム。
3. 前記判定手段は、高速走行時には車両の遠方側の対象物の重要度が高いと判定し、低速走行時には車両の手前側の対象物の重要度が高いと判定する、請求項１または２に記載の表示システム。
4. 前記画像生成手段は、前記重要度に応じて画像データの面積または奥行の長さを変更する、請求項１に記載の表示システム。
5. 前記判定手段は、対象物の種別に基づき対象物の重要度を判定する、請求項１に記載の表示システム。
6. 前記判定手段は、対象物と車両との間の相対距離の変化に基づき対象物の重要度を判定する、請求項１に記載の表示システム。
7. 前記判定手段は、運転者の視線方向に基づき対象物の重要度を判定する、請求項１に記載の表示システム。
8. 前記設定手段は、複数の対象物のそれぞれに割り当てるフレーム数を規定したテーブルを含み、当該テーブルは、当該複数の対象物のフレーム数が異なる複数のパターンを含み、前記設定手段は、車両の速度に応じてパターンを選択する、請求項１に記載の表示システム。

Images