JP6873350B2 - 表示制御装置及び表示制御方法 - Google Patents

Description

この発明は、車両用の表示装置を制御する表示制御装置及び表示制御方法に関するものである。

車両用のヘッドアップディスプレイ（以下、「ＨＵＤ」と称する）は、乗員が前方視野から大きく視線を動かすことなく、画像情報を視認可能な表示装置である。特にＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）を利用したＡＲ−ＨＵＤ装置は、道路等の前景に道案内矢印等の画像情報を重畳表示することで、既存の表示装置に比べて直感的かつ分かりやすく、乗員に情報を提示できる（例えば、特許文献１参照）。

特開２０１８−１４０７１４号公報

ＡＲ−ＨＵＤ装置が前景の重畳対象物（例えば、交差点）に表示物（例えば、道案内矢印）を表示する場合、重畳対象物と表示物とのずれを補正する必要がある。ＡＲ−ＨＵＤ装置は、重畳対象物と表示物とが重畳しているように乗員に視認させることで、分かりやすい表示を乗員に提供できる。仮に表示物が重畳対象物からずれることで前景中の他の重畳対象物に重畳する、又は何もないところに表示されると、乗員に誤った情報を視認させてしまう恐れがある。そのため、ＡＲ−ＨＵＤ装置は、表示ずれの補正が重要となる。

ＡＲ−ＨＵＤ装置の表示ずれは、上下方向と左右方向とに分けて考えることができる。重畳対象物と表示物とが上下方向にずれる原因は、主に道路形状の変化である。例えば、道路の勾配が原因で車両の位置より重畳対象物の位置が高い場合、ＡＲ−ＨＵＤ装置は、表示物の位置を上方向に補正する必要がある。また、道路の凹凸が原因で車両が上下方向に振動する場合、ＡＲ−ＨＵＤ装置は、車両の振動に伴って上下する重畳対象物に合わせて表示物の位置を上下方向に補正する必要がある。特許文献１では、上下方向の表示ずれの補正については言及されているが、左右方向の表示ずれの補正については言及されていない。

重畳対象物と表示物とが左右方向にずれる原因は、主に運転者の車両操作である。運転者は、ハンドルを左右に動かし、車両のヨー方向の傾きを調整しながら、想定走行経路に沿って車両を走行させる。そのため、車両が同じ車線上を走行し続けたとしても、車両に対する重畳対象物の左右方向の位置は変化する。したがって、ＡＲ−ＨＵＤ装置は、表示物が重畳対象物に重畳し続けるように左右方向の表示ずれを補正する必要がある。

従来のＡＲ−ＨＵＤ装置において表示物が重畳対象物に重畳し続けるように左右方向の表示ずれを補正する場合、運転者の車両操作によって車両が左右方向にふらつくことがあったとしても想定走行経路に沿って車両が走行する前提である。そのため、車線変更及び障害物回避のように、車両が、運転者の車両操作による左右方向のふらつき以上に大きく移動した場合、以下の（１）、（２）、及び（３）のような問題が発生する。

（１）車両の移動方向と逆方向に表示物が移動し運転の妨げとなる恐れがある。
（２）ＡＲ−ＨＵＤ装置の表示エリアに表示物の一部又は全部が表示されず、表示物が持つ本来の情報を乗員に伝えることができない。
（３）車両の移動に伴い重畳対象物が変更されたときに表示物が変更後の重畳対象物へ急激に移動し運転の妨げとなる恐れがある。

上記（１）、（２）、及び（３）のような問題を防ぐためには、車両の想定走行経路からの逸脱を判定し、逸脱開始時に表示物と重畳対象物との左右方向の表示ずれ補正を開始する必要がある。しかしながら、従来のＡＲ−ＨＵＤ装置のように車両のヨー角又はヨーレートの変化だけを用いる場合、車両の想定走行経路からの逸脱開始を判定することは困難であった。

この発明は、上記のような課題を解決するためになされたもので、車両の想定走行経路からの逸脱を判定し、車両が想定走行経路から逸脱した場合の表示物と重畳対象物との左右方向のずれを補正することを目的とする。

この発明に係る表示制御装置は、車両の前方の重畳対象物に表示物を重畳表示する表示装置を制御する表示制御装置であって、車両が走行を予定している想定走行経路に対する車両の実際の進行方向の角度であるヨー角、又はヨー角の単位時間あたりの変化量であるヨーレートを、ヨーイング情報として取得するヨーイング情報取得部と、車両の乗員の視線情報、乗員の発話情報、又は交通情報のうちの少なくとも１つを用いて、車両の想定走行経路からの逸脱可能性を予測する逸脱可能性予測部と、ヨーイング情報取得部により取得されたヨーイング情報、及び逸脱可能性予測部により予測された逸脱可能性を用いて、車両の想定走行経路からの逸脱を判定するヨーイング変化予測部と、ヨーイング変化予測部により車両の想定走行経路からの逸脱が判定された場合、重畳対象物の変更、及び変更後の重畳対象物と表示物のずれ補正を行う画像生成部とを備えるものである。

この発明によれば、ヨー角又はヨーレートと、車両の乗員の視線情報、発話情報、又は交通情報のうちの少なくとも１つを用いて予測された逸脱可能性とを用いて、車両の想定走行経路からの逸脱を判定すると共に、逸脱を判定した場合に重畳対象物を変更して変更後の重畳対象物と表示物とのずれ補正を行うようにしたので、車両が想定走行経路から逸脱した場合の表示物と重畳対象物との左右方向のずれを補正することができる。

実施の形態１に係る表示システムの要部を示すブロック図である。 実施の形態１に係る表示システムの車両搭載時の構成図である。 ヨーイング情報を説明する図である。 実施の形態１に係る表示制御装置の動作例を示すフローチャートである。 実施の形態１に係る表示システムの理解を助けるための参考例であり、車線変更前の運転者視点の前景を示す図である。 実施の形態１に係る表示システムの理解を助けるための参考例であり、車線変更中の運転者視点の前景を示す図である。 実施の形態１に係る表示システムの理解を助けるための参考例であり、車線変更後の運転者視点の前景を示す図である。 実施の形態１に係る表示システムにおける、車線変更前の運転者視点の前景を示す図である。 実施の形態１に係る表示システムにおける、車線変更中の運転者視点の前景を示す図である。 実施の形態１に係る表示システムにおける、車線変更後の運転者視点の前景を示す図である。 図５Ａ及び図６Ａの状況を示す鳥瞰図である。 図５Ｂの状況を示す鳥瞰図である。 図６Ｂの状況を示す鳥瞰図である。 図５Ｃ及び図６Ｃの状況を示す鳥瞰図である。 実施の形態１に係る表示システムの理解を助けるための参考例であり、想定走行経路逸脱時のヨーイングの変化を示す図である。 実施の形態１に係る表示システムにおける想定走行経路逸脱時のヨーイングの変化を示す図である。 実施の形態１に係る表示システムのハードウェア構成の一例を示す図である。 実施の形態１に係る表示システムのハードウェア構成の別の例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る表示システムの要部を示すブロック図である。図２は、実施の形態１に係る表示システムの車両搭載時の構成図である。図１及び図２に示されるように、車両１には、表示制御装置２及び表示装置３を含む表示システムと、情報源装置４とが搭載される。表示制御装置２が表示物の画像情報を生成し、表示装置３がウインドシールド３００に画像情報の表示光を投射することで、運転者は、この運転者の眼１００の位置からウインドシールド３００越しに結像された虚像２００の表示物２０１を視認できる。

表示制御装置２は、眼位置情報取得部２１、ヨーイング情報取得部２２、逸脱可能性予測部２３、ヨーイング変化予測部２４、画像生成部２５、及び虚像位置情報取得部２６を備える。表示制御装置２の詳細は後述する。

表示装置３は、画像表示部３１、反射ミラー３２、及び反射ミラー調整部３３を備える。

画像表示部３１は、画像生成部２５が生成した画像情報の表示光を反射ミラー３２へ向けて出力する。画像表示部３１は、液晶等のディスプレイ、又は、プロジェクタ若しくはレーザ光源である。なお、画像表示部３１が液晶ディスプレイである場合、バックライトが必要である。

反射ミラー３２は、画像表示部３１が出力した表示光を反射させ、ウインドシールド３００へ投射する。

反射ミラー調整部３３は、反射ミラー３２のチルト角度を調整することによって、画像表示部３１が出力した表示光の反射角度を変更して虚像２００の位置を調整する。反射ミラー調整部３３は、反射ミラー３２のチルト角度を示す反射ミラー角度情報を、虚像位置情報取得部２６へ出力する。反射ミラー３２が可動式である場合、運転者の眼１００の位置に合わせて運転者が虚像２００を視認できる領域を変更できるようになるので、固定式に比べて反射ミラー３２を小型化できる。なお、反射ミラー調整部３３による角度調整方法は、周知の技術を使用すればよいため、説明を省略する。

ウインドシールド３００は、虚像２００の被投射面である。被投射面は、ウインドシールド３００に限定されるものではなく、コンバイナと呼ばれるハーフミラー等であってもよい。即ち、表示装置３は、ウインドシールド３００を利用するＨＵＤに限定されるものではなく、コンバイナ型ＨＵＤ及びＨＭＤ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等であってもよい。このように、表示装置３は、車両１の前景に虚像２００を重畳表示する表示装置であれば何でもよい。

情報源装置４は、車内カメラ４１、車外カメラ４２、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）４３、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機４４、ナビゲーション装置４５、レーダセンサ４６、無線通信装置４７、及び車内マイク４８等を含む。この情報源装置４は、表示制御装置２に接続されている。

車内カメラ４１は、車両１の乗員のうち、虚像２００の観測者に相当する乗員を撮像するカメラである。実施の形態１の表示システムは、虚像２００の観測者に相当する乗員として運転者を想定した構成である。そのため、車内カメラ４１は、運転者を撮像する。

車外カメラ４２は、車両１の周辺を撮像するカメラである。例えば、車外カメラ４２は、車両１が走行している車線（以下、「走行車線」と称する）、及び車両１の周辺に存在する他車両等の障害物を撮像する。

ＥＣＵ４３は、車両１の各種動作を制御する制御ユニットである。ＥＣＵ４３は、図示しないワイヤハーネスによって表示制御装置２に接続されており、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）規格に基づく通信方式で、表示制御装置２との間で通信自在になっている。ＥＣＵ４３は、図示しない各種センサと接続されており、車両１の各種動作に関する車両情報を各種センサから取得する。車両情報には、車両角度、加速度、角速度、車速、操舵角、及びウインカ等の情報が含まれる。角速度は、車両１に対して直交する３軸の各軸まわりに生じている角速度であり、ヨーレート、ピッチレート、及びローレートである。

ＧＰＳ受信機４４は、図示しないＧＰＳ衛星からＧＰＳ信号を受信し、ＧＰＳ信号が示す座標に対応する位置情報を算出する。ＧＰＳ受信機４４が算出する位置情報は、車両１の現在位置を示す現在位置情報に相当する。

ナビゲーション装置４５は、ＥＣＵ４３から取得した角速度を元に、ＧＰＳ受信機４４が算出した現在位置情報を補正する。ナビゲーション装置４５は、補正した現在位置情報を出発地とし、この出発地から乗員により設定された目的地までの車両１の走行経路を、図示しない記憶装置に記憶された地図情報を用いて探索する。なお、図１において、ナビゲーション装置４５とＧＰＳ受信機４４の接続線、及びナビゲーション装置４５とＥＣＵ４３の接続線は、図示が省略されている。ナビゲーション装置４５は、走行経路の案内に使用する道案内情報を表示制御装置２へ出力し、表示装置３に表示させる。道案内情報は、走行経路上の案内地点（例えば、交差点）における車両１の進行方向、経由地又は目的地の到着予想時刻、並びに、走行経路及び周辺道路の渋滞情報等を含む。

なお、ナビゲーション装置４５は、車両１に搭載された情報機器であってもよく、車両１に持ち込まれたＰＤＮ（Ｐｏｒｔａｂｌｅ Ｎａｖｉｇａｔｉｏｎ Ｄｅｖｉｃｅ）又はスマートフォン等の携帯通信端末であってもよい。

レーダセンサ４６は、車両１の周辺に存在する障害物の方向及び形状、並びに車両１と障害物との距離を検出する。レーダセンサ４６は、例えば、ミリ波帯の電波センサ、超音波センサ、又は光レーダセンサによって実現される。

無線通信装置４７は、車外のネットワークに通信接続して各種情報を取得する。無線通信装置４７は、例えば、車両１に搭載された送受信機、又は車両１に持ち込まれたスマートフォン等の携帯通信端末によって実現される。車外のネットワークは、例えば、インターネットである。無線通信装置４７が取得する各種情報は、車両１の周辺の天候情報、又は施設情報等を含む。

車内マイク４８は、車両１の車室に設置されたマイクである。車内マイク４８は、運転者を含む乗員の会話又は発話を収集し、発話情報として出力する。

次に、表示制御装置２の各構成要素について説明する。
眼位置情報取得部２１は、運転者の眼１００の位置を示す眼位置情報、及び視線の方向を示す視線情報を取得する。例えば、眼位置情報取得部２１は、車内カメラ４１により撮像された画像を解析し、運転者の眼１００の位置を検出し、検出した眼１００の位置を眼位置情報とする。運転者の眼１００の位置は、運転者の左眼及び左眼それぞれの位置であってもよいし、左眼と右眼の中心位置であってもよい。なお、眼位置情報取得部２１は、右眼と左眼の中心位置を、車内カメラ４１により撮像された画像における運転者の顔位置から推定してもよい。また、眼位置情報取得部２１は、車内カメラ４１の撮像画像のうち、検出した運転者の眼１００の位置に相当する画像を解析し、運転者の視線の方向を検出する。

なお、眼位置情報取得部２１は、表示制御装置２ではなく情報源装置４が備えていてもよい。その場合、眼位置情報取得部２１は、運転者の状態を監視するＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）、又は乗員の状態を監視するＯＭＳ（Ｏｃｃｕｐａｎｔ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）等により実現される。

ヨーイング情報取得部２２は、車両１の想定走行経路に対する車両１の進行方向の角度を表すヨーイング情報を取得する。ヨーイングとは、車両１の上下方向を軸とした回転である。ヨーイング情報は、その回転角であるヨー角（単位：ｄｅｇ）、又は単位時間あたりのヨー角の変化量であるヨーレート（単位：ｄｅｇ／ｓｅｃ）である。

想定走行経路とは、車両１の走行経路であり、走行車線、及び走行車線上での車両１の位置を含む。例えば、ヨーイング情報取得部２２は、次の交差点での進行方向等を示す道案内情報をナビゲーション装置４５から取得し、取得した道案内情報に基づいて車両１の走行経路を算出する。また、例えば、ヨーイング情報取得部２２は、ＧＰＳ受信機４４から自車位置情報を取得すると共に、ナビゲーション装置４５から走行車線情報を含む地図情報を取得し、これらの情報に基づいて走行車線、及び走行車線上での車両１の位置を算出する。また、例えば、ヨーイング情報取得部２２は、車外カメラ４２から撮像画像を取得し、取得した撮像画像から白線又は路肩等を検出し、検出した白線又は路肩等と自車位置との関係に基づいて走行車線、及び走行車線上での車両１の位置を算出する。なお、ヨーイング情報取得部２２による想定走行経路の算出方法は、上記例に限定されない。また、ヨーイング情報取得部２２は、ヨーイング情報取得部２２以外で算出された想定走行経路の情報を取得してもよい。その場合、例えば、想定走行経路を、ナビゲーション装置４５が単独で算出してもよいし、ナビゲーション装置４５が情報源装置４のうちのいずれかの機器から情報を取得して算出してもよい。

図３は、ヨーイング情報を説明する図である。
図３の例では、ヨーイング情報取得部２２は、ヨー角の基準（０度）を想定走行経路４０１とし、想定走行経路４０１に対する車両１の進行方向の角度であるヨー角を取得する。または、ヨーイング情報取得部２２は、取得したヨー角を用いてヨーレートを算出する。ヨー角及びヨーレートは、基準（０度）に対して時計回りが正の値であり、反時計回りが負の値であるものとする。図３において、表示エリア４０２は、ウインドシールド３００のうち、表示装置３が虚像２００を投射可能なエリアに相当する。

例えば、ヨーイング情報取得部２２は、車外カメラ４２の撮像画像から検出した白線又は路肩等の位置又は傾きに基づき、想定走行経路４０１に対するヨー角を算出する。また、例えば、ヨーイング情報取得部２２は、ＥＣＵ４３に接続されているセンサが検出した角速度と、上記の自車位置情報又は道案内情報とを組み合わせて、ヨー角度を算出する。また、ヨーイング情報取得部２２は、車外カメラ４２の撮像周期、角速度の検出周期、及び自車位置の取得周期等、並びにこれらの情報の精度を考慮し、複数の算出方法により算出されたヨー角度の平均値を求める等の統計処理を実施することによって、より確度の高いヨー角を求めてもよい。

逸脱可能性予測部２３は、情報源装置４から取得した情報を元に、車両１の想定走行経路４０１からの逸脱可能性を予測する。想定走行経路４０１からの逸脱は、ナビゲーション装置４５から取得する道案内情報、ナビゲーション装置４５若しくは車外カメラ４２から取得する走行車線情報、車外カメラ４２若しくはレーダセンサ４６から取得する障害物情報、眼位置情報取得部２１から取得する運転者の視線情報、ＥＣＵ４３に接続されたセンサから取得するウインカ情報、又は、車内マイク４８から取得する車両１の乗員の発話情報のうちの少なくとも１つを用いて予測される。障害物情報は、車両１の周辺に存在する、車両１の走行を妨害する障害物の位置等を示す情報である。運転者の視線情報は、車両１の運転者の視線方向を示す情報である。ウインカ情報は、車両１の右ウインカ及び左ウインカが点灯しているか否かを示す情報である。

例えば、逸脱可能性予測部２３は、道案内情報が「次の交差点で右折」であり、走行車線情報が「左車線」又は「中央車線」である場合、車両１が次の交差点に進入する前に右車線に車線変更する可能性が高いと予測する。例えば、逸脱可能性予測部２３は、車両１の走行車線前方に、駐車車両等の、想定走行経路４０１の走行を妨害する障害物が存在する場合、車両１が障害物を回避するために蛇行する可能性が高いと予測する。障害物の走行車線上の位置等によっては、車両１が走行車線内を障害物を回避するように蛇行する場合もあれば、車両１が走行車線から隣の車線にはみ出して障害物を回避し、回避後に再び走行車線に戻るように蛇行する場合もある。例えば、逸脱可能性予測部２３は、運転者の視線がサイドミラー又は後方等を向いている場合、車両１が車線変更する可能性が高いと予測する。例えば、逸脱可能性予測部２３は、ウインカが点灯している場合、車両１が車線変更する可能性が高い。例えば、逸脱可能性予測部２３は、車両１の乗員が「後方から車が来ていないから右に車線変更して」といった発話をしている場合、車両１が車線変更する可能性が高いと予測する。

逸脱可能性予測部２３は、上記の予測方法により、逸脱可能性の高さを予測する。逸脱可能性予測部２３は、逸脱可能性の高さを、「高」、「中」、「低」のような２段階以上の離散的な値で表してもよいし、「０％」から「１００％」のような連続的な値で表してもよい。

例えば、逸脱可能性予測部２３は、道案内情報と走行車線情報とに基づく車線変更の可能性が低い場合、逸脱可能性の高さを「低」と予測する。また、逸脱可能性予測部２３は、道案内情報と走行車線情報とに基づく車線変更の可能性が高い場合、逸脱可能性の高さを「中」と予測する。また、逸脱可能性予測部２３は、道案内情報と走行車線情報とに基づく車線変更の可能性が高い場合、かつ、ウインカ情報に基づく車線変更の可能性が高い場合、逸脱可能性の高さを「高」と予測する。このように、逸脱可能性予測部２３は、予測方法の組み合わせに応じて逸脱可能性の高さを予測してもよい。

例えば、逸脱可能性予測部２３は、道案内情報と走行車線情報とに基づく車線変更の可能性が高い場合、逸脱可能性の高さに対して「＋３０％」を加点する。また、逸脱可能性予測部２３は、ウインカ情報に基づく車線変更の可能性が高い場合、逸脱可能性の高さに対して「＋３０％」を加点する。このように、逸脱可能性予測部２３は、予め定められた予測方法ごとの点数を加点していき、逸脱可能性の高さを予測してもよい。

また、逸脱可能性予測部２３は、逸脱可能性の予測に、車両１の過去の走行履歴情報を用いてもよい。例えば、逸脱可能性予測部２３は、走行履歴情報に基づき、道案内情報が「次の交差点で右折」であり、走行車線情報が「左車線」又は「中央車線」である場合、車両１が次の交差点に進入する前に右車線に車線変更する頻度が高いことを推定する。この場合、逸脱可能性予測部２３は、逸脱可能性の高さに対して、通常の「＋３０％」よりも大きな「＋４０％」を加点する。
また、逸脱可能性予測部２３は、機械学習等を利用して逸脱可能性を予測してもよい。

ヨーイング変化予測部２４は、ヨーイング情報取得部２２により取得されたヨーイング情報と、逸脱可能性予測部２３により予測された逸脱可能性とに基づいて、車両１の想定走行経路４０１からの逸脱に伴う重畳表示物と表示物２０１の左右方向のずれを予測し、予測したずれに基づいて表示物２０１を重畳表示物に重畳表示させるための補正量を算出する。そして、ヨーイング変化予測部２４は、車両１の想定走行経路４０１からの逸脱に伴う重畳表示物と表示物２０１の左右方向のずれ予測結果に基づき、表示物２０１を重畳表示する重畳対象物の変更、又は表示物２０１の表示態様の補正を、画像生成部２５に指示する。

画像生成部２５は、表示物２０１の画像情報を生成して表示装置３の画像表示部３１に出力し、この画像情報を画像表示部３１に表示させる。例えば、画像生成部２５は、車内カメラ４１及び車外カメラ４２から撮像情報を取得し、ＧＰＳ受信機４４から自車位置情報を取得し、ＥＣＵ４３に接続された各種センサから車両情報を取得し、ナビゲーション装置４５から道案内情報を取得し、レーダセンサ４６から障害物情報を取得し、無線通信装置４７から施設情報を取得する。画像生成部２５は、取得したこれらの情報の少なくとも１つを用いて、車両１の走行速度又は道案内矢印等を示す表示物２０１の画像情報を生成する。また、画像生成部２５は、取得したこれらの情報の少なくとも１つを用いて、走行車線及び障害物といった重畳対象物の位置又は関連情報を示す表示物２０１の画像情報を生成してもよい。

画像生成部２５は、画像情報生成時、ヨーイング変化予測部２４からの指示に基づき、重畳対象物の変更、又は表示物２０１の表示態様の補正を行う。画像生成部２５は、表示態様の補正として、ヨーイング変化予測部２４が算出した補正量に基づく表示物２０１の位置補正、又は、表示物２０１の表示から非表示への変更等を行う。画像生成部２５は、生成した画像情報を、画像表示部３１へ出力する。

表示物２０１とは、画像情報に含まれる道案内矢印等の物体であり、運転者により虚像２００として視認される。重畳対象物とは、車両１の前景にある、表示物２０１を重畳する物体である。重畳対象物は、車両１が向かう次の交差点、車両１の周辺に存在する他車両若しくは歩行者等、走行車線の白線、又は、車両１の周辺に存在する施設等である。

画像生成部２５は、虚像２００の表示物２０１が重畳対象物に重畳して見える位置、大きさ、及び色で表示物２０１を画像内に描画し、描画した画像を画像情報とする。なお、画像生成部２５は、画像表示部３１が両眼視差画像を表示可能な場合、表示物２０１の画像情報として、表示物を左右方向にずらして配置した両眼視差画像を生成してもよい。

図１のように、表示装置３が、反射ミラー３２のチルト角度調整による虚像２００の位置調整が可能な構成である場合、画像生成部２５は、反射ミラー３２のチルト角度に応じた虚像２００の位置を示す虚像位置情報を、虚像位置情報取得部２６から取得する。そして、画像生成部２５は、取得した虚像位置情報に基づいて、表示物２０１の位置を変更する。

虚像位置情報取得部２６は、反射ミラー３２のチルト角度を示す反射ミラー角度情報を、反射ミラー調整部３３から取得する。虚像位置情報取得部２６は、例えば、反射ミラー３２のチルト角度と運転者が視認する虚像２００の位置との対応関係が定義されたデータベースを有する。虚像位置情報取得部２６は、このデータベースを参照して、反射ミラー３２のチルト角度に対応する虚像２００の位置を特定し、虚像位置情報として画像生成部２５へ出力する。

なお、虚像位置情報取得部２６は、反射ミラー３２のチルト角度に基づき虚像２００の位置を特定しているが、他の方法で特定してもよい。
また、反射ミラー３２が固定されており、角度が調整不可能な構成である場合、虚像２００の位置が虚像位置情報取得部２６又は画像生成部２５に予め設定されていてもよい。虚像２００の位置が画像生成部２５に予め設定されている場合には、虚像位置情報取得部２６は不要である。

次に、表示制御装置２の動作を説明する。
図４は、実施の形態１に係る表示制御装置２の動作例を示すフローチャートである。表示制御装置２は、例えば、車両１のイグニッションスイッチがオンになったら図４のフローチャートに示される動作を開始し、イグニッションスイッチがオフになるまでこの動作を繰り返す。

ステップＳＴ１において、表示制御装置２は、情報源装置４から各種情報を取得する。例えば、眼位置情報取得部２１は、車内カメラ４１から撮像画像を取得し、取得した撮像画像を用いて運転者の眼位置情報及び視線情報を取得する。また、ヨーイング情報取得部２２は、車外カメラ４２、ＥＣＵ４３、ＧＰＳ受信機４４、又はナビゲーション装置４５の少なくとも１つから情報を取得し、取得した情報を用いて想定走行経路４０１とヨーイング情報とを算出する。
以下では、ヨーイング情報取得部２２は、ヨーイング情報としてヨー角を算出するものとする。

ステップＳＴ２において、逸脱可能性予測部２３は、ステップＳＴ１で情報源装置４から取得した視線情報、発話情報、又は交通情報のうちの少なくとも１つを用いて、車両１が想定走行経路４０１から逸脱する可能性を予測する。交通情報は、道案内情報、走行車線情報、又は障害物情報のうちの少なくとも１つを含む。

ヨーイング変化予測部２４は、逸脱可能性予測部２３により予測された逸脱可能性が予め定められた基準未満である場合（ステップＳＴ２“ＮＯ”）、ステップＳＴ３の動作を行う。逸脱可能性が上記基準未満である場合とは、車両１が想定走行経路４０１に沿って走行している状態である。一方、ヨーイング変化予測部２４は、逸脱可能性予測部２３により予測された逸脱可能性が上記基準以上である場合（ステップＳＴ２“ＹＥＳ”）、ステップＳＴ４の動作を行う。逸脱可能性が上記基準以上である場合とは、車両１が想定走行経路４０１から逸脱しやすい状態である。

ステップＳＴ３において、ヨーイング変化予測部２４は、重畳対象物変更判定用のヨーイング情報の閾値を第１閾値に設定する。なお、第１閾値の値は、固定値でもよいし、逸脱可能性の高さ等に応じて変化する可変値であってもよい。この第１閾値は、逸脱可能性が基準未満であって車両１が道路形状に沿って走行している状況において、車両１が想定走行経路４０１から逸脱したことを判定すると共に、重畳対象物を変更すると判定するための閾値である。車両１が想定走行経路４０１から逸脱する可能性が低い場合、運転者が車両１のヨー角を微調整しながら道路形状に沿って走行するため、車両１のヨー角の変化は小さい。実施の形態１では、運転者の操作及び道路形状に伴って車両１のヨー角が変化したときには重畳対象物を変更せず、車線変更又は障害物回避に伴って車両１のヨー角が変化したときには重畳対象物を変更するために、第１閾値は、運転者の操作及び道路形状に伴う車両１のヨー角の変化量よりも大きく、かつ、車線変更又は障害物回避に伴う車両１のヨー角の変化量よりも小さい値に設定される。

ステップＳＴ４において、ヨーイング変化予測部２４は、重畳対象物変更判定用のヨーイング情報の閾値を第２閾値に設定する。なお、第２閾値の値は、固定値でもよいし、逸脱可能性の高さ等に応じて変化する可変値であってもよい。この第２閾値は、逸脱可能性が基準以上であって車両１が想定走行経路４０１から逸脱しやすい状況において、車両１が想定走行経路４０１から逸脱したことを判定すると共に、重畳対象物を変更すると判定するための閾値である。車両１が想定走行経路４０１から逸脱する可能性が高い場合、車両１が車線変更又は障害物回避するタイミングで、車両１のヨー角の変化が大きくなる。実施の形態１では、車両１が車線変更又は障害物回避を開始したことを判定するために、第２閾値は、第１閾値より絶対値が小さい値に設定される。

なお、第１閾値及び第２閾値が可変値である場合、例えば、ヨーイング変化予測部２４は、運転者ごとの過去の走行履歴情報を用いて、運転者の運転特性に応じた値を設定する。また、ヨーイング変化予測部２４は、車線変更か障害物回避かによって値を変更してもよい。

ステップＳＴ５において、ヨーイング変化予測部２４は、ヨーイング情報取得部２２から取得したヨー角がステップＳＴ３で設定した第１閾値以上又はステップＳＴ４で設定した第２閾値以上である場合（ステップＳＴ５“ＹＥＳ”）、ステップＳＴ６の動作を行う。一方、ヨーイング変化予測部２４は、ヨーイング情報取得部２２から取得したヨー角がステップＳＴ３で設定した第１閾値未満又はステップＳＴ４で設定した第２閾値未満である場合（ステップＳＴ５“ＮＯ”）、ステップＳＴ７の動作を行う。

ステップＳＴ６において、ヨーイング変化予測部２４は、車両１が想定走行経路４０１から逸脱したと判定し、逸脱後に走行することが想定される想定走行経路４０１（以下、「変更後の想定走行経路４０１」と称する）をヨーイング情報取得部２２から取得する。また、ヨーイング変化予測部２４は、車両１が想定走行経路４０１から逸脱したことによる表示物２０１と重畳対象物の左右方向のずれを補正するために、変更後の想定走行経路４０１に基づく重畳対象物を変更する指示、及び変更した重畳対象物に合うように表示物２０１の表示態様を補正する指示を、画像生成部２５へ出力する。なお、ヨーイング変化予測部２４は、ヨー角と第１閾値との差若しくはヨー角と第２閾値との差が予め定められた値以上となる場合、又は、車両１が想定走行経路４０１から逸脱することにより重畳対象物が画像表示部３１の表示エリア４０２から外れる場合、重畳対象物を変更する指示ではなく、表示物２０１を非表示にする指示を、画像生成部２５へ出力してもよい。

ステップＳＴ７において、ヨーイング変化予測部２４は、運転者の運転操作又は道路形状に伴う表示物２０１と重畳対象物の左右方向のずれが解消するように表示物２０１の表示態様を補正する指示を、画像生成部２５へ出力する。なお、ステップＳＴ７では、車両１が想定走行経路４０１から逸脱していないので、ヨーイング変化予測部２４は、重畳対象物を変更しない。

ステップＳＴ８において、画像生成部２５は、情報源装置４から取得した各種情報を用いて表示物２０１の画像情報を生成する。また、画像生成部２５は、ヨーイング変化予測部２４が指示する重畳対象物に重畳するように、表示物２０１の位置及び大きさ等の表示態様を補正する。例えば、画像生成部２５は、重畳対象物と表示物２０１の左右方向のずれを補正するための補正量が指示された場合、ヨーイング情報取得部２２からヨー角を取得し、取得したヨー角と上記補正量とを用いて表示物２０１の位置を補正する。そして、画像生成部２５は、表示物２０１の画像情報を、画像表示部３１に出力してウインドシールド３００に投射させる。なお、表示装置３が表示物２０１の画像情報をすでに表示している場合、画像生成部２５は、その画像情報の表示物２０１をヨーイング変化予測部２４からの指示に従い補正する。

次に、重畳対象物を変更するための閾値が、１つしかない場合と、第１閾値と第２閾値の２つある場合との違いを説明する。以下では、重畳対象物を変更するための閾値が１つしかない場合を「参考例」と呼び、この閾値として第１閾値を例示する。

図５Ａ、図５Ｂ、及び図５Ｃは、実施の形態１に係る表示システムの理解を助けるための参考例であり、運転者視点の前景を示す図である。図６Ａ、図６Ｂ、及び図６Ｃは、実施の形態１に係る表示システムにおける運転者視点の前景を示す図である。図５Ａ及び図６Ａは車線変更前、図５Ｂ及び図６Ｂは車線変更中、図５Ｃ及び図６Ｃは車線変更後の、運転者視点の前景を示す。

図７は、図５Ａ及び図６Ａの状況を示す鳥瞰図である。図８は、図５Ｂの状況を示す鳥瞰図である。図９は、図６Ｂの状況を示す鳥瞰図である。図１０は、図５Ｃ及び図６Ｃの状況を示す鳥瞰図である。

図１１は、実施の形態１に係る表示システムの理解を助けるための参考例であり、想定走行経路逸脱時のヨーイングの変化を示す図である。図１２は、実施の形態１に係る表示システムにおける想定走行経路逸脱時のヨーイングの変化を示す図である。
なお、図１１及び図１２では、正の第１閾値及び第２閾値のみ示され、負の第１閾値及び第２閾値は省略されている。正の第１閾値の絶対値と負の第１閾値の絶対値とは同じであってもよいし異なってもよい。同様に、正の第２閾値の絶対値と負の第２閾値の絶対値とは同じであってもよいし異なってもよい。

まず、参考例について説明する。
参考例において、図５Ａに示されるように、ウインドシールド３００の表示エリア４０２には、ウインドシールド３００越しに重畳対象物４０３（例えば、中央車線の交差点）が見える。表示エリア４０２には、虚像である表示物２０１（例えば、道案内矢印）が、重畳対象物４０３に重畳表示されている。また、図７に示されるように、車両１は、想定走行経路４０１に沿って中央車線を走行している（図１１の時間Ｔ０〜時間Ｔ２）。

図８に示されるように、車両１は、想定走行経路４０１に従って交差点を右折するために、中央車線から右車線への車線変更を開始する（図１１の時間Ｔ２）。車線変更に伴い変化したヨー角が第１閾値未満であるため、図５Ｂに示されるように、表示物２０１は、重畳対象物４０３に重畳表示されたままである。一方、表示エリア４０２は、車両１の車線変更に伴い右側へ移動する。そのため、図５Ｂでは、車両１の移動方向と逆方向に表示物２０１が移動し、運転の妨げになる可能性がある。また、表示物２０１の一部が表示エリア４０２から外れることにより表示されず、表示物２０１が持つ本来の情報を運転者に正しく伝えることができない可能性がある。

車線変更が開始され（図１１の時間Ｔ２）、その後にヨー角が第１閾値以上となった場合（図１１の時間Ｔ３）、ヨーイング変化予測部２４は、想定走行経路４０１からの逸脱が起こったと判定する。この時間Ｔ３において、ヨーイング変化予測部２４は、想定走行経路４０１の変更及び重畳対象物４０３の変更が必要であると判定する。そして、ヨーイング変化予測部２４は、変更後の想定走行経路４０１及びヨー角の変化量等に基づき、重畳対象物４０３の変更を画像生成部２５へ指示する。画像生成部２５は、ヨーイング変化予測部２４からの指示を受けると、ヨー角の変化量等に基づき、重畳対象物４０３を、変更前の想定走行経路４０１である中央車線の交差点から、変更後の想定走行経路４０１である右車線の交差点に変更する。したがって、図５Ｃ及び図１０に示されるように、表示物２０１が、右車線の交差点である重畳対象物４０３に重畳表示される。車両１は、右車線上を想定走行経路４０１に沿って走行する。図１１の時間Ｔ３において、運転者視点の前景が図５Ｂから図５Ｃに変化し、表示物２０１が急激に中央車線から右車線に移動するため、運転の妨げになる可能性がある。

このように、重畳対象物を変更するための閾値が１つしかない場合、道路形状に沿って走行するためのヨー角の変化と、車両１の想定走行経路４０１からの逸脱によるヨー角の変化とを区別するために、閾値に大きい値を設定する必要がある。そのため、車線変更又は障害物回避の判定が遅れる。また、図８と図９に示されるように車両１の向きは同じであったとしても、閾値が１つしかない場合のほうが想定走行経路４０１の変更タイミングが遅れるため、時間Ｔ２，Ｔ１２以降のヨー角が異なる。その結果、閾値が１つしかない場合、表示物２０１と重畳対象物４０３の表示ずれを適切に補正できず、表示物２０１を含む前景の視認性が低下する。

続いて、実施の形態１の例について説明する。
実施の形態１において、図６Ａに示されるように、ウインドシールド３００の表示エリア４０２には、ウインドシールド３００越しに重畳対象物４０３（例えば、中央車線の交差点）が見える。表示エリア４０２には、虚像である表示物２０１（例えば、道案内矢印）が、重畳対象物４０３に重畳表示されている。また、図７に示されるように、車両１は、想定走行経路４０１に沿って中央車線を走行している（図１２の時間Ｔ１０〜時間Ｔ１２）。

逸脱可能性予測部２３は、車両１が想定走行経路４０１に従って交差点を右折するために中央車線から右車線へ車線変更する予定であることから、交差点手前における逸脱可能性が高いと予測する。ヨーイング変化予測部２４は、逸脱可能性が基準以上であるため、重畳対象物変更判定用の閾値を第２閾値に設定する（図１２の時間Ｔ１１）。

図９に示されるように、車両１は、想定走行経路４０１に従って交差点を右折するために、中央車線から右車線への車線変更を開始する（図１２の時間Ｔ１２）。車線変更に伴い変化したヨー角がすぐに第２閾値以上となるため（図１２の時間Ｔ１３）、ヨーイング変化予測部２４は、想定走行経路４０１からの逸脱が起こったと判定する。この時間Ｔ１３において、ヨーイング変化予測部２４は、想定走行経路４０１の変更及び重畳対象物４０３の変更が必要であると判定する。そして、ヨーイング変化予測部２４は、変更後の想定走行経路４０１及びヨー角の変化量等に基づき、重畳対象物４０３の変更を画像生成部２５へ指示する。また、ヨーイング変化予測部２４は、ヨー角の変化量等に基づき、変更後の重畳対象物４０３と表示物２０１の左右方向のずれの補正量を算出し、補正量を画像生成部２５へ指示する。画像生成部２５は、ヨーイング変化予測部２４からの指示を受けると、ヨー角の変化量等に基づき、重畳対象物４０３を中央車線の交差点から右車線の交差点に変更する（図１２の時間Ｔ１３）。また、画像生成部２５は、ヨーイング変化予測部２４から指示された補正量に基づき、図６Ｂ及び図９のように表示物２０１の表示態様を補正する。したがって、車両１の移動方向と同じ方向に表示物２０１が移動し、表示物２０１が表示エリア４０２から外れることがない。また、運転者視点の前景が図６Ｂから図６Ｃに変化し、表示物２０１の急激な移動が防止される。

以上のように、実施の形態１に係る表示制御装置２は、ヨーイング情報取得部２２と、逸脱可能性予測部２３と、ヨーイング変化予測部２４と、画像生成部２５とを備える。ヨーイング情報取得部２２は、車両１のヨー角又はヨーレートを、ヨーイング情報として取得する。逸脱可能性予測部２３は、車両１の乗員の視線情報、乗員の発話情報、又は交通情報のうちの少なくとも１つを用いて、車両１の想定走行経路４０１からの逸脱可能性を予測する。ヨーイング変化予測部２４は、ヨーイング情報及び逸脱可能性を用いて、車両１の想定走行経路４０１からの逸脱を判定する。画像生成部２５は、ヨーイング変化予測部２４により車両１の想定走行経路４０１からの逸脱が判定された場合、重畳対象物４０３の変更、及び変更後の重畳対象物４０３と表示物２０１のずれ補正を行う。このように、表示制御装置２は、ヨー角又はヨーレートと、視線情報、発話情報、又は交通情報のうちの少なくとも１つを用いて予測された逸脱可能性とを用いることにより、車両１の想定走行経路４０１からの逸脱を判定することができる。また、表示制御装置２は、逸脱判定時、重畳対象物４０３を変更し、変更後の重畳対象物４０３と表示物２０１との左右方向のずれ補正を行うことにより、先立って説明した（１）、（２）、及び（３）のような問題を防ぐことができる。よって、表示制御装置２は、車両１が想定走行経路４０１から逸脱した場合の表示物２０１と重畳対象物４０３との左右方向のずれを補正することができる。

また、実施の形態１によれば、ヨーイング変化予測部２４は、逸脱可能性予測部２３により予測された逸脱可能性が予め定められた基準未満である場合（図４のステップＳＴ２“ＮＯ”）、重畳対象物変更判定用の閾値を第１閾値に設定する（図４のステップＳＴ３）。そして、ヨーイング変化予測部２４は、ヨーイング情報取得部２２により取得されたヨーイング情報が第１閾値以上である場合（図４のステップＳＴ５“ＹＥＳ”）、画像生成部２５に対して、重畳対象物４０３を変更するよう、又は表示物２０１を非表示にするよう指示する（図４のステップＳＴ６）。これにより、表示制御装置２は、逸脱可能性が低い場合であっても車両１の想定走行経路４０１からの逸脱を判定することができる。また、表示制御装置２は、逸脱判定時に変更前の重畳対象物４０３と表示物２０１との重畳表示を維持する補正をせず、重畳対象物４０３を変更するか表示物２０１を非表示にするため、違和感のない表示を行うことができる。

また、実施の形態１によれば、ヨーイング変化予測部２４は、逸脱可能性予測部２３により予測された逸脱可能性が予め定められた基準以上である場合（図４のステップＳＴ２“ＹＥＳ”）、重畳対象物変更判定用の閾値を第２閾値に設定する（図４のステップＳＴ４）。そして、ヨーイング変化予測部２４は、ヨーイング情報取得部２２により取得されたヨーイング情報が第２閾値以上である場合（図４のステップＳＴ５“ＹＥＳ”）、画像生成部２５に対して、重畳対象物４０３を変更するよう、又は表示物２０１を非表示にするよう指示する（図４のステップＳＴ６）。これにより、表示制御装置２は、逸脱可能性が高い場合に、第１閾値より小さい第２閾値を用いて、車両１の想定走行経路４０１からの逸脱開始を判定することができる。また、表示制御装置２は、逸脱開始判定時に変更前の重畳対象物４０３と表示物２０１との重畳表示を維持する補正をせず、重畳対象物４０３を変更するか表示物２０１を非表示にするため、違和感のない表示を行うことができる。

また、実施の形態１によれば、ヨーイング変化予測部２４は、逸脱可能性予測部２３により予測された逸脱可能性が予め定められた基準未満である場合（図４のステップＳＴ２“ＮＯ”）、かつ、ヨーイング情報取得部２２により取得されたヨーイング情報が第１閾値未満である場合（図４のステップＳＴ５“ＮＯ”）、画像生成部２５に対して、重畳対象物４０３と表示物２０１のずれを補正するよう指示する（図４のステップＳＴ７）。
また、ヨーイング変化予測部２４は、逸脱可能性予測部２３により予測された逸脱可能性が予め定められた基準以上である場合（図４のステップＳＴ２“ＹＥＳ”）、かつ、ヨーイング情報取得部２２により取得されたヨーイング情報が第２閾値未満である場合（図４のステップＳＴ５“ＮＯ”）、画像生成部２５に対して、重畳対象物４０３と表示物２０１のずれを補正するよう指示する（図４のステップＳＴ７）。
いずれの場合にも、表示制御装置２は、車両１が想定走行経路４０１に沿って走行している間、表示物２０１の重畳対象物４０３への重畳表示を維持する補正を行うことができるので、違和感のない表示を行うことができる。

次に、実施の形態１に係る表示制御装置２の変形例を説明する。
実施の形態１のヨーイング変化予測部２４は、ヨーイング情報としてヨー角を用い、ヨー角の値に合わせた第１閾値及び第２閾値を設定していたが、ヨーイング情報としてヨーレートを用い、ヨーレートの値に合わせた第１閾値及び第２閾値を設定してもよい。この変形例の場合、ヨーイング変化予測部２４は、図４のステップＳＴ５において、ヨーレートが第１閾値以上又は第２閾値以上である場合に車両１が想定走行経路４０１から逸脱していると判定する。ヨーレートを用いる場合、ヨー角を用いる場合に比べて、車両１の想定走行経路４０１からの逸脱開始を早く判定することができ、重畳対象物４０３の変更も早くできる可能性がある。

実施の形態１の変形例として、ヨーイング変化予測部２４は、逸脱可能性予測部２３により予測された逸脱可能性が予め定められた基準以上である場合（図４のステップＳＴ２“ＹＥＳ”）、つまり車両１の想定走行経路４０１からの逸脱可能性が高い場合、画像生成部２５に対して、重畳対象物４０３と表示物２０１のずれ補正を一時停止するように指示する。その後、ヨーイング変化予測部２４は、変更後の重畳対象物４０３が表示エリア４０２に入った場合、又は変更後の重畳対象物４０３と表示物２０１とが予め定められた距離に近づいた場合、画像生成部２５に対して、変更後の重畳対象物４０３と表示物２０１とずれ補正を再開するよう指示する。この変形例の場合、重畳対象物の変更に伴う表示物の移動がヨー角の変化に合わせて起こることで、違和感のない表示を行うことができる。

実施の形態１の変形例として、ヨーイング変化予測部２４は、逸脱可能性が基準以上であって車両１の想定走行経路４０１からの逸脱可能性が高い場合、その時点（図１２の時間Ｔ１１）で、変更後の重畳対象物４０３を予測する。また、ヨーイング情報取得部２２も、ヨーイング変化予測部２４において逸脱可能性が基準以上であって車両１の想定走行経路４０１からの逸脱可能性が高いと予測された場合、その時点（図１２の時間Ｔ１１）で、変更後の想定走行経路４０１を予測する。この変形例の場合、車両１が想定走行経路４０１から逸脱を開始してヨーイング情報が第１閾値以上又は第２閾値以上であると判定されたときに変更後の重畳対象物４０３及び想定走行経路４０１を算出する場合に比べて、画像生成部２５が表示物２０１を補正するまでの時間を短くできる。なお、変更後の重畳対象物４０３及び想定走行経路４０１は、ヨーイング情報、視線情報、発話情報、交通情報、又はその他の各種情報のうちの少なくとも１つを用いて予測される。

実施の形態１の変形例として、画像生成部２５は、車速及びヨーイング情報に基づき、表示物２０１を表示する時点における車両１の位置を予測する。画像生成部２５は、図４のステップＳＴ１で表示制御装置２の各部が情報を取得した時点の車両１の位置と、ステップＳＴ８で画像情報を生成して画像表示部３１に表示させる時点の車両１の予測位置との差分を考慮して、表示物２０１の位置を補正する。この変形例の場合、車両１が走行することにより生じる表示物２０１と重畳対象物４０３とのずれを補正することができる。

なお、実施の形態１では、運転者用に構成された表示システムを例に用いて説明したが、表示システムは、運転者以外の乗員用に構成されてもよい。
また、実施の形態１では、表示装置３は、ＨＵＤ又はＨＭＤ等であったが、車両１のダッシュボードに設置されるセンタディスプレイ等であってもよい。センタディスプレイは、車外カメラ４２が撮像した車両１の前景の撮像画像に対して、表示制御装置２の画像生成部２５が生成した表示物２０１の画像情報を重畳表示する。このように、表示装置３は、車両１のウインドシールド３００越しの前景、又は車外カメラ４２により撮像された前景に対して、表示物２０１を重畳表示可能なものであればよい。

最後に、実施の形態１に係る表示システムのハードウェア構成を説明する。
図１３は、実施の形態１に係る表示システムのハードウェア構成の一例を示す図である。図１３において、処理回路５００は、表示装置３と情報源装置４とに接続され、情報のやり取りが可能である。図１４は、実施の形態１に係る表示システムのハードウェア構成の別の例を示す図である。図１４において、プロセッサ５０１及びメモリ５０２のそれぞれは、表示装置３と情報源装置４とに接続される。プロセッサ５０１は、表示装置３と情報源装置４との間で情報のやり取りが可能である。

表示制御装置２における眼位置情報取得部２１、ヨーイング情報取得部２２、逸脱可能性予測部２３、ヨーイング変化予測部２４、画像生成部２５、及び虚像位置情報取得部２６の機能は、処理回路により実現される。即ち、表示制御装置２は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路５００であってもよいし、メモリ５０２に格納されるプログラムを実行するプロセッサ５０１であってもよい。

図１３に示されるように、処理回路が専用のハードウェアである場合、処理回路５００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。眼位置情報取得部２１、ヨーイング情報取得部２２、逸脱可能性予測部２３、ヨーイング変化予測部２４、画像生成部２５、及び虚像位置情報取得部２６の機能を複数の処理回路５００で実現してもよいし、各部の機能をまとめて１つの処理回路５００で実現してもよい。

図１４に示されるように、処理回路がプロセッサ５０１である場合、眼位置情報取得部２１、ヨーイング情報取得部２２、逸脱可能性予測部２３、ヨーイング変化予測部２４、画像生成部２５、及び虚像位置情報取得部２６の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ５０２に格納される。プロセッサ５０１は、メモリ５０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、表示制御装置２は、プロセッサ５０１により実行されるときに、図４のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ５０２を備える。また、このプログラムは、眼位置情報取得部２１、ヨーイング情報取得部２２、逸脱可能性予測部２３、ヨーイング変化予測部２４、画像生成部２５、及び虚像位置情報取得部２６の手順又は方法をコンピュータに実行させるものであるとも言える。

ここで、プロセッサ５０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ５０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

なお、眼位置情報取得部２１、ヨーイング情報取得部２２、逸脱可能性予測部２３、ヨーイング変化予測部２４、画像生成部２５、及び虚像位置情報取得部２６の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、眼位置情報取得部２１の機能については専用のハードウェアで実現し、ヨーイング情報取得部２２、逸脱可能性予測部２３、ヨーイング変化予測部２４、画像生成部２５、及び虚像位置情報取得部２６の機能についてはソフトウェア又はファームウェアで実現する。このように、表示制御装置２における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。

本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、又は実施の形態の任意の構成要素の省略が可能である。

この発明に係る表示制御装置は、表示物と重畳対象物との左右方向のずれを補正するようにしたので、車両に搭載されたＨＵＤ等を制御する表示制御装置に用いるのに適している。

１ 車両、２ 表示制御装置、３ 表示装置、４ 情報源装置、２１ 眼位置情報取得部、２２ ヨーイング情報取得部、２３ 逸脱可能性予測部、２４ ヨーイング変化予測部、２５ 画像生成部、２６ 虚像位置情報取得部、３１ 画像表示部、３２ 反射ミラー、３３ 反射ミラー調整部、４１ 車内カメラ、４２ 車外カメラ、４３ ＥＣＵ、４４ ＧＰＳ受信機、４５ ナビゲーション装置、４６ レーダセンサ、４７ 無線通信装置、４８ 車内マイク、１００ 運転者の眼、２００ 虚像、２０１ 表示物、３００ ウインドシールド、４０１ 想定走行経路、４０２ 表示エリア、４０３ 重畳対象物、５００ 処理回路、５０１ プロセッサ、５０２ メモリ。

Claims (8)

1. 車両の前方の重畳対象物に表示物を重畳表示する表示装置を制御する表示制御装置であって、
   前記車両が走行を予定している想定走行経路に対する前記車両の実際の進行方向の角度であるヨー角、又は前記ヨー角の単位時間あたりの変化量であるヨーレートを、ヨーイング情報として取得するヨーイング情報取得部と、
   前記車両の乗員の視線情報、前記乗員の発話情報、又は交通情報のうちの少なくとも１つを用いて、前記車両の前記想定走行経路からの逸脱可能性を予測する逸脱可能性予測部と、
   前記ヨーイング情報取得部により取得されたヨーイング情報、及び前記逸脱可能性予測部により予測された逸脱可能性を用いて、前記車両の前記想定走行経路からの逸脱を判定するヨーイング変化予測部と、
   前記ヨーイング変化予測部により前記車両の前記想定走行経路からの逸脱が判定された場合、前記重畳対象物の変更、及び変更後の前記重畳対象物と前記表示物のずれ補正を行う画像生成部とを備えることを特徴とする表示制御装置。
2. 前記交通情報は、ナビゲーション装置が出力する道案内情報、前記車両が走行している車線に関する車線情報、又は前記車両の周辺に存在する障害物に関する障害物情報のうちの少なくとも１つであることを特徴とする請求項１記載の表示制御装置。
3. 前記ヨーイング変化予測部は、前記逸脱可能性予測部により予測された逸脱可能性が予め定められた基準未満である場合、前記重畳対象物を変更するか否かを判定するための閾値を第１閾値に設定し、前記ヨーイング情報取得部により取得されたヨーイング情報が前記第１閾値以上である場合、前記画像生成部に対して、前記重畳対象物を変更する又は前記表示物を非表示にするよう指示することを特徴とする請求項１記載の表示制御装置。
4. 前記ヨーイング変化予測部は、前記逸脱可能性予測部により予測された逸脱可能性が前記予め定められた基準以上である場合、前記重畳対象物を変更するか否かを判定するための前記閾値を、前記第１閾値より小さい第２閾値に設定し、前記ヨーイング情報取得部により取得されたヨーイング情報が前記第２閾値以上である場合、前記画像生成部に対して、前記重畳対象物を変更する又は前記表示物を非表示にするよう指示することを特徴とする請求項３記載の表示制御装置。
5. 前記ヨーイング変化予測部は、前記逸脱可能性予測部により予測された逸脱可能性が前記予め定められた基準未満である場合、かつ、前記ヨーイング情報取得部により取得されたヨーイング情報が前記第１閾値未満である場合、前記画像生成部に対して、前記重畳対象物と前記表示物のずれを補正するよう指示することを特徴とする請求項３記載の表示制御装置。
6. 前記ヨーイング変化予測部は、前記逸脱可能性予測部により予測された逸脱可能性が前記予め定められた基準以上である場合、かつ、前記ヨーイング情報取得部により取得されたヨーイング情報が前記第２閾値未満である場合、前記画像生成部に対して、前記重畳対象物と前記表示物のずれを補正するよう指示することを特徴とする請求項４記載の表示制御装置。
7. 前記ヨーイング変化予測部は、前記逸脱可能性予測部により予測された逸脱可能性が前記予め定められた基準以上である場合、前記画像生成部に対して、前記重畳対象物と前記表示物のずれを補正しないよう指示し、その後、変更後の前記重畳対象物と前記表示物とが予め定められた距離に近づいた場合に変更後の前記重畳対象物と前記表示物とのずれを補正するよう指示することを特徴とする請求項４記載の表示制御装置。
8. 車両の前方の重畳対象物に表示物を重畳表示する表示装置を制御する表示制御方法であって、
   ヨーイング情報取得部が、前記車両が走行を予定している想定走行経路に対する前記車両の実際の進行方向の角度であるヨー角、又は前記ヨー角の単位時間あたりの変化量であるヨーレートを、ヨーイング情報として取得し、
   逸脱可能性予測部が、前記車両の乗員の視線情報、前記乗員の発話情報、又は交通情報のうちの少なくとも１つを用いて、前記車両の前記想定走行経路からの逸脱可能性を予測し、
   ヨーイング変化予測部が、前記ヨーイング情報取得部により取得されたヨーイング情報、及び前記逸脱可能性予測部により予測された逸脱可能性を用いて、前記車両の前記想定走行経路からの逸脱を判定し、
   画像生成部が、前記ヨーイング変化予測部により前記車両の前記想定走行経路からの逸脱が判定された場合、前記重畳対象物の変更、及び変更後の前記重畳対象物と前記表示物のずれ補正を行うことを特徴とする表示制御方法。

Images