JPWO2016067574A1 - 表示制御装置及び表示制御プログラム - Google Patents

Abstract

表示制御装置は、判定部と、制御部とを有する。判定部は、移動体の前景中の対象物を認識する認識部から取得した対象物の位置情報と、乗員から虚像を見たときの俯角を推定する推定部から取得した俯角の推定値とに基づき、乗員から見た対象物が虚像の表示範囲内に入るか否かを判定する。制御部は、表示部を制御し、対象物が表示範囲内に入ると判定された場合には対象物に対応する情報を示す第１の提示画像を表す画像を生成させるように表示部を制御する。一方、対象物が表示範囲内に入らないと判定された場合、制御部は対象物に対応する情報を第２の提示画像を表す画像を生成させるように表示部を制御する。

Description

本発明は、車両等の乗員に対して提供される情報の表示を制御する表示制御装置及び表示制御プログラムに関する。

近年、車載用のヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）を用いて、車両、歩行者に対する警告表示、ナビゲーション情報等を実風景上に重畳表示する表示システムの開発が盛んである。なお、ＨＵＤでは、ナビゲーション情報等を含む画像を車両のウインドシールド等に投射して、反射光による虚像を車両の運転者等に視認させる。このため、運転者は、ウインドシールドを通して見える実風景に重なった虚像としてのナビゲーション情報等を、実風景とともに一視界内で認識する。ＨＵＤで実風景上の個々の要素（例えば道路上の表示、建物等）に対応して適切な位置にナビゲーション情報等を表示すると運転者にとってナビゲーション情報等の認識が容易となり得る。

しかし、ＨＵＤの表示を実風景上の所望の位置に対応させて表示する場合に、運転者の座高、座席の背もたれの角度等の設定の違いによって運転者の視点位置の高さが異なると、運転者の視点から見た時の垂直方向の虚像位置が変更する。虚像位置とは、即ち、運転者の視点から虚像を見た時の俯角である。結果として、ＨＵＤの表示範囲と実風景との位置関係が変動してしまう。

運転者の視点の高さに応じて運転者への情報提示を変更する方法として、例えば、特許文献１に開示された技術がある。

特許文献１の技術は、車両の前方のターゲットの位置に対応させて表示される第１表示オブジェクトと、第１表示オブジェクトとは異なる内容を有し異なる位置に表示される第２表示オブジェクトとを含む映像データを生成し、運転者の視点の高さの違いにより、第１表示オブジェクトと第２表示オブジェクトの位置関係を変更する。これにより、運転者の視点の高さが異なっても、実風景上の所望の位置に表示内容を重畳させ易くすることができる。

また特許文献２にも関連する技術が開示されている。

特開２０１１−１２３１１９号公報 特開平７−２５７２２８号公報

本発明は、車両等の移動体の乗員（例えば運転者等）の視点の高さが変動する場合にも、乗員に有用な情報の提示を行うことが可能となる表示制御装置、表示制御プログラムを提供する。

本発明の一態様に係る表示制御装置は、認識部と、表示部と、推定部とを含む表示システムにおける表示制御装置である。認識部は、移動体の前景に存在する所定の対象物を認識する。表示部は、認識部の認識結果に基づいて所定画像を生成し、表示媒体にこの所定画像を表示することで移動体の乗員に虚像を視認させる。推定部は、乗員から虚像を見たときの俯角を推定する。上記表示制御装置は、判定部と、制御部とを有する。判定部は、認識部から取得した所定の対象物の位置情報と、推定部から取得した俯角の推定値とに基づき、乗員から見た所定の対象物が虚像の表示範囲内に入るか否かを判定する。制御部は、判定部により所定の対象物が表示範囲内に入ると判定された場合には、表示媒体に表示されたときに、所定の対象物に対応する情報を示す第１の提示画像を表す第１の所定画像を生成するように表示部を制御する。一方、判定部により所定の対象物が表示範囲内に入らないと判定された場合には、表示媒体に表示されたときに、所定の対象物に対応する情報を第１の提示画像とは異なる態様で示す第２の提示画像を表す第２の所定画像を生成するように表示部を制御する。

本発明の一態様に係る表示制御プログラムは、上記表示システムにおけるコンピュータに実行させる。このプログラムは、コンピュータに対して、以下の処理を実行させる。認識部が所定の対象物を認識した第１のタイミングにおいて、認識部によって認識された所定の対象物の位置情報と、推定部により推定された第１の俯角に基づき、乗員から見た所定の対象物が虚像の表示範囲内に入るか否かを判定する処理。所定の対象物が表示範囲内に入ると判定された場合には、表示媒体に表示されたときに、所定の対象物に関する情報を示す第１の提示画像を表す第１の所定画像を生成するように表示部を制御する処理。第１のタイミングとは異なる第２のタイミングにおいて、推定部が推定した第２の俯角が第１の俯角と異なり、所定の対象物が表示範囲内に入らないと判定された場合には、表示媒体に表示されたときに、所定の対象物に関する情報を前記第１の提示画像とは異なる態様で示す第２の提示画像を表す第２の所定画像を生成するように表示部を制御する処理。

本発明によれば、移動体の乗員の視点の高さが変動する場合にも、乗員に有用な情報の提示を行うことが可能となる。

図１Ａは、車両の運転者に見える車両前方の実風景とＨＵＤの表示範囲との位置関係（高い視点の場合）を示す図である。 図１Ｂは、車両の運転者に見える車両前方の実風景とＨＵＤの表示範囲との位置関係（標準的な高さの視点の場合）を示す図である。 図１Ｃは、車両の運転者に見える車両前方の実風景とＨＵＤの表示範囲との位置関係（低い視点の場合）を示す図である。 図２は、実施の形態に係る表示システムの構成例を示す模式図である。 図３は、所定の対象物がＨＵＤの表示範囲内に入る状態を示す図である。 図４は、所定の対象物がＨＵＤの表示範囲内に入らない状態を示す図である。 図５は、運転者の視点からの眺めの例（所定の対象物がＨＵＤの表示範囲内に入る場合）を示す図である。 図６は、運転者の視点からの眺めの例（所定の対象物がＨＵＤの表示範囲内に入らない場合）を示す図である。 図７は、表示部の構成を例示する構成図である。 図８は、表示部のミラーの角度の調整を示す概念図である。 図９は、表示制御装置による表示制御処理を示すフローチャートである。 図１０は、運転者の視点からの眺めの例（交差点がＨＵＤの表示範囲内に入る場合）を示す図である。 図１１は、運転者の視点からの眺めの例（交差点がＨＵＤの表示範囲内に入らない場合）を示す図である。 図１２は、表示制御処理の変形例を示すフローチャートである。

本発明の実施の形態の説明に先立ち、従来の技術における問題点を簡単に説明する。

運転者の視点の高さについては、例えば、全運転者の９９％の視点位置をカバーするため、一般的には、標準的な視点の高さから上下１５０ｍｍ程度の変動範囲を考慮する必要がある。このとき、運転者の視点から虚像を見た時の俯角が変動するため、図１Ａ〜図１Ｃに示すように、視点が最も高い位置と最も低い位置でＨＵＤの表示範囲は大きく異なる。図１Ａ〜図１Ｃは、車両の運転者に見える車両前方の実風景とＨＵＤの表示範囲５０との位置関係を示す図である。図１Ａは、標準的な視点より高い視点を有する運転者の視界の例を示し、図１Ｂは、標準的な視点と同じ高さの視点を有する運転者の視界の例を示し、図１Ｃは、標準的な視点より低い視点を有する運転者の視界の例を示す。

特許文献１の技術では、上述の高い視点や低い視点のように運転者の視点の高さが標準的な視点の高さと大きく異なる場合に、問題が生じる。車両の前方の実風景上のターゲットの位置に対応させて表示しようとする表示オブジェクトの重畳位置がＨＵＤの表示範囲外となってしまい、運転者に見えるように有用な情報の表示ができない。すなわち、特許文献１の技術では、運転者の視点の高さが変動する場合における情報提示が有用ではない。

以下、本発明の実施の形態について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本発明の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本発明を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。

（実施の形態１）
図２は、本発明の実施の形態１に係る表示システム１０の構成例を示す模式図である。まず、本実施の形態に係る表示システム１０の構成例について説明する。

表示システム１０は、例えば車両等の移動体に搭載され、情報を表す画像をウインドシールド７００等の表示媒体に投射することで視点９００を有する移動体の乗員にその情報を映した虚像８００を視認させる表示部（例えばＨＵＤ等）を含む表示システムである。表示システム１０により、実風景等と重なって虚像としての情報が、乗員の視界内に表示されるようになる。なお、本実施の形態では、表示システム１０が車両に適用されたものとして説明するが、移動体は、車両に限定されず、船舶、航空機等であってもよい。また、本実施の形態では、移動体の乗員が、特に車両の運転者である例について説明するが、その限りではない。上述の表示部の投射により乗員の視野内に表示される虚像の表示範囲（つまり虚像としての最大画像が表示され得る最大範囲）は、表示部の配置、構造等により物理的に一定範囲に制限される。この虚像の表示範囲を、ここでは、ＨＵＤの表示範囲とも称する。

表示システム１０は、図２に示すように、センサ１００、認識部２００、推定部３００、表示制御装置２０（判定部４００及び制御部５００）、表示部６００及びウインドシールド（表示媒体）７００を有する。

センサ１００は、車両の内部又は外部に搭載され、逐次（例えば数百ミリ秒、数十ミリ秒等の所定時間毎に）、車両の運転者の前景をセンシングする。センサ１００は、例えば前景の光等を検知するイメージセンサ（カメラ）である。なお、センサ１００は、車両の運転者の前景の状態を検知するものであれば足り、例えば電磁波の反射を検知するレーダであってもよい。センサ１００は、前景のセンシングの結果を示す前景情報を認識部２００へ伝達する。この出力は、例えば、所定の時間間隔で行われる。

認識部２００は、センサ１００から伝達される前景情報に基づいて、車両の運転者の前景において車両周辺（例えば前方１００ｍ以内程度）に存在する所定の対象物を認識し、認識結果を示す認識結果情報を出力する。認識対象である所定の対象物は、例えば、移動体（例えば、車両、人、自転車、二輪車等）、道路標識、道路上の白線、路面標示、縁石、ガードレール、信号機、電柱、建物である。例えば、センサ１００がカメラである場合、認識部２００は、前景情報（つまりカメラが撮影した前景画像）に対してパターンマッチング等の画像処理を行うことにより、対象物を認識する。また、例えば、センサ１００がレーダである場合、認識部２００は、前景情報からクラスタリング又は機械学習等により対象物を抽出し、認識する。このような認識部２００における対象物認識の技術は周知技術であるため、ここでは詳細な説明を省略する。認識部２００が出力する認識結果情報は、例えば、所定の対象物の存在位置（Ｘ，Ｙ）である。所定の対象物が複数種類（移動体、道路標識等）ある場合においては、認識結果情報は、所定の対象物の種類と存在位置とを対応付けた情報であることとしてもよい。なお、所定の対象物の存在位置（Ｘ，Ｙ）は、例えば車両の運転者の前景を捉えるようにセンシングカメラが設置された点を基準として運転者の左右（横）方向をＸ軸、前後方向をＹ軸とするカメラ座標系における座標である。また、所定の対象物の存在位置（Ｘ，Ｙ）におけるＹは、例えば車両の進行方向における車両と所定の対象物との距離を示す。

推定部３００は、運転者の視点から虚像（表示部６００により表示された画像）を見たときの俯角を推定してその推定値を出力する。具体的には、予め各視点位置での俯角の値を保持しておき、図示しないカメラで運転者の視点の位置を検出して俯角を推定する。なお、俯角の推定はこの方法に限らず、例えば、表示部６００に設けられているミラーの角度から運転者の視点の位置を推定して、その結果に基づき俯角を推定するようにしてもよい。

上述の認識部２００及び推定部３００の各機能は、例えばメモリ及びプロセッサ（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）を含むコンピュータ等においてメモリに格納された。

制御プログラムをプロセッサが実行することにより実現される。センサ１００のセンシングに対応して逐次（例えば数百ミリ秒、数十ミリ秒等の所定時間毎に）認識部２００により認識結果情報が出力される。また、適時（表示システム１０の起動時等）に１度又は一定周期（例えば数秒、数百ミリ秒）毎等に推定部３００により俯角の推定値が出力される。

表示制御装置２０は、認識部２００及び推定部３００の出力する情報を取得し、逐次（例えば数百ミリ秒、数十ミリ秒等といった所定時間毎に）、表示（表示媒体への投射）の対象となる画像を生成するように表示部６００を制御する。表示制御装置２０は、ハードウェア面では例えばメモリ及びプロセッサを含む周知のコンピュータ等により実現され、機能的な構成要素として判定部４００及び制御部５００を有する。判定部４００及び制御部５００の各機能は、メモリに格納された制御プログラムをプロセッサが実行することにより実現される。なお、メモリは、プログラム及びデータを予め保持しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラムの実行に際してデータ等の記憶に利用するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、例えば不揮発性メモリを含んでいてもよい。

判定部４００は、認識部２００が出力する認識結果情報と推定部３００が出力する俯角の推定値とを得て、この認識結果情報及び俯角の推定値に基づいて、認識結果情報により示される所定の対象物がＨＵＤの表示範囲内に入るか否かを判定する。なお、運転者の俯角の大きさに依存して、ＨＵＤの表示範囲内に入る前景の路面等の距離範囲は変化する。判定部４００は、具体的には図３に示すように、運転者の視点９００と所定の対象物６０とを結んだ直線が虚像８００の表示範囲内を通る場合には、所定の対象物６０がＨＵＤの表示範囲内に入っていると判定する。一方で、図４に示すように、運転者の視点９００と所定の対象物６０を結んだ直線が虚像８００の表示範囲内を通らない場合には、所定の対象物６０がＨＵＤの表示範囲内に入っていないと判定する。図３に示すように運転者の視点９００が俯角５１ａを有する位置にある場合と、図４に示すように運転者の視点９００が、俯角５１ａよりも大きい俯角５１ｂを有する位置にある場合とでは、所定の対象物６０がＨＵＤの表示範囲内に視認されるか否かが異なる。なお、判定部４００は、上述のように所定の対象物６０がＨＵＤの表示範囲内に入るか否かを判定する代わりに、実風景に重畳して表示する虚像において所定の対象物６０の周囲に表示すべく設定された表示オブジェクトの表示位置が、ＨＵＤの表示範囲内に入るか否かを判定するようにしてもよい。判定部４００は、判定結果を示す判定結果情報を制御部５００へ伝達する。

制御部５００は、ウインドシールド７００に投射されるべき画像つまり虚像として表示されるべき画像を生成するように表示部６００を制御する。具体的には制御部５００は、判定部４００から伝達された判定結果情報に基づいて、所定の対象物６０がＨＵＤの表示範囲内に入る場合と入らない場合とのそれぞれで異なる画像が表示部６００に生成されるように表示部６００を制御する。

所定の対象物６０がＨＵＤの表示範囲内に入ると判定部４００により判定された場合には、制御部５００は、表示媒体に表示されたときに、図５に示すように実風景上の所定の対象物６０に表示オブジェクトが重畳される画像を表す所定画像を生成するように表示部６００を制御する。なお、制御部５００は、表示媒体に表示されたときにＨＵＤの表示範囲５０内に表示される画像を表す所定画像を生成するように表示部６００を制御している。表示オブジェクトは、文字列、記号、図形、イメージ等といった標章等で形成された、画像の構成要素（つまり画像要素）であり、予め定められている。本実施の形態では、表示オブジェクトは、所定の対象物６０に関して運転者に注意を促す警告を表している。図５は、例えば図３に示す俯角５１ａを有する運転者の視点からの眺めを示す。図５では、実風景において所定の対象物６０としての人が現れており、ＨＵＤの表示範囲５０内には人に重畳して楕円形の表示オブジェクト７０ａが表示されている。表示オブジェクト７０ａにより、人（所定の対象物６０）の存在が運転上注意すべき事項として強調されるため、車両の運転者は、所定の対象物６０を的確に認識し得る。

一方、所定の対象物６０がＨＵＤの表示範囲内に入らないと判定部４００により判定された場合には、制御部５００は、表示媒体に表示されたときに、図６に示すように実風景上の所定の対象物６０の位置を間接的に表現する画像を表す所定画像を生成するように表示部６００を制御する。図６の場合は、図５の場合と異なり運転者の視点から見て所定の対象物６０がＨＵＤの表示範囲内に入らず、所定の対象物６０に重畳させて表示オブジェクトを表示するような画像を生成できないから、所定の対象物６０の位置を矢印等の標章で表す画像を生成する。図６は、例えば図４に示す俯角５１ｂを有する運転者の視点からの眺めを示す。図６では、実風景において所定の対象物６０としての人が現れている点は図５と同じであるが、ＨＵＤの表示範囲５０内に人が入らないので、人の位置の方向を表す矢印と注意を促す文字列とを含む表示オブジェクト７０ｂが表示されている。ここでは制御部５００は、所定の対象物６０がＨＵＤの表示範囲内に入らないと判定された場合にその対象物の位置を間接的に表す表示オブジェクトを含む画像を生成した。しかし、対象物の位置を間接的に表す表示オブジェクトでなくても、所定の対象物６０に関連付けられていることを運転者に認識させ得る表示オブジェクトであれば良く、表示態様は他の態様でもよい。運転者は、表示オブジェクトにより所定の対象物６０を的確に認識し得る。

表示部６００は、制御部５００からの制御により所定画像を生成して、その画像をウインドシールド７００に投射する。表示部６００の構成例を図７に示す。表示部６００は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６１０、平面ミラー６２０ａ及び凹面ミラー６２０ｂ、画像を生成する画像生成部（図示せず）を有する。表示部６００において、画像は、ＬＣＤ６１０に表示される。ＬＣＤ６１０に表示された画像は、平面ミラー６２０ａで反射され、凹面ミラー６２０ｂにより拡大され、ウインドシールド７００に投射（投影）される。

ウインドシールド７００に拡大投影された画像は、運転者から虚像８００として視認される。このとき、虚像８００は、運転者の視界内に見える実風景等に重畳して表示される。虚像８００は、運転者に、運転中における視線の焦点となる位置（例えば２ｍ〜３ｍ先）に現れるように認識される。

運転者の視点９００は、運転者の座高や座席の背もたれの角度等の違いにより、高さが変化する。視点９００の高さの違いに対応するため、モーター駆動等により凹面ミラー６２０ｂの角度を調整する調整部（図示せず）が設けられる。図８は、表示部６００のミラーの角度の調整を示す概念図である。図８に示すように、凹面ミラー６２０ｂの角度を調整することにより、座高が高い場合（図８の実線）、及び、座高が低い場合（図８の破線）の双方において、運転者の視点から虚像を視認することができる。凹面ミラー６２０ｂの角度調整は、例えば、図示しないカメラで運転者の視点の位置を検出し、その検出結果に基づいて調整するようにしてもよいし、図示しない調整用スイッチを設け、運転者による調整用スイッチの操作に応じて調整するようにしてもよい。

次に、本実施の形態に係る表示システム１０の動作例について説明する。

表示システム１０においては、所定時間毎にセンサ１００からの前景情報に応じて認識部２００が所定の対象物を認識してその対象物の存在位置を示す認証結果情報を出力する。この認証結果情報の出力と並行して、推定部３００は、図示しないカメラで検出した運転者の視点の位置或いは調整された表示部６００のミラー（凹面ミラー６２０ｂ等）の角度等に基づいて運転者の視点における俯角を推定し、俯角の推定値を出力する。これらの出力を受けて表示制御装置２０は、画像を生成するための表示制御処理を実行し、生成された画像は表示部６００により表示される。

図９は、本実施の形態に係る表示制御装置２０による表示制御処理を示すフローチャートである。以下、図９に即して表示制御装置２０による表示制御処理について説明する。この表示制御処理は、所定の周期で繰り返し実行される。この周期は、表示部６００（ＬＣＤ６１０）に所定画像を供給するフレームレートに関係し、例えば数百ミリ秒、数十ミリ秒等である。

まず、表示制御装置２０の判定部４００は、推定部３００が出力した俯角の推定値を取得する（ステップＳ１）。また、判定部４００は、認識部２００が出力した認識結果情報を取得することで所定の対象物の位置情報を得る（ステップＳ２）。

判定部４００は、取得した俯角の推定値と所定の対象物の位置情報とに基づいて、運転者から見た所定の対象物が虚像の表示範囲つまりＨＵＤの表示範囲５０内に入るか否かを判定する（ステップＳ３）。この判定結果を示す判定結果情報が制御部５００に伝達される。

制御部５００は、判定結果情報を参照して、判定部４００が所定の対象物がＨＵＤの表示範囲５０内に入ると判定した場合（ステップＳ３でｙｅｓ）には、表示媒体に表示されたときに、運転者から見て所定の対象物の位置に所定の対象物に対応する情報を示す第１表示オブジェクト（第１の提示画像）を表す第１の所定画像を生成するように表示部６００を制御し（ステップＳ４）、そして、表示部６００は第１の所定画像を生成する。所定画像は、例えばＬＣＤ６１０に表示されるべき所定サイズの画像であり、表示オブジェクトが配置されない部分は非表示となるように例えば輝度が所定の低い輝度値（例えば０）である。また、第１表示オブジェクトは、例えば所定の対象物６０に対応する情報（例えば楕円形の図形）を示す上述の表示オブジェクト７０ａである（図５参照）。所定画像における第１表示オブジェクトの位置は、認識結果情報及び俯角の推定値に基づいて運転者から見て所定の対象物に重なる位置に計算される。なお、認識結果情報に、所定の対象物の種類が含まれる場合に種類毎に所定画像に配置する表示オブジェクトが示す情報の内容（例えば図形の形状）を予め定めた内容としてもよい。

また、ステップＳ３において制御部５００は、判定部４００が所定の対象物がＨＵＤの表示範囲５０内に入らないと判定した場合（ステップＳ３でｎｏ）には、表示媒体に表示されたときに、表示範囲の中央より、運転者から見て所定の対象物の位置の方に近い位置に所定の対象物に対応する情報を示す第２表示オブジェクト（第２の提示画像）を表す第２の所定画像を生成するように表示部６００を制御し（ステップＳ５）、そして、表示部６００は第２の所定画像を生成する。第２表示オブジェクトは、第１表示オブジェクトとは表示態様が異なり、例えば所定の対象物６０に対応する情報（例えば矢印の図形と注意を促す「Ｃａｕｔｉｏｎ」の文字列との組）を示す上述の表示オブジェクト７０ｂである（図６参照）。所定画像における第２表示オブジェクトの位置は、認識結果情報及び俯角の推定値に基づいて、所定画像の中央に配置した場合よりも運転者から見た所定の対象物の方向にシフト（移動）した位置に計算される。シフト量は任意であるが、例えばシフト可能な最大量だけシフトしてもよい。図６の例では、上方にシフトしている。このシフトにより第２表示オブジェクトが所定の対象物と関連付けられていることを運転者に認識させ易くなる。

ステップＳ４又はステップＳ５における制御部５００による制御を受けて表示部６００は、生成した第１又は第２の所定画像を表示媒体に投射する。

以上、本発明の実施の形態について説明したが、本発明は上記実施の形態１に限定されず、種々の変形が可能である。以下、変形例について説明する。

上述の表示部６００におけるミラー或いはレンズ等の光学系の構成（ミラーの種類及び枚数等）は、図７に示す以外のものであってもよい。また、表示部６００における画像の出力手段はＬＣＤ以外のもの（例えば、レーザープロジェクタ、ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）等）であってもよい。

また、表示部６００は、画像をウインドシールド７００に投影することとしたが、ウインドシールド７００とは別に設けられるハーフミラーであるコンバイナに投影するようにしてもよい。さらに、表示部６００は、ウインドシールド７００の内部または表面に設けられる透過型ディスプレイに画像を表示するものであってもよい。

また、上述の表示制御処理のステップＳ５において、第２表示オブジェクトを所定の対象物の方向にシフトすることとしたが、必ずしもシフトを行わなくても良く、第２表示オブジェクトを所定画像における任意の位置（例えば中央）に配置してもよい。

また、上述した第２表示オブジェクトは、所定の対象物の位置を表現する特定の標章（矢印の図形等）を含んだ表示オブジェクト７０ｂ等に限られず、所定の対象物の位置を示さないものであってもよい。また、第１表示オブジェクトは、所定の対象物に重畳する位置に配置される他、所定の対象物の周辺に配置されることとしてもよい。第１表示オブジェクトは、所定の対象物に重畳する位置に表示する場合にはその位置を示す必要がないので、位置を表現する特定の標章を含まなくてもよい。第１表示オブジェクトを所定の対象物の周辺に配置する場合等において所定の対象物の位置を表現する特定の標章（矢印の図形等）を第１表示オブジェクトに含ませてもよい。

また、上述の認識部２００は、同時に複数の所定の対象物を認識しても良く、複数の所定の対象物のそれぞれに対して判定部４００による判定と、制御部５００による表示オブジェクト（第１又は第２表示オブジェクト）の生成制御と、表示部６００による所定画像の生成とが行われることとしてもよい。

また、上述した所定画像には、運転に必要な各種情報（速度その他の情報）を表す表示オブジェクトを含ませてもよい。

また、上述した第１表示オブジェクト及び第２表示オブジェクトを表示する際に、車両に搭載されたスピーカ等から音声により運転者に情報を伝えてもよい。この場合において第１表示オブジェクトを表示する際と第２表示オブジェクトを表示する際とでは異なる音声を出力することとしてもよい。

また、上述した第１表示オブジェクトと第２表示オブジェクトとは、互いに色、輝度等を異ならせてもよい。

また、上述の表示制御装置２０における表示制御処理の手順（図９参照）の実行順序は、必ずしも、上述した通りの順序に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えたりその一部を省略したりすることができる。また、上述の表示制御処理の手順の全部又は一部は、ハードウェアにより実現されても、ソフトウェアを用いて実現されてもよく、ソフトウェアとハードウェアの両方の組合せで実現されていてもよい。なお、ソフトウェアによる処理は、コンピュータ等に含まれるプロセッサがメモリに記憶された表示制御プログラムを実行することにより実現されるものである。また、その表示制御プログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布された表示制御プログラムを、プロセッサを有する装置にインストールして、その装置のプロセッサに実行させることで、その装置に表示制御処理の全部又は一部を行わせることが可能となる。

また、上述したコンピュータは、必須ではないが、入力装置、出力装置、記録媒体から情報を読み取る読取装置、或いは、ネットワークを介して通信を行う送受信装置を有してもよい。入力装置は例えば、入力用ボタン、タッチパッドである。出力装置は例えば、ディスプレイ、スピーカである。記録媒体は例えば、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリである。例えば上述した表示制御プログラムがＵＳＢメモリ等の記録媒体に記録されていれば、読取装置は、その表示制御プログラムを読み取り、メモリ或いはその他の記憶装置に記憶させる。また、送受信装置が、表示制御プログラムを格納している外部のサーバ装置とネットワークを介して通信を行い、サーバ装置から表示制御プログラムをダウンロードしてメモリ或いはその他の記憶装置に記憶させてもよい。なお、表示制御装置２０は、集積回路として構成されてもよい。

このように、表示システム１０（表示制御装置２０等）によれば、車両等の移動体の乗員（例えば運転者等）の視点の高さの変動範囲が大きい場合にも、乗員に有用な情報の提示を行うことが可能となる。

（実施の形態２）
以下、実施の形態１で説明した表示システム１０に車両のナビゲーション機能を追加して成る変形表示システムについて説明する。

この変形表示システムは、センサ１００、認識部２００、推定部３００、変形表示制御装置、表示部６００及びウインドシールド７００を有する。なお、実施の形態１と同じ構成要素には、実施の形態１と同じ符号を付しており、ここでは詳しい説明を省略する。

変形表示制御装置は、実施の形態１で示した表示制御装置２０に、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による測位情報及び地図データに基づく車両のナビゲーション機能を追加した構成を有する。変形表示制御装置は、ハードウェアとしては上述の表示制御装置２０と同様にメモリ及びプロセッサを含むコンピュータ等で構成され、更に、ＧＰＳ受信機を有する。また、地図データを取得して記憶するためにメモリの他にハードディスク装置等の記憶装置、送受信装置等を有してもよい。なお、車両のナビゲーションの技術は周知技術であるため、ここでは詳細な説明を省略する。変形表示制御装置は、判定部４００及び制御部５００を含み、認識結果情報及びＧＰＳによる測位情報に基づいて、運転者に入力された車両の目的地までの進路誘導用の情報を表示するための所定画像を表示部６００が生成するように制御する。変形表示制御装置は、進路誘導用の情報の表示のために、ＧＰＳによる測位情報及び地図データに基づき誘導を要する地点（例えば進行方向前方１００ｍ以内の交差点等）を特定し、その地点を所定の対象物と看做して実施の形態１で示した認識結果情報と同様の情報を生成する。これにより、その地点（例えば交差点）を所定の対象物と取り扱うことで、判定部４００及び制御部５００のそれぞれは次のような働きをする。以下、交差点を所定の対象物と取り扱う例で説明する。

判定部４００は、変形表示制御装置に生成された認識結果情報と俯角の推定値とに基づいて、誘導を要する地点に相当する所定の対象物である交差点がＨＵＤの表示範囲内に入るか否かを判定する。

また、制御部５００は、所定の対象物（交差点）がＨＵＤの表示範囲内に入ると判定部４００により判定された場合には、制御部５００は、表示媒体に表示されたときに、図１０に示すように実風景上に現れるはずの交差点に重畳される表示オブジェクトを表す所定画像を生成するように表示部６００を制御する。なお、実風景上に現れるはずの交差点の位置は、実際は測位情報、地図データ及び俯角の推定値から計算された位置である。

本実施の形態では、表示オブジェクトは、所定の対象物（交差点）に関して運転者に進路誘導用の情報を表している。図１０は、例えば図３に示す俯角５１ａを有する運転者の視点からの眺めを示す。図１０では、ＨＵＤの表示範囲５０内には交差点６１に重畳して右折の矢印を表す表示オブジェクト８０ａが表示されている。表示オブジェクト８０ａにより、車両の運転者は、交差点６１を視認しつつ、交差点６１でどちらに進めばよいかを的確に認識し得る。

一方、誘導を要する地点に相当する所定の対象物（交差点）がＨＵＤの表示範囲内に入らないと判定部４００により判定された場合には、制御部５００は、表示媒体に表示されたときに、図１１に示すように実風景上に現れるはずの交差点６１に関して運転者に進路誘導用の情報を表示オブジェクト８０ａとは異なる態様で示す表示オブジェクト８０ｂを表す所定画像を生成するように表示部６００を制御する。図１１は、例えば図４に示す俯角５１ｂを有する運転者の視点からの眺めを示す。図１１の場合は、図１０の場合と異なり運転者の視点から見て交差点６１がＨＵＤの表示範囲内に入らず、交差点６１に重畳させて表示オブジェクトを表示するような画像を生成できないから、重畳している場合と区別可能な画像を生成する。図１１に例示した表示オブジェクト８０ｂは、交差点６１の位置が、１００ｍ前方にあることを示す文字列と右折を表すアイコンとを表している。表示オブジェクト８０ｂにより、車両の運転者は、交差点６１でどちらに進めばよいかを的確に認識し得る。

なお、上述した変形表示制御装置の制御部５００は、表示媒体に表示されたときに、進路誘導用の情報の他に、所定の対象物（地図上で予め定められた地点、建物等）に関した案内情報を示す表示オブジェクトを表す所定画像を生成するように表示部６００を制御してもよい。

以上説明したように、本実施の形態で説明した変形表示システム（変形表示制御装置等）によれば、実施の形態１の表示システム１０と同様に、車両等の移動体の乗員（例えば運転者等）の視点の高さの変動範囲が大きい場合にも、乗員に有用な情報の提示を行うことが可能となる。なお、実施の形態１で説明した各変形例を、本実施の形態に適宜適用してもよい。

また、上述した表示制御処理（図９参照）を例えば図１２に示すように変形してもよい。表示制御装置２０又は変形表示制御装置の機能を担うコンピュータは、表示制御プログラムの実行により、図１２に示す処理手順を実行する。即ち、認識部２００が所定の対象物を認識した場合に（ステップＳ１１）、その認識した第１のタイミングにおいて、コンピュータは、認識部２００によって認識された所定の対象物の位置情報と、推定部３００により推定された第１の俯角に基づき、運転者（移動体の乗員）から見た所定の対象物が虚像の表示範囲（ＨＵＤの表示範囲）内に入るか否かを判定する（ステップＳ１２）。ステップＳ１２において所定の対象物が虚像の表示範囲内に入ると判定した場合（ステップＳ１２でｙｅｓ）には、コンピュータは、所定の対象物に対応する情報を示す第１表示オブジェクト（第１の提示画像）を表す第１の所定画像を生成するように表示部６００を制御する（ステップＳ１３）。例えば第１の所定画像において第１表示オブジェクトは表示媒体に表示されたときに運転者から見た所定の対象物の位置等に表されてもよい。また、ステップＳ１２において所定の対象物が虚像の表示範囲内に入らないと判定した場合（ステップＳ１２でｎｏ）には、コンピュータは、所定の対象物に対応する情報を第１表示オブジェクトとは異なる態様で示す第２表示オブジェクト（第２の提示画像）を表す第２の所定画像を生成するように表示部６００を制御する（ステップＳ１５）。また、ステップＳ１３における制御後、例えば推定部３００による推定結果の俯角が変化した場合等の第２のタイミングにおいて、認識部２００によって認識された所定の対象物の位置情報と、推定部３００により推定された第２の俯角に基づき、コンピュータは、運転者から見た所定の対象物が虚像の表示範囲内に入らなくなったか否かを判定する（ステップＳ１４）。ステップＳ１４において所定の対象物が虚像の表示範囲内に入らなくなったと判定した場合（ステップＳ１４でｎｏ）には、コンピュータは、所定の対象物に対応する情報を第１表示オブジェクトとは異なる態様で示す第２表示オブジェクト（第２の提示画像）を表す第２の所定画像を生成するように表示部６００を制御する（ステップＳ１５）。これにより、運転者の俯角が変化しても、運転者への有用な情報の表示が可能となる。

以上のように、本発明の一様態に係る表示制御装置は、認識部と、表示部と、推定部とを含む表示システムにおける表示制御装置である。認識部は、移動体の前景に存在する所定の対象物を認識する。表示部は、認識部の認識結果に基づいて所定画像を生成し、表示媒体にこの所定画像を表示することで移動体の乗員に虚像を視認させる。推定部は、乗員から虚像を見たときの俯角を推定する。上記表示制御装置は、判定部と、制御部とを有する。判定部は、認識部から取得した所定の対象物の位置情報と、推定部から取得した俯角の推定値とに基づき、乗員から見た所定の対象物が虚像の表示範囲内に入るか否かを判定する。制御部は、判定部により所定の対象物が表示範囲内に入ると判定された場合には、表示媒体に表示されたときに、所定の対象物に対応する情報を示す第１の提示画像を表す第１の所定画像を生成するように表示部を制御する。一方、判定部により所定の対象物が表示範囲内に入らないと判定された場合には、表示媒体に表示されたときに、所定の対象物に対応する情報を第１の提示画像とは異なる態様で示す第２の提示画像を表す第２の所定画像を生成するように表示部を制御する。第１の提示画像又は第２の提示画像は、例えば文字列、記号、図形、イメージ等といった標章等で形成された表示オブジェクトである。また、虚像の表示範囲は、例えばＨＵＤの表示範囲である。

これにより、表示システムにおいて、移動体の乗員の視点の高さの変動範囲が大きい場合にも、乗員に有用な情報の提示を行うことが可能となる。

また、表示部に第１の提示画像を表す第１の所定画像を生成させる場合、制御部は、認識部から取得した所定の対象物の位置情報と推定部から取得した俯角の推定値とに基づき、乗員から見て所定の対象物の位置に第１の提示画像についての虚像が現れるように、第１の所定画像に第１の提示画像を配置させる。一方、表示部に第２の提示画像を表す第２の所定画像を生成させる場合には、認識部から取得した所定の対象物の位置情報と推定部から取得した俯角の推定値とに基づき、所定の対象物の位置を表現する特定の標章を含むように第２の提示画像を定めさせる。このように制御することが好ましい。これにより、乗員が表示媒体の範囲内を観察したときに所定の対象物が含まれない、すなわち、乗員が所定の対象物を観察したときに所定の対象物がＨＵＤの表示範囲外となる場合であっても、移動体の乗員は、所定の対象物（例えば注意すべき物体等）がどこにあるのかを第２の提示画像により認識し得る。

また、上記特定の標章は、所定の対象物の方向を示す矢印であることとしてもよい。矢印は、特定の方向を指し示す形状の図形であれば足り、矢印先端が必ずしも尖っていなくてもよく、また、矢印先端部分だけの図形（例えば三角形）であってもよい。これにより、虚像を所定の対象物に重畳して乗員に視認させることができない場合においても、移動体の乗員は、矢印が指す方向によって所定の対象物の位置を容易に認識し得るようになる。

また、第１の提示画像は、特定の標章を含まないこととしてもよい。これにより、移動体の乗員は、所定の対象物に重畳して表示されている第１の提示画像と、所定の対象とは別の位置に表示されている第２の提示画像とを容易に識別でき、前景の状況を適切に把握し得る。

また、制御部は、表示部に第１の提示画像を表す第１の所定画像を生成させる場合には、認識部から取得した所定の対象物の位置情報と推定部から取得した俯角の推定値とに基づき、乗員から見て所定の対象物の位置に第１の提示画像についての虚像が現れるように第１の所定画像に第１の提示画像を配置させる。一方、表示部に第２の提示画像を表す第２の所定画像を生成させる場合には、認識部から取得した所定の対象物の位置情報と推定部から取得した俯角の推定値とに基づき、虚像の表示範囲の中央よりも乗員から見て所定の対象物の位置に近い位置に第２の提示画像についての虚像が現れるように第２の所定画像に第２の提示画像を配置させる。このように制御することも好ましい。これにより、移動体の乗員は、所定の対象物と第２の提示画像とが関連していることを容易に認識し得るようになる。

また、移動体は、車両でありかつ表示制御装置を搭載することとしてもよい。これにより、運転者の視点の高さが高くても低くても車両の運転中に有用な情報を認識し得るようになる。

また、本発明の一態様に係る表示制御プログラムは、上記表示システムにおけるコンピュータに実行させる。このプログラムは、コンピュータに対して、以下の処理を実行させる。認識部が所定の対象物を認識した第１のタイミングにおいて、認識部によって認識された所定の対象物の位置情報と、推定部により推定された第１の俯角に基づき、乗員から見た所定の対象物が虚像の表示範囲内に入るか否かを判定する処理。所定の対象物が表示範囲内に入ると判定された場合には、表示媒体に表示されたときに、所定の対象物に関する情報を示す第１の提示画像を表す第１の所定画像を生成するように表示部を制御する処理。第１のタイミングとは異なる第２のタイミングにおいて、推定部が推定した第２の俯角が第１の俯角と異なり、所定の対象物が表示範囲内に入らないと判定された場合には、表示媒体に表示されたときに、所定の対象物に関する情報を前記第１の提示画像とは異なる態様で示す第２の提示画像を表す第２の所定画像を生成するように表示部を制御する処理。コンピュータを含んで構成される表示システムにこの表示制御プログラムをインストールして実行することにより、移動体の乗員の視点の高さの変動範囲が大きい場合にも、乗員に有用な情報の提示を行うことが可能となる。

本発明は、車両等の移動体の乗員に対して提供される情報の表示を制御する表示制御装置等に適用できる。

１０ 表示システム
２０ 表示制御装置
５０ 表示範囲
５１ａ，５１ｂ 俯角
６０ 対象物
６１ 交差点
７０ａ，７０ｂ，８０ａ，８０ｂ 表示オブジェクト
１００ センサ
２００ 認識部
３００ 推定部
４００ 判定部
５００ 制御部
６００ 表示部
６１０ ＬＣＤ
６２０ａ 平面ミラー
６２０ｂ 凹面ミラー
７００ ウインドシールド（表示媒体）
８００ 虚像
９００ 視点

Claims (7)

1. 移動体の前景に存在する所定の対象物を認識する認識部と、
   前記認識部の認識結果に基づいて所定画像を生成し、表示媒体に前記所定画像を表示することで前記移動体の乗員に虚像を視認させる表示部と、
   前記乗員から虚像を見たときの俯角を推定する推定部と、を含む表示システムにおける表示制御装置であって、
   前記認識部から取得した前記所定の対象物の位置情報と、前記推定部から取得した前記俯角の推定値とに基づき、前記乗員から見た前記所定の対象物が虚像の表示範囲内に入るか否かを判定する判定部と、
   前記判定部により前記所定の対象物が前記表示範囲内に入ると判定された場合には、前記表示媒体に表示されたときに、前記所定の対象物に対応する情報を示す第１の提示画像を表す第１の所定画像を生成するように前記表示部を制御し、前記判定部により前記所定の対象物が前記表示範囲内に入らないと判定された場合には、前記表示媒体に表示されたときに、前記所定の対象物に対応する情報を前記第１の提示画像とは異なる態様で示す第２の提示画像を表す第２の所定画像を生成するように前記表示部を制御する制御部と、を備えた、
   表示制御装置。
2. 前記制御部は、
   前記表示部に前記第１の提示画像を表す前記第１の所定画像を生成させる場合には、前記認識部から取得した前記所定の対象物の位置情報と前記推定部から取得した前記俯角の推定値とに基づき、前記乗員から見て前記所定の対象物の位置に前記第１の提示画像についての虚像が現れるように前記第１の所定画像に前記第１の提示画像を配置させ、
   前記表示部に前記第２の提示画像を表す前記第２の所定画像を生成させる場合には、前記認識部から取得した前記所定の対象物の位置情報と前記推定部から取得した前記俯角の推定値とに基づき、前記所定の対象物の位置を表現する特定の標章を含むように前記第２の提示画像を定めさせる、
   請求項１に記載の表示制御装置。
3. 前記特定の標章は、前記所定の対象物の方向を示す矢印である、
   請求項２に記載の表示制御装置。
4. 前記第１の提示画像は、前記特定の標章を含まない、
   請求項２に記載の表示制御装置。
5. 前記制御部は、
   前記表示部に前記第１の提示画像を表す前記第１の所定画像を生成させる場合には、前記認識部から取得した前記所定の対象物の位置情報と前記推定部から取得した前記俯角の推定値とに基づき、前記乗員から見て前記所定の対象物の位置に前記第１の提示画像についての虚像が現れるように前記第１の所定画像に前記第１の提示画像を配置させ、
   前記表示部に前記第２の提示画像を表す前記第２の所定画像を生成させる場合には、前記認識部から取得した前記所定の対象物の位置情報と前記推定部から取得した前記俯角の推定値とに基づき、虚像の前記表示範囲の中央よりも前記乗員から見て前記所定の対象物の位置に近い位置に前記第２の提示画像についての虚像が現れるように前記第２の所定画像に前記第２の提示画像を配置させる、
   請求項１に記載の表示制御装置。
6. 前記移動体は、前記表示制御装置を搭載した車両である、
   請求項１〜５のいずれか一項に記載の表示制御装置。
7. 移動体の前景に存在する所定の対象物を認識する認識部と、
   前記認識部の認識結果に基づいて所定画像を生成し、表示媒体に前記所定画像を表示することで前記移動体の乗員に虚像を視認させる表示部と、
   前記乗員から虚像を見たときの俯角を推定する推定部と、を含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、
   前記コンピュータに対して、
   前記認識部が前記所定の対象物を認識した第１のタイミングにおいて、前記認識部によって認識された前記所定の対象物の位置情報と、前記推定部により推定された第１の俯角に基づき、前記乗員から見た前記所定の対象物が虚像の表示範囲内に入るか否かを判定する処理と、
   前記所定の対象物が前記表示範囲内に入ると判定された場合には、前記表示媒体に表示されたときに、前記所定の対象物に関する情報を示す第１の提示画像を表す第１の所定画像を生成するように前記表示部を制御する処理と、
   前記第１のタイミングとは異なる第２のタイミングにおいて、前記推定部が推定した第２の俯角が前記第１の俯角と異なり、前記所定の対象物が前記表示範囲内に入らないと判定された場合には、前記表示媒体に表示されたときに、前記所定の対象物に関する情報を前記第１の提示画像とは異なる態様で示す第２の提示画像を表す第２の所定画像を生成するように前記表示部を制御する処理と、を実行させる、
   表示制御プログラム。

Images