JP6827609B2 - 情報表示制御装置及び方法、並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、情報表示制御装置及び方法、並びにプログラム及び記録媒体に関する。

従来の情報表示装置として、表示領域の外に対するポインティング操作が行われた場合に、表示領域内にカーソルを表示するものが知られている。この装置では、表示領域からポインティング位置までの距離に応じてカーソルの大きさ、色、形状、模様等を変更している（例えば、特許文献１）。

特開２０１６−５３７６７号公報（段落００２８〜００３３）

従来の装置には、位置の変化を知覚することが可能であるが、位置自体を直感的に知覚することができないという問題があった。

本発明は、上記の問題点を解決するためになされたもので、表示領域外の位置を、ユーザが直感的に知覚することができるようにすることを目的とする。

本発明の情報表示制御装置は、
オブジェクトの位置を示すための仮想オブジェクトの画像を表示領域に表示させる情報表示制御装置であって、
前記オブジェクトの位置に基づき前記仮想オブジェクトのサイズを決定するサイズ決定部と、
サイズが決定された前記仮想オブジェクトを前記オブジェクトの位置に配置し、当該仮想オブジェクトを、ユーザの視点を基準として仮想領域に透視投影することで前記仮想オブジェクトの画像を生成する３次元描画部と、
前記仮想領域内の複数の格子点と、前記表示領域を含む平面内の、前記複数の格子点に対応する点との関係を示す変換テーブルを作成する変換テーブル作成部と、
前記変換テーブルを用いて、前記仮想オブジェクトの画像を変形して、前記仮想オブジェクトの表示画像を生成する画像変形部と、
前記表示画像を前記表示領域に表示させる表示制御部と
を有し、
前記仮想オブジェクトは、アモーダル補完によって一部から全体を想起可能な３次元図形であることを特徴とする。

本発明によれば、表示領域外のオブジェクトの位置を、ユーザが直感的に知覚することができる。

本発明の実施の形態１の情報表示制御装置を備えた運転支援装置を示す機能ブロック図である。 運転支援装置が搭載された車両を示す概略図である。 図１の外部状況検出部の構成例を示す機能ブロック図である。 ユーザの視点と表示器の表示領域と仮想領域との位置関係を示す図である。 図１の情報表示制御装置を示す機能ブロック図である。 ユーザの視点座標系と表示領域座標系との位置関係を示す図である。 ユーザの視点座標系と表示領域座標系と仮想領域との関係を示す図である。 基準水平視野角と仮想オブジェクトのサイズとの関係を示す図である。 （ａ）は、基準水平視野角と仮想オブジェクトのサイズとの関係を示す図、（ｂ）は、仮想領域において仮想オブジェクトの画像が形成される範囲を示す図である。 仮想領域上の点と表示領域面上の点との対応関係を示す図である。 （ａ）は、仮想領域上の複数の格子点を示す図、（ｂ）は、表示領域面上の、上記格子点に対応する点を示す図である。 変換テーブルの一例を示す図である。 （ａ）及び（ｂ）は、仮想領域内の格子点に位置しない画素についての内挿の方法を示す図である。 本発明の実施の形態２の情報表示制御装置を備えた運転支援装置を示す機能ブロック図である。 図１４の内部状況検出部の構成例を示す機能ブロック図である。 図１４の情報表示制御装置を示す機能ブロック図である。 本発明の実施の形態３の情報表示制御装置を示す機能ブロック図である。 オブジェクトの位置と基準位置とアニメーション方向との関係を示す図である。 （ａ）及び（ｂ）は、変化パターンの透過率の変化を示す図である。 （ａ）〜（ｄ）は、透過率の空間的分布の時間経過に伴う変化を示す図である。 （ａ）は、変化パターンの変化方向がアニメーション方向に一致するように向きが定められた仮想オブジェクトを示す図、（ｂ）は、（ａ）の仮想オブジェクトを仮想領域に投影することで形成される仮想オブジェクトの画像を示す図である。 実施の形態１、２又は３の情報表示制御装置の諸機能を実現する１つのプロセッサを含むコンピュータを示す機能ブロック図である。 実施の形態１の情報表示制御装置における処理をプロセッサに実行させる場合の処理の手順を示すフローチャートである。 実施の形態２の情報表示制御装置における処理をプロセッサに実行させる場合の処理の手順を示すフローチャートである。 実施の形態３の情報表示制御装置における処理をプロセッサに実行させる場合の処理の手順を示すフローチャートである。

本発明に係る情報表示制御装置は、種々の目的で利用可能であるが、以下では、運転支援装置の一部として用いられるものを例として説明する。

実施の形態１．
図１は本発明の実施の形態１の情報表示制御装置４を備えた運転支援装置１を示す。
図示の運転支援装置１は、例えば図２に示されるように、車両１０に搭載されるものであり、情報表示制御装置４のほか、外部状況検出部２と、表示器６とを有する。

外部状況検出部２は、車両の外の状況を検知して、車両の周囲に位置するオブジェクトについての検知情報Ｓａを出力する。

ここでいうオブジェクトは、車両の運転に当たり注意すべき対象（注意対象）であり、他の車両、歩行者、固定された構造物を含む。他の車両には、自動四輪車（乗用車、トラック、バス等）、自動二輪車、自転車が含まれる。

外部状況検出部２は、例えば、図３に示されるように、撮像部２１と、検知部２２と、通信器２３と、検知信号処理部２４とを有する。
撮像部２１は、車両の周囲を撮像することで、周囲の風景を表す画像（周囲画像）を生成して、画像信号を出力する。撮像部２１は、１又は２以上のカメラを備える。

検知部２２は、ミリ波センサ、レーザセンサ、赤外線センサ、ソナーのうちの一つ以上を含み、周囲に位置するオブジェクトまでの距離、オブジェクトの存在する方向等を示す検知信号を出力する。

通信器２３は、車両１０の外部から提供される、他の車両に関する情報を受信する。他の車両に関する情報は、当該他の車両の位置並びに移動の方向及び速度を示す情報を含んでいても良い。車両１０の外部からの提供は、他の車両からの直接の通信による提供であっても良く、基地局を介しての通信による提供であっても良い。

検知信号処理部２４は、撮像部２１からの画像信号、検知部２２からの検知信号、及び通信器２３で受信した情報に基づいて、検知情報Ｓａを生成して、出力する。
検知信号処理部２４から検知情報Ｓａには、オブジェクトの位置を示す情報が含まれていても良い。

情報表示制御装置４は、外部状況検出部２からの検知情報Ｓａに基づいて、表示器６における表示を制御する。

表示器６は例えばフロントガラスをハーフミラーとして利用したウィンドシールドディスプレイで構成されている。

ウィンドシールドディスプレイは、ユーザ、例えば運転者の視点からある一定の距離に虚像を作る透過型ディスプレイであり、特殊なコンバイナを用いる場合にはヘッドアップディスプレイとも呼ばれる。

例えば、情報表示制御装置４は、車両の周囲に位置するオブジェクトの位置を示す仮想オブジェクトの画像を表示器６の表示領域に表示させる。

表示器６の表示領域に表示される仮想オブジェクトの画像の形成のため仮想領域が用いられる。

図４は、ユーザの視点Ｕｅと、表示器６の表示領域ＤＬと、仮想領域ＶＬとを示す。情報表示制御装置４は、仮想オブジェクトＢＪの画像を仮想領域ＶＬ内に形成し、形成された仮想オブジェクトＢＪの画像を、表示領域ＤＬに投影することで表示画像を形成する。

例えば、図４に示すように、仮想領域ＶＬの左の縁ＨＥａ及び右の縁ＨＥｂの少なくとも一方（図では左の縁ＨＥａ）に沿う幅ＦＷの範囲を指定領域ＡＬとし、指定領域ＡＬ内に、１又は２以上の仮想オブジェクトＢＪの画像を形成する。図示の例では、左の縁ＨＥａに沿う幅ＦＷの指定領域ＡＬ内にのみ１つの仮想オブジェクトＢＪの画像Ｇｃが形成されている。

ユーザの視点Ｕｅ、表示領域ＤＬ、仮想領域ＶＬ、仮想オブジェクトＢＪ等の位置関係を表すためユーザ視点座標系及び表示領域座標系を用いる。
ユーザ視点座標系の座標を（Ｘｖ，Ｙｖ，Ｚｖ）で表し、表示領域座標系での座標を（Ｘｄ，Ｙｄ，Ｚｄ）で表す。

ユーザ視点座標系は、ユーザの視点の位置Ｕｅを原点とし、ユーザの視線の方向ＵｄをＺｖ軸方向とし、水平方向をＸｖ軸方向とし、Ｚｖ軸及びＸｖ軸に垂直な方向をＹｖ軸方向とする。

本実施の形態では、ユーザの視点の位置Ｕｅ及び視線の方向Ｕｄとしては、標準的な位置及び方向を用いるものとする。

ここでは、表示領域ＤＬは矩形である場合を想定しており、表示領域座標系は、左上隅を原点とし、左上隅から右上隅に向かう方向をＸｄ軸方向、左上隅から左下隅に向かう方向をＹｄ軸方向、Ｘｄ軸及びＹｄ軸に垂直な方向をＺｄ軸方向とする。

情報表示制御装置４は、図５に示すように、情報記憶部４１と、外部状況解析部４２と、仮想オブジェクト選択部４３と、サイズ決定部４４と、３次元描画部４５と、変換テーブル作成部４６と、画像変形部４７と、表示制御部４８とを有する。

情報記憶部４１は、仮想オブジェクト情報ＦＪと、表示領域情報ＦＤと、仮想領域情報ＦＶと、指定領域情報ＦÅとを記憶している。情報記憶部４１はまた、車両を基準とする、ユーザの視点の位置Ｕｅを示す情報及びユーザの視線の方向Ｕｄを示す情報を記憶している。「車両を基準とする」とは「車両座標系における」という意味である。車両座標系は、例えば、車両内の任意の基準点を原点とし、任意の方向を１つの座標軸とするよう定義される。

仮想オブジェクト情報ＦＪは、複数の仮想オブジェクトの各々の属性を表す情報である。各仮想オブジェクトは、立体的な図形のモデル（３次元モデル）であり、３次元グラフィックスで表現可能なもの、例えばポリゴンモデルが用いられる。仮想オブジェクトの属性には、形状を表す情報、色を表す情報、及び透過率を表す情報が含まれる。

情報記憶部４１に記憶されている複数の仮想オブジェクトの形状には、球体及び錐体が含まれる。錐体には、円錐及び多角錐が含まれる。仮想オブジェクトは、これら以外の形状のものであっても良い。但し、アモーダル補完で欠損部分を想起し得るような形状であるのが望ましい。

表示領域情報ＦＤは、表示領域ＤＬの位置を表す情報（位置情報）を含む。例えば表示器６がウィンドシールドディスプレイである場合、表示領域ＤＬは虚像が形成される仮想の面である。

表示領域ＤＬの位置を表す情報は、例えば、表示領域ＤＬの４隅の位置を表す情報である。
表示領域ＤＬの位置を表す情報としては、ユーザ視点座標系での３次元座標が情報記憶部４１に記憶されている。

図６には、表示領域ＤＬの４隅、即ち、左上隅、右上隅、左下隅、右下隅が符号Ｑｌｔ、Ｑｒｔ、Ｑｌｂ、Ｑｒｂで示されている。
これらの４隅Ｑｌｔ、Ｑｒｔ、Ｑｌｂ、Ｑｒｂのユーザ視点座標系の３次元座標は、それぞれＶｄｌｔ、Ｖｄｒｔ、Ｖｄｌｂ、Ｖｄｒｂで表される。３次元座標Ｖｄｌｔ、Ｖｄｒｔ、Ｖｄｌｂ、Ｖｄｒｂの各々はＸｖ座標、Ｙｖ座標、Ｚｖ座標から成る。

表示領域座標系は、上記のように、表示領域ＤＬの左上隅Ｑｌｔを原点とし、左上隅Ｑｌｔから右上隅Ｑｒｔに向かう方向をＸｄ軸、左上隅Ｑｌｔから左下隅Ｑｌｂに向かう方向をＹｄ軸とし、Ｘｄ軸及びＹｄ軸に直交する方向をＺｄ軸としている。
これらの４隅Ｑｌｔ、Ｑｒｔ、Ｑｌｂ、Ｑｒｂの、表示領域座標系の３次元座標は、それぞれＤｌｔ、Ｄｒｔ、Ｄｌｂ、Ｄｒｂで表される。３次元座標Ｄｌｔ、Ｄｒｔ、Ｄｌｂ、Ｄｒｂの各々はＸｄ座標、Ｙｄ座標、Ｚｄ座標から成る。

表示領域情報ＦＤは、上記した表示領域ＤＬの位置を表す情報に加えて、表示領域ＤＬのサイズを表す情報を含む。表示領域ＤＬのサイズとして、表示領域ＤＬの横方向（水平方向）の画素数Ｗｄ及び縦方向（垂直方向）の画素数Ｈｄが記憶されている。

表示領域座標系では、画素の数によって長さを表しており、左上隅Ｑｌｔ、右上隅Ｑｒｔ、左下隅Ｑｌｂ、右下隅Ｑｒｂの３次元座標はそれぞれ以下の通りとなる。
Ｄｌｔ：（Ｘｄｌｔ，Ｙｄｌｔ，Ｚｄｌｔ）：（０，０，０）
Ｄｒｔ：（Ｘｄｒｔ，Ｙｄｒｔ，Ｚｄｒｔ）：（Ｗｄ，０，０）
Ｄｌｂ：（Ｘｄｌｂ，Ｙｄｌｂ，Ｚｄｌｂ）：（０，Ｈｄ，０）
Ｄｒｂ：（Ｘｄｒｂ，Ｙｄｒｂ，Ｚｄｒｂ）：（Ｗｄ，Ｈｄ，０）

仮想領域情報ＦＶは、仮想領域ＶＬの位置を表す情報（位置情報）を含む。仮想領域ＶＬは、仮想オブジェクトの画像の形成に用いられる仮想の領域である。
以下では、仮想領域ＶＬも矩形の領域であるものとする。その場合、仮想領域情報ＦＶとして、仮想領域ＶＬの４隅の位置を表す、ユーザ視点座標系での３次元座標が記憶されていても良い。

図７には、図６に示されるユーザの視点Ｕｅ及び表示領域ＤＬに加えて、仮想領域ＶＬが示されている。図７にはさらに、仮想領域ＶＬの４隅、即ち、左上隅、右上隅、左下隅、右下隅が符号Ｐｌｔ、Ｐｒｔ、Ｐｌｂ、Ｐｒｂで示されている。
これらの４隅のユーザ視点座標系の３次元座標は、それぞれＶｖｌｔ、Ｖｖｒｔ、Ｖｖｌｂ、Ｖｖｒｂで表される。３次元座標Ｖｖｌｔ、Ｖｖｒｔ、Ｖｖｌｂ、Ｖｖｒｂの各々はＸｖ座標、Ｙｖ座標、Ｚｖ座標から成る。

仮想領域ＶＬは、その面がＺｖ軸に垂直であり、その中心がＺｖ軸上にあるものとする。また、仮想領域ＶＬの横方向の辺及び縦方向の辺はそれぞれユーザ視点座標系のＸｖ軸及びＹｖ軸と平行であるものとする。さらに、仮想領域ＶＬは、その幅がＶｗであり、その高さがＶｈであり、ユーザ視点Ｕｅから仮想領域ＶＬの中心までの距離がＶｆであるものとする。

すると、仮想領域ＶＬの左上隅Ｐｌｔ、右上隅Ｐｒｔ、左下隅Ｐｌｂ、右下隅Ｐｒｂの座標は以下の通りとなる。
Ｖｖｌｔ：（Ｘｖｌｔ，Ｙｖｌｔ，Ｚｖｌｔ）：（−Ｖｗ／２，Ｖｈ／２，Ｖｆ）
Ｖｖｒｔ：（Ｘｖｒｔ，Ｙｖｒｔ，Ｚｖｒｔ）：（Ｖｗ／２，Ｖｈ／２，Ｖｆ）
Ｖｖｌｂ：（Ｘｖｌｂ，Ｙｖｌｂ，Ｚｖｌｂ）：（−Ｖｗ／２，−Ｖｈ／２，Ｖｆ）
Ｖｖｒｂ：（Ｘｖｒｂ，Ｙｖｒｂ，Ｚｖｒｂ）：（Ｖｗ／２，−Ｖｈ／２，Ｖｆ）

以上のように、仮想領域ＶＬの４隅の位置を表すユーザ視点座標系での座標は、ユーザ視点Ｕｅからの距離Ｖｆと、仮想領域の幅Ｖｗ及び高さＶｈから算出可能である。本実施の形態では、仮想領域ＶＬの４隅の位置の算出に必要な情報として、上記の距離Ｖｆ、幅Ｖｗ及び高さＶｈを表す情報が情報記憶部４１に記憶されている。

指定領域情報ＦＡは、指定領域ＡＬのサイズを示す情報である。図４に示すように、仮想領域ＶＬ左の縁ＨＥａに沿う幅ＦＷの範囲が指定領域ＡＬとされる場合、幅ＦＷが指定領域のサイズであり、この幅ＦＷを示す情報が情報記憶部４１に指定領域情報ＦＡとして記憶されている。
指定領域ＡＬは、仮想オブジェクトの画像の形成に利用される領域であり、指定領域ＡＬ内に形成された画像は、表示領域ＤＬに投影されて、表示される。

外部状況解析部４２は、外部状況検出部２から出力される検知情報Ｓａに基づき、車両の周囲に位置するオブジェクトの位置Ｖｏを表す情報を取得する。このようなオブジェクトの位置Ｖｏを表す情報は、例えばユーザ視点座標系における座標（Ｘｖｏ，Ｙｖｏ，Ｚｖｏ）で表される。

オブジェクトの位置は、オブジェクトの代表的な位置、例えばオブジェクトの中心又は重心の位置である。

以下では、車両の周囲に位置するオブジェクトが１つだけ検出されたものとして説明するが、複数のオブジェクトが検出された場合に、各オブジェクトについて同様の処理を行なえば良い。

外部状況解析部４２はまた、外部状況検出部２から出力される検知情報Ｓａに基づき、車両の周囲に位置するオブジェクトの種類Ｏｔを判定し、判定の結果として特定されたオブジェクトの種類Ｏｔを示す情報を出力する。

オブジェクトの種類を示す情報は、例えば、オブジェクトが車両、人、構造物等のいずれであるか、車両についてはさらに、自動四輪車、自動二輪車、自転車のいずれであるか、自動四輪車についてはさらに、乗用車、トラック、バス等のいずれであるかを示す情報であっても良い。
オブジェクトの種類は、画像中のオブジェクトに対する画像認識によって特定することができる。カメラによる撮像で得られた画像に限らず、レーザセンサ、ミリ波センサなどで得られるデータを用いて認識を行なっても良い。

オブジェクトの種類の判定は、公知の物体認識技術で実現することができる。例えば、Ｈｏｇ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を使った技術、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを使った技術を用い得る。

仮想オブジェクト選択部４３は、情報記憶部４１に記憶されている複数の仮想オブジェクトから１つを選択し、選択した仮想オブジェクトＢＪを表す情報を出力する。

ここでは、仮想オブジェクト選択部４３は、外部状況解析部４２で検出されたオブジェクトの種類Ｏｔに関する応じて仮想オブジェクトの選択を行うものとする。例えば、オブジェクトの種類Ｏｔを連想させる仮想オブジェクトが選択されるようにしても良い。予めオブジェクトの種類と仮想オブジェクトとを対応付けておき、検出されたオブジェクトの種類に対応付けられている仮想オブジェクトが選択されるようにしても良い。
以下では、球体であって、不透過なものが選択される場合について説明する。

サイズ決定部４４は、情報記憶部４１に記憶されている指定領域情報ＦＡと、仮想オブジェクト選択部４３で選択された仮想オブジェクトＢＪを示す情報と、外部状況解析部４２から出力されたオブジェクトの位置Ｖｏを示す情報とを元に、仮想オブジェクトのサイズＪＳを決める。
ここでは仮想オブジェクトが球体である場合を想定しているので、仮想オブジェクトのサイズＪＳとして、球体の半径ｒを決定する。
サイズ決定部４４は、決定したサイズＪＳを示す情報を、選択されている仮想オブジェクトＢＪを示す情報とともに出力する。

３次元描画部４５は、情報記憶部４１に記憶されている仮想領域情報ＦＶと、外部状況解析部４２から出力されたオブジェクトの位置Ｖｏを表す情報と、仮想オブジェクト選択部４３で選択された仮想オブジェクトＢＪを表す情報と、サイズ決定部４４で決定されたサイズＪＳを表す情報とを元に、仮想オブジェクトの画像Ｇｃを生成する。３次元描画部４５は、仮想オブジェクトＢＪをオブジェクトの位置Ｖｏに配置し、そのように配置された仮想オブジェクトＢＪを、ユーザ視点Ｕｅを基準として、仮想領域ＶＬに透視投影することで仮想オブジェクトの画像Ｇｃを生成する。

「仮想オブジェクトＢＪをオブジェクトの位置Ｖｏに配置する」とは、仮想オブジェクトＢＪの基準点がオブジェクトの位置に一致するように仮想オブジェクトＢＪの位置を決めることを言う。仮想オブジェクトＢＪが球体である場合、その基準点は球体の中心である。

「仮想オブジェクトを、ユーザ視点Ｕｅを基準として、仮想領域ＶＬに透視投影する」とは、ユーザ視点Ｕｅを通る直線により、仮想オブジェクトの各点を仮想領域ＶＬに投影することを意味する。

変換テーブル作成部４６は、表示領域情報ＦＤと仮想領域情報ＦＶとを元に、変換テーブルＣＴを作成する。変換テーブルＣＴは、仮想領域ＶＬ内に配置された複数の点と、表示領域ＤＬを含む平面（表示領域面）ＤＳ内の対応する点との対応関係を示す。以下では上記の複数の点を格子点と呼ぶ。複数の格子点は、例えば、仮想領域ＶＬを区切る複数の縦線と複数の横線との交差位置に配置される。

画像変形部４７は３次元描画部４５から出力される画像Ｇｃを、変換テーブルＣＴを用いて変形して、変形画像Ｇｄを生成する。
この変形は、画像Ｇｃの各画素のユーザ視点座標Ｖｐ（Ｘｖｐ，Ｙｖｐ，Ｚｖｐ）を変換テーブルＣＴに入力し、変換テーブルＣＴから、入力された座標に対応する表示領域座標Ｄｑ（Ｘｄｑ，Ｙｄｑ）を読み出すことで行われる。
画像Ｇｃの画素のうち、格子点に位置しない画素については、画像変形部４７は、当該画素の位置の周囲の格子点を用いて内挿を行うことで、対応する位置を算出する。

表示制御部４８は、上記のようにして生成された変形画像Ｇｄのうちの、表示領域ＤＬ内の部分を表示画像Ｇｅとして表示器６に供給し、表示させる。

上記した処理、即ち、外部状況解析部４２によるオブジェクトの種類の判定及びオブジェクトの位置の検出、サイズ決定部４４による仮想オブジェクトのサイズの決定、３次元描画部４５による描画、画像変形部４７による画像の変形、及び表示制御部４８による表示器６の駆動制御の処理は、繰り返し実行される。
繰り返し実行することで、オブジェクト位置の変化に表示画像の内容を追従させることができる。

上記の説明で、各機能ブロックで生成された情報がそのまま他の機能ブロックに供給されるものとしているが、一旦図示しないメモリに保存した上で、他の機能ブロックに供給するようにしても良い。以下で説明する他の実施の形態でも同様である。

以下、サイズ決定部４４における仮想オブジェクトＢＪのサイズＪＳの決定について詳しく説明する。

本実施の形態では、仮想オブジェクトＢＪのサイズＪＳは、指定領域情報ＦＡに基づいて決定される。

指定領域情報ＦＡは、指定領域ＡＬの幅を示す情報である。上記のように、仮想オブジェクトの画像は、仮想領域の縁に沿う幅ＦＷの指定領域ＡＬ内に形成される。
例えば、図４に示す例では、仮想領域の左右の縁ＨＥａ又はＨＥｂに沿う幅ＦＷの指定領域ＡＬ内に仮想オブジェクトの画像が形成される。図示の例では、仮想オブジェクトの画像が、仮想領域の左の縁ＨＥａに沿う幅ＦＷの指定領域ＡＬ内に形成される。これは、オブジェクトがユーザ視点Ｕｅから仮想領域ＶＬを見たときの視野角の範囲（ユーザ視点Ｕｅと仮想領域の縁とを結ぶ直線群により画定される範囲）の左側に位置している場合を想定しているためである。以下では、上記した「ユーザ視点Ｕｅから仮想領域ＶＬを見たときの視野角の範囲」を仮想領域範囲と言う。

指定領域の幅ＦＷは、仮想オブジェクトの画像が、基準視野角の範囲には入らないように定められる。
基準視野角は、仮想領域範囲のうち、ユーザが注視する角度範囲を意味する。基準視野角には、基準水平視野角と基準垂直視野角とがある。基準水平視野角は、水平方向の基準視野角である。基準垂直視野角は、垂直方向の基準視野角である。

例えば、仮想領域範囲の左右（水平方向の外部）に位置するオブジェクトの位置を示す場合には、基準視野角として基準水平視野角が用いられる。基準水平視野角は、左方向の基準水平視野角θａと右方向の基準水平視野角θｂとを含む。
左方向の基準水平視野角θａ及び右方向の基準水平視野角θｂの各々は１５〜６０度程度に定められる。左方向の基準水平視野角θａと右方向の基準水平視野角θｂとは互いに等しくても良く、異なっていても良い。

図８及び図９（ａ）に示すように、ユーザ視点座標系のＸｖＺｖ平面内にあって、Ｚｖ軸に対して角θａ、θｂを成す一対の直線Ｌθａ、Ｌθｂを引き、これらの直線Ｌθａ、ＬθｂをＹｖ軸方向に移動させたときの軌跡により境界面Ｓθａ、Ｓθｂを形成する。直線Ｌθａ、Ｌθｂ及び境界面Ｓθａ、Ｓθｂは無限に延びるものであるが、図９（ａ）には、直線Ｌθａ、Ｌθｂ、境界面Ｓθａ、Ｓθｂの一部のみが示されている。境界面Ｓθａ及びＳθｂは、基準水平視野角の範囲を画定する面であると言える。

境界面Ｓθａ、Ｓθｂと仮想領域ＶＬとの交線が図９（ａ）及び（ｂ）に符号Ｖθａ、Ｖθｂで示されている。仮想領域ＶＬの左右の縁ＨＥａ、ＨＥｂから交線Ｖθａ、Ｖθｂまでの寸法が指定領域の幅ＦＷである。

所望の幅ＦＷが予め決められる場合、仮想領域ＶＬは、基準水平視野角θａ、θｂの範囲外に幅ＦＷの指定領域ＡＬが確保できるように定められる。

次に、３次元描画部４５における仮想オブジェクトの画像の生成について詳しく説明する。
３次元描画部４５における仮想オブジェクトの画像の生成は、３次元グラフィックスを用いてレンダリングを行うことで実現することができる。

具体的には、外部状況解析部４２で取得したオブジェクトの位置Ｖｏに中心を有する半径ｒの３次元の球体モデルを作成する。この球体モデルが仮想オブジェクトＢＪとなる。

そして、仮想オブジェクトＢＪを、ユーザ視点Ｕｅを基準として仮想領域ＶＬに透視投影することで仮想オブジェクトの画像を形成する。これには、仮想領域ＶＬの４隅の座標を元にプロジェクション行列（射影行列とも言う）を作成し、３次元グラフィックスでレンダリングすればよい。

このような処理は、ＯｐｅｎＧＬ、ＤｉｒｅｃｔＸなどの３次元グラフィックス用ライブラリを使用することで実現することができる。

上記のように、球状の仮想オブジェクトＢＪは、その中心の位置がオブジェクトの位置Ｖｏに一致するように位置決めされ、かつその球面が境界面Ｓθａ、Ｓθｂに接するように、その半径ｒが定められる。その結果、仮想オブジェクトの画像Ｇｃは、図９（ｂ）に示すように、交線Ｖθａ、Ｖθｂの外側に、かつその最も突出した部分（仮想領域ＶＬの中央に近い部分）が交線Ｖθａ、Ｖθｂに接するように形成される。

３次元描画で仮想オブジェクトをレンダリングするに当たり、球体らしさを表現するための処理を加えても良い。そのような処理には、光沢感を出すためのライティング処理、半透明のガラス球の感じを持たせるためのブレンド処理等が含まれる。

次に、変換テーブル作成部４６における変換テーブルＣＴの作成について詳しく説明する。変換テーブルＣＴは、仮想領域ＶＬ内の複数の格子点の各々の位置と、当該格子点に対応する、表示領域面ＤＳ上の対応する点との位置関係を示すテーブルである。対応する点とは、仮想領域ＶＬ上の各格子点とユーザ視点Ｕｅとを通る直線と、表示領域面ＤＳとが交わる点である。

変換テーブルＣＴは、表示領域情報ＦＤと仮想領域情報ＦＶとを用いて作成される。
ここでは、表示領域情報ＦＤとして図６に示すように、表示領域ＤＬの左上隅、右上隅、左下隅、右下隅の位置を表す、ユーザ視点座標系での座標Ｖｄｌｔ、Ｖｄｒｔ、Ｖｄｌｂ、Ｖｄｒｂと、表示領域ＤＬの水平方向画素数Ｗｄを表す情報と垂直方向画素数Ｈｄを表す情報とが、情報記憶部４１に格納されている場合を想定している。

また、仮想領域情報ＦＶとして、仮想領域ＶＬのユーザ視点Ｕｅからの距離Ｖｆを表す情報と、仮想領域ＶＬの幅Ｖｗを表す情報と、仮想領域ＶＬの高さＶｈを表す情報とが、情報記憶部４１に記憶されている場合を想定している。

記憶されている情報で示される距離Ｖｆ、幅Ｖｗ及び高さＶｈを用いて、仮想領域ＶＬの左上隅Ｐｌｔ、右上隅Ｐｒｔ、左下隅Ｐｌｂ、右下隅Ｐｒｂのユーザ視点座標系での座標Ｖｖｌｔ、Ｖｖｒｔ、Ｖｖｌｂ、Ｖｖｒｂを算出することができる。

変換テーブルＣＴの作成に当たっては、まず、ユーザ視点座標系の座標（Ｘｖ，Ｙｖ，Ｚｖ）を表示領域座標系の座標（Ｘｄ，Ｖｄ，Ｚｄ）に変換するための変換行列Ｍｖｄを算出する。

ユーザ視点座標系の座標（Ｘｖ，Ｙｖ，Ｚｖ）から、表示領域座標系の座標（Ｘｄ，Ｖｄ，Ｚｄ）への変換は以下の数式で表される。

式（１）で、ｔは転置を表す。

Ｍｖｄは、下記の式（２）で与えられる。

式（２）で、
Ｓは、３×３の対角成分のみを持つ拡大行列、
Ｒは３ｘ３の回転行列、
Ｔは３次元の縦ベクトルである。

算出すべきＲ及びＴは合わせて１２要素から成るので、１２個の連立方程式があれば解ける。そこで、Ｘｖ、Ｙｖ、Ｚｖ及びＸｄ、Ｙｄ、Ｚｄに、
Ｖｄｌｔ（Ｘｖｄｌｔ，Ｙｖｄｌｔ，Ｚｖｄｌｔ）とＤｌｔ（Ｘｄｌｔ，Ｙｄｌｔ，Ｚｄｌｔ）、
Ｖｄｒｔ（Ｘｖｄｒｔ，Ｙｖｄｒｔ，Ｚｖｄｒｔ）とＤｒｔ（Ｘｄｒｔ，Ｙｄｒｔ，Ｚｄｒｔ）、
Ｖｄｌｂ（Ｘｖｄｌｂ，Ｙｖｄｌｂ，Ｚｖｄｌｂ）とＤｌｂ（Ｘｄｌｂ，Ｙｄｌｂ，Ｚｄｌｂ）、
Ｖｄｒｂ（Ｘｖｄｒｂ，Ｙｖｄｒｂ，Ｚｖｄｒｂ）とＤｒｂ（Ｘｄｒｂ，Ｙｄｒｂ，Ｚｄｒｂ）
の組み合わせを代入することで、１２個の連立方程式を生成する。

具体的には、
Ｘｖ及びＸｄに、Ｖｄｌｔの第１要素（Ｘｖｄｌｔ）とＤｌｔの第１要素（Ｘｄｌｔ）を代入することで第１の連立方程式、
Ｙｖ及びＹｄに、Ｖｄｌｔの第２要素（Ｙｖｄｌｔ）とＤｌｔの第２要素（Ｙｄｌｔ）を代入することで第２の連立方程式、
Ｚｖ及びＺｄに、Ｖｄｌｔの第３要素（Ｚｖｄｌｔ）とＤｌｔの第３要素（Ｚｄｌｔ）を代入することで第３の連立方程式、
Ｘｖ及びＸｄに、Ｖｄｒｔの第１要素（Ｘｖｄｒｔ）とＤｒｔの第１要素（Ｘｄｒｔ）を代入することで第４の連立方程式、
Ｙｖ及びＹｄに、Ｖｄｒｔの第２要素（Ｙｖｄｒｔ）とＤｒｔの第２要素（Ｙｄｒｔ）を代入することで第５の連立方程式、
Ｚｖ及びＺｄに、Ｖｄｒｔの第３要素（Ｚｖｄｒｔ）とＤｒｔの第３要素（Ｚｄｒｔ）を代入することで第６の連立方程式、
Ｘｖ及びＸｄに、Ｖｄｌｂの第１要素（Ｘｖｄｌｂ）とＤｌｂの第１要素（Ｘｄｌｂ）を代入することで第７の連立方程式、
Ｙｖ及びＹｄに、Ｖｄｌｂの第２要素（Ｙｖｄｌｂ）とＤｌｂの第２要素（Ｙｄｌｂ）を代入することで第８の連立方程式、
Ｚｖ及びＺｄに、Ｖｄｌｂの第３要素（Ｚｖｄｌｂ）とＤｌｂの第３要素（Ｚｄｌｂ）を代入することで第９の連立方程式
Ｘｖ及びＸｄに、Ｖｄｒｂの第１要素（Ｘｖｄｒｂ）とＤｒｂの第１要素（Ｘｄｒｂ）を代入することで第１０の連立方程式、
Ｙｖ及びＹｄに、Ｖｄｒｂの第２要素（Ｙｖｄｒｂ）とＤｒｂの第２要素（Ｙｄｒｂ）を代入することで第１１の連立方程式、
Ｚｖ及びＺｄに、Ｖｄｒｂの第３要素（Ｚｖｄｒｂ）とＤｒｂの第３要素（Ｚｄｒｂ）を代入することで第１２の連立方程式
を生成する。
そして、生成した連立方程式を解くことで、上記の変換行列Ｍｖｄを得ることができる。

次に、このようにして求めた変換行列Ｍｖｄを用いて、仮想領域ＶＬ内の複数の格子点の各々の位置を表すユーザ視点座標（Ｘｖ，Ｙｖ，Ｚｖ）から、表示領域面ＤＳ上の対応する点の表示領域座標（Ｘｄ，Ｙｄ）を算出する。
仮想領域ＶＬ上の点Ｐｐに対応する表示領域ＤＬ上の点Ｑｐは、視点Ｕｅと点Ｐｐとを結ぶ直線が、表示領域面ＤＳと交差する点である。

図１０には、仮想領域ＶＬ上の２つの格子点Ｐｐ００、Ｐｐ０１について、表示領域面ＤＳ上の対応する点Ｑｐ００、Ｑｐ０１が示されている。
図１１（ａ）には、仮想領域ＶＬ内に規則的に配置された複数の格子点（それぞれ黒く塗りつぶした丸で示す）が示され、図１１（ｂ）には、図１１（ａ）に示される複数の格子点について、表示領域面ＤＳ上の対応点（それぞれ黒く塗りつぶした丸で示す）が示されている。

この算出は、

で求められるＸｄ，Ｙｄであって、

となるようにｔが定められたときのＸｄ，Ｙｄを求めることで行われる。
式（３）で、ｔは媒介変数である。

Ｘｄ，Ｙｄがこのようにして求められるのは、仮想領域内のユーザ視点座標（Ｘｖ，Ｙｖ，Ｚｖ）で表される点Ｐと、ユーザ視点Ｕｅとを結ぶ直線上の点のユーザ視点座標は、
ｔ（Ｘｖ，Ｙｖ，Ｚｖ）^ｔ
で表されること、及びそのような点の表示領域座標は、
Ｍｖｄ×ｔ×（Ｘｖ，Ｙｖ，Ｚｖ）^ｔ＝ｔ×Ｍｖｄ×（Ｘｖ，Ｙｖ，Ｚｖ）^ｔ
で与えられること、及び表示領域面ＤＳ内に位置する点のＺｄ座標は０であることによる。

このようにして、仮想領域ＶＬ内の複数の格子点の各々の位置を表すユーザ視点座標（Ｘｖ，Ｙｖ，Ｚｖ）から、表示領域面ＤＳ上の対応する点の表示領域座標（Ｘｄ，Ｙｄ）が算出されたら、仮想領域ＶＬ内の複数の格子点の各々の位置を表すユーザ視点座標（Ｘｖ，Ｙｖ，Ｚｖ）と、表示領域面ＤＳ上の対応する点の表示領域座標（Ｘｄ，Ｙｄ）とを対応付けて記憶する。

この処理を複数の格子点のすべてについて繰り返すことで、図１２に示される変換テーブルが作成される。即ち、複数の格子点のすべてについての、仮想領域ＶＬ内の複数の格子点の各々の位置を表すユーザ視点座標（Ｘｖ，Ｙｖ，Ｚｖ）と、該ユーザ視点座標に対応付けられた、表示領域面ＤＳ上の対応する点の表示領域座標（Ｘｄ，Ｙｄ）との組み合わせにより、変換テーブルＣＴが作成される。

なお、全ての格子点についてＺｖ＝Ｖｆであるので、Ｚｖを含まず、（Ｘｖ，Ｙｖ）と（Ｘｄ，Ｙｄ）との関係を示す変換テーブルＣＴを作成しても良い。

作成された変換テーブルＣＴは、変換テーブル作成部４６内に保存される。保存された変換テーブルＣＴは、画像変形部４７により利用される。

表示される画像の質を高くするためには、格子点の数が多い方が好ましい。一方、格子点の数が多いほど変換テーブルＣＴの作成のための計算の量が多くなる。格子点の数を決めるに当たってはこれらを勘案する必要がある。

なお、図１１（ａ）及び（ｂ）には、仮想領域の全域について、表示領域面ＤＳ上の対応する点を求めて、変換テーブルＣＴを作成することが示されているが、指定領域ＡＬ内の格子点に限り、表示領域面ＤＳ内の対応する点を求めて、変換テーブルＣＴを作成しても良い。

次に、画像変形部４７が、仮想領域ＶＬの画像から、表示領域ＤＬの変形画像Ｇｄを生成する処理について詳しく説明する。
変形画像Ｇｄの生成には、変換テーブル作成部４６に保存されている変換テーブルＣＴが用いられる。

変形画像Ｇｄの生成は、仮想領域ＶＬの画像を表示領域面ＤＳ上に投影することで行われる。
仮想領域ＶＬの画像を表示領域面ＤＳ上に投影するには、仮想領域ＶＬの画像の画素を順に選択して、選択した画素（注目画素）について、表示領域面ＤＳ上の対応する点の座標を求める。

注目画素が、格子点に位置する画素であれば、変換テーブルＣＴを参照することで、対応する点の表示領域座標を読み出すことができる。

注目画素が、格子点に位置しない画素であれば、その周囲の格子点に位置する画素についての、対応する点の表示領域座標を読み出して内挿を行うことで、注目画素に対応する点の表示領域座標を求めることができる。

例えば、注目画素の近隣に位置する３つの格子点についての、対応点の表示領域座標と、注目画素と上記の３つの格子点との位置関係とに基づいて、内挿を行う。近隣に位置する３つの格子点としては、例えば、図１３（ａ）及び（ｂ）に示すように、注目画素Ｐｐｓｕｂを内部に含む最小の三角形を構成する３つの格子点が選択される。図１３（ａ）には、選択された３つの格子点Ｐｐａ、Ｐｐｂ、Ｐｐｃが示され、図１３（ｂ）には、これらの格子点Ｐｐａ、Ｐｐｂ、Ｐｐｃに対応する点Ｑｐａ、Ｑｐｂ、Ｑｐｃが示されている。

なお、図１３（ａ）及び（ｂ）には、仮想領域ＶＬのうち、仮想オブジェクトの画像Ｇｃ以外の部分における画素について内挿の仕方を示しているが、仮想オブジェクトの画像Ｇｃ以外の部分については、表示領域面ＤＳへの投影を省略しても良い。

上記の３つの格子点Ｐｐａ、Ｐｐｂ、Ｐｐｃは、変換テーブルＣＴ上の全格子点のＸｖ座標及びＹｖ座標と、注目画素ＰｐｓｕｂのＸｖ座標及びＹｖ座標とを比較することで決定できる。

この３つの格子点Ｐｐａ、Ｐｐｂ、Ｐｐｃのユーザ視点座標系での座標をＶｐａ、Ｖｐｂ、Ｖｐｃとした場合、これらの格子点Ｐｐａ、Ｐｐｂ、Ｐｐｃの座標と、格子点Ｐｐａに対する注目画素Ｐｐｓｕｂの相対位置との関係を示す以下の等式を満たす実数ｓ及びｔを算出する。ここで上付き矢印はベクトルを示す。

このようなｓ及びｔは一意に決定できる。このｓ及びｔを、下記の式（６）に代入することで、座標Ｖｐｓｕｂの変換後の座標Ｄｐｓｕｂ、即ち、仮想領域ＶＬ内の座標Ｖｐｓｕｂの注目画素に対応する表示領域面ＤＳ上の点の座標Ｄｐｓｕｂを算出できる。

このようにして求められた変換後の座標Ｄｐｓｕｂで表される位置に、元の位置の画素と同じ属性（色、透過率等）を与える。

表示制御部４８は、上記のようにして生成された変形画像Ｇｄのうちの、図１３（ｂ）に太枠ＬＦで示す表示領域（Ｘｄ軸方向の０〜Ｗｄの範囲で且つＹｄ軸方向の０〜Ｈｄの範囲）の画素データから成る画像Ｇｅを表示器６に表示させる。表示器６がウィンドシールドディスプレイである場合、虚像を生成させる。

上記した、オブジェクトの位置の取得及び種類の判定から表示制御までの処理を、繰り返し実行することで、オブジェクト位置の変化に追従して表示画像の内容を変更することができる。

以上のように処理を行うことで、表示器６の表示領域ＤＬに仮想オブジェクトの一部の画像が表示されると、ユーザはアモーダル補完により仮想オブジェクトのうちの表示されていない部分を想起し、仮想オブジェクトの中心（球の中心）の位置を直感的に知覚することができる。これにより、オブジェクトの位置を把握することができる。

上記の説明では、仮想オブジェクトＢＪとして球体が選択され、オブジェクトの位置Ｖｏに球体の中心が位置するように仮想オブジェクトＢＪが配置され、仮想オブジェクトＢＪのサイズとして、球体の半径ｒが決定される。
仮想オブジェクトＢＪとして、錐体が選択される場合には、錐体の頂点を基準点とし、オブジェクトの位置Ｖｏに、錐体の頂点が位置するように仮想オブジェクトを配置し、仮想オブジェクトのサイズとして、錐体の高さを決定すれば良い。この場合、例えば、錐体の底面が、基準水平視野角の範囲を画定する面、例えば図９（ａ）の境界面Ｓθａ、Ｓθｂに接するように錐体の高さを決定すれば良い。

上記の例では、基準水平視野角に基づいて幅ＦＷを決定し、仮想領域の左右の縁に沿う、幅ＦＷの指定領域ＡＬ内に、仮想領域範囲の水平方向における外部に位置するオブジェクトに対応する仮想オブジェクトの画像を形成することとしている。代わりに、基準垂直視野角に基づいて幅ＦＷを決定し、仮想領域の上下の縁に沿う、幅ＦＷの指定領域ＡＬ内に、仮想領域範囲の垂直方向における外部に位置するオブジェクトに対応する仮想オブジェクトの画像を形成することとしても良い。

さらに、仮想領域の左右の縁に沿う指定領域と仮想領域の上下の縁に沿う指定領域とをともに設けて、仮想領域範囲の水平方向における外部に位置するオブジェクト及び仮想領域範囲の垂直方向における外部に位置するオブジェクトの双方について、仮想オブジェクトの画像を形成することとしても良い。

仮想領域の左右の縁に沿う指定領域の幅と、仮想領域の上下の縁に沿う指定領域の幅とは同じであっても良く異なっていても良い。また、仮想領域の左の縁に沿う指定領域の幅と、仮想領域の右の縁に沿う指定領域の幅とは同じであっても良く異なっていても良い。同様に、仮想領域の上の縁に沿う指定領域の幅と、仮想領域の下の縁に沿う指定領域の幅とは同じであっても良く異なっていても良い。

上記の例では、サイズ決定部４４が、指定領域の幅ＦＷに基づいて仮想オブジェクトのサイズを決定しているが、代わりに、基準視野角に基づいて、仮想オブジェクトのサイズを決定しても良い。

上記の例では、指定領域の幅ＦＷを基準視野角に基づいて決定しているが、指定領域の幅ＦＷを基準視野角以外の指標に基づいて決定しても良い。

上記の例では、外部状況解析部４２で検出されたオブジェクトの種類Ｏｔに応じて仮想オブジェクトの選択をしている。代わりに、オブジェクトの種類以外のオブジェクトに関する情報に応じて仮想オブジェクトの選択をすることとしても良い。例えば、オブジェクトの大きさ又はオブジェクトの位置に応じて仮想オブジェクトの選択をしても良い。
また、例えば、ユーザの好みに応じて仮想オブジェクトの選択ができるようにしても良い。その場合、運転支援システムの起動時に仮想オブジェクトを選択し、同じ仮想オブジェクトを使い続けることとしても良い。

情報記憶部４１に記憶されている仮想オブジェクトが１つだけであっても良い。この場合、仮想オブジェクト選択部４３は不要であり、外部状況解析部４２は、仮想オブジェクトの選択のためのオブジェクトの種類等の判定を行なう必要がなく、サイズ決定部４４は、情報記憶部４１に記憶されている単一の仮想オブジェクトについて、サイズの決定を行い、３次元描画部４５は、情報記憶部４１に記憶されている単一の仮想オブジェクトの描画を行うことになる。

上記の例では、表示領域情報ＦＤが、表示領域ＤＬの４隅の位置を表す情報を含む。表示領域情報ＦＤは、表示領域ＤＬの４隅の位置を表す情報の代わりに、表示領域ＤＬの４隅の位置の算出に必要な情報を含んでいても良い。例えば、表示領域ＤＬの中心位置を示す情報、水平方向のサイズ（例えば画素数）を示す情報、垂直方向のサイズ（例えば画素数）を示す情報、及び視線に対する傾き角を示す情報を含んでいても良い。

上記の例では、仮想領域情報ＦＶが、ユーザ視点Ｕｅまでの距離Ｖｆを表す情報と、幅Ｖｗ及び高さＶｈを表す情報とを含む。代わりに、仮想領域情報ＦＶが仮想領域ＶＬの４隅の位置を表す情報を含んでいても良い。要するには、仮想領域情報ＦＶが、仮想領域ＶＬの４隅の位置を表す情報又は４隅の位置の算出に必要な情報を含んでいれば良い。

上記の例では仮想領域ＶＬの中心が視線上にあるが、視線と仮想領域ＶＬが垂直で、かつその横方向の辺及び縦方向の辺がユーザ視点Ｘｖ軸及びＹｖ軸と平行であれば、任意に配置可能ある。

仮想領域ＶＬの位置（ユーザ視点Ｕｅからの距離Ｖｆ）とサイズとは任意に設定可能としておくのが望ましい。即ち、情報記憶部４１に記憶されている、仮想領域情報ＦＶのうち、仮想領域ＶＬの位置を表す情報及びサイズを表す情報の少なくとも一方を書き換え可能とし、或いはこれらの各々として複数の情報を記憶しておき、選択可能としておくのが望ましい。

上記の例では、表示器６はウィンドシールドディスプレイで構成されている。代わりに、ウィンドシールド自体を直接発光させて表示器６として用いる構成であっても良い。また、表示器６は例えばＬＣＤであっても良い。ＬＣＤを用いる場合、ＬＣＤの表示面（実像が形成される）が、表示領域ＤＬを構成する。

表示器６は、仮想オブジェクトの画像のみならず、車両の周囲の風景の撮像画像をも表示するものであっても良い。その場合、情報表示制御装置４は、表示される撮像画像に対応する周囲の空間的範囲の外に位置するオブジェクトの位置を示すための仮想オブジェクトの画像を表示する。
この場合、仮想オブジェクトの画像と撮像画像とが重なる部分では、仮想オブジェクトの画像のみを表示しても良く、アルファブレンドによる合成画像を表示しても良い。

表示器６としては、他の用途、例えば、カーナビゲーションシステムで用いられる表示器を兼用しても良い。

表示器６は、車両の周囲の風景の撮像画像以外の画像を表示するものであっても良い。例えば、カーナビゲーションシステムで提供される道路地図、経路に関する文字情報等を表示しても良い。

これらの場合にも、仮想オブジェクトの画像と他の画像とが重なる部分では、仮想オブジェクトの画像のみを表示しても良く、アルファブレンドによる合成画像を表示しても良い。

上記の例では、情報表示制御装置が運転支援装置の一部を成すものであり、オブジェクトが他の車両等であるが、情報表示制御装置が、データの編集等を行う者である場合には、オブジェクトは、カーソルであっても良い。
この場合には、表示領域の外に位置するカーソルをオブジェクトとし、該オブジェクトの位置を示すための仮想オブジェクトの画像を表示することになる。

実施の形態２．
図１４は、本発明の実施の形態２の情報表示制御装置４ｂを備えた運転支援装置１ｂを示す。図示の運転支援装置１ｂは、情報表示制御装置４ｂのほか、外部状況検出部２と、内部状況検出部３と、表示器６とを有する。
外部状況検出部２及び表示器６は、実施の形態１で説明したのと同様のものである。

実施の形態１の情報表示制御装置４は、ユーザの視点の位置Ｕｅ及び視線の方向Ｕｄとして、標準的なものを用いている。これに対し、実施の形態２の情報表示制御装置４ｂは、ユーザの視点の位置Ｕｅ及び視線の方向Ｕｄを検出し、検出された位置及び方向を処理に用いる。

内部状況検出部３は、車両の内部のユーザ、例えば運転者の視点の位置Ｕｅ及び視線の方向Ｕｄを検出する。
内部状況検出部３は、例えば、図１５に示すように、撮像部３１と検知信号処理部３２とを有する。
撮像部３１は、車両の内部、特にユーザ、例えば運転者を撮像して画像信号を出力する。撮像部３１は１又は２以上のカメラを有する。

カメラとして、車両の内部が暗くても撮影が可能なように、赤外線センサを備えたもの、或いは照明用の発光素子を備えたものを用いても良い。

検知信号処理部３２は、撮像部３１からの画像信号に基づいて、検知情報Ｓｂを生成して、出力する。

情報表示制御装置４ｂは、実施の形態１の情報表示制御装置４と同様のものであるが、図１６に示すように、内部状況解析部５１及び表示領域情報生成部５２が付加されており、情報記憶部４１の代わりに情報記憶部４１ｂを備えている点で異なる。

内部状況解析部５１は、内部状況検出部３からの検知情報Ｓｂに基づいて、ユーザの顔の画像の解析を行い、視点の位置Ｕｅ、及び視線の方向Ｕｄを検出し、検出した視点の位置Ｕｅを示す情報、及び視線の方向Ｕｄを示す情報を出力する。

視点の位置Ｕｅの検出には、複数のカメラを用いた三角測量（ステレオ視）、単眼カメラによるＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）等の技術のいずれを用いても良い。

内部状況解析部５１は、検出した視点の位置Ｕｅを示す情報及び視線の方向Ｕｄを示す情報を情報記憶部４１ｂに書き込む。それまでに視点の位置Ｕｅを示す情報及び視線の方向Ｕｄを示す情報が記憶されている場合には、上書きを行う。
このように、情報記憶部４１に記憶されている視点の位置Ｕｅを示す情報及び視線の方向Ｕｄを示す情報は、内部状況検出部３による検出結果に応じて更新される。

表示領域情報生成部５２は、内部状況解析部５１で検出された視点の位置Ｕｅ及び視線の方向Ｕｄに基づいて、表示領域情報ＦＤのうち、ユーザ視点座標系での座標Ｖｄｌｔ、Ｖｄｒｔ、Ｖｄｌｂ、Ｖｄｒｂを算出する。そして算出した座標を含む表示領域情報ＦＤを情報記憶部４１ｂに書き込む。それまでに表示領域情報ＦＤが書き込まれていれば、上書きを行う。なお、ユーザ視点座標系での座標Ｖｄｌｔ、Ｖｄｒｔ、Ｖｄｌｂ、Ｖｄｒｂについてのみ書き換えを行なっても良い。

変換テーブル作成部４６は、情報記憶部４１ｂに記憶されている仮想領域情報ＦＶと表示領域情報ＦＤとに基づいて、変換テーブルＣＴを作成する。変換テーブル作成部４６は、作成した変換テーブルＣＴを変換テーブル作成部４６内に保存する。それまでに変換テーブルＣＴが保存されている場合には、上書きをする。

このような処理を行う結果、情報記憶部４１ｂに記憶されている表示領域情報ＦＤ及び変換テーブル作成部４６に保存されている変換テーブルＣＴは、内部状況検出部３による検出結果に応じて更新される。即ち、視点の位置Ｕｅを示す情報及び視線の方向Ｕｄを表す情報の少なくとも一方が変わる度に更新される。

画像変形部４７は、上書きされた変換テーブルＣＴを用いて画像の変形を行う。
視点の位置Ｕｅ及び視線の方向Ｕｄを検出することで、ユーザの視点の位置又は視線の方向が変わっても常に最適な画像表示を行うことができる。

視線の方向Ｕｄが、表示領域ＤＬに向かう方向から大きくずれた場合には、仮想領域ＶＬに形成された画像が、表示領域ＤＬには表示されなくなる。これは、仮想領域ＶＬに形成された画像が、表示領域面ＤＳのうちの、表示領域ＤＬ以外の部分に投影されるためである。しかしながら、このとき、ユーザの視線は、表示領域ＤＬから外れているので、表示領域ＤＬに仮想領域ＶＬの画像が表示されなくても、ユーザにとっては不都合はない。

視線が表示領域ＤＬから外れており、仮想領域ＶＬに形成された画像が表示領域ＤＬには全く表示されない場合には、情報表示制御装置４ｂの機能の一部、例えば、サイズ決定部４４による仮想オブジェクトのサイズの決定、３次元描画部４５による仮想オブジェクトの描画、画像変形部４７による表示画像の形成、及び表示制御部４８による表示器６の駆動を行わないようにしても良い。

実施の形態３．
図１７は、本発明の実施の形態３の情報表示制御装置４ｃを示す。
実施の形態３の情報表示制御装置４ｃは、仮想オブジェクトに、変化パターンを貼り付け、該変化パターンを動かすことで、パターンの方向及び動き（アニメーション）の方向から、オブジェクトの位置をより知覚しやすくしたものである。

図１７に示される情報表示制御装置４ｃは、図５の情報表示制御装置４と概して同じであるが、パターン選択部５３と、アニメーション方向決定部５４とが付加されており、情報記憶部４１及び３次元描画部４５の代わりに情報記憶部４１ｃ及び３次元描画部４５ｃを備える点で異なる。

情報記憶部４１ｃは、図５の情報記憶部４１と同様の情報に加えて、複数の変化パターンを記憶している。変化パターンの各々は、３次元グラフィックスで使用可能なものである。複数の変化パターンには、濃度変化パターン、色変化パターン、及び透過率変化パターンが含まれる。

これらの変化パターンは方向性を持つ変化パターンである。方向性を持つ変化パターンとは、例えば１つの方向にのみ濃度、色、透過率等が変化し、上記１つの方向に直交する方向には、同じ変化がないパターンである。上記の１つの方向を、以下では、変化方向と言う。
変化パターンの変化は例えば正弦波状の変化であっても良く、矩形波状の変化であっても良く、さらにガウス分布曲線に沿う変化であっても良い。

パターン選択部５３は、情報記憶部４１ｃに記憶されている複数の変化パターンから１つの変化パターンＰｔを選択する。
アニメーション方向決定部５４は、オブジェクトの位置Ｖｏに応じてアニメーション方向Ｐｄを決める。

３次元描画部４５ｃは、パターン選択部５３により選択された変化パターンＰｔを、仮想オブジェクト選択部４３により選択された仮想オブジェクトに貼り付ける。
３次元描画部４５ｃはまた、時間経過とともに、変化パターンＰｔを変化方向に動かすことでアニメーション効果を与える。
３次元描画部４５ｃはさらに、変化パターンＰｔの変化方向がアニメーション方向Ｐｄに一致するように仮想オブジェクトＢＪの向きを定め、かつ仮想オブジェクトＢＪをオブジェクトの位置Ｖｏに配置する。

３次元描画部４５ｃは、以上のように変化パターンＰｔが貼り付けられ、向き及び位置が定められた仮想オブジェクトＢＪを、ユーザ視点Ｕｅを基準として仮想領域ＶＬに透視投影することで、仮想オブジェクトの画像Ｇｃを仮想領域ＶＬ上に形成する。

以下、パターン選択部５３における変化パターンＰｔの選択、アニメーション方向決定部５４におけるアニメーション方向Ｐｄの決定、及び３次元描画部４５ｃにおける描画について、図１８〜図２１（ｂ）を参照して詳しく説明する。

パターン選択部５３における変化パターンの選択は、例えば検出されたオブジェクトに関する情報に基づいて行われる。ここで言うオブジェクトに関する情報は、オブジェクトの種類、オブジェクトの位置（例えば後述する基準位置Ｖｒからの距離）、オブジェクトの動きの速度、又はオブジェクトの動きの加速度であっても良い。これらの場合、検出結果と、検出結果に応じて選択すべき変化パターンとを予め対応付けて記憶しておき、検出結果に応じて対応する変化パターンを選択するようにしても良い。各検出結果に対応する変化パターンとしては、当該検出結果を連想させるものであるのが望ましい。

以下では、仮想オブジェクトＢＪとして球体が選択されており、変化パターンＰｔとして正弦波状に変化する透過率変化パターンが選択された場合について説明する。

アニメーション方向決定部５４におけるアニメーション方向Ｐｄの決定は、オブジェクト位置Ｖｏと基準位置Ｖｒとに基づいて行われる。

アニメーション方向Ｐｄはユーザ視点座標系での３次元ベクトルで表される。
このベクトルは、図１８に示されるように基準位置Ｖｒからオブジェクト位置Ｖｏに向かうものであり、ＶｏとＶｒとの差（Ｖｏ−Ｖｒ）で与えられる。

基準位置Ｖｒは、任意の点に設定し得る。オブジェクトの位置を直感的に知覚させる効果を大きくする上では、ユーザにとって正面方向に設けるのが好ましい。例えば、ユーザの視線上の点、例えば、視点の位置Ｕｅに設定しても良い。
図１８では、基準位置Ｖｒが、ユーザの視線上、即ちＺｖ軸上であって、視点の位置Ｕｅ以外の点に設定されるものとしている。

仮想オブジェクトＢＪとして球体が選択され、変化パターンＰｔとして正弦波状に変化する透過率変化パターンが選択されている場合、３次元描画部４５ｃは、球体の各部の透過率（α値）を、透過率変化パターンに従って変化させる。具体的には、球体の中心を原点とするモデル座標系を定義し、その中心を通る直線をＺｍ軸とし、Ｚｍ軸に沿って各部の透過率が変わるように設定する。球体として、ポリゴンモデルを用いる場合には、各頂点の透過率を、その位置に応じて変化させる。

図１９（ａ）及び（ｂ）は正弦波状変化の一例を示す。図１９（ａ）で、黒色のドット等でより濃くしてある箇所ほど、透過率が低いことを意味する。Ｚｍ軸方向の各位置の透過率は、図１９（ｂ）に示される正弦波の、同じ位置（Ｚｍ軸方向の位置）の値を有する。図１９（ａ）及び（ｂ）の例では、透過率の変化の周期が仮想オブジェクトを構成する球体の直径に等しいが、透過率の変化の周期は仮想オブジェクトを構成する球体の直径に等しくなくても良い。

３次元描画部４５ｃは、上記のＺｍ軸方向の透過率変化パターン（透過率の空間的分布）の位置を時間経過とともに変化させる。例えば、Ｚｍ軸の方向に移動させる。
この場合、例えば、ある時点では、図２０（ａ）及び（ｂ）に示すように、球体の左半部の中央付近（Ｚｍ＝−Ｚｍ１の位置）に透過率が最小の部分があるが、それからある時間が経過した時点では、図２０（ｃ）及び（ｄ）に示すように、球体の中心により近い位置（Ｚｍ＝−Ｚｍ２の位置）に透過率が最小の部分が移動している。

変化パターンの移動は断続的又は連続的に行われる。即ち、透過率が最小の部分も、透過率が最大の部分も左から右に移動する。正弦波は連続的であるので、上記の変化は繰り返される。

断続的に行う場合、例えば、一定の時間の経過毎に行うこととしても良く、３次元描画処理が一定回数行われる毎に、移動を行わせることとしても良い。

変化パターンの移動の速度は一定であっても良く、種々の要因に応じて変えることとしても良い。例えば、オブジェクトと基準位置との距離、オブジェクトの移動速度、移動加速度等に応じた値としても良い。

３次元描画部４５ｃは、以上のようにして時間経過とともに移動する変化パターンが貼り付けられた３次元モデルを、Ｚｍ軸がアニメーション方向Ｐｄと平行になるように回転させる。アニメーション方向Ｐｄは、３次元の方向ベクトルで表されるため、回転はロドリゲスの回転公式を用いることで実現することができる。

３次元描画部４５ｃは、上記のように回転した３次元モデルを平行移動して、その基準点（球体の中心）をオブジェクトの位置Ｖｏに一致させる。
なお、回転と平行移動とはどちらを先に行っても良い。

以上のような処理をする結果、仮想オブジェクトＢＪは、アニメーション方向Ｐｄに延びたＺｍ軸に沿って透過率が変化し、かつ透過率の空間的分布（変化パターン）が時間とともにＺｍ軸方向に移動するものとなる。図２１（ａ）は、ある時点における仮想オブジェクトを示す。

３次元描画部４５ｃは、以上のようにして、変化パターンが貼り付けられ、位置及び向きが定められた仮想オブジェクトＢＪを、ユーザ視点Ｕｅを基準として仮想領域ＶＬに透視投影することで、仮想領域ＶＬ上に仮想オブジェクトの画像Ｇｃを生成する。

図２１（ｂ）は、図２１（ａ）の仮想オブジェクトを投影することで形成される仮想オブジェクトの画像を示す。図２０（ａ）〜（ｄ）を参照して説明したように、仮想オブジェクトの変化パターンは、時間の経過とともに、Ｚｍ軸方向に移動する。仮想オブジェクトと同様に、画像Ｇｃ中の変化パターンも、時間の経過とともに、Ｚｍ軸方向に移動する。

以上のように処理を行うことで、表示器の表示領域に仮想オブジェクトの一部の画像が表示されると、ユーザはアモーダル補完により仮想オブジェクトのうちの表示されていない部分を想起し、仮想オブジェクトの中心（球の中心）の位置を直感的に知覚することができる。さらに、仮想オブジェクトに、オブジェクトの位置を示す方向性を持つ変化パターンを貼り付け、かつ変化パターンを移動させることで、ユーザにとってオブジェクトの位置Ｖｏの直感的知覚がより容易となる。

上記の例では、透過率がＺｍ軸に沿って正弦波状に変化するパターンを用いているが、他の波形、或いは他の曲線に従って変化するパターンであっても良い。例えば、矩形波状に変化するパターンであっても良く、ガウス分布曲線に従って変化するパターンであっても良い。

上記の例では、外部状況解析部４２で検出されたオブジェクトに関する情報に基づいて変化パターンの選択をしている。代わりに、オブジェクトに関する情報に関係なく、変化パターンの選択を行うこととしても良い。例えば、ユーザの好みに応じて変化パターンの選択ができるようにしても良い。その場合、運転支援システムの起動時に変化パターンを選択し、同じ変化パターンを使い続けることとしても良い。

情報記憶部４１に記憶されている変化パターンが１つだけであっても良い。この場合、パターン選択部５３は不要であり、外部状況解析部４２は、変化パターンの選択のためのオブジェクトに関する情報の取得を行なう必要がなく、３次元描画部４５ｃは情報記憶部４１に記憶されている単一の変化パターンを用いて仮想オブジェクトの描画を行うことになる。

上記の実施の形態１〜３では、検知信号処理部２４が外部状況検出部２の一部であるとして説明したが、情報表示制御装置４、４ｂ、又は４ｃの一部として構成しても良い。
また、上記の実施の形態２では、検知信号処理部３２が内部状況検出部３の一部であるとして説明したが、情報表示制御装置４ｂの一部として構成しても良い。

上記の情報表示制御装置４、４ｂ、及び４ｃは、１又は２以上の処理回路により構成される。
各処理回路は、専用のハードウェアで構成されていても良く、プロセッサとプログラムメモリとで構成されていても良い。

専用のハードウェアで構成されている場合、各処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせであっても良い。

プロセッサとプログラムメモリとで構成される場合、各処理回路は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現されていても良い。ソフトウェア又はファームウェアはプログラムとして記述され、プログラムメモリに格納される。プロセッサは、プログラムメモリに記憶されたプログラムを読み出して実行することにより、各処理回路の機能を実現する。

ここで、プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、演算装置、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）と呼ばれるものであっても良い。
プログラムメモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

情報表示制御装置４、４ｂ、及び４ｃの諸機能は、その一部を専用のハードウェアで実現し、他の一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、情報表示制御装置４、４ｂ、及び４ｃは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上記の各機能を実現することができる。

図２２は、情報表示制御装置４、４ｂ、及び４ｃの諸機能を実現する１つのプロセッサを含むコンピュータを示す。
図示のコンピュータは、プロセッサ１０１、外部記憶媒体１０２、メモリ１０３とネットワークインタフェース１０４及び表示器インタフェース１０５を備えている。
外部記憶媒体１０２は、プロセッサ１０１が実行するプログラムを記憶している。外部記憶媒体１０２に記憶されているプログラムは、プロセッサ１０１により読み出されてメモリ１０３に読み込まれ、プロセッサ１０１により実行される。

情報記憶部４１、４１ｂ、４１ｃの役割の一部は、外部記憶媒体１０２によって担われ、残りはメモリ１０３によって担われる。
さらに、変換テーブル作成部４６、４６ｂによる、変換テーブルＣＴを保存する機能は、メモリ１０３によって担われる。

以下、実施の形態１の情報表示制御装置４における処理を、図２２に示されるプロセッサ１０１で実現する場合の処理の手順を、図２３を参照して説明する。

この場合、ネットワークインタフェース１０４には、外部状況検出部２が接続され、表示器インタフェース１０５には、表示器６が接続される。

外部記憶媒体１０２には、表示領域情報ＦＤ、仮想領域情報ＦＶ、視点の位置Ｕｅを示す情報及び視線の方向Ｕｄを示す情報が予め記憶されているものとする。

ステップＳＴ１１で、プロセッサ１０１は、外部状況検出部２から、ネットワークインタフェース１０４を経由して検知情報Ｓａを取得する。プロセッサ１０１は、取得した検知情報Ｓａに基づいて、車両の周囲に位置するオブジェクトを検出し、検出したオブジェクトの種類Ｏｔの判定を行なう。プロセッサ１０１は、判定結果を、メモリ１０３に保存する。この処理は、図５の外部状況解析部４２で行われる処理に相当する。

ステップＳＴ１２で、プロセッサ１０１は、外部記憶媒体１０２に記憶されている複数の仮想オブジェクトから１つの仮想オブジェクトＢＪを選択し、選択した仮想オブジェクトＢＪを示す情報をメモリ１０３に保存する。この処理は、図５の仮想オブジェクト選択部４３で行われる処理に相当する。

ステップＳＴ１３で、プロセッサ１０１は、外部記憶媒体１０２に記憶されている表示領域情報ＦＤと仮想領域情報ＦＶとから変換テーブルＣＴを作成し、作成した変換テーブルＣＴをメモリ１０３に保存する。この処理は、図５の変換テーブル作成部４６で行われる処理に相当する。

ステップＳＴ１４で、プロセッサ１０１は、ステップＳＴ１１で検出したオブジェクトの位置Ｖｏを示す情報を取得して、メモリ１０３に保存する。この処理は、図５の外部状況解析部４２で行われる処理に相当する。

ステップＳＴ１５で、プロセッサ１０１は、外部記憶媒体１０２に記憶されている指定領域情報ＦＡと、メモリ１０３に保存されている、仮想オブジェクトＢＪを示す情報及びオブジェクトの位置Ｖｏを示す情報とを元に、仮想オブジェクトのサイズＪＳを決定し、決定したサイズＪＳをメモリ１０３に保存する。この処理は、図５のサイズ決定部４４で行われる処理に相当する。

ステップＳＴ１６で、プロセッサ１０１は、外部記憶媒体１０２に記憶されている仮想領域情報ＦＶと、メモリ１０３に保存されている、仮想オブジェクトＢＪを示す情報、仮想オブジェクトのサイズＪＳを示す情報、及びオブジェクトの位置Ｖｏを示す情報とを元に、仮想オブジェクトの画像Ｇｃを生成し、生成した画像Ｇｃをメモリ１０３に保存する。この処理は、図５の３次元描画部４５で行われる処理に相当する。

ステップＳＴ１７で、プロセッサ１０１は、メモリ１０３上の画像Ｇｃを、変換テーブルＣＴを用いて変形し、変形画像Ｇｄをメモリ１０３に保存する。この処理は、図５の画像変形部４７で行われる処理に相当する。

ステップＳＴ１８で、プロセッサ１０１は、メモリ１０３上の変形画像Ｇｄを取得し、変形画像Ｇｄのうち、表示領域ＤＬ内の部分を表示画像Ｇｅとして表示器インタフェース１０５を介して表示器６に送信し、表示させる。この処理は、図５の表示制御部４８で行われる処理に相当する。
ステップＳＴ１４〜ＳＴ１８の処理は繰り返し実行される。

次に、実施の形態２の情報表示制御装置４ｂにおける処理を、図２２に示されるプロセッサ１０１で実現する場合の処理の手順を、図２４を参照して説明する。
この場合、ネットワークインタフェース１０４には、外部状況検出部２のみならず、内部状況検出部３が接続される。

図２４において、図２３と同じ符号は同様の処理を示す。
図２４は、図２３と概して同じであるが、ステップＳＴ２０、ＳＴ２１及びＳＴ２２が付加されており、ステップＳＴ１３、ＳＴ１５、ＳＴ１６がステップＳＴ１３ｂ、ＳＴ１５ｂ、ＳＴ１６ｂに置き換えられている。

ステップＳＴ２０で、プロセッサ１０１は、外部記憶媒体１０２に記憶されている、表示領域情報ＦＤ、仮想領域情報ＦＶ、視点の位置Ｕｅを示す情報及び視線の方向Ｕｄをメモリ１０３に複写する。

ステップＳＴ２１で、プロセッサ１０１は、内部状況検出部３から、ネットワークインタフェース１０４を経由して検知情報Ｓｂを取得して、取得した検知情報Ｓｂに基づいて、ユーザの視点の位置Ｕｅ及び視線の方向Ｕｄを検出し、検出で得た情報をメモリ１０３に保存する。それまでに視点の位置Ｕｅを示す情報及び視線の方向Ｕｄを示す情報が保存されている場合には、上書きを行う。この処理は、図１６の内部状況解析部５１で行われる処理に相当する。

ステップＳＴ２２で、プロセッサ１０１は、メモリ１０３に保存されているユーザの視点の位置Ｕｅ及び視線の方向Ｕｄに基づいて、表示領域情報ＦＤのうち、ユーザ視点座標系での座標Ｖｄｌｔ、Ｖｄｒｔ、Ｖｄｌｂ、Ｖｄｒｂを算出する。そして算出した座標を含む表示領域情報ＦＤをメモリ１０３に書き込む。それまでに表示領域情報ＦＤが書き込まれていれば、上書きを行う。この処理は、図１６の表示領域情報生成部５２で行われる処理に相当する。

ステップＳＴ１３ｂで、プロセッサ１０１は、メモリ１０３に保存されている表示領域情報ＦＤ及び仮想領域情報ＦＶを用いて変換テーブルＣＴを作成する。プロセッサ１０１は、作成した変換テーブルＣＴをメモリ１０３に書き込む。それまでに変換テーブルＣＴが書き込まれていれば、上書きを行う。この処理は、図１６の変換テーブル作成部４６で行われる処理に相当する。

ステップＳＴ１５ｂで、プロセッサ１０１は、メモリ１０３に保存されている、指定領域情報ＦＡ、仮想オブジェクトＢＪを示す情報及びオブジェクトの位置Ｖｏを示す情報を元に、仮想オブジェクトのサイズＪＳを決定し、決定したサイズＪＳをメモリ１０３に保存する。この処理は、図１６のサイズ決定部４４で行われる処理に相当する。

ステップＳＴ１６ｂで、プロセッサ１０１は、メモリ１０３に保存されている、仮想領域情報ＦＶ、仮想オブジェクトＢＪを示す情報、仮想オブジェクトのサイズＪＳを示す情報、及びオブジェクトの位置Ｖｏを示す情報を元に、仮想オブジェクトの画像Ｇｃを生成し、生成した画像Ｇｃをメモリ１０３に保存する。この処理は、図１６の３次元描画部４５で行われる処理に相当する。

次に、実施の形態３の情報表示制御装置４ｃにおける処理を、図２２に示されるプロセッサ１０１で実現する場合の処理の手順を、図２５を参照して説明する。

図２５において、図２３と同じ符号は同様の処理を示す。
図２５は、図２３と概して同じであるが、ステップＳＴ２３及びＳＴ２４が付加されており、ステップＳＴ１６がステップＳＴ１６ｃに置き換えられている。

ステップＳＴ２３で、プロセッサ１０１は、外部記憶媒体１０２に保存されている複数の変化パターンから１つの変化パターンＰｔを選択し、選択した変化パターンＰｔをメモリ１０３に保存する。この処理は図１７のパターン選択部５３で行われる処理に相当する。

ステップＳＴ２４で、プロセッサ１０１は、メモリ１０３上のオブジェクトの位置Ｖｏを元にアニメーション方向Ｐｄを決定し、決定したアニメーション方向Ｐｄをメモリ１０３に保存する。この処理は、図１７のアニメーション方向決定部５４で行われる処理に相当する。

ステップＳＴ１６ｃで、プロセッサ１０１は、メモリ１０３上の変化パターンＰｔを、メモリ１０３上の仮想オブジェクトに貼り付け、時間経過に伴って、変化パターンＰｔをアニメーション方向Ｐｄに移動させ、変化パターンＰｔの変化方向がアニメーション方向Ｐｄに一致するように仮想オブジェクトＢＪの向きを定め、かつ仮想オブジェクトＢＪをオブジェクトの位置Ｖｏに配置する。プロセッサ１０１はさらに、以上のように変化パターンＰｔが貼り付けられ、向き及び位置が定められた仮想オブジェクトＢＪを、ユーザ視点Ｕｅを基準として仮想領域ＶＬに透視投影することで、仮想オブジェクトの画像Ｇｃを仮想領域ＶＬ上に形成する。この処理は、図１７の３次元描画部４５ｃで行われる処理に相当する。

以上、本発明に係る情報表示制御装置について説明したが、情報表示制御装置で実施される情報表示制御方法も本発明の一部を成す。また、これらの装置又は方法における処理をコンピュータに実行させるためのプログラム、及びそのようなプログラムを記録したコンピュータで読取可能な記録媒体も本発明の一部を成す。

１，１ｂ 運転支援装置、 ２ 外部状況検出部、 ３ 内部状況検出部、 ４，４ｂ 情報表示制御装置、 ６ 表示器、 ２１ 撮像部、 ２２ 検知部、 ２３ 通信器、 ２４ 検知信号処理部、 ３１ 撮像部、 ３２ 検知信号処理部、 ４１，４１ｂ，４１ｃ 情報記憶部、 ４２ 外部状況解析部、 ４３ 仮想オブジェクト選択部、 ４４ サイズ決定部、 ４５，４５ｃ ３次元描画部、 ４６ 変換テーブル作成部、 ４７ 画像変形部、 ４８ 表示制御部、 ５１ 内部状況解析部、 ５２ 表示領域情報生成部、 ５３ パターン選択部、 ５４ アニメーション方向決定部。

Claims (15)

1. オブジェクトの位置を示すための仮想オブジェクトの画像を表示領域に表示させる情報表示制御装置であって、
   前記オブジェクトの位置に基づき前記仮想オブジェクトのサイズを決定するサイズ決定部と、
   サイズが決定された前記仮想オブジェクトを前記オブジェクトの位置に配置し、当該仮想オブジェクトを、ユーザの視点を基準として仮想領域に透視投影することで前記仮想オブジェクトの画像を生成する３次元描画部と、
   前記仮想領域内の複数の格子点と、前記表示領域を含む平面内の、前記複数の格子点に対応する点との関係を示す変換テーブルを作成する変換テーブル作成部と、
   前記変換テーブルを用いて、前記仮想オブジェクトの画像を変形して、前記仮想オブジェクトの表示画像を生成する画像変形部と、
   前記表示画像を前記表示領域に表示させる表示制御部と
   を有し、
   前記仮想オブジェクトは、アモーダル補完によって一部から全体を想起可能な３次元図形であることを特徴とする情報表示制御装置。
2. 前記仮想オブジェクトは、球体及び錐体のいずれかであることを特徴とする請求項１に記載の情報表示制御装置。
3. 前記サイズ決定部は、前記仮想領域のうち前記仮想オブジェクトの画像の形成のために設定された指定領域のサイズにも基づいて、前記仮想オブジェクトのサイズを決定する
   ことを特徴とする請求項１又は２に記載の情報表示制御装置。
4. 前記サイズ決定部は、基準視野角にも基づいて、前記仮想オブジェクトのサイズを決定することを特徴とする請求項１又は２に記載の情報表示制御装置。
5. 前記基準視野角は、水平基準視野角又は垂直基準視野角である
   ことを特徴とする請求項４に記載の情報表示制御装置。
6. 複数の仮想オブジェクトを記憶する情報記憶部と、
   前記情報記憶部に記憶されている前記複数の仮想オブジェクトから１つの仮想オブジェクトを選択する仮想オブジェクト選択部とをさらに有し、
   前記サイズ決定部は、前記仮想オブジェクト選択部により選択された仮想オブジェクトのサイズを決定し、
   前記３次元描画部は、前記仮想オブジェクト選択部により選択された仮想オブジェクトの画像を生成する
   ことを特徴とする請求項１から５のいずれか１項に記載の情報表示制御装置。
7. 前記仮想オブジェクト選択部は、前記オブジェクトに関する情報を元に仮想オブジェクトを選択する
   ことを特徴とする請求項６に記載の情報表示制御装置。
8. 前記オブジェクトに関する情報は、前記オブジェクトの種類、前記オブジェクトの大きさ、又は前記オブジェクトの位置であることを特徴とする請求項７に記載の情報表示制御装置。
9. 前記複数の格子点の各々に対応する点は、当該格子点と前記ユーザの視点とを通る直線と、前記表示領域を含む平面との交点である
   ことを特徴とする請求項１から８のいずれか１項に記載の情報表示制御装置。
10. 前記オブジェクトの位置からアニメーション方向を決定するアニメーション方向決定部をさらに備え、
    前記３次元描画部は、
    変化方向を有する変化パターンを前記仮想オブジェクトに貼り付け、時間経過とともに、前記変化パターンを前記変化方向に動かし、前記変化パターンの前記変化方向が前記アニメーション方向に一致するように前記仮想オブジェクトの向きを決め、このように向きが決められた前記仮想オブジェクトを前記仮想領域に投影することで、前記仮想オブジェクトの画像を生成する
    ことを特徴とする請求項１から９のいずれか１項に記載の情報表示制御装置。
11. 前記変化パターンは、濃度変化パターン、色変化パターン又は透過率変化パターンである
    ことを特徴とする請求項１０に記載の情報表示制御装置。
12. 前記アニメーション方向は、前記オブジェクトの位置と任意の基準位置とを結ぶベクトルで表される方向である
    ことを特徴とする請求項１０又は１１に記載の情報表示制御装置。
13. オブジェクトの位置を示すための仮想オブジェクトの画像を表示領域に表示させる情報表示制御方法であって、
    前記オブジェクトの位置に基づき前記仮想オブジェクトのサイズを決定し、
    サイズが決定された前記仮想オブジェクトを前記オブジェクトの位置に配置し、当該仮想オブジェクトを、ユーザの視点を基準として仮想領域に透視投影することで前記仮想オブジェクトの画像を生成し、
    前記仮想領域内の複数の格子点と、前記表示領域を含む平面内の、前記複数の格子点に対応する点との関係を示す変換テーブルを用いて、前記仮想オブジェクトの画像を変形して、前記仮想オブジェクトの表示画像を生成し、
    前記表示画像を前記表示領域に表示させ、
    前記仮想オブジェクトは、アモーダル補完によって一部から全体を想起可能な３次元図形である
    ことを特徴とする情報表示制御方法。
14. 請求項１３に記載の情報表示制御方法における処理をコンピュータに実行させるプログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータで読取り可能な記録媒体。

Images