JP5590684B2 - 情報表示装置及び情報表示方法 - Google Patents

Description

本発明は、運転者の運転を支援するための情報を表示する情報表示装置及び情報表示方法に関する。

近年、車両に搭載される機器又は機能が増大する中で、運転者は、当該車両を運転する際、当該車両の内外から得られる様々な情報を処理する必要がある。

運転者が処理する様々な情報は、例えば、車両の速度情報、エンジンの回転数、センターコンソールに表示されるラジオの局番、音楽のトラックナンバーの情報、カーナビゲーションシステム（Ｃａｒ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）の画面に表示される地図若しくは経路案内の情報、又は当該車両周囲の危険性の警告等の安全運転を支援するための情報がある。

従来、運転者は、主にインストルメントパネル又はセンターコンソールパネルに表示される情報を、視覚を通じて取得することが多かった。しかし、運転者の視線方向と、当該情報が表示される方向とが大きく異なる場合、又は運転者と当該情報が表示される位置との距離が離れている場合には、運転者は、当該情報の内容を確認するために、視線を移動したり又は焦点を調節したりしていた。

このような運転者の視線の移動量又は焦点の調節量を極力減らすために、ヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）が開発されている。ＨＵＤは、車両のダッシュボードの上部からフロントガラスにかけての特定の範囲に所定の情報を表示するディスプレイである。

ＨＵＤには、液晶ディスプレイやＯＥＬＤ（Ｏｒｇａｎｉｃ ＥｌｅｃｔｒｏＬｕｍｉｎｅｃｓｅｎｔ Ｄｉｓｐｌａｙ：有機ＥＬディスプレイ）等の表示デバイスを直接視認するタイプや、液晶ディスプレイ又はＯＥＬＤ又はレーザー光源を含んだ表示デバイスから出力された光をフロントガラスに投影させるタイプ等がある。

ＨＵＤを用いることにより、前方を見ながら運転している状態からディスプレイを見るための視線移動時間が、従来のインストルメントパネルやセンターコンソールを見る場合と比較して短縮できる。

更に、フロントガラスに投影されるタイプでは、表示情報が車両の前景に重畳されるという特徴があり、運転者と表示デバイスとの間の光学的距離をより長くすることができる。これにより、運転者は、焦点調節のためにほとんど時間をかけずに表示情報を視認することができる。

このようなＨＵＤにより、運転者の視野の中心に近い位置に情報を表示することが可能となり、運転者の表示情報への気付き易さが大きく向上することが期待される。また、視覚機能の低下した高齢者に対しては特に有効であると考えられる。

その一方で、運転者の視野の中心に近い位置へ情報を表示することにより、運転者が煩わしさを感じる可能性がある。このため、気付き易く、かつ運転者が煩わしさを感じにくい情報の表示方法が望まれている。そこで、運転者（作業者）の視野の周辺に情報の表示を行い、何らかのタイミングで当該表示情報に対する誘目効果を付加することにより表示情報への気付き易さを向上させるための先行技術が開示されている（例えば、非特許文献１参照）。

例えば、非特許文献１では、前述した誘目効果として、縦振動又は横振動という運動効果を表示情報に付加することにより、作業者が気付き易く、かつ作業者が煩わしさを感じにくいという結果が開示されている。また、車両の運転中に、前述した振動を用いた誘目効果を応用した例として、横振動によって運転者の気付き易さを向上させる方法が特許文献１に開示されている。

特許文献１では、車両の走行に連動した移動速度を持つ光の流れを運転者の視野内に発生させ、この流れの中に他車両の存在を示す非表示領域を設ける車両用表示装置及び方法が開示されている。また、この特許文献１では、運転者がこの非表示領域の存在に慣れることを防止するために、非表示領域の存在が一定期間継続された場合には、非表示領域を横振動させている。

ＨＵＤを用いて所定の画像を振動させた状態でフロントガラス上に表示する場合、時間的に変化する車両の前景と当該画像とが重畳表示されるため、特許文献１で開示された表示方法を応用し、気付き易く、かつ煩わしさを感じにくくすることが可能である。

より具体的に説明すると、例えば、車両の進路上の歩行者等（注意対象）の存在を知らせる画像に水平方向の振動の誘目効果を付加してＨＵＤに表示することにより、注意対象の存在を短時間で確実に運転者に伝えることができる。

特開２００６−２６４５０７号公報

木室俊一他著「マルチディスプレイ環境における頭部姿勢を用いた適応的誘目法」電子情報通信学会・信学技報、ＨＩＰ２００６−１３５、Ｐ．４３−４８

しかしながら、本発明の発明者の考察によれば、注意対象の存在を知らせる画像を水平方向へ画一的に振動させた場合に、どのような走行状況においても気付き易く且つ運転者が煩わしさを感じにくいわけでは無い。

具体的には、交差点等で車両が右左折又は転回を行っている最中では、車両の前景のオプティカルフローは水平方向が主体となり、当該オプティカルフローと表示画像の振動方向とが略平行になるため、運転者にとって充分な誘目効果が得られないという課題があった。

本発明は、前記従来の課題に鑑みてなされたもので、その目的は、車両の走行状態に影響を受けず、運転者が表示情報に気付き易く、かつ煩わしさを感じにくい情報表示装置及び情報表示方法を提供することを目的とする。

本発明の一態様の情報表示装置は、車両周辺に存在する対象物を検出する第１のセンサを備える車両において用いられる情報表示装置であって、前記車両の前景のオプティカルフローのベクトル情報を算出するオプティカルフロー算出部と、前記オプティカルフローのベクトル情報において、ベクトルの水平成分の大きさがベクトルの鉛直成分の大きさより大きい場合には、前記第１のセンサによって検出された前記対象物に関するシンボル画像を表示する際に運転者に気付かせるための運動のパターンを示す第１の運動効果を決定し、前記ベクトルの水平成分の大きさが前記ベクトルの鉛直成分の大きさ以下である場合には、前記対象物に関するシンボル画像を表示する際に前記運転者に気付かせるための運動のパターンであって、前記第１の運動効果に対して垂直な方向の運動のパターンを示す第２の運動効果を決定する運動効果決定部と、前記対象物に関するシンボル画像を、決定された前記第１又は第２の運動効果に基づいて運動させて表示する表示部と、を具備する。

本発明の情報表示装置及び情報表示方法によれば、車両の走行状態に影響を受けず、運転者が気付き易く、かつ煩わしさを感じにくい情報表示を実現することができる。

第１の実施形態に係る情報表示装置を含む情報表示システムが搭載された車両が走行している様子を示す図 第１の実施形態に係る情報表示装置を含む情報表示システムが搭載された車両内部の運転席付近の様子を示す図 第１の実施形態に係る情報表示装置を含む情報表示システムの構成を示すシステム構成図 シンボル画像管理テーブルの一例を示す図 運動効果決定テーブルの一例を示す図 第１の実施形態に係る情報表示装置の動作を説明するフローチャート 第１の実施形態の自車両のセンサにより歩行者が検出される前における自車両と歩行者との位置関係を示す図 第１の実施形態の自車両のセンサにより歩行者が検出された後における自車両と歩行者との位置関係を示す図 オプティカルフローの算出の様子を示した図 カメラにより撮影されたカメラ画像におけるオプティカルフローのベクトル成分がＺ＝−ｆの平面に投影された様子を示す図、（ａ）Ｚ＝−ｆの平面を示す図、（ｂ）当該ベクトルのｘ、ｙ成分への分解を示す図 車両の直進時のオプティカルフローに関する図、（ａ）車両内に設置されたカメラにより撮影されたカメラ画像とオプティカルフローの例とを示す図、（ｂ）オプティカルフローのベクトルのｘ、ｙ成分への分解を示す図 車両の右折時のオプティカルフローに関する図、（ａ）車両内に設置されたカメラにより撮影された画像とオプティカルフローの例とを示す図、（ｂ）オプティカルフローのベクトルのｘ、ｙ成分への分解を示す図 運動効果の具体例を示す図、（ａ）正弦波を示す図、（ｂ）矩形波を示す図、（ｃ）三角波を示す図、（ｄ）鋸状の波形を示す図、（ｅ）鋸状の波形を示す図 第２の実施形態に係る情報表示装置を含む情報表示システムの構成を示すシステム構成図 速度センサ及びヨーレートセンサによりそれぞれ出力された速度情報及び角速度情報に基づいて算出されるオプティカルフローのベクトルの算出過程を説明する図、（ａ）は仮想カメラのレンズ中心を基準とした座標系における前景の相対的な移動の様子を示す図、（ｂ）は仮想カメラを基準とした前景の相対的な移動を平行移動と回転運動との各成分に分解した様子を示す図、（ｃ）は投影面上のオプティカルフローのベクトルを示す図 仮想カメラを用いた場合にオプティカルフローのベクトルの水平成分、鉛直成分のなす角度を求めるためのテーブルの一例を示す図、（ａ）は車速、角速度に対するオプティカルフローのベクトルの水平成分、鉛直成分のなす角度が関連付けられたテーブル、（ｂ）は重畳領域の位置座標、車速、角速度に対するオプティカルフローのベクトルの水平成分、鉛直成分のなす角度が関連付けられたテーブル 重畳領域の位置座標を設定するためのテーブルの一例を示す図 経路案内の画像の一例を示す図 表示部に表示される表示画像の一例を示す図、（ａ）はシンボル画像のみの画像、（ｂ）はシンボル画像と背景画像とで構成された画像 表示倍率条件情報の一例を示す図 シンボル画像の縦又は横への拡大又は縮小の運動のパターンの一例を示す図、（ａ）正弦波の拡大又は縮小の運動のパターンの一例を示す図、（ｂ）正弦波の値の正の部分の繰り返しの拡大又は縮小の運動のパターンの一例、（ｃ）矩形波の拡大又は縮小の運動のパターンの一例を示す図、（ｄ）三角波の拡大又は縮小の運動のパターンの一例を示す図、（ｅ）鋸状の波形の拡大又は縮小の運動のパターンの一例、（ｆ）鋸状の波形の拡大又は縮小の運動のパターンの一例 シンボル画像が回転しているように見える画像の縦又は横の運動のパターンの一例を示す図、（ａ）正弦波の方向に回転するように運動させたパターンの一例を示す図、（ｂ）矩形波の方向に回転するように運動させたパターンの一例を示す図、（ｃ）三角波の方向に回転するように運動させたパターンの一例を示す図、（ｄ）鋸状の波形の方向に回転するように運動させたパターンの一例を示す図、（ｅ）鋸状の波形の方向に回転するように運動させたパターンの一例を示す図 シンボル画像が回転しているように見える画像の変化の一例を示す図、（ａ）〜（ｍ）変化する一連のフレーム画像をそれぞれ示した図 前景画像のうちの重畳領域近傍のオプティカルフローのベクトルを算出する情報表示装置を含む情報表示システムの構成を示すシステム構成図 運転者の眼球位置と重畳領域の位置関係とを説明するための図、（ａ）ＨＵＤに表示されているシンボル画像を運転者の視点から見た図、（ｂ）車両の横方向の断面図 第３の実施形態に係る情報表示装置である車載情報表示装置を含む車載情報表示システムの構成を示すシステム構成図 第３の実施形態に係る情報表示装置である車載情報表示装置の内部構成を示すブロック図 対象車載情報の一例を示す図 運動効果条件情報の一例を示す図 第３の実施形態に係る情報表示装置である車載情報表示装置の動作を説明するフローチャート 運動効果の具体例を示す図、（ａ）は正弦波を示す図、（ｂ）は矩形波を示す図、（ｃ）は三角波を示す図、（ｄ）は鋸状の波形を示す図 第４の実施形態に係る情報表示装置である車載情報表示装置を含む情報表示システムの構成を示すシステム構成図 第４の実施形態に係る情報表示装置である車載情報表示装置の内部構成を示すブロック図 眼球位置と重畳領域の位置関係とを説明するための図、（ａ）上から見た位置関係を示す図、（ｂ）横から見た位置関係を示す図

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は、第１の実施形態に係る情報表示装置を含む情報表示システムが搭載された車両が走行している様子を示す図である。図２は、第１の実施形態に係る情報表示装置を含む情報表示システムが搭載された車両内部の運転席付近の様子を示す図である。以下、情報表示装置を含む情報表示システムは自動車等の車両に搭載されるものとして説明し、当該車両を「自車両５」、当該自車両５の運転者を「運転者」と記載する。

自車両５には、１つ又は複数のセンサ６ａ〜６ｄを含むセンサ部が搭載されている。但し、センサの搭載数は図１に示すように４つに限定されない。センサ６ａ〜６ｄは、自車両５の周辺の所定の検出範囲７に存在する人物又は物体を検出する。そして、センサ６ａ〜６ｄから出力される検出情報に基づいて、自車両５内に設置されたＨＵＤの表示領域２１上に表示情報が表示される。

例えば、図１において、センサ６ａ〜６ｄによって歩行者１の存在が検出されると、「歩行者」が検出されたことを示す検出情報に基づいて、歩行者１を示すシンボル画像が選択される。そして、更にそのシンボル画像に運動効果を付加した表示画像が生成され、表示領域２１に表示される。

また、図１に示すように、自車両５には、カメラ８（第１のカメラ）が搭載されている。カメラ８は、自車両５の外部環境を撮影する。本実施の形態においては、カメラ８は、自車両５の前景を撮影する場合を説明するが、その限りではない。カメラ８は、例えば、図２に示すルームミラー２３の裏側に設置される。

カメラ８は、図１に示すように、自車両５の前景のうち、カメラ８の画角に基づいて定まる所定の撮影範囲９を、所定のフレームレートで撮影して、前景画像を取得する。前景画像は、オプティカルフローを算出するために用いられる。

図３は、第１の実施形態に係る情報表示装置３０ａを含む情報表示システム１０ａの構成を示すシステム構成図である。第１の実施形態の情報表示システム１０ａは、センサ６ａ〜６ｄ、カメラ８、表示部９０及び情報表示装置３０ａを備える。情報表示装置３０ａは、センサ６ａ〜６ｄ及びカメラ８と接続されている。情報表示装置３０ａは、記憶部３１、注意対象検出部３２、シンボル画像選択部３３、オプティカルフロー算出部３４ａ、運動効果決定部３５、表示画像生成部３６及び表示制御部３７を備える。

図７は自車両５が右折する直前、図８は自車両５が右折している最中の様子を示す。図７において、自車両５から見ると、センサ６ａ〜６ｄによる所定の検出範囲７の外から中に歩行者１が進入してくる。センサ６ａ〜６ｄは、自車両５の周辺の所定の検出範囲７の中に人物又は物体等の存在を検出する。

センサ６ａ〜６ｄは、具体的には、撮像装置やレーダー装置、無線タグリ−ダ、路車間通信装置等であり、人物、車両といった具体的な種別ごとに検出するセンサであってもよく、又は、単に物体の存在を検出する機能を持つセンサであってもよい。

センサ６ａ〜６ｄは、所定の検出範囲７の中に人物又は物体等の被検出対象の存在が検出された場合、検出された人物又は物体に関する情報を含む検出情報を注意対象検出部３２に出力する。

カメラ８は、自車両５の前景における所定の撮影範囲９を撮影する。撮影範囲９は、カメラ８の性能、たとえば画角等によって定まる。カメラ８は、撮影された前景画像をオプティカルフロー算出部３４ａに出力する。

表示部９０は、例えば、自車両５のフロントガラス２２の一部の表示領域２１である。第１の実施形態の情報表示システム１０ａの表示部９０には、ＨＵＤが用いられている。表示部９０には、情報表示装置３０ａにより生成された、運転者に対して通知する必要のある情報に運動効果が付加された画像が表示される。

以下、各実施形態において、表示部への表示に使用される画像であり、運動効果が付加される前の画像を「シンボル画像」、シンボル画像に運動効果が付加された画像を「表示画像」と定義する。シンボル画像は、所定の情報であってもよい。

記憶部３１は、運転者に通知する必要のある検出対象種別及びシンボル画像を含むシンボル画像選択テーブル４０と、シンボル画像に所定の運動効果を付加するための条件を示す運動効果決定テーブル５０とを少なくとも記憶している。

図４は、シンボル画像選択テーブル４０の一例を示す図である。図５は、運動効果決定テーブルの一例を示す図である。以下、シンボル画像選択テーブル４０について図４を参照して説明し、運動効果決定テーブル５０について図５を参照して説明する。

図４に示すように、シンボル画像選択テーブル４０は、検出情報種別とシンボル画像が関連付けられたものである。例えば、検出情報種別の「歩行者」には、シンボル画像として「歩行者の画像」が割り当てられている。また、検出情報種別の「自転車」には、シンボル画像として「自転車の画像」が割り当てられている。また、検出情報種別の「車両」には、シンボル画像として「車両の画像」が割り当てられている。なお、シンボル画像選択テーブル４０の内容はこれらに限定されない。

図５に示すように、運動効果決定テーブル５０は、オプティカルフローの条件を識別するＩＤ、後述するオプティカルフロー算出部３４ａにより算出されたオプティカルフローの条件、及び付加される運動効果が関連付けられたものである。

例えば、運動効果決定テーブル５０のＩＤ「００１」では、オプティカルフロー条件が「オプティカルフローのベクトルの大きさがαより小さい」である場合には運動効果が付加されないことを示している。パラメータαは予め設定された値である。この場合、自車両５がほとんど動いておらず、危険ではないと考えられるため、運動効果を付加する必要がない。

運動効果決定テーブル５０のＩＤ「００２」では、オプティカルフロー条件が「オプティカルフローのベクトルの大きさがα以上で、かつオプティカルフローのベクトルの水平成分の大きさがオプティカルフローのベクトルの鉛直成分の大きさより大きい」である場合には、縦振動の運動効果が付加されることを示している。

運動効果決定テーブル５０のＩＤ「００３」では、オプティカルフロー条件が「オプティカルフローのベクトルの大きさがα以上で、かつオプティカルフローの鉛直成分の大きさがオプティカルフローの水平成分の大きさ以上で、かつ水平成分の大きさにパラメータβを加算した値以下」である場合には、横振動の運動効果が付加されることを示している。

運動効果決定テーブル５０のＩＤ「００４」では、オプティカルフロー条件が「オプティカルフローの水平成分の大きさにパラメータβを加算した値がオプティカルフローの鉛直成分の大きさ未満」である場合には、横振動及び拡大の運動効果が付加されることを示している。

なお、運動効果決定テーブル５０の内容はこれらに限定されない。運動効果にデフォルトの方向及び振幅を設定しておき、オプティカルフローのベクトルの大きさが所定値以下の場合にはデフォルトの方向及び振幅で運動させるようにしてもよい。

すなわち、運動効果は、振動方法であってもよく、運動効果決定部３５は、オプティカルフローのベクトル情報に基づいて、所定の情報の振動方法を決定する。また、運動効果は、伸縮方法であってもよく、運動効果決定部３５は、オプティカルフローのベクトル情報に基づいて、所定の情報の伸縮方法を決定する。

次に、情報表示装置３０ａの動作について図６〜図８を参照して説明する。図６は、第１の実施形態に係る情報表示装置３０ａの動作を説明するフローチャートである。図７は、自車両５のセンサ６ａ〜６ｄにより歩行者１が検出される前における自車両５と歩行者１との位置関係を示す図である。

図８は、自車両５のセンサ６ａ〜６ｄにより歩行者１が検出された後における自車両５と歩行者１との位置関係を示す図である。自車両５のセンサ６ａ〜６ｄにより、歩行者１が検出される。

自車両５の周辺の所定の検出範囲７の中に人物又は物体等の存在がセンサ６ａ〜６ｄにより検出された場合には、注意対象検出部３２は、センサ６ａ〜６ｄによりそれぞれ出力された検出情報を取得する。注意対象検出部３２は、この取得された検出情報が、図４に示したシンボル画像選択テーブル４０の検出情報種別の中に含まれるか否かを判定する（Ｓ４０１）。

具体的には、注意対象検出部３２は、記憶部３１に記憶されているシンボル画像選択テーブル４０と、センサ６ａ〜６ｄから取得された検出情報とを比較し、図４に示したシンボル画像選択テーブル４０の検出情報種別の中に前述した検出情報が含まれているか否かを判定する。

含まれている場合には（Ｓ４０１のＹＥＳ）、注意対象検出部３２は、検出情報の検出情報種別がシンボル画像選択テーブル４０の検出情報種別に含まれている旨の情報をシンボル画像選択部３３に通知する。

シンボル画像選択部３３は、シンボル画像選択テーブル４０の検出情報種別に検出情報が含まれている旨の情報を注意対象検出部３２より取得し、該当するシンボル画像を選択する（Ｓ４０２）。シンボル画像選択部３３は、選択したシンボル画像を表示画像生成部３６に出力する。

図９は、オプティカルフローの算出の様子を示した図である。

図１０は、カメラ８により撮影されたカメラ画像におけるオプティカルフローのベクトル成分がＺ＝−ｆの平面に投影された様子を示す図であり、同図（ａ）はＺ＝−ｆの平面を示す図であり、同図（ｂ）は当該ベクトルのｘ、ｙ成分への分解を示す図である。

図１１は、車両の直進時のオプティカルフローに関する図であり、（ａ）は車両内に設置されたカメラ８により撮影されたカメラ画像とオプティカルフローの例とを示す図であり、（ｂ）はオプティカルフローのベクトルのｘ、ｙ成分への分解を示す図である。

図１２は、車両の右折時のオプティカルフローに関する図であり、（ａ）は車両内に設置されたカメラ８により撮影されたカメラ画像とオプティカルフローの例とを示す図であり、（ｂ）はオプティカルフローのベクトルのｘ、ｙ成分への分解を示す図である。

以下、オプティカルフロー算出部３４ａの動作について図９〜図１２を参照して説明する。

本実施の形態において、カメラ８は、常時、自車両５の前景における所定の撮影範囲９を撮影し、撮影された前景画像をオプティカルフロー算出部３４ａに出力する。オプティカルフロー算出部３４ａは、カメラ８により出力された複数の前景画像の時間的変化に基づいて、当該画像内のオプティカルフローを算出する。

オプティカルフロー算出部３４ａは、カメラ８により出力された第１の前景画像と、第１の前景画像の次のフレームの第２の前景画像とを比較し、互いに対応する座標点を推定する。ここで、互いに対応する座標点とは、第１の前景画像に含まれる第１の座標点、及び、第２の前景画像において、当該第１の座標点が示す背景情報を示す第２の座標点のことである。

オプティカルフロー算出部３４ａは、第１の前景画像における第１の座標点と、第２の前景画像における第２の座標点との差分（移動ベクトル）をオプティカルフローのベクトルとして算出する（Ｓ４０３）。画像間での同一点を推定するための方法としては、勾配法、ブロックマッチング法等の方法が用いられている。

例えば、勾配法では、前景画像の水平方向にｘ軸、前景画像の鉛直方向にｙ軸をとり、当該画像中の同一の点における位置及び輝度が時間に対して滑らかに変化すると仮定してオプティカルフローが求められる。

具体的には、前景画像中の（ｘ，ｙ）の時刻ｔでの輝度をＥ（ｘ，ｙ，ｔ）、画像中のオプティカルフローのベクトルの水平成分であるｘ成分をｕ、当該ベクトルの鉛直成分であるｙ成分をｖとすると、数式（１）が成り立つ。

数式（１）から数式（２）が導き出され、画像中の画素（ｘ、ｙ）近傍の拘束方程式からの最小自乗解がオプティカルフローのベクトルとして算出される。数式（２）は拘束方程式である。

また、現実の物体の移動と、それを画像上に投影したオプティカルフローとの関係を、図９を参照して説明する。

図９に示すように、自車両５の進行方向を向いたカメラ８を基準とした座標系として、カメラ８のレンズの中心１３１を原点Ｏとし、自車両５の水平右方向をＸ軸、鉛直上方向Ｙ軸、進行方向と反対向きをＺ軸とした直交座標系をとる。

カメラ８の光軸が水平でＺ軸と重なるものとし、カメラ８の焦点距離をｆとすれば、実際の撮像面はＺ＝ｆの平面上に倒立像を結像するが、像の反転を考慮すると、Ｚ＝−ｆの平面上で順方向の結像をするものと見做すことができる。

また、路面を平面とし、路面からのカメラ８の高さをｈとすると、路面はＹ＝−ｈの平面で表わされる。カメラ８の視野内の路面上のある地点Ｐ（Ｘ_０、Ｙ_０、Ｚ_０）が次のフレームにおいて地点Ｐ’（Ｘ_１、Ｙ_１、Ｚ_１）に移動し、それらの点がそれぞれＺ＝−ｆの投影面上の点Ｑ（ｘ_０，ｙ_０）、点Ｑ’（ｘ_１，ｙ_１）にそれぞれ投影されたとすると、数式（３）及び数式（４）の関係が成り立つ。地点Ｐ’と点Ｑ’のＺ＝−ｆの平面への投影についても同様である。

従って、図１０に示したオプティカルフローのベクトル１３２を（ｕ，ｖ）で表すと、数式（５）及び数式（６）が成立し、実際の移動ベクトル１３３がオプティカルフローベクトル１３２に投影されることになる。但し、オプティカルフローの算出方法は、前述した方法に限定されない。

オプティカルフロー算出部３４ａは、前述した方法で算出されたオプティカルフローを運動効果決定部３５に出力する。運動効果決定部３５は、オプティカルフロー算出部３４ａにより出力されたオプティカルフローを取得する。運動効果決定部３５は、記憶部３１に記憶されている運動効果決定テーブル５０を参照し、当該取得されたオプティカルフローに応じた運動効果を決定する（Ｓ４０４〜Ｓ４０８、Ｓ４１０〜Ｓ４１２）。

なお、本実施形態においては、カメラ８により撮影された前景画像のオプティカルフローの代表値を、オプティカルフロー算出部３４ａが出力するオプティカルフローとして採用してもよい。

なお、前景の各点においてオプティカルフローのベクトルは異なるため、オプティカルフローはベクトル分布情報である。オプティカルフローの算出においては、前景のうち、特に運転者から見える表示画像が重畳する領域（以下、「重畳領域」という）におけるオプティカルフローが重要である。

このため、オプティカルフロー算出部３４ａは、前景画像のうち重畳領域にのみ基づいてオプティカルフローを算出してもよい。オプティカルフローの代表値としては、重畳領域内の数点のオプティカルフローの平均を用いても良いし、重畳領域内でも実際に表示画像の表示される近傍に限定したオプティカルフローの平均値を用いても良い。

ここで、重畳領域について説明する。図２４は、フロントガラス２２のうち重畳領域近傍のオプティカルフローのベクトルを算出する情報表示装置３０ｅを含む情報表示システム１０ｅの構成を示す図である。

図２４に示す情報表示システム１０ｅは、運転者の顔画像を撮影するカメラ２４０１（第２のカメラ）と、カメラ２４０１から取得された画像から運転者の眼球位置を検出し、カメラ２４０１の設置位置を示す設置情報に基づいて、運転者の眼球の三次元位置情報を算出する眼球位置算出部２４０２と、算出された眼球位置と、フロントガラス２２におけるシンボル画像２０の表示位置とに基づいて、重畳領域を算出する重畳領域算出部２４０３と、を備える。

なお、カメラ２４０１の設置位置を示す設置情報は、情報表示システム１０ｅに含まれるメモリ（不図示）が記憶する。

図２５は、運転者８０の眼球位置と重畳領域の位置関係とを説明するための図である。図２５（ａ）はＨＵＤに表示されているシンボル画像を運転者８０の視点から見た図であり、フロントガラス２２における下部領域にシンボル画像２０が表示されている。本図においては、シンボル画像２０の近傍領域が重畳領域８６である。

図２５（ｂ）は、図２５（ａ）に対応した、車両の横方向の断面図である。ＨＵＤユニット８１の射出光８２がフロントガラス２２に到達し、反射光が運転者８０の方向に向かい、運転者８０の視野に入ることでシンボル画像２０の表示が運転者８０の目に映る。運転者８０がシンボル画像２０を見る場合には、運転者８０の視線８３はシンボル画像２０を通る。

フロントガラス２２は透過的であるため、運転者８０の視線８３はシンボル画像２０を通過し、更に路面８５に到達する。図２５（ｂ）においては、シンボル画像２０を中心とした所定の近傍領域が切り取る路面８５の一部の領域が重畳領域８６である。

すなわち、重畳領域８６とは、運転者８０の眼球位置と、フロントガラス２２におけるシンボル画像２０を含む所定の領域とを結ぶ直線８４によって切り取られた前景と、カメラ８（第１のカメラ）が撮影する前景画像とが重畳する領域である。

以下、図２４および及び図２５により、重畳領域８６の前景画像に基づいてオプティカルフローの算出方法を説明する。

カメラ２４０１は、運転者８０の顔画像を所定の時間間隔で撮影している。このカメラ２４０１にて撮影された画像データが眼球位置算出部２４０２に入力される。ここで、カメラ２４０１は例えばステレオカメラであり、同時に撮影した画像を眼球位置算出部２４０２に入力する。

眼球位置算出部２４０２では、入力された画像から運転者８０の二つの眼球の位置を検出する。ステレオカメラでは三角測量の原理に基づき、少しずれた位置から撮影した画像の視差を利用して物体（ここでは眼球）までの距離を算出する。ステレオカメラを用いた基本的な測距技術は公知であるため、ここでは特に説明はしない。ステレオカメラを用いた測距技術において、実際には人間の目は二つあるため、例えば、検出された運転者８０の両目の位置の中点を眼球位置とみなせばよい。

次に、図３４を用いて、眼球位置と重畳領域の位置関係とを説明する。図３４は、眼球位置と重畳領域の位置関係とを説明するための図であり、図２５を模式的に表した図である。同図（ａ）は上から見た位置関係を示し、同図（ｂ）は横から見た位置関係を示している。座標系については、各座標軸の向きは図９と同様とするが、シンボル画像２０の表示位置を原点としている。

この座標系において眼球位置８７を（ｅ_ｘ、ｅ_ｙ、ｅ_ｚ）とし、重畳領域８６を（ｘ_ｃ、ｙ_ｃ、ｈ）とすれば、ｘ_ｃは数式（７）、ｙ_ｃは数式（８）で表せる。

したがって、シンボル画像２０の表示位置と眼球位置８７が分かれば、重畳領域８６の位置を算出することが可能である。シンボル画像２０の表示位置については、予め幾何学的関係を記憶しておくことで、カメラ８を基準とした座標系の位置座標に変換することは容易である。

そして、数式（７）、数式（８）によって求めたｘ_ｃ、ｙ_ｃを、カメラ８を基準とした座標系に変換することによって、前述の方法に従って、オプティカルフローのベクトルを算出できる。オプティカルフローのベクトルを算出した後の動作は、上述しているため説明を省略する。

以上のように、図２４に示すシステム構成にすることで、重畳領域８６のオプティカルフローのベクトルを算出することが可能である。

なお、運動効果決定部３５は、前述の重畳領域８６に含まれるオプティカルフローのベクトル情報に基づいて運動効果を決定してもよい。

例えば、図６において、自車両５が停止している場合又は当該自車両５が低速度で走行している場合等、オプティカルフローのベクトルの大きさが予め設定された所定値α（例えばα＝−２）未満である場合には（Ｓ４０４のＮＯ）、運動効果決定部３５は、オプティカルフローがないと見做し、シンボル画像選択部３３により選択されたシンボル画像に対して運動効果を付与しないように決定する（Ｓ４０５）。したがって、その場合にはシンボル画像２０が動かずにＨＵＤの表示領域に表示される（Ｓ４０６）。

ここで、予め設定された所定値は、図５に示した運動効果決定テーブル５０におけるパラメータαである。

オプティカルフローのベクトルの大きさが所定値α以上の場合には（Ｓ４０４のＮＯ）、運動効果決定部３５は、当該オプティカルフローの水平成分、鉛直成分のそれぞれの大きさに基づいた比較を行い、その結果に応じて運動効果を決定する。

例えば、図１２（ａ）に示すように自車両５が右折動作を行っている場合に、運動効果決定部３５はオプティカルフローのベクトル１１１を図１２（ｂ）のように分解する。その結果、水平成分及び鉛直成分（ｕ、ｖ）＝（−１０、−２）が得られたとする。そして、運動効果決定部３５は、ｕとｖの大きさに関して比較する。

図１２（ｂ）に示す例の場合、運転者から見たオプティカルフローの水平成分ｕの大きさが鉛直成分ｖの大きさよりも大きいため（Ｓ４０７のＹＥＳ）、運転効果決定部３５は、図５に示した運動効果決定テーブル５０に従って、シンボル画像に対して「縦振動」の運動効果を付加するように決定する（Ｓ４０８）。

これにより、運転者が気付き易く、かつ煩わしさを感じにくい表示とすることができる。

また、例えば、図１１（ａ）に示すように自車両５が略直進走行を行っている場合に、図１１（ｂ）に示すようにオプティカルフローのベクトル１２１の水平成分及び鉛直成分（ｕ、ｖ）＝（−３、−２０）が得られたとする。なお、この例では所定値βの値によって運動効果決定部３５における決定内容が異なるため、例えばβ＝−７とする。

この場合には、運転者から見たオプティカルフローの鉛直成分ｖの大きさが水平成分ｕの大きさよりも大きく、更にその大きさの差が７より大きいため（Ｓ４１０のＹＥＳ）、運転効果決定部３５は、図５に示した運動効果決定テーブル５０に従って、シンボル画像２０に対して「横振動」の運動効果を付加することに加えて拡大表示の効果も付加するように決定する（Ｓ４１１）。なお、その際の拡大倍率は予め固定的に設定されているものでもよいし、何らかの方法で別途算出されるものでもよい。

これにより、運転者が気付き易く、かつ煩わしさを感じにくい表示とすることができる。

また、図示していないが、図１１（ｂ）のようにオプティカルフローのベクトルの鉛直成分ｖの方が水平成分ｕよりも大きく、かつ、その差がβより小さい場合には（Ｓ４１０のＮＯ）、運動効果決定部３５はシンボル画像に対して横振動の運動効果のみを付与する（Ｓ４１２）。

表示画像生成部３６は、シンボル画像選択部３３により選択されたシンボル画像に、運動効果決定部３５により決定された運動効果を付加した表示画像を生成する（Ｓ４０９）。そして、表示制御部３７は、表示画像生成部３６によって前記運動効果を付加された表示画像を取得し、表示部９０に表示する（Ｓ４０６）。

前述したように、運動効果の種類としては、例えば縦方向の一次元的な振動、横方向の一次元的な振動、拡大、又は縮小等があり得る。振動の振幅や周期等の属性は、予め設定された所定の値を用いるが、任意に編集することも可能である。運動効果の種類として、周期的な運動であれば良い。

例えば、縦又は横の一次元的な振動であれば、図１３（ａ）〜（ｅ）に示すように、位置の変化のパターンが正弦波、矩形波、三角波又は、更には表示位置の移動が不連続な鋸状の波形でも良い。図１３は、運動効果の具体例を示す図である。同図（ａ）は、正弦波を示す図である。同図（ｂ）は、矩形波を示す図である。同図（ｃ）は、三角波を示す図である。同図（ｄ）は、鋸状の波形を示す図である。同図（ｅ）は、鋸状の波形を示す図である。

また、縦又は横の一次元的な拡大又は縮小であれば、図２１（ａ）〜（ｆ）に示すように、拡大、縮小方向の幅の変化が正弦波、正弦波の値の正の部分の繰り返し、矩形波、三角波、鋸状の波形でもよい。図２１は、シンボル画像２０の縦又は横への拡大又は縮小の運動のパターンの一例を示す図である。同図（ａ）は、正弦波の拡大又は縮小の運動のパターンの一例を示す図である。同図（ｂ）は、正弦波の値の正の部分の繰り返しの拡大又は縮小の運動のパターンの一例を示す図である。同図（ｃ）は、矩形波の拡大又は縮小の運動のパターンの一例を示す図である。同図（ｄ）は、三角波の拡大又は縮小の運動のパターンの一例を示す図である。同図（ｅ）は、鋸状の波形の拡大又は縮小の運動のパターンの一例を示す図である。同図（ｆ）は、鋸状の波形の拡大又は縮小の運動のパターンの一例を示す図である。

また、拡大、縮小に類似した運動効果として、運転者にとってあたかも画像が縦又は横方向に回転しているように見える表示方法でもよい。具体的には、例えば図２３の（ａ）〜（ｍ）のように画像が変化すれば、自転車のシンボル画像が鉛直方向の中心線を回転軸にして水平方向に回転しているように見える。図２３は、シンボル画像が回転しているように見える画像の変化の一例を示す図である。同図（ａ）〜（ｍ）は、変化する一連のフレーム画像をそれぞれ示している。

図２２は、シンボル画像が回転しているように見える画像の縦又は横の運動のパターンの一例を示す図である。同図（ａ）〜（ｅ）は、横軸に時刻、縦軸に表示画像の回転方向の幅をとったグラフであり、正弦波、矩形波、三角波、鋸状の波形等の方法で変化をさせた例を示す図である。具体的には、同図（ａ）は、正弦波の方向に回転するように運動させたパターンの一例を示す図である。同図（ｂ）は、矩形波の方向に回転するように運動させたパターンの一例を示す図である。同図（ｃ）は、三角波の方向に回転するように運動させたパターンの一例を示す図である。同図（ｄ）は、鋸状の波形の方向に回転するように運動させたパターンの一例を示す図である。同図（ｅ）は、鋸状の波形の方向に回転するように運動させたパターンの一例を示す図である。なお、グラフの縦軸におけるマイナス符号は、元のシンボル画像に対して表示画像が反転した状態であることを示している。

このようにして表示領域２１に歩行者１の表示画像が表示されると、たとえ歩行者１そのものが運転者の視野に入っていなくとも、運転者は煩わしさを感じずに表示に気付き易くなり、その結果、当該歩行者１との接触を回避する動作までの時間も短縮することができる。

従って、第１の実施形態の情報表示装置３０ａでは、自車両５の周囲の所定の検出範囲７に運転者の注意対象となる歩行者１等の存在が検出される。

ここで検出された検出情報がシンボル画像管理テーブルに属する検出情報種別に該当する場合には、自車両５のオプティカルフローが算出されることによりシンボル画像に対する運動効果が決定される。

自車両５のオプティカルフローは、カメラ８により撮影された自車両５の前景画像に基づいて算出される。この決定された運動効果がシンボル画像に付加され、表示画像として自車両５の表示部９０に表示される。

以上のように、第１の実施形態の情報表示装置３０ａは、前景画像を撮影するカメラ８を備える車両に搭載された、所定の情報を表示する情報表示装置であって、所定の情報を運動させて表示する表示部と、カメラ８が撮影した複数の前景画像を取得し、取得された複数の前景画像に基づいて、前景のオプティカルフローのベクトル情報を算出するオプティカルフロー算出部と、オプティカルフロー算出部からオプティカルフローのベクトル情報を取得し、取得されたオプティカルフローのベクトル情報に基づいて、所定の情報の運動効果を決定する運動効果決定部と、を備える情報表示装置であり、車両の走行状態に影響を受けず、運転者が気付き易く、かつ煩わしさを感じにくい情報表示を実現できる効果を奏する。

なお、本実施形態では人物又は物体を検出する場合の例を示したが、センサ６ａ〜６ｄが単に何かの物体（人物なのか、特定の物体なのかまでは分からない）を検出する機能しかなくても構わない。その場合には、シンボル画像選択部による選択手順は行わず、決められた画像を表示すればよい。

また、本実施形態では検出された注意対象に対応するシンボル画像のある場合の例を示したが、シンボル画像選択テーブル４０内に対応するシンボル画像２０の存在しない場合もある。予め「その他」の場合のシンボル画像をシンボル画像選択テーブル４０に準備しておけば、不明な物体が検出された場合には「その他」を選択した上で表示画像を生成すればよい。

また、第１の実施形態の情報表示装置３０ａは、時間的に連続して撮影された車両の前景画像に基づいて、車両の前景のオプティカルフローを算出することができる。

また、算出されたオプティカルフローのベクトル主体成分と交差する方向に表示画像が運動するため、運転者は、表示画像に容易に気づくことができる。また、付加される運動効果は周期的な運動であるため、表示画像の運動する軌道が予測し易くなり、当該表示画像の表示に気付いてからシンボル画像の内容を理解するまでの時間も短縮することができる。

なお、本実施形態では、オプティカルフローの鉛直方向と水平方向の成分の大きさの差に基づいてシンボル画像に付加する運動効果を決定したが、オプティカルフローの鉛直方向の成分と水平方向の成分の大きさの比に基づいてシンボル画像に付加する運動効果を決定してもよい。

（第２の実施形態）
次に、第２の実施形態の情報表示装置を含む情報表示システムについて図１４を参照して説明する。図１４は、第２の実施形態に係る情報表示装置３０ｂを含む情報表示システム１０ｂの構成を示すシステム構成図である。図１４において、図３と同じ構成要素については同じ符号を用いる。

以下、第２の実施形態では、第１の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一の内容については説明を省略する。第１の実施形態における情報表示システム１０ａと異なるのは、カメラ８の代わりに、速度センサ１４及びヨーレートセンサ１５がオプティカルフロー算出部３４ｂに接続されている点、及びオプティカルフロー算出部３４ｂのオプティカルフローの算出過程である。

速度センサ１４は、常時、自車両５の速度を検出し、この検出された速度に関する速度情報をオプティカルフロー算出部３４ｂに出力する。ヨーレートセンサ１５は、常時、自車両５の回転速度を検出し、この検出された回転速度に関する回転速度情報をオプティカルフロー算出部３４ｂに出力する。

オプティカルフロー算出部３４ｂの算出過程について、図１５を参照して説明する。図１５は、速度センサ１４及びヨーレートセンサ１５によりそれぞれ出力された速度情報及び回転速度情報に基づいて算出されるオプティカルフローの算出過程を説明する図である。実際に移動するのは自車両５であるが、運転者から見ると前景が移動するように見え、ここでは運転者を基準とした座標系で考える。

同図（ａ）は、仮想カメラのレンズ中心を基準とした座標系における前景の相対的な移動の様子を示す図である。同図（ｂ）は、仮想カメラを基準とした前景の相対的な移動を平行移動と回転運動との各成分に分解した様子を示す図である。同図（ｃ）は、投影面上のオプティカルフローのベクトルを示す図である。

図１５（ａ）において、運転者からは、前景の任意の領域１５６が点Ｐ（Ｘ_０、Ｙ_０、Ｚ_０）から点Ｑ（Ｘ_１、Ｙ_１、Ｚ_１）へ移動しているように見える。その際の点Ｐから点Ｑへの移動は移動ベクトル１５２で表される。

図１５（ｂ）において、ベクトル１５３は仮想カメラ１５１からの視点で見たときの直進運動による直進成分、ベクトル１５４は回転運動による回転成分である。

図１５（ｃ）において、図１５（ａ）の移動ベクトル１５２を仮想カメラ１５１で写したと仮定すると、ベクトル１５５は移動ベクトル１５２が画像に投影されたもの、すなわちオプティカルフローのベクトルである。

図１５（ａ）に示すように、自車両５の走行中に、点Ｐ（Ｘ_０、Ｙ_０、Ｚ_０）の座標に位置していた前景の任意の領域１５６が、所定の時間Δｔの後に、点Ｑ（Ｘ_１、Ｙ_１、Ｚ_１）に移動した場合について説明する。

自車両５の走行方向の前方を向いた仮想カメラ１５１を考えると、オプティカルフローは、当該仮想カメラ１５１の撮像面に投影された画像をもとに算出される。

第１の実施形態における図９に示す座標系と同様の仮想カメラ１５１の座標系を考え、ある仮想カメラ１５１における画像の撮像時刻の自車両５の速度をａ、角速度である回転速度をωとする。

車両の前景の任意の点Ｐ（Ｘ_０、Ｙ_０、Ｚ_０）に位置する前景の任意の領域１５６が、時間Δｔ後に任意の点Ｑ（Ｘ_１、Ｙ_１、Ｚ_１）に移動したとすれば、点Ｐから点Ｑへの移動ベクトル１５２は、図１５（ｂ）の直進運動による直進成分（ベクトル）１５３と仮想カメラ１５１を中心とした回転運動による回転成分（ベクトル）１５４の和と見做すことができる。このため、点Ｐと点Ｑとの関係は、数式（９）、数式（１０）、数式（１１）の様に表すことができる。

数式（９）と数式（１１）を数式（５）に代入し、また、数式（９）と数式（１１）を数式（６）に代入することで、オプティカルフローのベクトル１５５を算出することが可能である。

このようにして算出したオプティカルフローのベクトル１５５に基づいて、第１の実施形態と同様に、シンボル画像２０に対する運動効果を決定することが可能である。

以上のように、第２の実施形態の情報表示装置３０ｂでは、自車両５の周囲の所定の検出範囲７に運転者の注意対象となる歩行者１等の存在が検出される。

ここで検出された検出情報がシンボル画像管理テーブル４０に属する検出情報種別に該当する場合には、自車両５のオプティカルフローが算出されることにより当該シンボル画像２０に対する運動効果が決定される。自車両５のオプティカルフローは、速度センサ１４及びヨーレートセンサ１５により出力された値に基づいて算出される。

この決定された運動効果がシンボル画像２０に付加され、表示画像として自車両５の表示部９０に表示される。

従って、第２の実施形態の情報表示装置３０ｂは、車両の走行状態に影響を受けず、運転者が気付き易く、かつ煩わしさを感じにくい情報表示を実現することができる。

また、車両に備え付けられている速度センサ１４及びヨーレートセンサ１５等により出力された速度情報及び回転速度情報に基づいて車両の前景のオプティカルフローを算出するため、カメラ８を使用せずとも同様な効果を得ることができる。

また、表示画像が周期的に運動するため、運転者は、表示画像の運動する軌道を予測し易くなる。これにより、当該画像の表示に気付いてからシンボル画像の内容を理解するまでの時間が短縮される。

（第３の実施形態）
第３の実施形態に係る情報表示装置を含む情報表示システムについて説明する。第３の実施形態に係る情報表示装置としての車載情報表示装置を含む車載情報表示システムが搭載された車両の走行状態の様子は、実施の形態１における図１と同様である。また、車載情報表示装置を含む車載情報表示システムが搭載された自車両５内部の様子は、実施の形態１における図２と同様である。したがって、図１および及び図２を用いて、実施の形態３における情報表示システムについて説明する。

自車両５には、１又は複数のセンサ６ａ〜６ｄが搭載されている。但し、センサ６ａ〜６ｄの搭載数は図１に示すように４つに限定されない。センサ６ａ〜６ｄは、当該自車両５の周辺の所定の検出範囲７に人又は物体等の存在を検出し、この検出により生成された検出情報を取得する。例えば、この検出情報には、図１に示すように、歩行者１の存在を示す旨の情報等である。センサ６ａ〜６ｄは、それぞれ生成された検出情報を車載情報表示装置に出力する。

また、図１に示すように、自車両５には、カメラ８が搭載されている。カメラ８は、図１に示すように、当該自車両５の走行方向の前方における所定の撮影範囲９の前景を撮影する。カメラ８は、当該撮影された前景画像を車載情報表示装置に出力する。また、図２に示すように、自車両５には、運転者から見てルームミラー２３の右下方向であって、フロントガラス２２の下部に表示部９０としての表示領域２１が配置されている。センサ６ａ〜６ｄにより歩行者１の存在を示す旨が検出された場合、車載情報表示装置は、当該検出された歩行者１のシンボル画像２０を運転者に通知させる必要のある車載情報として表示領域２１内に表示する。

図２６は、第３の実施形態に係る情報表示装置である車載情報表示装置３０ｃを含む車載情報表示システム１０ｃの構成を示すシステム構成図である。第３の実施形態の車載情報表示システム１０ｃは、センサ６ａ〜６ｄ、カメラ８、表示部９０及び車載情報表示装置３０ｃを備える。車載情報表示装置３０ｃは、センサ６ａ〜６ｄ及びカメラ８にそれぞれ接続されている。図２７は、第３の実施形態に係る情報表示装置である車載情報表示装置３０ｃの内部構成を示すブロック図である。図２７に示すように、車載情報表示装置３０ｃは、記憶部３１ｃ、表示対象検出部２６０１、表示画像選択部２６０２、オプティカルフロー算出部３４ｃ、運動効果決定部３５、画像生成部２６０３及び表示制御部３７を備える。なお、表示対象検出部２６０１は、実施の形態１における注意対象検出部３２に相当し、表示画像選択部２６０２は、実施の形態１におけるシンボル画像選択部３３に相当し、画像生成部２６０３は、実施の形態１における表示画像生成部３６に相当する。

センサ６ａ〜６ｄは、自車両５の周辺の所定の検出範囲７の中に人又は物体等の存在を検出する。センサ６ａ〜６ｄは、所定の検出範囲７の中に当該人又は物体等の存在が検出された場合、当該検出された人又は物体等に関する情報を含む検出情報を表示対象検出部２６０１に出力する。カメラ８は、自車両５の走行方向の前方における所定の撮影範囲９の前景を撮影する。カメラ８は、この撮影された前景画像をオプティカルフロー算出部３４ｃに出力する。表示部９０は、例えば、自車両５のフロントガラス２２の一部の表示領域２１である。第３の実施形態の車載情報表示システム１０ｃの表示部９０には、ＨＵＤが用いられている。表示部９０には、車載情報表示装置３０ｃにより生成された、自車両５の運転者に対して通知させる必要のある情報の画像が表示される。以下、各実施形態において、自車両５の運転者に対して通知させる必要のある情報を「車載情報」、当該車載情報を示す画像を「車載情報画像」と定義する。

記憶部３１ｃは、本実施の形態において、車載情報の種別及び画像を含む対象車載情報２８００と、車載情報画像に所定の運動効果を付与するための条件情報を示す運動効果条件情報２９００とを少なくとも記憶している。対象車載情報２８００について図２８を参照して説明し、運動効果条件情報２９００について図２９を参照して説明する。図２８は、対象車載情報２８００の一例を示す図面である。図２９は、運動効果条件情報２９００の一例を示す図面である。なお、記憶部３１ｃが記憶している情報は一例であり、実施の形態１における記憶部３１の記憶する情報であってもよい。また、本実施の形態における対象車載情報２８００は、実施の形態１におけるシンボル画像選択テーブル４０に相当し、本実施の形態における運動効果条件情報２９００は、実施の形態１における運動効果決定テーブル５０に相当する。

図２８に示すように、対象車載情報２８００は、当該対象車載情報２８００を識別するＩＤ、当該対象車載情報２８００の対象種別、及び車載情報画像が関連付けられたものである。例えば、ＩＤ「００１」の対象車載情報２８００では、車載情報種別が「歩行者」で、車載情報画像として「歩行者の画像」が割り当てられている。ＩＤ「００２」の対象車載情報２８００では、車載情報種別が「自転車」で、車載情報画像として「自転車の画像」が割り当てられている。ＩＤ「００３」の対象車載情報２８００では、車載情報種別が「車両」で、車載情報画像として「車両の画像」が割り当てられている。なお、対象車載情報２８００の内容はこれらに限定されない。

図２９に示すように、運動効果条件情報２９００は、当該運動効果条件情報２９００を識別するＩＤ、後述するオプティカルフロー算出部３４ｃにより算出されたオプティカルフローの条件、及び付与される運動効果が関連付けられたものである。例えば、ＩＤ「００１」の運動効果条件情報２９００では、オプティカルフロー条件が「オプティカルフローのベクトルの大きさ＜α」である場合には、運動効果は付与されないことが示される。パラメータαは、運動効果を付与して良いか否かを決める閾値である。ＩＤ「００２」の運動効果条件情報２９００では、オプティカルフロー条件が「オプティカルフローのベクトルの水平成分の大きさがオプティカルフローのベクトルの鉛直成分の大きさより大きい」である場合には、縦振動の運動効果が付与される。ＩＤ「００３」の運動効果条件情報２９００では、オプティカルフロー条件が「オプティカルフローの水平成分の大きさがオプティカルフローの鉛直成分の大きさ以下」である場合には、横振動の運動効果が付与される。ＩＤ「００４」の運動効果条件情報２９００では、オプティカルフロー条件が「オプティカルフローの水平成分の大きさにパラメータβを加算した値がオプティカルフローの鉛直成分の大きさ未満」である場合には、横振動及び拡大の運動効果が付与される。なお、運動効果条件情報２９００の内容はこれらに限定されない。

次に、車載情報表示装置３０ｃの動作について図３０、および及び図７および及び図８を参照して説明する。図３０は、第３の実施形態に係る情報表示装置である車載情報表示装置３０ｃの動作を説明するフローチャートである。図７は、実施の形態１において説明したとおり、自車両５のセンサ６ａ〜６ｄにより歩行者１が検出される前における自車両５と歩行者１との位置関係を示す図面である。図８は、実施の形態１において説明したとおり、自車両５のセンサ６ａ〜６ｄにより歩行者１が検出された後における自車両５と歩行者１との位置関係を示す図面である。図８では、走行している自車両５が交差点を右折する際に接近してきた歩行者１の存在を運転者に注意喚起する状態を示している。自車両５のセンサ６ａ〜６ｄにより、歩行者１が検出される。

自車両５の周辺の所定の検出範囲７の中に人又は物体等の存在がセンサ６ａ〜６ｄにより検出された場合には、表示対象検出部２６０１は、センサ６ａ〜６ｄによりそれぞれ出力された検出情報を取得する。表示対象検出部２６０１は、この取得された検出情報の中に、図２８に示した対象車載情報２８００の有無を判定する（Ｓ３００１）。具体的には、表示対象検出部２６０１は、記憶部３１ｃに記憶されている対象車載情報２８００と、センサ６ａ〜６ｄから取得された検出情報とを比較し、図２８に示した対象車載情報２８００の対象種別が前述した検出情報に含まれているか否かを判定する。対象車載情報２８００の対象種別が検出情報に含まれている場合には（Ｓ３００１のＹＥＳ）、表示対象検出部２６０１は、対象車載情報２８００の対象種別が検出情報に含まれている旨の情報を表示画像選択部２６０２に出力する。

表示画像選択部２６０２は、対象車載情報２８００の対象種別が検出情報に含まれている旨の情報を表示対象検出部２６０１より取得し、検出情報に含まれている対象車載情報２８００の対象種別に対応する車載情報画像を選択する（Ｓ３００２）。表示画像選択部２６０２は、車載情報画像が選択された旨を画像生成部２６０３に出力する。

オプティカルフロー算出部３４ｃの動作については、実施の形態１におけるオプティカルフロー算出部３４ａと同様であるため、図９から図１２を参照して説明する。図９は、実施の形態１において説明したとおり、オプティカルフローの算出の様子を示した図面である。図１０は、実施の形態１において説明したとおり、カメラ画像におけるオプティカルフローのベクトル成分がＺ＝−ｆの平面に投影された様子を示す図面であり、（ａ）はＺ＝−ｆの平面を示す図面であり、（ｂ）はベクトルのｘ、ｙ成分への分解を示す図面である。図１１は、実施の形態１において説明したとおり、車両の直進時のオプティカルフローに関する図面であり、（ａ）は車両内に載置されたカメラ８により撮影された画像を示す図面であり、（ｂ）はオプティカルフローに基づくベクトルのｘ、ｙ成分への分解を示す図面である。図１２は、車両の右折時にオプティカルフローに関する図面であり、（ａ）は車両内に載置されたカメラ８により撮影された画像を示す図面であり、（ｂ）はオプティカルフローに基づくベクトルのｘ、ｙ成分への分解を示す図面である。

カメラ８は、常時、自車両５の走行方向の前方における所定の撮影範囲９の前景を撮影し、この撮影された前景の画像をオプティカルフロー算出部３４ｃに出力する。オプティカルフロー算出部３４ｃは、カメラ８により出力された前景の画像の時間的変化に基づいて、当該画像内のオプティカルフローを算出する。また、第３の実施形態において、カメラ８により撮影された前景の画像のオプティカルフローを、オプティカルフローの代表値として用いることとする。また、カメラ８により撮影された画像内の各点においてオプティカルフローのベクトルは異なるが、特に運転者から見える車載情報画像の表示領域２１におけるオプティカルフローが重要である。このため、オプティカルフローの代表値としては、表示領域２１内の数点のオプティカルフローの平均を用いても良いし、表示領域２１内でも実際に画像の表示される近傍の局所的なオプティカルフローの平均値を用いても良い。

オプティカルフロー算出部３４ｃは、カメラ８により出力された２枚の前景の画像の当該画像フレームにおける同一点を推定し、当該点の移動ベクトルをオプティカルフローのベクトルとして導出する（Ｓ３００３）。画像フレーム間での同一点を推定するための方法としては、勾配法、ブロックマッチング法等の方法が用いられている。

例えば、勾配法では、前景の画像の水平方向にｘ軸、前景の画像の鉛直方向にｙ軸をとり、当該画像中の同一の点における位置及び輝度が時間に対して滑らかに変化すると仮定してオプティカルフローが求められる。具体的には、前景の画像中の（ｘ，ｙ）の時刻ｔでの輝度をＥ（ｘ，ｙ，ｔ）、画像中のオプティカルフローのベクトルの水平成分であるｘ成分をｕ、当該ベクトルの鉛直成分であるｙ成分をｖとすると、実施の形態１において示した数式（１）が成り立つ。

数式（１）より、実施の形態１において示した数式（２）の拘束方程式が導き出され、画像中の画素（ｘ、ｙ）近傍の拘束方程式からの最小自乗解がオプティカルフローのベクトルとして算出される。

また、現実の物体の移動と、それを画像上に投影したオプティカルフローとの関係を、図９を参照して説明する。図９に示すように、自車両５の進行方向を向いたカメラ８を基準とした座標系として、カメラ８のレンズの中心１３１を原点Ｏとし、自車両５の水平右方向をＸ軸、鉛直上方向Ｙ軸、進行方向と反対向きをＺ軸とした直交座標系をとる。カメラ８の光軸が水平でＺ軸と重なるものとし、カメラ８の焦点距離をｆとすれば、実際の撮像面はＺ＝ｆの平面上に倒立像を結像するが、像の反転を考慮すると、Ｚ＝−ｆの平面上で順方向の結像をすると見做することができる。また、路面を平面とし、路面からのカメラ８の高さをｈとすると、路面はＹ＝−ｈの平面で表わされ、カメラ８の視野内の路面上のある地点Ｐ（Ｘ_０、Ｙ_０、Ｚ_０）が次のフレームにおいて地点Ｐ’（Ｘ_１、Ｙ_１、Ｚ_１）に移動し、それらの点がそれぞれＺ＝−ｆの投影面上の点Ｑ（ｘ_０，ｙ_０）、点Ｑ’（ｘ_１，ｙ_１）にそれぞれ投影されたとすると、実施の形態１において示した数式（３）及び数式（４）の関係が成り立つ。地点Ｐ’と点Ｑ’の投影についても同様である。

従って、図１０に示したオプティカルフローのベクトル１３２を（ｕ，ｖ）で表すと、実施の形態１において示した数式（５）及び数式（６）が成立し、実際の移動ベクトル１３３がオプティカルフローベクトル１３２に投影されることになる。

但し、オプティカルフローの算出方法は、前述した方法に限定されない。

オプティカルフロー算出部３４ｃは、前述した方法で導出されたオプティカルフローを運動効果決定部３５に出力する。運動効果決定部３５は、オプティカルフロー算出部３４ｃにより出力されたオプティカルフローを取得する。運動効果決定部３５は、記憶部３１ｃに記憶されている運動効果条件情報２９００を参照し、当該取得されたオプティカルフローに応じた運動効果を設定する（Ｓ３００４〜Ｓ３００８）。例えば、自車両５が停止している場合又は当該自車両５が低速度で走行している場合等、オプティカルフローのベクトルの大きさが予め設定された所定値α未満である場合には（Ｓ３００４のＹＥＳ）、運動効果決定部３５は、オプティカルフローがないと見做し、表示画像選択部２６０２により選択された車載情報画像に対して運動効果を付与しないように決定する（Ｓ３００５）。ここで、予め設定された所定値は、図２９に示した運動効果条件情報２９００におけるパラメータαである。

オプティカルフローのベクトルの大きさが所定値α以上の場合には（Ｓ３００４のＮＯ）、運動効果決定部３５は、当該オプティカルフローの水平成分、鉛直成分のそれぞれの大きさに応じて運動効果を決定する。例えば、図１１（ａ）に示すように自車両５が直進に近い走行を行っている場合に、オプティカルフローのベクトル１１１の水平成分及び鉛直成分が（ｕ、ｖ）＝（−３、−２０）が得られたとする。運動効果決定部３５は、このオプティカルフローのベクトル１１１を図１１（ｂ）に示すように、画像の水平成分であるｘ軸成分と鉛直成分であるｙ軸成分とに分解し、当該水平成分及び鉛直成分のそれぞれの大きさを比較する。

図１１（ｂ）に示す例の場合、運転者から見たオプティカルフローの鉛直成分ｖの大きさが水平成分ｕの大きさよりも大きいため（Ｓ３００６のＹＥＳ）、運転効果決定部３５は、図２９に示した運動効果条件情報２９００に従って、車載情報画像に対して「横振動」の運動効果を付与するように決定する（Ｓ３００７）。この「横振動」の運動効果は、水平成分主体の運動効果である。また、自車両５が図１１に示す走行を行っている場合では鉛直成分の大きいオプティカルフローに対して略垂直の方向に車載情報画像が表示されるため、「横振動」の運動効果が車載情報画像に付与されることにより、運転者に煩わしさを感じさせず、容易に気づき易い車載情報を表示することができる。

また、例えば、図１２（ａ）に示すように自車両５が右折動作を行う場合に、オプティカルフローのベクトル１２１の水平成分及び鉛直成分が（ｕ、ｖ）＝（−１０、２）が得られたとする。この場合、自車両５は旋回運動に近い走行となる。この場合には、運転者から見たオプティカルフローの水平成分ｕの大きさが鉛直成分ｖの大きさよりも大きいため（Ｓ３００６のＮＯ）、運転効果決定部３５は、図２９に示した運動効果条件情報２９００に従って、車載情報画像に対して「縦振動」の運動効果を付与するように決定する（Ｓ３００８）。この「縦振動」の運動効果は、鉛直成分主体の運動効果である。また、自車両５が図１２に示す走行を行っている場合では水平成分の大きいオプティカルフローに対して略垂直の方向に車載情報画像が表示されるため、「縦振動」の運動効果が車載情報画像に付与されることにより、運転者に煩わしさを感じさせず、容易に気づき易く車載情報を表示することができる。

画像生成部２６０３は、表示画像選択部２６０２により選択された車載情報画像に、運動効果決定部３５により決定された運動効果を付与した車載情報画像を生成する（Ｓ３００９）。画像生成部２６０３は、この生成された車載情報画像を表示制御部３７に出力する。表示制御部３７は、画像生成部２６０３により出力された車載情報画像を取得し、当該取得された車載情報画像を表示部９０に表示するように制御する（Ｓ３０１０）。

前述したように、運動効果の種類としては、例えば縦方向の一次元的な振動、横方向の一次元的な振動、拡大、又は縮小等があり得る。振動の振幅や周期等の属性は、予め設定された所定の値を用いるが、任意に編集することも可能である。運動効果の種類として、周期的な運動であれば良い。例えば、図３１（ａ）〜（ｄ）に示すように、位置又は形状の変化のパターンが正弦波、矩形波、三角波又は、更には表示位置の移動が不連続な鋸状の波形でも良い。図３１は、運動効果の具体例を示す図である。同図（ａ）正弦波を示す図である。同図（ｂ）は、矩形波を示す図である。同図（ｃ）は、三角波を示す図である。同図（ｄ）は、鋸状の波形を示す図である。また、実施の形態１において示した図１３（ａ）〜（ｅ）の波形でも良い。

このようにして表示領域２１に歩行者１のシンボル画像２０が表示されると、自車両５の運転者は、たとえ歩行者１そのものが視野に入っていなくても、煩わしさを感じずに表示に気付き易くなり、その結果、当該歩行者１との接触を回避する動作までの時間も短縮することができる。

以上のように、第３の実施形態に係る情報表示装置である車載情報表示装置３０ｃでは、自車両５の周囲の所定の検出範囲７に車載情報の画像の対象となる歩行者１等の存在が検出される。この検出により生成された検出情報の中に車載情報の画像の対象がある場合には、自車両５のオプティカルフローが算出されることにより当該車載情報の画像に対する運動効果が決定される。自車両５のオプティカルフローは、カメラ８により撮影された自車両５の走行方向の前景の画像に基づいて算出される。この決定された運動効果が車載情報の画像に付与された車載情報の画像が自車両５の表示部９０に表示される。

従って、第３の実施形態に係る情報表示装置である車載情報表示装置３０ｃは、車両の走行状態に影響を受けず、運転者が煩わしさを感じずに気付き易く車載情報を表示することができる。また、第３の実施形態の車載情報表示装置３０ｃは、予め設定された対象車載情報２８００に基づいて、車両の周囲に運転者に対して通知させる必要のある車載情報の対象が見つかるか否かを高精度に判定することができる。また、第３の実施形態の車載情報表示装置３０ｃは、導出されたオプティカルフローの水平成分及び鉛直成分の大きさにより、車両が直進している場合又は旋回等の回転している場合のいずれであるのかを高精度に判定することができる。また、第３の実施形態の車載情報表示装置３０ｃは、連続的に撮影された車両の走行方向における画像に基づいて、車両の走行方向のオプティカルフローを算出することができる。また、運転効果は、周期的な運動であるため、車載情報の画像の表示する軌道が予測し易くなり、当該画像の表示に気付いた後でさえ表示内容を容易に理解することができる。また、導出されたオプティカルフローのベクトル主体成分と交差する方向に車載情報の画像が周期的に運動するため、運転者は、車載情報の画像の表示する軌道がより予測し易くなり、当該画像の表示に気付いた後でさえ表示内容を容易に理解することができる。また、導出されたオプティカルフローのベクトル主体成分と交差する方向に車載情報の画像が周期的に運動するため、運転者は、車載情報の画像の表示に気づいた後の視線の移動量を小さくすることができると共に、更に表示内容を容易に理解することができる。

（第４の実施形態）
次に、第４の実施形態の車載情報表示装置を含む車載情報表示システムについて図３２を参照して説明する。図３２は、第４の実施形態に係る情報表示装置である車載情報表示装置３０ｄを含む車載情報表示システム１０ｄの構成を示すシステム構成図である。図３２において、図２６と同じ構成要素については同じ符号を用いる。以下、第４の実施形態では、第３の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一の内容については説明を省略する。第３の実施形態における車載情報表示システム１０ｃと異なるのは、カメラ８の代わりに、速度センサ１４及びヨーレートセンサ１５がオプティカルフロー算出部３４ｄに接続されている点、及びオプティカルフロー算出部３４ｄのオプティカルフローの算出過程である。図３３は、第４の実施形態に係る情報表示装置である車載情報表示装置３０ｄの内部構成を示すブロック図である。なお、速度センサ１４および及びヨーレートセンサ１５は、実施の形態２において説明した速度センサ１４および及びヨーレートセンサ１５と同じものである。

速度センサ１４は、常時、自車両５の速度を検出し、この検出された速度に関する速度情報をオプティカルフロー算出部３４ｄに出力する。ヨーレートセンサ１５は、常時、自車両５の回転速度を検出し、この検出された回転速度に関する回転速度情報をオプティカルフロー算出部３４ｄに出力する。

オプティカルフロー算出部３４ｄの導出過程について、実施の形態２におけるオプティカルフロー算出部３４ｂの導出過程と同様であるため、図１５を参照して説明する。図１５は、速度センサ１４及びヨーレートセンサ１５によりそれぞれ出力された速度情報及び回転速度情報に基づいて導出されるオプティカルフローの算出過程を説明する図面である。図１５（ａ）において、１５１は仮想カメラであり、１５２は前景の任意の領域１５６が点Ｐ（Ｘ_０、Ｙ_０、Ｚ_０）から点Ｑ（Ｘ_１、Ｙ_１、Ｚ_１）へ移動した際の移動ベクトルである。図１５（ｂ）において、１５３は移動ベクトル１５２を仮想カメラ１５１の視点で見たときに分解した直進成分、１５４は移動ベクトル１５２を仮想カメラ１５１の視点で見たときに分解した回転成分である。図１５（ｃ）において、１５５は前景の任意の領域１５６の移動が仮想カメラ１５１により投影された像のオプティカルフローのベクトルである。

図１５（ａ）に示すように、自車両５の走行中に、点Ｐ（Ｘ_０、Ｙ_０、Ｚ_０）の座標に位置していた前景の任意の領域１５６が、所定の時間Δｔの後に、点Ｑ（Ｘ_１、Ｙ_１、Ｚ_１）に移動した場合について説明する。自車両５の走行方向の前方を向いた仮想カメラ１５１を考え、当該仮想カメラ１５１の撮像面に対して導出されるオプティカルフローを考える。第３の実施形態における図９に示す座標系と同様の仮想カメラ１５１の座標系を考え、ある仮想カメラ１５１における画像の撮像時刻の自車両５の速度をａ、角速度である回転速度をωとし、前方視野内の任意の点Ｐ（Ｘ_０、Ｙ_０、Ｚ_０）に位置する任意の領域１５６が、時間Δｔ後に任意の点Ｑ（Ｘ_１、Ｙ_１、Ｚ_１）に移動したとすれば、点Ｐから点Ｑへの移動ベクトル１５２は、速度方向の直進成分１５３と仮想カメラ１５１を中心とした回転成分１５４の和と見做すことができる。このため、点Ｐと点Ｑの間には、実施の形態２において示した数式（９）、数式（１０）及び数式（１１）が成立する。

数式（９）と数式（１１）とを数式（５）に代入し、また、数式（９）と数式（１１）とを数式（６）に代入することで、オプティカルフローのベクトル１５５を算出することが可能である。このようにして算出したオプティカルフローのベクトル１５５により、第３の実施形態と同様に、車載情報画像に対する運動効果を決定することが可能である。

以上のように、第４の実施形態に係る情報表示装置である車載情報表示装置３０ｄでは、自車両５の周囲の所定の検出範囲７に車載情報の画像の対象となる歩行者１等の存在が検出される。この検出により生成された検出情報の中に車載情報の画像の対象がある場合には、自車両５のオプティカルフローが算出されることにより当該車載情報の画像に対する運動効果が決定される。自車両５のオプティカルフローは、速度センサ１４及びヨーレートセンサ１５により出力された値に基づいて導出される。この決定された運動効果が車載情報の画像に付与された車載情報の画像が自車両５の表示部９０に表示される。

従って、第４の実施形態に係る情報表示装置である車載情報表示装置３０ｄは、車両の走行状態に影響を受けず、運転者が煩わしさを感じずに気付き易く車載情報を表示することができる。また、第４の実施形態の車載情報表示装置３０ｄは、予め設定された対象車載情報２８００に基づいて、車両の周囲に運転者に対して通知させる必要のある車載情報の対象が見つかるか否かを高精度に判定することができる。また、導出されたオプティカルフローの水平成分及び鉛直成分の絶対値により、車両が直進している場合又は回転している場合のいずれであるのかを高精度に判定することができる。また、車両に備え付けられている速度センサ１４及びヨーレートセンサ１５等により出力された速度情報及び回転速度情報に基づいて、車両の走行方向のオプティカルフローを算出することができる。また、運転者は、車載情報の画像の表示する軌道が予測し易くなり、当該画像の表示に気付いた後でさえ表示内容を容易に理解することができる。また、導出されたオプティカルフローのベクトル主体成分と交差する方向に車載情報の画像が周期的に運動するため、運転者は、車載情報の画像の表示する軌道がより予測し易くなり、当該画像の表示に気付いた後でさえ表示内容を容易に理解することができる。また、導出されたオプティカルフローのベクトル主体成分と交差する方向に車載情報の画像が周期的に運動するため、運転者は、車載情報の画像の表示に気づいた後の視線の移動量を小さくすることができると共に、更に表示内容を容易に理解することができる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明の情報表示装置はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。例えば、前述した各実施形態は、適宜、組み合わせて構成することにより、車両の走行状態に影響を受けず、運転者が気付き易く、かつ運転者に煩わしさを与えにくい情報表示を実現することができる。

なお、速度センサ１４とヨーレートセンサ１５を用いた第４の実施形態では、カメラ８で撮影した画像がなくともオプティカルフローのベクトルを算出することができる。したがって、予め速度センサ１４の出力値とヨーレートセンサ１５の出力値の組み合わせに対するオプティカルフローのベクトルの水平成分であるｘ成分と、鉛直成分であるｙ成分と、当該ｘ成分及びｙ成分で形成される角度とを、図１６（ａ）に示すテーブルに予め記憶しておくことにより、当該テーブルに基づいてシンボル画像に対する運動効果の最適な運動方向を決定することができる。また、予めＨＵＤの重畳領域が重なる路面の位置座標が分かる場合には、当該位置座標をもパラメータとして含んだ図１６（ｂ）のテーブルに基づいてシンボル画像に対する運動効果の最適な運動方向を決定してもよい。図１６は、仮想カメラを用いた場合にオプティカルフローのベクトルの水平成分、鉛直成分のなす角度を求めるためのテーブルの一例を示す図である。同図（ａ）は、車速、角速度に対するオプティカルフローのベクトルの水平成分、鉛直成分のなす角度が関連付けられたテーブルを示す図である。同図（ｂ）は、ＨＵＤの重畳領域が重なる路面の位置座標、車速、角速度に対するオプティカルフローのベクトルの水平成分、鉛直成分のなす角度が関連付けられたテーブルである。

また、運転者の眼球位置を特定し、カメラ８を基準とした座標系から運転者の眼球位置（又は左右の眼球位置の中点）を基準とした座標系に座標変換を行うことにより、運転者視点のオプティカルフローを算出してもよい。図２４は、運転者の眼球位置を算出し、運転者の視点に応じたオプティカルフローを算出する情報表示システムのシステム構成を示す図である。運転者の眼球位置算出は、インカメラを用いた公知の測位技術を用いることにより可能である。また、画像の視点変換の技術も公知である。したがって、カメラ８で撮影した画像を運転者視点の画像に変換し、変換後の画像の中でＨＵＤの表示領域と重なる部分のオプティカルフローを算出することが可能である。

更に、運転席のシートの位置及び角度を考慮してもよい。運転席のシートの位置及び角度によって、運転者から見たＨＵＤの表示位置の背景（重畳領域）も変化する。したがって、シートの位置及び角度で決まる運転者の眼球位置を予めテーブルとして記録しておけば、シートの位置及び角度に連動して運転者の眼球位置が定まり、更にその眼球位置から見たＨＵＤの表示領域の先にある路面上の位置のオプティカルフローのベクトルも算出することが可能である。

また、運転者に見やすいようにＨＵＤの表示位置を手動又は自動で調整することも可能である。この場合に、図１７に示すように、ＨＵＤの表示位置（設定位置）と、その表示位置を運転者から見たときの背景となる路面上の位置の関係を予めテーブルとして記録しておくことによって、ＨＵＤの表示位置が決まった時に当該テーブルに基づいてオプティカルフローのベクトルを算出することもできる。図１７は、ＨＵＤの重畳領域が重なる路面の位置座標を設定するためのテーブルの一例を示す図である。

具体的には、例えば自車両５が直進している場合でも、表示位置の背景となる路面上の位置がより遠い場合にはオプティカルフローのベクトルの大きさが小さく、より近い場合にはベクトルの大きさが大きくなる。車両が右折又は左折しているときにも、直進時とはオプティカルフローのベクトルの方向が異なるが、ベクトルの大きさについては同様である。

また、前述した各実施形態においては、仮想カメラ１５１を含むカメラ８の光軸をＺ軸と平行であるとして説明したが、カメラ８は俯角を持っても良い。その場合にも幾何学的な関係から同様にオプティカルフローを算出することが可能である。

また、自車両５の走行中にセンサ６ａ〜６ｄ及びカメラ８が常時、動作を行っているものとして説明した。しかし、センサ６ａ〜６ｄ及びカメラ８の動作は所定の速度以上の場合にのみ動作するようにしても良い。所定の速度とは、例えば、時速５ｋｍ以上等である。また、センサ６ａ〜６ｄ及びカメラ８は、自車両５のエンジンの始動と同時に動作を開始しても良いし、運転者により予め設定された動作条件を満たす速度のときのみ、動作するように設定しても良い。

また、前述した各実施形態では歩行者１が検出された例を説明した。しかし、自転車や車両が検出された場合も同様に、シンボル画像管理テーブルに登録された検出対象種別であれば、シンボル画像が選択され、表示画像が表示される。また、自車両５と特定の種別の物体との距離が所定の条件を満たす場合にのみ、検出情報種別として選択されるようにしても構わない。所定の条件とは、例えば、「自車両５と特定の種別の物体との距離が１０［ｍ］以下」等である。また、センサ６ａ〜６ｄは、自車両５の右左折の動作を検出し、例えば、右折中の場合には当該自車両５の右側で検出された接近物体のみを検出することも可能である。

なお、前述した各実施形態では歩行者１や自転車、車両等を検出して注意喚起する安全運転支援のアプリケーションの例を説明した。しかし、カーナビゲーション装置に表示される右折時の経路案内表示画像（図１８）をシンボル画像として、経路案内アプリケーションに用いること等も可能である。図１８は、経路案内の画像の一例を示す図である。この場合には、例えば右左折地点が近付いたらシンボル画像を振動させることで、運転者に煩わしさを感じさせずに右左折地点の接近に早期に気付かせることができる。

更には、運転情報（計器の情報、車両異常警報の情報等）、運転支援情報（走行環境の情報、標識の情報、視覚を補強するための情報、死角の情報、障害物警告の情報、車線逸脱や交通違反、居眠り等の警報、推奨速度の情報等）、車内環境情報（時計、エアコン、マルチメディアの情報等）、ナビゲーション情報（経路案内の情報、経済走行支援の情報等）等の表示情報についても同様に適用可能である。

また、前述した各実施形態ではオプティカルフローによるシンボル画像に付加する運動効果を水平方向又は鉛直方向のどちらかに決定される方法を説明した。しかし、例えば運転者から見た上〜下、左〜右、右上〜左下、左上〜右下の４方向の中でオプティカルフローの方向に最も垂直に近い方向に運動効果を付加する等、シンボル画像の運動方向の選択肢を細分化してもよい。また、付加する運動効果の方向の選択肢を更に細分化し、例えば図９に示すように、オプティカルフローのベクトル１３２が前述したｘ成分の方向となす角度をθとし、当該θの値に基づいて、オプティカルフローのベクトルに対して最も垂直に近い方向に運動効果を付加してもよい。

また、前述した各実施形態では、図１９（ａ）に示すように、シンボル画像を単一の画像７０として運動効果が付加されるものとして説明した。しかし、これまでシンボル画像７０と捉えていた画像を、たとえば図１９（ｂ）に示すように、運転者に対して通知させる必要のある第１の画像７１と、運転者に対する誘目性及び視認性を高めるための第２の画像（背景画像）７２とから構成されてもよい。図１９は、表示部に表示される表示画像の一例を示す図である。同図（ａ）は、シンボル画像のみの画像である。同図（ｂ）は、シンボル画像と背景画像とで構成された画像である。この場合、第１の画像７１と第２の画像７２が同じ運動を行えば、運転者が気付けたとしても、第１の画像７１は運動しているため、運転者の視認性が低下する。したがって、表示制御部３７において、第２の画像７２のみを運動を付加し、第１の画像７１については運動効果を付加しないことにより、シンボル画像７０の視認性を高めることができる。

また、前述した各実施形態では、オプティカルフローの算出をカメラ８により撮影された画像から行う方法と、速度センサ１４及びヨーレートセンサ１５の各出力値を組み合わせて算出する方法について説明したが、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報やステアリング、ウィンカ、自車両５の走行状態に基づいてオプティカルフローを推定しても良い。

また、前述した各実施形態では、運転者個人の視覚特性を考慮していないが、視覚特性には年齢差、個人差がある。例えば、運転者の年齢情報取得手段、年齢別視覚特性情報テーブルを設ければ、年齢による視覚特性（例えば視力、視野範囲、分光視感度、色コントラスト感度、輝度コントラスト感度等）に基づいて、特定の年齢によって比較的画像が見え易くなるような色、大きさを決定し、誘目のための運動効果をシンボル画像に付加することも可能である。更には、予め運転者個人の視覚特性が把握できていれば、運転者個人の視覚特性データに基づき、且つ運転者の状態に応じた画像表示を行うことにより、より各運転者個人に適した、気付き易く、かつ煩わしさを感じにくい表示になる。

なお、シンボル画像に付加する運動効果を時間の経過に応じて変化させても良い。例えば、シンボル画像の表示開始時刻からの時間の経過に応じて、シンボル画像の運動の振幅を大きく、周期を短くする等、運動効果を徐々に激しくなるよう変化させて表示することも可能である。

また、前述した各実施形態では、運動の振幅や周期が自車両５の速度によらず一律であるが、速度センサ１４の出力値に応じて、例えば、自車両５の速度が大きくなるとシンボル画像の大きさを大きくし、又は当該シンボル画像に付加する運動効果の運動周期を短くする等、自車両５の速度に応じて当該シンボル画像の大きさ又は運動周期を変化させてもよい。

また、前述した各実施形態では、自車両５の車体の振動を考慮していないが、自車両５の車体の垂直方向の振動を検出することにより、自車両５の垂直方向の振動が大きい場合にはシンボル画像の振動の振幅を大きくすることも可能である。

また、第１の実施形態および及び第３の実施形態では、センサ６ａ〜６ｄ及びカメラ８を情報表示装置３０ａに含めていない構成であるが、センサ６ａ〜６ｄ及びカメラ８を情報表示装置３０ａに含めるようにしても良い。同様に、第２の実施形態および及び第４の実施形態では、速度センサ１４及びヨーレートセンサ１５を情報表示装置３０ｂに含めていない構成であるが、速度センサ１４及びヨーレートセンサ１５を情報表示装置３０ｂに含めるようにしても良い。また前述した各実施形態では、表示部９０は情報表示装置３０に含めていない構成として説明した。しかし、表示部９０を情報表示装置３０にそれぞれ含めるようにしても構わない。

なお、図２８に示したシンボル画像管理テーブル４０において、検出情報種別の形式はテキストデータであり、シンボル画像の形式はイメージデータであるが、これに限定されない。例えば、シンボル画像のイメージデータが他の記憶部に記憶されている場合、シンボル画像管理テーブル４０は、検出情報種別と、更に、当該シンボル画像の記憶されている他の記憶部へのアクセスする際のアドレス等を記憶していても良い。

また、自車両５を基準とした検出物体の相対位置や相対速度の情報を活用すれば、距離や速度に応じて、相対距離が小さいほど表示画像の表示サイズを大きく、相対速度が大きいほど表示画像の表示サイズを大きくする等、表示画像の大きさを変えることも可能である。例えば、図２０に示す表示倍率条件情報６０を記憶部３１に記憶させることにより、情報表示装置３０は、自車両５と歩行者１等との相対距離に応じて、シンボル画像の表示倍率を決定し、表示することができる。図２０では、自車両５と歩行者１等との相対距離が、Ａ［ｍ］未満の場合には、予め設定されている表示対象の画像の大きさの３倍の大きさで表示される。Ａ［ｍ］〜Ｂ［ｍ］の場合には、２．０倍の大きさで表示され、Ｂ［ｍ］〜Ｃ［ｍ］の場合には、１．０倍（通常の大きさ）で表示される。

また、例えば自車両５と検出対象との相対距離が短くなるにつれて緑→黄→赤のように色相の異なるシンボル画像を割り当てたり、相対距離が短くなるにつれて明度の高いシンボル画像を割り当てたり、相対距離が短くなるにつれて彩度の高いシンボル画像を割り当てたり、輝度の高いシンボル画像を割り当てたりすることも可能である。また、自車両５と検出対象との相対距離と相対速度の値から算出したＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）の値によって異なるシンボル画像を割り当てても良い。また、例えば左から近付く自転車には右向き自転車のシンボル画像、右から近付く自転車には左向き自転車のシンボル画像を割り当てる等、自車両５に対する検出対象の相対位置に応じて異なるシンボル画像を用いてもよい。

また、本発明では、検出された注意対象に基づいてシンボル画像を選択するものとしたが、取得したカメラ画像から注意対象の部分をトリミングし、シンボル画像の代わりにトリミングした注意対象の画像をＨＵＤ上に表示させてもよい。

また、本発明では、ＨＵＤによって表示画像をフロントガラス越しの背景に重畳表示させる例を示したが、運転者前方に設置された不透過の小型のディスプレイに表示画像を表示させてもよい。

なお、本出願は、２００９年１２月１０日出願の日本特許出願（特願２００９−２８０５５９）に基づくものであり、その内容はここに参照として取り込まれる。

本発明にかかる情報表示装置及び情報表示方法は、車両に搭載される安全運転支援システムの一部となる装置又は方法として有用である。また、カーナビゲーション装置の一部として組み込んで経路案内画像をシンボル画像として使用する等、経路案内アプリケーションに用いることも可能である。

１ 歩行者
５ 自車両
６ａ〜６ｄ センサ
７ 検出範囲
８、２４０１ カメラ
９ 撮影範囲
１０ａ〜１０ｅ 情報表示システム
１４ 速度センサ
１５ ヨーレートセンサ
２０、７０ シンボル画像
２１ 表示領域
２２ フロントガラス
２３ ルームミラー
３０ａ〜３０ｅ 情報表示装置
３１ 記憶部
３２ 注意対象検出部
３３ シンボル画像選択部
３４ａ〜３４ｅ オプティカルフロー算出部
３５ 運動効果決定部
３６ 表示画像生成部
３７ 表示制御部
４０ シンボル画像選択テーブル
５０ 運動効果決定テーブル
６０ 表示倍率条件情報
７１ 第１の画像
７２ 第２の画像
８０ 運転者
８１ ＨＵＤユニット
８２ ＨＵＤの射出光
８３ 視線
８４ 直線
８５ 路面
８６ 重畳領域
８７ 眼球位置
９０ 表示部
１１１、１２１、１３２、１５５ オプティカルフローのベクトル
１３１ レンズの中心
１３３ 移動ベクトル
１５１ 仮想カメラ
１５２ 移動ベクトル
１５３ 直進成分
１５４ 回転成分
１５６ 前景の任意の領域
２４０２ 眼球位置算出部
２４０３ 重畳領域算出部
２６０１ 表示対象検出部
２６０２ 表示画像選択部
２６０３ 画像生成部
２８００ 対象車載情報
２９００ 運動効果条件情報

Claims (11)

1. 車両周辺に存在する対象物を検出する第１のセンサを備える車両において用いられる情報表示装置であって、
   前記車両の前景のオプティカルフローのベクトル情報を算出するオプティカルフロー算出部と、
   前記オプティカルフローのベクトル情報において、ベクトルの水平成分の大きさがベクトルの鉛直成分の大きさより大きい場合には、前記第１のセンサによって検出された前記対象物に関するシンボル画像を表示する際に運転者に気付かせるための運動のパターンを示す第１の運動効果を決定し、前記ベクトルの水平成分の大きさが前記ベクトルの鉛直成分の大きさ以下である場合には、前記対象物に関するシンボル画像を表示する際に前記運転者に気付かせるための運動のパターンであって、前記第１の運動効果に対して垂直な方向の運動のパターンを示す第２の運動効果を決定する運動効果決定部と、
   前記対象物に関するシンボル画像を、決定された前記第１又は第２の運動効果に基づいて運動させて表示する表示部と、
   を備える情報表示装置。
2. 前記オプティカルフロー算出部は、前記車両に備えられた第１のカメラによって撮影された複数の前景画像に基づいて前記オプティカルフローのベクトル情報を算出する、
   請求項１に記載の情報表示装置。
3. 前記オプティカルフロー算出部は、前記車両に備えられた第２のセンサによって検出された速度情報及び回転速度情報に基づいて、前記前景のオプティカルフローのベクトル情報を算出する、
   請求項１に記載の情報表示装置。
4. 前記第１の運動効果は前記シンボル画像を鉛直方向に振動させる縦振動であり、前記第２の運動効果は前記シンボル画像を水平方向に振動させる横振動である、
   請求項１に記載の情報表示装置。
5. 決定された前記第１又は第２の運動効果は、前記シンボル画像を水平方向又は鉛直方向に運動させる振動方法であって、
   前記運動効果決定部は、前記オプティカルフローのベクトル情報に基づいて、前記シンボル画像の振動方法を決定する、
   請求項１に記載の情報表示装置。
6. 決定された前記第１又は第２の運動効果は、前記シンボル画像を水平方向又は鉛直方向に運動させる伸縮方法であって、
   前記運動効果決定部は、前記オプティカルフローのベクトル情報に基づいて、前記シンボル画像の伸縮方法を決定する、
   請求項１に記載の情報表示装置。
7. 注意対象である注意対象物を予め記憶する記憶部と、
   前記第１のセンサによって検出された前記対象物の情報と、前記記憶部に記憶された前記注意対象物の情報とを比較し、前記第１のセンサによって検出された対象物が前記記憶部に記憶された注意対象物であるか否かを判定する注意対象検出部と、
   前記注意対象検出部において、前記第１のセンサによって検出された対象物が前記注意対象物であると判定された場合に、前記第１のセンサによって検出された対象物に応じたシンボル画像を選択するシンボル画像選択部と、
   を更に備え、
   前記表示部は、前記運動効果決定部によって決定された前記運動効果に基づいて、前記シンボル画像を前記対象物に関する画像として表示する、
   請求項１に記載の情報表示装置。
8. 前記車両は、前記車両の運転者の画像を撮影する第２のカメラを更に備え、
   前記情報表示装置は、前記第２のカメラによって撮影された前記運転者の画像に基づいて、前記運転者の視線方向を検出する検出部を更に備え、
   前記運動効果決定部は、前記オプティカルフローのベクトル情報のうち、前記視線方向を含む所定の領域と前記前景との重畳領域に含まれるベクトル情報に基づいて、前記所定の画像の運動効果を決定する、
   請求項１に記載の情報表示装置。
9. 前記運動効果決定部は、前記オプティカルフローのベクトル情報において、ベクトルの大きさが所定の閾値以上である場合には、前記対象物に関する画像の運動効果を決定し、前記ベクトルの大きさが所定の閾値未満である場合には、前記対象物に関する画像の運動効果を付加しないことを決定する、
   請求項１に記載の情報表示装置。
10. 車両周辺に存在する対象物を検出する第１のセンサを備える車両における情報表示方法であって、
    オプティカルフロー算出部は、前記車両の前景のオプティカルフローのベクトル情報を算出し、
    運動効果決定部は、前記オプティカルフローのベクトル情報において、ベクトルの水平成分の大きさがベクトルの鉛直成分の大きさより大きい場合には、前記第１のセンサによって検出された前記対象物に関するシンボル画像を表示する際に運転者に気付かせるための運動のパターンを示す第１の運動効果を決定し、前記ベクトルの水平成分の大きさが前記ベクトルの鉛直成分の大きさ以下である場合には、前記対象物に関するシンボル画像を表示する際に前記運転者に気付かせるための運動のパターンであって、前記第１の運動効果に対して垂直な方向の運動のパターンを示す第２の運動効果を決定し、
    表示部は、前記対象物に関するシンボル画像を、決定された前記第１又は第２の運動効果に基づいて表示する、
    情報表示方法。
11. 車両周辺に存在する対象物を検出する第１のセンサを備える車両において用いられる情報表示装置であって、
    前記車両の前景のオプティカルフローのベクトル情報を算出するオプティカルフロー算出部と、
    前記オプティカルフローのベクトル情報において、ベクトルの大きさが所定の閾値以上である場合には、前記第１のセンサによって検出された前記対象物に関するシンボル画像を表示する際に運転者に気付かせるための運動のパターンを示す運動効果を決定し、前記ベクトルの大きさが所定の閾値未満である場合には、前記対象物に関する前記シンボル画像に対して前記運動効果を付加しないことを決定する運動効果決定部と、
    前記対象物に関するシンボル画像を、決定された前記運動効果に基づいて運動させて表示する表示部と、
    を備える情報表示装置。

Images