JPWO2015152304A1 - 運転支援装置、及び運転支援システム - Google Patents

Abstract

車両の周辺の状況を検知する検知手段と、前記検知手段の検知結果に基づき、車両の周辺の対象物を認識する認識手段と、前記認識手段により認識された前記対象物を解析する解析手段と、前記対象物について、前記解析手段の解析結果に基き、警戒すべき度合いを設定する設定手段と、前記対象物を車両の運手者に視認させるための画像を、前記設定手段により設定された度合いに基づき生成する生成手段と、前記生成手段により生成された画像を表示する表示手段と、を備える運転支援装置を提供する。

Description

関連出願の相互参照

本国際出願は、２０１４年３月３１日に日本国特許庁に出願された日本国特許出願第２０１４−７２４１９号に基づく優先権を主張するものであり、日本国特許出願第２０１４−７２４１９号の全内容を参照により本国際出願に援用する。

本発明は、車両の周辺の状況に応じた危険性を車両の運転者に報知する運転支援装置、及び運転支援システムに関する。

従来、車両の窓に、外の状況や風景を映写することのできる表示装置が知られている（例えば、特許文献１参照）。
この特許文献１に記載の表示装置は、車両の状態（位置や速度等）を観測する観測装置と、外の風景の画像情報を予め蓄積しておく蓄積装置とを備えており、観測装置により観測された車両の位置を表す情報に基づき、その観測された位置において車両の外に見えるであろう風景の画像情報を蓄積装置より取得し、その画像情報が表す画像を車両の窓に表示させる。

特開２００４−２０２２３号公報

しかしながら、上述したような従来の画像表示装置によれば、蓄積装置に予め蓄積された風景画像が車両の窓に表示されるだけである。即ち、車両の周辺の状況をリアルタイムに検出して、その状況について車両の運転者に通知することはできない。このため、運転者は、運転中に発生する危険性（例えば、車両の周辺の物体との衝突の危険性等）を認識することができない。

車両の周辺の状況に応じた危険性を車両の運転者に分かりやすく報知できることが望ましい。

本発明の第１局面の運転支援装置は、車両の周辺の状況を検知する検知手段と、前記検知手段の検知結果に基づき、車両の周辺の対象物を認識する認識手段と、前記認識手段により認識された前記対象物を解析する解析手段と、前記対象物について、前記解析手段の解析結果に基き、警戒すべき度合いを設定する設定手段と、前記対象物を車両の運手者に視認させるための画像を、前記設定手段により設定された度合いに基づき生成する生成手段と、前記生成手段により生成された画像を表示する表示手段と、を備える。

なお、「解析」とは、対象物の種類及び状態等を、各種分析により判断、決定、又は推定などする趣旨である。
このような運転支援装置によれば、車両の周辺の対象物の種類及び状態等に応じて、対象物毎に警戒すべき度合い（以下、警戒レベルとも称する）が設定され、その警戒レベルに応じた画像が表示されるようになる。このため、車両の運転者は、対象物の種類及び状態等に応じて、どの程度警戒すべきか（警戒したら良いか）を把握することができるようになる。

これにより、車両を適切に運転できるようになる。例えば、対象物について、警戒レベルが高いことを示す画像が表示された場合には、危険回避のために減速したり、所定のハンドル操作を行ったりすることができるようになることが考えられる。なお、「危険」とは、衝突の危険性などを言う。

また、生成手段は、対象物を車両の運手者に視認させるための画像として、次のような画像を生成しても良い。
・対象物を囲む画像
・対象物を指し示す画像（例えば、矢印の画像）
・対象物を模式的に表す画像（対象物のイラストの画像など）
・対象物の存在を知らせるメッセージの画像
上記のような画像は、単独で又は組み合わされて、表示手段により表示されても良い。

これによれば、運転者は、対象物の存在を容易に認識し得るようになる。
また、組み合わされて表示される場合には、複数の画像が同時に表示されても良いし、時間差をもって表示されても良い。時間差をもって表示される場合、具体的には、ある画像が表示されてから所定時間後に、次の画像が表示されても良い。例えば、対象物を囲む画像が表示されてから所定時間後に、その対象物を指し示す矢印の画像が表示されても良い。

一例では、対象物が検出された段階で、まず、その対象物を囲む画像が表示され、その後、自車両からその対象物までの距離が所定の距離以下になった段階で、その対象物を指し示す矢印の画像が表示されても良い。このような態様によれば、運転者に対し、対象物を認識しやすくなるように継続してサポートすることができる。

また、運転支援装置は、前記認識手段により認識された対象物が人であるか否かを判定する判定手段と、前記人の状態を示す象徴記号の画像データを記憶する記憶手段と、を備え、前記解析手段は、前記対象物のうち、前記判定手段により人であると判定された対象物の状態を解析し、前記生成手段は、前記解析手段の解析結果に基き、その解析結果を示す記号であって前記人の状態を示す象徴記号に対応する画像データを前記記憶手段から読み出す読出手段を備え、前記表示手段は、前記読出手段により前記象徴記号の画像データが読み出されると、その画像データが表す象徴記号を表示する、ように構成されても良い。

これによれば、特に対象物が人である場合について画像が表示され得るようになり、運転の安全性を高めることに、より一層寄与できるようになる。また、人の状態に応じてその状態を示す象徴記号が表示されることで、運転者は、車両の周囲の人の状態を認識できるようになる。このため、運転者は、車両の周囲の人の状態を考慮した適切な運転を行うことができるようになる。

また、運転支援装置は、前記車両の運転者の視線を検出する視線検出手段と、前記表示手段が表示した画像のうち、前記運転者が認識した画像を、前記視線検出手段の検出結果である、前記運転者の視線の移動状態から識別する識別手段と、前記識別手段により前記運転者が認識したと識別された画像を消去する消去手段と、を備えても良い。

これによれば、運転者が対象物を認識すると、その対象物を視認させるための画像が消去されるようにすることができる。よって、運転者が画像を認識した（換言すれば、対象物の存在及び状態を認識した）にもかかわらず画像が表示され続けること（換言すれば、運転者への警告がなされ続けること）を回避することができる。

一方、運転者が認識していない画像は継続して表示され、その部分では警告は継続される。このため、運転の安全性を高めるという効果は失われない。これによれば、使い勝手と運転支援の効果とを高いレベルで両立させることができる。

また、一例では、運転支援装置は、検知手段として少なくとも１つの撮像装置を備えても良い。撮像装置により車両の周囲の画像を撮像するようにすれば、画像解析により、車両の周囲の対象物の種類及び状態等をより詳細に解析することができる。しかも、画像解析の手法は種々知られており、従来の手法を用いて比較的容易に解析を行うことができる。

検知手段が撮像装置を複数備える場合には、運転支援装置（又は検知手段）は、各撮像装置の撮像画像を比較して、比較結果に基き採用する撮像画像を選択するように構成されても良い。また、各撮像画像のデータから、精度が高い部分（ノイズ成分等が少ない部分）を抽出し、そのような部分同士を統合して１つのデータを生成するように構成されても良い。これによれば、画像解析の精度をより高めることができる。ひいては、車両の周囲の状況の検知及び把握を高いレベルで実現することができる。

また、検知手段は、複数（具体的には２台）の撮像装置を用いて視差（像の位置及び視方向の差異）を再現し、視差に基づき対象物の立体情報（具体的には奥行き情報）を取得しても良い。これによれば、運転支援装置は、対象物の立体情報に基づき、警戒レベルを設定することもできる。また、一例では、運転支援装置は、対象物の立体画像（３Ｄ画像）を表示するようにしても良い。この場合、表示手段が、検知手段の検知結果（立体情報）に基いて対象物の立体画像（３Ｄ画像）を表示するように構成されても良い。

また、運転支援装置（又は検知手段）は、撮像装置の視野において重複している複数の対象物を、各対象物の立体情報（奥行き情報）から識別するように構成されても良い。例えば、認識手段が、各対象物の立体情報（奥行き情報）から、重複している複数の対象物を別個の対象物として認識するように構成されても良い。

ここで、撮像装置から見て、同一方向に存在して一部が重なって見える複数の対象物については、２次元情報に基づく画像解析のみでは１個の同一の対象物と認識されてしまう。一方、立体情報（奥行き情報）に基づけばそのような複数の対象物を、別個の対象物として識別し得る。

この場合、生成手段は、一部が重複する複数の対象物のそれぞれについて、運手者に視認させるための画像を生成するように構成されても良い。この場合、画像の態様を変えることで、複数の対象物のそれぞれが認識されやすくなるようにしても良い。

上記の構成によれば、運転者に、車両の周囲の状況をより正確に報知できるようになる。また、運転者が車両の周囲の状況をより簡単に把握できるようになる。例えば、運転者にとって、対象物の陰に隠れている別個の対象物を認識することがより容易となり得る。

次に、解析手段は、対象物が、自車両（運転支援装置が搭載される車両）の走行ルート上に存在するか否かを解析するように構成されても良い。具体的には、検知手段及び認識手段により道路が認識されるものとし、解析手段は、対象物がその道路上に存在するか否かを解析しても良い。また、車両の運動状態等から車両の進路が推定される場合には、その進路上に対象物が存在するか否かを解析しても良い。

この場合、設定手段は、走行ルート上に存在する対象物については警戒レベルを相対的に高く設定しても良い。一方、走行ルート上に存在しない対象物については、警戒レベルを相対的に低く設定しても良い。

また、解析手段は、自車両から対象物までの距離を解析するように構成されても良い。
例えば、検知手段の検知結果等に基き解析することができる。一例では、検知手段としての撮像装置の撮像画像を画像解析することによって距離を算出することができる。また、検知手段が距離センサを含むものであれば、距離センサの出力結果（出力信号）に基づき対象物までの距離を算出することができる。

この場合、設定手段は、自車両から対象物までの距離が相対的に小さい対象物については、警戒レベルを相対的に高く設定しても良い。一方、自車両から対象物までの距離が相対的に大きい対象物については、警戒レベルを相対的に低く設定しても良い。

また、解析手段は、対象物が人である場合に、その人が携帯電話、スマートフォン、又はタブレット等の携帯端末を所持しているか否かを解析するように構成されても良い。具体的には、検知手段としての撮像装置の撮像画像を画像解析しても良い。例えば、携帯端末の動作中においてはディスプレイ部分の輝度が明るくなり、画像解析においてはそのディスプレイの境界がエッジとして検出され得る。このようなエッジ検出によりディスプレイを認識できることに基づき、携帯端末が動作中であるか否か（携帯端末が存在するか否か）を解析するように構成されても良い。

また、解析手段は、人が携帯端末を操作中であるか否かを解析するように構成されても良い。解析としては、携帯端末が動作中であるか否か、人の体の部位の位置（特に手及び顔の位置）と携帯端末の位置との関係、顔の向き、携帯端末に対する両目の位置関係などを解析することが含まれても良い。そして、それらの解析に基づき、人が携帯端末を操作中であるか否かが判定されても良い。また、解析手段は、人が携帯端末にて通話中であるか否かを解析するように構成されても良い。

この場合、設定手段は、携帯端末を操作中である対象物、及び通話中である対象物については、警戒レベルを相対的に高く設定しても良い。一方、携帯端末を操作中でない対象物、及び通話中でない対象物については、警戒レベルを相対的に低く設定しても良い。

また、解析手段は、人が携帯端末を操作中であるという場合に、その人が自車両の存在を認識しているか否かを解析（又は推定）するように構成されても良い。例えば、人の顔の部分を解析し、両目を抽出できたならば、人が自車両の方向を向いていると判断して、その人は自車両の存在を認識していると判定しても良い。一方、両目を抽出できない場合には、人が自車両の方向を向いていないと判断して、その人は自車両の存在を認識していないと判定しても良い。

この場合、設定手段は、自車両の存在を認識していない対象物については、警戒レベルを相対的に高く設定するようにしても良い。
一方、設定手段は、自車両の存在を認識している対象物については、警戒レベルを相対的に低く設定しても良い。また、警戒レベルを下げても良い。

また、解析手段は、運転支援装置が人に対して警報を発した後のその人の反応を解析して、人が自車両の存在を認識しているか否か（換言すれば、自車両の存在に気付いたか否か）を解析するように構成されても良い。例えば、前述のように両目を抽出することを行っても良い。また、顔の動きを解析しても良い。例えば、人の顔が自車両側を向いたことを検出できた場合、人が自車両の存在に気付いたと判定しても良い。

また、解析手段は、顔認識技術を用いて、人の性別、年齢を解析するように構成されても良い。
また、解析手段は、人がヘッドフォンを使用しているか否かを解析するように構成されても良い。また、解析手段は、人がヘッドフォンを使用しているという場合に、その人が自車両の存在を認識しているか否かを解析（又は推定）するように構成されても良い。

また、解析手段は、人が会話中であるか否かを解析するように構成されても良い。また、解析手段は、人が会話中であるという場合に、その人が自車両の存在を認識しているか否かを解析（又は推定）するように構成されても良い。

また、解析手段は、人の移動状態を解析するように構成されても良い。具体的には、人の移動方向を判定しても良い。また、人が自車両に近づいているか否か（換言すれば、遠ざかっているか否か）を解析するように構成されても良い。

この場合、生成手段は、移動方向を表す画像を生成するように構成されても良い。
さらに、解析手段は、人の移動速度を算出しても良い。
この場合、生成手段は、人の移動速度を表す画像を生成するように構成されても良い。

また、解析手段は、人の大きさ（具体的には、身長）に基づき、人が子供であるか大人であるかを判定しても良い。具体的には、中学生以下か否か、又は小学生以下か否か、を判定しても良く、この判定には、統計データとして公表されている、所定の年齢の平均身長を閾値として利用しても良い。

設定手段は、人が子供である場合には、警戒レベルを相対的に高く設定しても良い。
なお、他の局面では、本発明は、上述の運転支援装置を備えるシステム（運転支援システム）であっても良い。

また、他の局面では、本発明は、車両の周辺の状況を検知する検知手段と、前記検知手段の検知結果に基づき、車両の周辺の対象物を認識する認識手段と、前記認識手段により認識された前記対象物を解析する解析手段と、前記対象物について、前記解析手段の解析結果に基き、警戒すべき度合いを設定する設定手段と、前記対象物を車両の運手者に視認させるための画像を、前記設定手段により設定された度合いに基づき生成する生成手段と、前記生成手段により生成された画像を表示する表示手段と、を備える運転支援システムであっても良い。

そして、この運転支援システムは、上述の運転支援装置が備える構成と同様の構成を備えていても良い。

実施形態の運転支援装置の車両への適用例を示す図である。 第１実施形態の運転支援装置の構成を示すブロック図である。 制御ＥＣＵが実行する運手支援処理の流れを表すフローチャートである。 制御ＥＣＵが実行する抽出処理の流れを表すフローチャートである。 解析処理１の流れを表すフローチャートである。 解析処理２の流れを表すフローチャートである。 解析処理３の流れを表すフローチャートである。 解析処理４の流れを表すフローチャートである。 解析処理５の流れを表すフローチャートである。 解析処理６の流れを表すフローチャートである。 解析処理６のサブルーチンの流れを表すフローチャートである。 解析処理７の流れを表すフローチャートである。 車両認識判定処理の流れを表すフローチャートである。 表示データ生成処理の流れを表すフローチャートである。 強調画像生成処理の流れを表すフローチャートである。 表示処理の流れを表すフローチャートである。 表示例を示す図である。 表示例を示す図である。 表示例を示す図である。 表示例を示す図である。 第２実施形態の運転支援装置の構成を示すブロック図である。 認識処理（２）の流れを表すフローチャートである。 スクリーン判定処理の流れを表すフローチャートである。 解析処理８の流れを表すフローチャートである。 表示処理（２）の流れを表すフローチャートである。 第２実施形態の運転支援装置の作用を説明する図である。 第３実施形態の運転支援装置の構成を示すブロック図である。 視線検出を説明する図である。 運転支援処理（２）の流れを表すフローチャートである。 補正判定処理の流れを表すフローチャートである。 表示補正処理の流れを表すフローチャートである。 認識判定処理（２）の流れを表すフローチャートである。 解析処理９の流れを表すフローチャートである。 変形例１を示す図である。 変形例２を示す図である。 変形例３を示す図である。 解析処理１０の流れを表すフローチャートである。 雨滴の検出を説明する図面である。 解析処理１１の流れを表すフローチャートである。 解析処理１２の流れを表すフローチャートである。 車両制御処理の流れを表すフローチャートである。 表示態様例を説明する図面である（１）。 表示態様例を説明する図面である（２）。 表示態様例を説明する図面である（３）。 表示態様例を説明する図面である（４）。

１，１００，１０１・・・運転支援装置、２・・・赤外線レーダ、３・・・ミリ派レーダ、４・・・赤外線カメラ、５・・・可視光カメラ、６・・・運動量検出ユニット、７・・・ヘッドアップディスプレイ（ＨＵＤ）、８・・・画像投影装置、９・・・スピーカユニット、１０・・・視線検出ユニット、１１・・・車車間通信ユニット、１２・・・車両位置センサ、２０・・・制御ＥＣＵ。

以下、本発明が適用された実施形態について、図面を用いて説明する。
＜第１実施形態＞
１．全体構成
図１に示すように、本第１実施形態の運転支援装置１は、赤外線レーダ２と、ミリ波レーダ３と、赤外線カメラ４と、可視光カメラ５と、運動量検出ユニット６と、ヘッドアップディスプレイ７と、スピーカユニット８と、制御ＥＣＵ２０と、を備える。

なお、図１においては、他に、画像投影装置９、視線検出ユニット１０、車車間通信ユニット１１、及び車両位置センサ１２が示されている。
以下、運転支援装置１が備える各構成について、図１及び図２に基づき説明する。

［赤外線レーダ］
赤外線レーダ２は、赤外線を用いて周辺の状況を探知する（換言すれば、対象物（以下、オブジェクト）の有無、及びそのオブジェクトまでの距離を検出する）レーダである。

図２に示すように、赤外線レーダ２は、赤外線送受光部２aと、信号処理部２ｂと、外部インタフェース２ｃとを備える。
赤外線レーダ２は、赤外線送受光部２aにて、赤外線を照射し、オブジェクトにて反射して返ってくる反射光を受光する。そして、信号処理部２ｂが、赤外線の照射時刻と反射光の受光時刻との時間差に基づき、オブジェクトまでの距離を算出する。算出された距離を表すデータは、外部インタフェース２ｃを介して制御ＥＣＵ２０に送信される。

赤外線レーダ２によって検出可能な距離は数十ｍ（例えば２０〜３０ｍ）程度までである。なお、赤外線レーダ２は、図１に示されるように、車両のフロント部の他、側部、及びリア部に設けられても良い。

［ミリ波レーダ］
ミリ波レーダ３は、ミリ波帯の電波を用いて周辺の状況を探知するレーダである。
図２に示すように、ミリ波レーダ３は、ミリ波送受信部３ａと、信号処理部３ｂと、外部インタフェース３ｃとを備える。

ミリ派レーダ３は、ミリ波送受信部３ａにて、ミリ波を照射し、オブジェクトにて反射して返ってくる反射波を受信する。そして、信号処理部３ｂが、ミリ波の照射時刻と反射波の受信時刻との時間差に基づき、オブジェクトまでの距離を算出する。算出された距離を表すデータは、外部インタフェース３ｃを介して制御ＥＣＵ２０に送信される。

ミリ波レーダ３によって検出可能な距離は１５０ｍ程度まで（ないしそれ以上）である。分解能としては数十ｃｍ〜１ｍ程度のものが知られている。
本第１実施形態では、前述の赤外線レーダ２にて近距離（数十ｍまで）のオブジェクトを検出し、ミリ波レーダ３にて遠距離（数十ｍ〜１５０ｍ程度（ないしそれ以上）まで）のオブジェクトを検出するように構成される。

［赤外線カメラ］
赤外線カメラ４は、物体から放出される赤外線を検出することで周辺の状況を探知するカメラである。

図２に示すように、赤外線カメラ４は、赤外線イメージセンサ４ａと、画像処理部４ｂと、外部インタフェース４ｃとを備える。
赤外線カメラ４は、赤外線イメージセンサ４ａにて、赤外領域の光（赤外線）を検出する。そして、画像処理部４ｂが、赤外線イメージセンサ４ａにて検出された赤外線の波長及び強度等を電気信号に変換し、その電気信号に基づき画像を生成する。生成された画像を表すデータは、外部インタフェース４ｃを介して制御ＥＣＵ２０に送信される。

この赤外線カメラ４は、物体から放出される赤外線を検出することで画像を形成することから、環境光（太陽光など）又はヘッドライト光が無い状態でもオブジェクトを検出することができる。したがって、夜間等においてもオブジェクトを検出し得る。

本第１実施形態では、図１，２に示されるように、赤外線カメラ４としては、異なる位置に配置された２つの赤外線カメラ４Ａ，４Ｂが設けられている。赤外線カメラ４Ａと赤外線カメラ４Ｂとにより、視差（像の位置及び視方向の差異）が再現される。そして、視差が、オブジェクトまでの距離と相関関係にあることに基づき、視差に応じてオブジェクトまでの距離を算出することが可能となる。

なお、以下、赤外線カメラ４と言った場合には、特段の説明がない限り赤外線カメラ４Ａ，４Ｂの両方を指すものとする。
［可視光カメラ］
可視光カメラ５は、環境光及びヘッドライト光の反射光を検出することで周辺の状況を探知するカメラである。

図２に示すように、可視光カメラ５は、撮像素子としてのＣＣＤイメージセンサ５ａと、画像処理部５ｂと、外部インタフェース５ｃとを備える。
可視光カメラ５は、ＣＣＤイメージセンサ５ａにて、光を検出し、検出した光の明暗を電荷の量に光電変換する。その電荷量のデータは画像処理部５ｂに転送される。画像処理部５ｂは、画素毎の電荷量のデータに基づき、色及び明暗を再現してカラー画像を生成する。生成された画像の情報は、外部インタフェース５ｃを介して制御ＥＣＵ２０に送信される。

本第１実施形態では、可視光カメラ５としては、異なる位置に配置された２つの可視光カメラ５Ａ，５Ｂが設けられている。可視光カメラ５Ａと可視光カメラ５Ｂとにより、視差が再現され、これにより立体的な画像が生成され得る。また、前述の赤外線カメラ４の場合と同様に、オブジェクトまでの距離を算出することが可能となる。

なお、以下、可視光カメラ５と言った場合には、特段の説明がない限り可視光カメラ５Ａ，５Ｂを指すものとする。
［運動量検出ユニット］
運動量検出ユニット６は、自車両の運動量を検出するためのユニットであり、車速センサ６ａ、ヨーレートセンサ６ｂ及び操舵角センサ６ｃを備える。

具体的には、車速センサ６ａにて自車両の走行速度を検出し、ヨーレートセンサ６ｂにて自車両に作用するヨーレートを検出し、操舵角センサ６ｃにてステアリングホイールの操舵角を検出する。検出信号は、制御ＥＣＵ２０に送信される。

制御ＥＣＵ２０は、車速センサ６ａ、ヨーレートセンサ６ｂ及び操舵角センサ６ｃからの検出信号に基づき、自車両の運動量（進行方向及び変位量）を算出する。
［ヘッドアップディスプレイ］
ヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）７は、車両の窓（一例では、フロントウィンドウ）に、画像を重畳して表示する装置である。

ＨＵＤ７は、レーザプロジェクタ７ａを有し、制御ＥＣＵ２０からの信号に基づきそのレーザプロジェクタ７ａにて信号処理を行うとともに画像を生成し、ミラー及びレンズ等を含む光学ユニット７ｂを介してその画像を表示する。

画像は、フロントウィンドウを通して視認される車両外部の景色に重畳して、虚像面に結像される。虚像面は、フロントウィンドウよりも前方に形成され、これにより、車両の運転者にとっては、視認される景色の中に画像が表示されているように認識され得る。
［スピーカユニット］
スピーカユニット８は、制御ＥＣＵ２０による制御に基づき、車両の周辺に音（音声を含む）を発する装置である。

［制御ＥＣＵ］
制御ＥＣＵ２０は、ＣＰＵ２０ａ、ＲＯＭ２０ｂ、ＲＡＭ２０ｃ、フラッシュメモリ２０ｄ、及び通信インタフェース２０ｅ等を備える電子制御装置であり、各種処理を実行する。

２．運転支援装置１において実行される処理
［運転支援処理］
以下、運転支援装置１の制御ＥＣＵ２０が実行する処理の概要について図３を用いて説明する。

制御ＥＣＵ２０は、車両の走行中に、図３の運転支援処理を所定の周期で繰り返し実行する。これにより、運転支援装置１は、車両の周辺の環境を探知してオブジェクト（人、車両など）を認識し、オブジェクトの存在を車両の運転者に通知する（換言すれば、警告を行う）。

運転支援処理では、まず、Ｓ１００にて、運動量検出ユニット６から検出データを取得し、取得できた自車両の車速、ヨーレート及び操舵角に基づき、自車両の運動量を推定する。

次に、Ｓ１１０にて、赤外線レーダ２からの信号を取得する。
次に、Ｓ１１２に移行し、ミリ波レーダ３からの信号を取得する。
続くＳ１１４では、赤外線レーダ２からの信号及びミリ波レーダ３からの信号に基づき、探知範囲にオブジェクトが存在するか否かを判定する。

Ｓ１１４にてオブジェクトが存在しないと判定すると、Ｓ１１６に移行してオブジェクトが存在しない旨のログを記憶し、その後当該処理を終了する。このログは、フラッシュメモリ２０ｄに記憶されても良い。

Ｓ１１４にてオブジェクトが存在すると判定すると、Ｓ１１８に移行する。Ｓ１１８では、赤外線レーダ２の信号及びミリ波レーダ３の信号から得られる、オブジェクトまでの距離のデータに基づき、オブジェクトまでの距離が予め設定された閾値α以下であるか否かを判定する。

Ｓ１１８にてオブジェクトまでの距離が閾値α以下であると判定すると、Ｓ１２０に移行する。なお、閾値αは、衝突の危険性が生じるような値に適宜設定される。閾値αとしては、固定値が設定されても良い。或いは、前述のＳ１００において推定される自車両の運動量に基づき、その運動量にて走行する自車両との関係において衝突の危険性が生じると判断されるような値が、演算により算出されたうえで設定されても良い。

Ｓ１２０では、車両の運転者に対し警告する処理を実行する。具体的には、ＨＵＤ７を制御して、例えば車両のフロントウィンドウに重畳して警告表示する。警告表示としては、衝突の危険性があることを示すメッセージ又はシンボル等を表示しても良い。

続くＳ１２２では、オブジェクトとの衝突を回避するための衝突回避指令を、車両の動作を制御するＥＣＵ（図示省略）に送信する。具体的には、ブレーキ制御ＥＣＵ、操舵制御ＥＣＵ等に衝突回避指令を送信し、衝突を回避するためのブレーキ制御及び操舵制御を実行させる。その後、当該処理を終了する。

Ｓ１１８にてオブジェクトまでの距離が閾値α以下でないと判定すると、Ｓ１２４に移行する。
Ｓ１２４では、赤外線カメラ４から画像データを取得する。なお、この場合、赤外線カメラ４Ａ，４Ｂの何れかの画像データを取得しても良いし、両方を取得しても良い。両方を取得する場合には、２つの画像データの平均値を算出して利用しても良い。また、２つの画像データのそれぞれから、精度の高い部分（ノイズ等が少ない部分）を抽出してそれらを組み合わせたデータを生成して利用しても良い。

また、続くＳ１２６にて、可視光カメラ５から画像データを取得する。なお、この場合、可視光カメラ５Ａ，５Ｂの何れかの画像データを取得しても良いし、両方を取得しても良い。両方を取得する場合には、２つの画像データの平均値を算出して利用しても良い。また、２つの画像データのそれぞれから、精度の高い部分（ノイズ等が少ない部分）を抽出してそれらを組み合わせたデータを生成して利用しても良い。

続いて、Ｓ１２８にて、オブジェクトを認識及び解析する処理（以下、認識処理）を実行する。認識処理の詳細については後述する。
次に、Ｓ１３０にて、Ｓ１２８の認識処理の結果に基き車両の周辺のオブジェクトの情報を表示する表示処理を実行する。この処理は、換言すれば、オブジェクトの存在を、所定の画像の表示によって運転者に通知する処理である。表示処理の詳細については後述する。

［認識処理］
以下、Ｓ１２８の認識処理について、図４を用いて具体的に説明する。
制御ＥＣＵ２０は、Ｓ１２８の認識処理（図４の認識処理）を開始すると、まず、Ｓ１４０にて、赤外線カメラ４の画像データ及び可視光カメラ５の画像データから、それらのデータが表す画像の解析処理を行う。具体的には、画像を構成する画素毎に、その画素の輝度（明暗）を解析する処理を実行する。なお、赤外線カメラ４の画像データ及び可視光カメラ５の画像データについては、何れか一方が利用されても良いし、両方が利用されても良い。何れの画像データの場合も基本的には以下の処理フローが適用され得る。

Ｓ１４０の後はＳ１４２に移行し、画像中のエッジ（輝度（明暗）の変化量が所定の閾値より大きい箇所）を抽出する。これは、例えば人又は車両等と背景との境目では輝度の変化量が大きくなることを前提とした処理である。

続くＳ１４４では、Ｓ１４２で抽出したエッジの情報に基づき、同一のオブジェクトによって占有される領域の候補を設定する。例えば前述のように人又は車両等と背景との境目では輝度の変化量が大きいことが前提とされるものの、全ての境目において輝度の変化量が大きいとは限らず、エッジが途切れる場合もあり得る。本処理では、そのようなエッジの途切れを周辺のエッジのデータから認識しつつ、エッジによって確定される同一オブジェクトの範囲（領域）を設定（推定）する。

次に、Ｓ１４６に移行し、Ｓ１４４にて設定した領域について（より具体的には、推定したオブジェクトについて）、予め記憶するパターン及び過去の学習値（学習したパターン）とのパターンマッチングを行い、オブジェクトが何であるかを推定する。このパターンマッチングでは、人（自転車等に乗った人を含む）、車両、動物（ペット等）、及び設置物（ガードレール、標識、信号機、看板等）を認識することができる。

続くＳ１４８では、Ｓ１４６のパターンマッチングの結果に基き、抽出できたオブジェクトが人であるか否かを判定する。
Ｓ１４８にて、「その他」（ここでは、具体的には、人及び車両以外を指すものとする）であると判定すると、当該処理を終了する。これは、抽出されたオブジェクトのうち、「その他」に分類されるオブジェクトについては、さらなる解析を行わず、警告表示も行わないという趣旨である。なお、「その他」に分類されるオブジェクトについても運転者に通知する（表示する）ようにしても良い。

Ｓ１４８にて、車両であると判定すると、Ｓ１５０に移行する。Ｓ１５０では、抽出できた車両の情報を自車両の運転者に通知するか否か（警告するか否か）を判定する。
例えば、車両の情報を自車両の運転者に通知するか否かについては予め設定可能に構成されても良い。そして、Ｓ１５０では、その設定に基づき判定しても良い。また、車両と自車両との位置関係及び相対速度等を検出し、それらに基づき危険性を判断して、危険であると判断した場合に、警告すると判定するようにしても良い。

Ｓ１５０にて警告しないと判定すると、当該処理を終了する。
一方、Ｓ１５０にて警告すると判定すると、Ｓ１５６に移行し、車両について警告を行う旨を表すフラグ（車両警告フラグ）の設定を行う。その後、Ｓ１５４に移行する。

次に、Ｓ１４８にて、人であると判定すると、Ｓ１５２に移行する。
Ｓ１５２では、抽出された人の状況、状態等をさらに解析する解析処理を実行する。解析処理の詳細については後述する。

Ｓ１５２の後はＳ１５４に移行する。Ｓ１５４では、Ｓ１５２の解析処理の結果、及びＳ１５０の判定結果に基き、警告表示のデータを生成する。ここで生成されたデータは、Ｓ１３０における表示処理で用いられる。具体的には、Ｓ１３０では、Ｓ１５４で生成したデータをＨＵＤ７に送信し、ＨＵＤ７に警告画像を表示させる。

［解析処理］
以下、Ｓ１５２の解析処理について、図５〜図１３を用いて具体的に説明する。本第１実施形態では、図５〜図１２（及び図１３）の解析処理１〜７が、並行して又は所定の順で順次実行される。また、解析処理１〜７は、前述のＳ１４８で「人」であると認識されたオブジェクトのそれぞれについて実行される。

そして、解析処理１〜７では、解析結果に応じて、オブジェクト（人）に対する警戒レベルが設定される。警戒レベルとは、Ｓ１５４の処理において使用されるデータである。具体的には、車両の運転者に対してどのような態様で警告表示するかを決定するためのデータである。警戒レベルは数値で表され、数値が高くなるほど、車両の運転者がより認識しやすい態様で警告表示されるよう、表示データが生成されることとなる。

なお、Ｓ１５２の解析処理としては、図５〜図１２（及び図１３）の解析処理１〜７の少なくとも何れかが実行されれば良い。
［解析処理１］
図５の解析処理１は、オブジェクト（人）が存在する位置（箇所）を解析し、その位置に応じて警戒レベルを設定する処理である。

解析処理１では、まず、Ｓ１６０にて、前述のＳ１４８で人であると認識したオブジェクトについて、そのオブジェクト（人）が存在する位置を解析する処理を実行する。具体的には、赤外線カメラ４又は可視光カメラ５による撮像画像の画像解析により、自車両からの距離、及び他のオブジェクトとの相対位置等を解析する。自車両からの距離は、赤外線カメラ４Ａ，４Ｂの視差、又は可視光カメラ５Ａ，５Ｂの視差を用いて算出することができる。

ここで、前述のように、Ｓ１１０にて取得した赤外線レーダ２からの信号及びＳ１１２にて取得したミリ派レーダ３からの信号には、オブジェクトまでの距離の情報が含まれており、その情報を用いて、Ｓ１６０にて算出した距離を検算又は補正しても良い。

或いは、視差を用いることに代えて、Ｓ１１０，Ｓ１１２で取得した信号から距離を算出しても良い。
Ｓ１６０の後はＳ１６２に移行し、オブジェクト（人）が自車両の走行ルート上に存在するか否かを判定する。

なお、前述のＳ１６０の処理の段階において、画像解析により自車両が走行中である道路が認識されている。また、後述のＳ１７０の処理のため、歩道も加えて認識されていても良い。そしてＳ１６２では、加えて、Ｓ１００にて取得される自車両の運動量のデータに基き自車両の運動方向（進行方向）を推定する。そしてこれらの処理に基づき、オブジェクト（人）がその認識された道路上に存在しかつ推定した自車両の進行方向上に存在するか否かを判断することにより、そのオブジェクト（人）が走行ルート上に存在するか否かを判定する。

Ｓ１６２にて、オブジェクト（人）が自車両の走行ルート上に存在すると判定すると、Ｓ１６４に移行する。
Ｓ１６４では、オブジェクト（人）に対する警戒レベルの数値を３ポイントインクリメントする。その後、当該処理を終了する。なお、本第１実施形態では、警戒レベルの数値は、１〜３の範囲でインクリメントされる。インクリメントしない場合には、フローチャートにおいては、「＋０」と記載している。この値は一例であり、適宜、どのような値が設定されても良い。

警戒レベルの数値は、オブジェクト（人）と対応付けて、フラッシュメモリ２０ｄに記憶される。
Ｓ１６２にてオブジェクト（人）が自車両の走行ルート上に存在しないと判定すると、Ｓ１６６に移行する。

Ｓ１６６では、オブジェクト（人）が、自車両が走行中である道路上に存在するか否かを判定する。
Ｓ１６６にて、オブジェクト（人）が道路上に存在すると判定すると、Ｓ１６８に移行する。

Ｓ１６８では、警戒レベルを２ポイントインクリメントする。その後、当該処理を終了する。
Ｓ１６６にて、オブジェクト（人）が道路上に存在しないと判定すると、Ｓ１７０に移行する。

Ｓ１７０では、オブジェクト（人）が歩道上に存在するか否かを判定する。
Ｓ１７０にてオブジェクト（人）が歩道上に存在すると判定すると、警戒レベルを１ポイントインクリメントする。

一方、Ｓ１７０にてオブジェクト（人）が歩道上に存在しないと判定すると、オブジェクト（人）は乗物内又は屋内等（換言すれば、比較的安全と言える場所）に存在すると判断し、Ｓ１７４に移行して警戒レベルをインクリメントすることなく、当該処理を終了する。

［解析処理２］
解析処理２について図６を用いて説明する。
図６の解析処理２は、自車両からオブジェクト（人）までの距離を算出し、その算出した距離に応じて警戒レベルを設定する処理である。

解析処理２では、まず、Ｓ１８０にて、自車両からオブジェクト（人）までの距離を算出する。算出の手法については前述のとおりである。
次に、Ｓ１８２に移行し、Ｓ１８０にて算出した距離が所定の閾値β以下であるか否かを判定する。βの値は適宜設定され得る。

Ｓ１８２にて距離が所定の閾値β以下であると判定すると、危険度がより高いと判断して、Ｓ１８４に移行する。
Ｓ１８４では、警戒レベルを１ポイントインクリメントする。その後、当該処理を終了する。

一方、Ｓ１８２にて距離が所定の閾値β以下でないと判定すると、危険度がより低いと判断して、Ｓ１８６に移行し、警戒レベルをインクリメントすることなく、当該処理を終了する。

［解析処理３］
解析処理３について図７を用いて説明する。
図７の解析処理３は、オブジェクト（人）が携帯端末を携帯及び操作しているか否か（及び自車両を認識しているか否か）を解析し、その結果に基き警戒レベルを設定する処理である。

解析処理３では、まず、Ｓ１９０において、オブジェクト（人）が携帯端末を携帯（把持）しているか否かを判定する。携帯端末の有無（存在）については、前述のＳ１４０〜Ｓ１４６の処理における画像解析（パターンマッチング）にて認識する。特に、携帯端末が動作中である場合には、表示画面の部分の輝度（明暗）が高くなり比較的高い精度でのエッジ抽出が可能となる。この場合、パターンマッチングによる認識が容易となる。また、携帯端末が動作中でない場合でも、人の手に把持されている場合には、人の手との輝度（明暗）の差異に基づきエッジ抽出が可能となる。よって、何れにしても、パターンマッチングによる認識は可能である。

Ｓ１９０にて、オブジェクト（人）が携帯端末を携帯（把持）していないと判定すると、危険性は高くないと判断してＳ１９２に移行し、警戒レベルをインクリメントすることなく、当該処理を終了する。

一方、Ｓ１９０にて、オブジェクト（人）が携帯端末を携帯（把持）していると判定すると、Ｓ１９４に移行する。
Ｓ１９４では、携帯端末が動作中であるか否かを判定する。ここでは、画像解析（Ｓ１４０〜Ｓ１４６の処理）の結果に基き、携帯端末であると認識された領域における輝度（明暗）から、携帯端末が動作中であるか否かを判定する。これは、携帯端末が動作中である場合にその携帯端末における表示画面の部分の輝度（明暗）が高くなることを前提として判定を行う趣旨である。

Ｓ１９４において、携帯端末が動作中でないと判定すると、Ｓ１９６に移行する。
Ｓ１９６では、携帯端末は動作中でないもののオブジェクト（人）が携帯端末を把持しているという判定のもと、警戒レベルを１ポイントインクリメントする。そしてその後、当該処理を終了する。

一方、Ｓ１９４において携帯端末が動作中であると判定すると、Ｓ１９８に移行する。なお、Ｓ１９４の処理は省略されても良い。具体的には、Ｓ１９０にてオブジェクト（人）が携帯端末を携帯（把持）していると判定すると、Ｓ１９４の処理の処理を実行することなく、Ｓ１９８の処理に移行しても良い。

Ｓ１９８では、オブジェクト（人）が携帯端末の操作中であるか否かを判定する。ここでは、画像解析の結果に基き、携帯端末の位置、オブジェクト（人）における各部（手、顔）の位置、及び顔の向き等を解析してそれらの情報から総合的に判定する。

Ｓ１９８にて操作中でないと判定すると、Ｓ１９６に移行する。
一方、Ｓ１９８にて操作中であると判定すると、Ｓ２００に移行する。
Ｓ２００では、オブジェクト（人）が自車両の存在を認識しているか否かを判定する処理（以下、認識判定処理）を実行する。

図１３に、認識判定処理を示す。
Ｓ２００の認識判定処理（図１３の認識判定処理）では、まず、Ｓ４００にて、オブジェクト（人）における顔の領域を抽出する。

次に、Ｓ４０２に移行し、抽出した顔について、解析を行う。より具体的には、エッジ検出及びパターンマッチング等により「目」を抽出する。
そして、Ｓ４０４にて、両目を検出できた否かを判定する。

Ｓ４０４にて両目を検出できたと判定した場合には、自車両はオブジェクト（人）の視界の範囲内に存在する可能性が高いと判断し、この判断に基づき、オブジェクト（人）は自車両の存在を認識していると簡易判定して、Ｓ４０６に移行する。

Ｓ４０６では、オブジェクト（人）が自車両の存在を認識していることを示す認識フラグを設定する。そしてその後、当該処理を終了する。
一方、Ｓ４０４にて両目を検出できないと判定した場合には、自車両はオブジェクト（人）の視界の範囲内に存在しない可能性があると判断し、この判断に基づき、オブジェクト（人）は自車両の存在を認識していないと簡易判定して、Ｓ４０８に移行する。

Ｓ４０８では、オブジェクト（人）が自車両の存在を認識していないことを示す不認識フラグを設定する。そしてその後、当該処理を終了する。
Ｓ２００の認識判定処理（図１３の認識判定処理）の次は図７のＳ２０２に移行する。

Ｓ２０２では、Ｓ４０６で設定された認識フラグ、又はＳ４０８で設定された不認識フラグに基づいた判定処理（具体的には、オブジェクト（人）が自車両の存在を認識しているか否かの判定処理）を行う。

Ｓ２０２にて、オブジェクト（人）が自車両の存在を認識している（認識フラグが設定されている）と判定すると、Ｓ２０４に移行する。
Ｓ２０４では、オブジェクト（人）が自車両の存在を認識している一方で携帯端末を操作中であるという判断のもと、警戒レベルを２ポイントインクリメントする。そしてその後、当該処理を終了する。

一方、Ｓ２０２にて、オブジェクト（人）が自車両の存在を認識していない（不認識フラグが設定されている）と判定すると、Ｓ２０６に移行する。
Ｓ２０６では、オブジェクト（人）が携帯端末を操作しており自車両の存在を認識していないという判断のもと、警戒レベルを３ポイントインクリメントする。

続いて、Ｓ２０８に移行し、次に説明する警戒設定処理を行う。警戒設定処理とは、オブジェクト（人）が自車両の存在を認識していないことを運転者に通知（警告）するための画像表示を行う旨のフラグ、及びオブジェクト（人）への警報処理を行う旨のフラグを設定する処理である。このフラグは、対象のオブジェクト（人）と関連付けて記憶される。

警戒設定処理が実行されると、図４のＳ１５４において、オブジェクト（人）が自車両の存在を認識していないことを運転者に通知（警告）するための警告画像が生成され、その画像が、図３のＳ１３０の処理にて車両のフロントウィンドウに重畳表示されることとなる。加えて、別途の処理により、スピーカユニット８（図１，２参照）を介して、オブジェクト（人）に対して警報が発せられる。

Ｓ２０８の後は、当該処理を終了する。
［解析処理４］
解析処理４について、図８を用いて説明する。

図８の解析処理４は、オブジェクト（人）がヘッドフォンを使用中であるか否か（及び自車両を認識しているか否か）を解析し、その結果に基き警戒レベルを設定する処理である。

解析処理４では、まず、Ｓ２１０にて、オブジェクト（人）がヘッドフォン又はイヤフォン（以下、単にヘッドフォン）を使用しているか否かを判定する。ここでは、画像解析（Ｓ１４０〜Ｓ１４６の処理）の結果に基き判定する。

Ｓ２１０にて、オブジェクト（人）がヘッドフォンを使用していないと判定すると、危険性は低いと判断して、Ｓ２１２に移行し、警戒レベルをインクリメントすることなく、当該処理を終了する。

一方、Ｓ２１０にて、オブジェクト（人）がヘッドフォンを使用していると判定すると、Ｓ２００に移行し、その後Ｓ２０２に移行する。
Ｓ２００及びＳ２０２の処理は、図７において説明したＳ２００及びＳ２０２の処理と同一であり、ここでは説明を省略する。

Ｓ２０２にて、オブジェクト（人）が自車両の存在を認識している（認識フラグが設定されている）と判定すると、Ｓ２１８に移行する。
Ｓ２１８では、オブジェクト（人）が自車両の存在を認識している一方でヘッドフォンを使用しているという判断のもと、警戒レベルを１ポイントインクリメントする。そしてその後、当該処理を終了する。

一方、Ｓ２０２にて、オブジェクト（人）が自車両の存在を認識していない（不認識フラグが設定されている）と判定すると、Ｓ２２０に移行する。
Ｓ２２０では、オブジェクト（人）がヘッドフォンを使用しており自車両の存在を認識していないという判断のもと、警戒レベルを３ポイントインクリメントする。

次に、Ｓ２０８に移行する。このＳ２０８の処理は、図７のＳ２０８の処理と同一であり、ここでは説明を省略する。その後、当該処理を終了する。
［解析処理５］
解析処理５について、図９を用いて説明する。

図９の解析処理５は、オブジェクト（人）が会話中又は通話中であるか否か（及び自車両を認識しているか否か）を解析し、その結果に基き警戒レベルを設定する処理である。
解析処理５では、まず、Ｓ２３０にて、オブジェクト（人）が会話中又は通話中であるか否かを判定する。ここでは、画像解析（Ｓ１４０〜Ｓ１４６の処理）の結果に基き判定する。

Ｓ２３０にて、オブジェクト（人）が会話中又は通話中でないと判定すると、危険性は低いと判断して、Ｓ２３２に移行し、警戒レベルをインクリメントすることなく、当該処理を終了する。

一方、Ｓ２３０にて、オブジェクト（人）が会話中又は通話中であると判定すると、Ｓ２００に移行し、その後Ｓ２０２に移行する。
Ｓ２００及びＳ２０２の処理は、図７において説明したＳ２００及びＳ２０２の処理と同一であり、ここでは説明を省略する。

Ｓ２０２にて、オブジェクト（人）が自車両の存在を認識している（認識フラグが設定されている）と判定すると、Ｓ２３８に移行する。
Ｓ２３８では、オブジェクト（人）が自車両の存在を認識している一方で会話中又は通話中であるという判断のもと、警戒レベルを１ポイントインクリメントする。そしてその後、当該処理を終了する。

一方、Ｓ２０２にて、オブジェクト（人）が自車両の存在を認識していない（不認識フラグが設定されている）と判定すると、Ｓ２４０に移行する。
Ｓ２４０では、オブジェクト（人）が会話中又は通話中であり自車両の存在を認識していないという判断のもと、警戒レベルを３ポイントインクリメントする。

次に、Ｓ２０８に移行する。このＳ２０８の処理は、図７のＳ２０８の処理と同一であり、ここでは説明を省略する。その後、当該処理を終了する。
［解析処理６］
解析処理６について、図１０を用いて説明する。

図１０の解析処理６は、オブジェクト（人）の移動を解析し、その結果に基き警戒レベルを設定する処理である。
解析処理６では、まず、Ｓ２５０において、赤外線カメラ４又は可視光カメラ５から、画像データを再取得する。

次に、Ｓ２５２に移行し、運動量検出ユニット６から、自車両の運動量のデータを再取得する。
Ｓ２５０及びＳ２５２の処理は、オブジェクト（人）の動きを時系列に追跡するために実行される。

次に、Ｓ２５４にて、オブジェクト（人）に対して、複数の画像間（フレーム間）の追跡処理を実行する。具体的には、現画像（現フレーム）と、１つ過去の画像（フレーム）とにおいて、オブジェクト（人）の類似度を計算し、類似度が高いオブジェクト（人）同士は同一オブジェクト（人）である可能性が高いと判断して、同一のラベルを付与する。類似度の指標としては、領域のサイズ（面積）、輝度（明暗）、移動量等が用いられる。また、ここでは、自車両の運動量を考慮し、オブジェクト（人）のサイズ（面積）、及び移動量等が補正される。同一のラベルが付与されたオブジェクト（人）については、時系列に解析され、移動の有無及び移動方向等が計算される。

次に、Ｓ２５６に移行し、オブジェクト（人）の移動を解析可能か否かを判定する。換言すれば、再取得した画像データ及び運動量データは、オブジェクト（人）の移動を認識又は推定するのに十分であるか否かを判定する。

Ｓ２５６にて、解析不可（換言すれば、データは十分でない）と判定すると、再びＳ２５０（及びＳ２５２）に戻り、画像データ（及び運動量データ）を再取得する。さらに、Ｓ２５４にて追跡処理を行う。

一方、Ｓ２５６にて、解析可能と判断すると、Ｓ２５８に移行する。
Ｓ２５８では、Ｓ２５４の追跡処理の結果に基き、オブジェクト（人）が移動しているか否かを判定する。

Ｓ２５８にて、オブジェクト（人）が移動していないと判定すると、Ｓ２６０に移行し、警戒レベルをインクリメントすることなく、当該処理を終了する。
一方、Ｓ２５８にて、オブジェクト（人）が移動していると判定すると、Ｓ２８０のサブルーチン処理に入る。

図１１は、Ｓ２８０のサブルーチン処理の流れを表すフローチャートである。
Ｓ２８０のサブルーチン処理（図１１のサブルーチン処理）を開始すると、まず、Ｓ２８２にて、オブジェクト（人）の移動方向が自車両の移動方向と同一であるか否かを判定する。

Ｓ２８２にて移動方向が同一であると判定すると、オブジェクト（人）は自車両に背を向けて移動している（ひいては、オブジェクト（人）は自車両の存在に気付いていない可能性が高い）という判断のもと、Ｓ２８４に移行する。

Ｓ２８４では、警戒レベルを２ポイントインクリメントする。そしてその後、当該処理を終了する。
一方、Ｓ２８２にて、移動方向が同一でないと判定すると、自車両はオブジェクト（人）の視界の範囲内に存在する可能性が高い（ひいては、オブジェクト（人）は自車両の存在に気付いている可能性が高い）という判断のもと、Ｓ２８６に移行し、警戒レベルをインクリメントすることなく、その後当該処理を終了する。

Ｓ２８０のサブルーチン処理（図１１のサブルーチン処理）の次は、図１０のＳ２６２に移行する。
Ｓ２６２では、オブジェクト（人）が蛇行しているか否かを判定する。蛇行者については、飲酒によるふらつき、自転車の二人乗りによるふらつき等が警戒される。

Ｓ２６２にてオブジェクト（人）が蛇行していないと判定すると、蛇行していないものの移動しているという判断のもと、Ｓ２６４に移行し、警戒レベルを１ポイントインクリメントする。そしてその後、当該処理を終了する。

一方、Ｓ２６２にて、オブジェクト（人）が蛇行していると判定すると、Ｓ２６６に移行する。
Ｓ２６６では、オブジェクト（人）が自車両の走行ルートに近づいているか否かを判定する。

Ｓ２６６にて、オブジェクト（人）が自車両の走行ルートに近づいていないと判定すると、近づいてはいないものの蛇行しているという判断のもと、Ｓ２６８に移行し、警戒レベルを２ポイントインクリメントする。そしてその後、当該処理を終了する。

一方、オブジェクト（人）が自車両の走行ルートに近づいていると判定すると、Ｓ２７０に移行し、警戒レベルを３ポイントインクリメントする。
次に、Ｓ２７２に移行し、オブジェクト（人）の移動方向を示す画像を表示する旨のフラグを設定する。このフラグが設定されると、オブジェクト（人）の移動方向を示す画像が図４のＳ１５４の処理にて生成され、その画像が、図３のＳ１３０の処理にて表示されることとなる。この一連の処理は、オブジェクト（人）の移動方向を示す画像を表示することで車両の運転者により注意を促すことを趣旨として実行される。

［解析処理７］
解析処理７について、図１２を用いて説明する。
図１２の解析処理７は、オブジェクト（人）が子供であるか否かを簡易判定し、その結果に基き警戒レベルを設定する処理である。

解析処理７では、まず、Ｓ２９０にて、オブジェクト（人）の高さ（身長）が、所定の閾値Ｔａ以下であるか否かを判定する。閾値Ｔａとしては、判別したい年齢の人（子供）の平均身長が割り当てられても良い。

Ｓ２９０にて、閾値Ｔａ以下であると判定すると、オブジェクト（人）は子供であると判断して、Ｓ２９２に移行し、警戒レベルを２ポイントインクリメントする。そしてその後、当該処理を終了する。

一方、Ｓ２９０にて、閾値Ｔａ以下でないと判定すると、オブジェクト（人）は子供ではないと判断して、Ｓ２９４に移行し、警戒レベルをインクリメントすることなく、当該処理を終了する。

［表示データ生成処理］
次に、図４のＳ１５４の表示データ生成処理について、図１４を用いて説明する。
表示データ生成処理では、まず、Ｓ５００にて、図３のＳ１４０〜Ｓ１４８にて認識したオブジェクト（人又は車両）を抽出する。

次に、Ｓ５０２に移行し、オブジェクトのそれぞれ（具体的には、「人」と認識されたオブジェクトのそれぞれ）について、図５〜１３の処理で設定された警戒レベルを抽出する。

続くＳ５０４では、抽出した警戒レベルに応じて、オブジェクト（人）のそれぞれについて、そのオブジェクト（人）を強調するための画像を生成する処理（強調画像生成処理）を実行する。

強調画像生成処理について、図１５を用いて具体的に説明する。
Ｓ５０４の強調画像生成処理（図１５の強調画像生成処理）を開始すると、まず、Ｓ５２０にて、各オブジェクト（人）のそのオブジェクト領域に合わせて、その領域を囲む画像を生成する。オブジェクト領域を囲む画像としては、三角形、四角形、円、又は楕円など、適宜設定され得る。

オブジェクト領域に合わせた画像を生成することで、例えば立っているオブジェクト（人）については縦長の画像が生成され、例えば座っているオブジェクト（人）については縦横比がほぼ等しい画像が生成され得る。また、倒れているなどしているオブジェクト（人）については横長の画像が生成される。そのような画像が表示されることで、運転者は、オブジェクト（人）の状態（立っている状態、座っている状態、又は倒れている状態など）を、直感的に把握し得る。

次に、Ｓ５２２に移行し、前述のＳ５０２にて抽出した警戒レベルに応じて、Ｓ５２０にて生成した画像の表示態様の設定を行う。具体的には、枠の線の太さ、線の色などを設定する。また、点滅表示させるかどうかも設定される。

例えば、警戒レベルが高いほど、線の太さを太くしても良い。また、警戒レベルが高い場合、線の色を、運転者の注意をよりひきつける色（赤色、黄色、その他蛍光色など）に設定しても良い。また、警戒レベルが高い場合、画像が点滅表示されるように設定されても良い。

各オブジェクト（人）については、設定された警戒レベルのポイントに応じて、ポイントが高いグループ、中間のグループ、低いグループ、というように分類されても良い。そして、グループ毎に画像の表示態様が設定されても良い。

次に、Ｓ５２４にて、全てのオブジェクト（人）について画像を設定したか否かを判定する。
Ｓ５２４にて全てのオブジェクト（人）について画像を設定していない（未設定のオブジェクト（人）が存在する）と判定すると、Ｓ５２０（及びＳ５２２）の処理に戻る。

一方、Ｓ５２４にて全てのオブジェクト（人）について画像を設定したと判定すると、当該処理を終了する。
Ｓ５０４の強調画像生成処理（図１５の強調画像生成処理）を終了すると、図１４のＳ５０６に移行する。

Ｓ５０６では、車両について警告を行う旨のフラグ（以下、車両警告フラグ）が設定されているか否かを判定する。このフラグは、図４のＳ１５６の処理にて設定される。
Ｓ５０６にて、車両警告フラグが設定されていると判定すると、Ｓ５０８に移行し、対象のオブジェクト（車両）に対応付けて、そのオブジェクト（車両）を強調するための画像を生成する。具体的には、図４のＳ１４０〜Ｓ１４８の処理にて認識されたオブジェクト（車両）のそのオブジェクト領域を囲む画像を生成する。オブジェクト領域を囲む画像としては、三角形、四角形、円、又は楕円など、適宜設定され得る。Ｓ５０８の処理の後はＳ５１０に移行する。

また、Ｓ５０６にて車両警告フラグが設定されていないと判定した場合、Ｓ５１０に移行する。
Ｓ５１０では、オブジェクト（人）が自車両の存在を認識していないことを運転者に通知（警告）するための画像表示を行う旨のフラグ（以下、不認識通知フラグ）が設定されているか否かを判定する。このフラグは、図７〜９のＳ２０８の処理にて設定される。

Ｓ５１０にて、不認識通知フラグが設定されていると判定すると、Ｓ５１２に移行し、対象のオブジェクト（人）に対応付けて、運転者への警告画像を生成する。この警告画像は、オブジェクト（人）が自車両の存在を認識していないことを運転者に通知（警告）するための画像である。画像としては、シンボル等のマークに限られず、例えばメッセージであっても良い。或いは、オブジェクト（人）の顔の部分を囲む画像であっても良い。警告画像の色は、警告がより促されるような色（赤色、黄色、その他蛍光色等）であっても良い。Ｓ５１２の処理の後はＳ５１４に移行する。

また、Ｓ５１０にて不認識通知フラグが設定されていないと判定すると、Ｓ５１４に移行する。
Ｓ５１４では、オブジェクト（人）の移動方向を示す画像を表示する旨のフラグ（以下、移動表示フラグ）が設定されているか否かを判定する。このフラグは、図１０のＳ２７２の処理にて設定される。

Ｓ５１４にて移動表示フラグが設定されていると判定すると、Ｓ５１６に移行し、対象のオブジェクト（人）に対応付けて、そのオブジェクト（人）の移動方向を示す画像（例えば矢印のマーク）を生成する。次に、Ｓ５１８に移行する。

また、Ｓ５１４にて、移動表示フラグが設定されていないと判定すると、Ｓ５１８に移行する。
Ｓ５１８では、他にオブジェクトがあるか否か（強調するための画像を生成すべきオブジェクトがあるか否か）を判定する。

Ｓ５１８にてオブジェクトがあると判定すると、Ｓ５０２の処理に戻る。
一方、Ｓ５１８にてオブジェクトがないと判定すると、当該処理を終了する。
［表示処理］
次に、図３におけるＳ１３０の表示処理について、図１６を用いて説明する。

Ｓ１３０の表示処理（図１６の表示処理）を開始すると、まず、Ｓ５４０にて、ＨＵＤ７による表示位置及び結像位置を初期化して調整するためのアライメント調整信号を、ＨＵＤ７に送信する。これにより、ＨＵＤ７に、表示位置及び結像位置の調整（初期化）を実行させる。

次に、Ｓ５４２に移行し、Ｓ１５４の表示データ生成処理（図１４、図１５で示した表示データ生成処理）にて生成された画像を表す信号を、ＨＵＤ７に送信する。これにより、その画像を、ＨＵＤ７を介して車両のフロントウィンドウに重畳表示する。なお、画像を表す信号には、その画像が表示されるべき座標値（ＨＵＤ７による表示領域を基準とした座標値）のデータが含まれている。

具体的には、制御ＥＣＵ２０は、赤外線カメラ４及び可視光カメラ５の撮像領域を基準とした座標軸（以下、カメラ座標軸）の情報、及びＨＵＤ７による表示領域を基準とした座標軸（以下、ＨＵＤ座標軸）の情報の両方を有している。そして、赤外線カメラ４又は可視光カメラ５の画像解析により生成した画像が表示されるべき座標値（ＨＵＤ７によって表示されるべき位置を示す座標値）を、カメラ座標軸上における座標値からＨＵＤ座標軸上における座標値に変換することによって算出する。

Ｓ５４２の後はＳ５４４に移行し、追加の表示画像があるか否かを判定する。具体的には、Ｓ１５４の表示データ生成処理によって新たに画像が生成されたか否かを判定する。
Ｓ５４４にて追加の画像があると判定すると、再びＳ５４２の処理を実行する。

一方、Ｓ５４４にて追加の画像が存在しないと判定すると、当該処理を終了する。
３．本実施形態の作用
次に、本第１実施形態の作用（表示の態様の一例）について、図１７〜図２０を用いて説明する。

まず図１７の例について説明する。図１７の例では、人であるオブジェクトＨ、及び車両であるオブジェクトＶ０，Ｖ１，Ｖ２が抽出されて認識されている。
この例は、人及び車両の両方について、強調のための画像を重畳表示する例である。

具体的には、オブジェクトＨについて、そのオブジェクトＨを囲む楕円形の枠の画像（以下、単に枠とも称する）Ｗが表示されている。
また、オブジェクトＶ０，Ｖ１，Ｖ２について、そのオブジェクトＶ０，Ｖ１，Ｖ２を囲む楕円形の枠Ｘ０，Ｘ１，Ｘ２が表示されている。

枠Ｗと枠Ｘ０，Ｘ１，Ｘ２とは、表示態様が異なっても良い。例えば、図１７に示されるように、枠Ｗは実線にて表示され、枠Ｘ０，Ｘ１，Ｘ２は破線で表示される態様でも良い。

ここで、図１７においては、オブジェクトＶ０とオブジェクトＶ２とは、一部重複して見えている（オブジェクトＶ２の一部はオブジェクトＶ０の陰になっている）。
このような状況において、赤外線カメラ４Ａ，４Ｂの視差又は可視光カメラ５Ａ，５Ｂの視差に基づき、オブジェクトＶ０とオブジェクトＶ２とについて、立体情報（奥行き情報）から位置関係が把握されても良い。具体的には、制御ＥＣＵ２０は、立体情報（奥行き情報）に基づき、オブジェクトＶ０とオブジェクトＶ２とを同一のオブジェクトと認識するのではなく、異なる別個のオブジェクトと認識するように構成されている。

この場合、図１７に示すように、オブジェクトＶ０に対応する枠Ｘ０と、オブジェクトＶ２に対応する枠Ｘ２とが描画される。そして、枠Ｘ０と、枠Ｘ２とについても、立体情報（奥行き情報）が含まれていても良い。具体的には、図１７に示されるように、枠Ｘ２の一部がオブジェクトＶ０の陰に隠れるように、枠Ｘ２が表示されるように構成されても良い。

図１７において、図面右上にはモード表示領域Ｒが示されている。この領域は、強調のための画像を表示する対象（具体的には、対象のシンボルマーク）を表示する領域である。モード表示領域Ｒには、車両のシンボルＭｖと、人のシンボルＭｐとが示されている。これは、車両と人とについて、強調のための画像（図１７では、枠Ｗ、及び枠Ｘ０，Ｘ１，Ｘ２）を表示するモードであることを示している。

このように、運転支援装置１によれば、自車両の周辺のオブジェクト（人、他車両）等を検出し、検出できたオブジェクトを運転者に視認させるための画像（枠Ｗ）が、オブジェクトに関連つけて重畳表示される。このため、運転者にとって、オブジェクトの認識のし易さが向上する。

次に図１８Ａ，１８Ｂの例について説明する。図１８Ａ，１８Ｂの例では、図１８Ａに示されるように、４人が視認される。
運転支援装置１は、４人それぞれについて、画像解析により各人の状態を解析し、解析した状態に応じた警告画像を表示する。

図１８Ｂに示されるように、４人を、それぞれ、オブジェクトＨ１，Ｈ２，Ｈ３，Ｈ４として説明する。
まず、オブジェクトＨ１〜Ｈ４それぞれについて、強調のための枠Ｗ（Ｗ１，Ｗ２，Ｗ３，Ｗ４）が表示されている。枠Ｗは、オブジェクトＨ１〜Ｈ４の領域を囲むように生成されて表示されても良い。例えば、オブジェクトＨが立っている人であるという場合には、枠Ｗは縦長に生成されて表示されるように構成されても良い。また、オブジェクトＨが人であって何らかの理由で寝ている（倒れている）という場合には、枠Ｗは横長に生成されて表示されるように構成されても良い。また、オブジェクトＨが座っている人であるという場合には、枠Ｗの縦横比はおおよそ等しくなるように生成されて表示されるように構成されても良い。

枠Ｗ１〜Ｗ４の表示態様は、警戒レベルに応じて異なっている。
オブジェクトＨ１，Ｈ２は、自車両の走行ルート内に存在している。
特に、オブジェクトＨ１について、自車両からの距離が所定の閾値β以下であるとする。これにより、オブジェクトＨ１について、警戒レベルが相対的に高く設定されると、枠Ｗ１は、より強調されるような表示態様で表示される。例えば、枠Ｗ１は、二重の枠にて構成されても良い。また、蛍光色等のより目立つ色で表示されても良い。

オブジェクトＨ２について、自車両からの距離が所定の閾値βより大きいとする。これにより、オブジェクトＨ２について、警戒レベルが相対的に（オブジェクトＨ１と比較して）低く設定されると、枠Ｗ２は、枠Ｗ１との比較では強調度合いが抑えられても良い。枠Ｗ２は、例えば点滅表示されても良い。

また、オブジェクトＨ１，Ｈ２が会話中である場合、その状態は運転支援装置１により検出される。
運転支援装置１は、オブジェクトＨ１，Ｈ２が会話中であると判定すると、オブジェクトＨ１，Ｈ２に対応付けて、会話中であることを示す会話シンボルＭ１，Ｍ２を枠Ｗ１，Ｗ２の近辺に重畳表示しても良い。会話シンボルＭ１，Ｍ２のデータは、フラッシュメモリ２０ｄに記憶されている。なお、会話シンボルＭ１，Ｍ２のデータは、ＲＯＭ２０ｂに記憶されていても良い。後述の携帯端末シンボルＭ３、ヘッドフォンシンボルＭ４、不認識シンボルＭ１‘、及び認識シンボルＭ２‘についても同様である。

また、近辺とは、枠Ｗに対しての上下左右を問わず、枠Ｗに隣接する（又は接する）位置である。加えて、近辺といった場合には、枠Ｗの領域内であっても良い。例えば、会話シンボルＭ１，Ｍ２が枠Ｗ１，Ｗ２の領域内に重畳して表示されても良い。「近辺」の趣旨については、以下においても同様である。

また、オブジェクトＨ１が自車両の存在に気付いていないと判定すると、その旨を表す不認識シンボルＭ１‘を、オブジェクトＨ１に対応付けて枠Ｗ１の近辺に重畳表示しても良い。

一方、オブジェクトＨ２が自車両の存在を認識している（或いは自車両の存在に気付いた）と判定すると、その旨を表す認識シンボルＭ２‘を、オブジェクトＨ２に対応付けて枠Ｗ２の近辺に重畳表示しても良い。

さらに、オブジェクトＨ３が携帯端末ｈ３（オブジェクトｈ３）を操作中であると判定すると、その旨を表す携帯端末シンボルＭ３を、オブジェクトＨ３に対応付けて枠Ｗ３の近辺に重畳表示しても良い。

また、オブジェクトＨ４がヘッドフォンｈ４（オブジェクトｈ４）を使用中であると判定すると、その旨を表すヘッドフォンシンボルＭ４を、オブジェクトＨ４に対応付けて枠Ｗ４の近辺に表示しても良い。

加えて、運転支援装置１は、補助的な情報を表示する補助表示領域Ｐ１を設定しても良い。図１８Ｂに示されるように、例えば、補助表示領域Ｐ１には、抽出したオブジェクトの数（人数等）を表示しても良い。また、補助表示領域Ｐ１に表示される人数は、強調のための画像が表示されている人の数であっても良い。

この場合、強調のための画像を追加して表示した場合には、その追加に合わせて人数の数値をインクリメントして表示しても良い。一方、強調のための画像を消去した場合には、その消去に合わせて人数の数値をデクリメントして表示しても良い。また、人数は同一であるがオブジェクトが入れ替わったというような場合には、数値の点滅等によりその旨を通知しても良い。

シンボルＭ１〜Ｍ４，Ｍ１‘，Ｍ２’は、オブジェクトＨ１〜Ｈ４の状態の変化に応じて、消去又は変更されても良い。
このように、運転支援装置１によれば、オブジェクトが人である場合に、その人の状態を表す情報が表示されるため、運転者は、人の存在のみならず、その人の状態を認識できるようになる。このため、運転者にとって、車両の周囲の人の状態に応じた運転を実現することが可能となる。即ち、運転の安全性を向上させることに寄与することができる。

次に図１９の例について説明する。図１９の例では、４つのオブジェクトＨ５，Ｈ６，Ｈ７，Ｈ８が抽出されている。
オブジェクトＨ５，Ｈ６は横断歩道を歩行する歩行者であり、オブジェクトＨ７，Ｈ８は自転車の乗っている人である。

オブジェクトＨ５，Ｈ６，Ｈ７，Ｈ８は、それぞれ、強調のために枠Ｗ５，Ｗ６，Ｗ７，枠８にて囲まれている。
Ｗ５，Ｗ６，Ｗ７，枠８の表示態様は、例えば、自車両からオブジェクトＨ５，Ｈ６，Ｈ７，Ｈ８までの各距離に応じて異なっていても良い。例えば、線の太さが異なっても良い。

図１９の例では、オブジェクトＨ５が自車両から最も近く、オブジェクトＨ５に対応する枠５が最も太い線で表示されている。一方、オブジェクトＨ８は自車両から最も遠く、オブジェクトＨ８に対応する枠８は最も細い線で表示されている。

加えて、図１９の例では、オブジェクトの進行方向を示す矢印の画像（以下、単に矢印とも称する）Ｙが、各オブジェクトＨに対応付けて表示されている。具体的には、矢印Ｙ５，Ｙ７は図面における右側に向かっており、オブジェクトＨ５，Ｈ７が右側に向かって進行していることを示す。また、矢印Ｙ６は図面における左側に向かっており、オブジェクトＨ６が左側に向かって進行していることを示す。また、矢印Ｙ８は自車両側に向かっており、オブジェクトＨ８が自車両に接近していることを示す。

また、矢印Ｙは、各オブジェクトＨの移動速度を示すものであっても良い。
具体的には、矢印Ｙの長さによって、移動速度の大小を示しても良い。例えば、図１９の例において、長さの比較が容易な矢印Ｙ５，Ｙ６，Ｙ７を対象とする。図１９では、矢印Ｙ７の長さが最も長く、オブジェクトＨ７の移動速度が最も大きいことが認識され得る。一方、矢印Ｙ６が最も短く、オブジェクトＨ６の移動速度が最も小さいことが認識され得る。矢印Ｙ５の長さは、矢印Ｙ７と矢印Ｙ６との中間であり、オブジェクトＨ５の移動速度はオブジェクトＨ７の移動速度とオブジェクトＨ６の移動速度との間であることが認識され得る。

また、矢印Ｙ５，Ｙ６，Ｙ７において示されるように、矢グラデーション部Ｇ５，Ｇ６，Ｇ７を描画し、そのグラデーション部の長さや密度等により移動速度の大小を示しても良い。

また、枠Ｗ（又はオブジェクトＨ）に対する矢印Ｙの位置によって、移動速度の大小を示しても良い。図１９の例において、枠Ｗ（又はオブジェクトＨ）に対する高さ方向の位置を比較できる矢印Ｙ５，Ｙ６，Ｙ７を対象とする。図１９では、矢印Ｙ７は、枠Ｗ７（及びオブジェクトＨ７）の、高さ方向の範囲においてより上方に示されている。矢印Ｙ５は、枠Ｗ５（及びオブジェクトＨ５）の、高さ方向の範囲において、中間あたりに示されている。矢印Ｙ６は、枠Ｗ６（及びオブジェクトＨ６）の、高さ方向の範囲において、より下方に示されている。

このような関係において、オブジェクトＨとの関係でより上方に示されている矢印Ｙ７の位置（上下方向の位置）をもって、オブジェクトＨ７の移動速度が最も大きいことが示されても良い。また、オブジェクトＨとの関係でより下方に示されている矢印Ｙ６の位置（上下方向の位置）をもって、オブジェクトＨ６の移動速度が最も小さいことが示されても良い。また、オブジェクトＨとの関係で中間の位置に示されている矢印Ｙ５の位置（上下方向の位置）をもって、オブジェクトＨ５の移動速度がオブジェクトＨ７とオブジェクトＨ６との中間であることが示されても良い。

このように、運転支援装置１によれば、車両の周囲の人が移動している方向やその移動速度を表す情報が表示されるため、運転者にとって、人の動きを予測し易くなる。このため、運転の安全性を向上させることに寄与することができる。

次に、図２０の例について説明する。図２０の例は、夜間における表示例である。
図２０の例では、オブジェクトＨ９が抽出され認識されている。
そして、オブジェクトＨ９を強調するための枠Ｗ９が重畳表示されている。枠Ｗ９は、夜間において視認されやすいよう、ホワイト系の色、又は蛍光色にて描画されても良い。

枠Ｗ９の上部には、運転者の注意をひく効果をより高めるために、矢印シンボルＭ９が表示されている。矢印シンボルＭ９は、図１９の例とは異なり、オブジェクトＨ９の移動方向ではなくオブジェトＨ９側を向いてそのオブジェクトＨ９の存在を強めている。

換言すれば、矢印の方向に視線を移動させると自然にオブジェクトＨ９が視認されるように（視界の中心に来るように）、矢印シンボルＭ９は配置されている。
運転支援装置１は、オブジェクトＨ９を検出した段階で枠Ｗ９と矢印シンボルＭ９とを同時に表示するように構成されても良い。また、例えば、枠Ｗ９を表示して、所定時間経過した後に矢印シンボルＭ９を追加的に表示するように構成されても良い。後者の構成によれば、強調の効果をより高めることができる。

枠Ｗ９の左側にはさらに、注意シンボルＭ９‘が表示されている。注意シンボルＭ９‘も、矢印シンボルＭ９と同様に運転者の注意をひく効果をより高めるために表示され得る。

なお、注意シンボルＭ９‘（及び矢印シンボルＭ９）の表示位置は、背景との関係で認識しやすい位置であれば、どのような位置でも良い。例えば、図２０の例では、枠Ｗ９（及びオブジェクトＨ））に対して左下の領域Ｒａに表示されても良い。或いは、枠Ｗ９（及びオブジェクトＨ））に対して真下の領域Ｒｂに表示されても良い。好ましくは、背景において、輝度（明暗）にばらつきがない領域（換言すれば、輝度（明暗）が一定である領域）に表示されると良い。

また、図２０の例において、補助表示領域Ｐ２〜Ｐ４が設定されても良い。
補助表示領域Ｐ２には、オブジェクトＨ９を表すシンボルマークｈ９が表示されている。このようなシンボルマークを追加的に表示することにより、運転者の注意をよりひくことが可能となる。

また、枠Ｗ９、矢印シンボルＭ９、又は注意シンボルＭ９‘を表示することに代えて、補助表示領域Ｐ２にシンボルマークｈ９を表示するようにしても良い。このような態様（モード）については、運転者により操作される入力装置等により運転者が設定できるようにしても良い。

補助表示領域Ｐ３には、距離が表示されている。この距離は、自車両からオブジェクトＨ９までの距離を表す。
補助表示領域Ｐ４には、注意シンボルＭ９‘と同じシンボルであるシンボルｍ９が表示されている。注意シンボルＭ９‘とシンボルｍ９とは、連動して表示されても良い。例えば、注意シンボルＭ９‘が表示されると自動的にシンボルｍ９が表示されるようにしても良い。また、注意シンボルＭ９‘が消去されるとシンボルｍ９も消去されるようにしても良い。

このように、運転支援装置１によれば、運転者にとって視認性が低下する夜間等において、運転者が周囲の状況を視認することを適切にサポートすることができる。このため、夜間においても、運転の安全性を向上させることに寄与することができる。

本第１実施形態において、赤外線レーダ２，ミリ派レーダ３，赤外線カメラ４，及び可視光カメラ５が検知手段の一例に相当し、Ｓ１１４，Ｓ１２８，Ｓ１４０〜Ｓ１４８の処理が認識手段の一例に相当し、Ｓ１５２の処理が解析手段の一例に相当し、Ｓ１６４，Ｓ１６８，Ｓ１７２，Ｓ１７４，Ｓ１８４，Ｓ１８６，Ｓ１９２，Ｓ１９６，Ｓ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１２，Ｓ２１８，Ｓ２２０，Ｓ２３２，Ｓ２３８，Ｓ２４０，Ｓ２６０，Ｓ２６４，Ｓ２６８，Ｓ２７０，Ｓ２８４，Ｓ２８６，Ｓ２９２，Ｓ２９４，Ｓ６６０の処理が設定手段の一例に相当し、Ｓ１５４の処理が生成手段の一例に相当し、ＨＵＤ７及びＳ１３０の処理が表示手段の一例に相当する。

また、Ｓ１４８の処理が判定手段の一例に相当し、ＲＯＭ２０ｂ又はフラッシュメモリ２０ｄが記憶手段の一例に相当する。
また、会話シンボルＭ１，Ｍ２、携帯端末シンボルＭ３、及びヘッドフォンシンボルＭ４は、象徴記号の一例に相当する。

＜第２実施形態＞
本発明の第２実施形態について、図２１〜図２５を用いて説明する。
第２実施形態の運転支援装置１００（図２１参照）は、第１実施形態の運転支援装置１（図２参照）と比較して、画像投影装置９を備えている点が異なっている。

また、運転支援装置１００は、以下の点において、運転支援装置１と比較して異なっている。
まず、図４の認識処理に代えて、図２２の認識処理（２）を実行する。

また、図２４の解析処理８を実行する。
また、図３におけるＳ１３０の表示処理（図１６の表示処理）に代えて、図２５の表示処理（２）を実行する。

［画像投影装置］
画像投影装置９は、車両外部の環境における領域であって、スクリーンとして画像を投影し得る領域に画像を投影するための装置である。スクリーンとして画像を投影し得る領域は、赤外線カメラ４又は可視光カメラ５による撮像画像を解析することによって検出され得る。

画像投影装置９は、レーザプロジェクタ９ａを有し、制御ＥＣＵ２０からの信号に基づきそのレーザプロジェクタ９ａによって信号処理を行い（換言すれば、表示画像の信号を生成し）、ミラー及びレンズ等を含む光学ユニット９ｂを介して画像を投影する。

［認識処理（２）］
次に、運転支援装置１００が実行する認識処理（２）について、図２２を用いて説明する。

図２２の認識処理（２）は、図４の認識処理と比較して、Ｓ５５０のスクリーン判定処理が実行される点が異なっている。Ｓ１４０〜Ｓ１５６の処理については、図４の認識処理と同一であるため、ここでは説明を省略する。

図２２の認識処理（２）では、制御ＥＣＵ２０は、Ｓ１４８においてオブジェクトが「その他」であると判定すると、Ｓ５５０のスクリーン判定処理を実行する。
［スクリーン判定処理］
スクリーン判定処理の流れを図２３に示す。

スクリーン判定処理は、「その他」であると判定したオブジェクトの領域に画像を投影可能か否かを判定する処理である。
制御ＥＣＵ２０は、Ｓ５５０のスクリーン判定処理（図２３のスクリーン判定処理）を開始すると、まず、Ｓ５６０にて、オブジェクト領域の面積が所定の面積Ｓ以上であるか否かを判定する。この処理は、画像を投影するのに十分な領域（面積）を有するか否かを判定する趣旨の処理である。

Ｓ５６０にてオブジェクト領域の面積が所定の面積Ｓ以上でないと判定すると、投影不可と判断して、当該処理を終了する。
一方、Ｓ５６０にてオブジェクト領域の面積が所定の面積Ｓ以上であると判定すると、Ｓ５６２に移行する。

Ｓ５６２では、自車両からオブジェクトまでの距離が、画像を投影可能な距離か否かを判定する。
Ｓ５６２にて投影可能な距離でないと判定すると、当該処理を終了する。

一方、Ｓ５６２にて投影可能な距離であると判定すると、Ｓ５６４に移行する。
Ｓ５６４では、オブジェクト領域の面の平坦度を推定する処理（平坦度推定処理）を実行する。平坦度推定処理では、オブジェクト領域の画像解析を行い、そのオブジェクト領域の面の平坦度を推定する。

ここで、オブジェクト領域の面の凹凸度合いが大きいほど、画像の輝度（明暗）の差及びばらつきは大きくなる。一方、オブジェクト領域の面の凹凸度合いが小さいほど、画像の輝度（明暗）の差及びばらつきは小さくなる。このような特徴を前提に、平坦度の推定は、オブジェクト領域の画像の輝度（明暗）の差及びばらつきを解析することにより行う。

Ｓ５６４の次はＳ５６６に移行し、推定した平坦度が所定の閾値Ｆ以下であるか否かを判定する（なお、平坦度の値が小さいほどより平坦であるものとする）。
Ｓ５６６にて平坦度が所定の閾値Ｆ以下でないと判定すると、当該処理を終了する。

一方、Ｓ５６６にて平坦度が所定の閾値以下であると判定すると、Ｓ５６８に移行する。
Ｓ５６８では、オブジェクト領域の面の色を推定する処理（色推定処理）を実行する。色推定処理は、オブジェクト領域の面に画像を投影可能か否かを判断するために実行される。

ここでは、赤外線が照射される面の色によってその赤外線の吸収率が異なるという特徴を利用する。白い物体は赤外線の吸収率は相対的に低い（換言すれば、赤外線の反射率が相対的に高い。一方、黒い物体は赤外線の吸収率は相対的に高い（換言すれば、赤外線の反射率が相対的に低い）。

このような特徴を前提に、赤外線センサ２によって照射した赤外線の反射光の強度を、オブジェクトまでの距離を加味して解析することにより、オブジェクトにおける赤外線の吸収率を計算することができる。そして、その計算結果に基き、オブジェクトの色を推定することができる。

そこで、Ｓ５６８では、赤外線センサ２を用いて、前述の方法にてオブジェクト領域の面の色を推定する。
Ｓ５６８の次はＳ５７０に移行し、Ｓ５６８での推定結果に基き、オブジェクト領域の面の色が、画像を投影可能な色であるか否かを判定する。

Ｓ５７０にて投影可能でないと判定すると当該処理を終了する。
一方、Ｓ５７０にて投影可能であると判定すると、Ｓ５７２に移行する。
Ｓ５７２では、対象のオブジェクト領域について、スクリーンとして画像を投影可能であることを示すフラグ（投影可能フラグ）を設定する。

次にＳ５７４に移行し、その対象のオブジェクト領域の情報（座標、範囲、面積等の情報）を記憶する。その後、当該処理を終了する。
［解析処理８］
制御ＥＣＵ２０は、さらに、図２２におけるＳ１５２の解析処理のひとつとして、解析処理８を実行する。

図２４に解析処理８の流れを示す。
制御ＥＣＵ２０は、解析処理８を開始すると、まず、Ｓ５８０にて、抽出できた人及び車両の位置関係から、人が車両（他車両）の死角に存在するか否かを判定する。この判定では、他車両の進行方向、人及び他車両周辺のオブジェクト（障害物）等を抽出して、人が他車両の運転者の視界領域に存在するか否かを総合的に判断する。

Ｓ５８０にて、死角に存在しないと判定すると、当該処理を終了する。
一方、Ｓ５８０にて、死角に存在すると判定すると、Ｓ５８２に移行し、車両の外部環境に画像を投影する旨のフラグ（投影実行フラグ）を設定する。その後、当該処理を終了する。

［表示処理（２）］
次に、表示処理（２）について、図２５を用いて説明する。
図２５の表示処理（２）において、Ｓ５４０〜Ｓ５４４の処理は、図１６におけるＳ５４０〜Ｓ５４４の処理と同一であるため、ここでは説明を省略する。

表示処理（２）では、Ｓ５４４にて追加の表示画像が無いと判定すると、Ｓ５９０に移行する。
Ｓ５９０では、投影可能フラグ及び投影実行フラグが設定されているか否かを判定する。投影可能フラグは、前述のＳ５７２の処理（図２３参照）にて設定されるフラグである。投影実行フラグは、前述のＳ５８２の処理（図２４参照）にて設定されるフラグである。

Ｓ５９０にて投影可能フラグ及び投影実行フラグが設定されていると判定すると、Ｓ５９２に移行する。
Ｓ５９２では、前述のＳ５７４にて記憶した、スクリーンとして画像を投影可能であるオブジェクト領域の情報（具体的には、座標値、範囲、面積等の情報）を、画像投影装置９に送信する。

次に、Ｓ５９４に移行し、画像投影装置９に投影させる画像データをその画像投影装置９送信する。この画像データは、赤外線カメラ４の撮像画像のデータの一部又は全部、或いは可視光カメラ５の撮像画像のデータの一部又は全部であっても良い。また、Ｓ１５４の処理（図２２参照）で生成したデータが含まれていても良い。

このような図２５の処理（より具体的にはＳ５９０〜Ｓ５９４の処理）により、車両の周辺の環境における所定の領域（画像を投影可能な領域）に、画像投影装置９によって画像が投影され得る。

本第２実施形態の作用について、図２６を用いて説明する。
図２６においては、車両（自車両）Ｋ１に、運転支援装置１００が搭載されている。自車両Ｋ１の周辺には、他車両Ｋ２が存在する。また、オブジェクトＨ１０，Ｈ１１が存在する。

オブジェクトＨ１０は塀であり、オブジェクトＨ１１は人（ここでは、二人組）である。なお、図２６では、一方の人の頭頂部のみが視認できる。
他車両Ｋ２の方向からみて、オブジェクトＨ１１は、オブジェクトＨ１０の陰に隠れている。即ち、他車両Ｋ２の運転者からはオブジェクトＨ１０を視認できない位置関係が形成されている。

一方、自車両Ｋ１からは、オブジェクトＨ１１の存在を視認可能であり、検出できるものとする。
自車両Ｋ１の運転支援装置１００は、赤外線カメラ４の画像データの解析又は可視光カメラ５の画像データの解析により、オブジェクトＨ１０，Ｈ１１を検出する。また、他車両Ｋ２を検出する。

オブジェクトＨ１０については、スクリーン判定処理を実行し、スクリーンとして画像を投影可能か否かを判定する。
また、オブジェクトＨ１０，Ｈ１１、及び他車両Ｋ２の位置関係を解析し、オブジェクトＨ１１が、他車両Ｋ２の運転者の視界の範囲内か否かを判定する。

運転支援装置１００は、オブジェクトＨ１１の画像データを画像投影装置９に送信し、オブジェクトＨ１０における所定の領域（スクリーンとして画像を投影可能な領域であるスクリーン領域）Ｓｃ１に、オブジェクトＨ１１の画像を投影させる。

他車両Ｋ２の運転者からはオブジェクトＨ１０の陰に存在するオブジェクトＨ１１自体は視認できないものの、オブジェクトＨ１０のスクリーン領域Ｓｃ１に表示された画像により、他車両Ｋ２の運転者はオブジェクトＨ１１の存在（人の存在）を認識できるようになる。

以上、本第２実施形態によれば、自車両の周囲の人（例えば、他車両の運転者、或いは歩行者等）に対し、周囲の状況を報知することができる。
＜第３実施形態＞
本発明の第３実施形態について、図２７〜図３１を用いて説明する。

第３実施形態の運転支援装置１０１（図２７参照）は、第１実施形態の運転支援装置１（図２参照）と比較して、視線検出ユニット１０を備えている点が異なっている。
また、運転支援装置１０１は、図３の運転支援処理に代えて図２９の運転支援処理（２）を実行する点が運転支援装置１と異なっている。

［視線検出ユニット］
視線検出ユニット１０は、車両内に搭載され、画像認識により車両の運転者の眼球（瞳孔）の動きを追跡することで、視線を検出する装置である。

視線検出ユニット１０は、ＣＣＤイメージセンサ１０ａと、ＬＥＤ光源１０ｂと、画像処理部１０ｃと備える。
ＬＥＤ光源１０ｂは、目に見えない近赤外線を照射する。この近赤外線は、運転者の目に向けて照射される。この場合、近赤外線は目の角膜において反射し、反射の位置は、周辺と比較して明るい部分として検出され得る。また、反射の位置については、視線が変化しても（瞳孔の位置が変化しても）一定の位置を保つという特徴がある。

視線検出ユニット１０は、ＣＣＤイメージセンサ１０ａにより目の画像を検出し、画像処理部１０ｃにて、目の画像の解析を行う。
画像解析では、角膜における前述の反射位置（近赤外線の反射位置）と、瞳孔の位置とを検出する。

図２８Ａ，２８Ｂに、画像解析例を示す。図２８Ａ，２８Ｂは、何れも、運転者の目の撮像例を示す模式図である。ただし、視線の位置（瞳孔の位置）は異なっている。
瞳孔は目の中において他の部分よりも暗く、角膜反射は目の中において他の部分よりも明るい。この特徴を利用し、画像解析では、瞳孔及び角膜反射を検出するとともに、それらの位置関係を解析する。

そして、角膜反射は、角膜全体の最も盛り上がった部分に現れ、その位置はほぼ一定であるという特徴を利用し、角膜反射の位置に対する瞳孔の位置関係から、視線の方向を検出（推定）する。

視線の方向としては、図２８Ａ，２８Ｂに図示されて示唆されるように、角膜反射の中心位置と瞳孔の中心位置とを結ぶ方向に基づき推定されても良い。或いは、角膜反射の位置と瞳孔の位置と視線の方向との関係についての研究データ及び過去の学習値等に基いて、視線の方向が推定されても良い。

［運転支援処理（２）］
次に、運転支援装置１０１が実行する運転支援処理（２）について、図２９を用いて説明する。

図２９の運転支援処理（２）は、図３の運転支援処理と比較して、Ｓ１３０の処理の後にＳ６００の補正判定処理、及びＳ６０２の表示補正処理が実行される点が異なっている。Ｓ１００〜Ｓ１３０の処理については、図３の運転支援処理と同一であるため、ここでは説明を省略する。

Ｓ６００の補正判定処理は、制御ＥＣＵ２０が、視線検出ユニット１０の検出結果に基き、運転者が警告画像を認識したか否かを間接的に判定し、その判定結果に基き警告画像を再構成（補正）する処理である。

Ｓ６０２の表示補正処理は、制御ＥＣＵ２０が、Ｓ６００の補正判定処理の結果に基き、表示画像を補正する処理である。
補正判定処理について、図３０を用いて具体的に説明する。

制御ＥＣＵ２０は、Ｓ６００の補正判定処理（図３０の補正判定処理）を開始すると、まず、Ｓ６１０にて、視線検出ユニット１０と通信を行う。
次に、Ｓ６１２に移行し、視線検出ユニット１０による解析データ（換言すれば、視線の移動を示すデータ）を取得する。

続くＳ６１４では、Ｓ６１２で取得した解析データに基き、視線が移動したとされる範囲にあるオブジェクトを抽出する。
次に、Ｓ６１６に移行し、Ｓ６１２及びＳ６１４の処理と同じ処理を所定回数反復して実行する。この処理は、運転者の視線の移動を所定期間監視する（追跡する）趣旨で実行される。

続くＳ６１８では、Ｓ６１４，Ｓ６１６にて抽出したオブジェクトのそれぞれについて、そのオブジェクトが存在する領域に、運転者の視線が所定回数以上移動してきたか否かを判定する。この処理は、運転者の視線の移動が１回のみの場合、移動先のオブジェクト（換言すれば、強調画像）を確実に認識したかどうか定かではなく、所定回数以上移動したことをもって認識がなされたと判定する趣旨で実行される。

Ｓ６１８において、所定回数以上移動していないと判定すると、当該処理を終了する。
一方、Ｓ６１８において、所定回数以上移動したと判定すると、その所定回数以上移動したと判定される領域のオブジェクト（人）に対応付けて、強調するための画像を消去する旨のフラグ（画像消去フラグ）を設定する。

次に、Ｓ５０４に移行して、強調画像生成処理を実行する。このＳ５０４の処理は、図１４におけるＳ５０４の処理と同一である。
図３０におけるＳ５０４の強調画像生成処理では、強調するための画像を消去するフラグが設定されたオブジェクト（人）を除いて、他のオブジェクト（人）について、改めて、Ｓ５２０〜Ｓ５２４の処理（図１５参照）を実行する。

これにより、場合によっては、警戒レベルがより低いグループに属していたオブジェクト（人）が、警戒レベルがより高いグループに繰り上げられ、ひいては警戒レベルがより高い態様の画像が設定され得る。

図３０に戻り、Ｓ５０４の後は当該処理を終了する。
次に、Ｓ６０２の表示補正処理について、図３１を用いて説明する。
Ｓ６０２の表示補正処理（図３１の表示補正処理）を開始すると、まず、Ｓ６３０にて、画像消去フラグが設定されているか否かを判定する。画像消去フラグは、前述のＳ６２０の処理にて、オブジェクト（人）に対応付けて設定される。

Ｓ６３０にて画像消去フラグが設定されていないと判定すると、Ｓ６３４に移行する。
一方、Ｓ６３０にて画像消去フラグが設定されていると判定すると、Ｓ６３２に移行する。

Ｓ６３２では、画像消去フラグに対応するオブジェクト（人）について、そのオブジェクト（人）を強調するための画像を消去する指令を生成し、ＨＵＤ７に送信する。これにより、ＨＵＤ７に、消去対象の画像の表示を中止させる（消去させる）。次に、Ｓ６３４に移行する。

Ｓ６３４では、画像の表示態様が再設定されたか否かを判定する。換言すれば、図３０におけるＳ５０４の処理が実行されたか否かを判定する。
Ｓ６３４にて画像の表示態様が再設定された（Ｓ５０４の処理が再実行された）と判定すると、Ｓ６３６に移行する。

Ｓ６３６では、図３０におけるＳ５０４の処理結果に基き、表示する画像を表す信号を、ＨＵＤ７に送信する。これにより、その画像を、ＨＵＤ７を介して車両のフロントウィンドウに重畳表示する。その後、当該処理を終了する。

以上のように、本第３実施形態の運転支援装置１０１は、車両の周辺のオブジェクトを強調する画像をフロントウィンドウに重畳表示する一方、車両の運転者がその画像を認識したか否かを、運転者の視線を検出することで判定する。そして、車両の運転者が認識したという判定結果が得られた画像については表示を中止する（換言すれば、消去する）。そして、表示態様を再設定する。これにより、他の画像（他のオブジェクト（人）を強調するための画像）を、さらに強調して表示する。また、画像が設定されていなかったオブジェクト（人）について、新たに画像を設定して強調することもできるようになる。

これによれば、運転者に対しより効果的又は効率的にオブジェクトの存在を認識させることができるようになる。
例えば、同一のオブジェクトについて、運転者が認識しているにもかかわらずそのオブジェクトを強調するための画像が表示され続けることを回避することができ、実用性がより向上する。

本第３実施形態において、視線検出ユニット１０が視線検出手段の一例に相当し、Ｓ６１８の処理が識別手段の一例に相当し、Ｓ６２０及びＳ６０２の処理が消去手段の一例に相当する。

＜第４実施形態＞
本発明の第４実施形態について説明する。
本第４実施形態では、運転支援装置の構成は、第１実施形態の運転支援装置１の構成（図２参照）と同一である。

一方、本第４実施形態では、図１３の認識判定処理に代えて、図３２の認識判定処理（２）が実行される点が異なっている。
図３２の認識判定処理（２）は、図１３の認識判定処理と比較して、Ｓ６５０〜Ｓ６５８の処理が実行される点が異なっている。なお、Ｓ４００〜Ｓ４０８の処理については、図１３の認識判定処理と同一であるため、適宜説明を省略する。

図３２の認識判定処理（２）では、制御ＥＣＵ２０は、Ｓ４０４の処理において両目を検出できないと判定すると、Ｓ６５０に移行する。
Ｓ６５０では、オブジェクト（人）に対して警報を発する警報処理を実行する。具体的には、スピーカユニット８から所定の音（音声を含む）を発する処理を実行する。警報は、オブジェクト（人）に対して自車両の存在を気付かせるために発せられる。また、オブジェクト（人）が自車両の存在に気付いたか否かを判定するために発せられる。なお、車両のヘッドランプを点灯又は点滅させることにより警報がなされるようにしても良い。

次に、Ｓ６５２に移行し、赤外線カメラ４又は可視光カメラ５の画像データを再取得する。
続くＳ６５４では、Ｓ６５２にて再取得した画像データに基き、同一のオブジェクト（人）における顔の領域を再抽出する。

次に、Ｓ６５６に移行し、抽出した顔について、解析を行う。より具体的には、エッジ検出及びパターンマッチング等により「目」を抽出する。
そして、Ｓ６５８にて、両目を検出できた否かを判定する。

Ｓ６５８にて両目を検出できたと判定した場合には、自車両はオブジェクト（人）の視界の範囲内に存在する可能性が高いと判断し、この判断に基づき、オブジェクト（人）は自車両の存在を認識していると簡易判定して、Ｓ４０６に移行する。

一方、Ｓ６５８にて両目を検出できないと判定した場合には、自車両はオブジェクト（人）の視界の範囲内に存在しない可能性があると判断し、この判断に基づき、オブジェクト（人）は自車両の存在を認識していないと簡易判定して、Ｓ４０８に移行する。

以上、本第４実施形態によれば、運転支援装置１は、オブジェクト（人）が自車両の存在を認識していないと判定したならば、自車両の存在を気付かせるために警報を発する。これにより、オブジェクト（人）に、自車両の存在を認識させることができる。さらに、警報を発した後のオブジェクト（人）の顔を再解析することにより、オブジェクト（人）が自車両の存在に気付いたか否かを判定する。これにより、危険性（警戒レベル）を、オブジェクト（人）の状態に即して適切に設定できるようになる。ひいては、より適切に、運転者への警告のための画像表示を行うことができるようになる。

＜第５実施形態＞
本発明の第５実施形態について説明する。
本第５実施形態では、運転支援装置の構成は、第１実施形態の運転支援装置１の構成（図２参照）と同一である。

一方、本第５実施形態では、図３３の解析処理９がさらに実行される点において、第１実施形態の運転支援装置１と異なっている。
以下、解析処理９について具体的に説明する。

解析処理９におけるＳ４００〜Ｓ４０４の処理は、図１３におけるＳ４００〜Ｓ４０４の処理（及び図３２におけるＳ４００〜Ｓ４０４の処理）と同一である。
また、解析処理９におけるＳ６５０〜Ｓ６５８の処理は、図３２におけるＳ６５０〜Ｓ６５８の処理と同一である。これらの処理については説明を省略する。

制御ＥＣＵ８は、図４のＳ１５２の解析処理として、図５〜図１２（及び図１３）に示される解析処理１〜７に加え、解析処理９を実行し、解析処理９において、Ｓ４０４又はＳ６５８において両目を検出できたと判定すると、Ｓ６６０に移行する。

Ｓ６６０では、両目を検出できたと判定した対象のオブジェクト（人）について、警戒レベルを２ポイントデクリメントする。なお、２ポイントという数値は一例であり、どのような値でも良い。

Ｓ６６０の処理の趣旨は、Ｓ４０４又はＳ６５８における肯定判定によりオブジェクト（人）が自車両の存在を認識している（又は存在に気付いた）と判断できることに基づき、そのオブジェクト（人）については警戒レベルを下げる、という趣旨である。

以上、第５実施形態によれば、自車両の存在を認識しているオブジェクト（人）については警戒レベルを下げ、これにより、その他のオブジェクト（人）（例えば、自車両の存在を認識していないオブジェクト（人））に対する警戒レベルが相対的に上がることとなる。これにより、より注意すべきオブジェクト（人）について、より強調された画像が表示され得るようになる。よって、運転者に対しより効果的又は効率的にオブジェクトの存在を認識させることができるようになる。

＜変形例＞
以下、表示態様の他の例について説明する。
［変形例１］
変形例１について図３４を用いて説明する。図３４の例では、オブジェクトＨ７，Ｈ８が抽出され認識されている。

図３４の例は、図１９の例と同様、オブジェクトの移動方向を検出して矢印にて表示するようになっている（矢印Ｙ７，Ｙ８）。
加えて、図３４では、オブジェクトＨ７，Ｈ８の所定時間後の位置、及び進路が推定されて表示されている。

オブジェクトＨ７について、枠Ｗ７で囲まれる位置が現在の位置であり、これを、時刻ｔＡにおける初期位置とする。
運転支援装置１は、赤外線カメラ４又は可視光カメラ５の画像データの取得及び解析を繰り返し、オブジェクトＨ７の動きを追跡する追跡処理を実行する。そして、その追跡処理に基づき、オブジェクトＨ７の移動速度及び移動方向を推定する。

そして、所定の時間ｔＢ後のオブジェクトＨ７の位置及び速度を推定し、その推定した位置に重畳するように、オブジェクトＨ７の画像を表示する。この画像は点滅表示される。

さらに、時刻ｔＡを基準として、所定の時間ｔＣ（ｔＢ＜ｔＣ）後のオブジェクトＨ７の位置及び速度を推定し、その推定した位置に重畳するように、オブジェクトＨ７の画像を表示する。この画像は、点滅表示される。

また、所定の時間ｔＢ後の画像及び所定の時間ｔＣ後の画像は、オブジェクトＨ７があたかも移動しているかのように、連続的に表示される。
加えて、時刻ｔＡにおける初期位置から所定の時間ｔＣ後の位置までの軌跡を辿るように、移動推定矢印ＹＦ７が表示される。移動推定矢印ＹＦ７は、オブジェクトＨ７の移動進路であって、予測される（或いは移動する可能性が高いと判断される）移動進路を示す。

次に、オブジェクトＨ８についても同様である。オブジェクトＨ８について、枠Ｗ８で囲まれる位置が現在の位置であり、これを、時刻ｔａにおける初期位置とする。
追跡処理により、所定の時間ｔｂ後のオブジェクトＨ８の位置及び速度を推定し、その推定した位置に重畳するように、オブジェクトＨ８の画像を表示する。この画像は点滅表示される。

さらに、時刻ｔａを基準として、所定の時間ｔｃ（ｔｂ＜ｔｃ）後のオブジェクトＨ８の位置及び速度を推定し、その推定した位置に重畳するように、オブジェクトＨ８の画像を表示する。この画像は、点滅表示される。

また、所定の時間ｔｂ後の画像及び所定の時間ｔｃ後の画像は、オブジェクトＨ８があたかも移動しているかのように、連続的に表示される。なお、オブジェクトＨ８は自車両に接近しており、オブジェクトＨ８の画像は次第に大きくなるように表示される。

加えて、時刻ｔａにおける初期位置から所定の時間ｔｃ後の位置までの軌跡を辿るように、移動推定矢印ＹＦ８が表示される。移動推定矢印ＹＦ８は、オブジェクトＨ８の移動進路であって、予測される（或いは移動する可能性が高いと判断される）移動進路を示す。

［変形例２］
変形例２について図３５を用いて説明する。
図３５の例では、車両Ｋ３に運転支援装置１が搭載されている。車両Ｋ４は他車両である。なお、車両Ｋ３，Ｋ４は、同じ進行方向（図面において下から上（手前から奥））に走行している。

車両Ｋ３の前に、横断歩道を横断する歩行者（オブジェクト）Ｈ１２，Ｈ１３が存在する。
車両Ｋ４の運転者にとっては、オブジェクトＨ１２，Ｈ１３が車両Ｋ３の陰に入り視認し難くなっている。

車両Ｋ３の運転支援装置１は、オブジェクトＨ１２，Ｈ１３と車両Ｋ４との位置関係を解析し、車両Ｋ３からオブジェクトＨ１２，Ｈ１３を視認し難いと判定すると、自車両の例えばリアウィンドウにおける領域Ｓｃ２に、オブジェクトＨ１２，Ｈ１３の画像を表示するようにしても良い。また、この際、車両Ｋ４の運転者に注意を促す画像やメッセージ等を表示するようにしても良い。

これによれば、車両Ｋ４の運転者がオブジェクトＨ１２，Ｈ１３の存在を認識しやすくなり効果的である。
［変形例３］
変形例３について図３６を用いて説明する。

ここで、図１７において、人及び車両について、強調のための画像を表示する例について説明した。
図３６の例は、人及び車両に加え、車両周辺のその他のオブジェクトについて、強調のための画像を表示する例を示している。加えて、そのオブジェクトの名称が表示されるようになっている。

具体的には、図３６の例では、歩行者及び車両に加えて、信号機、道路標識、看板、及び路面表示を抽出して認識し、強調のための枠Ｗをそれぞれに対応付けて表示するようにしている。加えて、それぞれの枠Ｗに対応付けて、名称表示領域Ｎを設定し、その名称表示領域Ｎに、各オブジェクトの名称を表示している。このように、文字を表示することによっても、運転者の注意をひく効果が向上することが期待され得る。

＜他の実施形態＞
上記実施形態では、運転支援装置１が赤外線レーダ２、ミリ波レーダ３、赤外線カメラ４、可視光カメラ５を備える例について説明した。

一方、赤外線レーダ２の搭載を省略し、ミリ波レーダ３にて、近距離及び遠距離のオブジェクトを検出するように構成しても良い。
上記実施形態では、運転支援装置１が赤外線レーダ２、ミリ波レーダ３、赤外線カメラ４、可視光カメラ５を備える例について説明した。

一方、赤外線レーダ２、ミリ波レーダ３の搭載が省略されても良い。この場合、オブジェクトまでの距離については、赤外線カメラ及び可視光カメラのそれぞれによって検出される情報（オブジェクトまでの距離の情報）を用いれば良い。

上記実施形態では、運転支援装置１がミリ波レーダ３を備える例について説明した。
一方、運転支援装置１は、ミリ波レーダ３に代えて、レーザレーダを備えても良い。或いは、ミリ波レーダとレーザレーダとの両方を備えても良い。レーザレーダは、レーザ光を用いて周辺の状況を探知するレーダである。具体的には、レーザレーダは、パルス状のレーザ光をスキャン（２次元走査）し、オブジェクトにて反射して返ってくるレーザ光を受光する。そして、レーザレーダは、レーザ光の出射時刻と反射光の受光時刻との時間差、及び反射光の強度を計測して、それらに基づきオブジェクトを検出する。レーザレーダでは、立体物のほか、車線境界線（車両通行帯及び歩道等の境界をなす白線等）を検出することが可能である。

上記実施形態において、運転支援装置１，１００，１０１は、赤外線レーダ２と、ミリ波レーダ３と、赤外線カメラ４と、可視光カメラ５と、運動量検出ユニット６と、ヘッドアップディスプレイ７と、スピーカユニット８と、画像投影装置９と、視線検出ユニット１０と、の全てを搭載していても良い。

上記実施形態では、オブジェクトを強調するための画像（オブジェクトを囲む画像）を表示する例について説明したが、オブジェクトそのものの画像を生成して表示するようにしても良い。この場合、赤外線カメラ４Ａ，４Ｂ又は可視光カメラ５Ａ，５Ｂにより、オブジェクトを立体的に捉えて立体画像を生成し、その立体画像を表示するようにしても良い。

上記実施形態において、照度センサをさらに備え、照度センサの検出データに応じて、赤外線カメラ４と可視光カメラ５とを切り換えて使用しても良い。具体的には、照度が所定の閾値以上の場合（例えば、日中）、可視光カメラ５の画像データを用い、照度が所定の閾値未満の場合（例えば、夕方〜夜中、曇り、又は雨天等の際）、赤外線カメラ４のデータを用いるようにしても良い。

上記実施形態において、オブジェクト（人）が携帯端末を操作しているか否かは、携帯端末と通信することにより判定されるようにしても良い。
例えば、運転支援装置１，１００，１０１において、Ｂｕｌｅｔｏｏｔｈ（登録商標）機器等を搭載し、車両の周辺の携帯端末とのペアリングを試みる。ペアリングが確立した場合には、携帯端末との間でデータ通信を行い、携帯端末が操作されているか否かを判断するためのデータを携帯端末より取得しても良い。また、携帯端末に、携帯端末の利用者が移動しながらその携帯端末を使用していることを検出するアプリケーションがインストールされている場合には、そのアプリケーションと連動して、携帯端末が操作されていることを検出しても良い。さらに、運転支援装置１，１００，１０１から携帯端末に警告画像を送信してその画像を携帯端末に表示させ、携帯端末の利用者に車両の存在を認識させるようにしても良い。

上記実施形態では、解析処理１〜９について説明した。そして、その解析処理１〜９が、並列に又は所定の順序で順次実行される例について説明した。
一方、解析処理１〜９の何れか１つが実行された後、その解析処理の結果に基き表示データが生成され（図１４の処理が実行され）、その後、次の解析処理が実行され、その解析処理の結果に基き改めて表示データが生成されても良い（換言すれば、表示データが、解析処理の実行毎に生成（補正）されても良い）。

上記実施形態において、車車間通信ユニットにて他車両と通信を行い、他車両の運転者に警告を行うようにしても良い。或いは、他車両から警告情報を受信するようにしても良い。

上記実施形態において、自車両の位置を車両位置センサ１２を介して取得し、その取得した位置に基づき、オブジェクトとの位置関係を把握するようにしても良い。
また、上記実施形態において、Ｓ１５２の解析処理として、解析処理１〜９（図５〜図１２（及び図１３）、図２４、図３３）が実行される例について説明した。ここで、解析処理の他の例について説明する。
［解析処理１０］
解析処理１０について図３７に基づき説明する。解析処理１０は、天候を解析するための処理であり、より具体的には、雨天を検出する処理である。

解析処理１０は、制御ＥＣＵ２０によって所定のタイミングで繰り返し実行され得る。
解析処理では、まず、Ｓ６７０において、可視光カメラ５により撮像された画像の画像データを取得する。可視光カメラ５は、車両内に配置されて車両内から車両の窓ガラスを介して車両の周囲を撮像するように設けられる（図１参照）。ここでは、可視光カメラ５により撮像された画像の画像データとして、車両の窓ガラスの領域の画像を含む画像データを取得する。

次に、Ｓ６７２に移行し、Ｓ６７０にて取得した画像データから、窓ガラスの領域における雨滴の候補（窓ガラスに付着した雨滴の候補）を検出する。図３８Ａに雨滴の画像の一例を示す。雨滴が車両の窓ガラスに付着すると、雨滴の部分はにじんだようになり、窓ガラスの部分の透明度とは異なる透明度を有して検出される。雨滴と窓ガラスとの境界においては、隣り合うピクセルの色度（濃度）の変化が急峻となる部分（エッジ）が現れる。このようなエッジに基づき、雨滴の領域を検出する。

図３７に戻り、Ｓ６７２の後はＳ６７４に移行し、Ｓ６７２で検出した雨滴候補についてパターンマッチングにより雨滴か否かを決定する。
具体的には、雨滴の画像のモデルを予め記憶装置に記憶しておく。記憶装置としては、ＲＯＭ２０ｂ，フラッシュメモリ２０ｄ等が考えられるが、他の記憶装置でも良い。

図３８Ｂには、記憶装置に予め記憶される雨滴の画像のモデルの一例として、モデル１，２，３，・・・ｎが示されている。モデル１，２，３，・・・ｎとしては、雨滴を表す代表的なモデルが任意に選択されて記憶され得る。制御ＥＣＵ２０において、雨滴の画像のモデルを蓄積する機能（学習機能）が付与されても良い。

そして、Ｓ６７２で検出した雨滴候補と、記憶装置に記憶されたモデル１，２，３，・・・ｎとを比較照合し、雨滴の候補とモデルとの間で、面積（ピクセル数）、色度（濃淡）、形状等のパラメータについて類似度合いを演算する。ここでは、パラメータの少なくとも何れかを用いれば良い。そして、その少なくとも１つのパラメータにおいて所定割合だけ一致しているならば雨滴の候補を雨滴と決定するようにしても良い。

なお、Ｓ６７２及びＳ６７４の処理は、Ｓ６７０において取得された画像データ中にある雨滴の候補の全てについて実行され得る。或いは、画像データから所定の領域を抽出してその抽出した領域に限ってＳ６７２及びＳ６７４の処理が実行されても良い。

Ｓ６７４の後はＳ６７６に移行し、雨滴量（換言すれば、降雨量）を検出する。例えば、雨滴の数、及び／又は画像中において雨滴が占める面積の割合等から、雨滴量を検出することができる。

次にＳ６７８に移行し、雨滴量が所定量以上か否かを判定する。雨滴量が所定量以上でない（所定量未満である）と判定すると、そのまま当該処理を終了する。一方、雨滴量が所定量以上であると判定すると、Ｓ６８０に移行し、警戒レベルを１ポイントインクリメントする。

このような構成によれば、雨滴を精度良く検出することができ、ひいては雨天をより確実かつ正確に検出することができる。そして、雨天であることが検出された場合には、運転支援装置１，１００，１０１において警戒レベルが上がり、より適切な方法（例えば、より目立ち得る方法）で、車両の周囲の対象物を表示し得るようになる。天候は運転者の視界の良否に大きく影響し、特に雨天の場合には車両の運転者にとっては車両の周囲を認識し難くなることが通常である。これに対し、本願発明によれば、雨天であることを検出してそのことに応じてより見やすい態様で表示を行うことができるので、運転の安全に資することができる。
［解析処理１１］
ところで、天候は、解析処理１０とは別の処理によって認識されても良い
具体的には、天候は、図３９に示す解析処理１１によって認識されても良い。

図３９の解析処理１１では、まず、Ｓ６８２にて、外部との通信により天候情報を取得する。具体的には、運転支援装置１，１００，１０１に、通信回線網（例えばインターネット網）に接続するための通信装置を設ければ良い。なお、このような通信装置については周知であり、具体的な説明及び図示は省略する。そして、運転支援装置１，１００，１０１は、その通信装置を介して例えばインターネット網に接続して天候情報を取得すれば良い。

次に、Ｓ６８４に移行し、車両が備える、照度（野外の照度）を検出するための照度センサ（図示省略）から照度データを取得する。
次に、Ｓ６８６に移行し、車両が備える、外部温度を検出するための温度センサ（図示省略）から温度データを取得する。

次に、Ｓ６８８に移行し、Ｓ６８２〜Ｓ６８６で取得したデータに基づいて、雨天であるか否かを総合的に判定する。
例えば、Ｓ６８２の処理のみでも天候を把握することは可能であるとも言えるが（例えば天気予報の情報を取得することで可能）、天気予報が１００％正確であることは何ら保証されず、また、ピンポイントのエリアについての天気予報はなされないことも多い。

そこで、ここでは、一例として、照度センサ及び温度センサを用い、天気予報のデータに加えて野外の照度及び温度を検出して雨天か否かの判定に用いることで、より精度良く天候を検出することができる。この他、湿度を検出して用いるようにしても良い。

Ｓ６８８の後はＳ６９０に移行し、Ｓ６８２〜Ｓ６８８の処理に基づき天候が晴であるか否かを判定する。晴であると判定すると、Ｓ６９４に移行する。
Ｓ６９４では、警戒レベルを、現状の警戒レベルに維持する（換言すれば、警戒レベルを変更する処理を実行しない）。そしてその後、当該処理を終了する。

Ｓ６９０において、天候が晴でないと判定すると、Ｓ６９２に移行する。Ｓ６９２では、天候がくもりであるか否かを判定する。くもりであると判定すると、Ｓ６９６に移行する。Ｓ６９６では、警戒レベルを１ポイントインクリメントする。そしてその後、当該処理を終了する。

Ｓ６９２において、くもりでないと判定すると、雨、雪、等であると判定してＳ６９８に移行し、警戒レベルを２ポイントインクリメントする。
解析処理１１によれば、前述のように天候をより精度良く検出（又は判定）することができ、ひいては、天候に応じたより適切な運転支援を実現し得る。具体的には、天候に応じて警戒レベルを適切に設定することができ、適切に設定された警戒レベルに応じて、車両の周囲の対象物を強調表示すること、及び／又は危険に応じて警告表示を行うことを適切に制御することができる。

［解析処理１２］
次に、解析処理１２について図４０を用いて説明する。
本実施形態の運転支援装置１，１００，１０１は、上記の解析処理１〜１１に加えて、或いは上記の解析処理１〜１１に代えて、解析処理１２を実行しても良い。解析処理１２は、スマートフォン、タブレット、携帯電話等の携帯通信端末側の機能と連動して、ユーザが移動しながら（例えば歩きながら）携帯通信端末を操作していることを検出する（より具体的には、そのような携帯通信端末を検出する）処理である。

ユーザが歩きながら携帯通信端末を操作するケースでは、ユーザの視線、関心、及び注意力等が携帯通信端末に向かってしまい、周囲の状況に注意力が向かわず、非常に危険であることが指摘されている。

かかる点に鑑み、携帯通信端末側において、ユーザが移動しながらその携帯通信端末を操作していることを検出する機能、アプリケーションが用意されている場合がある。具体的には、ＧＰＳ機能等にて携帯通信端末の位置が変動しているか否か、ひいてはユーザが移動しているか否かが検出される。そして、携帯通信端末、又はユーザが移動中である際に携帯通信端末が操作されているか否かが検出される。

このような移動と操作とが重複していることが検出されると、その旨の警告が発せられる。
一例では、携帯通信端末の表示画面に警告を表示したり、音を発したり、或いは周囲の端末に警報（音声による警報、警告を表す信号）を発したりする。

解析処理１２は、携帯通信端末が上記のような機能、アプリケーションを有していることが前提となる。
解析処理１２では、まず、Ｓ７００において、周囲に存在する携帯通信端末を探索する処理を実行する。この探索では、Ｂｌｕｅｔｏｏｔｈ（登録商標）信号、又は携帯通信端末から発せられるその他無線信号を検出することで探索可能である。一例では、運転支援装置１，１００，１０１から、Ｂｌｕｅｔｏｏｔｈ（登録商標）にてペアリングを行うためのペアリング信号を送出し、そのペアリング信号に対する応答信号の有無を検出する。或いは、携帯通信端末から送出されるペアリング信号の有無を検出する。又は、他の例では、可視光カメラ５からの画像データを用いて画像処理により携帯通信端末を検出するようにしても良い。

次に、Ｓ７０２に移行し、Ｓ７００の処理に基づき、運転支援装置１，１００，１０１の周囲に携帯通信端末が存在するか否かを判定する。
携帯通信端末が存在しないと判定すると、そのまま当該処理を終了する。一方、携帯通信端末が存在すると判定すると、Ｓ７０４に移行する。

Ｓ７０４では、Ｓ７００，７０２にて検出された携帯通信端末から、ユーザが移動しながら携帯通信端末を操作していることを警告する警告信号を受信したか否かを判定する。なお、この種の警告信号は、周囲の通信機器において無条件に検出できるように仕様が定められることが好ましい。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）の機能を用いてペアリングが確立させるまでもなく、前記の警告信号だけは互いに検知できることが好ましい。ただし、これは仕様であるとともに本願発明の本質ではないためここでは詳細には記載しない。

Ｓ７０４において、警告信号を受信していないと判定すると、そのまま当該処理を終了する。
一方、警告信号を受信したと判定すると、Ｓ７０６に移行し、ＨＵＤ７にて警告表示を行う。さらに、Ｓ７０８に移行し、警戒レベルを１ポイントインクリメントする。そしてその後、当該処理を終了する。

このような解析処理１２によれば、移動しながら携帯通信端末を操作している人を検出して警戒レベルを上げることができ、運転者に適切に注意喚起を行うことができる。
［車両制御処理］
本例の運転支援装置１，１００，１０１は、警戒レベルに応じて車両の動作を制御しても良い。かかる例について、図４１Ａ，４１Ｂを用いて説明する。

運転支援装置１，１００，１０１は、図４１Ａの車両制御処理を所定のタイミングで繰り返し実行する。
この車両制御処理では、まず、Ｓ７１０において、警戒レベルが所定レベル以上であるか否かを判定する。警戒レベルが所定レベル以上でないと判定すると、そのまま当該処理を終了する。

一方、警戒レベルが所定レベル以上であると判定すると、Ｓ７１２に移行し、車両を制御するための制御指令を出力する。この制御指令は、具体的には車両の各部を制御する電子制御装置（ＥＣＵ）に出力され得る。そして、制御指令を受信したＥＣＵが制御対象を制御する。Ｓ７１２の処理の後は当該処理を終了する。

この車両制御処理による車両制御としては、例えば、スロットルバルブの開度を制御するスロットル制御、制動装置（ブレーキ）を制御する制動制御、車両の走行経路又は走行方向を制御する操舵制御、等を挙げることができる。

スロットル制御としては、スロットル開度を抑える（換言すれば、加速を禁止する）制御であっても良い。制動制御としては、ブレーキを機能させて車両を減速させる制御であっても良い。操舵制御としては、例えば自車両の周囲の対象物であって衝突の可能性が考えられる対象物から自車両が離れるように、自車両の進行経路をコントロールするような制御であっても良い。また、その他、警報を行っても良い。例えば、ハンドルに振動機構を内蔵させ、警戒レベルに応じてその振動機構を振動させ、振動をもって運転者に警報を伝達しても良い（以下、この種の警報を警報制御とも称する）。

そして、運転支援装置１，１００，１０１は、図４１Ｂに示すような、警戒レベルと車両制御の内容とを対応付けたテーブル情報を有している。このテーブル情報は、記憶装置（ＲＯＭ２０ｂ等）に予め記憶され得る。図４１Ｂのテーブル情報によれば、次のように車両制御が実現される。

警戒レベルの値が−（マイナス）から０の場合、車両制御は実行しない。
警戒レベルの値が１から３の場合、警報制御及びスロットル制御を行う。
警戒レベルの値が４から６の場合、警報制御、スロットル制御、及び制動制御を行う。

警戒レベルの値が７以上の場合、警報制御、スロットル制御、制動制御、及び操舵制御を行う。
ここで、警戒レベルの区分けは一例であることは言うまでもない。警戒レベルの区分けはさらに多段的に細分化しても良いし、逆に粗くしても良い。また、実行される解析処理（本例では、解析処理１〜１２を例示している）の種類によって警戒レベルのばらつきは変動し得るため、実行される解析処理の種類に応じてテーブル情報は最適化され得ることが当業者であれば理解できる。

このような構成によれば、警戒レベルに応じて、表示態様だけでなく、車両の動作が制御されるため、車両の安全な運転により資することができる。具体的には、警戒レベルに応じて表示態様が制御されることで車両の運転者への注意喚起がなされ、運転者自身に対する安全運転を促すことができる一方で、運転支援装置１，１００，１０１の判断処理により運転者の判断が入り込むまでもなく安全運転を実現すべく車両制御が実行される。

これにより、運転者自身による運転に加えて、運転支援装置１，１００，１０１の支援により、車両の安全な運行がより高いレベルで実現される。また、仮に運転者の運転技術が未熟で運転者自身による安全運転の期待値が低い場合でも、運転支援装置１，１００，１０１の制御によって車両の安全な運行が実現され得る。
［表示制御処理、表示態様例］
本願発明による表示制御処理、及び表示態様例について、図面を用いてさらに説明する。

まず、図４２Ａ，４２Ｂに基づき説明する。
図４２Ａ，４２Ｂは、警戒レベルに応じて表示のコントラストを制御する一例を示す。ここでのコントラストとは、強調表示したい対象（人、障害物等）と、その対象以外の表示物との間のコントラストが意図されている。

図４２Ａ，４２ＢにおけるテーブルＤ４に示されるとおり、警戒レベルと、表示の際のコントラストのレベルとが対応付けられていても良い。この情報は、テーブル情報として、記憶装置（ＲＯＭ２０ｂ等）に記憶され得る。運転支援装置１，１００，１０１は、ＨＵＤ７によって画像を表示する際、テーブルＤ４の情報を記憶装置から読み出し、設定されている警戒レベルに対応するコントラスト情報を読み出す。コントラスト（コントラスト比）は、警戒レベルが−（マイナス）から０の場合は低、警戒レベルが１〜３の場合は中、警戒レベルが４〜６の場合は高、警戒レベルが７以上の場合は最高、というように設定されても良い。

図４２Ａはコントラストが低の場合の例を示す。図４２Ｂはコントラストが最高である場合を示す。
図４２Ａの例では、強調表示の対象としての対象物Ｄ０と、その周囲（背景等）とのコントラストが低く、対象物Ｄ０とその周囲との明暗の差は小さくなっているが、警戒レベルが低い場合には、コントラストを小さくすることによるメリットを優先させても良い。コントラストを小さくすることによるメリットとしては、場合によっては目の疲れを抑制し得ること、自然さが優先され実際の景色に近くなる場合があること、などが考えられる。

図４２Ｂの例では、対象物Ｄ０と、その周囲（背景等）とのコントラストが高く、対象物Ｄ０とその周囲との明暗の差は大きくなっている。このため、対象物Ｄ０がより強調され、よりはっきりと明確に視認できるようになっている。警戒レベルが高い場合には、このようにコントラストを高く設定することにより、対象物Ｄ０がより強調され得るようにしても良い。

コントラストの設定に関して、画像中の代表的な領域ごとに濃淡が設定されても良い。
この点について、テーブルＤ３，Ｄ３’を用いて説明する。
テーブルＤ３，Ｄ３’には、画像中の代表的な領域のそれぞれについて設定された濃淡の情報が含まれている。テーブルＤ３，Ｄ３’において、ブロックＤａ，Ｄａ’は、対象物Ｄ０の領域の濃淡を示し、ブロックＤｂ，Ｄｂ’は対象物Ｄ０の背景の植栽の領域の濃淡を示し、ブロックＤｃ，Ｄｃ’は対象物Ｄ０の背景の地表面の濃淡を示し、ブロックＤｄ，Ｄｄ’は道路の濃淡を示している。

テーブルＤ３，Ｄ３’では、プラスの値が大きいほど濃く（黒に近く）、プラスの値が小さい、ないしマイナスの値が大きいほど薄い（白に近い）態様となっている。
各ブロックの濃淡の相対関係は、コントラストのレベル（低、中、高、最高）に応じて、デフォルト値に応じて自動設定されても良い。

或いは、各ブロックの濃淡の相対関係は、ユーザ（運転者）が手動で設定できるようにしても良い。例えば、メニュー表示Ｄ２を設け、メニュー表示Ｄ２が選択されると各種設定画面に移行し、そのような設定画面において、コントラストを設定できるようにしても良い。

これによれば、ユーザ（運転者）にとって最も見やすくなるコントラストをユーザ（運転者）自らが設定できるため、利便性が向上する。また、個々のユーザ（運転者）毎に表示態様を最適化することができ、運転支援の効果を最大化することが可能となる。

表示態様については、ユーザ（運転者）の技量（優良運転者か否か）、年齢、性別、事故歴、違反歴、身体能力（主には視力）、又は運転時の体調等に応じて調整されても良い。

例えば、運転免許証を読み取る機構を設け、運転免許証を読み取ることで自動的に上記の情報のいくつかが取得されるように構成されても良い。視力、運転時の体調など、運転免許証から読み取ることができない情報は、手動入力され得るように構成されても良い。

図４２Ａ，４２Ｂにおいて、表示Ｄ１は、表示制御が正常に機能していることを示すための表示である。表示の制御に何らかの異常が検知された場合には、表示Ｄ１の表示内容は、異常が生じている旨の内容に変更される。

本願の実施形態では、既に述べたように、対象物が強調表示されるが、強調表示の態様としては、枠で囲む、ハイライト表示する、表示色を変更する、点滅させる、シンボルを隣接表示する、など、様々な態様が用意されており、さらに、そのような強調表示が解除されることもあり得る。つまり、表示態様はリアルタイムで変わり得る。

この場合、表示の制御に何らかの異常が生じて誤った表示がなされていたとしても、ユーザ（運転者）がその異常を把握できない限り、ユーザ（運転者）は表示が誤っていることに気付かずに誤った表示に基づいた認識を行うことになってしまうであろう。つまり、本来意図された結果から外れた誤認が生じ得る可能性がある。

この点に鑑み、表示Ｄ１のように、表示制御が正常に機能していることを示すための表示を設けることで、表示中の画面が正常な画面であるという信頼をユーザ（運転者）に抱かせることができ、かつ、異常が生じた場合にはその旨をユーザ（運転者）が認識できるようになり、謝った表示に起因した誤認の発生を抑制することができる。

なお、異常の検出方法（検出処理）については通常知られている一般的な方法を適用することができ、ここでは詳細説明を省略する。
ただし、異常の検出方法（検出処理）が一般的であるとしても、その実行タイミングについては種々の工夫が考えられる。

一例では、以下のタイミングで実行することが考えられる。
（１）車両のイグニションスイッチがオンされたタイミング
（２）車両のイグニションスイッチがオンされた後、車両が実際に走行を開始するタイミング（例えば、タイヤの回転が検出されるタイミング）
（３）走行後、車両が一旦停止したタイミング（信号、交差店等で停止したタイミング）（４）車両の走行中における任意のタイミング（繰り返しの実行も含む）
上記（１），（２）のタイミングは、運転がまさに開始されるというタイミングであり、そのようなタイミングで異常の検出処理が実行されてひいては表示Ｄ１が表示されることで、ユーザ（運転者）にとってこれからの運転に対して安心感を抱かせることができる。

上記（３）のタイミングは、車両が停止しているため、危険度は小さくなっており、表示制御の処理負荷は小さくなっているか、或いは表示制御を敢えて省略して表示制御のための処理負荷を抑えるということを行っても良い。そして、そのようなタイミングで異常の検出処理を実行するようにしたならば、処理負荷が過度に大きくなることを抑制し得る。また、処理負荷の増大に起因して表示制御に例えば何らかの異常が生じるリスク（例えば処理の遅れ等が生じるリスク）を抑えることができる。このため、安全性、信頼性の高い運転支援に資することができる。

上記（４）のタイミングは、走行中のタイミングであり、処理負荷等の観点で表示制御に支障が出ない限り、異常の有無をリアルタイムでユーザ（運転者）に通知することができ、ユーザ（運転者）にとってはより安心である。

また、表示Ｄ１について、常時表示するようにしても良いし、任意のタイミングで表示するようにしても良い。
任意のタイミングで表示する場合、上記（１）〜（４）に例示したような、異常の検出処理の実行タイミングに合わせて表示タイミングが設定されても良い。具体的には、異常の検出処理が実行されたタイミング（処理が終了したタイミング）に同期して、表示Ｄ１が表示されても良い。

次に、別の表示態様例について図４３に基づき説明する。
図４３は、車両が走行する領域（道路等）における危険領域を強調表示する例である。この例は、土砂災害が発生して道路の一部が土砂で寸断されている場合の例である。

運転支援装置１，１００，１０１は、前述のように可視光カメラ５を備えており、すでに説明したように可視光カメラ５による撮像画像を画像処理して画像に映りこんだ検出対象、又はその検出対象物が占める領域等を認識することができる。そこで、運転支援装置１，１００，１０１は、土砂崩れの領域を検出し、強調表示Ｄ６をその土砂崩れの領域に重畳表示し得るように構成されても良い。

この場合、強調表示Ｄ６に加えて、その強調表示Ｄ６に隣接してテキスト表示Ｄ５が表示されても良い。これらのテキスト表示Ｄ５、及び強調表示Ｄ６は、点滅表示されても良い。また、表示色が変化するように表示されても良い。例えば、災害の規模に応じて表示態様を変更しても良い。

さらに、土砂崩れが発生した領域以外において、土砂崩れの恐れのある領域を追加で強調表示するようにしても良い。この場合、土砂崩れ対策がなされていない領域（例えば、コンクリート等で覆われていない領域）、水及び／又は僅かな土砂等が表面を流れているような領域等を画像処理により検出してその領域を強調表示しても良い。

土砂災害等に遭遇することは確率的には低いかもしれない。しかし、そうであるからこそ、実際に遭遇した場合には運転者において理解が追いつかず、換言すれば認識が遅れ、重大事故につながる可能性もある。そこで、そのような災害時の強調表示にも対応することで、運転支援の信頼性、安全性をより高めることができる。

次に、別の表示態様例について図４４に基づき説明する。
図４４は河川沿いの堤防を走行している場面を想定しており、そのような場面において、河川の水位の安全度又は危険度（換言すれば、河川の氾濫の危険性）を表示する例である。

例えば、河川の水位を検出し、危険度合いをインジケータ表示するようにしても良い。具体的には、インジケータ表示Ｄ１０を設けても良い。インジケータ表示Ｄ１０としては、グラデーション表示を採用しても良い。

インジケータ表示Ｄ１０の近辺には、危険表示Ｄ１２、及び安全表示Ｄ１３を設けることができる。
そして、河川の水位に応じて、現在水位枠Ｄ１４を、インジケータ表示Ｄ１０において重畳表示する。現在水位枠Ｄ１４の表示位置が危険表示Ｄ１２に近いほど、河川の水位が高く危険であることを示し、現在水位枠Ｄ１４の表示位置が安全表示Ｄ１３に近いほど、安全であることを示す。

テキスト表示Ｄ１１は、現在水位枠Ｄ１４に隣接して設けられる。テキスト表示Ｄ１１としては、危険度（又は安全度）がテキストにて表示されても良い。
河川が占める領域には、強調表示Ｄ１５を重畳表示させることができる。強調表示Ｄ１５の表示色及び模様等の表示態様は、現在水位枠Ｄ１４にて囲まれる領域の表示色及び模様等の表示態様と一致させることが好ましい。

この場合、運転支援装置１，１００，１０１の制御ＥＣＵ２０は、現在水位枠Ｄ１４によって囲まれる領域における表示態様のデータを抽出したうえで、その表示態様を強調表示Ｄ１５の表示態様に適用する、という処理を実行することとなる。

このような例によれば、ユーザ（運転者）は、図４３で例示した場合のように災害の事実を認識するというよりも、災害発生の潜在的な可能性を認識することができる。また、危険度を示すインジケータ表示Ｄ１０にて、ユーザ（運転者）は危険度を直感的に把握することができる。また、強調表示Ｄ１５の表示態様がインジケータＤ１０の表示態様（現在水位枠Ｄ１４で囲まれる領域の表示態様）に一致することで、ユーザ（運転者）にとっての認識のし易さが格段に向上し得る。

次に、別の表示態様例について図４５Ａ−４５Ｃに基づき説明する。
まず、図４５Ａについて、趣旨の１つは、対象物を立体表示することである。図４５Ａにおいて、構造物Ｄ２０，Ｄ２２は、自車両が走行する道路に沿って存在する建物である。この種の建物について、立体表示技術を用いて、立体的に表示しても良い。立体表示技術としては、異なる方向から投影する複数のプロジェクタ（一般的には左右一対のプロジェクタ）を用意し、左目用の画像、及び右目用の画像をそれぞれ表示することで立体視を実現する方法が知られている。

或いは、立体画像データを含む地図データを利用しても良い。即ち、その立体画像データが表す画像を表示するようにしても良い。
立体表示によれば、ユーザ（運転者）にとってより視認し易くなることが期待される。

そして、図４５Ａでは、構造物Ｄ２０，Ｄ２２のそれぞれについて、その属性に応じてシンボル表示Ｄ２１，Ｄ２３を描画する。
属性には、構造物の種類が含まれる。構造物の種類としては、店舗、官公庁、民家、といった種類が挙げられる。

また、属性には、構造物に付属する付属情報が含まれる。例えば、店舗であれば、付属情報としては、営業時間、店舗規模、平均来客数、立地情報といった情報が挙げられる。
このような属性の情報は、例えば、地図データに付随しており、運転支援装置１，１００，１０１側ではその地図データから取得する、という構成が考えられる。

図４５Ａの例において、構造物Ｄ２０がコンビニエンスストアであるとすると、一例では、店舗であること、２４時間営業であること、朝夕に来客が多いこと、といった情報が構造物Ｄ２０の属性に含まれ得る。

制御ＥＣＵ２０は、そのような属性に基づき、例えば、２４時間営業で来客が多いこと、という情報に基づいて、駐車場からの車両の出入りがあることの注意を促すシンボル表示Ｄ２１を、構造物Ｄ２０に対応付けて表示する。構造物Ｄ２０に対応付けて表示する、とは、例えば、構造物Ｄ２０の近辺に表示する、構造物Ｄ２０に隣接させて表示する、構造物Ｄ２０に重畳表示する、ということであると理解されても良い。

また、構造物Ｄ２２は、ちょうど道路がカーブしている地点にあり、「カーブ地点に立地している」という情報（立地情報）が属性に含まれているとする。制御ＥＣＵ２０は、例えば、そのような属性に基づき、カーブに沿った走行を促すシンボル表示Ｄ２３を構造物Ｄ２２に対応付けて表示する。

これによれば、ユーザ（運転者）は、走行中の道路に付随する潜在的なリスクも認識することができる。
図４５Ｂは、対向車が中央車線をはみ出して走行している例を示す。

このような対向車が検出された場合、制御ＥＣＵ２０は、対向車が走行する可能性のある経路を演算により推定し、推定した領域に強調表示Ｄ２５を重畳表示させる。ただし、このような表示制御は、対向車が車線内を走行している場合には行われなくても良い。例えば、対向車が車線をはみ出して走行しており衝突の危険性がある場合において、そのような表示制御が実行されても良い。

図４５Ｃは、自車両が車線をはみ出して走行している例を示す。
このような場合、制御ＥＣＵ２０は、自車両が走行する可能性のある経路を演算により推定し、自車両のシンボルを表示するとともに、推定した領域に強調表示Ｄ２７を重畳表示させる。

自車両のシンボルを表示させることで、ユーザ（運転者）は危険を客観的に認識することができるようになる。交通事故においては、「大丈夫、問題ないだろう」という思い込み、即ち主観的判断に問題があるケースがある。状況を客観的に把握できるようにすることで、主観的感情を排除できることにつながり、事故防止に資することができる。

ただし、このような表示制御は、自車両が車線内を走行している場合には行われなくても良い。例えば、自車両が車線をはみ出して走行しており衝突の危険性がある場合において、そのような表示制御が実行されても良い。

強調表示Ｄ２５の表示態様と強調表示Ｄ２７の表示態様とは、区別が付き易い形態で異なっていることが好ましい。この場合、対向車が車線をはみ出しており危険であるのか、自車両が車線をはみ出しており危険であるのか、が認識され易くなる。

以上、本発明の一実施形態について説明したが、当業者であれば、種々の態様が本願発明の範囲に属し得ることを理解できる。
例えば、表示画面をタッチパネルで構成しても良い。そして、タッチパネル上で対象物を選択することで、その対象物の強調表示を行わせたり、強調表示を解除させたりすることができるようにしても良い。

また、交通事故等が多発している箇所を走行する場合においては、警戒レベルを追加的に上げる（警戒レベルのポイント追加的にインクリメントする）ように構成しても良い。

Claims (3)

1. 車両の周辺の状況を検知する検知手段と、
   前記検知手段の検知結果に基づき、車両の周辺の対象物を認識する認識手段と、
   前記認識手段により認識された前記対象物を解析する解析手段と、
   前記対象物について、前記解析手段の解析結果に基き、警戒すべき度合いを設定する設定手段と、
   前記対象物を車両の運手者に視認させるための画像を、前記設定手段により設定された度合いに基づき生成する生成手段と、
   前記生成手段により生成された画像を表示する表示手段と、
   を備えることを特徴とする運転支援装置。
2. 前記認識手段により認識された対象物が人であるか否かを判定する判定手段と、
   前記人の状態を示す象徴記号の画像データを記憶する記憶手段と、を備え、
   前記解析手段は、前記対象物のうち、前記判定手段により人であると判定された対象物の状態を解析し、
   前記生成手段は、前記解析手段の解析結果に基き、その解析結果を示す記号であって前記人の状態を示す象徴記号に対応する画像データを前記記憶手段から読み出す読出手段を備え、
   前記表示手段は、前記読出手段により前記象徴記号の画像データが読み出されると、その画像データが表す象徴記号を表示する、
   ことを特徴とする請求項１に記載の運転支援装置。
3. 前記車両の運転者の視線を検出する視線検出手段と、
   前記表示手段が表示した画像のうち、前記運転者が認識した画像を、前記視線検出手段の検出結果である、前記運転者の視線の移動状態から識別する識別手段と、
   前記識別手段により前記運転者が認識したと識別された画像を消去する消去手段と、
   を備えることを特徴とする請求項１又２に記載の運転支援装置。