JPWO2013108371A1 - 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体 - Google Patents

Abstract

【課題】車両から撮像した画像中の所定の注意対象物に対する注意を適切に支援できる注意支援画像の重畳表示技術を提供する。【解決手段】前方画像中において画像認識により検出した注意対象物Ｆの表示領域の中心位置Ｐ３と移動表示基準点Ｐ２とを結ぶ線分で注意支援画像を生成し、表示する。この線分画像は、結果的に移動表示基準点Ｐ２を中心とした略放射状の図形で形成される。前方画像中に表示されるどの表示物も、車両Ｖの移動に伴い移動表示基準点Ｐ２を中心として放射状に移動表示するため、線分画像は注意対象物Ｆの移動軌跡を示す。これにより、画像認識により検出した注意対象物Ｆの中心位置Ｐ３が、前方画像の最新画像フレームにおいて多少ずれた場合でも、注意対象物Ｆは注意支援画像の線分の延長上に位置するため、視覚的にそのズレの補間が容易であり、ユーザは自然かつ直感的に注意対象物Ｆを把握できる。

Description

本発明は、移動体の前方画像中の所定表示物に対し、その位置を指し示す画像を重畳する画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体に関する。

近年では、移動体に搭載されたカメラで周囲の画像を撮像し、その画像中に表示される多くの表示物のうちで特にユーザに注意を促すべき対象物を指し示す図形等を当該画像に重畳表示させ、その注意の支援を行う技術が提案されている。

例えば特許文献１に記載の技術では、画像データ中に所定の特徴部位を画像認識等により検出した際、その特徴部位を囲む枠形状のマーカを画像に重畳表示していた。

特開２００４−３２０２８６号公報

しかしながら、走行中の移動体に搭載したカメラで周囲の画像を動画形式で撮像した場合には、当該移動体の移動により画像中の表示物が流れるように移動する。このような動画形式の画像に対して上記従来技術により画像中の特徴部位である表示物に枠状マーカを重畳表示した場合には、その表示物を画像認識する処理及び重畳表示すべき枠マーカの位置や大きさの算出及び描画の処理に時間がかかることから、枠マーカが対象の表示物からずれて重畳表示されてしまい、ユーザは画像中における注意対象物の認識が困難となってしまう。そのため、移動体から撮像した画像中の所定の注意対象物に対するユーザの認識を適切に支援できる支援画像の重畳表示技術が要望されていた。

本発明が解決しようとする課題には、上記した問題が一例として挙げられる。

上記課題を解決するために、請求項１記載の発明は、画像処理装置であって、走行する移動体から撮影した前方画像の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と前記前方画像中の所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、前記生成手段により生成された前記表示オブジェクトを含む前方画像を出力する出力手段と、を備える。

上記課題を解決するために、請求項１０記載の発明は、画像処理装置であって、走行する移動体に搭載され、前記移動体の前方画像を取得する撮像手段と、前記前方画像中の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、前記生成手段により生成された前記表示オブジェクトを出力する出力手段と、運転者の運転時における視界内に前記出力手段が出力した前記表示オブジェクトを映し出すヘッドアップディスプレイと、を有する。

上記課題を解決するために、請求項１２記載の発明は、画像処理サーバであって、走行する移動体から撮像した前方画像を外部の画像処理装置から受信する受信手段と、前記前方画像中の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、前記生成手段により生成された前記表示オブジェクトを前記外部の画像処理装置に送信する送信手段と、を有する。

上記課題を解決するために、請求項１３記載の発明は、画像処理装置であって、走行する移動体に搭載されて前方画像を撮像する撮像手段と、請求項１２に記載の画像処理サーバに対して前記前方画像を送受する通信手段と、前記通信手段が前記画像処理サーバから受信した前記表示オブジェクトを含む前方画像を表示する表示手段と、を有する。

上記課題を解決するために、請求項１４記載の発明は、画像処理装置が実行する画像処理方法であって、走行する移動体から撮影した前方画像の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と前記前方画像中の所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成工程と、前記生成手段により生成されたオブジェクトを含む前方画像を出力する出力工程と、を実行する。

上記課題を解決するために、請求項１５記載の発明は、画像処理プログラムであって、請求項１４に記載の画像処理方法を、画像処理装置により実行させる。

上記課題を解決するために、請求項１６記載の発明は、記録媒体であって、請求項１５に記載の画像処理プログラムが、前記画像処理装置により読み取り可能に記憶されている。

本発明の画像処理装置の実施形態を含む運転支援装置を搭載した車両の構成例を示す斜視図である。 運転支援装置のハードウェア構成例を示すブロック図である。 運転室から見た車窓風景及びこれに対応するディスプレイの表示の一例を示す図である。 図３に示した姿勢状態のフロントカメラが撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。 比較従来例の注意支援画像としての枠形状マーカを生成、表示した場合の表示例を表した図である。 実施形態による注意支援画像を生成、表示した場合の表示例を表した図である。 図３に示した姿勢状態のフロントカメラ１が撮像した前方画像をディスプレイ３に表示した場合の表示例を表している。 車線輪郭線、車線消失点、及び平均消失点を写し込んだ前方画像をディスプレイに表示した場合の表示例を表した図である。 イメージングユニットのＣＰＵが実行する制御内容を表すフローチャートである。 注意支援画像を半直線画像で生成、表示した場合の表示例を表した図である。 半直線画像の注意支援画像のうち中心位置の前後で表示態様を異ならせた場合の表示例を表した図である。 注意対象物の表示領域よりも少し長い線分画像で重複するように注意支援画像を生成、表示した場合の表示例を表した図である。 注意対象物の表示領域を包絡する２本の線分画像で注意支援画像を生成、表示した場合の表示例を表した図である。 注意支援画像である２本の線分画像の間の領域を中心位置の前後で表示態様を異ならせた場合の表示例を表した図である。 移動表示基準点から注意対象物まで放射方向で移動する移動オブジェクトで注意支援画像を生成、表示した場合の表示例を表した図である。 枠形状マーカを放射状に扁平させた楕円形で注意支援画像を生成、表示した場合の表示例を表した図である。 過去と最新の画像フレームでそれぞれ検出した２つの中心位置を結ぶ線分画像で注意支援画像を生成、表示した場合の表示例を表した図である。 略放射状の図形と枠形状マーカを組み合わせて注意支援画像を生成、表示した場合の表示例を表した図である。 サーバ型の運転支援装置を搭載した車両とネットワークの構成例を示す斜視図の一例である。 電子携帯端末を利用した形態の画像処理装置を搭載した車両の構成例を示す斜視図の一例である。 ヘッドアップディスプレイプロジェクターとコンバイナを備えた場合の運転支援装置のシステム構成の一例を示すブロック図である。 車両の車内から見た車窓風景及びこれに対応するヘッドアップディスプレイの表示の一例を示す図である。 ヘッドアップディスプレイによるコンバイナへの投影表示の態様を側方から見た模式図である。 各形態での各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示した図である。 各形態での各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示した図である。

以下、本発明の実施形態のうちの一つを図面を参照しつつ説明する。

図１は、本発明の画像処理装置の実施形態を含む運転支援装置を搭載した車両の構成例を示す斜視図である。この図１において、運転支援装置Ｓは、移動体である車両Ｖの車内天井に設置されているルームミラー１０１の前方側位置に単独のフロントカメラ１を設けている。フロントカメラ１の撮像方向Ｄｃは、当該車両Ｖの進行方向の前方を撮像可能な姿勢で取り付けられている。なおこの例では、フロントカメラ１は、例えばユニバーサルジョイントを介した取付装置によって車両Ｖに取り付けられており、その撮像方向Ｄｃはヨー方向（水平方向）とピッチ方向（垂直方向）のそれぞれの所定範囲で手動により可動となっている。このフロントカメラ１は、その姿勢の可動範囲内では、当該車両Ｖの中央前後方向を貫く車両軸の方向Ｄｖを撮像範囲から外さない。

図２は、運転支援装置Ｓのハードウェア構成例を示すブロック図である。この図２において、運転支援装置Ｓは、フロントカメラ１、イメージングユニット２、ディスプレイ３、ＧＰＳ１３、車速センサ１４を有している。

フロントカメラ１は撮像手段に相当し、例えばＣＣＤ撮像素子などを利用して、上述した当該車両の進行方向の前方画像を撮像し、対応する信号をイメージングユニット２のＣＰＵ（後述）へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ１が十分に短い時間周期で時系列的に複数の画像フレームを撮像し続けることで、前方画像を動画の形式で撮像する。

ディスプレイ３は表示手段に相当し、例えばＬＣＤパネルなどで構成されて、イメージングユニット２のグラフィックコントローラ（後述）から入力された画像信号に基づき、上記フロントカメラ１で撮像された前方画像に後述の注意支援画像を重畳させた合成画像を表示する機能を有する。

ＧＰＳ１３は、車両Ｖの現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の注意対象物（後に詳述する）の位置検出を行う機能を有する。

車速センサ１４は、当該車両Ｖの走行速度を検出する機能を有する。イメージングユニット２が備える後述のＣＰＵは、この車速センサ１４の検出信号に基づき、当該車両Ｖが停止中の状態であるか、もしくはどのくらいの走行速度で走行しているか、を識別することができる。

イメージングユニット２は画像処理装置に相当し、ＣＰＵ１１、記憶装置１２、グラフィックコントローラ１５を有している。

ＣＰＵ１１は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、運転支援装置Ｓ全体を制御する機能を有する。

記憶装置１２は、ＲＯＭ１２ａ、ＲＡＭ１２ｂ、及び記憶媒体１２ｃを有する。ＲＯＭ１２ａは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。ＲＡＭ１２ｂは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体１２ｃは、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。

グラフィックコントローラ１５は、ＣＰＵ１１の制御によってビデオＲＡＭ（図示せず）及び上記ＧＰＳ１３などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ３に表示させる機能を有する。なお、上述したように、本実施形態の例におけるこのグラフィックコントローラ１５は、上記フロントカメラ１で撮像された前方画像に後述の注意支援画像を重畳させた合成画像データに基づく画像信号をディスプレイ３に出力する。また、本実施形態の例では、このグラフィックコントローラ１５は、上記フロントカメラ１が動画形式で前方画像を撮像する際の時間周期とは無関係に、任意のタイミングで画像信号をディスプレイ３に表示させる。

図３は、運転室から見た車窓風景及びこれに対応するディスプレイ３の表示の一例を示す図である。図示する例では、当該車両Ｖはほぼ直線の走行車線を走行しており、その走行方向前方にいる前方車両Ｖｆに追従している状態を示している。ルームミラー１０１の裏側（進行方向側）に備えられているフロントカメラ１は、上記直線の走行車線と前方車両Ｖｆを含んだ前方画像を撮像している。このとき、上述したように、フロントカメラ１の撮像範囲は当該車両Ｖの車両軸方向Ｄｖを外さずに含んでいる。そして、ディスプレイ３は、フロントカメラ１が撮像した前方画像を表示している。

ここで、上述したようにフロントカメラ１はその取り付け姿勢が可動であるため、図示する例のように、その撮像方向Ｄｃが車両軸方向Ｄｖと平行な姿勢関係にない場合がある。このようなズレは、ユーザがフロントカメラ１を任意の位置に取り付けた場合や、手作業で取り付けた場合などにも生じうる。そこで本実施形態では、このようなフロントカメラ１の撮像方向Ｄｃと車両軸方向Ｄｖとの間のズレを考慮しつつ、動画形式の前方画像中で移動表示される所定の注意対象物の認識を適切に支援可能な注意支援画像の生成と表示を行う。以下、そのような注意支援画像の生成手法及び表示例を順次説明する。

まず図４は、上記図３に示した姿勢状態のフロントカメラ１が撮像した前方画像をディスプレイ３に表示した場合の表示例を表している。なお、図示する例では、ディスプレイ３の表示領域に設定した表示座標Ｘ−Ｙの全体で前方画像を表示しており、すなわち表示座標Ｘ−Ｙが前方画像の画像座標と一致する。この図４において、前方画像中には上記前方車両Ｖｆ以外にも、郵便ポスト５１、２つの道路標識５２，５３、２つの信号機５４，５５、看板５６、及び歩行者５７が表示物として表示されている。

また、上述したようにフロントカメラ１は、その姿勢の可動範囲内では当該車両Ｖの車両軸方向Ｄｖを撮像範囲から外さないことから、前方画像の表示座標Ｘ−Ｙ中には必ず移動表示基準点Ｐ２が存在する。この移動表示基準点Ｐ２とは、前方画像中において当該車両Ｖのその時点の進行方向の無限遠方移動位置（その時点に表示されている前方画像での表示座標Ｘ−Ｙ中において当該車両Ｖがそのままの進行方向で移動した場合に到達する予定位置）に相当する点であり、この点は常にその時点の略地平線（略水平線：図４中では特に図示せず）と車両軸方向Ｄｖの略延長線との交点上に位置するもので、これを消失点という。なお、この移動表示基準点Ｐ２が各請求項記載の基準点に相当する。

そして当該車両Ｖが車両軸方向Ｄｖへ向かって移動するに伴い、上述した前方画像中の全ての表示物は上記移動表示基準点Ｐ２を中心とした放射状に移動する。つまり、前方画像中の全ての表示物は、当該車両Ｖから遠方に離間している際にはいずれも移動表示基準点Ｐ２の近傍に位置している。そして、当該車両Ｖが移動表示基準点Ｐ２へ向かって移動するに従い、動画形式の前方画像中において各表示物は移動表示基準点Ｐ２を中心とした略放射状に配置される半直線上（図中の破線矢印参照）に沿って移動するよう表示される。

以下においては、上記の郵便ポスト５１を注意対象物Ｆに設定した場合を考える。注意対象物Ｆとは、当該車両Ｖの運転者や同乗者であるユーザに対して、前方画像中に表示される多くの表示物の中から特に見落とすことのないよう注意を促すべき表示物である。ここでは、一例として郵便ポスト５１を注意対象物Ｆとしているが、これに限るものではない。他の例では道路標識、信号機、看板などの地物や、歩行者などの車両の速度と比較して十分に低速で移動するものであってもよい。なお注意対象物Ｆは各請求項に記載の所定の特徴物に相当する。特徴物は画像認識により検出可能な特徴部位を備えるものである。イメージングユニット２は、この特徴部位を画像認識して前方画像中から注意対象物Ｆを検出する。この注意対象物Ｆの設定方法としては、郵便ポストや道路標識などの所定の種類の特徴物をあらかじめ設定しておいてもよいし、ＧＰＳ１３が記憶している地図情報に基づいてこれから通過する予定の道路近傍に設置されている特徴物をあらかじめ指定して設定してもよいし、または、ユーザが前方画像中の特徴物をディスプレイ３に設けたタッチパネル（特に図示せず）上での直接接触やカーソルなどの指標により直接指定することで、指定された特徴物と同種の特徴物が注意対象物Ｆに設定してもよい。

このようにして注意対象物Ｆとして設定された郵便ポスト５１に対し、前方画像中におけるその注意を促すために図５に示すような枠形状のマーカ６１を注意支援画像として生成し、当該郵便ポスト５１の表示領域を囲むように重畳表させることが考えられる。しかしこの場合には、イメージングユニット２のＣＰＵ１１が前方画像の表示座標Ｘ−Ｙにおいて画像認識により郵便ポスト５１の表示領域とその存在位置を検出するとともに、当該表示領域の大きさに合わせて枠形状マーカ６１の大きさを算出し描画する処理を行わなければならない。これらの処理はいずれも計算量が多く、特に画像認識には処理時間が長くかかる。そのため、前方画像を動画形式で表示する場合にはそのフレームサイクルに間に合わず、図５に示すように枠形状のマーカ６１を重畳表示しても対応する郵便ポスト５１が枠形状から大きく外れてしまい、ユーザからの注意が困難となる。

そこで本実施形態では、注意支援画像を、上記移動表示基準点Ｐ２と注意対象物Ｆの存在位置との相対的な位置関係を幾何的に示すよう生成、表示する。具体的に本実施形態の例では、図６に示すように、前方画像中において画像認識により検出した郵便ポスト５１の表示領域の中心位置Ｐ３を存在位置とし、上記移動表示基準点Ｐ２とこの中心位置Ｐ３とを結ぶ線分Ｇ１で注意支援画像を生成し、表示する。そしてこのように生成、表示した注意支援画像の線分Ｇ１は、結果的に移動表示基準点Ｐ２を中心とした略放射状の図形で形成される。なお、この注意支援画像は各請求項に記載の表示オブジェクトに相当する。

上述したように、動画形式の前方画像中に表示されるいずれの表示物も、当該車両Ｖの移動に伴い移動表示基準点Ｐ２を中心として放射状に移動表示する。つまり上記の注意支援画像として生成、表示される線分画像Ｇ１は、注意対象物Ｆである郵便ポスト５１の前方画像中における移動軌跡を示す。このため、画像認識により検出した郵便ポスト５１の中心位置Ｐ３が、前方画像の最新画像フレームにおける中心位置と多少ずれた場合でも、郵便ポスト５１は注意支援画像の線分Ｇ１の延長上に位置するため、視覚的にそのズレの補間が容易であり、ユーザは自然かつ直感的に郵便ポスト５１を認識できる。これは、車両Ｖの移動速度と比較して十分に遅い歩行者などを注意対象物Ｆとしても、同じ効果が得られる。

ここで、前方画像の表示座標Ｘ−Ｙにおける上記移動表示基準点Ｐ２の位置は、多くの場合表示座標Ｘ−Ｙの中央位置から外れて、その時点のフロントカメラ１の撮像方向Ｄｃがどの方向に向いているかによって異なってくる。本実施形態では、表示座標Ｘ−Ｙ中における移動表示基準点Ｐ２の位置を、以下に説明する平均消失点の算出により取得する。

まず図７は、上記図３に示した姿勢状態のフロントカメラ１が撮像した前方画像をディスプレイ３に表示した場合の表示例を表している。なお、図示の煩雑をさけるために、前方車両Ｖｆだけを表示物として表示している。この図７において、上述したようなフロントカメラ１の撮像方向Ｄｃと車両軸方向Ｄｖとの間のズレがある場合には、ディスプレイ３の表示座標Ｘ−Ｙの中央位置、つまり図中の縦方向、横方向それぞれの中心線Ｌｖ，Ｌｌの交点位置が、車両軸方向Ｄｖから離れている。この場合には、前方画像は中心線Ｌｌに対する左右方向の対称性を損なっており、例えば実際に車両Ｖが直線状の走行車線を走行している場合でも、その走行車線を挟んで左側と右側にそれぞれ表示される表示物どうしは、その前方画像中における移動の方向と速度が走行車線に関して非対称となっている。

これに対し、図示する例のように直線状の走行車線を走行している際に撮像した前方画像中においては、走行車線の無限遠方点に相当する車線消失点Ｐ１が、常にその時点の略地平線（略水平線）と車両軸方向Ｄｖの略延長線との交点上に位置する。つまり、このように直線状の走行車線を走行している際の車線消失点Ｐ１の位置は、上記移動表示基準点Ｐ２の位置と一致する。

上記車線消失点Ｐ１を検出する手法としては、まず図示するように実際の走行車線の両側に塗布されている白線や、路面と縁石との境界線や、又はアスファルト道路の縁部などを前方画像の画像解析により検出し、当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒとして認識する。そして、これら２本の車線輪郭線Ｌｒの車両進行方向の延長線上の交点が、前方画像上における上記車線消失点Ｐ１として検出される。

ここで例えば図８に示すように、走行車線がカーブ状である場合には、上記２本の車線輪郭線Ｌｒも、前方画像上におけるそのカーブの方向と曲率に合わせて認識される。なお、特に図示しないが、このカーブの曲率が途中で変化する場合には、当該車両Ｖの手前側の曲率を優先して２本の車線輪郭線Ｌｒが認識される。そして手前側の曲率に基づいた近似式でカーブの延長線を算出し、それらの交点位置が車線消失点Ｐ１として検出される。

当該車両Ｖが多様な形状の走行車線を長く走行し、上記車線消失点Ｐ１を多数検出して記録した場合には、それら車線消失点Ｐ１の平均位置に位置する平均消失点Ｐ２は統計的に車両軸方向Ｄｖの延長上と地平線上に近接する。つまり、表示座標Ｘ−Ｙ上における平均消失点Ｐ２の位置は、その時点のフロントカメラ１の撮像方向Ｄｃに対応する上記移動表示基準点Ｐ２の固定位置と見なせる。このように本実施形態では、適切な注意支援画像を生成する前の準備作業として、車両Ｖが多様な形状の走行車線を走行して十分多くの車線消失点Ｐ１を検出し、それらに基づいて信頼性のある平均消失点Ｐ２を算出する。そしてこの算出された平均消失点Ｐ２が、その時点のフロントカメラ１の撮像方向Ｄｃに対応する表示座標Ｘ−Ｙ上の移動表示基準点Ｐ２として取得する。

図９は、以上説明した動作態様を実現するために、イメージングユニット２のＣＰＵ１１が実行する制御内容を表すフローチャートである。なお、このフローは、フロントカメラ１が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行する。

図９において、まずステップＳ５において、車速センサ１４の検出信号に基づき当該車両Ｖが所定速度以上で走行しているか否かを判定する。当該車両Ｖが所定速度以上で走行している場合には、判定が満たされ、ステップＳ１０へ移る。

ステップＳ１０では、その時点でフロントカメラ１が撮像した前方画像（静止画像フレーム）を取得する。

ステップＳ１５へ移り、前回フロントカメラ１の撮像方向Ｄｃを設定してからそれに対応する表示座標Ｘ−Ｙ上の平均消失点Ｐ２をすでに取得済みであるか否かを判定する。その時点の撮像方向Ｄｃに対応する平均消失点Ｐ２をまだ取得できていない場合、判定は満たされず、ステップＳ２０へ移る。

ステップＳ２０では、前回の車線消失点Ｐ１の検出から所定時間が経過したか否かを判定する。所定時間が経過していない場合には、判定は満たされず、ステップＳ５に戻って同様の手順を繰り返す。このように車線消失点Ｐ１を検出する時間間隔を空けることで、検出する車線消失点Ｐ１の多様性を確保し、検出する平均消失点Ｐ２の信頼性を向上できる。

一方、所定時間を経過した場合には、判定が満たされ、ステップＳ２５へ移る。

ステップＳ２５では、上記ステップＳ１０で撮像した前方画像中において、現在の走行車線における２本の車線輪郭線Ｌｒを認識する。

ステップＳ３０へ移り、上記ステップＳ２５で認識した２本の車線輪郭線Ｌｒに基づいて、現在の走行車線における車線消失点Ｐ１を検知する。

ステップＳ３５へ移り、上記ステップＳ３０で検出した車線消失点Ｐ１を記憶媒体１２ｃに蓄積するよう追加記録する。

ステップＳ４０へ移り、その時点で既に信頼性の高い平均消失点Ｐ２を検出できるだけの十分な数で車線消失点Ｐ１を検出、記憶しているか否かを判定する。その時点でまだ検出数が十分でない場合、判定は満たされず、ステップＳ５へ戻り、同様の手順を繰り返す。

一方、その時点で既に信頼性の高い平均消失点Ｐ２を検出できるだけの十分な数で車線消失点Ｐ１を検出、記憶している場合、判定が満たされ、ステップＳ４５へ移る。

ステップＳ４５では、記憶媒体１２ｃに記録されている全ての車線消失点Ｐ１を読み出す。

ステップＳ５０へ移り、上記ステップＳ４５で読み出した全ての車線消失点Ｐ１の平均位置に位置する平均消失点Ｐ２を算出する。そして、ステップＳ５に戻り、同様の手順を繰り返す。

一方、上記ステップＳ１５の判定において、その時点の撮像方向Ｄｃに対応する平均消失点Ｐ２をすでに取得していた場合、判定が満たされ、ステップＳ５５へ移る。

ステップＳ５５では、注意対象物Ｆが設定されているか否かを判定する。なお注意対象物Ｆはあらかじめ設定されていたり、又はユーザが設定可能であってもよい。また、地図情報に基づいた注意対象物Ｆの設定がある場合は、それが前方画像に表示されるほど近い位置に接近しているか否かも併せて判定してもよい。注意対象物Ｆが何ら設定されていない場合、もしくは地図情報に基づいて設定されていても前方画像に表示される程度にまだ接近していない場合には、判定は満たされず、ステップＳ５に戻って同様の手順を繰り返す。

一方、注意対象物Ｆが設定済みであり、前方画像上に注意支援画像を表示させる必要がある場合には、判定が満たされ、ステップＳ６０へ移る。

ステップＳ６０では、上記ステップＳ１０で取得した前方画像において、注意対象物Ｆを画像認識により認識し、その表示領域の中心位置Ｐ３を当該注意対象物Ｆの存在位置として検出する。なお、このステップＳ６０の手順が、各請求項記載の生成手段及び生成工程に相当する。

ステップＳ６５へ移り、表示座標Ｘ−Ｙ上において平均消失点Ｐ２から注意対象物Ｆの中心位置Ｐ３までを結ぶ線分Ｇ１の画像を注意支援画像として生成する。なお、このステップＳ６５の手順も、各請求項記載の生成手段及び生成工程に相当する。

ステップＳ７０へ移り、上記ステップＳ６５で生成した注意支援画像の線分Ｇ１を前方画像に重畳表示させるようディスプレイ３に出力する。そして、ステップＳ５に戻り、同様の手順を繰り返す。なお、このステップＳ７０の手順が、各請求項記載の出力手段及び出力工程に相当する。

以上説明したように、上記実施形態のイメージングユニット２においては、走行する車両Ｖ（移動体に相当）から撮影した前方画像の平均消失点Ｐ２（消失点に相当）又はその近傍に位置する移動表示基準点Ｐ２（基準点に相当）と、前記前方画像中の所定の注意対象物Ｆ（所定の特徴物に相当）との相対的な位置関係を示す注意支援画像（表示オブジェクトに相当）としての線分画像Ｇ１を生成するステップＳ６０、Ｓ６５の手順（生成手段に相当）と、前記ステップＳ６０、Ｓ６５の手順により生成された前記注意支援画像を含む前方画像を出力するステップＳ７０の手順（出力手段に相当）と、を備える。

また、上記実施形態のイメージングユニット２が実行する画像処理方法においては、走行する車両Ｖ（移動体に相当）から撮影した前方画像の平均消失点Ｐ２（消失点に相当）又はその近傍に位置する移動表示基準点Ｐ２（基準点に相当）と、前記前方画像中の所定の注意対象物Ｆ（所定の特徴物に相当）との相対的な位置関係を示す注意支援画像（表示オブジェクトに相当）としての線分画像Ｇ１を生成するステップＳ６０、Ｓ６５の手順（生成工程に相当）と、前記ステップＳ６０、Ｓ６５の手順により生成された前記注意支援画像を含む前方画像を出力する出力工程と、を実行する。

このようにすると、車両Ｖのその時点の進行方向への移動に伴って、前方画像中の全ての表示物は、移動表示基準点Ｐ２又はその近傍から当該前方画像の外周側へ移動表示される。そして、移動表示基準点Ｐ２と注意対象物Ｆの中心位置Ｐ３との相対的な位置関係を示す注意支援画像Ｇ１は、当該注意対象物Ｆの前方画像中における移動方向を概略的に示す画像となる。このため、処理時間が比較的長くかかる画像認識により検出した注意対象物Ｆの中心位置Ｐ３が、最新の画像フレームにおける同一の注意対象物Ｆの中心位置から多少ずれた場合でも、ユーザは注意支援画像Ｇ１を参照することにより前方画像中における注意対象物Ｆの位置を直感的に把握できる。この結果、車両Ｖから撮像した画像中の所定の注意対象物Ｆに対する注意を適切に支援できる注意支援画像の重畳表示が可能となる。

上述した構成に加えてさらに、ステップＳ６５の手順では、前記前方画像において前記移動表示基準点Ｐ２を中心とした略放射状の図形で前記注意支援画像Ｇ１を生成してもよい。

このようにすると、略放射状の図形で生成された注意支援画像Ｇ１は、注意対象物Ｆの前方画像中における移動軌跡とほぼ重複する。このため、画像認識により検出した注意対象物Ｆの中心位置Ｐ３が、前方画像の最新画像フレームにおける同一の注意対象物Ｆの中心位置と多少ずれた場合でも、注意対象物Ｆは注意支援画像Ｇ１の延長上に位置するため、視覚的にそのズレの補間が容易であり、ユーザは自然かつ直感的に注意対象物Ｆを把握できる。

上述した構成に加えてさらに、前記前方画像中において、前記車両Ｖが走行する走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒを認識するステップＳ２５の手順と、前記２本の車線輪郭線Ｌｒのそれぞれの前記進行方向の延長線上の交点を車線消失点Ｐ１として検知するステップＳ３０の手順と、前記ステップＳ３０の手順で過去に検知した複数の前記車線消失点Ｐ１のそれぞれの平均位置に位置する平均消失点Ｐ２を算出してこれを前記ステップＳ６５の手順で用いる前記移動表示基準点Ｐ２とするステップＳ５０の手順と、を実行する。

以上のような方法で平均消失点Ｐ２を算出すれば、フロントカメラ１の撮像方向Ｄｃが任意の方向に向いている状態でも、精度よく消失点を特定し移動表示基準点Ｐ２とすることができる。このため、図６に示すように郵便ポスト５１の表示領域の中心位置Ｐ３と移動表示基準点Ｐ２とを結ぶ線分Ｇ１の向きは不変となり、郵便ポスト５１は注意支援画像の線分Ｇ１の延長上に正確に位置するため、ユーザは自然かつ直感的に郵便ポスト５１を認識できるという効果を最大に得ることができる。
上述した構成では、前記前方画像から得られる平均消失点Ｐ２を前記移動表示基準点Ｐ２としたが、他の方法で移動表示基準点Ｐ２を設定してもよい。例えば、他の方法で消失点を算出してもよいし、フロントカメラ１の撮像方向Ｄｃがほぼ正確に設置されている場合は、前方画像の中心点を移動表示基準点Ｐ２としてもよい。どのような方法でも、正確な消失点の近傍を移動表示基準点Ｐ２に設定できれば、郵便ポスト５１の表示領域の中心位置Ｐ３と移動表示基準点Ｐ２とを結ぶ線分Ｇ１の向きはほぼ不変となり、郵便ポスト５１は注意支援画像の線分Ｇ１の延長上に位置するため、ユーザは自然かつ直感的に郵便ポスト５１を認識できるという効果を得られる。

上述した構成に加えてさらに、前記前方画像中の前記所定の注意対象物Ｆは、地物又は歩行者である。

このようにすると、地物は地面に対して静止し、また歩行者は当該車両Ｖの速度と比較して十分に低速で移動するため、それらと当該車両Ｖとの間の相対速度はほぼ当該車両Ｖの車両速度と同等とみなすことができる。これにより、最新の画像フレームにおける同一の注意対象物Ｆの中心位置は、注意支援画像Ｇ１が示すそれら注意対象物Ｆの前方画像中における移動方向から大きく外れることがない。この結果、前方画像中における注意対象物Ｆの位置を直感的に把握するための注意支援画像Ｇ１の信頼性を確保できる。

上述した構成に加えてさらに、ステップＳ６５の手順は、前記平均消失点Ｐ２を始点として注意対象物Ｆの中心位置Ｐ３を通過する半直線上に位置する線分を含むよう前記注意支援画像を生成してもよい。

このようにすると、注意支援画像として生成された線分画像Ｇ１は、注意対象物Ｆの前方画像中における過去の移動軌跡上もしくは将来の移動軌跡上にほぼ重畳一致する。このため、画像認識により検出した注意対象物Ｆの中心位置Ｐ３が、前方画像の最新画像フレームにおける同一の注意対象物Ｆの中心位置と多少ずれた場合でも、注意支援画像の線分画像Ｇ１が最新画像フレームにおける注意対象物Ｆと重複している可能性が高い。また、重複していない場合でも注意対象物Ｆは線分画像の延長上に位置するため、視覚的にそのズレの補間が容易であり、ユーザは自然かつ直感的に注意対象物Ｆを把握できる。また、線分画像Ｇ１で注意を支援するため、注意させる方向や領域を比較的狭い範囲で明確に特定して示すことができる。

また、比較従来例の注意支援画像として上記図５に示した枠形状マーカ６１では、前方画像の画像フレームが切り替わって注意対象物Ｆが表示座標Ｘ−Ｙ上を移動表示するに伴い、それに追従するように位置を変えて当該枠形状マーカ６１の全体を再描画する必要があった。しかし、上記実施形態で図６に示したように移動表示基準点Ｐ２と注意対象物Ｆの中心位置Ｐ３とを結ぶ線分画像Ｇ１で注意支援画像を生成、表示する場合には、注意対象物Ｆが表示座標Ｘ−Ｙ上を移動してもそれに合わせて線分画像Ｇ１の放射方向の先端部分を延長するよう追加的に描画するだけでもよい。この場合には、線分画像Ｇ１の全体を再描画する必要がないため描画処理の負担が軽減されるだけでなく、適切な長さで先端部分を延長できれば画像認識による注意対象物Ｆの中心位置Ｐ３の検出を繰り返す必要がないため、注意支援画像Ｇ１の生成処理の負担も大きく軽減でき、全体の処理の高速化が可能となる。

上述した構成に加えてさらに、前記車両Ｖに搭載されて撮像した前記前方画像を前記ステップＳ６０、Ｓ６５の手順で利用可能に供給するフロントカメラ１（撮像手段に相当）と、前記ステップＳ７０の手順で出力した前記注意支援画像Ｇ１を含む前記前方画像を表示するディスプレイ３（表示手段に相当）と、を有してもよい。

このようにすると、前方画像の撮像と、注意支援画像Ｇ１を重畳させた前方画像の表示までを、運転支援装置Ｓが一体的に単独で行うことができる。

上述した構成に加えてさらに、前記ステップＳ６０、Ｓ６５の手順は、前記前方画像中に存在する表示物のうちユーザが任意に指定したものを前記注意対象物Ｆとして設定可能であってもよい。

このようにすると、ディスプレイ３に設けたタッチパネル（特に図示せず）上での直接接触やカーソルなどの指標によりユーザが前方画像上で直接指定した表示物を注意対象物として設定できるため、注意対象物Ｆのリアルタイムでの設定が可能となり利便性が向上する。

なお、上記実施形態では、上記図６に示したように移動表示基準点Ｐ２から注意対象物Ｆの表示領域の中心位置Ｐ３までを結ぶ線分画像Ｇ１で注意支援画像を生成、表示したが、本発明はこれに限られない。例えば、図１０に示すように、移動表示基準点Ｐ２を始点として注意対象物Ｆ（図示する例の郵便ポスト５１）の表示領域の中心位置Ｐ３を通過する半直線の画像Ｇ２で注意支援画像を生成、表示してもよい。この場合でも注意支援画像の半直線画像Ｇ２は、結果的に移動表示基準点Ｐ２を中心とした略放射状の図形となり、さらにこの半直線画像Ｇ２の全体は注意対象物Ｆの過去及び将来の移動軌跡全体を示して必ず注意対象物Ｆの表示領域に重複する。このため、ユーザに対して、上記実施形態での線分画像Ｇ１よりも確実に注意対象物Ｆに対する注意を促すことができる。

また、上記半直線画像Ｇ２のうち移動表示基準点Ｐ２から注意対象物Ｆの中心位置Ｐ３までの区間と、当該中心位置Ｐ３から外周側の区間とで表示態様を異ならせるよう生成、表示してもよい。例えば、図１１中の半直線画像Ｇ２Ａに示すように、移動表示基準点Ｐ２から注意対象物Ｆの中心位置Ｐ３までの区間で実線の態様で表示し、中心位置Ｐ３から外周側の区間で破線の態様で表示してもよい。このようにすると、注意支援画像Ｇ２Ａの全体で注意対象物Ｆの過去及び将来の移動軌跡全体を示すことができるとともに、その移動軌跡全体のうちで注意対象物Ｆがその時点でおおよそどの位置にあるかを示すことができる。このため、ユーザに対して、上記の単純な半直線画像Ｇ２よりも明確に注意対象物Ｆに対する注意を促すことができる。

また、注意支援画像を線分画像で生成する場合でも、例えば図１２に示すように、注意対象物Ｆの表示領域の大きさよりも少し長い程度の長さの線分画像Ｇ３で、注意対象物Ｆの中心位置Ｐ３に重複するように生成、表示してもよい。この場合には、線分画像Ｇ３が注意対象物Ｆの移動方向を簡略的に示しながら、その中心位置Ｐ３を特に注意させることができる。また、この線分画像Ｇ３の外周側に矢印の矢先を追加することで、線分画像Ｇ３全体が注意対象物Ｆの移動ベクトルのように見せることができ、前方画像における注意対象物Ｆの移動に対応した表現が可能となる。

また以上においては、移動表示基準点Ｐ２を始点として注意対象物Ｆの表示領域の中心位置Ｐ３を通過する半直線上に位置する線分を含むよう注意支援画像を生成、表示したが、本発明はこれに限られない。例えば、図１３に示すように、それぞれ移動表示基準点Ｐ２を始点として注意対象物Ｆの表示領域を包絡する２本の線分Ｇ４を含む画像で注意支援画像を生成、表示してもよい。この場合でも２本の線分画像Ｇ４は、結果的に移動表示基準点Ｐ２を中心とした略放射状の図形となり、さらにこれら２本の線分画像Ｇ４の間の領域の全体は、注意対象物Ｆの表示領域の過去及び将来の遠近による縮尺も反映した通過範囲全体を示して必ず注意対象物Ｆの表示領域に重複する。このため、ユーザに対して、上記実施形態での線分画像Ｇ１よりも確実に注意対象物Ｆの存在範囲を把握させることができる。

また、上記２本の線分画像Ｇ４とその間の領域のうち移動表示基準点Ｐ２から注意対象物Ｆの中心位置Ｐ３までの区間と、当該中心位置Ｐ３から外周側の区間とで表示態様を異ならせるよう生成、表示してもよい。例えば、図１４中のＧ４Ａに示すように、２本の線分画像Ｇ４の間の領域において、移動表示基準点Ｐ２から注意対象物Ｆの中心位置Ｐ３までの区間と、中心位置Ｐ３から外周側の区間とで色（もしくは濃度）を変えて半透過色のペイント処理で表示してもよい。このようにすると、注意支援画像Ｇ４Ａの全体で注意対象物Ｆの表示領域の過去及び将来の遠近による縮尺も反映した通過範囲全体を示すことができるとともに、その通過範囲全体のうちで注意対象物Ｆがその時点でおおよそどの位置にあるかを示すことができる。このため、ユーザに対して、上記の単純な２本の線分画像Ｇ４よりも明確に注意対象物Ｆに対する注意を促すことができる。

また以上においては、移動表示基準点Ｐ２を中心として放射状となる位置に固定的に配置した注意支援画像を生成、表示したが、本発明はこれに限られない。例えば、図１５に示すように、移動表示基準点Ｐ２を始点として注意対象物Ｆの表示領域の中心位置Ｐ３を通過する半直線上において、移動表示基準点Ｐ２から放射方向で移動する移動オブジェクトＧ５を含む画像で注意支援画像を生成、表示してもよい。図１５に示す例では、移動表示基準点Ｐ２と注意対象物Ｆの中心位置Ｐ３とを結ぶ線分（図中の点線参照）上で、移動表示基準点Ｐ２から注意対象物Ｆの中心位置Ｐ３へ向かう方向に動的に移動する流星の形態の移動オブジェクトＧ５で注意支援画像を生成、表示している。この例に示す流星の移動オブジェクトＧ５は、先端と尾ビレで移動方向を表現し、前方画像中における注意対象物Ｆの移動よりも早い速度で流星を移動表示する。この場合には、注意対象物Ｆの移動軌跡と移動方向を動的なアニメーションで表現できる。なお、移動表示基準点Ｐ２と注意対象物Ｆの中心位置Ｐ３とを結ぶ線分（図中の点線参照）は表示してもよいし、表示を省略してもよい。また、流星の移動オブジェクトＧ５は、注意対象物Ｆの中心位置Ｐ３で止めてもよいし、そのまま注意対象物Ｆを追い越して前方画像の外周側まで移動させてもよい。

また、従来比較例の注意支援画像として上記図５に示した円形の枠形状マーカ６１に対しても、図１６に示すように移動表示基準点Ｐ２を始点として注意対象物Ｆの表示領域の中心位置Ｐ３を通過する半直線（図中の破線参照）に沿って扁平させて注意支援画像Ｇ６を生成、表示してもよい。この場合でも楕円形の注意支援画像Ｇ６は、結果的に移動常時基準点Ｐ２を中心とした略放射状の図形となり、この楕円形画像Ｇ６の全体は注意対象物Ｆの過去及び将来の移動軌跡全体を概略的に示して必ず注意対象物Ｆの表示領域に重複する。このため、ユーザに対して、上記実施形態での線分画像Ｇ１よりも確実に注意対象物Ｆの存在範囲を把握させることができる。

また以上においては、１つの静止画像の画像フレームにおいて検出される注意対象物Ｆの中心位置Ｐ３と、表示座標Ｘ−Ｙ上で固定的に取得された移動表示基準点Ｐ２との間の相対的な位置関係を幾何的に示す図形で注意支援画像を生成、表示していたが、本発明はこれに限られない。例えば、動画形式の前方画像で時系列的に撮像された複数の画像フレームのうち、同一の注意対象物Ｆに対して過去の画像フレームと最新の画像フレームでそれぞれ検出した２つの中心位置Ｐ３を結ぶ線分を含むよう注意支援画像を生成、表示してもよい。この場合、例えば図１７に示すような線分画像Ｇ７が注意支援画像となり、この線分画像Ｇ７もまた結果的に移動表示基準点Ｐ２を中心とした略放射状の図形であって、移動表示基準点Ｐ２（図１７中では図示省略）と注意対象物Ｆの中心位置Ｐ３との間の相対的な位置関係を幾何的に示している（なお、図中の中心位置Ｐ４は、過去の画像フレームで検出した中心位置）。このため、この線分画像Ｇ７によっても注意対象物Ｆの移動方向を簡略的に示しながら、その中心位置Ｐ３を特に注意させることができる。また、この線分画像Ｇ７を生成するにあたっては移動表示基準点Ｐ２の設定を必要としないため、まだ十分な車線消失点Ｐ１が得られてない際に表示する注意支援画像として有用である。

また、例えば図１８に示すように、上述したような移動表示基準点Ｐ２を中心とした略放射状の図形の注意支援画像（図示する例では線分画像Ｇ１）と、従来比較例の注意支援画像として上記図５に示した枠形状マーカ６１とを組み合わせて表示させてもよい。前方画像の画像フレームの撮像周期が十分長かったり、イメージングユニット２のＣＰＵ１１の処理速度が十分速い場合には、図示するようにいずれの注意支援画像Ｇ１，６１も正確な配置で生成、表示することができ、これらの組み合わせによってユーザに対する注意対象物Ｆの注意を最も明確に促すことができる。

また、本実施形態の運転支援装置Ｓでは、注意支援画像Ｇ１〜Ｇ７を重畳させた前方画像をそのまま記憶媒体１２ｃなどに記録しておき、後で再生させるドライブレコーダに適用してもよい。もしくは、記憶媒体１２ｃには前方画像だけを記録しておいて、後の再生時や編集時などに初めて注意支援画像Ｇ１〜Ｇ７を生成、重畳させて表示したりさらにその重畳画像を記録してもよい。

なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。

（１）第１変形例：前方画像を外部のデータベースに記憶させる場合
上記実施形態では、運転支援装置Ｓが自ら撮像した前方画像を利用して、自ら画像認識処理や注意支援画像の生成、表示を行ったりその前方画像を内部に備えた記憶媒体１２ｃに記録させるいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図１９に示すように、運転支援装置Ｓ２が無線通信装置２１（通信手段に相当）とアンテナ２２を備え、中継局２３（受信手段、送信手段に相当）との無線通信を介した通信ネットワークで外部のデータセンター２４に備えたデータベースサーバ２５（画像処理サーバに相当）に前方画像を送信し、そのデータベースサーバ２５に前方画像の画像認識や注意支援画像の生成、さらにそれらの記録を行わせるいわゆるサーバ型としてもよい。そして、注意支援画像を重畳した前方画像をデータベースサーバ２５から運転支援装置Ｓ２に返信して、そのディスプレイ３に表示させてもよい。または、注意支援画像のみをデータベースサーバ２５から運転支援装置Ｓ２に返信して、運転支援装置Ｓ２が注意支援画像を前方画像に重畳して、そのディスプレイ３に表示させてもよい。

これにより、運転支援装置Ｓ２の記憶媒体１２ｃの方で過去の前方画像を誤って消去してしまった場合でも、データセンター２４のデータベースサーバ２５に記録させた前方画像と注意支援画像をバックアップとして利用できる。

（２）第２変形例：電子携帯端末を利用して構成する場合
上記実施形態及び上記第１変形例は、いずれも車両Ｖに搭載する機器構成が運転支援装置Ｓ、Ｓ２だけであったが、本発明はこれに限られない。近年では市販のスマートフォンや電子書籍端末などの電子携帯端末３１にカメラ、ディスプレイ、又はＧＰＳを装備しているモデルが多く、これを例えば上記車速センサ１４に接続されたクレードル３２に着脱可能に取り付けて車両Ｖに搭載する場合がある（図２０参照）。そして、この電子携帯端末３１に前方画像を撮像させ、同じ電子携帯端末３１が備えるＣＰＵに所定の画像認識処理や注意支援画像の生成を行わせることで、画像処理装置として機能させることができる。このような構成の画像処理装置においても、上記実施形態で例示した注意支援画像の生成、表示を行える。

この場合には、電子携帯端末３１が各請求項記載の画像処理装置に相当し、これに装備されているカメラが撮像手段に相当し、当該電子携帯端末３１のＣＰＵが処理する制御手順のうち注意支援画像を生成する手順が生成手段に相当し、注意支援画像を含む前方画像を出力する手順が出力手段に相当し、電子携帯端末３１に装備されているディスプレイが表示手段に相当する。

また、特に図示しないが、電子携帯端末３１を利用した構成でも上述したサーバ型とすることは可能である。この場合には、電子携帯端末３１に通信手段が備えられ、データセンター２４のデータベースサーバ２５が前方画像の認識や注意支援画像の生成、及びそれらを記録する画像処理サーバに相当する。

なお、以上説明した実施形態、第１変形例、及び第２変形例はいずれも必要とする基本的なハードウェア構成要素及びソフトウェア処理内容は同じであり、構成機器間におけるそれらの分担が相違するだけである。これらの分担の主な例を図２４と図２５に示す。

まず図２４は、各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示している。この図２４のハードウェア構成要素における記憶部とは注意支援画像を重畳した前方画像を記録する記憶媒体１２ｃやデータベースサーバ２５に相当するものであり、通信部とは上記無線通信装置２１に相当するものである。また構成機器における車載装置（運転支援装置、クレードル）には車速センサの装備があってもよく、データセンターには記憶部の装備があってもよい。また、ＧＰＳは車載装置か携帯端末のいずれに装備させてもよいが、データセンターには装備できない。また、サーバ型の場合には、携帯端末と車載装置のいずれかと、データセンターにそれぞれ通信部の装備が必須である。

図示する分担例以外でも、カメラとディスプレイは、それぞれ携帯端末と車載装置のいずれかが装備すればよく、記憶部は、携帯端末、車載装置、及びデータセンターのいずれかが装備すればよい。なお、各ハードウェア構成要素はそれぞれ装備可能ないずれかの構成機器に１つずつ備えてあればよいが、例えば携帯端末と車載装置の両方に重複してディスプレイを備える構成としてもよい。また、携帯端末利用形態において、車載装置がカメラ、ディスプレイ、ＧＰＳ、記憶部、及び通信部のいずれかを備え、それを利用する場合には、携帯端末と車載装置とがコネクタや、近距離無線通信などを介して情報信号を送受可能に装着できる必要がある。また、ハードウェア構成要素のうちカメラ、ディスプレイ、及び通信部（サーバ型の場合）はそれぞれ構成機器のいずれか対応するものに必ず装備させる必要があるが、その他のＧＰＳ、記憶部、及び車速センサの装備については任意となる。

次に図２５は、各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示している。この図２５に示すソフトウェア処理内容としては、平均消失点Ｐ２（移動表示基準点Ｐ２）を算出する算出処理、前方画像中の注意対象物Ｆの中心位置Ｐ３を検出する検出処理、注意支援画像を生成する生成処理、及び注意支援画像を重畳した前方画像を記録する記録処理の４つである。これらソフトウェア処理内容のうち検出処理及び生成処理はそれぞれ構成機器のいずれかで必ず処理させる必要があるが、その他の算出処理及び記憶処理の処理については任意となる。このソフトウェア処理内容の分担については、十分な処理能力を有するＣＰＵが各構成機器に搭載されて互いに情報の送受が可能であれば、基本的にはどの処理内容もいずれかの構成機器に分担処理させればよい。図示する分担例はあくまで主な例であり、他にも多様な組み合わせが可能である。

（３）第３変形例：注意支援画像をヘッドアップディスプレイで表示させる場合
上記実施形態では、フロントカメラ１で撮像した前方画像に対して注意支援画像を重畳表示させた合成画像を単独のディスプレイに表示させていたが、本発明はこれに限られない。例えば、車両Ｖのウィンドウガラスを介した運転者の視界と一致させるよう表示座標Ｘ−Ｙを配置し、当該ウィンドウガラス上又はその手前位置に注意支援画像を表示するヘッドアップディスプレイを備えてもよい。

図２１は、上記実施形態の図２に対応して本変形例の運転支援装置Ｓ４のハードウェア構成例を示すブロック図である。この図２１において、本変形例の運転支援装置Ｓ４はディスプレイ３の代わりにヘッドアップディスプレイプロジェクター４およびコンバイナ５を有しており、それ以外のハードウェア構成は上記実施形態と同等である。ただし、グラフィックコントローラ１５からは、前方画像を含まずに注意支援画像の画像データのみによる画像信号が出力される。

上記実施形態の図３に対応する図２２は、車両Ｖの車内から見た車窓風景及びこれに対応するヘッドアップディスプレイの表示の一例を示す図である。この図２２に示す例において、図中の右側に位置する運転席の上方でヘッドアップディスプレイプロジェクター４が天井ルーフに固定されている。また、フロントガラス１０４の前面側でヘッドアップディスプレイプロジェクター４の投影範囲を覆うようにコンバイナ５が設けられている。このヘッドアップディスプレイプロジェクター４とコンバイナ５がヘッドアップディスプレイに相当し、上記グラフィックコントローラ１５から出力された画像信号に基づいて、適宜にハーフミラーとしての機能を有するコンバイナ５の前面に注意支援画像（図示する例では線分画像Ｇ１）の映像を投影表示する。

図２３は、上記ヘッドアップディスプレイによるフロントガラス１０４の前面側へ投影表示する態様を側方から見た模式図である。ヘッドアップディスプレイプロジェクター４は、ハーフミラーとしての機能を有するコンバイナ５上に表示座標Ｘ−Ｙを設定してその注意支援画像Ｇ１〜Ｇ７の映像を投影表示する。ここで、上記表示座標Ｘ−Ｙを、車両Ｖのフロントガラス１０４を介した運転者の視界と一致させる配置に設定していることで、運転者はフロントガラス１０４を介した前方視界中において、移動表示基準点Ｐ２と注意対象物Ｆの存在位置との相対的な位置関係を幾何的に示す注意支援画像Ｇ１〜Ｇ７を視認できる。

この場合、表示座標Ｘ−Ｙ上における注意支援画像Ｇ１〜Ｇ７の配置と、運転者の前方視界における配置との整合を図るために、運転者の座高の高さ（眼球の高さ位置）とフロントカメラ１の撮像方向Ｄｃの偏差に応じて、ヘッドアップディスプレイプロジェクター４の表示座標Ｘ−Ｙの配置を適宜調整する必要がある。

以上説明したように、上記第３変形例の運転支援装置Ｓ４においては、走行する車両Ｖに搭載され、前記車両Ｖの前方画像を取得するフロントカメラ１と、前記前方画像中の平均消失点Ｐ２又はその近傍に位置する移動表示基準点Ｐ２と所定の注意対象物Ｆとの相対的な位置関係を示す注意支援画像を生成するステップＳ６０、Ｓ６５の手順と、前記ステップＳ６０、Ｓ６５の手順により生成された前記注意支援画像を出力するステップＳ７０の手順と、運転者の運転時における視界内に前記ステップＳ７０の手順で出力した前記注意支援画像を映し出すヘッドアップディスプレイプロジェクター４およびコンバイナ５（ヘッドアップディスプレイに相当）と、を有する。

このようにすると、運転者がフロントガラス１０４を介して視認する前方視界そのものに位置が整合した注意支援画像Ｇ１〜Ｇ７の映像を投影表示できるため、運転者は視線を大きく移動させることなく注意支援画像Ｇ１〜Ｇ７を視認でき、運転に集中することができる。

なお、上記第３変形例では、フロントガラス１０４の前面側に設けたコンバイナ５に対してヘッドアップディスプレイプロジェクター４から注意支援画像Ｇ１〜Ｇ７の映像を投影表示することでヘッドアップディスプレイを構成していたが、本発明はこれに限られない。他にも、フロントガラス自体に例えば透過型の液晶パネル等を設け、その自発光により注意支援画像を表示するなどの構成としてもよい。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。

１ フロントカメラ（撮像手段に相当）
２ イメージングユニット（画像処理装置に相当）
３ ディスプレイ（表示装置に相当）
１１ ＣＰＵ
１２ 記憶部
１３ ＧＰＳ
１４ 車速センサ
１５ グラフィックコントローラ
２１ 無線通信装置（通信手段に相当）
２２ 中継局（受信手段、送信手段に相当）
２４ データセンター
２５ データベースサーバ（画像処理サーバに相当）
３１ 電子携帯端末（携帯端末装置に相当）
３２ クレードル
５１ 郵便ポスト
６１ 枠形状マーカ
Ｄｃ 撮像方向
Ｄｖ 車両軸方向
Ｆ 注意対象物（所定の特徴物に相当）
Ｇ１〜Ｇ７ 注意支援画像（表示オブジェクトに相当）
Ｌｒ 車線輪郭線
Ｐ１ 車線消失点
Ｐ２ 平均消失点、移動表示基準点（基準点に相当）
Ｐ３ 注意対象物の表示領域の中心位置
Ｓ，Ｓ２，Ｓ３ 運転支援装置
，Ｓ４
Ｖ 車両

上記課題を解決するために、請求項１記載の発明は、画像処理装置であって、走行する移動体から撮影した前方画像の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と前記前方画像中の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、前記生成手段により生成された前記表示オブジェクトを含む前方画像を出力する出力手段と、を備え、前記生成手段は、前記基準点を始点として前記特徴物を通過する半直線上に位置する線分を含むよう前記表示オブジェクトを生成する。

上記課題を解決するために、請求項７記載の発明は、画像処理サーバであって、走行する移動体から撮像した前方画像を外部の画像処理装置から受信する受信手段と、前記前方画像中の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、前記生成手段により生成された前記表示オブジェクトを前記外部の画像処理装置に送信する送信手段と、を備え、前記生成手段は、前記基準点を始点として前記特徴物を通過する半直線上に位置する線分を含むよう前記表示オブジェクトを生成する。

上記課題を解決するために、請求項８記載の発明は、画像処理装置であって、走行する移動体に搭載されて前方画像を撮像する撮像手段と、請求項７に記載の画像処理サーバに対して前記前方画像を送受する通信手段と、前記通信手段が前記画像処理サーバから受信した前記表示オブジェクトを含む前方画像を表示する表示手段と、を有する。

上記課題を解決するために、請求項９記載の発明は、画像処理装置が実行する画像処理方法であって、走行する移動体から撮影した前方画像の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と前記前方画像中の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成工程と、前記生成手段により生成された前記表示オブジェクトを含む前方画像を出力する出力工程と、を実行し、前記生成工程では、前記基準点を始点として前記特徴物を通過する半直線上に位置する線分を含むよう前記表示オブジェクトを生成する。

上記課題を解決するために、請求項１０記載の発明は、画像処理プログラムであって、請求項９に記載の画像処理方法を、画像処理装置により実行させる。

上記課題を解決するために、請求項１１記載の発明は、記録媒体であって、請求項１０に記載の画像処理プログラムが、前記画像処理装置により読み取り可能に記憶されている。

Claims (16)

1. 走行する移動体から撮影した前方画像の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と前記前方画像中の所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、
   前記生成手段により生成された前記表示オブジェクトを含む前方画像を出力する出力手段と、
   を備える画像処理装置。
2. 前記生成手段は、前記前方画像において前記基準点を中心とした略放射状の図形で前記表示オブジェクトを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記前方画像中の前記所定の特徴物は、地物又は歩行者であることを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記生成手段は、前記基準点を始点として前記所定の特徴物を通過する半直線上に位置する線分を含むよう前記表示オブジェクトを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、それぞれ前記基準点を始点として前記所定の特徴物の表示領域を包絡する２本の線分を含むよう前記表示オブジェクトを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記生成手段は、前記基準点を始点として前記所定の特徴物を通過する半直線上において、前記基準点から放射方向で移動する移動オブジェクトを含むよう前記表示オブジェクトを生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記生成手段は、前記基準点から前記所定の特徴物までの区間と、当該所定の特徴物から外周側の区間とで前記表示オブジェクトの表示態様を異ならせるよう生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記前方画像は、動画形式として時系列的に撮像された複数の画像フレームであり、
   前記生成手段は、前記検出手段が同一の前記所定の特徴物に対して過去の画像フレームと最新の画像フレームでそれぞれ検出した２つの前記所定の特徴物の位置を結ぶ線分を含むよう前記表示オブジェクトを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. さらに、
   前記移動体に搭載されて撮像した前記前方画像を前記生成手段に供給する撮像手段と、
   前記出力手段が出力した前記表示オブジェクトを含む前方画像を表示する表示手段と、
   を有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 走行する移動体に搭載され、前記移動体の前方画像を取得する撮像手段と、
    前記前方画像中の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、
    前記生成手段により生成された前記表示オブジェクトを出力する出力手段と、
    運転者の運転時における視界内に前記出力手段が出力した前記表示オブジェクトを映し出すヘッドアップディスプレイと、
    を有する画像処理装置。
11. 前記生成手段は、前記前方画像中に存在する特徴物のうちユーザが任意に指定したものを前記所定の特徴物として設定可能であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 走行する移動体から撮像した前方画像を外部の画像処理装置から受信する受信手段と、
    前記前方画像中の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、
    前記生成手段により生成された前記表示オブジェクトを前記外部の画像処理装置に送信する送信手段と、
    を有することを特徴とする画像処理サーバ。
13. 走行する移動体に搭載されて前方画像を撮像する撮像手段と、
    請求項１２に記載の画像処理サーバに対して前記前方画像を送受する通信手段と、
    前記通信手段が前記画像処理サーバから受信した前記表示オブジェクトを含む前方画像を表示する表示手段と、を有する
    ことを特徴とする画像処理装置。
14. 画像処理装置が実行する画像処理方法であって、
    走行する移動体から撮影した前方画像の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と前記前方画像中の所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成工程と、
    前記生成手段により生成された前記表示オブジェクトを含む前方画像を出力する出力工程と、
    を実行することを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法を、画像処理装置により実行させることを特徴とする画像処理プログラム。
16. 請求項１５に記載の画像処理プログラムが、前記画像処理装置により読み取り可能に記憶されていることを特徴とする記録媒体。
    

Images