JP6350247B2 - 画像処理装置 - Google Patents

Description

本発明は、ヘッドアップディスプレイ装置の表示に用いる表示画像を生成する、画像処理装置に関する。

近年、レーン逸脱警告装置（ＬＤＷ装置）やレーン維持アシスト装置（ＬＫＡ装置）等の運転支援装置が搭載された車両が開発されてきている。これらの装置は、走行路をカメラで撮影し、撮影された映像から走行用の区画線を抽出することで、区画線の位置情報を取得する。そして、取得した位置情報に基づき、走行車両が区画線を逸脱したと判定、或いは逸脱する可能性が高いと判定した場合には、その旨を運転者へ警告したり操舵力を付与させたりする。

特許文献１に記載の表示装置では、上記装置が正常に作動可能なアクティブ状態になっている場合に、その旨を連想させる図柄を表示装置に表示させて、運転支援装置がアクティブ状態である旨を運転者に報知している。また、走行路に区画線が無い場合や、区画線が部分的に剥げ落ちている場合、区画線の上に砂等の異物がある場合等、区画線を検知できない場合がある。そのような場合には、上記図柄を表示させないことで、運転支援装置がアクティブ状態でないことを運転者に認識させている。

特表２００４−５３３０８０号公報

さて、先述したように区画線が部分的に剥げ落ちている場合や、区画線の上に砂等の異物がある場合には、区画線を検知してアクティブ状態になってはいるものの、高精度では検知できていない場合がある。この場合には、ＬＤＷ装置やＬＫＡ装置等が好適なタイミングで作動する確実性が低く、装置に対する信頼性が低い状態であると言える。

しかしながら、上述の如くアクティブ状態時に図柄を表示させるだけでは、アクティブ状態であることを運転者に認識させることはできても、装置の信頼性を認識させることまではできない。

本発明は、上記問題を鑑みてなされたもので、その目的は、区画線の位置を検知して作動する運転支援装置の信頼性について、運転者が認識できるようにした画像処理装置を提供することにある。

ここに開示される発明は上記目的を達成するために以下の技術的手段を採用する。なお、特許請求の範囲およびこの項に記載した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものであって、発明の技術的範囲を限定するものではない。

開示される第１の発明および第２の発明は、走行路（Ｒ）に設けられた区画線（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６）の車両（１０）に対する相対位置を検知し、検知された位置情報に基づき車両の運転を支援する運転支援装置（６０）と、車両に設けられた投影領域（１２ｐ）に表示画像を投影することにより、表示画像の虚像を視認させるヘッドアップディスプレイ装置（３０）と、を備える運転支援システムに適用され、表示画像を生成する画像処理装置であることを前提とする。この画像処理装置は、位置情報を取得する取得手段（４１）と、所定の表示要素（Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍａ、Ｍｂ、Ｎ１、Ｎ２、Ｎａ、Ｎｂ）を含んだ表示画像を生成する生成手段（４２）と、を備える。
その上で、上記第１の発明では、表示要素には、車両の走行に伴い該車両の運転者に接近してくるように視認される接近表示要素（Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍａ、Ｍｂ）と、車両の走行時であっても運転者との距離が一定に維持されて視認される非接近表示要素（Ｎａ、Ｎｂ）とが含まれており、生成手段は、表示要素が区画線と重畳して視認され、かつ、接近表示要素が非接近表示要素よりも遠くに視認されるよう、取得手段により取得された位置情報に基づき表示画像を生成することを特徴とする。
また、上記第２の発明では、表示要素には、車両の走行に伴い該車両の運転者に接近してくるように視認される接近表示要素（Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍａ、Ｍｂ）が含まれており、生成手段は、表示要素が区画線と重畳して視認され、かつ、区画線のうち車両に近い側の端部（Ｒ３ａ、Ｒ６ａ）と重畳する位置に接近表示要素が視認されるよう、取得手段により取得された位置情報に基づき表示画像を生成することを特徴とする。

上記第１の発明および第２の発明によれば、運転支援装置が検知した区画線の位置情報に基づき、区画線と重畳して視認される位置に表示要素が投影表示される。そのため、運転支援装置が検知した区画線の位置が実際の位置とずれている場合、そのずれ量が、表示要素と区画線との重畳の度合いに反映されることとなる。したがって、その重畳度合いを運転者が視認することで、運転支援装置による区画線検知のずれ量を運転者が認識できるようになり、ひいては、運転支援装置の信頼性を認識できるようになる。

本発明の第１実施形態において、画像処理装置が適用される運転支援システムに備えられた、ヘッドアップディスプレイ装置の車両搭載位置を示す断面図。 第１実施形態において、ウインドシールドの室内側から見える背景と、表示画像が視認される位置との関係を示す図。 第１実施形態に係る運転支援システムおよび画像処理装置を示すブロック図。 第１実施形態において、区画線（実像）に対する表示要素（虚像）の視認位置を示す図。 第１実施形態において、図４に示す表示から０．１秒経過した後の表示の内容を示す図。 第１実施形態において、図４に示す表示から０．２秒経過した後の表示の内容を示す図。 本発明の第２実施形態において、区画線（実像）に対する表示要素（虚像）の視認位置を示す図。 本発明の第３実施形態において、区画線（実像）に対する表示要素（虚像）の視認位置を示す図。

以下、図面を参照しながら発明を実施するための複数の形態を説明する。各形態において、先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において、構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を参照し適用することができる。

（第１実施形態）
図１に示すように、車両１０の室内に設置されるインストルメントパネル１１には、表示装置２０およびヘッドアップディスプレイ装置（ＨＵＤ３０）が取り付けられている。表示装置２０は、液晶パネル２１をケース２２内に収容して構成されたものであり、車両１０の運転者の正面に配置されている（図２参照）。液晶パネル２１は、各種の警告表示や車速を表示させる。

ＨＵＤ３０は、液晶パネル３１および反射鏡３２をケース３３内に収容して構成されており、運転者の前方に位置するウインドシールド１２の下方に配置されている。液晶パネル３１から射出された表示画像の光は反射鏡３２で反射される。反射鏡３２にて反射された反射光は、車両１０に設けられた投影領域１２ｐに投影される。この投影領域１２ｐは、ウインドシールド１２の室内側に取り付けられた反射シート１２ａによって形成される。これにより、表示画像の虚像が車両１０の運転者に視認される。具体的には、ウインドシールド１２に対して車両１０の前方側（車室外側）に虚像が視認される。

図２は、運転者の視点から見た角度における、ウインドシールド１２から車両１０前方に見える風景と、ＨＵＤ３０による虚像の位置関係とを示す。図２の例では、車両１０が３車線の高速道路を走行している状況である。詳細には、３車線の走行路Ｒのうちの中央の車線を走行しており、左側の車線の前方には他車両Ｖが見えている。また、走行路Ｒには３つの車線を区画する複数の区画線Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８、Ｒ９が設けられている。符号Ｒ１、Ｒ２、Ｒ３、Ｒ８、Ｒ９に示す区画線は、中央の車線と右側の車線を区画するものであり、走行方向において所定のピッチで等間隔に設けられている。符号Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８に示す区画線は、中央の車線と左側の車線を区画するものであり、走行方向において所定のピッチで等間隔に設けられている。

ＨＵＤ３０による表示画像（虚像）には、車速を表した車速表示要素Ｍｓと、後に詳述する所定の表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂとが含まれている。表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂは、車速表示要素Ｍｓよりも上方に位置し、車両１０のボンネット（図示せず）よりも上方の視界領域で視認される。車速表示要素Ｍｓの他に、ナビゲーション装置による車両１０の進行方向の指示表示や各種の警告表示が、表示画像に含ませる表示要素の具体例として挙げられる。

図３に示す電子制御ユニット（ＥＣＵ４０）は、車両１０に搭載されたものであり、表示装置２０およびＨＵＤ３０等と共に表示システムを構成している。ＥＣＵ４０は、表示装置２０およびＨＵＤ３０の作動を制御する。例えば、車内のローカルエリアネットワークを通じてＥＣＵ４０は車速情報を取得し、取得した車速情報に基づき、表示装置２０およびＨＵＤ３０が車速を表示するように制御する。ＥＣＵ４０は、ＲＯＭやＲＡＭ等のメモリ、ＣＰＵ、Ｉ／Ｏ、及びこれらを接続するバスを備える。ＥＣＵ４０が実行する機能の一部又は全部を、一つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。

インストルメントパネル１１には、運転者の顔を撮影する車内カメラ１３が取り付けられている。ＥＣＵ４０は、車内カメラ１３により撮影された運転者の顔画像を解析して、運転者の眼球位置（視点位置）を演算する。そして、解析により得られた視点位置に応じて、表示画像の投影位置を調節することで、所望の位置に虚像を視認させる。例えば、車速表示要素Ｍｓがステアリングホイールと重畳しないように車速表示要素Ｍｓの投影位置を調節する。また、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂが区画線Ｒ１〜Ｒ６と重畳して視認されるように表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂの投影位置を調節する。なお、運転者が運転席に着座して走行を開始する前に初期の視点位置（初期位置）を解析し、走行時には初期位置を継続して用いてもよい。或いは、走行時に視点位置を定期的に解析して更新してもよい。

車両１０には、前方を撮影する前方カメラ５０、およびレーン維持アシスト装置として機能する電子制御ユニット（ＥＣＵ６０）が搭載されている。例えば図２の走行状況において、走行路Ｒに設けられた区画線Ｒ１〜Ｒ９のうち車両前方に位置する区画線Ｒ１〜Ｒ８が前方カメラ５０により撮影される。ＥＣＵ６０は、ＲＯＭやＲＡＭ等のメモリ、ＣＰＵ、Ｉ／Ｏ、及びこれらを接続するバスを備える。ＥＣＵ４０が実行する機能の一部又は全部を、一つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。

ＥＣＵ６０は、前方カメラ５０により撮影された画像を解析して、区画線Ｒ１〜Ｒ６の車両１０に対する相対位置や、区画線Ｒ１〜Ｒ６の形状、大きさ等を演算する。図２の例では、一対の区画線Ｒ１〜Ｒ３、Ｒ４〜Ｒ６の相対位置がＥＣＵ６０により検知され、その相対位置を表した位置情報に基づき、以下に説明する運転支援制御をＥＣＵ６０は実行する。例えば、演算した位置情報に基づき、車両１０が中央車線から運転者の意図に反して逸脱しているか否か、或いは逸脱する可能性が所定確率以上であるか否かを判定する。そして、逸脱している或いは逸脱の可能性が高いと判定した場合には、逸脱させない向きに操舵力を付与させるよう、操舵装置（図示せず）の作動をＥＣＵ６０が制御する。

例えば、方向指示器が操作されていない状況で、一対の区画線Ｒ１〜Ｒ３、Ｒ４〜Ｒ６のうちの一方の区画線Ｒ１〜Ｒ３との相対距離が短くなる速度が所定以上であれば、その区画線Ｒ１〜Ｒ３を逸脱する可能性が高いと判定する。そして、他方の区画線Ｒ４〜Ｒ６の側へ操舵力を付与させる。これにより、中央車線を走行している最中に右側の車線へ逸脱しようとすると、中央車線へ引き戻される向きに操舵力が付与される。

このような制御を実行している時のＥＣＵ６０は、区画線Ｒ１〜Ｒ６の車両１０に対する相対位置を検知し、検知された位置情報に基づき車両１０の運転を支援する「運転支援装置」に相当する。ＥＣＵ６０が演算した位置情報は、車内のローカルエリアネットワークを通じてＥＣＵ４０へ送信される。ＥＣＵ４０は、取得した位置情報に基づき先述した表示画像を生成する。

運転支援装置から位置情報を取得するように機能している時のＥＣＵ４０は取得手段４１に相当し、表示画像を生成するように機能している時のＥＣＵ４０は生成手段４２に相当する。ＥＣＵ４０は、生成した表示画像のデータをＨＵＤ３０の液晶パネル３１へ送信することで、液晶パネル３１から射出される表示画像の光を制御する。つまり、ＥＣＵ４０は、ＨＵＤ３０およびＥＣＵ６０を備える運転支援システムに適用され、表示画像を生成する「画像処理装置」に相当する。

次に、図４を用いて、表示画像に含まれる所定の表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂについて詳細に説明する。

図４は、車内カメラ１３の画像で解析された視点位置からの見え方を表現したものである。したがって、例えば、図４に示す表示画像を変化させずに視点位置を右側に移動させて前方の走行路Ｒを見ると、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂ（図中の斜線参照）は区画線Ｒ１〜Ｒ６に対して左側にずれて視認されることとなる。解析した視点位置から車両前方を見た場合に、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂと区画線Ｒ１〜Ｒ６とが図４に示す位置関係に視認されるよう、生成手段４２は表示画像を生成する。すなわち、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂは、走行路Ｒから上方に延びる形状に視認され、区画線Ｒ１、Ｒ３、Ｒ４、Ｒ６と重畳して視認される。これにより、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂは、走行路Ｒの上に置かれた立体物（仮想立体物）として視認（錯視）される。

また、図４では、視点位置の検出および区画線Ｒ１〜Ｒ６の検出にずれが生じていない理想状態での見え方を表している。しかし、実際にはこれらの検出位置と実際の位置とにずれが生じるため、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂが図４に示す位置からずれて見えることとなる。

符号Ｍａ、Ｍｂに示す表示要素は、運転者に向かって接近してくるように視認される接近表示要素である。符号Ｎａ、Ｎｂに示す表示要素は、運転者との距離が一定に維持されて視認される非接近表示要素である。ここで、車両１０が走行することに伴い、ウインドシールド１２の室外側に見える走行路Ｒ等を含んだ背景は、車両１０の前方から後方へ流れていくように見える。つまり、車両１０を走行させると、図４の符号Ｒ３、Ｒ６に示す位置にあった区画線は、その０．１秒後には図５に示す位置へ、０．２秒後には図６に示す位置へと車両１０に接近し、その後、車両後方へと遠ざかっていく。

そして、このような区画線Ｒ１〜Ｒ６の相対位置変化に対応して、接近表示要素Ｍａ、Ｍｂの表示位置も変化させる。また、接近表示要素Ｍａ、Ｍｂは時間経過とともに徐々に拡大して表示される。その拡大速度は、区画線Ｒ１〜Ｒ６の接近速度と同じである。これにより、区画線Ｒ１〜Ｒ６が車両１０に接近するにつれ、接近表示要素Ｍａ、Ｍｂが区画線Ｒ１〜Ｒ６とともに運転者に接近してくるように視認されることとなる。また、表示要素Ｍａ、Ｍｂは、区画線Ｒ１〜Ｒ６と同じ速度で接近してくるように視認される。

これに対し、非接近表示要素Ｎａ、Ｎｂは、区画線Ｒ１〜Ｒ６が車両１０に接近してきても、時間経過とともに拡大表示させることはせず、同じ大きさの表示に維持される。これにより、非接近表示要素Ｎａ、Ｎｂと運転者との距離が一定に維持されて視認される。但し、非接近表示要素Ｎａ、Ｎｂの車両左右方向における表示位置は、区画線Ｒ１〜Ｒ６の位置情報に応じて変化させる。詳細には、検知されている複数の区画線Ｒ１〜Ｒ６のうち、最も車両１０に近い区画線の位置に応じて、非接近表示要素Ｎａ、Ｎｂの表示位置を変化させる。

例えば、図４の場合において、符号Ｒ１、Ｒ４に示す区画線の左右方向位置に応じて非接近表示要素Ｎａ、Ｎｂの左右方向の表示位置を変化させることで、非接近表示要素Ｎａ、Ｎｂが区画線Ｒ１、Ｒ４に重畳して視認される。要するに、車両１０の走行位置が左右に揺れ動くと、ウインドシールド１２の外側の景色が左右に揺れ動いて見える。つまり、区画線Ｒ１〜Ｒ６も左右に揺れ動いて見える。この時、区画線Ｒ１〜Ｒ６の相対位置が左右に揺れ動くことに伴い、非接近表示要素Ｎａ、Ｎｂの表示位置も左右に変化することとなる。

また、接近表示要素Ｍａ、Ｍｂについても非接近表示要素Ｎａ、Ｎｂと同様にして、区画線Ｒ１〜Ｒ６の相対位置が左右に揺れ動くことに伴い、非接近表示要素Ｎａ、Ｎｂの表示位置も左右に変化することとなる。

さて、一般的に、区画線Ｒ１〜Ｒ６は走行方向を長手方向とする矩形であるが、区画線Ｒ３、Ｒ６のうち車両１０に近い側（手前側）の端部Ｒ３ａ、Ｒ６ａから上方に延びる形状に接近表示要素Ｍａ、Ｍｂは視認される。これにより、表示要素Ｍａ、Ｍｂは、区画線Ｒ３、Ｒ６の手前側の端部Ｒ３ａ、Ｒ６ａに置かれた立体物（仮想立体物）として視認される。

図４に示す例では、一対の区画線Ｒ１〜Ｒ３、Ｒ４〜Ｒ６が車両１０の左右に位置している。これに対応して、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂも車両１０の左右に視認されるように表示される。表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂの外形線で囲まれる内部領域は、所定の色で表示されている。図４の例では、外形線（輪郭線）と内部領域は異なる色で表示されている。

接近してくるように視認される接近表示要素Ｍａ、Ｍｂと運転者（視点位置）との距離が、非接近表示要素Ｎａ、Ｎｂと運転者との距離と同じに視認されるタイミング、つまり図６のタイミングで、接近表示要素Ｍａ、Ｍｂの表示を消去する。換言すれば、接近表示要素Ｍａ、Ｍｂは、非接近表示要素Ｎａ、Ｎｂに向けて接近して非接近表示要素Ｎａ、Ｎｂに衝突または図６の如く嵌り込むように視認されるタイミングで、消滅するように視認される。

接近表示要素Ｍａ、Ｍｂは矩形の形状に表示される。非接近表示要素Ｎａ、Ｎｂは、区画線Ｒ１、Ｒ４から上方に延びる第１線分Ｎａ１、Ｎｂ１と、第１線分Ｎａ１、Ｎｂ１の上端から延びる第２線分Ｎａ２、Ｎｂ２と、を組み合わせた表示要素である。図６に示すように、第１線分Ｎａ１、Ｎｂ１の線分長さは、接近表示要素Ｍａ、Ｍｂの矩形の一辺の長さと同じに設定されている。第２線分Ｎａ２、Ｎｂ２の線分長さは、接近表示要素Ｍａ、Ｍｂの矩形の一辺の長さと同じに設定されている。

さて、ＥＣＵ６０が画像解析して区画線Ｒ１〜Ｒ６の位置を演算する処理は、前方カメラ５０による撮影周期や画像信号送信周期、ＣＰＵの演算周期等、所定周期で実行される。そのため、図６の表示タイミングにおける表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂの表示位置は、厳密には、該表示タイミングよりも前のタイミングで検知（画像解析）された区画線Ｒ１〜Ｒ６の位置情報に基づき設定されている。

したがって、例えば図５の表示タイミングで区画線Ｒ１〜Ｒ６の位置情報を取得した場合、その位置情報に基づき、図５の表示タイミングにおいて表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂを表示させる。その後、上記所定周期が０．１秒よりも長ければ、図６の表示タイミングで位置情報が更新されていない。そのため、図６の表示タイミングにおいても、図５の表示タイミングでの表示に用いた位置情報に基づき、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂを表示させる。

図４、図５に示すように、非接近表示要素Ｎａ、Ｎｂは接近表示要素Ｍａ、Ｍｂより下方に表示される。或いは、図６に示すように、上下方向において非接近表示要素Ｎａ、Ｎｂは接近表示要素Ｍａ、Ｍｂと同じ位置に表示される。したがって、非接近表示要素Ｎａ、Ｎｂが、最も前方カメラ５０の近くに位置する区画線Ｒ１、Ｒ４の位置に応じて表示される。これに対し、図４、図５に示す表示タイミングの接近表示要素Ｍａ、Ｍｂは、該区画線Ｒ１、Ｒ４よりも遠くに位置する区画線Ｒ３、Ｒ６の位置に応じて表示される。

ここで、画像解析による区画線Ｒ１〜Ｒ６の検出にずれが生じることは先述した通りであるが、そのずれ量は、前方カメラ５０の近くに位置する区画線Ｒ１〜Ｒ６であるほど、小さくなる。したがって、非接近表示要素Ｎａ、Ｎｂの区画線Ｒ１、Ｒ４対する左右方向の表示位置は、接近表示要素Ｍａ、Ｍｂの表示位置よりも高精度である。

そして、先述したように図６の表示タイミングでは図５の表示タイミングで取得した位置情報に基づき表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂを表示させる。そのため、図６にて接近表示要素Ｍａ、Ｍｂが非接近表示要素Ｎａ、Ｎｂに衝突または嵌り込む時に、接近表示要素Ｍａ、Ｍｂと非接近表示要素Ｎａ、Ｎｂとの表示位置のずれ量が小さいほど、接近表示要素Ｍａ、Ｍｂの表示精度が高かったと言える。

このことは、図５の表示タイミングで取得した区画線Ｒ３、Ｒ６の検知精度が高かったことを意味する。要するに、非接近表示要素Ｎａ、Ｎｂの表示位置を基準として、非接近表示要素Ｎａ、Ｎｂに対する接近表示要素Ｍａ、Ｍｂのずれ量が、接近表示要素Ｍａ、Ｍｂの表示位置に用いた区画線Ｒ３、Ｒ６の検知精度を表していると言える。さらに、運転支援装置に対する信頼性が高い状態であるとも言える。

上述の如く接近表示要素Ｍａ、Ｍｂの表示を消去するにあたり、その消去の直前に、接近表示要素Ｍａ、Ｍｂの表示輝度を一時的に増大させる。図６での接近表示要素Ｍａ、Ｍｂと非接近表示要素Ｎａ、Ｎｂとの表示位置のずれ量が所定未満である場合には、所定以上である場合に比べて、消去直前の輝度を高くする。これにより、運転者は、消去直前の輝度を確認することで、運転支援装置に対する信頼性の状態を確認できる。

以上により、本実施形態によれば、区画線Ｒ１〜Ｒ６の位置情報を取得する取得手段４１と、所定の表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂを含んだ表示画像を生成する生成手段４２と、を備える。そして、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂが区画線Ｒ１〜Ｒ６と重畳して視認されるよう、取得した位置情報に基づき生成手段４２は表示画像を生成する。

これによれば、運転支援装置が検知した区画線Ｒ１〜Ｒ６の位置情報に基づき、区画線Ｒ１〜Ｒ６と重畳して視認される位置に表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂが投影表示される。そのため、運転支援装置が検知した区画線Ｒ１〜Ｒ６の位置が実際の位置とずれている場合、そのずれ量が、接近表示要素Ｍａ、Ｍｂと区画線Ｒ３、Ｒ６との重畳の度合いに反映される。また、非接近表示要素Ｎａ、Ｎｂと区画線Ｒ１〜Ｒ６との重畳の度合いに反映される。したがって、それらの重畳度合いを運転者が視認することで、運転支援装置による区画線検知のずれ量を運転者が認識できるようになり、ひいては、運転支援装置の信頼性を認識できるようになる。

さらに本実施形態では、表示要素には、車両１０の走行に伴い運転者に接近してくるように視認される接近表示要素Ｍａ、Ｍｂが含まれている。これによれば、接近表示要素Ｍａ、Ｍｂが背景とともに車両１０の前方から後方へと流れていくように見える。よって、表示画像のうち接近表示要素Ｍａ、Ｍｂの部分については、表示画像が背景に溶け込んで自然に見えることが促されるので、表示要素を表示させることによる煩わしさを低減できる。

さらに本実施形態では、表示要素には、車両１０の走行時であっても運転者との距離が一定に維持されて視認される非接近表示要素Ｎａ、Ｎｂが含まれている。そして、接近表示要素Ｍａ、Ｍｂが非接近表示要素Ｎａ、Ｎｂよりも遠くに視認されるよう、生成手段４２は表示画像を生成する。これによれば、非接近表示要素Ｎａ、Ｎｂに対応する区画線Ｒ１、Ｒ４が、接近表示要素Ｍａ、Ｍｂに対応する区画線Ｒ３、Ｒ６よりも車両近くに存在することとなる。そして、先述したように、非接近表示要素Ｎａ、Ｎｂに対する接近表示要素Ｍａ、Ｍｂのずれ量が、接近表示要素Ｍａ、Ｍｂの表示位置に用いた区画線Ｒ３、Ｒ６の検知精度を表すこととなる。そのため、走行方向に垂直な方向（図４の左右方向）における非接近表示要素Ｎａ、Ｎｂと接近表示要素Ｍａ、Ｍｂとのずれ量を視認することで、運転支援装置による区画線Ｒ３、Ｒ６の検知精度を確認できる。よって、運転支援装置に対する信頼性の状態を運転者は確認できる。

ここで、非接近表示要素Ｎａ、Ｎｂに対する接近表示要素Ｍａ、Ｍｂのずれ量を視認者が確認するにあたり、接近表示要素Ｍａ、Ｍｂが非接近表示要素Ｎａ、Ｎｂにできるだけ近い位置に表示されているほど上記確認しやすくなる。よって、接近してくるように視認される接近表示要素Ｍａ、Ｍｂと運転者との距離が、非接近表示要素Ｎａ、Ｎｂと運転者との距離と同じに視認されるタイミングまたはその直前で、上記確認をすることが望ましい。この点を鑑み、本実施形態では、上記タイミングに基づき接近表示要素Ｍａ、Ｍｂの表示を消去する。よって、上記確認がしやすくなり、ひいては、運転支援装置の信頼性を認識しやすくなる。

さらに本実施形態では、接近表示要素Ｍａ、Ｍｂを消去する直前に、接近表示要素Ｍａ、Ｍｂの表示輝度を増大させてから消去する。これによれば、接近表示要素Ｍａ、Ｍｂが消える直前に明るく光って見えるので、上記タイミングを把握しやすくなる。よって、上述したずれ量をより一層確認しやすくできる。

さらに本実施形態では、区画線Ｒ１〜Ｒ６のうち車両１０に近い側の端部Ｒ３ａ、Ｒ６ａと重畳する位置に接近表示要素Ｍａ、Ｍｂが視認されるよう、表示画像が生成される。そのため、区画線Ｒ１〜Ｒ６の端部Ｒ３ａ、Ｒ６ａと接近表示要素Ｍａ、Ｍｂとのずれ量を確認しやすくなる。よって、走行方向に対して垂直な方向（左右方向）のみならず、走行方向においても、接近表示要素Ｍａ、Ｍｂと区画線Ｒ３、Ｒ６とのずれ量を確認しやすくなるので、運転支援装置の信頼性を認識しやすくなる。

さらに本実施形態では、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂ（虚像）が立体的な仮想物に視認（錯視）されるよう、生成手段４２は表示画像を生成する。そのため、表示要素Ｍａ、Ｍｂと区画線Ｒ３、Ｒ６とのずれ量を確認しやすくなるので、運転支援装置の信頼性を認識しやすくなる。

さらに本実施形態では、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂが区画線Ｒ１〜Ｒ６と重畳して視認されるよう、生成手段４２は表示画像を生成する。そのため、ウインドシールド１２の室外側に見える走行路Ｒ等を含んだ背景のうち、区画線Ｒ１〜Ｒ６以外の部分（他背景部分）に表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂが重畳する範囲を小さくできる。よって、他背景部分が表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂにより見づらくなることを抑制でき、他背景部分に対する視認性を向上できる。

さらに本実施形態では、車両１０の左右に位置する一対の区画線Ｒ１〜Ｒ３、Ｒ４〜Ｒ６を運転支援装置が検知している場合に、左右に存在する区画線Ｒ１〜Ｒ３、Ｒ４〜Ｒ６に対して、表示要素Ｍａ、Ｍｂ、Ｎａ、Ｎｂも左右に表示させる。これによれば、車両１０の左右両側から、車両１０が誘導または規制されるイメージが視認者に連想されやすくなる。よって、運転支援装置がアクティブ状態であることを、運転者が直感的に認識しやすくなる。

なお、上記アクティブ状態とは、ＥＣＵ６０が区画線Ｒ１〜Ｒ６を正常に検知しており、逸脱している、或いは逸脱の可能性が高いと判定された場合に、逸脱させない向きに操舵力を付与させることが可能なスタンバイ状態のことである。非アクティブ状態とは、走行路Ｒに区画線Ｒ１〜Ｒ６が無い場合や、区画線Ｒ１〜Ｒ６が部分的に剥げ落ちている場合、区画線Ｒ１〜Ｒ６の上に砂等の異物がある場合等、区画線Ｒ１〜Ｒ６を検知できていない状態のことである。

（第２実施形態）
上記第１実施形態では、接近表示要素Ｍａ、Ｍｂおよび非接近表示要素Ｎａ、Ｎｂを表示要素に含ませている。これに対し、図７に示す本実施形態では、非接近表示要素Ｎａ、Ｎｂを廃止して、接近表示要素Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６（図中の斜線参照）を表示要素に含ませている。

また、上記第１実施形態では、走行路Ｒから上方に延びる形状の立体物として、接近表示要素Ｍａ、Ｍｂを視認させている。これに対し本実施形態では、走行路Ｒに対して平行に拡がる平面形状に接近表示要素Ｍ１〜Ｍ６を視認させるよう、生成手段４２は表示画像を生成する。

本実施形態に係る接近表示要素Ｍ１〜Ｍ６が区画線Ｒ１〜Ｒ６と重畳して視認されるよう、取得した位置情報に基づき生成手段４２は表示画像を生成する。詳細には、接近表示要素Ｍ１〜Ｍ６を、区画線Ｒ１〜Ｒ６と同一形状かつ同一の大きさに表示する。したがって、視点位置の検出および区画線Ｒ１〜Ｒ６の検出にずれが生じていない理想状態であれば、区画線Ｒ１〜Ｒ６の輪郭と接近表示要素Ｍ１〜Ｍ６の輪郭が一致するように視認される。しかし実際には、区画線Ｒ１〜Ｒ６および視点位置の検出にずれが生じるので、図７の如く、接近表示要素Ｍ１〜Ｍ６の輪郭は、区画線Ｒ１〜Ｒ６の輪郭に対してずれた位置に視認される。

複数の区画線Ｒ１〜Ｒ６のうち車両１０に近い位置にある区画線ほど、高精度で位置を検知できることは先述した通りである。そのため、図７では、手前に位置する区画線Ｒ１、Ｒ４に対する接近表示要素Ｍ１、Ｍ４のずれ量は、奥側に位置する区画線Ｒ３、Ｒ６に対する接近表示要素Ｍ３、Ｍ６のずれ量よりも小さくなっている。そして、車両１０が走行することに伴い接近してくる区画線Ｒ１〜Ｒ６と重畳しながら、接近表示要素Ｍ１〜Ｍ６も車両１０に接近して視認されるように表示する。すなわち、走行に伴い接近表示要素Ｍ１〜Ｍ６を徐々に拡大して表示する。

以上により、本実施形態によれば、接近表示要素Ｍ１〜Ｍ６が区画線Ｒ１〜Ｒ６と重畳して視認されるよう、取得した位置情報に基づき生成手段４２は表示画像を生成する。そのため、運転支援装置が検知した区画線Ｒ１〜Ｒ６の位置が実際の位置とずれている場合、そのずれ量が、接近表示要素Ｍ１〜Ｍ６と区画線Ｒ１〜Ｒ６との重畳の度合いに反映される。したがって、この重畳度合いを運転者が視認することで、運転支援装置による区画線検知のずれ量を運転者が認識できるようになり、ひいては、運転支援装置の信頼性を認識できるようになる。

（第３実施形態）
上記第１実施形態では、接近表示要素Ｍａ、Ｍｂおよび非接近表示要素Ｎａ、Ｎｂを表示要素に含ませている。これに対し、図８に示す本実施形態では、接近表示要素Ｍａ、Ｍｂを廃止して、非接近表示要素Ｎ１、Ｎ２（図中の斜線参照）を表示要素に含ませている。

また、本実施形態に係る非接近表示要素Ｎ１、Ｎ２が上記第２実施形態と同様の平面形状に視認させるよう、生成手段４２は表示画像を生成する。また、非接近表示要素Ｎ１、Ｎ２が区画線Ｒ１〜Ｒ６と重畳して視認されるよう、取得した位置情報に基づき生成手段４２は表示画像を生成する。詳細には、非接近表示要素Ｎ１、Ｎ２を、区画線Ｒ１〜Ｒ６と同一の線幅かつ区画線Ｒ１〜Ｒ６と平行して延びる形状の線に表示する。したがって、視点位置の検出および区画線Ｒ１〜Ｒ６の検出にずれが生じていない理想状態であれば、走行方向に延びる線として視認される非接近表示要素Ｎ１、Ｎ２の中に区画線Ｒ１〜Ｒ６が含まれるように視認される。しかし実際には、区画線Ｒ１〜Ｒ６および視点位置の検出にずれが生じるので、図８の如く、非接近表示要素Ｎ１、Ｎ２から区画線Ｒ１〜Ｒ６がはみ出した位置に視認される。

車両１０が走行することに伴い区画線Ｒ１〜Ｒ６は車両１０に接近して視認されるのに対し、非接近表示要素Ｎ１、Ｎ２は、走行時であっても運転者（視点位置）との距離が一定に維持されて視認される。そして、第１実施形態に係る非接近表示要素Ｎａ、Ｎｂと同様にして、例えば区画線Ｒ１〜Ｒ６の相対位置が左右に揺れ動く場合には、その動きに合わせて非接近表示要素Ｎ１、Ｎ２の表示位置も左右に変化することとなる。

以上により、本実施形態によれば、非接近表示要素Ｎ１、Ｎ２が区画線Ｒ１〜Ｒ６と重畳して視認されるよう、取得した位置情報に基づき生成手段４２は表示画像を生成する。そのため、運転支援装置が検知した区画線Ｒ１〜Ｒ６の位置が実際の位置とずれている場合、そのずれ量が、非接近表示要素Ｎ１、Ｎ２と区画線Ｒ１〜Ｒ６との重畳の度合いに反映される。したがって、この重畳度合いを運転者が視認することで、運転支援装置による区画線検知のずれ量を運転者が認識できるようになり、ひいては、運転支援装置の信頼性を認識できるようになる。

さらに本実施形態では、接近表示要素Ｍａ、Ｍｂを廃止して、非接近表示要素Ｎ１、Ｎ２を表示要素に含ませている。そのため、車速と同じ速さで移動する表示要素を無くすことで、運転者に煩わしさを感じさせるおそれを低減できる。

（他の実施形態）
以上、発明の好ましい実施形態について説明したが、発明は上述した実施形態に何ら制限されることなく、以下に例示するように種々変形して実施することが可能である。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。

上記第１実施形態では、左右に複数対の区画線Ｒ１〜Ｒ３、Ｒ４〜Ｒ６が検知されている場合（図４参照）であっても、接近表示要素Ｍａ、Ｍｂを一対だけ表示している。そして、一対の接近表示要素Ｍａ、Ｍｂの表示を消去する毎に、次の新たな接近表示要素を一対だけ表示させている。これに対し、接近表示要素を同時に複数対表示させるようにしてもよい。換言すれば、図４の例では符号Ｒ２、Ｒ５に示す区画線に対しては接近表示要素を表示させていないが、区画線Ｒ３、Ｒ６に対する接近表示要素Ｍａ、Ｍｂと同時に、区画線Ｒ２、Ｒ５に対する接近表示要素を表示させてもよい。

上記第１実施形態では、左右に複数対の区画線Ｒ１〜Ｒ３、Ｒ４〜Ｒ６が検知されている場合（図４参照）、接近表示要素Ｍａ、Ｍｂおよび非接近表示要素Ｎａ、Ｍｂも左右に表示させている。これに対し、接近表示要素Ｍａ、Ｍｂまたは非接近表示要素Ｎａ、Ｍｂの表示を左右のいずれか一方にしてもよい。

上記第１実施形態では、接近表示要素Ｍａ、Ｍｂと運転者（視点位置）との距離が、非接近表示要素Ｎａ、Ｎｂと運転者との距離と同じに視認されるタイミング（図６参照）で、非接近表示要素Ｎａ、Ｎｂの表示態様を変化させている。具体的には、一時的に表示輝度を増大させ、その後に表示消去している。これに対し、上記タイミングにおける非接近表示要素Ｎａ、Ｎｂに対する接近表示要素Ｍａ、Ｍｂのずれ量が所定量以上である場合とそうでない場合とで、非接近表示要素Ｎａ、Ｎｂの表示態様の変化のさせ方を異ならせてもよい。例えば、消去直前に表示輝度を増大させるにあたり、所定量未満であればそうでない場合に比べて高輝度にすればよい。

上記第１実施形態では、接近してくるように視認される接近表示要素Ｍａ、Ｍｂと運転者との距離が、非接近表示要素Ｎａ、Ｎｂと運転者との距離と同じに視認されるタイミングで、接近表示要素Ｍａ、Ｍｂの表示を消去している。これに対し、上記タイミングから所定時間遅れて接近表示要素Ｍａ、Ｍｂの表示を消去してもよい。

第１実施形態では、ＥＣＵ６０が画像解析して区画線Ｒ１〜Ｒ６の位置を演算する処理を、所定周期で実行する。そこで、接近表示要素Ｍａ、Ｍｂの表示位置、形状および大きさを、上記所定周期で更新しても表示させてもよい。また、接近表示要素Ｍａ、Ｍｂの表示位置、形状および大きさを、車速に応じて予測補正して、上記所定周期よりも短い周期で逐次変化させてもよい。

図３に示す運転支援装置（ＥＣＵ６０）は、操舵力を付与することで運転を支援しているが、区画線Ｒ１〜Ｒ６を車両１０が逸脱した場合、または逸脱する可能性が所定以上である場合に、警告音や警告音声をスピーカから出力させてもよい。

上記第２実施形態では、区画線Ｒ１〜Ｒ６が走行路Ｒの走行方向に所定ピッチで設けられていることに対応して、複数の接近表示要素Ｍ１〜Ｍ６も走行方向に所定ピッチで並んで視認されるように表示画像を生成している。これに対し、走行路Ｒのピッチとは異なるピッチで接近表示要素Ｍ１〜Ｍ６を視認させるように表示画像を生成してもよい。

車両１０と衝突の可能性が所定以上ある歩行者が存在する場合には、表示要素の表示を禁止させて、歩行者に対する注意を集中させることを促進させることが望ましい。また、区画線Ｒ１〜Ｒ６が検知されていない場合には、表示要素の表示を禁止させることが望ましい。

前方カメラ５０により検知された区画線Ｒ１〜Ｒ６や走行路Ｒの色に応じて、表示要素の色を変化させてもよい。例えば、表示要素の色が目立たないように変化させることで、表示要素が煩わしく感じさせることの抑制を図ってもよい。

上記各実施形態では、表示要素の外形線で囲まれる内部領域は、所定の色で表示されており、外形線（輪郭線）と内部領域は異なる色で表示されている。これに対し、外形線と内部領域を同じ色で表示してもよい。換言すれば、外形線の表示を無くして、内部領域の表示のみとしてもよい。内部領域の表示色は、走行路Ｒのうち表示要素と重畳する部分が視認できない程度に透過性を低く設定してもよいし、重畳する部分が視認できる程度に透過性高く設定してもよい。

図１の例では、ＨＵＤ３０から射出された表示画像の光を反射シート１２ａに投影させているが、反射シート１２ａを廃止して、ウインドシールド１２に表示画像の光を直接投影させてもよい。こうした形態では、ウインドシールド１２が投影領域１２ｐを形成する。さらに、ウインドシールド１２とは別体の透光性の投影部材を、運転席の正面に配置し、その投影部材に表示画像の光を投影させてもよい。こうした形態では、投影部材の運転者側の面が投影領域１２ｐを形成する。また、図１に示す例では、表示画像の光を液晶パネル３１から射出するＨＵＤ３０を採用しているが、液晶パネル３１に替えて、レーザ光束を走査することで表示画像の光を射出するＨＵＤを採用してもよい。

ＥＣＵ４０（制御装置）が提供する手段および／または機能は、実体的な記憶媒体に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、制御装置がハードウェアである回路によって提供される場合、それは多数の論理回路を含むデジタル回路、またはアナログ回路によって提供することができる。

１０…車両、１２…ウインドシールド、１２ｐ…投影領域、３０…ヘッドアップディスプレイ装置（ＨＵＤ）、４１…取得手段、４２…生成手段、６０…運転支援装置（ＥＣＵ）、Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍａ、Ｍｂ…接近表示要素（所定の表示要素）、Ｎ１、Ｎ２、Ｎａ、Ｎｂ…非接近表示要素（所定の表示要素）、Ｒ…走行路、Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６…区画線。

Claims (5)

1. 走行路（Ｒ）に設けられた区画線（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６）の車両（１０）に対する相対位置を検知し、検知された位置情報に基づき車両の運転を支援する運転支援装置（６０）と、
   前記車両に設けられた投影領域（１２ｐ）に表示画像を投影することにより、前記表示画像の虚像を視認させるヘッドアップディスプレイ装置（３０）と、を備える運転支援システムに適用され、前記表示画像を生成する画像処理装置において、
   前記位置情報を取得する取得手段（４１）と、
   所定の表示要素（Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍａ、Ｍｂ、Ｎ１、Ｎ２、Ｎａ、Ｎｂ）を含んだ前記表示画像を生成する生成手段（４２）と、
   を備え、
   前記表示要素には、前記車両の走行に伴い該車両の運転者に接近してくるように視認される接近表示要素（Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍａ、Ｍｂ）と、前記車両の走行時であっても前記運転者との距離が一定に維持されて視認される非接近表示要素（Ｎａ、Ｎｂ）とが含まれており、
   前記生成手段は、前記表示要素が前記区画線と重畳して視認され、かつ、前記接近表示要素が前記非接近表示要素よりも遠くに視認されるよう、前記取得手段により取得された前記位置情報に基づき前記表示画像を生成することを特徴とする画像処理装置。
2. 接近してくるように視認される前記接近表示要素と前記運転者との距離が、前記非接近表示要素と前記運転者との距離と同じに視認されるタイミングに基づき、前記接近表示要素の表示を消去することを特徴とする請求項１に記載の画像処理装置。
3. 前記接近表示要素を消去する直前に、前記接近表示要素の表示輝度を増大させてから消去することを特徴とする請求項２に記載の画像処理装置。
4. 前記区画線のうち前記車両に近い側の端部（Ｒ３ａ、Ｒ６ａ）と重畳する位置に前記接近表示要素が視認されるよう、前記表示画像が生成されることを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
5. 走行路（Ｒ）に設けられた区画線（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６）の車両（１０）に対する相対位置を検知し、検知された位置情報に基づき車両の運転を支援する運転支援装置（６０）と、
   前記車両に設けられた投影領域（１２ｐ）に表示画像を投影することにより、前記表示画像の虚像を視認させるヘッドアップディスプレイ装置（３０）と、を備える運転支援システムに適用され、前記表示画像を生成する画像処理装置において、
   前記位置情報を取得する取得手段（４１）と、
   所定の表示要素（Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍａ、Ｍｂ、Ｎ１、Ｎ２、Ｎａ、Ｎｂ）を含んだ前記表示画像を生成する生成手段（４２）と、
   を備え、
   前記表示要素には、前記車両の走行に伴い該車両の運転者に接近してくるように視認される接近表示要素（Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍａ、Ｍｂ）が含まれており、
   前記生成手段は、前記表示要素が前記区画線と重畳して視認され、かつ、前記区画線のうち前記車両に近い側の端部（Ｒ３ａ、Ｒ６ａ）と重畳する位置に前記接近表示要素が視認されるよう、前記取得手段により取得された前記位置情報に基づき前記表示画像を生成することを特徴とする画像処理装置。

Images