JP2024071143A - 重畳画像表示装置 - Google Patents
重畳画像表示装置 Download PDFInfo
- Publication number
- JP2024071143A JP2024071143A JP2022181936A JP2022181936A JP2024071143A JP 2024071143 A JP2024071143 A JP 2024071143A JP 2022181936 A JP2022181936 A JP 2022181936A JP 2022181936 A JP2022181936 A JP 2022181936A JP 2024071143 A JP2024071143 A JP 2024071143A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- lane
- virtual
- line
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 claims description 60
- 238000001514 detection method Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 230000007704 transition Effects 0.000 description 13
- 239000004973 liquid crystal related substance Substances 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Instrument Panels (AREA)
Abstract
【課題】車両の乗員から視認される画像の内容を大きく変化させずに適切に車線変更の案内を行うことを可能にした重畳画像表示装置を提供する。
【解決手段】車両周辺の風景の内、案内オブジェクトを重畳して車両の乗員に視認させることが可能な重畳可能範囲に車両が跨ぐ対象となる区画線が含まれないと判定された場合には、案内オブジェクトに加えて区画線を模した仮想区画線を表示し、仮想区画線を基準に案内オブジェクトを表示する一方、仮想区画線が表示された後に重畳可能範囲に区画線が含まれ且つ区画線と乗員から視認される仮想区画線が平行になったと判定された場合には仮想区画線を非表示とし、その後は区画線を基準に案内オブジェクトを表示するように構成する。
【選択図】図10
【解決手段】車両周辺の風景の内、案内オブジェクトを重畳して車両の乗員に視認させることが可能な重畳可能範囲に車両が跨ぐ対象となる区画線が含まれないと判定された場合には、案内オブジェクトに加えて区画線を模した仮想区画線を表示し、仮想区画線を基準に案内オブジェクトを表示する一方、仮想区画線が表示された後に重畳可能範囲に区画線が含まれ且つ区画線と乗員から視認される仮想区画線が平行になったと判定された場合には仮想区画線を非表示とし、その後は区画線を基準に案内オブジェクトを表示するように構成する。
【選択図】図10
Description
本発明は、車両の走行支援を行う重畳画像表示装置に関する。
従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、乗員の周辺環境(風景、実景)に重畳する画像を表示することによって、情報の提供を行う装置がある。例えば、ヘッドアップディスプレイ、ウインドウシールドディスプレイの他、液晶ディスプレイに表示した車両周辺の撮像画像に重畳して画像を表示する方法等が該当する。
上記周辺環境に重畳する画像を表示する技術の内、特にヘッドアップディスプレイは表示領域に表示された映像を車両内に配置されたフロントガラスやコンバイナ等の反射部材で反射させて車両の乗員に視認させることによって車両周辺の実景に重畳して映像の虚像を視認させる技術である。ヘッドアップディスプレイは乗員から視認できる車外の実際の風景(実景)に案内画像を重畳できるメリットがあるが、一方で案内画像を重畳して車両の乗員に視認させることが可能な範囲(以下、重畳可能範囲という)が限られるという問題があった。そこで、例えば特開2020-24561号公報では、案内分岐点の右左折案内を行う場合において案内分岐点が重畳可能範囲に含まれない場合には交差点周辺の拡大図を表示するとともに表示した交差点拡大図に重畳させて矢印の画像を表示する一方、案内分岐点が重畳可能範囲に含まれる場合には実景の案内分岐点に重畳させて大きな矢印の画像を表示する技術について開示されている。
上記特許文献1の技術によれば、重畳可能範囲が限られていたとしても重畳可能範囲の位置に合わせた案内が可能となる。しかしながら、上記特許文献1の技術では車両の走行中に案内分岐点が重畳可能範囲に含まれない状態から含まれる状態へと切り替わるタイミングで、表示対象となる画像が大きく変化することとなる。このような表示対象となる画像を一度に大きく変化させることは車両の乗員の視線を呼び込むことになり、進行方向以外を注視させることになる為、避けるのが望ましい。
本発明は前記従来における問題点を解消するためになされたものであり、特に周辺環境に重畳する画像を用いて車線変更の案内を行う場合において、車両の乗員から視認される画像の内容を大きく変化させずに適切に車線変更の案内を行うことを可能にした重畳画像表示装置を提供することを目的とする。
前記目的を達成するため本発明に係る重畳画像表示装置は、車両に搭載され、表示領域に表示された映像を車両内に配置された反射部材で反射させて車両の乗員に視認させることによって前記車両周辺の風景に重畳して前記映像の虚像を視認させる重畳画像表示装置であって、車両の車線変更が推奨される状況において、前記映像として車線変更を案内する為の案内オブジェクトを表示するオブジェクト表示手段と、前記車線変更に伴って車両が跨ぐ対象となる区画線を検出する区画線検出手段と、を有し、前記オブジェクト表示手段は、前記車両周辺の風景の内、前記案内オブジェクトを重畳して車両の乗員に視認させることが可能な重畳可能範囲に前記区画線が含まれないと判定された場合に、前記映像として前記案内オブジェクトに加えて区画線を模した仮想区画線を表示し、前記仮想区画線を基準に前記案内オブジェクトを表示し、前記仮想区画線が表示された後であって、前記重畳可能範囲に前記区画線が含まれ且つ前記区画線と乗員から視認される前記仮想区画線が平行になったと判定された場合に、前記仮想区画線を非表示とし、その後は前記区画線を基準に前記案内オブジェクトを表示する。
前記構成を有する本発明に係る重畳画像表示装置によれば、周辺環境に重畳する画像を用いて車線変更の案内を行う場合において、車線変更に伴って車両が跨ぐ対象となる区画線が重畳可能範囲に含まれない場合であっても含まれる場合であってもいずれも区画線を基準にした案内オブジェクトの表示を行うことが可能となる。また、仮想区画線に基づく案内から実景である区画線に基づく案内へと遷移する際に、区画線が重畳可能範囲に含まれて車両の乗員から視認される仮想区画線が実際の区画線と平行になっている状態で上記遷移を行うので、上記遷移をシームレスに行うことが可能となる。即ち、虚像である仮想区画線に基づく案内から実景である区画線に基づく案内へと遷移するタイミングにおいて、車両の乗員から視認される画像の内容が大きく変化しないので、車両の乗員の視線を呼び込むこと(進行方向以外を注視させること)を防止できる。
以下、本発明に係る重畳画像表示装置1を具体化した実施形態について図面を参照しつつ詳細に説明する。先ず、本実施形態に係る重畳画像表示装置1の概略構成について図1を用いて説明する。図1は本実施形態に係る重畳画像表示装置1の概略構成図である。
図1に示すように重畳画像表示装置1は、車両2に搭載されたナビゲーション装置3と、同じく車両2に搭載されるとともにナビゲーション装置3と接続されたフロントディスプレイ4とを基本的に有する。尚、フロントディスプレイ4は後述のように車両2のフロントガラス5とともにヘッドアップディスプレイとして機能し、車両2の乗員6に対して様々な情報の提供を行う情報提供手段となる。
ここで、ナビゲーション装置3は、目的地までの推奨経路を探索したり、サーバから取得したりメモリに格納された地図データに基づいて車両2の現在位置周辺の地図画像を表示したり、設定された案内経路に沿った走行案内等をフロントディスプレイ4とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置3が備えている必要はなく、少なくとも案内経路に沿った走行案内を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置3の構造の詳細については後述する。
一方、フロントディスプレイ4は、車両2のダッシュボード7内部に設置され、前面に設けられた画像表示面に対して画像を表示する機能を有する液晶ディスプレイである。バックライトとしては例えばCCFL(冷陰極管)や白色LEDが用いられる。尚、フロントディスプレイ4としては、液晶ディスプレイ以外に、有機ELディスプレイや液晶プロジェクタとスクリーンの組み合わせを用いても良い。
そして、フロントディスプレイ4は車両2のフロントガラス5とともにヘッドアップディスプレイとして機能し、フロントディスプレイ4から出力される画像を、運転席の前方のフロントガラス5に反射させて車両2の乗員6に視認させるように構成されている。
ここで、本実施形態ではフロントディスプレイ4において表示され、車両2の乗員6に視認させる画像としては、車両2に関する情報や乗員6の運転の支援の為に用いられる各種情報がある。例えば乗員6に対して警告対象となる対象物(他車両、歩行者、案内標識)に対する警告、ナビゲーション装置3で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印、車両が走行すべき推奨車線の位置、推奨車線への車線変更を促す案内等)、路面に表示する警告(追突注意、制限速度等)、車両が走行する車線の区画線、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。尚、以下に説明する本実施形態では、特に車両の進行方向前方にある案内分岐点における案内を行う為の情報を案内オブジェクトとしてフロントディスプレイ4に表示する。より具体的には案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線を車両が走行していない場合に、推奨車線への移動を促す一又は複数の矢印を表示する。
また、フロントガラス5を反射して乗員6がフロントディスプレイ4に表示された映像を視認した場合に、乗員6にはフロントガラス5の位置ではなく、フロントガラス5の先の遠方の位置にフロントディスプレイ4に表示された映像が虚像10として視認されるように構成される。また、虚像10は車両前方の周辺環境(風景、実景)に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物(路面、交差点、建築物、警告対象となる物等)に重畳させて表示させることも可能である。
例えば、図2は虚像10を車両前方の周辺環境(風景、実景)に重畳して表示した場合の例である。図2に示すようにフロントディスプレイ4に対して例えば矢印の画像9を表示する。その結果、フロントディスプレイ4に表示された矢印の画像9をフロントガラス5に反射して車両の乗員6が視認することによって、フロントガラス5越しの風景に重畳して矢印の画像9の虚像10が視認されることとなる。但し、虚像10はフロントガラス5越しの風景のどこにでも重畳させることができるわけではなく、虚像10を重畳して車両の乗員6に視認させることが可能な範囲は限られている。具体的には、フロントディスプレイ4の表示画面のサイズやダッシュボード7に対する設置位置によってその範囲が決められることとなり、例えば図2に示す例では破線に囲まれた範囲Rが、虚像10を重畳して車両の乗員6に視認させることが可能な範囲(重畳可能範囲)となる。
一方で、虚像10を生成する奥行き方向の位置、より具体的には乗員6から虚像10までの距離(以下、結像距離という)Lについては、フロントディスプレイ4の位置によって決定される。例えば、フロントディスプレイ4において映像の表示された位置からフロントガラス5までの光路に沿った距離(光路長)によって結像距離Lが決定される。例えば結像距離Lが1.5mとなるように光路長が設定されている。
また、本実施形態では車両周辺の風景に重畳する画像を表示する手段としてダッシュボード7内部に設置されたフロントディスプレイ4を用いているが、他の手段を用いても良い。例えば、ヘッドアップディスプレイ(HUD)装置を車載器として有しても良いし、フロントガラス5を透過液晶ディスプレイとしてフロントガラス5に直接画像を表示しても良い。更に、後述のフロントカメラ11で撮像した車両周辺の風景を車内の液晶ディスプレイに表示し、同一の液晶ディスプレイ内において表示された風景に重畳する画像を表示することも可能である。その場合においても液晶ディスプレイに表示された画像は、HUDと同様に車両周辺の風景に重畳する画像となる。
また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ11が設置される。フロントカメラ11は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ11により撮像された撮像画像に対して画像処理が行われることによって、フロントガラス越しに乗員6に視認される前方環境(即ち虚像10が重畳される環境)の状況等が検出される。特に、フロントカメラ11により撮像された撮像画像は後述のように車両が現在走行する道路の車線を区画する区画線を検出する際にも用いられる。尚、フロントカメラ11の代わりにミリ波レーダ等のセンサを用いても良い。
また、車両のインストルメントパネルの上面には車内カメラ12が設置される。車内カメラ12は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。車内において一般的に乗員の顔が位置すると予想される範囲を検出範囲(車内カメラ12の撮像範囲)として設定し、運転席に座った乗員6の顔を撮像する。そして、車内カメラ12により撮像された撮像画像に対して画像処理が行われることによって、乗員6の目の位置(視線開始点)や視線方向を検出する。
次に、上記重畳画像表示装置1を構成するナビゲーション装置3の概略構成について図3を用いて説明する。図3は本実施形態に係るナビゲーション装置3を示したブロック図である。
図3に示すように本実施形態に係るナビゲーション装置3は、ナビゲーション装置3が搭載された車両2の現在位置を検出する現在位置検出部13と、各種のデータが記録されたデータ記録部14と、入力された情報に基づいて、各種の演算処理を行うナビゲーションECU15と、ユーザからの操作を受け付ける操作部16と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ17と、経路案内に関する音声ガイダンスを出力するスピーカ18と、記憶媒体であるDVDを読み取るDVDドライブ19と、プローブセンタやVICS(登録商標:Vehicle Information and Communication System)センタ等の情報センタとの間で通信を行う通信モジュール20と、を有する。また、ナビゲーション装置3はCAN等の車載ネットワークを介して、前述したフロントディスプレイ4、フロントカメラ11及び車内カメラ12等が接続されている。
以下に、ナビゲーション装置3が有する各構成要素について順に説明する。
現在位置検出部13は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU15に出力する。そして、ナビゲーションECU15は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置3が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置3が備える構成としても良い。
現在位置検出部13は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU15に出力する。そして、ナビゲーションECU15は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置3が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置3が備える構成としても良い。
また、データ記録部14は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された地図情報DB31や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、データ記録部14はハードディスクの代わりにフラッシュメモリやメモリーカードやCDやDVD等の光ディスクを有していても良い。また、地図情報DB31は外部のサーバに格納させ、ナビゲーション装置3が通信により取得する構成としても良い。
ここで、地図情報DB31は、例えば、道路(リンク)に関するリンクデータ32、ノード点に関するノードデータ33、分岐点に関する分岐点データ34、施設等の地点に関する地点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等が記憶された記憶手段である。
また、リンクデータ32としては、道路ネットワークを構成する各リンクに関してリンクの属する道路の幅員、勾(こう)配、カント、バンク、路面の状態、ノード間のリンク形状(例えばカーブ道路ではカーブの形状)を特定する為の形状補完点データ、道路の車線数、車線毎の進行方向の通行区分、対向車線の有無(対面通行区間か否か)、中央分離帯の有無、幅員の狭くなる箇所、踏切り等を表すデータが、コーナに関して、曲率半径、交差点、T字路、コーナの入口及び出口等を表すデータが、道路属性に関して、降坂路、登坂路等を表すデータが、道路種別に関して、高速道路と一般道(国道、県道、細街路等)を表すデータがそれぞれ記録される。
また、ノードデータ33としては、実際の道路の分岐点(交差点、T字路等も含む)や各道路に曲率半径等に応じて所定の距離毎に設定されたノード点の座標(位置)、ノードが交差点に対応するノードであるか等を表すノード属性、ノードに接続するリンクのリンク番号のリストである接続リンク番号リスト、ノードにリンクを介して隣接するノードのノード番号のリストである隣接ノード番号リスト、各ノード点の高さ(高度)等に関するデータ等が記録される。
また、分岐点データ34としては、分岐点の交差点名称、分岐点を形成するノードを特定する該当ノード情報、分岐点に接続されるリンクを特定する接続リンク情報、分岐点に接続されるリンクに対応する方面名称、分岐点の形状(特に道路の接続方向)を特定する情報等が記憶される。
一方、ナビゲーションECU(エレクトロニック・コントロール・ユニット)15は、ナビゲーション装置3の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのCPU41、並びにCPU41が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAM42、制御用のプログラムのほか、後述の走行支援処理プログラム(図4)等が記録されたROM43、ROM43から読み出したプログラムを記憶するフラッシュメモリ44等の内部記憶装置を備えている。尚、ナビゲーションECU15は、処理アルゴリズムとしての各種手段を有する。例えば、オブジェクト表示手段は、車両の車線変更が推奨される状況において、映像として車線変更を案内する為の案内オブジェクトを表示する。区画線検出手段は、車線変更に伴って車両が跨ぐ対象となる区画線を検出する。
操作部16は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ(図示せず)を有する。そして、ナビゲーションECU15は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部16は液晶ディスプレイ17の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。
また、液晶ディスプレイ17には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、本実施形態では情報の表示手段としてフロントディスプレイ4を備えているので、上記地図画像等の表示をフロントディスプレイ4で行う構成とすれば液晶ディスプレイ17は省略しても良い。
また、スピーカ18は、ナビゲーションECU15からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。
また、DVDドライブ19は、DVDやCD等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報DB31の更新等が行われる。尚、DVDドライブ19に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。
また、通信モジュール20は、交通情報センタ、例えば、VICSセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やDCMが該当する。
続いて、前記構成を有するナビゲーション装置3においてナビゲーションECU15が実行する走行支援処理プログラムについて図4に基づき説明する。図4は本実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のACC電源(accessory power supply)がONされた後に実行され、フロントディスプレイ4に表示された画像を車両周辺の風景(実景)に重畳して視認させることによって、車両の走行支援を行うプログラムである。尚、以下の図4及び図8にフローチャートで示されるプログラムは、ナビゲーション装置3が備えているRAM42やROM43に記憶されており、CPU41により実行される。
以下の説明では案内オブジェクトを用いた車両の走行支援として、ナビゲーション装置3で設定された案内経路に沿った車両の走行案内を行う例について説明する。また、表示対象となる案内オブジェクトは、車両の進行方向前方にある案内分岐点における案内を行う為の案内情報とし、特に案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線を車両が走行していない場合に、推奨車線への移動を促す矢印を案内オブジェクトとして表示する場合の処理を例に挙げて説明する。但し、重畳画像表示装置1では案内オブジェクトを用いて上記走行支援以外の案内や情報提供を行うことも可能である。また、表示対象となる案内オブジェクトは、上記矢印以外の情報とすることも可能である。例えば、案内オブジェクトとして乗員に対して警告対象となる対象物(他車両、歩行者、案内標識)に対する警告、路面に表示する警告(追突注意、制限速度等)、次の案内分岐点までの距離、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面等を表示することも可能である。
先ず、走行支援処理プログラムでは、ステップ(以下、Sと略記する)1においてCPU41は、車両の現在位置を現在位置検出部13の検出結果や地図情報に基づいて特定する。尚、車両の現在位置を特定する際には、車両の現在位置を地図情報にマッチングさせるマップマッチング処理についても行う。その後、ナビゲーション装置3で設定されている案内経路を読み出し、特定された車両の現在位置から案内経路に沿った次の案内分岐点(案内対象地点)までの距離を算出する。尚、案内分岐点とは、ナビゲーション装置3に設定されている案内経路に従ってナビゲーション装置3が走行の案内を行う際に、右左折指示(左折ランプや右折ランプへの進入指示も含む)等の案内を行う対象となる分岐点(交差点)である。尚、右左折はしないが特殊な形状を有する分岐点(難交差点)も案内分岐点に該当する。
次に、S2においてCPU41は、前記S1で算出された次の案内分岐点までの距離が、所定の案内開始距離未満か否かを判定する。尚、案内開始距離は車両が走行する道路の道路種別によって決定され、例えば高速道路は1km、一般道は高速道路よりも短い700mとする。但し、案内開始距離は固定値でなく変動する値としても良い。例えば車両の走行速度に応じて設定しても良い。
そして、前記S1で算出された次の案内分岐点までの距離が案内開始距離未満であると判定された場合(S2:YES)には、S3へと移行する。それに対して、前記S1で算出された次の案内分岐点までの距離が案内開始距離未満でないと判定された場合(S2:NO)には、S1へと戻る。
S3においてCPU41は、地図情報と案内経路に基づいて、車両の前方にある案内分岐点を案内経路に沿った退出方向(案内方向)へと通過するために走行する必要のある車線を推奨車線として特定する。より具体的には、案内分岐点における車両の退出方向に対応する車線を推奨車線として取得する。尚、地図情報に含まれるリンクデータ32には車線毎の進行方向の通行区分について格納され、分岐点データ34には分岐点の形状について格納されており、それらの情報を用いて推奨車線を特定する。例えば、図5に示すように高速道路を走行する車両の進行方向前方にある案内分岐点50での退出方向(案内方向)が取付道路のある斜め左方向である場合には、自車の走行する道路の3車線の内、最も左側に位置する車線が推奨車線となる。一方で図6に示すように一般道を走行する車両の進行方向前方にある案内分岐点50での退出方向(案内方向)が右方向である場合には、自車の走行する道路の4車線の内、右折の通行区分に対応する最も右側に位置する車線が推奨車線となる。尚、推奨車線は1車線のみであるとは限らず、2車線以上ある場合もある。
続いて、S4においてCPU41は、自車両が現在走行する走行車線である“自車走行車線”を特定する。例えば以下の処理によって自車走行車線を特定する。
先ずCPU41は、フロントカメラ11により撮像された撮像画像に対して画像認識処理を行い、自車の周辺に描かれた区画線、道路の道路端、周辺車両をそれぞれ認識し、認識結果に加えて地図情報についても考慮して自車走行車線を特定する。ここで、地図情報に含まれるリンクデータ32には道路毎の車線数、車線幅について格納されている。例えば、図7に示す片側3車線の高速道路を走行する場合において、自車の左側にある道路端55が検出でき、道路端55から自車の走行する車線までの間に1車線存在することが検出されれば自車は左から2番目の車線、即ち中央の車線を走行していると特定できる。同じく自車の左側にある道路端55が検出でき、道路端55から自車の走行する車線までの間に2車線存在することが検出されれば自車は左から3番目の車線、即ち右側の車線を走行していると特定できる。自車の右側にある道路端56を用いても同様に自車走行車線の特定が可能となる。尚、道路端55から自車の走行する車線までの間に存在する車線の数は、区画線の検出結果や他車両の検出結果に基づいて特定する。例えば区画線を明確に検出することができない場合であっても他車両の位置から車線の存在を推定することが可能となる。
尚、自車走行車線を特定する方法としては他に地図情報を用いずに区画線の種類と数で特定する方法や道路端からの距離と車線幅を用いる方法等が挙げられる。
先ずCPU41は、フロントカメラ11により撮像された撮像画像に対して画像認識処理を行い、自車の周辺に描かれた区画線、道路の道路端、周辺車両をそれぞれ認識し、認識結果に加えて地図情報についても考慮して自車走行車線を特定する。ここで、地図情報に含まれるリンクデータ32には道路毎の車線数、車線幅について格納されている。例えば、図7に示す片側3車線の高速道路を走行する場合において、自車の左側にある道路端55が検出でき、道路端55から自車の走行する車線までの間に1車線存在することが検出されれば自車は左から2番目の車線、即ち中央の車線を走行していると特定できる。同じく自車の左側にある道路端55が検出でき、道路端55から自車の走行する車線までの間に2車線存在することが検出されれば自車は左から3番目の車線、即ち右側の車線を走行していると特定できる。自車の右側にある道路端56を用いても同様に自車走行車線の特定が可能となる。尚、道路端55から自車の走行する車線までの間に存在する車線の数は、区画線の検出結果や他車両の検出結果に基づいて特定する。例えば区画線を明確に検出することができない場合であっても他車両の位置から車線の存在を推定することが可能となる。
尚、自車走行車線を特定する方法としては他に地図情報を用いずに区画線の種類と数で特定する方法や道路端からの距離と車線幅を用いる方法等が挙げられる。
次に、S5においてCPU41は、前記S3で特定された推奨車線と前記S4で特定された自車走行車線とを比較し、自車走行車線と推奨車線が異なるか否かを判定する。
そして、自車走行車線と推奨車線が異なると判定された場合(S5:YES)、即ち案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線を車両が走行していない場合には、車線変更が推奨される状況にあると判定する。その後、S6へと移行して後述のように推奨車線への車線変更を促す為の案内オブジェクトを表示する。
一方、自車走行車線と推奨車線が一致すると判定された場合(S5:NO)、即ち案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線を車両が走行している場合には、車線変更が推奨される状況にないと判定する。従って、推奨車線への車線変更を促す為の案内オブジェクトを表示することなく走行支援処理プログラムを終了する。尚、車線変更を促す為の案内オブジェクトを表示しない場合であっても、車車両が案内分岐点から所定距離以内に接近し、案内分岐点における車両の退出方向を案内すべき状況では、案内分岐点における車両の退出方向を案内する為の案内オブジェクトについては別途表示するのが望ましい。
S6においてCPU41は、後述の案内オブジェクト表示処理(図8)を行う。案内オブジェクト表示処理は、ナビゲーション装置3で現在設定されている案内経路や車両の現在位置に基づいて、フロントディスプレイ4に対して推奨車線への車線変更を促す為の案内オブジェクトを表示する処理である。詳細については後述する。
その後、S7においてCPU41は、前記S6で実行される推奨車線への車線変更を促す案内の終了条件を満たしたか否かが判定される。尚、推奨車線への車線変更を促す案内の終了条件としては、例えば推奨車線への車線変更が完了したこと、推奨車線への車線変更を車両が行わない場合については案内分岐点に所定距離まで接近したことなどが挙げられる。ここで所定距離は案内分岐点の進入前に車線変更を適切に完了する為に必要な距離とし、例えば50mとする。
そして、推奨車線への車線変更を促す案内の終了条件を満たしていないと判定された場合(S7:NO)には、S6へと戻り継続して案内オブジェクト表示処理による案内オブジェクトの表示が行われる。それに対して、推奨車線への車線変更を促す案内の終了条件を満たしたと判定された場合(S7:YES)には、フロントディスプレイ4に対して制御信号を送信し、フロントディスプレイ4に表示されていた案内オブジェクトを非表示とする(S8)。但し、車線変更を促す為の案内オブジェクトを非表示とした後であっても、その後に車両が案内分岐点から所定距離以内に接近し、案内分岐点における車両の退出方向を案内すべき状況では、案内分岐点における車両の退出方向を案内する為の案内オブジェクトについて別途表示するのが望ましい。
次に、前記S6において実行される案内オブジェクト表示処理のサブ処理について図8に基づき説明する。図8は案内オブジェクト表示処理のサブ処理プログラムのフローチャートである。
先ずS11においてCPU41は、フロントカメラ11で撮像した画像に対して画像処理を施すことにより、車両の走行する道路に配置された区画線の内、特に推奨車線への車線変更に伴って車両が跨ぐ対象となる区画線(以下、対象区画線という)を認識(検出)する。具体的には、前記S3で特定された推奨車線が前記S4で特定された自車走行車線の右側にある場合には自車走行車線の右側にある車線が対象区画線となり、前記S3で特定された推奨車線が前記S4で特定された自車走行車線の左側にある場合には自車走行車線の左側にある車線が対象区画線となる。尚、推奨車線へと移動する為に2回以上の車線変更が必要な場合については最初に跨ぐ必要のある区画線を対象区画線とする。また、区画線については区画線の色や種別(実線、破線など)についても検出するのが望ましい。
上記S11の対象区画線の検出処理では、CPU41はフロントカメラ11で撮像した撮像画像中にある区画線を検出する為に、路面と区画線を輝度差に基づいて輝度補正を行う。その後、区画線を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と区画線との境界線を検出する。検出された境界線によって区画線の存在や種別が特定される。また区画線と検出された範囲の画像部分を抽出して色認識(RGB値検出)を行うことにより区画線の色についても検出可能となる。
その後、S12においてCPU41は、道路幅方向に沿った自車両から対象区画線までの距離を取得する。具体的には、前記S11の画像認識結果を用いて図9に示すように対象区画線61の中心から自車両62の中心までの距離Lを算出する。尚、図9は推奨車線が自車走行車線の左側にある場合の例であるが、自車両62が推奨車線への車線変更を行うと仮定すると、図9に示すように自車両62の走行に伴って対象区画線61の中心から自車両62の中心までの距離Lは徐々に短くなる(対象区画線61の通過後は逆に徐々に長くなる)こととなる。尚、以下では基本的に自車両は対象区画線61を通過する前の状況にあると仮定して説明する。
続いて、S13においてCPU41は、前記S12で取得した道路幅方向に沿った自車両から対象区画線までの距離が1m未満であるか否かを判定する。ここで、本実施形態の重畳画像表示装置1では、前述したようにフロントディスプレイ4に表示された映像の虚像はフロントガラス5越しの風景のどこにでも重畳させることができるわけではなく、虚像を重畳して車両の乗員6に視認させることが可能な重畳可能範囲Rは限られている(図2参照)。そして、道路幅方向に沿った自車両から対象区画線までの距離が少なくとも1.0m未満であることが、この限られた重畳可能範囲Rに対象区画線が含まれる条件となる。従って、道路幅方向に沿った自車両から対象区画線までの距離が1m以上であることは、重畳可能範囲Rに対象区画線が含まれないことを意味する。尚、重畳可能範囲Rに対象区画線が含まれるとは、重畳可能範囲Rに少なくとも一部の対象区画線が含まれるとしても良いが、本実施形態では対象区画線に基づく案内オブジェクトの表示が重畳可能範囲Rで行える程度まで対象区画線が含まれることを意味する。
そして、道路幅方向に沿った自車両から対象区画線までの距離が1m以上である、即ち虚像を重畳して車両の乗員6に視認させることが可能な重畳可能範囲Rに対象区画線が含まれないと判定された場合(S13:NO)には、S14へと移行する。
S14においてCPU41は、フロントディスプレイ4に対して制御信号を送信し、フロントディスプレイ4に対して区画線を模した仮想区画線を表示する。その結果、図10に示すように車両の乗員に風景に重畳された仮想区画線66(正確には仮想区画線の虚像)を視認させることが可能となる。尚、前記S14で仮想区画線66を表示する位置は道路の路面上(路面に対して平行)で基本的に固定位置(車両から見える相対的な位置を固定)とする。具体的には、図10に示すように対象区画線61が左側にある場合には重畳可能範囲Rの左上方の位置に視認されるように表示し、対象区画線61が右側にある場合には重畳可能範囲Rの右上方の位置に視認されるように表示する。また、仮想区画線66を表示した時点では、仮想区画線66は対象区画線61と異なる角度で表示する。より具体的には、仮想区画線66は対象区画線61よりも車両の進行方向に対してより車線内側に傾斜した角度とする。
また、仮想区画線66は対象区画線61を模したものであるが、仮想区画線66の線種や色は対象区画線61と同じにしても良いし、あえて異なるようにしても良い。例えば対象区画線61が白線の破線であれば仮想区画線66も同じ白線の破線にしても良いし、あえて仮想的な区画線であることを表現する為に対象区画線61と異なる黄色の実線としても良い。
次に、S15においてCPU41は、フロントディスプレイ4に表示対象とする案内オブジェクトの大きさ、形状、及び表示位置(表示範囲)を算出する。ここで、前記S15において表示対象とする案内オブジェクトは、前記S14で表示された仮想区画線66を基準とした案内オブジェクト、より具体的には仮想区画線66を跨いで車線変更する経路に沿って配置される複数(例えば6個)の矢印とする。矢印の方向は車線変更を行う際の車両の進行方向を示し、路面上(路面に対して平行)に配置される。複数の矢印の配置間隔は適宜変更可能であるが例えば乗員から見た際に1m間隔となるようにする。また、案内オブジェクトは2次元ポリゴンとし、基本的に厚みは存在しないこととする。但し、厚みを持たせた3次元ポリゴンとしても良い。
その後、S16においてCPU41はフロントディスプレイ4に対して制御信号を送信し、フロントディスプレイ4に対して前記S15で算出された大きさ、形状の案内オブジェクトの画像を、算出された表示位置に表示する。その結果、車両の乗員に風景に重畳された案内オブジェクト(正確には案内オブジェクトの虚像)を視認させることが可能となる。具体的には、図10に示すように案内オブジェクト67の虚像である複数の矢印は、仮想区画線66を跨いで車線変更する経路に重畳して視認される。尚、前記S15及びS16において表示対象とする案内オブジェクトの形状は適宜変更可能であり、車線変更を促すことができる形状であれば矢印以外の形状であっても良い。また、6つの矢印である必要もなく、仮想区画線66を跨ぐ1の長い矢印であっても良い。
尚、図8に示す案内オブジェクト表示処理は、前記S7の案内終了条件を満たすまで繰り返し実行されることになる。前記S14~S16による図10に示す仮想区画線66及び案内オブジェクト67の表示は、その後に道路幅方向に沿った自車両から対象区画線までの距離が1m未満となるまで基本的に固定(乗員から視認される内容が固定)の表示内容で継続して実施される。
一方で、道路幅方向に沿った自車両から対象区画線までの距離が1m未満であると判定された場合(S13:YES)には、S17へと移行する。
S17ではCPU41は、虚像を重畳して車両の乗員6に視認させることが可能な重畳可能範囲Rに対象区画線61が含まれ、更に車両の乗員から視認される仮想区画線66が対象区画線61と重複し且つ平行になったか否か(車両の乗員から仮想区画線66と対象区画線61が重なって一の区画線に見えるか否か)を判定する。ここで、前述したように前記S14で仮想区画線66を表示した時点では、仮想区画線66は対象区画線61から離れた位置で且つ異なる角度で表示される(図10参照)。しかしながら、後述のように道路幅方向に沿った自車両から対象区画線までの距離が1m未満となった後に、仮想区画線66の角度を対象区画線61と平行になる角度へと所定の角速度で変移させる(S18)。尚、仮想区画線66の角度を変移させる角速度は、道路幅方向に沿った車両から対象区画線61までの距離が所定距離(前記S13の判定基準となる距離より短い距離であり、例えば0.5m)となるタイミング或いは角度の変移を開始してから所定時間(例えば3秒)経過したタイミングとする。例えば本実施形態では道路幅方向に沿った車両から対象区画線61までの距離が0.5mとなるタイミングとする。尚、自車両から対象区画線までの距離が近づく程、車両の乗員から視認される仮想区画線66と対象区画線61は接近することとになる。本実施形態では、道路幅方向に沿った車両から対象区画線61までの距離が1.0m未満では重畳可能範囲Rに対象区画線61が含まれ、更に0.5mとなるタイミングで仮想区画線66の角度が対象区画線61と平行になることに加えて、車両の乗員から視認される仮想区画線66が対象区画線61とが重複する(即ち車両の乗員から仮想区画線66と対象区画線61が重なって一の区画線に見える)と推定する。
ここで、前記S17では実際に車両の乗員から視認される仮想区画線66の位置と対象区画線61の位置を算出して比較するのではなく、道路幅方向に沿った車両から対象区画線61までの距離が0.5mとなったか否かを判定している。即ち、道路幅方向に沿った車両から対象区画線61までの距離が0.5mより長ければ、重畳可能範囲Rに対象区画線61が含まない、或いは含まれていたとしても車両の乗員から視認される仮想区画線66が対象区画線と重複且つ平行になっていないと判定し(S17:NO)、道路幅方向に沿った車両から対象区画線61までの距離が0.5mとなった時点で、重畳可能範囲Rに対象区画線61が含まれ、車両の乗員から視認される仮想区画線66が対象区画線と重複し且つ平行となったと判定する(S17:YES)。
ここで、車両の乗員から視認される仮想区画線66の位置(虚像の位置)と対象区画線61の位置(実景の区画線の位置)はそれを視認する乗員の頭の位置や視線の方向、虚像の結像位置等の様々な要因によって変化するので、虚像を重畳して車両の乗員6に視認させることが可能な重畳可能範囲Rに対象区画線61が含まれるか否か、並びに車両の乗員から視認される仮想区画線66と対象区画線61とが重複し且つ平行になったか否か、を正確に装置側で判定することは極めて難しい。本実施形態では道路幅方向に沿った車両から対象区画線61までの距離を用いて上記判定を行うことでその問題を解決可能となる。
そして、車両の乗員から視認される仮想区画線66が対象区画線と重複且つ平行になっていないと判定された場合(S17:NO)に実行されるS18においてCPU41は、フロントディスプレイ4に対して制御信号を送信し、フロントディスプレイ4に対して表示されている仮想区画線66について、角度を変移させる。具体的には、仮想区画線66の角度を対象区画線61と平行になる角度へと所定の角速度で徐々に変移させる。尚、前記S18において仮想区画線66の角度を変移させる角速度は、道路幅方向に沿った車両から対象区画線61までの距離が所定距離(前記S13の判定基準となる距離より短い距離であり、例えば0.5m)となるタイミング或いは角度の変移を開始してから所定時間(例えば3秒)経過したタイミングとする。例えば本実施形態では道路幅方向に沿った車両から対象区画線61までの距離が0.5mとなるタイミングとする。尚、道路幅方向に沿った車両から対象区画線61までの距離が0.5mとなるタイミングは、前記S11の画像認識結果と車両の現在の車速やステアリング角から算出可能である。
また、図11に示すように仮想区画線66は中心点Pを中心に回転させることで角度を変移させる。但し、中心点P以外を中心に回転させることも可能である。
次に、S19においてCPU41は、フロントディスプレイ4に表示対象とする案内オブジェクトの大きさ、形状、及び表示位置(表示範囲)を算出する。ここで、前記S19において表示対象とする案内オブジェクトは、前記S18で角度が変位された後の仮想区画線66を基準とした案内オブジェクト、より具体的には角度変移後の仮想区画線66を跨いで車線変更する経路に沿って配置される複数(例えば6個)の矢印とする。矢印の方向は車線変更を行う際の車両の進行方向を示し、路面上(路面に対して平行)に配置される。複数の矢印の配置間隔は適宜変更可能であるが例えば乗員から見た際に1m間隔となるようにする。また、案内オブジェクトは2次元ポリゴンとし、基本的に厚みは存在しないこととする。但し、厚みを持たせた3次元ポリゴンとしても良い。
その後、S16においてCPU41はフロントディスプレイ4に対して制御信号を送信し、フロントディスプレイ4に対して前記S19で算出された大きさ、形状の案内オブジェクトの画像を、算出された表示位置に表示する。その結果、車両の乗員に風景に重畳された案内オブジェクト(正確には案内オブジェクトの虚像)を視認させることが可能となる。具体的には、図12に示すように案内オブジェクト67の虚像である複数の矢印は、仮想区画線66を跨いで車線変更する経路に重畳して視認される。また、仮想区画線66は車両が対象区画線61に近づくのに伴って徐々に対象区画線61に近づき、且つ平行となるように角度が変移する。そして、仮想区画線66の角度の変移に合わせて仮想区画線66を跨ぐ案内オブジェクト67の表示位置についても変移することとなる。そして、車両から対象区画線61までの距離が0.5mとなるタイミング、即ち車両の乗員から視認される仮想区画線66が対象区画線と重複且つ平行になるタイミングで、後述のように仮想区画線66は非表示となる(S20)。尚、前記S19及びS16において表示対象とする案内オブジェクトの形状は適宜変更可能であり、車線変更を促すことができる形状であれば矢印以外の形状であっても良い。また、6つの矢印である必要もなく、仮想区画線66を跨ぐ1の長い矢印であっても良い。
尚、図8に示す案内オブジェクト表示処理は、前記S7の案内終了条件を満たすまで繰り返し実行されることになる。前記S18、S19、S16による図12に示す仮想区画線66及び案内オブジェクト67の表示は、道路幅方向に沿った自車両から対象区画線までの距離が1.0mから0.5mとなるまでの期間において継続して実施される。
一方、重畳可能範囲Rに対象区画線61が含まれ、車両の乗員から視認される仮想区画線66が対象区画線61と重複且つ平行になっていると判定された場合(S17:YES)に実行されるS20においてCPU41は、フロントディスプレイ4に対して制御信号を送信し、フロントディスプレイ4に対して表示されている仮想区画線66について、非表示とする。尚、車両の乗員から視認される仮想区画線66が対象区画線61と重複且つ平行になっているということは、対象区画線61に基づく案内オブジェクトの表示が重畳可能範囲Rで行える程度まで重畳可能範囲Rに対象区画線61が含まれていることも意味する。
次に、S21においてCPU41は、フロントディスプレイ4に表示対象とする案内オブジェクトの大きさ、形状、及び表示位置(表示範囲)を算出する。ここで、前記S21において表示対象とする案内オブジェクトは、実景内の対象区画線61を基準とした案内オブジェクト、より具体的には対象区画線61を跨いで車線変更する経路に沿って配置される複数(例えば6個)の矢印とする。矢印の方向は車線変更を行う際の車両の進行方向を示し、路面上(路面に対して平行)に配置される。複数の矢印の配置間隔は適宜変更可能であるが例えば乗員から見た際に1m間隔となるようにする。また、案内オブジェクトは2次元ポリゴンとし、基本的に厚みは存在しないこととする。但し、厚みを持たせた3次元ポリゴンとしても良い。
その後、S16においてCPU41はフロントディスプレイ4に対して制御信号を送信し、フロントディスプレイ4に対して前記S21で算出された大きさ、形状の案内オブジェクトの画像を、算出された表示位置に表示する。その結果、車両の乗員に風景に重畳された案内オブジェクト(正確には案内オブジェクトの虚像)を視認させることが可能となる。具体的には、図13に示すように案内オブジェクト67の虚像である複数の矢印は、実景である対象区画線61を跨いで車線変更する経路に重畳して視認される。また、車両の乗員から見える対象区画線61の位置は、車両が対象区画線61に近づき更に対象区画線61を通過するのに伴って徐々に変化するので、それに伴って案内オブジェクト67の表示位置も変移することとなる。そして、その後に推奨車線への車線変更が完了した後に案内オブジェクトは非表示となる(S8)。尚、前記S21及びS16において表示対象とする案内オブジェクトの形状は適宜変更可能であり、車線変更を促すことができる形状であれば矢印以外の形状であっても良い。また、6つの矢印である必要もなく、対象区画線61を跨ぐ1の長い矢印であっても良い。
また、仮想区画線66を非表示とすることによって、図13に示すように虚像である仮想区画線66に基づく案内から実景である対象区画線61に基づく案内へと遷移することになる。車両の乗員から視認される仮想区画線66が対象区画線61と重複且つ平行になっている状態で上記遷移を行うので、上記遷移をシームレスに行うことが可能となる。即ち、虚像である仮想区画線66に基づく案内から実景である対象区画線61に基づく案内へと遷移するタイミングにおいて、車両の乗員から視認される画像の内容が大きく変化しないので、車両の乗員の視線を呼び込むこと(進行方向以外を注視させること)を防止できる。
尚、図8に示す案内オブジェクト表示処理は、前記S7の案内終了条件を満たすまで繰り返し実行されることになる。前記S20、S21、S16による図13に示す案内オブジェクト67の表示は、道路幅方向に沿った自車両から対象区画線までの距離が0.5mとなってから推奨車線への車線変更が完了するまでの期間において継続して実施される。
そして、上述した案内オブジェクト表示処理(S6)を実行するのに伴い、本実施形態において案内分岐点が案内開始点距離未満となった状態で車両の乗員から視認される風景に重畳する案内オブジェクト(正確には案内オブジェクトの虚像である、以下同じ)は車線変更の実行に伴って図14のように変移する。
先ず、車両から案内分岐点までの距離が案内開始距離(高速道路では1km、一般道では700m)未満となった時点で車両が推奨車線と異なる車線を走行している場合には、図10に示すように区画線を模した仮想区画線66を表示し、更に仮想区画線66に基づいて案内オブジェクト67の表示を行うことで車線変更を促す案内を行う。その結果、重畳可能範囲Rに対象区画線61(車線変更に伴って跨ぐ対象となる区画線)が含まれていない場合であっても、区画線を用いた分かり易い車線変更を促す案内を行うことが可能となる。
その後、車両が車線変更を開始し、車両から対象区画線61までの距離が1m未満となった時点で、図12に示すように表示されている仮想区画線66の角度を対象区画線61と平行になる角度へと徐々に変移させ、車両の乗員から視認される仮想区画線66が対象区画線61と重複し且つ平行になった(車両の乗員から仮想区画線66と対象区画線61が重なって一の区画線に見える)タイミングで、図13に示すように仮想区画線66を非表示とする。尚、車両の乗員から視認される仮想区画線66が対象区画線61と重複し且つ平行になったか否かの判定については、実際に車両の乗員から視認される仮想区画線66の位置と対象区画線61の位置を算出して比較するのではなく、道路幅方向に沿った車両から対象区画線61までの距離が0.5mとなったか否かで判定する。
その後は、重畳可能範囲Rに対象区画線61が含まれることになるので、実景である対象区画線61に基づいて案内オブジェクト67の表示を行うことで車線変更を促す案内を行う。車両の乗員から視認される仮想区画線66が対象区画線61と重複且つ平行になっている状態で上記案内の遷移を行うので、上記遷移をシームレスに行うことが可能となる。即ち、虚像である仮想区画線66に基づく案内から実景である対象区画線61に基づく案内へと遷移するタイミングにおいて、車両の乗員から視認される画像の内容が大きく変化しないので、車両の乗員の視線を呼び込むこと(進行方向以外を注視させること)を防止できる。
その後、車両が車線変更を開始し、車両から対象区画線61までの距離が1m未満となった時点で、図12に示すように表示されている仮想区画線66の角度を対象区画線61と平行になる角度へと徐々に変移させ、車両の乗員から視認される仮想区画線66が対象区画線61と重複し且つ平行になった(車両の乗員から仮想区画線66と対象区画線61が重なって一の区画線に見える)タイミングで、図13に示すように仮想区画線66を非表示とする。尚、車両の乗員から視認される仮想区画線66が対象区画線61と重複し且つ平行になったか否かの判定については、実際に車両の乗員から視認される仮想区画線66の位置と対象区画線61の位置を算出して比較するのではなく、道路幅方向に沿った車両から対象区画線61までの距離が0.5mとなったか否かで判定する。
その後は、重畳可能範囲Rに対象区画線61が含まれることになるので、実景である対象区画線61に基づいて案内オブジェクト67の表示を行うことで車線変更を促す案内を行う。車両の乗員から視認される仮想区画線66が対象区画線61と重複且つ平行になっている状態で上記案内の遷移を行うので、上記遷移をシームレスに行うことが可能となる。即ち、虚像である仮想区画線66に基づく案内から実景である対象区画線61に基づく案内へと遷移するタイミングにおいて、車両の乗員から視認される画像の内容が大きく変化しないので、車両の乗員の視線を呼び込むこと(進行方向以外を注視させること)を防止できる。
また、前述した実施形態では、前記S4やS11においてフロントカメラ11で撮像した撮像画像に基づいて自車走行車線や対象区画線を検出しているが、地図情報が信頼できる場合については地図情報に基づいて車両の現在位置周辺(特に車両進行方向の前方)に対応した3次元空間を生成し、3次元空間内で自車走行車線や対象区画線を特定しても良い。3次元空間には、道路以外に、建築物、道路標識などについてもモデリングしても良いし、道路のみをモデリングしても良い。或いは道路についてもモデリングしない地面のみがある単なる空白の3次元空間としても良い。以下に上記3次元空間を用いた実施例について説明する。
先ず、CPU41は、生成された3次元空間において自車両の現在位置(自車走行車線)及び方位について特定する。特に、車両に設置されたフロントカメラ11の位置を自車両の現在位置とし、フロントカメラ11の光軸方向を自車両の方位とする。尚、フロントカメラ11の位置は車両の乗員の位置、フロントカメラ11の光軸方向は車両の乗員の視線方向にも相当する。また、3次元空間において車線変更に伴って車両が跨ぐ対象となる対象区画線の位置についても特定する。
そして、前記S15、S19、S21においてCPU41は、表示対象とする案内オブジェクトを例えば2次元ポリゴンで生成し、生成した案内オブジェクトを生成された3次元空間に対して配置する。特にS15やS19では仮想区画線についても配置する。尚、3次元空間に対して仮想区画線や案内オブジェクトを配置する位置は、例えば車両の進行方向前方に10m離れた位置とする。次に、CPU41は、仮想区画線や案内オブジェクトが配置された3次元空間において、車両の現在位置且つフロントカメラ11の高さの位置から車両の進行方向に視認した際に視認できる仮想区画線と案内オブジェクトの大きさ及び形状を、フロントディスプレイ4により表示対象とする仮想区画線と案内オブジェクトの大きさ及び形状として算出する。ここで、算出される仮想区画線と案内オブジェクトの大きさ及び形状は、3次元空間に配置された仮想区画線と案内オブジェクトを現在の車両(より正確にはフロントカメラ11)の視点から視認した際に視認できる仮想区画線と案内オブジェクトの大きさ及び形状である。
以上詳細に説明した通り、本実施形態に係る重畳画像表示装置1及び重畳画像表示装置1で実行されるコンピュータプログラムによれば、車両の車線変更が推奨される状況において、車線変更に伴って車両が跨ぐ対象となる区画線を検出し(S11)、車線変更を案内する為の案内オブジェクトをフロントディスプレイ4に表示し、その虚像を車両周辺の風景に重畳して視認させることにより車両の乗員に対する案内を行うに際して、車両周辺の風景の内、案内オブジェクトを重畳して車両の乗員に視認させることが可能な重畳可能範囲に車両が跨ぐ対象となる区画線が含まれないと判定された場合には、案内オブジェクトに加えて区画線を模した仮想区画線を表示し、仮想区画線を基準に案内オブジェクトを表示する(S14、S15、S18、S19)一方、仮想区画線が表示された後に重畳可能範囲に区画線が含まれ且つ区画線と乗員から視認される仮想区画線が平行になったと判定された場合には仮想区画線を非表示とし(S20)、その後は区画線を基準に案内オブジェクトを表示する(S21)ので、車線変更に伴って車両が跨ぐ対象となる区画線が重畳可能範囲に含まれない場合であっても含まれる場合であってもいずれも区画線を基準にした案内オブジェクトの表示を行うことが可能となる。また、仮想区画線に基づく案内から実景である区画線に基づく案内へと遷移する際に、区画線が重畳可能範囲に含まれて車両の乗員から視認される仮想区画線が実際の区画線と平行になっている状態で上記遷移を行うので、上記遷移をシームレスに行うことが可能となる。即ち、虚像である仮想区画線に基づく案内から実景である区画線に基づく案内へと遷移するタイミングにおいて、車両の乗員から視認される画像の内容が大きく変化しないので、車両の乗員の視線を呼び込むこと(進行方向以外を注視させること)を防止できる。
また、道路幅方向に沿った車両から区画線までの距離を取得し(S12)、車両から区画線までの距離が閾値以上である場合に重畳可能範囲に区画線が含まれないと判定し、車両から区画線までの距離が閾値未満である場合に重畳可能範囲に区画線が含まれると判定する(S17)ので、装置側での判定が困難な重畳可能範囲に区画線が含まれるか否かの判定を、車両から区画線までの距離を用いて容易に行うことが可能となる。
また、仮想区画線を表示した時点では、仮想区画線は区画線と異なる角度で表示し、仮想区画線を表示した後に、仮想区画線の角度を区画線と平行になる角度へと所定の角速度で変移させるので、仮想区画線を表示した後に仮想区画線を実際の区画線へと徐々に近づけることが可能となる。
また、道路幅方向に沿った車両から区画線までの距離が所定距離となるタイミング或いは仮想区画線の角度の変移を開始してから所定時間経過したタイミングで、区画線と乗員から視認される仮想区画線とが平行となるように仮想区画線の角度を変移させるので、装置側での判定が困難な車両の乗員から視認される可動区画線と実際の区画線が平行になったか否かの判定を、車両から区画線までの距離或いは時間経過を用いて容易に行うことが可能となる。
また、車両の進行方向前方の所定の案内開始距離以内に案内対象地点がある場合に、案内対象地点に対して走行を推奨される推奨車線を取得し(S3)、車両が現在走行する道路において車両が現在走行する車線である走行車線を特定し(S4)、走行車線が推奨車線と異なる場合を車両の車線変更が推奨される状況として、車線変更を案内する為の案内オブジェクトを表示する(S6)ので、案内対象地点に対する車線変更を行う必要がある状況において案内オブジェクトを用いた適切な車線変更の案内が可能となる。
また、道路幅方向に沿った車両から区画線までの距離を取得し(S12)、車両から区画線までの距離が閾値以上である場合に重畳可能範囲に区画線が含まれないと判定し、車両から区画線までの距離が閾値未満である場合に重畳可能範囲に区画線が含まれると判定する(S17)ので、装置側での判定が困難な重畳可能範囲に区画線が含まれるか否かの判定を、車両から区画線までの距離を用いて容易に行うことが可能となる。
また、仮想区画線を表示した時点では、仮想区画線は区画線と異なる角度で表示し、仮想区画線を表示した後に、仮想区画線の角度を区画線と平行になる角度へと所定の角速度で変移させるので、仮想区画線を表示した後に仮想区画線を実際の区画線へと徐々に近づけることが可能となる。
また、道路幅方向に沿った車両から区画線までの距離が所定距離となるタイミング或いは仮想区画線の角度の変移を開始してから所定時間経過したタイミングで、区画線と乗員から視認される仮想区画線とが平行となるように仮想区画線の角度を変移させるので、装置側での判定が困難な車両の乗員から視認される可動区画線と実際の区画線が平行になったか否かの判定を、車両から区画線までの距離或いは時間経過を用いて容易に行うことが可能となる。
また、車両の進行方向前方の所定の案内開始距離以内に案内対象地点がある場合に、案内対象地点に対して走行を推奨される推奨車線を取得し(S3)、車両が現在走行する道路において車両が現在走行する車線である走行車線を特定し(S4)、走行車線が推奨車線と異なる場合を車両の車線変更が推奨される状況として、車線変更を案内する為の案内オブジェクトを表示する(S6)ので、案内対象地点に対する車線変更を行う必要がある状況において案内オブジェクトを用いた適切な車線変更の案内が可能となる。
尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば車両周辺の風景に重畳する画像を表示する手段として、本実施形態ではヘッドアップディスプレイシステムを用いているが、フロントガラス5を透過液晶ディスプレイとしてフロントガラス5に直接画像を表示しても良い。更に、後述のフロントカメラ11で撮像した車両周辺の風景を車内の液晶ディスプレイに表示し、同一の液晶ディスプレイ内において表示された風景に重畳する画像を表示することも可能である。その場合においても液晶ディスプレイに表示された画像は、HUDと同様に車両周辺の風景に重畳する画像となる。
例えば車両周辺の風景に重畳する画像を表示する手段として、本実施形態ではヘッドアップディスプレイシステムを用いているが、フロントガラス5を透過液晶ディスプレイとしてフロントガラス5に直接画像を表示しても良い。更に、後述のフロントカメラ11で撮像した車両周辺の風景を車内の液晶ディスプレイに表示し、同一の液晶ディスプレイ内において表示された風景に重畳する画像を表示することも可能である。その場合においても液晶ディスプレイに表示された画像は、HUDと同様に車両周辺の風景に重畳する画像となる。
また、本実施形態では、フロントディスプレイ4によって車両2のフロントガラス5の前方に虚像を生成する構成としているが、フロントガラス5以外のウィンドウの前方に虚像を生成する構成としても良い。また、フロントディスプレイ4により映像を反射させる対象はフロントガラス5自身ではなくフロントガラス5の周辺に設置されたバイザー(コンバイナー)であっても良い。
また、本実施形態では前記S17の虚像である仮想区画線66に基づく案内から実景である対象区画線61に基づく案内へと遷移する条件として、車両の乗員から視認される仮想区画線66が対象区画線61と重複し且つ平行になったこと(車両の乗員から仮想区画線66と対象区画線61が重なって一の区画線に見えること)を挙げているが、車両の乗員から視認される仮想区画線66が対象区画線61と平行になったことのみを条件としても良い。仮想区画線66と対象区画線61とが完全に重複していなくても少なくとも並行であれば遷移をシームレスに行うことは可能である。
また、本実施形態では、案内オブジェクトを用いて案内分岐点の手前での車線変更の案内を行っているが、車線変更の案内を行うのは案内分岐点の手前である場合に限られず、例えば車線減少地点や合流区間の手前等の特定の車線を走行するのが推奨される状況において行うことが可能である。
また、本実施形態では、走行支援処理プログラム(図4)の処理をナビゲーション装置3のナビゲーションECU15が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、フロントディスプレイ4の制御部、車両制御ECU、その他の車載器が実行する構成としても良い。
1…重畳画像表示装置、2…車両、3…ナビゲーション装置、4…フロントディスプレイ、5…フロントガラス、6…乗員、15…ナビゲーションECU、41…CPU、42…RAM、43…ROM、50…案内分岐点、61…対象区画線、62…自車両、66…仮想区画線、67…案内オブジェクト
Claims (5)
- 車両に搭載され、表示領域に表示された映像を車両内に配置された反射部材で反射させて車両の乗員に視認させることによって前記車両周辺の風景に重畳して前記映像の虚像を視認させる重畳画像表示装置であって、
車両の車線変更が推奨される状況において、前記映像として車線変更を案内する為の案内オブジェクトを表示するオブジェクト表示手段と、
前記車線変更に伴って車両が跨ぐ対象となる区画線を検出する区画線検出手段と、を有し、
前記オブジェクト表示手段は、
前記車両周辺の風景の内、前記案内オブジェクトを重畳して車両の乗員に視認させることが可能な重畳可能範囲に前記区画線が含まれないと判定された場合に、前記映像として前記案内オブジェクトに加えて区画線を模した仮想区画線を表示し、前記仮想区画線を基準に前記案内オブジェクトを表示し、
前記仮想区画線が表示された後であって、前記重畳可能範囲に前記区画線が含まれ且つ前記区画線と乗員から視認される前記仮想区画線が平行になったと判定された場合に、前記仮想区画線を非表示とし、その後は前記区画線を基準に前記案内オブジェクトを表示する重畳画像表示装置。 - 道路幅方向に沿った車両から前記区画線までの距離を取得する距離取得手段を有し、
前記オブジェクト表示手段は、
車両から前記区画線までの距離が閾値以上である場合に前記重畳可能範囲に前記区画線が含まれないと判定し、
車両から前記区画線までの距離が閾値未満である場合に前記重畳可能範囲に前記区画線が含まれると判定する請求項1に記載の重畳画像表示装置。 - 前記オブジェクト表示手段は、
前記仮想区画線を表示した時点では、前記仮想区画線は前記区画線と異なる角度で表示し、
前記仮想区画線を表示した後に、前記仮想区画線の角度を前記区画線と平行になる角度へと所定の角速度で変移させる請求項1又は請求項2に記載の重畳画像表示装置。 - 前記オブジェクト表示手段は、
道路幅方向に沿った車両から前記区画線までの距離が所定距離となるタイミング或いは前記仮想区画線の角度の変移を開始してから所定時間経過したタイミングで、前記区画線と乗員から視認される前記仮想区画線とが平行となるように前記仮想区画線の角度を変移させる請求項3に記載の重畳画像表示装置。 - 車両の進行方向前方の所定の案内開始距離以内に案内対象地点がある場合に、前記案内対象地点に対して走行を推奨される推奨車線を取得する推奨車線取得手段と、
車両が現在走行する道路において車両が現在走行する車線である走行車線を特定する走行車線特定手段と、を有し、
前記オブジェクト表示手段は、前記走行車線が前記推奨車線と異なる場合を車両の車線変更が推奨される状況として、車線変更を案内する為の案内オブジェクトを表示する請求項1に記載の重畳画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022181936A JP2024071143A (ja) | 2022-11-14 | 2022-11-14 | 重畳画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022181936A JP2024071143A (ja) | 2022-11-14 | 2022-11-14 | 重畳画像表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024071143A true JP2024071143A (ja) | 2024-05-24 |
Family
ID=91129141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022181936A Pending JP2024071143A (ja) | 2022-11-14 | 2022-11-14 | 重畳画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024071143A (ja) |
-
2022
- 2022-11-14 JP JP2022181936A patent/JP2024071143A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109791738B (zh) | 行驶辅助装置以及计算机程序 | |
WO2019097763A1 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP7476568B2 (ja) | 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム | |
US20230135641A1 (en) | Superimposed image display device | |
WO2019097762A1 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
US11828613B2 (en) | Superimposed-image display device | |
JP7302389B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2024071143A (ja) | 重畳画像表示装置 | |
JP7400356B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2024033759A (ja) | 重畳画像表示装置 | |
JP2024049817A (ja) | 重畳画像表示装置 | |
JP7484132B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2024018205A (ja) | 重畳画像表示装置 | |
JP2023150070A (ja) | 重畳画像表示装置 | |
JP2022077198A (ja) | 重畳画像表示装置 | |
JP2024018405A (ja) | 重畳画像表示装置 | |
JP2023131981A (ja) | 重畳画像表示装置 | |
JP2023008462A (ja) | 重畳画像表示装置 | |
JP2023064957A (ja) | 重畳画像表示装置 | |
JP2021081232A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2019087259A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2023044949A (ja) | 重畳画像表示装置 | |
JP2023097939A (ja) | 重畳画像表示装置 | |
JP2023038558A (ja) | 重畳画像表示装置 | |
JP2021076415A (ja) | 重畳画像表示装置及びコンピュータプログラム |