JP6984341B2 - Superimposed image display device and computer program - Google Patents
Superimposed image display device and computer program Download PDFInfo
- Publication number
- JP6984341B2 JP6984341B2 JP2017222169A JP2017222169A JP6984341B2 JP 6984341 B2 JP6984341 B2 JP 6984341B2 JP 2017222169 A JP2017222169 A JP 2017222169A JP 2017222169 A JP2017222169 A JP 2017222169A JP 6984341 B2 JP6984341 B2 JP 6984341B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- moving object
- guide
- map information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、車両の走行支援を行う重畳画像表示装置及びコンピュータプログラムに関する。 The present invention relates to a superimposed image display device and a computer program that support the traveling of a vehicle.
従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、ヘッドアップディスプレイ(以下、HUDという)やウインドウシールドディスプレイ(以下、WSDという)のように運転者の周辺環境(風景)に重畳する画像を表示することによって、情報の提供を行う装置がある。 Conventionally, various means have been used as information providing means for providing various information for providing vehicle running support such as route guidance and obstacle warning to vehicle occupants. For example, a display on a liquid crystal display installed in a vehicle, a sound output from a speaker, or the like. In recent years, as one of such information providing means, an image superimposed on the driver's surrounding environment (landscape) such as a head-up display (hereinafter referred to as HUD) or a window shield display (hereinafter referred to as WSD) has been added. There is a device that provides information by displaying.
例えば、特開2005−69800号公報には、ナビゲーションシステムによって経路を案内する際に、経路の目印となるランドマーク(コンビニなど)を音声案内装置によってアナウンスするとともに、HUDを用いて車両前方の実景の中におけるランドマークの位置に重畳する虚像を表示することについて開示されている。乗員はフロントウィンドウを通して見える虚像の位置に基づいて、右左折の目印となるランドマークの位置(即ち右左折する交差点の位置)を把握することが可能となる。 For example, in Japanese Patent Application Laid-Open No. 2005-69800, when guiding a route by a navigation system, a landmark (convenience store, etc.) that serves as a mark of the route is announced by a voice guidance device, and a real view in front of the vehicle is used by using a HUD. It is disclosed to display a virtual image superimposed on the position of a landmark in. Based on the position of the virtual image seen through the front window, the occupant can grasp the position of the landmark that marks the right / left turn (that is, the position of the intersection where the right / left turn is made).
ここで、上記特許文献1に記載の技術では、実景内の右左折の目印となるランドマークの位置に重畳して、乗員から視認されるように虚像を表示している。しかしながら、ランドマークの周辺に歩行者や他車両等の車両の乗員に視認させるべき動体物が存在する場合において、虚像が動体物と重なってしまうと、乗員から動体物が視認し難くなる問題があった。
Here, in the technique described in
本発明は前記従来における問題点を解消するためになされたものであり、案内画像によって車両が進むべき進行路を正確に車両の乗員に案内可能とする一方で、車両の乗員に視認させるべき動体物に対する視認性を低下させることのない重畳画像表示装置及びコンピュータプログラムを提供することを目的とする。 The present invention has been made to solve the above-mentioned conventional problems, and while it is possible to accurately guide the vehicle occupant on the path on which the vehicle should travel by using a guide image, the moving body should be visually recognized by the vehicle occupant. It is an object of the present invention to provide a superimposed image display device and a computer program that do not reduce the visibility of an object.
前記目的を達成するため本発明に係る重畳画像表示装置は、車両に搭載され、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、前記車両前方の風景に重畳して視認させる重畳画像表示装置であって、前記車両前方の風景を撮像した撮像画像を取得する撮像画像取得手段と、3次元地図情報を取得する地図情報取得手段と、前記撮像画像と3次元地図情報を照合する照合手段と、前記照合手段の照合結果に基づいて、3次元地図情報内における案内分岐点を退出した後の車両が進行する進行路に前記案内画像を配置する画像配置手段と、前記照合手段の照合結果に基づいて、案内分岐点の周囲に存在する動体物について3次元地図情報内における前記動体物が存在する位置に前記動体物の仮想体を配置する仮想体配置手段と、3次元地図情報内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状の内、前記仮想体と重ならない部分を取得する形状取得手段と、前記形状取得手段によって取得された形状の前記案内画像を表示することにより、前記動体物と重ならない態様で前記案内画像を表示する案内画像表示手段と、を有する。 In order to achieve the above object, the superimposed image display device according to the present invention is mounted on a vehicle, and a guide image for guiding the traveling direction of the traveling path on which the vehicle travels after leaving the guidance branch point is displayed as a landscape in front of the vehicle. A superposed image display device that superimposes and visually recognizes the image, the captured image acquisition means for acquiring the captured image of the landscape in front of the vehicle, the map information acquisition means for acquiring the three-dimensional map information, and the captured image. An image arrangement for arranging the guide image on the traveling path of the vehicle after leaving the guide branch point in the three-dimensional map information based on the collation means for collating the three-dimensional map information and the collation result of the collation means. Based on the collation result of the means and the collation means, the virtual body arrangement of the moving object is arranged at the position where the moving object exists in the three-dimensional map information for the moving object existing around the guide branch point. Acquired by means, a shape acquisition means for acquiring a portion of the shape of the guide image when the guide image is visually recognized from the position of the vehicle in the three-dimensional map information, and a portion that does not overlap with the virtual body, and the shape acquisition means. by displaying the guidance image of the shape, having a guide image display means for displaying the guide image in a manner that does not overlap with the body thereof.
また、本発明に係るコンピュータプログラムは、車両の走行支援を行うプログラムである。具体的には、車両に搭載され、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、前記車両前方の風景に重畳して視認させる重畳画像表示装置を、前記車両前方の風景を撮像した撮像画像を取得する撮像画像取得手段と、3次元地図情報を取得する地図情報取得手段と、前記撮像画像と3次元地図情報を照合する照合手段と、前記照合手段の照合結果に基づいて、3次元地図情報内における案内分岐点を退出した後の車両が進行する進行路に前記案内画像を配置する画像配置手段と、前記照合手段の照合結果に基づいて、案内分岐点の周囲に存在する動体物について3次元地図情報内における前記動体物が存在する位置に前記動体物の仮想体を配置する仮想体配置手段と、3次元地図情報内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状の内、前記仮想体と重ならない部分を取得する形状取得手段と、前記形状取得手段によって取得された形状の前記案内画像を表示することにより、前記動体物と重ならない態様で前記案内画像を表示する案内画像表示手段と、して機能させる。 Further, the computer program according to the present invention is a program for supporting the running of a vehicle. Specifically, a superposed image display device mounted on the vehicle and superimposing a guide image that guides the traveling direction of the traveling path on which the vehicle travels after leaving the guidance branch point on the scenery in front of the vehicle is visualized. , The captured image acquisition means for acquiring the captured image of the landscape in front of the vehicle, the map information acquisition means for acquiring the three-dimensional map information, the collation means for collating the captured image with the three-dimensional map information, and the collation. Based on the collation result of the collation means, the image arranging means for arranging the guide image on the traveling path of the vehicle after leaving the guide branch point in the three-dimensional map information and the collation result of the collation means. From the virtual body placement means for arranging the virtual body of the moving object at the position where the moving object exists in the 3D map information for the moving object existing around the guide branch point, and the position of the vehicle in the 3D map information. By displaying the shape acquisition means for acquiring the portion of the shape of the guide image that does not overlap with the virtual body when the guide image is visually recognized, and the guide image of the shape acquired by the shape acquisition means. a guidance image display means for displaying the guide image in a manner that it does not overlap with the body thereof, is to function.
前記構成を有する本発明に係る重畳画像表示装置及びコンピュータプログラムによれば、案内分岐点を退出した後の進行方向を案内する案内画像が動体物と重ならないように表示されるので、案内画像によって車両が進むべき進行路を正確に車両の乗員に案内可能とする一方で、車両の乗員に視認させるべき動体物に対する視認性を低下させることがない。また、車両前方の風景を撮像した撮像画像と3次元地図情報と動体物の仮想体とを用いることによって、案内分岐点の周囲に存在する動体物と重ならない態様となる案内画像を容易に生成することが可能となる。 According to the superimposed image display device and the computer program according to the present invention having the above configuration, the guide image for guiding the traveling direction after leaving the guide branch point is displayed so as not to overlap with the moving object. While it is possible to accurately guide the vehicle occupant on the path on which the vehicle should travel, it does not reduce the visibility of moving objects that the vehicle occupant should see. In addition, by using the captured image of the landscape in front of the vehicle, the three-dimensional map information, and the virtual body of the moving object, it is easy to generate a guiding image that does not overlap with the moving object existing around the guidance branch point. It becomes possible to do.
以下、本発明に係る重畳画像表示装置を具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係る重畳画像表示装置1の概略構成について図1を用いて説明する。図1は本実施形態に係る重畳画像表示装置1の概略構成図である。
Hereinafter, a detailed description will be given with reference to the drawings based on an embodiment embodying the superimposed image display device according to the present invention. First, a schematic configuration of the superimposed
図1に示すように重畳画像表示装置1は、車両2に搭載されたナビゲーション装置3と、同じく車両2に搭載されるとともにナビゲーション装置3と接続されたヘッドアップディスプレイ装置(以下、HUDという)4とを基本的に有する。
As shown in FIG. 1, the superimposed
ここで、ナビゲーション装置3は、目的地までの推奨経路を探索したり、サーバから取得したりメモリに格納された地図データに基づいて車両2の現在位置周辺の地図画像を表示したり、設定された案内経路に沿った走行案内をHUD4とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置3が備えている必要はなく、少なくとも案内経路に沿った走行案内を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置3の構造の詳細については後述する。 Here, the navigation device 3 is set to search for a recommended route to the destination, to display a map image around the current position of the vehicle 2 based on the map data acquired from the server or stored in the memory. It has a function of providing traveling guidance along the guide route together with the HUD4. It should be noted that it is not necessary for the navigation device 3 to have all of the above functions, and the present invention can be configured as long as it has at least a function of providing traveling guidance along a guide route. The details of the structure of the navigation device 3 will be described later.
一方、HUD4は、車両2のダッシュボード5内部に設置されており、内部には映像が表示される映像表示面である液晶ディスプレイ6を有する。そして、液晶ディスプレイ6に投射された映像を、後述のようにHUD4が備える凹面鏡7等を介し、更に運転席の前方のフロントウィンドウ8に反射させて車両2の乗員9に視認させるように構成されている。尚、液晶ディスプレイ6に表示される映像としては、車両2に関する情報や乗員9の運転の支援の為に用いられる各種情報がある。例えば乗員9に対して警告対象となる対象物(他車両や歩行者)に対する警告、ナビゲーション装置3で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印等)、路面に表示する警告(追突注意、制限速度等)、現在車速、広告画像、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。
On the other hand, the HUD 4 is installed inside the dashboard 5 of the vehicle 2, and has a
また、本実施形態のHUD4では、フロントウィンドウ8を反射して乗員9が液晶ディスプレイ6に表示された映像を視認した場合に、乗員9にはフロントウィンドウ8の位置ではなく、フロントウィンドウ8の先の遠方の位置に液晶ディスプレイ6に表示された映像が虚像10として視認されるように構成される。また、虚像10は車両前方の風景(実景)に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物(路面、建築物、警告対象となる動体物等)に重畳させて表示させることも可能である。尚、乗員9が視認できる虚像10は液晶ディスプレイ6に表示された映像であるが、凹面鏡7やその他のミラーを介することによって上下方向や左右方向が反転する場合があり、それらの反転を考慮して液晶ディスプレイ6の映像の表示を行う必要がある。また、凹面鏡7を介することによってサイズも変更する。
Further, in the HUD 4 of the present embodiment, when the
ここで、虚像10を生成する位置、より具体的には乗員9から虚像10までの距離(以下、結像距離という)Lについては、HUD4が備える凹面鏡7の曲率、液晶ディスプレイ6と凹面鏡7との相対位置等によって適宜設定することが可能である。例えば、凹面鏡7の曲率が固定であれば、液晶ディスプレイ6において映像の表示された位置から凹面鏡7までの光路に沿った距離(光路長)によって結像距離Lが決定される。例えば結像距離Lが2.5mとなるように光路長が設定されている。
Here, regarding the position where the
また、本実施形態では車両前方の風景に重畳する画像を表示する手段としてHUD4を用いているが、他の手段を用いても良い。例えば、フロントウィンドウ8に対して映像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。WSDでは、フロントウィンドウ8をスクリーンとしてプロジェクタから映像を表示しても良いし、フロントウィンドウ8を透過液晶ディスプレイとしても良い。WSDによってフロントウィンドウ8に対して表示された画像は、HUD4と同様に車両前方の風景に重畳する画像となる。
Further, in the present embodiment, HUD4 is used as a means for displaying an image superimposed on the landscape in front of the vehicle, but other means may be used. For example, a window shield display (WSD) that displays an image on the
更に、後述のフロントカメラ11で撮像した車両前方の風景を車内の液晶ディスプレイに表示し、同一の液晶ディスプレイ内において表示された風景に重畳する画像を表示することも可能である。その場合においても液晶ディスプレイに表示された画像は、HUD4と同様に車両前方の風景に重畳する画像となる。
Further, it is also possible to display the landscape in front of the vehicle captured by the
また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ11が設置される。フロントカメラ11は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ11により撮像された撮像画像に対して画像処理が行われることによって、フロントウィンドウ8越しに乗員9に視認される前方環境(即ち虚像10が重畳される環境)の状況等が検出される。尚、フロントカメラ11の代わりにミリ波レーダ等のセンサを用いても良い。
Further, the
また、車両のインストルメントパネルの上面には車内カメラ12が設置される。車内カメラ12は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。そして、運転席に座った乗員9の顔を撮像する。そして、車内カメラ12により撮像された撮像画像に対して画像処理が行われることによって、乗員9の目の位置(視線開始点)や視線方向を検出する。
In addition, an in-
次に、上記重畳画像表示装置1を構成するナビゲーション装置3の概略構成について図2を用いて説明する。図2は本実施形態に係るナビゲーション装置3を示したブロック図である。
Next, a schematic configuration of the navigation device 3 constituting the superimposed
図2に示すように本実施形態に係るナビゲーション装置3は、ナビゲーション装置3が搭載された車両2の現在位置を検出する現在位置検出部13と、各種のデータが記録されたデータ記録部14と、入力された情報に基づいて、各種の演算処理を行うナビゲーションECU15と、ユーザからの操作を受け付ける操作部16と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ17と、経路案内に関する音声ガイダンスを出力するスピーカ18と、記憶媒体であるDVDを読み取るDVDドライブ19と、VICS(登録商標:Vehicle Information and Communication System)センタ等の情報センタとの間で通信を行う通信モジュール20と、を有する。また、ナビゲーション装置3はCAN等の車載ネットワークを介して、前述したHUD4、フロントカメラ11及び車内カメラ12等が接続されている。
As shown in FIG. 2, the navigation device 3 according to the present embodiment includes a current
以下に、ナビゲーション装置3が有する各構成要素について順に説明する。
現在位置検出部13は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU15に出力する。そして、ナビゲーションECU15は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置3が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置3が備える構成としても良い。
Hereinafter, each component of the navigation device 3 will be described in order.
The current
また、データ記録部14は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された地図情報DB31や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、データ記録部14はハードディスクの代わりにフラッシュメモリやメモリーカードやCDやDVD等の光ディスクを有していても良い。また、地図情報DB31は外部のサーバに格納させ、ナビゲーション装置3が通信により取得する構成としても良い。
Further, the
ここで、地図情報DB31は、2次元地図情報33と3次元地図情報34とがそれぞれ記憶される。2次元地図情報33は、一般的なナビゲーション装置3において用いられる地図情報であり、例えば、道路(リンク)に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等を含む。
Here, the
一方、3次元地図情報34は、平面だけではなく高さ情報についても有し、3次元で地図を表現する為の地図情報である。特に本実施形態では3次元で道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等を表現する為の地図情報とする。尚、3次元地図情報34としては上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板以外の情報についても含めても良い。例えば、街路樹や路面標示等についても3次元で表現する為の情報を含めても良い。また、3次元地図情報34としては3次元空間上に上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の各オブジェクトを配置した地図そのものを記憶しても良いし、3次元で地図を表現する為に必要な情報(道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の3次元の座標データなど)を記憶しても良い。3次元で地図を表現する為に必要な情報が格納されている場合には、ナビゲーション装置3は、必要なタイミングで3次元地図情報34として記憶された情報を用いて、対象エリアを3次元で表現した地図を生成する。
On the other hand, the three-
そして、ナビゲーション装置3は、液晶ディスプレイ17における地図画像の表示、案内経路の探索等の一般的な機能については2次元地図情報33を用いて行う。また、後述のように案内画像の表示に係る処理については2次元地図情報33に加えて3次元地図情報34についても用いて行う。
Then, the navigation device 3 uses the two-
一方、ナビゲーションECU(エレクトロニック・コントロール・ユニット)15は、ナビゲーション装置3の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのCPU41、並びにCPU41が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAM42、制御用のプログラムのほか、後述の走行支援処理プログラム(図3)等が記録されたROM43、ROM43から読み出したプログラムを記憶するフラッシュメモリ44等の内部記憶装置を備えている。尚、ナビゲーションECU15は、処理アルゴリズムとしての各種手段を有する。例えば、撮像画像取得手段は、車両前方の風景を撮像した撮像画像を取得する。地図情報取得手段は、3次元地図情報を取得する。照合手段は、撮像画像と3次元地図情報を照合する。画像配置手段は、照合手段の照合結果に基づいて、3次元地図情報内における案内分岐点を退出した後の車両が進行する進行路に案内画像を配置する。仮想体配置手段は、照合手段の照合結果に基づいて、3次元地図情報内における動体物が存在する位置に動体物の仮想体を配置する。形状取得手段は、3次元地図情報内における車両の位置から案内画像を視認した場合の案内画像の形状の内、仮想体と重ならない部分を取得する。
On the other hand, the navigation ECU (electronic control unit) 15 is an electronic control unit that controls the entire navigation device 3, a
操作部16は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ(図示せず)を有する。そして、ナビゲーションECU15は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部16は液晶ディスプレイ17の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。
The
また、液晶ディスプレイ17には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、本実施形態では情報の表示手段としてHUD4を備えているので、上記地図画像等の表示をHUD4で行う構成とすれば液晶ディスプレイ17は省略しても良い。
In addition, the
また、スピーカ18は、ナビゲーションECU15からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。
Further, the
また、DVDドライブ19は、DVDやCD等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報DB31の更新等が行われる。尚、DVDドライブ19に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。
Further, the
また、通信モジュール20は、交通情報センタ、例えば、VICSセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やDCMが該当する。
Further, the
続いて、前記構成を有する重畳画像表示装置1の内、特にナビゲーション装置3において実行する走行支援処理プログラムについて図3に基づき説明する。図3は本実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のACC電源(accessory power supply)がONされた後に実行され、HUD4を用いて車両2の乗員9に案内分岐点における車両の進行方向の案内を行うプログラムである。尚、以下の図3にフローチャートで示されるプログラムは、ナビゲーション装置3が備えているRAM42やROM43に記憶されており、CPU41により実行される。
Subsequently, among the superimposed
尚、「案内分岐点」とは、ナビゲーション装置3において設定されている案内経路に沿った車両の走行案内を行う場合において、車両の進行方向を案内する必要がある分岐点であり、例えば十字路、T字路、Y字路などの交差点が該当する。但し、案内分岐点は、2つの道路が交わる交差点に限らず、例えば一つの道路が複数の道路に分岐する分岐部分でも良い。 The "guidance branch point" is a branch point where it is necessary to guide the traveling direction of the vehicle when the vehicle is guided along the guidance route set in the navigation device 3, for example, a crossroads. This applies to intersections such as T-junctions and Y-junctions. However, the guidance branch point is not limited to the intersection where two roads intersect, and may be, for example, a branch portion where one road branches into a plurality of roads.
先ず、走行支援処理プログラムでは、ステップ(以下、Sと略記する)1においてCPU41は、車両2の進行方向前方の所定距離(例えば700m)以内に案内分岐点が存在するか否かを判定する。具体的には、CPU41は、ナビゲーション装置3において現在設定されている案内経路と、地図情報DB31に格納された地図情報と、現在位置検出部13に基づいて検出した車両2の現在位置とに基づいて判定する。尚、案内経路は、例えば走行開始時等においてユーザが目的地を設定した場合に、公知のダイクストラ法を用いた経路探索処理により決定される。
First, in the travel support processing program, in step 1 (hereinafter abbreviated as S) 1, the
また、前記S1において車両2の進行方向前方の所定距離に案内分岐点が存在するか否かを判定する手段は、上記方法に限られない。例えば、CPU41は、フロントカメラ11で撮像された撮像画像と3次元地図情報34とを照合することによって、3次元地図情報34内における車両の現在位置を特定し、進行方向前方に案内分岐点が存在するか否かを判定してもよい。
Further, the means for determining whether or not the guide branch point exists at a predetermined distance ahead of the traveling direction of the vehicle 2 in S1 is not limited to the above method. For example, the
そして、車両2の進行方向前方の所定距離に案内分岐点が存在すると判定された場合(S1:YES)には、S2へと移行する。それに対して、車両2の進行方向前方の所定距離に案内分岐点が存在しないと判定された場合(S1:NO)には、案内分岐点が存在すると判定されるまで待機する。この場合、CPU41は、例えば予め設定された時間だけ間を空けてS1の処理を繰り返し実行する。
Then, when it is determined that the guide branch point exists at a predetermined distance ahead of the traveling direction of the vehicle 2 (S1: YES), the process proceeds to S2. On the other hand, when it is determined that the guide branch point does not exist at a predetermined distance ahead of the traveling direction of the vehicle 2 (S1: NO), the vehicle waits until it is determined that the guide branch point exists. In this case, the
S2においてCPU41は、フロントカメラ11によって車両前方の風景を撮像した撮像画像を取得する。更に、CPU41は、地図情報DB31から車両の現在位置周辺の3次元地図情報34を読み出す。尚、3次元地図情報34には、3次元で地図を表現する為に必要な情報(道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の3次元の座標データなど)が記憶される。
In S2, the
次に、S3においてCPU41は、前記S2で読み出した3次元地図情報34に基づいて、案内分岐点付近を示す3次元立体地図(3次元で建物や道路等を表現した地図)を生成する。具体的には、以下の処理を実行することにより3次元立体地図を生成する。
Next, in S3, the
先ず、CPU41は、3次元地図情報34から3次元空間上に道路、建築物、道路標識、看板等をモデリングしたオブジェクト(形状データ)を取得する。尚、CPU41は、予めモデリングしてDBに格納しておいたオブジェクトの内、該当するオブジェクトを取得する構成としても良いし、S3においてモデリングを実施してオブジェクトを新たに作成する構成としても良い。モデリングを実施する場合には、3次元地図情報34から道路や案内分岐点周辺にある構造物(建築物、道路標識、看板等)の形状や位置を特定する情報を取得し、取得した情報に基づいてモデリング処理を行う。
First, the
ここで、モデリングとは3次元空間上においてモデル(物体)の形状を作成する処理であり、より具体的には各頂点の座標の決定や、境界線、面を表現する方程式のパラメータの決定などを行う。尚、モデリングについては公知の技術であるので詳細は省略する。そして、モデリングされたオブジェクト(形状データ)は、用途に応じて辺のみ表示する「ワイヤーフレームモデル」、面を表示する「サーフィスモデル」等の形で表現される。そして各オブジェクトが形成された3次元空間を3次元立体地図とする。 Here, modeling is a process of creating the shape of a model (object) in a three-dimensional space, and more specifically, determining the coordinates of each vertex, determining the boundary line, and determining the parameters of the equation expressing the surface. I do. Since modeling is a known technique, details will be omitted. Then, the modeled object (shape data) is expressed in the form of a "wireframe model" that displays only the sides, a "surface model" that displays the faces, and the like, depending on the intended use. Then, the three-dimensional space in which each object is formed is made into a three-dimensional three-dimensional map.
また、前記S3でCPU41は、現在位置検出部13で検出されたパラメータに基づいて、生成された3次元立体地図における自車両の現在位置及び方位についても特定する。尚、後述の3次元立体地図と撮像画像との照合の処理を容易化する為に、自車両の現在位置は特に自車両に設置されたフロントカメラ11の設置位置とし、自車両の方位はフロントカメラ11の光軸方向とするのが望ましい。
Further, in S3, the
ここで、図4は前記S3で生成される3次元立体地図101の一例を示した図である。図4に示すように3次元立体地図101には、3次元空間に対して、道路や構造物(建築物、道路標識、看板等)を示す各オブジェクト102が配置される。特に車両の進行方向前方にある案内分岐点103周辺の道路や構造物を示す各オブジェクト102が配置される。また、3次元立体地図101には自車両の現在位置と方位を示す自車位置マーク104についても配置される。
Here, FIG. 4 is a diagram showing an example of the three-dimensional three-
続いてS4においてCPU41は、前記S2で取得した撮像画像と前記S3で生成された3次元立体地図とを照合し、両者の間にズレが生じていないかを判定する。具体的にはCPU41は、3次元立体地図に設定されている自車両の現在位置(より具体的にはフロントカメラ11の設置位置であり高さも考慮する)を視点とし、自車両の方位を視線方向に設定し、設定された視点及び視線方向によって3次元立体地図を視認した際の像と、撮像画像とを照合する。尚、3次元立体地図には、歩行者や他車両等の動体物、樹木などの一部の固定物については含まれないので、それらに起因するズレは基本的には無視して判定する。また、ズレが生じていないとは両者が完全に一致する場合のみに限らず、ある程度の許容範囲内のズレが生じている場合においてもズレが生じていないとみなすのが望ましい。
Subsequently, in S4, the
そして、前記S2で取得した撮像画像と前記S3で生成された3次元立体地図との間にズレが生じていないと判定された場合(S4:YES)には、S6へと移行する。それに対して、前記S2で取得した撮像画像と前記S3で生成された3次元立体地図との間にズレが生じていると判定された場合(S4:NO)には、S5へと移行する。 Then, when it is determined that there is no deviation between the captured image acquired in S2 and the three-dimensional three-dimensional map generated in S3 (S4: YES), the process proceeds to S6. On the other hand, when it is determined that there is a discrepancy between the captured image acquired in S2 and the three-dimensional stereoscopic map generated in S3 (S4: NO), the process proceeds to S5.
S5においてCPU41は、前記S3で生成された3次元立体地図について、前記S2で取得した撮像画像と間のズレが小さくなるように3次元立体地図内に設定された自車両の現在位置及び方位を補正する。尚、3次元立体地図における自車両の現在位置及び方位は固定してオブジェクト側を補正しても良い。それによって、3次元立体地図内における正確な自車両の現在位置及び方位(より具体的にはフロントカメラ11の設置位置と光軸方向)を特定することが可能となる。その後、S4へと戻る。
In S5, the
一方、S6においてCPU41は、案内分岐点での案内を行う案内画像を、前記S3で生成された3次元立体地図に対して配置する。尚、本実施形態では案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する矢印の画像を、案内画像とする。そして、案内分岐点を退出した後に車両が進行する進行路(例えば案内分岐点で左折する場合には、案内分岐点の左側に接続される道路)の路面に対して所定距離(例えば1m)上方に離間した位置に鉛直方向に立てた状態で案内画像を配置する。
On the other hand, in S6, the
次に、S7においてCPU41は、案内分岐点の周辺に位置する動体物(移動いている物体)を検出する。尚、検出対象となる動体物は例えば歩行者、自転車、車両であり、フロントカメラ11で撮像した撮像画像に対して画像処理を行うことにより検出される。また、CPU41は、撮像画像に基づいて検出された動体物の位置、種類、形状、その後の進行路(進行方向)についても特定する。
Next, in S7, the
続いて、S8においてCPU41は、案内分岐点の周辺で検出された動体物のモデル(仮想体)を、前記S3で生成された3次元立体地図に対して検出された位置に配置する。複数の動体物が検出された場合には、検出された全ての動体物を3次元立体地図に対して配置する。尚、3次元立体地図に対して配置される仮想体は実際の動体物の形状を模した形状とする。例えば歩行者であれば人の形状を有する仮想体として、車両であれば車両の形状を有する仮想体とする。サイズについても実際の動体物のサイズと対応させる。但し、動体物が不定形である(形状や種類を特定できない)場合には、例外的に仮想体は該動体物の全てを含む最小の直方体とする。
Subsequently, in S8, the
ここで、図5は3次元立体地図101に対して案内画像105と動体物の仮想体106、107をそれぞれ配置した図である。尚、図5に示す例では仮想体106は歩行者を示し、仮想体106は自転車を示している。即ち、案内分岐点103の周辺には動体物として歩行者と自転車がそれぞれ存在することを示している。
Here, FIG. 5 is a diagram in which the
その後、S9においてCPU41は、3次元立体地図に対して仮想体が配置されている動体物の内、“自車両が進行路に沿って進行する場合に影響のある動体物”があるか否かを判定する。具体的には、車両の進行路と今後の進行路が重複する動体物については、“自車両が進行路に沿って進行する場合に影響のある動体物”であると判定する。
After that, in S9, the
例えば、図6に示すように仮想体106でモデリングされた歩行者の進行路(進行方向)が、案内分岐点の左側に接続する道路を横断する進行路である場合には、歩行者の今後の進行路と自車両の進行路108とが重複することとなる。従って、仮想体106でモデリングされた歩行者は、“自車両が進行路に沿って進行する場合に影響のある動体物”であると判定される。一方で、仮想体107でモデリングされた自転車の進行路(進行方向)は、案内分岐点の左側に接続する道路を横断せずに案内分岐点103から離れる方向へと移動する進行路であるので、自転車の今後の進行路と自車両の進行路108とは重複しない。従って、仮想体107でモデリングされた自転車は、“自車両が進行路に沿って進行する場合に影響のある動体物”でないと判定される。
For example, if the path (direction of travel) of the pedestrian modeled by the
そして、3次元立体地図に対して仮想体が配置されている動体物の内、“自車両が進行路に沿って進行する場合に影響のある動体物”があると判定された場合(S9:YES)には、S10へと移行する。一方で、3次元立体地図に対して仮想体が配置されている動体物が、いずれも“自車両が進行路に沿って進行する場合に影響のある動体物”ではないと判定された場合(S9:NO)には、S11へと移行する。 Then, when it is determined that there is a "moving object that has an influence when the own vehicle travels along the traveling path" among the moving objects in which the virtual body is arranged with respect to the three-dimensional three-dimensional map (S9: YES), the process proceeds to S10. On the other hand, when it is determined that none of the moving objects in which the virtual body is arranged with respect to the three-dimensional three-dimensional map is "a moving object having an influence when the own vehicle travels along the traveling path" ( S9: NO) shifts to S11.
S10においてCPU41は、車両が進行路に沿って進行する場合に影響があると判定された動体物(以下、影響動体物という)と重ならない態様で案内画像を表示する為に、3次元立体地図に配置された案内画像の補正を行う。具体的には、先ずCPU41は動体物や案内画像が配置された3次元立体地図を、車両(乗員)の視点から車両の進行方向に視認した画像(以下、視認画像という)を取得する。特に車両の視点は車両の乗員の目の位置とする。尚、乗員の目の位置については車内カメラ12によって検出することが可能であり、前記S4での撮像画像と3次元立体地図の照合の結果、最終的に特定された車両の現在位置及び方位と、車内カメラ12の検出結果を組み合わせることによって、3次元立体地図における乗員の目の位置を特定する。そして、視認画像は、3次元立体地図に配置された各オブジェクト(道路、建築物、道路標識、看板、動体物の仮想体、案内画像等)を車両(乗員)の視点から車両の進行方向に視認した際に視認できる像であり、車両の乗員の視界に相当する。尚、視認画像については車両(乗員)の視点から視認した画像であれば、必ずしも車両の進行方向に視認した画像である必要は無い。但し、少なくとも視認画像に案内画像が含まれる必要はある。そして、上記のように取得された視認画像において図5に示すように影響動体物の仮想体106と案内画像が重複している場合に、以下の(1)、(2)のいずれかの補正を行う。
In S10, the
(1)影響動体物と重なる領域に虚像が表示されないように、3次元立体地図に配置された案内画像を、影響動体物の仮想体と重なる領域を欠いた案内画像へと補正する。例えば、図7に示すように視認画像において案内画像105と影響動体物の仮想体106とが重なる領域を欠いた矢印とする。但し、特に矢印の先端において影響動体物の仮想体106と重なる場合については、矢印の先端を伸ばす或いは縮めることにより矢印の先端については表示する。
(2)影響動体物と重なる領域に虚像が表示されないように、3次元立体地図に配置された案内画像を、影響動体物の仮想体を迂回する形状の案内画像へと補正する。例えば、図8に示すように視認画像において案内画像105を影響動体物の仮想体106と重ならないように湾曲した矢印とする。
(1) The guide image arranged on the three-dimensional three-dimensional map is corrected to a guide image lacking the area overlapping with the virtual body of the affected moving object so that the virtual image is not displayed in the area overlapping the affected moving object. For example, as shown in FIG. 7, the arrow is a visual image lacking a region where the
(2) The guide image arranged on the three-dimensional three-dimensional map is corrected to a guide image having a shape that bypasses the virtual body of the affected moving object so that the virtual image is not displayed in the area overlapping the affected moving object. For example, as shown in FIG. 8, in the visual recognition image, the
尚、本実施形態では特に自車両の進行路の奥側(即ち案内画像105よりも奥側)に位置する影響対象物のみを対象として上記S10の処理を行う。自車両の進行路の手前側(即ち案内画像105よりも手前側)に位置する影響対象物については、S10の補正を行わなかったとしても後述のS11の処理において案内画像の形状を決定する際に、影響対象物と重複する部分は除かれた案内画像となるからである。 In this embodiment, the process of S10 is performed only for the affected object located on the back side of the traveling path of the own vehicle (that is, on the back side of the guide image 105). For the affected object located on the front side of the traveling path of the own vehicle (that is, on the front side of the guide image 105), when the shape of the guide image is determined in the process of S11 described later even if the correction of S10 is not performed. This is because the guide image is obtained by removing the part that overlaps with the affected object.
次に、S11においてCPU41は、視認画像に含まれる案内画像の形状(前記S10の補正を行った場合には補正後の形状)を、HUD4により表示対象とする案内画像の形状として記憶する。尚、視認画像に含まれる案内画像の形状は、3次元立体地図に配置された各オブジェクト(道路、建築物、道路標識、看板、動体物の仮想体、案内画像等)を車両(乗員)の視点から視認した際に視認できる案内画像の形状である。ここで、前記S11で記憶される案内画像の形状は、進行路の手前側に位置する各オブジェクト(例えば道路標識、建築物、前記S28で配置された動体物の仮想体など)と重なって視認される場合には、重なる部分を除いた形状となる。例えば案内画像の形状が矢印の形状であれば、矢印の内、各オブジェクトと重なって視認される領域について除かれた形状となる。但し、特に矢印の先端においてオブジェクトと重なる場合については、矢印の先端を伸ばす或いは縮めることによって矢印の先端がオブジェクトと重ならないようにし、少なくとも矢印の先端については含む形状とする。一方で、案内画像が進行路の奥側に位置する各オブジェクトと重なって視認される場合には、重なる部分についても含む形状となる。
Next, in S11, the
更に、S12においてCPU41は、3次元立体地図において配置された案内画像の位置を取得する。具体的には案内分岐点を退出した後に車両が進行する進行路の路面に対して所定距離(例えば1m)上方に離間した位置となる。
Further, in S12, the
その後、S13においてCPU41は、後述の表示範囲決定処理を行う。表示範囲決定処理では、HUD4において案内画像を表示する範囲(フロントウィンドウ8に対して案内画像を投影する範囲、或いはHUD4の液晶ディスプレイ6に対して案内画像を表示する範囲)を決定する。
After that, in S13, the
続いて、S14においてCPU41は、HUD4に対して制御信号を送信し、HUD4の液晶ディスプレイ6に対して前記S11で記憶された形状の案内画像を、前記S13で決定された表示範囲に表示する。その結果、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像として特に矢印の虚像が、車両の乗員から車両前方の風景に重畳して視認される。
Subsequently, in S14, the
ここで、図9は特に案内分岐点を退出した後の車両が進行する進行路の進行方向が左方向(即ち左折)である場合に、車両の乗員から視認される案内画像の虚像を示した図である。
図9に示すように、車両のフロントウィンドウ8越しには、案内分岐点103を左折した後の進行路の路面に対して上方に離間した位置に重畳して、左方へ進むことを示す矢印の案内画像105が虚像として表示されている。また、案内画像105の虚像は、進行路の手前側に位置する周辺対象物である道路標識112と重なる領域については除いて表示される。従って、案内画像105は、道路標識112の奥側(後側)を通るように視認される。一方、進行路の奥側に立つ道路標識113に対しては重なって表示される。従って、案内画像105は、道路標識113の手前側を通るように視認される。その結果、乗員9は、道路標識112、113の位置と、案内画像105の虚像の位置との前後関係を認識することができ、進むべき進行路を正確に把握できる。尚、図9に示す例では特に案内画像105の虚像と重なる周辺対象物が道路標識の場合であるが、建築物や動体物(歩行者や他車両)の場合についても同様にして表示される。
更に、前述したように案内分岐点103の周辺に影響動体物110がある場合については、影響動体物110と重なる領域に虚像が表示されないように、該当する領域を欠いた、或いは影響動体物110を迂回する形状の案内画像105となる。その結果、乗員9は、案内画像105によって影響動体物110の視認性が阻害されることなく、影響動体物110について確実に視認することが可能となる。
Here, FIG. 9 shows a virtual image of the guidance image visually recognized by the occupants of the vehicle, especially when the traveling direction of the traveling path on which the vehicle travels after leaving the guidance branch point is the left direction (that is, a left turn). It is a figure.
As shown in FIG. 9, an arrow indicating that the vehicle goes to the left through the
Further, as described above, when the affected moving
次に、前記S13において実行される表示範囲決定処理のサブ処理について図10に基づき説明する。図10は表示範囲決定処理のサブ処理プログラムのフローチャートである。 Next, a sub-process of the display range determination process executed in S13 will be described with reference to FIG. FIG. 10 is a flowchart of a sub-processing program for display range determination processing.
先ず、S21においてCPU41は、車両の乗員の目の位置を車内カメラ12で撮像した撮像画像に基づいて検出する。尚、検出された目の位置は3次元の位置座標で特定される。
First, in S21, the
次に、S22においてCPU41は、HUD4の表示がONになっているか否かを判定する。尚、HUD4の表示のON又はOFFの切り替えは車両の乗員の操作によって行うことが可能である。また、周辺状況や車両の状態に基づいてON又はOFFを自動で切り替えても良い。
Next, in S22, the
そして、HUD4の表示がONになっていると判定された場合(S22:YES)には、S23へと移行する。一方、HUD4の表示がOFFになっていると判定された場合(S22:NO)には、HUD4による案内画像の虚像の表示を行うことなく終了する。 Then, when it is determined that the display of HUD4 is ON (S22: YES), the process proceeds to S23. On the other hand, when it is determined that the display of the HUD 4 is OFF (S22: NO), the process ends without displaying the virtual image of the guide image by the HUD 4.
S23においてCPU41は、HUD4によって画像を投影する対象となるフロントウィンドウ8の位置座標を取得する。尚、フロントウィンドウ8の位置座標は3次元の位置座標で特定される。
In S23, the
次に、S24においてCPU41は、前記S12で取得された3次元立体地図において配置された案内画像の位置を特定する座標を、案内画像の位置座標として取得する。尚、案内画像の位置座標は同じく3次元の位置座標で特定される。
Next, in S24, the
続いて、S25においてCPU41は、前記S21、S23及びS24で取得された各位置座標に基づいて、フロントウィンドウ8における案内画像の投影範囲を決定する。更に、決定された投影範囲からHUD4の内部の液晶ディスプレイ6における案内画像の表示範囲についても決定する。その後、S14へと移行し、決定された投影範囲や表示範囲に基づいてHUD4を用いた虚像の表示を行う。尚、HUDの表示がオフになるまで繰り返しS11〜S14の処理を行うこととなる。
Subsequently, in S25, the
以上詳細に説明した通り、本実施形態に係る重畳画像表示装置1及び重畳画像表示装置1で実行されるコンピュータプログラムによれば、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、車両前方の風景に重畳して視認させる場合に、案内分岐点の周囲に存在する動体物と重ならない態様で案内画像を表示する(S10〜S14)ので、案内画像によって車両が進むべき進行路を正確に車両の乗員に案内可能とする一方で、車両の乗員に視認させるべき動体物に対する視認性を低下させることがない。
As described in detail above, according to the superimposed
尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、上記本実施形態では、HUD4によって車両2のフロントウィンドウ8の前方に虚像を生成する構成としているが、フロントウィンドウ8以外のウィンドウの前方に虚像を生成する構成としても良い。また、HUD4により映像を反射させる対象はフロントウィンドウ8自身ではなくフロントウィンドウ8の周辺に設置されたバイザー(コンバイナー)であっても良い。
It should be noted that the present invention is not limited to the above embodiment, and it goes without saying that various improvements and modifications can be made without departing from the gist of the present invention.
For example, in the present embodiment, the HUD 4 is configured to generate a virtual image in front of the
また、本実施形態では、周辺環境に重畳する画像を表示する手段としてHUD4を用いているが、フロントウィンドウ8に対して画像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。或いはナビゲーション装置3の液晶ディスプレイ17に表示した実景に、案内画像を重畳させる表示装置でもよい。
Further, in the present embodiment, the HUD 4 is used as a means for displaying an image superimposed on the surrounding environment, but a window shield display (WSD) for displaying an image on the
また、本実施形態では、走行支援処理プログラム(図3)の処理をナビゲーション装置3のナビゲーションECU15が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、HUD4の制御部、車両制御ECU、その他の車載器が実行する構成としても良い。尚、HUD4の制御部が実行する場合には、本発明に係る重畳画像表示装置はHUD4のみで構成することも可能である。
Further, in the present embodiment, the processing of the driving support processing program (FIG. 3) is executed by the
また、本発明に係る重畳画像表示装置を具体化した実施例について上記に説明したが、表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。 Further, although the embodiment in which the superimposed image display device according to the present invention is embodied has been described above, the display device can also have the following configuration, and in that case, the following effects are obtained.
例えば、第1の構成は以下のとおりである。
車両(2)に搭載され、案内分岐点(103)を退出した後の車両が進行する進行路(108)の進行方向を案内する案内画像(105)を、前記車両前方の風景に重畳して視認させる重畳画像表示装置(1)であって、前記案内分岐点の周囲に存在する動体物と重ならない態様で前記案内画像を表示する案内画像表示手段(41)を有する。
上記構成を有する重畳画像表示装置によれば、案内分岐点を退出した後の進行方向を案内する案内画像が動体物と重ならないように表示されるので、案内画像によって車両が進むべき進行路を正確に車両の乗員に案内可能とする一方で、車両の乗員に視認させるべき動体物に対する視認性を低下させることがない。
For example, the first configuration is as follows.
A guide image (105) mounted on the vehicle (2) and guiding the traveling direction of the traveling path (108) on which the vehicle travels after leaving the guidance branch point (103) is superimposed on the landscape in front of the vehicle. It is a superimposed image display device (1) for visually recognizing, and has a guide image display means (41) for displaying the guide image in a manner that does not overlap with a moving object existing around the guide branch point.
According to the superimposed image display device having the above configuration, the guide image that guides the traveling direction after leaving the guide branch point is displayed so as not to overlap with the moving object, so that the guide image indicates the course on which the vehicle should travel. While it is possible to accurately guide the vehicle occupants, it does not reduce the visibility of moving objects that should be visually recognized by the vehicle occupants.
また、第2の構成は以下のとおりである。
前記案内画像表示手段(41)は、車両(2)が進行路(108)に沿って進行する場合に影響のある前記動体物(110)と重ならない態様で前記案内画像(105)を表示する。
上記構成を有する重畳画像表示装置によれば、特に車両の走行に伴って乗員に視認させる必要のある動体物に対する視認性を低下させることがない。
The second configuration is as follows.
The guide image display means (41) displays the guide image (105) in a manner that does not overlap with the moving object (110) that has an influence when the vehicle (2) travels along the traveling path (108). ..
According to the superimposed image display device having the above configuration, the visibility of a moving object that needs to be visually recognized by the occupant as the vehicle travels is not deteriorated.
また、第3の構成は以下のとおりである。
前記動体物(110)の今後の進行路を予測する進行路予測手段(41)を有し、前記案内画像表示手段(41)は、車両(2)の進行路(108)と今後の進行路が重複する前記動体物と重ならない態様で前記案内画像(105)を表示する。
上記構成を有する重畳画像表示装置によれば、特に今後に車両と進行路が重複する動体物に対する視認性を低下させることがない。
The third configuration is as follows.
The guide image display means (41) has a traveling path predicting means (41) for predicting a future traveling path of the moving object (110), and the guiding image display means (41) has a traveling path (108) of the vehicle (2) and a future traveling path. The guide image (105) is displayed in such a manner that it does not overlap with the overlapping moving object.
According to the superimposed image display device having the above configuration, the visibility of a moving object whose traveling path overlaps with that of the vehicle will not be deteriorated in the future.
また、第4の構成は以下のとおりである。
前記案内画像表示手段(41)は、前記動体物(110)と重なる領域を前記案内画像(105)から除いて表示する。
上記構成を有する重畳画像表示装置によれば、動体物と重なる領域を非表示とした案内画像を表示するので、案内画像によって車両が進むべき進行路を正確に車両の乗員に案内可能とする一方で、車両の乗員に視認させるべき動体物に対する視認性を低下させることがない。
The fourth configuration is as follows.
The guide image display means (41) displays a region overlapping the moving object (110) by removing it from the guide image (105).
According to the superimposed image display device having the above configuration, since the guidance image in which the area overlapping with the moving object is hidden is displayed, it is possible to accurately guide the vehicle occupant on the course on which the vehicle should go by the guidance image. Therefore, the visibility of moving objects that should be visually recognized by the occupants of the vehicle is not reduced.
また、第5の構成は以下のとおりである。
前記案内画像表示手段(41)は、前記動体物(110)を迂回する前記案内画像を表示する。
上記構成を有する重畳画像表示装置によれば、動体物を迂回した案内画像を表示するので、案内画像によって車両が進むべき進行路を正確に車両の乗員に案内可能とする一方で、車両の乗員に視認させるべき動体物に対する視認性を低下させることがない。
The fifth configuration is as follows.
The guide image display means (41) displays the guide image that bypasses the moving object (110).
According to the superimposed image display device having the above configuration, since the guidance image bypassing the moving object is displayed, the guidance image can accurately guide the vehicle occupant on the course on which the vehicle should go, while the vehicle occupant. It does not reduce the visibility of moving objects that should be visually recognized.
また、第6の構成は以下のとおりである。
前記車両(2)前方の風景を撮像した撮像画像を取得する撮像画像取得手段(41)と、3次元地図情報(34)を取得する地図情報取得手段(41)と、前記撮像画像と3次元地図情報を照合する照合手段(41)と、前記照合手段の照合結果に基づいて、3次元地図情報内における案内分岐点を退出した後の車両が進行する進行路に前記案内画像(105)を配置する画像配置手段(41)と、前記照合手段の照合結果に基づいて、3次元地図情報内における前記動体物が存在する位置に前記動体物の仮想体(106、107)を配置する仮想体配置手段(41)と、3次元地図情報内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状を取得する形状取得手段(41)と、を有し、前記案内画像表示手段は、前記形状取得手段によって取得された形状の前記案内画像を表示する。
上記構成を有する重畳画像表示装置によれば、車両前方の風景を撮像した撮像画像と3次元地図情報と動体物の仮想体とを用いることによって、案内分岐点の周囲に存在する動体物と重ならない態様となる案内画像を容易に生成することが可能となる。
The sixth configuration is as follows.
The captured image acquisition means (41) for acquiring an captured image of the landscape in front of the vehicle (2), the map information acquisition means (41) for acquiring three-dimensional map information (34), and the captured image and three dimensions. The guide image (105) is attached to the collation means (41) for collating the map information and the traveling path on which the vehicle travels after leaving the guidance branch point in the three-dimensional map information based on the collation result of the collation means. Based on the collation result of the image arranging means (41) to be arranged and the collation result, the virtual body (106, 107) of the moving object is arranged at the position where the moving object exists in the three-dimensional map information. The guide image display means has an arrangement means (41) and a shape acquisition means (41) for acquiring the shape of the guide image when the guide image is visually recognized from the position of the vehicle in the three-dimensional map information. Displays the guide image of the shape acquired by the shape acquisition means.
According to the superimposed image display device having the above configuration, by using the captured image of the landscape in front of the vehicle, the three-dimensional map information, and the virtual body of the moving object, the weight of the moving object existing around the guide branch point is increased. It is possible to easily generate a guide image in a mode that does not become.
また、第7の構成は以下のとおりである。
前記動体物(110)が不定形である場合には、前記仮想体(106、107)は前記動体物の全てを含む最小の直方体とする。
上記構成を有する重畳画像表示装置によれば、動体物の形状が特定できない場合であっても、案内分岐点を退出した後の進行方向を案内する案内画像が動体物と重ならないように表示することが可能となる。
The seventh configuration is as follows.
When the moving object (110) is amorphous, the virtual body (106, 107) is the smallest rectangular parallelepiped including all of the moving objects.
According to the superimposed image display device having the above configuration, even if the shape of the moving object cannot be specified, the guiding image that guides the traveling direction after leaving the guiding branch point is displayed so as not to overlap with the moving object. It becomes possible.
1 重畳画像表示装置
2 車両
3 ナビゲーション装置
4 HUD
8 フロントウィンドウ
9 乗員
41 CPU
42 RAM
43 ROM
103 案内分岐点
105 案内画像
106、107 動体物の仮想体
108 進行路
110 動体物
112,113 道路標識
1 Superimposed image display device 2 Vehicle 3 Navigation device 4 HUD
8
42 RAM
43 ROM
103
Claims (5)
前記車両前方の風景を撮像した撮像画像を取得する撮像画像取得手段と、
3次元地図情報を取得する地図情報取得手段と、
前記撮像画像と3次元地図情報を照合する照合手段と、
前記照合手段の照合結果に基づいて、3次元地図情報内における案内分岐点を退出した後の車両が進行する進行路に前記案内画像を配置する画像配置手段と、
前記照合手段の照合結果に基づいて、案内分岐点の周囲に存在する動体物について3次元地図情報内における前記動体物が存在する位置に前記動体物の仮想体を配置する仮想体配置手段と、
3次元地図情報内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状の内、前記仮想体と重ならない部分を取得する形状取得手段と、
前記形状取得手段によって取得された形状の前記案内画像を表示することにより、前記動体物と重ならない態様で前記案内画像を表示する案内画像表示手段と、を有する重畳画像表示装置。 It is a superimposed image display device that is mounted on a vehicle and superimposes and visually recognizes a guidance image that guides the traveling direction of the traveling path on which the vehicle travels after leaving the guidance branch point on the scenery in front of the vehicle.
An image capture image acquisition means for acquiring an image captured by capturing the scenery in front of the vehicle, and
Map information acquisition means for acquiring 3D map information,
A collation means for collating the captured image with the three-dimensional map information,
Based on the collation result of the collation means, the image arranging means for arranging the guide image on the traveling path of the vehicle after leaving the guide branch point in the three-dimensional map information.
Based on the collation result of the collation means, the virtual body arranging means for arranging the virtual body of the moving object at the position where the moving object exists in the three-dimensional map information for the moving object existing around the guide branch point.
A shape acquisition means for acquiring a portion of the shape of the guide image when the guide image is visually recognized from the position of the vehicle in the three-dimensional map information and which does not overlap with the virtual body.
Wherein by displaying the guidance image of the acquired shape by the shape acquiring unit, superimposed image display apparatus having a guide image display means for displaying the guide image in a manner that does not overlap with the body thereof.
前記動体物は、車両の進行路と今後の進行路が重複する動体物とする請求項2に記載の重畳画像表示装置。 It has a course prediction means for predicting the future course of the moving object, and has
The superimposed image display device according to claim 2, wherein the moving object is a moving object in which the traveling path of the vehicle and the traveling path in the future overlap.
前記車両前方の風景を撮像した撮像画像を取得する撮像画像取得手段と、
3次元地図情報を取得する地図情報取得手段と、
前記撮像画像と3次元地図情報を照合する照合手段と、
前記照合手段の照合結果に基づいて、3次元地図情報内における案内分岐点を退出した後の車両が進行する進行路に前記案内画像を配置する画像配置手段と、
前記照合手段の照合結果に基づいて、案内分岐点の周囲に存在する動体物について3次元地図情報内における前記動体物が存在する位置に前記動体物の仮想体を配置する仮想体配置手段と、
3次元地図情報内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状の内、前記仮想体と重ならない部分を取得する形状取得手段と、
前記形状取得手段によって取得された形状の前記案内画像を表示することにより、前記動体物と重ならない態様で前記案内画像を表示する案内画像表示手段と、
して機能させる為のコンピュータプログラム。 A superimposed image display device mounted on the vehicle and superimposing a guidance image that guides the traveling direction of the traveling path of the vehicle after exiting the guidance branch point on the scenery in front of the vehicle for visual recognition.
An image capture image acquisition means for acquiring an image captured by capturing the scenery in front of the vehicle, and
Map information acquisition means for acquiring 3D map information,
A collation means for collating the captured image with the three-dimensional map information,
Based on the collation result of the collation means, the image arranging means for arranging the guide image on the traveling path of the vehicle after leaving the guide branch point in the three-dimensional map information.
Based on the collation result of the collation means, the virtual body arranging means for arranging the virtual body of the moving object at the position where the moving object exists in the three-dimensional map information for the moving object existing around the guide branch point.
A shape acquisition means for acquiring a portion of the shape of the guide image when the guide image is visually recognized from the position of the vehicle in the three-dimensional map information and which does not overlap with the virtual body.
A guide image display means for displaying the guide image in a manner that does not overlap with the moving object by displaying the guide image of the shape acquired by the shape acquisition means .
A computer program to make it work.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017222169A JP6984341B2 (en) | 2017-11-17 | 2017-11-17 | Superimposed image display device and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017222169A JP6984341B2 (en) | 2017-11-17 | 2017-11-17 | Superimposed image display device and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019095214A JP2019095214A (en) | 2019-06-20 |
JP6984341B2 true JP6984341B2 (en) | 2021-12-17 |
Family
ID=66971386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017222169A Active JP6984341B2 (en) | 2017-11-17 | 2017-11-17 | Superimposed image display device and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6984341B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4327062B2 (en) * | 2004-10-25 | 2009-09-09 | 三菱電機株式会社 | Navigation device |
JP4614005B2 (en) * | 2009-02-27 | 2011-01-19 | トヨタ自動車株式会社 | Moving locus generator |
JP2015152467A (en) * | 2014-02-17 | 2015-08-24 | パイオニア株式会社 | display control device, control method, program, and storage medium |
JP6361492B2 (en) * | 2014-12-19 | 2018-07-25 | アイシン・エィ・ダブリュ株式会社 | Virtual image display device |
JP6443677B2 (en) * | 2015-03-12 | 2018-12-26 | 日本精機株式会社 | Head mounted display device |
-
2017
- 2017-11-17 JP JP2017222169A patent/JP6984341B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019095214A (en) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6700623B2 (en) | Driving support device and computer program | |
US11535155B2 (en) | Superimposed-image display device and computer program | |
US11511627B2 (en) | Display device and computer program | |
JP7151073B2 (en) | Display device and computer program | |
JP6946963B2 (en) | Superimposed image display device and computer program | |
JP6805974B2 (en) | Driving support device and computer program | |
JP2011117842A (en) | Vehicle travel guide apparatus, vehicle travel guide method, and computer program | |
JP2008236711A (en) | Driving support method and driving support device | |
JP2021039085A (en) | Superimposed image display device, superimposed image drawing method, and computer program | |
JP2023012793A (en) | Superimposed image display device | |
JP2019056884A (en) | Superimposed image display device | |
JP7143728B2 (en) | Superimposed image display device and computer program | |
JP6984341B2 (en) | Superimposed image display device and computer program | |
JP6939147B2 (en) | Driving information guidance device and computer program | |
JP2019082382A (en) | Superposition picture display device | |
JP7484132B2 (en) | Superimposed image display device and computer program | |
JP2018173315A (en) | Display device | |
JP2022110828A (en) | Superimposed image display device | |
JP2020139802A (en) | Superimposed image display device and computer program | |
JP2021081232A (en) | Superimposed image display device and computer program | |
JP2023008462A (en) | Superimposed image display device | |
JP2021076415A (en) | Superimposed image display apparatus and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200603 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6984341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |