JP6448714B2 - Information display system - Google Patents

Information display system Download PDF

Info

Publication number
JP6448714B2
JP6448714B2 JP2017121045A JP2017121045A JP6448714B2 JP 6448714 B2 JP6448714 B2 JP 6448714B2 JP 2017121045 A JP2017121045 A JP 2017121045A JP 2017121045 A JP2017121045 A JP 2017121045A JP 6448714 B2 JP6448714 B2 JP 6448714B2
Authority
JP
Japan
Prior art keywords
virtual image
obstacle
information
risk
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017121045A
Other languages
Japanese (ja)
Other versions
JP2017186008A (en
Inventor
吉田 進
進 吉田
一洋 海崎
一洋 海崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2017121045A priority Critical patent/JP6448714B2/en
Publication of JP2017186008A publication Critical patent/JP2017186008A/en
Application granted granted Critical
Publication of JP6448714B2 publication Critical patent/JP6448714B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、自動車等の運転支援のための情報表示システム及び情報表示装置に関するものである。   The present invention relates to an information display system and an information display device for driving assistance of an automobile or the like.

自動車等の運転者に、運転に関わる補助情報を伝える運転支援の方法として、インストパネル(ダッシュボード)中央近傍に設置された数インチサイズのディスプレイに、経路情報等を表示するカーナビゲーションシステムを用いるのが一般的である。さらに、運転者の視線移動による安全性低下を回避するために、フロントウィンドウシールドガラス(以降フロントシールドと呼ぶ)あるいはフロントシールドに設置したハーフミラーの反射板(コンバイナと呼ぶ)をスクリーンとして、経路情報に加えてその他の運転補助、危険回避のための情報として所定のイメージ(虚像)を投影するヘッド・アップ・ディスプレイ(以降HUDと呼ぶ)を用いる方法が知られている。   A car navigation system that displays route information, etc. on a several inch display installed near the center of the instrument panel (dashboard) is used as a driving assistance method to convey driving assistance information to drivers such as automobiles. It is common. Furthermore, in order to avoid a decrease in safety due to the movement of the driver's line of sight, route information using a front window shield glass (hereinafter called the front shield) or a half mirror reflector (called a combiner) installed on the front shield as a screen. In addition to the above, there is known a method of using a head-up display (hereinafter referred to as HUD) that projects a predetermined image (virtual image) as information for driving assistance and danger avoidance.

上記運転補助あるいは危険回避のための情報を取得し、それらをHUDを用いて運転者に通知する従来技術として、例えば特許文献1に記載のものがある。当該公報では、自車外(主に前方)の障害物の距離と方向に関する情報をレーザーレーダー、ミリ波レーダー、ステレオカメラ等を用いて検出し、画像認識により障害物を判断する方法が記載されており、また「危険度設定手段により設定された危険度が、所定の範囲内である場合、前記ドライバーから見て、前記虚像が前記障害物を囲む軌道上を移動するように、前記虚像を表示するとともに、前記危険度に応じて前記虚像の表示方法を変化させる虚像制御手段と、」を備えることを特徴とする表示装置についての記載がある(請求項1等参照)。   As a conventional technique for acquiring information for driving assistance or danger avoidance and notifying the driver of the information using a HUD, for example, there is a technique described in Patent Document 1. The gazette describes a method of detecting information on the distance and direction of an obstacle outside the host vehicle (mainly forward) using a laser radar, a millimeter wave radar, a stereo camera, etc., and judging the obstacle by image recognition. And “when the risk set by the risk setting means is within a predetermined range, the virtual image is displayed so that the virtual image moves on a trajectory surrounding the obstacle when viewed from the driver. And a virtual image control means for changing the display method of the virtual image in accordance with the degree of risk.

また、特許文献2には、「虚像の表示距離を可変とすることで、運転者が焦点移動を行う時間を短縮でき、事故に対する高い予防安全性を有する車両用ヘッドアップディスプレイ装置を提供する。」ことを課題として、「光源と、光源からの光を2次元に走査する走査手段と、走査光を結像するスクリーンと、スクリーン上の映像を投影する投影手段とを含む車両用ヘッドアップディスプレイ装置であって、該スクリーンの位置を可変とする可動機構を備える。」との記載がある(要約参照)。   Further, Patent Document 2 provides a vehicle head-up display device that can shorten the time for the driver to move the focal point by making the display distance of the virtual image variable, and has high preventive safety against accidents. "A vehicle head-up display including a light source, a scanning unit that scans light from the light source two-dimensionally, a screen that forms an image of the scanning light, and a projection unit that projects an image on the screen." The apparatus includes a movable mechanism that can change the position of the screen ”(see abstract).

特開2009−196630号公報JP 2009-196630 A 特開2009−150947号公報JP 2009-150947 A

HUDを用いた運転補助あるいは危険回避のための情報の表示方法について、上記従来技術では虚像が障害物を囲む軌道上を移動するように表示を行うことにより、運転者への警告を行っていた。しかしながら前記方法では、虚像が障害物そのものの形状を示すものではないため、運転者が瞬時に障害物を認識するのが困難な場合がある。また前記方法では、複数の障害物への対応や、障害物を個別の移動体として認識し、どのように表示するかについては特に考慮されていなかった。   About the display method of the information for driving assistance or danger avoidance using HUD, in the above-mentioned prior art, a warning is given to the driver by displaying so that a virtual image moves on the track surrounding an obstacle. . However, in the above method, since the virtual image does not indicate the shape of the obstacle itself, it may be difficult for the driver to instantly recognize the obstacle. Further, in the above method, no particular consideration has been given to dealing with a plurality of obstacles and how to recognize and display the obstacles as individual moving bodies.

またHUDを用いる場合には、フロントシールドあるいはフロントシールドに沿う形で設置されたコンバイナに虚像を表示する構成上、視認性に関して明るさなどの外的要因の影響を受け易いという問題がある。障害物の認識し易さを確保しつつ、前記外的要因の影響をどのように低減するかという点についても、従来特に考慮されていなかった。   In addition, when the HUD is used, there is a problem in that a virtual image is displayed on a front shield or a combiner installed along the front shield, and the visibility is easily influenced by external factors such as brightness. Conventionally, no particular consideration has been given to how to reduce the influence of the external factors while ensuring the ease of recognizing an obstacle.

さらにフロントシールド越しの視野範囲外に存在し、自車の走行に影響がありそうな障害物に関して、HUDを用いてどのように運転者に通知できるかについても、特に考慮されていなかった。   In addition, there is no particular consideration on how the HUD can be used to notify the driver of obstacles that are outside the field of view through the front shield and are likely to affect the driving of the vehicle.

本発明はこれらの課題に鑑みてなされたものであって、自動車等の運転支援において、運転を妨げることがなく運転者が認知し易い安全な情報表示システムを提供することを目的とする。   The present invention has been made in view of these problems, and an object of the present invention is to provide a safe information display system that is easy for a driver to recognize without disturbing driving in driving assistance for an automobile or the like.

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。   The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.

上記課題は、例えば特許請求の範囲に記載の発明により改善される。   The above problems are improved by, for example, the invention described in the claims.

本発明によれば、例えば自動車等の車両運転支援において、支援情報等が運転の妨げとなることを抑制できるため、運転者の安全性を向上させることができる。   According to the present invention, for example, in vehicle driving assistance for an automobile or the like, it is possible to suppress the assistance information and the like from interfering with driving, and thus the safety of the driver can be improved.

情報表示システムの実施形態を表す模式図。The schematic diagram showing embodiment of an information display system. 第1の実施形態における障害物の虚像表示の例。The example of the virtual image display of the obstruction in 1st Embodiment. 第1の実施形態において障害物の危険度が異なる場合の虚像表示の例。The example of a virtual image display when the danger level of an obstruction differs in 1st Embodiment. 第1の実施形態における動作フロー。The operation | movement flow in 1st Embodiment. 第2の実施形態における障害物の虚像表示の例。The example of the virtual image display of the obstruction in 2nd Embodiment. 第2の実施形態において障害物の危険度が異なる場合の虚像表示の例。The example of a virtual image display when the danger level of an obstacle differs in 2nd Embodiment. 複数の障害物の虚像表示の一例。An example of a virtual image display of a plurality of obstacles. 第3の実施形態における障害物の虚像表示の例。The example of the virtual image display of the obstruction in 3rd Embodiment. 第3の実施形態において障害物の進行方向が異なる場合の虚像表示の例。The example of a virtual image display when the advancing direction of an obstruction differs in 3rd Embodiment. 第3の実施形態における動作フロー。The operation | movement flow in 3rd Embodiment. 第4の実施形態における動作フロー。The operation | movement flow in 4th Embodiment. 第4の実施形態における障害物の虚像表示の例。The example of the virtual image display of the obstruction in 4th Embodiment. 第5の実施形態における動作フロー。The operation | movement flow in 5th Embodiment. 第5の実施形態における警告マーク表示と警告音出力の例。An example of warning mark display and warning sound output in the fifth embodiment. 第6の実施形態におけるアクション指示マークの虚像表示の例。The example of the virtual image display of the action instruction mark in 6th Embodiment.

以下、図面を用いて本発明の実施形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(実施の形態1)
図1は、本発明による情報表示装置(あるいは情報表示システム。以下、便宜的に情報表示システムと称する。)の第1の実施形態を表す模式図である。101は自車両、102は運転者、103は投影手段、104はミラー、105はコンバイナ、106は虚像面、107は前方を撮影する前方カメラ、108は運転者を撮影する運転者カメラ、109はスピーカ、110はレーザーレーダーや車速センサ等の車載各センサ、111は障害物判定部、112は危険度判定部、113は視点位置判定部、114は表示位置調整部、115は画像処理部、116は音声処理部である。なお以降の実施形態ではコンバイナ105をスクリーンとして用いる構成について説明するが、フロントシールドをスクリーンとして虚像を投影する構成も可能である。
(Embodiment 1)
FIG. 1 is a schematic diagram showing a first embodiment of an information display device (or information display system, hereinafter referred to as an information display system for convenience) according to the present invention. 101 is a host vehicle, 102 is a driver, 103 is a projection means, 104 is a mirror, 105 is a combiner, 106 is a virtual image plane, 107 is a front camera for photographing the front, 108 is a driver camera for photographing the driver, 109 is Speaker, 110 is a vehicle-mounted sensor such as a laser radar or a vehicle speed sensor, 111 is an obstacle determination unit, 112 is a risk determination unit, 113 is a viewpoint position determination unit, 114 is a display position adjustment unit, 115 is an image processing unit, 116 Is a voice processing unit. In the following embodiments, a configuration in which the combiner 105 is used as a screen will be described. However, a configuration in which a virtual image is projected using a front shield as a screen is also possible.

運転に関わる補助情報は、虚像として投影手段103から投影され、ミラー104にて反射され、コンバイナ105に投影される。投影された虚像は、運転者102からは虚像面106として、フロントシールド越しの外界視野と重畳されたものとして認識される。投影手段103では走査手段としてMEMS(Micro Electro Mechanical Systems)ミラーなどを用いた方法や、またミラー104として非球面凹面鏡などを用いた方法があるが、ここでは、虚像を投影するための幾つかの適当な手法について詳細な説明は省略する(例えば特許文献2等参照)。   The auxiliary information related to driving is projected from the projection unit 103 as a virtual image, reflected by the mirror 104, and projected to the combiner 105. The projected virtual image is recognized by the driver 102 as a virtual image plane 106 that is superimposed on the external field of view through the front shield. The projection unit 103 includes a method using a MEMS (Micro Electro Mechanical Systems) mirror as a scanning unit, and a method using an aspheric concave mirror as the mirror 104. Here, there are several methods for projecting a virtual image. Detailed description of an appropriate method is omitted (see, for example, Patent Document 2).

ここで図1における情報表示システムの情報表示の処理について、図4の動作フローを用いて説明する。まず自車両101のエンジン始動、あるいは運転者102の起動指示操作により処理を開始する(401)。運転者の起動指示操作は、前述のインストパネル中央近傍に設置されたディスプレイにおけるタッチパネル等を介して行われても良いし、専用の起動スイッチを設けても良い。前方カメラ107において自車両101前方の画像が撮影され、またその他レーザーレーダーや車速センサなどの各車載センサ110で複数の情報が取得される(402)。障害物判定部111は前記取得された画像や情報に基づき、障害物を人、自転車、バイク、自動車、その他などとして判定する(403)。さらに危険度判定部112は、前記障害物の判定結果と、前記車速センサ110などから取得された情報を基に、障害物の危険度を判定する(404)。   Here, the information display processing of the information display system in FIG. 1 will be described using the operation flow of FIG. First, the processing is started by starting the engine of the host vehicle 101 or starting the driver 102 (401). The driver's start instruction operation may be performed via a touch panel or the like on a display installed near the center of the instrument panel, or a dedicated start switch may be provided. An image in front of the host vehicle 101 is taken by the front camera 107, and a plurality of pieces of information are acquired by the respective in-vehicle sensors 110 such as a laser radar and a vehicle speed sensor (402). The obstacle determination unit 111 determines an obstacle as a person, a bicycle, a motorcycle, a car, or the like based on the acquired image and information (403). Further, the risk determination unit 112 determines the risk of the obstacle based on the determination result of the obstacle and information acquired from the vehicle speed sensor 110 (404).

前記障害物の判定は画像認識技術等を用いた手法として、公知技術を用いることが可能である。また前記危険度の判定は、例えば前記特許文献1に記載のように障害物までの距離と自車両102の速度情報から判定することが可能であり、さらに障害物の進行方向の予測を加味することにより、複数の危険度を設定して障害物がどの危険度であるかを判定することができる。ここでは危険度を0(危険度最低)から100(危険度最高)までで表すものとして、障害物の危険度Dを判定する。例えば、A、Bを閾値(A>B)として、危険度Dが次のどの範囲に入るかを知ることができる。(1)D>A:現状の車速だと接触する、あるいは障害物が自車の動線上に存在する。(2)A≧D>B:現状の車速だと接触しないが、障害物の近距離(例えば2m以内)を通過することになる。(3)B≧D>0:現状の車速だと障害物が最近傍となるのは近距離外。(4)D=0:障害物の危険度無し。   For the determination of the obstacle, a known technique can be used as a technique using an image recognition technique or the like. The determination of the degree of risk can be made from the distance to the obstacle and the speed information of the host vehicle 102 as described in Patent Document 1, for example, and further includes the prediction of the traveling direction of the obstacle. Thus, it is possible to determine the risk level of the obstacle by setting a plurality of risk levels. Here, the danger level D of the obstacle is determined on the assumption that the risk level is expressed from 0 (lowest risk level) to 100 (highest risk level). For example, with A and B as threshold values (A> B), it is possible to know which range the risk level D falls into. (1) D> A: Contact at the current vehicle speed, or an obstacle exists on the flow line of the vehicle. (2) A ≧ D> B: No contact is made at the current vehicle speed, but the vehicle passes through a short distance (for example, within 2 m) of the obstacle. (3) B ≧ D> 0: It is outside the short distance that the obstacle is closest to the current vehicle speed. (4) D = 0: No obstacle risk.

これに基づき、まず前記危険度がD>Bであるかを判定する(405)。D>Bである場合、画像処理部115が障害物の全体輪郭を虚像の画像データとして生成する(406)。次に危険度がD>Aであるかを判定する(407)。D>Aである場合は前記虚像の点滅設定を行い(408)、D>Aではない場合は前記虚像の点滅設定は行わない。一方ステップ405において危険度がD>Bではなかった場合、続いて危険度がD≠0であるかを判定する(410)。D≠0である場合は画像処理部115が障害物の部分輪郭(例えば下方半分のみ)を虚像の画像データとして生成し、D≠0ではない(D=0)場合は何もせずにステップ402に戻る。前記虚像の画像データが生成された場合は、画像処理部115は、当該画像データを投影部103に出力する(412)。またステップ407でD>Aである場合は、合わせて音声処理部116からスピーカ109に警告音出力を行う(409)。なお前記虚像は、画像処理部115から出力されるコンバイナ105に表示可能なフルサイズの画像データ(画像プレーンと呼ぶ)内で任意の位置に生成して、実際の障害物に重畳表示させることが可能である。特にステップ404の危険度判定で、障害物と自車の予測動線との関係も反映されるが、この自車予測動線(車幅に相当)も、破線などの虚像として障害物の虚像と合わせて画像プレーン上に生成して表示することが可能である。   Based on this, it is first determined whether the risk is D> B (405). When D> B, the image processing unit 115 generates the entire outline of the obstacle as virtual image data (406). Next, it is determined whether the degree of risk is D> A (407). If D> A, the virtual image blinking setting is performed (408). If D> A is not satisfied, the virtual image blinking setting is not performed. On the other hand, if the risk is not D> B in step 405, it is subsequently determined whether the risk is D ≠ 0 (410). If D ≠ 0, the image processing unit 115 generates a partial contour of the obstacle (for example, only the lower half) as virtual image data, and if D ≠ 0 (D = 0), nothing is done in step 402. Return to. When the image data of the virtual image is generated, the image processing unit 115 outputs the image data to the projection unit 103 (412). If D> A in step 407, a warning sound is output from the voice processing unit 116 to the speaker 109 (409). The virtual image may be generated at an arbitrary position in the full-size image data (referred to as an image plane) that can be displayed on the combiner 105 output from the image processing unit 115 and superimposed on an actual obstacle. Is possible. In particular, the risk determination in step 404 also reflects the relationship between the obstacle and the predicted traffic line of the own vehicle, but this predicted vehicle traffic line (corresponding to the vehicle width) is also a virtual image of the obstacle as a virtual image such as a broken line. Can be generated and displayed on the image plane.

一方前記ステップ401で処理開始後、運転者カメラ108は運転者の顔周辺の画像を撮影し、運転者の視点位置判定に必要な情報を取得する(413)。視点位置判定部113は取得した情報を用いて、運転者の視点位置を判定し(414)、虚像表示のための位置調整が必要かどうかを判断する(415)。具体的には、例えば前記視点位置と投影手段103及びミラー104の最適な位置関係を記憶し、視点位置のずれに応じて投影手段103あるいはミラー104、またはその両方の位置調整が必要かどうかを判断する。位置調整が必要な場合は、前記の通り表示位置調整部114の指示に基づき投影手段103の位置やミラー104の回転角など表示デバイスの位置調整を行う(416)。また画像プレーン内での、虚像の表示位置の微調整のみで済む場合、あるいは前記表示デバイスの位置調整に伴う虚像の表示位置の調整が必要な場合などは、表示位置調整部114が前記生成された虚像の画像データ出力に、前記位置調整のための情報が反映されるような処理を行う(417)。   On the other hand, after the processing is started in step 401, the driver camera 108 captures an image around the driver's face and obtains information necessary for determining the viewpoint position of the driver (413). The viewpoint position determination unit 113 determines the driver's viewpoint position using the acquired information (414), and determines whether or not position adjustment for virtual image display is necessary (415). Specifically, for example, an optimal positional relationship between the viewpoint position and the projection unit 103 and the mirror 104 is stored, and whether or not the projection unit 103 and / or the mirror 104 needs to be adjusted according to the deviation of the viewpoint position is determined. to decide. When the position adjustment is necessary, the display device position is adjusted based on the instruction of the display position adjustment unit 114 as described above, such as the position of the projection unit 103 and the rotation angle of the mirror 104 (416). In addition, when only the fine adjustment of the display position of the virtual image in the image plane is necessary, or when the display position of the virtual image accompanying the position adjustment of the display device is necessary, the display position adjustment unit 114 is generated. Then, a process is performed so that the position adjustment information is reflected in the output of the virtual image data (417).

次に、前記処理によりコンバイナ105に投影され、運転者102に視認される前方風景について、図2及び図3を用いて説明する。   Next, the front scenery projected onto the combiner 105 and visually recognized by the driver 102 will be described with reference to FIGS. 2 and 3.

図2は、前記危険度が(3)B≧D>0の範囲であるとして、障害物の虚像が生成されて表示された場合の一例である。図1で使用のものには同一符号を付しており、105がコンバイナで、その枠内に示されるのが運転者102に視認される前方風景である(以降同様)。201はステアリング、202はインストパネル、203は障害物(この場合は歩行者)、204は自車予測動線の虚像、205は生成された障害物の虚像であり、109Lは左スピーカ、109Rは右スピーカである。   FIG. 2 shows an example in which a virtual image of an obstacle is generated and displayed on the assumption that the degree of risk is in the range of (3) B ≧ D> 0. 1 are denoted by the same reference numerals, 105 is a combiner, and the frame shown in the frame is a front view visually recognized by the driver 102 (the same applies hereinafter). 201 is a steering wheel, 202 is an instrument panel, 203 is an obstacle (in this case, a pedestrian), 204 is a virtual image of the predicted traffic line of the vehicle, 205 is a virtual image of the generated obstacle, 109L is a left speaker, and 109R is Right speaker.

この場合、虚像205は障害物203の下方半分のみの部分輪郭として生成され表示されている。運転者102は少なくとも歩行者の足元下半身を輪郭として認識可能で安全性を確保でき、また危険度が高くない状態で不要な虚像表示が行われないため、表示される情報が運転の妨げとなることはない。   In this case, the virtual image 205 is generated and displayed as a partial outline of only the lower half of the obstacle 203. The driver 102 can recognize at least the lower body of the foot of the pedestrian as a contour, can ensure safety, and unnecessary virtual image display is not performed in a state where the degree of danger is not high, so the displayed information hinders driving. There is nothing.

図3は、前記危険度が(2)A≧D>B、あるいは(1)D>Aの範囲の場合の、障害物の虚像の表示例を説明するための図である。図2で使用のものには同一符号を付して説明を省略する。301が生成された虚像である。   FIG. 3 is a diagram for explaining a display example of a virtual image of an obstacle when the degree of risk is in a range of (2) A ≧ D> B or (1) D> A. Components used in FIG. 2 are denoted by the same reference numerals and description thereof is omitted. Reference numeral 301 denotes a generated virtual image.

まず前記危険度が(2)A≧D>Bと判定された場合の虚像表示について説明する。虚像301は障害物203の全体輪郭として表示される。ある程度危険度が高い状態で、運転者102は歩行者を明確に認識可能であり、とっさの判断でも見逃すことがなくなる。   First, virtual image display when the degree of risk is determined as (2) A ≧ D> B will be described. The virtual image 301 is displayed as the entire outline of the obstacle 203. The driver 102 can clearly recognize the pedestrian in a state where the degree of risk is high to some extent, and it will not be overlooked even by a quick judgment.

また前記危険度が(1)D>Aと判定された場合の虚像表示について説明する。(2)A≧D>Bの場合と同じ図で説明可能なのは、障害物203の自車予測動線204への相対位置が同じでも、自車速度、歩行者の進行方向、距離、その他の条件によって危険度判定の結果が変わる場合があるためである。図3において、虚像301は前記と同様に障害物203の全体輪郭として表示される。さらにこの場合は、危険度は最高レベルとして、虚像305の点滅が行われ、さらに左スピーカ109L、右スピーカ109Rより警告音を出力する。危険度が最も高い状態で、虚像とその点滅、さらに音声により運転者102は障害物を明確に認識可能であり、障害物203との衝突回避行動への移行が可能となる。   The virtual image display when the degree of risk is determined as (1) D> A will be described. (2) The same diagram as in the case of A ≧ D> B can explain the obstacle 203 even if the relative position of the obstacle 203 to the own vehicle predicted flow line 204 is the same. This is because the risk determination result may change depending on conditions. In FIG. 3, the virtual image 301 is displayed as the entire outline of the obstacle 203 as described above. Further, in this case, the virtual image 305 is blinked with the highest risk level, and a warning sound is output from the left speaker 109L and the right speaker 109R. In the state with the highest degree of danger, the driver 102 can clearly recognize the obstacle by the virtual image, its blinking, and voice, and can shift to the collision avoidance action with the obstacle 203.

以上のように本発明の第1の実施形態によれば、障害物の危険度に応じてその輪郭表示の割合を変更させることにより、運転者が明確に障害物を認識可能で運転を妨げることのない、運転支援のための安全な情報表示システムを提供することができる。運転者の視点に応じて虚像の表示位置は調整されるため、障害物と虚像の表示位置にずれが生じることはない。   As described above, according to the first embodiment of the present invention, by changing the ratio of the contour display according to the risk of the obstacle, the driver can clearly recognize the obstacle and hinder driving. A safe information display system for driving assistance can be provided. Since the display position of the virtual image is adjusted according to the viewpoint of the driver, there is no deviation between the display position of the obstacle and the virtual image.

(実施の形態2)
次に本発明による情報表示システムの第2の実施形態を、虚像表示の別の例として、図5及び図6を用いて説明する。図4のフローに基づく各処理は、前述の図2及び図3の場合と同様なので、詳細な説明は省略する。
(Embodiment 2)
Next, a second embodiment of the information display system according to the present invention will be described with reference to FIGS. 5 and 6 as another example of virtual image display. Since each process based on the flow of FIG. 4 is the same as that of the above-mentioned FIG. 2 and FIG. 3, detailed description is abbreviate | omitted.

図5は、前記危険度が(3)B≧D>0の範囲であるとして、障害物203の虚像が生成されて表示された場合の別の一例である。図2で使用のものには同一符号を付しており、詳細な説明を省略している。501が生成された虚像となっている。   FIG. 5 is another example when the virtual image of the obstacle 203 is generated and displayed on the assumption that the degree of risk is in the range of (3) B ≧ D> 0. Components used in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted. A virtual image 501 is generated.

図2と異なるのは虚像501の形状であり、この場合虚像501は障害物203の下方半分を示すが、部分輪郭ではなく枠線として生成され表示されている。運転者102は、図2の場合と同様に少なくとも歩行者の下半身を認識可能で安全性を確保でき、また危険度が高くない状態で不要な虚像表示が行われないため、表示される情報が運転の妨げとなることはない。また複数の障害物が重なっていたり、諸条件により前方カメラ107により障害物203の輪郭が明確に捉えられない場合でも、障害物203の位置を虚像501として大枠認識することが可能となる。   What is different from FIG. 2 is the shape of the virtual image 501. In this case, the virtual image 501 shows the lower half of the obstacle 203, but is generated and displayed as a frame rather than a partial outline. The driver 102 can recognize at least the lower body of the pedestrian as in the case of FIG. 2 and can ensure safety, and unnecessary virtual image display is not performed in a state where the degree of danger is not high. There is no hindrance to driving. Even when a plurality of obstacles overlap or the outline of the obstacle 203 cannot be clearly captured by the front camera 107 due to various conditions, the position of the obstacle 203 can be recognized as a virtual image 501 in a large frame.

図6は、前記危険度が(2)A≧D>B、あるいは(1)D>Aの範囲の場合の、障害物の虚像表示の別の例を説明するための図である。図3で使用のものには同一符号を付して説明を省略する。601が生成された虚像である。   FIG. 6 is a diagram for explaining another example of a virtual image display of an obstacle when the degree of risk is in the range of (2) A ≧ D> B or (1) D> A. Components used in FIG. 3 are denoted by the same reference numerals and description thereof is omitted. Reference numeral 601 denotes a generated virtual image.

まず前記危険度が(2)A≧D>Bと判定された場合の虚像表示について説明する。虚像601は障害物203の全体を囲う枠線として表示される。図3の場合と同様に、ある程度危険度が高い状態で、運転者102は歩行者を明確に認識可能であり、とっさの判断でも障害物を見逃すことがなくなる。   First, virtual image display when the degree of risk is determined as (2) A ≧ D> B will be described. The virtual image 601 is displayed as a frame line surrounding the entire obstacle 203. Similar to the case of FIG. 3, the driver 102 can clearly recognize the pedestrian in a state where the degree of risk is high to some extent, and the obstacle is not missed even by the quick judgment.

また前記危険度が(1)D>Aと判定された場合の虚像表示について説明する。(2)A≧D>Bの場合と同じ図で説明可能なのは、図3の場合と同様の理由である。図6において、虚像601は前記と同様に障害物203の全体を囲う枠線として表示される。さらにこの場合は、危険度は最高レベルとして、虚像601の点滅が行われ、さらに左スピーカ109Lあるいは右スピーカ109Rより警告音を出力する。図3の場合と同様に、危険度が最も高い状態で、虚像とその点滅、さらに音声により運転者102は障害物を明確に認識可能であり、障害物との衝突回避行動への移行が可能となる。また前記同様に、複数の障害物が重なっていたり、諸条件により前方カメラ107により障害物203の輪郭が明確に捉えられない場合でも、障害物203の位置を虚像601として大枠認識することが可能となる。   The virtual image display when the degree of risk is determined as (1) D> A will be described. (2) The reason that can be explained in the same diagram as in the case of A ≧ D> B is the same reason as in FIG. In FIG. 6, the virtual image 601 is displayed as a frame line surrounding the entire obstacle 203 as described above. In this case, the virtual image 601 blinks with the highest risk level, and a warning sound is output from the left speaker 109L or the right speaker 109R. As in the case of FIG. 3, the driver 102 can clearly recognize the obstacle by the virtual image and its blinking and the voice in the state of the highest risk, and can shift to the collision avoidance action with the obstacle. It becomes. Similarly to the above, even when a plurality of obstacles overlap or the outline of the obstacle 203 cannot be clearly captured by the front camera 107 due to various conditions, the position of the obstacle 203 can be recognized as a virtual image 601 in a large frame. It becomes.

ここで図2及び図3における虚像表示の方法を、障害物が複数、離れた位置に存在する状態で適用した場合の虚像表示の一例を、図7を用いて説明する。なお図2で使用のものには同一符号を付して説明を省略する。701は障害物203とは異なる障害物(歩行者)であり、702は障害物701に対して生成された虚像である。   Here, an example of the virtual image display when the method of virtual image display in FIGS. 2 and 3 is applied in a state where a plurality of obstacles exist at distant positions will be described with reference to FIG. Note that the same reference numerals are given to the components used in FIG. Reference numeral 701 denotes an obstacle (pedestrian) different from the obstacle 203, and reference numeral 702 denotes a virtual image generated for the obstacle 701.

図7において、障害物203は前述の説明の通り、危険度が(3)B≧D>0の範囲であるので、虚像205は障害物203の下方半分のみの部分輪郭として生成され表示されている。これに対し障害物701は危険度が(2)A≧D>Bとして判定された場合であり、虚像702は障害物701の全体輪郭として生成され表示されている。運転者102は複数の障害物がある場合でも、輪郭の付き方で危険度を直感的に認識できるため、運転における安全性を確保でき、また不要な虚像表示が行われないため、表示される情報が運転の妨げとなることはない。   In FIG. 7, since the obstacle 203 has a risk level in the range of (3) B ≧ D> 0 as described above, the virtual image 205 is generated and displayed as a partial outline of only the lower half of the obstacle 203. Yes. On the other hand, the obstacle 701 is a case where the risk is determined as (2) A ≧ D> B, and the virtual image 702 is generated and displayed as the entire outline of the obstacle 701. Even if there are a plurality of obstacles, the driver 102 can intuitively recognize the degree of danger by the way the outline is attached, so that safety in driving can be ensured and unnecessary virtual image display is not performed, so the driver 102 is displayed. Information does not interfere with driving.

以上のように本発明の第2の実施形態によれば、障害物の危険度に応じてその枠線の表示割合を変更させることにより、複数の障害物が存在したり、障害物の輪郭が明確でない場合でも、運転者が明確に障害物を認識可能で運転を妨げることのない、運転支援のための情報表示システムを提供することができる。   As described above, according to the second embodiment of the present invention, by changing the display ratio of the frame line according to the danger level of the obstacle, there are a plurality of obstacles or the outline of the obstacle. Even if it is not clear, it is possible to provide an information display system for driving assistance that allows the driver to clearly recognize an obstacle and does not hinder driving.

以上の実施形態において、危険度が(1)〜(3)に変化するのに応じて、虚像の色調、線の太さ等を変化させるのも別の実施形態となる。例えば図7で説明した実施形態で、危険度の上昇に伴い虚像205、702の色調を青色系から赤色系に変化させるなどの対応により、運転者102の障害物の認識を、より直感的に行わせることが可能となる。   In the above embodiment, it is another embodiment that the color tone of the virtual image, the thickness of the line, and the like are changed in accordance with the change of the risk level from (1) to (3). For example, in the embodiment described with reference to FIG. 7, the obstacle of the driver 102 can be recognized more intuitively by changing the color tone of the virtual images 205 and 702 from blue to red as the risk increases. It is possible to make it happen.

(実施の形態3)
次に本発明による情報表示システムの第3の実施形態について、図8から図10を用いて説明する。なお情報表示システムとしての構成は図1に示す場合と同様なので、図1の各構成要素に付した番号を用いて説明する。
(Embodiment 3)
Next, a third embodiment of the information display system according to the present invention will be described with reference to FIGS. Since the configuration of the information display system is the same as that shown in FIG. 1, description will be made using the numbers given to the respective components in FIG.

図10は本実施形態の動作フローを示す図である。まず自車両101のエンジン始動、あるいは運転者102の起動指示操作により処理を開始する(1001)。前述の実施形態と同様に、運転者の起動指示操作は、インストパネル中央近傍に設置されたディスプレイにおけるタッチパネル等を介して行われても良いし、専用の起動スイッチを設けても良い。前方カメラ107において自車両101前方の画像が撮影され、またその他レーザーレーダーや車速センサなどの各車載センサ110で複数の情報が取得される(1002)。障害物判定部111は前記取得された画像や情報に基づき、障害物を人、自転車、バイク、自動車、その他などとして判定する(1003)。前述の実施形態でも、障害物の判定から危険度の判定において、障害物の進行方向の予測を加味することについて言及していたが、本実施形態では障害物の判定(1003)において明示的に障害物の進行方向、速度等を判断する。危険度判定部112は、前記障害物の形状、進行方向、速度等を含めた判定結果と、前記車速センサなどから取得された情報を基に、障害物の危険度を判定する(1004)。   FIG. 10 is a diagram showing an operation flow of the present embodiment. First, the process is started by starting the engine of the host vehicle 101 or starting the driver 102 (1001). As in the above-described embodiment, the driver's activation instruction operation may be performed via a touch panel or the like on a display installed near the center of the instrument panel, or a dedicated activation switch may be provided. An image in front of the host vehicle 101 is taken by the front camera 107, and a plurality of pieces of information are acquired by the in-vehicle sensors 110 such as a laser radar and a vehicle speed sensor (1002). The obstacle determination unit 111 determines the obstacle as a person, a bicycle, a motorcycle, a car, or the like based on the acquired image or information (1003). Even in the above-described embodiment, reference is made to taking into account the prediction of the direction of travel of the obstacle in the determination of the risk from the determination of the obstacle. In the present embodiment, however, the determination of the obstacle (1003) is explicitly performed. Judging the direction and speed of obstacles. The risk level determination unit 112 determines the risk level of the obstacle based on the determination result including the shape, traveling direction, speed, and the like of the obstacle and information acquired from the vehicle speed sensor or the like (1004).

前記障害物の形状判定は、前述の画像認識技術等を用いた手法により実行し、これに加えて前方カメラ107で撮影された動画像データを数秒分ずつ保持することにより、障害物の進行方向、速度等を予測判断する。前記危険度判定は、障害物までの距離、自車両102の速度情報、障害物の形状、進行方向、速度の予測等を含めて、統合的に判定する。ここでは前述の実施形態と同様に、危険度DがA、Bの閾値により(1)〜(4)のどの範囲に入るかで処理が変わる場合について説明するが、前述の実施形態と異なるのは、危険度に加えて障害物の進行方向、速度予測の情報が、生成される虚像に反映される点である。   The obstacle shape determination is performed by a method using the above-described image recognition technology or the like, and in addition to this, moving image data captured by the front camera 107 is held for several seconds, thereby moving the obstacle in the traveling direction. Predict and judge speed, etc. The risk determination is performed in an integrated manner including the distance to the obstacle, the speed information of the host vehicle 102, the shape of the obstacle, the traveling direction, the speed prediction, and the like. Here, as in the above-described embodiment, a case will be described in which the process changes depending on which range of (1) to (4) the risk level D falls within the range of (1) to (4) depending on the threshold values of A and B. Is a point in which, in addition to the degree of danger, information on the direction of obstacle travel and speed prediction is reflected in the generated virtual image.

まず前記危険度がD>Bであるかを判定する(1005)。D>Bである場合、画像処理部115が障害物の全体輪郭を虚像の画像データとして生成する(1006)。次に危険度がD>Aであるかを判定する(1007)。D>Aである場合は前記虚像の点滅設定を行い(1008)、D>Aではない場合は前記虚像の点滅設定は行わない。一方ステップ1005において危険度がD>Bではなかった場合、続いて危険度がD≠0であるかを判定する(1010)。D≠0である場合は、画像処理部115が障害物の部分輪郭を、障害物の進行方向を反映して虚像の画像データとして生成する。例えば障害物が自車予測動線方向に向かっている場合は部分輪郭として下方半分のみ、自車予測動線と逆方向に向かっている場合は部分輪郭として下方1/5のみなどとする。D≠0ではない(D=0)場合は何もせずにステップ1002に戻る。   First, it is determined whether the degree of risk is D> B (1005). When D> B, the image processing unit 115 generates the entire outline of the obstacle as virtual image data (1006). Next, it is determined whether the degree of risk is D> A (1007). If D> A, the virtual image blinking setting is performed (1008). If D> A is not satisfied, the virtual image blinking setting is not performed. On the other hand, if the risk is not D> B in step 1005, it is subsequently determined whether the risk is D ≠ 0 (1010). When D ≠ 0, the image processing unit 115 generates a partial contour of the obstacle as image data of a virtual image reflecting the traveling direction of the obstacle. For example, if the obstacle is in the direction of the predicted traffic line of the vehicle, only the lower half is set as the partial contour, and if the obstacle is in the direction opposite to the predicted flow of the vehicle, only the lower 1/5 is set as the partial contour. If D ≠ 0 (D = 0), the process returns to step 1002 without doing anything.

次に画像処理部115は前記障害物の全体輪郭、あるいは部分輪郭に加えて、障害物の進行方向、速度予測情報を基に、障害物の予測動線を虚像として生成する(1018)。前記生成された障害物の輪郭及び予測動線の虚像の画像データは、画像処理部115より、投影部103に出力される(1012)。またステップ1007でD>Aである場合は、合わせて音声処理部116からスピーカ109に警告音出力を行う(1009)。なお前記虚像は、前述の実施形態と同様に画像プレーン内で任意の位置に生成して、実際の障害物に重畳表示させることが可能であり、自車予測動線の虚像も合わせて表示させることが可能である。   Next, the image processing unit 115 generates a predicted flow line of the obstacle as a virtual image based on the obstacle traveling direction and speed prediction information in addition to the entire contour or partial contour of the obstacle (1018). The generated image of the contour of the obstacle and the virtual image of the predicted flow line is output from the image processing unit 115 to the projection unit 103 (1012). If D> A in step 1007, a warning sound is output from the sound processing unit 116 to the speaker 109 (1009). The virtual image can be generated at an arbitrary position in the image plane as in the above-described embodiment, and can be displayed superimposed on an actual obstacle, and the virtual image of the own vehicle predicted flow line is also displayed. It is possible.

一方前記ステップ1001で処理開始後、運転者カメラ108からの入力に基づき運転者の視点位置を判定して虚像の位置調整を行うが、ステップ1013からステップ1017の動作については、図4におけるステップ413からステップ417の動作と同様のため、詳細な説明は省略する。   On the other hand, after starting the processing in step 1001, the position of the virtual image is adjusted by determining the viewpoint position of the driver based on the input from the driver camera 108. For the operations from step 1013 to step 1017, step 413 in FIG. To 417, the detailed description is omitted.

次に、前記処理によりコンバイナ105に投影され、運転者102に視認される前方風景について、図8及び図9を用いて説明する。   Next, the front scenery projected onto the combiner 105 and visually recognized by the driver 102 will be described with reference to FIGS. 8 and 9.

図8は、前記危険度が(3)B≧D>0の範囲で、かつ障害物が自車予測動線方向に進行している場合の、障害物の虚像表示の一例である。図2で使用のものには同一符号を付して説明は省略している。801は生成された障害物の虚像であり、802は障害物の予測動線を示す虚像である。   FIG. 8 is an example of a virtual image display of an obstacle when the degree of risk is in the range of (3) B ≧ D> 0 and the obstacle is traveling in the direction of the predicted vehicle traffic line. Components used in FIG. 2 are denoted by the same reference numerals and description thereof is omitted. Reference numeral 801 denotes a virtual image of the generated obstacle, and reference numeral 802 denotes a virtual image indicating a predicted flow line of the obstacle.

この場合、虚像801は障害物203が自車予測動線204の方向に進行しているということで、第1の実施形態の場合と同様に、障害物203の下方半分のみの部分輪郭として生成され表示されている。また虚像802は障害物203の予測動線として、その進行方向を明示する位置に複数のマークとして表示されている。虚像802として表示されるマークの数は、障害物203が自車予測動線204の方向に進行しているかどうかで所定の数に決めることもできるし、障害物203の予測速度に応じて増減させることも可能である。運転者102は歩行者のあしもと下半身を輪郭として認識可能であり、これに加えて予測動線を視覚的に捉えることができるため、より安全性を確保でき、また危険度に応じて不要な虚像表示が行われないため、表示される情報が運転の妨げとなることはない。   In this case, the virtual image 801 is generated as a partial contour of only the lower half of the obstacle 203, as in the first embodiment, because the obstacle 203 travels in the direction of the vehicle predicted flow line 204. Is displayed. In addition, the virtual image 802 is displayed as a plurality of marks at positions where the traveling direction is clearly indicated as a predicted flow line of the obstacle 203. The number of marks displayed as the virtual image 802 can be determined to be a predetermined number depending on whether or not the obstacle 203 is traveling in the direction of the vehicle prediction flow line 204, and increases or decreases depending on the predicted speed of the obstacle 203. It is also possible to make it. The driver 102 can recognize the lower body of the pedestrian as the contour, and in addition to this, the predicted flow line can be visually grasped, so that safety can be further secured and unnecessary depending on the degree of danger. Since the virtual image display is not performed, the displayed information does not hinder driving.

図9は、前記図8の場合と同様の危険度(3)だが、障害物が自車予測動線から遠ざかる方向に進行している場合の、障害物の虚像表示の一例である。図2で使用のものには同一符号を付して説明は省略している。901は生成された障害物の虚像であり、902は障害物の予測動線を示す虚像である。   FIG. 9 is an example of a virtual image display of an obstacle when the obstacle is traveling in a direction away from the predicted traffic line of the vehicle, although the degree of risk (3) is the same as in FIG. Components used in FIG. 2 are denoted by the same reference numerals and description thereof is omitted. Reference numeral 901 denotes a virtual image of the generated obstacle, and reference numeral 902 denotes a virtual image indicating a predicted flow line of the obstacle.

この場合、虚像901は障害物203が自車予測動線204から遠ざかる方向に進行しているということで、障害物203の下方1/5のみの部分輪郭として生成され表示されている。また虚像902は障害物203の予測動線として、その進行方向を明示する位置に単一のマークとして表示されている。虚像902として表示されるマークの数は、図8の場合と同様に障害物203の予測速度に応じて増減させることもできるが、障害物203は自車予測動線204から遠ざかる方向に進行しているということで、単一のマークとして進行方向のみの明示とした方が、運転者102を煩わせることがない。運転者102は歩行者の足元を輪郭として認識可能であり、これに加えて予測動線を視覚的に捉えることができるため、的確に障害物とその状況を認識することができ、また危険度に応じて不要な虚像表示が行われないため、表示される情報が運転の妨げとなることはない。   In this case, the virtual image 901 is generated and displayed as a partial outline of only the lower 1/5 of the obstacle 203 because the obstacle 203 is traveling in a direction away from the predicted vehicle flow line 204. The virtual image 902 is displayed as a single mark at a position that clearly indicates the traveling direction of the obstacle 203 as a predicted flow line. The number of marks displayed as the virtual image 902 can be increased or decreased according to the predicted speed of the obstacle 203 as in the case of FIG. 8, but the obstacle 203 advances in a direction away from the own vehicle predicted flow line 204. Therefore, the driver 102 is not bothered by clearly indicating only the traveling direction as a single mark. The driver 102 can recognize the step of the pedestrian as a contour, and in addition to this, the driver can visually recognize the predicted flow line, so that the obstacle and its situation can be recognized accurately, and the risk level Accordingly, unnecessary virtual image display is not performed according to the information, and thus the displayed information does not hinder driving.

なお本実施形態においては、図8、図9によりいずれも危険度が(3)B≧D>0の場合について説明したが、危険度が(2)A≧D>B、(1)D>Aの場合にも第1の実施形態と同様に適用可能である。ただし危険度が高い場合は、障害物の進行方向が自車予測動線に向かう方向なのか遠ざかる方向なのかによらず、いずれも障害物の全輪郭を虚像として表示し、運転者が確実に認識できるようにする。また障害物の輪郭を虚像として表示するのに変えて、第2の実施形態で説明したような、障害物の枠線のサイズに変化を加えて、障害物の予測動線の虚像表示と組み合わせることも可能である。なお図8、図9では同じ危険度(3)B≧D>0で、障害物の進行方向が異なる場合に虚像表示を変化させる例を説明したが、危険度判定部112の動作として、当初より障害物の進行方向が異なる場合は別の危険度とすることも当然可能である。また本実施形態では、障害物の予測動線を障害物の進行方向を示す複数のマークで表示する場合について述べたが、予測動線としては単純に幅を持った直線や矢印を用いて、その長さを障害物の進行方向や速度に応じて変化させる形で表示するなど、予測動線を明示するものであればその形状は特に限定されるものではない。   In this embodiment, the case where the degree of risk is (3) B ≧ D> 0 has been described with reference to FIGS. 8 and 9, but the degree of risk is (2) A ≧ D> B, (1) D>. The case of A can also be applied in the same manner as in the first embodiment. However, if the risk is high, the entire contour of the obstacle is displayed as a virtual image regardless of whether the obstacle travels in the direction of the predicted traffic flow or away from the vehicle. Make it recognizable. Also, instead of displaying the contour of the obstacle as a virtual image, the size of the border of the obstacle is changed as described in the second embodiment, and combined with the virtual image display of the predicted flow line of the obstacle. It is also possible. 8 and 9, the example in which the virtual image display is changed when the same risk level (3) B ≧ D> 0 and the traveling direction of the obstacle is different has been described. Of course, when the obstacle travels in a different direction, a different risk level can be set. In the present embodiment, the case where the predicted flow line of the obstacle is displayed with a plurality of marks indicating the traveling direction of the obstacle has been described, but as the predicted flow line, simply using a straight line or an arrow having a width, The shape is not particularly limited as long as the predicted flow line is clearly displayed, for example, the length is displayed in a form that changes according to the traveling direction and speed of the obstacle.

以上のように本発明の第3の実施形態によれば、障害物の虚像を表示するのに合わせて、障害物の予測動線を表示させることにより、運転者が直感的に障害物を認識可能で運転を妨げることのない、運転支援のための情報表示システムを提供することができる。   As described above, according to the third embodiment of the present invention, the driver recognizes the obstacle intuitively by displaying the predicted flow line of the obstacle in accordance with the virtual image of the obstacle. It is possible to provide an information display system for driving assistance that is possible and does not hinder driving.

(実施の形態4)
次に本発明による情報表示システムの第4の実施形態について、図11と図12を用いて説明する。本実施形態は、外的要因(例えば逆光)により運転者の前方視認性が低下した場合の、障害物の虚像表示の例を示すものである。なお情報表示システムとしての構成は図1に示す場合と同様なので、図1の各構成要素に付した番号を用いて説明する。
(Embodiment 4)
Next, a fourth embodiment of the information display system according to the present invention will be described with reference to FIGS. This embodiment shows an example of a virtual image display of an obstacle when the driver's forward visibility is reduced due to an external factor (for example, backlight). Since the configuration of the information display system is the same as that shown in FIG. 1, description will be made using the numbers given to the respective components in FIG.

図11は本実施形態の動作フローを示す図である。動作フローとしては、図4あるいは図10にステップを追加する形になるため、特に説明を示さないステップについては、前述の各ステップの動作と同様のものとする。また簡単のため図11は図4にステップを追加した形になっているが、図10に同様のステップを追加することも可能である。   FIG. 11 is a diagram showing an operation flow of the present embodiment. Since the operation flow is such that steps are added to FIG. 4 or FIG. 10, the steps that are not particularly described are the same as the operations of the respective steps described above. For simplicity, FIG. 11 has a form in which steps are added to FIG. 4, but similar steps can be added to FIG. 10.

まず自車両101のエンジン始動、あるいは運転者102の起動指示操作により処理を開始する(1101)。前述の実施形態と同様に、運転者の起動指示操作は、インストパネル中央近傍に設置されたディスプレイにおけるタッチパネル等を介して行われても良いし、専用の起動スイッチを設けても良い。前方カメラ107、またその他レーザーレーダーなどの各車載センサ110により取得された情報は、外的要因がないか判定される(1102)。外的要因の判定は、危険度判定部112の動作として危険度判定の一つとして含めても良いし、単独の処理部としても良い。外的要因として、例えば逆光が認識されると、画像処理部115において虚像の明度を調整する処理が行われる(1103)。ステップ406やステップ411で生成された障害物の虚像(全体輪郭、部分輪郭)、及び自車予測動線の虚像は、画像処理部115で前記調整が反映されて投影手段103に出力される(1104)。なお逆光自体は可視光カメラで判断可能であり、その場合でも前記各車載センサ110としてレーザーレーダーや赤外線カメラを用いて複合的に判断することにより、障害物の判定は可能となる。   First, the processing is started by starting the engine of the host vehicle 101 or starting the driver 102 (1101). As in the above-described embodiment, the driver's activation instruction operation may be performed via a touch panel or the like on a display installed near the center of the instrument panel, or a dedicated activation switch may be provided. Information acquired by the front camera 107 and other vehicle-mounted sensors 110 such as a laser radar is determined for external factors (1102). The determination of the external factor may be included as one of the risk determinations as the operation of the risk determination unit 112, or may be a single processing unit. As an external factor, for example, when backlight is recognized, the image processing unit 115 performs a process of adjusting the brightness of the virtual image (1103). The virtual image (overall contour, partial contour) of the obstacle generated in step 406 and step 411 and the virtual image of the predicted vehicle traffic line are output to the projection unit 103 with the adjustment reflected by the image processing unit 115 ( 1104). Note that the backlight itself can be determined by a visible light camera. Even in this case, the obstacle can be determined by making a composite determination using a laser radar or an infrared camera as each of the in-vehicle sensors 110.

図12は、前記処理によりコンバイナ105に投影され、運転者102に視認される前方風景の一例である。図2で使用のものには同一符号を付しており、詳細な説明を省略している。1201は障害物203の虚像、1202は自車予測動線の虚像である。また障害物の危険度は(3)B≧D>0の場合を示している。   FIG. 12 is an example of a front scene projected onto the combiner 105 by the above processing and visually recognized by the driver 102. Components used in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted. 1201 is a virtual image of the obstacle 203, and 1202 is a virtual image of the own vehicle predicted flow line. Moreover, the danger level of an obstacle has shown the case of (3) B> = D> 0.

逆光により、フロントシールド方向、つまりコンバイナ105全体の輝度が極端に高くなり、障害物203を含む外界の視認性が低下する。これに対して虚像1201及び虚像1202は一時的に明度を下げた状態(より黒色に近い状態)で表示される。また前述の実施形態では、危険度が(3)の場合は障害物の虚像は輪郭の下半分で表示するというように説明したが、外的要因の影響を受けている場合には、危険度によらず障害物の輪郭は全輪郭で示すようにする。運転者102は、逆光の中でも少なくとも障害物203と自車予測動線1202を認識できるため、外的要因の影響下でも安全性を確保できる。   Due to the backlight, the brightness of the front shield direction, that is, the entire combiner 105 becomes extremely high, and the visibility of the outside world including the obstacle 203 is lowered. On the other hand, the virtual image 1201 and the virtual image 1202 are displayed in a state where the brightness is temporarily lowered (a state closer to black). Further, in the above-described embodiment, it has been described that when the risk is (3), the virtual image of the obstacle is displayed in the lower half of the contour. However, when the risk is influenced by an external factor, the risk is Regardless, the contour of the obstacle is shown as a full contour. Since the driver 102 can recognize at least the obstacle 203 and the own vehicle predicted flow line 1202 even in the backlight, safety can be ensured even under the influence of external factors.

また本実施形態の変形例として、前記ステップ1103において虚像の明度を調整するのではなく、画像プレーンにおける虚像以外の部分の明度の調整を行うことも可能である。虚像以外の部分全体、あるいは逆光の光源を認識して、その部分に一時的に明度を下げるような虚像を生成、表示する。この場合虚像の画素間隔を粗くするなどして、視界遮断にならないような虚像として、安全性を確保することが可能である。   As a modification of the present embodiment, it is also possible to adjust the brightness of a portion other than the virtual image in the image plane, instead of adjusting the brightness of the virtual image in Step 1103. Recognizing the entire portion other than the virtual image or the light source of the backlight, a virtual image that temporarily lowers the brightness is generated and displayed on the portion. In this case, it is possible to ensure safety as a virtual image that does not block the field of view by, for example, increasing the pixel interval of the virtual image.

本実施形態において、障害物の危険度が(3)B≧D>0の場合について説明したが、危険度はこれに限定されるものではなく、これまでの実施形態で説明したいずれの場合でも、外的要因に対する処理を実施することが可能である。また外的要因として逆光の場合について示したが、雨や雪や霧といった環境要因や、夕暮れから夜間移行による前方視認性の低下時にも、本実施形態は適用可能である。例えば前方カメラ107で取得される画像データの輝度が低い場合は、障害物や自車予測動線の虚像も合わせて輝度を調整して表示するようにする。   In the present embodiment, the case where the danger level of the obstacle is (3) B ≧ D> 0 has been described, but the risk level is not limited to this, and in any case described in the previous embodiments. It is possible to carry out processing for external factors. Moreover, although the case of backlighting has been shown as an external factor, the present embodiment can also be applied to environmental factors such as rain, snow, and fog, and when forward visibility is reduced due to a shift from dusk to nighttime. For example, when the brightness of the image data acquired by the front camera 107 is low, the brightness and the virtual image of the predicted traffic line of the vehicle are also adjusted and displayed.

以上のように本発明の第4の実施形態によれば、障害物の虚像表示において外的要因により視認性の低下がある場合でも、虚像の表示調整を行うことにより、運転者に障害物を認識させることが可能な、安全性の高い情報表示システムを提供することができる。   As described above, according to the fourth embodiment of the present invention, even when there is a decrease in visibility due to an external factor in the virtual image display of the obstacle, the obstacle is displayed to the driver by adjusting the display of the virtual image. A highly secure information display system that can be recognized can be provided.

(実施の形態5)
次に本発明による情報表示システムの第5の実施形態について、図13と図14を用いて説明する。本実施形態は、フロントシールド越しの前方視野外に存在する障害物について、運転者に警告を通知する虚像表示の例を示すものである。なお情報表示システムとしての構成は図1に示す場合と同様なので、図1の各構成要素に付した番号を用いて説明する。
(Embodiment 5)
Next, a fifth embodiment of the information display system according to the present invention will be described with reference to FIGS. The present embodiment shows an example of a virtual image display for notifying a driver of an obstacle existing outside the front field of view through the front shield. Since the configuration of the information display system is the same as that shown in FIG. 1, description will be made using the numbers given to the respective components in FIG.

図13は本実施形態の動作フローを示す図である。動作フローとしては、図4、図10あるいは図11のいずれにも付加可能なものであるが、ここでは説明のため単独の動作フローとして説明する。   FIG. 13 is a diagram showing an operation flow of this embodiment. The operation flow can be added to any of FIG. 4, FIG. 10, or FIG. 11, but will be described here as a single operation flow for explanation.

まず自車両101のエンジン始動、あるいは運転者102の起動指示操作により処理を開始する(1301)。前述の実施形態と同様に、運転者の起動指示操作は、インストパネル中央近傍に設置されたディスプレイにおけるタッチパネル等を介して行われても良いし、専用の起動スイッチを設けても良い。前方カメラ107、またその他レーザーレーダーなどの各車載センサ110により、自車両前方を基準とする情報が取得される(1302)。例えば前記レーザーレーダーは、フロントシールド越しの前方視野よりも広範囲の情報を取得することが可能であり、また前記車載センサの一つとして、自車両の側面カメラ等を含めることにより、前方視野外に存在する障害物の存在を捉えることができる。障害物判定部111は、前述の実施形態と同様に前記前方視野外に存在する障害物について、その形状、進行方向、速度等を判定する(1303)。また同様に危険度判定部112は、車速センサなどから取得された情報を基に、前記判定結果を用いて前方視野外に存在する障害物の危険度を判定する(1304)。危険度は0かどうかが判断され(1305)、危険度が0であればステップ1302に戻る。危険度が0ではない場合、画像処理部115は運転者への警告用のマークを虚像として生成し、投影部103に出力する(1306)。この際前記マークの表示位置は、画像プレーン内で前記障害物の近傍位置となるようにする。危険度が0ではない場合は、前記虚像と同時に音声処理部116からスピーカ109に警告音を出力する(1307)。この際、前記障害物が前方視野外左側に居る場合は左スピーカから、前方視野外右側に居る場合は右スピーカから警告音を出力するように、音像を定位させる。   First, the process is started by starting the engine of the host vehicle 101 or starting the driver 102 (1301). As in the above-described embodiment, the driver's activation instruction operation may be performed via a touch panel or the like on a display installed near the center of the instrument panel, or a dedicated activation switch may be provided. Information on the basis of the front of the host vehicle is acquired by the front camera 107 and other in-vehicle sensors 110 such as a laser radar (1302). For example, the laser radar can acquire a wider range of information than the front field of view through the front shield, and by including a side camera of the host vehicle as one of the on-vehicle sensors, The presence of existing obstacles can be captured. The obstacle determination unit 111 determines the shape, traveling direction, speed, and the like of the obstacle present outside the front visual field as in the above-described embodiment (1303). Similarly, based on information acquired from a vehicle speed sensor or the like, the risk determination unit 112 determines the risk of an obstacle existing outside the front view using the determination result (1304). It is determined whether or not the risk is 0 (1305). If the risk is 0, the process returns to step 1302. When the degree of risk is not 0, the image processing unit 115 generates a warning mark for the driver as a virtual image and outputs the virtual image to the projection unit 103 (1306). At this time, the display position of the mark is set in the vicinity of the obstacle in the image plane. If the degree of risk is not 0, a warning sound is output from the sound processing unit 116 to the speaker 109 simultaneously with the virtual image (1307). At this time, the sound image is localized so that a warning sound is output from the left speaker when the obstacle is on the left side outside the front visual field and from the right speaker when the obstacle is on the right side outside the front visual field.

図14は、前記処理によりコンバイナ105に投影され、運転者102に視認される前方風景、及び前方視野外に障害物(自動車)を示した一例である。図2で使用のものには同一符号を付しており、詳細な説明を省略している。1401は前方視野外の障害物、1402は前記障害物の警告のために生成されたマークの虚像である。   FIG. 14 shows an example of a front view projected on the combiner 105 by the above processing and visually recognized by the driver 102, and an obstacle (automobile) outside the front view. Components used in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted. 1401 is an obstacle outside the front field of view, and 1402 is a virtual image of a mark generated for warning of the obstacle.

障害物1401は、その進行方向と速度、及び自車両の速度から危険度が0ではないと判定されている。そのためマーク1402が左から右に向かう矢印として、障害物1401の近傍となる位置に点滅表示される。また左スピーカ109Lからは警告音が出力される。運転者102は、前方視野外の障害物を方向を含めてマークと警告音で認識できるため、予め危険回避行動に移るなど、運転時における安全性を高めることができる。   The obstacle 1401 is determined not to have a risk of 0 based on the traveling direction and speed of the obstacle and the speed of the host vehicle. Therefore, the mark 1402 is blinked and displayed at a position near the obstacle 1401 as an arrow from the left to the right. A warning sound is output from the left speaker 109L. The driver 102 can recognize obstacles outside the forward visual field with a mark and a warning sound including the direction, so that safety during driving can be improved, such as moving to a risk avoidance action in advance.

なお本実施形態において、前方視野外の障害物の危険度が、0でなければ常に警告用のマーク表示と警告音の出力をするような構成について説明したが、危険度に段階を付けて、所定の危険度以上の場合に警告用のマーク表示と警告音の出力をするようにしたり、危険度に応じてマークの大きさ・形状、警告音の音量レベルを変化させたりすることも可能である。また警告用のマーク表示を行う危険度の段階と、警告音の出力をする危険度を異ならせて、マーク表示は予め行い、警告音はかなり危険度が高い場合のみ出力するようにすることもできる。また警告用のマーク表示を矢印で表示する場合について述べたが、運転者が認識可能なものであれば、その形状は特に限定されるものではない。さらに本実施形態には、自車両が直進する場合の安全性向上という効果だけではなく、側面カメラ等からの情報を利用することにより、右左折時の障害物巻き込みを回避できるという効果もある。   In the present embodiment, a configuration has been described in which a warning mark display and a warning sound are always output if the risk of an obstacle outside the front field of view is not 0. It is also possible to display a warning mark and output a warning sound when the risk level is higher than the specified level, or to change the size / shape of the mark and the volume level of the warning sound according to the risk level. is there. It is also possible to change the risk level for warning mark display and the risk level for warning sound output, so that the mark display is performed in advance and the warning sound is output only when the risk is very high. it can. Moreover, although the case where the warning mark display is displayed with an arrow has been described, the shape is not particularly limited as long as the driver can recognize it. Furthermore, the present embodiment has an effect that not only the effect of improving the safety when the host vehicle goes straight, but also the avoidance of obstacles at the time of turning left and right by using information from the side camera or the like.

以上のように本発明の第5の実施形態によれば、前方視野外の障害物を音像を定位させてマーク表示と警告音出力を行うことにより、運転者が視野外の障害物を事前に認知可能な、安全性の高い情報表示システムを提供することができる。   As described above, according to the fifth embodiment of the present invention, the obstacle is out of the field of vision by performing the mark display and warning sound output by localizing the sound image of the obstacle outside the front field of view. A recognizable and highly secure information display system can be provided.

(実施の形態6)
次に本発明による情報表示システムの第6の実施形態について、図15を用いて説明する。本実施形態は、前述のいずれの実施形態にも組み合わせることが可能であるが、ここでは説明のため、第1の実施形態に組み合わせた場合について述べる。なお情報表示システムとしての構成、動作フローについて特に説明を記さない箇所については、第1の実施形態の場合と同様とする。
(Embodiment 6)
Next, a sixth embodiment of the information display system according to the present invention will be described with reference to FIG. Although this embodiment can be combined with any of the above-described embodiments, a case where it is combined with the first embodiment will be described here for description. In addition, about the structure as an information display system, and the part which does not describe especially about an operation flow, it is the same as that of the case of 1st Embodiment.

図15は、本実施形態による処理に基づき、コンバイナ105に投影され、運転者102に視認される前方風景である。図3で使用のものには同一符号を付しており、詳細な説明を省略している。1501は運転者102へのアクション指示を示すマークの虚像である。障害物203の危険度が(2)A≧D>B、あるいは(1)D>Aである場合に、虚像301を表示するとともに、画像処理部115は運転者102へのアクション指示を示すマークを虚像として生成し、投影手段103よりコンバイナ105に表示する。ここでは障害物203の自車予測動線204に対する位置に応じて、虚像1501として左方向にステアリングを切るというアクション指示を、マークとして表示している。障害物の危険度が高い場合に、運転者102は障害物を認識するとともに、アクション指示をマークとして直感的に認識できるので、運転時における安全性を高めることができる。   FIG. 15 is a front landscape projected on the combiner 105 and visually recognized by the driver 102 based on the processing according to the present embodiment. Components used in FIG. 3 are denoted by the same reference numerals, and detailed description thereof is omitted. Reference numeral 1501 denotes a virtual image of a mark indicating an action instruction to the driver 102. When the risk level of the obstacle 203 is (2) A ≧ D> B or (1) D> A, the virtual image 301 is displayed, and the image processing unit 115 is a mark indicating an action instruction to the driver 102 Is generated as a virtual image and displayed on the combiner 105 by the projection means 103. Here, an action instruction to turn the steering to the left as a virtual image 1501 is displayed as a mark as a virtual image 1501 in accordance with the position of the obstacle 203 with respect to the predicted vehicle flow line 204. When the danger level of the obstacle is high, the driver 102 can recognize the obstacle and intuitively recognize the action instruction as a mark, so that safety during driving can be improved.

なお本実施形態における虚像1501の形状は特に限定されるものではなく、運転者が直感的に認識できるものであれば良い。またアクション指示内容はステアリングを切ることに限定されるものではなく、例えば制動(ブレーキ)をかける、クラクションを鳴らす、など複数設定することが可能であり、それぞれの内容に応じて虚像1501として表示するマーク形状を変える構成とすることができる。また虚像1501の表示位置は特に限定されるものではなく、運転者が認識し易い位置として、また障害物203の位置に応じてそれを妨げないように、状況に応じて変化させることもできる。さらに障害物203の危険度に応じて、虚像1501を点滅表示とすることも可能である。   In addition, the shape of the virtual image 1501 in this embodiment is not specifically limited, What is necessary is just what a driver | operator can recognize intuitively. Further, the action instruction content is not limited to turning the steering wheel, but a plurality of settings such as braking (braking), sounding a horn, etc. can be set and displayed as a virtual image 1501 according to each content. The mark shape can be changed. Further, the display position of the virtual image 1501 is not particularly limited, and can be changed according to the situation so that the driver can easily recognize the position and not obstruct the position according to the position of the obstacle 203. Further, the virtual image 1501 can be displayed in a blinking manner according to the danger level of the obstacle 203.

以上のように本発明の第6の実施形態によれば、障害物の危険度が高い場合に、運転者へのアクション指示を示すマークを虚像として表示することにより、安全性の高い情報表示システムを提供することができる。   As described above, according to the sixth embodiment of the present invention, when the danger level of an obstacle is high, the mark indicating the action instruction to the driver is displayed as a virtual image, thereby providing a highly safe information display system. Can be provided.

以上説明してきた本発明の全ての実施形態において、危険度が所定の閾値で処理が分岐するようなものとして説明している場合があるが、危険度に基づく処理分岐の段階は特に所定の値に限定されるものではない。また障害物の危険度が所定の値の場合に、障害物の輪郭、枠線などを下半分として表示する場合について述べたが、このサイズは特に限定されるものではなく、運転者が煩わしくない範囲で認識可能なサイズであれば良い。また障害物の危険度が高い場合に、虚像と警告音により運転者に通知する方法について述べたが、危険度が高い場合は前記通知と共に自車両の制動制御を行うような構成にすることも可能である。さらに前方風景の表示例において、自車予測動線を常に表示するような場合について述べたが、自車予測動線の表示は必須ではなく、運転者の指示操作により表示/非表示を切り替える構成にすることもできる。さらに以上の実施形態では、対向車線の車両等の表示については特に触れなかったが、対向車と認識したものについても、自車予測動線にかかる場合などは、その他の障害物と同様に警告表示、警告音の出力を行うような構成にすることが可能である。   In all of the embodiments of the present invention described above, there is a case where the process branches at a risk level of a predetermined threshold. However, the stage of the process branch based on the risk level is particularly a predetermined value. It is not limited to. In addition, when the obstacle risk level is a predetermined value, the case where the outline, frame line, etc. of the obstacle is displayed as the lower half has been described, but this size is not particularly limited and the driver is not bothered. Any size that can be recognized by the range is acceptable. In addition, the method of notifying the driver by a virtual image and a warning sound when the danger level of the obstacle is high has been described. However, when the danger level is high, the vehicle may be configured to perform braking control together with the notification. Is possible. Furthermore, in the display example of the forward scenery, the case where the own vehicle predicted flow line is always displayed has been described. It can also be. Furthermore, in the above embodiment, the indication of the vehicle etc. in the oncoming lane was not touched in particular. However, even if the vehicle is recognized as an oncoming vehicle, it will be warned in the same way as other obstacles when it falls on the predicted traffic line. It is possible to have a configuration that outputs a display and a warning sound.

また本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。さらに上記の各機能、処理部等は、それらの一部又は全部を、所定のハードウェアで実現しても良いし、ECU(Electronic Control Unit)内でそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。   The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. Furthermore, each of the above-described functions, processing units, etc. may be realized in part or in whole with predetermined hardware, or interpret a program that realizes each function within an ECU (Electronic Control Unit). It may be realized by software by executing.

101… 自車両
102… 運転者
103… 投影手段
104… ミラー
105… コンバイナ
106… 虚像面
107… 前方カメラ
108… 運転者カメラ
109、109L、109R… スピーカ
110… 車載各センサ
111… 障害物判定部
112… 危険度判定部
113… 視点位置判定部
114… 表示位置調整部
115… 画像処理部
116… 音声処理部
201… ステアリング
202… インストパネル
203、701… 障害物(歩行者)
204、1202… 自車予測動線を示す虚像
205、301、501、601、702、801、901、1201… 障害物の虚像
802、902… 障害物の予測動線を示す虚像
1401…前方視野外の障害物(自動車)
1402…警告マークを示す虚像
1501…アクション指示を示す虚像
DESCRIPTION OF SYMBOLS 101 ... Own vehicle 102 ... Driver 103 ... Projection means 104 ... Mirror 105 ... Combiner 106 ... Virtual image surface 107 ... Front camera 108 ... Driver camera 109, 109L, 109R ... Speaker 110 ... Each vehicle-mounted sensor 111 ... Obstacle determination part 112 ... Danger degree determination unit 113 ... Viewpoint position determination unit 114 ... Display position adjustment unit 115 ... Image processing unit 116 ... Sound processing unit 201 ... Steering 202 ... Instrument panels 203, 701 ... Obstacle (pedestrian)
204, 1202 ... virtual images 205, 301, 501, 601, 702, 801, 901, 1201 ... virtual images of obstacles 802, 902 ... virtual images 1401 showing obstacles' predicted flow lines outside the front field of view Obstacle (car)
1402 ... Virtual image 1501 indicating a warning mark ... Virtual image indicating an action instruction

Claims (5)

虚像を自車前方スクリーンに投影して表示することにより、運転支援情報を運転者に通知する情報表示システムであって、
前記虚像を生成する画像処理部と、生成された虚像を前記スクリーンに投影する投影部と、
自車前方周辺の情報を取得する車外情報取得部と、前記取得した情報により障害物を判定する障害物判定部と、
前記障害物の判定情報と自車状況に基づき前記障害物の危険度を判定する危険度判定部と、を備え、
前記車外情報取得部で取得された情報は視認性に関する情報を含み、
前記画像処理部は、前記虚像として、
前記危険度判定部により判定された前記障害物の危険度に応じて変化する、前記障害物を示すための第1の虚像と、
前記視認性に関する情報に応じて変化する、該第1の虚像以外の部分に表示される第2の虚像と、を生成し、
前記投影部は、前記画像処理部で生成された前記第1の虚像及び前記第2の虚像を前記スクリーンに投影し、
前記視認性に関する情報が逆光を示す場合、前記画像処理部は、前記第2の虚像として、前記スクリーン全体において前記逆光の明度を下げるための虚像を生成することを特徴とする情報表示システム。
An information display system for notifying a driver of driving support information by projecting and displaying a virtual image on the front screen of the vehicle,
An image processing unit that generates the virtual image; a projection unit that projects the generated virtual image onto the screen;
An outside information acquisition unit that acquires information around the front of the vehicle, an obstacle determination unit that determines an obstacle based on the acquired information,
A risk determination unit that determines the risk of the obstacle based on the determination information of the obstacle and the vehicle situation, and
The information acquired by the outside information acquisition unit includes information on visibility,
The image processing unit, as the virtual image,
A first virtual image for indicating the obstacle, which changes according to the obstacle risk determined by the risk determination unit;
Generating a second virtual image displayed in a portion other than the first virtual image, which changes according to the information on the visibility,
The projection unit projects the first virtual image and the second virtual image generated by the image processing unit onto the screen ,
When the information on visibility indicates backlight, the image processing unit generates a virtual image for reducing the brightness of the backlight on the entire screen as the second virtual image .
虚像を自車前方スクリーンに投影して表示することにより、運転支援情報を運転者に通知する情報表示システムであって、
前記虚像を生成する画像処理部と、生成された虚像を前記スクリーンに投影する投影部と、
自車前方周辺の情報を取得する車外情報取得部と、前記取得した情報により障害物を判定する障害物判定部と、
前記障害物の判定情報と自車状況に基づき前記障害物の危険度を判定する危険度判定部と、を備え、
前記車外情報取得部で取得された情報は視認性に関する情報を含み、
前記画像処理部は、前記虚像として、
前記危険度判定部により判定された前記障害物の危険度に応じて変化する、前記障害物を示すための第1の虚像と、
前記視認性に関する情報に応じて変化する、該第1の虚像以外の部分に表示される第2の虚像と、を生成し、
前記投影部は、前記画像処理部で生成された前記第1の虚像及び前記第2の虚像を前記スクリーンに投影し、
前記視認性に関する情報が逆光を示す場合、前記画像処理部は、前記第2の虚像として、前記逆光の光源部分において前記逆光の明度を下げるための虚像を生成することを特徴とする情報表示システム。
An information display system for notifying a driver of driving support information by projecting and displaying a virtual image on the front screen of the vehicle,
An image processing unit that generates the virtual image; a projection unit that projects the generated virtual image onto the screen;
An outside information acquisition unit that acquires information around the front of the vehicle, an obstacle determination unit that determines an obstacle based on the acquired information,
A risk determination unit that determines the risk of the obstacle based on the determination information of the obstacle and the vehicle situation, and
The information acquired by the outside information acquisition unit includes information on visibility,
The image processing unit, as the virtual image,
A first virtual image for indicating the obstacle, which changes according to the obstacle risk determined by the risk determination unit;
Generating a second virtual image displayed in a portion other than the first virtual image, which changes according to the information on the visibility,
The projection unit projects the first virtual image and the second virtual image generated by the image processing unit onto the screen ,
When the information on visibility indicates backlight, the image processing unit generates a virtual image for lowering the brightness of the backlight in the light source portion of the backlight as the second virtual image. .
請求項1または2記載の情報表示システムにおいて、
前記視認性に関する情報が逆光を示す場合、前記画像処理部は、前記第1の虚像の明度を低下させることを特徴とする情報表示システム。
The information display system according to claim 1 or 2 ,
The information display system, wherein when the information on visibility indicates backlight, the image processing unit reduces the brightness of the first virtual image.
請求項1または2記載の情報表示システムにおいて、
前記第1の虚像は、前記障害物を囲う虚像であることを特徴とする情報表示システム。
The information display system according to claim 1 or 2 ,
The information display system according to claim 1, wherein the first virtual image is a virtual image surrounding the obstacle.
請求項1または2記載の情報表示システムにおいて、
前記第1の虚像は、前記障害物の輪郭を表す虚像であることを特徴とする情報表示システム。
The information display system according to claim 1 or 2 ,
The information display system according to claim 1, wherein the first virtual image is a virtual image representing an outline of the obstacle.
JP2017121045A 2017-06-21 2017-06-21 Information display system Active JP6448714B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017121045A JP6448714B2 (en) 2017-06-21 2017-06-21 Information display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017121045A JP6448714B2 (en) 2017-06-21 2017-06-21 Information display system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015536382A Division JP6346614B2 (en) 2013-09-13 2013-09-13 Information display system

Publications (2)

Publication Number Publication Date
JP2017186008A JP2017186008A (en) 2017-10-12
JP6448714B2 true JP6448714B2 (en) 2019-01-09

Family

ID=60043762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017121045A Active JP6448714B2 (en) 2017-06-21 2017-06-21 Information display system

Country Status (1)

Country Link
JP (1) JP6448714B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10399564B2 (en) 2016-10-25 2019-09-03 Ford Global Technologies, Llc Vehicle roundabout management
KR102266640B1 (en) 2017-11-30 2021-06-18 현대모비스 주식회사 Head up display apparatus intergrated cluster
CN110614951A (en) * 2019-09-25 2019-12-27 的卢技术有限公司 Lens conversion method and system for reconstructing surrounding environment of vehicle
JP7264076B2 (en) * 2020-01-30 2023-04-25 いすゞ自動車株式会社 Notification device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006327527A (en) * 2005-05-30 2006-12-07 Honda Motor Co Ltd Safety device for vehicle running
JP2008062762A (en) * 2006-09-06 2008-03-21 Fujitsu Ten Ltd Drive assist device and drive assist method

Also Published As

Publication number Publication date
JP2017186008A (en) 2017-10-12

Similar Documents

Publication Publication Date Title
JP6346614B2 (en) Information display system
JP6272375B2 (en) Display control device for vehicle
JP6259482B2 (en) Display control device for vehicle
US10362230B2 (en) In-vehicle display device
JP6413207B2 (en) Vehicle display device
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
JP6252365B2 (en) Safety confirmation support system, safety confirmation support method
WO2019008764A1 (en) Parking assistance method and parking assistance device
JP6379779B2 (en) Vehicle display device
JP5136950B2 (en) In-vehicle device operation device
JP6448714B2 (en) Information display system
JP4943367B2 (en) Vehicle information display device
JP2007223338A (en) Display system, moving body, display method, display program and storage medium thereof
JP2017092678A (en) Vehicle image display system
JP2020091663A (en) Display controller for vehicles
JP5927784B2 (en) Obstacle warning device for vehicles
JP2019199135A (en) Vehicular display control device
JP4375153B2 (en) Vehicle display device
JP5073703B2 (en) Vehicle display device
CN115700196A (en) Display control device for vehicle, display control method for vehicle, and display device for vehicle
JP2011003117A (en) Backward visual recognition support system
JP2022126240A (en) Display device for vehicle
JP2021154888A (en) Display device for vehicle
JP7313896B2 (en) vehicle display
JP2018087852A (en) Virtual image display device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20171102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181204

R150 Certificate of patent or registration of utility model

Ref document number: 6448714

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250