JP7359205B2 - Display control method and display control device - Google Patents

Display control method and display control device Download PDF

Info

Publication number
JP7359205B2
JP7359205B2 JP2021519358A JP2021519358A JP7359205B2 JP 7359205 B2 JP7359205 B2 JP 7359205B2 JP 2021519358 A JP2021519358 A JP 2021519358A JP 2021519358 A JP2021519358 A JP 2021519358A JP 7359205 B2 JP7359205 B2 JP 7359205B2
Authority
JP
Japan
Prior art keywords
vehicle
display
image
virtual image
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021519358A
Other languages
Japanese (ja)
Other versions
JPWO2020230612A1 (en
Inventor
光 中尾
明 森本
宏亮 佐藤
昌平 中村
秀行 石丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2020230612A1 publication Critical patent/JPWO2020230612A1/ja
Application granted granted Critical
Publication of JP7359205B2 publication Critical patent/JP7359205B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits

Description

本発明は、表示制御方法及び表示制御装置に関する。 The present invention relates to a display control method and a display control device.

従来より、メータディスプレイ及びヘッドアップディスプレイに情報(例えば運転に関する情報)を表示する技術が知られている(特許文献1)。特許文献1に記載された表示装置は、メータディスプレイ及びヘッドアップディスプレイに同じ情報を表示する。 BACKGROUND ART Conventionally, a technique for displaying information (for example, information regarding driving) on a meter display and a head-up display is known (Patent Document 1). The display device described in Patent Document 1 displays the same information on a meter display and a head-up display.

特開2010-221730号公報Japanese Patent Application Publication No. 2010-221730

しかしながら、特許文献1のようにメータディスプレイ及びヘッドアップディスプレイに同じ情報を表示しても、ドライバがその情報を認識しにくいおそれがある。 However, even if the same information is displayed on the meter display and the head-up display as in Patent Document 1, it may be difficult for the driver to recognize the information.

本発明は、上記問題に鑑みて成されたものであり、その目的は、ドライバが情報を認識しやすくなるようにメータディスプレイ及びヘッドアップディスプレイに表示される情報を制御する表示制御方法及び表示制御装置を提供することである。 The present invention has been made in view of the above problems, and its purpose is to provide a display control method and display control for controlling information displayed on a meter display and a head-up display so that the driver can easily recognize the information. The purpose is to provide equipment.

本発明の一態様に係る表示制御方法は、車両の周囲の情報を取得し、取得した車両の周囲の情報を用いて、車両を上方から見たように車両の周囲を示す第1仮想画像を生成し、取得した車両の周囲の情報を用いて車両のドライバが前方を見たときの前方の光景を示す第2仮想画像を生成し、第1仮想画像をメータディスプレイに表示し、第2仮想画像をヘッドアップディスプレイに表示し、前記第1仮想画像及び前記第2仮想画像は、前記車両の側方を走行する側方車両の存在を示す画像を含み、更に、前記第1仮想画像は、前記側方車両を示す仮想アイコンを含む。 A display control method according to one aspect of the present invention acquires information about the surroundings of a vehicle, and uses the acquired information about the surroundings of the vehicle to create a first virtual image showing the surroundings of the vehicle as seen from above. A second virtual image is generated that shows the scene ahead when the driver of the vehicle looks forward using the generated and acquired information about the surroundings of the vehicle, the first virtual image is displayed on the meter display, and the second virtual image is displayed on the meter display. an image is displayed on a head-up display, the first virtual image and the second virtual image include an image indicating the presence of a side vehicle running beside the vehicle, and further, the first virtual image , including a virtual icon indicating the side vehicle.

本発明によれば、メータディスプレイ及びヘッドアップディスプレイに表示される情報をドライバが認識しやすくなる。 According to the present invention, the driver can easily recognize the information displayed on the meter display and the head-up display.

図1は、本発明の実施形態に係る車両の構成例を示す概略外観図である。FIG. 1 is a schematic external view showing a configuration example of a vehicle according to an embodiment of the present invention. 図2は、本発明の実施形態に係る車両の構成例を示すブロック図である。FIG. 2 is a block diagram showing a configuration example of a vehicle according to an embodiment of the present invention. 図3は、ドライバから見た光景の一例を示す図である。FIG. 3 is a diagram showing an example of a scene seen from a driver. 図4は、本発明の実施形態に係る仮想画像の一例を示す図である。FIG. 4 is a diagram illustrating an example of a virtual image according to an embodiment of the present invention. 図5は、本発明の実施形態に係る仮想区画線の一例を示す図である。FIG. 5 is a diagram showing an example of a virtual partition line according to an embodiment of the present invention. 図6は、本発明の実施形態に係る仮想区画線の他の例を示す図である。FIG. 6 is a diagram showing another example of the virtual partition line according to the embodiment of the present invention. 図7は、本発明の実施形態に係る仮想区画線の他の例を示す図である。FIG. 7 is a diagram showing another example of the virtual partition line according to the embodiment of the present invention. 図8は、本発明の変形例1に係る仮想画像を示す図である。FIG. 8 is a diagram showing a virtual image according to modification example 1 of the present invention. 図9は、本発明の変形例2に係る仮想画像を示す図である。FIG. 9 is a diagram showing a virtual image according to modification example 2 of the present invention. 図10は、本発明の変形例2に係る仮想画像を示す図である。FIG. 10 is a diagram showing a virtual image according to modification example 2 of the present invention. 図11は、本発明の変形例2に係る仮想画像を示す図である。FIG. 11 is a diagram showing a virtual image according to modification example 2 of the present invention. 図12は、本発明の変形例3に係る仮想画像を示す図である。FIG. 12 is a diagram showing a virtual image according to modification example 3 of the present invention.

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。 Embodiments of the present invention will be described below with reference to the drawings. In the description of the drawings, the same parts are denoted by the same reference numerals and the description thereof will be omitted.

(第1実施形態)
(車両の構成例)
図1を参照して、車両1の構成例を説明する。本実施形態において、車両1は自動運転機能を備える。
(First embodiment)
(Example of vehicle configuration)
An example of the configuration of the vehicle 1 will be described with reference to FIG. In this embodiment, the vehicle 1 is equipped with an automatic driving function.

図1に示すように、車両1の前方(車体の前方)にはフロントレーダ11が設けられる。フロントレーダ11は、車両1の前方の物体(例えば先行車両)に電波を発射し、その反射波を測定することにより、物体までの距離及び方向を測定する。また、車体の前側方にはフロントサイドレーダ12が設けられる。フロントサイドレーダ12は、車両1の前側方の物体(例えば前方の側方車両)に電波を発射し、その反射波を測定することにより、物体までの距離及び方向を測定する。また、車体の後側方にはリアサイドレーダ13が設けられる。リアサイドレーダ13は、車両1の後側方の物体(例えば後方の側方車両)に電波を発射し、その反射波を測定することにより、物体までの距離及び方向を測定する。 As shown in FIG. 1, a front radar 11 is provided in front of the vehicle 1 (in front of the vehicle body). The front radar 11 measures the distance and direction to the object by emitting radio waves to an object in front of the vehicle 1 (for example, a preceding vehicle) and measuring the reflected waves. Further, a front side radar 12 is provided on the front side of the vehicle body. The front side radar 12 measures the distance and direction to the object by emitting radio waves to an object on the front side of the vehicle 1 (for example, a front side vehicle) and measuring the reflected wave. Further, a rear side radar 13 is provided on the rear side of the vehicle body. The rear side radar 13 measures the distance and direction to the object by emitting radio waves to an object on the rear side of the vehicle 1 (for example, a rear side vehicle) and measuring the reflected wave.

車体の前方、側方、後方、サイドミラーには複数のカメラ10が設けられる。カメラ10は、CCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)などの撮像素子を有する。カメラ10は、車両1の周囲に存在する物体(歩行者、自転車、二輪車、他車両など)、及び車両1の周囲の情報(道路境界線、信号機、標識など)を検出する。 A plurality of cameras 10 are provided at the front, side, rear, and side mirrors of the vehicle body. The camera 10 includes an image sensor such as a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). The camera 10 detects objects around the vehicle 1 (pedestrians, bicycles, motorcycles, other vehicles, etc.) and information around the vehicle 1 (road boundaries, traffic lights, signs, etc.).

車体の前方には複数のソナー14が設けられる。ソナー14は、超音波を発射しその反射波を測定することにより、車両1の近傍(例えば1~2m程度)の物体までの距離及び方向を測定する。 A plurality of sonar 14 are provided in front of the vehicle body. The sonar 14 measures the distance and direction to an object near the vehicle 1 (for example, about 1 to 2 meters) by emitting ultrasonic waves and measuring the reflected waves.

車両1のインストルメントパネルにはGPS受信機15が設けられる。GPS受信機15は、人工衛星からの電波を受信することにより、地上における車両1の位置情報を検出する。GPS受信機15が検出する車両1の位置情報には、緯度情報、及び経度情報が含まれる。なお、車両1の位置情報を検出する方法は、GPS受信機15に限定されない。例えば、オドメトリと呼ばれる方法を用いて位置を推定してもよい。オドメトリとは、車両1の回転角、回転角速度に応じて車両1の移動量及びと移動方向を求めることにより、車両1の位置を推定する方法である。 A GPS receiver 15 is provided on the instrument panel of the vehicle 1. The GPS receiver 15 detects position information of the vehicle 1 on the ground by receiving radio waves from an artificial satellite. The position information of the vehicle 1 detected by the GPS receiver 15 includes latitude information and longitude information. Note that the method for detecting the position information of the vehicle 1 is not limited to the GPS receiver 15. For example, the position may be estimated using a method called odometry. Odometry is a method of estimating the position of the vehicle 1 by determining the amount and direction of movement of the vehicle 1 according to the rotation angle and rotational angular velocity of the vehicle 1.

インストルメントパネルの運転席近傍にはメータディスプレイ30が設けられる。メータディスプレイ30は、乗員に各種情報を知らせる装置である。メータディスプレイ30は、例えば液晶パネルで構成され、スピードメータ、タコメータなどを画像で表示する。さらに、メータディスプレイ30は、後述する仮想画像生成部21が生成した仮想画像も表示する。 A meter display 30 is provided on the instrument panel near the driver's seat. The meter display 30 is a device that notifies the occupants of various information. The meter display 30 is composed of, for example, a liquid crystal panel, and displays a speedometer, tachometer, etc. as an image. Furthermore, the meter display 30 also displays a virtual image generated by a virtual image generation unit 21, which will be described later.

車両1のフロントガラスにはヘッドアップディスプレイ40が設けられる。ヘッドアップディスプレイ40は、フロントガラスを表示画面とする装置であり、メータディスプレイ30と同様に乗員に各種情報を知らせる。 A head-up display 40 is provided on the windshield of the vehicle 1. The head-up display 40 is a device that uses the windshield as a display screen, and similarly to the meter display 30, it informs the occupant of various information.

車両1には車両ECU25が設けられる。車両ECU25(Electronic Control Unit)は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、CAN(Controller Area Network)通信回路などを有する電子制御ユニットである。車両ECU25は、予め設定された経路に沿って自動走行するように、カメラ10などによって取得された情報を用いてアクセルアクチュエータ16、ステアリングアクチュエータ17、ブレーキアクチュエータ18などの各種アクチュエータを制御する。これにより、自動運転が実現する。 The vehicle 1 is provided with a vehicle ECU 25. The vehicle ECU 25 (Electronic Control Unit) includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and a CAN (Control ler Area Network) is an electronic control unit that includes a communication circuit and the like. Vehicle ECU 25 controls various actuators such as accelerator actuator 16, steering actuator 17, and brake actuator 18 using information acquired by camera 10 and the like so that the vehicle automatically travels along a preset route. This will enable autonomous driving.

車両1にはコントローラ20が設けられる。コントローラ20は、例えば汎用のマイクロコンピュータである。コントローラ20は車両ECU25と同様に、CPU、メモリなどを備える。マイクロコンピュータには、表示制御装置として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、表示制御装置が備える複数の情報処理回路として機能する。なお、ここでは、ソフトウェアによって表示制御装置が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。 The vehicle 1 is provided with a controller 20 . The controller 20 is, for example, a general-purpose microcomputer. Like the vehicle ECU 25, the controller 20 includes a CPU, memory, and the like. A computer program for functioning as a display control device is installed in the microcomputer. By executing the computer program, the microcomputer functions as a plurality of information processing circuits included in the display control device. Note that here we will show an example in which multiple information processing circuits included in a display control device are realized by software, but of course, dedicated hardware for executing each of the information processes shown below is prepared and the information processing circuits are implemented using software. It is also possible to configure Further, the plurality of information processing circuits may be configured by individual hardware.

なお、カメラ10、フロントレーダ11、フロントサイドレーダ12、リアサイドレーダ13、ソナー14に代表されるセンサは一例であり、その他のセンサが車両1に設けられてもよい。その他のセンサには、車輪速センサ、ジャイロセンサなどが含まれる。以下ではカメラ10、フロントレーダ11、フロントサイドレーダ12、リアサイドレーダ13、ソナー14をまとめてカメラ10など、と表現する場合がある。図1に示すカメラ10などの設置場所、個数は一例であり、カメラ10などは他の場所に設置されてもよい。 Note that the sensors represented by the camera 10, the front radar 11, the front side radar 12, the rear side radar 13, and the sonar 14 are merely examples, and other sensors may be provided in the vehicle 1. Other sensors include wheel speed sensors, gyro sensors, and the like. Below, the camera 10, front radar 11, front side radar 12, rear side radar 13, and sonar 14 may be collectively expressed as the camera 10, etc. The installation location and number of the cameras 10 and the like shown in FIG. 1 are merely examples, and the cameras 10 and the like may be installed at other locations.

なお、図示は省略するが車両1は地図データベースを備える。地図データベースには道路情報、施設情報など経路案内に必要となる地図情報が記憶されている。道路情報とは、例えば、道路の車線数、道路境界線、車線の接続関係などに関する情報である。ただし必ずしも車両1が地図データベースを備える必要はない。地図情報は、カメラ10などにより取得されてもよく、また車車間通信、路車間通信を用いて取得されてもよい。また、地図情報が外部に設置されたサーバに記憶されている場合、車両1は、通信により随時地図情報などをサーバから取得してもよい。また、車両1はサーバから定期的に最新の地図情報を入手して、保有する地図情報を更新してもよい。 Although not shown, the vehicle 1 includes a map database. The map database stores map information necessary for route guidance, such as road information and facility information. The road information is, for example, information regarding the number of lanes on a road, road boundary lines, connection relationships between lanes, and the like. However, the vehicle 1 does not necessarily need to be equipped with a map database. The map information may be acquired by the camera 10 or the like, or may be acquired using vehicle-to-vehicle communication or road-to-vehicle communication. Furthermore, if the map information is stored in a server installed externally, the vehicle 1 may acquire the map information etc. from the server at any time through communication. Further, the vehicle 1 may periodically obtain the latest map information from the server and update the map information it possesses.

次に、図2を参照して、コントローラ20の機能を説明する。 Next, the functions of the controller 20 will be explained with reference to FIG.

図2に示すように、カメラ10、フロントレーダ11、フロントサイドレーダ12、リアサイドレーダ13、ソナー14、及びGPS受信機15は、取得した情報をコントローラ20及び車両ECU25に出力する。車両ECU25の機能は上述した通りである。 As shown in FIG. 2, camera 10, front radar 11, front side radar 12, rear side radar 13, sonar 14, and GPS receiver 15 output acquired information to controller 20 and vehicle ECU 25. The functions of the vehicle ECU 25 are as described above.

コントローラ20は、複数の情報処理回路として、仮想画像生成部21、表示制御部22を備える。 The controller 20 includes a virtual image generation section 21 and a display control section 22 as a plurality of information processing circuits.

仮想画像生成部21は、仮想視点の位置及び向きを計算する。仮想視点とは、車両1を後方上空から見下ろす視点である。仮想視点の位置は、車両1の車幅方向に対する中心軸上に設定されるものとして説明するが、仮想視点の位置はこれに限定されない。仮想視点の向きとは、仮想視点の位置から車両1を見下ろしたときの視線の方向と、仮想視点の位置の水平面とがなす角度である。 The virtual image generation unit 21 calculates the position and orientation of the virtual viewpoint. The virtual viewpoint is a viewpoint looking down on the vehicle 1 from behind and above. Although the position of the virtual viewpoint will be described as being set on the central axis of the vehicle 1 in the vehicle width direction, the position of the virtual viewpoint is not limited to this. The direction of the virtual viewpoint is the angle between the direction of the line of sight when looking down on the vehicle 1 from the position of the virtual viewpoint and the horizontal plane at the position of the virtual viewpoint.

続いて仮想画像生成部21は、カメラ10などが検出した情報と、計算した仮想視点とを用いて、仮想視点から見下ろした画像となるように仮想画像を生成する。換言すれば、仮想画像生成部21は、車両1を上方から見たように車両1の周囲を示す仮想画像を生成する。このような車両1を上方から見たように車両1の周囲を示す仮想画像を、以下では俯瞰画像と表現する場合がある。 Next, the virtual image generation unit 21 uses information detected by the camera 10 or the like and the calculated virtual viewpoint to generate a virtual image so as to be an image looking down from the virtual viewpoint. In other words, the virtual image generation unit 21 generates a virtual image showing the surroundings of the vehicle 1 as if the vehicle 1 were viewed from above. A virtual image showing the surroundings of the vehicle 1 as seen from above may be hereinafter referred to as an overhead image.

また、仮想画像生成部21は、カメラ10などが検出した情報を用いて車両1のドライバが前方を見たときの前方の光景を示す仮想画像を生成する。このような車両1のドライバが前方を見たときの前方の光景を示す仮想画像を、以下では前方画像と表現する場合がある。なお、仮想画像生成部21は、カメラ10のみによって検出された情報に基づいて仮想画像を生成してもよい。 Further, the virtual image generation unit 21 generates a virtual image showing the scene ahead when the driver of the vehicle 1 looks forward, using information detected by the camera 10 or the like. A virtual image showing the scene ahead when the driver of the vehicle 1 looks forward may be hereinafter referred to as a forward image. Note that the virtual image generation unit 21 may generate the virtual image based on information detected only by the camera 10.

表示制御部22は、仮想画像生成部21によって生成された俯瞰画像をメータディスプレイ30に表示する。また、表示制御部22は、仮想画像生成部21によって生成された前方画像をヘッドアップディスプレイ40に表示する。さらに、表示制御部22は、俯瞰画像及び前方画像に表示する情報を加工する機能も有する。例えば、表示制御部22は、俯瞰画像及び前方画像に文字情報を表示したり、警告情報を表示したりすることができる。文字情報の一例として、システムが提案するオートレーンチェンジの承認をドライバに促す情報が挙げられる。警告情報の一例として、自動運転モードから手動運転モードへの移行を促す情報が挙げられる。オートレーンチェンジとは、自動的に行われる車線変更を意味する。例えば、先行車両の速度が遅いなどの理由でシステムが車線変更が必要と判断した場合、システムはドライバに対し車線変更を提案する。ドライバがシステムの提案を承認した場合、オートレーンチェンジが行われる。システムの提案を承認する方法は、例えばステアリングホイールに設けられたスイッチを押すことが挙げられる。なお、システムとは、自動運転を制御する機構の総称であり、車両ECU25などによって構成される。 The display control unit 22 displays the bird's-eye view image generated by the virtual image generation unit 21 on the meter display 30. Further, the display control unit 22 displays the front image generated by the virtual image generation unit 21 on the head-up display 40. Furthermore, the display control unit 22 also has a function of processing information displayed on the bird's-eye view image and the front image. For example, the display control unit 22 can display text information or warning information on the overhead image and the front image. An example of text information is information that prompts the driver to approve an automatic lane change proposed by the system. An example of warning information is information that prompts a transition from automatic driving mode to manual driving mode. Auto lane change means changing lanes automatically. For example, if the system determines that a lane change is necessary because the vehicle in front is slow, the system will suggest a lane change to the driver. If the driver accepts the system's suggestion, an automatic lane change will occur. An example of a method for approving the system's proposal is to press a switch provided on the steering wheel. Note that the system is a general term for mechanisms that control automatic driving, and is configured by the vehicle ECU 25 and the like.

本実施形態では、コントローラ20と、カメラ10などが一体となって、表示制御装置を構成する。 In this embodiment, the controller 20, camera 10, etc. are integrated to form a display control device.

次に、図3を参照してドライバから見た光景の一例について説明する。図3に示すように、ドライバはメータディスプレイ30及びヘッドアップディスプレイ40に表示される仮想画像を見ることによって、車両1の周囲の状況を確認することができる。 Next, an example of the scene seen from the driver will be described with reference to FIG. 3. As shown in FIG. 3, the driver can check the surroundings of the vehicle 1 by viewing the virtual images displayed on the meter display 30 and the head-up display 40.

次に、図4を参照してメータディスプレイ30及びヘッドアップディスプレイ40に表示される仮想画像について説明する。なお、図4は、図3のメータディスプレイ30及びヘッドアップディスプレイ40のみを取り出した図である。後述する図8、図12においても同様である。 Next, virtual images displayed on the meter display 30 and the head-up display 40 will be described with reference to FIG. 4. Note that FIG. 4 is a diagram in which only the meter display 30 and head-up display 40 of FIG. 3 are taken out. The same applies to FIGS. 8 and 12, which will be described later.

図4に示すように、メータディスプレイ30の中央には車両1を上方から見たように車両1の周囲を示す俯瞰画像(第1仮想画像)が表示される。メータディスプレイ30の左右の端部には、メータ(例えばスピードメータとタコメータ)の一部が表示される。メータの全部が表示されてもよい。メータディスプレイ30の表示において、50は車両1を示す仮想アイコンであり、51は車両1の前方を走行する先行車両を示す仮想アイコンである。メータディスプレイ30の表示において、車両1(仮想アイコン50)は2車線道路の左側を走行していることを示す。 As shown in FIG. 4, an overhead image (first virtual image) showing the surroundings of the vehicle 1 as seen from above is displayed at the center of the meter display 30. Parts of meters (for example, a speedometer and a tachometer) are displayed on the left and right ends of the meter display 30. The entire meter may be displayed. In the display on the meter display 30, 50 is a virtual icon indicating the vehicle 1, and 51 is a virtual icon indicating a preceding vehicle running in front of the vehicle 1. The display on the meter display 30 indicates that the vehicle 1 (virtual icon 50) is traveling on the left side of a two-lane road.

図4に示すように、ヘッドアップディスプレイ40には車両1のドライバが前方を見たときの前方の光景を示す前方画像(第2仮想画像)が表示される。ヘッドアップディスプレイ40の中央の下方にはステアリングホイールを示す仮想アイコンが表示される。図4に示す位置にステアリングホイールを示す仮想アイコンを表示する理由は、ヘッドアップディスプレイ40に表示される画像がドライバの視点(前方視点)における画像であることをドライバに示すためである。ヘッドアップディスプレイ40の表示において、メータディスプレイ30の表示と異なり、車両1が走行している車線のみが表示される。 As shown in FIG. 4, a front image (second virtual image) showing the scene ahead when the driver of the vehicle 1 looks forward is displayed on the head-up display 40. A virtual icon representing a steering wheel is displayed below the center of the head-up display 40. The reason why the virtual icon representing the steering wheel is displayed at the position shown in FIG. 4 is to indicate to the driver that the image displayed on the head-up display 40 is an image from the driver's viewpoint (front viewpoint). In the display on the head-up display 40, unlike the display on the meter display 30, only the lane in which the vehicle 1 is traveling is displayed.

ヘッドアップディスプレイ40の表示はドライバの視線と重なり、走行中の多くの時間に渡ってドライバの視界に入り続けるため、シンプルな表示が好ましい。そこで、本実施形態では、ヘッドアップディスプレイ40には、ドライバが前方を見たときの前方の光景を示す仮想画像が表示される。これにより、ドライバは違和感なく仮想画像を見ることができ、情報を認識しやすくなる。 Since the display on the head-up display 40 overlaps with the driver's line of sight and remains in the driver's field of vision for much of the time while the vehicle is driving, a simple display is preferable. Therefore, in this embodiment, the head-up display 40 displays a virtual image showing the scene ahead when the driver looks ahead. As a result, the driver can view the virtual image without feeling uncomfortable, making it easier to recognize information.

走行中において、ドライバがメータディスプレイ30を見る頻度及びメータディスプレイ30を見ている時間は、ヘッドアップディスプレイ40と比較して少ない。このため、メータディスプレイ30の表示は、ヘッドアップディスプレイ40の表示と比較して情報量が多くなったとしても、ドライバが感じる煩わしさは少ないと考えられる。そこで本実施形態では、メータディスプレイ30には車両1の周囲を示す仮想画像が表示される。このような仮想画像には、車両1が走行中の道路構造、車両1と周囲車両(先行車両だけでなく側方車両も含まれる)との位置関係などが表示されるため、ドライバは一目で周囲の情報を認識することが可能となる。 While driving, the frequency that the driver looks at the meter display 30 and the amount of time that the driver looks at the meter display 30 are less than the head-up display 40. Therefore, even if the amount of information displayed on the meter display 30 is larger than that displayed on the head-up display 40, it is thought that the driver will feel less bothersomeness. Therefore, in this embodiment, a virtual image showing the surroundings of the vehicle 1 is displayed on the meter display 30. Such a virtual image displays the road structure on which the vehicle 1 is traveling, the positional relationship between the vehicle 1 and surrounding vehicles (including not only the preceding vehicle but also vehicles on the side), so the driver can understand the situation at a glance. It becomes possible to recognize surrounding information.

なお、俯瞰画像は、図4に示すように3次元画像である。一方、前方画像は、図4に示すように2次元画像である。 Note that the bird's-eye view image is a three-dimensional image as shown in FIG. On the other hand, the front image is a two-dimensional image as shown in FIG.

次に、図5~7を参照して、俯瞰画像及び前方画像の区画線について説明する。 Next, the partition lines of the bird's-eye view image and the front image will be explained with reference to FIGS. 5 to 7.

図5に示すように、ヘッドアップディスプレイ40に表示される前方画像上の区画線60(破線)の幅は、メータディスプレイ30に表示される俯瞰画像上の区画線70(破線)の幅より太い。 As shown in FIG. 5, the width of the partition line 60 (dashed line) on the front image displayed on the head-up display 40 is thicker than the width of the partition line 70 (dashed line) on the overhead image displayed on the meter display 30. .

ヘッドアップディスプレイ40の表示は、フロントガラスに投影されるため、色が透過してしまい細い線は認識しにくい。そこで、本実施形態では、前方画像上の区画線60の幅を俯瞰画像上の区画線70の幅より太くした。これにより、前方画像上の区画線60の視認性が向上する。俯瞰画像上の区画線70の幅は、実際の車両1と区画線70の幅との関係に近い太さとした。これにより、ドライバは違和感なく周囲の情報を認識することが可能となる。 Since the display on the head-up display 40 is projected onto the windshield, colors are transmitted through it, making it difficult to recognize thin lines. Therefore, in this embodiment, the width of the partition line 60 on the front image is made wider than the width of the partition line 70 on the overhead image. This improves the visibility of the partition line 60 on the front image. The width of the marking line 70 on the bird's-eye view image was made close to the relationship between the width of the actual vehicle 1 and the marking line 70. This allows the driver to recognize surrounding information without feeling uncomfortable.

なお、図6に示すように、実線を示す区画線61、71においても、ヘッドアップディスプレイ40に表示される前方画像上の区画線61の幅は、メータディスプレイ30に表示される俯瞰画像上の区画線71の幅より太い。また、図7に示すように、破線と実線の組み合わせにおいても同様である。 Note that, as shown in FIG. 6, even for the solid marking lines 61 and 71, the width of the marking line 61 on the front image displayed on the head-up display 40 is the same as that on the overhead image displayed on the meter display 30. It is thicker than the width of the partition line 71. Further, as shown in FIG. 7, the same applies to the combination of broken lines and solid lines.

(変形例1)
次に、図8を参照してメータディスプレイ30及びヘッドアップディスプレイ40に表示される仮想画像の変形例1について説明する。変形例1は側方車両の存在を示す表示方法に関する。
(Modification 1)
Next, a first modification of the virtual image displayed on the meter display 30 and the head-up display 40 will be described with reference to FIG. 8. Modification 1 relates to a display method for indicating the presence of a side vehicle.

図8において、52は車両1(仮想アイコン50)の右側方を走行する側方車両を示す仮想アイコンである。図8に示すように、側方車両が検出された場合、メータディスプレイ30には、側方車両の存在を示す仮想的な側方画像80が表示される。つまり、メータディスプレイ30には、仮想アイコン52及び側方画像80の両方が表示される。一方、ヘッドアップディスプレイ40には、側方画像81のみ表示される。側方画像80、81の形状は、四角形状として説明するが、これに限定されない。側方画像80、81の形状は、側方車両の存在をドライバに知らせることができれば足りるため、楕円形状でもよい。 In FIG. 8, 52 is a virtual icon indicating a side vehicle running on the right side of vehicle 1 (virtual icon 50). As shown in FIG. 8, when a side vehicle is detected, a virtual side image 80 indicating the presence of the side vehicle is displayed on the meter display 30. That is, both the virtual icon 52 and the side image 80 are displayed on the meter display 30. On the other hand, only the side image 81 is displayed on the head-up display 40. Although the shape of the side images 80 and 81 will be described as a rectangular shape, it is not limited to this. The shapes of the side images 80 and 81 may be elliptical as long as they can notify the driver of the presence of the vehicle on the side.

本実施形態において、側方画像81の彩度及び明度のそれぞれは、側方画像81のほうが側方画像80より高い。例えば、側方画像81の色が黄色である場合、側方画像81の色は茶色である。ヘッドアップディスプレイ40の表示は、フロントガラスに投影されるため、色が透過してしまい薄い色は認識しにくい。そこで、本実施形態では側方画像81の彩度及び明度を高くした。これにより、側方画像81の視認性が向上する。一方、メータディスプレイ30の表示においては、仮想アイコン52が表示されているため、側方画像81を目立たせる理由は乏しい。さらに、側方画像80の表示は、警告ではなく、単なる注意喚起であるため、この観点からも側方画像80を目立たせる理由は乏しい。そこで、側方画像81の彩度及び明度を側方画像81の彩度及び明度より低くした。 In this embodiment, the side image 81 has higher saturation and brightness than the side image 80 . For example, when the color of the side image 81 is yellow, the color of the side image 81 is brown. Since the display on the head-up display 40 is projected onto the windshield, colors are transmitted through the display, making it difficult to recognize pale colors. Therefore, in this embodiment, the saturation and brightness of the side image 81 are increased. This improves the visibility of the side image 81. On the other hand, since the virtual icon 52 is displayed on the meter display 30, there is little reason to make the side image 81 stand out. Furthermore, since the display of the side image 80 is not a warning but merely a call to attention, from this point of view as well, there is little reason to make the side image 80 stand out. Therefore, the saturation and brightness of the side image 81 were made lower than the saturation and brightness of the side image 81.

なお、メータディスプレイ30に表示される仮想アイコン51、52は、動的である。つまり、車両1と先行車両との相対距離、相対速度に応じて、仮想アイコン51はメータディスプレイ30上で動く。例えば、車両1と先行車両との相対距離が短くなれば、仮想アイコン51はメータディスプレイ30上で仮想アイコン50に近づくように動く。側方車両についても同様であり、車両1と側方車両との相対距離、相対速度に応じて、仮想アイコン52はメータディスプレイ30上で動く。すなわち、メータディスプレイ30に表示される他車両(バイクも含む)を示す仮想アイコンは、実際の走行シーンを車両1の後方上空から見た際と同様のシーンとなるように表示される。 Note that the virtual icons 51 and 52 displayed on the meter display 30 are dynamic. That is, the virtual icon 51 moves on the meter display 30 according to the relative distance and relative speed between the vehicle 1 and the preceding vehicle. For example, if the relative distance between the vehicle 1 and the preceding vehicle becomes shorter, the virtual icon 51 moves closer to the virtual icon 50 on the meter display 30. The same applies to the side vehicle, and the virtual icon 52 moves on the meter display 30 according to the relative distance and relative speed between the vehicle 1 and the side vehicle. That is, virtual icons indicating other vehicles (including motorcycles) displayed on the meter display 30 are displayed in a manner similar to the actual driving scene viewed from above the rear of the vehicle 1.

一方、ヘッドアップディスプレイ40に表示される仮想アイコン51は、静的である。つまり、ヘッドアップディスプレイ40に表示される仮想アイコン51は、先行車両が検出された場合に先行車両を示すものとして表示されるものであり、車両1と先行車両との相対距離が変化しても、アイコンの大きさ及び表示される位置は変化しない。なお、先行車両が遠くに進み、カメラ10などで先行車両が検出されなくなった場合、仮想アイコン51は表示されなくなる。すなわち、ヘッドアップディスプレイ40に表示される仮想アイコン51は、先行車両が検出されれば表示され、先行車両が検出されない場合は表示されないものであり、検出の有無によって表示のオンオフが切り替えられる。 On the other hand, the virtual icon 51 displayed on the head-up display 40 is static. In other words, the virtual icon 51 displayed on the head-up display 40 is displayed to indicate the preceding vehicle when the preceding vehicle is detected, and even if the relative distance between the vehicle 1 and the preceding vehicle changes. , the icon size and displayed position do not change. Note that when the preceding vehicle travels far and is no longer detected by the camera 10 or the like, the virtual icon 51 is no longer displayed. That is, the virtual icon 51 displayed on the head-up display 40 is displayed when a preceding vehicle is detected, and is not displayed when a preceding vehicle is not detected, and the display is switched on and off depending on whether the preceding vehicle is detected.

(変形例2)
次に、図9~図11を参照してメータディスプレイ30及びヘッドアップディスプレイ40に表示される仮想画像の変形例2について説明する。変形例2はメータディスプレイ30に表示される車両1(仮想アイコン50)の仮想ブレーキランプ、仮想ウィンカーランプの表示方法に関する。
(Modification 2)
Next, a second modification of the virtual image displayed on the meter display 30 and the head-up display 40 will be described with reference to FIGS. 9 to 11. Modification 2 relates to a method of displaying virtual brake lamps and virtual blinker lamps of vehicle 1 (virtual icon 50) displayed on meter display 30.

図9に示すように、メータディスプレイ30に表示される仮想アイコン50には、仮想ブレーキランプ90が重畳して表示される。仮想ブレーキランプ90は、車両1の実際のブレーキランプの点灯と同期して仮想的に点灯するように制御される。ここでいう点灯とは、連続点灯を意味する。実際のブレーキランプの点灯と同期してメータディスプレイ30の仮想ブレーキランプ90が点灯することにより、ドライバはブレーキランプが正常に点灯していることを容易に確認することができる。これにより、自動運転の減速時などにおける不安が軽減される。 As shown in FIG. 9, a virtual brake lamp 90 is displayed superimposed on the virtual icon 50 displayed on the meter display 30. The virtual brake lamp 90 is controlled to virtually turn on in synchronization with the lighting of the actual brake lamp of the vehicle 1. Lighting here means continuous lighting. By lighting the virtual brake lamp 90 on the meter display 30 in synchronization with the lighting of the actual brake lamp, the driver can easily confirm that the brake lamp is lighting normally. This reduces anxiety during deceleration during automatic driving.

また、図10に示すように、メータディスプレイ30に表示される仮想アイコン50には、仮想ウィンカーランプ91が重畳して表示される。仮想ウィンカーランプ91は、車両1の実際のウィンカーランプの点滅と同期して仮想的に点滅するように制御される。このように実際のウィンカーランプの点滅と同期してメータディスプレイ30の仮想ウィンカーランプ91が点滅することにより、ドライバはウィンカーランプが正常に点滅していることを容易に確認することができる。これにより、オートレーンチェンジなどにおける不安が軽減される。 Further, as shown in FIG. 10, a virtual turn signal lamp 91 is displayed superimposed on the virtual icon 50 displayed on the meter display 30. The virtual blinker lamp 91 is controlled to virtually blink in synchronization with the blinking of the actual blinker lamp of the vehicle 1. In this way, by blinking the virtual blinker lamp 91 on the meter display 30 in synchronization with the blinking of the actual blinker lamp, the driver can easily confirm that the blinker lamp is blinking normally. This reduces anxiety during automatic lane changes.

なお、図11に示すように、メータディスプレイ30に表示される仮想アイコン50に仮想ブレーキランプ90及び仮想ウィンカーランプ91の両方が重畳して表示されてもよい。もちろん、仮想ブレーキランプ90及び仮想ウィンカーランプ91のどちらか一方のみが重畳して表示されてもよい。 Note that, as shown in FIG. 11, both the virtual brake lamp 90 and the virtual blinker lamp 91 may be displayed superimposed on the virtual icon 50 displayed on the meter display 30. Of course, only one of the virtual brake lamp 90 and the virtual turn signal lamp 91 may be displayed in a superimposed manner.

(変形例3)
次に、図12を参照してメータディスプレイ30及びヘッドアップディスプレイ40に表示される仮想画像の変形例3について説明する。変形例3はオートレーンチェンジの際の表示方法に関する。
(Modification 3)
Next, a third modification of the virtual image displayed on the meter display 30 and the head-up display 40 will be described with reference to FIG. 12. Modification 3 relates to a display method during an automatic lane change.

図12に示すシーンは、高速道路の出口に向かうためにシステムが車線変更が必要と判断したシーンである。図12に示すように、車両1(仮想アイコン50)は、3車線道路の中央車線を走行しているため、高速道路の出口に向かうためには車線変更が必要である。そこで、表示制御部22は、ドライバにオートレーンチェンジの承認を促すため、メータディスプレイ30及びヘッドアップディスプレイ40に文字情報を表示する。さらに、表示制御部22は、ヘッドアップディスプレイ40のみに車線変更を案内する矢印画像95を表示する。矢印画像95は、中央車線から左車線に向かって区画線60を跨ぐように表示される。また、矢印画像95の幅は手前側(ヘッドアップディスプレイ40の下側)が太く、奥側(ヘッドアップディスプレイ40の上側)に向かうに連れて細くなる。矢印画像95は、ヘッドアップディスプレイ40に表示される仮想的なステアリングホイールの近傍から伸びるように表示される。矢印画像95の表示によって、ドライバは車線変更が必要であることを容易に認識できる。矢印画像95をメータディスプレイ30に表示しない理由は、オートレーンチェンジの際に、ドライバがメータディスプレイ30を注視することを防止するためである。矢印画像95と区画線60の仮想的な位置関係は、矢印画像95が区画線60より上である。 The scene shown in FIG. 12 is a scene in which the system determines that it is necessary to change lanes in order to head for the exit of the expressway. As shown in FIG. 12, vehicle 1 (virtual icon 50) is traveling in the center lane of a three-lane road, and therefore needs to change lanes in order to head for the exit of the expressway. Therefore, the display control unit 22 displays text information on the meter display 30 and the head-up display 40 in order to prompt the driver to approve the automatic lane change. Furthermore, the display control unit 22 displays an arrow image 95 that guides the driver to change lanes only on the head-up display 40. The arrow image 95 is displayed so as to straddle the partition line 60 from the center lane toward the left lane. Further, the width of the arrow image 95 is wide at the front side (lower side of the head-up display 40) and becomes thinner toward the back side (upper side of the head-up display 40). The arrow image 95 is displayed extending from the vicinity of the virtual steering wheel displayed on the head-up display 40. By displaying the arrow image 95, the driver can easily recognize that a lane change is necessary. The reason why the arrow image 95 is not displayed on the meter display 30 is to prevent the driver from staring at the meter display 30 during an automatic lane change. Regarding the virtual positional relationship between the arrow image 95 and the partition line 60, the arrow image 95 is above the partition line 60.

また図12に示すように、メータディスプレイ30及びヘッドアップディスプレイ40には文字情報と合わせてマーク96も表示される。マーク96は、システムが提案するオートレーンチェンジを承認するためのスイッチを示す仮想画像である。このようなスイッチは例えばステアリングホイールに設けられる。なお、マーク96は、右車線に車線変更することを示しているが、これは便宜上このように設定されているものであって、必ずしも右車線に車線変更することを意味するものではない。要は、オートレーンチェンジを承認するためのスイッチは一つ設けられれば足りるところ、右車線または左車線のどちらか一方しか対応できないため、一例として右車線に車線変更することを示しているに過ぎない。 Further, as shown in FIG. 12, a mark 96 is also displayed on the meter display 30 and the head-up display 40 together with the text information. Mark 96 is a virtual image showing a switch for approving the automatic lane change proposed by the system. Such a switch is provided, for example, on the steering wheel. Note that although the mark 96 indicates that the vehicle should change lanes to the right lane, this is set as such for convenience and does not necessarily mean that the vehicle changes lanes to the right lane. In short, only one switch is required to approve an automatic lane change, but since it can only respond to either the right lane or the left lane, this is just an example of a lane change to the right lane. do not have.

(作用効果)
以上説明したように、本実施形態に係る表示制御方法によれば、以下の作用効果が得られる。
(effect)
As explained above, according to the display control method according to the present embodiment, the following effects can be obtained.

仮想画像生成部21は、カメラ10などが検出した情報を取得し、車両1を上方から見たように車両1の周囲を示す俯瞰画像(第1仮想画像)を生成する。また、仮想画像生成部21はカメラ10などが検出した情報を取得し、車両1のドライバが前方を見たときの前方の光景を示す前方画像(第2仮想画像)を生成する。表示制御部22は、俯瞰画像をメータディスプレイ30に表示し、前方画像をヘッドアップディスプレイ40に表示する(図4参照)。本実施形態によれば前方画像はシンプルな表示となるため、前方画像が走行中の多くの時間に渡ってドライバの視界に入り続けたとしても、ドライバは違和感なく前方画像を見ることができ、情報を認識しやすくなる。また、俯瞰画像には車両1が走行中の道路構造、車両1と周囲車両との位置関係などが表示されるため、ドライバは一目で周囲の情報を認識することが可能となる。 The virtual image generation unit 21 acquires information detected by the camera 10 or the like and generates an overhead image (first virtual image) showing the surroundings of the vehicle 1 as if the vehicle 1 were viewed from above. Further, the virtual image generation unit 21 acquires information detected by the camera 10 or the like, and generates a front image (second virtual image) showing the scene ahead when the driver of the vehicle 1 looks ahead. The display control unit 22 displays the overhead image on the meter display 30 and displays the forward image on the head-up display 40 (see FIG. 4). According to this embodiment, the forward image is displayed in a simple manner, so even if the forward image continues to be in the driver's field of view for a large period of time while driving, the driver can see the forward image without feeling uncomfortable. Information becomes easier to recognize. Further, since the bird's-eye view image displays the road structure on which the vehicle 1 is traveling, the positional relationship between the vehicle 1 and surrounding vehicles, etc., the driver can recognize surrounding information at a glance.

本実施形態では、前方画像上の区画線60、61の幅を俯瞰画像上の区画線70、71の幅より太くした(図5~図7参照)。これにより、前方画像上の区画線60、61の視認性が向上する。また、俯瞰画像上の区画線70、71の幅は、実際の車両1と区画線70、71の幅との関係に近い太さとした。これにより、ドライバは違和感なく周囲の情報を認識することが可能となる。 In this embodiment, the width of the partition lines 60, 61 on the front image is made wider than the width of the partition lines 70, 71 on the overhead image (see FIGS. 5 to 7). This improves the visibility of the partition lines 60 and 61 on the front image. Furthermore, the widths of the lane markings 70 and 71 on the bird's-eye view image are close to the relationship between the width of the actual vehicle 1 and the lane markings 70 and 71. This allows the driver to recognize surrounding information without feeling uncomfortable.

側方車両が検出された場合、メータディスプレイ30には側方車両の存在を示す仮想的な側方画像80が表示され、ヘッドアップディスプレイ40には側方車両の存在を示す仮想的な側方画像81が表示される(図8参照)。本実施形態において、側方画像81の彩度及び明度のそれぞれは、側方画像81のほうが側方画像80より高い。これにより、側方画像81の視認性が向上する。 When a side vehicle is detected, a virtual side image 80 indicating the presence of the side vehicle is displayed on the meter display 30, and a virtual side image 80 indicating the presence of the side vehicle is displayed on the head-up display 40. An image 81 is displayed (see FIG. 8). In this embodiment, the side image 81 has higher saturation and brightness than the side image 80 . This improves the visibility of the side image 81.

メータディスプレイ30に表示される俯瞰画像において、車両1(仮想アイコン50)の仮想ブレーキランプ90及び仮想ウィンカーランプ91のそれぞれは、車両1の実際のブレーキランプ及びウィンカーランプと同期して点灯または点滅する(図9~11参照)。これにより、ドライバはブレーキランプ及びウィンカーランプが正常に点灯または点滅していることを容易に確認することができる。これにより、自動運転の減速時、オートレーンチェンジなどにおける不安が軽減される。 In the overhead image displayed on the meter display 30, each of the virtual brake lamps 90 and virtual turn signal lamps 91 of the vehicle 1 (virtual icon 50) lights up or flashes in synchronization with the actual brake lamps and turn signal lamps of the vehicle 1. (See Figures 9-11). Thereby, the driver can easily confirm that the brake lamp and turn signal lamp are lighting or flashing normally. This reduces anxiety when decelerating or automatically changing lanes during automated driving.

システムが車線変更が必要と判断した場合、表示制御部22は、ヘッドアップディスプレイ40に表示される前方画像のみに車線変更を案内する矢印画像95を重畳する(図12参照)。矢印画像95の表示によって、ドライバは車線変更が必要であることを容易に認識できる。また、矢印画像95はメータディスプレイ30には表示されないため、オートレーンチェンジの際に、ドライバがメータディスプレイ30を注視することが防止される。 When the system determines that a lane change is necessary, the display control unit 22 superimposes an arrow image 95 that guides the lane change only on the forward image displayed on the head-up display 40 (see FIG. 12). By displaying the arrow image 95, the driver can easily recognize that a lane change is necessary. Furthermore, since the arrow image 95 is not displayed on the meter display 30, the driver is prevented from staring at the meter display 30 during an automatic lane change.

上述の実施形態に記載される各機能は、1または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路(ASIC)や回路部品等の装置を含む。 Each functionality described in the embodiments described above may be implemented by one or more processing circuits. Processing circuitry includes programmed processing devices, such as processing devices that include electrical circuitry. Processing circuitry also includes devices such as application specific integrated circuits (ASICs) or circuit components arranged to perform the described functions.

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。 As described above, embodiments of the present invention have been described, but the statements and drawings that form part of this disclosure should not be understood as limiting the present invention. Various alternative embodiments, implementations, and operational techniques will be apparent to those skilled in the art from this disclosure.

日本国特許出願第2019-092475号(出願日:2019年5月15日)の全内容は、ここに援用される。 The entire contents of Japanese Patent Application No. 2019-092475 (filing date: May 15, 2019) are incorporated herein by reference.

1 車両
10 カメラ
11 フロントレーダ
12 フロントサイドレーダ
13 リアサイドレーダ
14 ソナー
15 GPS受信機
16 アクセルアクチュエータ
17 ステアリングアクチュエータ
18 ブレーキアクチュエータ
20 コントローラ
21 仮想画像生成部
22 表示制御部
25 車両ECU
30 メータディスプレイ
40 ヘッドアップディスプレイ
50、52 仮想アイコン
60、61、70、71 区画線
80、81 側方画像
90 仮想ブレーキランプ
91 仮想ウィンカーランプ
95 矢印画像
96 マーク
1 Vehicle 10 Camera 11 Front radar 12 Front side radar 13 Rear side radar 14 Sonar 15 GPS receiver 16 Accelerator actuator 17 Steering actuator 18 Brake actuator 20 Controller 21 Virtual image generation section 22 Display control section 25 Vehicle ECU
30 Meter display 40 Head-up display 50, 52 Virtual icons 60, 61, 70, 71 Compartment lines 80, 81 Side image 90 Virtual brake lamp 91 Virtual blinker lamp 95 Arrow image 96 Mark

Claims (7)

車両に設けられるメータディスプレイ及びヘッドアップディスプレイに表示する情報を制御する表示制御方法であって、
前記車両の周囲の情報を取得し、
取得した前記車両の周囲の情報を用いて、前記車両を上方から見たように前記車両の周囲を示す第1仮想画像を生成し、
取得した前記車両の周囲の情報を用いて、前記車両のドライバが前方を見たときの前記前方の光景を示す第2仮想画像を生成し、
前記第1仮想画像を前記メータディスプレイに表示し、前記第2仮想画像を前記ヘッドアップディスプレイに表示し、
前記第1仮想画像及び前記第2仮想画像は、前記車両の側方を走行する側方車両の存在を示す画像を含み、
更に、前記第1仮想画像は、前記側方車両を示す仮想アイコンを含む
ことを特徴とする表示制御方法。
A display control method for controlling information displayed on a meter display and a head-up display provided in a vehicle, the method comprising:
Obtain information about the surroundings of the vehicle;
generating a first virtual image showing the surroundings of the vehicle as seen from above using the acquired information about the surroundings of the vehicle;
Using the acquired information about the surroundings of the vehicle, generating a second virtual image showing the scene ahead when the driver of the vehicle looks ahead;
displaying the first virtual image on the meter display and displaying the second virtual image on the head-up display;
The first virtual image and the second virtual image include an image indicating the presence of a side vehicle running beside the vehicle,
Furthermore, the first virtual image includes a virtual icon indicating the side vehicle .
A display control method characterized by:
前記第2仮想画像上の区画線の幅は、前記第1仮想画像上の区画線の幅より太い
ことを特徴とする請求項1に記載の表示制御方法。
2. The display control method according to claim 1, wherein the width of the partition line on the second virtual image is thicker than the width of the partition line on the first virtual image.
前記側方車両の存在を示す画像に係る彩度及び明度のそれぞれは、前記第2仮想画像のほうが前記第1仮想画像より高い
ことを特徴とする請求項1または2に記載の表示制御方法。
3. The display control method according to claim 1, wherein saturation and brightness of the image indicating the presence of the side vehicle are higher in the second virtual image than in the first virtual image.
前記第1仮想画像における前記車両の仮想ブレーキランプ及び仮想ウィンカーランプのそれぞれは、前記車両の実際のブレーキランプ及びウィンカーランプと同期して点灯または点滅する
ことを特徴とする請求項1~3のいずれか1項に記載の表示制御方法。
Each of the virtual brake lamps and virtual turn signal lamps of the vehicle in the first virtual image is lit or blinks in synchronization with the actual brake lamps and turn signal lamps of the vehicle. The display control method according to item 1.
前記第2仮想画像は、車線変更を案内する矢印画像を含み、
前記矢印画像は、前記ヘッドアップディスプレイのみに表示される
ことを特徴とする請求項1~4のいずれか1項に記載の表示制御方法。
The second virtual image includes an arrow image for guiding a lane change,
5. The display control method according to claim 1, wherein the arrow image is displayed only on the head-up display.
前記第1仮想画像は3次元画像であり、前記第2仮想画像は2次元画像である
ことを特徴とする請求項1~5のいずれか1項に記載の表示制御方法。
6. The display control method according to claim 1, wherein the first virtual image is a three-dimensional image, and the second virtual image is a two-dimensional image.
車両に設けられるメータディスプレイ及びヘッドアップディスプレイに表示する情報を制御する表示制御装置であって、
前記車両の周囲の情報を取得するセンサと、
コントローラとを備え、
前記コントローラは、
前記センサによって取得された前記車両の周囲の情報を用いて、前記車両を上方から見たように前記車両の周囲を示す第1仮想画像を生成し、
前記センサによって取得された前記車両の周囲の情報を用いて、前記車両のドライバが前方を見たときの前記前方の光景を示す第2仮想画像を生成し、
前記第1仮想画像を前記メータディスプレイに表示し、前記第2仮想画像を前記ヘッドアップディスプレイに表示し、
前記第1仮想画像及び前記第2仮想画像は、前記車両の側方を走行する側方車両の存在を示す画像を含み、
更に、前記第1仮想画像は、前記側方車両を示す仮想アイコンを含む
ことを特徴とする表示制御装置。
A display control device that controls information displayed on a meter display and a head-up display provided in a vehicle,
a sensor that acquires information around the vehicle;
Equipped with a controller,
The controller includes:
generating a first virtual image showing the surroundings of the vehicle as seen from above using information about the surroundings of the vehicle acquired by the sensor;
using information about the vehicle's surroundings acquired by the sensor to generate a second virtual image showing the scene ahead when the driver of the vehicle looks ahead;
displaying the first virtual image on the meter display and displaying the second virtual image on the head-up display;
The first virtual image and the second virtual image include an image indicating the presence of a side vehicle running beside the vehicle,
Furthermore, the first virtual image includes a virtual icon indicating the side vehicle .
A display control device characterized by:
JP2021519358A 2019-05-15 2020-04-27 Display control method and display control device Active JP7359205B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019092475 2019-05-15
JP2019092475 2019-05-15
PCT/JP2020/017959 WO2020230612A1 (en) 2019-05-15 2020-04-27 Display control method and display control device

Publications (2)

Publication Number Publication Date
JPWO2020230612A1 JPWO2020230612A1 (en) 2020-11-19
JP7359205B2 true JP7359205B2 (en) 2023-10-11

Family

ID=73290015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021519358A Active JP7359205B2 (en) 2019-05-15 2020-04-27 Display control method and display control device

Country Status (2)

Country Link
JP (1) JP7359205B2 (en)
WO (1) WO2020230612A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015000630A (en) 2013-06-14 2015-01-05 株式会社デンソー Onboard display device and program
JP2016197390A (en) 2015-04-03 2016-11-24 株式会社デンソー Start-up suggestion device and start-up suggestion method
JP2017166913A (en) 2016-03-15 2017-09-21 株式会社デンソー Display controller and display control method
WO2018078732A1 (en) 2016-10-26 2018-05-03 三菱電機株式会社 Display control apparatus, display apparatus, and display control method
JP2018202920A (en) 2017-05-31 2018-12-27 日本精機株式会社 Head Up Display Device
WO2019038903A1 (en) 2017-08-25 2019-02-28 日産自動車株式会社 Surrounding vehicle display method and surrounding vehicle display apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015000630A (en) 2013-06-14 2015-01-05 株式会社デンソー Onboard display device and program
JP2016197390A (en) 2015-04-03 2016-11-24 株式会社デンソー Start-up suggestion device and start-up suggestion method
JP2017166913A (en) 2016-03-15 2017-09-21 株式会社デンソー Display controller and display control method
WO2018078732A1 (en) 2016-10-26 2018-05-03 三菱電機株式会社 Display control apparatus, display apparatus, and display control method
JP2018202920A (en) 2017-05-31 2018-12-27 日本精機株式会社 Head Up Display Device
WO2019038903A1 (en) 2017-08-25 2019-02-28 日産自動車株式会社 Surrounding vehicle display method and surrounding vehicle display apparatus

Also Published As

Publication number Publication date
JPWO2020230612A1 (en) 2020-11-19
WO2020230612A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
CN111052733B (en) Surrounding vehicle display method and surrounding vehicle display device
US10436600B2 (en) Vehicle image display system and method
JP7416176B2 (en) display device
CN113631448B (en) Vehicle control method and vehicle control device
EP3367366B1 (en) Display control method and display control device
US20220130296A1 (en) Display control device and display control program product
US10452930B2 (en) Information display device mounted in vehicle including detector
US20220289228A1 (en) Hmi control device, hmi control method, and hmi control program product
JP2018092291A (en) Vehicle display device
JP7047824B2 (en) Vehicle control unit
JP2008015759A (en) Driving support device
US10235976B2 (en) Vehicle display device for changing the position of displayed traffic indicators based on the road having left or right side traffic
JP2017167758A (en) Control device for vehicle
JPWO2019038904A1 (en) Surrounding vehicle display method and surrounding vehicle display device
WO2020003750A1 (en) Vehicle display control device, vehicle display control method, and control program
JP2018092290A (en) Vehicle display device
JP6631572B2 (en) Display control device for vehicle and display unit for vehicle
JP7243516B2 (en) Display controller and display control program
JP7359205B2 (en) Display control method and display control device
JP2021020519A (en) Display control device for vehicle and display control method for vehicle
JP7283448B2 (en) Display controller and display control program
WO2021132306A1 (en) Display control device, display device, display control method, and program
JP2023136698A (en) Display control device for vehicle, display device and display control method for vehicle
JP6610376B2 (en) Display device
WO2021015090A1 (en) Control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230614

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R151 Written notification of patent or utility model registration

Ref document number: 7359205

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151