JP7293990B2 - Vehicle display control device, vehicle display control method, and program - Google Patents

Vehicle display control device, vehicle display control method, and program Download PDF

Info

Publication number
JP7293990B2
JP7293990B2 JP2019156022A JP2019156022A JP7293990B2 JP 7293990 B2 JP7293990 B2 JP 7293990B2 JP 2019156022 A JP2019156022 A JP 2019156022A JP 2019156022 A JP2019156022 A JP 2019156022A JP 7293990 B2 JP7293990 B2 JP 7293990B2
Authority
JP
Japan
Prior art keywords
driver
vehicle
gazing
rear image
side monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019156022A
Other languages
Japanese (ja)
Other versions
JP2021033872A (en
Inventor
将彰 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019156022A priority Critical patent/JP7293990B2/en
Publication of JP2021033872A publication Critical patent/JP2021033872A/en
Application granted granted Critical
Publication of JP7293990B2 publication Critical patent/JP7293990B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両用表示制御装置、車両用表示制御方法、およびプログラムに関する。 The present invention relates to a vehicle display control device, a vehicle display control method, and a program.

車両の周辺の映像を表示することで、運転を支援する技術が知られている。例えば、特許文献1には、車両の右左折時に、曲がる方向のカメラ映像を複数表示する運転支援装置が開示されている。 A technique for assisting driving by displaying an image of the surroundings of a vehicle is known. For example, Patent Literature 1 discloses a driving support device that displays a plurality of camera images in a turning direction when a vehicle turns right or left.

特開2015-79299号公報JP 2015-79299 A

例えば、運転者は、右左折時に限らず直進走行中であっても、サイドモニタに表示された物体等が気になり、サイドモニタを注視してしまうことがある。このような場合、注視しているサイドモニタの他方のサイドモニタの確認が疎かになり、他方の側後方から走行してくる他の車両や、歩行者などに気づかない場合も生じる。 For example, the driver may be concerned about an object or the like displayed on the side monitor and gaze at the side monitor not only when the vehicle is turning right or left, but also when the vehicle is traveling straight ahead. In such a case, confirmation of the other side monitor of the side monitor that the driver is paying attention to is neglected, and there may be cases where the driver does not notice other vehicles or pedestrians traveling from behind the other side monitor.

本発明は、一方のサイドモニタを注視している場合に、他方の側後方の状況を適切に視認させることのできる車両用表示制御装置、車両用表示制御方法、およびプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a vehicle display control device, a vehicle display control method, and a program, which enable a driver to appropriately visually recognize the situation behind the other side monitor when looking at one side monitor. and

本発明の車両用表示制御装置は、車両の左右各々の側後方を撮影する撮像部が撮影する左右の側後方の映像データを取得する映像データ取得部と、前記車両の運転者の視線方向を検出する視線検出部と、前記視線検出部の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断する注視判定部と、前記注視判定部が、前記左右のサイドモニタのいずれかを前記運転者が注視していると判断した場合、前記運転者が注視している方向のサイドモニタまたはその周囲に、注視している側の側後方映像に加えて、他方の側後方映像を表示させる表示制御部と、を備える。 A display control device for a vehicle according to the present invention includes a video data acquiring unit for acquiring video data of the left and right rear sides captured by an imaging unit that captures the left and right rear sides of a vehicle, and a line-of-sight direction of the driver of the vehicle. a line-of-sight detection unit for detecting; a gaze determination unit for determining whether or not the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight detection unit; When the gaze determination unit determines that the driver is gazing at one of the left and right side monitors, the side monitor in the direction the driver is gazing or its surroundings is displayed on the side monitor of the side the driver is gazing at. a display control unit that displays the other side rear image in addition to the side rear image.

本発明の車両用表示制御方法は、車両の左右各々の側後方を撮影する撮像部が撮影する左右の側後方の映像データを取得するステップと、前記車両の運転者の視線方向を検出するステップと、前記運転者の視線方向の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断するステップと、前記左右のサイドモニタのいずれかを前記運転者が注視していると判断された場合、前記運転者が注視している方向のサイドモニタまたはその周囲に、注視している側の側後方映像に加えて、他方の側後方映像を表示させるステップと、を含む。 A display control method for a vehicle according to the present invention includes the steps of obtaining video data of the left and right rear sides captured by an imaging unit that captures the left and right rear sides of a vehicle, and the steps of detecting the line-of-sight direction of the driver of the vehicle. determining whether or not the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight direction of the driver; If it is determined that the driver is gazing at one of them, the side monitor in the direction the driver is gazing at or its surroundings will display the side rear image of the gazing side as well as the other side monitor. and C. displaying a rear image.

本発明のプログラムは、車両の左右各々の側後方を撮影する撮像部が撮影する左右の側後方の映像データを取得するステップと、前記車両の運転者の視線方向を検出するステップと、前記運転者の視線方向の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断するステップと、前記左右のサイドモニタのいずれかを前記運転者が注視していると判断された場合、前記運転者が注視している方向のサイドモニタまたはその周囲に、注視している側の側後方映像に加えて、他方の側後方映像を表示させるステップと、を車両用表示制御装置として動作するコンピュータに実行させる。 The program of the present invention includes the steps of obtaining video data of the left and right rear sides captured by imaging units that capture the left and right rear sides of the vehicle, the steps of detecting the line-of-sight direction of the driver of the vehicle, determining whether the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight direction of the driver; When it is determined that the driver is gazing, the other side rear image is displayed in addition to the gazing side rear image on the side monitor in the direction the driver is gazing or around it. and causing a computer operating as a display control device for a vehicle to execute.

本発明によれば、一方のサイドモニタを注視している場合に、他方の側後方の状況を適切に視認させることができる。 ADVANTAGE OF THE INVENTION According to this invention, when looking at one side monitor, the situation of the other side rear can be visually recognized appropriately.

図1は、本発明の第一実施形態に係る車両用表示装置の構成の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of the configuration of the vehicle display device according to the first embodiment of the invention. 図2は、本発明の第一実施形態に係る車両用表示制御方法を説明するための図である。FIG. 2 is a diagram for explaining the vehicle display control method according to the first embodiment of the present invention. 図3は、本発明の第一実施形態に係る車両用制御方法の処理の流れの一例を示すフローチャートである。FIG. 3 is a flow chart showing an example of the flow of processing of the vehicle control method according to the first embodiment of the present invention. 図4は、本発明の第二実施形態に係る車両用表示装置の構成の一例を示すブロック図である。FIG. 4 is a block diagram showing an example of the configuration of the vehicle display device according to the second embodiment of the invention. 図5は、本発明の第二実施形態に係る車両用制御方法を説明するための図である。FIG. 5 is a diagram for explaining the vehicle control method according to the second embodiment of the present invention. 図6は、本発明の第二実施形態に係る車両用制御方法の処理の流れの一例を示すフローチャートである。FIG. 6 is a flow chart showing an example of the flow of processing of the vehicle control method according to the second embodiment of the present invention. 図7は、本発明の第三実施形態に係る車両用制御方法を説明するための図である。FIG. 7 is a diagram for explaining the vehicle control method according to the third embodiment of the present invention. 図8は、本発明の第三実施形態に係る車両用制御方法の処理の流れの一例を示すフローチャートである。FIG. 8 is a flow chart showing an example of the flow of processing of the vehicle control method according to the third embodiment of the present invention.

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。 DETAILED DESCRIPTION OF THE INVENTION Embodiments according to the present invention will be described in detail below with reference to the accompanying drawings. It should be noted that the present invention is not limited by this embodiment, and when there are a plurality of embodiments, a combination of each embodiment is also included.

[第一実施形態]
図1を用いて、本発明の第一実施形態に係る車両用表示装置について説明する。図1は、本発明の第一実施形態に係る車両用表示装置の構成の一例を示すブロック図である。
[First embodiment]
A vehicle display device according to a first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing an example of the configuration of the vehicle display device according to the first embodiment of the invention.

図1に示すように、車両用表示装置1は、左サイドカメラ10と、右サイドカメラ20と、視線検出用カメラ30と、左サイドモニタ40と、右サイドモニタ50と、制御部(車両用表示制御装置)100と、を備える。 As shown in FIG. 1, the vehicle display device 1 includes a left-side camera 10, a right-side camera 20, a line-of-sight detection camera 30, a left-side monitor 40, a right-side monitor 50, and a control unit (vehicle display control device) 100;

左サイドカメラ10は、車両の左側方に後方を向いて配置され、車両の左側後方を撮影する。左サイドカメラ10は、左サイドモニタ40による確認範囲を撮影する。左サイドカメラ10は、例えば、水平方向の画角が15°から45°である。左サイドカメラ10は、例えば、上下方向の画角が15°から45°である。左サイドカメラ10は、撮影した左側後方映像データを映像データ取得部110に出力する。 The left side camera 10 is arranged facing rearward on the left side of the vehicle, and photographs the rear left side of the vehicle. The left-side camera 10 captures an image of the confirmation range of the left-side monitor 40 . The left side camera 10 has, for example, a horizontal angle of view of 15° to 45°. The left-side camera 10 has, for example, an angle of view in the vertical direction of 15° to 45°. The left side camera 10 outputs the captured left rear image data to the image data acquisition unit 110 .

右サイドカメラ20は、車両の右側方に後方を向いて配置され、車両の右側後方を撮影する。右サイドカメラ20は、右サイドモニタ50による確認範囲を撮影する。右サイドカメラ20は、例えば、水平方向の画角が15°から45°である。右サイドカメラ20は、例えば、上下方向の画角が15°から45°である。右サイドカメラ20は、撮影した右側後方映像データを映像データ取得部110に出力する。 The right side camera 20 is arranged facing rearward on the right side of the vehicle, and photographs the rear right side of the vehicle. The right side camera 20 captures an image of the confirmation range of the right side monitor 50 . The right side camera 20 has, for example, a horizontal angle of view of 15° to 45°. The right side camera 20 has, for example, an angle of view in the vertical direction of 15° to 45°. The right side camera 20 outputs the captured right rear image data to the image data acquisition unit 110 .

視線検出用カメラ30は、運転者の視線の方向を検出するために運転者の顔を撮影する。視線検出用カメラ30は、例えば、運転者の正面に配置されている。視線検出用カメラ30は、例えば、赤外光発光装置と、赤外光カメラとで実現することができる。この場合、赤外発光装置が運転者の顔に赤外光を照射して、赤外光カメラが運転者の顔を撮影する。視線検出用カメラ30は、同様の機能を有する他の構成であってもよい。視線検出用カメラ30は、運転者の顔を撮影した運転者映像データを視線検出部120に出力する。 The line-of-sight detection camera 30 photographs the driver's face in order to detect the line-of-sight direction of the driver. The line-of-sight detection camera 30 is arranged, for example, in front of the driver. The line-of-sight detection camera 30 can be realized by, for example, an infrared light emitting device and an infrared light camera. In this case, the infrared light emitting device irradiates the driver's face with infrared light, and the infrared camera captures the driver's face. The line-of-sight detection camera 30 may have another configuration having similar functions. The line-of-sight detection camera 30 outputs to the line-of-sight detection unit 120 driver video data obtained by photographing the driver's face.

左サイドモニタ40は、制御部100の表示制御部140から出力された映像信号に基づき、車両の左側後方映像を表示する。左サイドモニタ40は、運転者から視認容易な位置に配置されている。本実施形態では、左サイドモニタ40は、ダッシュボードの車幅方向の左側に配置されている。左サイドモニタ40は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイなどを含むディスプレイである。 The left side monitor 40 displays the left rear image of the vehicle based on the image signal output from the display control section 140 of the control section 100 . The left side monitor 40 is arranged at a position where it can be easily viewed by the driver. In this embodiment, the left side monitor 40 is arranged on the left side of the dashboard in the vehicle width direction. The left side monitor 40 is a display including, for example, a liquid crystal display (LCD) or an organic EL (Organic Electro-Luminescence) display.

右サイドモニタ50は、制御部100の表示制御部140から出力された映像信号に基づき、車両の右側後方映像を表示する。右サイドモニタ50は、運転者から視認容易な位置に配置されている。本実施形態では、右サイドモニタ50は、ダッシュボードの車幅方向の右側に配置されている。右サイドモニタ50は、例えば、液晶ディスプレイまたは有機ELディスプレイなどを含むディスプレイである。 The right side monitor 50 displays a right rear image of the vehicle based on the image signal output from the display control section 140 of the control section 100 . The right side monitor 50 is arranged at a position where it can be easily viewed by the driver. In this embodiment, the right side monitor 50 is arranged on the right side of the dashboard in the vehicle width direction. The right side monitor 50 is a display including, for example, a liquid crystal display or an organic EL display.

制御部100は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、図示しない記憶部に記憶されたプログラム(例えば、本発明に係るプログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部100は、コントローラ(Controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。 For example, the control unit 100 stores a program (for example, a program according to the present invention) stored in a storage unit (not shown) by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like, and stores a RAM (Random Access Memory) or the like. It is realized by being executed as a work area. Also, the control unit 100 is a controller, and may be implemented by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

制御部100は、映像データ取得部110と、視線検出部120と、注視判定部130と、表示制御部140とを備える。 The control unit 100 includes a video data acquisition unit 110 , a line-of-sight detection unit 120 , a gaze determination unit 130 and a display control unit 140 .

映像データ取得部110は、各種の映像データを取得する。映像データ取得部110は、例えば、左サイドカメラ10から車両の左側後方映像データを取得する。映像データ取得部110は、例えば、右サイドカメラ20から車両の右側後方映像データを取得する。 The video data acquisition unit 110 acquires various video data. The image data acquisition unit 110 acquires left rear image data of the vehicle from the left side camera 10, for example. The image data acquisition unit 110 acquires the right rear image data of the vehicle from the right side camera 20, for example.

視線検出部120は、視線検出用カメラ30から運転者映像データを取得する。視線検出部120は、運転者映像データに基づいて、運転者の視線の方向を検出する。視線検出部120、例えば、運転者映像データから、運転者の瞳孔と角膜反射の位置とに基づいて、運転者の視線の方向を検出する。 The line-of-sight detection unit 120 acquires driver image data from the line-of-sight detection camera 30 . The line-of-sight detection unit 120 detects the line-of-sight direction of the driver based on the driver image data. The line-of-sight detection unit 120 detects the line-of-sight direction of the driver, for example, from the driver's image data, based on the position of the driver's pupil and corneal reflex.

注視判定部130は、視線検出部120による運転者の視線の検出結果に基づいて、運転者が左サイドモニタ40または右サイドモニタ50を注視しているか否かを判定する。注視判定部130は、例えば、左サイドモニタ40または右サイドモニタ50に対して運転者の視線が、例えば3秒以上など所定時間以上向いていた場合に、そのサイドモニタを注視していると判定する。注視判定部130は、例えば、5秒間など所定時間の間に所定回数以上視認した場合に、そのサイドモニタを注視していると判定してもよい。注視判定部130は、視線検出部120を用いた視線検出に代えて、運転者の顔の向きに基づき、運転者が左サイドモニタ40または右サイドモニタ50を注視しているか否かを判定することとしてもよい。 The gaze determination unit 130 determines whether the driver is gazing at the left side monitor 40 or the right side monitor 50 based on the detection result of the driver's line of sight by the line of sight detection unit 120 . The gaze determination unit 130 determines that the driver is gazing at the left side monitor 40 or the right side monitor 50 when, for example, the driver's line of sight is directed toward the left side monitor 40 or the right side monitor 50 for a predetermined period of time, such as three seconds or longer. do. The gaze determination unit 130 may determine that the side monitor is being gazed at, for example, when the side monitor is viewed a predetermined number of times or more within a predetermined period of time, such as five seconds. The gaze determination unit 130 determines whether or not the driver is gazing at the left side monitor 40 or the right side monitor 50 based on the direction of the driver's face instead of detecting the line of sight using the line of sight detection unit 120. You can do it.

表示制御部140は、右側後方映像データおよび左側後方映像データに基づいて、左サイドモニタ40に左側後方映像を表示させ、右サイドモニタ50に右側後方映像を表示させる。具体的には後述するが、表示制御部140は、例えば、注視判定部130が、運転者が左サイドモニタ40または右サイドモニタ50のいずれかを注視していると判断した場合、注視している方向のサイドモニタに、注視している側の側後方映像に加えて、他方の側後方映像を表示させる。表示制御部140は、切出し処理部141と、合成処理部142とを備える。 Based on the right rear image data and the left rear image data, the display control unit 140 causes the left side monitor 40 to display the left rear image and the right side monitor 50 to display the right rear image. Although details will be described later, for example, when the gaze determination unit 130 determines that the driver is gazing at either the left side monitor 40 or the right side monitor 50, the display control unit 140 In addition to the side rear image of the gazed side, the other side rear image is displayed on the side monitor in the direction where the user is. The display control unit 140 includes a clipping processing unit 141 and a combining processing unit 142 .

切出し処理部141は、左側後方映像データから左サイドモニタ40に表示するための表示用左側後方映像データを切出す。これにより、表示制御部140は、表示用左側後方映像データを左サイドモニタ40に表示する。 The cutout processing unit 141 cuts out left rear image data for display to be displayed on the left side monitor 40 from the left rear image data. Thereby, the display control unit 140 displays the left rear image data for display on the left side monitor 40 .

切出し処理部141は、右側後方映像データから右サイドモニタ50に表示するための表示用右側後方映像データを切出す。これにより、表示制御部140は、表示用右側後方映像データを右サイドモニタ50に表示する。 The cutout processing unit 141 cuts out right rear image data for display to be displayed on the right side monitor 50 from the right rear image data. Thereby, the display control unit 140 displays the right rear image data for display on the right side monitor 50 .

切出し処理部141は、運転者が左サイドモニタ40を注視していると判断された場合には、右側後方映像データから左サイドモニタ40に表示させるための注視時表示用右側後方映像データを切出す。切出し処理部141は、注視時表示用右側後方映像データを合成処理部142に出力する。 When it is determined that the driver is gazing at the left side monitor 40, the clipping processing unit 141 cuts out the right rear image data for display during gaze to be displayed on the left side monitor 40 from the right rear image data. put out. The clipping processing unit 141 outputs the right rear image data for display during gaze to the synthesis processing unit 142 .

切出し処理部141は、運転手が右サイドモニタ50を注視していると判断された場合には、左側後方映像データから右サイドモニタ50に表示させるための注視時表示用左側後方映像データを切出す。切出し処理部141は、注視時表示用左側後方映像データを合成処理部142に出力する。 When it is determined that the driver is gazing at the right side monitor 50, the clipping processing unit 141 cuts out the left rear image data for display during gaze to be displayed on the right side monitor 50 from the left rear image data. put out. The clipping processing unit 141 outputs the left rear image data for display at gaze to the synthesis processing unit 142 .

合成処理部142は、例えば、運転者が左サイドモニタ40を注視していると判断された場合には、表示用左側後方映像データに注視時表示用右側後方映像データを部分的に合成する。これにより、表示制御部140は、表示用左側後方映像データに注視時表示用右側後方映像データが合成された映像データを左サイドモニタ40に表示する。 For example, when it is determined that the driver is gazing at the left side monitor 40, the synthesis processing unit 142 partially synthesizes the left rear image data for display with the right rear image data for display when gazing. As a result, the display control unit 140 displays on the left side monitor 40 image data obtained by synthesizing the left rear image data for display with the right rear image data for display during gaze.

合成処理部142は、例えば、運転者が右サイドモニタ50を注視していると判断された場合には、表示用右側後方映像データに注視時表示用左側後方映像データを部分的に合成する。これにより、表示制御部140は、表示用右側後方映像データに注視時表示用左側後方映像データが合成された映像データを右サイドモニタ50に表示する。 For example, when it is determined that the driver is gazing at the right side monitor 50, the synthesizing unit 142 partially synthesizes the right rear image data for display with the left rear image data for display when gazing. As a result, the display control unit 140 displays, on the right side monitor 50, image data obtained by synthesizing the right rear image data for display with the left rear image data for display during gaze.

図2を用いて、本発明の第一実施形態に係る車両用表示制御方法について説明する。図2は、本発明の第一実施形態に係る車両用表示制御方法を説明するための図である。 A vehicle display control method according to the first embodiment of the present invention will be described with reference to FIG. FIG. 2 is a diagram for explaining the vehicle display control method according to the first embodiment of the present invention.

図2は、車両内において、視線検出用カメラ30と、左サイドモニタ40と、右サイドモニタ50とが設置された様子を示している。 FIG. 2 shows how the line-of-sight detection camera 30, the left side monitor 40, and the right side monitor 50 are installed in the vehicle.

視線検出用カメラ30は、例えば、運転者の正面のダッシュボード上に設置されている。視線検出用カメラ30を設置する位置は、運転者の顔が撮影できる位置であれば、特に制限はない。左サイドモニタ40は、ダッシュボード上において、車幅方向の左側に設置されている。右サイドモニタ50は、ダッシュボード上において、車幅方向の右側に設置されている。 The line-of-sight detection camera 30 is installed, for example, on the dashboard in front of the driver. There is no particular restriction on the position where the line-of-sight detection camera 30 is installed as long as it is a position where the driver's face can be photographed. The left side monitor 40 is installed on the left side in the vehicle width direction on the dashboard. The right side monitor 50 is installed on the right side in the vehicle width direction on the dashboard.

また、ダッシュボードには、例えば、情報表示部60と、第一車両情報表示部70と、第二車両情報表示部80とが埋め込まれている。情報表示部60は、例えば、ナビゲーション情報を含む各種の映像コンテンツを表示する。第一車両情報表示部70は、例えば、スピードメータおよびタコメータ等を含む。第二車両情報表示部80は、例えば、燃料計および水温計等を含む。なお、情報表示部60と、第一車両情報表示部70と、第二車両情報表示部80とは、これらに限定されない。 For example, an information display section 60, a first vehicle information display section 70, and a second vehicle information display section 80 are embedded in the dashboard. The information display unit 60 displays various video contents including navigation information, for example. The first vehicle information display unit 70 includes, for example, a speedometer and a tachometer. The second vehicle information display unit 80 includes, for example, a fuel gauge and a water temperature gauge. Note that the information display section 60, the first vehicle information display section 70, and the second vehicle information display section 80 are not limited to these.

図2(a)は、運転者が左サイドモニタ40および右サイドモニタ50のいずれも注視していない場合を示している。この場合、表示制御部140は、左サイドモニタ40には左側後方映像を表示し、右サイドモニタ50には右側後方映像を表示する。 FIG. 2(a) shows a case where the driver is not watching either the left side monitor 40 or the right side monitor 50. FIG. In this case, the display control unit 140 displays the left rear image on the left side monitor 40 and displays the right rear image on the right side monitor 50 .

図2(b)は、運転者が右サイドモニタ50を注視していると判定された場合を示している。この場合、表示制御部140は、左サイドモニタ40には左側後方映像を表示し、右サイドモニタ50には右側後方映像と左側後方映像を表示する。表示制御部140は、例えば、注視している方向のサイドモニタに、注視している側の側後方映像をサイドモニタにおける車両の中心から離間する方向の領域に表示させる。表示制御部140は、他方の側後方映像を注視しているサイドモニタにおける車両の中心側に向かう方向の領域に表示させる。具体的には、図2(b)に示す例では、表示制御部140は、右サイドモニタ50の左上端の左側後方映像表示領域51に左側後方映像を表示する。 FIG. 2(b) shows a case where it is determined that the driver is gazing at the right side monitor 50. FIG. In this case, the display control unit 140 displays the left rear image on the left side monitor 40 and displays the right rear image and the left rear image on the right side monitor 50 . For example, the display control unit 140 causes the side monitor in the gaze direction to display the side rear image of the gaze side in an area on the side monitor in the direction away from the center of the vehicle. The display control unit 140 causes the other side rear image to be displayed in an area in the direction toward the center of the vehicle on the side monitor that the user is watching. Specifically, in the example shown in FIG. 2B , the display control unit 140 displays the left rear image in the left rear image display area 51 at the upper left corner of the right side monitor 50 .

左側後方映像表示領域51に表示される映像は、例えば、左サイドモニタ40に表示されている映像を縮小したものであってもよいし、左サイドモニタ40に表示されている映像のうち部分的な映像であってもよい。左側後方映像表示領域51に表示される映像は、左サイドモニタ40に表示されている映像とは、画角が異なっていてもよい。左側後方映像表示領域51に表示される映像は、例えば、車両の左側に位置する障害物を含む映像であってもよい。この場合、左側後方映像表示領域51に表示される映像は、例えば、少なくとも車両の左側面と、障害物とを含む映像であってよい。 The image displayed in the left rear image display area 51 may be, for example, a reduced image of the image displayed on the left side monitor 40, or a partial image of the image displayed on the left side monitor 40. It may be a video image. The image displayed in the left rear image display area 51 may have a different angle of view from the image displayed on the left side monitor 40 . The image displayed in the left rear image display area 51 may be, for example, an image including an obstacle located on the left side of the vehicle. In this case, the image displayed in the left rear image display area 51 may be, for example, an image including at least the left side of the vehicle and the obstacle.

なお、運転者が左サイドモニタ40を注視していると判定された場合には、表示制御部140は、左サイドモニタ40に右側後方映像を表示させる。処理の詳細は、右サイドモニタ50を注視していると判定された場合と同様なので、説明を省略する。 When it is determined that the driver is gazing at the left side monitor 40, the display control unit 140 causes the left side monitor 40 to display the right rear image. The details of the process are the same as those in the case where it is determined that the right side monitor 50 is being watched, so description thereof will be omitted.

図3を用いて、本発明の第一実施形態に係る車両用制御方法の処理の流れについて説明する。図3は、本発明の第一実施形態に係る車両用制御方法の処理の流れの一例を示すフローチャートである。図3のフローチャートにおけるスタートからエンドの期間とは、車両が動作している期間であり、左サイドモニタ40に車両の左側後方映像が表示され、右サイドモニタ50に車両の右側後方映像が表示されていることが必要な期間である。 A processing flow of the vehicle control method according to the first embodiment of the present invention will be described with reference to FIG. FIG. 3 is a flow chart showing an example of the flow of processing of the vehicle control method according to the first embodiment of the present invention. The period from the start to the end in the flow chart of FIG. 3 is the period during which the vehicle is in operation, the left side rear image of the vehicle is displayed on the left side monitor 40, and the right rear image of the vehicle is displayed on the right side monitor 50. This is the period in which it is necessary to

まず、制御部100は、車両の左右の側後方映像データを取得する(ステップS101)。具体的には、映像データ取得部110が左サイドカメラ10から左側後方映像データを取得し、右サイドカメラ20から右側後方映像データを取得する。そして、ステップS102に進む。 First, the control unit 100 acquires left and right side rear image data of the vehicle (step S101). Specifically, the image data acquisition unit 110 acquires left rear image data from the left side camera 10 and acquires right rear image data from the right side camera 20 . Then, the process proceeds to step S102.

制御部100は、左右のサイドモニタに側後方映像を表示する(ステップS102)。具体的には、表示制御部140は、左サイドモニタ40に左側後方映像を表示し、右サイドモニタ50に右側後方映像を表示する。そして、ステップS103に進む。 The control unit 100 displays side rear images on the left and right side monitors (step S102). Specifically, the display control unit 140 displays the left rear image on the left side monitor 40 and displays the right rear image on the right side monitor 50 . Then, the process proceeds to step S103.

制御部100は、運転者の視線方向を検出する(ステップS103)。具体的には、視線検出部120が視線検出用カメラ30の撮影結果に基づいて、運転者の視線を検出する。そして、ステップS104に進む。 The control unit 100 detects the line-of-sight direction of the driver (step S103). Specifically, the line-of-sight detection unit 120 detects the driver's line of sight based on the photographed result of the line-of-sight detection camera 30 . Then, the process proceeds to step S104.

制御部100は、運転者が左右のサイドモニタのいずれかを注視しているか否かを判定する(ステップS104)。具体的には、注視判定部130が視線検出部120の検出結果に基づいて、運転者が左サイドモニタ40または右サイドモニタ50のいずれかを注視しているか否かを判定する。左右のサイドモニタのいずれかを注視していると判定された場合(ステップS104のYes)、ステップS105に進む。一方、左右のサイドモニタのいずれも注視していないと判定された場合(ステップS104のNo)、ステップS108に進む。 Control unit 100 determines whether or not the driver is gazing at one of the left and right side monitors (step S104). Specifically, gaze determination unit 130 determines whether the driver is gazing at either left side monitor 40 or right side monitor 50 based on the detection result of line-of-sight detection unit 120 . If it is determined that the user is gazing at either the left or right side monitor (Yes in step S104), the process proceeds to step S105. On the other hand, if it is determined that neither the left or right side monitor is being watched (No in step S104), the process proceeds to step S108.

ステップS104でYesと判定された場合、制御部100は、注視していると判定されたサイドモニタに他方の側後方映像を表示する(ステップS105)。具体的には、表示制御部140が、運転者が注視しているサイドモニタに他方の測後方映像を表示する。そして、ステップS106に進む。 When it is determined as Yes in step S104, the control unit 100 displays the other side rear image on the side monitor determined to be gazing (step S105). Specifically, display control unit 140 displays the other rearview image on the side monitor that the driver is watching. Then, the process proceeds to step S106.

制御部100は、注視が終了したか否かを判定する(ステップS106)。具体的には、表示制御部140が、運転者が注視しているサイドモニタに他方の側後方映像を表示した後、その注視動作が終了したか否かを判定する。注視が終了したと判定された場合(ステップS106のYes)、ステップS107に進む。一方、注視動作が終了していないと判定された場合(ステップS106のNo)、ステップS106の判定を再度実行する。 The control unit 100 determines whether or not the gaze has ended (step S106). Specifically, after the display control unit 140 displays the other side rear image on the side monitor that the driver is gazing at, it determines whether or not the gazing action has ended. If it is determined that the gaze has ended (Yes in step S106), the process proceeds to step S107. On the other hand, if it is determined that the gaze motion has not ended (No in step S106), the determination in step S106 is performed again.

ステップS106でYesと判定された場合、制御部100は、注視していると判定されたサイドモニタに表示させている他方の側後方映像の表示を終了する(ステップS107)。具体的には、表示制御部140が注視していると判定されたサイドモニタに表示させている他方の側後方映像の表示を終了させて、元の状態に戻す。そして、ステップS108に進む。 If determined as Yes in step S106, the control unit 100 ends the display of the other side rear image displayed on the side monitor determined to be gazed (step S107). Specifically, the display control unit 140 terminates the display of the other side rear image displayed on the side monitor determined to be gazing, and restores the original state. Then, the process proceeds to step S108.

ステップS104でNoと判定された場合、およびステップS107の後、制御部100は、左右の後方映像の表示を終了するか否かを判定する(ステップS108)。具体的には、表示制御部140が外部から取得するCAN(Controller Area Network)などに基づいて左サイドモニタ40および右サイドモニタ50の映像の表示を終了するか否かを判定する。表示を終了すると判定された場合(ステップS108のYes)、図3の処理は終了する。表示を終了しないと判定された場合(ステップS108のNo)、ステップS104に進む。 If it is determined No in step S104 and after step S107, the control unit 100 determines whether or not to end the display of the left and right rear images (step S108). Specifically, the display control unit 140 determines whether or not to end the display of the images on the left side monitor 40 and the right side monitor 50 based on the CAN (Controller Area Network) acquired from the outside. If it is determined to end the display (Yes in step S108), the process of FIG. 3 ends. If it is determined not to end the display (No in step S108), the process proceeds to step S104.

図3の処理においては、ステップS106で注視が終了したと判断された場合に、他方の側後方映像の表示を停止しているが、注視が終了してから、例えば3秒間など所定期間経過してから他方の側後方映像の表示を停止することとしてもよい。 In the process of FIG. 3, when it is determined in step S106 that the gaze has ended, the display of the other side rear image is stopped. After that, the display of the other side rear image may be stopped.

上述のとおり、本実施形態は、運転者が一方のサイドモニタを注視していると判定された場合に、他方の側後方映像を注視しているサイドモニタに表示させることができる。これにより、運転者は、注視しているサイドモニタの他方の後方の状況を適切に視認することができる。その結果、本実施形態は、安全性を向上させることができる。 As described above, in this embodiment, when it is determined that the driver is gazing at one side monitor, the other side rear image can be displayed on the gazing side monitor. As a result, the driver can appropriately visually recognize the situation behind the other side monitor that the driver is looking at. As a result, this embodiment can improve safety.

[第二実施形態]
図4を用いて、本発明の第二実施形態に係る車両用表示装置について説明する。図4は、本発明の第二実施形態に係る車両用表示装置の構成の一例を示すブロック図である。
[Second embodiment]
A vehicle display device according to a second embodiment of the present invention will be described with reference to FIG. FIG. 4 is a block diagram showing an example of the configuration of the vehicle display device according to the second embodiment of the invention.

図4に示すように、車両用表示装置1Aは、左サイドモニタ40と、右サイドモニタ50との代わりに、クラスタモニタ90を備える点で、図1に図示の車両用表示装置1と異なっている。 As shown in FIG. 4, the vehicle display device 1A differs from the vehicle display device 1 shown in FIG. there is

図5を用いて、本発明の第二実施形態に係る車両用表示制御方法について説明する。図5は、本発明の第二実施形態に係る車両用表示制御方法を説明するための図である。 A vehicle display control method according to a second embodiment of the present invention will be described with reference to FIG. FIG. 5 is a diagram for explaining a vehicle display control method according to a second embodiment of the present invention.

図5は、車両内において、視線検出用カメラ30と、クラスタモニタ90とが設置された様子を示している。 FIG. 5 shows how the line-of-sight detection camera 30 and the cluster monitor 90 are installed in the vehicle.

クラスタモニタ90は、例えば、車幅方向に沿ってダッシュボード上に設置されている。クラスタモニタ90は、左サイドモニタ91と、右サイドモニタ92と、情報表示領域93と、第一車両情報表示領域94と、第二車両情報表示領域95とを有する。 The cluster monitor 90 is installed, for example, on the dashboard along the width direction of the vehicle. The cluster monitor 90 has a left side monitor 91 , a right side monitor 92 , an information display area 93 , a first vehicle information display area 94 and a second vehicle information display area 95 .

表示制御部140は、左サイドモニタ91に左側後方映像を表示する。表示制御部140は、右サイドモニタ92に右側後方映像を表示する。すなわち、第二実施形態では、左サイドモニタと、右サイドモニタとが一体に設けられている。 The display control unit 140 displays the left rear image on the left side monitor 91 . The display control unit 140 displays the right rear image on the right side monitor 92 . That is, in the second embodiment, the left side monitor and the right side monitor are integrally provided.

表示制御部140は、例えば、情報表示領域93にナビゲーション情報を含む各種の映像コンテンツを表示する。 The display control unit 140 displays various video contents including navigation information in the information display area 93, for example.

表示制御部140は、例えば、CANに基づいて、第一車両情報表示領域94と、第二車両情報表示領域95とに各種の車両情報を表示する。表示制御部140は、例えば、第一車両情報表示領域94にスピードメータおよびタコメータ等を表示する。表示制御部140は、例えば、第二車両情報表示領域95に燃料計および水温計などを表示する。表示制御部140が第一車両情報表示領域94と、第二車両情報表示領域95とに表示する車両情報はこれらに限定されない。 The display control unit 140 displays various types of vehicle information in the first vehicle information display area 94 and the second vehicle information display area 95 based on CAN, for example. The display control unit 140 displays, for example, a speedometer, a tachometer, etc. in the first vehicle information display area 94 . The display control unit 140 displays, for example, a fuel gauge and a water temperature gauge in the second vehicle information display area 95 . The vehicle information displayed in the first vehicle information display area 94 and the second vehicle information display area 95 by the display control unit 140 is not limited to these.

図5(a)は、運転者が左サイドモニタ91および右サイドモニタ92のいずれも注視していない場合を示している。この場合、表示制御部140は、クラスタモニタ90の左端部の左サイドモニタ91に左側後方映像を表示し、右端部の右サイドモニタ92に右側後方映像を表示する。 FIG. 5(a) shows a case where the driver is not watching either the left side monitor 91 or the right side monitor 92. FIG. In this case, the display control unit 140 displays the left rear image on the left side monitor 91 at the left end of the cluster monitor 90 and displays the right rear image on the right side monitor 92 at the right end.

図5(b)は、運転者が右サイドモニタ92を注視していると判定された場合を示している。この場合、表示制御部140は、右サイドモニタ92に隣接して、左側後方映像を表示する。具体的には、表示制御部140は、第一車両情報表示領域94と、第二車両情報表示領域95とを表示する領域を左側に移動させる。より具体的には、表示制御部140は、情報表示領域93の幅を狭くして、第一車両情報表示領域94と、第二車両情報表示領域95との大きさは変えずにより左側に表示する。これにより、右サイドモニタ92の左側のスペースは、左側後方映像表示領域91Aとなる。そして、表示制御部140は、左側後方映像表示領域91Aに左側後方映像を表示する。すなわち、表示制御部140は、注視している側の側後方映像をサイドモニタにおける車両の中心から離間する方向の領域に表示させ、他方の側後方映像を注視しているサイドモニタにおける車両の中心側に向かう方向の領域に表示させる。 FIG. 5(b) shows a case where it is determined that the driver is gazing at the right side monitor 92. FIG. In this case, the display control unit 140 displays the left rear image adjacent to the right side monitor 92 . Specifically, the display control unit 140 moves the display areas of the first vehicle information display area 94 and the second vehicle information display area 95 to the left. More specifically, the display control unit 140 narrows the width of the information display area 93, and displays the first vehicle information display area 94 and the second vehicle information display area 95 on the left side without changing the sizes. do. As a result, the space on the left side of the right side monitor 92 becomes the left rear image display area 91A. Then, the display control unit 140 displays the left rear image in the left rear image display area 91A. That is, the display control unit 140 displays the side rear image on the gazed side in a region on the side monitor in the direction away from the center of the vehicle, and displays the other side rear image on the side monitor where the gaze is focused on the center of the vehicle. Display in the area facing the side.

左側後方映像表示領域91Aに表示される映像は、左サイドモニタ91に表示される映像と同じであってもよいし、異なっていてもよい。例えば、左側後方映像表示領域91Aには、左サイドモニタ91に表示される映像のうち、一部が表示されていていてもよい。 The image displayed on the left rear image display area 91A may be the same as the image displayed on the left side monitor 91, or may be different. For example, part of the video displayed on the left side monitor 91 may be displayed in the left rear video display area 91A.

左側後方映像表示領域91Aの大きさは、左サイドモニタ91と同じであってもよいし、異なっていてもよい。例えば、左側後方映像表示領域91Aの幅方向は、左サイドモニタ91の幅方向よりも、大きくてもよいし、小さくてもよい。 The size of the left rear image display area 91A may be the same as that of the left side monitor 91, or may be different. For example, the width direction of the left rear image display area 91A may be larger or smaller than the width direction of the left side monitor 91 .

なお、運転者が左サイドモニタ91を注視していると判定された場合には、表示制御部140は、左サイドモニタ91に隣接して右側後方映像を表示させる。処理の詳細は、右サイドモニタ92を注視していると判定された場合と同様なので、説明を省略する。 Note that when it is determined that the driver is gazing at the left side monitor 91 , the display control unit 140 displays the right rear image adjacent to the left side monitor 91 . The details of the process are the same as when it is determined that the user is looking at the right side monitor 92, so the description will be omitted.

図6を用いて、本発明の第二実施形態に係る車両用制御方法の処理の流れについて説明する。図6は、本発明の第二実施形態に係る車両用制御方法の処理の流れの一例を示すフローチャートである。 A process flow of the vehicle control method according to the second embodiment of the present invention will be described with reference to FIG. FIG. 6 is a flow chart showing an example of the flow of processing of the vehicle control method according to the second embodiment of the present invention.

ステップS201からステップS204の処理は、それぞれ、図3に図示のステップS101からステップS104の処理と同一なので、説明は省略する。 Since the processing from step S201 to step S204 is the same as the processing from step S101 to step S104 shown in FIG. 3, the description thereof will be omitted.

ステップS204でYesと判定された場合、制御部100Aは、運転者が注視しているサイドモニタに隣接して表示されている他の情報を移動するとともに、運転者が注視しているサイドモニタに隣接して他方の側後方映像を表示する(ステップS205)。具体的には、表示制御部140が、運転者が注視している他方の測後方映像を表示する。そして、ステップS206に進む。 If it is determined as Yes in step S204, the control unit 100A moves other information displayed adjacent to the side monitor that the driver is gazing at, and moves the other information to the side monitor that the driver is gazing at. The other side rear image is displayed adjacently (step S205). Specifically, display control unit 140 displays the other rearview image that the driver is gazing at. Then, the process proceeds to step S206.

ステップS206およびステップS208の処理は、それぞれ、図3に図示のステップS106およびステップS108と同一なので、説明は省略する。 The processing of steps S206 and S208 is the same as that of steps S106 and S108 shown in FIG. 3, respectively, so description thereof will be omitted.

ステップS206でYesと判定された場合、制御部100Aは、注視していると判定されたサイドモニタに表示させている他方の側後方映像の表示を停止するとともに、ステップS205で移動させた他の情報の表示位置を戻す(ステップS207)。そして、ステップS208に進む。 When it is determined as Yes in step S206, the control unit 100A stops the display of the other side rear image displayed on the side monitor determined to be gazing, and the other side rear image moved in step S205. The information display position is returned (step S207). Then, the process proceeds to step S208.

上述のとおり、本実施形態は、運転者が一方のサイドモニタを注視していると判定された場合に、他方の側後方映像を注視しているサイドモニタに隣接して表示させることができる。これにより、運転者は、注視しているサイドモニタの他方の後方の状況を適切に視認することができる。その結果、本実施形態は、安全性を向上させることができる。 As described above, in this embodiment, when it is determined that the driver is gazing at one side monitor, the other side rear image can be displayed adjacent to the side monitor that the driver is gazing at. As a result, the driver can appropriately visually recognize the situation behind the other side monitor that the driver is looking at. As a result, this embodiment can improve safety.

[第三実施形態]
図7を用いて、本発明の第三実施形態に係る車両用表示制御方法について説明する。図7は、本発明の第三実施形態に係る車両用表示制御方法を説明するための図である。なお、車両用表示装置の構成については、車両用表示装置1Aと同様なので、説明を省略する。
[Third embodiment]
A vehicle display control method according to a third embodiment of the present invention will be described with reference to FIG. FIG. 7 is a diagram for explaining a vehicle display control method according to a third embodiment of the present invention. Since the configuration of the vehicle display device is the same as that of the vehicle display device 1A, the description thereof is omitted.

図7は、車両内において、視線検出用カメラ30と、クラスタモニタ90とが設置された様子を示している。 FIG. 7 shows how the line-of-sight detection camera 30 and the cluster monitor 90 are installed in the vehicle.

図7(a)は、運転者が左サイドモニタ91および右サイドモニタ92のいずれも注視していない場合を示している。この場合、表示制御部140は、クラスタモニタ90の左端部の左サイドモニタ91に左側後方映像を表示し、右端部の右サイドモニタ92に右側後方映像を表示する。 FIG. 7(a) shows a case where the driver is not watching either the left side monitor 91 or the right side monitor 92. FIG. In this case, the display control unit 140 displays the left rear image on the left side monitor 91 at the left end of the cluster monitor 90 and displays the right rear image on the right side monitor 92 at the right end.

図7(b)は、運転者が右サイドモニタ92を注視していると判定された場合を示している。この場合、表示制御部140は、右サイドモニタ92に隣接している第二車両情報表示領域95と、左側後方映像表示領域91Bとを重畳させる。具体的には、表示制御部140は、第二車両情報表示領域95に表示される水温計や燃料計と、左側後方映像表示領域91Bに表示される左側後方映像とを重畳して表示させる。ここでいう重畳表示とは、運転者から見て、第二車両情報表示領域95の表示位置に、左側後方映像表示領域91Bが目視可能な状態で表示されることである。この場合、左側後方映像表示領域91Bとともに、第二車両情報表示領域95に表示されている水温計や燃料計は、目視できなくなってもよく、薄く目視される程度に表示されてもよい。 FIG. 7(b) shows a case where it is determined that the driver is gazing at the right side monitor 92. FIG. In this case, the display control unit 140 superimposes the second vehicle information display area 95 adjacent to the right side monitor 92 and the left rear image display area 91B. Specifically, the display control unit 140 causes the water temperature gauge and fuel gauge displayed in the second vehicle information display area 95 and the left rear image displayed in the left rear image display area 91B to be superimposed and displayed. Here, the superimposed display means that the left rear image display area 91B is displayed in a visible state at the display position of the second vehicle information display area 95 as seen from the driver. In this case, the water temperature gauge and the fuel gauge displayed in the second vehicle information display area 95 together with the left rear image display area 91B may not be visible or may be displayed so as to be faintly visible.

図7(b)に示す例では、第二車両情報表示領域95は、その全てが左側後方映像表示領域91Bに重畳されているが、部分的に重畳されていてもよい。 In the example shown in FIG. 7B, the second vehicle information display area 95 is entirely superimposed on the left rear image display area 91B, but it may be partially superimposed.

左側後方映像表示領域91Bに表示される映像は、左サイドモニタ91に表示される映像と同じであってもよいし、異なっていてもよい。例えば、左側後方映像表示領域91Bには、左サイドモニタ91に表示される映像のうち、一部が表示されていてもよい。 The image displayed in the left rear image display area 91B may be the same as the image displayed on the left side monitor 91, or may be different. For example, part of the video displayed on the left side monitor 91 may be displayed in the left rear video display area 91B.

左側後方映像表示領域91Bの大きさは、左サイドモニタ91と同じであってもよいし、異なっていてもよい。例えば、左側後方映像表示領域91Bの幅方向は、左サイドモニタ91の幅方向よりも、大きくてもよいし、小さくてもよい。 The size of the left rear image display area 91B may be the same as that of the left side monitor 91, or may be different. For example, the width direction of the left rear image display area 91B may be larger or smaller than the width direction of the left side monitor 91 .

図8を用いて、本発明の第三実施形態に係る車両用制御方法の処理の流れについて説明する。図8は、本発明の第三実施形態に係る車両用制御方法の処理の流れの一例を示すフローチャートである。 A processing flow of the vehicle control method according to the third embodiment of the present invention will be described with reference to FIG. FIG. 8 is a flow chart showing an example of the flow of processing of the vehicle control method according to the third embodiment of the present invention.

ステップS301からステップS304、およびステップS306とステップS308の処理は、それぞれ、図6に図示のステップS201からステップS204、およびステップS206とステップS208同一なので、説明を省略する。 Since steps S301 to S304 and steps S306 and S308 are the same as steps S201 to S204 and steps S206 and S208 shown in FIG. 6 respectively, description thereof will be omitted.

ステップS304でNoと判定された場合、制御部100Aは、運転者が注視しているサイドモニタに隣接して表示されている他の情報に他方の測後方映像を重畳して表示する(ステップS305)。具体的には、表示制御部140が、運転者が注視しているサイドモニタに隣接して表示されている他の情報に他方の測後方映像を重畳して表示する。そして、ステップ306に進む。 If the determination in step S304 is No, the control unit 100A superimposes the other information displayed adjacent to the side monitor that the driver is looking at and displays the other rearview image (step S305). ). Specifically, the display control unit 140 displays the other information displayed adjacent to the side monitor that the driver is gazing at by superimposing the other rearview image. Then, go to step 306 .

ステップS306でYesと判定された場合、制御部100Aは、重畳して表示している他方の側後方映像の表示を停止する(ステップS307)。ステップS307で、重畳して表示している他方の側後方映像の表示を停止することで、運転者が注視しているサイドモニタに隣接して表示されている他の情報が通常の表示状態となる。そして、ステップS308に進む。 If it is determined as Yes in step S306, the control unit 100A stops displaying the other side rear image that is superimposed and displayed (step S307). In step S307, by stopping the display of the other side rear image that is superimposed and displayed, the other information displayed adjacent to the side monitor that the driver is gazing at is changed from the normal display state. Become. Then, the process proceeds to step S308.

上述のとおり、本実施形態は、運転者が一方のサイドモニタを注視していると判定された場合に、他方の側後方映像を注視しているサイドモニタに隣接して表示させることができる。これにより、運転者は、注視しているサイドモニタの他方の後方の状況を把握することができる。その結果、本実施形態は、安全性を向上させることができる。 As described above, in this embodiment, when it is determined that the driver is gazing at one side monitor, the other side rear image can be displayed adjacent to the side monitor that the driver is gazing at. This allows the driver to grasp the situation behind the other side monitor that the driver is looking at. As a result, this embodiment can improve safety.

上述した、第二実施形態および第三実施形態は、運転者が注視した側のサイドモニタに隣接して表示されている情報の重要性に基づいて選択的に実施されてもよい。例えば、運転者が右サイドモニタを注視している場合、右サイドモニタに隣接して表示されている情報が、車両の運行上重要性の高い情報である場合は、第二実施形態のような処理を行う。これに対し、運転者が左サイドモニタを注視している場合、左サイドモニタに隣接して表示されている情報が、車両の運行上重要性の高くない情報である場合は、左サイドモニタに対して第三実施形態のような処理を行う。 The second embodiment and the third embodiment described above may be selectively implemented based on the importance of the information displayed adjacent to the side monitor on the side of the driver's gaze. For example, when the driver is watching the right side monitor, if the information displayed adjacent to the right side monitor is information that is highly important for driving the vehicle, the second embodiment can be used. process. On the other hand, when the driver is watching the left side monitor, if the information displayed adjacent to the left side monitor is information that is not of high importance for the operation of the vehicle, the left side monitor For this, the processing as in the third embodiment is performed.

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。 Although the embodiments of the present invention have been described above, the present invention is not limited by the contents of these embodiments. In addition, the components described above include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those within the so-called equivalent range. Furthermore, the components described above can be combined as appropriate. Furthermore, various omissions, replacements, or modifications of components can be made without departing from the gist of the above-described embodiments.

1,1A 車両用表示装置
10 左サイドカメラ
20 右サイドカメラ
30 視線検出用カメラ
40 左サイドモニタ
50 右サイドモニタ
60 情報表示部
70 第一車両情報表示部
80 第二車両情報表示部
90 クラスタモニタ
100,100A 制御部(車両用表示制御装置)
110 映像データ取得部
120 視線検出部
130 注視判定部
140 表示制御部
141 切出し処理部
142 合成処理部
1, 1A vehicle display device 10 left side camera 20 right side camera 30 sight line detection camera 40 left side monitor 50 right side monitor 60 information display section 70 first vehicle information display section 80 second vehicle information display section 90 cluster monitor 100 , 100A control unit (vehicle display control device)
110 video data acquisition unit 120 line-of-sight detection unit 130 gaze determination unit 140 display control unit 141 cutout processing unit 142 synthesis processing unit

Claims (4)

車両の左右各々の側後方を撮影する撮像部が撮影する左右の側後方の映像データを取得する映像データ取得部と、
前記車両の運転者の視線方向を検出する視線検出部と、
前記視線検出部の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断する注視判定部と、
前記注視判定部が、前記左右のサイドモニタのいずれかを前記運転者が注視していると判断した場合であって、前記運転者が注視している方向のサイドモニタに連続した表示部に、他の情報が表示されている場合、注視している側の側後方映像に加えて、他方の側後方映像を重畳して表示させる表示制御部と、
を備える車両用表示制御装置。
a video data acquisition unit for acquiring video data of the left and right rear sides captured by the imaging units that capture the left and right rear sides of the vehicle;
a line-of-sight detection unit that detects a line-of-sight direction of a driver of the vehicle;
a gaze determination unit that determines whether the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight detection unit;
When the gaze determination unit determines that the driver is gazing at one of the left and right side monitors, a display unit connected to the side monitor in the direction the driver is gazing, a display control unit that, when other information is displayed, superimposes and displays the other side rear image in addition to the side rear image of the gazing side;
A vehicle display control device comprising:
前記表示制御部は、前記運転者が注視している方向のサイドモニタに連続した前記表示部において、前記他方の側後方映像を前記車両の中心側に向かう方向の領域に重畳して表示させる、
請求項1に記載の車両用表示制御装置。
The display control unit superimposes and displays the other side rear image on the area in the direction toward the center of the vehicle in the display unit connected to the side monitor in the direction the driver is gazing .
The vehicle display control device according to claim 1 .
車両の左右各々の側後方を撮影する撮像部が撮影する左右の側後方の映像データを取得するステップと、
前記車両の運転者の視線方向を検出するステップと、
前記運転者の視線方向の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断するステップと、
前記左右のサイドモニタのいずれかを前記運転者が注視していると判断された場合であって、前記運転者が注視している方向のサイドモニタに連続した表示部に、他の情報が表示されている場合、注視している側の側後方映像に加えて、他方の側後方映像を重畳して表示させるステップと、
を含む車両用表示制御方法。
a step of obtaining video data of the left and right rear sides captured by imaging units that capture the left and right rear sides of the vehicle;
detecting a gaze direction of a driver of the vehicle;
a step of determining whether the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight direction of the driver;
When it is determined that the driver is gazing at one of the left and right side monitors, other information is displayed on a display unit connected to the side monitor in the direction the driver is gazing. if so, superimposing and displaying the other side rear image in addition to the side rear image of the gazed side;
A vehicle display control method comprising:
車両の左右各々の側後方を撮影する撮像部が撮影する左右の側後方の映像データを取得するステップと、
前記車両の運転者の視線方向を検出するステップと、
前記運転者の視線方向の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断するステップと、
前記左右のサイドモニタのいずれかを前記運転者が注視していると判断された場合であって、前記運転者が注視している方向のサイドモニタに連続した表示部に、他の情報が表示されている場合、注視している側の側後方映像に加えて、他方の側後方映像を重畳して表示させるステップと、
を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。
a step of obtaining video data of the left and right rear sides captured by imaging units that capture the left and right rear sides of the vehicle;
detecting a gaze direction of a driver of the vehicle;
a step of determining whether the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight direction of the driver;
When it is determined that the driver is gazing at one of the left and right side monitors, other information is displayed on a display unit connected to the side monitor in the direction the driver is gazing. if so, superimposing and displaying the other side rear image in addition to the side rear image of the gazed side;
is executed by a computer that operates as a vehicle display control device.
JP2019156022A 2019-08-28 2019-08-28 Vehicle display control device, vehicle display control method, and program Active JP7293990B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019156022A JP7293990B2 (en) 2019-08-28 2019-08-28 Vehicle display control device, vehicle display control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019156022A JP7293990B2 (en) 2019-08-28 2019-08-28 Vehicle display control device, vehicle display control method, and program

Publications (2)

Publication Number Publication Date
JP2021033872A JP2021033872A (en) 2021-03-01
JP7293990B2 true JP7293990B2 (en) 2023-06-20

Family

ID=74678306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019156022A Active JP7293990B2 (en) 2019-08-28 2019-08-28 Vehicle display control device, vehicle display control method, and program

Country Status (1)

Country Link
JP (1) JP7293990B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022255409A1 (en) * 2021-06-02 2022-12-08

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006088758A (en) 2004-09-21 2006-04-06 Denso Corp Display device for vehicle
JP2017073040A (en) 2015-10-08 2017-04-13 株式会社東海理化電機製作所 Visual recognition device for vehicle and visual recognition control program for vehicle
JP2017211700A (en) 2016-05-23 2017-11-30 本田技研工業株式会社 Vehicle control system, vehicle control method, and vehicle control program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006088758A (en) 2004-09-21 2006-04-06 Denso Corp Display device for vehicle
JP2017073040A (en) 2015-10-08 2017-04-13 株式会社東海理化電機製作所 Visual recognition device for vehicle and visual recognition control program for vehicle
JP2017211700A (en) 2016-05-23 2017-11-30 本田技研工業株式会社 Vehicle control system, vehicle control method, and vehicle control program

Also Published As

Publication number Publication date
JP2021033872A (en) 2021-03-01

Similar Documents

Publication Publication Date Title
JP5099451B2 (en) Vehicle periphery confirmation device
US10723266B2 (en) On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
JP5093611B2 (en) Vehicle periphery confirmation device
JP2008230558A (en) Vehicle periphery monitoring device
JP2010128794A (en) Surrounding recognition assisting device for vehicle
JP2010208359A (en) Display device for vehicle
JP2018022958A (en) Vehicle display controller and vehicle monitor system
JP2018144554A (en) Head-up display device for vehicle
JP2018121287A (en) Display control apparatus for vehicle, display system for vehicle, display control method for vehicle, and program
JP5861449B2 (en) Obstacle alarm device
JP7293990B2 (en) Vehicle display control device, vehicle display control method, and program
JP2010105443A (en) Visual assistive device
JP5845909B2 (en) Obstacle alarm device
JP5660395B2 (en) Obstacle alarm device
JP2008162550A (en) External environment display device
JP2007329611A (en) Vehicle perimeter monitoring apparatus, vehicle perimeter monitoring system, and vehicle perimeter monitoring method
JP2021024402A (en) Display control device for vehicle and display system for vehicle
JP2020170341A (en) Display control device, display control method and program
JP6488628B2 (en) Video processing apparatus and in-vehicle video processing system
JP7037896B2 (en) Visual assistance device
JP2009214790A (en) Apparatus and method for imaging, and apparatus and method for processing image
US20150130938A1 (en) Vehicle Operational Display
KR20170064134A (en) Displaying control apparatus of head up display and method thereof
JPWO2020012992A1 (en) Vehicle display device
JP2019110390A (en) Vehicle periphery monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R150 Certificate of patent or registration of utility model

Ref document number: 7293990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150