JP7293990B2 - Vehicle display control device, vehicle display control method, and program - Google Patents
Vehicle display control device, vehicle display control method, and program Download PDFInfo
- Publication number
- JP7293990B2 JP7293990B2 JP2019156022A JP2019156022A JP7293990B2 JP 7293990 B2 JP7293990 B2 JP 7293990B2 JP 2019156022 A JP2019156022 A JP 2019156022A JP 2019156022 A JP2019156022 A JP 2019156022A JP 7293990 B2 JP7293990 B2 JP 7293990B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- vehicle
- gazing
- rear image
- side monitor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車両用表示制御装置、車両用表示制御方法、およびプログラムに関する。 The present invention relates to a vehicle display control device, a vehicle display control method, and a program.
車両の周辺の映像を表示することで、運転を支援する技術が知られている。例えば、特許文献1には、車両の右左折時に、曲がる方向のカメラ映像を複数表示する運転支援装置が開示されている。
A technique for assisting driving by displaying an image of the surroundings of a vehicle is known. For example,
例えば、運転者は、右左折時に限らず直進走行中であっても、サイドモニタに表示された物体等が気になり、サイドモニタを注視してしまうことがある。このような場合、注視しているサイドモニタの他方のサイドモニタの確認が疎かになり、他方の側後方から走行してくる他の車両や、歩行者などに気づかない場合も生じる。 For example, the driver may be concerned about an object or the like displayed on the side monitor and gaze at the side monitor not only when the vehicle is turning right or left, but also when the vehicle is traveling straight ahead. In such a case, confirmation of the other side monitor of the side monitor that the driver is paying attention to is neglected, and there may be cases where the driver does not notice other vehicles or pedestrians traveling from behind the other side monitor.
本発明は、一方のサイドモニタを注視している場合に、他方の側後方の状況を適切に視認させることのできる車両用表示制御装置、車両用表示制御方法、およびプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a vehicle display control device, a vehicle display control method, and a program, which enable a driver to appropriately visually recognize the situation behind the other side monitor when looking at one side monitor. and
本発明の車両用表示制御装置は、車両の左右各々の側後方を撮影する撮像部が撮影する左右の側後方の映像データを取得する映像データ取得部と、前記車両の運転者の視線方向を検出する視線検出部と、前記視線検出部の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断する注視判定部と、前記注視判定部が、前記左右のサイドモニタのいずれかを前記運転者が注視していると判断した場合、前記運転者が注視している方向のサイドモニタまたはその周囲に、注視している側の側後方映像に加えて、他方の側後方映像を表示させる表示制御部と、を備える。 A display control device for a vehicle according to the present invention includes a video data acquiring unit for acquiring video data of the left and right rear sides captured by an imaging unit that captures the left and right rear sides of a vehicle, and a line-of-sight direction of the driver of the vehicle. a line-of-sight detection unit for detecting; a gaze determination unit for determining whether or not the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight detection unit; When the gaze determination unit determines that the driver is gazing at one of the left and right side monitors, the side monitor in the direction the driver is gazing or its surroundings is displayed on the side monitor of the side the driver is gazing at. a display control unit that displays the other side rear image in addition to the side rear image.
本発明の車両用表示制御方法は、車両の左右各々の側後方を撮影する撮像部が撮影する左右の側後方の映像データを取得するステップと、前記車両の運転者の視線方向を検出するステップと、前記運転者の視線方向の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断するステップと、前記左右のサイドモニタのいずれかを前記運転者が注視していると判断された場合、前記運転者が注視している方向のサイドモニタまたはその周囲に、注視している側の側後方映像に加えて、他方の側後方映像を表示させるステップと、を含む。 A display control method for a vehicle according to the present invention includes the steps of obtaining video data of the left and right rear sides captured by an imaging unit that captures the left and right rear sides of a vehicle, and the steps of detecting the line-of-sight direction of the driver of the vehicle. determining whether or not the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight direction of the driver; If it is determined that the driver is gazing at one of them, the side monitor in the direction the driver is gazing at or its surroundings will display the side rear image of the gazing side as well as the other side monitor. and C. displaying a rear image.
本発明のプログラムは、車両の左右各々の側後方を撮影する撮像部が撮影する左右の側後方の映像データを取得するステップと、前記車両の運転者の視線方向を検出するステップと、前記運転者の視線方向の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断するステップと、前記左右のサイドモニタのいずれかを前記運転者が注視していると判断された場合、前記運転者が注視している方向のサイドモニタまたはその周囲に、注視している側の側後方映像に加えて、他方の側後方映像を表示させるステップと、を車両用表示制御装置として動作するコンピュータに実行させる。 The program of the present invention includes the steps of obtaining video data of the left and right rear sides captured by imaging units that capture the left and right rear sides of the vehicle, the steps of detecting the line-of-sight direction of the driver of the vehicle, determining whether the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight direction of the driver; When it is determined that the driver is gazing, the other side rear image is displayed in addition to the gazing side rear image on the side monitor in the direction the driver is gazing or around it. and causing a computer operating as a display control device for a vehicle to execute.
本発明によれば、一方のサイドモニタを注視している場合に、他方の側後方の状況を適切に視認させることができる。 ADVANTAGE OF THE INVENTION According to this invention, when looking at one side monitor, the situation of the other side rear can be visually recognized appropriately.
以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。 DETAILED DESCRIPTION OF THE INVENTION Embodiments according to the present invention will be described in detail below with reference to the accompanying drawings. It should be noted that the present invention is not limited by this embodiment, and when there are a plurality of embodiments, a combination of each embodiment is also included.
[第一実施形態]
図1を用いて、本発明の第一実施形態に係る車両用表示装置について説明する。図1は、本発明の第一実施形態に係る車両用表示装置の構成の一例を示すブロック図である。
[First embodiment]
A vehicle display device according to a first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing an example of the configuration of the vehicle display device according to the first embodiment of the invention.
図1に示すように、車両用表示装置1は、左サイドカメラ10と、右サイドカメラ20と、視線検出用カメラ30と、左サイドモニタ40と、右サイドモニタ50と、制御部(車両用表示制御装置)100と、を備える。
As shown in FIG. 1, the
左サイドカメラ10は、車両の左側方に後方を向いて配置され、車両の左側後方を撮影する。左サイドカメラ10は、左サイドモニタ40による確認範囲を撮影する。左サイドカメラ10は、例えば、水平方向の画角が15°から45°である。左サイドカメラ10は、例えば、上下方向の画角が15°から45°である。左サイドカメラ10は、撮影した左側後方映像データを映像データ取得部110に出力する。
The left side camera 10 is arranged facing rearward on the left side of the vehicle, and photographs the rear left side of the vehicle. The left-side camera 10 captures an image of the confirmation range of the left-
右サイドカメラ20は、車両の右側方に後方を向いて配置され、車両の右側後方を撮影する。右サイドカメラ20は、右サイドモニタ50による確認範囲を撮影する。右サイドカメラ20は、例えば、水平方向の画角が15°から45°である。右サイドカメラ20は、例えば、上下方向の画角が15°から45°である。右サイドカメラ20は、撮影した右側後方映像データを映像データ取得部110に出力する。
The
視線検出用カメラ30は、運転者の視線の方向を検出するために運転者の顔を撮影する。視線検出用カメラ30は、例えば、運転者の正面に配置されている。視線検出用カメラ30は、例えば、赤外光発光装置と、赤外光カメラとで実現することができる。この場合、赤外発光装置が運転者の顔に赤外光を照射して、赤外光カメラが運転者の顔を撮影する。視線検出用カメラ30は、同様の機能を有する他の構成であってもよい。視線検出用カメラ30は、運転者の顔を撮影した運転者映像データを視線検出部120に出力する。
The line-of-
左サイドモニタ40は、制御部100の表示制御部140から出力された映像信号に基づき、車両の左側後方映像を表示する。左サイドモニタ40は、運転者から視認容易な位置に配置されている。本実施形態では、左サイドモニタ40は、ダッシュボードの車幅方向の左側に配置されている。左サイドモニタ40は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイなどを含むディスプレイである。
The
右サイドモニタ50は、制御部100の表示制御部140から出力された映像信号に基づき、車両の右側後方映像を表示する。右サイドモニタ50は、運転者から視認容易な位置に配置されている。本実施形態では、右サイドモニタ50は、ダッシュボードの車幅方向の右側に配置されている。右サイドモニタ50は、例えば、液晶ディスプレイまたは有機ELディスプレイなどを含むディスプレイである。
The
制御部100は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、図示しない記憶部に記憶されたプログラム(例えば、本発明に係るプログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部100は、コントローラ(Controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
For example, the
制御部100は、映像データ取得部110と、視線検出部120と、注視判定部130と、表示制御部140とを備える。
The
映像データ取得部110は、各種の映像データを取得する。映像データ取得部110は、例えば、左サイドカメラ10から車両の左側後方映像データを取得する。映像データ取得部110は、例えば、右サイドカメラ20から車両の右側後方映像データを取得する。
The video data acquisition unit 110 acquires various video data. The image data acquisition unit 110 acquires left rear image data of the vehicle from the left side camera 10, for example. The image data acquisition unit 110 acquires the right rear image data of the vehicle from the
視線検出部120は、視線検出用カメラ30から運転者映像データを取得する。視線検出部120は、運転者映像データに基づいて、運転者の視線の方向を検出する。視線検出部120、例えば、運転者映像データから、運転者の瞳孔と角膜反射の位置とに基づいて、運転者の視線の方向を検出する。
The line-of-sight detection unit 120 acquires driver image data from the line-of-
注視判定部130は、視線検出部120による運転者の視線の検出結果に基づいて、運転者が左サイドモニタ40または右サイドモニタ50を注視しているか否かを判定する。注視判定部130は、例えば、左サイドモニタ40または右サイドモニタ50に対して運転者の視線が、例えば3秒以上など所定時間以上向いていた場合に、そのサイドモニタを注視していると判定する。注視判定部130は、例えば、5秒間など所定時間の間に所定回数以上視認した場合に、そのサイドモニタを注視していると判定してもよい。注視判定部130は、視線検出部120を用いた視線検出に代えて、運転者の顔の向きに基づき、運転者が左サイドモニタ40または右サイドモニタ50を注視しているか否かを判定することとしてもよい。 The gaze determination unit 130 determines whether the driver is gazing at the left side monitor 40 or the right side monitor 50 based on the detection result of the driver's line of sight by the line of sight detection unit 120 . The gaze determination unit 130 determines that the driver is gazing at the left side monitor 40 or the right side monitor 50 when, for example, the driver's line of sight is directed toward the left side monitor 40 or the right side monitor 50 for a predetermined period of time, such as three seconds or longer. do. The gaze determination unit 130 may determine that the side monitor is being gazed at, for example, when the side monitor is viewed a predetermined number of times or more within a predetermined period of time, such as five seconds. The gaze determination unit 130 determines whether or not the driver is gazing at the left side monitor 40 or the right side monitor 50 based on the direction of the driver's face instead of detecting the line of sight using the line of sight detection unit 120. You can do it.
表示制御部140は、右側後方映像データおよび左側後方映像データに基づいて、左サイドモニタ40に左側後方映像を表示させ、右サイドモニタ50に右側後方映像を表示させる。具体的には後述するが、表示制御部140は、例えば、注視判定部130が、運転者が左サイドモニタ40または右サイドモニタ50のいずれかを注視していると判断した場合、注視している方向のサイドモニタに、注視している側の側後方映像に加えて、他方の側後方映像を表示させる。表示制御部140は、切出し処理部141と、合成処理部142とを備える。
Based on the right rear image data and the left rear image data, the display control unit 140 causes the left side monitor 40 to display the left rear image and the right side monitor 50 to display the right rear image. Although details will be described later, for example, when the gaze determination unit 130 determines that the driver is gazing at either the left side monitor 40 or the
切出し処理部141は、左側後方映像データから左サイドモニタ40に表示するための表示用左側後方映像データを切出す。これにより、表示制御部140は、表示用左側後方映像データを左サイドモニタ40に表示する。
The cutout processing unit 141 cuts out left rear image data for display to be displayed on the left side monitor 40 from the left rear image data. Thereby, the display control unit 140 displays the left rear image data for display on the
切出し処理部141は、右側後方映像データから右サイドモニタ50に表示するための表示用右側後方映像データを切出す。これにより、表示制御部140は、表示用右側後方映像データを右サイドモニタ50に表示する。
The cutout processing unit 141 cuts out right rear image data for display to be displayed on the right side monitor 50 from the right rear image data. Thereby, the display control unit 140 displays the right rear image data for display on the
切出し処理部141は、運転者が左サイドモニタ40を注視していると判断された場合には、右側後方映像データから左サイドモニタ40に表示させるための注視時表示用右側後方映像データを切出す。切出し処理部141は、注視時表示用右側後方映像データを合成処理部142に出力する。
When it is determined that the driver is gazing at the
切出し処理部141は、運転手が右サイドモニタ50を注視していると判断された場合には、左側後方映像データから右サイドモニタ50に表示させるための注視時表示用左側後方映像データを切出す。切出し処理部141は、注視時表示用左側後方映像データを合成処理部142に出力する。
When it is determined that the driver is gazing at the
合成処理部142は、例えば、運転者が左サイドモニタ40を注視していると判断された場合には、表示用左側後方映像データに注視時表示用右側後方映像データを部分的に合成する。これにより、表示制御部140は、表示用左側後方映像データに注視時表示用右側後方映像データが合成された映像データを左サイドモニタ40に表示する。
For example, when it is determined that the driver is gazing at the
合成処理部142は、例えば、運転者が右サイドモニタ50を注視していると判断された場合には、表示用右側後方映像データに注視時表示用左側後方映像データを部分的に合成する。これにより、表示制御部140は、表示用右側後方映像データに注視時表示用左側後方映像データが合成された映像データを右サイドモニタ50に表示する。
For example, when it is determined that the driver is gazing at the
図2を用いて、本発明の第一実施形態に係る車両用表示制御方法について説明する。図2は、本発明の第一実施形態に係る車両用表示制御方法を説明するための図である。 A vehicle display control method according to the first embodiment of the present invention will be described with reference to FIG. FIG. 2 is a diagram for explaining the vehicle display control method according to the first embodiment of the present invention.
図2は、車両内において、視線検出用カメラ30と、左サイドモニタ40と、右サイドモニタ50とが設置された様子を示している。
FIG. 2 shows how the line-of-
視線検出用カメラ30は、例えば、運転者の正面のダッシュボード上に設置されている。視線検出用カメラ30を設置する位置は、運転者の顔が撮影できる位置であれば、特に制限はない。左サイドモニタ40は、ダッシュボード上において、車幅方向の左側に設置されている。右サイドモニタ50は、ダッシュボード上において、車幅方向の右側に設置されている。
The line-of-
また、ダッシュボードには、例えば、情報表示部60と、第一車両情報表示部70と、第二車両情報表示部80とが埋め込まれている。情報表示部60は、例えば、ナビゲーション情報を含む各種の映像コンテンツを表示する。第一車両情報表示部70は、例えば、スピードメータおよびタコメータ等を含む。第二車両情報表示部80は、例えば、燃料計および水温計等を含む。なお、情報表示部60と、第一車両情報表示部70と、第二車両情報表示部80とは、これらに限定されない。
For example, an
図2(a)は、運転者が左サイドモニタ40および右サイドモニタ50のいずれも注視していない場合を示している。この場合、表示制御部140は、左サイドモニタ40には左側後方映像を表示し、右サイドモニタ50には右側後方映像を表示する。
FIG. 2(a) shows a case where the driver is not watching either the left side monitor 40 or the
図2(b)は、運転者が右サイドモニタ50を注視していると判定された場合を示している。この場合、表示制御部140は、左サイドモニタ40には左側後方映像を表示し、右サイドモニタ50には右側後方映像と左側後方映像を表示する。表示制御部140は、例えば、注視している方向のサイドモニタに、注視している側の側後方映像をサイドモニタにおける車両の中心から離間する方向の領域に表示させる。表示制御部140は、他方の側後方映像を注視しているサイドモニタにおける車両の中心側に向かう方向の領域に表示させる。具体的には、図2(b)に示す例では、表示制御部140は、右サイドモニタ50の左上端の左側後方映像表示領域51に左側後方映像を表示する。
FIG. 2(b) shows a case where it is determined that the driver is gazing at the
左側後方映像表示領域51に表示される映像は、例えば、左サイドモニタ40に表示されている映像を縮小したものであってもよいし、左サイドモニタ40に表示されている映像のうち部分的な映像であってもよい。左側後方映像表示領域51に表示される映像は、左サイドモニタ40に表示されている映像とは、画角が異なっていてもよい。左側後方映像表示領域51に表示される映像は、例えば、車両の左側に位置する障害物を含む映像であってもよい。この場合、左側後方映像表示領域51に表示される映像は、例えば、少なくとも車両の左側面と、障害物とを含む映像であってよい。
The image displayed in the left rear
なお、運転者が左サイドモニタ40を注視していると判定された場合には、表示制御部140は、左サイドモニタ40に右側後方映像を表示させる。処理の詳細は、右サイドモニタ50を注視していると判定された場合と同様なので、説明を省略する。
When it is determined that the driver is gazing at the
図3を用いて、本発明の第一実施形態に係る車両用制御方法の処理の流れについて説明する。図3は、本発明の第一実施形態に係る車両用制御方法の処理の流れの一例を示すフローチャートである。図3のフローチャートにおけるスタートからエンドの期間とは、車両が動作している期間であり、左サイドモニタ40に車両の左側後方映像が表示され、右サイドモニタ50に車両の右側後方映像が表示されていることが必要な期間である。
A processing flow of the vehicle control method according to the first embodiment of the present invention will be described with reference to FIG. FIG. 3 is a flow chart showing an example of the flow of processing of the vehicle control method according to the first embodiment of the present invention. The period from the start to the end in the flow chart of FIG. 3 is the period during which the vehicle is in operation, the left side rear image of the vehicle is displayed on the
まず、制御部100は、車両の左右の側後方映像データを取得する(ステップS101)。具体的には、映像データ取得部110が左サイドカメラ10から左側後方映像データを取得し、右サイドカメラ20から右側後方映像データを取得する。そして、ステップS102に進む。
First, the
制御部100は、左右のサイドモニタに側後方映像を表示する(ステップS102)。具体的には、表示制御部140は、左サイドモニタ40に左側後方映像を表示し、右サイドモニタ50に右側後方映像を表示する。そして、ステップS103に進む。
The
制御部100は、運転者の視線方向を検出する(ステップS103)。具体的には、視線検出部120が視線検出用カメラ30の撮影結果に基づいて、運転者の視線を検出する。そして、ステップS104に進む。
The
制御部100は、運転者が左右のサイドモニタのいずれかを注視しているか否かを判定する(ステップS104)。具体的には、注視判定部130が視線検出部120の検出結果に基づいて、運転者が左サイドモニタ40または右サイドモニタ50のいずれかを注視しているか否かを判定する。左右のサイドモニタのいずれかを注視していると判定された場合(ステップS104のYes)、ステップS105に進む。一方、左右のサイドモニタのいずれも注視していないと判定された場合(ステップS104のNo)、ステップS108に進む。
ステップS104でYesと判定された場合、制御部100は、注視していると判定されたサイドモニタに他方の側後方映像を表示する(ステップS105)。具体的には、表示制御部140が、運転者が注視しているサイドモニタに他方の測後方映像を表示する。そして、ステップS106に進む。
When it is determined as Yes in step S104, the
制御部100は、注視が終了したか否かを判定する(ステップS106)。具体的には、表示制御部140が、運転者が注視しているサイドモニタに他方の側後方映像を表示した後、その注視動作が終了したか否かを判定する。注視が終了したと判定された場合(ステップS106のYes)、ステップS107に進む。一方、注視動作が終了していないと判定された場合(ステップS106のNo)、ステップS106の判定を再度実行する。
The
ステップS106でYesと判定された場合、制御部100は、注視していると判定されたサイドモニタに表示させている他方の側後方映像の表示を終了する(ステップS107)。具体的には、表示制御部140が注視していると判定されたサイドモニタに表示させている他方の側後方映像の表示を終了させて、元の状態に戻す。そして、ステップS108に進む。
If determined as Yes in step S106, the
ステップS104でNoと判定された場合、およびステップS107の後、制御部100は、左右の後方映像の表示を終了するか否かを判定する(ステップS108)。具体的には、表示制御部140が外部から取得するCAN(Controller Area Network)などに基づいて左サイドモニタ40および右サイドモニタ50の映像の表示を終了するか否かを判定する。表示を終了すると判定された場合(ステップS108のYes)、図3の処理は終了する。表示を終了しないと判定された場合(ステップS108のNo)、ステップS104に進む。
If it is determined No in step S104 and after step S107, the
図3の処理においては、ステップS106で注視が終了したと判断された場合に、他方の側後方映像の表示を停止しているが、注視が終了してから、例えば3秒間など所定期間経過してから他方の側後方映像の表示を停止することとしてもよい。 In the process of FIG. 3, when it is determined in step S106 that the gaze has ended, the display of the other side rear image is stopped. After that, the display of the other side rear image may be stopped.
上述のとおり、本実施形態は、運転者が一方のサイドモニタを注視していると判定された場合に、他方の側後方映像を注視しているサイドモニタに表示させることができる。これにより、運転者は、注視しているサイドモニタの他方の後方の状況を適切に視認することができる。その結果、本実施形態は、安全性を向上させることができる。 As described above, in this embodiment, when it is determined that the driver is gazing at one side monitor, the other side rear image can be displayed on the gazing side monitor. As a result, the driver can appropriately visually recognize the situation behind the other side monitor that the driver is looking at. As a result, this embodiment can improve safety.
[第二実施形態]
図4を用いて、本発明の第二実施形態に係る車両用表示装置について説明する。図4は、本発明の第二実施形態に係る車両用表示装置の構成の一例を示すブロック図である。
[Second embodiment]
A vehicle display device according to a second embodiment of the present invention will be described with reference to FIG. FIG. 4 is a block diagram showing an example of the configuration of the vehicle display device according to the second embodiment of the invention.
図4に示すように、車両用表示装置1Aは、左サイドモニタ40と、右サイドモニタ50との代わりに、クラスタモニタ90を備える点で、図1に図示の車両用表示装置1と異なっている。
As shown in FIG. 4, the
図5を用いて、本発明の第二実施形態に係る車両用表示制御方法について説明する。図5は、本発明の第二実施形態に係る車両用表示制御方法を説明するための図である。 A vehicle display control method according to a second embodiment of the present invention will be described with reference to FIG. FIG. 5 is a diagram for explaining a vehicle display control method according to a second embodiment of the present invention.
図5は、車両内において、視線検出用カメラ30と、クラスタモニタ90とが設置された様子を示している。
FIG. 5 shows how the line-of-
クラスタモニタ90は、例えば、車幅方向に沿ってダッシュボード上に設置されている。クラスタモニタ90は、左サイドモニタ91と、右サイドモニタ92と、情報表示領域93と、第一車両情報表示領域94と、第二車両情報表示領域95とを有する。
The cluster monitor 90 is installed, for example, on the dashboard along the width direction of the vehicle. The cluster monitor 90 has a
表示制御部140は、左サイドモニタ91に左側後方映像を表示する。表示制御部140は、右サイドモニタ92に右側後方映像を表示する。すなわち、第二実施形態では、左サイドモニタと、右サイドモニタとが一体に設けられている。
The display control unit 140 displays the left rear image on the
表示制御部140は、例えば、情報表示領域93にナビゲーション情報を含む各種の映像コンテンツを表示する。
The display control unit 140 displays various video contents including navigation information in the
表示制御部140は、例えば、CANに基づいて、第一車両情報表示領域94と、第二車両情報表示領域95とに各種の車両情報を表示する。表示制御部140は、例えば、第一車両情報表示領域94にスピードメータおよびタコメータ等を表示する。表示制御部140は、例えば、第二車両情報表示領域95に燃料計および水温計などを表示する。表示制御部140が第一車両情報表示領域94と、第二車両情報表示領域95とに表示する車両情報はこれらに限定されない。
The display control unit 140 displays various types of vehicle information in the first vehicle
図5(a)は、運転者が左サイドモニタ91および右サイドモニタ92のいずれも注視していない場合を示している。この場合、表示制御部140は、クラスタモニタ90の左端部の左サイドモニタ91に左側後方映像を表示し、右端部の右サイドモニタ92に右側後方映像を表示する。
FIG. 5(a) shows a case where the driver is not watching either the left side monitor 91 or the
図5(b)は、運転者が右サイドモニタ92を注視していると判定された場合を示している。この場合、表示制御部140は、右サイドモニタ92に隣接して、左側後方映像を表示する。具体的には、表示制御部140は、第一車両情報表示領域94と、第二車両情報表示領域95とを表示する領域を左側に移動させる。より具体的には、表示制御部140は、情報表示領域93の幅を狭くして、第一車両情報表示領域94と、第二車両情報表示領域95との大きさは変えずにより左側に表示する。これにより、右サイドモニタ92の左側のスペースは、左側後方映像表示領域91Aとなる。そして、表示制御部140は、左側後方映像表示領域91Aに左側後方映像を表示する。すなわち、表示制御部140は、注視している側の側後方映像をサイドモニタにおける車両の中心から離間する方向の領域に表示させ、他方の側後方映像を注視しているサイドモニタにおける車両の中心側に向かう方向の領域に表示させる。
FIG. 5(b) shows a case where it is determined that the driver is gazing at the
左側後方映像表示領域91Aに表示される映像は、左サイドモニタ91に表示される映像と同じであってもよいし、異なっていてもよい。例えば、左側後方映像表示領域91Aには、左サイドモニタ91に表示される映像のうち、一部が表示されていていてもよい。
The image displayed on the left rear
左側後方映像表示領域91Aの大きさは、左サイドモニタ91と同じであってもよいし、異なっていてもよい。例えば、左側後方映像表示領域91Aの幅方向は、左サイドモニタ91の幅方向よりも、大きくてもよいし、小さくてもよい。
The size of the left rear
なお、運転者が左サイドモニタ91を注視していると判定された場合には、表示制御部140は、左サイドモニタ91に隣接して右側後方映像を表示させる。処理の詳細は、右サイドモニタ92を注視していると判定された場合と同様なので、説明を省略する。
Note that when it is determined that the driver is gazing at the
図6を用いて、本発明の第二実施形態に係る車両用制御方法の処理の流れについて説明する。図6は、本発明の第二実施形態に係る車両用制御方法の処理の流れの一例を示すフローチャートである。 A process flow of the vehicle control method according to the second embodiment of the present invention will be described with reference to FIG. FIG. 6 is a flow chart showing an example of the flow of processing of the vehicle control method according to the second embodiment of the present invention.
ステップS201からステップS204の処理は、それぞれ、図3に図示のステップS101からステップS104の処理と同一なので、説明は省略する。 Since the processing from step S201 to step S204 is the same as the processing from step S101 to step S104 shown in FIG. 3, the description thereof will be omitted.
ステップS204でYesと判定された場合、制御部100Aは、運転者が注視しているサイドモニタに隣接して表示されている他の情報を移動するとともに、運転者が注視しているサイドモニタに隣接して他方の側後方映像を表示する(ステップS205)。具体的には、表示制御部140が、運転者が注視している他方の測後方映像を表示する。そして、ステップS206に進む。
If it is determined as Yes in step S204, the
ステップS206およびステップS208の処理は、それぞれ、図3に図示のステップS106およびステップS108と同一なので、説明は省略する。 The processing of steps S206 and S208 is the same as that of steps S106 and S108 shown in FIG. 3, respectively, so description thereof will be omitted.
ステップS206でYesと判定された場合、制御部100Aは、注視していると判定されたサイドモニタに表示させている他方の側後方映像の表示を停止するとともに、ステップS205で移動させた他の情報の表示位置を戻す(ステップS207)。そして、ステップS208に進む。
When it is determined as Yes in step S206, the
上述のとおり、本実施形態は、運転者が一方のサイドモニタを注視していると判定された場合に、他方の側後方映像を注視しているサイドモニタに隣接して表示させることができる。これにより、運転者は、注視しているサイドモニタの他方の後方の状況を適切に視認することができる。その結果、本実施形態は、安全性を向上させることができる。 As described above, in this embodiment, when it is determined that the driver is gazing at one side monitor, the other side rear image can be displayed adjacent to the side monitor that the driver is gazing at. As a result, the driver can appropriately visually recognize the situation behind the other side monitor that the driver is looking at. As a result, this embodiment can improve safety.
[第三実施形態]
図7を用いて、本発明の第三実施形態に係る車両用表示制御方法について説明する。図7は、本発明の第三実施形態に係る車両用表示制御方法を説明するための図である。なお、車両用表示装置の構成については、車両用表示装置1Aと同様なので、説明を省略する。
[Third embodiment]
A vehicle display control method according to a third embodiment of the present invention will be described with reference to FIG. FIG. 7 is a diagram for explaining a vehicle display control method according to a third embodiment of the present invention. Since the configuration of the vehicle display device is the same as that of the
図7は、車両内において、視線検出用カメラ30と、クラスタモニタ90とが設置された様子を示している。
FIG. 7 shows how the line-of-
図7(a)は、運転者が左サイドモニタ91および右サイドモニタ92のいずれも注視していない場合を示している。この場合、表示制御部140は、クラスタモニタ90の左端部の左サイドモニタ91に左側後方映像を表示し、右端部の右サイドモニタ92に右側後方映像を表示する。
FIG. 7(a) shows a case where the driver is not watching either the left side monitor 91 or the
図7(b)は、運転者が右サイドモニタ92を注視していると判定された場合を示している。この場合、表示制御部140は、右サイドモニタ92に隣接している第二車両情報表示領域95と、左側後方映像表示領域91Bとを重畳させる。具体的には、表示制御部140は、第二車両情報表示領域95に表示される水温計や燃料計と、左側後方映像表示領域91Bに表示される左側後方映像とを重畳して表示させる。ここでいう重畳表示とは、運転者から見て、第二車両情報表示領域95の表示位置に、左側後方映像表示領域91Bが目視可能な状態で表示されることである。この場合、左側後方映像表示領域91Bとともに、第二車両情報表示領域95に表示されている水温計や燃料計は、目視できなくなってもよく、薄く目視される程度に表示されてもよい。
FIG. 7(b) shows a case where it is determined that the driver is gazing at the
図7(b)に示す例では、第二車両情報表示領域95は、その全てが左側後方映像表示領域91Bに重畳されているが、部分的に重畳されていてもよい。
In the example shown in FIG. 7B, the second vehicle
左側後方映像表示領域91Bに表示される映像は、左サイドモニタ91に表示される映像と同じであってもよいし、異なっていてもよい。例えば、左側後方映像表示領域91Bには、左サイドモニタ91に表示される映像のうち、一部が表示されていてもよい。
The image displayed in the left rear
左側後方映像表示領域91Bの大きさは、左サイドモニタ91と同じであってもよいし、異なっていてもよい。例えば、左側後方映像表示領域91Bの幅方向は、左サイドモニタ91の幅方向よりも、大きくてもよいし、小さくてもよい。
The size of the left rear
図8を用いて、本発明の第三実施形態に係る車両用制御方法の処理の流れについて説明する。図8は、本発明の第三実施形態に係る車両用制御方法の処理の流れの一例を示すフローチャートである。 A processing flow of the vehicle control method according to the third embodiment of the present invention will be described with reference to FIG. FIG. 8 is a flow chart showing an example of the flow of processing of the vehicle control method according to the third embodiment of the present invention.
ステップS301からステップS304、およびステップS306とステップS308の処理は、それぞれ、図6に図示のステップS201からステップS204、およびステップS206とステップS208同一なので、説明を省略する。 Since steps S301 to S304 and steps S306 and S308 are the same as steps S201 to S204 and steps S206 and S208 shown in FIG. 6 respectively, description thereof will be omitted.
ステップS304でNoと判定された場合、制御部100Aは、運転者が注視しているサイドモニタに隣接して表示されている他の情報に他方の測後方映像を重畳して表示する(ステップS305)。具体的には、表示制御部140が、運転者が注視しているサイドモニタに隣接して表示されている他の情報に他方の測後方映像を重畳して表示する。そして、ステップ306に進む。
If the determination in step S304 is No, the
ステップS306でYesと判定された場合、制御部100Aは、重畳して表示している他方の側後方映像の表示を停止する(ステップS307)。ステップS307で、重畳して表示している他方の側後方映像の表示を停止することで、運転者が注視しているサイドモニタに隣接して表示されている他の情報が通常の表示状態となる。そして、ステップS308に進む。
If it is determined as Yes in step S306, the
上述のとおり、本実施形態は、運転者が一方のサイドモニタを注視していると判定された場合に、他方の側後方映像を注視しているサイドモニタに隣接して表示させることができる。これにより、運転者は、注視しているサイドモニタの他方の後方の状況を把握することができる。その結果、本実施形態は、安全性を向上させることができる。 As described above, in this embodiment, when it is determined that the driver is gazing at one side monitor, the other side rear image can be displayed adjacent to the side monitor that the driver is gazing at. This allows the driver to grasp the situation behind the other side monitor that the driver is looking at. As a result, this embodiment can improve safety.
上述した、第二実施形態および第三実施形態は、運転者が注視した側のサイドモニタに隣接して表示されている情報の重要性に基づいて選択的に実施されてもよい。例えば、運転者が右サイドモニタを注視している場合、右サイドモニタに隣接して表示されている情報が、車両の運行上重要性の高い情報である場合は、第二実施形態のような処理を行う。これに対し、運転者が左サイドモニタを注視している場合、左サイドモニタに隣接して表示されている情報が、車両の運行上重要性の高くない情報である場合は、左サイドモニタに対して第三実施形態のような処理を行う。 The second embodiment and the third embodiment described above may be selectively implemented based on the importance of the information displayed adjacent to the side monitor on the side of the driver's gaze. For example, when the driver is watching the right side monitor, if the information displayed adjacent to the right side monitor is information that is highly important for driving the vehicle, the second embodiment can be used. process. On the other hand, when the driver is watching the left side monitor, if the information displayed adjacent to the left side monitor is information that is not of high importance for the operation of the vehicle, the left side monitor For this, the processing as in the third embodiment is performed.
以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。 Although the embodiments of the present invention have been described above, the present invention is not limited by the contents of these embodiments. In addition, the components described above include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those within the so-called equivalent range. Furthermore, the components described above can be combined as appropriate. Furthermore, various omissions, replacements, or modifications of components can be made without departing from the gist of the above-described embodiments.
1,1A 車両用表示装置
10 左サイドカメラ
20 右サイドカメラ
30 視線検出用カメラ
40 左サイドモニタ
50 右サイドモニタ
60 情報表示部
70 第一車両情報表示部
80 第二車両情報表示部
90 クラスタモニタ
100,100A 制御部(車両用表示制御装置)
110 映像データ取得部
120 視線検出部
130 注視判定部
140 表示制御部
141 切出し処理部
142 合成処理部
1, 1A vehicle display device 10
110 video data acquisition unit 120 line-of-sight detection unit 130 gaze determination unit 140 display control unit 141
Claims (4)
前記車両の運転者の視線方向を検出する視線検出部と、
前記視線検出部の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断する注視判定部と、
前記注視判定部が、前記左右のサイドモニタのいずれかを前記運転者が注視していると判断した場合であって、前記運転者が注視している方向のサイドモニタに連続した表示部に、他の情報が表示されている場合、注視している側の側後方映像に加えて、他方の側後方映像を重畳して表示させる表示制御部と、
を備える車両用表示制御装置。 a video data acquisition unit for acquiring video data of the left and right rear sides captured by the imaging units that capture the left and right rear sides of the vehicle;
a line-of-sight detection unit that detects a line-of-sight direction of a driver of the vehicle;
a gaze determination unit that determines whether the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight detection unit;
When the gaze determination unit determines that the driver is gazing at one of the left and right side monitors, a display unit connected to the side monitor in the direction the driver is gazing, a display control unit that, when other information is displayed, superimposes and displays the other side rear image in addition to the side rear image of the gazing side;
A vehicle display control device comprising:
請求項1に記載の車両用表示制御装置。 The display control unit superimposes and displays the other side rear image on the area in the direction toward the center of the vehicle in the display unit connected to the side monitor in the direction the driver is gazing .
The vehicle display control device according to claim 1 .
前記車両の運転者の視線方向を検出するステップと、
前記運転者の視線方向の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断するステップと、
前記左右のサイドモニタのいずれかを前記運転者が注視していると判断された場合であって、前記運転者が注視している方向のサイドモニタに連続した表示部に、他の情報が表示されている場合、注視している側の側後方映像に加えて、他方の側後方映像を重畳して表示させるステップと、
を含む車両用表示制御方法。 a step of obtaining video data of the left and right rear sides captured by imaging units that capture the left and right rear sides of the vehicle;
detecting a gaze direction of a driver of the vehicle;
a step of determining whether the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight direction of the driver;
When it is determined that the driver is gazing at one of the left and right side monitors, other information is displayed on a display unit connected to the side monitor in the direction the driver is gazing. if so, superimposing and displaying the other side rear image in addition to the side rear image of the gazed side;
A vehicle display control method comprising:
前記車両の運転者の視線方向を検出するステップと、
前記運転者の視線方向の検出結果に基づいて、前記運転者が、前記車両が備える左右のサイドモニタのいずれかを注視しているか否かを判断するステップと、
前記左右のサイドモニタのいずれかを前記運転者が注視していると判断された場合であって、前記運転者が注視している方向のサイドモニタに連続した表示部に、他の情報が表示されている場合、注視している側の側後方映像に加えて、他方の側後方映像を重畳して表示させるステップと、
を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。 a step of obtaining video data of the left and right rear sides captured by imaging units that capture the left and right rear sides of the vehicle;
detecting a gaze direction of a driver of the vehicle;
a step of determining whether the driver is gazing at one of the left and right side monitors of the vehicle based on the detection result of the line-of-sight direction of the driver;
When it is determined that the driver is gazing at one of the left and right side monitors, other information is displayed on a display unit connected to the side monitor in the direction the driver is gazing. if so, superimposing and displaying the other side rear image in addition to the side rear image of the gazed side;
is executed by a computer that operates as a vehicle display control device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019156022A JP7293990B2 (en) | 2019-08-28 | 2019-08-28 | Vehicle display control device, vehicle display control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019156022A JP7293990B2 (en) | 2019-08-28 | 2019-08-28 | Vehicle display control device, vehicle display control method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021033872A JP2021033872A (en) | 2021-03-01 |
JP7293990B2 true JP7293990B2 (en) | 2023-06-20 |
Family
ID=74678306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019156022A Active JP7293990B2 (en) | 2019-08-28 | 2019-08-28 | Vehicle display control device, vehicle display control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7293990B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022255409A1 (en) * | 2021-06-02 | 2022-12-08 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006088758A (en) | 2004-09-21 | 2006-04-06 | Denso Corp | Display device for vehicle |
JP2017073040A (en) | 2015-10-08 | 2017-04-13 | 株式会社東海理化電機製作所 | Visual recognition device for vehicle and visual recognition control program for vehicle |
JP2017211700A (en) | 2016-05-23 | 2017-11-30 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and vehicle control program |
-
2019
- 2019-08-28 JP JP2019156022A patent/JP7293990B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006088758A (en) | 2004-09-21 | 2006-04-06 | Denso Corp | Display device for vehicle |
JP2017073040A (en) | 2015-10-08 | 2017-04-13 | 株式会社東海理化電機製作所 | Visual recognition device for vehicle and visual recognition control program for vehicle |
JP2017211700A (en) | 2016-05-23 | 2017-11-30 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and vehicle control program |
Also Published As
Publication number | Publication date |
---|---|
JP2021033872A (en) | 2021-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5099451B2 (en) | Vehicle periphery confirmation device | |
US10723266B2 (en) | On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium | |
JP5093611B2 (en) | Vehicle periphery confirmation device | |
JP2008230558A (en) | Vehicle periphery monitoring device | |
JP2010128794A (en) | Surrounding recognition assisting device for vehicle | |
JP2010208359A (en) | Display device for vehicle | |
JP2018022958A (en) | Vehicle display controller and vehicle monitor system | |
JP2018144554A (en) | Head-up display device for vehicle | |
JP2018121287A (en) | Display control apparatus for vehicle, display system for vehicle, display control method for vehicle, and program | |
JP5861449B2 (en) | Obstacle alarm device | |
JP7293990B2 (en) | Vehicle display control device, vehicle display control method, and program | |
JP2010105443A (en) | Visual assistive device | |
JP5845909B2 (en) | Obstacle alarm device | |
JP5660395B2 (en) | Obstacle alarm device | |
JP2008162550A (en) | External environment display device | |
JP2007329611A (en) | Vehicle perimeter monitoring apparatus, vehicle perimeter monitoring system, and vehicle perimeter monitoring method | |
JP2021024402A (en) | Display control device for vehicle and display system for vehicle | |
JP2020170341A (en) | Display control device, display control method and program | |
JP6488628B2 (en) | Video processing apparatus and in-vehicle video processing system | |
JP7037896B2 (en) | Visual assistance device | |
JP2009214790A (en) | Apparatus and method for imaging, and apparatus and method for processing image | |
US20150130938A1 (en) | Vehicle Operational Display | |
KR20170064134A (en) | Displaying control apparatus of head up display and method thereof | |
JPWO2020012992A1 (en) | Vehicle display device | |
JP2019110390A (en) | Vehicle periphery monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7293990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |