JP6136564B2 - Vehicle display device - Google Patents
Vehicle display device Download PDFInfo
- Publication number
- JP6136564B2 JP6136564B2 JP2013108746A JP2013108746A JP6136564B2 JP 6136564 B2 JP6136564 B2 JP 6136564B2 JP 2013108746 A JP2013108746 A JP 2013108746A JP 2013108746 A JP2013108746 A JP 2013108746A JP 6136564 B2 JP6136564 B2 JP 6136564B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- transparency
- situation
- display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、車両に設けられたカメラの撮像画像に基づいて、車両前方の状況を乗員に提示する車両用の表示装置に関する。 The present invention relates to a display device for a vehicle that presents a situation in front of the vehicle to an occupant based on a captured image of a camera provided in the vehicle.
この種の装置に関し、自車両前方に設定した仮想先行車両の画像を、実際に撮像された自車両の前方の風景に重ねて表示する経路案内システムに関し、実在する先行車両と仮想先行車両とが重なる部分を算出してその重なる部分の仮想先行車両の光透過度を高くする技術が知られている（特許文献１）。 With regard to this type of device, a route guidance system for displaying an image of a virtual preceding vehicle set in front of the host vehicle in a superimposed manner on a landscape in front of the actually captured vehicle. A technique for calculating an overlapping portion and increasing the light transmittance of the virtual preceding vehicle of the overlapping portion is known (Patent Document 1).
しかしながら、従来の装置では、透過度を高くした状態が維持されるので、他車両と接近する注意状況となった場合には、自車両と他車両との距離を把握するのが難しく、ドライバが違和感を覚えるという問題がある。 However, in the conventional device, since the state where the transparency is increased is maintained, it is difficult to grasp the distance between the own vehicle and the other vehicle when a caution situation is approaching with another vehicle, There is a problem of feeling uncomfortable.
本発明が解決しようとする課題は、他車両の状況に注意を払う場面においては、自車両と他車両との距離を把握しやすい画像をドライバに表示することである。 The problem to be solved by the present invention is to display on the driver an image that makes it easy to grasp the distance between the host vehicle and the other vehicle in a situation where attention is paid to the situation of the other vehicle.
本発明は、自車両の周囲の撮像画像に基づいて他車両を検出し、検出された他車両の状況が、他車両に対する自車両のドライバの注意度が高く変化する注意状況である場合には制御領域の透過度を相対的に低く変更した表示画像をディスプレイに表示させ、注意状況ではないと判断された場合には制御領域の透過度を相対的に高く変更した表示画像をディスプレイに表示させることにより、上記課題を解決する。 The present invention detects other vehicles based on captured images of the surroundings of the own vehicle, and when the detected situation of the other vehicle is a caution situation in which the degree of caution of the driver of the own vehicle with respect to the other vehicle is highly changed. A display image with the control region transparency changed to a relatively low level is displayed on the display, and if it is determined that the situation is not an attention situation, a display image with the control region transparency changed to a relatively high level is displayed on the display. This solves the above problem.
本発明によれば、他車両に対する自車両のドライバの注意度が高く変化する注意状況であるか否かの判断に応じて、他車両の画像の透過度を変化させるので、他車両の状況に注意を払う場面においては、自車両と他車両との距離を把握しやすい画像をドライバに表示することができる。 According to the present invention, the transparency of the image of the other vehicle is changed according to the determination as to whether or not the attention level of the driver of the host vehicle with respect to the other vehicle is high. In a scene where attention is paid, an image that makes it easy to grasp the distance between the host vehicle and another vehicle can be displayed on the driver.
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用表示装置を、情報提供システム１に適用した場合を例にして説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, a case where the vehicle display device according to the present invention is applied to the information providing system 1 will be described as an example.
図１は、本実施形態に係る車両用表示装置１００を備える情報提供システム１のブロック構成を示す図である。車両用表示装置１００及びこれを含む情報提供システム１は、車両に搭載されている。情報提供システム１は、ドライバに自車両の周囲の様子を示す画像情報を提供する。車両用表示装置１００は、自車両の周囲の映像であって、他車両の画像を含む表示画像を生成して提示する。 FIG. 1 is a diagram illustrating a block configuration of an information providing system 1 including a vehicle display device 100 according to the present embodiment. The vehicle display device 100 and the information providing system 1 including the same are mounted on a vehicle. The information providing system 1 provides the driver with image information indicating the surroundings of the host vehicle. The vehicle display device 100 generates and presents a display image that is an image around the host vehicle and includes an image of another vehicle.
図１に示すように、情報提供システム１は、車両用表示装置１００と、車載装置２００とを有する。車載装置２００は、車両コントローラ５０と、ナビゲーション装置６０とを備える。車両用表示装置１００と各車載装置２００とは、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。 As shown in FIG. 1, the information providing system 1 includes a vehicle display device 100 and an in-vehicle device 200. The in-vehicle device 200 includes a vehicle controller 50 and a navigation device 60. The vehicle display device 100 and each vehicle-mounted device 200 are connected by a CAN (Controller Area Network) or other vehicle-mounted LAN in order to exchange information with each other.
本実施形態の車両コントローラ５０は、車両情報５１を記憶する。車両情報５１は、車両に対する運転席の位置、ドライバごとの運転席の位置、運転席に着座するドライバの視点の位置、ドライバの視点から視認可能な領域を示す視野情報を含む。車両の運転席の位置は車種ごとに定義され、ドライバごとの運転席の位置は、識別された各ドライバの座席位置の調整量を考慮して各車両の運転席の位置に基づいて定義される。各ドライバの識別は、各ドライバが使用する鍵情報に基づいて行うことができる。ドライバの視点や視野領域は、基本情報としてドライバが入力したドライバの身長などの身体情報に基づいて算出し、記憶してもよい。また、ドライバの視点や視野領域は、座席位置の調整量に基づいて算出したドライバの身長などに基づいて算出して、記憶してもよい。後述する表示制御機能は、この車両情報５１を参照して表示画像を生成する。 The vehicle controller 50 according to the present embodiment stores vehicle information 51. The vehicle information 51 includes the position of the driver's seat with respect to the vehicle, the position of the driver's seat for each driver, the position of the viewpoint of the driver seated on the driver's seat, and visual field information indicating a region that can be viewed from the viewpoint of the driver. The position of the driver's seat of the vehicle is defined for each vehicle type, and the position of the driver's seat for each driver is defined based on the position of the driver's seat of each vehicle in consideration of the adjustment amount of the seat position of each identified driver. . Each driver can be identified based on key information used by each driver. The viewpoint and field of view of the driver may be calculated and stored based on physical information such as the height of the driver input by the driver as basic information. Further, the driver's viewpoint and field of view may be calculated and stored based on the height of the driver calculated based on the seat position adjustment amount. A display control function described later generates a display image with reference to the vehicle information 51.
本実施形態のナビゲーション装置６０は、位置検出装置６１と、地図情報６２とを備え、自車両の現在位置から目的地までの経路を示してドライバを誘導する。また、ナビゲーション装置６０は、外部との通信が可能であり、通信回線を介して各地点の信号情報、標識設置情報などの情報を取得することもできる。ナビゲーション装置６０は、取得した情報、演算した情報を、車両用表示装置１００、ディスプレイ３０に出力する。 The navigation device 60 of the present embodiment includes a position detection device 61 and map information 62, and guides the driver by showing a route from the current position of the host vehicle to the destination. In addition, the navigation device 60 can communicate with the outside, and can also acquire information such as signal information at each point and sign setting information via a communication line. The navigation device 60 outputs the acquired information and the calculated information to the vehicle display device 100 and the display 30.
また、同図に示すように、本実施形態の車両用表示装置１００は、制御装置１０と、カメラ２０と、ディスプレイ３０とを備える。 As shown in the figure, the vehicular display device 100 of this embodiment includes a control device 10, a camera 20, and a display 30.
本実施形態のカメラ２０は、ＣＣＤ等の撮像素子を用いたカメラであり、車両の周囲を撮像する。特に限定されないが、本実施形態のカメラ２０は、車両の天井又はバックミラー近傍に設けられ車両の進行方向前方を撮像する。カメラ２０の設置位置は、これに限定されず、サイドミラー近傍に設けてもよい。また、カメラ２０は単数でも複数でもよい。本実施形態では、広角のカメラ２０を一つ設けている。複数のカメラ２０を用いる場合には、各カメラ２０の設置位置に応じて共通の座標に変換し、一の視点から見た撮像画像を取得すればよい。 The camera 20 of the present embodiment is a camera using an image sensor such as a CCD, and images the surroundings of the vehicle. Although not particularly limited, the camera 20 of the present embodiment is provided near the ceiling of the vehicle or in the vicinity of the rearview mirror, and images the front in the traveling direction of the vehicle. The installation position of the camera 20 is not limited to this, and may be provided near the side mirror. Moreover, the camera 20 may be single or plural. In the present embodiment, one wide-angle camera 20 is provided. When a plurality of cameras 20 are used, the coordinates may be converted into common coordinates according to the installation positions of the cameras 20, and a captured image viewed from one viewpoint may be acquired.
本実施形態のディスプレイ３０は、車両のドライバが視認可能なダッシュボード周囲に設置され、本実施形態の表示画像や、車両の前方の撮像画像、ナビゲーション装置６０の案内情報などを提示する。 The display 30 of the present embodiment is installed around a dashboard that can be visually recognized by the driver of the vehicle, and presents a display image of the present embodiment, a captured image in front of the vehicle, guidance information of the navigation device 60, and the like.
続いて、本実施形態の制御装置１０について説明する。本実施形態の車両用表示装置１００の制御装置１０は、カメラ２０の撮像画像に基づいて生成された表示画像をディスプレイ３０に表示するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭに格納されたプログラムを実行することで、車両用表示装置１００と情報提供システム１として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。 Then, the control apparatus 10 of this embodiment is demonstrated. The control device 10 of the vehicle display device 100 according to the present embodiment includes a ROM (Read Only Memory) 12 that stores a program for displaying a display image generated based on a captured image of the camera 20 on the display 30, and the ROM. The CPU (Central Processing Unit) 11 as an operation circuit that functions as the vehicle display device 100 and the information providing system 1 and the RAM (Random Access Memory) that functions as an accessible storage device ) 13.
本実施形態に係る車両用表示装置１００の制御装置１０は、画像取得機能と、状況判断機能と、表示制御機能とを有する。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。 The control device 10 of the vehicle display device 100 according to the present embodiment has an image acquisition function, a situation determination function, and a display control function. The control apparatus 10 of this embodiment performs each function by cooperation of the software for implement | achieving the said function, and the hardware mentioned above.
以下、本実施形態に係る車両用表示装置１００の各機能について説明する。 Hereinafter, each function of the vehicle display device 100 according to the present embodiment will be described.
本実施形態の制御装置１０の画像取得機能について説明する。制御装置１０は、カメラ２０が撮像した自車両周囲の撮像画像を取得する。取得した撮像画像は、他車両の抽出処理に利用されるとともに、表示画像としてディスプレイ３０に提示される画像として利用される。 The image acquisition function of the control apparatus 10 of this embodiment is demonstrated. The control device 10 acquires a captured image around the host vehicle captured by the camera 20. The acquired captured image is used as an image presented on the display 30 as a display image while being used for extraction processing of other vehicles.
本実施形態の制御装置１０の他車両検出機能について説明する。制御装置１０は、撮像画像に基づいて、自車両の走行に影響を与える他車両を検出する。自車両の走行に影響を与える他車両とは、自車両の前後に位置して自車両と同じ走行路を走行する他車両、自車両の走行路に隣接する隣接走行路を走行する他車両、自車両の走行路に交差する走行路を走行する他車両、自車両の走行路の対向走行路を走行する他車両などである。他車両は、四輪車のみならず、二輪車や大型のトレーラなども含む。撮像画像から他車両を検出する手法は特に限定されず、出願時に知られた画像情報から物体のエッジを抽出・分析する物体検出手法を適宜に利用することができる。本実施形態では、カメラ２０によって撮像される他車両（二輪車、トレーラ―などを含む）の特徴点を予め定義しておき、撮像画像から抽出されたパターンと特徴点とをマッチングして他車両を検出する。 The other vehicle detection function of the control apparatus 10 of this embodiment is demonstrated. The control device 10 detects another vehicle that affects the traveling of the host vehicle based on the captured image. Other vehicles that affect the traveling of the host vehicle are other vehicles that are positioned before and after the host vehicle and travel on the same traveling path as the host vehicle, other vehicles that travel on an adjacent traveling path adjacent to the traveling path of the host vehicle, Other vehicles that travel on a traveling road that intersects the traveling path of the host vehicle, other vehicles that travel on a traveling path opposite to the traveling path of the host vehicle, and the like. Other vehicles include not only automobiles but also motorcycles and large trailers. A method for detecting another vehicle from the captured image is not particularly limited, and an object detection method for extracting and analyzing an edge of an object from image information known at the time of filing can be appropriately used. In this embodiment, feature points of other vehicles (including two-wheeled vehicles, trailers, etc.) imaged by the camera 20 are defined in advance, and a pattern extracted from the captured image is matched with the feature points to identify other vehicles. To detect.
本実施形態の制御装置１０の状況判断機能について説明する。制御装置１０は、検出された他車両の状況を判断する。本実施形態の制御装置１０は、撮像画像に基づいて、他車両の状況が、自車両のドライバにとって他車両に対する注意度が高く変化する注意状況であるか否かを判断する。具体的に、本実施形態では、以下の注意状況について判断を行うことができる。 A situation determination function of the control device 10 of the present embodiment will be described. The control device 10 determines the status of the detected other vehicle. Based on the captured image, the control device 10 according to the present embodiment determines whether or not the situation of the other vehicle is a caution situation in which the degree of caution with respect to the other vehicle for the driver of the host vehicle changes. Specifically, in the present embodiment, the following attention situation can be determined.
本実施形態の制御装置１０は、他車両が自車両に所定距離未満に接近する注意状況であるか否かを判断する。制御装置１０は、撮像画像から検出された他車両の画像の大きさに基づいて自車両との距離を算出する。別に備えるレーダー測距装置を用いてもよい。 The control device 10 according to the present embodiment determines whether or not the other vehicle is in a caution situation in which the other vehicle approaches the host vehicle less than a predetermined distance. The control device 10 calculates the distance from the host vehicle based on the size of the image of the other vehicle detected from the captured image. A separate radar ranging device may be used.
本実施形態の制御装置１０は、自車両に対する他車両の相対速度が所定速度以上である注意状況であるか否かを判断する。制御装置１０は、撮像画像から検出された他車両の画像の大きさの経時的な変化に基づいて自車両との相対速度を算出する。別に備えるレーダー測距装置により検出された距離の変化に基づいて相対速度を算出してもよい。 The control device 10 of the present embodiment determines whether or not it is a caution situation where the relative speed of the other vehicle with respect to the host vehicle is equal to or higher than a predetermined speed. The control device 10 calculates a relative speed with respect to the host vehicle based on a temporal change in the size of the image of the other vehicle detected from the captured image. The relative speed may be calculated based on a change in distance detected by a separately provided radar distance measuring device.
本実施形態の制御装置１０は、自車両に対する他車両の相対加速度が所定加速度以上である注意状況であるか否かを判断する。制御装置１０は、撮像画像から検出された他車両の画像の大きさの経時的な変化速度に基づいて自車両との相対加速度を算出する。別に備えるレーダー測距装置により検出された距離の経時的変化に基づいて相対速度を算出してもよい。 The control device 10 according to the present embodiment determines whether or not it is a caution situation where the relative acceleration of the other vehicle with respect to the host vehicle is equal to or greater than a predetermined acceleration. The control device 10 calculates the relative acceleration with the host vehicle based on the temporal change rate of the size of the image of the other vehicle detected from the captured image. The relative speed may be calculated based on the change over time of the distance detected by a separately provided radar distance measuring device.
本実施形態の制御装置１０は、他車両のブレーキランプが点灯している注意状況であるか否かを判断する。制御装置１０は、パターンマッチングにより、撮像画像から他車両のブレーキランプ領域を抽出し、そのブレーキランプ領域の明度の値に基づいて、ブレーキランプの点灯／非点灯を判断する。 The control device 10 of the present embodiment determines whether or not it is a caution situation in which the brake lamp of another vehicle is lit. The control device 10 extracts the brake lamp area of the other vehicle from the captured image by pattern matching, and determines whether the brake lamp is lit or not based on the brightness value of the brake lamp area.
本実施形態の制御装置１０は、他車両のウィンカーランプが点灯している注意状況であるか否かを判断する。制御装置１０は、パターンマッチングにより、撮像画像から他車両のウィンカーランプ領域を抽出し、そのウィンカーランプ領域の明度の値に基づいて、ウィンカーランプの点灯／非点灯を判断する。 The control device 10 according to the present embodiment determines whether or not it is a caution situation in which the blinker lamp of another vehicle is lit. The control device 10 extracts the blinker lamp area of the other vehicle from the captured image by pattern matching, and determines whether the blinker lamp is turned on or off based on the brightness value of the blinker lamp area.
本実施形態の制御装置１０は、他車両の後退灯が点灯している注意状況であるか否かを判断する。制御装置１０は、パターンマッチングにより、撮像画像から他車両の後退灯を抽出し、その後退灯領域の明度の値に基づいて、後退灯の点灯／非点灯を判断する。 The control device 10 according to the present embodiment determines whether or not it is a caution situation in which the reverse light of the other vehicle is lit. The control device 10 extracts the reverse lamp of the other vehicle from the captured image by pattern matching, and determines whether the reverse lamp is lit or not based on the brightness value of the reverse lamp area.
本実施形態の制御装置１０は、他車両が警察車両、救急車両、ガス会社などの緊急車両その他の所定の緊急車両であるという注意状況であるか否かを判断する。制御装置１０は、予め定義した緊急車両の特徴を参照し、その特徴に基づくパターンマッチングにより、撮像画像から検出された他車両が緊急車両であるか否かを判断する。 The control device 10 of the present embodiment determines whether or not the other vehicle is in a caution situation that it is a police vehicle, an emergency vehicle, an emergency vehicle such as a gas company, or another predetermined emergency vehicle. The control device 10 refers to the characteristics of the emergency vehicle defined in advance, and determines whether or not the other vehicle detected from the captured image is an emergency vehicle by pattern matching based on the characteristics.
本実施形態の制御装置１０は、他車両のドアが開閉された注意状況であるか否かを判断する。制御装置１０は、ドアが開扉された状態の画像上の特徴と、ドアが閉扉された状態の画像上の特徴とを予め抽出して定義しておき、その開扉特徴と閉扉特徴とを参照し、その特徴に基づくパターンマッチングにより、撮像画像から検出された他車両の開扉／閉扉を判断する。 The control device 10 of the present embodiment determines whether or not it is a caution situation where the door of another vehicle is opened and closed. The control device 10 extracts and defines in advance the feature on the image with the door opened and the feature on the image with the door closed, and defines the opening feature and the closing feature. With reference to the pattern matching based on the feature, the opening / closing of the other vehicle detected from the captured image is determined.
本実施形態の制御装置１０は、他車両に搭載された荷物がその他車両からはみ出している注意状況であるか否かを判断する。制御装置１０は、車両から荷物がはみ出していない状態の画像上の特徴と、車両から荷物がはみ出している状態の画像上の特徴とを予め抽出して定義しておき、そのはみ出し特徴と非はみ見出し特徴とを参照し、その特徴に基づくパターンマッチングにより、撮像画像から検出された他車両のはみ出し／非はみ出しを判断する。 The control device 10 according to the present embodiment determines whether or not it is a caution situation in which the load mounted on the other vehicle protrudes from the other vehicle. The control device 10 extracts and defines in advance an image feature in a state where no baggage protrudes from the vehicle and an image feature in a state where the baggage protrudes from the vehicle. Referring to the see heading characterized by pattern matching based on its features, determines protruding / non-protruding of the other vehicle detected from the captured image.
状況判断機能の判断項目は、上記に限定されず、ドライバの他車両に対する注意度が高く変化する注意状況に応じて設定することができる。 The judgment items of the situation judgment function are not limited to the above, and can be set according to the caution situation where the driver's degree of caution with respect to the other vehicle changes.
次に、表示制御機能を説明する。本実施形態の制御装置１０は、判断された他車両の注意状況に応じて他車両の画像の一部又は全部に対応する制御領域の透過度を変更した表示画像をディスプレイ３０に重畳して表示させる。特に限定されないが、表示画像は、ディスプレイ３０に表示されている他の画像、例えば、同一カメラにより異なるタイミングで撮像された画像、他のカメラにより撮像された画像、他のカメラにより撮像された画像から抽出された立体物の画像、予め地点情報と対応づけられた車両前方の画像、予め地点情報と対応づけられた自車両の走行道路の路面標識の画像などに重畳して表示される。表示画像は、車両情報５１に基づいて、各ドライバの視点の位置に基づいた視点から見た画像であることが好ましい。 Next, the display control function will be described. The control device 10 according to the present embodiment superimposes and displays on the display 30 a display image in which the transparency of the control region corresponding to part or all of the image of the other vehicle is changed according to the determined caution status of the other vehicle. Let Although not particularly limited, the display image is another image displayed on the display 30, for example, an image captured at different timing by the same camera, an image captured by another camera, or an image captured by another camera. The image of the three-dimensional object extracted from the vehicle, the image in front of the vehicle associated with the point information in advance, the image of the road surface sign of the traveling road of the host vehicle associated with the point information in advance, and the like are displayed. The display image is preferably an image viewed from a viewpoint based on the position of the viewpoint of each driver based on the vehicle information 51.
図２Ａは、制御領域の透過度を高くした場合の表示画像の一例を示す図である。図２Ａの例は、カメラ２０とは別のカメラで撮像した歩行者の映像、路側の標識の映像を、撮像画像に重畳させた例を示す。図２Ａの例に示す例では、他車両ＶＸの画像の透過度が高いので、実際には他車両ＶＸに隠蔽されているにもかかわらず、別のカメラで撮像した歩行者等の画像の一部が視認できる。ドライバは、重畳画像を見ることにより歩行者等の隠れた障害物を視認することができる。 FIG. 2A is a diagram illustrating an example of a display image when the transparency of the control region is increased. The example in FIG. 2A illustrates an example in which a pedestrian image captured by a camera different from the camera 20 and a roadside sign image are superimposed on the captured image. In the example shown in the example of FIG. 2A, since the transparency of the image of the other vehicle VX is high, one of the images of a pedestrian or the like captured by another camera even though it is actually hidden by the other vehicle VX. The part is visible. The driver can visually recognize a hidden obstacle such as a pedestrian by looking at the superimposed image.
本実施形態の制御装置１０は、状況判断機能によりドライバの他車両に対する注意度が高く変化する注意状況であることが判断された場合には、他車両の画像の一部又は全部に対応する制御領域が抽出された場合には、制御領域の透過度を低く変更する。他方、本処理においてドライバの他車両に対する注意度が高く変化する注意状況であると判断されない場合には制御領域の透過度の変更を行わない。 When it is determined by the situation determination function that the driver's degree of caution with respect to the other vehicle is high, the control device 10 of the present embodiment performs control corresponding to part or all of the image of the other vehicle. When an area is extracted, the transparency of the control area is changed to be low. On the other hand, in this process, if it is not determined that the driver's attention level with respect to the other vehicle is changing, the transparency of the control area is not changed.
図２Ｂに制御領域の透過度を低く変更した例を示す。図２Ｂに示すように、他車両ＶＸの透過度が低く変更されているので、別のカメラで撮像した歩行者等は視認できなくなっている。このように、ドライバが他車両ＶＸに注意を集中すべき注意状況においては、多くの情報をドライバに提示することなく、注意を集中すべき他車両ＶＸの画像を現実の状況に忠実に提示する。これにより、他車両に対して注意を集中する必要性が低い状況においては、他車両の画像の透過度を高くして他車両が隠蔽する歩行者、別の車両、信号機などの多くの情報を提供できるようにする一方で、車両に対して注意を集中する必要性が高い注意状況においては、集中すべき他車両ＶＸの画像の透過度を低くして、集中すべき他車両ＶＸ以外の情報はなるだけ表示しないようにすることができる。 FIG. 2B shows an example in which the transparency of the control region is changed to be low. As shown in FIG. 2B, since the transparency of the other vehicle VX is changed to be low, a pedestrian or the like imaged by another camera cannot be visually recognized. As described above, in an attention situation in which the driver should concentrate attention on the other vehicle VX, an image of the other vehicle VX to which attention should be concentrated is presented faithfully to the actual situation without presenting much information to the driver. . As a result, in situations where it is not necessary to focus attention on other vehicles, a large amount of information such as pedestrians, other vehicles, traffic lights, etc. that other vehicles conceal by increasing the transparency of images of other vehicles. On the other hand, in an attention situation where it is highly necessary to concentrate attention on the vehicle, the transparency of the image of the other vehicle VX to be concentrated is lowered, and information other than the other vehicle VX to be concentrated is provided. You can hide as much as possible.
本実施形態における「制御領域」は、検出された他車両の画像の一部又は全部に基づいて設定される。つまり、検出された他車両のボディ外縁により区切られた内延領域を制御領域として設定してもよいし、検出された他車両の一部領域を抽出し、その領域を制御領域として設定してもよい。 The “control region” in the present embodiment is set based on part or all of the detected image of the other vehicle. In other words, the extension area divided by the detected body outer edge of the other vehicle may be set as the control area, or a partial area of the detected other vehicle is extracted and the area is set as the control area. Also good.
本実施形態では、撮像画像に基づいて他車両のタイヤに対応する領域、つまりタイヤ周囲の領域を制御領域として設定してもよい。タイヤの検出は、以下のように行う。まず、他車両のタイヤを検出する。タイヤはホイールとタイヤとの境界などのタイヤ特有の画像上の特徴に基づいて、撮像画像から抽出されたパターンとマッチングすることにより検出することができる。この処理によって、他車両に装備された複数のタイヤを検出することができる。他車両のタイヤの動きによって、他車両の車線変更、転舵を察知することができるため、本実施形態では、他車両に注目する注意状況においては、タイヤ周囲の画像の透過度を低く変更する。 In the present embodiment, an area corresponding to a tire of another vehicle, that is, an area around the tire may be set as a control area based on the captured image. The tire is detected as follows. First, tires of other vehicles are detected. The tire can be detected by matching with a pattern extracted from the captured image based on tire-specific image features such as the boundary between the wheels. By this process, it is possible to detect a plurality of tires mounted on other vehicles. Since it is possible to detect the lane change and the turning of the other vehicle by the movement of the tire of the other vehicle, in the present embodiment, in the attention situation where attention is paid to the other vehicle, the transparency of the image around the tire is changed to be low. .
また、本実施形態では、撮像画像に基づいて他車両の操舵タイヤに対応する領域、つまり操舵タイヤ周囲の領域を制御領域として設定してもよい。操舵タイヤの検出は以下のように行う。タイヤが検出された後に、各タイヤの画像の経時的な変化を観察する。同一車両に取り付けられたタイヤは、車両の移動に伴って、一連の動きをする。操舵タイヤは、この一連の動きを最も先に行うタイヤである。本実施形態では、検出された複数のタイヤの中で一連の動きを最も早く開始したタイヤが操舵タイヤであると推測する。このように、操舵タイヤに注目するのは、他車両の動きをいち早く察知するためである。操舵タイヤの動きによって、他車両の車線変更、転舵を察知することができる。後述するが、本実施形態では、他車両に注目する注意状況においては、操舵タイヤ周囲の画像の透過度を低く変更する。 In the present embodiment, an area corresponding to a steering tire of another vehicle, that is, an area around the steering tire may be set as a control area based on the captured image. The detection of the steering tire is performed as follows. After the tire is detected, a change with time of the image of each tire is observed. Tires attached to the same vehicle make a series of movements as the vehicle moves. A steering tire is a tire that performs this series of movements first. In the present embodiment, it is estimated that the tire that has started a series of movements earliest among the plurality of detected tires is a steering tire. Thus, the reason for paying attention to the steering tire is to quickly detect the movement of the other vehicle. It is possible to detect lane changes and steering of other vehicles by the movement of the steering tire. As will be described later, in the present embodiment, in a caution situation where attention is paid to other vehicles, the transparency of the image around the steering tire is changed to be low.
本実施形態では、対向走行する他車両のフロントガラス領域に対応する領域を制御領域として設定してもよい。フロントガラスの検出は、車両ボディの外形とフロントガラスとの位置関係、及びフロントガラスの形状などの特徴に基づいて、撮像画像から抽出されたパターンとマッチングすることにより検出することができる。フロントガラスの画像情報は他車両の動きに連動するものではないので、後述するように、本実施形態では、他車両に注目する必要のある注意状況において、フロントガラス周囲の画像の透過度を維持又は高く変更する。 In this embodiment, you may set the area | region corresponding to the windshield area | region of the other vehicle which carries out opposite driving | running | working as a control area | region. The detection of the windshield can be detected by matching with a pattern extracted from the captured image based on the positional relationship between the outer shape of the vehicle body and the windshield, and the features such as the shape of the windshield. Since the image information of the windshield is not linked to the movement of the other vehicle, as will be described later, in this embodiment, the transparency of the image around the windshield is maintained in a caution situation that requires attention to the other vehicle. Or change it higher.
本実施形態において、制御領域の画像の透過度を変更する手法は特に限定されず、出願時に知られた手法を適宜に用いることができる。例えば、制御領域の画素密度を低く又は高くしてもよい。 In the present embodiment, the method for changing the transparency of the image in the control region is not particularly limited, and a method known at the time of filing can be appropriately used. For example, the pixel density in the control region may be lowered or increased.
本実施形態の制御装置１０は、他車両の実際の状況が、上述した「他車両の注意状況」に該当すると判断された場合には、制御領域の透過度を変化させる。具体的に、検出された他車両に対する自車両のドライバの注意度が高く変化する注意状況であると判断された場合には制御領域の透過度を相対的に低く変更した表示画像をディスプレイ３０に表示させ、上述した注意状況ではないと判断された場合には制御領域の透過度を相対的に高く変更した表示画像をディスプレイに表示させる。ちなみに、本実施形態の透過度の制御機能が実行されない場合、つまり通常時における表示画像の透過度がデフォルトの透過度として設定されている。他車両の状況が注意状況である場合に設定される制御領域の透過度は、デフォルトの透過度よりも低い。他方、他車両の状況が非注意状況である場合に設定される制御領域の透過度は、デフォルトの透過度と同じ又は高い。デフォルトの透過度は、撮像画像をそのまま表示する場合の透過度と、障害物や路面標識などの重畳画像を視認しやすくするために高くした透過度との両方を含む。つまり、重畳画像を視認しやすくするために通常時よりも高い透過度が設定されているときに、他車両が注意状況であると検出された場合には、制御領域の透過度を、その高い透過度よりも低くする。ドライバが視認している映像（撮像画像）をそのままディスプレイ３０に表示するための透過度が設定されているときに、他車両が注意状況であると検出された場合には、制御領域の透過度を、その通常時の透過度よりも低くする。制御装置１０は、制御領域の透過度を、注意状況であると判断される前（時間的に）の透過度よりも相対的に低い透過度としてもよいし、制御領域以外の領域の透過度よりも相対的に低い透過度としてもよいし、撮像画像をディスプレイ３０に表示するときの透過度よりも相対的に低い透過度としてもよい。 When it is determined that the actual situation of the other vehicle corresponds to the “attention situation of the other vehicle” described above, the control device 10 of the present embodiment changes the transparency of the control region. Specifically, when it is determined that the attention level of the driver of the own vehicle with respect to the detected other vehicle is changing, the display image obtained by changing the transparency of the control region to be relatively low is displayed on the display 30. When it is determined that the caution situation is not described above, a display image in which the transparency of the control region is changed to be relatively high is displayed on the display. Incidentally, when the transparency control function of the present embodiment is not executed, that is, the transparency of the display image in the normal state is set as the default transparency. The transparency of the control area set when the situation of the other vehicle is a caution situation is lower than the default transparency. On the other hand, the transparency of the control area set when the situation of the other vehicle is a non-attention situation is the same as or higher than the default transparency. The default transparency includes both the transparency when the captured image is displayed as it is and the transparency that is increased to make it easy to visually recognize the superimposed image such as an obstacle or a road surface sign. In other words, when a higher transparency than usual is set to make the superimposed image easier to see, if the other vehicle is detected to be in a caution situation, the transparency of the control area is increased. Lower than the transmittance. When the transparency for displaying the video (captured image) visually recognized by the driver on the display 30 is set, if the other vehicle is detected to be in a caution situation, the transparency of the control area Is lower than its normal transmittance. The control device 10 may set the transmittance of the control region to a transmittance that is relatively lower than the transmittance before (temporal) when it is determined to be an attention situation, or the transmittance of a region other than the control region. it may be a relatively low permeability than may be relatively low permeability than permeability when displaying a captured image on the display 30.
以下に、具体的な処理内容を述べる。
制御装置１０は、他車両が自車両に所定距離未満に接近する注意状況であると判断された場合には、制御領域の透過度を低く変更する。つまり、他車両が接近している注意状況であると判断された場合には、非注意状況において実行されていた画像の透過処理（透過度を高くする処理）を中止して、他車両の画像に基づく制御領域の透過度を低下させる。
これにより、ドライバの注意を集中させたい他車両の画像を明確に表示することができる。加えて、他車両の画像に対応する制御領域の透過度を低下させることにより、透過度の低下制御前に重畳表示させていた他の障害物などの画像情報が他車両の画像により隠蔽されるので、これらを表示画像から除外することができる。その結果、ドライバの注意を他車両へ集中させることができる。
Specific processing contents will be described below.
The control device 10 changes the transparency of the control region to be low when it is determined that the other vehicle is in a caution situation in which the other vehicle approaches less than a predetermined distance. That is, when it is determined that the vehicle is in a caution situation where another vehicle is approaching, the image transmission process (a process for increasing the transparency) that has been executed in the non-caution situation is stopped, and the image of the other vehicle is stopped. Decrease the transparency of the control area based on.
Thereby, the image of the other vehicle which wants to concentrate a driver's attention can be displayed clearly. In addition, by reducing the transparency of the control region corresponding to the image of the other vehicle, the image information of other obstacles and the like that are superimposed and displayed before the reduction control of the transparency is hidden by the image of the other vehicle. Therefore, these can be excluded from the display image. As a result, the driver's attention can be concentrated on other vehicles.
制御装置１０は、自車両に対する他車両の相対速度が所定速度以上である注意状況であると判断された場合には、制御領域の透過度を低く変更する。つまり、他車両の相対速度が高く、自車両への接近が予測される注意状況であると判断された場合には、非注意状況において実行されていた画像の透過処理（透過度を高くする処理）を中止して、他車両の画像に基づく制御領域の透過度を低下させる。これにより、上記作用及び効果を奏し、その結果、ドライバの注意を他車両へ集中させることができる。 When it is determined that the attention situation is such that the relative speed of the other vehicle with respect to the host vehicle is equal to or higher than the predetermined speed, the control device 10 changes the transparency of the control region to be low. In other words, if it is determined that the situation is a caution situation in which the relative speed of the other vehicle is high and the approach to the host vehicle is predicted, the image transmission process (a process for increasing the transparency) performed in the non-attention situation ) To reduce the transparency of the control area based on the image of the other vehicle. Thereby, there exists the said effect | action and effect, As a result, a driver's attention can be concentrated on another vehicle.
制御装置１０は、自車両に対する他車両の加速度が所定加速度以上である注意状況であると判断された場合には、制御領域の透過度を低く変更する。つまり、他車両の加速度が高く、自車両への接近が予測される注意状況であると判断された場合には、非注意状況において実行されていた画像の透過処理（透過度を高くする処理）を中止して、他車両の画像に基づく制御領域の透過度を低下させる。これにより、上記作用及び効果を奏し、その結果、ドライバの注意を他車両へ集中させることができる。 The control device 10 changes the transparency of the control region to be low when it is determined that the caution situation in which the acceleration of the other vehicle with respect to the host vehicle is equal to or greater than the predetermined acceleration. In other words, when it is determined that the attention situation is such that the acceleration of the other vehicle is high and the approach to the host vehicle is predicted, the transparency processing of the image executed in the non-attention situation (processing to increase the transparency) And the transparency of the control region based on the image of the other vehicle is reduced. Thereby, there exists the said effect | action and effect, As a result, a driver's attention can be concentrated on another vehicle.
制御装置１０は、他車両のブレーキランプが点灯している注意状況であると判断された場合には、制御領域の透過度を低く変更する。つまり、他車両のブレーキランプが点灯しており、自車両への接近が予測される注意状況であると判断された場合には、非注意状況において実行されていた画像の透過処理（透過度を高くする処理）を中止して、他車両の画像に基づく制御領域の透過度を低下させる。これにより、上記作用及び効果を奏し、その結果、ドライバの注意を他車両へ集中させることができる。 The control device 10 changes the transparency of the control region to be low when it is determined that the caution situation is that the brake lamp of the other vehicle is lit. In other words, if the brake lamp of another vehicle is lit and it is determined that the caution situation is predicted to approach the host vehicle, the image transparency processing (transparency is changed) performed in the non-caution situation. The process of increasing) is stopped, and the transparency of the control region based on the image of the other vehicle is reduced. Thereby, there exists the said effect | action and effect, As a result, a driver's attention can be concentrated on another vehicle.
制御装置１０は、他車両のウィンカーが点灯している注意状況であると判断された場合には、制御領域の透過度を低く変更する。つまり、他車両のウィンカーランプが点灯しており、他車両の進路変更が予測される注意状況であると判断された場合には、非注意状況において実行されていた画像の透過処理（透過度を高くする処理）を中止して、他車両の画像に基づく制御領域の透過度を低下させる。これにより、上記作用及び効果を奏し、その結果、ドライバの注意を他車両へ集中させることができる。 The control device 10 changes the transparency of the control region to be low when it is determined that the attention situation is that the winker of another vehicle is lit. In other words, if the winker lamp of the other vehicle is lit and it is determined that the caution situation is predicted to change the course of the other vehicle, the transparency processing (transparency of the image) performed in the non-caution situation is performed. The process of increasing) is stopped, and the transparency of the control region based on the image of the other vehicle is reduced. Thereby, there exists the said effect | action and effect, As a result, a driver's attention can be concentrated on another vehicle.
制御装置１０は、他車両の後退灯が点灯している注意状況であると判断された場合には、制御領域の透過度を低く変更する。つまり、他車両の後退灯が点灯しており、他車両の後退が予測される注意状況であると判断された場合には、非注意状況において実行されていた画像の透過処理（透過度を高くする処理）を中止して、他車両の画像に基づく制御領域の透過度を低下させる。これにより、上記作用及び効果を奏し、その結果、ドライバの注意を他車両へ集中させることができる。 The control device 10 changes the transparency of the control region to be low when it is determined that the caution situation is that the reverse light of the other vehicle is lit. In other words, when it is determined that the back light of the other vehicle is lit and the caution situation is predicted to cause the other vehicle to reverse, the image transparency processing (the transparency is increased) To stop the transmission of the control area based on the image of the other vehicle. Thereby, there exists the said effect | action and effect, As a result, a driver's attention can be concentrated on another vehicle.
制御装置１０は、他車両が所定の緊急車両である注意状況であると判断された場合には、制御領域の透過度を低く変更する。つまり、他車両が緊急車両であり、他車両に進路を譲るなどの対応をするために、他車両の挙動を観察するべき注意状況であると判断された場合には、非注意状況において実行されていた画像の透過処理（透過度を高くする処理）を中止して、他車両の画像に基づく制御領域の透過度を低下させる。これにより、上記作用及び効果を奏し、その結果、ドライバの注意を他車両へ集中させることができる。 When it is determined that the other vehicle is in a caution situation where the other vehicle is a predetermined emergency vehicle, the control device 10 changes the transparency of the control region to be low. In other words, when it is determined that the other vehicle is an emergency vehicle, and the behavior of the other vehicle is to be observed in order to take action such as giving up the course to the other vehicle, the vehicle is executed in a non-caution situation. The transmission processing of the image that has been performed (processing to increase the transparency) is stopped, and the transparency of the control region based on the image of the other vehicle is reduced. Thereby, there exists the said effect | action and effect, As a result, a driver's attention can be concentrated on another vehicle.
制御装置１０は、他車両のドアが開閉された注意状況であると判断された場合には、制御領域の透過度を低く変更する。つまり、他車両のドアが開閉され、他車両から乗員が降車する注意状況であると判断された場合には、非注意状況において実行されていた画像の透過処理（透過度を高くする処理）を中止して、他車両の画像に基づく制御領域の透過度を低下させる。これにより、上記作用及び効果を奏し、その結果、ドライバの注意を他車両へ集中させることができる。 The control device 10 changes the transparency of the control region to be low when it is determined that the state of caution is that the door of the other vehicle is opened or closed. That is, when it is determined that the situation is a caution situation where the door of another vehicle is opened and closed and an occupant gets out of the other vehicle, the image transparency process (a process for increasing the transparency) performed in the non-attention situation is performed. Stop and reduce the transparency of the control area based on the image of the other vehicle. Thereby, there exists the said effect | action and effect, As a result, a driver's attention can be concentrated on another vehicle.
制御装置１０は、他車両に搭載された荷物がその他車両からはみ出している注意状況であると判断された場合には、制御領域の透過度を低く変更する。つまり、他車両の積載物がトランクルームからはみ出している、他車両の荷台からカバーやロープが垂れ下がっているため、他車両に搭載された荷物の状態を観察するべき注意状況であると判断された場合には、非注意状況において実行されていた画像の透過処理（透過度を高くする処理）を中止して、他車両の画像に基づく制御領域の透過度を低下させる。これにより、上記作用及び効果を奏し、その結果、ドライバの注意を他車両へ集中させることができる。 The control device 10 changes the transparency of the control region to be low when it is determined that the caution state where the load mounted on the other vehicle protrudes from the other vehicle. In other words, when it is determined that the load on the other vehicle protrudes from the trunk room, or because the cover or rope is hanging from the loading platform of the other vehicle, it is determined that the state of the load on the other vehicle should be observed. In this case, the image transparency process (a process for increasing the transparency) that has been executed in the non-attention situation is stopped, and the transparency of the control region based on the image of the other vehicle is reduced. Thereby, there exists the said effect | action and effect, As a result, a driver's attention can be concentrated on another vehicle.
上述した非注意状況において実行される処理は、画像の透過処理（透過度を高くする処理）に限定されず、デフォルトの透過度で表示画像を提示する処理であってもよい。この場合においても、注意状況であることが判断された場合には、そのデフォルトの透過度よりも低い透過度が設定される。 The process executed in the above-described non-attention situation is not limited to the image transparency process (a process for increasing the transparency), and may be a process for presenting a display image with a default transparency. Also in this case, when it is determined that the situation is a caution situation, a transparency lower than the default transparency is set.
制御装置１０は、他車両のタイヤに対応する領域を制御領域として設定し、その制御領域の透過度を低く変更する。車両が移動する際にタイヤは最初に移動するので、タイヤの動きを観察することにより、他車両の動きを早いタイミングで検出することができる。 The control apparatus 10 sets the area | region corresponding to the tire of another vehicle as a control area, and changes the transparency of the control area low. Since the tire moves first when the vehicle moves, the movement of the other vehicle can be detected at an early timing by observing the movement of the tire.
また、制御装置１０は、対向走行する他車両のフロントガラス領域に対応する領域を制御領域として設定し、その制御領域の透過度を高く変更する。実際のフロントガラスは透過度が高い。他の部分と同様に透過度を高くすると、実際の車両の外観から乖離してしまうため、本実施形態では上記注意状況である場合であっても、フロントガラスの透過度を高くする。これにより、ドライバに違和感を与えることなく、他車両の存在を自車両のドライバに明確に示すことができる。また、直近の他車両のフロントガラス領域の透過度を高くすることにより、そのフロントガラスを介して、自車両のドライバは他車両に隠れた別の他車両の存在を視認することができる。 Moreover, the control apparatus 10 sets the area | region corresponding to the windshield area | region of the other vehicle which carries out opposite driving | running | working as a control area, and changes the transmittance | permeability of the control area highly. The actual windshield has high transmittance. If the transparency is increased in the same manner as the other parts, it will deviate from the actual appearance of the vehicle. Therefore, in this embodiment, the transparency of the windshield is increased even in the case of the above caution situation. Thereby, the presence of the other vehicle can be clearly shown to the driver of the own vehicle without causing the driver to feel uncomfortable. Further, by increasing the transparency of the windshield region of the nearest other vehicle, the driver of the host vehicle can visually recognize the presence of another vehicle hidden behind the other vehicle via the windshield.
続いて、本実施形態の情報提供システム１の表示画像の表示手順を、図３フローチャートに基づいて説明する。なお、図３に示す処理内容は、所定周期で連続的に行われる。 Subsequently, a display image display procedure of the information providing system 1 according to the present embodiment will be described with reference to a flowchart of FIG. Note that the processing content shown in FIG. 3 is continuously performed in a predetermined cycle.
図３に示すように、ステップＳ１１０において、制御装置１０は、カメラ２０が撮像した撮像画像を取得する。そして、ステップＳ１２０において、制御装置１０は、取得した撮像画像から他車両の画像を抽出する。 As illustrated in FIG. 3, in step S <b> 110, the control device 10 acquires a captured image captured by the camera 20. In step S120, the control device 10 extracts an image of another vehicle from the acquired captured image.
次にステップＳ１３０において、制御装置１０は他車両の状況を判断する。続くステップＳ１４０において、制御装置１０は他車両の状況が所定の注意状況であるか否かを判断する。他車両の状況が所定の注意状況である場合には、ステップＳ１５０へ進み、そうでない場合にはステップＳ１８０へ進んで、撮像画像を表示画像としてディスプレイ３０に提示する。 Next, in step S130, the control device 10 determines the status of the other vehicle. In subsequent step S140, control device 10 determines whether or not the situation of the other vehicle is a predetermined attention situation. If the situation of the other vehicle is a predetermined caution situation, the process proceeds to step S150, and if not, the process proceeds to step S180, and the captured image is presented on the display 30 as a display image.
ステップＳ１５０において、対向車両のフロントガラス領域及び／又はタイヤ領域が検出された場合にはステップＳ１６０へ進み、層でない場合にはステップＳ１７０へ進む。ステップＳ１７０では、対向車両のフロントガラス領域の透過度を高く設定し、タイヤ領域の透過度を低く設定する。 In step S150, if the windshield area and / or tire area of the oncoming vehicle is detected, the process proceeds to step S160, and if not, the process proceeds to step S170. In step S170, the transparency of the windshield area of the oncoming vehicle is set high, and the transparency of the tire area is set low.
このステップＳ１５０及びステップＳ１６０の処理は、設定する制御領域の変更及び透過度の変更を手当をするための処理である。通常の制御においては制御領域は他車両の画像の一部又は全部に基づいて設定されるが、他車両のタイヤ周辺の領域についてはタイヤに対応する領域が検出された場合には、そのタイヤ周囲の領域についても制限領域として設定する。この処理により、タイヤ周りの透過度を下げて、タイヤの動きを明確に示すことにより、他車両の動きを正確に提示することができる。 The processes in step S150 and step S160 are processes for taking care of changing the control area to be set and changing the transparency. In normal control, the control area is set based on a part or all of the image of the other vehicle. If an area corresponding to the tire is detected in the area around the tire of the other vehicle, the area around the tire is detected. These areas are also set as restricted areas. By this processing, the movement of the other vehicle can be accurately presented by lowering the permeability around the tire and clearly showing the movement of the tire.
また、通常の制御においては制御領域の透過度は低下させるが、対向車両のフロントガラス領域については透過度を高く変更させる。この処理により、実際の他車両の外観のイメージを保ちつつ、フロントガラス部分だけでも透過させて他車両の影に存在する別の他車両の画像を表示することができる。なお、ステップＳ１４０の処理の後、他車両の状況が注意状況であれば、ステップＳ１７０へ進んでもよい。 Further, in normal control, the transparency of the control area is lowered, but the transparency of the windshield area of the oncoming vehicle is changed to be high. By this process, it is possible to display an image of another vehicle existing in the shadow of the other vehicle by transmitting only the windshield portion while maintaining an actual image of the appearance of the other vehicle. If the situation of the other vehicle is a caution situation after the process of step S140, the process may proceed to step S170.
ステップＳ１７０では、制御領域の透過度を低く設定する。 In step S170, the transparency of the control area is set low.
最後に、ステップＳ１８０において、制御装置１０は、ステップＳステップＳ１６０、Ｓ１７０で設定された透過度で、同ステップで設定された制御領域の透過度を変更する。つまり、注意状況であると判断された場合には、他車両の一部又は全部に応じた設定された領域及び検出されたタイヤ領域を制御領域とし、その透過度を通常時（デフォルト）の透過度よりも低く変更する。ただし、対向車のフロントガラス部分に設定された制御領域についてはその透過度を通常時（デフォルト）の透過度又はそれよりも高く変更する。 Finally, in step S180, the control device 10 changes the transparency of the control region set in the same step with the transparency set in steps S160 and S170. In other words, when it is determined that the vehicle is in a caution situation, the set area corresponding to a part or all of the other vehicle and the detected tire area are set as the control area, and the transparency is normal (default) transmission. Change lower than degree. However, the transparency of the control region set in the windshield portion of the oncoming vehicle is changed to a normal (default) transparency or higher.
本実施形態の車両用表示装置１００によれば、以下の効果を奏する。 The vehicle display device 100 of the present embodiment has the following effects.
[１]本実施形態の車両用表示装置１００によれば、他車両の状況に注意を払う場面においては、自車両と他車両との距離を把握しやすい画像をドライバに表示することができる。つまり、他車両に対して注意を集中する必要性が低い状況においては、他車両の画像の透過度を高くして他車両が隠蔽する歩行者、別の車両、信号機などの多くの情報を提供できるようにする一方で、車両に対して注意を集中する必要性が高い注意状況においては、集中すべき他車両ＶＸの画像の透過度を低くして、集中すべき他車両ＶＸ以外の情報はなるだけ表示しないようにすることができる。 [1] According to the vehicle display device 100 of the present embodiment, in a scene where attention is paid to the situation of another vehicle, an image that makes it easy to grasp the distance between the host vehicle and the other vehicle can be displayed on the driver. In other words, in situations where it is not necessary to focus attention on other vehicles, it provides a lot of information on pedestrians, other vehicles, traffic lights, etc. that other vehicles conceal by increasing the transparency of other vehicles' images. On the other hand, in a caution situation where it is highly necessary to concentrate attention on the vehicle, the transparency of the image of the other vehicle VX to be concentrated is lowered, and information other than the other vehicle VX to be concentrated is It is possible to suppress the display as much as possible.
[２]本実施形態の車両用表示装置１００によれば、他車両が自車両に所定距離未満に接近する注意状況であると判断された場合には、制御領域の透過度を低く変更するので、他車両が接近する注意状況下において、他車両の画像を明確に表示することができる。 [2] According to the vehicle display device 100 of the present embodiment, when it is determined that the other vehicle is in a caution situation in which the other vehicle approaches less than a predetermined distance, the transparency of the control region is changed to be low. In an attention situation where another vehicle approaches, the image of the other vehicle can be clearly displayed.
[３]本実施形態の車両用表示装置１００によれば、自車両に対する他車両の相対速度が所定速度以上である注意状況であると判断された場合には、制御領域の透過度を低く変更するので、他車両の相対速度が高く、自車両への接近が予測される注意状況下において、他車両の画像を明確に表示することができる。 [3] According to the vehicle display device 100 of the present embodiment, when it is determined that the situation is a caution situation where the relative speed of the other vehicle with respect to the host vehicle is equal to or higher than a predetermined speed, the transparency of the control region is changed to be low. Therefore, the image of the other vehicle can be clearly displayed under a caution situation where the relative speed of the other vehicle is high and the approach to the host vehicle is predicted.
[４]本実施形態の車両用表示装置１００によれば、自車両に対する他車両の加速度が所定加速度以上である注意状況であると判断された場合には、制御領域の透過度を低く変更するので、他車両の加速度が高く、自車両への接近が予測される注意状況下において、他車両の画像を明確に表示することができる。 [4] According to the vehicle display device 100 of the present embodiment, when it is determined that the vehicle is in a caution situation where the acceleration of the other vehicle relative to the host vehicle is greater than or equal to a predetermined acceleration, the transparency of the control region is changed to be low. Therefore, the image of the other vehicle can be clearly displayed under a caution situation where the acceleration of the other vehicle is high and the approach to the host vehicle is predicted.
[５]本実施形態の車両用表示装置１００によれば、他車両のブレーキランプが点灯している注意状況であると判断された場合には、制御領域の透過度を低く変更するので、他車両のブレーキランプが点灯し、自車両への接近が予測される注意状況下において、他車両の画像を明確に表示することができる。 [5] According to the vehicular display device 100 of the present embodiment, when it is determined that the brake lamp of another vehicle is lit, the transparency of the control region is changed to be low. The image of the other vehicle can be clearly displayed under a caution situation in which the vehicle brake lamp is lit and the approach to the host vehicle is predicted.
[６] 本実施形態の車両用表示装置１００によれば、他車両のウィンカーが点灯している注意状況であると判断された場合には、制御領域の透過度を低く変更するので、他車両のウィンカーランプが点灯し、他車両の進路変更が予測される注意状況下において、他車両の画像を明確に表示することができる。 [6] According to the vehicle display device 100 of the present embodiment, when it is determined that the winker of the other vehicle is in a caution situation, the transparency of the control region is changed to be low. The blinker lamp is turned on, and an image of the other vehicle can be clearly displayed under a caution situation in which a course change of the other vehicle is predicted.
[７] 本実施形態の車両用表示装置１００によれば、他車両の後退灯が点灯している注意状況であると判断された場合には、制御領域の透過度を低く変更するので、他車両の後退灯が点灯し、他車両の後退が予測される注意状況下において、他車両の画像を明確に表示することができる。 [7] According to the vehicle display device 100 of the present embodiment, when it is determined that the situation is a warning situation in which the reverse lamp of another vehicle is lit, the transparency of the control region is changed to be low. The image of the other vehicle can be clearly displayed under a caution situation in which the backward light of the vehicle is turned on and the backward movement of the other vehicle is predicted.
[８]本実施形態の車両用表示装置１００によれば、他車両が所定の緊急車両である注意状況であると判断された場合には、制御領域の透過度を低く変更するので、ドライバが他車両に進路を譲るなどの対応が要求される注意状況下において、他車両の画像を明確に表示することができる。 [8] According to the vehicle display device 100 of the present embodiment, when it is determined that the other vehicle is a caution situation where the other vehicle is a predetermined emergency vehicle, the transparency of the control region is changed to be low. An image of the other vehicle can be clearly displayed under a caution situation where a response such as giving up the route to another vehicle is required.
[９]本実施形態の車両用表示装置１００によれば、他車両のドアが開閉された注意状況であると判断された場合に、制御領域の透過度を低く変更するので、他車両のドアが開閉され、他車両から乗員が降車する可能性がある注意状況下において、他車両の画像を明確に表示することができる。 [9] According to the vehicle display device 100 of the present embodiment, when it is determined that the door of the other vehicle is in an open / closed state, the transparency of the control region is changed to be low. Is opened and closed, and an image of the other vehicle can be clearly displayed under a caution situation where the passenger may get off from the other vehicle.
[１０] 本実施形態の車両用表示装置１００によれば、他車両に搭載された荷物がその他車両からはみ出している注意状況であると判断された場合には、制御領域の透過度を低く変更するので、他車両に搭載された荷物の状態を観察するべき注意状況下において、他車両を明確に表示することができる。 [10] According to the vehicle display device 100 of the present embodiment, when it is determined that the load mounted on the other vehicle is in a state of caution protruding from the other vehicle, the transparency of the control region is changed to be low. Therefore, it is possible to clearly display the other vehicle under a caution situation in which the state of the luggage mounted on the other vehicle should be observed.
[１１] 本実施形態の車両用表示装置１００によれば、他車両のタイヤに対応する領域を制御領域として設定し、その制御領域の透過度を低く変更するので、タイヤ周りの透過度を下げて、タイヤの動きを明確に示すことにより、他車両の動きを正確に提示することができる。 [11] According to the vehicle display device 100 of the present embodiment, an area corresponding to a tire of another vehicle is set as a control area, and the transmittance of the control area is changed to be low, so that the permeability around the tire is lowered. By clearly indicating the movement of the tire, the movement of the other vehicle can be accurately presented.
[１２] 本実施形態の車両用表示装置１００によれば、対向走行する他車両のフロントガラス領域に対応する領域を制御領域として設定し、その制御領域の透過度を高く変更するので、実際の他車両の外観のイメージを保ちつつ、フロントガラス部分だけでも透過させて他車両の影に存在する別の他車両の画像を表示することができる。 [12] According to the vehicular display device 100 of the present embodiment, the area corresponding to the windshield area of the other vehicle traveling oppositely is set as the control area, and the transparency of the control area is changed to be high. While maintaining the image of the appearance of the other vehicle, only the windshield portion can be transmitted to display an image of another vehicle existing in the shadow of the other vehicle.
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
すなわち、本明細書では、本発明に係る車両用表示装置１００と車載装置２００とを備える情報提供システム１を例にして説明するが、本発明はこれに限定されるものではない。 That is, in the present specification, the information providing system 1 including the vehicle display device 100 and the in-vehicle device 200 according to the present invention will be described as an example, but the present invention is not limited to this.
本明細書では、本発明に係る車両用表示装置の一態様として、制御装置１０と、カメラ２０と、ディスプレイ３０とを備える車両用表示装置１００を一例として説明するが、これに限定されるものではない。 In this specification, the vehicle display device 100 including the control device 10, the camera 20, and the display 30 will be described as an example of the vehicle display device according to the present invention. However, the present invention is not limited thereto. is not.
本明細書では、画像取得手段と、他車両検出手段と、状況判断手段と、表示制御手段と、を備える本発明に係る車両用表示装置の一例として、画像取得機能と、他車両検出機能と、状況判断機能と、表示制御機能とを実行する制御装置１０を備える車両用表示装置１００を一例として説明するが、これに限定されるものではない。 In the present specification, as an example of the vehicle display device according to the present invention including an image acquisition unit, an other vehicle detection unit, a situation determination unit, and a display control unit, an image acquisition function, an other vehicle detection function, The vehicle display device 100 including the control device 10 that executes the situation determination function and the display control function will be described as an example, but is not limited thereto.
１…情報提供システム
１００…車両用表示装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…カメラ
３０…ディスプレイ
２００…車載装置
５０…車両コントローラ
６０…ナビゲーション装置
DESCRIPTION OF SYMBOLS 1 ... Information provision system 100 ... Display apparatus for vehicles 10 ...
12 ... ROM
13 ... RAM
DESCRIPTION OF SYMBOLS 20 ... Camera 30 ... Display 200 ... In-vehicle apparatus 50 ... Vehicle controller 60 ... Navigation apparatus
Claims (12)
前記撮像画像に基づいて、前記自車両の走行に影響を与える他車両を検出する他車両検出手段と、
前記検出された他車両に対する前記自車両のドライバの注意度が高く変化する注意状況であるか否かを判断する状況判断手段と、
前記注意状況であると判断された場合には前記他車両の画像の一部又は全部に対応する領域として前記撮像画像内に設定された制御領域の透過度を予め設定された通常時におけるデフォルトの透過度よりも低く変更した表示画像を、ディスプレイに表示されている他の画像に重畳して表示させ、前記注意状況ではないと判断された場合には前記制御領域の透過度を予め設定された通常時におけるデフォルトの透過度と同じ又は前記デフォルトの透過度よりも高く変更した表示画像を、ディスプレイに表示されている他の画像に重畳して表示させる表示制御手段と、を備えることを特徴とする車両用表示装置。 Image acquisition means for acquiring a captured image around the host vehicle, which is captured by a camera provided in the host vehicle;
And other vehicle detection means on the basis of the captured image to detect the other vehicle, which affects the traveling of the vehicle,
A situation determination means for determining whether or not the detected situation of the driver of the host vehicle with respect to the detected other vehicle is a caution situation in which the degree of caution changes.
When it is determined that the attention situation is present, the transparency of the control area set in the captured image as an area corresponding to a part or all of the image of the other vehicle is set as a default in normal time set in advance. the display image changing lower than permeability to display superimposed on another image displayed on the display, wherein when it is determined not to be the attentive condition was previously set the transparency of the control region the display image changing higher than the same or the default transparency and default transparency at normal, and comprising: a display control means for displaying superimposed on another image displayed on the display, the Display device for a vehicle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013108746A JP6136564B2 (en) | 2013-05-23 | 2013-05-23 | Vehicle display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013108746A JP6136564B2 (en) | 2013-05-23 | 2013-05-23 | Vehicle display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014229101A JP2014229101A (en) | 2014-12-08 |
| JP6136564B2 true JP6136564B2 (en) | 2017-05-31 |
Family
ID=52128890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013108746A Active JP6136564B2 (en) | 2013-05-23 | 2013-05-23 | Vehicle display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6136564B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11148595B2 (en) * | 2017-08-28 | 2021-10-19 | Denso Corporation | Image output device, and non-transitory tangible computer-readable medium for outputting image around vehicle to display device |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5855206B1 (en) * | 2014-10-31 | 2016-02-09 | 三菱電機株式会社 | Transmission display device for vehicle |
| JP6342074B2 (en) * | 2015-06-30 | 2018-06-13 | 三菱電機株式会社 | Vehicle periphery monitoring device and driving support system |
| WO2018020751A1 (en) | 2016-07-26 | 2018-02-01 | 株式会社Ｊｖｃケンウッド | Display control device for vehicle, display system for vehicle, display control method for vehicle, and program |
| JP2018019176A (en) * | 2016-07-26 | 2018-02-01 | 株式会社Ｊｖｃケンウッド | Display controller for vehicle, display system for vehicle, display control method for vehicle and program |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4401890B2 (en) * | 2004-07-29 | 2010-01-20 | 本田技研工業株式会社 | Vehicle recognition support device |
| JP2006309623A (en) * | 2005-04-28 | 2006-11-09 | Aquaheim:Kk | Collision warning equipment and vehicle using the same |
| JP2010026708A (en) * | 2008-07-17 | 2010-02-04 | Fujitsu Ten Ltd | Driver assistance device, driver assistance method and driver assistance processing program |
| JP2010105502A (en) * | 2008-10-29 | 2010-05-13 | Toyota Motor Corp | Front monitoring device |
| JP2010183152A (en) * | 2009-02-03 | 2010-08-19 | Panasonic Corp | Optical communication equipment for vehicle |
| JP2011189874A (en) * | 2010-03-16 | 2011-09-29 | National Institute Of Advanced Industrial Science & Technology | Parking support method and system |
| JP5724241B2 (en) * | 2010-08-06 | 2015-05-27 | 株式会社ニコン | Traffic light control device, traffic light, and program |
| JP5740241B2 (en) * | 2011-08-03 | 2015-06-24 | 株式会社東芝 | Vehicle detection device |
-
2013
- 2013-05-23 JP JP2013108746A patent/JP6136564B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11148595B2 (en) * | 2017-08-28 | 2021-10-19 | Denso Corporation | Image output device, and non-transitory tangible computer-readable medium for outputting image around vehicle to display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014229101A (en) | 2014-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10479274B2 (en) | Vehicle and control method for the same | |
| US10649461B2 (en) | Around view monitoring apparatus for vehicle, driving control apparatus, and vehicle | |
| US10196068B2 (en) | Convenience apparatus for vehicle and vehicle | |
| CN107176165B (en) | Vehicle control device | |
| US10131276B2 (en) | Vehicle sightline guidance apparatus | |
| CN111183063A (en) | Side mirror for vehicle | |
| US20190244515A1 (en) | Augmented reality dsrc data visualization | |
| US11417122B2 (en) | Method for monitoring an occupant and a device therefor | |
| US10410514B2 (en) | Display device for vehicle and display method for vehicle | |
| JP6136565B2 (en) | Vehicle display device | |
| JP6136564B2 (en) | Vehicle display device | |
| JP6604388B2 (en) | Display device control method and display device | |
| CN110015247B (en) | Display control device and display control method | |
| WO2017115371A1 (en) | Apparatus and method for avoiding vehicular accidents | |
| CN113448096B (en) | Display device for vehicle | |
| JP6102509B2 (en) | Vehicle display device | |
| JP6398182B2 (en) | Signal information presentation device | |
| JP6131692B2 (en) | Occupant detection device | |
| CN114523905A (en) | System and method for displaying detection and track prediction of targets around vehicle | |
| CN115131749A (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
| JPH06255397A (en) | Display device for vehicle | |
| JP6956473B2 (en) | Sideways state judgment device | |
| JP7432198B2 (en) | Situation awareness estimation system and driving support system | |
| EP3857530A1 (en) | Augmented reality dsrc data visualization | |
| CN111612939A (en) | Intelligent driving track projection detection system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160328 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170417 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6136564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |