JP4412365B2 - Driving support method and driving support device - Google Patents
Driving support method and driving support device Download PDFInfo
- Publication number
- JP4412365B2 JP4412365B2 JP2007205672A JP2007205672A JP4412365B2 JP 4412365 B2 JP4412365 B2 JP 4412365B2 JP 2007205672 A JP2007205672 A JP 2007205672A JP 2007205672 A JP2007205672 A JP 2007205672A JP 4412365 B2 JP4412365 B2 JP 4412365B2
- Authority
- JP
- Japan
- Prior art keywords
- blind spot
- driver
- pillar
- vehicle
- pillars
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Navigation (AREA)
Description
本発明は、運転支援方法及び運転支援装置に関する。 The present invention relates to a driving support method and a driving support device.
従来より、安全運転を支援する装置として、ドライバーの死角となる領域を車載カメラによって撮影し、ディスプレイ等に表示する車載システムが開発されている。その一つとして、車両のピラーによって生じる死角領域を車載カメラで撮影し、撮影画像をピラーの内側に表示するシステムが提案されている(例えば特許文献1参照)。ピラーは、ウィンドウやルーフを支える左右の支柱であって、ドライバーの視界を一部遮ってしまうものの、安全性のために所定の太さを確保しなければならない部材である。また、この装置では、ドライバの視線の方向と、カメラの撮影方向とが一致しないため、カメラの撮影画像をドライバの視線方向に合わせて座標変換する。
しかし、上記した装置では、ドライバーがルームミラー越しに車両後方又は後側方を視認した場合に対応していない。即ち、ドライバーがルームミラーを介して車両後方又は後側方を視認した際に、ルームミラーを介したドライバーの視界が、車両後方のリヤピラーや、前方座席と後方座席との間にあるセンターピラーにより遮られることがある。 However, the above-described device does not support the case where the driver visually recognizes the rear or rear side of the vehicle through the rearview mirror. That is, when the driver visually recognizes the rear or rear side of the vehicle through the rearview mirror, the driver's field of view through the rearview mirror is displayed by the rear pillar at the rear of the vehicle or the center pillar between the front seat and the rear seat. May be blocked.
これに対し、リヤピラーやセンターピラーに、ドライバーが後方又は後側方を直接目視した場合を想定して生成された画像を投影し、投影した画像をルームミラーを介してドライバーに視認させる方法も考えられる。しかし、ルームミラー越しに後方又は後側方を見る場合にドライバーが視認できる範囲及び視線方向は、後方又は後側方を直接目視する場合の視認範囲及び視線方向とは異なるため、上記の方法では、ピラーに投影された画像と実際の風景との差異が大きくなり、ドライバーが違和感を覚えることがある。 On the other hand, a method of projecting an image generated on the assumption that the driver directly looks at the rear or rear side on the rear pillar or center pillar, and allowing the driver to visually recognize the projected image through the rearview mirror is also considered. It is done. However, the range and line-of-sight direction that the driver can visually recognize when looking at the rear or rear side through the rearview mirror are different from the range and line-of-sight direction when directly looking at the rear or rear side. , The difference between the image projected on the pillar and the actual landscape becomes large, and the driver may feel uncomfortable.
本発明は、上記問題点に鑑みてなされたものであり、その目的は、ドライバーがミラー越しに車両周辺を見た際にピラーによって死角が生じる場合でも、死角領域の画像をピラーに表示することができる運転支援方法及び運転支援装置を提供することにある。 The present invention has been made in view of the above problems, and its purpose is to display an image of a blind spot area on a pillar even when a blind spot is generated by the pillar when the driver sees the vehicle periphery through a mirror. It is an object to provide a driving support method and a driving support device that can perform the above.
上記問題点を解決するために、請求項1に記載の発明は、車両に取り付けられた撮影装置を用いて、該車両に設けられた複数のピラーによって生じる死角領域を撮影し、該死角領域に相当する画像を前記ピラーの内側に表示する運転支援方法において、ドライバーの位置を検出するとともに、車室内に設けられたミラーの角度を取得し、前記ドライバーの位置及び前記ミラーの角度に基づき、該ドライバーが前記ミラーを介して見ることができる可視範囲を算出し、ドライバーの視線の方向を判断し、前記ドライバーの視線が前記ミラーの方向であると判断した場合には、前記複数のピラーのうち前記可視範囲内のピラーについてのみ該ピラーによって生じる死角領域を前記ドライバーの位置及び前記ミラーの角度に基づき算出し、前記撮影装置が撮影した画像データのうち前記可視範囲内のピラーによって生じる死角領域に相当する領域を前記可視範囲内のピラーに対して表示し、前記ドライバーの視線が前記ミラーの方向ではないと判断した場合には、前記複数のピラーのうち前記ドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーよって生じる死角領域を前記ドライバーの位置に基づき算出し、前記撮影装置が撮影した画像データのうち前記予め対応付けられているピラーによって生じる死角領域に相当する領域を前記予め対応付けられているピラーに対して表示することを要旨とする。 In order to solve the above-described problem, the invention according to claim 1 shoots a blind spot area generated by a plurality of pillars provided in the vehicle using a photographing device attached to the vehicle , and In the driving support method for displaying the corresponding image inside the pillar, the position of the driver is detected, the angle of the mirror provided in the vehicle interior is acquired, and the position of the driver and the angle of the mirror are If the driver calculates the visible range that can be seen through the mirror, determines the direction of the driver's line of sight, and determines that the driver's line of sight is the direction of the mirror, the blind spot region generated by the pillar only pillars in the visible range is calculated based on the position and angle of the mirror of the driver, the imaging Display area corresponding to a blind spot region generated by a pillar within the visible range of the image data location is taken against a pillar in the visible range, if the line of sight of the driver is determined not to be the direction of the mirror In this case, the blind spot region generated by the pillar is calculated based on the position of the driver only for the pillar previously associated with the direction of the driver's line of sight among the plurality of pillars, and the image data captured by the imaging device The gist is to display an area corresponding to a blind spot area generated by the previously associated pillar with respect to the previously associated pillar .
請求項2に記載の発明は、車両に取り付けられた撮影装置を用いて、該車両に設けられた複数のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を表示装置により前記ピラーの内側に表示する運転支援装置において、ドライバーの位置を検出するドライバー位置検出手段と、車室内に設けられたミラーの角度を取得するミラー位置検出手段と、ドライバーの視線の方向を判断する視線方向検出部と、前記ドライバーの位置及び前記ミラーの角度に基づき、ドライバーが前記ミラーを介して見ることができる可視範囲を算出する可視範囲算出手段と、ドライバーが前記車両周辺を視認した際に、前記ピラーにより生じる死角領域を算出する死角領域演算手段と、前記撮影装置が撮影した画像データを用いて、前記死角領域に相当する死角表示画像を生成する画像合成手段と、前記死角表示画像を前記表示装置に出力する画像出力手段とを備え、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記可視範囲内に存在するピラーを判断し、該可視範囲内のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置及び前記ミラーの角度に基づいて算出し、前記画像出力手段は、前記可視範囲内のピラーにおける前記死角表示画像を前記可視範囲内のピラーに対して表示し、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断された場合には、前記死角領域演算手段は、前記複数のピラーのうちドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記予め対応付けられているピラーにおける前記死角表示画像を前記予め対応付けられているピラーに対して表示することを要旨とする。 According to a second aspect of the present invention, a blind spot region generated by a plurality of pillars provided in the vehicle is photographed using a photographing device attached to the vehicle , and an image photographed by the photographing device is captured by the display device. In a driving support device that displays inside a pillar, driver position detecting means for detecting the position of the driver, mirror position detecting means for obtaining the angle of a mirror provided in the passenger compartment, and a line of sight for determining the direction of the driver's line of sight a direction detecting unit, based on the position and angle of the mirror of the driver, when the driver who visually visible range calculating means for calculating the visible range which can be viewed through the mirror, the peripheral front Symbol vehicle drivers in a blind spot region calculating unit for calculating the blind spot region generated by the front Symbol pillar, by using the image data which the imaging device is taken, the An image synthesizing means for generating a blind spot display image corresponding to the corner regions, and an image output means for outputting the blind spot display image on the display device, the direction of the line of sight of the driver by the line-of-sight direction detecting section of the mirror When it is determined that the direction is a direction, the blind spot area calculating means determines a pillar existing in the visible range among the plurality of pillars, and the dead angle generated by the pillar only for the pillar in the visible range. An area is calculated based on the position of the driver and the angle of the mirror, and the image output means displays the blind spot display image of the pillar in the visible range with respect to the pillar in the visible range, and the line-of-sight direction When the detection unit determines that the direction of the driver's line of sight is not the direction of the mirror, the blind spot area calculation unit is configured to output the plurality of pixels. The blind spot area generated by the pillar is calculated based on the position of the driver only for the pillar previously associated with the direction of the driver's line of sight, and the image output means The blind spot display image is displayed on the previously associated pillar .
請求項3に記載の発明は、請求項2に記載の運転支援装置において、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両前方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち車両前方のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーにおける前記死角表示画像を前記車両前方のピラーに対して表示し、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両後方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記車両前方のピラーを除くピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーを除くピラーにおける前記死角表示画像を前記車両前方のピラーを除くピラーに対して表示することを要旨とする。 According to a third aspect of the present invention, in the driving support device according to the second aspect, the gaze direction detection unit determines that the direction of the driver's line of sight is not the direction of the mirror, and the direction of the driver's line of sight Is determined to be in front of the vehicle, the blind spot area calculating means calculates the blind spot area generated by the pillar only for the pillar in front of the vehicle based on the position of the driver. The image output means displays the blind spot display image of the pillar in front of the vehicle with respect to the pillar in front of the vehicle, and the line-of-sight direction detection unit determines that the direction of the line of sight of the driver is not the direction of the mirror. And when it is determined that the direction of the line of sight of the driver is the rear of the vehicle, the blind spot area calculation means That is, only the pillars excluding the pillars in front of the vehicle calculate the blind spot area caused by the pillars based on the position of the driver, and the image output means displays the blind spot display image in the pillars excluding the pillars in front of the vehicle. The gist is to display on pillars excluding the pillar in front of the vehicle .
請求項4に記載の発明は、請求項2又は3に記載の運転支援装置において、前記車両が車線変更を行うか否かを判断する車両状況判断手段をさらに備え、前記車両状況判断により前記車両が車線変更を行うと判断した際に、前記可視範囲内のピラーにおける前記死角表示画像を、該可視範囲内のピラーに対して出力することを要旨とする。 According to a fourth aspect of the present invention, in the driving support device according to the second or third aspect of the present invention, the vehicle further includes a vehicle state determination unit that determines whether or not the vehicle changes lanes. There when it is determined to perform the lane change, the blind spot image display in the pillar in the visible range, and summarized in that output to the pillar within the visible range.
請求項5に記載の発明は、請求項4に記載の運転支援装置において、前記車両の後方又は後側方に障害物を検出する障害物検出手段をさらに備え、前記障害物検出手段により前記車両の後方又は後側方に障害物を検出した場合に、前記画像合成手段は、該障害物の位置に前記画像データを座標変換する仮想平面を設定することを要旨とする。 According to a fifth aspect of the present invention, in the driving support device according to the fourth aspect, the vehicle further includes obstacle detection means for detecting an obstacle behind or behind the vehicle, and the vehicle is detected by the obstacle detection means. The gist of the invention is that the image composition means sets a virtual plane for coordinate transformation of the image data at the position of the obstacle when an obstacle is detected behind or behind the vehicle.
請求項1に記載の発明によれば、ドライバーの視線がミラーの方向であると判断した場合には、可視範囲内のピラーによって生じる死角領域をドライバーの位置及びミラーの角度に基づき算出する。また、ピラーの内側には、可視範囲内のピラーにおける死角領域に相当する領域の死角表示画像が表示される。このため、ドライバーがミラーを介して車両後方を見た場合にも、死角を補助することができる。また、ミラーの可視範囲に含まれないピラーに対しては、死角領域の演算処理及び表示処理が省略されるので、処理を軽減することができる。 According to the first aspect of the present invention, when it is determined that the driver's line of sight is in the direction of the mirror, the blind spot region caused by the pillar in the visible range is calculated based on the position of the driver and the angle of the mirror . Also, a blind spot display image of an area corresponding to the blind spot area in the pillar within the visible range is displayed inside the pillar . For this reason, even when the driver looks at the rear of the vehicle through the mirror, the blind spot can be assisted. In addition, for the pillars that are not included in the visible range of the mirror, the calculation process and the display process of the blind spot area are omitted, so that the process can be reduced.
請求項2に記載の発明によれば、視線方向検出部によりドライバーの視線方向がミラーの方向であると判断された場合には、運転支援装置は、可視範囲内のピラーによって生じる死角領域をドライバーの位置及びミラーの角度に基づき算出する。また、ピラーの内側には、可視範囲内のピラーにおける死角領域に相当する領域の死角表示画像が表示される。このため、ドライバーがミラーを介して車両後方を見た場合にも、死角を補助することができる。また、ミラーの可視範囲に含まれないピラーに対しては、死角領域の演算処理及び表示処理が省略されるので、処理を軽減することができる。 According to the second aspect of the present invention, when the gaze direction detection unit determines that the driver's gaze direction is the mirror direction, the driving support device displays the blind spot area caused by the pillar in the visible range as the driver. And the angle of the mirror . Also, a blind spot display image of an area corresponding to the blind spot area in the pillar within the visible range is displayed inside the pillar . For this reason, even when the driver looks at the rear of the vehicle through the mirror, the blind spot can be assisted. In addition, for the pillars that are not included in the visible range of the mirror, the calculation process and the display process of the blind spot area are omitted, so that the process can be reduced.
請求項3に記載の発明によれば、ドライバーの視線方向が前方であると判断された場合には、車両前方のピラーにおける死角表示画像が車両前方のピラーに表示される。また、ドライバーの視線方向が後方であると判断された場合には、車両前方のピラーを除くピラーにおける死角表示画像が車両前方のピラーを除くピラーに表示される。 According to the third aspect of the present invention, when it is determined that the line-of-sight direction of the driver is the front, the blind spot display image in the pillar in front of the vehicle is displayed on the pillar in front of the vehicle. Further, when it is determined that the driver's line-of-sight direction is backward, a blind spot display image in the pillar excluding the pillar in front of the vehicle is displayed on the pillar excluding the pillar in front of the vehicle.
請求項4に記載の発明によれば、車両が車線変更を行う際に、可視範囲内におけるピラーの死角表示画像を表示する。このため、ドライバーがミラー越しに車両後方又は後側方を見た場合に、車両後方又は後側方に他車両が存在するか否かを判断することができる。
According to the invention of
請求項5に記載の発明によれば、車両後方又は後側方に障害物を検出した場合に、その障害物の位置に仮想平面を設定する。このため、障害物を中心とした明瞭な画像をピラーの内面に投影することができる。 According to the fifth aspect of the present invention, when an obstacle is detected behind or behind the vehicle, a virtual plane is set at the position of the obstacle. For this reason, a clear image centering on the obstacle can be projected onto the inner surface of the pillar.
以下、本発明を具体化した一実施形態を図1〜図12に従って説明する。図1は、自車両C1(図2参照)に実装された運転支援システム1の構成を説明するブロック図である。 Hereinafter, an embodiment embodying the present invention will be described with reference to FIGS. FIG. 1 is a block diagram illustrating a configuration of a driving support system 1 mounted on the host vehicle C1 (see FIG. 2).
運転支援システム1は自車両C1に搭載され、図1に示すように運転支援装置としての運転支援ユニット2、頭部検出センサ3、撮影装置としての死角撮影カメラ4、視線検出カメラ5、ミラー角度センサ7、障害物検出センサ8、ナビゲーションECU(以下、ナビECU6)、表示装置及び投影装置としてのプロジェクタ20を備えている。
The driving support system 1 is mounted on the host vehicle C1, and as shown in FIG. 1, a
運転支援ユニット2は、車両状況判断手段としてのシステム制御部10、ドライバー位置検出手段としての頭部位置検出部11、視線方向検出部12、ミラー位置検出手段、死角領域演算手段、可視範囲算出手段としての死角エリア演算部13、画像データ取得部14を備えている。また、画像合成手段、画像出力手段としての画像変換部15、画像合成手段、画像出力手段、障害物検出手段としての仮想平面設定部16、画像合成手段、画像出力手段としての投影画像出力部17、属性データ記憶部18を備えている。システム制御部10は、自車両C1のインストルメントパネル又はステアリングコラムや、ナビゲーション装置(いずれも図示略)等に備えられたシステム起動スイッチSW1が入力操作されると、運転支援システム1の死角補助機能を開始する。また、自車両C1が車線変更を行うと判断した際に、死角補助機能を開始する。さらに、自車両C1が交差点又はカーブに接近したと判断すると、ナビECU6はシステム制御部10に支援開始信号を出力し、該信号を入力したシステム制御部10は、死角補助機能を開始する。又は、自車両C1のシフトポジションがリバースに切り替えられた場合等に、死角補助を開始すると判断してもよい。
The
ナビECU6は、自車位置演算部6a、GPS受信部6b、車両信号入力部6c、地図データ記憶部6dを備えている。自車位置演算部6aは、GPS受信部6bに基づき、自車両C1の絶対位置を算出する。また、車両信号入力部6cは、自車両C1に備えられた車速センサやジャイロ(図示略)から車速パルス、方位検出信号を入力する。自車位置演算部6aは、車両信号入力部6cから車速パルス及び方位検出信号を取得して基準位置に対する相対位置を算出し、GPS受信部6bに基づき算出した絶対位置と組み合わせて自車位置を特定する。
The
地図データ記憶部6dには、目的地までの経路を探索するための経路データと、ディスプレイに地図を出力するための地図描画データ(いずれも図示略)とが記憶されている。ナビECU6に備えられた経路探索部(図示略)は、この経路データに基づき目的地までの経路を探索する。また、自車位置演算部6aは、この経路データ及び地図描画データを用いて、自車両C1が、例えば交差点やカーブといった死角補助を行う所定地点に接近しているか否かを判断する。
The map
頭部位置検出部11は、頭部検出センサ3から検出信号を入力して、ドライバーの頭部位置を検出する。頭部検出センサ3は、例えば超音波センサから構成され、車室内であって、運転席の周囲に複数取り付けられている。頭部検出センサ3から発信された超音波は、ドライバーの頭部に反射し、頭部検出センサ3は、超音波を発信してから反射波を受信するまでの時間を計測する。頭部位置検出部11は、頭部検出センサ3が計測した計測時間に基づき、三角測量法等の公知の方法を用いて頭部までの各相対距離をそれぞれ算出する。
The head
また、視線方向検出部12は、ドライバーの視線の方向を検出する。具体的には、視線方向検出部12は、車室内に設けられた視線検出カメラ5から画像データGIを入力する。視線検出カメラ5は、例えばインストルメントパネル等、ドライバーの顔や目を撮影可能な位置及び角度に取り付けられている。視線方向検出部12は、ドライバーの顔や目を撮影した画像データGIを入力すると、公知の画像処理方法により、ドライバーの顔の向きや瞳の位置を判断し、視線の向きを判断する。例えばドライバーの視線方向が、自車両C1の長さ方向(図2中Y矢印方向)と平行な方向から所定角度範囲に含まれる場合には
、ドライバーが車両前方を向いていると判断する。また、視線方向検出部12は、予め記憶したルームミラーM(図2参照)の位置に基づき、ドライバーの視線方向が、ルームミラーMの方向であると判断すると、ドライバーがルームミラーMを見ていると判断する。また、例えば視線検出カメラ5がドライバーの正面に取り付けられている場合にドライバーの横顔を画像処理により検出すると、ドライバーが車両後方及び後側方を見ていると判断する。
The line-of-sight direction detection unit 12 detects the direction of the driver's line of sight. Specifically, the line-of-sight direction detection unit 12 inputs the image data GI from the line-of-
死角エリア演算部13は、ドライバーの視線の方向に応じて、自車両C1に設けられたピラーP(図2参照)により生じる死角エリアを演算する。本実施形態では、ピラーPは、図2に示すように自車両C1に6本設けられており、各フロントピラー(Aピラー)PA1,PA2、各センターピラー(Bピラー)PB1,PB2、各リヤピラー(Cピラー)PC1,PC2から構成されている。各フロントピラーPA1,PA2は、運転席の前方の左側及び右側にそれぞれ設けられている。各センターピラーPB1,PB2は、左側の前方ドアD1及び後方ドアD2の間と、右側の前方ドアD3及び後方ドアD4の間にそれぞれ設けられている。各リヤピラーPC1,PC2は、車両後方に設けられ、後方ドアD2,D4のウィンドウW2,W4とリヤウィンドウW6との間に介在している。
The blind spot
例えば、ドライバーが前方を向いている場合には、死角エリア演算部13は、属性データ記憶部18から、各フロントピラーPA1,PA2に対応するピラー属性データ18aを読み出す。尚、属性データ記憶部18に記憶された各ピラー属性データ18aは、左フロントピラーPA1、右フロントピラーPA2、左センターピラーPB1、右センターピラーPB2、左リヤピラーPC1、右リヤピラーPC2の3次元座標及び形状に関するデータを有している。例えば、ピラー属性データ18aは、ピラーPの外形をパターン又は座標で示したデータであって、ピラーPの外形を示す長さ方向、車幅方向及び鉛直方向の3次元の座標や、ピラーPの幅や長さを示す。
For example, when the driver is facing forward, the blind spot
死角エリア演算部13は、ドライバーの頭部位置を頭部位置検出部11から取得し、頭部位置と各フロントピラーPA1,PA2の位置とに基づき、図3に示すように左フロントピラーPA1及び右フロントピラーPA2によって生じる死角領域としての各死角エリアB1,B2をそれぞれ算出する。このとき例えば、頭部位置DHの中心点と、各フロントピラーPA1,PA2にそれぞれ設定された複数の代表点とを直線で結び、直線で囲まれた領域を死角エリアB1,B2とすることもできるし、その他の方法により各死角エリアB1,B2を演算するようにしてもよい。
The blind spot
また、視線方向検出部12により、ドライバーがルームミラーMを向いていると判断すると、死角エリア演算部13は、ルームミラーMを介して視認された各センターピラーPB1,PB2及び各リヤピラーPC1,PC2により生じる死角エリアを算出する。即ち、ドライバーがルームミラーMを見た場合、ルームミラーMには、ミラー角度によって各センターピラーPB1,PB2及び各リヤピラーPC1,PC2のうち一つまたは複数が映ることがある。このように、ルームミラーMに各センターピラーPB1,PB2及び各リヤピラーPC1,PC2のうち少なくとも一つが映る場合、死角エリア演算部13は、そのピラーPによって生じるミラー越しの死角を算出する。
When the line-of-sight direction detection unit 12 determines that the driver is facing the room mirror M, the blind spot
まず死角エリア演算部13は、ミラー角度センサ7(図1参照)から、ルームミラーMの角度を取得する。ミラー角度センサ7は、ルームミラーMの角度調整部に取り付けられ、図4に示すように、車幅方向(図中X軸)と平行な軸に対する回転角度θを検出する。さらに、ミラー角度センサ7は、ルームミラーMの鉛直方向に対する角度(傾き)を示す俯角φ(図示略)も検出する。
First, the blind spot
死角エリア演算部13は、ミラー角度センサ7から取得した回転角度θ及び俯角φに基
づき、ドライバーがルームミラーMを介して視認することができる可視範囲A1を算出する。即ち、図4に示すように、まずドライバーの頭部位置DHを取得し、頭部位置DH及びルームミラーMの回転角度θ及び俯角φに基づき、例えばドライバーのルームミラーMに対する視線方向の最大入射角と最小入射角を算出して、頭部位置DHから見える可視範囲A1を算出する。この可視範囲A1は、頭部位置DHに応じて変化する。例えば、ルームミラーMの全域にリヤウィンドウW6を介して見える実風景が映るように、予めミラー角度を調節していても、頭部位置DHが右側の前方ドアD3の方向(X矢印方向)にずれると、ルームミラーMに対するドライバーの視線の入射角が小さくなる。このため、可視範囲A1は、左側(反X矢印方向)に若干ずれる。尚、死角エリア演算部13は、ルームミラーMの初期位置での可視範囲A1を予め記憶しておき、頭部位置DHに応じて初期位置での可視範囲A1を変更するようにしてもよい。さらに、ルームミラーMが曲率半径の比較的大きい凸面鏡である場合には、そのルームミラーMの特性を加味して可視範囲A1を演算するようにしてもよい。
The blind spot
さらに、死角エリア演算部13は、ルームミラーMの可視範囲A1に、各センターピラーPB1,PB2、各リヤピラーPC1,PC2の少なくとも一部が含まれるか否かを判断する。上記したように、ドライバーの頭部位置DHが通常の位置よりも若干右側(図4中X矢印方向)にずれている場合には、可視範囲A1は、左側(図4中反X矢印方向)にずれるため、可視範囲A1に左リヤピラーPC1が含まれる。この場合、図5に示すように、死角エリア演算部13は、頭部位置DHとピラー属性データ18aとに基づき、左リヤピラーPC1により生じるルームミラー越しのミラー死角エリアBMを算出する。例えば、死角エリア演算部13は、左リヤピラーPC1に複数設定された各代表点と、ルームミラーMの鏡面上又は鏡面奥側に設定されたドライバーの仮想視点とを直線でそれぞれ結び、各直線で囲まれた領域をミラー死角エリアBM1とする。尚、ミラー死角エリアBMは、ドライバーの視線方向及び頭部位置DHに基づき、他の方法で算出するようにしてもよい。
Further, the blind spot
また、視線方向検出部12により、ドライバーが後方を直接目視していると判断すると、図6に示すように、死角エリア演算部13は、各センターピラーPB1,PB2及び各リヤピラーPC1,PC2により生じる死角エリアBを算出する。例えば、死角エリア演算部13は、頭部位置検出部11から頭部位置DHを取得し、頭部位置DHと、各センターピラーPB1,PB2及び各リヤピラーPC1,PC2に設定された複数の代表点とを直線で結び、各直線で囲まれた領域を死角エリアB3〜B6としてもよい。
Also, if the gaze direction detection unit 12 determines that the driver is directly viewing the back, the blind spot
仮想平面設定部16は、画像データ取得部14が取得した画像データGを座標変換するための仮想平面VPを設定する。例えば、ドライバーが車両前方を直接目視している場合、図3に示すように、自車両C1から所定距離だけ離れた車両前方の位置に仮想平面VPを設定する。仮想平面VPは、例えば死角エリアB2の中心線L1と直行する位置に設定する。尚、図3では便宜上、右フロントピラーPA2に死角画像を投影するための仮想平面VPのみを図示しているが、各フロントピラーPA1,PA2の各死角エリアB1,B2に対して仮想平面VPを設定する。 The virtual plane setting unit 16 sets a virtual plane VP for coordinate conversion of the image data G acquired by the image data acquisition unit 14. For example, when the driver directly looks in front of the vehicle, the virtual plane VP is set at a position in front of the vehicle that is a predetermined distance away from the host vehicle C1, as shown in FIG. The virtual plane VP is set, for example, at a position orthogonal to the center line L1 of the blind spot area B2. In FIG. 3, for the sake of convenience, only the virtual plane VP for projecting the blind spot image on the right front pillar PA2 is shown. However, the virtual plane VP is shown for each blind spot area B1, B2 of each front pillar PA1, PA2. Set.
ドライバーがルームミラーMを介して車両後方又は後側方を見ている場合には、図7に示すように、自車両C1から所定距離だけ離れた車両後方の位置に仮想平面VPを設定する。又は、仮想平面設定部16は、ナビECU6から、交差点の路面に標示された横断歩道等の基準物の位置を取得し、基準物の位置に仮想平面VPを設定してもよい。
When the driver is looking at the rear or rear side of the vehicle via the room mirror M, the virtual plane VP is set at a position behind the vehicle that is a predetermined distance away from the host vehicle C1, as shown in FIG. Alternatively, the virtual plane setting unit 16 may acquire the position of a reference object such as a pedestrian crossing marked on the road surface of the intersection from the
また、仮想平面設定部16は、自車両C1が車線変更する際には、自車両C1後方に接近した障害物としての他車両C2(図8参照)の位置に仮想平面VPを設定する。具体的には、システム制御部10及びナビECU6等により、自車両C1の方向指示器等から入
力した方向変更信号に基づき、自車両C1が車線変更しているか否かを判断する。自車両C1が車線変更すると判断した際には、仮想平面設定部16は、障害物検出センサ8(図1参照)から検出信号を取得して、自車両C1の後方又は後側方の他車両C2の有無を判断する。この障害物検出センサ8は、ミリ波レーダや、ソナー等であって、車両後端等に取り付けられている。自車両C1の後方又は後側方の他車両C2が存在する場合には、仮想平面設定部16は自車両C1に対する他車両C2の相対距離を算出し、図8に示すようにその他車両C2の所定の位置に仮想平面VPを設定する。このように仮想平面VPを設定すると、ピラーPに他車両C2の像を投影した際に、リヤウィンドウW6等を介して視認できる他車両C2とずれたり、ゆがんだりすることがない。
Further, when the host vehicle C1 changes lanes, the virtual plane setting unit 16 sets the virtual plane VP at the position of the other vehicle C2 (see FIG. 8) as an obstacle approaching the rear of the host vehicle C1. Specifically, the
また、仮想平面設定部16は、仮想平面VPの位置に合わせてカメラ撮影面CPの位置も設定する。カメラ撮影面CPは、死角撮影カメラ4のピントを合わせる位置を示す。カメラ撮影面CPにピントを合わせて撮影された画像データGは、仮想平面VP上に座標変換されるため、仮想平面設定部16は、死角エリアB2内において仮想平面VPに近い位置にカメラ撮影面CPを設定する。図3及び図7では、仮想平面VPのうち、ミラー死角エリアBMで区切られた部分の端を通るように設定する。
The virtual plane setting unit 16 also sets the position of the camera photographing plane CP in accordance with the position of the virtual plane VP. The camera photographing surface CP indicates a position where the blind
画像データ取得部14は、自車両C1に設けられた各死角撮影カメラ4から画像データGを取得する。図2に示すように、各死角撮影カメラ4は、本実施形態では各ピラーPに対応して6つ設けられている。左前方カメラ4AL及び右前方カメラ4ARは、左フロントピラーPA1及び右フロントピラーPA2付近に設けられ、各フロントピラーPA1,PA2により生じる死角を含む車両周辺を撮影可能になっている。左側方カメラ4BL及び右側方カメラ4BRは、左センターピラーPB1及び右センターピラーPB2付近に設けられ、各センターピラーPB1,PB2により生じる死角を含む車両周辺を撮影可能になっている。左後方カメラ4CL及び右後方カメラ4CRは、左リヤピラーPC1及び左リヤピラーPC2付近に設けられ、各リヤピラーPC1,PC2により生じる死角を含む車両周辺を撮影可能になっている。
The image data acquisition unit 14 acquires image data G from each blind
画像データ取得部14は、仮想平面設定部16からカメラ撮影面CPの位置を取得すると、対応する死角撮影カメラ4を制御して、カメラ撮影面CPの位置にピントを合わせて撮影を行い、画像変換部15に出力する。
When the image data acquisition unit 14 acquires the position of the camera shooting plane CP from the virtual plane setting unit 16, the image data acquisition unit 14 controls the corresponding blind
また、各死角撮影カメラ4の位置や画角を示す撮影パラメータ18d(図1参照)は、属性データ記憶部18に記憶されている。
画像変換部15は、死角撮影カメラ4により撮影された画像データGを画像データ取得部14から取得する。また、死角エリア演算部13から、死角エリアB又はミラー死角エリアBMを取得する。さらに、取得した画像データGのうち、死角エリアB,BMに相当する領域をトリミングした死角画像を生成する。また、その死角画像を、仮想平面設定部16が設定した仮想平面VPに座標変換する。この座標変換は、死角データの各画素を、仮想平面VP上の各画素に変換する処理である。
In addition, shooting parameters 18 d (see FIG. 1) indicating the position and angle of view of each blind
The
画像変換部15は、仮想平面VPに投影された画像を、ピラーPの内側面を含むピラー面上に投影変換する。ピラー面は、ピラー属性データ18aの3次元座標に基づき設定することができる。
The
続いて、ピラー面に投影変換された上記画像を、設けられた各プロジェクタ20により投影するために、該画像をプロジェクタ20の位置に合わせて座標変換する。尚、図2に示すように、自車両C1のルーフ内側には、4つのプロジェクタ20が、それぞれ異なるピラーPの内側面に画像を投影可能に設けられている。
Subsequently, in order to project the image projected and converted on the pillar surface by each
即ち、プロジェクタ20から出力された光が、ピラーPの内側面に入射する角度によって、内側面Paに表示される画像は、歪んだり、拡大又は縮小される。従って、例えば、投影変換した上記画像の各画素の座標と、各プロジェクタ20に対して出力する画像の各画素の座標とを予め関連付けたマップ等を画像変換部15の内蔵メモリ等に予め格納しておき、該マップに基づき、投影変換した画像を、プロジェクタ20への出力画像としてさらに座標変換する。
That is, the image displayed on the inner surface Pa is distorted, enlarged, or reduced depending on the angle at which the light output from the
さらに、画像変換部15により座標変換された画像は、投影画像出力部17に出力され、投影画像出力部17は、属性データ記憶部18から読み出したマスクパターン18bに基づき、各プロジェクタ20に出力する死角表示画像を生成する。図9に示すように、マスクパターン18bは、死角表示画像にマスクをかけるためのデータであって、ピラーPの内面形状に沿った画像表示領域Z1と、マスクZ2とから構成されている。投影画像出力部17は、画像表示領域Z1の領域には、死角表示画像を読み込み、マスクZ2の領域は、プロジェクタ20の非表示にするためのデータを読み込んで、死角表示画像をピラーPに投影するための投影データを生成する。投影データを生成すると、投影画像出力部17は、その投影データを各プロジェクタ20に出力する。
Further, the image coordinate-converted by the
尚、本実施形態では、自車両C1には、前方プロジェクタ20A、側方プロジェクタ20B、後方プロジェクタ20Cがそれぞれ取り付けられている。前方プロジェクタ20Aは、各フロントピラーPA1,PA2にそれぞれ画像を投影可能に取り付けられている。各側方プロジェクタ20Bは、各センターピラーPB1,PB2にそれぞれ画像を投影可能に取り付けられている。各後方プロジェクタ20Cは、各リヤピラーPC1,PC2に画像を投影可能に取り付けられている。本実施形態では、プロジェクタ20を4つ設けたが、1つでも各ピラーPに画像を投影可能な構成であるプロジェクタの場合には1つでもよいし、4つ以外の複数でもよい。
In the present embodiment, a
図10に示すように、各ピラーPの内側面Paには、ピラーPの形状に合わせて切断されたスクリーンSCが貼着されている。各プロジェクタ20の焦点は、投影対象のピラーPに設けられたスクリーンSCに合わせて調整されている。尚、ピラーPの内側面Paがプロジェクタ20から出力された投影光を受光して鮮明な画像を表示できる材質及び形状からなる場合には、スクリーンSCは省略してもよい。
As shown in FIG. 10, a screen SC cut in accordance with the shape of the pillar P is attached to the inner surface Pa of each pillar P. The focus of each
図2に示すように、プロジェクタ20は、ピラーPのスクリーンSCに対して投影光Lを出射し、スクリーンSCに画像を投影する。また、そのスクリーンSCの周囲のウィンドウには、マスクパターン18bのマスクZ2により画像が投影されないようになっている。ドライバーが車両前方又は車両後方を直接目視する場合には、ドライバーは、各ピラーPに投影された画像を直接確認することができる。また、ドライバーがルームミラーMを介して車両後方及び後側方を見る場合には、ドライバーの視線に合わせて各ピラーPに投影された画像がルームミラーMに映って、死角表示画像の虚像を見ることができる。
As shown in FIG. 2, the
次に本実施形態の処理手順について図11に従って説明する。まず、システム制御部10は、死角補助を開始するか否かを判断する(ステップS1)。システム制御部10は、上記したシステム起動スイッチSW1が入力操作されると死角補助を開始すると判断する。また、ナビECU6が、自車両C1の車線変更を検出したとき、死角補助を開始すると判断する。さらに、ナビECU6が、自車両C1が交差点又はカーブに接近したと判断したとき、死角補助を開始すると判断する。他にも、自車両C1のシフトポジションがリバースに切り替えられた際に、死角補助を開始すると判断してもよい。又は、視線方向検出部12に基づき、ドライバーの視線が進行方向から所定角度離れたとき、死角補助を開始すると判断してもよい。
Next, the processing procedure of this embodiment will be described with reference to FIG. First, the
システム制御部10が死角補助を開始すると判断すると(ステップS1においてYES)、システムを起動し、且つ初期化した後、頭部位置を検出する(ステップS2)。頭部位置検出部11は、頭部検出センサ3から検出信号を入力し、ドライバーの頭部位置DHを算出する。
If
また、視線方向検出部12は、ドライバーの視線方向を検出し(ステップS3)、ドライバーの視線方向がルームミラーM以外を向いているか否かを判断する(ステップS4)。上記したように、例えばドライバーの視線方向が、自車両C1の長さ方向を基準とし、自車両C1の進行方向を中心とした所定角度範囲に含まれる場合は、ドライバーが前方を向いていると判断する。また、ドライバーの視線方向が、上記所定角度範囲に含まれずドライバーの位置よりも車両後方を向いている場合には、その視線方向が自車両C1の反進行方向を中心とした後方の所定角度範囲に含まれるか否かを判断する。視線方向が、後方の所定角度範囲に含まれる場合には、ドライバーが車両後方を見ていると判断する。ドライバーの視線方向の仰角が、所定角度以上である場合であって、且つルームミラーMの方向である場合には、ルームミラーMを見ていると判断する。 The line-of-sight detection unit 12 detects the line-of-sight direction of the driver (step S3), and determines whether or not the line-of-sight direction of the driver faces other than the room mirror M (step S4). As described above, for example, when the driver's line-of-sight direction is included in a predetermined angle range centered on the traveling direction of the host vehicle C1 with reference to the length direction of the host vehicle C1, the driver is facing forward. to decide. Further, when the driver's line-of-sight direction is not included in the predetermined angle range and faces the rear of the vehicle with respect to the driver's position, the line-of-sight direction is a predetermined angle range behind the vehicle C1 as the center. It is judged whether it is included in. When the line-of-sight direction is included in the predetermined angle range on the rear side, it is determined that the driver is looking at the rear side of the vehicle. When the elevation angle in the line-of-sight direction of the driver is equal to or greater than a predetermined angle and in the direction of the rearview mirror M, it is determined that the rearview mirror M is being viewed.
ステップS4において、ドライバーの視線方向がルームミラーMの方向と一致すると判断した場合には(ステップS4においてNO)、死角エリア演算部13は、ミラー角度センサ7から、回転角度θ及び俯角φから構成されるミラー角度を取得する(ステップS5)。ドライバーの視線方向がルームミラーM以外である場合には(ステップS4においてYES)、ステップS6に進む。
When it is determined in step S4 that the driver's line-of-sight direction coincides with the direction of the room mirror M (NO in step S4), the blind spot
ステップS6では、死角エリア演算部13は、ドライバーの視線方向に基づき、ピラーPにより生じる死角エリアを算出する(ステップS6)。ステップS3においてドライバーが前方を向いていると判断した場合には、属性データ記憶部18から各フロントピラーPA1,PA2のピラー属性データ18aを読み出し、図3に示すように各フロントピラーPA1,PA2によって生じる死角エリアB1,B2の座標を算出する。
In step S6, the blind spot
ステップS3においてドライバーが車両後方を向いていると判断した場合には、死角エリア演算部13は、属性データ記憶部18から各センターピラーPB1,PB2及び各リヤピラーPC1,PC2に対応するピラー属性データ18aを読み出し、図6に示すように、死角エリアB3〜B6の座標を算出する。
If it is determined in step S3 that the driver is facing the rear of the vehicle, the blind spot
また、ステップS3において、ドライバーがルームミラーMの方向を向いていると判断した場合には、死角エリア演算部13は、ステップS5において取得したミラー角度とドライバーの頭部位置DHとに基づいて、上記したようにルームミラーMの可視範囲A1を算出する。そして、その可視範囲A1に、各センターピラーPB1,PB2及びリヤピラーPC1,PC2が可視範囲A1に含まれるか否かを判断する。さらに、ピラー属性データ18aに基づき、可視範囲A1に含まれるピラーPによって遮られるミラー死角エリアBMを算出する。
In step S3, if it is determined that the driver is facing the direction of the room mirror M, the blind spot
死角エリアB又はミラー死角エリアBMを算出すると、仮想平面設定部16は、ドライバーの視線方向とミラー角度とに基づき、上記したように仮想平面VPを設定する(ステップS7)。即ち、自車両C1から所定距離の位置、又は横断歩道等の基準物の位置、又は自車両C1の後方の他車両C2の位置に仮想平面VPを設定する。また、仮想平面設定部16は、仮想平面VPの位置に基づきカメラ撮影面CPの位置を設定し、画像データ取得部14に出力する。 When the blind spot area B or the mirror blind spot area BM is calculated, the virtual plane setting unit 16 sets the virtual plane VP as described above based on the driver's line-of-sight direction and the mirror angle (step S7). That is, the virtual plane VP is set at a position a predetermined distance from the host vehicle C1, a position of a reference object such as a pedestrian crossing, or a position of the other vehicle C2 behind the host vehicle C1. Further, the virtual plane setting unit 16 sets the position of the camera photographing plane CP based on the position of the virtual plane VP and outputs the position to the image data acquisition unit 14.
画像データ取得部14は、視線方向検出部12に基づき、画像データGを取得するカメラを選択し、ピラーPにより生じる死角を撮影した画像データGを取得する(ステップS
8)。ドライバーが前方を向いている場合には、各前方カメラ4AL、4ARから画像データGを取得する。また、ドライバーが後方を向いている場合には、側方カメラ4BL,4BR及び後方カメラ4CL,4CRから画像データGを取得する。また、ルームミラーM越しに車両後方及び後側方を見ている場合には、ルームミラーMの可視範囲A1に含まれるピラーPに対応する死角撮影カメラ4から画像データGを取得する。
The image data acquisition unit 14 selects a camera that acquires the image data G based on the line-of-sight direction detection unit 12, and acquires image data G obtained by photographing a blind spot caused by the pillar P (step S).
8). When the driver is facing forward, the image data G is acquired from each of the front cameras 4AL and 4AR. Further, when the driver is facing backward, the image data G is acquired from the side cameras 4BL and 4BR and the rear cameras 4CL and 4CR. Further, when looking at the rear and rear sides of the vehicle through the rearview mirror M, the image data G is acquired from the blind
画像データGを取得すると、画像変換部15は、画像データGのうち、ステップS6で算出した死角エリアB又はミラー死角エリアBMに基づき、死角画像を切り出す(ステップS9)。また、画像変換部15は、プロジェクタ20に出力するための投影データを生成する(ステップS10)。具体的には、上記したように、画像変換部15により、死角画像を仮想平面VPに投影変換した後、投影対象のピラーPの位置及び3次元形状に合わせて投影変換を行う。さらに、該ピラーPに画像を投影するプロジェクタ20を選択し、該プロジェクタ20の位置に合わせて座標変換する。また、投影画像出力部17によりマスクパターン18bの画像表示領域Z1に座標変換した画像を読み込む。
When the image data G is acquired, the
投影データを生成すると、投影画像出力部17は、選択した上記プロジェクタ20に対し投影データを出力する(ステップS11)。ドライバーが前方を見ている場合には、前方プロジェクタ20Aに投影データを出力し、ドライバーが後方を見ている場合には、側方プロジェクタ20B及び後方プロジェクタ20Cに投影データを出力する。また、ルームミラーM越しに車両後方又は後側方を見ている場合には、視線方向に対応するピラーPに投影データを出力する。
When the projection data is generated, the projection
ドライバーがルームミラーM越しに車両後方又は後側方を視認し、ルームミラーMの可視範囲A1に左リヤピラーPC1が含まれる場合、後方プロジェクタ20Cにより、左リヤピラーPC1に死角表示画像が投影される。これにより、例えば図12に示すように、左リヤピラーPC1に投影された死角表示画像50がルームミラーMに映る。従って、ドライバーは左リヤピラーPC1によって遮られた背景を、死角表示画像50として見ることができるので、車両後方の他車両C2の有無等を確認することができる。また、死角表示画像50は、ルームミラーMを介したドライバーの視線に合わせて表示されているので、実際の背景がルームミラーMに映った背景像51に対してずれたりゆがんだりすることなく表示される。
When the driver views the rear or rear side of the vehicle through the rearview mirror M and the left rear pillar PC1 is included in the visible range A1 of the rearview mirror M, a blind spot display image is projected on the left rear pillar PC1 by the
死角表示画像を投影すると、システム制御部10は、表示終了であるか否かを判断する(ステップS12)。例えば、システム起動スイッチSW1の入力操作から所定時間が経過した場合、又は車線変更が完了した場合、又は交差点又はカーブを通過した場合に表示終了であると判断する。又は、ドライバーの視線が進行方向から所定角度以内の方向になった場合、又は自車両C1のシフトポジションがリバース以外になった場合に表示終了であると判断する。表示終了であると判断すると(ステップS12においてYES)、処理を終了する。
When the blind spot display image is projected, the
一方、ステップS12において、表示終了でないと判断した場合には(ステップS12においてNO)、ステップS2に戻り、ステップS2〜ステップS11を繰り返す。その際、頭部位置DHや視線方向が変化した場合には、新たに検出した頭部位置DHや視線方向に基づき、表示画像を変更する。 On the other hand, if it is determined in step S12 that the display is not finished (NO in step S12), the process returns to step S2, and steps S2 to S11 are repeated. At this time, if the head position DH or the line-of-sight direction changes, the display image is changed based on the newly detected head position DH or line-of-sight direction.
上記実施形態によれば、以下のような効果を得ることができる。
(1)上記実施形態では、ルームミラーMに映されたピラーPによって死角が生じる場合にも、ドライバーの頭部位置DH、視線方向及びミラー角度に基づき、そのピラーPにより生じるミラー死角エリアBMを算出するようにした。また、死角撮影カメラ4から取得した画像データGのうち、ミラー死角エリアBMに相当する領域を切り出して、該ピラ
ーPの内側に死角表示画像50を出力するようにした。このため、ルームミラーM越しに車両周辺を視認する場合に、ピラーPによって生じる死角を補助することができる。
According to the above embodiment, the following effects can be obtained.
(1) In the above embodiment, even when a blind spot is generated by the pillar P reflected on the rearview mirror M, the mirror blind spot area BM generated by the pillar P is determined based on the head position DH, the line-of-sight direction, and the mirror angle of the driver. Calculated. In addition, a region corresponding to the mirror blind spot area BM is cut out from the image data G acquired from the blind
(2)上記実施形態では、ルームミラーMの可視範囲A1に含まれるピラーPに死角表示画像50が表示される。このため、可視範囲A1に含まれないピラーPに対しては、ミラー死角エリアBMの演算処理及び表示処理が省略されるので、運転支援システム1の処理を軽減することができる。
(2) In the above embodiment, the blind
(3)上記実施形態では、ナビECU6により自車両C1が車線変更を行うと判断した際に、ピラーPの死角補助を行うようにした。このため、ドライバーがルームミラーM越しに車両後方又は後側方を見た場合に、車両後方又は後側方に他車両C2が存在するか否かを判断することができる。
(3) In the above embodiment, when the
(4)上記実施形態では、障害物検出センサ8により、自車両C1の後方にある他車両C2を検出した際に、その他車両C2の位置に仮想平面VPを設定するようにした。このため、他車両C2を中心とした明瞭な画像をピラーPの内面に投影することができる。
(4) In the above embodiment, when the
尚、上記実施形態は以下のように変更してもよい。
・頭部検出センサ3は、超音波センサとしたが、画像認識センサ等、これ以外のセンサでもよい。また、運転席近傍に複数備えられているとしたが、単数でもよい。また、運転席のヘッドレストやシート位置を検出する検出センサに基づき、ドライバーの頭部位置を検出するようにしてもよい。
In addition, you may change the said embodiment as follows.
The
・上記実施形態では、頭部検出センサ3によりドライバーの頭部位置DHを検出するようにしたが、ドライバーの位置としてその他の部位(例えば目の位置)を検出してもよい。
In the above embodiment, the head position DH of the driver is detected by the
・上記実施形態では、仮想平面VPの位置を合わせる基準物は横断歩道以外でもよい。例えば、信号機等の路面設置物に仮想平面VPを合わせるようにしてもよい。また例えば、自車両C1に車両前方の障害物までの相対距離を計測する、レーダ、センサ等を搭載し、歩行者、自転車、他車両等を含む障害物が検出された場合に、仮想平面VPを障害物に合わせるようにしてもよい。尚、障害物が、例えば歩行者、自転車であるか否かの判定は、特徴検出等の公知の画像処理を用いる。 In the above embodiment, the reference object for aligning the position of the virtual plane VP may be other than a pedestrian crossing. For example, the virtual plane VP may be matched with a road surface installation such as a traffic light. In addition, for example, when an obstacle including a pedestrian, a bicycle, another vehicle, or the like is installed in the host vehicle C1 that includes a radar, a sensor, or the like that measures a relative distance to an obstacle ahead of the vehicle, the virtual plane VP You may make it match with an obstacle. For example, a known image process such as feature detection is used to determine whether the obstacle is a pedestrian or a bicycle.
・上記実施形態では、一つのピラーPに対して、複数の死角撮影カメラ4を設け、ピラーPによって生じる死角を異なる角度から撮影するようにしてもよい。
・上記実施形態では、プロジェクタ20を自車両C1のルーフRの内側に設けるようにしたが、プロジェクタ20の位置はピラーPの内面に画像を投影できる位置であればよく、例えばダッシュボードの上方(略中央)等、その他の位置に設けるようにしてもよい。
In the above embodiment, a plurality of blind
In the above embodiment, the
・上記実施形態では、ドライバーが前方を向いていると判断した際に、各フロントピラーPA1,PA2に画像を投影するようにしたが、どちらか一方のピラーPに画像を投影するようにしてもよい。例えば、ドライバーに近い右フロントピラーPA2のみに投影してもよいし、ドライバーの視線方向に応じて、画像を投影するピラーPを適宜変更するようにしてもよい。 In the above embodiment, when it is determined that the driver is facing forward, an image is projected on each of the front pillars PA1 and PA2. However, an image may be projected on one of the pillars P. Good. For example, the image may be projected only on the right front pillar PA2 close to the driver, or the pillar P for projecting the image may be appropriately changed according to the line-of-sight direction of the driver.
・上記実施形態では、ドライバーが後方又は後側方を向いていると判断した際に、各センターピラーPB1,PB2、各リヤピラーPC1,PC2に画像を投影するようにしたが、いずれか一つのピラーPに画像を投影するようにしてもよい。例えば、センターピラーPB1,PB2への画像投影を省略するようにしてもよい。又は、ドライバーの視線方
向に応じて、画像を投影するピラーPを適宜変更するようにしてもよい。
In the above embodiment, when it is determined that the driver is facing rearward or rearward, an image is projected on each of the center pillars PB1, PB2 and each of the rear pillars PC1, PC2. An image may be projected onto P. For example, the image projection onto the center pillars PB1 and PB2 may be omitted. Or you may make it change suitably the pillar P which projects an image according to a driver | operator's gaze direction.
・上記実施形態では、ルームミラーMに各センターピラーPB1,PB2及び各リヤピラーPC1,PC2のうち少なくとも一つが映る場合、死角エリア演算部13は、そのピラーPによって生じる死角を算出するようにした。これ以外に、ドライバーがルームミラーMを見ていると判断した際に、各センターピラーPB1,PB2及び各リヤピラーPC1,PC2の全てに、ドライバーの視線及び頭部位置に合わせた死角表示画像を投影するようにしてもよい。
In the above embodiment, when at least one of the center pillars PB1 and PB2 and the rear pillars PC1 and PC2 is reflected on the room mirror M, the blind spot
・上記実施形態では、プロジェクタ20によってピラーPの内側面Paに画像を投影するようにしたが、ピラーPの内側に薄型の表示手段としてのディスプレイを設け、ディスプレイに死角表示画像50を出力しても良い。
In the above embodiment, the
1…運転支援システム、2…運転支援装置としての運転支援ユニット、4…撮影装置としての死角撮影カメラ、10…車両状況判断手段としてのシステム制御部、11…ドライバー位置検出手段としての頭部位置検出部、13…ミラー位置検出手段、死角領域演算手段、可視範囲算出手段としての死角エリア演算部、15…画像合成手段、画像出力手段としての画像変換部、16…画像合成手段、画像出力手段としての仮想平面設定部、17…画像合成手段、画像出力手段、障害物検出手段としての投影画像出力部、20,20A,20B,20C…表示装置及び投影装置としてのプロジェクタ、50…死角表示画像、BM…死角領域としてのミラー死角エリア、A1…可視範囲、B…死角領域としての死角エリア、C1…車両としての自車両、C2…障害物としての他車両、G,GI…画像データ、M…ルームミラー、VP…仮想平面、P、PA1,PA2,PB1,PB2,PC1,PC2…ピラー、θ…回転角度。 DESCRIPTION OF SYMBOLS 1 ... Driving assistance system, 2 ... Driving assistance unit as a driving assistance apparatus, 4 ... Blind spot photographing camera as an imaging device, 10 ... System control part as vehicle condition judgment means, 11 ... Head position as driver position detection means Detection unit, 13 ... mirror position detection unit, blind spot area calculation unit, blind spot area calculation unit as visible range calculation unit, 15 ... image synthesis unit, image conversion unit as image output unit, 16 ... image synthesis unit, image output unit Virtual plane setting unit as 17... Image composition means, image output means, projection image output section as obstacle detection means, 20, 20A, 20B, 20C... Display device and projector as projection device, 50. , BM ... Mirror blind spot area as a blind spot area, A1 ... Visible range, B ... Dead spot area as a blind spot area, C1 ... Own vehicle as a vehicle , C2 ... other vehicle as an obstacle, G, GI ... image data, M ... view mirror, VP ... virtual plane, P, PA1, PA2, PB1, PB2, PC1, PC2 ... pillar, theta ... rotation angle.
Claims (5)
ドライバーの位置を検出するとともに、車室内に設けられたミラーの角度を取得し、前記ドライバーの位置及び前記ミラーの角度に基づき、該ドライバーが前記ミラーを介して見ることができる可視範囲を算出し、ドライバーの視線の方向を判断し、
前記ドライバーの視線が前記ミラーの方向であると判断した場合には、前記複数のピラーのうち前記可視範囲内のピラーについてのみ該ピラーによって生じる死角領域を前記ドライバーの位置及び前記ミラーの角度に基づき算出し、前記撮影装置が撮影した画像データのうち前記可視範囲内のピラーによって生じる死角領域に相当する領域を前記可視範囲内のピラーに対して表示し、
前記ドライバーの視線が前記ミラーの方向ではないと判断した場合には、前記複数のピラーのうち前記ドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーよって生じる死角領域を前記ドライバーの位置に基づき算出し、前記撮影装置が撮影した画像データのうち前記予め対応付けられているピラーによって生じる死角領域に相当する領域を前記予め対応付けられているピラーに対して表示することを特徴とする運転支援方法。 In a driving support method for photographing a blind spot region generated by a plurality of pillars provided in the vehicle using a photographing device attached to the vehicle , and displaying an image corresponding to the blind spot region on the inside of the pillar.
The position of the driver is detected, the angle of the mirror provided in the passenger compartment is acquired , and the visible range that the driver can see through the mirror is calculated based on the position of the driver and the angle of the mirror. , Determine the direction of the driver ’s line of sight,
When it is determined that the driver's line of sight is in the direction of the mirror, a blind spot region generated by the pillar only in the visible range among the plurality of pillars is based on the position of the driver and the angle of the mirror. Calculating and displaying an area corresponding to a blind spot area caused by pillars in the visible range among the image data captured by the imaging device for the pillars in the visible range;
If it is determined that the driver's line of sight is not in the direction of the mirror, a blind spot region generated by the pillar is only selected for a pillar that is previously associated with the direction of the driver's line of sight among the plurality of pillars. Calculating based on a position, and displaying an area corresponding to a blind spot area generated by the previously associated pillar in the image data captured by the imaging apparatus on the previously associated pillar ; Driving assistance method to do.
ドライバーの位置を検出するドライバー位置検出手段と、
車室内に設けられたミラーの角度を取得するミラー位置検出手段と、
ドライバーの視線の方向を判断する視線方向検出部と、
前記ドライバーの位置及び前記ミラーの角度に基づき、ドライバーが前記ミラーを介して見ることができる可視範囲を算出する可視範囲算出手段と、
ドライバーが前記車両周辺を視認した際に、前記ピラーにより生じる死角領域を算出する死角領域演算手段と、
前記撮影装置が撮影した画像データを用いて、前記死角領域に相当する死角表示画像を生成する画像合成手段と、
前記死角表示画像を前記表示装置に出力する画像出力手段とを備え、
前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記可視範囲内に存在するピラーを判断し、該可視範囲内のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置及び前記ミラーの角度に基づいて算出し、前記画像出力手段は、前記可視範囲内のピラーにおける前記死角表示画像を前記可視範囲内のピラーに対して表示し、
前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断された場合には、前記死角領域演算手段は、前記複数のピラーのうちドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記予め対応付けられているピラーにおける前記死角表示画像を前記予め対応付けられているピラーに対して表示することを特徴とする運転支援装置。 A driving support device that uses a photographing device attached to a vehicle to photograph a blind spot area caused by a plurality of pillars provided in the vehicle , and displays an image photographed by the photographing device on the inside of the pillar by a display device. In
Driver position detecting means for detecting the position of the driver;
Mirror position detecting means for obtaining the angle of the mirror provided in the vehicle interior;
A gaze direction detection unit that determines the direction of the gaze of the driver;
Visible range calculation means for calculating a visible range that the driver can see through the mirror based on the position of the driver and the angle of the mirror;
When the drivers are viewing the previous SL vehicle periphery, a blind spot region calculating unit for calculating the blind spot region generated by the front Symbol pillars,
Image synthesizing means for generating a blind spot display image corresponding to the blind spot area using image data taken by the photographing device;
Image output means for outputting the blind spot display image to the display device ,
When the line-of-sight direction detection unit determines that the direction of the line of sight of the driver is the direction of the mirror, the blind spot area calculation unit determines a pillar existing in the visible range among the plurality of pillars. The blind spot area generated by the pillar only for the pillar in the visible range is calculated based on the position of the driver and the angle of the mirror, and the image output means displays the blind spot display image in the pillar in the visible range. For the pillars in the visible range,
When the line-of-sight direction detection unit determines that the direction of the driver's line of sight is not the direction of the mirror, the blind spot area calculating unit is associated in advance with the direction of the driver's line of sight among the plurality of pillars. The blind spot region generated by the pillar only for the pillar being calculated is calculated based on the position of the driver, and the image output means associates the blind spot display image in the previously associated pillar with the previously associated pillar. A driving support device characterized by displaying on a pillar .
前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両前方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち車両前方のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーにおける前記死角表示画像を前記車両前方のピラーに対して表示し、
前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両後方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記車両前方のピラーを除くピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーを除くピラーにおける前記死角表示画像を前記車両前方のピラーを除くピラーに対して表示することを特徴とする運転支援装置。 In the driving assistance device according to claim 2,
When the line-of-sight direction detection unit determines that the driver's line-of-sight direction is not the mirror direction and the driver's line-of-sight direction is the front of the vehicle, the blind spot area calculation means includes: The blind spot region generated by the pillar only in the plurality of pillars in front of the vehicle is calculated based on the position of the driver, and the image output means displays the blind spot display image in the pillar in front of the vehicle in the front of the vehicle. Display against pillars of
When it is determined by the line-of-sight direction detection unit that the direction of the driver's line of sight is not the direction of the mirror, and the direction of the driver's line of sight is determined to be behind the vehicle, the blind spot area calculation means Only the pillars excluding the pillars in front of the vehicle out of the plurality of pillars calculate the blind spot area caused by the pillars based on the position of the driver, and the image output means is configured to calculate the blind spots in the pillars excluding the pillars in front of the vehicle. A driving assistance apparatus that displays a blind spot display image on pillars excluding the pillars in front of the vehicle .
前記車両が車線変更を行うか否かを判断する車両状況判断手段をさらに備え、
前記車両状況判断により前記車両が車線変更を行うと判断した際に、前記可視範囲内のピラーにおける前記死角表示画像を、該可視範囲内のピラーに対して出力することを特徴とする運転支援装置。 In the driving assistance device according to claim 2 or 3,
Vehicle condition judging means for judging whether or not the vehicle changes lanes,
When it is determined by the vehicle state determination that the vehicle changes lanes, the driving angle display image for the pillar in the visible range is output to the pillar in the visible range. .
前記車両の後方又は後側方に障害物を検出する障害物検出手段をさらに備え、
前記障害物検出手段により前記車両の後方又は後側方に障害物を検出した場合に、前記画像合成手段は、該障害物の位置に前記画像データを座標変換する仮想平面を設定することを特徴とする運転支援装置。 The driving support device according to claim 4,
The vehicle further comprises an obstacle detection means for detecting an obstacle behind or behind the vehicle,
When an obstacle is detected behind or behind the vehicle by the obstacle detection means, the image composition means sets a virtual plane for coordinate conversion of the image data at the position of the obstacle. A driving support device.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007205672A JP4412365B2 (en) | 2007-03-26 | 2007-08-07 | Driving support method and driving support device |
CN2008100855184A CN101277432B (en) | 2007-03-26 | 2008-03-10 | Driving support method and driving support apparatus |
EP08004495A EP1974998B1 (en) | 2007-03-26 | 2008-03-11 | Driving support method and driving support apparatus |
US12/073,916 US8035575B2 (en) | 2007-03-26 | 2008-03-12 | Driving support method and driving support apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007080008 | 2007-03-26 | ||
JP2007205672A JP4412365B2 (en) | 2007-03-26 | 2007-08-07 | Driving support method and driving support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008265719A JP2008265719A (en) | 2008-11-06 |
JP4412365B2 true JP4412365B2 (en) | 2010-02-10 |
Family
ID=39996380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007205672A Expired - Fee Related JP4412365B2 (en) | 2007-03-26 | 2007-08-07 | Driving support method and driving support device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4412365B2 (en) |
CN (1) | CN101277432B (en) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5093611B2 (en) * | 2008-12-01 | 2012-12-12 | アイシン精機株式会社 | Vehicle periphery confirmation device |
JP5568761B2 (en) * | 2009-02-03 | 2014-08-13 | 富士重工業株式会社 | Visual field estimation apparatus, visual field estimation method, computer program, and recording medium |
JP5299688B2 (en) | 2009-06-03 | 2013-09-25 | アイシン精機株式会社 | Vehicle periphery monitoring method and vehicle periphery monitoring device |
DE102010015079A1 (en) * | 2010-04-15 | 2011-10-20 | Valeo Schalter Und Sensoren Gmbh | A method of displaying an image on a display device in a vehicle. Driver assistance system and vehicle |
JP5690080B2 (en) * | 2010-04-30 | 2015-03-25 | オリンパスイメージング株式会社 | Moving image data generation device and moving image data generation method |
JP2012034076A (en) * | 2010-07-29 | 2012-02-16 | Alps Electric Co Ltd | Visual assistance system for vehicle, and vehicle provided with the same |
DE102010040803A1 (en) * | 2010-09-15 | 2012-03-15 | Continental Teves Ag & Co. Ohg | Visual driver information and warning system for a driver of a motor vehicle |
JP5938635B2 (en) | 2011-12-15 | 2016-06-22 | パナソニックIpマネジメント株式会社 | Driving assistance device |
KR101417383B1 (en) * | 2012-10-31 | 2014-07-08 | 현대자동차주식회사 | Apparatus and method for image control of room-mirror |
EP3030459A1 (en) * | 2013-08-07 | 2016-06-15 | Audi AG | Visualization system,vehicle and method for operating a visualization system |
CN103802728B (en) * | 2013-11-08 | 2016-03-30 | 广东好帮手电子科技股份有限公司 | Automatically the drive assist system selecting scape to show based on Helmet Mounted Display and method |
FR3015939B1 (en) * | 2013-12-30 | 2018-06-15 | Valeo Systemes Thermiques | DEVICE AND METHOD FOR RETRO VISION WITH ELECTRONIC DISPLAY FOR VEHICLE. |
JP6032219B2 (en) | 2014-01-24 | 2016-11-24 | トヨタ自動車株式会社 | Driving assistance device |
JP6028747B2 (en) * | 2014-02-12 | 2016-11-16 | トヨタ自動車株式会社 | Display device and driving support device |
GB201406405D0 (en) | 2014-04-09 | 2014-05-21 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
CN105083291B (en) * | 2014-04-25 | 2018-11-09 | 歌乐株式会社 | Driver assistance system based on line-of-sight detection |
KR102270577B1 (en) * | 2014-10-21 | 2021-06-29 | 현대모비스 주식회사 | Apparatus and method for controlling outputting external image of vehicle |
JP6073536B1 (en) * | 2015-03-04 | 2017-02-01 | 三菱電機株式会社 | Display control device for vehicle |
WO2017024458A1 (en) * | 2015-08-10 | 2017-02-16 | Bayerische Motoren Werke Aktiengesellschaft | System, method and apparatus for vehicle and computer readable medium |
US9902322B2 (en) * | 2015-10-30 | 2018-02-27 | Bendix Commercial Vehicle Systems Llc | Filling in surround view areas blocked by mirrors or other vehicle parts |
CN105405093B (en) | 2015-11-12 | 2019-03-15 | 中国商用飞机有限责任公司 | Aircraft cockpit visual field enhancement system and method |
CN105539288A (en) * | 2015-12-10 | 2016-05-04 | 合肥虔视光电科技有限公司 | Transparent automobile backseat projection display system |
CN105599682A (en) * | 2016-02-03 | 2016-05-25 | 广州勘帝德电子科技有限公司 | Automobile driving assisting system and method based on dead zone detection and looking-around image monitoring |
JP6410987B2 (en) | 2016-02-25 | 2018-10-24 | 富士フイルム株式会社 | Driving support device, driving support method, and driving support program |
CN105774654A (en) * | 2016-03-02 | 2016-07-20 | 广州三晶智能电子技术有限公司 | Car blind spot visible steering system and control method |
JP2017178025A (en) * | 2016-03-30 | 2017-10-05 | 矢崎総業株式会社 | Driving support device |
JP6313355B2 (en) * | 2016-03-31 | 2018-04-18 | 株式会社Subaru | Vehicle perimeter monitoring device |
WO2018092265A1 (en) * | 2016-11-18 | 2018-05-24 | 三菱電機株式会社 | Driving assistance device and driving assistance method |
JP6470335B2 (en) * | 2017-03-15 | 2019-02-13 | 株式会社Subaru | Vehicle display system and method for controlling vehicle display system |
JP6851018B2 (en) | 2017-03-24 | 2021-03-31 | パナソニックIpマネジメント株式会社 | In-car lighting and automobiles |
CN107415831A (en) * | 2017-05-26 | 2017-12-01 | 刘新宇 | Safe video system and automobile |
US10356307B2 (en) * | 2017-09-13 | 2019-07-16 | Trw Automotive U.S. Llc | Vehicle camera system |
JP2019066636A (en) * | 2017-09-29 | 2019-04-25 | 本田技研工業株式会社 | Driving training device, and driving training method |
CN111788618A (en) * | 2018-03-02 | 2020-10-16 | 三菱电机株式会社 | Driving support device and driving support method |
CN108536149B (en) * | 2018-04-25 | 2023-07-28 | 吉林大学 | Unmanned vehicle obstacle avoidance control method based on Dubins path |
JP7052632B2 (en) * | 2018-08-10 | 2022-04-12 | トヨタ自動車株式会社 | Peripheral display device for vehicles |
JP7163732B2 (en) * | 2018-11-13 | 2022-11-01 | トヨタ自動車株式会社 | Driving support device, driving support system, driving support method and program |
CN113661085B (en) * | 2019-03-29 | 2023-08-18 | 本田技研工业株式会社 | Vehicle-mounted driving assistance device |
CN112440881B (en) * | 2019-08-31 | 2022-07-12 | 华为技术有限公司 | Self-adaptive adjusting method and device for rearview mirror |
CN111556295A (en) * | 2020-05-12 | 2020-08-18 | 新石器慧通(北京)科技有限公司 | Control method and device of movable monitoring cloud deck and unmanned vehicle |
CN113968186A (en) * | 2020-07-22 | 2022-01-25 | 华为技术有限公司 | Display method, device and system |
CN112009370A (en) * | 2020-09-07 | 2020-12-01 | 东风汽车集团有限公司 | Automobile steering anti-collision display system and display method |
CN112738496A (en) * | 2020-12-25 | 2021-04-30 | 浙江合众新能源汽车有限公司 | Image processing method, apparatus, system, and computer-readable medium |
CN115379124A (en) * | 2022-10-26 | 2022-11-22 | 四川中绳矩阵技术发展有限公司 | Visual angle system changing along with visual angle, image imaging method, device and medium |
-
2007
- 2007-08-07 JP JP2007205672A patent/JP4412365B2/en not_active Expired - Fee Related
-
2008
- 2008-03-10 CN CN2008100855184A patent/CN101277432B/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008265719A (en) | 2008-11-06 |
CN101277432A (en) | 2008-10-01 |
CN101277432B (en) | 2012-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4412365B2 (en) | Driving support method and driving support device | |
EP1974998B1 (en) | Driving support method and driving support apparatus | |
JP4862774B2 (en) | Driving support method and driving support device | |
JP4497133B2 (en) | Driving support method and driving support device | |
EP1961613B1 (en) | Driving support method and driving support device | |
JP4784572B2 (en) | Driving support method and driving support device | |
US8089512B2 (en) | Driving support device, driving support method and computer program | |
JP4883977B2 (en) | Image display device for vehicle | |
WO2012091476A2 (en) | Apparatus and method for displaying a blind spot | |
JP5618138B2 (en) | Parking assistance device | |
JP2008099201A (en) | Method and device for supporting driving | |
JP2004240480A (en) | Operation support device | |
JP2010154304A (en) | Mobile camera system and driving method | |
JP4862775B2 (en) | Driving support method and driving support device | |
JP4957589B2 (en) | Obstacle warning device, obstacle warning method, and computer program | |
JP2009005054A (en) | Driving support device, driving support method, and program | |
US20220086368A1 (en) | Vehicular display system | |
JP2008213645A (en) | Parking assistant method and parking assistant device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091027 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091109 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4412365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131127 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131127 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141127 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |