WO2005014341A1 - 運転支援装置及び運転支援方法 - Google Patents

運転支援装置及び運転支援方法 Download PDF

Info

Publication number
WO2005014341A1
WO2005014341A1 PCT/JP2004/002478 JP2004002478W WO2005014341A1 WO 2005014341 A1 WO2005014341 A1 WO 2005014341A1 JP 2004002478 W JP2004002478 W JP 2004002478W WO 2005014341 A1 WO2005014341 A1 WO 2005014341A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
trajectory
vehicle
display
adjustment
Prior art date
Application number
PCT/JP2004/002478
Other languages
English (en)
French (fr)
Inventor
Kazufumi Mizusawa
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US10/566,104 priority Critical patent/US7756618B2/en
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP04716018A priority patent/EP1652734B1/en
Publication of WO2005014341A1 publication Critical patent/WO2005014341A1/ja

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks

Definitions

  • the present invention relates to a driving support device and a driving support method for presenting a driver with a video behind a vehicle acquired by an on-vehicle camera and a guide for driving support on the video.
  • a driving assistance device which displays an image of the rear of the vehicle taken by an in-vehicle power camera when the vehicle retreats, on a screen of a monitor in a driver's seat.
  • This driving assistance device often adopts a method of superimposing and displaying various guides for driving assistance, such as a predicted trajectory at the time of rectilinear receding and a distance line indicating a certain distance from the rear end of the vehicle, on a vehicle-mounted camera image.
  • a driving support device that superimposes a predicted travel trajectory when the vehicle retreats according to the steering angle of the steering wheel. In such a driving support device, it is necessary to display a guide at a correct position in an on-vehicle camera image.
  • Patent Document 1 Japanese Patent No. 26101446
  • the camera parameters used to calculate the predicted trajectory display data are different from the actual camera parameters, and the amount of adjustment is determined by the representative point set in the camera image. is not.
  • the camera parameters One type has two parameters, an internal parameter and an external parameter.
  • the internal parameters include the focal length, the lens distortion coefficient, the vertical and horizontal magnification ratio, and the coordinates of the image center position.
  • the external parameters include the tilt angle, pan angle, and roll angle.
  • the predicted trajectory to be displayed may extend outside the display screen.
  • the predicted trajectory to be displayed hold only the data in the screen.
  • the display position is adjusted, the trajectory that extends beyond the display screen is not displayed because there is no data.
  • An object of the present invention is to provide a driving support apparatus and a driving support method that can display a trajectory to an edge of a screen regardless of an adjustment amount of a display position.
  • a driving assistance device is a driving assistance device that displays an image of the surroundings of a vehicle taken by a vehicle-mounted camera on a screen of a vehicle-mounted monitor.
  • a data table storing trajectory data including trajectory display data for displaying the trajectory on the screen and adjustment data for adjusting a display position of the predicted travel trajectory on the screen based on the trajectory display data;
  • Steering angle detection means for detecting an angle, and the trajectory data corresponding to the steering angle detected by the steering angle detection means is read from the data table, and travel is performed based on trajectory display data and adjustment data included in the trajectory data.
  • a driving assistance image generating means for generating a driving assistance image in which the predicted trajectory is superimposed on an image around the vehicle and outputting the driving assistance image to the on-vehicle monitor.
  • the display position of the predicted traveling trajectory is adjusted based on the latest adjustment data in accordance with the steering angle, so that the predicted traveling trajectory prepared in advance can be displayed at the optimum position.
  • the accuracy as a guide can be improved.
  • the driving support device of the present invention may include a display position adjustment amount setting unit that sets a value of adjustment data included in the trajectory data corresponding to the steering angle.
  • the value of the adjustment data included in the trajectory data corresponding to the steering angle can be easily set.
  • the display position adjustment amount setting means may include an adjustment data of the trajectory data for all other steering angles based on a value of the adjustment data of the trajectory data for a representative steering angle. May be calculated.
  • the trajectory data stored in the data table may include, in addition to the trajectory display data and the adjustment data, an initial value for setting an initial position of the predicted traveling trajectory based on the trajectory display data.
  • Position setting data may be included.
  • the traveling prediction trajectory is displayed to the edge of the screen regardless of the adjustment amount of the display position for all the trajectory data without requiring an exceptional process of recording the display position outside the screen. Can be.
  • the data table may store a plurality of trajectory data sets having different pan angles or roll angles as trajectory display data corresponding to a steering angle.
  • the required memory amount can be reduced without lowering the accuracy as a guide of the travel prediction trajectory, and the cost can be reduced.
  • the driving support method of the present invention is a driving support method for displaying an image of the surroundings of a vehicle taken by a vehicle camera on a screen of an on-vehicle monitor, wherein the predicted traveling trajectory of the vehicle corresponding to the steering angle of the steering wheel is provided on the vehicle.
  • the display position of the predicted travel trajectory is adjusted based on the latest adjustment data in accordance with the steering angle, so that the predicted travel trajectory prepared in advance can be displayed at the optimum position, The accuracy as a guide can be improved.
  • the trajectory display data corresponding to the steering angle and the adjustment data of the display position are held, and the display position of the predicted traveling trajectory is finely adjusted according to the detection result of the steering angle sensor.
  • the predicted travel trajectory prepared in advance can always be displayed at the optimum position, and the accuracy of the predicted travel trajectory as a guide can be improved.
  • FIG. 1 is a block diagram illustrating a configuration of a driving assistance device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a detailed configuration of a trajectory superimposing device in the driving assistance device according to the embodiment of the present invention.
  • FIG. 3 is a diagram for explaining selection of a trajectory data set and setting of an individual adjustment amount in the driving support device according to the embodiment of the present invention.
  • FIG. 4 is a diagram showing a trajectory data set and a switch for selecting and confirming the best in the driving support device according to the embodiment of the present invention.
  • FIG. 5 is a diagram for explaining selection of a trajectory data set in the driving assistance device according to the embodiment of the present invention.
  • FIG. 6 is a diagram for explaining setting of the individual adjustment amount in the driving support device according to the embodiment of the present invention.
  • FIG. 7 is a diagram for explaining the setting of the initial adjustment amount in the driving support device according to the embodiment of the present invention.
  • FIG. 8 is a diagram for explaining the setting of the initial adjustment amount in the driving support device according to the embodiment of the present invention.
  • FIG. 9 is a diagram for explaining the effect of the displacement of the pan angle and the roll angle on the trajectory display in the driving support device according to the embodiment of the present invention.
  • Reference numerals in the figure 1 is a vehicle, 2 is an on-vehicle camera, 3 is a steering angle sensor, 4 is a locus superposition device, 5 is an on-vehicle monitor, 31 is a target plate for selecting a locus data set, 3 2
  • 3 3 and 3 4 are markers
  • 40 is a data setting section
  • 41 is an individual adjustment amount setting section
  • 4 2 is a locus data set selecting section
  • 4 3 is a locus data selecting section
  • 4 4 is a display position adjusting section
  • 4 5 is the trajectory superimposition part
  • 46 is the data table
  • 51, 51A is the selection button
  • 54, 5 is the trajectory superimposition part
  • FIG. 1 is a block diagram illustrating a configuration of a driving support device according to an embodiment of the present invention.
  • the driving support device of the present embodiment includes a vehicle-mounted camera 2 installed behind a vehicle 1, a steering angle sensor 3 for detecting a steering angle of the vehicle 1, and a captured image of the vehicle-mounted camera 2.
  • the vehicle includes a trajectory superposition device 4 that superimposes and outputs a predicted trajectory corresponding to the output of the angle sensor 3, and an in-vehicle monitor 5 that displays the output of the trajectory superposition device 4 and presents it to the driver.
  • the in-vehicle camera 2 inputs an image of the rear of the vehicle 1 to the trajectory superposition device 4.
  • the steering angle sensor 3 detects the amount of rotation of the steering column of the vehicle 1 and inputs the result to the track superposition device 4.
  • the trajectory superimposing device 4 superimposes the predicted trajectory of the vehicle 1 on the image of the vehicle-mounted camera 2 according to the steering angle input from the steering angle sensor 3 and outputs the image.
  • the on-vehicle monitor 5 displays the output of the trajectory superposition device 4.
  • FIG. 2 is a block diagram showing a detailed configuration of the trajectory superimposing device 4.
  • the trajectory superimposing device 4 includes a data setting unit 40, a trajectory data selection unit 43, a display position adjustment unit 44, a trajectory superposition unit 45, and a data table 46.
  • the data table 46 includes a plurality of “trajectory data sets 0 to N” prepared in advance as shown in FIG. 2 and “selection set numbers” indicating the actually used ones of the locus data sets 0 to N. Consists of The trajectory data sets 0 to N correspond to the “reference data” used to select the trajectory data set to be used, the “marker data” used to determine individual adjustment amounts, and the steering angles. "Track data 0 to Hj. Here, when the resolution is, for example, a steering angle of 1 ° and data up to 40 ° on the left and right sides is held, the number of trajectory data is “81”.
  • Each of the trajectory data 0 to H is composed of an “initial adjustment amount” set in advance, an “individual adjustment amount” set after the onboard camera is installed, and “display data” which is image data for displaying the trajectory. Is done. By holding the individual adjustment amount as data, it is possible to adjust the display position for each steering angle.
  • the trajectory superposition device 4 When adjusting the display positions of the trajectory data 0 to H prepared in advance according to the mounting position of the vehicle and camera 2, prepare multiple trajectory data sets in consideration of the assumed mounting error of the in-vehicle camera 2. It is desirable to select the optimal trajectory data set from among them. For example, when the mounting angle of the on-board camera 2 to the vehicle 1 is deviated from the ideal roll angle, the predicted trajectory on the correct screen is not symmetric with respect to the center of the vehicle but has a distorted shape. In this case, even if the display position of the predicted trajectory data created with the ideal roll angle is adjusted, there is no match. Therefore, in addition to the ideal roll angle trajectory data set, it is desirable to prepare a plurality of trajectory data sets in the case where the skew angle is shifted, and to select the optimal trajectory data set from among them.
  • the trajectory data set selection unit 42 selects an optimal trajectory data set from a plurality of trajectory data sets prepared in advance. This trajectory data set is selected by setting a trajectory data set selection target plate 31 at a position away from the vehicle 1 by a certain distance and parallel to the rear wheel axis of the vehicle 1 as shown in Fig. 3, for example. This is done by viewing the image on the monitor screen of the target plate 31 for selecting the locus data set.
  • trajectory data set selection unit 42 includes a plurality of selection buttons 5 1 corresponding to the trajectory data set (three in FIG. (Numerical display). If any of the three buttons is pressed, it is detected that the button has been pressed, and it is selected as a path data set. The path data set corresponding to the selection button 51 is selected.
  • the track number is notified to the locus data selector 43.
  • the locus data selector 43 reads the reference data of the locus data set corresponding to the pressed selection button 51 from the data table 46 according to the contents of the notification. Then, the display data contained therein is input to the locus superimposing unit 45. At the same time, the initial adjustment amount and the individual adjustment amount included in the reference data are read and input to the display position adjustment unit 44.
  • the initial adjustment amount of the reference data is set in advance, but the individual adjustment amount is not set. In addition, when selecting a trajectory data set, an individual adjustment amount is unnecessary and may be omitted.
  • the display position adjustment unit 44 has a joystick, which is one of the pointing devices, calculates the display position from the operation result of the joystick and various adjustment amounts from the trajectory data selection unit 43, and calculates the result. This is given to the trajectory superimposing unit 45.
  • the display position is calculated by, for example, sequentially adding the movement amount by the joystick with each adjustment amount notified from the trajectory data selection unit 43 as an initial value.
  • the trajectory superimposition unit 45 moves the display data input from the trajectory data selection unit 43 by the adjustment amount notified from the display position adjustment unit 44 and superimposes the display data on the video of the on-vehicle camera 2. The result is displayed on the screen of the on-vehicle monitor 5. By pressing each of the three selection buttons 5 1 of the trajectory data set selection section 4 2, one of the reference shapes of the trajectory data sets “1” to “3” as shown in FIG. The image is superimposed on the image and displayed on the on-vehicle monitor 5.
  • the reference shape of the locus data set “” (top figure) is superimposed on the vehicle camera image, and pressing the selection button 5 1 of the number “2”.
  • the reference shape of the trajectory data set “2” (middle figure) is superimposed on the in-vehicle power camera image, and by pressing the selection button 51 of the number “3”, the trajectory data set “3” (bottom) is pressed. Is superimposed on the in-vehicle camera image. Then, from these reference shapes, the trajectory data set whose inclination matches the target plate 31 for selecting the trajectory data set in the in-vehicle camera image best is “1” in this figure.
  • the locus data selection section 4 3 Change the selected set number in to the number of the currently selected data set, ie, “1”. As described above, the optimum trajectory data set for the mounting position of the vehicle-mounted camera 2 is selected.
  • the individual adjustment amount setting section 41 has, for example, a plurality of selection buttons (referred to as 51 A) similar to the selection buttons shown in FIG. These selection buttons 51 A correspond to the positions of the reference points (reference markers) serving as adjustment standards. When any of the selection buttons 51A is pressed, the individual adjustment amount setting section 41 detects that it is set for the individual adjustment amount, and displays the reference marker number corresponding to the selection button 51A. To the locus data selection unit 43.
  • the trajectory data selection unit 43 reads data (marker data) of the reference marker corresponding to the notification content from the data table 46 and inputs the data to the trajectory superposition unit 45. At the same time, the initial adjustment amount included in the marker data is read out and notified to the display position adjustment unit 44. As shown in Fig. 3, for example, the marker is located at a certain distance from the vehicle on the predicted trajectory, and the marker 32 on the trajectory at the maximum steering angle in the right direction. Marker 3 3 on the track and marker 3 4 on the track at the maximum steering angle in the left direction are installed and used.
  • the display position adjustment unit 44 calculates the display position from the operation result of the joystick and the initial adjustment amount from the trajectory data selection unit 43, and notifies the result to the trajectory superimposition unit 45.
  • the trajectory superposition unit 45 superimposes the display data input from the trajectory data selection unit 43 by the adjustment amount notified from the display position adjustment unit 44 and superimposes the display data on the video of the vehicle-mounted camera 2. The result is displayed on the screen of the on-board monitor 5.
  • any one of the markers 1 to 3 as shown in FIG. 6 is superimposed on the in-vehicle camera image. Displayed on the in-vehicle monitor 5.
  • the display position is adjusted using the joystick of the display position adjustment unit 44 so that the display position best matches the marker in the vehicle / camera image.
  • the individual adjustment amount setting unit 41 is determined. Press the button (this is 54A).
  • the confirm button 54A is pressed, this is notified to the trajectory data selection unit 43, and the trajectory data selection unit 43 temporarily records the adjustment amount for the marker.
  • the trajectory data selection unit 43 calculates the adjustment amount of each steering angle from the determined adjustment amount for each marker, and stores the data in the data table 46. Set the individual adjustment amount data of.
  • the maximum left and right steering angles are denoted by L ( ⁇ 0), 0R (> 0), and the adjustment amounts of marker “1”, marker “2”, and marker “3” as DM 1, DM 2, and DM 3, respectively.
  • the adjustment amount D ( ⁇ ) of the steering angle ⁇ is obtained by the following equation, for example.
  • the trajectory data selection unit 43 performs the trajectory data corresponding to the angle detected by the steering angle sensor from the corresponding data set according to the selection set I and number of the data table 46. Read the data. Thereafter, the initial adjustment amount and the individual adjustment amount in the trajectory data are notified to the display position adjustment unit 44, and the display data is notified to the trajectory superimposition unit 45.
  • the display position adjustment unit 44 calculates the final adjustment amount from the initial adjustment amount and the individual adjustment amount input from the trajectory data selection unit 43, and notifies the result to the trajectory superposition unit 45.
  • the trajectory superposition unit 45 selects the trajectory data and the adjustment amount of the display position input from the display position adjustment unit 44 during the vertical blanking period, which is the transition of the frame of the in-vehicle camera image.
  • the display data input from the section 43 is changed to the latest one, and the locus is always superimposed on the in-vehicle camera image based on the latest locus data.
  • the display data input from the trajectory data selector 43 may be an address for referring to the display data in the data table 46 instead of the display data itself.
  • on-vehicle monitor 5 displays an on-vehicle camera image on which the predicted trajectory according to the steering angle is superimposed.
  • the trajectory superimposition unit 45 checks the display data and the display position adjustment amount and finely adjusts the display position of the trajectory based on the latest data. Can be displayed in various positions. As a result, the accuracy of the trajectory guide can be improved.
  • the display position is not adjusted, when storing the locus data in which a part of the locus extends off the screen and is displayed in the data table 46, the display position is moved so that the entire locus is displayed in the screen.
  • the trajectory data at this time is set as display data, and the amount of movement required to display the original display position is set as the initial adjustment amount.
  • the trajectory data selection unit 43 calculates the original display position based on the initial adjustment amount, and inputs the position shifted by the individual adjustment amount from the original display position to the trajectory superimposition unit 45. By setting the initial adjustment amount in this way, it is not necessary to perform an exceptional process of recording the display position outside the screen, etc.
  • the trajectory can be displayed to the end.
  • a data set prepared in advance As a data set, a plurality of trajectory data having different roll angles or pan angles are prepared.
  • three variables of the camera's external parameters, tilt angle, pan angle, and roll angle are unknown.
  • the effect of the shift of the pan angle and roll angle appears on the screen as rotation as shown in Fig. 9, and either rotation angle can be substituted.
  • Fig. 9 shows the display positions on the screen when the predicted trajectory when turning the steering wheel with the same angle to the left and right and when moving straight ahead is photographed by an appropriate on-board camera.
  • Three tracks are displayed.
  • the track rolled by a certain angle, the track panned by a certain angle, the track rolled by a certain angle, and the display position of the track rolled by a certain angle are displayed.
  • the trajectory has been translated so as to match as closely as possible. Also, since the effect of the tilt angle shift appears as a parallel movement on the screen, this effect can be almost eliminated by adjusting the display position.
  • the required memory amount can be reduced without reducing the accuracy of the trajectory guide.
  • a button and a joystick are used.
  • a touch panel of a car navigation screen may be used, or an external terminal for maintenance or the like may be used.
  • the trajectory data set is selected using the inclination of the trajectory data set selection target plate 31.
  • the trajectory data set may be selected by other methods such as a marker displacement.
  • the data setting section 40 does not need to be provided with the trajectory data set selection section 42.
  • the present invention has an effect that a travel prediction trajectory prepared in advance can always be displayed at an optimum position, and the accuracy of the guide of the travel prediction trajectory can be improved, and is useful for vehicles such as automobiles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本発明の課題は、コストの上昇を最小限に抑えつつ、精度の高い予測軌跡をカメラ映像中に重畳表示することができ、更には全ての軌跡データに対して表示位置の調整量に関係なく画面の端まで軌跡を表示することができる運転支援装置を提供することである。ハンドルの舵角に対応した車両の走行予測軌跡を車載モニタ（５）の画面上に重畳表示するための表示データを作成し、更に走行予測軌跡の表示位置を調整するための調整データを設定し、ハンドル操作に伴ってハンドルの舵角に対応する表示データに基づく走行予測軌跡を調整データに基づいて表示位置調整を行って車載モニタ（５）の画面上に重畳表示する。

Description

明 細 書 運転支援装置及び運転支援方法 <技術分野 >
本発明は、 車載カメラにより取得した車両後方の映像と、 当該映像上に運転支 援のためのガイ ドとを運転者に提示する運転支援装置及び運転支援方法に関する
<背景技術 >
従来、 車両の後退時に車載力メラにて撮影した車両後方の映像を運転席内のモ ユタの画面上に表示する運転支援装置が開発されている。 この運転支援装置では 、 直進後退時の予測軌跡や車両後端から一定の距離を示す距離線等の運転支援の ための様々なガイドを車載カメラ映像に重畳して表示する方式が多く採用されて いる。 また、 ハンドルの舵角に応じた後退時の走行予測軌跡を重畳表示する運転 支援装置もある。 このような運転支援装置においては、 車載カメラ映像中の正し い位置にガイドを表示する必要がある。 ガイ ドを正しい位置に表示する方法とし ては、 ハンドルの舵角に対応した車両の予測軌跡の表示データを記憶しておき、 舵角センサの信号に基づいて表示データを読み出して重畳表示する方法が提案さ れている （例えば、 特許文献 1参照） 。
(特許文献 1 ) 特許第 2 6 1 0 1 4 6号公報
<発明の開示 >
しかしながら、 ハンドルの舵角に対応した車両の予測軌跡の表示データを記憶 しておき、 舵角センサの信号に基づいて表示データを読み出して重畳表示する方 法においては、 次のような問題がある。
予測軌跡の表示データ算出に使用したカメラパラメータと実際のカメラパラメ ータとがほとんどの場合異なっており、 またカメラ映像中に設定した代表点によ り調整量を決定するため、 必ずしも精度が十分ではない。 ここで、 カメラパラメ 一タには内部パラメータと外部パラメータの 2つのパラメータがある。 内部パラ メータには焦点距離、 レンズの歪曲係数、 縦横の倍率比、 画像中心位置の座標が あり、 外部パラメータにはチルト角、 パン角、 ロール角がある。
また、 最大にハンドルを切ったときや遠方まで予測軌跡を表示する場合、 表示 すべき予測軌跡が表示画面外にはみ出すことがある。 表示すべき予測軌跡を用意 する場合、 画面内のデータのみを保持すると、 表示位置を調整した場合、 表示画 面外にはみ出した軌跡部分はデータが無いために表示されない。 画面外の軌跡を 保持するためには例えば本来はありえない画面外の表示位置をデータとして持つ 必要があるが、 データの整合性の確認が困難になる。
更に、 予め軌跡データを用意する場合、 変動するカメラパラメータとしては、 少なくともパン角、 ロール角、 チルト角の 3パラメータを考慮する必要があるが 、 単純に各角度に対して 3つの値を用意するだけでも合計 2 7通りのデータを用 意する必要があることになり、 必要とするメモリ量が増大してコスト高になる。 本発明は、 かかる点に鑑みてなされたものであり、 コス トの上昇を最小限に抑 えつつ、 精度の高い予測軌跡をカメラ映像中に重畳表示することができ、 更には 全ての軌跡データに対して表示位置の調整量に関係なく画面の端まで軌跡を表示 することができる運転支援装置及び運転支援方法を提供することを目的とする。 上記目的を達成するため、 本発明の運転支援装置は、 車載カメラで撮影した車 両周囲の画像を車載モニタの画面上に表示する運転支援装置において、 ハンドル の舵角に対応した車両の走行予測軌跡を画面上に表示するための軌跡表示データ とその軌跡表示データに基づく走行予測軌跡の画面上の表示位置を調整するため の調整データとを含む軌跡データを記憶するデータテーブルと、 ハンドルの舵角 を検出する舵角検出手段と、 前記舵角検出手段で検出された舵角に対応する前記 軌跡データを前記データテーブルから読み出し、 その軌跡データに含まれる軌跡 表示データと調整データに基づいて走行予測軌跡を車両周囲の画像に重畳した運 転支援画像を生成し、 前記車載モニタに出力する運転支援画像生成手段と、 を備 えている。 この構成によれば、 舵角に対応して走行予測軌跡の表示位置を最新の調整デー タに基づいて調整するので、 予め用意した走行予測軌跡を最適な位置に表示する ことができ、 軌跡のガイ ドとしての精度の向上が図れる。
また、 本発明の運転支援装置は、 前記舵角に対応する軌跡データに含まれる調 整データの値を設定する表示位置調整量設定手段を備えていてもよい。
この構成によれば、 舵角に対応する軌跡データに含まれる調整データの値を容 易に設定することができる。
また、 本発明の運転支援装置では、 前記表示位置調整量設定手段は、 代表的な 舵角に対する前記軌跡データの調整データの値を基に他の全ての舵角に対する前 記軌跡データの調整データの値を算出してもよい。
この構成によれば、 代表的な舵角に対してのみ走行予測軌跡の表示位置を調整 するだけで全ての舵角に対して最適な位置に設定することができる。 また、 表示 位置の調整量を求める作業を大幅に簡単化できる。
また、 本発明の運転支援装置では、 前記データテーブルに記憶される軌跡デー タは、 軌跡表示データと調整データの他に、 軌跡表示データに基づく走行予測軌 跡の初期位置を設定するための初期位置設定データを含んでもよい。
この構成によれば、 画面外の表示位置を記録する例外的な処理等を必要とせず に全ての軌跡データに対して表示位置の調整量に関係なく画面の端まで走行予測 軌跡を表示することができる。
また、 本発明の運転支援装置では、 前記データテーブルは、 舵角に対応する軌 跡表示データとして、 パン角又はロール角の異なる複数の軌跡データセッ トを記 憶してもよい。
この構成によれば、 走行予測軌跡のガイ ドとしての精度を落とすことなく必要 なメモリ量を削減することができ、 コストの削減が可能となる。
また、 本発明の運転支援方法は、 車载カメラで撮影した車両周囲の画像を車載 モニタの画面上に表示する運転支援方法において、 ハンドルの舵角に対応した車 両の走行予測軌跡を前記車載モニタの画面上に重畳表示するための表示データを 作成するステップと、 前記走行予測軌跡の表示位置を調整するための調整データ を設定するステップと、 ハンドル操作に伴ってハンドルの舵角に対応する表示デ ータに基づく走行予測軌跡を前記調整データに基づいて表示位置調整を行って前 記車載モニタの画面上に重畳するステップと、 を備えている。
この方法によれば、 舵角に対応して走行予測軌跡の表示位置を最新の調整デー タに基づいて調整するので、 予め用意した走行予測軌跡を最適な位置に表示する ことができ、 軌跡のガイドとしての精度の向上が図れる。
本発明によれば、 舵角に対応した軌跡表示データと表示位置の調整データとを 保持し、 舵角センサの検知結果に応じて走行予測軌跡の表示位置を細かく調整す るようにしたので、 予め用意した走行予測軌跡を常に最適な位置に表示でき、 走 行予測軌跡のガイドとしての精度の向上が図れる。
<図面の簡単な説明 >
図 1は、 本発明の実施の形態の運転支援装置の構成を示すプロック図であり、 図 2は、 本発明の実施の形態の運転支援装置における軌跡重畳装置の詳細な構 成を示すプロック図であり、
図 3は、 本発明の実施の形態の運転支援装置における軌跡データセットの選択 と個別調整量の設定を説明するための図であり、
図 4は、 本発明の実施の形態の運転支援装置における軌跡データセット及びマ 一力一の選択と確定を行うスィツチを示す図であり、
図 5は、 本発明の実施の形態の運転支援装置における軌跡データセットの選択 を説明するための図であり、
図 6は、 本発明の実施の形態の運転支援装置における個別調整量の設定を説明 するための図であり、
図 7は、 本発明の実施の形態の運転支援装置における初期調整量の設定を説明 するための図であり、
図 8は、 本発明の実施の形態の運転支援装置における初期調整量の設定を説明 するための図であり、
図 9は、 本発明の実施の形態の運転支援装置におけるパン角、 ロール角ずれの 軌跡表示への影響を説明するための図である。 なお、 図中の符号、 1は車両、 2は車載カメラ、 3は舵角センサ、 4は軌跡重 畳装置、 5は車載モニタ、 3 1は軌跡データセッ ト選択用ターゲット板、 3 2、
3 3、 3 4はマーカー、 4 0はデータ設定部、 4 1は個別調整量設定部、 4 2は 軌跡データセッ ト選択部、 4 3は軌跡データ選択部、 4 4は表示位置調整部、 4 5は軌跡重畳部、 4 6はデータテーブル、 5 1、 5 1 Aは選択ポタン、 5 4、 5
4 Aは確定ポタンである。
<発明を実施するための最良の形態 >
以下、 本発明の実施の形態について、 図面を参照して詳細に説明する。
図 1は、 本発明の実施の形態の運転支援装置の構成を示すブロック図である。 図 1において、 本実施の形態の運転支援装置は、 車両 1の後方に設置された車載 カメラ 2と、 車両 1の操舵角を検出する舵角センサ 3と、 車載カメラ 2の撮像画 像に舵角センサ 3の出力に応じた予測軌跡を重畳して出力する軌跡重畳装置 4と 、 軌跡重畳装置 4の出力を表示して運転者に提示する車載モニタ 5とを備えてい る。
車載カメラ 2は、 車両 1の後方を撮影した画像を軌跡重畳装置 4に入力する。 舵角センサ 3は、 車両 1のステアリングコラムの回転量を検知し、 その結果を軌 跡重畳装置 4に入力する。 軌跡重畳装置 4は、 舵角センサ 3から入力される舵角 に応じて車両 1の予測軌跡を車載カメラ 2の映像に重畳して出力する。 車載モニ タ 5は軌跡重畳装置 4の出力を表示する。
図 2は、 軌跡重畳装置 4の詳細な構成を示すブロック図である。 図 2において 、 軌跡重畳装置 4は、 データ設定部 4 0、 軌跡データ選択部 4 3、 表示位置調整 部 4 4、 軌跡重畳部 4 5及びデータテーブル 4 6を備えており、 データ設定部 4 0は、 個別調整量設定部 4 1と軌跡データセット選択部 4 2を有している。
データテーブル 4 6は、 図 2に示すように予め用意した複数の 「軌跡データセ ッ ト 0〜N」 と、 軌跡データセッ ト 0〜Nのうちで実際に使用するものを示す 「 選択セット番号」 とから構成される。 そして、 各軌跡データセット 0〜Nは、 使 用する軌跡データセッ トを選択する際に用いる 「基準データ」 と、 個別の調整量 を決定する際に用いる 「マーカーデータ」 と、 各操舵角に対応した 「軌跡データ 0〜Hj とから構成される。 ここで、 軌跡データの数は、 分解能を例えば操舵角 1 ° とし、 左右 4 0 ° までのデータを保持する場合、 「8 1」 個になる。 各軌跡 データ 0〜Hは、 予め設定される 「初期調整量」 と、 車載カメラ設置後に設定さ れる 「個別調整量」 と、 軌跡を表示するための画像データである 「表示データ」 とから構成される。 個別調整量をデータとして保持することで、 操舵角毎に表示 位置を調整することが可能となる。
次に、 軌跡重畳装置 4の動作を説明する。 車载カメラ 2の取り付け位置に応じ て、 予め用意しておいた軌跡データ 0〜Hの表示位置を調整する場合、 想定され る車載カメラ 2の取り付け誤差を考慮して複数の軌跡データセットを用意してお き、 その中から最適な軌跡データセットを選択することが望ましい。 例えば、 車 載カメラ 2の車両 1への取り付け角度が理想のロール角からずれている場合、 正 しい画面上での予測軌跡は車両中心に対して左右対称とはならず歪んだ形となる 。 この場合、 理想のロール角で作成した予測軌跡データの表示位置を調整しても 一致することは無い。 したがって、 理想ロール角の軌跡データセッ トの他に、 口 ール角がずれた場合の軌跡データセットを複数用意しておき、 その中から最適な 軌跡データセットを選択することが望ましい。
軌跡データセット選択部 4 2は、 予め用意されている複数の軌跡データセット の中から最適な軌跡データセットを選択する。 この軌跡データセッ 卜の選択は、 例えば図 3のように、 車両 1から後方に一定距離だけ離れた位置に車両 1の後輪 軸と平行になるように軌跡データセッ ト選択用ターゲット板 3 1を設置し、 この 軌跡データセット選択用ターゲット板 3 1のモニタ画面上の映像を見ることで行 。
ここで、 理想のロール角を 0 ° として、 （1 ) ロール角のずれが無い場合、 （
2 ) ロール角が左に一定角度ずれた場合、 （3 ) ロール角が右に一定角度ずれた 場合の 3種類の軌跡データセットを用意するものとする。 また、 それぞれのロー ル角のずれに応じて軌跡データセッ ト選択用ターゲット板 3 1が荜载カメラ 2の 映像中に写る位置を計算したデータ （基準データ） を用意する。 なお、 これらの データは予めデータテーブル 4 6に記録されている。 さて、 軌跡データセット選択部 4 2には、 例えば図 4に示すように軌跡デ一タ セットと対応した複数 （この図では 3つであるので、 以下 「3」 として扱う） の 選択ボタン 5 1 (数字表示）があり、 3つのうちのいずれかが押されると、 それが 押されたことを検知して、 軌跡データセットの選択であることと、 その選択ボタ ン 5 1に対応する軌跡データセッ トの番号が軌跡データ選択部 4 3に通知される 軌跡データ選択部 4 3は、 この通知内容に従ってデータテープル 4 6から、 押 された選択ボタン 5 1に対応する軌跡データセッ トの基準データを読み出して、 それに含まれる表示データを軌跡重畳部 4 5に入力する。 また同時に基準データ に含まれる初期調整量及び個別調整量を読み出して表示位置調整部 4 4に入力す る。 なお、 基準データの初期調整量は予め設定されているが、 個別調整量は設定 されていない。 また、 軌跡データセットの選択に際しては、 個別調整量は不要な ので省略してもよい。
表示位置調整部 4 4は、 ボインチングデバイスの 1つであるジョイスティック を有し、 このジョイスティックの操作結果と軌跡データ選択部 4 3からの各種調 整量とから表示位置を算出し、 その結果を軌跡重畳部 4 5に与える。 表示位置は 、 例えば軌跡データ選択部 4 3から通知される各調整量を初期値としてジョイス ティックによる移動分を逐次足し合わせて算出する。
軌跡重畳部 4 5は、 軌跡データ選択部 4 3から入力される表示データを表示位 置調整部 4 4から通知される調整量だけ移動させて、 車載カメラ 2の映像に重畳 する。 その結果が車載モニタ 5の画面上に表示される。 而して、 軌跡データセッ ト選択部 4 2の 3つの選択ボタン 5 1を一つひとつ押すことにより、 図 5に示す ような軌跡データセット 「 1」 から 「3」 のいずれかの基準形状が車載カメラ映 像に重畳されて車載モニタ 5に表示される。
数字 「 ]」 の選択ボタン 5 1を押すことにより、 軌跡データセット 「】」 （一 番上の図） の基準形状が車載カメラ映像に重畳され、 数字 「2」 の選択ボタン 5 1を押すことにより、 軌跡データセット 「2」 （真中の図） の基準形状が車載力 メラ映像に重畳され、 数字 「3」 の選択ポタン 5 1を押すことにより、 軌跡デー タセッ ト 「3」 （一番下の図） の基準形状が車載カメラ映像に重畳される。 そして、 これらの基準形状の中から車載カメラ映像内の軌跡データセット選択 用ターゲット板 3 1と最もよく傾きが一致する軌跡データセットがこの図では 「 1」 である。 ここで、 軌跡データセット 「1」 を表示させた状態で、 軌跡データ セット選択部 4 2にある確定ボタン 5 4 ( 「確」 表示）を押すと、 軌跡データ選択 部 4 3がデータテーブル 4 6内の選択セッ ト番号を現在選択されたデータセッ ト の番号即ち 「1」 に変更する。 以上により、 車載カメラ 2の取り付け位置に対し て最適な軌跡データセッ トが選択される。
次に、 選択した軌跡データセットに対する個別調整量の設定を行う。 個別調整 量設定部 4 1には、 例えば図 4に示す選択ボタンと同様の複数の選択ボタン （こ れを 5 1 Aとする） がある。 これらの選択ボタン 5 1 Aは、 調整の基準となるマ 一力一 （基準マーカー） 位置と対応している。 個別調整量設定部 4 1は、 いずれ かの選択ポタン 5 1 Aが押されると、 それを検知して個別調整量の設定であるこ とと、 その選択ボタン 5 1 Aに対応する基準マーカーの番号を軌跡データ選択部 4 3に通知する。
軌跡データ選択部 4 3は、 データテーブル 4 6からこの通知内容に対応する基 準マーカーのデータ（マーカーデータ）を読み出して軌跡重畳部 4 5に入力する。 また同時にマーカーデータに含まれる初期調整量を読み出して表示位置調整部 4 4に通知する。 なお、 マーカーとしては、 例えば図 3にその一部を示すように、 予測軌跡上の車両から一定距離だけ離れた位置とし、 右方向の最大舵角時の軌跡 上のマーカー 3 2、 直進時の軌跡上のマーカー 3 3、 左方向の最大舵角時の軌跡 上のマーカー 3 4の 3つを設置して使用する。
表示位置調整部 4 4は、 ジョイスティックの操作結果と軌跡データ選択部 4 3 からの初期調整量とから表示位置を算出して、 その結果を軌跡重畳部 4 5に通知 する。 軌跡重畳部 4 5は、 軌跡データ選択部 4 3から入力される表示データを表 示位置調整部 4 4から通知される調整量だけ移動させて車載カメラ 2の映像に重 畳する。 その結果が ΐ載モニタ 5の画面上に表示される。 而して、 個別調整量設 定部 4 1の選択ボタン 5 1を一つひとつ押すことにより、 図 6に示すようなマー 力一 「 1」 から 「3」 のいずれかが車載カメラ映像に重畳されて車載モニタ 5に 表示される。 そして、 個々のマーカーについて、 表示位置調整部 44のジョイスティックを 用いてその表示位置が車载カメラ映像中のマーカーと最もよく一致するように調 整し、 調整後に個別調整量設定部 4 1の確定ボタン （これを 54Aとする） を押 す。 確定ボタン 54 Aが押されると、 それが軌跡データ選択部 43に通知され、 軌跡データ選択部 43はそのマーカーに対する調整量を一時的に記録する。 そして、 残りの全てのマーカーに対して確定ボタン 54が押されると、 軌跡デ ータ選択部 43は、 確定されたマーカー毎の調整量から各操舵角の調整量を算出 し、 データテーブル 46内の個別調整量データに設定する。 ここで、 左右の最大 舵角をそれぞれ ®L (< 0) 、 0R (> 0) 、 マーカー 「1」 、 マーカー 「2」 、 マーカー 「3」 の調整量をそれぞれ DM 1、 DM 2、 DM3として、 舵角 Θの調 整量 D (Θ) は、 例えば次式によって求まる。
D (Θ) = DM1 - Θ/ΘΙ +DM2 - (Θί-Θ) /ΘΙ (Θく 0の時）
D (Θ) = DM2 (Θ = 0の時）
D (Θ) = DM3 - ©/0R +DM2 - (0R-0) /©R (Θ〉0の時） このように、 舵角毎に個別調整量を設定することにより、 舵角毎に最適な調整 量を設定することが可能となる。 なお、 代表舵角の調整量からその他の舵角の調 整量を算出することで、 全ての舵角に対して表示位置の調整を実施することなく 簡易的に最適な調整量を設定することも可能である。 なお、 各舵角の調整量の設 定方法は、 これに限らず全ての舵角に対して実際に位置合わせを行ったり、 一定 範囲にある舵角に同じ調整量を設定するなど、 変更可能である。
次に、 通常動作時の動作について説明する。 軌跡データ選択部 43は、 舵角セ ンサ 3からのセンサ信号が入力されると、 データテーブル 46の選択セッ I、番号 に従い、 該当するデータセットから舵角センサで検知した角度に対応する軌跡デ ータを読み出す。 その後、 軌跡データ内の初期調整量及び個別調整量を表示位置 調整部 44に通知し、 また表示データを軌跡重畳部 45に通知する。
表示位置調整部 44は、 軌跡データ選択部 43から入力された初期調整量と個 別調整量とから最終の調整量を算出して、 その結果を軌跡重畳部 45に通知する 。 軌跡重畳部 45は車載カメラ映像のフレームの変わり目となる垂直ブランキン グ期間に表示位置調整部 44から入力される表示位置の調整量と軌跡データ選択 部 4 3から入力される表示データとを最新のものに変更し、 常に最新の軌跡デー タに基づいて軌跡を車載カメラ映像に重畳する。 なお、 軌跡データ選択部 4 3か ら入力される表示データは表示データそのものではなく、 データテーブル 4 6内 の表示データを参照するためのアドレスとしても良い。 而して、 車載モニタ 5に は舵角に応じた予測軌跡が重畳された車載カメラ映像が表示される。
このように、 軌跡重畳部 4 5がフレーム表示前に、 表示データと、 表示位置調 整量を確認して細かく軌跡の表示位置を最新のデータに基づいて調整するため、 予め用意した軌跡を最適な位置に表示することができる。 結果的に軌跡のガイ ド としての精度の向上が図れる。
次に、 図 7及び図 8を用いて初期調整量の使用方法について説明する。 表示位 置を調整しない場合、 軌跡の一部が画面からはみ出して表示される軌跡データを データテーブル 4 6に格納する際は、 画面内に軌跡全体が表示されるように表示 位置を移動する。 このときの軌跡データを表示データとして、 また元の表示位置 に表示するために必要な移動量を初期調整量として設定する。 軌跡データ選択部 4 3は、 この初期調整量により本来の表示位置を算出し、 本来の表示位置から個 別調整量分だけ移動した位置を軌跡重畳部 4 5に入力する。 このように初期調整 量を設定することにより、 画面外の表示位置を記録する例外的な処理等を必要と せずに、 全ての軌跡データに対して表示位置の調整量に関係なく、 画面の端まで 軌跡を表示できる。
次に、 予め用意するデータセットについて説明する。 データセットとしては、 ロール角又はパン角のみが異なる複数の軌跡データを用意する。 車載カメラ 2の 設置ではカメラの外部パラメータであるチルト角、 パン角及びロール角の 3変数 が未知となる。 しかしながら、 パン角、 ロール角のずれの影響はいずれも画面上 では図 9に示すように回転として現れ、 どちらかの回転角で代用することができ る。
図 9は、 左右に同一角度ハンドルを転舵した時並びに直進時の予測軌跡を、 適 当な車載カメラにより撮影した時の画面上での表示位置を示したものである。 軌 跡は 3本表示してあり、 一定角度ロールしている軌跡、 一定角度パンしている軌 跡、 一定角度ロールしている軌跡を、 一定角度パンしている軌跡の表示位置とで きるだけ一致するように平行移動した軌跡を示している。 また、 チルト角のずれ の影響は画面上では平行移動として現れるため、 表示位置の調整によってこの影 響をほぼ除去できる。
このように、 ロール角又はパン角のみを変数として軌跡データを用意すること で、 軌跡のガイ ドとしての精度を落とすことなく、 必要なメモリ量を削減できる 効果がある。
なお、 本実施の形態では、 ボタンとジョイスティックを用いたが、 カーナビゲ ーション画面のタツチパネルを利用したり、 メンテナンス用の外部端末等を利用 するようにしても良い。
また、 本実施の形態では、 軌跡データセッ ト選択用ターゲット板 3 1の傾きを 使用して軌跡データセットを選択したが、 マーカーの位置ずれ等、 他の方法によ つて選択することも可能である。 また、 軌跡データセットを選択する必要がない 場合、 データ設定部 4 0には軌跡データセッ ト選択部 4 2を設ける必要はない。 本発明を詳細にまた特定の実施態様を参照して説明したが、 本発明の精神と範 囲を逸脱することなく様々な変更や修正を加えることができることは当業者にと つて明らかである。
本出願は、 2003年 8月 7日出願の日本特許出願 Να2003- 288976に基づくものであり 、 その内容はここに参照として取り込まれる。 <産業上の利用可能性 >
本発明は、 予め用意した走行予測軌跡を常に最適な位置に表示でき、 走行予測 軌跡のガイ ドとしての精度の向上が図れるといった効果を有し、 自動車等の車両 に用いて有用である。

Claims

1 . 車載カメラで撮影した車両周囲の画像を車載モニタの画面上に表示す る運転支援装置において、
ハンドルの舵角に対応した車両の走行予測軌跡を画面上に表示するための軌跡 表示データとその軌跡表示データに基づく走行予測軌跡の画面上の表示位置を調 整するための調整データとを含む軌跡データを記憶するデータテーブルと、 言
ハンドルの舵角を検出する舵角検出手段と、
前記舵角検出手段で検出された舵角に対応する前記軌跡データを前記データテ の
—ブルから読み出し、 その軌跡データに含まれる軌跡表示データと調整データに 基づいて走行予測軌跡を車両周囲の画像に重畳した運転支援画像を生成し、 前記 車載モニタに出力する運転支援画像生成手段と、囲 を備える運転支援装置。
2 . 前記舵角に対応する軌跡データに含まれる調整データの値を設定する 表示位匱調整量設定手段を備える請求の範囲第 1項に記載の運転支援装置。
3 . 前記表示位置調整量設定手段は、 代表的な舵角に対する前記軌跡デー タの調整データの値を基に他の全ての舵角に対する前記軌跡データの調整データ の値を算出する請求の範囲第 2項に記載の運転支援装置。
4 . 前記データテーブルに記憶される軌跡データは、 軌跡表示データと調 整データの他に、 軌跡表示データに基づく走行予測軌跡の初期位置を設定するた めの初期位置設定データを含む請求の範囲第 1項乃至請求の範囲第 3項のいずれ かに記載の運転支援装置。
5 . 前記データテーブルは、 舵角に対応する軌跡データとして、 パン角又 はロール角の異なる複数の軌跡データセットを記憶する請求の範囲第 1項乃至請 求の範囲第 4項のいずれかに記載の運転支援装置。
6 . 車載カメラで撮影した車両周囲の画像を車載モニタの画面上に表示す る運転支援方法において、
ハンドルの舵角に対応した車両の走行予測軌跡を前記車両モニタの画面上に重 畳表示するための表示データを作成するステップと、
前記走行予測軌跡の表示位置を調整するための調整データを設定するステップ と、
ハンドル操作に伴ってハンドルの舵角に対応する表示データに基づく走行予測 軌跡を前記調整データに基づレ、て表示位置調整を行って前記車両モニタの画面上 に重畳表示するステップと、
を備えた運転支援方法。
PCT/JP2004/002478 2003-08-07 2004-03-01 運転支援装置及び運転支援方法 WO2005014341A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/566,104 US7756618B2 (en) 2003-08-07 2004-01-03 Camera calibration and image adjusting for drive assisting system
EP04716018A EP1652734B1 (en) 2003-08-07 2004-03-01 Operation assisting system and operation assisting method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-288976 2003-08-07
JP2003288976A JP3916240B2 (ja) 2003-08-07 2003-08-07 運転支援装置及び運転支援方法

Publications (1)

Publication Number Publication Date
WO2005014341A1 true WO2005014341A1 (ja) 2005-02-17

Family

ID=34131537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/002478 WO2005014341A1 (ja) 2003-08-07 2004-03-01 運転支援装置及び運転支援方法

Country Status (6)

Country Link
US (1) US7756618B2 (ja)
EP (1) EP1652734B1 (ja)
JP (1) JP3916240B2 (ja)
KR (1) KR20060060005A (ja)
CN (1) CN100488813C (ja)
WO (1) WO2005014341A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4924896B2 (ja) * 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
JP4521642B2 (ja) * 2008-02-13 2010-08-11 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視プログラム
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
JP5446304B2 (ja) * 2009-02-13 2014-03-19 セイコーエプソン株式会社 液体噴射装置、及び、液体噴射方法
JP4831374B2 (ja) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
JP4690476B2 (ja) * 2009-03-31 2011-06-01 アイシン精機株式会社 車載カメラの校正装置
JP5337878B2 (ja) 2009-07-22 2013-11-06 トヨタ自動車株式会社 運転支援装置
DE102009040255A1 (de) * 2009-09-04 2011-03-10 Volkswagen Ag Verfahren zum Anzeigen von Informationen bei einem Bildlauf und Vorrichtung hierfür
US20110102583A1 (en) * 2009-10-30 2011-05-05 Kim Kinzalow Rear view camera system and calibration method
CN101814246A (zh) * 2010-04-16 2010-08-25 上海交通大学 车辆位置方位数显装置
US9294733B2 (en) 2010-09-06 2016-03-22 Aisin Seiki Kabushiki Kaisha Driving assist apparatus
KR20120106033A (ko) * 2011-03-17 2012-09-26 현대모비스 주식회사 차량 정보를 이용한 후진 주행 궤적선 제공 장치 및 그 방법
JP5888087B2 (ja) 2012-04-25 2016-03-16 ソニー株式会社 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置
TWI558588B (zh) * 2014-04-09 2016-11-21 Papago Inc Driving Recorder with Correcting Shooting Pose and Its Correction
KR102258628B1 (ko) * 2014-11-03 2021-06-02 현대모비스 주식회사 주차 가이드 조절 방법
CN104374391B (zh) * 2014-11-17 2018-12-28 深圳市中天安驰有限责任公司 一种车辆行驶轨迹计算系统与计算方法
CN104778851B (zh) * 2015-02-16 2017-05-03 北京交通大学 一种基于行驶轨迹的生态驾驶优化方法和系统
CN105128935A (zh) * 2015-08-31 2015-12-09 梁世彦 一种转向角度测量仪及方法
CN105824592A (zh) * 2016-03-07 2016-08-03 乐卡汽车智能科技（北京）有限公司 倒车轨迹的显示方法及装置
CN106043126A (zh) * 2016-07-28 2016-10-26 江苏罗思韦尔电气有限公司 一种重型卡车转向预警辅助装置及预警方法
WO2018208776A1 (en) 2017-05-08 2018-11-15 Joyson Safety Systems Acquisition Llc Integration of occupant monitoring systems with vehicle control systems
EP3413155B1 (de) * 2017-06-09 2020-02-26 Andreas Stihl AG & Co. KG Verfahren zum erfassen mindestens eines abschnitts eines begrenzungsrands einer zu bearbeitenden fläche, verfahren zum betreiben eines autonomen mobilen grünflächenbearbeitungsroboters, erfassungssystem und grünflächenbearbeitungssystem
CN107499234B (zh) * 2017-07-06 2019-10-18 吉利汽车研究院（宁波）有限公司 一种车辆盲区可视装置及方法
CN110996091B (zh) * 2019-12-26 2021-10-08 斑马网络技术有限公司 在可移动设备的显示图像上叠加信息的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2610146B2 (ja) 1987-12-04 1997-05-14 本田技研工業株式会社 車両の後方視界表示装置
JPH1116097A (ja) * 1997-06-25 1999-01-22 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2000229547A (ja) * 1998-10-08 2000-08-22 Matsushita Electric Ind Co Ltd 運転操作補助装置および記録媒体
JP2001187552A (ja) * 1999-10-19 2001-07-10 Toyota Autom Loom Works Ltd 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
US20010026317A1 (en) 2000-02-29 2001-10-04 Toshiaki Kakinami Assistant apparatus and method for a vehicle in reverse motion
JP2003061085A (ja) * 2001-08-10 2003-02-28 Nippon Seiki Co Ltd 車両用監視装置
JP2003063336A (ja) * 2001-08-24 2003-03-05 Aisin Seiki Co Ltd 駐車補助装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3111153B2 (ja) * 1995-01-17 2000-11-20 本田技研工業株式会社 車両用前照灯装置
US6421081B1 (en) * 1999-01-07 2002-07-16 Bernard Markus Real time video rear and side viewing device for vehicles void of rear and quarter windows
US6411867B1 (en) 1999-10-27 2002-06-25 Fujitsu Ten Limited Vehicle driving support system, and steering angle detection device
US6813371B2 (en) * 1999-12-24 2004-11-02 Aisin Seiki Kabushiki Kaisha On-vehicle camera calibration device
JP3731718B2 (ja) 2000-03-28 2006-01-05 ノーリツ鋼機株式会社 デジタル写真処理装置
EP1160146B2 (en) * 2000-05-30 2013-07-24 Aisin Seiki Kabushiki Kaisha Parking assistive apparatus
JP3619753B2 (ja) 2000-07-03 2005-02-16 トヨタ自動車株式会社 移動体の後方視界表示装置
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP2003072495A (ja) * 2001-09-06 2003-03-12 Yazaki Corp 駐車支援装置および駐車支援方法
JP3692082B2 (ja) * 2002-01-23 2005-09-07 トヨタ自動車株式会社 駐車支援装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2610146B2 (ja) 1987-12-04 1997-05-14 本田技研工業株式会社 車両の後方視界表示装置
JPH1116097A (ja) * 1997-06-25 1999-01-22 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2000229547A (ja) * 1998-10-08 2000-08-22 Matsushita Electric Ind Co Ltd 運転操作補助装置および記録媒体
JP2001187552A (ja) * 1999-10-19 2001-07-10 Toyota Autom Loom Works Ltd 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
US20010026317A1 (en) 2000-02-29 2001-10-04 Toshiaki Kakinami Assistant apparatus and method for a vehicle in reverse motion
JP2003061085A (ja) * 2001-08-10 2003-02-28 Nippon Seiki Co Ltd 車両用監視装置
JP2003063336A (ja) * 2001-08-24 2003-03-05 Aisin Seiki Co Ltd 駐車補助装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1652734A4 *

Also Published As

Publication number Publication date
CN1863694A (zh) 2006-11-15
JP2005056320A (ja) 2005-03-03
EP1652734A4 (en) 2007-05-16
KR20060060005A (ko) 2006-06-02
EP1652734A1 (en) 2006-05-03
JP3916240B2 (ja) 2007-05-16
CN100488813C (zh) 2009-05-20
US20060209188A1 (en) 2006-09-21
US7756618B2 (en) 2010-07-13
EP1652734B1 (en) 2012-07-04

Similar Documents

Publication Publication Date Title
WO2005014341A1 (ja) 運転支援装置及び運転支援方法
US10676027B2 (en) Vehicle control apparatus and program
US6587760B2 (en) Motor vehicle parking support unit and method thereof
CN104247394B (zh) 校正操作装置、摄像机装置、摄像机系统和摄像机校正方法
US9973734B2 (en) Vehicle circumference monitoring apparatus
US7949486B2 (en) Method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法
JP2001218197A (ja) 車両用周辺表示装置
JP5813944B2 (ja) 画像表示システム、画像処理装置及び画像表示方法
EP1038734A1 (en) Driving assisting device and recording medium
JP4962788B2 (ja) 車両周辺監視装置
JP2006298115A (ja) 運転支援方法及び運転支援装置
CN103079902A (zh) 驾驶支援装置
JP2000229547A (ja) 運転操作補助装置および記録媒体
EP3002727B1 (en) Periphery monitoring apparatus and periphery monitoring system
JP2008083990A (ja) 駐車支援装置および駐車支援方法
JP2011148369A (ja) 運転支援装置
JP2007226300A (ja) 運転支援方法及び運転支援装置
JP2010089716A (ja) 駐車支援装置及び駐車支援方法
JP4797849B2 (ja) 運転支援画像表示システム及び車載装置
JP6073433B2 (ja) 画像表示システム、画像処理装置及び画像表示方法
JP2010154304A (ja) 移動体カメラシステム及び駆動方法
JP2008145364A (ja) 経路案内装置
JP4567375B2 (ja) 補助情報提示装置
JP2007122395A (ja) 車両の方向転回判定方法及び車両の方向転回判定装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480029069.1

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004716018

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10566104

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020067002633

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004716018

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10566104

Country of ref document: US