WO2008056780A1 - Driving assistance device, driving assistance method, and program - Google Patents

Driving assistance device, driving assistance method, and program Download PDF

Info

Publication number
WO2008056780A1
WO2008056780A1 PCT/JP2007/071819 JP2007071819W WO2008056780A1 WO 2008056780 A1 WO2008056780 A1 WO 2008056780A1 JP 2007071819 W JP2007071819 W JP 2007071819W WO 2008056780 A1 WO2008056780 A1 WO 2008056780A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
vehicle
information
host vehicle
driving
Prior art date
Application number
PCT/JP2007/071819
Other languages
English (en)
French (fr)
Inventor
Kazuya Watanabe
Masaya Otokawa
Yu Tanaka
Tsuyoshi Kuboyama
Kosuke Sato
Jun Kadowaki
Original Assignee
Aisin Seiki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Kabushiki Kaisha filed Critical Aisin Seiki Kabushiki Kaisha
Priority to US12/441,281 priority Critical patent/US20090265061A1/en
Priority to EP07831550.4A priority patent/EP2085944B1/en
Publication of WO2008056780A1 publication Critical patent/WO2008056780A1/ja

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • Driving support device driving support method, and program
  • the present invention relates to a driving support apparatus, a driving support method, and a program suitable for supporting a driving operation of a vehicle.
  • Patent Document 1 discloses a device that informs the driver of the degree of approach of a vehicle traveling behind the host vehicle. This device displays the degree of approach of the rear vehicle (risk potential) as an indicator image. The driver can see the risk behind the vehicle by looking at the indicator image.
  • Patent Document 2 discloses a device for assisting such that the speed difference between the own vehicle and another vehicle traveling in the adjacent lane is small! /, Even if it is easy to change the lane! / . According to this, since the device calculates the inter-vehicle distance and speed suitable for the lane change, the driver can operate according to the displayed acceleration / deceleration operation and lane change operation guidance.
  • Patent Document 3 discloses a device that performs a display that supports lane change when a driver's blinker operation is detected. According to this, when the device detects the blinker operation, the brightness and color of the segment that displays the driving environment information on the left and right rear of the host vehicle are changed, so that the driver can grasp the degree of danger by looking at the change in the display.
  • Patent Document 4 discloses an apparatus that supports lane change by providing a rear side image to a driver in a timely manner. According to this, the device provides a two-screen rear side image based on the relative relationship with the vehicle ahead even if there is no specific lane change instruction from the driver, so the driver can view this image as needed. You can change lanes for reference.
  • Patent Document 5 discloses an apparatus that supports lane change by displaying a guide line superimposed on a rear side image. According to this, the device should not turn left or right or change lanes. The distances that need to be taken care of, distances that require attention, and distances without problems are displayed with guide lines, so one driver can see the guide lines and perform appropriate driving operations.
  • Patent Document 6 discloses a device that can capture a wide range of the rear of the vehicle. According to this, the device changes the angle of the camera with the actuator according to the operation of the steering wheel or the blinker, so that the driver can operate while checking the image of the direction to be particularly careful.
  • Patent Document 1 Japanese Patent Laid-Open No. 2005-145292
  • Patent Document 2 Japanese Unexamined Patent Publication No. 2006-324727
  • Patent Document 3 Japanese Patent Laid-Open No. 2002-074596
  • Patent Document 4 Japanese Unexamined Patent Application Publication No. 2005-141484
  • Patent Document 5 Japanese Unexamined Patent Application Publication No. 2006-051850
  • Patent Document 6 Japanese Unexamined Patent Application Publication No. 2002-204446
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a driving support device, a driving support method, and a program that support the driving operation of a driver of a vehicle with an easy-to-understand display. .
  • Another object of the present invention is to provide a driving support device, a driving support method, and a program that can be configured at low cost.
  • a driving support apparatus according to the first aspect of the present invention provides:
  • a driving information acquisition unit that acquires driving information indicating the driving status of the host vehicle, and a course change of the host vehicle based on the driving information acquired by the driving information acquisition unit.
  • a route discriminating unit for discriminating the presence / absence and the direction of change of the route
  • a predetermined area is obtained from the image captured by the imaging unit based on the direction of change of the course of the host vehicle determined by the course determination unit.
  • a display unit for displaying the image extracted by the extraction unit
  • a support information generation unit that generates support information for supporting the driver based on the driving information acquired by the driving information acquisition unit and the image captured by the imaging unit is further provided.
  • the display unit may display the image extracted by the extraction unit and the support information generated by the support information generation unit! /.
  • the driving information acquisition unit acquires, as driving information, information indicating whether the host vehicle is within a predetermined distance range from the road marking and a direction in which the host vehicle approaches the road marking,
  • the course discriminating unit judges whether or not the host vehicle has changed its course depending on whether or not the host vehicle is within a predetermined distance range from the road marking, and the course changing direction based on the direction in which the host vehicle approaches the road marking. You can discriminate.
  • a storage unit that stores vehicle type information indicating the type of vehicle and notification information to be notified to the driver in association with each other;
  • a vehicle type discriminating unit for discriminating the type of the other vehicle behind the host vehicle based on the image photographed by the photographing unit;
  • the support information generation unit may read the notification information corresponding to the type of another vehicle determined by the vehicle type determination unit, and generate the support information including the notification information.
  • the support information generation unit generates, as the support information, information indicating an index bar serving as an index of the distance of the host vehicle power and a position where the index bar is arranged in the image extracted by the extraction unit. May be.
  • the apparatus further includes a measurement unit that measures the inter-vehicle distance or relative speed between the host vehicle and the other vehicle.
  • the support information generation unit generates, as the support information, information indicating the number, shape, size, color, and position of the index based on the inter-vehicle distance or relative speed measured by the measurement unit. You can also
  • the driving information acquisition unit acquires, as the driving information, direction instruction information indicating a direction in which the direction indicator of the host vehicle indicates.
  • the discriminating unit discriminates a direction of changing the course of the host vehicle based on the direction instruction information.
  • the driving information includes information indicating the speed of the host vehicle, information indicating acceleration, information indicating the rotational speed of the engine, information indicating that the brake is applied, road guidance information, and position information. And at least one of traffic information, weather information, and road information.
  • a course determination step Based on the driving information acquisition step for acquiring driving information indicating the driving status of the host vehicle, and the driving information acquired in the driving information acquisition step, the presence / absence of the course change of the host vehicle and the course change direction are determined.
  • a course determination step Based on the driving information acquisition step for acquiring driving information indicating the driving status of the host vehicle, and the driving information acquired in the driving information acquisition step, the presence / absence of the course change of the host vehicle and the course change direction are determined.
  • a predetermined area is extracted from the image captured by the imaging unit based on the direction of change of the course of the host vehicle determined in the course determination step.
  • a program according to the third aspect of the present invention provides:
  • An imaging unit that captures an image behind the host vehicle
  • a driving information acquisition unit that acquires driving information indicating the driving status of the host vehicle, and a path determination that determines the presence / absence of a course change of the host vehicle and the course change direction based on the driving information acquired by the driving information acquisition unit.
  • the route determination unit When it is determined by the route determination unit that there is a change in the route of the host vehicle, the route determination An extraction unit that extracts a predetermined region from an image photographed by the photographing unit based on the direction of change of the course of the host vehicle determined by the separate unit;
  • a display unit for displaying the image extracted by the extraction unit
  • FIG. 1 is a diagram for explaining a configuration of a driving support apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing an example of image data taken by the camera according to the first embodiment.
  • FIG. 3 is a flowchart for explaining a driving support process executed by the driving support apparatus according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of captured image data captured by a camera and cutout regions according to ⁇ Embodiment 1.
  • (B) A diagram illustrating an example of cut-out image data according to the first embodiment.
  • FIG. 5 is a diagram showing an example of captured image data captured by the camera according to ⁇ Embodiment 1 and a cutout region. (B) It is a figure which shows the example of the cut-out image data concerning Embodiment 1. FIG.
  • FIG. 6 is a diagram showing an example of image data obtained by combining cut-out image data and information indicating the degree of risk according to ⁇ Embodiment 1.
  • B It is a figure which shows the example of the driving assistance data which show the degree of risk concerning Embodiment 1.
  • FIG. (C) It is a figure which shows the example of the driving assistance data which show the degree of risk concerning Embodiment 1.
  • FIG. (D) It is a figure which shows the example of the information notified to a user concerning Embodiment 1.
  • FIG. 7 is a diagram showing an example of image data obtained by combining cut-out image data and risk level information according to the second embodiment of the present invention.
  • FIG. 8 is a diagram showing a configuration example of a screen displayed on a monitor according to the third embodiment of the present invention.
  • FIG. 9 is a flowchart for explaining a driving support process according to the fourth embodiment of the present invention.
  • FIG. 1 is a diagram showing a configuration of the driving support device 100 of the present embodiment.
  • the driving support apparatus 100 includes a photographing unit 101, a measurement unit 102, an image processing unit 103, an audio processing unit 104, a reception unit 105, a storage unit 106, a control unit 107, and a system bus 108.
  • FIG. 2 is a diagram showing an example of image data (hereinafter referred to as “photographed image data 201”) acquired by the photographing unit 101 and subjected to image processing described later by the image processing unit 103.
  • image data 201 hereinafter referred to as “photographed image data 201”
  • the imaging unit 101 acquires captured image data 201 from a camera 121 that captures the rear of the host vehicle, and inputs the captured image data 201 to the image processing unit 103.
  • the captured image data 201 is real-time moving image data.
  • the range of the image captured by the camera 121 corresponds to the range reflected by the room mirror and the side mirror of the host vehicle.
  • the camera 121 is a fish-eye sword fixed to the rear of the host vehicle.
  • the camera 121 is installed near the license plate or the rear glass behind the host vehicle. In order to obtain a wider range of images, it is possible to use a force S suitable for fisheye force mela and other types of cameras.
  • the shooting direction by the camera 121 may be variable according to the force situation fixed in a predetermined direction. Further, the photographing magnification may be variable according to the force situation fixed at a predetermined magnification.
  • the captured image data 201 by the camera 121 is displayed on the monitor 123 after being subjected to predetermined image processing by the image processing unit 103.
  • Measurement unit 102 obtains distance data from distance measuring device 122 that measures the position of another vehicle existing behind the host vehicle, and measures the relative speed between the host vehicle and the other vehicle.
  • the distance measuring device 122 is a radar that measures the distance to an object by transmitting an electromagnetic wave or ultrasonic wave having a predetermined wavelength and measuring the reflected wave.
  • the measurement unit 102 inputs the measured distance data and / or relative speed to the control unit 107.
  • the object measured by the measuring unit 102 is not limited to other vehicles traveling behind, but may be a fixed object such as a building, an obstacle, or a passerby.
  • the measuring unit 102 may acquire the motion vector of the image data from the difference information of the plurality of captured image data 201 acquired by the imaging unit 101, and thereby detect the relative speed of the other vehicle with respect to the own vehicle. ! /
  • the image processing unit 103 processes the captured image data 201 acquired by the imaging unit 101 by an image arithmetic processor (not shown) included in the control unit 107 or the image processing unit 103, and then processes this.
  • the data is recorded in a frame memory (not shown) included in the image processing unit 103.
  • the image information recorded in the frame memory is converted into a video signal at a predetermined synchronization timing and output to the monitor 123 connected to the image processing unit 103.
  • various image displays are possible.
  • the image processing unit 103 outputs a video of image data (hereinafter referred to as “cut-out image data 202”) obtained by cutting out all of the captured image data 201 or a predetermined partial area thereof, to the monitor 123. .
  • the image processing unit 103 outputs a video obtained by combining various data for driving support (hereinafter referred to as “driving support data”) to the captured image data 201 and the cut-out image data 202 to the monitor 123.
  • driving support data various data for driving support
  • the driver can view the video displayed on the monitor 1 23 at any time.
  • a configuration in which a digital signal processor (DSP, not shown) included in the photographing unit 101 sets an area to be put on the video signal in the photographed image data 201 acquired by the photographing unit 101 is configured. May be.
  • the driving support device 100 is connected to an external device such as a car navigation system, a road traffic information communication system, and a television receiver (not shown in the figure) with a cable or wirelessly. Also good. Then, the image processing unit 103 may perform image processing on the moving image “still image” input from these external devices or the like and output it. It is also possible to adopt a configuration in which the monitor 123 is shared with other systems and devices like these! /
  • FIG. 2 is an example of the photographed image data 201 when the host vehicle is traveling in the left lane of a two-lane road on one side, and is an entire image photographed by the camera 121.
  • the photographed image data 201 in addition to the road marking 211 and the side wall 212 drawn on the road surface, the other vehicle 213 traveling in the rear right lane is shown.
  • the road marking 211 is a line (center line, side line, etc.) usually drawn on the road surface in white or yellow.
  • video captured by the camera 121 is output in real time.
  • the image quality, the number of pixels, the number of colors, the number of frames, etc. of the monitor 123 are not limited by the present invention.
  • the captured image data 201 shown in this figure is only an example.
  • the sound processing unit 104 controls the sound data such as warning sound / guidance sound stored in the storage unit 106 in advance by a D / A (Digital / Analog) converter (not shown) under the control of the control unit 107.
  • playback is performed with a predetermined playback program, and sound is output from the speaker 124.
  • the audio processing unit 104 may output audio input from an external device such as a car navigation system, a road traffic information communication system, or a television receiver. It is also possible to adopt a configuration in which the speaker 124 is shared with other systems and devices such as these! /
  • the driving support device 100 further includes a microphone that collects sound emitted behind the host vehicle, and is configured to output sound data collected by the microphone from the speaker 124. You can also. As a result, the driving support device 100 can transmit not only images but also sounds to the driver, so that a more user-friendly interface can be provided.
  • the accepting unit 105 accepts an instruction input from the operation panel 125 by a user (such as a driver or a passenger seat), and inputs a control signal corresponding to the instruction input to the control unit 107.
  • the operation panel 125 includes an input interface for giving various instructions to the driving support apparatus 100 such as a main power button of the driving support apparatus 100 and buttons for adjusting image quality and volume.
  • the reception unit 105 receives an input of information 151 indicating the driving situation of the host vehicle, and inputs a corresponding control signal to the control unit 107.
  • the information 151 indicating the driving situation of the own vehicle includes (a) a guidance guidance inputted from a car navigation system, a road traffic information communication system, etc.) information, position information, traffic information, weather information, road Control signals such as information, (b) Speedometer, accelerometer, braking device, etc. installed in the host vehicle's own vehicle speed data, acceleration data, brake signal, (c) Direction indicator A direction indication signal input from (the blinker).
  • the receiving unit 105 may be configured to receive data including all or part of those exemplified in (a) to (c). For example, it may be configured to accept an input from an inclination sensor that measures the degree of inclination of the vehicle on the left and right sides of the road.
  • the storage unit 106 includes position and speed data measured by the measurement unit 102, driving support data (to be described later) obtained by the control unit 107, and an operating system for controlling the entire driving support device 100.
  • OS Stores various control programs.
  • the storage unit 106 includes a hard disk device, a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, and the like.
  • the control unit 107 is, for example, a CPU (Central Processing Unit) or an ECU (Electronic Control).
  • the control unit 107 controls the entire driving support device 100 according to the OS and control program stored in the ROM.
  • the control unit 107 transmits a control signal and data to each unit or receives a response signal and data from each unit as required for control.
  • the control unit 107 performs processing (hereinafter referred to as “driving support processing”) for providing information for assisting driving to the driver based on the situation behind the host vehicle. Details will be described later.
  • the system bus 108 is a transmission for transferring commands and data to and from the photographing unit 101, measurement unit 102, image processing unit 103, audio processing unit 104, reception unit 105, storage unit 106, and control unit 107. It is a transmission route.
  • the driving support device 100 includes a power of each of these parts, a CD-ROM (Compact Disc-Read Only Memory) drive, a DVD-ROM (Digital Versatile Disc-Read Only Memory) drive, a GPS (Global It can also be equipped with (or connected to) a communication function such as a Positioning System (transmitter / receiver), a mobile phone, etc., and an electronic toll collection (ETC) system.
  • a communication function such as a Positioning System (transmitter / receiver), a mobile phone, etc.
  • ETC electronic toll collection
  • only one camera 121 that captures the rear of the host vehicle is provided. However, a plurality of cameras, such as a rearward direction and a diagonally rearward direction, are used to capture a plurality of directions. It is also possible to obtain a rear image of the host vehicle from the captured image.
  • FIG. 3 is a flowchart for explaining the driving support process. The following explanation Then, unless otherwise specified, it is assumed that the camera 121 always captures video and the imaging unit 101 acquires the captured image data 201. This driving support process is executed during driving, such as after the driver starts the engine of the vehicle. This will be described in detail below.
  • the measurement unit 102 measures the position of the other vehicle 213 around the host vehicle and the relative speed of the other vehicle 213 with respect to the host vehicle under the control of the control unit 107 (step S301).
  • Information indicating the position and relative speed is input to the control unit 107.
  • these pieces of information may be stored in a predetermined storage area of the storage unit 106 and read out by the control unit 107 at an arbitrary timing.
  • the other vehicle 213 is an automobile or the like that travels behind the host vehicle. Some vehicles are traveling in the same lane directly behind the host vehicle. If the other vehicle 213 is adjacent to the traveling lane (overtaking lane, climbing lane) Etc.). It can also be a light vehicle such as a motorcycle or bicycle that runs near the roadside behind the vehicle!
  • the image processing unit 103 determines the other vehicle 213 by performing image analysis on the captured image data 201 captured by the camera 121 as shown in FIG. For example, the image processing unit 103 discriminates the other vehicle 213 by discriminating an image portion corresponding to the other vehicle 213 from the photographed image data 201 by a method using pattern matching or spatial frequency that is generally widely used. To do. Then, the measurement unit 102 obtains the direction in which the identified other vehicle 213 exists. In addition, the measurement unit 102 performs identification based on the wavelength of the electromagnetic wave or ultrasonic wave emitted from the distance measurement radar provided in the driving support device 100, the time it takes for the reflected wave to reach, the speed of the vehicle, etc. The distance to the other vehicle 213 and the relative speed are obtained. As a result, the measurement unit 102 can obtain the position and relative speed of the other vehicle 213 traveling behind.
  • the direction does not have to be precise information. For example, “running in the same lane”, “running in the right lane (or left lane) If you can get rough information such as “You are driving on the right side of 2 lanes (or on the left side)”, ...
  • the pattern of the position, shape, size, etc. of the image portion corresponding to the road marking 211 included in the captured image data 201 Just match.
  • the receiving unit 105 controls the control unit 107 to display information 15 indicating the driving status of the host vehicle. Accepts an input of 1 (step S302).
  • the information 151 indicating the driving status of the host vehicle is a notification that the host vehicle straddles the road marking 211 such as a white line on the road surface. That is, the image processing unit 103 identifies a road marking 211 such as a white line drawn on the road surface by a commonly used technique such as pattern matching, and determines whether or not the road marking 211 is at a position across the host vehicle. However, when it is determined that the vehicle crosses over, the reception unit 105 is notified of the fact that the course of the host vehicle crosses the road marking 211. Alternatively, even if the vehicle does not actually cross or step on the road marking 211, it may be notified that the vehicle is approaching within a predetermined distance from the road marking 211!
  • the image processing unit 103 identifies the road marking 211 on the road on which the host vehicle is traveling, and when the host vehicle is within the predetermined distance range from the road marking 211, the image processing unit 103 determines the predetermined distance range from the road marking 211. It also functions as a notification unit for notifying that it is within.
  • the control unit 107 determines whether or not there is a change in the course of the host vehicle based on the information 151 indicating the driving situation received by the receiving unit 105 (step S303). For example, when the reception unit 105 receives a notification that the route of the host vehicle crosses the road marking 211, the reception unit 105 inputs the notification to the control unit 107 that the notification is received, and the control unit 107 Judge that there is a change in the course of
  • the image processing unit 103 changes the cutout area 401 set as a part of the captured image data 201 (step S304). . Then, as shown in FIG. 4B, the image processing unit 103 extracts the image data included in the cutout area 401 as the cutout image data 202 as the cutout image data 202 (step S306).
  • the image processing unit 103 determines a predetermined rectangular area as the cutout area 401, and extracts the image data included in the cutout area 401 as the cutout image data 202.
  • the image processing unit 103 can arbitrarily change the position of the cutout area 401.
  • the image processing unit 103 determines the direction straddling the road sign 211 as the direction in which the course of the host vehicle is changed.
  • the vehicle crosses the road marking 211 on the right (or left) (in other words, the captured image data 201 is Vehicle
  • the image changes over the road marking 211 on the right side (or left side). Therefore, it can be determined that the direction of the course of the vehicle changes to the right side (or left side). Then, as shown in FIG.
  • the image processing unit 103 moves the cutout region 401 in the direction in which the course of the own vehicle is changed in the captured image data 201 obtained by capturing with the camera 121.
  • the cutout image data 202 corresponding to the moved cutout region 401 is as shown in FIG.
  • the image processing unit 103 moves gradually and continuously in the direction of changing the course of the host vehicle. That is, the direction of the image displayed on the monitor 123 (the direction of the camera's line of sight) gradually shifts in the direction of changing the course of the host vehicle, and does not break discontinuously like frame dropping on the way. As a result, the user does not lose sight of the orientation of the image projected on the monitor 123.
  • the image processing unit 103 increases the amount by which the cutout area 401 is moved as the amount of change in the course of the host vehicle increases. That is, the image processing unit 103 increases the moving amount of the cutout region 401 as the moving amount of the image corresponding to the road marking 211 included in the captured image data 201 increases.
  • the image processing unit 103 increases the speed at which the cutout area 401 is moved as the speed at which the host vehicle changes the course is higher. That is, the image processing unit 103 increases the movement amount per unit time of the cutout area 401 as the movement amount per unit time of the image corresponding to the road marking 211 included in the captured image data 201 increases. .
  • the direction of the image on the monitor 123 (the direction of the camera's line of sight) changes slowly when the path of the vehicle changes slowly, and the direction of the image changes quickly when the path changes suddenly.
  • the driving support device 100 can provide useful information to the user according to the driving situation.
  • the image processing unit 103 sets a position where the cutout region 401 does not protrude from the captured image data 201 as a movement limit position. That is, in FIG. 5 (a), the left end of the rectangle indicating the cutout area 401 is moved so as not to be on the left side of the left end of the captured image data 201. The same applies to the right end, upper end, and lower end.
  • the image processing unit 103 considers other factors in addition to the direction of the course of the host vehicle to change, and determines the moving direction, shape, enlargement ratio (reduction ratio), resolution, and the like of the cutout area 401. You can change it. For example, as the speed of the other vehicle 213 recognized rearward (or the relative speed of the other vehicle 213 with respect to the host vehicle) increases, the shape and size of the cutout area 401 may be changed to change the range of the cutout image data 202. it can. As a result, the distance between the approaching other vehicle 213 and the host vehicle can be displayed flexibly so that the distance between the vehicle and the host vehicle is easy.
  • the shape of the cutout region 401 is not limited to a rectangle, and may be another shape.
  • the image processing unit 103 also functions as an extraction unit that extracts the cut-out image data 202 from the captured image data 201.
  • step S303 when it is determined in step S303 that there is no change in the course of the host vehicle (step S 303; NO), the driving assistance device 100 determines that the center point of the cutout region 401 is at the reference position HP. The cutout area 401 is moved so as to match (step S305).
  • the reference position HP is the default position immediately after the power of the driving support device 100 is turned on! This is the home position set in advance by the processing unit 103.
  • the center point of the photographed image data 201 photographed with the fisheye lens is set as the reference position HP. Since this reference position HP is not particularly necessary information for the user, it is not displayed on the monitor 123 as shown in FIGS. 4 (b) and 5 (b).
  • the image processing unit 103 also moves gradually and continuously when returning the cut-out area 401 to the home position, so that the video does not become discontinuous like frame dropping in the middle.
  • the image processing unit 103 After changing the position of the cutout area 401 (step 304) or returning the cutout area 401 to the home position (step S305), the image processing unit 103 uses the image data included in the set cutout area 401. Are extracted as cut-out image data 202 (step S 306).
  • control unit 107 obtains information (driving support data) indicating the degree of danger when the own vehicle changes its course (step S307).
  • the control unit 107 calculates the distance from the host vehicle at a predetermined point in the cut-out image data 202, and the number, shape, color, size, and index (index) of the index (index bar). Find the position to display the bar.
  • the indicator (indicator bar) is a driving assistance for the driver. For this purpose, it is a figure that serves as an indicator or a measure of the distance from the host vehicle.
  • the index (index bar) may be an elongated line (hereinafter referred to as “risk level reference line”) 601. Then, the number, thickness, color, and position of the risk guide line are changed according to the risk.
  • the danger level reference line 601 is information (driving support data) that indicates how dangerous (safe) the vehicle is when the vehicle changes lanes or courses. For example, as shown in FIG. 6 (a), the control unit 107 determines the position where the risk level reference line 601 (indicated as 601A, 601B, and 601C in the figure) is drawn so that the positional relationship force fits properly in the cut-out image data 202. Decide. Typically, the control unit 107 associates the points in the cut-out image data 202 with the actual distance at a predetermined distance interval (for example, an interval of 10 meters) from the rearmost part of the host vehicle, and FIG. ) Determine the position to display the hazard level reference line 601 as shown on the monitor 123.
  • a predetermined distance interval for example, an interval of 10 meters
  • control unit 107 changes the position where the danger level guide line 601 is drawn according to the relative speed of the other vehicle 213 with respect to the host vehicle. In other words, when the relative speed is high, the time to reach the vicinity of the host vehicle is shortened. Therefore, the interval of the danger level reference line 601 is widened and the relative speed is low! Reduce the interval of 601.
  • the control unit 107 obtains the positions of a plurality of risk guide lines 601 and sets the color of the risk guide line 601 (in FIG. 6A, 601A) closest to the own vehicle! Make it red and make it a thick line shape. Furthermore, as you move away from your vehicle, the color is divided into red / yellow / blue, and the thickness of the line gradually decreases. In addition, the control unit 107 determines the risk level according to the position and speed (relative speed) of the other vehicle 213 measured by the measurement unit 102, and highlights and displays the risk standard line 601 based on the determination result. Control to do.
  • the number, color, shape, length, thickness, size, distance interval, etc. of the risk level reference line 601 that is driving support data are arbitrarily changed. Such modifications are also included in the scope of the present invention.
  • the hazard level reference line 601 may be blinked or the color may be changed every hour.
  • the image processing unit 103 may output an image including the risk level reference line 601 and the audio processing unit 104 may reproduce a warning sound / notification sound from the speaker 124.
  • the driving support data is not limited to the risk level reference line 601, but may include other information. For example, as shown in FIG. 6 (c), it is possible to add character information indicating an actual distance standard in association with each risk level reference line 601.
  • control unit 107 calculates the estimated speed of the other vehicle, the estimated time that the vehicle will reach the vicinity of the host vehicle, and the like. Together with the reference line 601, it can be used as driving support data.
  • the image processing unit 103 when the other vehicle 213 is approaching rearward, the image processing unit 103 is capable of discriminating various vehicle types and vehicle body sizes stored in the storage unit 106 in advance. Based on the data, the image processing method such as pattern matching is used to determine the vehicle type and body of other vehicles, and the control unit 107 also includes information such as the vehicle type and vehicle body determined by the image processing unit 103 in the driving support data. It can also be used as one. For example, the image processing unit 103 classifies other vehicles approaching from the rear as light vehicles such as motorcycles, large vehicles such as ordinary vehicles, and trucks, and the control unit 107 drives the classification results. It can be one of the support data. For example, as shown in FIG.
  • the storage unit 106 stores in advance the classification of the vehicle type and information 602 to notify the user when another vehicle 213 approaches that vehicle type, and the control unit 107 stores this information.
  • Driving assistance data is generated based on the above.
  • the classification method is arbitrary, and the information 602 to be notified to the user may be output as characters or images, or may be output as audio. In this way, the information that can be provided to the user can be changed according to the situation, such as “Beware of getting involved” for motorcycles and “Beware of poor visibility” for large vehicles. V, you can change the content of the information provided. This is not the only way to identify the vehicle type or body!
  • control unit 107 generates driving assistance data useful for assisting the user so that the user can easily obtain the distance distance to the rear of the host vehicle. That is, the control unit 107 functions as a generation unit that generates information indicating the degree of danger when the host vehicle changes the course based on the information measured by the measurement unit 102.
  • the image processing unit 103 outputs the cut-out image data 202 and the driving support data (data indicating the degree of risk) obtained by the control unit 107 in step S306 (step S307).
  • the image processing unit 103 functions as an output unit that outputs information indicating the degree of risk and the cut-out image data 202.
  • the image processing unit 103 displays an image as shown in FIG. The image is output to the monitor 123.
  • the driving assistance device 100 ends the driving assistance processing.
  • the driving support device 100 can provide information useful for supporting the driving operation of the driver of the vehicle.
  • the force which demonstrated the case where this invention was applied when the own vehicle changed lane This is only an example and does not limit the content of this invention.
  • the position of the clipped image may be changed (step S304) and the driving support data may be created (step S307). For example, when the host vehicle moves backward, the direction indicator (winker) is operated by the driver, or when another vehicle or a passerby approaches the rear of the host vehicle (step S304) 307).
  • FIG. 7 is an example of cut-out image data 202 and driving support data generated by the image processing unit 103 in the present embodiment.
  • the driving support data includes risk level reference area 701 (indicated as 701A, 701B, and 701C in the figure).
  • the control unit 107 associates the points in the cut-out image data 202 with the actual distance at a predetermined distance interval (for example, an interval of 10 meters) from the rear part of the host vehicle, and divides it into several regions according to the distance range, Each area is designated as a risk standard area 701. For example, the area where the actual distance from the end of the host vehicle is L1 is divided into the risk standard area 701A, and the area between the distance forces SL1 and L2 is divided into the risk standard area 701B.
  • control unit 107 determines the level of risk according to the position and speed (relative speed) of the other vehicle 213 measured by the measurement unit 102, and emphasizes the risk level standard area 701 according to the determination result. Control to display. Then, the image processing unit 103 associates different display colors with the respective risk degree reference areas 701 to extract the cut-out image data 2 Generates image data to be displayed on the monitor 123 by combining with 02.
  • control unit 107 changes the position at which the hazard level area 701 is divided according to the relative speed of the other vehicle 213 with respect to the host vehicle. That is, when the relative speed is high, the interval between the positions that divide the danger level area 701 may be widened, and when the relative speed is low, the interval between the positions that divide the risk level reference area 701 may be narrowed.
  • the way of displaying the respective risk standard areas 701 is not limited to this.
  • the number, color, shape, length, size, distance interval, etc. of the risk standard area 701 are arbitrarily changed. Included in range.
  • the danger level reference area 701 may blink, or the color may be changed every time.
  • the image processing unit 103 may output an image including the risk level reference area 701, and the sound processing unit 104 may play a warning sound / notification sound from the speaker 124.
  • the reception unit 1 the reception unit 1
  • the content of information that 05 accepts as information 151 indicating the driving situation of the host vehicle is different from the above-described embodiment. This will be described in detail below.
  • Reception unit 105 receives a direction instruction signal input from a direction indicator (blinker) attached to the host vehicle as information 151 indicating the driving state of the host vehicle (step S302).
  • the control unit 107 determines whether there is a change in the route of the vehicle (step S303). For example, when the direction indicator of the host vehicle indicates a change of course to the right side (or left side), the reception unit 105 inputs that the direction instruction signal has been received to the control unit 107, and the control unit 107 Judge that the course is changed to the right (or left).
  • the reception unit 105 includes navigation information, position information, traffic information, and weather information input from a car navigation system, a road traffic information communication system, and the like connected to the driving support device 100.
  • a control signal such as road information may be received as information 151 indicating the driving situation of the host vehicle.
  • the control unit 107 may be configured to determine whether or not there is a change in the route of the host vehicle based on the control signal received by the receiving unit 105.
  • the receiving unit 105 receives these control signals, the above-described operation support process can be started.
  • the control unit 107 changes to the course of the vehicle S
  • the direction in which the image processing unit 103 moves the clipped image data 202 is preferably the direction indicated by the information indicating that the vehicle should turn left or right.
  • the control unit 107 determines that the course of the host vehicle has changed. be able to. In this case, the control unit 107 may perform the above-described driving support process on the assumption that there is a change in the course of the own vehicle, and accordingly that the course of the own vehicle is changed.
  • the direction in which the image processing unit 103 moves the cut-out image data 202 is preferably the direction close to the road facility from the own vehicle.
  • the control unit 107 is changed to the route of the own vehicle. It is possible to judge that there is a certain (there is a possibility of change).
  • the direction in which the image processing unit 103 moves the clipped image data 202 is preferably the direction indicated by the information indicating that there is road construction, a traffic accident, a traffic jam, or the like.
  • the control unit 107 changes to the course of the host vehicle. There is a power to judge that there is a possibility (there is a possibility of change).
  • the number of lanes (2 lanes, 3 lanes, etc.) on the road on which the vehicle is traveling, the location where multiple lanes meet, etc. If information indicating that there is an increase or decrease in the number of lanes, or that there is a merge or branch, etc., the control unit 107 shall determine that there is a change in the course of the vehicle (or there is a possibility of a change). Touch with force S.
  • the reception unit 105 includes speed data, acceleration data, and rotational speed of the host vehicle input from a speedometer, an accelerometer, a rotational speed meter such as an engine, and a braking device (brake) provided in the host vehicle. Data, brake signals, etc. may be received as information 151 indicating the driving status of the host vehicle.
  • the control unit 107 is configured to determine whether or not there is a change in the course of the host vehicle based on the speed data, acceleration data, rotation speed data, and brake signal received by the reception unit 105. Also good. In addition, when the receiving unit 105 receives these control signals, the driving support process described above can be started.
  • FIG. 8 is a configuration example of a screen 800 displayed on the monitor 123.
  • the monitor 1 23 corresponds to an information display area 801 that displays image data obtained by combining the cut-out image data 202 and the risk guide line 601 that is driving assistance data (or the risk guide area 701), and the cut-out area 401
  • a visual field display area 802 showing a visual field range 805, a message display area 803, and a force S.
  • the image displayed on the monitor 123 is displayed at the visual field display area 802
  • the direction of the image displayed on the monitor 123 is I will never lose sight of the video.
  • This diagram is only an example, and the configuration of the screen 800 may be changed freely.
  • the camera 121 is installed in the vicinity of the license plate and the rear glass behind the host vehicle, but the installation location is not limited to this.
  • a camera 121 may be installed in the vicinity of the side mirror so that the rear of the host vehicle can be photographed.
  • the driving support process may be performed when a power vehicle that is assumed to be moving forward moves backward.
  • the driving assistance data may be generated when the course of the host vehicle is changed and an obstacle (such as a wall, person, fixed object, or other vehicle) approaches within a certain distance.
  • Embodiment 4 will be described below in which driving support processing is performed when the vehicle moves backward, and driving support data is generated when the route is changed and an obstacle approaches within a certain distance.
  • FIG. 9 shows a flowchart of the driving support process according to the fourth embodiment of the present invention.
  • the driving support process according to the fourth embodiment performs step S301a instead of step S301, and executes steps S309 to S311 instead of steps S307 and S308.
  • the driving support process according to the first embodiment shown in FIG. It is the same as the processing.
  • the driving support process according to the fourth embodiment is executed when the driver puts the gear back.
  • the driving support device 100 first analyzes the captured image data 201 captured by the camera 121 to determine whether there is an obstacle within a predetermined distance behind the host vehicle. If there is an obstacle, the driving support device 100 acquires the distance from the own vehicle to the obstacle from the measuring unit 102 (step S301a).
  • the driving support device 100 After obtaining the information 151 indicating the driving status of the host vehicle (step S302), the driving support device 100 sets the image data clipping region to the reference position HP when the course is changed (step S303: YES). (Step S304), and image data is extracted (step S305). Then, the driving support device 100 determines whether or not the distance from the own vehicle acquired in step S301a to the obstacle is within a predetermined distance (step S309).
  • step S310 When the distance from the host vehicle to the obstacle is within the predetermined distance (step S309: YES), the driving support device 100 obtains driving support data (step S310). For example, the type of obstacle, the shape of the indicator bars 01 and 701), etc. are obtained as the driving support data by the same processing as in step S306.
  • step S309 NO
  • step S310 the driving support device 100 outputs driving support data and cut-out image data 202 ( Step S311).
  • step S305 or step S311 The assisting device 100 ends the driving support process.
  • the driving support apparatus even when the vehicle is moving backward, the driving operation of the driver can be easily supported at a low cost and with ease.
  • driving assistance data is displayed, so the driving assistance data is displayed regardless of whether the route has changed or the distance to the obstacle. It is possible to alert the driver about the approaching obstacles than when doing so.
  • the fourth embodiment described above has a configuration in which the cutout region 401 is moved from the reference position HP (step S305) when the host vehicle changes its course (step S303: YES). However, when the distance between the host vehicle and the obstacle regardless of whether the route is changed is within a predetermined distance (step S309: YES), the cutout area 401 may be moved (step S305).
  • the image processing unit 103 is based on the operation by the user of the operation panel 125 connected to the force receiving unit 105 that moves the cutout region 401 when it is determined that there is a change in the course of the host vehicle. May be moved.
  • the accepting unit 105 accepts an instruction to change the display angle displayed on the monitor 123 from the user regardless of the change in the course of the host vehicle, and the image processing unit 103 cuts out the area 401 in the instructed direction. It may be changed.
  • the camera 121 may always change the power S for capturing a rear image and the timing for capturing the image arbitrarily. For example, when it is determined in step S303 that there is a change in the course of the host vehicle, the camera 121 may start shooting.
  • the measurement unit 102 may measure the absolute speed of the other vehicle 213, which is a force that measures the relative speed of the other vehicle 213 with respect to the host vehicle.
  • a computer-readable recording medium such as a memory card, CD-ROM, DVD-ROM, or MO (Magneto Optical disk) is stored as a program for operating the driving support apparatus 100 as all or part of the apparatus. It may be stored and distributed in a computer, installed in another computer, operated as the above-mentioned means, or the above-mentioned steps may be executed.
  • a computer-readable recording medium such as a memory card, CD-ROM, DVD-ROM, or MO (Magneto Optical disk) is stored as a program for operating the driving support apparatus 100 as all or part of the apparatus. It may be stored and distributed in a computer, installed in another computer, operated as the above-mentioned means, or the above-mentioned steps may be executed.
  • the program is stored in a disk device or the like of the server device on the Internet, and is, for example, superimposed on a carrier wave and downloaded to a computer. Good.
  • a driving support device As described above, according to the present invention, a driving support device, a driving support method, and a program suitable for supporting the driving operation of the driver of the vehicle at a low cost and with a component force are provided. Can provide power S.

Description

明 細 書
運転支援装置、運転支援方法、及び、プログラム
技術分野
[0001] この発明は、車両の運転操作を支援するために好適な運転支援装置、運転支援 方法、及び、プログラムに関する。
背景技術
[0002] 走行中のドライバーにとって自車の周囲を走行する他車や障害物等に関する情報 を的確に把握することは重要なことである。そのためドライバーの運転を支援するた めの様々な装置が開発されている。例えば、特許文献 1には、 自車の後方を走行す る車両の接近度合いをドライバーに伝える装置が開示されている。この装置は後方 車両の接近の度合レ、（リスクポテンシャル)をインジケータの画像で表示する。ドライ バーはインジケータの画像を見て自車の後方のリスクを把握できる。
[0003] また、自車が車線変更する際にドライバーの運転操作を支援するための装置も提 供されている。例えば、特許文献 2には、自車と隣接車線を走行する他車とのスピー ド差が小さ!/、場合でも車線変更しやす!/、ように支援する装置が開示されて!/、る。これ によれば、装置は車線変更の際に適した車間距離やスピード等を算出するので、ド ライバーは表示された加減速操作及び車線変更操作の案内に従って運転できる。 特許文献 3には、ドライバーのウィンカー操作を検出すると車線変更を支援する表 示を行う装置が開示されている。これによれば、装置はウィンカー操作を検出すると 自車の左右後方の走行環境情報を表示するセグメントの輝度や色を変えるので、ド ライバーは表示の変化を見て危険度を把握できる。
特許文献 4には、後側方映像をドライバーにタイミング良く提供することで車線変更 を支援する装置が開示されている。これによれば、装置はドライバーによる具体的な 車線変更指示がなくても前方車両との相対関係に基づいて 2画面の後側方映像を 提供するので、ドライバ一は必要に応じてこの映像を参考に車線変更操作ができる。 特許文献 5には、後側方映像にガイド線を重ねて表示することで車線変更を支援 する装置が開示されている。これによれば、装置は右左折や車線変更をすべきでな い距離、注意が必要な距離、問題がない距離等をガイド線で表示するので、ドライバ 一はこのガイド線を見て適切な運転操作ができる。
特許文献 6には、自車後方を広範囲に写すことができる装置が開示されている。こ れによれば、装置はハンドルの操作やウィンカーの操作に応じてァクチユエ一ターで カメラの角度を変えるので、ドライバ一は特に注意すべき方向の映像を確認しながら 運転操作できる。
特許文献 1：特開 2005— 145292号公報
特許文献 2：特開 2006— 324727号公報
特許文献 3：特開 2002— 074596号公報
特許文献 4 :特開 2005— 141484号公報
特許文献 5 :特開 2006— 051850号公報
特許文献 6：特開 2002— 204446号公報
発明の開示
発明が解決しょうとする課題
[0004] しかしながら、上記のような従来技術では、ドライバ一力 画面のインジケータ、操作 の案内、セグメント、ガイド線などを見てスピードや進路を瞬時に判断することは容易 ではなかった。また、ァクチユエ一ターあるいは複数のカメラが必要なため、システム のコストが高い。
[0005] この発明は、上記実情に鑑みてなされたものであり、車両のドライバーの運転操作 を分かりやすい表示で支援する運転支援装置、運転支援方法、及び、プログラムを 提供することを目的とする。
また、この発明は、低コストで構成可能な運転支援装置、運転支援方法、及び、プ ログラムを提供することを他の目的とする。
課題を解決するための手段
[0006] 上記目的を達成するため、本発明の第 1の観点に係る運転支援装置は、
自車両の後方の画像を撮影する撮影部と、
前記自車両の運転状況を示す運転情報を取得する運転情報取得部と、 前記運転情報取得部により取得された運転情報に基づいて、自車両の進路変更 の有無及び進路の変更方向を判別する進路判別部と、
前記進路判別部により自車両の進路変更があると判別された場合に、前記進路判 別部により判別された自車両の進路の変更方向に基づいて、前記撮影部により撮影 された画像から所定領域を抽出する抽出部と、
前記抽出部により抽出された画像を表示する表示部と、
を備えることを特徴とする。
[0007] 前記運転情報取得部により取得された運転情報と前記撮影部により撮影された画 像とに基づいて、運転者を支援するための支援情報を生成する支援情報生成部をさ らに備え、
前記表示部は、前記抽出部により抽出された画像と前記支援情報生成部により生 成された前記支援情報とを表示してもよ!/、。
[0008] 前記運転情報取得部は、自車両が道路標示から所定距離範囲内にあるか否か及 び自車両が該道路標示に近づく方向を示す情報を運転情報として取得し、
前記進路判別部は、自車両が道路標示から所定距離範囲内にあるか否かで自車 両の進路変更の有無を判別し、自車両が該道路標示に近づく方向に基づいて進路 の変更方向を判別してもよレ、。
[0009] 車両の種類を示す車種情報と、運転者に報知すべき報知情報とを対応付けて記憶 する記憶部と、
前記撮影部により撮影された画像に基づいて、自車両後方の他車両の種類を判別 する車種判別部と、
をさらに備え、
前記支援情報生成部は、前記車種判別部により判別された他車両の種類と対応 する前記報知情報を読み出して、該報知情報を含む前記支援情報を生成することも できる。
[0010] 前記支援情報生成部は、自車両力 の距離の指標となる指標バーと、前記抽出部 により抽出された画像において該指標バーを配置する位置とを示す情報を前記支援 情報として生成してもよい。
[0011] 自車両と他車両との車間距離又は相対速度を測定する測定部をさらに備え 前記支援情報生成部は、前記測定部により測定された車間距離又は相対速度に 基づいて前記指標の数、形状、大きさ、色及び前記指標を配置する位置を示す情報 を前記支援情報として生成することもできる。
[0012] 前記運転情報取得部は、自車両の方向指示器がどの方向を指している力、を示す 方向指示情報を前記運転情報として取得し、
前記判別部は、前記方向指示情報に基づいて、 自車両の進路の変更方向を判別 することあでさる。
[0013] 前記運転情報は、自車両の速度を示す情報と、加速度を示す情報と、エンジンの 回転速度を示す情報と、ブレーキをかけた旨を示す情報と、道案内情報と、位置情 報と、交通情報と、気象情報と、道路情報と、のうち少なくとも 1つ以上を含んでもよい
[0014] 本発明の第 2の観点に係る運転支援方法は、
自車両の後方の画像を撮影する撮影ステップと、
前記自車両の運転状況を示す運転情報を取得する運転情報取得ステップと、 前記運転情報取得ステップで取得された運転情報に基づいて、自車両の進路変 更の有無及び進路の変更方向を判別する進路判別ステップと、
前記進路判別ステップで自車両の進路変更があると判別された場合に、前記進路 判別ステップで判別された自車両の進路の変更方向に基づいて、前記撮影部により 撮影された画像から所定領域を抽出する抽出ステップと、
前記抽出部により抽出された画像を表示する表示ステップと、
を備えることを特徴とする。
[0015] 本発明の第 3の観点に係るプログラムは、
コンピュータを、
自車両の後方の画像を撮影する撮影部、
前記自車両の運転状況を示す運転情報を取得する運転情報取得部、 前記運転情報取得部により取得された運転情報に基づいて、自車両の進路変更 の有無及び進路の変更方向を判別する進路判別部、
前記進路判別部により自車両の進路変更があると判別された場合に、前記進路判 別部により判別された自車両の進路の変更方向に基づいて、前記撮影部により撮影 された画像から所定領域を抽出する抽出部、
前記抽出部により抽出された画像を表示する表示部、
として機能させることを特徴とする。
発明の効果
[0016] 本発明によれば、車両のドライバーの運転操作を分力、りやすく且つ低コストで支援 するために好適な運転支援装置、運転支援方法、及び、プログラムを提供することが できる。
図面の簡単な説明
[0017] [図 1]本願発明の実施形態 1にかかる運転支援装置の構成を説明するための図であ
[図 2]実施形態 1にかかるカメラで撮影された画像データの例を示す図である。
[図 3]実施形態 1にかかる運転支援装置が実行する運転支援処理を説明するための フローチャートである。
[図 4] ω実施形態 1にかかる、カメラで撮影された撮影画像データと切り出し領域の 例を示す図である。 （b)実施形態 1にかかる、切り出し画像データの例を示す図であ
[図 5] ω実施形態 1にかかるカメラで撮影された撮影画像データと切り出し領域の例 を示す図である。 （b)実施形態 1にかかる切り出し画像データの例を示す図である。
[図 6] ω実施形態 1にかかる、切り出し画像データと危険度を示す情報を合成した画 像データの例を示す図である。 （b)実施形態 1にかかる、危険度を示す運転支援デ 一タの例を示す図である。 （c)実施形態 1にかかる、危険度を示す運転支援データの 例を示す図である。 （d)実施形態 1にかかる、ユーザーに報知する情報の例を示す 図である。
[図 7]本願発明の実施形態 2にかかる、切り出し画像データと危険度を示す情報を合 成した画像データの例を示す図である。
[図 8]本願発明の実施形態 3にかかる、モニターに映し出される画面の構成例を示す 図である。 [図 9]本願発明の実施形態 4にかかる運転支援処理を説明するためのフローチャート である。
符号の説明
100 運転支援装置
101 撮影部
102 測定部
103 画像処理部（抽出部、出力部）
104 音声処理部
105 受付部（通知部）
106 記憶部
107 制御部（生成部）
108 システムバス
121 カメラ
122 距離測定器
123 モニター
124 スピーカー
125 操作パネル
151 運転状況を示す情報
201 撮影画像データ
202 切り出し画像データ
401 切り出し領域 (所定領域）
601 危険度目安線 (危険度を示す情報）
602 ユーザーに報知する情報
701 危険度目安領域 (危険度を示す情報)
800 画面
801 情報表示領域
802 視野表示領域
803 メッセージ表示領域 804 自車両
805 視野範囲
発明を実施するための最良の形態
[0019] (実施形態 1)
本発明の実施形態について説明する。以下の説明では、ドライバーが運転中に自 車両の後方などを確認しながら車線変更する場面を想定して説明する。ただし、これ は一例に過ぎず、本発明の範囲を限定するものではない。ここで、車両の「後方」に は、車両の真後ろの方向のみならず、サイドミラー等によりドライバーが視認できる車 両の左右の斜め後ろの方向を含む。
[0020] 図 1は、本実施形態の運転支援装置 100の構成を示す図である。本図に示すよう に、運転支援装置 100は、撮影部 101、測定部 102、画像処理部 103、音声処理部 104、受付部 105、記憶部 106、制御部 107、システムバス 108を備える。
[0021] 図 2は、撮影部 101によって取得されて、画像処理部 103による後述する画像処理 の対象となる画像データ（以下、「撮影画像データ 201」と呼ぶ）の一例を示す図であ
[0022] 撮影部 101は、自車両の後方を撮影するカメラ 121から撮影画像データ 201を取 得して、画像処理部 103に入力する。典型的には、この撮影画像データ 201はリア ルタイムの動画像のデータである。本実施形態では、このカメラ 121が撮影する画像 の範囲は、自車両のルームミラーとサイドミラーで映っている範囲に相当する。カメラ 121は自車両の後方に固定された魚眼力メラである。例えば、カメラ 121は、 自車両 後方のナンバープレート付近や後部ガラス付近に設置される。より広範囲の画像を 得るためには魚眼力メラが適している力 S、他の形態のカメラを採用することも可能であ る。カメラ 121による撮影方向は所定方向に固定されている力 状況に応じて可変に してもよい。また、撮影倍率は所定倍率に固定されている力 状況に応じて可変にし てもよい。カメラ 121による撮影画像データ 201は、画像処理部 103により所定の画 像処理が施された後、モニター 123に表示される。
[0023] 測定部 102は、自車両の後方に存在する他車両の位置を測定する距離測定器 12 2から距離データを取得し、また、自車両と他車両との相対速度を測定する。例えば 、距離測定器 122は、所定波長の電磁波や超音波を発信してその反射波を測定す ることにより対象物までの距離を測定するレーダーである。測定部 102は、測定した 距離データ及び/又は相対速度を制御部 107に入力する。測定部 102が測定する 対象物は後方を走行する他車両に限らず、建物などの固定物、障害物、通行人など の場合もある。測定部 102は、撮影部 101によって取得された複数の撮影画像デー タ 201の差分情報から画像データの動きベクトルを取得し、それにより自車両に対す る他車両の相対速度を検出してもよ!/、。
[0024] 画像処理部 103は、撮影部 101により取得された撮影画像データ 201を、制御部 1 07や画像処理部 103が備える画像演算プロセッサ（図示せず）によって加工処理し た後、これを画像処理部 103が備えるフレームメモリ（図示せず）に記録する。フレー ムメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画 像処理部 103に接続されるモニター 123へ出力される。これにより、各種の画像表示 が可能となる。例えば、画像処理部 103は、撮影画像データ 201の全部、又は、この うち所定の一部領域を切り出した画像データ（以下、「切り出し画像データ 202」と呼 ぶ）の映像をモニター 123に出力する。また、画像処理部 103は、この撮影画像デー タ 201や切り出し画像データ 202に運転支援用の様々なデータ（以下、「運転支援 データ」と呼ぶ）を合成した映像をモニター 123に出力する。ドライバ一は、モニター 1 23に映し出された映像を随時見ることができる。ここで、撮影部 101により取得された 撮影画像データ 201のうち、ビデオ信号に乗せる領域を、撮影部 101が備えるデイジ タルシグナルプロセッサ（Digital Signal Processor; DSP、図示せず）が設定するように 構成してもよい。
[0025] なお、運転支援装置 100は、カーナビゲーシヨンシステム、道路交通情報通信シス テム、テレビジョン受信装置（レ、ずれも図示せず）などの外部装置とケーブルや無線 で互いに接続されていてもよい。そして、画像処理部 103は、これらの外部装置など から入力される動画像'静止画像を画像処理して出力してもよい。また、これらのよう な他のシステム ·装置と、モニター 123を共用した構成を採用してもよ!/、。
[0026] 例えば、図 2は、自車両が片側 2車線道路の左側車線を走行しているときの撮影画 像データ 201の例であり、カメラ 121によって撮影された全体画像である。例えば、こ の撮影画像データ 201には、路面に描かれた道路標示 211、側壁 212のほか、後方 の右側車線を走行する他車両 213などが写っている。ここでは、道路標示 211とは、 通常白色や黄色で路面に描かれたライン（中央線、側線など）を指す。モニター 123 には、カメラ 121で撮影された映像がリアルタイムで出力される。ただし、モニター 12 3の画質、画素数、カラー数、フレーム数などは本発明によって限定されない。本図 に示した撮影画像データ 201は一例に過ぎない。
[0027] 音声処理部 104は、制御部 107の制御により、記憶部 106に予め記憶された警告 音 ·案内音声などの音声データを D/A (Digital/Analog)コンバータ（図示せず）で変 換して所定の再生プログラムで再生し、スピーカー 124から音声を出力する。音声処 理部 104は、カーナビゲーシヨンシステム、道路交通情報通信システム、テレビジョン 受信装置などの外部装置から入力される音声を出力してもよい。また、これらのような 他のシステム ·装置と、スピーカー 124を共用した構成を採用してもよ!/、。
[0028] なお、運転支援装置 100は、 自車両の後方で発せられた音を集音するマイクロフォ ンを更に備え、このマイクロフォンで集音した音声データをスピーカー 124から出力 するように構成することもできる。これにより、運転支援装置 100は、画像だけでなく音 声もドライバーに伝達できるので、よりユーザーフレンドリーなインターフェイスを提供 できる。
[0029] 受付部 105は、ユーザー（ドライバーや助手席の人など）による操作パネル 125から の指示入力を受け付けて、この指示入力に対応する制御信号を制御部 107に入力 する。例えば、この操作パネル 125は、運転支援装置 100の主電源ボタン、画質調 整や音量調整を行うためのボタンなど、運転支援装置 100に各種の指示を与えるた めの入力インターフェイスを備える。
[0030] また、受付部 105は、自車両の運転状況を示す情報 151の入力を受け付けて、対 応する制御信号を制御部 107に入力する。例えば、この自車両の運転状況を示す 情報 151とは、（a)カーナビゲーシヨンシステム、道路交通情報通信システムなどから 入力される道案内けビグーシヨン)情報、位置情報、交通情報、気象情報、道路情 報などの制御信号、（b)自車両に備え付けられた速度計、加速度計、制動装置など 力も入力される自車両の速度データ、加速度データ、ブレーキ信号、（c)方向指示器 (ウィンカー）から入力される方向指示信号、などである。なお、受付部 105は、これら (a)〜（c)に例示したものの全部あるいは一部を含むデータを受け付けるように構成 してもよい。例えば、道路の傾斜具合ゃ自車の左右'前後の傾き具合を測定する傾 きセンサからの入力などを受け付けるように構成してもよい。
[0031] 記憶部 106は、測定部 102により測定された位置や速度のデータ、制御部 107に より得られた後述する運転支援データ、運転支援装置 100全体を制御するためのォ ペレ一ティングシステム（OS)、各種制御プログラムなどを記憶する。例えば、記憶部 106は、ハードディスク装置、 ROM (Read Only Memory)、 RAM (Random Access M emory)、フラッシュメモリなどから構成される。
[0032] 制御部 107は、例えば CPU (Central Processing Unit)や ECU (Electronic Control
Unit)から構成され、 ROMに記憶された OSや制御プログラムに従って、運転支援 装置 100全体の制御を行う。制御部 107は、制御の必要に応じて、各部に制御信号 およびデータを送信、または、各部から応答信号およびデータを受信する。制御部 1 07は、自車両の後方の状況に基づいてドライバーに運転を支援するための情報を 提供する処理 (以下、「運転支援処理」と呼ぶ）を行うが、詳細は後述する。
[0033] システムバス 108は、撮影部 101、測定部 102、画像処理部 103、音声処理部 104 、受付部 105、記憶部 106、制御部 107との間で命令やデータを転送するための伝 送経路である。
[0034] なお、運転支援装置 100は、これらの各部のほ力、、 CD -ROM (Compact Disc-Re ad Only Memory)ドライブ、 DVD— ROM (Digital Versatile Disc-Read Only Memory )ドライブ、 GPS (Global Positioning System)送受信機、携帯電話等の通信機能、 ET C (Electronic Toll Collection)システムなどをさらに備える（あるいはこれらに接続され る）こともできる。また、本実施形態では、自車両の後方を撮影するカメラ 121を 1つだ け備えているが、複数のカメラで真後ろの方向や斜め後ろの方向など、複数の方向 を撮影し、これらのカメラの撮影画像から、自車両の後方の画像を取得するように構 成することも可能である。
[0035] 次に、運転支援装置 100の上述した各部が協働して行う運転支援処理について説 明する。図 3は、運転支援処理を説明するためのフローチャートである。以下の説明 では、特に断りのない限り、カメラ 121は常に映像を撮影しており撮影部 101は撮影 画像データ 201を取得するものとする。また、この運転支援処理は、ドライバーが自 車両のエンジンをかけた後など運転中に実行される。以下詳述する。
[0036] まず、測定部 102は、制御部 107の制御により、自車両の周辺の他車両 213の位 置と、自車両に対する他車両 213の相対速度を測定し (ステップ S301)、得られた位 置と相対速度を示す情報を制御部 107に入力する。あるいは、記憶部 106の所定の 記憶領域にこれらの情報を記憶して、制御部 107が任意のタイミングで読み出すよう にしてもよい。本実施形態では、他車両 213とは、自車両の後方を走行する自動車 等であり、自車両の真後ろに同じ車線を走行するものもあれば、走行車線の隣り（追 い越し車線、登坂車線など）の車線を走行するものもある。また、自車両の後方の路 側付近を走行するバイク、自転車等の軽車両でもよ!/、。
[0037] 具体的には、画像処理部 103は、図 4 (a)に示すような、カメラ 121によって撮影さ れた撮影画像データ 201を画像解析して他車両 213を判別する。例えば、画像処理 部 103は、一般に広く用いられているパターンマッチングや空間周波数などを用いた 手法により、撮影画像データ 201の中から他車両 213に相当する画像部分を判別し 、他車両 213を識別する。そして、測定部 102は、識別した他車両 213が存在する方 向を求める。また、測定部 102は、運転支援装置 100が備えた距離測定用のレーダ 一から発射された電磁波あるいは超音波の波長、その反射波が到達する時間、自車 両の速度等に基づいて、識別した他車両 213までの距離と相対速度を求める。これ により、測定部 102は、後方を走行する他車両 213の位置と相対速度を得ることがで きる。
[0038] なお、他車両 213の位置を示す情報のうち、方向は、精密な情報である必要はなく 、例えば「同じ車線を走行している」「右隣（あるいは左隣）の車線を走行している」「2 車線右隣 (あるいは左隣)を走行してレ、る」などのような、おおよその情報が得られれ ばよ!/、。他車両 213あるいは自車両がどの車線を走行して!/、るのかを判別するため には、撮影画像データ 201に含まれる道路標示 211に相当する画像部分の位置、 形状、大きさ等をパターンマッチングすればよい。
[0039] 次に、受付部 105は、制御部 107の制御により、 自車両の運転状況を示す情報 15 1の入力を受け付ける（ステップ S302)。
[0040] 例えば、自車両の運転状況を示す情報 151は、 自車両が路面の白線などの道路 標示 211を跨ぐ旨の通知である。すなわち、画像処理部 103は、一般に用いられる ノ ターンマッチング等の手法により路面に描かれた白線などの道路標示 211を識別 し、この道路標示 211が自車両の跨ぐ位置にあるか否かを判別し、跨ぐと判別された 場合には、自車両の進路が道路標示 211を跨ぐ旨の通知を受付部 105に通知する 。あるいは、 自車両が実際に道路標示 211を跨いだり踏んだりしなくても、道路標示 2 11から所定距離以内に接近して!/、る旨を通知するようにしてもよ!/、。
[0041] このように、画像処理部 103は、自車両が走行する道路上の道路標示 211を識別 し、自車両が道路標示 211から所定距離範囲内にある場合、道路標示 211から所定 距離範囲内にある旨を通知する通知部、としても機能する。
[0042] 制御部 107は、受付部 105が受け付けた運転状況を示す情報 151に基づいて、自 車両の進路に変更があるか否かを判断する（ステップ S303)。例えば、自車両の進 路が道路標示 211を跨ぐ旨の通知を受付部 105が受け付けた場合に、受付部 105 はこの通知を受け取った旨を制御部 107に入力し、制御部 107は自車両の進路に 変更があると判断する。
[0043] 自車両の進路に変更があると判断された場合 (ステップ S303 ; YES)、画像処理部 103は、撮影画像データ 201の一部に設定した切り出し領域 401を変更する（ステツ プ S304)。そして、画像処理部 103は、図 4 (b)に示すように、撮影画像データ 201 力も切り出し領域 401に含まれる画像データを切り出し画像データ 202として抽出す る（ステップ S306)。
[0044] すなわち、画像処理部 103は、所定の矩形領域を切り出し領域 401として定めてお き、この切り出し領域 401に含まれる画像データを切り出し画像データ 202として抽 出する。画像処理部 103は、切り出し領域 401の位置を任意に変更できる。
[0045] 例えば、画像処理部 103は、自車両が道路標示 211を跨ぐと判別すると、道路標 示 211を跨ぐ向きを、自車両の進路の変更する向きと判断する。 自車両が進行方向 に向かって右側（ある!/、は左側）に進路が変わる場合、自車両は右側（あるいは左側 )の道路標示 211を跨ぐことになる（言い換えれば、撮影画像データ 201は自車両が 右側（あるいは左側）の道路標示 211を跨ぐような画像となる）ので、自車両の進路の 変更する向きは右側（あるいは左側）であると判断できる。そして、画像処理部 103は 、図 5 (a)に示すように、カメラ 121で撮影されて得られた撮影画像データ 201のうち 、 自車両の進路の変更する向きに切り出し領域 401を移動させる。このとき、移動し た切り出し領域 401に対応する切り出し画像データ 202は、図 5 (このようになる。
[0046] ここで、切り出し領域 401の移動の仕方には様々なバリエーションが考えられる。本 実施形態では、画像処理部 103は、自車両の進路の変更する向きに徐々に連続的 に移動させる。すなわち、モニター 123に映し出される映像の向き（カメラ視線の向き )は、自車両の進路の変更する向きに徐々に移っていき、途中でコマ落ちのように非 連続的に途切れることがない。これにより、ユーザーはモニター 123の映し出す映像 がどの向きの映像なのか見失うことがない。
[0047] また、画像処理部 103は、自車両の進路の変更の量が大きいほど、切り出し領域 4 01を移動させる量を大きくする。すなわち、画像処理部 103は、撮影画像データ 201 に含まれる道路標示 211に対応する画像の移動量が大き!/、ほど、切り出し領域 401 の移動量を大きくする。
[0048] また、画像処理部 103は、自車両が進路を変更する速さが大きいほど、切り出し領 域 401を移動させる速さを大きくする。すなわち、画像処理部 103は、撮影画像デー タ 201に含まれる道路標示 211に対応する画像の単位時間あたりの移動量が大き!/、 ほど、切り出し領域 401の単位時間あたりの移動量を大きくする。これによつて、自車 両の進路がゆっくりと変わっていく場合にはモニター 123の映像の向き（カメラ視線の 向き）はゆっくりと変わり、進路が急に変わる場合には映像の向きは素早く変わる。運 転支援装置 100は運転状況に応じてユーザーに有益な情報を提供できる。
[0049] また、画像処理部 103は、切り出し領域 401が撮影画像データ 201からはみ出さな い位置を移動の限界位置とする。すなわち、図 5 (a)において、切り出し領域 401を 示す矩形の左端が、撮影画像データ 201の左端より左側にならないように移動させる 。右端、上端、下端についても同様である。
[0050] さらには、画像処理部 103は、自車両の進路の変更する向きと合わせて他の要素 を考慮して、切り出し領域 401の移動方向、形状、拡大率 (縮小率）、解像度などを 変えても良い。例えば、後方に認識した他車両 213の速度（あるいは自車両に対す る他車両 213の相対速度）が大きいほど、切り出し領域 401の形状や大きさを変えて 切り出し画像データ 202の範囲を変えることもできる。これにより、接近する他車両 21 3と自車両との距離間隔が分力、りやすいようにフレキシブルに表示させることができる
〇
[0051] なお、切り出し領域 401の形状は矩形に限られず他の形状であってもよい。
[0052] このように、画像処理部 103は、撮影画像データ 201から切り出し画像データ 202 を抽出する抽出部としても機能する。
[0053] 一方、ステップ S303で、 自車両の進路に変更がな!/、と判断された場合 (ステップ S 303 ; NO)、運転支援装置 100は、切り出し領域 401の中心点が基準位置 HPに一 致するように切り出し領域 401を移動させる（ステップ S305)。
[0054] ここで、基準位置 HPとは、自車両の進路に変更がな!/、状態、言!/、換えれば、運転 支援装置 100の電源が投入された直後のデフォルト位置であり、画像処理部 103が 予め設定したホームポジションである。例えば、図 4 (a)及び図 5 (a)に示すように、魚 眼レンズで撮影した撮影画像データ 201の中心点を基準位置 HPとする。この基準 位置 HPは、ユーザーにとって特に必要な情報でないため、図 4 (b)及び図 5 (b)に 示すように、モニター 123には表示されない。なお、画像処理部 103は、切り出し領 域 401をホームポジションに戻す際にも、徐々に連続的に移動させ、映像が途中で コマ落ちのように非連続的にならないようにする。
[0055] 切り出し領域 401の位置を変更した後（ステップ 304)、又は切り出し領域 401をホ ームポジションに戻した後（ステップ S305)、画像処理部 103は、設定した切り出し領 域 401に含まれる画像データを、切り出し画像データ 202として抽出する（ステップ S 306)。
[0056] 次に、制御部 107は、自車両が進路変更する際の危険度を示す情報 (運転支援デ ータ）を求める（ステップ S307)。
[0057] 詳細には、制御部 107は、切り出し画像データ 202における所定の点の自車両か らの距離を計算し、指標 (指標バー）の数、形状、色、大きさ、及び指標 (指標バー） を表示する位置を求める。ここで、指標（指標バー）とは、ドライバーの運転を支援す るために表示する、自車両からの距離の指標又は目安となる図形のことである。例え ば、図 6 (a)に示すように指標（指標バー）を、細長い線 (以下「危険度目安線」と呼ぶ ) 601とすることもできる。そして、危険度に応じて危険度目安線の数、太さ、色、配置 する位置を変更する。危険度目安線 601は、ユーザーにとって自車両が車線変更や 進路変更する際にどの程度危険か (安全か)を示す情報 (運転支援データ）となる。 例えば、図 6 (a)に示すように、制御部 107は、切り出し画像データ 202に位置関係 力きちんとおさまるように危険度目安線 601 (図中では 601A、 601B、 601Cと表記） を引く位置を決める。典型的には、制御部 107は、自車両の最後部から所定の距離 間隔（例えば 10メートル間隔など）で、切り出し画像データ 202内の点と実際の距離 とを対応させて、図 6 (b)に示すような危険度目安線 601をモニター 123に表示する 位置を決める。
[0058] また、制御部 107は、自車両に対する他車両 213の相対速度に応じて、危険度目 安線 601を引く位置を変える。すなわち、相対速度が大きい場合には自車両付近ま で到達するまでの時間が短くなるため、危険度目安線 601の間隔を広くし、相対速 度が小さ!/、場合には危険度目安線 601の間隔を狭くする。
[0059] 本実施形態では、制御部 107は、複数の危険度目安線 601の位置を求め、最も自 車両に近!/、危険度目安線 601 (図 6 (a)では 601A)の色を赤にして太めの線状の図 形にする。さらに、自車両から遠ざかるにつれて色を赤色/黄色/青色のように色分 けし、且つ、線の太さをだんだんと細くしていく。また、制御部 107は、測定部 102に よって測定された他車両 213の位置や速度（相対速度）に応じて危険度のレベルを 判定し、判定結果によって危険度目安線 601を強調して表示するように制御する。
[0060] なお、運転支援データである危険度目安線 601の数、色、形状、長さ、太さ、大きさ 、距離間隔などを任意に変更した実施形態を採用することも可能であるが、このよう な変形例も本発明の範囲に含まれる。また、危険度目安線 601を点滅させたり色を 時間毎に変えたりしてもよい。また、画像処理部 103が危険度目安線 601を含む画 像を出力するとともに、音声処理部 104がスピーカー 124から警告音 ·お知らせ音声 などを再生するように構成してもよい。
[0061] 運転支援データは危険度目安線 601に限られず、他の情報も含めることができる。 例えば、図 6 (c)に示すように、それぞれの危険度目安線 601に対応づけて実際の 距離の目安を表す文字情報等を加えることもできる。
[0062] 応用例として、制御部 107は、後方から他車両 213が接近してくる場合、その他車 両の推定速度や、自車両付近まで到達するであろう推定時間なども計算し、危険度 目安線 601と合わせて運転支援データとすることもできる。
[0063] 他の応用例として、画像処理部 103は、後方に他車両 213が接近している場合、 記憶部 106に予め記憶された様々な車両の車種や車体の大きさなどを判別できるデ ータを元に、パターンマッチングなどの画像処理の手法により他車両の車種や車体 などを判別し、制御部 107は、画像処理部 103によって判別された車種や車体など の情報も運転支援データの 1つとして用いることもできる。例えば、画像処理部 103 は、後方から接近してくる他車両を、バイクなどの軽車両/普通車両/トラックなどの 大型車両、のように分類して、制御部 107は、この分類結果を運転支援データの 1つ とすること力 Sできる。例えば、図 6 (d)に示すように、車種の分類と、その車種の他車両 213が接近する場合にユーザーに報知する情報 602を、記憶部 106が予め記憶し、 制御部 107はこの情報を元に運転支援データを生成する。分類の仕方は任意であり 、ユーザーに報知する情報 602を文字や画像により出力してもよいし、音声等により 出力してもよい。このようにすれば、判別した車種によって、バイクなら「巻き込み注意 」、大型車なら「視界悪化に注意」などのように、ユーザーに提供できる情報を状況に よって相応しい内容に変えることができる。提供する情報の内容は任意に変更してよ V、。車種や車体などを判別する手法はこれに限られな!/、。
[0064] このようにして制御部 107は、自車両の後方への距離間隔をユーザーが得やすい ように支援するために有用な運転支援データを生成する。すなわち、制御部 107は、 測定部 102により測定された情報に基づいて自車両が進路変更する際の危険度を 示す情報を生成する生成部として機能する。
[0065] そして、画像処理部 103は、切り出し画像データ 202と、制御部 107がステップ S3 06で求めた運転支援データ（危険度を示すデータ）とを出力する (ステップ S307)。 すなわち、画像処理部 103は、危険度を示す情報と切り出し画像データ 202とを出 力する出力部として機能する。例えば、画像処理部 103は、図 6 (a)に示すような画 像をモニター 123に出力する。これにより、ユーザーは、自車両の後方の映像と共に 、安全運転のために有用な運転支援データを参照しながら、危険を回避して運転す ること力 Sできる。ステップ S307の後、運転支援装置 100は運転支援処理を終了する
〇
[0066] このように、本実施形態によれば、運転支援装置 100は、車両のドライバーの運転 操作を支援するために有用な情報を提供することができる。なお、本実施形態では、 自車両が車線変更する際に本発明を適用したケースを説明した力 これは一例に過 ぎず、本発明の内容を限定するものではない。車線変更を行わない運転時などでも 、切り出し画像の位置の変更 (ステップ S304)及び運転支援データの作成 (ステップ S307)を行ってもよい。例えば、 自車両が後退する場合や、ドライバーによる方向指 示器 (ウィンカー）の操作があった場合、或いは自車両の後方に他車両や通行人が 急接近した場合に、これらの処理 (ステップ S304、 307)を行うこともできる。
[0067] (実施形態 2)
次に、本発明のその他の実施形態について説明する。本実施形態では、危険度を 示す情報 (運転支援データ）の提供の仕方が異なる。その他の構成は上述の実施形 態と同様であるため、共通部分については同じ参照番号を用い、重複する部分の説 明は省略する。
[0068] 図 7は、本実施形態において、画像処理部 103が生成する切り抜き画像データ 20 2と運転支援データの例である。運転支援データは危険度目安領域 701 (図中では 701A、 701B、 701Cと表記）を含む。制御部 107は、自車両の最後部から所定の 距離間隔（例えば 10メートル間隔など）で、切り出し画像データ 202内の点と実際の 距離とを対応させ、距離範囲によっていくつかの領域に分け、それぞれの領域を危 険度目安領域 701とする。例えば、 自車両の最後部から実際の距離が L1までの領 域を危険度目安領域 701A、距離力 SL1から L2までの領域を危険度目安領域 701B 、というように分ける。また、制御部 107は、測定部 102によって測定された他車両 21 3の位置や速度（相対速度）に応じて危険度のレベルを判定し、判定結果によって危 険度目安領域 701を強調して表示するように制御する。そして、画像処理部 103は、 それぞれの危険度目安領域 701に異なる表示色を対応させ、切り出し画像データ 2 02と合成してモニター 123に映し出す画像データを生成する。
[0069] また、制御部 107は、 自車両に対する他車両 213の相対速度に応じて、危険度目 安領域 701を分ける位置を変える。すなわち、相対速度が大きい場合には危険度目 安領域 701を分ける位置の間隔を広くし、相対速度が小さい場合には危険度目安領 域 701を分ける位置の間隔を狭くしてもよい。
[0070] なお、それぞれの危険度目安領域 701の表示の仕方はこれに限られない。例えば 、危険度目安領域 701の数、色、形状、長さ、大きさ、距離間隔などを任意に変更し た実施形態を採用することも可能であるが、このような変形例も本発明の範囲に含ま れる。また、危険度目安領域 701を点滅させたり色を時間毎に変えたりしてもよい。画 像処理部 103が危険度目安領域 701を含む画像を出力するとともに、音声処理部 1 04がスピーカー 124から警告音 ·お知らせ音声などを再生するように構成してもよい
[0071] (実施形態 3)
次に、本発明のその他の実施形態について説明する。本実施形態では、受付部 1
05が自車両の運転状況を示す情報 151として受け付ける情報の内容が上述の実施 形態と異なる。以下詳述する。
[0072] 受付部 105は、自車両に取り付けられた方向指示器 (ウィンカー）から入力される方 向指示信号を、自車両の運転状況を示す情報 151として受け付ける（ステップ S302
)。
[0073] そして、制御部 107は、受付部 105が受け付けた方向指示信号に基づいて、自車 両の進路に変更があるか否かを判断する（ステップ S303)。例えば、自車両の方向 指示器が右側（あるいは左側）への進路変更を示す場合に、受付部 105はこの方向 指示信号を受け取った旨を制御部 107に入力し、制御部 107は自車両の進路が右 側（あるいは左側）に変更されると判断する。
[0074] 受付部 105が方向指示信号を受け付けたときに、上述の運転支援処理を開始する ように構成することあでさる。
[0075] なお、その他の構成は上述の実施形態と同様であるため、重複する部分の説明は 省略する。 [0076] また、受付部 105は、運転支援装置 100と互いに接続されたカーナビゲーシヨンシ ステム、道路交通情報通信システムなどから入力される道案内（ナビゲーシヨン)情報 、位置情報、交通情報、気象情報、道路情報などの制御信号を、自車両の運転状況 を示す情報 151として受け付けてもよい。そして、制御部 107は、受付部 105が受け 付けた制御信号に基づいて、自車両の進路に変更があるか否かを判断するように構 成してもよい。また、受付部 105がこれらの制御信号を受け付けたときに、上述の運 転支援処理を開始するように構成することもできる。
[0077] 例えば、カーナビゲーシヨンシステム等による道案内情報力 S、所定時間以内に自車 両が右左折すべき旨の情報を示している場合、制御部 107は自車両の進路に変更 力 Sあると判断すること力 Sできる。画像処理部 103が切り抜き画像データ 202を移動さ せる向きは、自車両から右左折すべき旨の情報の示す向きであることが望ましい。
[0078] 例えば、カーナビゲーシヨンシステム等による位置情報力、高速道路等の出入り口（ インターチェンジ）、料金所、検札所、合流地点、分岐地点 (ジャンクション）、休憩所 ( サービスエリアやパーキングエリア）、バス停、信号機、交差点などの所定の道路施 設-道路ポイントから自車両が所定距離以内の位置にある旨の情報を示している場 合、制御部 107は自車両の進路に変更があると判断することができる。この場合、制 御部 107は、自車両の進路に変更がある可能性があり、これによつて自車両の進路 に変更があるとみなして、上述の運転支援処理を行うことができる。画像処理部 103 が切り抜き画像データ 202を移動させる向きは、自車両からこれらの道路施設 '道路 ポイントに近い向きであることが望ましレ、。
[0079] 例えば、道路交通情報通信システム等による交通情報力 ある地点で道路工事、 交通事故、交通渋滞等がある旨の情報を示している場合、制御部 107は自車両の進 路に変更がある（あるレ、は変更の可能性がある）と判断すること力 Sできる。画像処理部 103が切り抜き画像データ 202を移動させる向きは、道路工事、交通事故、交通渋 滞等がある旨の情報の示す向きであることが望ましい。
[0080] 例えば、道路交通情報通信システム等による気象情報力 走行中の地域が雨、雪 、霧などで視界が良くない旨の情報を示している場合、制御部 107は自車両の進路 に変更がある（あるレ、は変更の可能性がある）と判断すること力 Sできる。 [0081] 例えば、自車両が走行している道路の車線数（2車線、 3車線など）や、複数の車線 が合流する位置などといった、道路交通情報通信システム等による道路情報力 走 行中の車線数に増減がある旨、あるいは合流や分岐等がある旨の情報を示している 場合、制御部 107は自車両の進路に変更がある (もしくは変更の可能性がある）と判 断すること力 Sでさる。
[0082] また、受付部 105は、自車両に備え付けられた速度計、加速度計、エンジンなどの 回転速度計、制動装置 (ブレーキ）などから入力される自車両の速度データ、加速度 データ、回転速度データ、ブレーキ信号などを、 自車両の運転状況を示す情報 151 として受け付けてもよい。そして、制御部 107は、受付部 105が受け付けた速度デー タ、加速度データ、回転速度データ、ブレーキ信号に基づいて、自車両の進路に変 更があるか否かを判断するように構成してもよい。また、受付部 105がこれらの制御 信号を受け付けたときに、上述の運転支援処理を開始するように構成することもでき
[0083] 本発明は、上述した実施形態に限定されず、種々の変形及び応用が可能である。
また、上述した実施形態の各構成要素を自由に組み合わせることも可能である。
[0084] 例えば、図 8は、モニター 123に映し出される画面 800の構成例である。モニター 1 23には、切り出し画像データ 202と運転支援データである危険度目安線 601 (危険 度目安領域 701でもよい）とを合成した画像データを表示する情報表示領域 801と、 切り出し領域 401に対応する視野範囲 805を示す視野表示領域 802と、メッセージ 表示領域 803と力 Sある。このように、モニター 123に映し出された映像が自車両 804 力、らどのアングルで写したものなのかを視野表示領域 802で表示することにより、ュ 一ザ一はモニター 123の映し出す映像がどの向きの映像なのか見失うことがない。な お、本図は一例に過ぎず、画面 800の構成は自由に変更してよい。
[0085] 上述した実施形態では、カメラ 121は自車両後方のナンバープレート付近や後部 ガラス付近に設置されるとしたが、設置場所はこれに限られない。例えば、サイドミラ 一付近にカメラ 121を設置して自車両後方を撮影するようにしてもよい。この場合、運 転中のドライバーのいる側と反対側のサイドミラー付近にカメラ 121を設置して、ドライ バーにとって死角になりやすい方向の映像を撮影しやすくすることが望ましい。 [0086] (実施形態 4)
以上の説明では、車両が前進する場合を想定していた力 車両が後退する場合に 、運転支援処理を行ってもよい。また、自車両の進路が変更され、障害物（壁、人、固 定物、他の車両など）が一定の距離内に近づいた場合に、運転支援データの生成を 行なう構成としてもよい。以下、車両が後退する場合に運転支援処理を行い、進路が 変更されて障害物が一定の距離内に近づいた場合に運転支援データの生成を行な う実施形態 4について説明する。
[0087] 図 9に、本発明の実施形態 4にかかる運転支援処理のフローチャートを示す。実施 形態 4にかかる運転支援処理は、ステップ S301の変わりにステップ S301aを実行し 、ステップ S307及び S308の代わりにステップ S309〜S311を実行する以外は、図 3に示した実施形態 1にかかる運転支援処理と同様である。
[0088] 実施形態 4にかかる運転支援処理は、ドライバーがギアをバックに入れた際に実行 される。まず、運転支援装置 100は、処理を開始すると、まず、カメラ 121の撮影した 撮影画像データ 201を画像解析して自車両後方の所定距離内に、障害物があるか 否かを判別する。また、障害物がある場合、運転支援装置 100は、自車両から障害 物までの距離を測定部 102より取得する（ステップ S301a)。
[0089] 運転支援装置 100は、自車両の運転状況を示す情報 151を取得した後（ステップ S 302)、進路変更があった場合 (ステップ S303 :YES)、画像データの切り出し領域を 基準位置 HPから移動させ (ステップ S304)、画像データを抽出する（ステップ S305 )。そして、運転支援装置 100は、ステップ S301aで取得した自車両から障害物まで の距離が所定距離内であるか否かを判別する（ステップ S309)。
[0090] 自車両から障害物までの距離が所定距離内である場合 (ステップ S309： YES)、運 転支援装置 100は、運転支援データを求める (ステップ S310)。例えば、ステップ S3 06と同様の処理により、運転支援データとして障害物の種類や指標バー ½01、 701 )の形状等を求める。
[0091] 自車両から障害物までの距離が所定距離内でない場合 (ステップ S309 : NO)、又 はステップ S310の後、運転支援装置 100は、運転支援データと切り出し画像データ 202とを出力する（ステップ S311)。ステップ S305又はステップ S311の後、運転支 援装置 100は、運転支援処理を終了する。
[0092] 本実施形態にかかる運転支援装置によれば、車両が後退する場合であっても、ドラ ィバーの運転操作を低コストで、ドライバーにとってわ力、りやすく支援できる。また、進 路が変更され、他の車両などの障害物が近づいた場合に、運転支援データが表示さ れるので、進路の変更の有無や障害物までの距離に関わりなく運転支援データを表 示するときよりも、障害物の接近についてドライバーに注意を促すことができる。
[0093] なお、上述した実施形態 4では、自車両が進路変更する場合に (ステップ S303 :Y ES)、切り出し領域 401を基準位置 HPから移動させる（ステップ S305)構成としてい る。しかし、進路変更の有無にかかわりなぐ自車両と障害物との距離が所定距離内 となった場合に（ステップ S309 : YES)、切り出し領域 401を移動させる（ステップ S3 05)構成としてあよい。
[0094] 上述した実施形態では、画像処理部 103は自車両の進路に変更があると判断した 場合に切り出し領域 401を移動させる力 受付部 105に接続された操作パネル 125 のユーザーによる操作に基づいて移動させてもよい。例えば、自車両の進路の変更 に関わらず、受付部 105がユーザーからモニター 123に映し出される表示アングル を変更する旨の指示を受け付けて、指示された向きに画像処理部 103が切り出し領 域 401を変更してもよい。
[0095] 上述した実施形態では、カメラ 121は常に後方画像を撮影している力 S、撮影するタ イミングを任意に変えてもよい。例えば、ステップ S303で自車両の進路に変更がある と判別されたときに、カメラ 121で撮影を開始するようにしてもよい。
[0096] 上述した実施形態では、測定部 102は自車両に対する他車両 213の相対速度を 測定している力 他車両 213の絶対速度を測定するようにしてもよい。
[0097] 運転支援装置 100を装置の全部又は一部として動作させるためのプログラムを、メ モリカード、 CD— ROM、 DVD-ROM, MO (Magneto Optical disk)などのコンビュ ータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインスト ールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
[0098] さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納 しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとして あよい。
[0099] この出願は、 2006年 11月 10日に日本国特許庁に出願された特願 2006— 3057
29号を基礎としており、該出願の内容を取り込むものとする。
産業上の利用可能性
[0100] 以上説明したように、この発明によれば、車両のドライバーの運転操作を分力、りや すく且つ低コストで支援するために好適な運転支援装置、運転支援方法、及び、プ ログラムを提供すること力 Sできる。

Claims

請求の範囲
[1] 自車両の後方の画像を撮影する撮影部と、
前記自車両の運転状況を示す運転情報を取得する運転情報取得部と、 前記運転情報取得部により取得された運転情報に基づいて、自車両の進路変更 の有無及び進路の変更方向を判別する進路判別部と、
前記進路判別部により自車両の進路変更があると判別された場合に、前記進路判 別部により判別された自車両の進路の変更方向に基づいて、前記撮影部により撮影 された画像から所定領域を抽出する抽出部と、
前記抽出部により抽出された画像を表示する表示部と、
を備えることを特徴とする運転支援装置。
[2] 前記運転情報取得部により取得された運転情報と前記撮影部により撮影された画 像とに基づいて、運転者を支援するための支援情報を生成する支援情報生成部をさ らに備え、
前記表示部は、前記抽出部により抽出された画像と前記支援情報生成部により生 成された前記支援情報とを表示する、
ことを特徴とする請求項 1に記載の運転支援装置。
[3] 前記運転情報取得部は、自車両が道路標示から所定距離範囲内にあるか否か及 び自車両が該道路標示に近づく方向を示す情報を運転情報として取得し、
前記進路判別部は、自車両が道路標示から所定距離範囲内にあるか否かで自車 両の進路変更の有無を判別し、自車両が該道路標示に近づく方向に基づいて進路 の変更方向を判別する、
ことを特徴とする、請求項 1に記載の運転支援装置。
[4] 車両の種類を示す車種情報と、運転者に報知すべき報知情報とを対応付けて記憶 する記憶部と、
前記撮影部により撮影された画像に基づいて、自車両後方の他車両の種類を判別 する車種判別部と、
をさらに備え、
前記支援情報生成部は、前記車種判別部により判別された他車両の種類と対応 する前記報知情報を読み出して、該報知情報を含む前記支援情報を生成する、 ことを特徴とする、請求項 2に記載の運転支援装置。
[5] 前記支援情報生成部は、自車両力 の距離の指標となる指標と、前記抽出部によ り抽出された画像において該指標を配置する位置とを示す情報を前記支援情報とし て生成する、
ことを特徴とする、請求項 2に記載の運転支援装置。
[6] 自車両と他車両との車間距離又は相対速度を測定する測定部をさらに備え
前記支援情報生成部は、前記測定部により測定された車間距離又は相対速度に 基づいて前記指標の数、形状、大きさ、色及び前記指標を配置する位置を示す情報 を前記支援情報として生成する、
ことを特徴とする、請求項 5に記載の運転支援装置。
[7] 前記運転情報取得部は、自車両の方向指示器がどの方向を指している力、を示す 方向指示情報を前記運転情報として取得し、
前記判別部は、前記方向指示情報に基づいて、 自車両の進路の変更方向を判別 する、
ことを特徴とする、請求項 1に記載の運転支援装置。
[8] 前記運転情報は、自車両の速度を示す情報と、加速度を示す情報と、エンジンの 回転速度を示す情報と、ブレーキをかけた旨を示す情報と、道案内情報と、位置情 報と、交通情報と、気象情報と、道路情報と、のうち少なくとも 1つ以上を含む、 ことを特徴とする、請求項 1に記載の運転支援装置。
[9] 自車両の後方の画像を撮影する撮影ステップと、
前記自車両の運転状況を示す運転情報を取得する運転情報取得ステップと、 前記運転情報取得ステップで取得された運転情報に基づいて、自車両の進路変 更の有無及び進路の変更方向を判別する進路判別ステップと、
前記進路判別ステップで自車両の進路変更があると判別された場合に、前記進路 判別ステップで判別された自車両の進路の変更方向に基づいて、前記撮影部により 撮影された画像から所定領域を抽出する抽出ステップと、
前記抽出部により抽出された画像を表示する表示ステップと、 を備えることを特徴とする運転支援方法。
[10] コンピュータを、
自車両の後方の画像を撮影する撮影部、
前記自車両の運転状況を示す運転情報を取得する運転情報取得部、 前記運転情報取得部により取得された運転情報に基づいて、自車両の進路変更 の有無及び進路の変更方向を判別する進路判別部、
前記進路判別部により自車両の進路変更があると判別された場合に、前記進路判 別部により判別された自車両の進路の変更方向に基づいて、前記撮影部により撮影 された画像から所定領域を抽出する抽出部、
前記抽出部により抽出された画像を表示する表示部、
として機能させることを特徴とするプログラム。
PCT/JP2007/071819 2006-11-10 2007-11-09 Driving assistance device, driving assistance method, and program WO2008056780A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/441,281 US20090265061A1 (en) 2006-11-10 2007-11-09 Driving assistance device, driving assistance method, and program
EP07831550.4A EP2085944B1 (en) 2006-11-10 2007-11-09 Driving assistance device, driving assistance method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006305729A JP5070809B2 (ja) 2006-11-10 2006-11-10 運転支援装置、運転支援方法、及び、プログラム
JP2006-305729 2006-11-10

Publications (1)

Publication Number Publication Date
WO2008056780A1 true WO2008056780A1 (en) 2008-05-15

Family

ID=39364590

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/071819 WO2008056780A1 (en) 2006-11-10 2007-11-09 Driving assistance device, driving assistance method, and program

Country Status (4)

Country Link
US (1) US20090265061A1 (ja)
EP (1) EP2085944B1 (ja)
JP (1) JP5070809B2 (ja)
WO (1) WO2008056780A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2380348A1 (en) * 2008-12-19 2011-10-26 Delphi Technologies, Inc. Electronic side view display system
JP2017034446A (ja) * 2015-07-31 2017-02-09 市光工業株式会社 車両周辺視認装置

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934942B1 (ko) * 2008-07-08 2010-01-06 신대현 차량용 에이브이엔을 이용한 위기상황 녹화 시스템
JP5397887B2 (ja) * 2008-12-17 2014-01-22 アルパイン株式会社 車両モニタシステム
JP5308810B2 (ja) * 2008-12-29 2013-10-09 クラリオン株式会社 車載映像表示装置
EP2423901B1 (en) 2009-04-23 2017-03-15 Panasonic Intellectual Property Management Co., Ltd. Driving support device, driving support method and program
EP2439714B1 (en) 2009-06-04 2015-03-18 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding monitor device and method for monitoring surroundings used for vehicle
JP5192007B2 (ja) * 2010-03-12 2013-05-08 本田技研工業株式会社 車両の周辺監視装置
JP5560852B2 (ja) * 2010-03-31 2014-07-30 株式会社デンソー 車外撮影画像表示システム
DE102010062994A1 (de) * 2010-12-14 2012-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung fahrzeugbezogener Daten
JP2012179958A (ja) * 2011-02-28 2012-09-20 Denso Corp 車両用表示装置
JP2012237725A (ja) * 2011-05-13 2012-12-06 Nippon Seiki Co Ltd 車両用表示装置
JP5681569B2 (ja) * 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
TWI434239B (zh) 2011-08-26 2014-04-11 Ind Tech Res Inst 後方來車變換車道預警方法及其系統
DE102012200950B3 (de) * 2012-01-24 2013-05-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Sondersituation im Straßenverkehr
JP2013168063A (ja) * 2012-02-16 2013-08-29 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像処理方法
TWI494899B (zh) 2012-12-19 2015-08-01 Ind Tech Res Inst 影像內週期性雜訊修補方法
JP6081250B2 (ja) * 2013-03-21 2017-02-15 アルパイン株式会社 運転支援装置および運転支援処理の制御方法
KR101526708B1 (ko) * 2013-11-15 2015-06-05 현대자동차주식회사 헤드업 디스플레이 장치 및 그 디스플레이 방법
JP6142784B2 (ja) 2013-11-27 2017-06-07 株式会社デンソー 運転支援装置
US9404742B2 (en) * 2013-12-10 2016-08-02 GM Global Technology Operations LLC Distance determination system for a vehicle using holographic techniques
US10133548B2 (en) * 2014-01-27 2018-11-20 Roadwarez Inc. System and method for providing mobile personal security platform
DE102014204002A1 (de) * 2014-03-05 2015-09-10 Conti Temic Microelectronic Gmbh Verfahren zur Identifikation eines projizierten Symbols auf einer Straße in einem Fahrzeug, Vorrichtung und Fahrzeug
WO2015182753A1 (ja) * 2014-05-29 2015-12-03 株式会社ニコン 撮像装置および車両
US10068472B2 (en) * 2014-06-06 2018-09-04 Veoneer Us, Inc. Automotive lane discipline system, method, and apparatus
JP2016092782A (ja) * 2014-11-11 2016-05-23 トヨタ自動車株式会社 車両用視界支援装置
DE102014224762B4 (de) * 2014-12-03 2016-10-27 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Informationsgewinnung über ein Objekt in einem nicht einsehbaren, vorausliegenden Umfeldbereich eines Kraftfahrzeugs
JP6455193B2 (ja) * 2015-02-04 2019-01-23 株式会社デンソー 電子ミラーシステム及び画像表示制御プログラム
EP3089136A1 (en) * 2015-04-30 2016-11-02 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Apparatus and method for detecting an object in a surveillance area of a vehicle
KR101721442B1 (ko) * 2015-05-12 2017-03-30 주식회사 엠브레인 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법
TWI559267B (zh) * 2015-12-04 2016-11-21 Method of quantifying the reliability of obstacle classification
DE102016003308B3 (de) * 2016-03-17 2017-09-21 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102016117401B4 (de) * 2016-09-15 2023-12-28 Connaught Electronics Ltd. Verfahren und Vorrichtung zum Abbilden eines Anhängers mit Begrenzungsmarkierungen
KR101851155B1 (ko) * 2016-10-12 2018-06-04 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
JP2018101897A (ja) * 2016-12-20 2018-06-28 株式会社デンソーテン 車両周辺監視装置及び監視方法
JP6855796B2 (ja) * 2017-01-11 2021-04-07 スズキ株式会社 運転支援装置
JP2019101883A (ja) * 2017-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 運転支援装置およびカメラモニタリングシステム
TWI645997B (zh) * 2017-12-20 2019-01-01 財團法人車輛研究測試中心 Obstacle detection credibility evaluation method
JP6964276B2 (ja) * 2018-03-07 2021-11-10 パナソニックＩｐマネジメント株式会社 表示制御装置、車両周辺表示システムおよびコンピュータプログラム
JP6968258B2 (ja) * 2018-03-08 2021-11-17 三菱電機株式会社 運転支援装置および運転支援方法
JP2019185357A (ja) * 2018-04-09 2019-10-24 カルソニックカンセイ株式会社 画像表示装置
KR102574289B1 (ko) * 2018-10-08 2023-09-05 주식회사 에이치엘클레무브 후진 주행 제어 장치 및 그 후진 주행 제어 방법
JP6769500B2 (ja) * 2019-02-13 2020-10-14 株式会社Ｊｖｃケンウッド 車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラム
KR102125738B1 (ko) * 2019-07-24 2020-06-24 엘지이노텍 주식회사 주차 보조 시스템
US11590892B2 (en) * 2021-07-02 2023-02-28 Deere & Company Work vehicle display systems and methods for generating visually-manipulated context views
CN114360249B (zh) * 2022-01-10 2023-04-28 北京工业大学 一种大型车遮挡下的精细化引导系统及通行方法
CN115489536B (zh) * 2022-11-18 2023-01-20 中国科学院心理研究所 一种驾驶辅助方法、系统、设备及可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162397A (ja) * 1992-11-18 1994-06-10 Mitsubishi Electric Corp 車載用レーダ装置
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JPH0858503A (ja) * 1994-08-18 1996-03-05 Mitsubishi Electric Corp 後側方危険警報装置及び後側方危険度判定方法
JPH11283198A (ja) * 1998-03-31 1999-10-15 Mazda Motor Corp 車両の走行環境報知装置
JP2000238594A (ja) * 1998-12-25 2000-09-05 Aisin Aw Co Ltd 運転支援装置
JP2000242896A (ja) * 1999-02-19 2000-09-08 Sony Corp モニタ装置
JP2002074596A (ja) 2000-09-05 2002-03-15 Mazda Motor Corp 車線変更支援システム
JP2002204446A (ja) 2000-12-28 2002-07-19 Matsushita Electric Ind Co Ltd 車載後方確認装置と車載ナビゲーション装置
JP2003288691A (ja) * 2002-03-27 2003-10-10 Toyota Central Res & Dev Lab Inc 割り込み予測装置
JP2004310489A (ja) * 2003-04-08 2004-11-04 Nissan Motor Co Ltd 車両用注意喚起装置
JP2005141484A (ja) 2003-11-06 2005-06-02 Nissan Motor Co Ltd 後側方映像提供装置
JP2005145292A (ja) 2003-11-17 2005-06-09 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
WO2006016433A1 (ja) * 2004-08-10 2006-02-16 Matsushita Electric Industrial Co., Ltd. 運転支援装置及び運転支援方法
JP2006305729A (ja) 2006-08-21 2006-11-09 Toshiba Mach Co Ltd 工作機械、工具および工具ホルダ
JP2006324727A (ja) 2005-05-17 2006-11-30 Fujifilm Holdings Corp 撮像装置およびその画像処理方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07304390A (ja) * 1994-05-13 1995-11-21 Ichikoh Ind Ltd 車両用監視装置
US5574443A (en) * 1994-06-22 1996-11-12 Hsieh; Chi-Sheng Vehicle monitoring apparatus with broadly and reliably rearward viewing
JP3351984B2 (ja) * 1997-04-22 2002-12-03 国土交通省関東地方整備局長 作業用走行車の視界改善装置および方法
JPH11126300A (ja) * 1997-10-21 1999-05-11 Mazda Motor Corp 車両の車線逸脱警報装置
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP4207298B2 (ja) * 1999-03-19 2009-01-14 アイシン・エィ・ダブリュ株式会社 運転支援画像合成装置
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2001093099A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2002019523A (ja) * 2000-07-07 2002-01-23 Toyota Motor Corp 移動体の移動支援装置
US6977630B1 (en) * 2000-07-18 2005-12-20 University Of Minnesota Mobility assist device
JP2002117496A (ja) * 2000-10-12 2002-04-19 Matsushita Electric Ind Co Ltd 車載後方確認支援装置と車載ナビゲーション装置
JP2002319091A (ja) * 2001-04-20 2002-10-31 Fuji Heavy Ind Ltd 後続車両認識装置
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
JP2003123196A (ja) * 2001-10-10 2003-04-25 Denso Corp 車両の周辺監視装置及びプログラム
JP3879696B2 (ja) * 2003-04-25 2007-02-14 日産自動車株式会社 運転支援装置
KR20050026280A (ko) * 2003-09-09 2005-03-15 현대모비스 주식회사 차량의 후방 모니터링 장치
JP4513318B2 (ja) * 2003-12-10 2010-07-28 日産自動車株式会社 後側方画像制御装置および方法
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP2005346648A (ja) * 2004-06-07 2005-12-15 Denso Corp 視界支援装置およびプログラム
JP2006050246A (ja) * 2004-08-04 2006-02-16 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2006273308A (ja) * 2005-03-03 2006-10-12 National Univ Corp Shizuoka Univ 視覚情報提供システム
US7501938B2 (en) * 2005-05-23 2009-03-10 Delphi Technologies, Inc. Vehicle range-based lane change assist system and method
JP4760138B2 (ja) * 2005-05-27 2011-08-31 パナソニック株式会社 画像処理装置
JP5117003B2 (ja) * 2006-07-11 2013-01-09 本田技研工業株式会社 運転支援装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162397A (ja) * 1992-11-18 1994-06-10 Mitsubishi Electric Corp 車載用レーダ装置
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JPH0858503A (ja) * 1994-08-18 1996-03-05 Mitsubishi Electric Corp 後側方危険警報装置及び後側方危険度判定方法
JPH11283198A (ja) * 1998-03-31 1999-10-15 Mazda Motor Corp 車両の走行環境報知装置
JP2000238594A (ja) * 1998-12-25 2000-09-05 Aisin Aw Co Ltd 運転支援装置
JP2000242896A (ja) * 1999-02-19 2000-09-08 Sony Corp モニタ装置
JP2002074596A (ja) 2000-09-05 2002-03-15 Mazda Motor Corp 車線変更支援システム
JP2002204446A (ja) 2000-12-28 2002-07-19 Matsushita Electric Ind Co Ltd 車載後方確認装置と車載ナビゲーション装置
JP2003288691A (ja) * 2002-03-27 2003-10-10 Toyota Central Res & Dev Lab Inc 割り込み予測装置
JP2004310489A (ja) * 2003-04-08 2004-11-04 Nissan Motor Co Ltd 車両用注意喚起装置
JP2005141484A (ja) 2003-11-06 2005-06-02 Nissan Motor Co Ltd 後側方映像提供装置
JP2005145292A (ja) 2003-11-17 2005-06-09 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
WO2006016433A1 (ja) * 2004-08-10 2006-02-16 Matsushita Electric Industrial Co., Ltd. 運転支援装置及び運転支援方法
JP2006051850A (ja) 2004-08-10 2006-02-23 Matsushita Electric Ind Co Ltd 運転支援装置及び運転支援方法
JP2006324727A (ja) 2005-05-17 2006-11-30 Fujifilm Holdings Corp 撮像装置およびその画像処理方法
JP2006305729A (ja) 2006-08-21 2006-11-09 Toshiba Mach Co Ltd 工作機械、工具および工具ホルダ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2380348A1 (en) * 2008-12-19 2011-10-26 Delphi Technologies, Inc. Electronic side view display system
EP2380348A4 (en) * 2008-12-19 2012-06-13 Delphi Tech Inc ELECTRONIC SIDE VIEW INDICATOR SYSTEM
JP2017034446A (ja) * 2015-07-31 2017-02-09 市光工業株式会社 車両周辺視認装置

Also Published As

Publication number Publication date
JP2008123215A (ja) 2008-05-29
US20090265061A1 (en) 2009-10-22
EP2085944A4 (en) 2011-08-03
EP2085944A1 (en) 2009-08-05
EP2085944B1 (en) 2017-12-27
JP5070809B2 (ja) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5070809B2 (ja) 運転支援装置、運転支援方法、及び、プログラム
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
EP3367366B1 (en) Display control method and display control device
JP5198835B2 (ja) ビデオ画像を提示する方法およびシステム
JP4807263B2 (ja) 車両用表示装置
US7777616B2 (en) Intersection information provision system and driving assist system
JP4311426B2 (ja) 移動体を表示するための表示システム、車載装置及び表示方法
JP4719590B2 (ja) 車載周辺状況提示装置
WO2016185691A1 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
JP5217950B2 (ja) 運転支援装置
JP4930187B2 (ja) 運転支援システム
US20120109521A1 (en) System and method of integrating lane position monitoring with locational information systems
JP5426900B2 (ja) 車載システム
JP5691814B2 (ja) 運転支援装置
WO2021024798A1 (ja) 走行支援方法、道路撮影画像収集方法、および路側装置
CN112650212A (zh) 远程自动驾驶车辆及车辆远程指示系统
JP2017111498A (ja) 運転支援装置
JP2008068827A (ja) 後側方確認装置
JP2007293390A (ja) 逆走警報装置
JP2002170200A (ja) 車両追突警報システム
JP2004341893A (ja) 車載システム
CN114194105A (zh) 自动驾驶车用信息提示装置
JP4088288B2 (ja) 車両用周辺監視装置
CN113538965A (zh) 显示控制装置、显示控制方法及记录有程序的记录介质
JP2002225628A (ja) 車両用表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07831550

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12441281

Country of ref document: US

Ref document number: 2007831550

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE