WO2015111417A1 - 運転支援装置、および運転支援方法 - Google Patents

運転支援装置、および運転支援方法 Download PDF

Info

Publication number
WO2015111417A1
WO2015111417A1 PCT/JP2015/000324 JP2015000324W WO2015111417A1 WO 2015111417 A1 WO2015111417 A1 WO 2015111417A1 JP 2015000324 W JP2015000324 W JP 2015000324W WO 2015111417 A1 WO2015111417 A1 WO 2015111417A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
relative position
outer shape
driving support
Prior art date
Application number
PCT/JP2015/000324
Other languages
English (en)
French (fr)
Inventor
真紀子 田内
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/104,935 priority Critical patent/US10099617B2/en
Publication of WO2015111417A1 publication Critical patent/WO2015111417A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • This disclosure relates to a technology that supports driving by displaying a situation around a vehicle on a display unit.
  • a technique for displaying a positional relationship between a vehicle and an object (such as a guardrail or another vehicle) existing around the vehicle by mounting a camera on the vehicle and photographing the surrounding situation of the vehicle is known. Since this positional relationship is easier for the driver to see when viewed from above the vehicle, there is a technology for displaying an image around the vehicle viewed from above the vehicle.
  • the positional relationship between the vehicle and the object may be displayed in a state different from the actual state.
  • This disclosure aims to provide a driving support device and a driving support method that display the positional relationship between a vehicle and an object with high accuracy.
  • a driving support device provided in a vehicle and displaying a surrounding state of the vehicle on a display unit includes a storage device in which an outer shape of the vehicle is stored, and a periphery of the vehicle
  • the object detection device for detecting the position of the object present in the object and the outer shape of the object at least on the side facing the vehicle, and the movement information acquisition for acquiring the movement information regarding the movement direction and the movement amount of the vehicle Relative position estimation device that estimates the relative position of the object with respect to the vehicle based on the position of the object detected by the device, the object detection device, and the movement information acquired by the movement information acquisition device
  • An image for generating a top view image of the vehicle and the object viewed from above based on the outer shape of the vehicle, the outer shape of the object, and the relative position of the object with respect to the vehicle.
  • Generator When provided with a display device and for displaying the top view image on the display unit.
  • the above-described driving support device displays a top view image generated based on the outer shape of the vehicle, the outer shape of the object, and the relative position of the object with respect to the vehicle without displaying a captured image. Is displayed. Therefore, the image is not distorted as in the case of displaying the captured image, and the positional relationship between the vehicle and the object can be displayed with high accuracy and easy to see.
  • a driving support method provided on a vehicle and displaying a surrounding state of the vehicle on a display unit includes a position of an object existing around the vehicle, and the position of the object. Detecting at least the outer shape on the side facing the vehicle, obtaining movement information relating to the movement direction and movement amount of the vehicle, and based on the position of the object and the movement information, the object relative to the vehicle; A top view of the vehicle and the object viewed from above based on the outer shape of the vehicle, the outer shape of the object, and the relative position of the object with respect to the vehicle. Generating an image and displaying the top view image on the display unit.
  • the driving support method displays a top view image generated based on the outer shape of the vehicle, the outer shape of the object, and the relative position of the object with respect to the vehicle, without displaying a captured image. . Therefore, the image is not distorted as in the case of displaying the captured image, and the positional relationship between the vehicle and the object can be displayed with high accuracy and easy to see.
  • FIG. 1 is an explanatory diagram showing the configuration of the driving support device.
  • FIG. 2A is a flowchart showing the first half of the positional relationship display process executed by the control device.
  • FIG. 2B is a flowchart showing the first half of the positional relationship display process executed by the control device.
  • FIG. 3 is a flowchart showing the latter half of the positional relationship display process executed by the control device.
  • 4 (a) to 4 (c) are explanatory diagrams showing how the object image is generated. In FIG. 4 (a), the distances to a plurality of parts of the object (wall) are detected.
  • FIG. 4 (b) shows how the shape of the object on the vehicle side is detected
  • FIG. 4 (c) shows how the object image is generated by reflecting it in the regulation image.
  • FIG. 5 is an explanatory diagram showing a state in which the vehicle image and the object image are displayed on the display unit.
  • FIG. 6 is an explanatory diagram showing a state in which the notification image is displayed on the display unit.
  • FIGS. 7A to 7B are explanatory views illustrating a conventional technique for displaying a captured image.
  • FIG. 7A illustrates a case where a camera image is displayed as it is, and FIG. ) Shows the case where the camera image is converted from the viewpoint and displayed.
  • 8 (a) to 8 (b) are explanatory diagrams showing how the object enters the blind spot
  • FIG. 9 is an explanatory diagram showing a state where the host vehicle image and the object image when the object enters the blind spot are displayed on the display unit
  • FIG. 10 is an explanatory diagram conceptually showing the blind spot object
  • FIG. 1 shows a configuration of a driving support device 10 provided in the vehicle 1.
  • the driving support device 10 of the present embodiment includes a stereo camera 11, and the stereo camera 11 includes two cameras 11 a and 11 b arranged in parallel with the front of the vehicle 1 facing forward.
  • the driving support device 10 according to the present embodiment includes a control device 12 that executes a predetermined process based on an image captured by the stereo camera 11 and a display unit 13 that displays a processing result of the control device 12.
  • the control apparatus 12 has a board
  • a liquid crystal display installed on the instrument panel with the display screen facing the driver's seat, a head-up display for projecting display contents on a windshield (windshield), and the like are installed. .
  • the control device 12 detects the shape of an object (for example, a guard rail, a wall, another vehicle, a curb, etc.) photographed by the stereo camera 11.
  • the relative position of the target object (hereinafter referred to as “first relative position”) with respect to the vehicle 1 from the shape detection unit 14 that generates an image showing the target object (hereinafter referred to as “target object image”) or the image captured by the stereo camera 11.
  • the movement information acquisition unit 17 Based on the first relative position detection unit 15 to detect, the movement information acquisition unit 17 that detects movement information regarding the movement direction and movement amount of the vehicle 1, and the first relative position and movement information, the object is photographed by the stereo camera 11.
  • a second relative position detection unit 16 that estimates the relative position of the object with respect to the vehicle 1 (hereinafter “relative position” in the present disclosure, hereinafter referred to as “second relative position”);
  • a narrow space location detection unit 18 that detects a location where the distance between the vehicle 1 and the object is equal to or less than a distance D (for example, 50 cm), and a storage unit that stores the vehicle image (the external shape of the vehicle 1) showing the vehicle 1 19, an image generation unit 20 that generates an image (a top view image) indicating the surrounding situation of the vehicle 1 viewed from above the vehicle 1, and a display processing unit 21 that displays the top view image generated by the image generation unit 20 on the display unit 13. It has.
  • the cameras 11a and 11b constituting the stereo camera 11 correspond to the “imaging device” in the present disclosure
  • the storage unit 19 corresponds to the “storage device” in the present disclosure
  • the shape detection unit 14 and the first relative position detection unit. 15 corresponds to the “object detection device” in the present disclosure
  • the movement information acquisition unit 17 corresponds to the “movement information acquisition device” in the present disclosure
  • the second relative position detection unit 16 corresponds to the “relative position estimation device in the present disclosure. ”
  • the narrow space part detection unit 18 corresponds to the“ narrow space part detection device ”in the present disclosure
  • the image generation unit 20 corresponds to the image generation device in the present disclosure
  • the display processing unit 21 corresponds to“ It corresponds to "display device”.
  • the shape detection unit 14 also corresponds to the “object generation device” in the present disclosure.
  • FIGS. 2A, 2B, and 3 show a flowchart of the positional relationship display process performed in the driving support device 10 of the present embodiment.
  • the positional relationship display processing is actually performed by the CPU in the control device 12 executing a program stored in the ROM.
  • the control device 12 or the above-described functional blocks 14 to 19 are executed. Will be described.
  • the positional relationship display process is performed as a timer interrupt process (for example, every 1/60 second).
  • the control device 12 When the positional relationship display processing shown in FIGS. 2A, 2B, and 3 is started, the control device 12 first outputs a shooting instruction signal to the stereo camera 11 so that the front of the vehicle 1 is sent to the stereo camera 11. And the captured images (two captured images captured simultaneously by the cameras 11a and 11b) are acquired. Subsequently, the image generation unit 20 of the control device 12 reads the host vehicle image from the storage unit 19 and arranges (stores) the host vehicle image in a display image area such as a frame buffer.
  • the display image region is a region where a top view image displayed on the display unit 13 is generated (S100, see FIGS. 6A to 6C).
  • the own vehicle image is an image showing the vehicle 1 viewed from above.
  • the own vehicle image is preferably an image (for example, an image with a scale of 1/100) obtained by accurately reducing the outer shape of the vehicle 1 when viewed from above (including bumper irregularities). This is for displaying the interval between the vehicle 1 and the object on the display unit 13 with high accuracy.
  • the control device 12 includes objects such as a guardrail, a wall, another vehicle, and a curbstone in the two captured images acquired from the stereo camera 11. Whether or not exists is determined (S102). For example, the shapes of various objects are stored as templates in the ROM in the control device 12, and it is determined whether or not there is a portion that matches (matches) the template in the captured image (so-called template matching). Process).
  • distal objects objects existing at a position away from the vehicle 1 by a predetermined distance
  • distal objects objects existing at a position away from the vehicle 1 by a predetermined distance
  • a nearby target part a target existing at a position within a predetermined distance from the vehicle 1.
  • a small template a template corresponding to a distant object
  • an object that matches a large template a template corresponding to a nearby object
  • an object image indicating the object is displayed on the display unit 13. Therefore, if a distant object that does not immediately contact the vehicle 1 is detected in the determination process of S102, an object image indicating the distant object is also displayed, and there is a possibility of contact in the vicinity. There is a possibility that it is difficult for the driver to recognize the object image indicating the object. In order to prevent this, a distant object is not detected in the determination process of S102.
  • the shape detection unit 14 of the control device 12 The shape is detected (S104).
  • the cameras 11a and 11b of the stereo camera 11 photograph the front of the vehicle 1 from different positions (with so-called parallax). Therefore, it is possible to detect the distance from the vehicle 1 to a predetermined location appearing in the image based on the difference between the captured images of the cameras 11a and 11b. Therefore, as shown in FIG. 4A, the shape detection unit 14 first detects distances to a plurality of portions of the target object (here, uneven walls) detected in the process of S102.
  • the distances from the vehicle 1 to the plurality of parts of the object may be different from each other, the distances to the plurality of parts are detected. And based on those distances, as shown in FIG.4 (b), the shape by the side of the vehicle 1 of the target object when it sees from upper direction is detected (S104).
  • the object image indicating the object is generated by complementing the shape of the other part of the object (S106). That is, in the process of S104, since only the vehicle 1 side can be detected among the shapes of the object, the shapes of other parts are complemented. For example, images having a shape corresponding to various objects (pre-made images) are stored in the storage unit 19 in advance. And based on the shape by the side of the vehicle 1 of the target object detected by the process of S104, the kind of this target object is estimated. Subsequently, a ready-made image corresponding to the estimated object is read out, and as shown in FIG. 4C, the shape of the object detected in S104 on the vehicle 1 side is reflected in this ready-made image (synthesis). In step S106, an object image indicating the detected object is generated.
  • the scale of the object image is the same as that of the host vehicle image. For example, if the scale of the own vehicle image is 1/100, an existing image having a scale of 1/100 is stored in advance. Then, before reflecting the shape of the object on the vehicle 1 side in the ready-made image, the shape of the object on the vehicle 1 side is also reduced to 1/100.
  • the first relative position detector 15 of the control device 12 detects the relative position (first relative position) of the object with respect to the vehicle 1 (S108).
  • the relative position first relative position of the object with respect to the vehicle 1 (S108).
  • the first relative position may be detected based on the “distance from the vehicle 1 to a plurality of parts of the object” detected in the process of S104. Further, the first relative position detected in the process of S108 is also reduced to 1/100, as in the case of the object image.
  • the image generation unit 20 displays the object image based on the first relative position of the object. (S110). That is, as shown in FIG. 5, the object image has “the part corresponding to the shape on the vehicle 1 side” on the “vehicle position side” on the “position corresponding to the first relative position” on the display screen of the display unit 13. The object image is arranged in the display storage area so that the object image is displayed.
  • the image generation unit 20 determines that the “object”
  • the “notification image for notifying the distance between the object and the vehicle 1 (here, 50 cm)” is arranged in the display storage area. That is, as shown in FIG. 6A to FIG. 6B, the notification image is displayed so that the notification image is displayed at a position corresponding to the narrow interval portion (position on the display screen of the display unit 13). In the storage area.
  • the process returns to S102, and it is determined whether or not there is any other object in the captured image of the stereo camera 11. If another object is present (S102: yes), the processes of S104 to S114 described above are repeated. That is, for each target object present in the captured image of the stereo camera 11, a target image is generated, the first relative position is detected, and the target image is displayed at a position corresponding to the first relative position. In addition, the object image is arranged in the display storage area. In addition, when there are narrow intervals, the notification image is arranged in the display storage area so that the notification image is displayed at a position corresponding to the narrow interval.
  • FIG. 7A shows a conventional technique in which an image captured by a camera provided in a vehicle is displayed as it is on a display unit.
  • the image is blurred or the vicinity of the vehicle (bumper in this case) is distorted depending on the performance of the camera. It is difficult to recognize.
  • a camera cannot be attached above the vehicle, so an image that is difficult to recognize is displayed that is different from the image viewed from above the vehicle. It will be.
  • FIG. 7B shows a conventional technique in which an image captured by a camera provided in the vehicle is converted into a viewpoint from above the vehicle (viewpoint conversion) and displayed on the display unit.
  • viewpoint conversion an image viewed from above the vehicle can be displayed as shown in FIG. 7B, but the image is distorted when the captured image (here, the image of the wall) is subjected to viewpoint conversion. Therefore, it becomes difficult for the driver to recognize the positional relationship between the vehicle and the object (for example, the distance between the vehicle and the wall).
  • the driving support device 10 of the present embodiment displays the own vehicle image of the vehicle 1 as viewed from above as described above with reference to FIG.
  • An object image obtained by viewing the object from above is displayed at a position corresponding to the position (first relative position). Therefore, it is possible to display the host vehicle image and the object image from the viewpoint from above where the driver can easily recognize the positional relationship between the vehicle 1 and the object.
  • the positional relationship between the vehicle and the object since the host vehicle image and the object image are not distorted, the positional relationship between the vehicle and the object (for example, the distance between the vehicle and the object) can be displayed with high accuracy.
  • the driving assistance apparatus 10 of a present Example detects the shape by the side of the vehicle 1 of a target object, and displays the target object image which reflected the detected shape, the target object at the time of seeing a target object from upper direction
  • the vehicle 1 side shape can be displayed with high accuracy, and as a result, the distance between the object and the vehicle 1 can be displayed with high accuracy.
  • the driving support device 10 of the present embodiment includes the stereo camera 11 (cameras 11 a and 11 b), and is based on the difference between the two images captured by the stereo camera 11. Then, the distance from the vehicle 1 to the object is detected. Therefore, the relative position of the object with respect to the vehicle 1 and the shape of the object on the vehicle 1 side can be detected with high accuracy. As a result, the positional relationship between the vehicle and the object and the shape of the object on the vehicle 1 side can be determined. It can be displayed with high accuracy.
  • the driving support device 10 is configured such that the distance between the object and the vehicle 1 is a predetermined distance D or less (narrow interval). If there is a location), a notification image for informing the interval between the object and the vehicle 1 is displayed at a position corresponding to the location (position on the display screen of the display unit 13). Therefore, it can be notified that the vehicle 1 is approaching the object in a manner that the driver can easily recognize the narrow interval portion.
  • this information (so-called CAN information) is received from a “system for detecting the steering angle and speed of the steering of the vehicle 1”, which is different from the driving support device 10, and the moving upward is acquired based on these information.
  • the previous positional relationship display process (FIGS. 2A, 2B, and 3) is simply expressed as “previous”, and the current positional relationship display process is simply expressed as “current”. .
  • the current relative position (the relative position after the vehicle 1 has moved, the second relative position) for all the previously displayed objects. ) Is calculated (estimated) (S118). This calculation process is performed based on “the relative position of the object when the object image was previously displayed (first relative position)” and “the movement information of the vehicle 1 since the object image was previously displayed”. Is called.
  • the current relative position (second relative position) is calculated by reflecting the movement information of the vehicle 1 in the two-dimensional coordinates indicating the first relative position.
  • the image generation unit 20 arranges the object image in the display storage area so that the object image (the object image displayed previously) is displayed at a position on the display screen (S124).
  • FIG. 8A to FIG. 8B show how the target object enters the blind spot of the stereo camera 11, and FIG. 9 shows the display content of the display unit 16 at that time. .
  • the object and the object image are simplified (in a circle).
  • the driving support apparatus 10 performs the above-described processing of S116 to S124, so that the object can be captured from the shootable range of the stereo camera 11 as shown in FIGS. 8 (a) to 8 (b). Even if the vehicle enters the blind spot, “the relative position of the object when the object image was previously displayed (first relative position)” and “the movement of the vehicle 1 since the object image was previously displayed” “The relative position of the current object (second relative position)” is calculated based on the “information” and the object image of the object is displayed at a position corresponding to the relative position (second relative position). (FIG. 9). Accordingly, even when the vehicle 1 moves after photographing the object and the object enters the blind spot of the stereo camera 11, the positional relationship between the vehicle 1 and the object can be displayed with high accuracy. it can.
  • a position where the distance between the object entering the blind spot and the vehicle 1 is a predetermined distance D (for example, 50 cm) or less It is determined whether or not there are narrow intervals (S126).
  • the determination process is performed by setting the distance on the display storage area (on the display screen) between the object image entering the blind spot and the own vehicle image as “a distance obtained by reducing the scale of the distance D to 1/100 (for example, 5 mm). ) ”Judge whether there is the following part.
  • the image generation unit 20 arranges the notification image in the display storage area so that the notification image is displayed at a position on the display screen (S128). If it carries out like this, it can alert
  • the object image indicating the object entering the blind spot of the stereo camera 11 is displayed (S124), the object image of the object and the relative position (second relative position) are further associated with the identification information ( ID) is assigned (S130).
  • FIG. 10 illustrates a blind spot object database in the driving support device 10 of the present embodiment.
  • the blind spot object database is a database for the control device 12 to store the target object that is displaying the target object image among the objects that have entered the blind spot, and is stored in the storage unit 19. That is, even when the target object moves to the blind spot, as long as the target object image indicating the target object is displayed, the target object image (the shape) and the relative position of the target object are stored. It is necessary to keep. Therefore, when a target object enters the blind spot, an ID is assigned to the target object image and the relative position of the target object and stored.
  • the processing of S120 to S130 returns to S120, and it is determined whether or not there are other objects that have entered the blind spot.
  • the processing of S120 to S130 described above is repeated. That is, for each target that enters the blind spot, the current relative position (second relative position) is calculated, and if the relative position (second relative position) is within the displayable range, the relative position (second The object image is arranged in the display storage area so that the object image is displayed at a position corresponding to (relative position), and an ID is assigned to the object (object image and relative position) entering the blind spot. Store in the blind spot object database.
  • a notification image is displayed at a position corresponding to the narrow spacing location.
  • the notification image is arranged in the display storage area.
  • the control device 12 determines whether or not an object image indicating an object that has entered the blind spot of the stereo camera 11 before is displayed (S132). That is, when an object image showing an object that has entered the blind spot before the previous time is displayed, it is stored in the blind spot object database described above with reference to FIG. 10 (stored in the process of S130 before the previous time).
  • the determination process of S132 is performed by determining whether or not there is an object (object image and relative position) that has been stored with an ID given before or before in the blind spot object database. .
  • object object image and relative position
  • the object is expressed as an “object to which an ID has been assigned”.
  • the current relative position of the object to which the ID has been assigned is calculated by reflecting the movement information of the vehicle 1 on the two-dimensional coordinates indicating the previous relative position of the object to which the ID has been assigned.
  • the determination process of S136 determines whether or not the ID-attached target object is within the predetermined range (displayable range).
  • the relative position of the object to which the ID has been assigned is within the displayable range (S136: yes)
  • the object image corresponding to the ID in the position on the display screen corresponding to the relative position
  • the image generation unit 20 arranges the object image so that the object image stored in the blind spot object database is displayed (S138).
  • the relative position corresponding to the ID in the blind spot object database is updated to the relative position calculated in the process of S134.
  • the position corresponding to the narrow space portion (display unit 13)
  • the image generation unit 20 arranges the notification image in the display storage area so that a notification image that notifies the interval between the object and the vehicle 1 is displayed at a position on the display screen (S142). If it carries out like this, it can alert
  • the process returns to the process of S132, and it is determined whether or not there is another ID-assigned object. That is, it is determined whether or not other ID-assigned objects (ID, object image to which the ID is assigned, and relative position) are stored in the blind spot object database.
  • ID ID-assigned objects
  • S132: yes the above-described processing of S134 to S144 is repeated. That is, for each object to which an ID has been assigned, the current relative position is calculated, and if the relative position is within a displayable range, the object image is displayed at a position corresponding to the relative position on the display screen. In this manner, the object image is arranged in the display storage area.
  • the object image is deleted from the blind spot object database without being arranged.
  • a notification image is displayed at a position corresponding to the narrow spacing location.
  • the notification image is arranged in the display storage area.
  • the relative position of the target object that has entered the blind spot before the previous time (the target object that has been assigned an ID) is updated to this relative position. Based on this, the object image is displayed. Therefore, even after the target object enters the blind spot, as long as the target object exists in the displayable range, the positional relationship between the vehicle 1 and the target object can be displayed with high accuracy.
  • the present disclosure is not limited to the above embodiment, and can be implemented in various modes without departing from the gist thereof.
  • the notification image is displayed at a position on the display screen corresponding to the location.
  • the range on the display screen corresponding to the location is enlarged and displayed (so-called zoom-up display). It is good also as changing the color of the range. If it carries out like this, it can emphasize further that the vehicle 1 is approaching the target object, and can alert
  • the brake control system when there is a location where the distance between the vehicle 1 and the object is equal to or less than the predetermined distance D, information indicating that may be transmitted to the brake control system. And the brake control system which received this information may make it brake automatically (even if there is no operation by a driver
  • the displayable range of the display unit 13 may be changed according to the speed of the vehicle 1. For example, when the vehicle 1 is traveling at a speed of 10 km or more per hour, an object existing in the front-rear direction 20 m and the left-right direction 10 m of the vehicle 1 is displayed on the display unit 16 and the vehicle 1 is traveling at a speed less than 10 km per hour. In this case, an object existing in the front-rear direction 2 m and the left-right direction 3 m of the vehicle 1 may be displayed on the display unit 16.
  • the image generation unit 20 displays the contents of the display storage area (the top view image) on the display unit 13 after the object image and the notification image are all arranged in the display storage area.
  • the content (the top view image) of the display storage area may be displayed on the display unit 13.
  • the host vehicle image and the target object image may be images reflecting the outer shape of the vehicle 1 and the target object, and it is not necessary to display the outer shape as it is.
  • the size of the symbol mark when the vehicle 1 is viewed from above may be appropriately enlarged or reduced according to the outer shape of the vehicle 1 and displayed.
  • each section is expressed as S100, for example.
  • each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section.
  • each section configured in this manner can be referred to as a device, module, or means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

　車両の周辺状況を表示部（１３）に表示する運転支援装置は、前記車両の外形形状が記憶された記憶装置（１９）と、前記車両の周辺に存在する対象物の位置と、該対象物の前記車両側の外形形状とを検出する対象物検出装置（１４，１５）と、前記車両の移動方向および移動量に関する移動情報を取得する移動情報取得装置（１７）と、前記対象物の位置と、前記移動情報とに基づいて、前記車両に対する前記対象物の相対位置を推定する相対位置推定装置（１６）と、前記車両の外形形状と、前記対象物の外形形状と、該車両に対する該対象物の前記相対位置とに基づいて、該車両および該対象物を上方から見た上面視画像を生成する画像生成装置（２０）と、前記上面視画像を前記表示部に表示させる表示装置（２１）とを備える。

Description

運転支援装置、および運転支援方法 関連出願の相互参照
　本開示は、２０１４年１月２７日に出願された日本出願番号２０１４－１２８６８号に基づくもので、ここにその記載内容を援用する。
　本開示は、車両周辺の状況を表示部に表示することで運転を支援する技術に関する。
　車両にカメラを搭載し、車両の周辺状況を撮影することで、車両と車両の周辺に存在する対象物（ガードレールや他の車両等）との位置関係を表示する技術が知られている。この位置関係は車両上方から見た方が運転者にとって把握し易いことから、このような技術の中には、車両上方から見た車両周辺の画像を表示する技術が存在する。
　もっとも、車両上方にカメラを取り付けることはできないので、車両上方から見た画像を直接的に得ることはできない。そこで、このような技術では、車両から車両周辺に向けてカメラを設置し、このカメラで撮影した画像を車両上方からの視点に変換（視点変換）することで得られた画像を表示している（例えば、特許文献１）。
　しかし、カメラで撮影した画像を視点変換すると歪みが生じるので、車両と対象物との位置関係が実際とは異なった状態で表示されてしまう可能性がある。
特開２０１２－１７５３１４号公報
　この開示は、車両と対象物との位置関係を高い精度で表示する運転支援装置、および運転支援方法の提供を目的とする。
　本開示の第一の態様に基づいて、車両に設けられて、該車両の周辺状況を表示部に表示する運転支援装置は、前記車両の外形形状が記憶された記憶装置と、前記車両の周辺に存在する対象物の位置と、該対象物の少なくとも前記車両に面する側の外形形状とを検出する対象物検出装置と、前記車両の移動方向および移動量に関する移動情報を取得する移動情報取得装置と、前記対象物検出装置で検出した前記対象物の位置と、前記移動情報取得装置で取得した前記移動情報とに基づいて、前記車両に対する前記対象物の相対位置を推定する相対位置推定装置と、前記車両の外形形状と、前記対象物の外形形状と、該車両に対する該対象物の前記相対位置とに基づいて、該車両および該対象物を上方から見た上面視画像を生成する画像生成装置と、前記上面視画像を前記表示部に表示させる表示装置とを備える。
　対象物が撮影された画像（撮影画像）を表示すると、画像に歪みが生じて車両と対象物との位置関係は実際と異なったものになり易い。この点、上記の運転支援装置は、撮影画像を表示せずに、車両の外形形状と、対象物の外形形状と、該車両に対する該対象物の相対位置とに基づいて生成された上面視画像を表示する。したがって、撮影画像を表示する場合のように画像に歪みが生じることがなく、車両と対象物との位置関係を高い精度で見易く表示することができる。
　本開示の第二の態様に基づいて、車両に設けられて、該車両の周辺状況を表示部に表示する運転支援方法は、前記車両の周辺に存在する対象物の位置と、該対象物の少なくとも前記車両に面する側の外形形状とを検出し、前記車両の移動方向および移動量に関する移動情報を取得し、前記対象物の位置と前記移動情報とに基づいて、前記車両に対する前記対象物の相対位置を推定し、前記車両の外形形状と、前記対象物の外形形状と、該車両に対する該対象物の前記相対位置とに基づいて、該車両および該対象物を上方から見た上面視画像を生成し、前記上面視画像を前記表示部に表示することを備える。
　上記の運転支援方法は、撮影画像を表示せずに、車両の外形形状と、対象物の外形形状と、該車両に対する該対象物の相対位置とに基づいて生成された上面視画像を表示する。したがって、撮影画像を表示する場合のように画像に歪みが生じることがなく、車両と対象物との位置関係を高い精度で見易く表示することができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、運転支援装置の構成を示す説明図であり、 図２（ａ）は、制御装置によって実行される位置関係表示処理の前半部分を示すフローチャートであり、 図２（ｂ）は、制御装置によって実行される位置関係表示処理の前半部分を示すフローチャートであり、 図３は、制御装置によって実行される位置関係表示処理の後半部分を示すフローチャートであり、 図４（ａ）から図４（ｃ）は、対象物画像を生成する様子を示す説明図であり、図４（ａ）では、対象物（壁）の複数の部位までの距離を検出する様子を示し、図４（ｂ）では、対象物の車両側の形状を検出する様子を示し、図４（ｃ）では、規制の画像に反映して対象物画像を生成する様子を示し、 図５は、自車両画像と対象物画像とが表示部に表示されている様子を示す説明図であり、 図６は、報知画像が表示部に表示されている様子を示す説明図であり、 図７（ａ）から図７（ｂ）は、撮影画像を表示する従来の技術を例示する説明図であり、図７（ａ）では、カメラ画像をそのまま表示する場合を示し、図７（ｂ）では、カメラ画像を視点変換して表示する場合を示し、 図８（ａ）から図８（ｂ）は、対象物が死角に入る様子を示す説明図であり、 図９は、対象物が死角に入ったときにおける自車両画像と対象物画像とが表示部に表示されている様子を示す説明図であり、 図１０は、死角対象物データベースを概念的に示す説明図である。
　以下では、上述した本願開示の内容を明確にするために運転支援装置の実施例について説明する。
Ａ．装置構成　：
　図１には、車両１に設けられた運転支援装置１０の構成が示されている。本実施例の運転支援装置１０はステレオカメラ１１を備えており、このステレオカメラ１１は車両１の前方を向けて並設された２つのカメラ１１ａ，１１ｂから構成されている。また、本実施例の運転支援装置１０は、ステレオカメラ１１が撮影した画像に基づいて所定の処理を実行する制御装置１２、制御装置１２の処理結果を表示する表示部１３を備えている。これらのうち、制御装置１２は、ＣＰＵやメモリ、各種コントローラー等が搭載された基板を有しており、運転席前方のインストルメントパネルの奥側に設置されている。また、表示部１３としては、表示画面を運転席側に向けてインストルメントパネルに設置された液晶表示器や、フロントガラス（ウインドシールド）に表示内容を投影するヘッドアップディスプレイ等が設置されている。
　制御装置１２内部をそれぞれの機能を有する機能ブロックに分類すると、制御装置１２は、ステレオカメラ１１に撮影された対象物（例えば、ガードレールや、壁、他車両、縁石など）の形状を検出すると共に対象物を示す画像（以下「対象物画像」という）を生成する形状検出部１４や、ステレオカメラ１１が撮影した画像から車両１に対する対象物の相対位置（以下「第１相対位置」という）を検出する第１相対位置検出部１５、車両１の移動方向や移動量に関する移動情報を検出する移動情報取得部１７、第１相対位置と移動情報に基づいて、ステレオカメラ１１に対象物が撮影された後における車両１に対する対象物の相対位置（本開示における「相対位置」、以下「第２相対位置」という）を推定する第２相対位置検出部１６、車両１と対象物との間隔が距離Ｄ（例えば、５０ｃｍ）以下である箇所を検出する狭間隔箇所検出部１８、車両１を示す自車両画像（車両１の外形形状）が記憶された記憶部１９、車両１の上方からみた車両１の周辺状況を示す画像（上面視画像）を生成する画像生成部２０、画像生成部２０が生成した上面視画像を表示部１３に表示させる表示処理部２１を備えている。
　尚、ステレオカメラ１１を構成するカメラ１１ａ，１１ｂが本開示における「撮影装置」に対応し、記憶部１９が本開示における「記憶装置」に対応し、形状検出部１４および第１相対位置検出部１５が本開示における「対象物検出装置」に対応し、移動情報取得部１７が本開示における「移動情報取得装置」に対応し、第２相対位置検出部１６が本開示における「相対位置推定装置」に対応し、狭間隔箇所検出部１８が本開示における「狭間隔箇所検出装置」に対応し、画像生成部２０が本開示における画像生成装置に対応し、表示処理部２１が本開示における「表示装置」に対応している。また、形状検出部１４は本開示における「対象物生成装置」にも対応している。
　以下では、上述したような運転支援装置１０において行われる「位置関係表示処理」について説明する。位置関係表示処理では、表示部１３に車両１と対象物との位置関係（車両１の周辺状況）を示す上面視画像を表示するための処理が行われる。
Ｂ．位置関係表示処理　：
　図２（ａ）と図２（ｂ）および図３には、本実施例の運転支援装置１０において行われる位置関係表示処理のフローチャートが示されている。尚、位置関係表示処理は実際には、制御装置１２内部のＣＰＵがＲＯＭに記憶されたプログラムを実行することによって行われるが、以下では、制御装置１２または上述した機能ブロック１４～１９を実行主体として説明する。また、位置関係表示処理はタイマ割り込み処理として（例えば６０分の１秒毎に）行われる。
　図２（ａ）と図２（ｂ）および図３に示す位置関係表示処理を開始すると、制御装置１２は先ず、ステレオカメラ１１に撮影指示信号を出力することで、ステレオカメラ１１に車両１前方を撮影させるとともに、その撮影された画像（カメラ１１ａ，１１ｂによって同時に撮影された２つの撮影画像）を取得する。続いて、制御装置１２の画像生成部２０は、記憶部１９から自車両画像を読み出し、該自車両画像をフレームバッファ等の表示画像領域に配置（記憶）する。表示画像領域とは、表示部１３に表示される上面視画像が生成される領域である（Ｓ１００、図６（ａ）から図６（ｃ）参照）。また、自車両画像とは、上方から見た車両１を示す画像である。この自車両画像は、車両１を上方から見た場合の外形を（バンパーの凹凸等も含めて）正確に縮小した画像（例えば縮尺が１００分の１の画像）であることが好ましい。これは、車両１と対象物との間隔を高い精度で表示部１３に表示するためである。
　画像生成部２０が表示画像領域に自車両画像を配置したら（Ｓ１００）、制御装置１２は、ステレオカメラ１１から取得した２つの撮影画像の中に、ガードレールや壁、他車両、縁石などの対象物が存在するか否かを判断する（Ｓ１０２）。例えば、制御装置１２内のＲＯＭに種々の対象物の形状をテンプレートとして記憶しておき、撮影画像の中にそのテンプレートに適合（マッチ）する部分が存在するか否かを判断する（いわゆるテンプレートマッチング処理を行う）。
　尚、このＳ１０２の判断処理では、「遠方の対象物（車両１から所定の距離より離れた位置に存在する対象物）」については、撮影画像の中に存在していても検出せずに（存在しないと判断し）、「近傍の対象部（車両１から所定の距離以内の位置に存在する対象物）」について検出する（存在すると判断する）こととしている。例えば、上述のテンプレートマッチング処理において、小さめのテンプレート（遠方の対象物に対応するテンプレート）は使用せずに、大きめのテンプレート（近傍の対象物に対応するテンプレート）に適合した対象物が存在するか否かを判断する。詳しくは後述するが、本実施例の運転支援装置１０では、Ｓ１０２の判断処理で対象物を検出すると、この対象物を示す対象物画像を表示部１３に表示することとしている。したがって、Ｓ１０２の判断処理で、直ぐに車両１に接触する虞のない遠方の対象物も検出してしまうと、この遠方の対象物を示す対象物画像も表示されてしまい、接触する虞のある近傍の対象物を示す対象物画像を運転者が認識し難くなってしまう可能性がある。このようなことを防止すべく、Ｓ１０２の判断処理では遠方の対象物は検出しないこととしている。
　Ｓ１０２の判断処理の結果、撮影画像中に対象物（近傍の対象物）が存在していると判断された場合は（Ｓ１０２：ｙｅｓ）、制御装置１２の形状検出部１４は、その対象物の形状を検出する（Ｓ１０４）。ここで、上述したように、ステレオカメラ１１のカメラ１１ａ，１１ｂは、異なった位置から（いわゆる視差のある状態で）車両１の前方を撮影する。したがって、カメラ１１ａ，１１ｂの撮影画像の差分に基づいて、車両１から画像に写る所定箇所までの距離を検出することが可能である。そこで、形状検出部１４は、図４（ａ）に示すように先ず、Ｓ１０２の処理で検出された対象物（ここでは凹凸のある壁）の複数の部位までの距離を検出する。すなわち、車両１から対象物の複数の部位までの距離は互いに異なることがあるので、その複数の部位までの距離をそれぞれ検出する。そして、それらの距離に基づいて、図４（ｂ）に示すように、上方から見たときの対象物の車両１側の形状を検出する（Ｓ１０４）。
　こうして、対象物の車両１側の形状を検出したら（Ｓ１０４）、対象物のその他の部分の形状を補完することで、対象物を示す対象物画像を生成する（Ｓ１０６）。すなわち、Ｓ１０４の処理では、対象物の形状のうち車両１側しか検出することができないので、その他の部分の形状を補完する。例えば、予め種々の対象物に対応する形状の画像（既成の画像）を記憶部１９に記憶しておく。そして、Ｓ１０４の処理で検出された対象物の車両１側の形状に基づいて、この対象物の種類を推定する。続いて、推定された対象物に対応する既成の画像を読み出し、図４（ｃ）に示すように、この既成の画像にＳ１０４で検出された対象物の車両１側の形状を反映させる（合成する）ことで、検出された対象物を示す対象物画像を生成する（Ｓ１０６）。
　尚、対象物画像を生成するに際しては、対象物画像の縮尺は自車両画像と同じにする。例えば、自車両画像の縮尺が１００分の１であれば、既成の画像も縮尺が１００分の１のものを予め記憶しておく。そして、既成の画像に対象物の車両１側の形状を反映させる前に、対象物の車両１側の形状も縮尺を１００分の１にする。
　こうして、対象物画像を生成したら（Ｓ１０６）、制御装置１２の第１相対位置検出部１５は、車両１に対する対象物の相対位置（第１相対位置）を検出する（Ｓ１０８）。上述したように、ステレオカメラ１１の撮影画像（カメラ１１ａ，１１ｂの２つの撮影画像）からは、画像に写る所定箇所の車両１からの距離を検出することが可能であるので、ここでは車両１から対象物までの距離を検出する。そして、この距離に基づいて車両に対する対象物の第１相対位置（例えば、車両１の中心を原点とした２次元座標）を検出する。尚、第１相対位置を検出するにあたっては、Ｓ１０４の処理で検出された「車両１から対象物の複数の部位までの距離」に基づいて検出してもよい。また、Ｓ１０８の処理で検出された第１相対位置も、対象物画像と同様に、縮尺を１００分の１にする。
　こうして、対象物画像を生成すると共に（Ｓ１０６）対象物の第１相対位置を検出したら（Ｓ１０８）、画像生成部２０は、対象物の第１相対位置に基づいて対象物画像を表示用記憶領域に配置する（Ｓ１１０）。すなわち、図５に示すように、表示部１３の表示画面上の「第１相対位置に対応する位置」に、対象物画像が「車両１側の形状に対応する部分」を自車両画像側に向けて表示されるように、対象物画像を表示用記憶領域に配置する。
　続いて、対象物と車両１との間隔が所定の距離Ｄ（例えば、５０ｃｍ）以下の箇所（以下「狭間隔箇所」という）があるか否かを判断する（Ｓ１１２）。この判断処理は、表示用記憶領域上（表示画面上）における対象物画像と自車両画像との間隔が「距離Ｄの縮尺を１００分の１にした距離（例えば、５ｍｍ）」以下の箇所があるか否かを判断してもよいし、ステレオカメラ１１の画像に基づいて車両１から対象物の各部位までの距離を検出して距離Ｄ以下の箇所があるか否かを判断してもよい。この結果、対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）がある場合は（Ｓ１１２：ｙｅｓ）、画像生成部２０は、狭間隔箇所の位置に基づいて「対象物と車両１との間隔（ここでは５０ｃｍ）を報知する報知画像」を表示用記憶領域に配置する。すなわち、図６（ａ）から図６（ｂ）に示すように、狭間隔箇所に対応する位置（表示部１３の表示画面上の位置）に報知画像が表示されるように、報知画像を表示用記憶領域に配置する。
　その後、Ｓ１０２の処理に戻り、ステレオカメラ１１の撮影画像中に他の対象物が存在しないか否かを判断する。そして、他の対象物が存在する場合は（Ｓ１０２：ｙｅｓ）、上述したＳ１０４～Ｓ１１４の処理を繰り返す。すなわち、ステレオカメラ１１の撮影画像中に存在する対象物毎に、対象物画像を生成すると共に第１相対位置を検出し、その第１相対位置に対応する位置に対象物画像が表示されるように、対象物画像を表示用記憶領域に配置する。また、狭間隔箇所が存在する場合は、狭間隔箇所に対応する位置に報知画像が表示されるように、報知画像を表示用記憶領域に配置する。
　ここで、本実施例の運転支援装置１０と従来技術とを比較する。図７（ａ）には、車両に設けられたカメラで撮影した画像をそのまま表示部に表示する従来技術が示されている。このような従来技術では、図７（ａ）に示すように、カメラの性能によって画像がぼやけたり車両近傍（ここではバンパー）が歪んだりするので、運転者にとって車両と対象物との位置関係を認識し難い。また、車両と対象物との位置関係は車両上方から見た方が認識し易いものの、車両上方にカメラを取り付けることができないので、車両上方から見た画像とは異なる認識し難い画像を表示することとなってしまう。また、図７（ｂ）には、車両に設けられたカメラで撮影した画像を車両上方からの視点に変換（視点変換）して表示部に表示する従来技術が示されている。このような従来技術では、図７（ｂ）に示すように、車両上方から見た画像を表示することはできるものの、撮影した画像（ここでは壁の画像）を視点変換すると画像が歪んでしまうので、運転者にとって車両と対象物との位置関係（例えば、車両と壁との間隔）を認識し難くなってしまう。
　これらの従来技術に対して、本実施例の運転支援装置１０は、図５を用いて前述したように、車両１を上方から見た自車両画像を表示すると共に、対象物の車両１に対する相対位置（第１相対位置）に対応する位置に、対象物を上方から見た対象物画像を表示する。したがって、運転者にとって車両１と対象物との位置関係を認識し易い上方からの視点で、自車両画像と対象物画像とを表示することができる。また、自車両画像や対象物画像に歪みが生じることがないので、車両と対象物との位置関係（例えば、車両と対象物との間隔）を高い精度で表示することができる。
　また、本実施例の運転支援装置１０は、対象物の車両１側の形状を検出し、検出された形状を反映した対象物画像を表示するので、対象物を上方から見た場合の対象物の車両１側の形状を高い精度で表示することができ、ひいては、対象物と車両１との間隔を高い精度で表示することができる。
　また、図１を用いて前述したように、本実施例の運転支援装置１０は、ステレオカメラ１１（カメラ１１ａ，１１ｂ）を備えており、ステレオカメラ１１に撮影された２つ画像の差分に基づいて車両１から対象物までの距離を検出する。したがって、高い精度で車両１に対する対象物の相対位置や車両１側の対象物の形状を検出することができ、ひいては、車両と対象物との位置関係や、対象物の車両１側の形状を高い精度で表示することができる。
　また、図６（ａ）から図６（ｂ）を用いて前述したように、本実施例の運転支援装置１０は、対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）がある場合は、その箇所に対応する位置（表示部１３の表示画面上の位置）に、対象物と車両１との間隔を報知する報知画像を表示する。したがって、車両１が対象物に接近していることを、狭間隔箇所が運転者にとって認識し易い態様で報知することができる。
　以上は、本実施例の運転支援装置１０において、ステレオカメラ１１に撮影された対象物を示す対象物画像を表示部１３に表示する処理（Ｓ１０４～Ｓ１１４）について説明した。これに対して、ステレオカメラ１１に撮影された対象物を示す対象物画像を全て表示した場合や、ステレオカメラ１１に対象物が撮影されなかった場合は（Ｓ１０２：ｎｏ）、ステレオカメラ１１の死角（ステレオカメラ１１の撮影可能範囲の外側）に存在する対象物を示す対象物画像を表示するための処理を行う。この処理では先ず、前回の位置関係表示処理（図２（ａ）と図２（ｂ）および図３）において対象物画像を表示（配置）してからの車両１の移動情報（移動方向および移動量）を、移動情報取得部１７が取得する（Ｓ１１６）。例えば、運転支援装置１０とは別の「車両１のステアリングの操舵角や速度を検出するシステム」からこれらの情報（いわゆるＣＡＮ情報）を受信して、これらの情報に基づいて移動上方を取得する。尚、以下では、前回の位置関係表示処理（図２（ａ）と図２（ｂ）および図３）を単に「前回」と表現し、今回の位置関係表示処理を単に「今回」と表現する。
　こうして、対象物画像を前回表示してからの車両１の移動情報を検出したら（Ｓ１１６）、前回表示した対象物全てについて今回の相対位置（車両１が移動した後の相対位置、第２相対位置）を演算（推定）する（Ｓ１１８）。この演算処理は、「対象物画像を前回表示したときの対象物の相対位置（第１相対位置）」と「対象物画像を前回表示してからの車両１の移動情報」とに基づいて行われる。例えば、第１相対位置を示す二次元座標に、車両１の移動情報分を反映させることによって、今回の相対位置（第２相対位置）を演算する。こうして、前回表示した対象物全てについて今回の相対位置（第２相対位置）を演算したら（Ｓ１１８）、「今回の相対位置（第２相対位置）がステレオカメラ１１の死角に位置する対象物」が存在するか否かを判断する（Ｓ１２０）。すなわち、前回表示した対象物画像に対応する対象物のうち、ステレオカメラ１１の死角に入った対象物が存在するか否かを判断する。
　その結果、ステレオカメラ１１の死角に入った対象物が存在する場合は（Ｓ１２０：ｙｅｓ）、その対象物の相対位置（第２相対位置）が対象物画像を表示可能な範囲であるか否かを判断する（Ｓ１２２）。すなわち、表示部１６の表示領域は当然ながら限りがあるので、このことに対応して対象物（対象物画像）を表示できる相対位置（第２相対位置）の範囲も所定の範囲内（例えば、車両１の前後方向２ｍ以内、左右方向３ｍ以内）となる。そこで、Ｓ１２２の判断処理は、この所定の範囲内（表示可能な範囲内）に、ステレオカメラ１１の死角に入った対象物の相対位置（第２相対位置）が存在するか否かを判断する。
　その結果、ステレオカメラ１１の死角に入った対象物の相対位置（第２相対位置）が表示可能な範囲内にある場合は（Ｓ１２２：ｙｅｓ）、その相対位置（第２相対位置）に対応する表示画面上の位置に、対象物画像（前回表示した対象物画像）が表示されるように、画像生成部２０が対象物画像を表示用記憶領域に配置する（Ｓ１２４）。
　図８（ａ）から図８（ｂ）には、対象物がステレオカメラ１１の死角に入る様子が示されており、図９には、そのときの表示部１６の表示内容が示されている。尚、図８（ａ）から図８（ｂ）および図９では、対象物および対象物画像を簡略化して（円形で）示している。
　本実施例の運転支援装置１０は上述のＳ１１６～Ｓ１２４の処理を行うことによって、図８（ａ）から図８（ｂ）に示すように対象物がステレオカメラ１１の撮影可能範囲から撮影不能範囲（死角）に入った場合であっても、「対象物画像を前回表示したときの対象物の相対位置（第１相対位置）」と「対象物画像を前回表示してからの車両１の移動情報」とに基づいて「今回の対象物の相対位置（第２相対位置）」を演算して、この相対位置（第２相対位置）に対応する位置に、該対象物の対象物画像を表示することができる（図９）。したがって、対象物を撮影した後に車両１が移動することで該対象物がステレオカメラ１１の死角に入った場合であっても、車両１と対象物との位置関係を高い精度で表示することができる。
　こうして、ステレオカメラ１１の死角に入った対象物を示す対象物画像を表示したら（Ｓ１２４）、死角に入った対象物と車両１との間隔が所定の距離Ｄ（例えば、５０ｃｍ）以下の箇所（狭間隔箇所）があるか否かを判断する（Ｓ１２６）。この判断処理は、例えば、死角に入った対象物画像と自車両画像との表示用記憶領域上（表示画面上）における間隔が「距離Ｄの縮尺を１００分の１にした距離（例えば、５ｍｍ）」以下の箇所があるか否かを判断する。この結果、死角に入った対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）がある場合は（Ｓ１２６：ｙｅｓ）、その狭間隔箇所に対応する位置（表示部１３の表示画面上の位置）に報知画像が表示されるように、画像生成部２０が報知画像を表示用記憶領域に配置する（Ｓ１２８）。こうすると、死角に入った対象物に車両１が接近していることを、狭間隔箇所が運転者にとって認識し易い態様で報知することができる。
　ステレオカメラ１１の死角に入った対象物を示す対象物画像を表示した場合（Ｓ１２４）はさらに、この対象物の対象物画像と相対位置（第２相対位置）とに対応付けて、識別情報（ＩＤ）を付与する（Ｓ１３０）。
　図１０には、本実施例の運転支援装置１０における死角対象物データベースが例示されている。死角対象物データベースとは、死角に入った対象物のうち、対象物画像を表示中の対象物を制御装置１２が記憶するためのデータベースであり、記憶部１９に記憶されている。すなわち、対象物が死角に移動した場合であっても、その対象物を示す対象物画像を表示している限りは、その対象物の対象物画像（の形状）と相対位置とを記憶しておく必要がある。そこで、対象物が死角に入った場合は、その対象物の対象物画像と相対位置とにＩＤを付与して記憶する。
　こうして、Ｓ１２０～Ｓ１３０の処理を行ったら、Ｓ１２０の処理に戻り、死角に入った他の対象物が存在しないか否かを判断する。その結果、死角に入った他の対象物が存在する場合は（Ｓ１２０：ｙｅｓ）、上述したＳ１２０～Ｓ１３０の処理を繰り返す。すなわち、死角に入った対象物毎に、今回の相対位置（第２相対位置）を演算して、その相対位置（第２相対位置）が表示可能な範囲にあれば、該相対位置（第２相対位置）に対応する位置に対象物画像が表示されるように対象物画像を表示用記憶領域に配置すると共に、死角に入った対象物（対象物画像および相対位置）にＩＤを付与して死角対象物データベースに記憶する。また、死角に入った対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）が存在する場合は、その狭間隔箇所に対応する位置に報知画像が表示されるように、報知画像を表示用記憶領域に配置する。
　以上は、対象物が今回からステレオカメラ１１の死角に入った場合に、該対象物を示す対象物画像を表示する処理（Ｓ１１６～Ｓ１３０）について説明した。これに対して、対象物が前回以前にステレオカメラ１１の死角に入った場合は、次のような処理を行う。制御装置１２は先ず、前回以前にステレオカメラ１１の死角に入った対象物を示す対象物画像が表示されているか否かを判断する（Ｓ１３２）。すなわち、前回以前に死角に入った対象物を示す対象物画像が表示されている場合は、図１０を用いて上述した死角対象物データベースに記憶されているので（前回以前のＳ１３０の処理で記憶されているので）、Ｓ１３２の判断処理は、死角対象物データベースに前回以前にＩＤが付与されて記憶された対象物（対象物画像および相対位置）があるか否かを判断することによって行われる。尚、以下では、前回以前に死角に入った対象物は上述したようにＩＤが付与されていることから、該対象物を「ＩＤ付与済みの対象物」と表現する。
　Ｓ１３２の判断処理の結果、ＩＤ付与済みの対象物が存在すると判断された場合は（Ｓ１３２：ｙｅｓ）、該ＩＤ付与済みの対象物の前回の相対位置（死角対象物データベースに記憶されている相対位置）と、Ｓ１１６の処理で検出された車両１の移動情報（対象物画像を前回表示してからの車両１の移動情報）とに基づいて、ＩＤ付与済みの対象物の今回の相対位置を演算する（Ｓ１３４）。例えば、ＩＤ付与済みの対象物の前回の相対位置を示す二次元座標に、車両１の移動情報分を反映させることによって、今回の相対位置を演算する。
　こうして、ＩＤ付与済みの対象物の今回の相対位置を検出したら（Ｓ１３４）、その相対位置が対象物画像を表示可能な範囲であるか否かを判断する（Ｓ１３６）。すなわち、前述したように、表示部１６の表示領域は限りがあるので、このことに対応して対象物（対象物画像）を表示できる相対位置の範囲も所定の範囲内（例えば、車両１の前後方向２ｍ以内、左右方向３ｍ以内）となる。そこで、Ｓ１３６の判断処理は、この所定の範囲内（表示可能な範囲内）に、ＩＤ付与済みの対象物の相対位置があるか否かを判断する。
　その結果、ＩＤ付与済みの対象物の相対位置が表示可能な範囲内にある場合は（Ｓ１３６：ｙｅｓ）、その相対位置に対応する表示画面上の位置に、該ＩＤに対応する対象物画像（死角対象物データベースに記憶されている対象物画像）が表示されるように、画像生成部２０が対象物画像を配置する（Ｓ１３８）。尚、ＩＤ付与済みの対象物を示す対象物画像を配置した場合は、死角対象物データベースにおける該ＩＤに対応する相対位置をＳ１３４の処理で演算された相対位置に更新する。
　こうして、ＩＤ付与済みの対象物を示す対象物画像を表示したら（Ｓ１３８）、ＩＤ付与済みの対象物と車両１との間隔が所定の距離Ｄ（例えば、５０ｃｍ）以下の箇所（狭間隔箇所）があるか否かを判断する（Ｓ１４０）。この判断処理は、例えば、ＩＤ付与済みの対象物画像と自車両画像との表示用記憶領域上（表示画面上）における間隔が「距離Ｄの縮尺を１００分の１にした距離（例えば、５ｍｍ）」以下の箇所があるか否かを判断する。この結果、ＩＤ付与済みの対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）がある場合は（Ｓ１４０：ｙｅｓ）、その狭間隔箇所に対応する位置（表示部１３の表示画面上の位置）に、対象物と車両１との間隔を報知する報知画像が表示されるように、画像生成部２０が報知画像を表示用記憶領域に配置する（Ｓ１４２）。こうすると、前回以前に死角に入った対象物（ＩＤ付与済みの対象物）に車両１が接近していることを、狭間隔箇所が運転者にとって認識し易い態様で報知することができる。
　一方、Ｓ１３６の判断処理で、ＩＤ付与済みの対象物の相対位置が表示可能な範囲内にない場合は（Ｓ１３６：ｎｏ）、該ＩＤ付与済みの対象物を示す対象物画像を表示することはできないので、Ｓ１３８～Ｓ１４２の処理は省略すると共に、死角対象物データベースから該対象物（ＩＤと、該ＩＤが付与された対象物画像および相対位置）を消去する（Ｓ１４４）。
　こうして、Ｓ１３２～Ｓ１４４の処理を行ったら、Ｓ１３２の処理に戻り、他のＩＤ付与済みの対象物が存在しないか否かを判断する。すなわち、死角対象物データベースに他のＩＤ付与済みの対象物（ＩＤと、該ＩＤが付与された対象物画像および相対位置）が記憶されているか否かを判断する。その結果、他のＩＤ付与済みの対象物が存在する場合は（Ｓ１３２：ｙｅｓ）、上述したＳ１３４～Ｓ１４４の処理を繰り返す。すなわち、ＩＤ付与済みの対象物毎に、今回の相対位置を演算して、その相対位置が表示可能な範囲にあれば表示画面上の該相対位置に対応する位置に対象物画像が表示されるように対象物画像を表示用記憶領域に配置する。これに対して、その相対位置が表示可能な範囲になければ対象物画像を配置せずに死角対象物データベースから消去する。また、前回以前に死角に入った対象物と車両１との間隔が所定の距離Ｄ以下の箇所（狭間隔箇所）が存在する場合、その狭間隔箇所に対応する位置に報知画像が表示されるように、報知画像を表示用記憶領域に配置する。そして、ＩＤ付与済みの対象物全てについてＳ１３４～Ｓ１４４の処理を行ったら、表示処理部２１が、画像表示領域の内容（Ｓ１１０、Ｓ１１４、Ｓ１２４、Ｓ１２８、Ｓ１３８、Ｓ１４２の処理で画像表示領域上に配置された各種画像、すなわち、上面視画像）を表示部１３に表示する（Ｓ１４６）。その後、図２（ａ）と図２（ｂ）および図３に示す位置関係表示処理を終了する。
　以上のように、本実施例の運転支援装置１０では、前回以前に死角に入った対象物（ＩＤ付与済みの対象物）についても、その対象物の相対位置を更新して、この相対位置に基づいて対象物画像を表示する。したがって、対象物が死角に入った後も該対象物が表示可能範囲に存在する限りは継続して、車両１と該対象物との位置関係を高い精度で表示することができる。
　以上、実施例の運転支援装置について説明したが、本開示は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
　例えば、上述した実施例では、車両１と対象物との間隔が所定の距離Ｄ以下の箇所が存在する場合は、その箇所に対応する表示画面上の位置に報知画像を表示することとした。これに限らず、車両１と対象物との間隔が所定の距離Ｄ以下の箇所が存在する場合は、その箇所に対応する表示画面上の範囲を拡大して表示（いわゆるズームアップ表示）することとしてもよいし、その範囲の色彩を変更することとしてもよい。こうすると、対象物に車両１が接近していることを更に強調して運転者に報知することができる。
　また、上述した実施例においては、車両１と対象物との間隔が所定の距離Ｄ以下の箇所が存在する場合は、その旨を示す情報をブレーキ制御システムに送信してもよい。そして、この情報を受信したブレーキ制御システムが、自動的に（運転者による操作がなくても）ブレーキをかけるようにしてもよい。こうすると、対象物に車両１が接近していることを更に強調して運転者に報知することができると共に車両１が対象物に接触することを防止することができる。
　また、上述した実施例においては、車両１の速度に対応して表示部１３の表示可能範囲を変更してもよい。例えば、時速１０ｋｍ以上で車両１が走行している場合は、車両１の前後方向２０ｍ、左右方向１０ｍに存在する対象物を表示部１６に表示し、時速１０ｋｍ未満で車両１が走行している場合は、車両１の前後方向２ｍ、左右方向３ｍに存在する対象物を表示部１６に表示することとしてもよい。
　また、上述した実施例においては、画像生成部２０が対象物画像や報知画像を表示用記憶領域に全て配置した後に、表示用記憶領域の内容（上面視画像）を表示部１３に表示することとしたが、画像生成部２０が対象物画像や報知画像を表示用記憶領域に配置するたびに、表示用記憶領域の内容（上面視画像）を表示部１３に表示することとしてもよい。
　また、自車両画像および対象物画像は、車両１および対象物の外形形状を反映した画像であればよく、外形形状をそのまま表示する必要はない。例えば、車両１を上方から見たシンボルマークの大きさを、車両１の外形形状に合わせて適宜拡大あるいは縮小して表示するものであってもよい。
　ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション（あるいはステップと言及される）から構成され、各セクションは、たとえば、Ｓ１００と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
 

Claims (5)

  1. 　車両に設けられて、該車両の周辺状況を表示部（１３）に表示する運転支援装置であって、
    　前記車両の外形形状が記憶された記憶装置（１９）と、
    　前記車両の周辺に存在する対象物の位置と、該対象物の少なくとも前記車両に面する側の外形形状とを検出する対象物検出装置（１４，１５）と、
    　前記車両の移動方向および移動量に関する移動情報を取得する移動情報取得装置（１７）と、
    　前記対象物検出装置で検出した前記対象物の位置と、前記移動情報取得装置で取得した前記移動情報とに基づいて、前記車両に対する前記対象物の相対位置を推定する相対位置推定装置（１６）と、
    　前記車両の外形形状と、前記対象物の外形形状と、該車両に対する該対象物の前記相対位置とに基づいて、該車両および該対象物を上方から見た上面視画像を生成する画像生成装置（２０）と、
    　前記上面視画像を前記表示部に表示させる表示装置（２１）と
    　を備える運転支援装置。
  2. 　請求項１に記載の運転支援装置であって、
    　前記対象物検出装置で検出された前記対象物の外形形状に基づいて、該対象物の外形形状を表す対象物画像を生成する対象物生成装置（１４）をさらに備え、
    　前記記憶装置は、前記車両の外形形状を表す車両画像を記憶し、
    　前記画像生成装置は、前記対象物画像と前記車両画像とを含む前記上面視画像を生成する運転支援装置。
  3. 　請求項１または請求項２に記載の運転支援装置であって、
    　前記車両に対する前記対象物の前記相対位置、および、前記車両と前記対象物の前記外形形状に基づいて、前記車両と前記対象物との間隔が所定の距離以下の箇所である狭間隔箇所を検出する狭間隔箇所検出装置（１８）をさらに備え、
    　前記画像生成装置は、前記狭間隔箇所が検出されると、該狭間隔箇所を示す前記上面視画像を生成する運転支援装置。
  4. 　請求項１ないし請求項３の何れか一項に記載の運転支援装置であって、
    　前記対象物を異なった位置から撮影する複数の撮影装置（１１ａ，１１ｂ）をさらに備え、
    　前記対象物検出装置は、前記複数の撮影装置が撮影した画像に基づいて、前記車両の周辺に存在する前記対象物の位置と、該対象物の前記車両に面する側の外形形状とを検出する運転支援装置。
  5. 　車両に設けられて、該車両の周辺状況を表示部に表示する運転支援方法であって、
    　前記車両の周辺に存在する対象物の位置と、該対象物の少なくとも前記車両に面する側の外形形状とを検出し（Ｓ１０８、Ｓ１０４）、
    　前記車両の移動方向および移動量に関する移動情報を取得し（Ｓ１１６）、
    　前記対象物の位置と前記移動情報とに基づいて、前記車両に対する前記対象物の相対位置を推定し（Ｓ１１８）、
    　前記車両の外形形状と、前記対象物の外形形状と、該車両に対する該対象物の前記相対位置とに基づいて、該車両および該対象物を上方から見た上面視画像を生成し（Ｓ１００、Ｓ１２４）、
    　前記上面視画像を前記表示部に表示する（Ｓ１４６）
    　ことを備える運転支援方法。
     
     
     
PCT/JP2015/000324 2014-01-27 2015-01-26 運転支援装置、および運転支援方法 WO2015111417A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/104,935 US10099617B2 (en) 2014-01-27 2015-01-26 Driving assistance device and driving assistance method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-012868 2014-01-27
JP2014012868A JP6291866B2 (ja) 2014-01-27 2014-01-27 運転支援装置、および運転支援方法

Publications (1)

Publication Number Publication Date
WO2015111417A1 true WO2015111417A1 (ja) 2015-07-30

Family

ID=53681227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000324 WO2015111417A1 (ja) 2014-01-27 2015-01-26 運転支援装置、および運転支援方法

Country Status (3)

Country Link
US (1) US10099617B2 (ja)
JP (1) JP6291866B2 (ja)
WO (1) WO2015111417A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
JP6514086B2 (ja) * 2015-10-15 2019-05-15 株式会社Ｓｏｋｅｎ 静止物検出装置、及びプログラム
JP6623729B2 (ja) * 2015-12-04 2019-12-25 株式会社ソシオネクスト 測距システム、移動体及び部品
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
JP7092688B2 (ja) * 2017-02-17 2022-06-28 住友重機械工業株式会社 作業機械用周辺監視システム
DE102017001707A1 (de) * 2017-02-22 2018-08-23 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Benachrichtigung über einen geschätzten Bewegungspfad eines Fahrzeugs
US10740627B2 (en) 2017-05-10 2020-08-11 Fotonation Limited Multi-camera vision system and method of monitoring
DE102017214934B3 (de) * 2017-08-25 2019-02-07 Panasonic Automotive & Industrial Systems Europe GmbH Videobildaufnahmeverfahren, Wiedergabeverfahren, Ausrüstung für ein Fahrzeug, eingerichtet zum Ausführen eines Videobildaufnahmeverfahrens und Testsystem zum Ausführen eines Wiedergabeverfahrens
JP7031228B2 (ja) * 2017-10-26 2022-03-08 株式会社リコー プログラム、画像表示方法、画像表示システム、情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001187553A (ja) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd 駐車支援装置
JP2003189293A (ja) * 2001-09-07 2003-07-04 Matsushita Electric Ind Co Ltd 車両周囲状況表示装置および映像提示システム
JP2007201748A (ja) * 2006-01-26 2007-08-09 Alpine Electronics Inc 車両運転支援装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
EP1291668B1 (en) * 2001-09-07 2005-11-30 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
JP4846545B2 (ja) * 2006-11-29 2011-12-28 株式会社デンソー 運転支援装置
US8988525B2 (en) * 2009-08-27 2015-03-24 Robert Bosch Gmbh System and method for providing guidance information to a driver of a vehicle
JP5724446B2 (ja) 2011-02-21 2015-05-27 日産自動車株式会社 車両の運転支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001187553A (ja) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd 駐車支援装置
JP2003189293A (ja) * 2001-09-07 2003-07-04 Matsushita Electric Ind Co Ltd 車両周囲状況表示装置および映像提示システム
JP2007201748A (ja) * 2006-01-26 2007-08-09 Alpine Electronics Inc 車両運転支援装置

Also Published As

Publication number Publication date
JP2015142188A (ja) 2015-08-03
US20170028917A1 (en) 2017-02-02
US10099617B2 (en) 2018-10-16
JP6291866B2 (ja) 2018-03-14

Similar Documents

Publication Publication Date Title
WO2015111417A1 (ja) 運転支援装置、および運転支援方法
US10810446B2 (en) Parking space line detection method and device
US9435879B2 (en) Alert display device and alert display method
JP4809019B2 (ja) 車両用障害物検出装置
US10220778B2 (en) Vehicle-mounted alert system and alert control device
JP4615038B2 (ja) 画像処理装置
JP6278222B2 (ja) 車両用表示装置及び車両用表示方法
JP2005300315A (ja) 物体検出装置
CN107004250B (zh) 图像生成装置及图像生成方法
JP2008059178A (ja) 運転支援装置およびプログラム
JP2011033594A (ja) 車両用距離算出装置
JP6384138B2 (ja) 車両用表示装置
JP5477394B2 (ja) 車両周辺監視装置
US10916225B2 (en) Attention calling display apparatus
JP5040851B2 (ja) 脇見運転判定装置
JP4768499B2 (ja) 車載周辺他車検出装置
KR101849326B1 (ko) 차량용 카메라 시스템
JP5717416B2 (ja) 運転支援制御装置
JP6295868B2 (ja) 車両用表示装置
JP6361347B2 (ja) 車両用表示装置
WO2012144053A1 (ja) 車両用周辺障害物表示装置及び車両用周辺障害物表示方法
CN115943287A (zh) 车辆姿态推断系统及车辆姿态推断方法
JP4040620B2 (ja) 車両周辺監視装置
JP2010148058A (ja) 運転支援装置及び運転支援方法
JP6718295B2 (ja) 周辺監視装置及び周辺監視方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15741008

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15104935

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15741008

Country of ref document: EP

Kind code of ref document: A1