WO2019239725A1 - 車両制御装置 - Google Patents

車両制御装置 Download PDF

Info

Publication number
WO2019239725A1
WO2019239725A1 PCT/JP2019/017124 JP2019017124W WO2019239725A1 WO 2019239725 A1 WO2019239725 A1 WO 2019239725A1 JP 2019017124 W JP2019017124 W JP 2019017124W WO 2019239725 A1 WO2019239725 A1 WO 2019239725A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
video
vehicle control
image
vehicle
Prior art date
Application number
PCT/JP2019/017124
Other languages
English (en)
French (fr)
Inventor
克哉 松雪
智 大久保
宗俊 柘植
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to CN201980034009.5A priority Critical patent/CN112272946B/zh
Priority to US15/734,451 priority patent/US11276309B2/en
Priority to JP2020525312A priority patent/JP7121120B2/ja
Publication of WO2019239725A1 publication Critical patent/WO2019239725A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/24—Cathode-ray tube displays or other two dimensional or three-dimensional displays the display being orientated or displaced in accordance with movement of object carrying the transmitting and receiving apparatus, e.g. true-motion radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to a vehicle control device that displays images captured by a plurality of cameras mounted on the host vehicle.
  • Patent Document 1 discloses a technique of a monitoring system that switches to an original image of a camera that captures an overlapping area when it is detected that an obstacle exists in the overlapping area in the overhead view display image.
  • the present invention has been made in view of the above points, and an object of the present invention is to provide a vehicle control device that allows an occupant to easily check the presence or absence of an obstacle with an image.
  • a vehicle control apparatus of the present invention that solves the above-described problem is a peripheral video composition that generates a peripheral video by synthesizing a plurality of imaging units that capture an external environment of a vehicle and a plurality of captured images captured by the plurality of imaging units.
  • the obstacle is captured from a plurality of captured images captured by the plurality of image capturing units, a collision determination unit that determines whether or not an obstacle exists on the travel route of the vehicle, and Selecting a captured image, generating an alarm image including the selected captured image, and displaying the peripheral image when the collision determination unit determines that the obstacle is not present,
  • a display video switching unit that performs a process of displaying the alarm video when it is determined that an obstacle exists.
  • an occupant can easily check the presence or absence of an obstacle in the host vehicle with a video. Further features relating to the present invention will become apparent from the description of the present specification and the accompanying drawings. Further, problems, configurations, and effects other than those described above will be clarified by the following description of embodiments.
  • FIG. 1 is an overall configuration diagram of a vehicle control device according to an embodiment of the present invention.
  • the block diagram which shows the function structure of a vehicle control apparatus.
  • FIG. 1 is an overall configuration diagram of a vehicle control device according to an embodiment of the present invention
  • FIG. 2 is a schematic configuration diagram of a vehicle equipped with the vehicle control device.
  • the vehicle control device 10 performs automatic driving control of the vehicle 20, and for example, performs control to automatically park the vehicle 20 at the target parking position. At that time, a bird's-eye view video or a 3D video created using images acquired from a plurality of cameras 25F, 25B, 25L, and 25R attached to the vehicle 20 in order to make the vehicle occupant recognize the situation around the vehicle. And the like.
  • the vehicle control apparatus 10 has an operation unit 24, an imaging unit 25, and a distance measuring sensor 26 connected to the input side, and data D24, D25, and D26 are input thereto. . Further, a display unit 23 is connected to the output side, and data D104 is output to the display unit 23. The display unit 23 and the operation unit 24 are attached to an operable position in the passenger compartment so that the driver can visually recognize and operate the imaging unit 25 and the distance measuring sensor 26, and detect an environment around the vehicle. It is attached to the outside of the vehicle.
  • a plurality of imaging units 25 are attached to the outside of the vehicle 20 in order to image the outside of the vehicle 20.
  • the imaging unit 25 includes a camera 25 ⁇ / b> F that captures the front of the vehicle 20, a camera 25 ⁇ / b> L that captures the left side of the vehicle 20, a camera 25 ⁇ / b> B that captures the rear of the vehicle 20, and the right side of the vehicle 20. It is comprised by the camera 25R which image
  • one camera is provided on each of the front, rear, left, and right of the vehicle.
  • a stereo camera that captures images in the same direction with two cameras may be used instead of one camera.
  • the imaging unit 25 is not limited to a camera, and may be configured by a rider (LIDAR: Light Detection and Ranging), and the attachment positions thereof are not limited to the positions illustrated in FIG. Data D25 captured by the imaging unit 25 is input to the vehicle control device 10.
  • LIDAR Light Detection and Ranging
  • the ranging sensor 26 can be constituted by sonar, laser radar, or millimeter wave radar.
  • the distance measuring sensor 26 measures the distance to an object located around the vehicle 20.
  • a plurality of distance measuring sensors 26 are arranged separately on the front, rear, left and right of the vehicle 20.
  • Ranging data D26 obtained by the ranging sensor 26 is input to the vehicle control device 10.
  • the distance measuring sensor 26 is provided to detect an obstacle located around the vehicle 20.
  • the obstacle located in the periphery of the vehicle 20 includes an obstacle that approaches the vehicle 20 from the front, side, and rear of the vehicle 20. For example, a preceding vehicle traveling in front of the vehicle 20 or a vehicle crossing the rear of the vehicle 20 is one of the obstacles.
  • the vehicle control device 10 may detect an obstacle based on both the distance measurement data D26 and the imaging data D25, or may detect the obstacle based only on the imaging data D25.
  • FIG. 3 is a block diagram showing a functional configuration of the vehicle control device 10, and shows a specific internal structure of the vehicle control device 10.
  • the vehicle control device 10 may be configured by a microcomputer.
  • the operation of the vehicle control device 10 described below can also be realized by a computer program.
  • the vehicle control device 10 includes a state management unit 101, a route generation unit 102, a route analysis unit 103, a control image generation unit 104, and a space recognition unit 105.
  • the state management unit 101 determines whether route generation is necessary based on the setting data D24 input from the operation unit 24. For example, when the operation unit 24 is operated by the driver and a destination is set, setting data D24 including destination information is input to the state management unit 101, and it is determined that route generation is necessary. When the state management unit 101 determines that route generation is necessary, the state management unit 101 inputs route generation request data D101 including destination information to the route generation unit 102.
  • the route generation unit 102 generates travel route data D102 from the current position of the vehicle 20 to the destination based on the route generation request data D101 input from the state management unit 101, and stores and holds it.
  • the current position is in the vicinity of the target parking position, and the destination is the target parking position.
  • the route analysis unit 103 formulates travel plan data D103 based on the travel route data D102.
  • the route analysis unit 103 sets a travel target point at which the vehicle 20 travels at a predetermined interval on the travel route as the travel plan data D103. Then, based on the travel route data D102 input from the route generation unit 102, the target acceleration / deceleration amount and the target steering amount at each travel target point are set.
  • the travel plan data D103 includes data of travel target points, and data of target acceleration / deceleration amounts and target steering amounts at the respective travel target points.
  • the route analysis unit 103 supplies the formulated travel plan data D103 to the control image generation unit 104 and the collision determination unit 1052 of the space recognition unit 105.
  • the control image generation unit 104 includes a peripheral video synthesis unit 1041, an alarm video generation unit 1042, and a display video switching unit 1043.
  • the peripheral video combining unit 1041 generates a peripheral image by combining a plurality of captured images captured by the cameras 25F, 25B, 25L, and 25R of the image capturing unit 25.
  • the peripheral video composition unit 1041 receives supply of imaging data D25 from the imaging unit 25. Then, for example, a combination of a bird's-eye view image converted to a video looking down from a virtual viewpoint above the vehicle that can display the periphery of the vehicle, or a 3D image converted from a virtual perspective that is obliquely above and behind the vehicle 20 to a video looking down from the front. Generate an image.
  • the peripheral video is a video that is displayed only with the composite image, or a display in which the composite image is displayed with a display such as a region through which the vehicle 20 passes or a message superimposed.
  • the peripheral video composition unit 1041 outputs the peripheral video data including the composite image to the display video switching unit 1043 as vehicle peripheral video data D1041.
  • the alarm video generation unit 1042 captures an obstacle captured from a plurality of captured images captured by the plurality of imaging units 25 based on obstacle data D1051 provided from an obstacle detection unit 1051 described later. An image is selected, and an alarm video including the selected captured image is generated. The alarm video is generated using image data D25 of the original image captured by the image capturing unit 25 that images the obstacle.
  • the warning video is a video that is displayed only on the original image, or on the original image with a display such as a region through which the vehicle 20 passes, a message, and a rectangular frame surrounding the obstacle.
  • the alarm video generation unit 1042 outputs alarm video data including an original image captured by the imaging unit 25 capturing an obstacle to the display video switching unit 1043 as alarm video data D1042.
  • the display video switching unit 1043 performs processing for switching the video to be displayed on the display unit 23 based on the recognition result of the space recognition unit 105.
  • the display video switching unit 1043 outputs the peripheral video data D1041 to the display unit 23, so that an overhead image or 3D image is displayed.
  • the peripheral image including the composite image such as is displayed on the display unit 23.
  • the alarm video data D1042 is output to the display unit 23, and the display unit 23 displays an alarm video including the original image obtained by capturing the obstacle. Do. Then, when the obstacle moves from the traveling route to the outside of the route, the display of the warning image is stopped and the surrounding image is displayed.
  • the space recognition unit 105 includes an obstacle detection unit 1051 and a collision determination unit 1052. Imaging data D25 and distance measurement data D26 are input to the obstacle detection unit 1051.
  • the obstacle detection unit 1051 detects an obstacle using at least one of the imaging data D25 and the distance measurement data D26.
  • the obstacle detection unit 1051 may detect an obstacle using both the imaging data D25 and the distance measurement data D26.
  • the obstacle detection unit 1051 supplies the detected obstacle information D1051 to the collision determination unit 1052 and the alarm video generation unit 1042.
  • the alarm video generation unit 1042 selects a captured image obtained by capturing an area where an obstacle is detected as a captured image in which an obstacle is captured.
  • the collision determination unit 1052 determines whether there is an obstacle in the region through which the vehicle 20 passes, that is, on the travel route, based on the travel plan data D103 and the obstacle information D1051. The collision determination unit 1052 supplies the determination result as the obstacle detection data D1052 to the display video switching unit 1043.
  • FIG. 4 is a diagram showing an example of a composite image displayed on the display unit when there is no obstacle in the area through which the vehicle passes, and is an example of an image displayed during automatic parking control.
  • the line shown on the side of the vehicle 20 is the parking frame P, and the thick line indicates the target parking position P1.
  • a peripheral video including a composite video obtained by synthesizing videos captured by the plurality of imaging units 25 is displayed on the display unit 23.
  • the travel route I1 is hatched and superimposed on the composite image.
  • the driver can confirm the periphery of the vehicle 20 by viewing these composite images.
  • two 3D images D1 and an overhead image D2 are displayed side by side on the display unit 23 as peripheral images for facilitating the confirmation of the situation around the vehicle. Instead of this, only one of the 3D video D1 and the overhead video D2 may be displayed.
  • FIG. 5 is a diagram illustrating a first example of an alarm image displayed by the vehicle control device according to the embodiment.
  • the alarm video D3 is a video including an original image displayed on the display unit 23 when an obstacle is detected in the travel route I1.
  • an obstacle B1 exists in the travel route I1.
  • the alarm video generation unit 1042 selects a captured image obtained by capturing an area where the obstacle B1 is detected as a captured image in which the obstacle B1 is captured, and generates an alarm video D3 including the selected captured image. Then, the display video switching unit 1043 performs processing for displaying the alarm video D3 on the display unit 23.
  • the composite video as shown in FIG. 4 is not displayed on the display unit 23, and the alarm video D3 using the original image captured by the camera 25F that captures the obstacle B1 is displayed.
  • the travel route I1 is displayed by being hatched and superimposed on the original image. The driver can accurately view the obstacle B1 by looking at the warning video D3.
  • FIG. 6 is a diagram illustrating a second example of the alarm video displayed by the vehicle control device of the embodiment.
  • the display video switching unit 1043 may perform a process of displaying the moving direction of the obstacle B2 on the warning video D3.
  • an arrow icon I2 indicating the moving direction of the obstacle B2 is superimposed on the original image as a warning image D3.
  • An obstacle B2 shown in FIG. 6 is another vehicle that moves in front of the host vehicle from right to left. The driver can also check the movement of the obstacle B2 by looking at the arrow icon I2 of the moving direction shown in the alarm video D3.
  • FIG. 7 is a diagram illustrating a third example of the alarm video displayed by the vehicle control device of the embodiment.
  • the display video switching unit 1043 may perform a process of displaying a rectangular frame I3 that surrounds the obstacle B2.
  • a rectangular frame I3 surrounding the detected obstacle is superimposed on the original image as an alarm video. it's shown.
  • the driver can easily confirm the presence of the obstacle B2 by the frame line I3 displayed in the warning video D3.
  • FIG. 8 is a diagram illustrating a fourth example of the alarm video displayed by the vehicle control device of the embodiment.
  • the display video switching unit 1043 switches the process of displaying the frame line I4 surrounding the obstacle B2 on the alarm video D3 and the color in the area surrounded by the frame line I4 to a special color different from the normal color. You may perform the process displayed on the warning image
  • the fourth example shown in FIG. 8 when an obstacle B2 moving in the travel route I1 is detected, the detected obstacle B2 is surrounded by a rectangular frame line I4 as a warning image, and the frame line I4 The color in the enclosed area is switched to a special color and displayed superimposed on the original image. The driver can easily confirm the presence of the obstacle B2 by the color change in the area surrounded by the frame line I4 displayed in the alarm video D3.
  • FIG. 9 is a diagram illustrating a fifth example of the alarm video displayed by the vehicle control device of the embodiment.
  • the display video switch unit 1043 may perform a process of switching the color of the travel route I1 and displaying it on the alarm video D3.
  • the color of the travel route I1 is switched from the normal color to another color as an alarm image. Overlaid on top. The driver can easily confirm the presence of the obstacle B2 by the change in the color of the travel route I1 displayed in the warning video D3.
  • FIG. 10 is a flowchart for explaining the contents of control in the vehicle control apparatus of one embodiment.
  • the state management unit 101 determines whether or not the setting data D24 input from the operation unit 24 is present (step S1).
  • the control image generation unit 104 acquires each imaging data D25 provided from the plurality of imaging units 25 (step S2).
  • the peripheral video composition unit 1041 synthesizes the respective imaging data D25 to generate peripheral video data D1041 of the peripheral video including the composite image (step S3).
  • the control image generation unit 104 determines whether or not the travel plan data D103 provided by the route analysis unit 103 is present (step S4).
  • the composite video display is set by the display video switching unit 1043 (step S5).
  • the peripheral video data D1041 generated in step S3 is output to the display unit 23 that is a monitor, and the peripheral video including the composite image is displayed on the display unit 23 (step S6). Thereafter, the processing is repeated from step S1.
  • step S1 when it is determined in step S1 that the setting data D24 is present (True), the state management unit 101 inputs the route generation request data D101 including the destination information to the route generation unit 102.
  • the route generation unit 102 calculates a route from the current position to the destination based on the input route generation request data D101, and generates route data D102 (step S7).
  • the route data D102 generated by the route generation unit 102 is input to the route analysis unit 103, and the route analysis unit 103 performs route analysis (step S8).
  • the route analysis unit 103 calculates travel plan data D103 based on the input route data D102. Then, after image acquisition (step S2) and composition of surrounding images (step S3) are executed, it is determined in step S4 that there is travel plan data D103 (True), and the process proceeds to the next step S9 and subsequent steps.
  • the control image generation unit 104 Based on the travel plan data D103 provided by the route analysis unit 103, the control image generation unit 104 generates a travel route line drawn from the target steering amount included in the travel target point data provided at predetermined intervals. Then, it is synthesized so as to be superimposed and displayed on the vehicle surrounding video data D1041 generated in step S3 (step S9).
  • the obstacle detection unit 1051 detects an obstacle based on at least one of the distance measurement data D26 input from the distance measurement sensor 26 and the imaging data D25 input from the imaging unit 25, The result is input as obstacle data D1051 to the collision determination unit 1052 and the alarm video generation unit 1042 (step S10).
  • the alarm video generation unit 1042 specifies the camera 25 that is shooting the obstacle from the obstacle data D1051, and specifies the imaging data D25 of the captured image captured by the camera 25.
  • the warning video generation unit 1042 generates warning video data D1042 from the imaging data D25 based on the obstacle data D1051.
  • step S11 a collision determination is executed (step S11).
  • the collision determination unit 1052 performs collision prediction on the possibility that the host vehicle will collide with the obstacle from the obstacle data D1051 and the travel plan data D103. Here, it is determined whether the detected obstacle exists on the travel route, and the determination result is supplied to the display image switching unit 1043 as the obstacle detection data D1052.
  • Step S11 When it is predicted that there is a possibility of collision in Step S11 (True), the alarm video data D1042 is acquired from the alarm video generation unit 1042 (Step S12).
  • the display video switching unit 1043 When the display video switching unit 1043 acquires the alarm video data D1042, the display video switching unit 1043 creates an alarm video (step S13) and performs a process of setting the alarm video display (step S14).
  • the display video switching unit 1043 determines in the collision determination in step S11 that the situation has changed from a situation in which it does not collide with an obstacle to a situation in which it collides, the alarm video data D1042 is displayed on the display unit 23 and at the same time a collision is predicted. You may perform the process which blows once the alerting sound for notifying a passenger
  • the notification sound repeatedly sounding may change the sounding interval according to the distance from the obstacle included in the obstacle data D1051. For example, if the distance from the obstacle is far, the blowing interval is lengthened. If the distance from the obstacle is short, the blowing interval is shortened so that the occupant can determine the distance from the obstacle. It becomes possible. And the notification sound repeatedly sounded may change the volume of the notification sound according to the distance from the obstacle included in the obstacle data D1051. For example, if the distance to the obstacle is far away, the volume can be reduced, and if the distance to the obstacle is close, the volume can be increased to allow the occupant to determine the distance to the obstacle. Become.
  • the notification sound that repeatedly blows may change the frequency of the notification sound according to the distance from the obstacle included in the obstacle data D1051. For example, if the distance to the obstacle is far away, a low frequency notification sound is used, and if the distance to the obstacle is close, a high frequency notification sound is used so that the occupant can determine the distance to the obstacle. It becomes possible to do.
  • step S15 If no obstacle is detected in step S10 (False), display of the composite video is set (step S15).
  • the display video switching unit 1043 of the control image generation unit 104 outputs the vehicle peripheral video data D104 including the composite image to the display unit 23 (step S6).
  • FIG. 11 shows a sixth example of an alarm video that is an original image displayed when an obstacle is detected in the travel route during automatic parking control.
  • the alarm video generation unit 1042 captures the areas detected by the plurality of sensors.
  • the captured images of 25L and the camera 25F are selected as captured images in which the obstacle B1 is captured, and alarm images D3 and D4 including the selected captured images are generated.
  • two alarm images D3 and D4 are displayed side by side on the display unit 23.
  • the alarm images D3 and D4 are images including original images captured by the cameras 25L and 25F, respectively.
  • the driver can visually recognize the obstacle B1 accurately by viewing the alarm images D3 and D4.
  • the alarm video generation unit 1042 has the highest detection accuracy among the plurality of sensors. It is good also as a structure which selects the captured image which imaged the area
  • FIG. 12 is a diagram in which a region adjacent to the center of the vehicle is divided into a lattice shape based on a region captured by a camera attached to the vehicle.
  • Each lattice region is configured as follows.
  • the area A2 in front of the vehicle is an area captured only by the camera 25F that captures the front
  • the area A7 behind the vehicle is an area captured only by the camera 25B that captures the rear.
  • the area A4 on the left side of the vehicle is an area captured only by the camera 25L that captures the left side
  • the area A5 on the right side of the vehicle is an area captured only by the camera 25R that captures the right side.
  • the area A1 in front of the vehicle is an area captured by both the camera 25F that captures the front and the camera 25L that captures the left side
  • the area A3 in the front right of the vehicle is the camera 25F that captures the front and the camera 25R that captures the right side. It is an area that is photographed by both.
  • the area A6 at the rear left of the vehicle is an area photographed by both the camera 25B for photographing the rear side and the camera 25L for photographing the left side.
  • the area A8 at the rear right side of the vehicle is the right side of the camera 25B and the right side. This is an area shot with both the camera 25R.
  • the camera image to be displayed on the display unit 23 is selected by the lattice area where the obstacle detected by the obstacle detection unit 1051 is located. For example, when there is an obstacle in the area A1, the display image switching unit 1043 displays the camera images of the camera 25F that captures the front and the camera 25L that captures the left as alarm images. For example, when there is an obstacle in the area A2, the display video switching unit 1043 displays the camera video of the camera 25F that captures the front as a warning video.
  • the peripheral images D1 and D2 including the synthesized image obtained by synthesizing the captured images captured by the plurality of imaging units 25 are displayed. It is displayed on the display unit 23.
  • alarm images D ⁇ b> 3 and D ⁇ b> 4 including the original image captured by the imaging unit 25 that images the obstacle are displayed on the display unit 23. Therefore, the driver can accurately view the obstacles B1 and B2 by looking at the alarm images D3 and D4 when there are obstacles on the travel route of the vehicle 20, and the presence of the obstacles. Can be easily confirmed.
  • the present invention is not limited to the above-described embodiments, and various designs can be made without departing from the spirit of the present invention described in the claims. It can be changed.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

乗員が自車両の障害物の有無を映像で容易に確認することができる車両制御装置を得ること。 本発明の車両制御装置１０は、車両２０の外界を撮像する複数の撮像部２５と、複数の撮像部２５で撮像された複数の撮像画像を合成して周辺映像Ｄ１を生成する周辺映像合成部１０４１と、車両２０の走行経路Ｉ１上に障害物Ｂ１が存在するか否かを判定する衝突判定部１０５２と、複数の撮像画像の中から障害物が撮像されている撮像画像を選択し、選択された撮像画像を含む警報映像Ｄ３を生成する警報映像生成部１０４２と、衝突判定部１０５２により障害物が存在しないと判定された場合に周辺映像Ｄ１を表示させ、障害物が存在すると判定された場合に警報映像Ｄ３を表示させる処理を行う表示映像切替部１０４３を備える。

Description

車両制御装置
　本発明は、自車両に搭載された複数のカメラで撮像された画像を表示する車両制御装置に関する。
　従来、車両の前方、後方および左右方向の全ての領域を例えば４台のカメラで撮影し、得られた複数の原画像を合成して、一つの俯瞰映像に加工することで、車両周辺の様子を認識できるようにした車両周辺監視システムが提案されている。このような車両周辺監視システムは、自動運転や自動駐車など、車両を自動で制御する車両制御装置が車両周辺の状況を認識するために利用されている。例えば特許文献１には、俯瞰表示画像における重複領域に障害物が存在することを検知した場合に、重複領域を撮影するカメラの原画像へ切り替える監視システムの技術が示されている。
特開２００７―２３５５２９号公報
　車両周辺監視システムでは、俯瞰映像を作成するとき、通常、隣り合うカメラで撮影した映像の端部は重複しており、これら重複領域の画像を変換することにより、連続性を持たせた俯瞰映像を表示装置に表示している。そのため、重複領域に物体が存在する場合、その物体が俯瞰映像に鮮明に表示されず、物体の存在は認識できるが、その詳細を確認できない。したがって、例えば車両が通過する領域に物体が存在する場合、車両制御装置もしくは運転者により回避行動をとる必要がある。
　しかし、隣り合うカメラの重複領域と自動制御中の車両の通過予定領域が重なる場合に、運転者は物体の有無を映像で詳細に確認できず、適切な対応を瞬時に判断することが難しくなるという課題がある。
　本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、乗員が障害物の有無を映像で容易に確認することができる車両制御装置を提供することである。
　上記課題を解決する本発明の車両制御装置は、車両の外界を撮像する複数の撮像部と、該複数の撮像部で撮像された複数の撮像画像を合成して周辺映像を生成する周辺映像合成部と、前記車両の走行経路上に障害物が存在するか否かを判定する衝突判定部と、前記複数の撮像部で撮像された複数の撮像画像の中から前記障害物が撮像されている撮像画像を選択し、該選択された撮像画像を含む警報映像を生成する警報映像生成部と、該衝突判定部により前記障害物が存在しないと判定された場合に前記周辺映像を表示させ、前記障害物が存在すると判定された場合に前記警報映像を表示させる処理を行う表示映像切替部と、を備えることを特徴とする。
　本発明によれば、乗員が自車両の障害物の有無を映像で容易に確認することができる。
　本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の一実施形態の車両制御装置の全体構成図。 車両制御装置を搭載した車両の概略構成図。 車両制御装置の機能構成を示すブロック図。 車両が通過する領域内に障害物が存在しない場合に表示部に表示される合成映像の一例を示す図。 一実施形態の車両制御装置によって表示される警報映像の第一の例を示す図。 一実施形態の車両制御装置によって表示される警報映像の第二の例を示す図。 一実施形態の車両制御装置によって表示される警報映像の第三の例を示す図。 一実施形態の車両制御装置によって表示される警報映像の第四の例を示す図。 一実施形態の車両制御装置によって表示される警報映像の第五の例を示す図。 一実施形態の車両制御装置における制御の内容を説明するためのフローチャート。 一実施形態の車両制御装置によって表示される警報画面の第六の例を示す図。 車両に取り付けられたカメラが撮影する領域に基づいて、車両を中心に隣接する領域を格子状に分割した状態を示す図。
　以下、本発明の車両制御装置の一実施形態について図面を参照して説明する。
　図１は、本発明の一実施形態の車両制御装置の全体構成図、図２は、車両制御装置を搭載した車両の概略構成図である。
　車両制御装置１０は、車両２０の自動運転制御を行うものであり、例えば、車両２０を目標駐車位置に自動駐車させる制御を行う。そして、その際に、車両の乗員に車両周辺の状況を認識させるために、車両２０に取り付けられた複数のカメラ２５Ｆ、２５Ｂ、２５Ｌ、２５Ｒから取得した画像を用いて作成した俯瞰映像や３Ｄ映像等の合成画像を表示部２３に表示する機能を有する。
　車両制御装置１０は、図１に示すように、入力側に操作部２４、撮像部２５および測距センサ２６が接続されており、各データＤ２４、Ｄ２５、Ｄ２６が入力されるようになっている。また、出力側には表示部２３が接続されており、表示部２３に対してデータＤ１０４を出力するようになっている。表示部２３と操作部２４は、運転者による視認および操作が可能なように、車室内の操作可能な位置に取り付けられており、撮像部２５と測距センサ２６は、車両周辺の環境を検出するように車両の外部に取り付けられている。
　撮像部２５は、車両２０の外界を撮像するために、車両２０の外部に複数が取り付けられている。撮像部２５は、例えば図２に示すように、車両２０の前方を撮影するカメラ２５Ｆと、車両２０の左側を撮影するカメラ２５Ｌと、車両２０の後方を撮影するカメラ２５Ｂと、車両２０の右側を撮影するカメラ２５Ｒによって構成されている。なお、図２に示す例では、車両の前後左右にカメラを一つずつ設けた構成としているが、一つのカメラに代えて、同じ方向を二つのカメラで撮像するステレオカメラとしても良い。また、撮像部２５は、カメラに限定されず、ライダー（ＬＩＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｎｇ　ａｎｄ　Ｒａｎｇｉｎｇ）などで構成することもでき、これらの取り付け位置は、図２に示す位置に限定されない。撮像部２５で撮影されたデータＤ２５は、車両制御装置１０に入力される。
　測距センサ２６は、ソナー、レーザーレーダ、或いはミリ波レーダによって構成することができる。測距センサ２６は、車両２０の周辺に位置する物体との距離を測定する。測距センサ２６は、車両２０の前後左右に分かれて複数が配置されている。測距センサ２６による測距データＤ２６は、車両制御装置１０に入力される。測距センサ２６は、車両２０の周辺に位置する障害物を検出するために設けられている。車両２０の周辺に位置する障害物とは、車両２０の前方、側方、後方から車両２０に接近してくる障害物を含む。例えば車両２０の前方を走行する先行車両や車両２０の後方を横切る車両は障害物の一つである。車両制御装置１０は、測距データＤ２６および撮像データＤ２５の両方に基づいて障害物を検出してもよく、また、撮像データＤ２５のみに基づいて障害物を検出してもよい。
　次に、図３を用いて、車両制御装置１０の具体的な動作について説明する。
　図３は、車両制御装置１０の機能構成を示すブロック図であり、車両制御装置１０の具体的な内部構造を示している。車両制御装置１０は、マイクロコンピュータで構成しても良い。以下に説明する車両制御装置１０の動作は、コンピュータプログラムで実現することも可能である。
　車両制御装置１０は、状態管理部１０１と、経路生成部１０２と、経路解析部１０３と、制御画像生成部１０４と、空間認識部１０５を有している。
　状態管理部１０１は、操作部２４から入力される設定データＤ２４に基づいて経路生成が必要であるか否かを判断する。例えば運転者により操作部２４が操作され、目的地が設定されると、目的地情報を含む設定データＤ２４が、状態管理部１０１に入力され、経路生成が必要であると判断する。状態管理部１０１は、経路生成が必要と判断すると、経路生成部１０２に対して目的地情報を含む経路生成要求データＤ１０１を入力する。
　経路生成部１０２は、状態管理部１０１から入力された経路生成要求データＤ１０１に基づいて、車両２０の現在位置から目的地までの走行経路データＤ１０２を生成し、記憶保持する。自動駐車制御の場合、現在位置は目標駐車位置の近辺であり、目的地は目標駐車位置となる。
　経路解析部１０３は、走行経路データＤ１０２に基づいて走行計画データＤ１０３を策定する。経路解析部１０３は、走行計画データＤ１０３として、走行経路上に所定間隔で車両２０を走行させる走行目標点を設定する。そして、経路生成部１０２より入力される走行経路データＤ１０２に基づいて、各走行目標点における目標加減速量と目標操舵量とを設定する。走行計画データＤ１０３は、走行目標点のデータと、各走行目標点における目標加減速量および目標操舵量のデータを含む。経路解析部１０３は、策定した走行計画データＤ１０３を制御画像生成部１０４と空間認識部１０５の衝突判定部１０５２とに供給する。
　制御画像生成部１０４は、周辺映像合成部１０４１と、警報映像生成部１０４２と、表示映像切替部１０４３とを備える。周辺映像合成部１０４１は、撮像部２５のカメラ２５Ｆ、２５Ｂ、２５Ｌ、２５Ｒで撮像された複数の撮像画像を合成して周辺画像を生成する。周辺映像合成部１０４１は、撮像部２５から撮像データＤ２５の供給を受ける。そして、例えば、車両周辺を表示できる車両上方の仮想視点から見下ろした映像に視点変換した俯瞰画像や、車両２０の斜め後ろ上方の仮想視点から前方を見下ろした映像に視点変換した３Ｄ画像などの合成画像を生成する。周辺映像は、合成画像のみ、或いは、合成画像に車両２０が通過する領域やメッセージなどの表示を重ねて表示した映像である。周辺映像合成部１０４１は、合成画像を含む周辺映像のデータを車両周辺映像データＤ１０４１として表示映像切替部１０４３に出力する。
　警報映像生成部１０４２は、後述する障害物検知部１０５１から提供される障害物データＤ１０５１に基づいて、複数の撮像部２５で撮像された複数の撮像画像の中から障害物が撮像されている撮像画像を選択し、選択された撮像画像を含む警報映像を生成する。警報映像は、障害物を撮像した撮像部２５で撮影された原画像の撮像データＤ２５を用いて生成される。警報映像は、原画像のみ、或いは、原画像に車両２０が通過する領域やメッセージ、障害物を囲む矩形の枠線などの表示を重ねて表示した映像である。警報映像生成部１０４２は、障害物を撮影している撮像部２５で撮像された原画像を含む警報映像のデータを警報映像データＤ１０４２として表示映像切替部１０４３に出力する。
　表示映像切替部１０４３は、空間認識部１０５の認識結果に基づいて、表示部２３に表示させる映像を切り替える処理を行う。表示映像切替部１０４３は、空間認識部１０５の衝突判定部１０５２により走行経路上に障害物が存在しないと判定された場合は、周辺映像データＤ１０４１を表示部２３に出力し、俯瞰画像や３Ｄ画像などの合成画像を含む周辺映像を表示部２３に表示させる処理を行う。一方、走行経路上に障害物が存在すると判定された場合は、警報映像データＤ１０４２を表示部２３に出力し、障害物が撮像された原画像を含む警報映像を表示部２３に表示させる処理を行う。そして、障害物が走行経路から経路外に移動した場合に、警報映像の表示を停止し、周辺映像を表示させる処理を行う。
　空間認識部１０５は、障害物検知部１０５１と、衝突判定部１０５２とを備える。障害物検知部１０５１には、撮像データＤ２５と測距データＤ２６とが入力される。障害物検知部１０５１は、撮像データＤ２５と測距データＤ２６との少なくとも一方を用いて、障害物を検出する。障害物検知部１０５１は、撮像データＤ２５と測距データＤ２６との双方を用いて障害物を検知しても良い。障害物検知部１０５１は、検知された障害物情報Ｄ１０５１を衝突判定部１０５２と警報映像生成部１０４２に供給する。警報映像生成部１０４２では、障害物が検知された領域を撮像した撮像画像を、障害物が撮像されている撮像画像として選択する。
　衝突判定部１０５２は、走行計画データＤ１０３と障害物情報Ｄ１０５１に基づいて、車両２０が通過する領域内、つまり、走行経路上に障害物が存在するか否かを判定する。
衝突判定部１０５２は、判定結果を障害物検出データＤ１０５２として、表示映像切替部１０４３に供給する。
　図４は、車両が通過する領域内に障害物が存在しない場合に表示部に表示される合成映像の一例を示す図であり、自動駐車制御中に表示される映像の一例である。図４において、車両２０の側方に示されている線は駐車枠Ｐであり、太い線は目標駐車位置Ｐ１を示している。
　図４に示す例では、走行経路Ｉ１内に障害物が存在していない。したがって、複数の撮像部２５で撮像された映像を合成した合成映像を含む周辺映像が表示部２３に表示される。周辺映像である３Ｄ映像Ｄ１と俯瞰映像Ｄ２には、合成画像の上に走行経路Ｉ１がハッチングで重畳表示される。運転者は、これらの合成映像を見ることによって車両２０の周辺を確認することができる。図４に示す第一の例では、車両周辺の状況確認を容易にするための周辺映像として、３Ｄ映像Ｄ１と俯瞰映像Ｄ２の２つを表示部２３に並べて表示しているが、これに限定されるものではなく、３Ｄ映像Ｄ１と俯瞰映像Ｄ２のどちらか一方のみを表示してもよい。
　図５は、一実施形態の車両制御装置によって表示される警報映像の第一の例を示す図である。警報映像Ｄ３は、走行経路Ｉ１内に障害物を検出した際に表示部２３に表示される原画像を含む映像である。図５に示す第一の例では、走行経路Ｉ１内に障害物Ｂ１が存在している。
　警報映像生成部１０４２は、障害物Ｂ１が検知された領域を撮像した撮像画像を、障害物Ｂ１が撮像されている撮像画像として選択し、その選択した撮像画像を含む警報映像Ｄ３を生成する。そして、表示映像切替部１０４３は、警報映像Ｄ３を表示部２３に表示させる処理を行う。
　したがって、表示部２３には、図４に示すような合成映像は表示されず、障害物Ｂ１を撮像するカメラ２５Ｆで撮像された原画像を用いた警報映像Ｄ３が表示される。警報映像Ｄ３では、原画像の上に、走行経路Ｉ１がハッチングで重畳して表示される。運転者は、警報映像Ｄ３を見ることによって、障害物Ｂ１を正確に視認することができる。
　図６は、一実施形態の車両制御装置によって表示される警報映像の第二の例を示す図である。表示映像切替部１０４３は、障害物Ｂ２の移動方向を警報映像Ｄ３に表示する処理を行ってもよい。図６に示す第二の例では、走行経路Ｉ１内に、移動する障害物Ｂ２を検出した場合に、警報映像Ｄ３として、障害物Ｂ２の移動方向を示す矢印アイコンＩ２を原画像の上に重畳して表示している。図６に示す障害物Ｂ２は、自車両の前方を右から左に移動する他車両である。運転者は、警報映像Ｄ３に示される移動方向の矢印アイコンＩ２を見ることによって、障害物Ｂ２の動きも確認することができる。
　図７は、一実施形態の車両制御装置によって表示される警報映像の第三の例を示す図である。表示映像切替部１０４３は、障害物Ｂ２を囲む矩形の枠線Ｉ３を表示させる処理を行ってもよい。図７に示す第三の例では、走行経路Ｉ１内に移動する障害物Ｂ２を検出した場合に、警報映像として、検出した障害物を囲む矩形の枠線Ｉ３を原画像の上に重畳して表示している。運転者は、警報映像Ｄ３に表示される枠線Ｉ３によって、障害物Ｂ２の存在を容易に確認することができる。
　図８は、一実施形態の車両制御装置によって表示される警報映像の第四の例を示す図である。
　表示映像切替部１０４３は、障害物Ｂ２を囲む枠線Ｉ４を警報映像Ｄ３に表示させる処理と、枠線Ｉ４で囲まれた領域内の色を通常時の色とは別の特別色に切り替えて警報映像Ｄ３に表示させる処理を行ってもよい。図８に示す第四の例では、走行経路Ｉ１内に移動する障害物Ｂ２を検出した場合に、警報映像として、検出した障害物Ｂ２の周囲を矩形の枠線Ｉ４で囲み、枠線Ｉ４で囲まれた領域内の色を特別色に切り替えて原画像の上に重畳して表示している。運転者は、警報映像Ｄ３に表示される枠線Ｉ４で囲まれた領域内の色の変化によって、障害物Ｂ２の存在を容易に確認することができる。
　図９は、一実施形態の車両制御装置によって表示される警報映像の第五の例を示す図である。表示映像切替部１０４３は、走行経路上に障害物Ｂ２を検知した場合、走行経路Ｉ１の色を切り替えて警報映像Ｄ３に表示させる処理を行ってもよい。図９に示す第五の例では、走行経路Ｉ１内に移動する障害物Ｂ２を検出した場合に、警報映像として、走行経路Ｉ１の色を通常時の色から別の色に切り替えて原画像の上に重畳して表示している。運転者は、警報映像Ｄ３に表示される走行経路Ｉ１の色の変化によって、障害物Ｂ２の存在を容易に確認することができる。
　次に、本実施形態の車両制御装置による映像表示方法について説明する。図１０は、一実施形態の車両制御装置における制御の内容を説明するためのフローチャートである。
　まず、状態管理部１０１において、操作部２４から入力される設定データＤ２４の有無を判定する（ステップＳ１）。ここで、設定データＤ２４が無い場合（Ｆａｌｓｅ）、制御画像生成部１０４は、複数の撮像部２５より提供される各撮像データＤ２５を取得する（ステップＳ２）。そして、周辺映像合成部１０４１により各撮像データＤ２５を合成して、合成画像を含む周辺映像の周辺映像データＤ１０４１を生成する（ステップＳ３）。
　周辺映像合成部１０４１により周辺映像データＤ１０４１が生成されると、制御画像生成部１０４において、経路解析部１０３より提供される走行計画データＤ１０３の有無を判定する（ステップＳ４）。ここで、走行計画データＤ１０３が無い場合、経路情報がない（Ｆａｌｓｅ）と判断して、表示映像切替部１０４３により合成映像表示が設定される（ステップＳ５）。そして、ステップＳ３にて生成した周辺映像データＤ１０４１がモニタである表示部２３に出力され、表示部２３に合成画像を含む周辺映像が表示される（ステップＳ６）。以降、ステップＳ１から処理を繰り返す。
　一方、ステップＳ１にて設定データＤ２４が有ると判定された場合（Ｔｒｕｅ）、状態管理部１０１は、目的地情報を含む経路生成要求データＤ１０１を経路生成部１０２に入力する。経路生成部１０２は、入力された経路生成要求データＤ１０１に基づいて、現在位置から目的地までの経路の算出を行い、経路データＤ１０２を生成する（ステップＳ７）。
　経路生成部１０２により生成された経路データＤ１０２は、経路解析部１０３に入力され、経路解析部１０３により経路解析が行われる(ステップＳ８）。経路解析部１０３は、入力された経路データＤ１０２に基づいて走行計画データＤ１０３を算出する。そして、映像取得（ステップＳ２）と周辺映像の合成（ステップＳ３）が実行された後、ステップＳ４にて走行計画データＤ１０３が有ると判断され（Ｔｒｕｅ）、次のステップＳ９以降に移行する。
　制御画像生成部１０４は、経路解析部１０３より提供される走行計画データＤ１０３に基づいて、所定間隔で設けられている走行目標点データに含まれる目標操舵量から描画される走行予定の経路線を、ステップＳ３にて生成した車両周辺映像データＤ１０４１に重畳表示するように合成する（ステップＳ９）。
　次に、障害物検知部１０５１は、測距センサ２６から入力される測距データＤ２６と撮像部２５から入力される撮像データＤ２５の少なくともいずれか一方に基づいて、障害物の検出を行い、その結果を障害物データＤ１０５１として衝突判定部１０５２と警報映像生成部１０４２へ入力する（ステップＳ１０）。警報映像生成部１０４２は、障害物データＤ１０５１より、障害物を撮影しているカメラ２５を特定し、そのカメラ２５で撮像された撮像画像の撮像データＤ２５を特定する。そして、警報映像生成部１０４２は、障害物データＤ１０５１に基づいて撮像データＤ２５から、警報映像データＤ１０４２を生成する。
　そして、ステップＳ１０で障害物を検出した場合（Ｔｒｕｅ）、衝突判定を実行する（ステップＳ１１）。衝突判定部１０５２は、障害物データＤ１０５１と走行計画データＤ１０３から自車両が障害物に衝突する可能性について衝突予測を行う。ここでは、検知した障害物が走行経路上に存在するかを判定し、その判定結果を障害物検出データＤ１０５２として表示映像切替部１０４３へ供給する。
　ステップＳ１１にて衝突する可能性があると予測される場合（Ｔｒｕｅ）、警報映像生成部１０４２から警報映像データＤ１０４２を取得する（ステップＳ１２）。
　表示映像切替部１０４３は、警報映像データＤ１０４２を取得すると、警報映像を作成し（ステップＳ１３）、警報映像表示を設定する処理を行う（ステップＳ１４）。表示映像切替部１０４３は、ステップＳ１１の衝突判定において、障害物に衝突しない状況から衝突する状況に変化したと判定した場合に、表示部２３に警報映像データＤ１０４２を表示すると同時に、衝突が予測される障害物の検知を乗員に通知するための報知音を一度吹鳴させる処理を行っても良い。また、走行経路上に障害物が存在し続けていることを乗員に報知するため、警報映像データＤ１０４２を設定している間、報知音を繰り返し吹鳴しても良い。
　ここで、繰り返し吹鳴する報知音は、障害物データＤ１０５１に含まれる障害物との距離に応じて、吹鳴間隔を変えても良い。例えば、障害物との距離が離れている場合は、吹鳴間隔を長くし、障害物との距離が近い場合は、吹鳴間隔を短くすることで、乗員は障害物との距離を判断することが可能となる。そして、繰り返し吹鳴する報知音は、障害物データＤ１０５１に含まれる障害物との距離に応じて、報知音の音量を変えても良い。例えば、障害物との距離が離れている場合は、音量を小さくし、障害物との距離が近い場合は、音量を大きくすることで、乗員は障害物との距離を判断することが可能となる。また、繰り返し吹鳴する報知音は、障害物データＤ１０５１に含まれる障害物との距離に応じて、報知音の周波数を変えても良い。例えば、障害物との距離が離れている場合は、低い周波数の報知音とし、障害物との距離が近い場合は、高い周波数の報知音とすることで、乗員は障害物との距離を判断することが可能となる。
　ステップＳ１０で障害物を検出しなかった場合（Ｆａｌｓｅ）、合成映像の表示を設定する（ステップＳ１５）。制御画像生成部１０４の表示映像切替部１０４３は、合成画像を含む車両周辺映像データＤ１０４を表示部２３に出力する（ステップＳ６）。
　図１１は、自動駐車制御中に走行経路内に障害物を検知した場合に表示する原画像である警報映像の第六の例を示している。
　警報映像生成部１０４２は、カメラ２５Ｌ、カメラ２５Ｆ、或いは、測距センサ２６など、複数のセンサによって同一の障害物Ｂ１を検知した場合に、これらの複数のセンサが検知する領域をそれぞれ撮像したカメラ２５Ｌとカメラ２５Ｆの撮像画像を、障害物Ｂ１が撮像されている撮像画像としてそれぞれ選択し、その選択された撮像画像を含む警報映像Ｄ３、Ｄ４を生成する。
　図１１に示す第六の例では、二つの警報映像Ｄ３、Ｄ４が表示部２３に並べて表示されている。警報映像Ｄ３、Ｄ４は、それぞれカメラ２５Ｌとカメラ２５Ｆにより撮像された原画像を含む映像である。運転者は、警報映像Ｄ３、Ｄ４を見ることによって、障害物Ｂ１を正確に視認することができる。
　なお、警報映像生成部１０４２は、カメラ２５Ｌ、カメラ２５Ｆ、或いは、測距センサ２６など、複数のセンサによって同一の障害物を検知した場合に、これらの複数のセンサの中で最も検知精度の高いセンサが検知する領域を撮像した撮像画像を、障害物が撮像されている撮像画像として選択する構成としてもよい。例えば、測距センサ２６と撮像部２５の両方で障害物を検知した場合、測距データＤ２６の方が撮像データＤ２５よりも検知精度が高いので、測距データＤ２６の検知領域を撮影するカメラの撮像画像を警報映像として表示してもよい。
　図１２は、車両に取り付けられたカメラが撮影する領域に基づいて、車両を中心に隣接する領域を格子状に分割したものである。各格子領域は次のように構成される。
　車両前方の領域Ａ２は、前方を撮影するカメラ２５Ｆのみで撮影される領域となり、車両後方の領域Ａ７は、後方を撮影するカメラ２５Ｂのみで撮影される領域となる。そして、車両左側の領域Ａ４は、左側を撮影するカメラ２５Ｌのみで撮影される領域となり、車両右側の領域Ａ５は、右側を撮影するカメラ２５Ｒのみで撮影される領域となる。車両左前の領域Ａ１は、前方を撮影するカメラ２５Ｆと左側を撮影するカメラ２５Ｌとの両方で撮影される領域となり、車両右前の領域Ａ３は、前方を撮影するカメラ２５Ｆと右側を撮影するカメラ２５Ｒとの両方で撮影される領域となる。また、車両左後の領域Ａ６は、後方を撮影するカメラ２５Ｂと左側を撮影するカメラ２５Ｌとの両方で撮影される領域となり、車両右後の領域Ａ８は、後方を撮影するカメラ２５Ｂと右側を撮影するカメラ２５Ｒとの両方で撮影される領域となる。
　表示部２３に表示するカメラ映像は、障害物検知部１０５１によって検出された障害物が位置する格子領域によって選択される。例えば、領域Ａ１に障害物が存在する場合、表示映像切替部１０４３は、前方を撮影するカメラ２５Ｆと左側を撮影するカメラ２５Ｌのカメラ映像を警報映像として表示する。そして、例えば、領域Ａ２に障害物が存在する場合、表示映像切替部１０４３は前方を撮影するカメラ２５Ｆのカメラ映像を警報映像として表示する。
　上述の車両制御装置１０によれば、車両２０の走行経路上に障害物が存在しない場合には、複数の撮像部２５で撮像された撮像画像を合成した合成画像を含む周辺映像Ｄ１、Ｄ２が表示部２３に表示される。そして、車両２０の走行経路上に障害物が存在する場合には、障害物を撮像した撮像部２５で撮像された原画像を含む警報映像Ｄ３、Ｄ４が表示部２３に表示される。したがって、運転者は、車両２０の走行経路上に障害物が存在する場合に、警報映像Ｄ３、Ｄ４を見ることによって、障害物Ｂ１、Ｂ２を正確に視認することができ、その障害物の存在を容易に確認することができる。
　以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１０　車両制御装置２０　車両２３　表示部２４　操作部２５　撮像部２５Ｆ、２５Ｂ、２５Ｌ、２５Ｒ　カメラ２６　測距センサ１０１　状態管理部１０２　経路生成部１０３　経路解析部１０４　制御画像生成部１０４１　周辺映像合成部１０４２　警報映像生成部１０４３　表示映像切替部１０５　空間認識部１０５１　障害物検知部１０５２　衝突判定部Ｂ１、Ｂ２　障害物Ｄ１、Ｄ２　周辺映像Ｄ３、Ｄ４　警報映像Ｉ１　走行経路

Claims (13)

  1. 　車両の外界を撮像する複数の撮像部と、
    　該複数の撮像部で撮像された複数の撮像画像を合成して周辺映像を生成する周辺映像合成部と、
    　前記車両の走行経路上に障害物が存在するか否かを判定する衝突判定部と、
    　前記複数の撮像部で撮像された複数の撮像画像の中から前記障害物が撮像されている撮像画像を選択し、該選択された撮像画像を含む警報映像を生成する警報映像生成部と、
    　該衝突判定部により前記障害物が存在しないと判定された場合に前記周辺映像を表示させ、前記障害物が存在すると判定された場合に前記警報映像を表示させる処理を行う表示映像切替部と、
    　を備えることを特徴とする車両制御装置。
  2. 　前記警報映像生成部は、前記障害物が検知された領域を撮像した撮像画像を、前記障害物が撮像されている撮像画像として選択することを特徴とする請求項１に記載の車両制御装置。
  3. 　前記警報映像生成部は、複数のセンサによって同一の障害物を検知した場合に、前記複数のセンサの中で最も検知精度の高いセンサが検知する領域を撮像した撮像画像を、前記障害物が撮像されている撮像画像として選択することを特徴とする請求項２に記載の車両制御装置。
  4. 　前記警報映像生成部は、複数のセンサによって同一の障害物を検知した場合に、前記複数のセンサが検知する領域をそれぞれ撮像した複数の撮像画像を、前記障害物が撮像されている撮像画像として選択することを特徴とする請求項２に記載の車両制御装置。
  5. 　前記表示映像切替部は、前記障害物が前記走行経路から経路外に移動した場合に、前記警報映像の表示を停止し、前記周辺映像を表示させる処理を行うことを特徴とする請求項１に記載の車両制御装置。
  6. 　前記表示映像切替部は、前記障害物の移動方向を前記警報映像に表示させる処理を行うことを特徴とする請求項１に記載の車両制御装置。
  7. 　前記表示映像切替部は、前記障害物を囲む枠線を前記警報映像に表示させる処理を行うことを特徴とする請求項１に記載の車両制御装置。
  8. 　前記表示映像切替部は、前記枠線で囲まれた領域内の色を通常時の色とは別の特別色に切り替えて前記警報映像に表示させる処理を行うことを特徴とする請求項７に記載の車両制御装置。
  9. 　前記表示映像切替部は、前記走行経路上に前記障害物を検知した場合、前記車両の走行領域の色を切り替えて前記警報映像に表示させる処理を行うことを特徴とする請求項１に記載の車両制御装置。
  10. 　前記表示映像切替部は、前記走行経路上に前記障害物を検知した場合、報知音を吹鳴させる処理を行うことを特徴とする請求項１に記載の車両制御装置。
  11. 　前記表示映像切替部は、前記障害物との距離に応じて前記報知音の吹鳴間隔を変えることを特徴とする請求項１０に記載の車両制御装置。
  12. 　前記表示映像切替部は、前記障害物との距離に応じて前記報知音の音量を変えることを特徴とする請求項１０に記載の車両制御装置。
  13. 　前記表示映像切替部は、前記障害物との距離に応じて前記報知音の周波数を変えることを特徴とする請求項１０に記載の車両制御装置。
PCT/JP2019/017124 2018-06-14 2019-04-23 車両制御装置 WO2019239725A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980034009.5A CN112272946B (zh) 2018-06-14 2019-04-23 车辆控制装置
US15/734,451 US11276309B2 (en) 2018-06-14 2019-04-23 Vehicle control device
JP2020525312A JP7121120B2 (ja) 2018-06-14 2019-04-23 車両制御装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018113546 2018-06-14
JP2018-113546 2018-06-14

Publications (1)

Publication Number Publication Date
WO2019239725A1 true WO2019239725A1 (ja) 2019-12-19

Family

ID=68843188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017124 WO2019239725A1 (ja) 2018-06-14 2019-04-23 車両制御装置

Country Status (4)

Country Link
US (1) US11276309B2 (ja)
JP (1) JP7121120B2 (ja)
CN (1) CN112272946B (ja)
WO (1) WO2019239725A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199098A1 (ja) * 2020-03-30 2021-10-07 三菱電機株式会社 駐車支援装置
JP7507194B2 (ja) 2022-03-28 2024-06-27 本田技研工業株式会社 鞍乗り型車両、及び発音装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116968638B (zh) * 2023-07-31 2024-04-09 广州博太电子有限公司 一种车辆行驶预警方法、系统、介质及计算机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068069A (ja) * 2008-09-09 2010-03-25 Denso Corp 車両周辺撮影システム
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP2013131177A (ja) * 2011-12-22 2013-07-04 Aisin Seiki Co Ltd 障害物警報装置
JP2013134597A (ja) * 2011-12-26 2013-07-08 Aisin Seiki Co Ltd 障害物警報装置
JP2013132976A (ja) * 2011-12-26 2013-07-08 Aisin Seiki Co Ltd 障害物警報装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4807104B2 (ja) 2006-03-01 2011-11-02 日産自動車株式会社 車両周囲監視システム及び画像表示方法
DE102008001648A1 (de) * 2008-05-08 2009-11-12 Robert Bosch Gmbh Fahrerassistenzverfahren zum Bewegen eines Kraftfahrzeugs und Fahrerassistenzvorrichtung
JP5031801B2 (ja) * 2009-07-28 2012-09-26 日立オートモティブシステムズ株式会社 車載用画像表示装置
KR101562589B1 (ko) * 2010-04-30 2015-10-23 엘지전자 주식회사 영상 표시 장치 및 그 방법
WO2012169352A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
JP5765576B2 (ja) * 2011-12-22 2015-08-19 アイシン精機株式会社 障害物警報装置
US9412273B2 (en) * 2012-03-14 2016-08-09 Autoconnect Holdings Llc Radar sensing and emergency response vehicle detection
CN202573990U (zh) * 2012-03-27 2012-12-05 北京汽车股份有限公司 全景影像系统及车辆
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
JPWO2015125979A1 (ja) * 2015-04-28 2018-02-15 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
JP6478414B2 (ja) * 2016-09-13 2019-03-06 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068069A (ja) * 2008-09-09 2010-03-25 Denso Corp 車両周辺撮影システム
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP2013131177A (ja) * 2011-12-22 2013-07-04 Aisin Seiki Co Ltd 障害物警報装置
JP2013134597A (ja) * 2011-12-26 2013-07-08 Aisin Seiki Co Ltd 障害物警報装置
JP2013132976A (ja) * 2011-12-26 2013-07-08 Aisin Seiki Co Ltd 障害物警報装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199098A1 (ja) * 2020-03-30 2021-10-07 三菱電機株式会社 駐車支援装置
JP7507194B2 (ja) 2022-03-28 2024-06-27 本田技研工業株式会社 鞍乗り型車両、及び発音装置

Also Published As

Publication number Publication date
US20210118300A1 (en) 2021-04-22
US11276309B2 (en) 2022-03-15
CN112272946B (zh) 2023-06-09
CN112272946A (zh) 2021-01-26
JP7121120B2 (ja) 2022-08-17
JPWO2019239725A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
JP4846426B2 (ja) 車両周囲監視装置
JP4809019B2 (ja) 車両用障害物検出装置
WO2016067544A1 (ja) 車載注意喚起システム及び報知制御装置
JP5704902B2 (ja) 運転支援装置及び運転支援方法
WO2011043006A1 (ja) 制御装置および車両周囲監視装置
WO2018207303A1 (ja) 車載用監視カメラ装置
WO2007015446A1 (ja) 車両周囲監視装置及び車両周囲監視方法
JP2008123215A (ja) 運転支援装置、運転支援方法、及び、プログラム
JP2018133072A (ja) 情報処理装置およびプログラム
JP2005222425A (ja) 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体
JP4601505B2 (ja) トップビュー画像生成装置及びトップビュー画像表示方法
JP2009065483A (ja) 駐車支援装置
JP4259368B2 (ja) ノーズビューモニタ装置
JP5418661B2 (ja) 車両周辺監視装置
WO2019239725A1 (ja) 車両制御装置
JP2014129093A (ja) 車両用周辺監視装置
JP2016218795A (ja) 画像処理装置および画像処理方法
JP2007124097A (ja) 車両周辺視認装置
US9902267B2 (en) Predicted position display for vehicle
JP2006054662A (ja) 運転支援装置
JP2012001126A (ja) 車両用周辺監視装置
JP6344105B2 (ja) 車両用警告システム
WO2020148957A1 (ja) 車両制御装置及び方法
JP2011211432A (ja) 車載用撮像装置
JP2019188855A (ja) 車両用視認装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19819697

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020525312

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19819697

Country of ref document: EP

Kind code of ref document: A1