WO2018220915A1 - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
WO2018220915A1
WO2018220915A1 PCT/JP2018/007056 JP2018007056W WO2018220915A1 WO 2018220915 A1 WO2018220915 A1 WO 2018220915A1 JP 2018007056 W JP2018007056 W JP 2018007056W WO 2018220915 A1 WO2018220915 A1 WO 2018220915A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
vehicle
moving object
image
image data
Prior art date
Application number
PCT/JP2018/007056
Other languages
English (en)
French (fr)
Inventor
渡邊　一矢
哲也 丸岡
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US16/617,738 priority Critical patent/US11475676B2/en
Priority to CN201880048732.4A priority patent/CN110959289B/zh
Publication of WO2018220915A1 publication Critical patent/WO2018220915A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • Embodiments of the present invention relate to a periphery monitoring device.
  • the present invention has been made in view of such circumstances, and displays a peripheral image including the under floor of the vehicle and the vicinity of the under floor, and also displays a current moving object in the area of the peripheral image. It is an object of the present invention to provide a peripheral monitoring device that can be used.
  • the periphery monitoring device includes an acquisition unit that acquires captured image data from an imaging unit that captures an area including a road surface in a traveling direction of a vehicle and an area above the road surface,
  • an acquisition unit that acquires captured image data from an imaging unit that captures an area including a road surface in a traveling direction of a vehicle and an area above the road surface
  • the first region including a road surface under or near the floor of the vehicle is stored in the storage unit.
  • an image processing unit for displaying is displaying.
  • the first area including a road surface under or near the underfloor of the vehicle is displayed using the past image, and is displayed from the road surface.
  • the second area including the upper area using the current image the current moving object in the area of the peripheral image can also be displayed.
  • the image processing unit sets a corresponding image in past captured image data stored in the storage unit as a plane corresponding to the road surface in a three-dimensional virtual space.
  • a corresponding image in the current captured image data acquired by the acquisition unit is displayed on the three-dimensional virtual space for the first region. Display by projecting on the second virtual projection plane set to rise from the end of the projection plane or in the vicinity thereof, and the boundary between the first virtual projection plane and the second virtual projection plane can be identified You may make it display.
  • the boundary between the first virtual projection plane displayed using the past image and the second virtual projection plane displayed using the current image is displayed in an identifiable manner. The driver can clearly identify the past image portion and the current image portion in the display.
  • the moving object is in the traveling direction of the vehicle based on at least one of the captured image data from the imaging unit and the detection data from the distance measuring sensor provided in the vehicle, which is acquired by the acquisition unit.
  • a moving object determination unit that determines whether or not the vehicle exists; and when the image processing unit displays a peripheral image in the traveling direction of the vehicle on the display unit, the moving object determination unit causes the moving object to be detected by the moving object determination unit.
  • both the first area and the second area are displayed using corresponding images in past captured image data stored in the storage unit, and the moving object determination unit When it is determined that the moving object exists, the corresponding image in the past captured image data stored in the storage unit is used for the first area.
  • the image may be switched to display by using the corresponding in the current captured image data obtained by the obtaining unit.
  • a continuous image without a joint can be obtained by displaying both the first region and the second region using the past image. If it is determined that there is a moving object, the second area can be displayed using the current image, so that the current moving object in the peripheral image area can also be displayed.
  • the moving object is in the traveling direction of the vehicle based on at least one of the captured image data from the imaging unit and the detection data from the distance measuring sensor provided in the vehicle, which is acquired by the acquisition unit.
  • a moving object determination unit that determines whether or not the vehicle exists; and when the image processing unit displays a peripheral image in the traveling direction of the vehicle on the display unit, the moving object determination unit determines whether the moving object is When it is not determined to exist, both the first area and the second area are displayed using corresponding images in past captured image data stored in the storage unit, and the moving object determination unit When it is determined that the moving object exists, the corresponding image in the past captured image data stored in the storage unit is used for the first area.
  • a continuous image without a joint can be obtained by displaying both the first region and the second region using the past image. If it is determined that there is a moving object, whether or not the occupant switches the screen by displaying a screen that prompts the occupant to switch to display the second region using the current image. You can choose freely.
  • the moving object is in the traveling direction of the vehicle based on at least one of the captured image data from the imaging unit and the detection data from the distance measuring sensor provided in the vehicle, which is acquired by the acquisition unit.
  • a moving object determination unit that determines whether or not the vehicle exists; and when the image processing unit displays a peripheral image in the traveling direction of the vehicle on the display unit, the moving object determination unit causes the moving object to be detected by the moving object determination unit.
  • the boundary portion between the first virtual projection plane and the second virtual projection plane may be moved based on the position of the moving object in the peripheral image.
  • the movement is performed by moving the boundary portion between the first virtual projection plane and the second virtual projection plane based on the position of the moving object in the peripheral image. This makes it easier for passengers to notice the presence of objects.
  • FIG. 1 is a perspective view illustrating a state in which a part of a compartment of a vehicle according to the first embodiment is seen through.
  • FIG. 2 is a plan view (overhead view) of the vehicle according to the first embodiment.
  • FIG. 3 is a diagram illustrating the configuration of the dashboard of the vehicle according to the first embodiment.
  • FIG. 4 is a block diagram illustrating a configuration of the periphery monitoring device according to the first embodiment.
  • FIG. 5 is a block diagram illustrating a configuration of an ECU of the periphery monitoring device according to the first embodiment.
  • FIG. 6 is a schematic diagram for explaining projection of a captured image on a virtual projection plane in the periphery monitoring device of the first embodiment.
  • FIG. 1 is a perspective view illustrating a state in which a part of a compartment of a vehicle according to the first embodiment is seen through.
  • FIG. 2 is a plan view (overhead view) of the vehicle according to the first embodiment.
  • FIG. 3 is a diagram
  • FIG. 7 is a schematic diagram for explaining projection of a captured image on a virtual projection plane in the periphery monitoring device of the first embodiment.
  • FIG. 8 is a schematic diagram for explaining generation of a peripheral image by the image processing unit according to the first embodiment.
  • FIG. 9 is a schematic diagram showing a first virtual projection plane and a second virtual projection plane when viewed from the side of the vehicle in the first embodiment.
  • FIG. 10 is a schematic diagram showing a three-dimensional virtual space in front of the vehicle in the first embodiment.
  • FIG. 11 is a schematic diagram illustrating a display example in the first embodiment.
  • FIG. 12 is a flowchart illustrating a peripheral image generation process performed by the peripheral monitoring device according to the first embodiment.
  • FIG. 13 is a block diagram illustrating a configuration of an ECU of the periphery monitoring device according to the second embodiment.
  • FIG. 14 is a flowchart illustrating a peripheral image generation process performed by the peripheral monitoring device according to the second embodiment.
  • FIG. 15 is a block diagram illustrating a configuration of an ECU of the periphery monitoring device according to the third embodiment.
  • FIG. 16 is a flowchart illustrating a peripheral image generation process performed by the peripheral monitoring device according to the third embodiment.
  • FIG. 17 is a flowchart illustrating a peripheral image generation process performed by the peripheral monitoring device according to the fourth embodiment.
  • FIG. 18 is a schematic diagram for explaining the movement of the boundary portion between the first virtual projection plane and the second virtual projection plane in the fourth embodiment.
  • the vehicle 1 (FIG. 1) of the first embodiment may be, for example, an automobile having an internal combustion engine (not shown) as a drive source, that is, an internal combustion engine automobile, or an automobile having an electric motor (not shown) as a drive source, An electric vehicle, a fuel cell vehicle, etc. may be sufficient, the hybrid vehicle which uses both of them as a drive source may be sufficient, and the vehicle provided with the other drive source may be sufficient. Further, the vehicle 1 can be mounted with various transmissions, and various devices necessary for driving the internal combustion engine and the electric motor, such as systems and components, can be mounted. In addition, the method, number, layout, and the like of the device related to driving of the wheels 3 in the vehicle 1 can be variously set.
  • FIG. 1 is a perspective view showing a state in which a part of the passenger compartment 2a of the vehicle 1 of the first embodiment is seen through.
  • FIG. 2 is a plan view (overhead view) of the vehicle 1 according to the first embodiment.
  • the vehicle body 2 constitutes a passenger compartment 2a (FIG. 1) in which a passenger (not shown) gets.
  • a steering section 4 In the passenger compartment 2a, a steering section 4, an acceleration operation section 5, a braking operation section 6, a speed change operation section 7 and the like are provided in a state facing the driver's seat 2b as an occupant.
  • the steering unit 4 is, for example, a steering wheel (handle) that protrudes from the dashboard 24.
  • the acceleration operation unit 5 is, for example, an accelerator pedal disposed under the driver's feet.
  • the braking operation unit 6 is, for example, a brake pedal that is disposed under the driver's feet.
  • the shift operation unit 7 is, for example, a shift lever that protrudes from the center console.
  • the steering unit 4, the acceleration operation unit 5, the braking operation unit 6, the speed change operation unit 7 and the like are not limited to these.
  • FIG. 3 is a diagram illustrating a configuration of the dashboard 24 of the vehicle 1 according to the first embodiment. As illustrated in FIG. 3, the display device 8 is disposed in the center of the dashboard 24.
  • the display device 8 shown in FIGS. 1 and 3 is, for example, an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like.
  • the audio output device 9 is, for example, a speaker.
  • the display device 8 is covered with a transparent operation input unit 10 such as a touch panel. The occupant can visually recognize an image displayed on the display screen of the display device 8 via the operation input unit 10. In addition, the occupant can execute an operation input by touching, pushing, or moving the operation input unit 10 with a finger or the like at a position corresponding to the image displayed on the display screen of the display device 8. .
  • the display device 8, the audio output device 9, the operation input unit 10, and the like are provided in, for example, the monitor device 11 disposed in the vehicle width direction of the dashboard 24, that is, in the center in the left-right direction.
  • the monitor device 11 may have an operation input unit (not shown) such as a switch, a dial, a joystick, and a push button.
  • a sound output device (not shown) may be provided at another position in the passenger compartment 2a different from the monitor device 11, and the sound is output from the sound output device 9 of the monitor device 11 and other sound output devices. You may make it output.
  • the monitor device 11 may be used also as a navigation system or an audio system, for example.
  • the vehicle 1 is, for example, a four-wheeled vehicle, and includes two left and right front wheels 3F and two right and left rear wheels 3R. These four wheels 3 are all configured to be steerable.
  • FIG. 4 is a block diagram showing a configuration of the periphery monitoring device 100 of the first embodiment.
  • the vehicle 1 includes a steering system 13 that steers at least two wheels 3.
  • the steering system 13 includes an actuator 13a and a torque sensor 13b.
  • the steering system 13 is electrically controlled by an ECU 14 (Electronic Control Unit) or the like to operate the actuator 13a.
  • the steering system 13 is, for example, an electric power steering system or an SBW (Steer By Wire) system.
  • the steering system 13 adds torque, that is, assist torque to the steering unit 4 by the actuator 13a to supplement the steering force, or steers the wheel 3 by the actuator 13a.
  • the actuator 13a may steer one wheel 3 or may steer a plurality of wheels 3.
  • the torque sensor 13b detects the torque which a driver
  • the vehicle body 2 is provided with, for example, four imaging units 15a to 15d as the plurality of imaging units 15.
  • the imaging unit 15 is a digital camera that incorporates an imaging element such as a CCD (Charge Coupled Device) or a CIS (CMOS Image Sensor).
  • the imaging unit 15 can output moving image data at a predetermined frame rate.
  • Each of the imaging units 15 includes a wide-angle lens or a fish-eye lens, and can image a range of, for example, 140 ° to 190 ° in the horizontal direction.
  • the optical axis of the imaging unit 15 is set obliquely downward. Therefore, the imaging unit 15 sequentially captures an external environment around the vehicle body 2 including a road surface on which the vehicle 1 is movable and an area in which the vehicle 1 can be parked, and outputs the captured image data.
  • the imaging unit 15a is disposed, for example, at the rear end 2e of the vehicle body 2, and is provided on a wall portion below the rear trunk door 2h.
  • the imaging unit 15b is disposed, for example, at the right end 2f of the vehicle body 2 and provided on the right door mirror 2g.
  • the imaging unit 15c is disposed, for example, on the front side of the vehicle body 2, that is, on the front side end 2c in the vehicle front-rear direction, and is provided on a front bumper or the like.
  • the imaging unit 15d is disposed, for example, on the left side of the vehicle body 2, that is, on the left end 2d in the vehicle width direction, and is provided on the door mirror 2g as a left protruding portion.
  • the ECU 14 performs arithmetic processing and image processing based on the captured image data obtained by the plurality of imaging units 15 to generate an image with a wider viewing angle, or a virtual overhead view image of the vehicle 1 viewed from above. Can be generated.
  • the vehicle body 2 includes, for example, four distance measuring sections 16a to 16d and eight distance measuring sections 17a to 17h as a plurality of distance measuring sections 16 and 17 (range measuring sensors). And are provided.
  • the distance measuring units 16 and 17 are, for example, sonars (sonar sensors, ultrasonic detectors) that emit ultrasonic waves and capture their reflected waves.
  • the ECU 14 can measure the presence or absence of an object such as an obstacle arranged around the vehicle 1 and the distance to the object based on the detection results (detection data) of the distance measuring units 16 and 17.
  • the distance measuring unit 17 is used, for example, for detecting an object at a relatively short distance.
  • the distance measuring unit 16 is used for detecting a relatively long distance object farther than the distance measuring unit 17, for example. Further, the distance measuring unit 17 is used, for example, for detecting an object in front of and behind the vehicle 1. The distance measuring unit 16 is used for detecting an object on the side of the vehicle 1.
  • the monitoring device 11 in addition to the ECU 14, the monitoring device 11, the steering system 13, the distance measuring units 16 and 17, the brake system 18, the steering angle sensor 19, the accelerator sensor 20, A shift sensor 21, a wheel speed sensor 22, and the like are electrically connected via an in-vehicle network 23 as an electric communication line.
  • the in-vehicle network 23 is configured as, for example, a CAN (Controller Area Network).
  • the ECU 14 can control the steering system 13, the brake system 18, and the like by sending a control signal through the in-vehicle network 23. Further, the ECU 14 detects the torque sensor 13b, the brake sensor 18b, the rudder angle sensor 19, the distance measuring unit 16, the distance measuring unit 17, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22, and the like via the in-vehicle network 23. Results, operation signals from the operation input unit 10 and the like can be received.
  • the ECU 14 includes, for example, a CPU 14a (Central Processing Unit), a ROM 14b (Read Only Memory), a RAM 14c (Random Access Memory), a display control unit 14d, an audio control unit 14e, an SSD 14f (Solid State Drive, flash memory), and the like.
  • the CPU 14a can execute various arithmetic processes and controls such as an image process related to an image displayed on the display device 8 and a control of the vehicle 1, for example.
  • the CPU 14a can read a program installed and stored in a non-volatile storage device such as the ROM 14b, and execute arithmetic processing according to the program.
  • the RAM 14c temporarily stores various types of data used in computations by the CPU 14a.
  • the display control unit 14d mainly performs image processing using the captured image data obtained by the imaging unit 15 and synthesis of the captured image data displayed on the display device 8 among the arithmetic processing in the ECU 14. To do.
  • the voice control unit 14 e mainly executes processing of voice data output from the voice output device 9 among the calculation processes in the ECU 14.
  • the SSD 14f is a rewritable nonvolatile storage unit that can store data even when the ECU 14 is powered off. Note that the CPU 14a, ROM 14b, RAM 14c, and the like may be integrated in the same package.
  • the ECU 14 may have a configuration in which another logical operation processor, a logic circuit, or the like such as a DSP (Digital Signal Processor) is used instead of the CPU 14a.
  • a DSP Digital Signal Processor
  • an HDD Hard Disk Drive
  • the SSD 14f and the HDD may be provided separately from the ECU 14.
  • the brake system 18 includes, for example, an anti-lock brake system (ABS) that suppresses the locking of the brake, a skid prevention device (ESC: Electronic Stability Control) that suppresses the skidding of the vehicle 1 during cornering, and increases the braking force (brake Equipped with an electric brake system (for assisting) and BBW (Brake By Wire).
  • the brake system 18 applies a braking force to the wheels 3 and thus to the vehicle 1 via the actuator 18a.
  • the brake system 18 can execute various controls by detecting brake lock, idle rotation of the wheels 3, signs of skidding, and the like from the difference in rotation between the left and right wheels 3.
  • the brake sensor 18b is a sensor that detects the position of the movable part of the braking operation unit 6, for example.
  • the brake sensor 18 b can detect the position of a brake pedal as a movable part of the braking operation unit 6.
  • the brake sensor 18b includes a displacement sensor.
  • the steering angle sensor 19 is a sensor that detects the steering amount of the steering unit 4 such as a steering wheel.
  • the rudder angle sensor 19 is configured using, for example, a hall element.
  • the ECU 14 obtains the steering amount of the steering unit 4 by the driver, the steering amount of each wheel 3 during automatic steering, and the like from the steering angle sensor 19 and executes various controls.
  • the rudder angle sensor 19 detects the rotation angle of the rotating part included in the steering unit 4.
  • the rudder angle sensor 19 is an example of an angle sensor.
  • the accelerator sensor 20 is a sensor that detects the position of the movable part of the acceleration operation part 5, for example.
  • the accelerator sensor 20 can detect the position of an accelerator pedal as a movable part.
  • the accelerator sensor 20 includes a displacement sensor.
  • the shift sensor 21 is, for example, a sensor that detects the position of the movable part of the speed change operation unit 7.
  • the shift sensor 21 can detect the position of a lever, arm, button, or the like as a movable part of the speed change operation unit 7.
  • the shift sensor 21 may include a displacement sensor or may be configured as a switch.
  • the wheel speed sensor 22 is a sensor that detects the amount of rotation of the wheel 3 and the number of rotations per unit time.
  • the wheel speed sensor 22 outputs a wheel speed pulse number indicating the detected rotation speed as a sensor value.
  • the wheel speed sensor 22 may be configured using, for example, a hall element.
  • the ECU 14 calculates the amount of movement of the vehicle 1 based on the sensor value acquired from the wheel speed sensor 22 and executes various controls. Note that the wheel speed sensor 22 may be provided in the brake system 18. In that case, the ECU 14 acquires the detection result of the wheel speed sensor 22 via the brake system 18.
  • FIG. 5 is a block diagram illustrating a configuration of the ECU 14 of the periphery monitoring device 100 according to the first embodiment.
  • the ECU 14 functions as a control unit 141 and a storage unit 142.
  • the storage unit 142 stores a program executed by the control unit 141, data necessary for executing the program, and the like.
  • the control unit 141 includes an acquisition unit 1411, a display determination unit 1412, an image processing unit 1413, and an update determination unit 1414.
  • the acquisition unit 1411 continuously acquires captured image data from the imaging unit 15 that captures an area including a road surface in the traveling direction of the vehicle 1 and an area above the road surface, and the acquired captured image data is stored in the storage unit 142. Store at any time.
  • the acquisition unit 1411 acquires various data from the distance measurement unit 16, the distance measurement unit 17, the wheel speed sensor 22, and the like.
  • the display determination unit 1412 determines whether or not to display a peripheral image on the display device 8. For example, the display determination unit 1412 determines whether or not to display a peripheral image depending on whether or not the vehicle speed calculated based on the sensor value acquired from the wheel speed sensor 22 is less than a predetermined threshold vehicle speed.
  • a predetermined threshold vehicle speed is 10 km / h.
  • the display determination unit 1412 determines to display a peripheral image. Note that the display determination unit 1412 may determine whether or not to display the surrounding image based on the operation instruction of the occupant received via the operation input unit 10.
  • the image processing unit 1413 stores the storage area 142 for the first area (imaging target area) including the road surface under or near the floor of the vehicle 1.
  • the image processing unit 1413 sets the corresponding image in the past captured image data stored in the storage unit 142 as a plane corresponding to the road surface in the three-dimensional virtual space.
  • the image is displayed by being projected onto the first virtual projection plane.
  • the image processing unit 1413 displays the corresponding image in the current captured image data acquired by the acquiring unit 1411 in the three-dimensional virtual space or the vicinity of the end of the first virtual projection plane. Display by projecting onto a second virtual projection plane set so as to stand up. Further, the image processing unit 1413 displays a boundary between the first virtual projection plane and the second virtual projection plane in an identifiable manner. Details will be described later.
  • the update determination unit 1414 determines whether or not to update the past image projected on the first virtual projection plane, for example, based on whether or not the vehicle 1 has moved a predetermined distance (for example, several meters). The update determination unit 1414 determines whether or not to update the current image projected on the second virtual projection plane, for example, based on whether or not a predetermined time (for example, several tens of milliseconds) has elapsed.
  • a predetermined distance for example, several meters.
  • FIG. 6 is a schematic diagram for explaining the projection of the captured image on the virtual projection plane in the periphery monitoring device 100 of the first embodiment.
  • the image processing unit 1413 generates a viewpoint image based on the captured image data obtained by the imaging unit 15.
  • the viewpoint image is an image obtained by viewing the virtual projection plane on which the captured image is projected from the virtual viewpoint, and is, for example, an image obtained by virtual projection conversion or viewpoint conversion.
  • the image processing unit 1413 obtains viewpoint image data by performing image processing such as coordinate conversion and projection conversion on the captured image data obtained by the imaging unit 15.
  • the virtual projection surface Sp includes a bottom surface Spg (first virtual projection surface) along the ground Gr (road surface), a bottom surface Spg, that is, a side surface Sps rising from the ground Gr (second virtual projection surface), have.
  • the ground Gr is a horizontal plane orthogonal to the vertical direction Z of the vehicle 1 and is also a tire contact surface.
  • the bottom surface Spg is a substantially circular flat surface and is a horizontal surface with the vehicle 1 as a reference.
  • the side surface Sps is a curved surface in contact with the bottom surface Spg.
  • the shape of the vertical virtual section of the vehicle 1 passing through the center Gc of the vehicle 1 on the side surface Sps is, for example, elliptical or parabolic.
  • the side surface Sps is configured as a rotating surface around the center line CL along the vertical direction Z of the vehicle 1 through the center Gc of the vehicle 1 and surrounds the periphery of the vehicle 1, for example.
  • the image processing unit 1413 calculates a virtual projection image when the captured image is projected onto the virtual projection plane Sp.
  • the captured image Ic is projected onto the ground Gr
  • the image becomes longer as the distance from the imaging unit 15 increases, and may appear longer than the actual length in the output image.
  • the virtual projection image Ip projected onto the side surface Sps rising from the ground Gr bottom surface Spg
  • the actual image is output in the output image. It is suppressed that the image is projected longer than the length.
  • FIG. 6 the case where the captured image is projected onto the virtual projection plane Sp on the side of the vehicle 1 has been described. However, the case where the captured image is projected onto the virtual projection plane Sp in front of (or behind) the vehicle 1 is also described. It is the same.
  • FIG. 7 is a schematic diagram for explaining the projection of the captured image on the virtual projection plane in the periphery monitoring device 100 of the first embodiment.
  • the image processing unit 1413 looks at a virtual projection image Ip (not shown in FIG. 7, see FIG. 6) projected onto the virtual projection plane Sp obliquely downward from a predetermined viewpoint Ep. Convert to viewpoint image.
  • the viewpoint Ep is set, for example, at a position facing the road surface below or near the floor of the vehicle 1.
  • FIG. 8 is a schematic diagram for explaining generation of a peripheral image by the image processing unit 1413 according to the first embodiment.
  • FIG. 8 is a schematic plan view of the vehicle 1 and the periphery of the vehicle 1 in a state where the virtual space 203 has moved from the imaging position PT0 to the virtual position PT1 along the thick line arrow AR1.
  • the vehicle 1 at the imaging position PT0 is indicated by a dotted line.
  • the image processing unit 1413 sets the virtual position PT1 of the vehicle 1 in the virtual space 203 according to the current position of the vehicle 1 in the real space (for example, world coordinates), as shown in FIG.
  • the image processing unit 1413 displays a virtual projection plane 200 including a first virtual projection plane 201 (corresponding to the bottom surface Spg in FIGS. 6 and 7) and a second virtual projection plane 202 (corresponding to the side surface Sps in FIGS. 6 and 7).
  • An image obtained by viewing the projected captured image from a virtual viewpoint VV1 (corresponding to the viewpoint Ep in FIG. 7) set based on the virtual position PT1 of the vehicle 1 is generated as a peripheral image.
  • the image processing unit 1413 uses a virtual viewpoint VV1 as a starting point, and a region (for example, a predetermined angle) from a region on both sides of a virtual line of sight determined as a direction along the traveling direction (for example, forward) from the starting point.
  • An image visible in the dot area of FIG. 8 is generated as a peripheral image.
  • the image processing unit 1413 may arbitrarily set the position of the virtual viewpoint VV1 according to the current position of the vehicle 1 or the virtual position PT1.
  • the first virtual projection plane 201 and the second virtual projection plane 202 have a shape extending in the horizontal direction of FIG. It may be configured as a rotating surface around a center line CL (FIG. 6) along the vertical direction of the vehicle 1 through the center Gc (FIG. 6), and may surround the vehicle 1.
  • the image processing unit 1413 may superimpose, for example, a vehicle image that is an image of the vehicle 1 on the generated peripheral image.
  • the vehicle image is not an image captured by the imaging unit 15 but an image stored in the storage unit 142 in advance.
  • FIG. 9 is a schematic diagram showing the first virtual projection plane 201 and the second virtual projection plane 202 when viewed from the side of the vehicle 1 in the first embodiment.
  • FIG. 10 is a schematic diagram showing a three-dimensional virtual space in front of the vehicle in the first embodiment.
  • FIG. 11 is a schematic diagram illustrating a display example in the first embodiment.
  • the second virtual projection plane 202 is as close as possible to the vehicle 1 in order to increase the stereoscopic effect of the entire peripheral image. It is preferable to start up from the position.
  • the first virtual projection plane 201 is an area where there is a low possibility that a moving object exists.
  • the second virtual projection plane 202 is an area where a moving object is highly likely to exist. By projecting the current image on such second virtual projection plane 202, it is possible to display the moving object on the peripheral image in real time. Note that, by flattening the first virtual projection plane 201, the positional relationship between the wheels 3 of the vehicle 1 and the road surface can be correctly displayed.
  • the image processing unit 1413 displays the boundary between the first virtual projection plane 201 and the second virtual projection plane 202 in the peripheral image in an identifiable manner as a first example.
  • a boundary line 204 is displayed between the virtual projection plane 201 and the second virtual projection plane 202.
  • the image processing unit 1413 displays the boundary between the first virtual projection plane 201 and the second virtual projection plane 202 in an identifiable manner
  • the first virtual projection plane 201 and the second virtual projection plane 202 are displayed. May be displayed separately, or the first virtual projection plane 201 and the second virtual projection plane 202 may be displayed with different display modes such as luminance and color.
  • the process of displaying the boundary between the first virtual projection plane 201 and the second virtual projection plane 202 in such a manner that the boundary can be identified is performed by displaying the past image on the first virtual projection plane 201 and the second virtual projection plane. This is performed only when the current image is displayed in 202. In other words, when both the first virtual projection plane 201 and the second virtual projection plane 202 are displayed using a single past image taken at a predetermined time, the images are continuous and are more easily viewable. can do.
  • the image processing unit 1413 may display the second virtual projection plane 202 in color display and the first virtual projection plane 201 in monochrome display or sepia display. By doing so, it can be emphasized with respect to a passenger
  • FIG. 12 is a flowchart illustrating a peripheral image generation process performed by the peripheral monitoring device 100 according to the first embodiment.
  • the display determination unit 1412 determines whether or not to start displaying a peripheral image on the display device 8 (step S1). If Yes, the process proceeds to step S2, and if No, the process returns to step S1. In step S1, the display determination unit 1412 determines, for example, that the display of the peripheral image is started when the vehicle speed calculated based on the sensor value acquired from the wheel speed sensor 22 is less than a predetermined threshold vehicle speed.
  • step S2 the image processing unit 1413 corresponds to an image (past image) corresponding to past captured image data (for example, image data captured several meters before) stored in the storage unit 142 on the first virtual projection plane 201. Project.
  • step S ⁇ b> 3 the acquisition unit 1411 acquires current captured image data from the imaging unit 15.
  • step S4 the image processing unit 1413 projects a corresponding image (current image) in the current captured image data acquired in step S3 on the second virtual projection plane 202.
  • step S5 the image processing unit 1413 displays a peripheral image of the first virtual projection plane 201 and the second virtual projection plane 202 on the display device 8 (see FIG. 11).
  • step S ⁇ b> 5 the image processing unit 1413 also performs a process of displaying the boundary line 204 between the first virtual projection plane 201 and the second virtual projection plane 202.
  • step S6 the update determination unit 1414 determines whether or not the vehicle 1 has moved a predetermined distance (for example, several meters) after step S2. If yes, the process returns to step S2. If no, the update determination unit 1414 returns to step S2. Proceed to S7. If Yes in step S6, the past image on the first virtual projection plane 201 is updated in step S2.
  • a predetermined distance for example, several meters
  • step S7 the update determining unit 1414 determines whether or not a predetermined time (for example, several tens of milliseconds) has elapsed after step S4. If yes, the process returns to step S3, and if no, the process proceeds to step S8. If Yes in step S7, the current image on the second virtual projection plane 202 is updated after step S3.
  • a predetermined time for example, several tens of milliseconds
  • step S8 the display determination unit 1412 determines whether or not to end the display of the peripheral image on the display device 8. If Yes, the process ends, and if No, the process returns to step S6. In step S ⁇ b> 8, for example, the display determination unit 1412 determines that the display of the surrounding image is terminated when the vehicle speed calculated based on the sensor value acquired from the wheel speed sensor 22 is equal to or higher than a predetermined threshold vehicle speed.
  • the periphery monitoring device 100 of the first embodiment when displaying a peripheral image including the under floor of the vehicle 1 and the vicinity of the under floor, the first region including the road surface under the floor of the vehicle 1 or near the under floor of the vehicle 1 is displayed. Is displayed using the past image, and the second region including the region above the road surface is displayed using the current image, so that the current moving object in the peripheral image region can also be displayed. Therefore, the occupant can refer to various judgments during driving, including the current moving object, by looking at the peripheral image that can also display such a current moving object.
  • the occupant can display the boundary between the first virtual projection plane 201 displayed using the past image and the second virtual projection plane 202 displayed using the current image in an identifiable manner.
  • the past image portion and the current image portion can be clearly identified and are easy to use.
  • FIG. 13 is a block diagram illustrating a configuration of the ECU 14 of the periphery monitoring device 100 according to the second embodiment.
  • the ECU 14 in FIG. 13 is different from the ECU 14 in FIG. 5 in that a moving object determination unit 1415 is added to the control unit 141.
  • the moving object determination unit 1415 is based on at least one of the captured image data from the imaging unit 15 and the detection data from the ranging unit 16 and the ranging unit 17 acquired by the acquiring unit 1411. It is determined whether there is a moving object in the traveling direction.
  • the image processing unit 1413 displays the first region and the second region. Are displayed using corresponding images in the past captured image data stored in the storage unit 142.
  • the image processing unit 1413 stores the past captured image stored in the storage unit 142 for the first region (first virtual projection plane 201).
  • the second region is displayed using the corresponding image in the current captured image data acquired by the acquisition unit 1411. Switch.
  • FIG. 14 is a flowchart showing a peripheral image generation process performed by the peripheral monitoring device 100 according to the second embodiment.
  • the display determination unit 1412 determines whether or not to start displaying a peripheral image on the display device 8 (step S101). If Yes, the process proceeds to step S102, and if No, the process returns to step S101.
  • step S102 the image processing unit 1413 projects the corresponding image (past image) in the past captured image data stored in the storage unit 142 on the first virtual projection plane 201 and the second virtual projection plane 202.
  • step S ⁇ b> 103 the image processing unit 1413 displays a peripheral image of the first virtual projection plane 201 and the second virtual projection plane 202 on the display device 8.
  • step S ⁇ b> 103 the image processing unit 1413 does not perform a process of displaying a boundary line between the first virtual projection plane 201 and the second virtual projection plane 202.
  • step S104 the moving object determination unit 1415 is at least one of the captured image data from the imaging unit 15 and the detection data from the ranging unit 16 and the ranging unit 17 acquired by the acquisition unit 1411. Based on the above, it is determined whether or not there is a moving object in the traveling direction of the vehicle 1. If Yes, the process proceeds to step S107, and if No, the process proceeds to step S105.
  • step S105 the update determination unit 1414 determines whether or not the vehicle 1 has moved a predetermined distance (for example, several meters) after step S102. If yes, the process returns to step S102. If no, the process proceeds to step S106. . If Yes in step S105, the past images of the first virtual projection plane 201 and the second virtual projection plane 202 are updated in step S102.
  • a predetermined distance for example, several meters
  • step S106 the display determination unit 1412 determines whether or not the display of the peripheral image on the display device 8 is to be ended. If yes, the process ends, and if no, the process returns to step S104.
  • step S107 the image processing unit 1413 projects a corresponding image (past image) in the past captured image data stored in the storage unit 142 onto the first virtual projection plane 201.
  • step S108 the acquisition unit 1411 acquires the current captured image data from the imaging unit 15.
  • step S109 the image processing unit 1413 projects a corresponding image (current image) in the current captured image data acquired in step S108 on the second virtual projection plane 202.
  • step S110 the image processing unit 1413 displays a peripheral image of the first virtual projection plane 201 and the second virtual projection plane 202 on the display device 8 (see FIG. 11).
  • step S110 the image processing unit 1413 also performs a process of displaying the boundary line 204 (FIG. 11) between the first virtual projection plane 201 and the second virtual projection plane 202.
  • step S111 the moving object determination unit 1415 determines whether or not a second predetermined time (for example, 1 minute) has elapsed since the moving object is not present. If Yes, the process returns to step S102, and No In this case, the process proceeds to step S112. In the case of Yes in step S111, the process returns to the state in which the past image is displayed on both the first virtual projection plane 201 and the second virtual projection plane 202 after step S102.
  • a second predetermined time for example, 1 minute
  • step S112 the update determination unit 1414 determines whether or not the vehicle 1 has moved a predetermined distance (for example, several meters) after step S107. If yes, the process returns to step S107, and if no, the process proceeds to step S113. . If Yes in step S112, the past image on the first virtual projection plane 201 is updated in step S107.
  • a predetermined distance for example, several meters
  • step S113 the update determination unit 1414 determines whether or not a predetermined time (for example, several tens of milliseconds) has elapsed after step S109. If Yes, the process returns to step S108. If No, the process proceeds to step S114. If Yes in step S113, the current image on the second virtual projection plane 202 is updated after step S108.
  • a predetermined time for example, several tens of milliseconds
  • step S114 the display determination unit 1412 determines whether or not to end the display of the peripheral image on the display device 8. If Yes, the process ends, and if No, the process returns to step S111.
  • the periphery monitoring device 100 of the second embodiment when there is no moving object, the first region (first virtual projection surface 201) and the second region (second virtual projection surface 202).
  • the second area (second virtual projection plane 202) is switched to be displayed using the current image, so that the current moving object in the area of the surrounding image is displayed. Can also be displayed.
  • FIG. 15 is a block diagram illustrating the configuration of the ECU 14 of the periphery monitoring device 100 according to the third embodiment.
  • the ECU 14 of FIG. 15 is different from the ECU 14 of FIG. 13 in that an image switching determination unit 1416 is added to the control unit 141.
  • the image processing unit 1413 stores the first region (first virtual projection plane 201) in the storage unit 142.
  • the corresponding image in the past captured image data is displayed using the corresponding image, and for the second region (second virtual projection plane 202), the corresponding image in the current captured image data acquired by the acquisition unit 1411 is used.
  • the screen prompting the occupant can be realized by, for example, making the second region (second virtual projection plane 202) darker by reducing the brightness, or displaying or blinking in red.
  • the image switching determination unit 1416 determines whether or not the occupant has performed a screen switching operation on the screen prompting the occupant. For example, the image switching determination unit 1416 determines whether the occupant has performed an operation of touching, pushing, or moving the operation input unit 10 with a finger or the like at a position corresponding to the image displayed on the display screen of the display device 8. Make a decision.
  • FIG. 16 is a flowchart showing a peripheral image generation process performed by the peripheral monitoring device 100 according to the third embodiment.
  • the flowchart in FIG. 16 is different from the flowchart in FIG. 14 only in that step S121 and step S122 are added, and thus the description of the same points is omitted.
  • step S121 the image processing unit 1413 uses the corresponding image in the current captured image data acquired by the acquisition unit 1411 for the second region (second virtual projection plane 202). Display a screen that prompts the occupant to switch to display.
  • step S122 the image switching determination unit 1416 determines whether or not the occupant has performed a screen switching operation on the screen. If Yes, the process proceeds to step S107. If No, the process proceeds to step S105.
  • the periphery monitoring device 100 of the third embodiment when there is no moving object, the first region (first virtual projection surface 201) and the second region (second virtual projection surface 202). By displaying both images using a single past image taken at a predetermined time, it is possible to obtain a continuous image without a joint. If it is determined that there is a moving object, the second region (second virtual projection plane 202) is displayed with a screen prompting the occupant to switch to display using the current image. Can freely select whether or not to switch the screen.
  • the image processing unit 1413 displays a peripheral image in the traveling direction of the vehicle 1 on the display device 8, and when the moving object determination unit 1415 determines that a moving object is present, Based on the position of the moving object, the boundary portion (boundary line 204, separation portion, etc.) between the first virtual projection plane 201 and the second virtual projection plane 202 is moved.
  • FIG. 17 is a flowchart showing a peripheral image generation process performed by the peripheral monitoring device 100 according to the fourth embodiment. Description of processes (steps) similar to those in the flowchart of FIG. 12 will be omitted as appropriate.
  • step S31 the moving object determination unit 1415 acquires at least the captured image data from the imaging unit 15 and the detection data from the ranging unit 16 and the ranging unit 17 acquired by the acquisition unit 1411. Based on either, it is determined whether or not there is a moving object in the traveling direction of the vehicle 1. If Yes, the process proceeds to step S32, and if No, the process proceeds to step S34.
  • step S32 the image processing unit 1413 determines whether or not it is necessary to move the boundary portion between the two virtual projection planes (the first virtual projection plane 201 and the second virtual projection plane 202). The process proceeds to step S33, and if no, the process proceeds to step S6.
  • step S32 the image processing unit 1413 determines that the boundary portion needs to be moved if, for example, a predetermined ratio or more of the area of the moving object in the peripheral image is in the first virtual projection plane 201.
  • the present invention is not limited to this.
  • step S33 the image processing unit 1413 moves the boundary portion between the two virtual projection planes.
  • step S33 the image processing unit 1413 moves the boundary portion so that, for example, the ratio of the area of the moving object in the first virtual projection plane 201 in the peripheral image is less than a predetermined value.
  • FIG. 18 is a schematic diagram for explaining the movement of the boundary portion between the first virtual projection plane 201 and the second virtual projection plane 202 in the fourth embodiment. As illustrated in FIG. 18, the image processing unit 1413 moves the boundary portion so as to approach the vehicle 1 or move away from the vehicle 1.
  • step S ⁇ b> 34 the moving object determination unit 1415 determines whether or not a second predetermined time (for example, 1 minute) has elapsed since the moving object is not present. If Yes, the process proceeds to step S ⁇ b> 35. If No, go to Step S6.
  • a second predetermined time for example, 1 minute
  • step S35 the image processing unit 1413 resets the boundary portion (for example, returns to the initial setting). After step S35, the process proceeds to step S6.
  • the first virtual projection surface 201 and the second virtual projection surface are based on the position of the moving object in the peripheral image.
  • the image processing unit 1413 may change the virtual viewpoint when generating the peripheral image to a position where the moving object can be easily seen.

Abstract

実施形態の周辺監視装置は、車両の進行方向の路面、および、前記路面から上方の領域を含む領域を撮像する撮像部から撮像画像データを取得する取得部と、前記撮像画像データを記憶する記憶部と、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記車両の床下または床下付近の路面を含む第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、前記路面から上方の領域を含む第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示する画像処理部と、を備える。

Description

周辺監視装置
　本発明の実施形態は、周辺監視装置に関する。
　従来から、車載カメラで周辺環境を撮像し、その周辺画像を車両内の表示部に表示する技術が知られている。また、車載カメラの死角になる車両の床下や床下付近を表示するために、例えば、車両が前進している場合には、車両のフロントカメラが撮像した過去の画像（以下、「過去画像」ともいう。）を用いて車両の床下や床下付近を含む周辺画像を生成し、表示する技術もある。運転者は、このような周辺画像を見ることで、運転時の各種判断の参考にすることができる。
国際公開第２０１４／１５６２２０号
　しかしながら、上述の車両の床下や床下付近を含む周辺画像を表示する技術では、過去画像を用いるので、現在、その周辺画像の領域内に人や車両などの移動物が存在していても表示されないという問題がある。
　そこで、本発明は、このような事情に鑑みてなされたものであって、車両の床下や床下付近を含む周辺画像を表示するとともに、その周辺画像の領域内における現在の移動物も併せて表示できる周辺監視装置を提供することを課題とする。
　上記課題を解決するため、実施形態の周辺監視装置は、車両の進行方向の路面、および、前記路面から上方の領域を含む領域を撮像する撮像部から撮像画像データを取得する取得部と、前記撮像画像データを記憶する記憶部と、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記車両の床下または床下付近の路面を含む第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、前記路面から上方の領域を含む第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示する画像処理部と、を備える。この構成によれば、例えば、車両の床下または床下付近を含む周辺画像を表示する場合に、車両の床下または床下付近の路面を含む第１の領域については過去画像を用いて表示し、路面から上方の領域を含む第２の領域については現在画像を用いて表示することで、周辺画像の領域内における現在の移動物も併せて表示できる。
　また、前記画像処理部は、前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を、三次元仮想空間上で前記路面に対応する平面として設定された第１仮想投影面に投影することで表示し、前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を、前記三次元仮想空間上で前記第１仮想投影面の端部またはその付近から立ち上がるように設定された第２仮想投影面に投影することで表示し、前記第１仮想投影面と前記第２仮想投影面との間の境界を識別可能に表示するようにしてもよい。この構成によれば、例えば、過去画像を用いて表示される第１仮想投影面と、現在画像を用いて表示される第２仮想投影面と、の間の境界を識別可能に表示することで、運転者は、表示における過去画像の部分と現在画像の部分とを明確に識別することができる。
　また、前記取得部によって取得された、前記撮像部からの撮像画像データ、および、前記車両に設けられた測距センサからの検出データの少なくともいずれかに基づいて前記車両の進行方向に移動物が存在するか否かを判定する移動物判定部を、さらに備え、前記画像処理部は、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記移動物判定部によって前記移動物が存在すると判定されていないときには、前記第１の領域および前記第２の領域の両方について、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、前記移動物判定部によって前記移動物が存在すると判定されたときには、前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替えるようにしてもよい。この構成によれば、例えば、移動物が存在しないときは、第１の領域および第２の領域の両方について過去画像を用いて表示することで、つなぎ目のない連続した画像とすることができる。また、移動物が存在すると判定されると、第２の領域については、現在画像を用いて表示するように切り替えることで、周辺画像の領域内における現在の移動物も併せて表示できる。
　また、前記取得部によって取得された、前記撮像部からの撮像画像データ、および、前記車両に設けられた測距センサからの検出データの少なくともいずれかに基づいて前記車両の進行方向に移動物が存在するか否かを判定する移動物判定部を、さらに備え、前記画像処理部は、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記移動物判定部によって前記移動物が存在すると判定されていないときには、前記第１の領域および前記第２の領域の両方について、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、前記移動物判定部によって前記移動物が存在すると判定されたときには、前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替えることを乗員に促す画面を表示するようにしてもよい。この構成によれば、例えば、移動物が存在しないときは、第１の領域および第２の領域の両方について過去画像を用いて表示することで、つなぎ目のない連続した画像とすることができる。また、移動物が存在すると判定されると、第２の領域については、現在画像を用いて表示するように切り替えることを乗員に促す画面を表示することで、乗員はその画面切り替えをするか否かを自由に選択することができる。
　また、前記取得部によって取得された、前記撮像部からの撮像画像データ、および、前記車両に設けられた測距センサからの検出データの少なくともいずれかに基づいて前記車両の進行方向に移動物が存在するか否かを判定する移動物判定部を、さらに備え、前記画像処理部は、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記移動物判定部によって前記移動物が存在すると判定されたときには、前記周辺画像における前記移動物の位置に基づいて前記第１仮想投影面と前記第２仮想投影面の境界部分を移動させるようにしてもよい。この構成によれば、例えば、移動物が存在すると判定されたときに、周辺画像における移動物の位置に基づいて第１仮想投影面と第２仮想投影面の境界部分を移動させることで、移動物の存在を乗員により気づかせやすくすることができる。
図１は、第１実施形態の車両の車室の一部が透視された状態を示す斜視図である。 図２は、第１実施形態の車両の平面図（俯瞰図）である。 図３は、第１実施形態の車両のダッシュボードの構成を示す図である。 図４は、第１実施形態の周辺監視装置の構成を示すブロック図である。 図５は、第１実施形態の周辺監視装置のＥＣＵの構成等を示すブロック図である。 図６は、第１実施形態の周辺監視装置における撮像画像の仮想投影面への投影を説明するための模式図である。 図７は、第１実施形態の周辺監視装置における撮像画像の仮想投影面への投影を説明するための模式図である。 図８は、第１実施形態の画像処理部による周辺画像の生成を説明するための模式図である。 図９は、第１実施形態において車両の側面から見た場合の第１仮想投影面と第２仮想投影面とを示す模式図である。 図１０は、第１実施形態における車両前方の三次元仮想空間を示す模式図である。 図１１は、第１実施形態における表示例を示す模式図である。 図１２は、第１実施形態の周辺監視装置による周辺画像の生成処理を示すフローチャートである。 図１３は、第２実施形態の周辺監視装置のＥＣＵの構成等を示すブロック図である。 図１４は、第２実施形態の周辺監視装置による周辺画像の生成処理を示すフローチャートである。 図１５は、第３実施形態の周辺監視装置のＥＣＵの構成等を示すブロック図である。 図１６は、第３実施形態の周辺監視装置による周辺画像の生成処理を示すフローチャートである。 図１７は、第４実施形態の周辺監視装置による周辺画像の生成処理を示すフローチャートである。 図１８は、第４実施形態における第１仮想投影面と第２仮想投影面との境界部分の移動を説明するための模式図である。
　以下、本発明の例示的な実施形態（第１実施形態～第４実施形態）が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうちの少なくとも一つを得ることが可能である。
（第１実施形態）
　まず、第１実施形態について説明する。第１実施形態の車両１（図１）は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
　図１は、第１実施形態の車両１の車室２ａの一部が透視された状態を示す斜視図である。図２は、第１実施形態の車両１の平面図（俯瞰図）である。以下、両図を参照して説明する。車体２は、不図示の乗員が乗車する車室２ａ（図１）を構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７等が設けられている。
　操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイール（ハンドル）である。加速操作部５は、例えば、運転者の足下に配置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に配置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらに限定されない。
　また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。ここで、図３は、第１実施形態の車両１のダッシュボード２４の構成を示す図である。図３に例示されるように、表示装置８は、ダッシュボード２４の中央に配置されている。
　図１、図３に示す表示装置８は、例えば、ＬＣＤ（Liquid　Crystal　Display）や、ＯＥＬＤ（Organic　Electro-Luminescence　Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これらの表示装置８、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に配置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有していてもよい。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けてもよいし、また、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力するようにしてもよい。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されてもよい。
　また、図１および図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成される。
　ここで、図４は、第１実施形態の周辺監視装置１００の構成を示すブロック図である。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（Electronic　Control　Unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Steer　By　Wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
　また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Charge　Coupled　Device）やＣＩＳ（CMOS　Image　Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～１９０°の範囲を撮像することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮像し、撮像画像データとして出力する。
　撮像部１５ａは、例えば、車体２の後側の端部２ｅに配置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに配置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに配置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに配置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。
　また、図２に例示されるように、車体２には、複数の測距部１６、１７（測距センサ）として、例えば四つの測距部１６ａ～１６ｄと、八つの測距部１７ａ～１７ｈとが設けられている。測距部１６、１７は、例えば、超音波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）である。ＥＣＵ１４は、測距部１６、１７の検出結果（検出データ）により、車両１の周囲に配置された障害物等の物体の有無や当該物体までの距離を測定することができる。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられる。また、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられる。また、測距部１６は、車両１の側方の物体の検出に用いられる。
　また、図４に例示されるように、周辺監視装置１００では、ＥＣＵ１４、モニタ装置１１、操舵システム１３、測距部１６、１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。
　車内ネットワーク２３は、例えば、ＣＡＮ（Controller　Area　Network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
　ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Central　Processing　Unit）、ＲＯＭ１４ｂ（Read　Only　Memory）、ＲＡＭ１４ｃ（Random　Access　Memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Solid　State　Drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の制御等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される撮像画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａ、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されてもよい。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital　Signal　Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard　Disk　Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
　ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti-lock　Brake　System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic　Stability　Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake　By　Wire）等を備える。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。
　舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。
　アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。
　シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、変速操作部７の可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
　車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されてもよい。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果を、ブレーキシステム１８を介して取得する。
　なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
　本実施形態では、ＥＣＵ１４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、周辺監視装置１００としての機能の少なくとも一部を実現する。図５は、第１実施形態の周辺監視装置１００のＥＣＵ１４の構成等を示すブロック図である。ＥＣＵ１４は、図５に示すように、制御部１４１、記憶部１４２として機能する。記憶部１４２は、制御部１４１が実行するプログラムやプログラムの実行に必要なデータ等を格納する。制御部１４１は、取得部１４１１、表示判定部１４１２、画像処理部１４１３、および、更新判定部１４１４を備える。
　取得部１４１１は、車両１の進行方向の路面、および、路面から上方の領域を含む領域を撮像する撮像部１５から撮像画像データを継続的に取得し、取得した撮像画像データを記憶部１４２に随時格納する。また、取得部１４１１は、測距部１６、測距部１７、車輪速センサ２２等から各種データを取得する。
　表示判定部１４１２は、周辺画像を表示装置８に表示するか否かを判定する。表示判定部１４１２は、例えば、車輪速センサ２２から取得したセンサ値に基づいて算出した車速が予め定められた閾値車速未満か否かによって、周辺画像を表示するか否かを判定する。閾値車速の一例は、１０ｋｍ／ｈである。表示判定部１４１２は、例えば、車速が閾値車速未満の場合、周辺画像を表示すると判定する。なお、表示判定部１４１２は、操作入力部１０を介して受け付けた乗員の操作指示に基づいて、当該周辺画像を表示するか否かを判定してもよい。
　画像処理部１４１３は、車両１の進行方向の周辺画像を表示装置８に表示する場合に、車両１の床下または床下付近の路面を含む第１の領域（撮像対象領域）については、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、路面から上方の領域を含む第２の領域（撮像対象領域）については、取得部１４１１によって取得された現在の撮像画像データにおける対応する画像を用いて表示する。
　より具体的には、画像処理部１４１３は、第１の領域については、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像を、三次元仮想空間上で路面に対応する平面として設定された第１仮想投影面に投影することで表示する。また、画像処理部１４１３は、第２の領域については、取得部１４１１によって取得された現在の撮像画像データにおける対応する画像を、三次元仮想空間上で第１仮想投影面の端部またはその付近から立ち上がるように設定された第２仮想投影面に投影することで表示する。また、画像処理部１４１３は、第１仮想投影面と第２仮想投影面との間の境界を識別可能に表示する。詳細は後述する。
　更新判定部１４１４は、第１仮想投影面に投影した過去画像を更新するか否かを、例えば、車両１が所定距離（例えば数メートル）移動したか否かにより判定する。また、更新判定部１４１４は、第２仮想投影面に投影した現在画像を更新するか否かを、例えば、所定時間（例えば数十ミリ秒）経過したか否かにより判定する。
　図６は、第１実施形態の周辺監視装置１００における撮像画像の仮想投影面への投影を説明するための模式図である。画像処理部１４１３は、撮像部１５によって得られた撮像画像データに基づいて視点画像を生成する。視点画像とは、撮像画像が投影された仮想投影面を仮想視点から見た画像であって、例えば、仮想投影変換や視点変換された画像である。画像処理部１４１３は、撮像部１５による撮像画像データに対して座標変換や投影変換等の画像処理を行うことにより、視点画像のデータを得る。
　図６の例では、仮想投影面Ｓｐは、地面Ｇｒ（路面）に沿った底面Ｓｐｇ（第１仮想投影面）と、底面Ｓｐｇすなわち地面Ｇｒから立ち上がった側面Ｓｐｓ（第２仮想投影面）と、を有している。地面Ｇｒは、車両１の上下方向Ｚと直交する水平面であり、タイヤの接地面でもある。底面Ｓｐｇは、略円形の平坦面であり、車両１を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接した曲面である。図６に示されるように、側面Ｓｐｓの、車両１の中心Ｇｃを通り車両１の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面Ｓｐｓは、例えば、車両１の中心Ｇｃを通り車両１の上下方向Ｚに沿う中心線ＣＬ周りの回転面として構成され、車両１の周囲を取り囲んでいる。
　画像処理部１４１３は、撮像画像を仮想投影面Ｓｐに投影した場合の仮想投影画像を算出する。撮像画像Ｉｃを地面Ｇｒに投影すると、撮像部１５から遠ざかるにつれて像が長くなり、出力画像中で実際の長さよりも長く映る場合がある。図６からわかるように、地面Ｇｒ（底面Ｓｐｇ）から立ち上がった側面Ｓｐｓへ投影された仮想投影画像Ｉｐは、地面Ｇｒに投影された場合に比べて、像が短くなり、出力画像中で実際の長さよりも長く映るのが抑制される。
　なお、図６では、撮像画像を車両１の側方の仮想投影面Ｓｐに投影する場合について説明したが、撮像画像を車両１の前方（または後方）の仮想投影面Ｓｐに投影する場合についても同様である。
　図７は、第１実施形態の周辺監視装置１００における撮像画像の仮想投影面への投影を説明するための模式図である。図７に示されるように、画像処理部１４１３は、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ（図７には不図示。図６参照）を、所定の視点Ｅｐから斜め下方を見た視点画像に変換する。視点Ｅｐは、例えば、車両１の床下や床下付近の路面を臨む位置に設定される。
　図８は、第１実施形態の画像処理部１４１３による周辺画像の生成を説明するための模式図である。図８は、仮想空間２０３において、撮像位置ＰＴ０から太線矢印ＡＲ１に沿って仮想位置ＰＴ１まで移動した状態における車両１および車両１の周辺の概略の平面図である。なお、図８では、撮像位置ＰＴ０の車両１を点線で示す。
　画像処理部１４１３は、図８に示すように、実空間（例えば、ワールド座標）における車両１の現在位置に応じた車両１の仮想位置ＰＴ１を仮想空間２０３内に設定する。画像処理部１４１３は、第１仮想投影面２０１（図６、図７の底面Ｓｐｇに対応）と第２仮想投影面２０２（図６、図７の側面Ｓｐｓに対応）からなる仮想投影面２００に投影した撮像画像を、車両１の仮想位置ＰＴ１に基づいて設定された仮想視点ＶＶ１（図７の視点Ｅｐに対応）から見た画像を周辺画像として生成する。例えば、画像処理部１４１３は、仮想視点ＶＶ１を起点とし、当該起点から進行方向（例えば、前方）に沿った方向として定められる仮想視線の両側の領域から予め定められた設定角度の領域（例えば、図８のドット領域）で見える画像を周辺画像として生成する。なお、画像処理部１４１３は、仮想視点ＶＶ１の位置を車両１の現在位置または仮想位置ＰＴ１に応じて任意で設定してよい。
　なお、図８では、図示の都合上、第１仮想投影面２０１と第２仮想投影面２０２が図８の横方向に延びた形状としたが、図６、図７と同様、それらが車両１の中心Ｇｃ（図６）を通り車両１の上下方向に沿う中心線ＣＬ（図６）周りの回転面として構成され、車両１の周囲を取り囲んでいてもよい。
　画像処理部１４１３は、生成した周辺画像に、例えば、車両１の画像である車両画像を重畳させてもよい。この車両画像は、例えば、撮像部１５によって撮像された画像ではなく、予め記憶部１４２に記憶されている画像である。
　図９は、第１実施形態において車両１の側面から見た場合の第１仮想投影面２０１と第２仮想投影面２０２とを示す模式図である。図１０は、第１実施形態における車両前方の三次元仮想空間を示す模式図である。図１１は、第１実施形態における表示例を示す模式図である。
　上述の図６、図７を参照して説明した内容や、図９～図１１からわかるように、周辺画像全体として立体感を増すためには、第２仮想投影面２０２を車両１からなるべく近い位置から立ち上げることが好ましい。また、第１仮想投影面２０１は、移動物が存在する可能性が低いエリアである。一方、第２仮想投影面２０２は、移動物が存在する可能性が高いエリアである。そのような第２仮想投影面２０２に現在画像を投影することで、周辺画像に移動物をリアルタイムに表示することができる。なお、第１仮想投影面２０１を平坦にすることで、車両１の車輪３と路面との位置関係を正しく表示することができる。
　また、図１０、図１１に示すように、画像処理部１４１３は、周辺画像における第１仮想投影面２０１と第２仮想投影面２０２との間の境界を識別可能に表示する一例として、第１仮想投影面２０１と第２仮想投影面２０２との間に境界線２０４を表示する。これにより、乗員は、表示における過去画像の部分と現在画像の部分とを明確に識別することができる。また、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２との間の境界を識別可能に表示する他の例として、第１仮想投影面２０１と第２仮想投影面２０２とを分離して表示したり、第１仮想投影面２０１と第２仮想投影面２０２との輝度や色などの表示態様を異ならせて表示したりしてもよい。なお、このような第１仮想投影面２０１と第２仮想投影面２０２との間の境界を識別可能に表示する処理は、第１仮想投影面２０１に過去画像を表示するとともに第２仮想投影面２０２に現在画像を表示する場合にのみ行う。つまり、第１仮想投影面２０１と第２仮想投影面２０２の両方について、所定時刻に撮影した一枚の過去画像を用いて表示する場合は、つなぎ目のない連続した画像となり、より見やすい画像表示とすることができる。
　また、画像処理部１４１３は、第２仮想投影面２０２をカラー表示とし、第１仮想投影面２０１をモノクロ表示やセピア表示としてもよい。そうすることで、第１仮想投影面２０１が過去画像であることを乗員に対して強調することができる。また、第１仮想投影面２０１を単一色にすることで、乗員が当該部分の画像を鮮明に感じるという効果もある。
　次に、図１２を参照して、第１実施形態の周辺監視装置１００による周辺画像の生成処理について説明する。図１２は、第１実施形態の周辺監視装置１００による周辺画像の生成処理を示すフローチャートである。
　まず、表示判定部１４１２は、表示装置８に対する周辺画像の表示を開始するか否かを判定し（ステップＳ１）、Ｙｅｓの場合はステップＳ２に進み、Ｎｏの場合はステップＳ１に戻る。このステップＳ１では、表示判定部１４１２は、例えば、車輪速センサ２２から取得したセンサ値に基づいて算出した車速が予め定められた閾値車速未満の場合、周辺画像の表示を開始すると判定する。
　ステップＳ２において、画像処理部１４１３は、第１仮想投影面２０１に、記憶部１４２に記憶された過去の撮像画像データ（例えば数メートル前に撮像された画像データ）における対応する画像（過去画像）を投影する。
　次に、ステップＳ３において、取得部１４１１は、撮像部１５から現在の撮像画像データを取得する。
　次に、ステップＳ４において、画像処理部１４１３は、第２仮想投影面２０２に、ステップＳ３で取得した現在の撮像画像データにおける対応する画像（現在画像）を投影する。
　次に、ステップＳ５において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２による周辺画像を表示装置８に表示する（図１１参照）。このステップＳ５において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２の間に境界線２０４を表示する処理も併せて行う。
　次に、ステップＳ６において、更新判定部１４１４は、ステップＳ２の後に車両１が所定距離（例えば数メートル）移動したか否かを判定し、Ｙｅｓの場合はステップＳ２に戻り、Ｎｏの場合はステップＳ７に進む。ステップＳ６でＹｅｓの場合、ステップＳ２で第１仮想投影面２０１の過去画像が更新されることになる。
　ステップＳ７において、更新判定部１４１４は、ステップＳ４の後に所定時間（例えば数十ミリ秒）経過したか否かを判定し、Ｙｅｓの場合はステップＳ３に戻り、Ｎｏの場合はステップＳ８に進む。ステップＳ７でＹｅｓの場合、ステップＳ３以降で第２仮想投影面２０２の現在画像が更新されることになる。
　ステップＳ８において、表示判定部１４１２は、表示装置８に対する周辺画像の表示を終了するか否かを判定し、Ｙｅｓの場合は処理を終了し、Ｎｏの場合はステップＳ６に戻る。このステップＳ８では、表示判定部１４１２は、例えば、車輪速センサ２２から取得したセンサ値に基づいて算出した車速が予め定められた閾値車速以上の場合、周辺画像の表示を終了すると判定する。
　このように、第１実施形態の周辺監視装置１００によれば、車両１の床下や床下付近を含む周辺画像を表示する場合に、車両１の床下または床下付近の路面を含む第１の領域については過去画像を用いて表示し、路面から上方の領域を含む第２の領域については現在画像を用いて表示することで、周辺画像の領域内における現在の移動物も併せて表示できる。したがって、乗員は、このような現在の移動物も併せて表示できる周辺画像を見ることで、現在の移動物も含めて運転時の各種判断の参考にすることができる。
　また、過去画像を用いて表示される第１仮想投影面２０１と、現在画像を用いて表示される第２仮想投影面２０２との間の境界を識別可能に表示することで、乗員は、表示における過去画像の部分と現在画像の部分とを明確に識別することができ、使いやすい。
（第２実施形態）
　次に、第２実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。図１３は、第２実施形態の周辺監視装置１００のＥＣＵ１４の構成等を示すブロック図である。図１３のＥＣＵ１４は、図５のＥＣＵ１４と比較して、制御部１４１に移動物判定部１４１５が追加されている点で相違する。
　移動物判定部１４１５は、取得部１４１１によって取得された、撮像部１５からの撮像画像データ、および、測距部１６や測距部１７からの検出データの少なくともいずれかに基づいて、車両１の進行方向に移動物が存在するか否かを判定する。
　そして、画像処理部１４１３は、車両１の進行方向の周辺画像を表示装置８に表示する場合に、移動物判定部１４１５によって移動物が存在すると判定されていないときには、第１の領域および第２の領域の両方について、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像を用いて表示する。
　また、画像処理部１４１３は、移動物判定部１４１５によって移動物が存在すると判定されたときには、第１の領域（第１仮想投影面２０１）については、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、第２の領域（第２仮想投影面２０２）については、取得部１４１１によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替える。
　図１４は、第２実施形態の周辺監視装置１００による周辺画像の生成処理を示すフローチャートである。まず、表示判定部１４１２は、表示装置８に対する周辺画像の表示を開始するか否かを判定し（ステップＳ１０１）、Ｙｅｓの場合はステップＳ１０２に進み、Ｎｏの場合はステップＳ１０１に戻る。
　ステップＳ１０２において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２に、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像（過去画像）を投影する。
　次に、ステップＳ１０３において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２による周辺画像を表示装置８に表示する。このステップＳ１０３において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２の間に境界線を表示する処理は行わない。
　次に、ステップＳ１０４において、移動物判定部１４１５は、取得部１４１１によって取得された、撮像部１５からの撮像画像データ、および、測距部１６や測距部１７からの検出データの少なくともいずれかに基づいて、車両１の進行方向に移動物が存在するか否かを判定し、Ｙｅｓの場合はステップＳ１０７に進み、Ｎｏの場合はステップＳ１０５に進む。
　ステップＳ１０５において、更新判定部１４１４は、ステップＳ１０２の後に車両１が所定距離（例えば数メートル）移動したか否かを判定し、Ｙｅｓの場合はステップＳ１０２に戻り、Ｎｏの場合はステップＳ１０６に進む。ステップＳ１０５でＹｅｓの場合、ステップＳ１０２で第１仮想投影面２０１と第２仮想投影面２０２の過去画像が更新されることになる。
　ステップＳ１０６において、表示判定部１４１２は、表示装置８に対する周辺画像の表示を終了するか否かを判定し、Ｙｅｓの場合は処理を終了し、Ｎｏの場合はステップＳ１０４に戻る。
　ステップＳ１０７において、画像処理部１４１３は、第１仮想投影面２０１に、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像（過去画像）を投影する。
　次に、ステップＳ１０８において、取得部１４１１は、撮像部１５から現在の撮像画像データを取得する。
　次に、ステップＳ１０９において、画像処理部１４１３は、第２仮想投影面２０２に、ステップＳ１０８で取得した現在の撮像画像データにおける対応する画像（現在画像）を投影する。
　次に、ステップＳ１１０において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２による周辺画像を表示装置８に表示する（図１１参照）。このステップＳ１１０において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２の間に境界線２０４（図１１）を表示する処理も併せて行う。
　次に、ステップＳ１１１において、移動物判定部１４１５は、移動物が存在しなくなってから第２所定時間（例えば１分）経過したか否かを判定し、Ｙｅｓの場合はステップＳ１０２に戻り、Ｎｏの場合はステップＳ１１２に進む。ステップＳ１１１でＹｅｓの場合、ステップＳ１０２以降で第１仮想投影面２０１と第２仮想投影面２０２の両方に過去画像が表示される状態に戻ることになる。
　ステップＳ１１２において、更新判定部１４１４は、ステップＳ１０７の後に車両１が所定距離（例えば数メートル）移動したか否かを判定し、Ｙｅｓの場合はステップＳ１０７に戻り、Ｎｏの場合はステップＳ１１３に進む。ステップＳ１１２でＹｅｓの場合、ステップＳ１０７で第１仮想投影面２０１の過去画像が更新されることになる。
　ステップＳ１１３において、更新判定部１４１４は、ステップＳ１０９の後に所定時間（例えば数十ミリ秒）経過したか否かを判定し、Ｙｅｓの場合はステップＳ１０８に戻り、Ｎｏの場合はステップＳ１１４に進む。ステップＳ１１３でＹｅｓの場合、ステップＳ１０８以降で第２仮想投影面２０２の現在画像が更新されることになる。
　ステップＳ１１４において、表示判定部１４１２は、表示装置８に対する周辺画像の表示を終了するか否かを判定し、Ｙｅｓの場合は処理を終了し、Ｎｏの場合はステップＳ１１１に戻る。
　このように、第２実施形態の周辺監視装置１００によれば、移動物が存在しないときは、第１の領域（第１仮想投影面２０１）および第２の領域（第２仮想投影面２０２）の両方について、所定時刻に撮影した一枚の過去画像を用いて表示することで、つなぎ目のない連続した画像とすることができる。また、移動物が存在すると判定されると、第２の領域（第２仮想投影面２０２）については、現在画像を用いて表示するように切り替えることで、周辺画像の領域内における現在の移動物も併せて表示できる。
（第３実施形態）
　次に、第３実施形態について説明する。第１実施形態、第２実施形態の少なくともいずれかと同様の事項については、説明を適宜省略する。図１５は、第３実施形態の周辺監視装置１００のＥＣＵ１４の構成等を示すブロック図である。図１５のＥＣＵ１４は、図１３のＥＣＵ１４と比較して、制御部１４１に画像切替判定部１４１６が追加されている点で相違する。
　この第３実施形態では、画像処理部１４１３は、移動物判定部１４１５によって移動物が存在すると判定されたときには、第１の領域（第１仮想投影面２０１）については、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、第２の領域（第２仮想投影面２０２）については、取得部１４１１によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替えることを乗員に促す画面を表示する。この乗員に促す画面は、例えば、第２の領域（第２仮想投影面２０２）について、輝度を下げる等により暗くする、あるいは、赤く表示、点滅させる等により実現できる。
　画像切替判定部１４１６は、この乗員に促す画面において乗員が画面切替操作を行ったか否かを判定する。画像切替判定部１４１６は、例えば、表示装置８の表示画面に表示される画像に対応した位置において乗員が手指等によって操作入力部１０を触れたり押したり動かしたりする操作を行ったか否かにより当該判定を行う。
　図１６は、第３実施形態の周辺監視装置１００による周辺画像の生成処理を示すフローチャートである。図１６のフローチャートは、図１４のフローチャートと比較して、ステップＳ１２１とステップＳ１２２が追加している点でのみ相違するので、同様の点については説明を省略する。
　ステップＳ１０４でＹｅｓの場合、ステップＳ１２１において、画像処理部１４１３は、第２の領域（第２仮想投影面２０２）について、取得部１４１１によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替えることを乗員に促す画面を表示する。
　次に、ステップＳ１２２において、画像切替判定部１４１６は、当該画面において乗員が画面切替操作を行ったか否かを判定し、Ｙｅｓの場合はステップＳ１０７に進み、Ｎｏの場合はステップＳ１０５に進む。
　このように、第３実施形態の周辺監視装置１００によれば、移動物が存在しないときは、第１の領域（第１仮想投影面２０１）および第２の領域（第２仮想投影面２０２）の両方について、所定時刻に撮影した一枚の過去画像を用いて表示することで、つなぎ目のない連続した画像とすることができる。また、移動物が存在すると判定されると、第２の領域（第２仮想投影面２０２）については、現在画像を用いて表示するように切り替えることを乗員に促す画面を表示することで、乗員はその画面切り替えをするか否かを自由に選択することができる。
（第４実施形態）
　次に、第４実施形態について説明する。第１実施形態～第３実施形態の少なくともいずれかと同様の事項については、説明を適宜省略する。ＥＣＵ１４の構成としては、図１３に示したものとなる。
　この第４実施形態では、画像処理部１４１３は、車両１の進行方向の周辺画像を表示装置８に表示する場合に、移動物判定部１４１５によって移動物が存在すると判定されたときには、周辺画像における移動物の位置に基づいて第１仮想投影面２０１と第２仮想投影面２０２の境界部分（境界線２０４、分離部分等）を移動させる。
　図１７は、第４実施形態の周辺監視装置１００による周辺画像の生成処理を示すフローチャートである。図１２のフローチャートと同様の処理（ステップ）については説明を適宜省略する。
　ステップＳ５の後、ステップＳ３１において、移動物判定部１４１５は、取得部１４１１によって取得された、撮像部１５からの撮像画像データ、および、測距部１６や測距部１７からの検出データの少なくともいずれかに基づいて、車両１の進行方向に移動物が存在するか否かを判定し、Ｙｅｓの場合はステップＳ３２に進み、Ｎｏの場合はステップＳ３４に進む。
　ステップＳ３２において、画像処理部１４１３は、２つの仮想投影面（第１仮想投影面２０１、第２仮想投影面２０２）の境界部分を移動させる必要があるか否かを判定し、Ｙｅｓの場合はステップＳ３３に進み、Ｎｏの場合はステップＳ６に進む。このステップＳ３２では、画像処理部１４１３は、例えば、周辺画像における移動物の面積の所定割合以上が第１仮想投影面２０１に入っていれば、当該境界部分を移動させる必要があると判定するが、これに限定されない。
　ステップＳ３３において、画像処理部１４１３は、２つの仮想投影面の境界部分を移動させる。このステップＳ３３では、画像処理部１４１３は、例えば、周辺画像における移動物の第１仮想投影面２０１に入っている面積の割合が所定未満になるように、当該境界部分を移動させる。ここで、図１８は、第４実施形態における第１仮想投影面２０１と第２仮想投影面２０２との境界部分の移動を説明するための模式図である。図１８に示すように、画像処理部１４１３は、当該境界部分を、車両１に近付くように、または、車両１から遠ざかるように移動させる。
　図１７に戻って、ステップＳ３４において、移動物判定部１４１５は、移動物が存在しなくなってから第２所定時間（例えば１分）経過したか否かを判定し、Ｙｅｓの場合はステップＳ３５に進み、Ｎｏの場合はステップＳ６に進む。
　ステップＳ３５において、画像処理部１４１３は、当該境界部分を再設定する（例えば初期設定に戻す）。ステップＳ３５の後、ステップＳ６に進む。
　このように、第４実施形態の周辺監視装置１００によれば、移動物が存在すると判定されたときに、周辺画像における移動物の位置に基づいて第１仮想投影面２０１と第２仮想投影面２０２の境界部分を移動させることで、移動物の存在を乗員により気づかせやすくすることができる。なお、画像処理部１４１３は、周辺画像を生成する場合の仮想視点を、移動物を見やすい位置に変えてもよい。
　本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
　１…車両、８…表示装置、１４…ＥＣＵ、１００…周辺監視装置、１４１…制御部、１４２…記憶部、１４１１…取得部、１４１２…表示判定部、１４１３…画像処理部、１４１４…更新判定部、１４１５…移動物判定部、１４１６…画像切替判定部、１５…撮像部、１６…測距部、１７…測距部、２２…車輪速センサ、２０１…第１仮想投影面、２０２…第２仮想投影面、２０３…仮想空間、２０４…境界線。

Claims (5)

  1. 　車両の進行方向の路面、および、前記路面から上方の領域を含む領域を撮像する撮像部から撮像画像データを取得する取得部と、
    　前記撮像画像データを記憶する記憶部と、
    　前記車両の進行方向の周辺画像を表示部に表示する場合に、
    　前記車両の床下または床下付近の路面を含む第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、
    　前記路面から上方の領域を含む第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示する画像処理部と、
    　を備える周辺監視装置。
  2. 　前記画像処理部は、
    　前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を、三次元仮想空間上で前記路面に対応する平面として設定された第１仮想投影面に投影することで表示し、
    　前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を、前記三次元仮想空間上で前記第１仮想投影面の端部またはその付近から立ち上がるように設定された第２仮想投影面に投影することで表示し、
    　前記第１仮想投影面と前記第２仮想投影面との間の境界を識別可能に表示する、請求項１に記載の周辺監視装置。
  3. 　前記取得部によって取得された、前記撮像部からの撮像画像データ、および、前記車両に設けられた測距センサからの検出データの少なくともいずれかに基づいて前記車両の進行方向に移動物が存在するか否かを判定する移動物判定部を、さらに備え、
    　前記画像処理部は、
    　前記車両の進行方向の周辺画像を表示部に表示する場合に、
    　前記移動物判定部によって前記移動物が存在すると判定されていないときには、前記第１の領域および前記第２の領域の両方について、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、
    　前記移動物判定部によって前記移動物が存在すると判定されたときには、前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替える、請求項１または請求項２に記載の周辺監視装置。
  4. 　前記取得部によって取得された、前記撮像部からの撮像画像データ、および、前記車両に設けられた測距センサからの検出データの少なくともいずれかに基づいて前記車両の進行方向に移動物が存在するか否かを判定する移動物判定部を、さらに備え、
    　前記画像処理部は、
    　前記車両の進行方向の周辺画像を表示部に表示する場合に、
    　前記移動物判定部によって前記移動物が存在すると判定されていないときには、前記第１の領域および前記第２の領域の両方について、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、
    　前記移動物判定部によって前記移動物が存在すると判定されたときには、前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替えることを乗員に促す画面を表示する、請求項１または請求項２に記載の周辺監視装置。
  5. 　前記取得部によって取得された、前記撮像部からの撮像画像データ、および、前記車両に設けられた測距センサからの検出データの少なくともいずれかに基づいて前記車両の進行方向に移動物が存在するか否かを判定する移動物判定部を、さらに備え、
    　前記画像処理部は、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記移動物判定部によって前記移動物が存在すると判定されたときには、前記周辺画像における前記移動物の位置に基づいて前記第１仮想投影面と前記第２仮想投影面の境界部分を移動させる、請求項２に記載の周辺監視装置。
PCT/JP2018/007056 2017-06-02 2018-02-26 周辺監視装置 WO2018220915A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/617,738 US11475676B2 (en) 2017-06-02 2018-02-26 Periphery monitoring device
CN201880048732.4A CN110959289B (zh) 2017-06-02 2018-02-26 周边监控装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017110336A JP7009785B2 (ja) 2017-06-02 2017-06-02 周辺監視装置
JP2017-110336 2017-06-02

Publications (1)

Publication Number Publication Date
WO2018220915A1 true WO2018220915A1 (ja) 2018-12-06

Family

ID=64455256

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/007056 WO2018220915A1 (ja) 2017-06-02 2018-02-26 周辺監視装置

Country Status (4)

Country Link
US (1) US11475676B2 (ja)
JP (1) JP7009785B2 (ja)
CN (1) CN110959289B (ja)
WO (1) WO2018220915A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
JP2022125859A (ja) * 2021-02-17 2022-08-29 株式会社デンソー 周辺画像表示装置
CN115601711B (zh) * 2022-12-13 2023-04-25 成都合能创越软件有限公司 一种基于yolov5+deepsort的渣土车抛洒滴漏检测报警方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
WO2016158984A1 (ja) * 2015-04-02 2016-10-06 アイシン精機株式会社 周辺監視装置
JP2017068826A (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
WO2011093354A1 (ja) * 2010-01-29 2011-08-04 富士通テン株式会社 画像処理装置、および画像処理方法
JP5454934B2 (ja) 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
JP5911775B2 (ja) * 2012-08-21 2016-04-27 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
US9956913B2 (en) 2013-03-28 2018-05-01 Aisin Seiki Kabushiki Kaisha Surroundings-monitoring device and computer program product
WO2017056989A1 (ja) 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置
CN106600581B (zh) * 2016-12-02 2019-09-24 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
WO2016158984A1 (ja) * 2015-04-02 2016-10-06 アイシン精機株式会社 周辺監視装置
JP2017068826A (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置

Also Published As

Publication number Publication date
JP7009785B2 (ja) 2022-01-26
CN110959289A (zh) 2020-04-03
JP2018207286A (ja) 2018-12-27
CN110959289B (zh) 2021-04-20
US11475676B2 (en) 2022-10-18
US20200193183A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
JP6015314B2 (ja) 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
JP6094266B2 (ja) 駐車支援装置、駐車支援方法およびプログラム
JP6067634B2 (ja) 駐車支援装置および経路決定方法
US10150486B2 (en) Driving assistance device and driving assistance system
JP7151293B2 (ja) 車両周辺表示装置
JP7222254B2 (ja) 周辺表示制御装置
US10377416B2 (en) Driving assistance device
US20190244324A1 (en) Display control apparatus
CN110997409B (zh) 周边监控装置
JP2019054420A (ja) 画像処理装置
JP2018036444A (ja) 表示制御装置
WO2018220915A1 (ja) 周辺監視装置
JP7283514B2 (ja) 表示制御装置
JP2019054439A (ja) 画像処理装置
JP7259914B2 (ja) 周辺監視装置
JP2014000921A (ja) 車両周辺監視装置、車両周辺監視方法およびプログラム
JP7130923B2 (ja) 表示制御装置
JP2017069846A (ja) 表示制御装置
JP6601097B2 (ja) 表示制御装置
JP6965563B2 (ja) 周辺監視装置
JP2016060237A (ja) 駐車支援装置及び駐車支援システム
JP2018186387A (ja) 表示制御装置
JP2019018616A (ja) 駐車支援用表示制御装置、駐車支援システム、方法及びプログラム
JP2017211814A (ja) 駐車支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18809145

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18809145

Country of ref document: EP

Kind code of ref document: A1