WO2018131263A1 - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
WO2018131263A1
WO2018131263A1 PCT/JP2017/039196 JP2017039196W WO2018131263A1 WO 2018131263 A1 WO2018131263 A1 WO 2018131263A1 JP 2017039196 W JP2017039196 W JP 2017039196W WO 2018131263 A1 WO2018131263 A1 WO 2018131263A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
timing
processing unit
mode
Prior art date
Application number
PCT/JP2017/039196
Other languages
English (en)
French (fr)
Inventor
哲也 丸岡
いつ子 福島
渡邊 一矢
欣司 山本
崇 平槙
久保田 尚孝
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US16/477,919 priority Critical patent/US11260794B2/en
Publication of WO2018131263A1 publication Critical patent/WO2018131263A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60DVEHICLE CONNECTIONS
    • B60D1/00Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58Auxiliary devices
    • B60D1/62Auxiliary devices involving supply lines, electric circuits, or the like
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60DVEHICLE CONNECTIONS
    • B60D1/00Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60DVEHICLE CONNECTIONS
    • B60D1/00Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B60D1/363Hitch guiding or catching elements, e.g. V-shaped plates partially surrounding a coupling member for guiding the other coupling member
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60DVEHICLE CONNECTIONS
    • B60D1/00Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/48Traction couplings; Hitches; Draw-gear; Towing devices characterised by the mounting
    • B60D1/488Traction couplings; Hitches; Draw-gear; Towing devices characterised by the mounting mounted directly to the chassis of the towing vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer

Definitions

  • Embodiments of the present invention relate to a periphery monitoring device.
  • JP 2002-359839 A Japanese Patent No. 3484143 JP 2006-001533 A
  • the connecting device provided in the vehicle and the connecting device provided in the towed vehicle are connected by retreating the vehicle toward the towed vehicle. In such a case, the driver needs to align both coupling devices while driving the vehicle.
  • One of the objects of the present invention is to provide a periphery monitoring device that facilitates alignment between connecting devices when a towed vehicle is connected to a vehicle.
  • the periphery monitoring device includes, as an example, an acquisition unit that acquires a first rear image of a vehicle having a first connecting device for connecting a towed vehicle at a first timing; At the second timing after the timing, the first identification information indicating the position of the second timing of the first coupling device is superimposed on the first rear image, and the first identification information is superimposed.
  • An image processing unit configured to display a first rear image on a display screen configured to be provided in a vehicle interior. Since the driver can confirm the real-time position of the first coupling device via the display screen, the periphery monitoring device can facilitate alignment between the coupling devices.
  • an imaging device may be provided in a vehicle as an example
  • a 1st connection device is provided in the blind spot area
  • an acquisition part is from an imaging device.
  • a first rear image is acquired.
  • the peripheral monitoring device can display the real-time position of the first coupling device on the display screen even when the first coupling device is provided in the blind spot area of the imaging device. The real-time position of the first coupling device can be confirmed via the screen.
  • the image processing unit is a second that extends from the tip of the second connecting device that is connected to the first connecting device provided in the towed vehicle to the ground. Are further superimposed on the first rear image. Therefore, the driver can intuitively recognize the height of the tip of the second coupling device by visually recognizing the display screen.
  • the acquisition unit acquires the second rear image at the third timing
  • the image processing unit displays the acquired second rear image on the display screen.
  • the third timing is a timing during the operation in the first mode
  • the second timing is a timing during the operation in the second mode different from the first mode. is there. Therefore, when the periphery monitoring device is operating in the first mode, the driver can check the state in the imaging region of the imaging device with a real-time captured image.
  • the acquisition unit closes the operation input for mode switching, the operation input for switching the range of the transmission mechanism of the vehicle from the reverse range to another range, or the tailgate.
  • the operation input for switching from the state to the open state or the detection information from the distance measuring device for detecting the distance between the vehicle provided on the vehicle and the towed vehicle is acquired, and the periphery monitoring device is one of the acquired operations. Transition from the first mode to the second mode based on the input or detection information. Therefore, the periphery monitoring apparatus can perform transition between modes triggered by various events.
  • FIG. 1 is a side view illustrating a vehicle on which the periphery monitoring device of the embodiment is mounted.
  • FIG. 2 is a perspective view of a vehicle equipped with the periphery monitoring device of the embodiment as viewed from the left rear.
  • FIG. 3 is a perspective view of a vehicle equipped with the periphery monitoring device of the embodiment as viewed from the left rear.
  • FIG. 4 is a diagram illustrating an example of a vehicle interior of a vehicle on which the periphery monitoring device according to the embodiment is mounted.
  • FIG. 5 is a diagram for explaining an example of a trailer coupling method.
  • FIG. 6 is a diagram for explaining an example of a trailer coupling method.
  • FIG. 7 is a diagram for explaining an example of a trailer coupling method.
  • FIG. 5 is a diagram for explaining an example of a trailer coupling method.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the control system of the embodiment.
  • FIG. 9 is a diagram illustrating a transition of display contents on the display screen according to the embodiment.
  • FIG. 10 is a block diagram illustrating a functional configuration of the ECU according to the embodiment.
  • FIG. 11 is a diagram illustrating an example of an arrangement of an embodiment of a vehicle model and a virtual viewpoint.
  • FIG. 12 is a flowchart for explaining the operation of the ECU as the periphery monitoring device of the embodiment.
  • FIG. 13 is a diagram illustrating another display example of the display screen according to the embodiment.
  • FIG. 14 is a diagram illustrating still another display example of the display screen according to the embodiment.
  • the vehicle 1 of the embodiment may be, for example, an automobile using an internal combustion engine (not shown) as a drive source, that is, an internal combustion engine automobile, or an automobile using an electric motor (not shown) as a drive source, that is, an electric vehicle or a fuel cell vehicle. Or a hybrid vehicle using both of them as drive sources, or a vehicle equipped with other drive sources. Further, the vehicle 1 can be mounted with various transmissions, and various devices necessary for driving the internal combustion engine and the electric motor, such as systems and components, can be mounted. In addition, the system, number, layout, and the like of devices related to driving of the wheels 3 in the vehicle 1 can be variously set.
  • FIG. 1 is a side view showing a vehicle 1 equipped with the periphery monitoring device of the embodiment.
  • the left direction on the paper is the front with respect to the vehicle 1
  • the right direction on the paper is the rear with respect to the vehicle 1.
  • 2 and 3 are perspective views of the vehicle 1 equipped with the periphery monitoring device of the embodiment as viewed from the left rear. 2 and 3, the upper left direction on the paper is the front with reference to the vehicle 1, the lower left direction on the paper is the left with reference to the vehicle 1, and the lower right on the page is the rear with reference to the vehicle 1.
  • the upper right direction on the paper is the right side with respect to the vehicle 1.
  • FIG. 4 is a diagram illustrating an example of a vehicle interior of the vehicle 1 on which the periphery monitoring device of the embodiment is mounted, and is a view of the vehicle interior viewed from the rear of the vehicle 1.
  • the vehicle 1 equipped with the periphery monitoring device of the embodiment has two left and right front wheels 3F and two right and left rear wheels 3R.
  • An open type loading platform 2 is provided on the rear side of the vehicle 1.
  • Such a type of vehicle 1 is called a pickup truck.
  • the back panel (tailgate) 2a of the loading platform 2 is attached to the rear end of the bottom 2b of the loading platform 2 so as to be freely opened and closed.
  • 1 and 2 show the vehicle 1 when the back panel 2a is in the closed state
  • FIG. 3 shows the vehicle 1 when the back panel 2a is in the open state.
  • a camera 4 is provided in the center of the back panel 2a.
  • the camera 4 is an image pickup device including an image pickup device such as a CCD (charge coupled device) or a CIS (CMOS image sensor).
  • the camera 4 outputs an image captured by the image sensor to an ECU (Electronic Control Unit) 12 described later at a predetermined frame rate.
  • ECU Electronic Control Unit
  • the orientation of the camera 4, the angle of view of the camera 4, and the installation position of the camera 4 are determined so that the rear area of the surrounding environment of the vehicle 1 can be imaged. Thereby, the camera 4 can capture a rear image, which is an image in which a region behind the vehicle 1 is reflected.
  • the installation position of the camera 4 is not limited to the center of the back panel 2a. Further, the number of cameras 4 is not limited to one.
  • the ECU 12 may generate the rear image by combining the images from the plurality of cameras 4.
  • the rear bumper of the vehicle 1 is provided with a sonar sensor 5.
  • the sonar sensor 5 is a distance measuring device that measures the distance to an object behind the vehicle 1.
  • the distance measuring device other types of devices such as a laser range scanner and a stereo camera can be employed instead of the sonar sensor 5.
  • the sonar sensor 5 outputs the detected distance as detection information.
  • the installation position of the sonar sensor 5 is not limited to the above.
  • the number of sonar sensors 5 installed is not limited to one.
  • a monitor device 10 having a display screen 8 is provided in the vehicle 1.
  • the display screen 8 is configured by, for example, an LCD (liquid crystal display) or an OELD (organic electroluminescent display).
  • the display screen 8 is covered with a transparent operation input unit 9.
  • the operation input unit 9 is a touch panel, for example.
  • the driver can visually recognize an image displayed on the display screen 8 via the operation input unit 9. Further, the driver can execute the operation input by operating the operation input unit 9 by touching, pushing, or moving the operation input unit 9 with a finger or the like at a position corresponding to the image displayed on the display screen 8.
  • the monitor device 10 is provided, for example, in the center of the dashboard in the vehicle width direction, that is, the left-right direction.
  • the monitor device 10 may include an operation input unit other than the touch panel.
  • the monitor device 10 may be provided with a switch, a dial, a joystick, or a push button as another operation input unit.
  • the monitor device 10 can be used also as, for example, a navigation system or an audio system.
  • the center console is provided with a shift lever 11 for operating the speed change mechanism.
  • the driver operates a shift lever 11 to select a desired range from a plurality of ranges including a parking range, a reverse range, a neutral range, and a drive range. Range can be selected.
  • the vehicle 1 can be moved backward by operating an accelerator pedal (not shown).
  • hitch balls 6 are attached to the bottom 2 b of the loading platform 2.
  • the hitch ball 6 is a connecting device on the vehicle 1 side for connecting the towed vehicle.
  • the towed vehicle is referred to as a trailer.
  • FIGS. 5 to 7 are diagrams for explaining an example of a method for connecting the trailer 1000.
  • the trailer 1000 to be connected is a gooseneck type camper.
  • a coupler 1001 which is a connecting device on the trailer 1000 side, is attached to the gooseneck portion of the trailer 1000.
  • the coupler 1001 has a columnar shape extending from the gooseneck portion toward the ground.
  • the tip of the coupler 1001 has a shape that can be fitted to the hitch ball 6.
  • the coupler 1001 is attached to the gooseneck portion so as to be extendable and contractible in the ground direction.
  • the driver first moves the vehicle 1 so that the front of the trailer 1000 is located directly behind the vehicle 1.
  • the positional relationship between the vehicle 1 and the trailer 1000 is as illustrated in FIG. From this state, the driver moves the vehicle 1 backward toward the trailer 1000.
  • the tip of the coupler 1001 is at a position higher than the hitch ball 6 but at a position lower than the uppermost portion of the back panel 2a in the closed state. Therefore, when the vehicle 1 is moved backward to a predetermined position, the back panel 2a collides with the coupler 1001. Therefore, when the driver approaches the vehicle 1 and the trailer 1000 to a certain distance, the driver turns the back panel 2a from the closed state to the open state as illustrated in FIG.
  • the driver After opening the back panel 2a, the driver moves the vehicle 1 back toward the trailer 1000 again. After the loading platform 2 enters directly below the coupler 1001, the back panel 2a can be closed. The driver continues to move the vehicle 1 backward and aligns the hitch ball 6 and the coupler 1001. In this case, the alignment means that the driver stops the vehicle 1 at a position where the hitch ball 6 is located directly below the tip of the coupler 1001.
  • FIG. 7 shows a state after the alignment is completed. After the alignment is completed, the driver extends the coupler 1001 downward to fit the tip of the coupler 1001 to the hitch ball 6 and then connects the two.
  • the hitch ball 6 is an example of a connecting device for connecting the trailer 1000.
  • a connecting device of a type called a fifth wheel may be employed.
  • a king pin is adopted as the connecting device on the trailer 1000 side.
  • the vehicle 1 is provided with a control system that controls the vehicle 1.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the control system of the embodiment.
  • the control system includes an ECU 12, a shift sensor 13, a wheel speed sensor 14, and an in-vehicle network 15 in addition to the camera 4, the sonar sensor 5, and the monitor device 10.
  • the in-vehicle network 15 is configured as, for example, a CAN (controller area network).
  • ECU 12, sonar sensor 5, shift sensor 13, and wheel speed sensor 14 are connected to in-vehicle network 15.
  • the camera 4 is connected to the ECU 12.
  • the monitor device 10 is connected to the ECU 12 and the in-vehicle network 15.
  • the control system may include an accelerator sensor, a brake system, a steering system, or the like.
  • the shift sensor 13 detects the range selected by the driver by detecting the position of the shift lever 11 operated by the driver.
  • the wheel speed sensor 14 is a sensor that detects the number of rotations of the wheel 3 per unit time, and outputs the number of wheel speed pulses indicating the number of rotations per unit time as detection information.
  • the wheel speed sensor 14 is provided in each of the four wheels 3, for example.
  • Information detected by the sonar sensor 5, the shift sensor 13, and the wheel speed sensor 14 is sent to the ECU 12 via the in-vehicle network 15.
  • the ECU 12 executes control of the engine unit, the steering system, the brake system, etc. according to each detection information.
  • the ECU 12 can receive an image output from the camera 4. Further, the ECU 12 can receive input information input to the operation input unit 9 via the in-vehicle network 15.
  • the ECU 12 includes a CPU (Central Processing Unit) 12a, an SSD (Solid State Drive) 12b, a ROM (Read Only Memory) 12c, and a RAM (Random Access Memory) 12d.
  • the CPU 12a, ROM 12c, and RAM 12d may be integrated in the same package.
  • the CPU 12a is a processor that can execute an arbitrary program
  • the SSD 12b, the ROM 12c, and the RAM 12d are memories that can hold an arbitrary program and arbitrary data. That is, the ECU 12 has a hardware configuration equivalent to that of a computer.
  • the ECU12 is an example of the periphery monitoring apparatus of embodiment.
  • the ROM 12c stores the program 100 and the vehicle model 101 in advance.
  • the CPU 12a reads out the program 100 stored in advance in the ROM 12c and executes the program 100 to realize a function as a periphery monitoring device.
  • the RAM 12d temporarily stores various types of data used in computations by the CPU 12a.
  • the SSD 12b is a rewritable nonvolatile storage unit, and can maintain the data stored by the CPU 12a even when the power of the ECU 12 is turned off.
  • the program 100 or the vehicle model 101 may be stored in advance in the SSD 12b.
  • ECU12 as a periphery monitoring apparatus displays the image which shows surrounding environment on the display screen 8 using the back image imaged with the camera 4.
  • the ECU 12 displays each rear image output from the camera 4 at a predetermined frame rate and immediately displays it on the display screen 8 after acquisition.
  • This display method is referred to as a live mode.
  • the trailer 1000 is in the imaging area of the camera 4 provided on the back panel 2a.
  • the ECU 12 operates in the live mode, so that the driver can grasp the real-time positional relationship between the vehicle 1 and the trailer 1000 via the display screen 8.
  • “immediately” means that the driver does not feel a time lag as quickly as possible. Therefore, in the live mode, if the processing is sufficiently fast, arbitrary image processing can be performed on the rear image after the rear image is acquired and before it is displayed on the display screen 8.
  • the driver needs to confirm the positional relationship between the coupler 1001 and the hitch ball 6 for alignment.
  • the imaging area of the camera 4 is at least behind the back panel 2 a
  • the hitch ball 6 is located in the blind spot area of the camera 4. Therefore, the ECU 12 cannot display the hitch ball 6 in the live mode.
  • the coupler 1001 also enters the blind spot area of the camera 4, so the ECU 12 cannot display the coupler 1001 in the live mode. Therefore, in the live mode, it is difficult for the driver to perform alignment based on the content displayed on the display screen 8.
  • the ECU 12 is configured to be able to operate in the past image mode in addition to the live mode.
  • the past image mode is a mode in which a rear image captured in the past by the camera 4 is displayed.
  • the ECU 12 superimposes identification information indicating the position of the vehicle 1 on the rear image captured in the past so that the driver can confirm the real-time position of the vehicle 1 in the surrounding environment.
  • a rear image on which information is superimposed is displayed.
  • FIG. 9 is a diagram showing the transition of the display content of the display screen 8 of the embodiment.
  • the image 80a is display content displayed in the state shown in FIG. 5, the image 80b is display content displayed in the state shown in FIG. 6, and the image 80c is displayed in the state shown in FIG. Display content.
  • the image 80a is a display example in the live mode, and the images 80b and 80c are display examples in the past image mode.
  • the image 80a includes a trailer image 301.
  • the trailer image 301 includes a coupler image 302 that is an image of the coupler 1001.
  • the trailer image 301 is included in the rear image and is a real image. That is, the trailer image 301 shows only the part that is in the imaging area of the camera 4.
  • the driver can determine the positional relationship between the trailer 1000 and the vehicle 1 by viewing the image 80 a displayed on the display screen 8.
  • a part of the vehicle 1 for example, a rear bumper
  • an image of the rear bumper is included in the image 80a.
  • a guide line indicating the distance from the rear end of the vehicle 1 may be superimposed on the image 80a and displayed.
  • three guide lines indicating positions of 0.5 m, 1 m, and 1.5 m from the rear end of the vehicle 1 may be superimposed on the image 80a and displayed.
  • the trailer image 301 including the coupler image 302 is shown in the image 80b.
  • the trailer image 301 including the coupler image 302 is a real image.
  • a rear image (hereinafter referred to as a base image) captured in the past that is the source of the image 80b is a rear image captured when the back panel 2a is in a closed state. For example, the back panel 2a is in an open state. It is the back image imaged just before being made.
  • a cargo bed model image 202 which is a part of the vehicle model image 201 is further displayed.
  • the vehicle model image 201 is an example of identification information indicating the position of the vehicle 1.
  • the vehicle model image 201 includes a loading platform model image 202 having a shape simulating the contour of the loading platform 2 (more specifically, the bottom 2b of the loading platform 2), a rear wheel model image 203 having a shape simulating the contour of the rear wheel 3R, A hitch ball model image 204.
  • the hitchball model image 204 is identification information for indicating the real-time position of the hitchball 6, and has a shape simulating the outline of the installation position of the hitchball 6 as an example of the identification information.
  • the ECU 12 displays the display position of the vehicle model image 201 so that the position of the vehicle 1 after movement in the imaging region of the base image corresponds to the display position of the vehicle model image 201 in the base image. Are sequentially changed.
  • the image 80b only a part of the loading platform model image 202 is displayed at the lower end of the frame. This means that at the display timing of the image 80b, the vehicle 1 and the trailer 1000 are separated so that only a part of the rear end of the bottom 2b of the loading platform 2 of the vehicle 1 enters the imaging region of the base image. Show.
  • the display mode of the vehicle model image 201 is not limited to a specific mode.
  • the vehicle model image 201 may be displayed in a translucent manner, or only a line indicating an outline may be displayed.
  • the trailer image 301 including the coupler image 302 is shown in the image 80c.
  • the base image of the image 80b and the base image of the image 80c are common, and the trailer image 301 including the coupler image 302 is displayed on the image 80c in the same manner as the image 80b.
  • the vehicle model image 201 is superimposed on the image 80c.
  • the entire loading platform model image 202 is displayed. This indicates that at the display timing of the image 80c, the vehicle 1 is approaching the trailer 1000 to the extent that the entire bottom 2b of the loading platform 2 of the vehicle 1 enters the imaging region of the base image.
  • hitchball model image 204 included in vehicle model image 201 is displayed in image 80c.
  • the hitchball model image 204 shows the real-time position of the hitchball 6 in the imaging region of the base image. Since the ECU 12 superimposes the hitchball model image 204 indicating the real-time position of the hitchball 6 on the image captured in the past and displays it on the display screen 8, the driver is provided in the blind spot area of the camera 4. The real-time position of the hitch ball 6 can be confirmed via the display screen 8.
  • FIG. 10 is a block diagram showing a functional configuration of the ECU 12 as the periphery monitoring device of the embodiment.
  • the CPU 12a functions as the acquisition unit 120 and the image processing unit 121 by executing the program 100 stored in advance in the ROM 12c.
  • the image processing unit 121 includes a processing unit 123 and an output unit 124.
  • the ECU 12 also includes a storage unit 122 that stores the vehicle model 101 and the base image 110.
  • the storage unit 122 is realized by, for example, the SSD 12b, the ROM 12c, the RAM 12d, or a combination thereof.
  • the vehicle model 101 is three-dimensional information indicating the shape of the vehicle 1 and information for generating the vehicle model image 201.
  • the vehicle model 101 is created in advance. Details of the vehicle model 101 will be described later.
  • the base image 110 is a rear image used in the past image mode.
  • the acquisition unit 120 acquires the rear image output from the camera 4 and the detection information output from the wheel speed sensor 14.
  • the image processing unit 121 controls display of the display screen 8 based on each information acquired by the acquisition unit 120.
  • the output unit 124 outputs the rear image acquired from the camera 4 to the display screen 8 immediately after the timing of acquiring the rear image.
  • the image processing unit 121 sets the rear image acquired at the past timing as the base image 110, and the processing unit 123 adds the vehicle 1 at the current timing to the base image 110.
  • a vehicle model image 201 indicating the position of is superimposed.
  • the output unit 124 outputs an image generated by superimposing the vehicle model image 201 on the base image 110 to the display screen 8.
  • the image processing unit 121 stores the rear image acquired at that time in the storage unit 122 as the base image 110 at the timing of transition from the live mode to the past image mode.
  • the generation method of the vehicle model image 201 is not limited to a specific method. An example of a method for generating the vehicle model image 201 will be described below.
  • the processing unit 123 sets a three-dimensional virtual space and arranges the vehicle model 101 and the virtual viewpoint 402 in the virtual space 400 when the base image 110 is acquired.
  • FIG. 11 is a diagram illustrating an example of the arrangement of the vehicle model 101 and the virtual viewpoint 402 according to the embodiment.
  • the vehicle model 101 is arranged on a plane 401 corresponding to the ground.
  • the vehicle model 101 imitates the outline of the installation position of the hitch ball 6 and the rear wheel model 103 having the shape imitating the outline of the rear wheel 3R, the load wheel model 102 having a shape imitating the outline of the bottom 2b of the cargo bed 2.
  • a hitchball model 104 having the above shape.
  • the positional relationship between the loading platform model 102, the rear wheel model 103, and the hitch ball model 104 corresponds to the positional relationship between the bottom 2b of the loading platform 2, the rear wheel 3R, and the hitch ball 6 in the actual vehicle 1.
  • the position of the virtual viewpoint 402 with respect to the vehicle model 101 corresponds to the position of the camera 4 with respect to the vehicle 1.
  • the orientation of the virtual viewpoint 402 with respect to the vehicle model 101 is equal to the orientation of the camera 4 with respect to the vehicle model 101.
  • the angle of view of the virtual viewpoint 402 is equal to the angle of view of the camera 4. Therefore, the view from the virtual viewpoint 402 corresponds to the view from the camera 4.
  • the processing unit 123 calculates the movement amount of the vehicle 1 based on the timing at which the base image 110 is captured after the vehicle 1 moves.
  • the processing unit 123 calculates the amount of movement of the vehicle 1 by integrating the number of wheel speed pulses for each wheel 3.
  • the movement amount is a vector amount including direction information.
  • the processing unit 123 moves the vehicle model 101 from the initial position by an amount corresponding to the calculated movement amount while fixing the position of the virtual viewpoint 402 in the virtual space 400. Then, the processing unit 123 generates a vehicle model image 201 by viewpoint conversion using the virtual viewpoint 402.
  • the viewpoint conversion is to obtain an image showing the field of view from the virtual viewpoint 402 by perspective projection with the virtual viewpoint 402 as the viewpoint.
  • the image showing the field of view from the virtual viewpoint 402 has a frame. Since the field of view from the virtual viewpoint 402 corresponds to the field of view of the camera 4 when the base image 110 is captured, the frame of the image indicating the field of view from the virtual viewpoint 402 corresponds to the frame of the base image 110.
  • the vehicle model 101 exists in the field of view from the virtual viewpoint 402
  • the vehicle model image 201 is included in the frame.
  • the processing unit 123 aligns the frame of the two-dimensional plane on which the vehicle model 101 is projected and the frame of the base image 110 when the vehicle model image 201 is superimposed on the base image 110.
  • the vehicle model image 201 is superimposed on a position indicating the real-time position of the vehicle 1 in the base image 110.
  • the hitchball model image 204 is superimposed on a position indicating the real-time position of the hitchball 6 in the base image 110.
  • the method for calculating the movement amount is not limited to the method using the number of wheel speed pulses.
  • a method of calculating the movement amount based on the image output from the camera 4 can be employed. Specifically, it is possible to calculate the optical flow using two images with different captured timings, and to calculate the movement amount of the vehicle 1 between the timings when the images are captured based on the calculated optical flows. It is. By such a method, the processing unit 123 may calculate the movement amount of the vehicle 1 from the sequentially acquired rear images.
  • FIG. 12 is a flowchart for explaining the operation of the ECU 12 as the periphery monitoring device of the embodiment.
  • the image processing unit 121 determines whether or not the display start timing has been reached (S101).
  • the method for determining the display start timing is not limited to a specific method.
  • the shift sensor 13 detects that the reverse range has been selected and notifies the ECU 12.
  • the acquisition unit 120 receives the notification, the image processing unit 121 determines that the display start timing has been reached.
  • the image processing unit 121 displays a button that prompts input of display start on the display screen 8. And if a driver
  • the acquisition unit 120 receives the notification as an operation input for starting display.
  • the image processing unit 121 determines that the display start timing has been reached.
  • the image processing unit 121 determines that the display start timing has not been reached (No in S101), the image processing unit 121 executes the process of S101 again.
  • the acquisition unit 120 acquires the rear image output from the camera 4 (S102). Then, the output unit 124 immediately outputs the rear image acquired in S102 to the display screen 8 (S103).
  • the image processing unit 121 determines whether or not the mode switching timing has been reached (S104). If the image processing unit 121 determines that the mode switching timing has not been reached (No in S104), it executes the processing of S102 to S103 again, and then executes the processing of S104 again.
  • the processing of S102 and S103 corresponds to the operation in the live mode.
  • the loop processing from S102 to S104, No is repeatedly executed in a short cycle until the control exits this loop processing.
  • the operation in the live mode is continued until the control exits this loop process.
  • the method for determining the timing of mode switching is not limited to a specific method.
  • the acquisition unit 120 acquires a mode switching operation input by the driver, and the image processing unit 121 determines the mode switching timing based on the mode switching operation input.
  • the image processing unit 121 displays a button that prompts input of mode switching on the display screen 8.
  • the operation input unit 9 detects that the button is touched and notifies the ECU 12 of it.
  • the acquisition unit 120 receives the notification as a mode switching operation input.
  • the image processing unit 121 determines that the mode switching timing has been reached.
  • the acquisition unit 120 acquires an operation input for switching the range of the speed change mechanism by the driver, and the image processing unit 121 switches the mode based on an operation input for switching the range of the speed change mechanism from the reverse range to another range.
  • Determine the timing For example, the driver starts the backward movement of the vehicle 1 from the state shown in FIG. 5, then stops the vehicle 1 and gets off the vehicle 1 to manually change the back panel 2a from the closed state to the open state.
  • the shift sensor 13 detects that the parking range has been selected and notifies the ECU 12.
  • the acquisition unit 120 receives the notification as an operation input for switching the range of the speed change mechanism from the reverse range to another range.
  • the image processing unit 121 determines that the mode switching timing has been reached. Note that the range after switching is not necessarily the parking range.
  • the acquisition unit 120 acquires an operation input for opening the back panel 2a, and the image processing unit 121 determines a mode switching timing based on the operation input for opening the back panel 2a.
  • a sensor is provided on the hinge of the back panel 2a. When the back panel 2a changes from the closed state to the open state, the sensor detects that fact and notifies the ECU 12.
  • the acquisition unit 120 receives the notification as an operation input for opening the back panel 2a.
  • the image processing unit 121 determines that the mode switching timing has been reached.
  • the operation input detection method for opening the back panel 2a is not limited to the detection method using a sensor provided on the hinge of the back panel 2a.
  • the back panel 2a may be configured to be openable and closable by an operation of an operation unit provided inside or outside the vehicle 1.
  • the acquisition unit 120 can acquire an operation input for opening the back panel 2a via the operation unit.
  • the acquisition unit 120 acquires detection information from the sonar sensor 5, and the image processing unit 121 determines the mode switching timing based on the detection information from the sonar sensor 5. Specifically, for example, the image processing unit 121 sequentially acquires detection information from the sonar sensor 5. Each detection information indicates a real-time distance from the vehicle 1 to the trailer 1000. The image processing unit 121 compares the real-time distance from the vehicle 1 to the trailer 1000 with a threshold value, and determines that the mode switching timing has been reached when the distance falls below the threshold value. A value larger than the shortest distance at which the coupler 1001 does not collide with the back panel 2a and the coupler 1001 does not interfere with the opening / closing operation of the back panel 2a is used as a threshold value for determination. The threshold value is set in advance, for example.
  • the image processing unit 121 determines that the mode switching timing has been reached (S104, Yes)
  • the ECU 12 starts the operation in the past image mode.
  • the acquisition unit 120 acquires a rear image captured by the camera 4 (S105). Then, the image processing unit 121 stores the rear image acquired in S105 as the base image 110 in the storage unit 122 (S106).
  • the processing unit 123 places the vehicle model 101 and the virtual viewpoint 402 in the virtual space 400 (S107). For example, as described with reference to FIG. 11, in S ⁇ b> 107, the processing unit 123 places the vehicle model 101 in the virtual space 400, and the processing unit 123 places the virtual viewpoint 402 at a position corresponding to the installation position of the camera 4. Deploy.
  • the processing unit 123 generates the vehicle model image 201 by perspective projection from the virtual viewpoint 402 (S108).
  • the output unit 124 reads the base image 110 from the storage unit 122, superimposes the vehicle model image 201 on the read base image 110, and displays the base image 110 on which the vehicle model image 201 is superimposed on the display screen 8 (S109). ).
  • the image processing unit 121 determines whether or not the display end timing has been reached (S110).
  • the method for determining the display end timing is not limited to a specific method.
  • the image processing unit 121 may determine the display end timing based on the operation input input to the operation input unit 9, or based on the operation input for switching the range of the transmission mechanism.
  • the display end timing may be determined.
  • the acquisition unit 120 acquires the number of wheel speed pulses (S111). And the process part 123 calculates the movement amount of the vehicle 1 based on a wheel speed pulse number (S112). The amount of movement is obtained by integrating the number of wheel speed pulses.
  • the processing from S108 to S110 through S113 to S113 constitutes a loop processing. That is, the process of S112 is repeatedly executed until the control exits this loop process.
  • the processing unit 123 calculates the movement amount of the vehicle 1 from the timing at which S112 was executed last time in S112.
  • the processing unit 123 calculates the movement amount of the vehicle 1 after the base image is acquired in S112.
  • the processing unit 123 changes the position of the vehicle model 101 on the virtual space 400 according to the movement amount (S113). For example, when the vehicle 1 moves backward by a certain movement amount, the processing unit 123 moves the vehicle model 101 backward by a corresponding amount in the virtual space 400.
  • the loop processing from S108 through S110, No to S113 is repeatedly executed in a short cycle.
  • the image processing unit 121 can display the same base image 110 and move the hitchball model image 204 on the base image 110 so as to correspond to the movement of the hitchball 6 in real time. it can. That is, the position of the hitch ball model image 204 on the base image 110 always indicates the real time position of the hitch ball 6.
  • the periphery monitoring device adds the real-time (second timing) position after the first timing of the hitch ball 6 to the rear image acquired in the past (first timing).
  • a hitchball model image 204 that is identification information to be displayed is superimposed, and a rear image on which the hitchball model image 204 is superimposed is displayed on the display screen 8.
  • the periphery monitoring device of the embodiment can facilitate the alignment between the connecting devices.
  • the hitch ball 6 is provided on the bottom 2 b of the loading platform 2 and the hitch ball 6 is located in the blind spot area of the camera 4.
  • the position where the hitch ball 6 is provided may not be the bottom 2b of the loading platform 2. Further, even when the hitch ball 6 is installed in the imaging area of the camera 4, the technique of the embodiment can be applied.
  • a hitch ball 6 is provided in the vicinity of the rear bumper, and a V nose type trailer is connected via the hitch ball 6.
  • the hitch ball 6 can enter the imaging area of the camera 4 provided on the back panel 2a.
  • the periphery monitoring device uses a rear image captured at a past timing when a sufficient amount of light in the imaging area is secured as the base image 110, and displays the hitchball model image 204 superimposed on the base image 110. It becomes possible to display the real-time position of the hitch ball 6 in an easy-to-understand manner.
  • the periphery monitoring device may further superimpose identification information extending from the tip of the coupler 1001 to the ground on the base image 110.
  • FIG. 13 is a diagram illustrating another display example of the display screen 8 according to the embodiment.
  • An image 80d shows a display example in the past image mode.
  • the trailer image 301 including the coupler image 302 is shown as in the image 80b.
  • the trailer image 301 including the coupler image 302 is included in the base image and is a real image.
  • An object image 205 simulating a cylinder extending from a position indicating the tip of the coupler image 302 to a position indicating the ground immediately below the tip of the coupler 1001 is superimposed on the image 80d.
  • the driver can visually recognize the height information of the tip of the coupler 1001 by visually recognizing the object image 205 via the display screen 8.
  • the display method of the object image 205 is not limited to a specific method.
  • a measurement device capable of measuring three-dimensional data of the surrounding environment behind is provided in the vehicle 1, and the acquisition unit 120 acquires a measurement result from the measurement device.
  • the measuring device is, for example, a stereo camera or a laser range scanner.
  • the processing unit 123 calculates the distance and direction from the vehicle 1 to the coupler 1001 and the height of the tip of the coupler 1001 based on the acquired measurement result. Then, the processing unit 123 places a cylindrical object having a length corresponding to the height of the tip of the coupler 1001 at a corresponding position in the virtual space 400. And the process part 123 produces
  • the method for identifying the coupler 1001 from the three-dimensional data is not limited to a specific method.
  • the image processing unit 121 displays the base image 110 on the display screen 8, and the driver touches the operation input unit 9 to instruct a portion of the base image 110 where the coupler 1001 is shown.
  • the processing unit 123 corresponds to the coupler 1001 in the three-dimensional data by comparing the touched position with the three-dimensional data obtained from the measurement device at substantially the same timing as when the base image 110 was captured. Specify the part to be.
  • the processing unit 123 stores an image of the coupler 1001 in the storage unit 122 or the like in advance, and a portion of the base image 110 in which the coupler 1001 is reflected by pattern matching using the image of the coupler 1001.
  • the processing unit 123 compares the specified portion in the base image 110 with the real-time three-dimensional data obtained from the measurement device at substantially the same timing as when the base image 110 was captured. A portion corresponding to the coupler 1001 is specified in the dimension data.
  • the periphery monitoring device can generate the object image 205 by various methods.
  • the display mode of the identification information extending from the tip of the coupler 1001 to the ground is not limited to the object image 205 imitating the shape of a cylinder.
  • the identification information extending from the tip of the coupler 1001 to the ground may have a linear shape.
  • the periphery monitoring device can operate in the live mode in addition to the past image mode.
  • the periphery monitoring device displays the acquired rear image on the display screen 8 immediately after the acquisition timing.
  • the driver can check the state in the imaging region of the camera 4 with a real-time captured image.
  • the periphery monitoring device is an operation input for mode switching, an operation input for switching the range of the speed change mechanism from the reverse range to another range, an operation input for switching the back panel 2a from the closed state to the open state, or a distance measuring device. Transition from the live mode to the past image mode based on the detection information from the sonar sensor 5. As described above, the periphery monitoring device can perform transition between modes using various events as triggers.
  • the rear image acquired at the time of mode switching is set as the base image 110.
  • the method for selecting the base image 110 is not limited to this.
  • the image processing unit 121 accumulates sequentially acquired rear images in, for example, the storage unit 122 in chronological order. Then, the image processing unit 121 selects the last acquired rear image including the coupler image 302 from the plurality of rear images stored in the storage unit 122. Then, the image processing unit 121 sets the selected rear image as the base image 110. Whether or not the coupler image 302 is included in the rear image can be determined by pattern matching or the like, for example.
  • the image processing unit 121 determines whether or not the coupler image 302 is included in the sequentially acquired rear image every time the rear image is acquired, and the determination result indicates that the coupler image 302 is included in the rear image.
  • the live mode may be automatically changed to the past image mode.
  • the image processing unit 121 may set, as the base image 110, a rear image acquired at a timing that is back by a predetermined time from the mode switching timing.
  • the vehicle model 101 has been described as including the loading platform model 102 and the rear wheel model 103 in addition to the hitch ball model 104.
  • the vehicle model 101 only needs to include the hitch ball model 104.
  • the loading platform model 102 can be omitted from the vehicle model 101.
  • the rear wheel model 103 can be omitted from the vehicle model 101.
  • a three-dimensional model that realistically shows the shape of the vehicle 1 can be employed.
  • the expression method of the three-dimensional shape of the vehicle model 101 is not limited to a specific method.
  • the three-dimensional shape of the vehicle model 101 can be represented by a polygon model, a wire frame model, or a solid model.
  • the periphery monitoring device may be configured to be able to transition from the past image mode to the live mode. After the loading platform 2 enters directly below the coupler 1001, the back panel 2a can be closed. For example, the driver may switch from the past image mode to the live mode after the loading platform 2 enters directly below the coupler 1001.
  • the peripheral monitoring apparatus stores in advance a trailer image 301 at the time of completion of alignment described below, and after returning to the live mode from the past image mode, the trailer image 301 at the time of completion of alignment is superimposed on the image in the live mode. May be displayed.
  • the trailer image 301 at the time of completion of alignment is, for example, captured and stored when a connecting operation has been performed in the past.
  • the perimeter monitoring device performs various image processing on the trailer image 301 at the time of completion of alignment before superimposition so as not to prevent the driver from visually recognizing the actual image.
  • the periphery monitoring device performs contour extraction on the trailer image 301 at the time of completion of alignment and displays the extracted contour.
  • FIG. 14 is a diagram illustrating still another display example of the display screen 8 according to the embodiment.
  • the contour 80 of the trailer image 301 is indicated by a dotted line in the image 80e.
  • the driver can perform alignment by driving the vehicle 1 so that the real-time trailer image 301 and the contour 206 coincide with each other.
  • the periphery monitoring device may change the display mode of the vehicle model image 201 according to the distance between the hitch ball 6 and the coupler 1001. For example, when the distance between the hitch ball 6 and the coupler 1001 is larger than a preset threshold value, the surroundings monitoring device displays the hitch ball model image 204 in blue and displays the hitch ball 6 and the coupler 1001. Is smaller than the threshold value, the hitch ball model image 204 is displayed in red.
  • the method for changing the display mode is not limited to this.
  • the periphery monitoring device can change from non-flashing display to flashing display or vice versa when the distance becomes smaller than the threshold value.
  • the periphery monitoring device displays the platform model image 202, the rear wheel model image 203, and the hitch ball model image 204, and the distance is greater than the threshold value.
  • the hitch ball model image 204 of the vehicle model image 201 is displayed.
  • the periphery monitoring device calculates a route to a position where the alignment of the hitch ball 6 and the coupler 1001 is completed at an arbitrary timing, and controls the steering angle so that the vehicle 1 moves along the calculated route. May be.
  • the driver can perform alignment only by operating the accelerator pedal and the brake pedal.
  • the periphery monitoring device may be configured to automatically perform acceleration / deceleration so that the vehicle 1 moves along the calculated route.
  • the acquisition unit 120, the processing unit 123, and the output unit 124 are realized by the CPU 12a executing the program 100. Part or all of the acquisition unit 120, the processing unit 123, and the output unit 124 may be realized by a hardware circuit.
  • the program 100 is a file in a format that can be installed in a computer or executable, and is read by a computer such as a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), or flash memory. It can be provided by being recorded on a possible recording medium.
  • a computer such as a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), or flash memory. It can be provided by being recorded on a possible recording medium.
  • the program 100 may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network.
  • the program 100 can be provided or distributed via a network such as the Internet.
  • program 100 can be provided by being incorporated in advance in the ROM 12c or the like.
  • the vehicle model 101 can be provided by being recorded on a computer-readable recording medium such as a CD-ROM, FD, CD-R, DVD, or flash memory.
  • the vehicle model 101 may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network.
  • the vehicle model 101 can be provided or distributed via a network such as the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

実施形態にかかる周辺監視装置は、被牽引車を連結するための第1の連結装置を有する車両の第1の後方画像を第1のタイミングに取得する取得部と、第1のタイミングよりも後の第2のタイミングにおいて、第1の連結装置の第2のタイミングの位置を示す第1の識別情報を第1の後方画像に重畳し、第1の識別情報が重畳された第1の後方画像を車両の室内に設けられるよう構成された表示画面に表示する画像処理部と、を備えた。

Description

周辺監視装置
 本発明の実施形態は、周辺監視装置に関する。
 従来、車両に設置された撮像装置で車両の後方の周辺環境を撮像し、撮像された画像を車室内に設けられた表示画面を介して運転者に提供する技術がある。
 また、従来、キャンピングカーなどの被牽引車を牽引することができる車両がある。
特開2002-359839号公報 特許第3483143号公報 特開2006-001533号公報
 車両に設けられた連結装置と被牽引車に設けられた連結装置とを車両を被牽引車に向かって後退させることによって連結する場合がある。そのような場合、運転者は、車両を運転しながら双方の連結装置の位置合わせを行う必要がある。
 本発明の課題の一つは、車両に被牽引車を連結する際に連結装置間の位置合わせを行いやすくする周辺監視装置を提供することである。
 本発明の実施形態の周辺監視装置は、一例として、被牽引車を連結するための第1の連結装置を有する車両の第1の後方画像を第1のタイミングに取得する取得部と、第1のタイミングよりも後の第2のタイミングにおいて、第1の連結装置の第2のタイミングの位置を示す第1の識別情報を第1の後方画像に重畳し、第1の識別情報が重畳された第1の後方画像を車両の室内に設けられるよう構成された表示画面に表示する画像処理部と、を備えた。運転者は、表示画面を介して第1の連結装置のリアルタイムの位置を確認することが可能であるので、周辺監視装置は、連結装置間の位置合わせを行いやすくすることができる。
 また、本発明の実施形態の周辺監視装置では、一例として、車両に撮像装置が設けられるよう構成され、第1の連結装置は、撮像装置の死角領域に設けられ、取得部は、撮像装置から第1の後方画像を取得する。周辺監視装置は、第1の連結装置が撮像装置の死角領域に設けられている場合であっても表示画面に第1の連結装置のリアルタイムの位置を示すことができるので、運転者は、表示画面を介して第1の連結装置のリアルタイムの位置を確認することが可能である。
 また、本発明の実施形態の周辺監視装置では、一例として、画像処理部は、被牽引車に設けられた第1の連結装置と連結する第2の連結装置の先端から地面まで延伸する第2の識別情報を第1の後方画像にさらに重畳する。よって、運転者は、表示画面を視認することによって、第2の連結装置の先端の高さを直感的に認識することが可能となる。
 また、本発明の実施形態の周辺監視装置では、一例として、取得部は、第3のタイミングに第2の後方画像を取得し、画像処理部は、取得された第2の後方画像を表示画面に第3のタイミングの後に即時的に表示し、第3のタイミングは、第1モードで動作中のタイミングであり、第2のタイミングは、第1モードと異なる第2モードで動作中のタイミングである。よって、周辺監視装置が第1のモードで動作しているとき、運転者は、撮像装置の撮像領域内の状態をリアルタイムの実写画像によって確認することが可能である。
 また、本発明の実施形態の周辺監視装置では、一例として、取得部は、モード切り替えの操作入力、または車両の変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力、またはテールゲートを閉状態から開状態にする操作入力、または車両に設けられた車両と被牽引車との距離を検出する測距装置からの検出情報、を取得し、周辺監視装置は、取得されたいずれかの操作入力または検出情報に基づいて第1モードから第2モードに遷移する。よって、周辺監視装置は、種々の事象をトリガとしてモード間の遷移を行うことができる。
図1は、実施形態の周辺監視装置を搭載する車両が示された側面図である。 図2は、実施形態の周辺監視装置を搭載する車両を左後方から見た斜視図である。 図3は、実施形態の周辺監視装置を搭載する車両を左後方から見た斜視図である。 図4は、実施形態の周辺監視装置を搭載する車両の車室内の一例を示す図である。 図5は、トレーラの連結方法の一例を説明するための図である。 図6は、トレーラの連結方法の一例を説明するための図である。 図7は、トレーラの連結方法の一例を説明するための図である。 図8は、実施形態の制御システムの構成の一例を示すブロック図である。 図9は、実施形態の表示画面の表示内容の推移を示す図である。 図10は、実施形態のECUの機能的構成を示すブロック図である。 図11は、車両モデルおよび仮想視点の実施形態の配置の一例を示す図である。 図12は、実施形態の周辺監視装置としてのECUの動作を説明するためのフローチャートである。 図13は、実施形態の表示画面の別の表示例を示す図である。 図14は、実施形態の表示画面のさらに別の表示例を示す図である。
 以下、本実施形態の周辺監視装置を車両1に搭載した例をあげて説明する。
 <実施形態>
 実施形態の車両1は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車または燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式、数、およびレイアウト等は、種々に設定することができる。
 図1は、実施形態の周辺監視装置を搭載する車両1が示された側面図である。図1では、紙面左方向を車両1を基準とする前方、紙面右方向を車両1を基準とする後方としている。図2および図3は、実施形態の周辺監視装置を搭載する車両1を左後方から見た斜視図である。図2および図3では、紙面左上方向が車両1を基準とする前方であり、紙面左下方向が車両1を基準とする左方であり、紙面右下方向が車両1を基準とする後方であり、紙面右上方向が車両1を基準とする右方である。図4は、実施形態の周辺監視装置を搭載する車両1の車室内の一例を示す図であり、車両1の後方から車室内を見た図である。
 実施形態の周辺監視装置を搭載する車両1は、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。そして、車両1の後ろ側には、開放式の荷台2が設けられている。このようなタイプの車両1は、ピックアップトラックと呼ばれる。荷台2のバックパネル(テールゲート)2aは、荷台2の底部2bの後端に開閉自在に取り付けられている。図1および図2は、バックパネル2aが閉状態であるときの車両1を示しており、図3は、バックパネル2aが開状態であるときの車両1を示している。
 バックパネル2aの中央には、カメラ4が設けられている。カメラ4は、CCD(charge coupled device)、またはCIS(CMOS image sensor)、等の撮像素子を内蔵する撮像装置である。カメラ4は、撮像素子によって撮像された画像を所定のフレームレートで後述のECU(Electronic Control Unit)12に出力する。
 車両1の周辺環境のうちの後方の領域を撮像可能なように、カメラ4の向き、カメラ4の画角、およびカメラ4の設置位置が決められている。これにより、カメラ4は、車両1の後方の領域が写っている画像である後方画像を撮像することができる。なお、カメラ4の設置位置はバックパネル2aの中央に限定されない。また、カメラ4の数は、1に限定されない。ECU12が、複数のカメラ4からの画像を合成することによって後方画像を生成してもよい。
 車両1のリアバンパーには、ソナーセンサ5が設けられている。ソナーセンサ5は、車両1の後方の物体までの距離を測定する測距装置である。測距装置としては、ソナーセンサ5の代わりに、レーザレンジスキャナ、ステレオカメラ、など、他の種類の装置が採用可能である。ソナーセンサ5は検出した距離を検出情報として出力する。なお、ソナーセンサ5の設置位置は、上記に限定されない。また、ソナーセンサ5の設置数は、1に限定されない。
 また、図4に例示されるように、車両1の室内には、表示画面8を有するモニタ装置10が設けられている。表示画面8は、例えば、LCD(liquid crystal display)またはOELD(organic electroluminescent display)等によって構成される。また、表示画面8は透明な操作入力部9で覆われている。操作入力部9は、例えばタッチパネルである。運転者は、操作入力部9を介して表示画面8に表示される画像を視認することができる。また、運転者は、表示画面8に表示される画像に対応した位置で手指等で操作入力部9を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。モニタ装置10は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に設けられている。モニタ装置10は、タッチパネル以外の操作入力部を備え得る。例えば、モニタ装置10は、他の操作入力部として、スイッチ、ダイヤル、ジョイスティック、または押しボタンが設けられていてもよい。モニタ装置10は、例えば、ナビゲーションシステムやオーディオシステムと兼用され得る。
 また、車室内において、センターコンソールには、変速機構を操作するためのシフトレバー11が設けられている。例えば車両1に搭載される変速機構がオートマチックトランスミッションである場合、運転者は、シフトレバー11を操作することによって、パーキングレンジ、リバースレンジ、ニュートラルレンジ、およびドライブレンジを含む複数のレンジから、所望のレンジを選択することができる。例えば、運転者は、シフトレバー11をリバースレンジに入れると、不図示のアクセルペダルの操作により、車両1を後退させることが可能になる。
 また、図3に例示されるように、荷台2の底部2bには、ヒッチボール6が取り付けられている。ヒッチボール6は、被牽引車を連結するための車両1側の連結装置である。以降、被牽引車をトレーラと表記する。
 図5~図7は、トレーラ1000の連結方法の一例を説明するための図である。図5~図7の例では、連結対象のトレーラ1000は、グースネックタイプのキャンピングカーである。トレーラ1000のグースネック部には、トレーラ1000側の連結装置であるカプラ1001が取り付けられている。カプラ1001は、グースネック部から地面方向に延伸する柱状の形状を有している。そして、カプラ1001の先端は、ヒッチボール6と嵌合可能な形状を有している。カプラ1001は、地面方向に伸縮自在にグースネック部に取り付けられている。
 連結作業にあたっては、運転者はまず、車両1の真後ろにトレーラ1000の正面が位置するように、車両1を移動する。車両1とトレーラ1000との位置関係は、図5に例示される状態になる。この状態から、運転者は、車両1をトレーラ1000に向かって後退させる。
 図5の例では、カプラ1001の先端は、ヒッチボール6よりも高い位置にあるが、閉状態のバックパネル2aの最上部よりも低い位置にある。したがって、所定の位置まで車両1を後退させると、バックパネル2aがカプラ1001に衝突する。そこで、運転者は、車両1とトレーラ1000がある距離まで近づいたときに、図6に例示されるように、バックパネル2aを閉状態から開状態にする。
 バックパネル2aを開状態にした後、運転者は、再び車両1をトレーラ1000の方に後退させる。荷台2がカプラ1001の真下に入った後は、バックパネル2aを閉状態にすることが可能である。運転者は、引き続き車両1を後退させ、ヒッチボール6とカプラ1001との位置合わせを行う。位置合わせは、この場合、運転者は、カプラ1001の先端の真下にヒッチボール6が位置する場所に、車両1を停止させることである。図7は、位置合わせの完了後の状態を示している。位置合わせが完了後、運転者は、カプラ1001を下方に延伸することによってカプラ1001の先端をヒッチボール6に嵌合させ、その後、双方を連結する。
 なお、ヒッチボール6は、トレーラ1000を連結するための連結装置の一例である。ヒッチボール6のほかには、例えば、第5輪と呼ばれるタイプの連結装置が採用され得る。車両1側の連結装置として第5輪が採用される場合、トレーラ1000側の連結装置としてキングピンが採用される。
 車両1には、車両1を制御する制御システムが設けられている。図8は、実施形態の制御システムの構成の一例を示すブロック図である。制御システムは、カメラ4、ソナーセンサ5、およびモニタ装置10のほかに、ECU12、シフトセンサ13、車輪速センサ14、および車内ネットワーク15を備える。車内ネットワーク15は、例えば、CAN(controller area network)として構成されている。ECU12、ソナーセンサ5、シフトセンサ13、および車輪速センサ14は、車内ネットワーク15に接続されている。カメラ4は、ECU12に接続されている。モニタ装置10は、ECU12と車内ネットワーク15とに接続されている。制御システムは、これらの他にも、アクセルセンサ、ブレーキシステム、または操舵システムなどを備え得る。
 シフトセンサ13は、運転者が操作するシフトレバー11の位置を検出することによって、運転者によって選択されたレンジを検出する。
 車輪速センサ14は、車輪3の単位時間当たりの回転数を検出するセンサであり、単位時間当たりの回転数を示す車輪速パルス数を検出情報として出力する。車輪速センサ14は、例えば4つの車輪3のそれぞれに設けられている。
 ソナーセンサ5、シフトセンサ13、および車輪速センサ14による検出情報は、車内ネットワーク15を介してECU12に送られる。ECU12は、各検出情報に応じて、エンジンユニット、操舵システム、またはブレーキシステム、等の制御を実行する。
 また、ECU12は、カメラ4が出力する画像を受け取ることができる。また、ECU12は、操作入力部9に入力された入力情報を、車内ネットワーク15を介して受け取ることができる。
 ECU12は、CPU(Central Processing Unit)12aと、SSD(Solid  State Drive)12bと、ROM(Read Only Memory)12cと、RAM(Random Access Memory)12dと、を備える。CPU12a、ROM12c、およびRAM12dは、同一パッケージ内に集積されていてもよい。CPU12aは、任意のプログラムを実行することができるプロセッサであり、SSD12b、ROM12c、およびRAM12dは、任意のプログラムおよび任意のデータを保持することができるメモリである。即ち、ECU12は、コンピュータと同等のハードウェア構成を備えている。
 ECU12は、実施形態の周辺監視装置の一例である。ROM12cは、プログラム100と、車両モデル101とを予め記憶する。CPU12aは、ROM12cに予め記憶されたプログラム100を読み出し、当該プログラム100を実行することによって周辺監視装置としての機能を実現する。RAM12dは、CPU12aでの演算で用いられる各種のデータを一時的に記憶する。SSD12bは、書き換え可能な不揮発性の記憶部であって、ECU12の電源がオフされた場合にあっても、CPU12aによって格納されたデータを維持することができる。プログラム100または車両モデル101は、SSD12bに予め記憶されてもよい。
 周辺監視装置としてのECU12は、カメラ4によって撮像された後方画像を利用して、周辺環境を示す画像を表示画面8に表示する。
 例えば、ECU12は、カメラ4から所定のフレームレートで出力されるそれぞれの後方画像を、取得した後に即時的に表示画面8に表示する。この表示方法を、ライブモードと表記する。図5に示される状態においては、バックパネル2aに設けられたカメラ4の撮像領域にトレーラ1000が入っている。このような場合、ECU12がライブモードで動作することにより、運転者は、車両1とトレーラ1000とのリアルタイムの位置関係を、表示画面8を介して把握することができる。なお、即時的に、とは、運転者がタイムラグを感じない程度に速やかに、という意味である。したがって、ライブモードにおいては、十分に高速な処理であれば、後方画像が取得されてから表示画面8に表示されるまでの間に当該後方画像に対して任意の画像処理が実行され得る。
 ここで、カプラ1001とヒッチボール6とが近くなってくると、運転者は、位置合わせのために、カプラ1001とヒッチボール6との位置関係を確認する必要がある。しかしながら、カメラ4の撮像領域は少なくともバックパネル2aよりも後ろ側であるため、ヒッチボール6は、カメラ4の死角領域に位置する。よって、ECU12は、ライブモードではヒッチボール6を表示することができない。また、図7に示される状態においては、カプラ1001もカメラ4の死角領域に入るので、ECU12は、ライブモードではカプラ1001を表示することができない。よって、ライブモードでは、運転者は、表示画面8に表示されている内容に基づいて位置合わせを行うことが困難である。
 また、図6に示されるようにバックパネル2aが開状態である場合には、カメラ4が地面方向を向くため、トレーラ1000がカメラ4の撮像領域から外れてしまう。このような場合、ECU12は、ライブモードでは、トレーラ1000を表示することができない。
 そこで、ECU12は、ライブモードのほかに過去画モードで動作することができるように構成されている。過去画モードは、カメラ4によって過去に撮像された後方画像を表示するモードである。また、過去画モードでは、運転者が周辺環境における車両1のリアルタイムの位置を確認できるように、ECU12は、過去に撮像された後方画像に車両1の位置を示す識別情報を重畳し、当該識別情報が重畳された後方画像を表示する。
 図9は、実施形態の表示画面8の表示内容の推移を示す図である。画像80aは、図5に示される状態において表示される表示内容であり、画像80bは、図6に示される状態において表示される表示内容であり、画像80cは、図7に示される状態において表示される表示内容である。画像80aは、ライブモードでの表示例であり、画像80bおよび画像80cは過去画モードでの表示例である。
 画像80aには、トレーラ画像301が含まれている。トレーラ画像301は、カプラ1001の画像であるカプラ画像302を含んでいる。トレーラ画像301は、後方画像に含まれているものであり、実写画像である。即ち、トレーラ画像301は、カメラ4の撮像領域に入っている部分のみを示している。運転者は、表示画面8に表示されている画像80aを視認することによって、トレーラ1000と車両1との位置関係を判断することができる。なお、車両1の一部(例えばリアバンパーなど)がカメラ4の撮像領域に入っていてもよく、その場合はリアバンパーの画像が画像80aに含まれる。
 なお、画像80aに、車両1の後端部からの距離を示すガイド線が重畳されて表示されてもよい。例えば、車両1の後端部から0.5m、1m、および1.5mの位置をそれぞれ示す3本のガイド線が画像80aに重畳されて表示されてもよい。
 画像80bには、カプラ画像302を含むトレーラ画像301が写っている。カプラ画像302を含むトレーラ画像301は、実写画像である。画像80bの元となっている過去に撮像された後方画像(以降、ベース画像という)は、バックパネル2aが閉状態であるときに撮像された後方画像であり、例えば、バックパネル2aが開状態にされる直前に撮像された後方画像である。
 画像80bには、車両モデル画像201の一部である荷台モデル画像202がさらに表示されている。車両モデル画像201は、車両1の位置を示す識別情報の一例である。
 車両モデル画像201は、荷台2(より詳しくは荷台2の底部2b)の輪郭を模擬した形状を有する荷台モデル画像202と、後輪3Rの輪郭を模擬した形状を有する後輪モデル画像203と、ヒッチボールモデル画像204と、を含む。ヒッチボールモデル画像204は、ヒッチボール6のリアルタイムの位置を示すための識別情報であり、ここではその識別情報の一例として、ヒッチボール6の設置位置の輪郭を模擬した形状を有する。
 ECU12は、車両1が移動すると、ベース画像の撮像領域内における移動後の車両1の位置と、ベース画像における車両モデル画像201の表示位置と、が対応するように、車両モデル画像201の表示位置を、逐次変更する。
 例えば画像80bにおいては、荷台モデル画像202のうちの一部のみが枠の下端に表示されている。これは、画像80bの表示タイミングにおいて、車両1の荷台2の底部2bのうちの後端の一部のみがベース画像の撮像領域に進入する程度に車両1とトレーラ1000とが離れていることを示している。
 なお、車両モデル画像201の表示様態は、特定の様態に限定されない。車両モデル画像201は、半透明化された様態で表示されてもよいし、輪郭を示す線のみが表示されてもよい。
 画像80cには、カプラ画像302を含むトレーラ画像301が写っている。画像80bのベース画像と画像80cのベース画像とは共通しており、カプラ画像302を含むトレーラ画像301は、画像80bと同じ様態で画像80cに表示されている。また、画像80cには、車両モデル画像201が重畳されている。
 画像80cの場合、荷台モデル画像202の全体が表示されている。これは、画像80cの表示タイミングにおいては、ベース画像の撮像領域に車両1の荷台2の底部2bの全部が進入する程度まで車両1がトレーラ1000に近づいていることを示す。
 また、画像80cには、車両モデル画像201に含まれるヒッチボールモデル画像204が表示されている。ヒッチボールモデル画像204は、ベース画像の撮像領域内におけるヒッチボール6のリアルタイムの位置を示している。ECU12は、過去に撮像された画像上にヒッチボール6のリアルタイムの位置を示すヒッチボールモデル画像204を重畳して表示画面8に表示するため、運転者は、カメラ4の死角領域に設けられているヒッチボール6のリアルタイムの位置を表示画面8を介して確認することができる。
 図10は、実施形態の周辺監視装置としてのECU12の機能的構成を示すブロック図である。CPU12aは、ROM12c内に予め格納されたプログラム100を実行することで、取得部120および画像処理部121として機能する。画像処理部121は、加工部123と、出力部124と、を備える。また、ECU12は、車両モデル101およびベース画像110を記憶する記憶部122を備える。記憶部122は、例えば、SSD12b、ROM12c、RAM12d、またはそれらの組み合わせによって実現される。
 車両モデル101は、車両1の形状を示す3次元情報であり、車両モデル画像201を生成するための情報である。車両モデル101は、予め作成される。車両モデル101の詳細は後述する。
 ベース画像110は、過去画モードにおいて使用される後方画像である。
 取得部120は、カメラ4から出力される後方画像および車輪速センサ14から出力される検出情報を取得する。
 画像処理部121は、取得部120によって取得された各情報に基づいて、表示画面8の表示を制御する。
 具体的には、ライブモードが設定されている場合には、出力部124は、カメラ4から取得した後方画像を、その後方画像を取得したタイミングの後に即時的に表示画面8に出力する。
 過去画モードが設定されている場合には、画像処理部121は、過去のタイミングに取得された後方画像をベース画像110に設定し、加工部123は、ベース画像110に現在のタイミングにおける車両1の位置を示す車両モデル画像201を重畳する。出力部124は、ベース画像110に車両モデル画像201が重畳されて生成された画像を表示画面8に出力する。画像処理部121は、ここでは一例として、ライブモードから過去画モードに遷移したタイミングで、そのときに取得した後方画像をベース画像110として記憶部122に保存する。
 車両モデル画像201の生成方法は、特定の方法に限定されない。車両モデル画像201の生成方法の一例を以下に説明する。
 加工部123は、3次元の仮想空間を設定し、ベース画像110が取得された際に、車両モデル101と仮想視点402とを仮想空間400に配置する。
 図11は、車両モデル101および仮想視点402の実施形態の配置の一例を示す図である。
 仮想空間400において、地面に対応する平面401に車両モデル101が配置されている。車両モデル101は、荷台2の底部2bの輪郭を模した形状を有する荷台モデル102と、後輪3Rの輪郭を模した形状を有する後輪モデル103と、ヒッチボール6の設置位置の輪郭を模した形状を有するヒッチボールモデル104と、を備える。荷台モデル102、後輪モデル103、およびヒッチボールモデル104の位置関係は、実際の車両1における荷台2の底部2b、後輪3R、およびヒッチボール6の設置位置の位置関係と対応する。
 また、車両モデル101を基準とした仮想視点402の位置は、車両1を基準としたカメラ4の位置と対応する。また、車両モデル101を基準とした仮想視点402の向きは、車両モデル101を基準としたカメラ4の向きと等しい。また、仮想視点402の画角は、カメラ4の画角と等しい。よって、仮想視点402からの視界は、カメラ4からの視界と対応する。
 加工部123は、車両1の移動後、ベース画像110が撮像されたタイミングを基準とした車両1の移動量を演算する。加工部123は、車輪3毎の車輪速パルス数を積分することによって車両1の移動量を演算する。移動量は、向き情報を含むベクトル量である。加工部123は、仮想視点402の位置を仮想空間400内に固定したまま、車両モデル101を演算された移動量に対応する量だけ初期位置から移動させる。そして、加工部123は、仮想視点402を用いた視点変換によって、車両モデル画像201を生成する。
 視点変換とは、仮想視点402を視点とする透視投影によって、仮想視点402からの視界を示す画像を得ることである。仮想視点402からの視界を示す画像は、枠を有している。仮想視点402からの視界は、ベース画像110の撮像時のカメラ4の視界に対応するので、仮想視点402からの視界を示す画像の枠は、ベース画像110の枠に対応する。仮想視点402からの視界内に車両モデル101が存在する場合には、枠内に車両モデル画像201が含まれる。
 加工部123は、車両モデル画像201をベース画像110に重畳する際には、車両モデル101が投影された2次元平面の枠とベース画像110の枠とを位置合わせする。これにより、車両モデル画像201は、ベース画像110における、車両1のリアルタイムの位置を示す位置に重畳される。同様に、ヒッチボールモデル画像204は、ベース画像110における、ヒッチボール6のリアルタイムの位置を示す位置に重畳される。
 なお、移動量の演算方法は、車輪速パルス数を用いた方法だけに限定されない。移動量の演算方法の別の例として、カメラ4が出力する画像に基づいて移動量を演算する方法が採用可能である。具体的には、撮像されたタイミングが異なる2枚の画像を用いてオプティカルフローを演算し、演算されたオプティカルフローに基づいて画像を撮像したタイミング間の車両1の移動量を演算することが可能である。このような方法によって、加工部123は、逐次取得した後方画像から車両1の移動量を演算してもよい。
 次に、以上のように構成された実施形態の周辺監視装置の動作について説明する。図12は、実施形態の周辺監視装置としてのECU12の動作を説明するためのフローチャートである。
 画像処理部121は、表示開始のタイミングに至ったか否かを判断する(S101)。
 表示開始のタイミングの判断方法は、特定の方法に限定されない。一例では、運転者によってシフトレバー11がリバースレンジに入れられたとき、シフトセンサ13がリバースレンジが選択された旨を検知し、ECU12に通知する。取得部120が当該通知を受けると、画像処理部121は、表示開始のタイミングに至ったと判断する。
 別の例では、画像処理部121は、表示画面8に表示開始の入力を促すボタンを表示する。そして、運転者が当該ボタンをタッチすると、操作入力部9が、その旨を検知してECU12に通知する。取得部120は、当該通知を、表示開始の操作入力として受信する。画像処理部121は、取得部120が表示開始の操作入力を受信すると、表示開始のタイミングに至ったと判断する。
 画像処理部121は、表示開始のタイミングに至っていないと判断した場合(S101、No)、S101の処理を再び実行する。
 画像処理部121によって表示開始のタイミングに至ったと判断された場合(S101、Yes)、取得部120は、カメラ4から出力された後方画像を取得する(S102)。すると、出力部124は、S102によって取得された後方画像を即時的に表示画面8に出力する(S103)。
 続いて、画像処理部121は、モード切り替えのタイミングに至ったか否かを判断する(S104)。画像処理部121は、モード切り替えのタイミングに至っていないと判断した場合(S104、No)、S102~S103の処理を再び実行し、その後、S104の処理を再び実行する。
 S102およびS103の処理は、ライブモードでの動作に該当する。S102からS104、Noまでのループ処理は、制御がこのループ処理を抜けるまで、短い周期で繰り返し実行される。制御がこのループ処理を抜けるまで、ライブモードでの動作が継続される。
 モード切り替えのタイミングの判断方法は、特定の方法に限定されない。一例では、取得部120は、運転者によるモード切り替えの操作入力を取得し、画像処理部121は、モード切り替えの操作入力に基づいてモード切り替えのタイミングを判断する。具体的には、例えば、画像処理部121は、表示画面8に、モードの切り替えの入力を促すボタンを表示する。運転者によって当該ボタンがタッチされると、操作入力部9は、当該ボタンがタッチされた旨を検知し、ECU12に通知する。取得部120は、当該通知を、モード切り替えの操作入力として受信する。画像処理部121は、取得部120がモード切り替えの操作入力を受信すると、モード切り替えのタイミングに至ったと判断する。
 別の例では、取得部120が運転者による変速機構のレンジを切り替える操作入力を取得し、画像処理部121は、変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力に基づいてモード切り替えのタイミングを判断する。運転者は、例えば、図5に示される状態から車両1の後退を開始し、その後、車両1を停止させて車両1を降りて、バックパネル2aを手動で閉状態から開状態にする。運転者が、車両1を停止させるためにシフトレバー11をリバースレンジからパーキングレンジに入れたとき、シフトセンサ13がパーキングレンジが選択された旨を検知し、ECU12に通知する。取得部120は、その通知を、変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力として受信する。画像処理部121は、取得部120が変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力を受信すると、モード切り替えのタイミングに至ったと判断する。なお、切り替え後のレンジは必ずしもパーキングレンジでなくてもよい。
 さらに別の例では、取得部120は、バックパネル2aを開状態にする操作入力を取得し、画像処理部121は、バックパネル2aを開状態にする操作入力に基づいてモード切り替えのタイミングを判断する。具体的には、例えば、バックパネル2aのヒンジにセンサが設けられる。当該センサは、バックパネル2aが閉状態から開状態になったとき、その旨を検知し、ECU12に通知する。取得部120は、その通知を、バックパネル2aを開状態にする操作入力として受信する。画像処理部121は、取得部120がバックパネル2aを開状態にする操作入力を受信すると、モード切り替えのタイミングに至ったと判断する。
 バックパネル2aを開状態にする操作入力の検知方法は、バックパネル2aのヒンジに設けられたセンサによって検知する方法だけに限定されない。例えば、車両1の室内または室外に設けられた操作部の操作によって、バックパネル2aが開閉可能に構成される場合がある。その場合、取得部120は、バックパネル2aを開状態にする操作入力を、当該操作部を介して取得することができる。
 さらに別の例では、取得部120は、ソナーセンサ5から検出情報を取得し、画像処理部121は、ソナーセンサ5からの検出情報に基づいてモード切り替えのタイミングを判断する。具体的には、例えば、画像処理部121は、ソナーセンサ5からの検出情報を逐次取得する。それぞれの検出情報は、車両1からトレーラ1000までのリアルタイムの距離を示す。画像処理部121は、車両1からトレーラ1000までのリアルタイムの距離を、しきい値と比較し、当該距離がしきい値を下回った場合に、モード切り替えのタイミングに至ったと判断する。カプラ1001がバックパネル2aに衝突せずかつカプラ1001がバックパネル2aの開閉動作に干渉しない最短の距離よりも大きい値が、判断のためのしきい値として使用される。しきい値は、例えば予め設定される。
 画像処理部121は、モード切り替えのタイミングに至ったと判断した場合(S104、Yes)、ECU12は、過去画モードでの動作を開始する。
 具体的には、まず、取得部120は、カメラ4が撮像した後方画像を取得する(S105)。すると、画像処理部121は、S105によって取得された後方画像をベース画像110として記憶部122に保存する(S106)。
 続いて、加工部123は、車両モデル101および仮想視点402を仮想空間400に配置する(S107)。例えば図11を用いて説明したように、S107では、加工部123は、車両モデル101を仮想空間400に配置し、加工部123は、カメラ4の設置位置に対応する位置に、仮想視点402を配置する。
 続いて、加工部123は、仮想視点402からの透視投影によって、車両モデル画像201を生成する(S108)。
 出力部124は、記憶部122からベース画像110を読み出して、読み出したベース画像110に車両モデル画像201を重畳し、車両モデル画像201が重畳されたベース画像110を表示画面8に表示する(S109)。
 続いて、画像処理部121は、表示終了のタイミングに至ったか否かを判断する(S110)。
 表示終了のタイミングの判断方法は、特定の方法に限定されない。画像処理部121は、表示開始のタイミングと同様に、操作入力部9に入力された操作入力に基づいて表示終了のタイミングを判断してもよいし、変速機構のレンジを切り替える操作入力に基づいて表示終了のタイミングを判断してもよい。
 表示終了のタイミングに至っていないと画像処理部121によって判断された場合(S110、No)、取得部120は、車輪速パルス数を取得する(S111)。そして、加工部123は、車輪速パルス数に基づいて、車両1の移動量を演算する(S112)。移動量は、車輪速パルス数の積分によって得られる。
 なお、S108からS110、Noを経てS113に至るまでの処理は、ループ処理を構成する。即ち、S112の処理は、制御がこのループ処理を抜けるまで、繰り返し実行される。2回目以降のループ処理の場合、加工部123は、S112において、前回にS112を実行したタイミングからの車両1の移動量を演算する。1回目のループ処理の場合、加工部123は、S112において、ベース画像が取得されてからの車両1の移動量を演算する。
 S112の処理の後、加工部123は、仮想空間400上の車両モデル101の位置を移動量に応じて変更する(S113)。例えば、車両1がある移動量だけ後退した場合、加工部123は、仮想空間400内において、対応する量だけ車両モデル101を後退させる。
 そして、制御がS108に移行し、加工部123は、S108において、車両モデル画像201を再び作成する。
 S110において、表示終了のタイミングに至ったと画像処理部121によって判断された場合(S110、Yes)、動作が終了する。
 S108からS110、Noを経てS113に至るまでのループ処理は、短い周期で繰り返し実行される。その結果として、画像処理部121は、同じベース画像110を表示し、ヒッチボールモデル画像204を、ヒッチボール6のリアルタイムの位置の移動に対応するように、そのベース画像110上で移動させることができる。即ち、ベース画像110上のヒッチボールモデル画像204の位置は、常にヒッチボール6のリアルタイムの位置を示す。
 以上述べたように、実施形態では、周辺監視装置は、過去(第1のタイミング)に取得した後方画像に、ヒッチボール6の第1のタイミングの後のリアルタイム(第2のタイミング)の位置を示す識別情報であるヒッチボールモデル画像204を重畳し、ヒッチボールモデル画像204が重畳された後方画像を表示画面8に表示する。
 これにより、ヒッチボール6がカメラ4の死角領域に位置する場合であっても、表示画面8にヒッチボール6のリアルタイムの位置を示す識別情報が表示され、その結果、運転者は、表示画面8を介してヒッチボール6の位置を確認することが可能となる。よって、実施形態の周辺監視装置は、連結装置間の位置合わせを行いやすくすることができる。
 なお、以上では、ヒッチボール6が荷台2の底部2bに設けられており、ヒッチボール6はカメラ4の死角領域に位置する、として説明した。ヒッチボール6が設けられる位置は荷台2の底部2bでなくてもよい。また、ヒッチボール6は、カメラ4の撮像領域内に設置されている場合であっても、実施形態の技術は適用可能である。
 例えば、ヒッチボール6がリアバンパー近傍に設けられ、Vノーズタイプのトレーラがそのヒッチボール6を介して連結される。そのような場合、バックパネル2aに設けられたカメラ4の撮像領域にヒッチボール6が入り得る。しかしながら、位置合わせを行う際、車両1とトレーラとの距離が近づくにつれてカメラ4の撮像領域の光量が減少することで、ヒッチボール6を含む各種対象物の写りが不明瞭となる場合がある。周辺監視装置は、撮像領域の光量が十分に確保されていた過去のタイミングに撮像された後方画像をベース画像110として用い、ヒッチボールモデル画像204をベース画像110に重畳して表示することによって、ヒッチボール6のリアルタイムの位置をわかりやすく表示することが可能になる。
 なお、周辺監視装置は、カプラ1001の先端から地面まで延伸する識別情報をベース画像110にさらに重畳してもよい。
 図13は、実施形態の表示画面8の別の表示例を示す図である。画像80dは、過去画モードでの表示例を示している。画像80dには、画像80bと同様に、カプラ画像302を含むトレーラ画像301が写っている。カプラ画像302を含むトレーラ画像301は、ベース画像に含まれているものであり、実写画像である。画像80dには、カプラ画像302の先端を示す位置からカプラ1001の先端の直下の地面を示す位置まで延伸する円柱を模したオブジェクト画像205が重畳されている。運転者は、表示画面8を介してオブジェクト画像205を視認することにより、カプラ1001の先端の高さ情報を直感的に認識することが可能となる。
 オブジェクト画像205の表示方法は特定の方法に限定されない。一例では、後方の周辺環境の3次元データを測定可能な測定装置が車両1に設けられ、取得部120は、当該測定装置からの測定結果を取得する。測定装置は、例えばステレオカメラまたはレーザレンジスキャナである。加工部123は、取得された測定結果に基づいて、車両1からカプラ1001までの距離および方向と、カプラ1001の先端の高さとを演算する。そして、加工部123は、仮想空間400内の対応する位置に、カプラ1001の先端の高さに対応する長さの円柱状のオブジェクトを配置する。そして、加工部123は、車両モデル101から車両モデル画像201を演算する場合と同様に、オブジェクトを仮想視点402を視点とする二次元平面に投影することによって、オブジェクト画像205を生成する。
 3次元データからカプラ1001を識別する方法は、特定の方法に限定されない。一例では、画像処理部121は、表示画面8にベース画像110を表示し、運転者は、操作入力部9をタッチすることにより、ベース画像110内のカプラ1001が写っている部分を指示する。加工部123は、タッチされた位置と、ベース画像110が撮像されたタイミングと略同じタイミングで測定装置から得られた3次元データと、を対比することにより、3次元データ内においてカプラ1001に相当する部分を特定する。別の例では、加工部123は、カプラ1001の画像を記憶部122などに予め記憶しておき、カプラ1001の画像を用いたパターンマッチングによって、ベース画像110内のカプラ1001が写っている部分を特定する。そして、加工部123は、ベース画像110内の特定した部分と、ベース画像110が撮像されたタイミングと略同じタイミングで測定装置から得られたリアルタイムの3次元データと、を対比することにより、3次元データ内においてカプラ1001に相当する部分を特定する。
 このように、周辺監視装置は、種々の方法でオブジェクト画像205を生成することが可能である。なお、カプラ1001の先端から地面まで延伸する識別情報の表示様態は、円柱の形状を模したオブジェクト画像205だけに限定されない。例えば、カプラ1001の先端から地面まで延伸する識別情報は、線形状を有していてもよい。
 また、周辺監視装置は、過去画モードのほかに、ライブモードで動作することができる。周辺監視装置は、ライブモードでは、取得した後方画像を、取得したタイミングの後に即時的に表示画面8に表示する。周辺監視装置がライブモードで動作することにより、運転者は、カメラ4の撮像領域内の状態をリアルタイムの実写画像によって確認することが可能である。
 また、周辺監視装置は、モード切り替えの操作入力、または変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力、またはバックパネル2aを閉状態から開状態にする操作入力、または測距装置としてのソナーセンサ5からの検出情報、に基づいて、ライブモードから過去画モードに遷移する。このように、周辺監視装置は、種々の事象をトリガとしてモード間の遷移を行うことができる。
 なお、以上では、モード切り替えの際に取得された後方画像がベース画像110として設定される、として説明した。ベース画像110の選択方法はこれに限定されない。例えば、画像処理部121は、逐次取得される後方画像を例えば記憶部122に時系列順に蓄積する。そして、画像処理部121は、記憶部122に蓄積された複数の後方画像から、カプラ画像302が含まれている、最後に取得された後方画像を選択する。そして、画像処理部121は、選択した後方画像をベース画像110として設定する。後方画像にカプラ画像302が含まれているか否かは、例えばパターンマッチングなどによって判断可能である。画像処理部121は、逐次取得される後方画像にカプラ画像302が含まれているか否かを後方画像が取得される度に判断し、判断結果が、後方画像にカプラ画像302が含まれている状態から後方画像にカプラ画像302が含まれていない状態に変化したとき、自動でライブモードから過去画モードに遷移してもよい。
 または、画像処理部121は、モード切り替えのタイミングから所定時間だけ遡ったタイミングで取得された後方画像をベース画像110として設定してもよい。
 また、以上では、車両モデル101は、ヒッチボールモデル104のほかに、荷台モデル102、後輪モデル103を含む、として説明した。車両モデル101は、ヒッチボールモデル104を含んでいればよい。例えば、車両モデル101から荷台モデル102は省略することが可能である。また、車両モデル101から後輪モデル103は省略することが可能である。車両モデル101として、車両1の形状をリアルに示す3次元モデルが採用可能である。車両モデル101の3次元形状の表現方法は、特定の方法に限定されない。例えば、ポリゴンモデル、ワイヤーフレームモデル、またはソリッドモデルによって、車両モデル101の3次元形状が表現され得る。
 また、周辺監視装置は、過去画モードからライブモードに遷移可能に構成されてもよい。荷台2がカプラ1001の真下に入った後、バックパネル2aを閉状態にすることが可能である。例えば、運転者は、荷台2がカプラ1001の真下に入った後、過去画モードからライブモードに切り替えてもよい。
 なお、荷台2がカプラ1001の真下に入った後に過去画モードからライブモードに切り替えられた場合、表示画面8にはヒッチボール6もカプラ1001も表示されないので、そのままでは運転者は位置合わせを行うことが困難である。周辺監視装置は、下記の位置合わせ完了時のトレーラ画像301を予め記憶しておき、過去画モードからライブモードに戻った後、ライブモードでの画像に、位置合わせ完了時のトレーラ画像301を重畳して表示してもよい。位置合わせ完了時のトレーラ画像301は、例えば、過去に連結作業が行われた際に撮像されて保存されたものである。
 周辺監視装置は、運転者による実写画像の視認を妨げないように、重畳の前に、位置合わせ完了時のトレーラ画像301に対し、種々の画像処理を行う。一例では、周辺監視装置は、位置合わせ完了時のトレーラ画像301に対し、輪郭抽出を行い、抽出された輪郭を表示する。図14は、実施形態の表示画面8のさらに別の表示例を示す図である。この例では、画像80eには、トレーラ画像301の輪郭206が点線で示されている。運転者は、実写のトレーラ画像301と輪郭206とが一致するように車両1を運転することによって、位置合わせを行うことができる。
 また、周辺監視装置は、ヒッチボール6とカプラ1001との距離に応じて車両モデル画像201の表示様態を変更してもよい。例えば、周辺監視装置は、ヒッチボール6とカプラ1001との距離が予め設定されたしきい値よりも大きい場合、ヒッチボールモデル画像204を青色に着色して表示し、ヒッチボール6とカプラ1001との距離が当該しきい値よりも小さい場合、ヒッチボールモデル画像204を赤色に着色して表示する。表示様態の変更方法は、これに限定されない。例えば、周辺監視装置は、距離が当該しきい値よりも小さくなったときに、非点滅表示から点滅表示に変更したり、あるいはその逆の変更を行うことができる。別の例では、周辺監視装置は、距離が当該しきい値よりも大きい場合、荷台モデル画像202、後輪モデル画像203、およびヒッチボールモデル画像204を表示し、距離が当該しきい値よりも小さくなった場合、車両モデル画像201のうちのヒッチボールモデル画像204のみを表示する。
 また、周辺監視装置は、ヒッチボール6とカプラ1001との位置合わせが完了する位置までの経路を任意のタイミングで演算し、演算された経路で車両1が移動するように、舵角を制御してもよい。これにより、運転者は、アクセルペダルとブレーキペダルとを操作するだけで、位置合わせを行うことが可能となる。さらに、周辺監視装置は、演算された経路で車両1が移動するように、加減速を自動で行うように構成されてもよい。
 なお、以上では、取得部120、加工部123、および出力部124は、CPU12aがプログラム100を実行することによって実現される、として説明した。取得部120、加工部123、および出力部124のうちの一部または全部は、ハードウェア回路によって実現されてもよい。
 また、プログラム100は、コンピュータにインストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、またはフラッシュメモリ等の、コンピュータで読み取り可能な記録媒体に記録されて提供され得る。
 また、プログラム100は、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラム100は、インターネット等のネットワーク経由で提供または配布され得る。
 また、プログラム100は、ROM12c等に予め組み込んで提供され得る。
 同様に、車両モデル101は、CD-ROM、FD、CD-R、DVD、またはフラッシュメモリ等の、コンピュータで読み取り可能な記録媒体に記録されて提供され得る。また、車両モデル101は、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、車両モデル101は、インターネット等のネットワーク経由で提供または配布され得る。
 以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
 1…車両、2…荷台、2a…バックパネル、2b…底部、3…車輪、3F…前輪、3R…後輪、4…カメラ、5…ソナーセンサ、6…ヒッチボール、8…表示画面、9…操作入力部、10…モニタ装置、11…シフトレバー、12…ECU、12a…CPU、12b…SSD、12c…ROM、12d…RAM、13…シフトセンサ、14…車輪速センサ、15…車内ネットワーク、80a,80b,80c,80d,80e…画像、100…プログラム、101…車両モデル、102…荷台モデル、103…後輪モデル、104…ヒッチボールモデル、110…ベース画像、120…取得部、121…画像処理部、122…記憶部、123…加工部、124…出力部、201…車両モデル画像、202…荷台モデル画像、203…後輪モデル画像、204…ヒッチボールモデル画像、205…オブジェクト画像、206…輪郭、301…トレーラ画像、302…カプラ画像、400…仮想空間、401…平面、402…仮想視点、1000…トレーラ、1001…カプラ

Claims (5)

  1.  被牽引車を連結するための第1の連結装置を有する車両の第1の後方画像を第1のタイミングに取得する取得部と、
     前記第1のタイミングよりも後の第2のタイミングにおいて、前記第1の連結装置の前記第2のタイミングの位置を示す第1の識別情報を前記第1の後方画像に重畳し、前記第1の識別情報が重畳された前記第1の後方画像を前記車両の室内に設けられるよう構成された表示画面に表示する画像処理部と、
     を備えた周辺監視装置。
  2.  前記車両に撮像装置が設けられるよう構成され、
     前記第1の連結装置は、前記撮像装置の死角領域に設けられ、
     前記取得部は、前記撮像装置から前記第1の後方画像を取得する、
     請求項1に記載の周辺監視装置。
  3.  前記画像処理部は、前記被牽引車に設けられた前記第1の連結装置と連結する第2の連結装置の先端から地面まで延伸する第2の識別情報を前記第1の後方画像にさらに重畳する、
     請求項1または2に記載の周辺監視装置。
  4.  前記取得部は、第3のタイミングに第2の後方画像を取得し、
     前記画像処理部は、前記取得された第2の後方画像を前記表示画面に前記第3のタイミングの後に即時的に表示し、
     前記第3のタイミングは、第1モードで動作中のタイミングであり、
     前記第2のタイミングは、前記第1モードと異なる第2モードで動作中のタイミングである、
     請求項1から3の何れか1項に記載の周辺監視装置。
  5.  前記取得部は、モード切り替えの操作入力、または前記車両の変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力、またはテールゲートを閉状態から開状態にする操作入力、または前記車両に設けられた前記車両と前記被牽引車との距離を検出する測距装置からの検出情報、を取得し、
     前記取得されたいずれかの操作入力または検出情報に基づいて前記第1モードから前記第2モードに遷移する、
     請求項4に記載の周辺監視装置。
PCT/JP2017/039196 2017-01-16 2017-10-30 周辺監視装置 WO2018131263A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/477,919 US11260794B2 (en) 2017-01-16 2017-10-30 Periphery monitoring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017005097A JP6729409B2 (ja) 2017-01-16 2017-01-16 周辺監視装置
JP2017-005097 2017-01-16

Publications (1)

Publication Number Publication Date
WO2018131263A1 true WO2018131263A1 (ja) 2018-07-19

Family

ID=62839336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039196 WO2018131263A1 (ja) 2017-01-16 2017-10-30 周辺監視装置

Country Status (3)

Country Link
US (1) US11260794B2 (ja)
JP (1) JP6729409B2 (ja)
WO (1) WO2018131263A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190176699A1 (en) * 2017-12-08 2019-06-13 GM Global Technology Operations LLC Method of hitching a tow vehicle to a trailer, and vehicle therefor
US10962980B2 (en) * 2018-08-30 2021-03-30 Ford Global Technologies, Llc System and methods for reverse braking during automated hitch alignment
US11192552B2 (en) * 2019-06-13 2021-12-07 Ford Global Technologies, Llc Vehicle motion control for trailer alignment
US11124201B2 (en) * 2019-07-09 2021-09-21 Ford Global Technologies, Llc Assisted hitching system with handoff process for interrupted operation
US20220179429A1 (en) * 2020-12-09 2022-06-09 Continental Automotive Systems, Inc. Method for determining a tow hitch position

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312768A (ja) * 2001-04-09 2002-10-25 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
JP2006001533A (ja) * 2004-06-17 2006-01-05 Daimler Chrysler Ag トレーラを自動車に連結する方法
US20130076007A1 (en) * 2011-09-27 2013-03-28 Joseph Goode Vehicle backup camera for viewing a mid-chassis mounted trailer hitching structure
US20140071279A1 (en) * 2012-09-10 2014-03-13 Nissan North America, Inc. Vehicle video system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6060910B2 (ja) * 2013-03-28 2017-01-18 アイシン精機株式会社 周辺監視装置、及びプログラム
JP6340969B2 (ja) * 2014-07-14 2018-06-13 アイシン精機株式会社 周辺監視装置、及びプログラム
US20160375831A1 (en) * 2015-06-23 2016-12-29 GM Global Technology Operations LLC Hitching assist with pan/zoom and virtual top-view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
JP2002312768A (ja) * 2001-04-09 2002-10-25 Matsushita Electric Ind Co Ltd 運転支援装置
JP2006001533A (ja) * 2004-06-17 2006-01-05 Daimler Chrysler Ag トレーラを自動車に連結する方法
US20130076007A1 (en) * 2011-09-27 2013-03-28 Joseph Goode Vehicle backup camera for viewing a mid-chassis mounted trailer hitching structure
US20140071279A1 (en) * 2012-09-10 2014-03-13 Nissan North America, Inc. Vehicle video system

Also Published As

Publication number Publication date
JP2018117176A (ja) 2018-07-26
US20190366929A1 (en) 2019-12-05
JP6729409B2 (ja) 2020-07-22
US11260794B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
WO2018131263A1 (ja) 周辺監視装置
JP7069548B2 (ja) 周辺監視装置
US10150486B2 (en) Driving assistance device and driving assistance system
US10625782B2 (en) Surroundings monitoring apparatus
US11591018B2 (en) Parking assistance device
WO2018150642A1 (ja) 周辺監視装置
CN107925746B (zh) 周边监控装置
US11648932B2 (en) Periphery monitoring device
US10991086B2 (en) Adhered substance detection apparatus
US11420678B2 (en) Traction assist display for towing a vehicle
JP2020001576A (ja) 運転支援装置
US11292387B2 (en) Towing assistance apparatus
US11491916B2 (en) Tow assist apparatus
JP7283514B2 (ja) 表示制御装置
US11475676B2 (en) Periphery monitoring device
JP2020006770A (ja) 運転支援装置
JP7110577B2 (ja) 周辺監視装置
JP7130923B2 (ja) 表示制御装置
US20210309148A1 (en) Peripheral monitoring apparatus
JP2019068326A (ja) 周辺監視装置
JP2017211814A (ja) 駐車支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17891654

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17891654

Country of ref document: EP

Kind code of ref document: A1