WO2018131263A1 - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
WO2018131263A1
WO2018131263A1 PCT/JP2017/039196 JP2017039196W WO2018131263A1 WO 2018131263 A1 WO2018131263 A1 WO 2018131263A1 JP 2017039196 W JP2017039196 W JP 2017039196W WO 2018131263 A1 WO2018131263 A1 WO 2018131263A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
timing
processing unit
mode
Prior art date
Application number
PCT/JP2017/039196
Other languages
English (en)
French (fr)
Inventor
哲也 丸岡
いつ子 福島
渡邊　一矢
欣司 山本
崇 平槙
久保田　尚孝
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US16/477,919 priority Critical patent/US11260794B2/en
Publication of WO2018131263A1 publication Critical patent/WO2018131263A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B60D1/363—Hitch guiding or catching elements, e.g. V-shaped plates partially surrounding a coupling member for guiding the other coupling member
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/48—Traction couplings; Hitches; Draw-gear; Towing devices characterised by the mounting
    • B60D1/488—Traction couplings; Hitches; Draw-gear; Towing devices characterised by the mounting mounted directly to the chassis of the towing vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer

Definitions

  • Embodiments of the present invention relate to a periphery monitoring device.
  • JP 2002-359839 A Japanese Patent No. 3484143 JP 2006-001533 A
  • the connecting device provided in the vehicle and the connecting device provided in the towed vehicle are connected by retreating the vehicle toward the towed vehicle. In such a case, the driver needs to align both coupling devices while driving the vehicle.
  • One of the objects of the present invention is to provide a periphery monitoring device that facilitates alignment between connecting devices when a towed vehicle is connected to a vehicle.
  • the periphery monitoring device includes, as an example, an acquisition unit that acquires a first rear image of a vehicle having a first connecting device for connecting a towed vehicle at a first timing; At the second timing after the timing, the first identification information indicating the position of the second timing of the first coupling device is superimposed on the first rear image, and the first identification information is superimposed.
  • An image processing unit configured to display a first rear image on a display screen configured to be provided in a vehicle interior. Since the driver can confirm the real-time position of the first coupling device via the display screen, the periphery monitoring device can facilitate alignment between the coupling devices.
  • an imaging device may be provided in a vehicle as an example
  • a 1st connection device is provided in the blind spot area
  • an acquisition part is from an imaging device.
  • a first rear image is acquired.
  • the peripheral monitoring device can display the real-time position of the first coupling device on the display screen even when the first coupling device is provided in the blind spot area of the imaging device. The real-time position of the first coupling device can be confirmed via the screen.
  • the image processing unit is a second that extends from the tip of the second connecting device that is connected to the first connecting device provided in the towed vehicle to the ground. Are further superimposed on the first rear image. Therefore, the driver can intuitively recognize the height of the tip of the second coupling device by visually recognizing the display screen.
  • the acquisition unit acquires the second rear image at the third timing
  • the image processing unit displays the acquired second rear image on the display screen.
  • the third timing is a timing during the operation in the first mode
  • the second timing is a timing during the operation in the second mode different from the first mode. is there. Therefore, when the periphery monitoring device is operating in the first mode, the driver can check the state in the imaging region of the imaging device with a real-time captured image.
  • the acquisition unit closes the operation input for mode switching, the operation input for switching the range of the transmission mechanism of the vehicle from the reverse range to another range, or the tailgate.
  • the operation input for switching from the state to the open state or the detection information from the distance measuring device for detecting the distance between the vehicle provided on the vehicle and the towed vehicle is acquired, and the periphery monitoring device is one of the acquired operations. Transition from the first mode to the second mode based on the input or detection information. Therefore, the periphery monitoring apparatus can perform transition between modes triggered by various events.
  • FIG. 1 is a side view illustrating a vehicle on which the periphery monitoring device of the embodiment is mounted.
  • FIG. 2 is a perspective view of a vehicle equipped with the periphery monitoring device of the embodiment as viewed from the left rear.
  • FIG. 3 is a perspective view of a vehicle equipped with the periphery monitoring device of the embodiment as viewed from the left rear.
  • FIG. 4 is a diagram illustrating an example of a vehicle interior of a vehicle on which the periphery monitoring device according to the embodiment is mounted.
  • FIG. 5 is a diagram for explaining an example of a trailer coupling method.
  • FIG. 6 is a diagram for explaining an example of a trailer coupling method.
  • FIG. 7 is a diagram for explaining an example of a trailer coupling method.
  • FIG. 5 is a diagram for explaining an example of a trailer coupling method.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the control system of the embodiment.
  • FIG. 9 is a diagram illustrating a transition of display contents on the display screen according to the embodiment.
  • FIG. 10 is a block diagram illustrating a functional configuration of the ECU according to the embodiment.
  • FIG. 11 is a diagram illustrating an example of an arrangement of an embodiment of a vehicle model and a virtual viewpoint.
  • FIG. 12 is a flowchart for explaining the operation of the ECU as the periphery monitoring device of the embodiment.
  • FIG. 13 is a diagram illustrating another display example of the display screen according to the embodiment.
  • FIG. 14 is a diagram illustrating still another display example of the display screen according to the embodiment.
  • the vehicle 1 of the embodiment may be, for example, an automobile using an internal combustion engine (not shown) as a drive source, that is, an internal combustion engine automobile, or an automobile using an electric motor (not shown) as a drive source, that is, an electric vehicle or a fuel cell vehicle. Or a hybrid vehicle using both of them as drive sources, or a vehicle equipped with other drive sources. Further, the vehicle 1 can be mounted with various transmissions, and various devices necessary for driving the internal combustion engine and the electric motor, such as systems and components, can be mounted. In addition, the system, number, layout, and the like of devices related to driving of the wheels 3 in the vehicle 1 can be variously set.
  • FIG. 1 is a side view showing a vehicle 1 equipped with the periphery monitoring device of the embodiment.
  • the left direction on the paper is the front with respect to the vehicle 1
  • the right direction on the paper is the rear with respect to the vehicle 1.
  • 2 and 3 are perspective views of the vehicle 1 equipped with the periphery monitoring device of the embodiment as viewed from the left rear. 2 and 3, the upper left direction on the paper is the front with reference to the vehicle 1, the lower left direction on the paper is the left with reference to the vehicle 1, and the lower right on the page is the rear with reference to the vehicle 1.
  • the upper right direction on the paper is the right side with respect to the vehicle 1.
  • FIG. 4 is a diagram illustrating an example of a vehicle interior of the vehicle 1 on which the periphery monitoring device of the embodiment is mounted, and is a view of the vehicle interior viewed from the rear of the vehicle 1.
  • the vehicle 1 equipped with the periphery monitoring device of the embodiment has two left and right front wheels 3F and two right and left rear wheels 3R.
  • An open type loading platform 2 is provided on the rear side of the vehicle 1.
  • Such a type of vehicle 1 is called a pickup truck.
  • the back panel (tailgate) 2a of the loading platform 2 is attached to the rear end of the bottom 2b of the loading platform 2 so as to be freely opened and closed.
  • 1 and 2 show the vehicle 1 when the back panel 2a is in the closed state
  • FIG. 3 shows the vehicle 1 when the back panel 2a is in the open state.
  • a camera 4 is provided in the center of the back panel 2a.
  • the camera 4 is an image pickup device including an image pickup device such as a CCD (charge coupled device) or a CIS (CMOS image sensor).
  • the camera 4 outputs an image captured by the image sensor to an ECU (Electronic Control Unit) 12 described later at a predetermined frame rate.
  • ECU Electronic Control Unit
  • the orientation of the camera 4, the angle of view of the camera 4, and the installation position of the camera 4 are determined so that the rear area of the surrounding environment of the vehicle 1 can be imaged. Thereby, the camera 4 can capture a rear image, which is an image in which a region behind the vehicle 1 is reflected.
  • the installation position of the camera 4 is not limited to the center of the back panel 2a. Further, the number of cameras 4 is not limited to one.
  • the ECU 12 may generate the rear image by combining the images from the plurality of cameras 4.
  • the rear bumper of the vehicle 1 is provided with a sonar sensor 5.
  • the sonar sensor 5 is a distance measuring device that measures the distance to an object behind the vehicle 1.
  • the distance measuring device other types of devices such as a laser range scanner and a stereo camera can be employed instead of the sonar sensor 5.
  • the sonar sensor 5 outputs the detected distance as detection information.
  • the installation position of the sonar sensor 5 is not limited to the above.
  • the number of sonar sensors 5 installed is not limited to one.
  • a monitor device 10 having a display screen 8 is provided in the vehicle 1.
  • the display screen 8 is configured by, for example, an LCD (liquid crystal display) or an OELD (organic electroluminescent display).
  • the display screen 8 is covered with a transparent operation input unit 9.
  • the operation input unit 9 is a touch panel, for example.
  • the driver can visually recognize an image displayed on the display screen 8 via the operation input unit 9. Further, the driver can execute the operation input by operating the operation input unit 9 by touching, pushing, or moving the operation input unit 9 with a finger or the like at a position corresponding to the image displayed on the display screen 8.
  • the monitor device 10 is provided, for example, in the center of the dashboard in the vehicle width direction, that is, the left-right direction.
  • the monitor device 10 may include an operation input unit other than the touch panel.
  • the monitor device 10 may be provided with a switch, a dial, a joystick, or a push button as another operation input unit.
  • the monitor device 10 can be used also as, for example, a navigation system or an audio system.
  • the center console is provided with a shift lever 11 for operating the speed change mechanism.
  • the driver operates a shift lever 11 to select a desired range from a plurality of ranges including a parking range, a reverse range, a neutral range, and a drive range. Range can be selected.
  • the vehicle 1 can be moved backward by operating an accelerator pedal (not shown).
  • hitch balls 6 are attached to the bottom 2 b of the loading platform 2.
  • the hitch ball 6 is a connecting device on the vehicle 1 side for connecting the towed vehicle.
  • the towed vehicle is referred to as a trailer.
  • FIGS. 5 to 7 are diagrams for explaining an example of a method for connecting the trailer 1000.
  • the trailer 1000 to be connected is a gooseneck type camper.
  • a coupler 1001 which is a connecting device on the trailer 1000 side, is attached to the gooseneck portion of the trailer 1000.
  • the coupler 1001 has a columnar shape extending from the gooseneck portion toward the ground.
  • the tip of the coupler 1001 has a shape that can be fitted to the hitch ball 6.
  • the coupler 1001 is attached to the gooseneck portion so as to be extendable and contractible in the ground direction.
  • the driver first moves the vehicle 1 so that the front of the trailer 1000 is located directly behind the vehicle 1.
  • the positional relationship between the vehicle 1 and the trailer 1000 is as illustrated in FIG. From this state, the driver moves the vehicle 1 backward toward the trailer 1000.
  • the tip of the coupler 1001 is at a position higher than the hitch ball 6 but at a position lower than the uppermost portion of the back panel 2a in the closed state. Therefore, when the vehicle 1 is moved backward to a predetermined position, the back panel 2a collides with the coupler 1001. Therefore, when the driver approaches the vehicle 1 and the trailer 1000 to a certain distance, the driver turns the back panel 2a from the closed state to the open state as illustrated in FIG.
  • the driver After opening the back panel 2a, the driver moves the vehicle 1 back toward the trailer 1000 again. After the loading platform 2 enters directly below the coupler 1001, the back panel 2a can be closed. The driver continues to move the vehicle 1 backward and aligns the hitch ball 6 and the coupler 1001. In this case, the alignment means that the driver stops the vehicle 1 at a position where the hitch ball 6 is located directly below the tip of the coupler 1001.
  • FIG. 7 shows a state after the alignment is completed. After the alignment is completed, the driver extends the coupler 1001 downward to fit the tip of the coupler 1001 to the hitch ball 6 and then connects the two.
  • the hitch ball 6 is an example of a connecting device for connecting the trailer 1000.
  • a connecting device of a type called a fifth wheel may be employed.
  • a king pin is adopted as the connecting device on the trailer 1000 side.
  • the vehicle 1 is provided with a control system that controls the vehicle 1.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the control system of the embodiment.
  • the control system includes an ECU 12, a shift sensor 13, a wheel speed sensor 14, and an in-vehicle network 15 in addition to the camera 4, the sonar sensor 5, and the monitor device 10.
  • the in-vehicle network 15 is configured as, for example, a CAN (controller area network).
  • ECU 12, sonar sensor 5, shift sensor 13, and wheel speed sensor 14 are connected to in-vehicle network 15.
  • the camera 4 is connected to the ECU 12.
  • the monitor device 10 is connected to the ECU 12 and the in-vehicle network 15.
  • the control system may include an accelerator sensor, a brake system, a steering system, or the like.
  • the shift sensor 13 detects the range selected by the driver by detecting the position of the shift lever 11 operated by the driver.
  • the wheel speed sensor 14 is a sensor that detects the number of rotations of the wheel 3 per unit time, and outputs the number of wheel speed pulses indicating the number of rotations per unit time as detection information.
  • the wheel speed sensor 14 is provided in each of the four wheels 3, for example.
  • Information detected by the sonar sensor 5, the shift sensor 13, and the wheel speed sensor 14 is sent to the ECU 12 via the in-vehicle network 15.
  • the ECU 12 executes control of the engine unit, the steering system, the brake system, etc. according to each detection information.
  • the ECU 12 can receive an image output from the camera 4. Further, the ECU 12 can receive input information input to the operation input unit 9 via the in-vehicle network 15.
  • the ECU 12 includes a CPU (Central Processing Unit) 12a, an SSD (Solid State Drive) 12b, a ROM (Read Only Memory) 12c, and a RAM (Random Access Memory) 12d.
  • the CPU 12a, ROM 12c, and RAM 12d may be integrated in the same package.
  • the CPU 12a is a processor that can execute an arbitrary program
  • the SSD 12b, the ROM 12c, and the RAM 12d are memories that can hold an arbitrary program and arbitrary data. That is, the ECU 12 has a hardware configuration equivalent to that of a computer.
  • the ECU12 is an example of the periphery monitoring apparatus of embodiment.
  • the ROM 12c stores the program 100 and the vehicle model 101 in advance.
  • the CPU 12a reads out the program 100 stored in advance in the ROM 12c and executes the program 100 to realize a function as a periphery monitoring device.
  • the RAM 12d temporarily stores various types of data used in computations by the CPU 12a.
  • the SSD 12b is a rewritable nonvolatile storage unit, and can maintain the data stored by the CPU 12a even when the power of the ECU 12 is turned off.
  • the program 100 or the vehicle model 101 may be stored in advance in the SSD 12b.
  • ECU12 as a periphery monitoring apparatus displays the image which shows surrounding environment on the display screen 8 using the back image imaged with the camera 4.
  • the ECU 12 displays each rear image output from the camera 4 at a predetermined frame rate and immediately displays it on the display screen 8 after acquisition.
  • This display method is referred to as a live mode.
  • the trailer 1000 is in the imaging area of the camera 4 provided on the back panel 2a.
  • the ECU 12 operates in the live mode, so that the driver can grasp the real-time positional relationship between the vehicle 1 and the trailer 1000 via the display screen 8.
  • “immediately” means that the driver does not feel a time lag as quickly as possible. Therefore, in the live mode, if the processing is sufficiently fast, arbitrary image processing can be performed on the rear image after the rear image is acquired and before it is displayed on the display screen 8.
  • the driver needs to confirm the positional relationship between the coupler 1001 and the hitch ball 6 for alignment.
  • the imaging area of the camera 4 is at least behind the back panel 2 a
  • the hitch ball 6 is located in the blind spot area of the camera 4. Therefore, the ECU 12 cannot display the hitch ball 6 in the live mode.
  • the coupler 1001 also enters the blind spot area of the camera 4, so the ECU 12 cannot display the coupler 1001 in the live mode. Therefore, in the live mode, it is difficult for the driver to perform alignment based on the content displayed on the display screen 8.
  • the ECU 12 is configured to be able to operate in the past image mode in addition to the live mode.
  • the past image mode is a mode in which a rear image captured in the past by the camera 4 is displayed.
  • the ECU 12 superimposes identification information indicating the position of the vehicle 1 on the rear image captured in the past so that the driver can confirm the real-time position of the vehicle 1 in the surrounding environment.
  • a rear image on which information is superimposed is displayed.
  • FIG. 9 is a diagram showing the transition of the display content of the display screen 8 of the embodiment.
  • the image 80a is display content displayed in the state shown in FIG. 5, the image 80b is display content displayed in the state shown in FIG. 6, and the image 80c is displayed in the state shown in FIG. Display content.
  • the image 80a is a display example in the live mode, and the images 80b and 80c are display examples in the past image mode.
  • the image 80a includes a trailer image 301.
  • the trailer image 301 includes a coupler image 302 that is an image of the coupler 1001.
  • the trailer image 301 is included in the rear image and is a real image. That is, the trailer image 301 shows only the part that is in the imaging area of the camera 4.
  • the driver can determine the positional relationship between the trailer 1000 and the vehicle 1 by viewing the image 80 a displayed on the display screen 8.
  • a part of the vehicle 1 for example, a rear bumper
  • an image of the rear bumper is included in the image 80a.
  • a guide line indicating the distance from the rear end of the vehicle 1 may be superimposed on the image 80a and displayed.
  • three guide lines indicating positions of 0.5 m, 1 m, and 1.5 m from the rear end of the vehicle 1 may be superimposed on the image 80a and displayed.
  • the trailer image 301 including the coupler image 302 is shown in the image 80b.
  • the trailer image 301 including the coupler image 302 is a real image.
  • a rear image (hereinafter referred to as a base image) captured in the past that is the source of the image 80b is a rear image captured when the back panel 2a is in a closed state. For example, the back panel 2a is in an open state. It is the back image imaged just before being made.
  • a cargo bed model image 202 which is a part of the vehicle model image 201 is further displayed.
  • the vehicle model image 201 is an example of identification information indicating the position of the vehicle 1.
  • the vehicle model image 201 includes a loading platform model image 202 having a shape simulating the contour of the loading platform 2 (more specifically, the bottom 2b of the loading platform 2), a rear wheel model image 203 having a shape simulating the contour of the rear wheel 3R, A hitch ball model image 204.
  • the hitchball model image 204 is identification information for indicating the real-time position of the hitchball 6, and has a shape simulating the outline of the installation position of the hitchball 6 as an example of the identification information.
  • the ECU 12 displays the display position of the vehicle model image 201 so that the position of the vehicle 1 after movement in the imaging region of the base image corresponds to the display position of the vehicle model image 201 in the base image. Are sequentially changed.
  • the image 80b only a part of the loading platform model image 202 is displayed at the lower end of the frame. This means that at the display timing of the image 80b, the vehicle 1 and the trailer 1000 are separated so that only a part of the rear end of the bottom 2b of the loading platform 2 of the vehicle 1 enters the imaging region of the base image. Show.
  • the display mode of the vehicle model image 201 is not limited to a specific mode.
  • the vehicle model image 201 may be displayed in a translucent manner, or only a line indicating an outline may be displayed.
  • the trailer image 301 including the coupler image 302 is shown in the image 80c.
  • the base image of the image 80b and the base image of the image 80c are common, and the trailer image 301 including the coupler image 302 is displayed on the image 80c in the same manner as the image 80b.
  • the vehicle model image 201 is superimposed on the image 80c.
  • the entire loading platform model image 202 is displayed. This indicates that at the display timing of the image 80c, the vehicle 1 is approaching the trailer 1000 to the extent that the entire bottom 2b of the loading platform 2 of the vehicle 1 enters the imaging region of the base image.
  • hitchball model image 204 included in vehicle model image 201 is displayed in image 80c.
  • the hitchball model image 204 shows the real-time position of the hitchball 6 in the imaging region of the base image. Since the ECU 12 superimposes the hitchball model image 204 indicating the real-time position of the hitchball 6 on the image captured in the past and displays it on the display screen 8, the driver is provided in the blind spot area of the camera 4. The real-time position of the hitch ball 6 can be confirmed via the display screen 8.
  • FIG. 10 is a block diagram showing a functional configuration of the ECU 12 as the periphery monitoring device of the embodiment.
  • the CPU 12a functions as the acquisition unit 120 and the image processing unit 121 by executing the program 100 stored in advance in the ROM 12c.
  • the image processing unit 121 includes a processing unit 123 and an output unit 124.
  • the ECU 12 also includes a storage unit 122 that stores the vehicle model 101 and the base image 110.
  • the storage unit 122 is realized by, for example, the SSD 12b, the ROM 12c, the RAM 12d, or a combination thereof.
  • the vehicle model 101 is three-dimensional information indicating the shape of the vehicle 1 and information for generating the vehicle model image 201.
  • the vehicle model 101 is created in advance. Details of the vehicle model 101 will be described later.
  • the base image 110 is a rear image used in the past image mode.
  • the acquisition unit 120 acquires the rear image output from the camera 4 and the detection information output from the wheel speed sensor 14.
  • the image processing unit 121 controls display of the display screen 8 based on each information acquired by the acquisition unit 120.
  • the output unit 124 outputs the rear image acquired from the camera 4 to the display screen 8 immediately after the timing of acquiring the rear image.
  • the image processing unit 121 sets the rear image acquired at the past timing as the base image 110, and the processing unit 123 adds the vehicle 1 at the current timing to the base image 110.
  • a vehicle model image 201 indicating the position of is superimposed.
  • the output unit 124 outputs an image generated by superimposing the vehicle model image 201 on the base image 110 to the display screen 8.
  • the image processing unit 121 stores the rear image acquired at that time in the storage unit 122 as the base image 110 at the timing of transition from the live mode to the past image mode.
  • the generation method of the vehicle model image 201 is not limited to a specific method. An example of a method for generating the vehicle model image 201 will be described below.
  • the processing unit 123 sets a three-dimensional virtual space and arranges the vehicle model 101 and the virtual viewpoint 402 in the virtual space 400 when the base image 110 is acquired.
  • FIG. 11 is a diagram illustrating an example of the arrangement of the vehicle model 101 and the virtual viewpoint 402 according to the embodiment.
  • the vehicle model 101 is arranged on a plane 401 corresponding to the ground.
  • the vehicle model 101 imitates the outline of the installation position of the hitch ball 6 and the rear wheel model 103 having the shape imitating the outline of the rear wheel 3R, the load wheel model 102 having a shape imitating the outline of the bottom 2b of the cargo bed 2.
  • a hitchball model 104 having the above shape.
  • the positional relationship between the loading platform model 102, the rear wheel model 103, and the hitch ball model 104 corresponds to the positional relationship between the bottom 2b of the loading platform 2, the rear wheel 3R, and the hitch ball 6 in the actual vehicle 1.
  • the position of the virtual viewpoint 402 with respect to the vehicle model 101 corresponds to the position of the camera 4 with respect to the vehicle 1.
  • the orientation of the virtual viewpoint 402 with respect to the vehicle model 101 is equal to the orientation of the camera 4 with respect to the vehicle model 101.
  • the angle of view of the virtual viewpoint 402 is equal to the angle of view of the camera 4. Therefore, the view from the virtual viewpoint 402 corresponds to the view from the camera 4.
  • the processing unit 123 calculates the movement amount of the vehicle 1 based on the timing at which the base image 110 is captured after the vehicle 1 moves.
  • the processing unit 123 calculates the amount of movement of the vehicle 1 by integrating the number of wheel speed pulses for each wheel 3.
  • the movement amount is a vector amount including direction information.
  • the processing unit 123 moves the vehicle model 101 from the initial position by an amount corresponding to the calculated movement amount while fixing the position of the virtual viewpoint 402 in the virtual space 400. Then, the processing unit 123 generates a vehicle model image 201 by viewpoint conversion using the virtual viewpoint 402.
  • the viewpoint conversion is to obtain an image showing the field of view from the virtual viewpoint 402 by perspective projection with the virtual viewpoint 402 as the viewpoint.
  • the image showing the field of view from the virtual viewpoint 402 has a frame. Since the field of view from the virtual viewpoint 402 corresponds to the field of view of the camera 4 when the base image 110 is captured, the frame of the image indicating the field of view from the virtual viewpoint 402 corresponds to the frame of the base image 110.
  • the vehicle model 101 exists in the field of view from the virtual viewpoint 402
  • the vehicle model image 201 is included in the frame.
  • the processing unit 123 aligns the frame of the two-dimensional plane on which the vehicle model 101 is projected and the frame of the base image 110 when the vehicle model image 201 is superimposed on the base image 110.
  • the vehicle model image 201 is superimposed on a position indicating the real-time position of the vehicle 1 in the base image 110.
  • the hitchball model image 204 is superimposed on a position indicating the real-time position of the hitchball 6 in the base image 110.
  • the method for calculating the movement amount is not limited to the method using the number of wheel speed pulses.
  • a method of calculating the movement amount based on the image output from the camera 4 can be employed. Specifically, it is possible to calculate the optical flow using two images with different captured timings, and to calculate the movement amount of the vehicle 1 between the timings when the images are captured based on the calculated optical flows. It is. By such a method, the processing unit 123 may calculate the movement amount of the vehicle 1 from the sequentially acquired rear images.
  • FIG. 12 is a flowchart for explaining the operation of the ECU 12 as the periphery monitoring device of the embodiment.
  • the image processing unit 121 determines whether or not the display start timing has been reached (S101).
  • the method for determining the display start timing is not limited to a specific method.
  • the shift sensor 13 detects that the reverse range has been selected and notifies the ECU 12.
  • the acquisition unit 120 receives the notification, the image processing unit 121 determines that the display start timing has been reached.
  • the image processing unit 121 displays a button that prompts input of display start on the display screen 8. And if a driver
  • the acquisition unit 120 receives the notification as an operation input for starting display.
  • the image processing unit 121 determines that the display start timing has been reached.
  • the image processing unit 121 determines that the display start timing has not been reached (No in S101), the image processing unit 121 executes the process of S101 again.
  • the acquisition unit 120 acquires the rear image output from the camera 4 (S102). Then, the output unit 124 immediately outputs the rear image acquired in S102 to the display screen 8 (S103).
  • the image processing unit 121 determines whether or not the mode switching timing has been reached (S104). If the image processing unit 121 determines that the mode switching timing has not been reached (No in S104), it executes the processing of S102 to S103 again, and then executes the processing of S104 again.
  • the processing of S102 and S103 corresponds to the operation in the live mode.
  • the loop processing from S102 to S104, No is repeatedly executed in a short cycle until the control exits this loop processing.
  • the operation in the live mode is continued until the control exits this loop process.
  • the method for determining the timing of mode switching is not limited to a specific method.
  • the acquisition unit 120 acquires a mode switching operation input by the driver, and the image processing unit 121 determines the mode switching timing based on the mode switching operation input.
  • the image processing unit 121 displays a button that prompts input of mode switching on the display screen 8.
  • the operation input unit 9 detects that the button is touched and notifies the ECU 12 of it.
  • the acquisition unit 120 receives the notification as a mode switching operation input.
  • the image processing unit 121 determines that the mode switching timing has been reached.
  • the acquisition unit 120 acquires an operation input for switching the range of the speed change mechanism by the driver, and the image processing unit 121 switches the mode based on an operation input for switching the range of the speed change mechanism from the reverse range to another range.
  • Determine the timing For example, the driver starts the backward movement of the vehicle 1 from the state shown in FIG. 5, then stops the vehicle 1 and gets off the vehicle 1 to manually change the back panel 2a from the closed state to the open state.
  • the shift sensor 13 detects that the parking range has been selected and notifies the ECU 12.
  • the acquisition unit 120 receives the notification as an operation input for switching the range of the speed change mechanism from the reverse range to another range.
  • the image processing unit 121 determines that the mode switching timing has been reached. Note that the range after switching is not necessarily the parking range.
  • the acquisition unit 120 acquires an operation input for opening the back panel 2a, and the image processing unit 121 determines a mode switching timing based on the operation input for opening the back panel 2a.
  • a sensor is provided on the hinge of the back panel 2a. When the back panel 2a changes from the closed state to the open state, the sensor detects that fact and notifies the ECU 12.
  • the acquisition unit 120 receives the notification as an operation input for opening the back panel 2a.
  • the image processing unit 121 determines that the mode switching timing has been reached.
  • the operation input detection method for opening the back panel 2a is not limited to the detection method using a sensor provided on the hinge of the back panel 2a.
  • the back panel 2a may be configured to be openable and closable by an operation of an operation unit provided inside or outside the vehicle 1.
  • the acquisition unit 120 can acquire an operation input for opening the back panel 2a via the operation unit.
  • the acquisition unit 120 acquires detection information from the sonar sensor 5, and the image processing unit 121 determines the mode switching timing based on the detection information from the sonar sensor 5. Specifically, for example, the image processing unit 121 sequentially acquires detection information from the sonar sensor 5. Each detection information indicates a real-time distance from the vehicle 1 to the trailer 1000. The image processing unit 121 compares the real-time distance from the vehicle 1 to the trailer 1000 with a threshold value, and determines that the mode switching timing has been reached when the distance falls below the threshold value. A value larger than the shortest distance at which the coupler 1001 does not collide with the back panel 2a and the coupler 1001 does not interfere with the opening / closing operation of the back panel 2a is used as a threshold value for determination. The threshold value is set in advance, for example.
  • the image processing unit 121 determines that the mode switching timing has been reached (S104, Yes)
  • the ECU 12 starts the operation in the past image mode.
  • the acquisition unit 120 acquires a rear image captured by the camera 4 (S105). Then, the image processing unit 121 stores the rear image acquired in S105 as the base image 110 in the storage unit 122 (S106).
  • the processing unit 123 places the vehicle model 101 and the virtual viewpoint 402 in the virtual space 400 (S107). For example, as described with reference to FIG. 11, in S ⁇ b> 107, the processing unit 123 places the vehicle model 101 in the virtual space 400, and the processing unit 123 places the virtual viewpoint 402 at a position corresponding to the installation position of the camera 4. Deploy.
  • the processing unit 123 generates the vehicle model image 201 by perspective projection from the virtual viewpoint 402 (S108).
  • the output unit 124 reads the base image 110 from the storage unit 122, superimposes the vehicle model image 201 on the read base image 110, and displays the base image 110 on which the vehicle model image 201 is superimposed on the display screen 8 (S109). ).
  • the image processing unit 121 determines whether or not the display end timing has been reached (S110).
  • the method for determining the display end timing is not limited to a specific method.
  • the image processing unit 121 may determine the display end timing based on the operation input input to the operation input unit 9, or based on the operation input for switching the range of the transmission mechanism.
  • the display end timing may be determined.
  • the acquisition unit 120 acquires the number of wheel speed pulses (S111). And the process part 123 calculates the movement amount of the vehicle 1 based on a wheel speed pulse number (S112). The amount of movement is obtained by integrating the number of wheel speed pulses.
  • the processing from S108 to S110 through S113 to S113 constitutes a loop processing. That is, the process of S112 is repeatedly executed until the control exits this loop process.
  • the processing unit 123 calculates the movement amount of the vehicle 1 from the timing at which S112 was executed last time in S112.
  • the processing unit 123 calculates the movement amount of the vehicle 1 after the base image is acquired in S112.
  • the processing unit 123 changes the position of the vehicle model 101 on the virtual space 400 according to the movement amount (S113). For example, when the vehicle 1 moves backward by a certain movement amount, the processing unit 123 moves the vehicle model 101 backward by a corresponding amount in the virtual space 400.
  • the loop processing from S108 through S110, No to S113 is repeatedly executed in a short cycle.
  • the image processing unit 121 can display the same base image 110 and move the hitchball model image 204 on the base image 110 so as to correspond to the movement of the hitchball 6 in real time. it can. That is, the position of the hitch ball model image 204 on the base image 110 always indicates the real time position of the hitch ball 6.
  • the periphery monitoring device adds the real-time (second timing) position after the first timing of the hitch ball 6 to the rear image acquired in the past (first timing).
  • a hitchball model image 204 that is identification information to be displayed is superimposed, and a rear image on which the hitchball model image 204 is superimposed is displayed on the display screen 8.
  • the periphery monitoring device of the embodiment can facilitate the alignment between the connecting devices.
  • the hitch ball 6 is provided on the bottom 2 b of the loading platform 2 and the hitch ball 6 is located in the blind spot area of the camera 4.
  • the position where the hitch ball 6 is provided may not be the bottom 2b of the loading platform 2. Further, even when the hitch ball 6 is installed in the imaging area of the camera 4, the technique of the embodiment can be applied.
  • a hitch ball 6 is provided in the vicinity of the rear bumper, and a V nose type trailer is connected via the hitch ball 6.
  • the hitch ball 6 can enter the imaging area of the camera 4 provided on the back panel 2a.
  • the periphery monitoring device uses a rear image captured at a past timing when a sufficient amount of light in the imaging area is secured as the base image 110, and displays the hitchball model image 204 superimposed on the base image 110. It becomes possible to display the real-time position of the hitch ball 6 in an easy-to-understand manner.
  • the periphery monitoring device may further superimpose identification information extending from the tip of the coupler 1001 to the ground on the base image 110.
  • FIG. 13 is a diagram illustrating another display example of the display screen 8 according to the embodiment.
  • An image 80d shows a display example in the past image mode.
  • the trailer image 301 including the coupler image 302 is shown as in the image 80b.
  • the trailer image 301 including the coupler image 302 is included in the base image and is a real image.
  • An object image 205 simulating a cylinder extending from a position indicating the tip of the coupler image 302 to a position indicating the ground immediately below the tip of the coupler 1001 is superimposed on the image 80d.
  • the driver can visually recognize the height information of the tip of the coupler 1001 by visually recognizing the object image 205 via the display screen 8.
  • the display method of the object image 205 is not limited to a specific method.
  • a measurement device capable of measuring three-dimensional data of the surrounding environment behind is provided in the vehicle 1, and the acquisition unit 120 acquires a measurement result from the measurement device.
  • the measuring device is, for example, a stereo camera or a laser range scanner.
  • the processing unit 123 calculates the distance and direction from the vehicle 1 to the coupler 1001 and the height of the tip of the coupler 1001 based on the acquired measurement result. Then, the processing unit 123 places a cylindrical object having a length corresponding to the height of the tip of the coupler 1001 at a corresponding position in the virtual space 400. And the process part 123 produces
  • the method for identifying the coupler 1001 from the three-dimensional data is not limited to a specific method.
  • the image processing unit 121 displays the base image 110 on the display screen 8, and the driver touches the operation input unit 9 to instruct a portion of the base image 110 where the coupler 1001 is shown.
  • the processing unit 123 corresponds to the coupler 1001 in the three-dimensional data by comparing the touched position with the three-dimensional data obtained from the measurement device at substantially the same timing as when the base image 110 was captured. Specify the part to be.
  • the processing unit 123 stores an image of the coupler 1001 in the storage unit 122 or the like in advance, and a portion of the base image 110 in which the coupler 1001 is reflected by pattern matching using the image of the coupler 1001.
  • the processing unit 123 compares the specified portion in the base image 110 with the real-time three-dimensional data obtained from the measurement device at substantially the same timing as when the base image 110 was captured. A portion corresponding to the coupler 1001 is specified in the dimension data.
  • the periphery monitoring device can generate the object image 205 by various methods.
  • the display mode of the identification information extending from the tip of the coupler 1001 to the ground is not limited to the object image 205 imitating the shape of a cylinder.
  • the identification information extending from the tip of the coupler 1001 to the ground may have a linear shape.
  • the periphery monitoring device can operate in the live mode in addition to the past image mode.
  • the periphery monitoring device displays the acquired rear image on the display screen 8 immediately after the acquisition timing.
  • the driver can check the state in the imaging region of the camera 4 with a real-time captured image.
  • the periphery monitoring device is an operation input for mode switching, an operation input for switching the range of the speed change mechanism from the reverse range to another range, an operation input for switching the back panel 2a from the closed state to the open state, or a distance measuring device. Transition from the live mode to the past image mode based on the detection information from the sonar sensor 5. As described above, the periphery monitoring device can perform transition between modes using various events as triggers.
  • the rear image acquired at the time of mode switching is set as the base image 110.
  • the method for selecting the base image 110 is not limited to this.
  • the image processing unit 121 accumulates sequentially acquired rear images in, for example, the storage unit 122 in chronological order. Then, the image processing unit 121 selects the last acquired rear image including the coupler image 302 from the plurality of rear images stored in the storage unit 122. Then, the image processing unit 121 sets the selected rear image as the base image 110. Whether or not the coupler image 302 is included in the rear image can be determined by pattern matching or the like, for example.
  • the image processing unit 121 determines whether or not the coupler image 302 is included in the sequentially acquired rear image every time the rear image is acquired, and the determination result indicates that the coupler image 302 is included in the rear image.
  • the live mode may be automatically changed to the past image mode.
  • the image processing unit 121 may set, as the base image 110, a rear image acquired at a timing that is back by a predetermined time from the mode switching timing.
  • the vehicle model 101 has been described as including the loading platform model 102 and the rear wheel model 103 in addition to the hitch ball model 104.
  • the vehicle model 101 only needs to include the hitch ball model 104.
  • the loading platform model 102 can be omitted from the vehicle model 101.
  • the rear wheel model 103 can be omitted from the vehicle model 101.
  • a three-dimensional model that realistically shows the shape of the vehicle 1 can be employed.
  • the expression method of the three-dimensional shape of the vehicle model 101 is not limited to a specific method.
  • the three-dimensional shape of the vehicle model 101 can be represented by a polygon model, a wire frame model, or a solid model.
  • the periphery monitoring device may be configured to be able to transition from the past image mode to the live mode. After the loading platform 2 enters directly below the coupler 1001, the back panel 2a can be closed. For example, the driver may switch from the past image mode to the live mode after the loading platform 2 enters directly below the coupler 1001.
  • the peripheral monitoring apparatus stores in advance a trailer image 301 at the time of completion of alignment described below, and after returning to the live mode from the past image mode, the trailer image 301 at the time of completion of alignment is superimposed on the image in the live mode. May be displayed.
  • the trailer image 301 at the time of completion of alignment is, for example, captured and stored when a connecting operation has been performed in the past.
  • the perimeter monitoring device performs various image processing on the trailer image 301 at the time of completion of alignment before superimposition so as not to prevent the driver from visually recognizing the actual image.
  • the periphery monitoring device performs contour extraction on the trailer image 301 at the time of completion of alignment and displays the extracted contour.
  • FIG. 14 is a diagram illustrating still another display example of the display screen 8 according to the embodiment.
  • the contour 80 of the trailer image 301 is indicated by a dotted line in the image 80e.
  • the driver can perform alignment by driving the vehicle 1 so that the real-time trailer image 301 and the contour 206 coincide with each other.
  • the periphery monitoring device may change the display mode of the vehicle model image 201 according to the distance between the hitch ball 6 and the coupler 1001. For example, when the distance between the hitch ball 6 and the coupler 1001 is larger than a preset threshold value, the surroundings monitoring device displays the hitch ball model image 204 in blue and displays the hitch ball 6 and the coupler 1001. Is smaller than the threshold value, the hitch ball model image 204 is displayed in red.
  • the method for changing the display mode is not limited to this.
  • the periphery monitoring device can change from non-flashing display to flashing display or vice versa when the distance becomes smaller than the threshold value.
  • the periphery monitoring device displays the platform model image 202, the rear wheel model image 203, and the hitch ball model image 204, and the distance is greater than the threshold value.
  • the hitch ball model image 204 of the vehicle model image 201 is displayed.
  • the periphery monitoring device calculates a route to a position where the alignment of the hitch ball 6 and the coupler 1001 is completed at an arbitrary timing, and controls the steering angle so that the vehicle 1 moves along the calculated route. May be.
  • the driver can perform alignment only by operating the accelerator pedal and the brake pedal.
  • the periphery monitoring device may be configured to automatically perform acceleration / deceleration so that the vehicle 1 moves along the calculated route.
  • the acquisition unit 120, the processing unit 123, and the output unit 124 are realized by the CPU 12a executing the program 100. Part or all of the acquisition unit 120, the processing unit 123, and the output unit 124 may be realized by a hardware circuit.
  • the program 100 is a file in a format that can be installed in a computer or executable, and is read by a computer such as a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), or flash memory. It can be provided by being recorded on a possible recording medium.
  • a computer such as a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), or flash memory. It can be provided by being recorded on a possible recording medium.
  • the program 100 may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network.
  • the program 100 can be provided or distributed via a network such as the Internet.
  • program 100 can be provided by being incorporated in advance in the ROM 12c or the like.
  • the vehicle model 101 can be provided by being recorded on a computer-readable recording medium such as a CD-ROM, FD, CD-R, DVD, or flash memory.
  • the vehicle model 101 may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network.
  • the vehicle model 101 can be provided or distributed via a network such as the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

実施形態にかかる周辺監視装置は、被牽引車を連結するための第１の連結装置を有する車両の第１の後方画像を第１のタイミングに取得する取得部と、第１のタイミングよりも後の第２のタイミングにおいて、第１の連結装置の第２のタイミングの位置を示す第１の識別情報を第１の後方画像に重畳し、第１の識別情報が重畳された第１の後方画像を車両の室内に設けられるよう構成された表示画面に表示する画像処理部と、を備えた。

Description

周辺監視装置
　本発明の実施形態は、周辺監視装置に関する。
　従来、車両に設置された撮像装置で車両の後方の周辺環境を撮像し、撮像された画像を車室内に設けられた表示画面を介して運転者に提供する技術がある。
　また、従来、キャンピングカーなどの被牽引車を牽引することができる車両がある。
特開２００２－３５９８３９号公報 特許第３４８３１４３号公報 特開２００６－００１５３３号公報
　車両に設けられた連結装置と被牽引車に設けられた連結装置とを車両を被牽引車に向かって後退させることによって連結する場合がある。そのような場合、運転者は、車両を運転しながら双方の連結装置の位置合わせを行う必要がある。
　本発明の課題の一つは、車両に被牽引車を連結する際に連結装置間の位置合わせを行いやすくする周辺監視装置を提供することである。
　本発明の実施形態の周辺監視装置は、一例として、被牽引車を連結するための第１の連結装置を有する車両の第１の後方画像を第１のタイミングに取得する取得部と、第１のタイミングよりも後の第２のタイミングにおいて、第１の連結装置の第２のタイミングの位置を示す第１の識別情報を第１の後方画像に重畳し、第１の識別情報が重畳された第１の後方画像を車両の室内に設けられるよう構成された表示画面に表示する画像処理部と、を備えた。運転者は、表示画面を介して第１の連結装置のリアルタイムの位置を確認することが可能であるので、周辺監視装置は、連結装置間の位置合わせを行いやすくすることができる。
　また、本発明の実施形態の周辺監視装置では、一例として、車両に撮像装置が設けられるよう構成され、第１の連結装置は、撮像装置の死角領域に設けられ、取得部は、撮像装置から第１の後方画像を取得する。周辺監視装置は、第１の連結装置が撮像装置の死角領域に設けられている場合であっても表示画面に第１の連結装置のリアルタイムの位置を示すことができるので、運転者は、表示画面を介して第１の連結装置のリアルタイムの位置を確認することが可能である。
　また、本発明の実施形態の周辺監視装置では、一例として、画像処理部は、被牽引車に設けられた第１の連結装置と連結する第２の連結装置の先端から地面まで延伸する第２の識別情報を第１の後方画像にさらに重畳する。よって、運転者は、表示画面を視認することによって、第２の連結装置の先端の高さを直感的に認識することが可能となる。
　また、本発明の実施形態の周辺監視装置では、一例として、取得部は、第３のタイミングに第２の後方画像を取得し、画像処理部は、取得された第２の後方画像を表示画面に第３のタイミングの後に即時的に表示し、第３のタイミングは、第１モードで動作中のタイミングであり、第２のタイミングは、第１モードと異なる第２モードで動作中のタイミングである。よって、周辺監視装置が第１のモードで動作しているとき、運転者は、撮像装置の撮像領域内の状態をリアルタイムの実写画像によって確認することが可能である。
　また、本発明の実施形態の周辺監視装置では、一例として、取得部は、モード切り替えの操作入力、または車両の変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力、またはテールゲートを閉状態から開状態にする操作入力、または車両に設けられた車両と被牽引車との距離を検出する測距装置からの検出情報、を取得し、周辺監視装置は、取得されたいずれかの操作入力または検出情報に基づいて第１モードから第２モードに遷移する。よって、周辺監視装置は、種々の事象をトリガとしてモード間の遷移を行うことができる。
図１は、実施形態の周辺監視装置を搭載する車両が示された側面図である。 図２は、実施形態の周辺監視装置を搭載する車両を左後方から見た斜視図である。 図３は、実施形態の周辺監視装置を搭載する車両を左後方から見た斜視図である。 図４は、実施形態の周辺監視装置を搭載する車両の車室内の一例を示す図である。 図５は、トレーラの連結方法の一例を説明するための図である。 図６は、トレーラの連結方法の一例を説明するための図である。 図７は、トレーラの連結方法の一例を説明するための図である。 図８は、実施形態の制御システムの構成の一例を示すブロック図である。 図９は、実施形態の表示画面の表示内容の推移を示す図である。 図１０は、実施形態のＥＣＵの機能的構成を示すブロック図である。 図１１は、車両モデルおよび仮想視点の実施形態の配置の一例を示す図である。 図１２は、実施形態の周辺監視装置としてのＥＣＵの動作を説明するためのフローチャートである。 図１３は、実施形態の表示画面の別の表示例を示す図である。 図１４は、実施形態の表示画面のさらに別の表示例を示す図である。
　以下、本実施形態の周辺監視装置を車両１に搭載した例をあげて説明する。
　＜実施形態＞
　実施形態の車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車または燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、数、およびレイアウト等は、種々に設定することができる。
　図１は、実施形態の周辺監視装置を搭載する車両１が示された側面図である。図１では、紙面左方向を車両１を基準とする前方、紙面右方向を車両１を基準とする後方としている。図２および図３は、実施形態の周辺監視装置を搭載する車両１を左後方から見た斜視図である。図２および図３では、紙面左上方向が車両１を基準とする前方であり、紙面左下方向が車両１を基準とする左方であり、紙面右下方向が車両１を基準とする後方であり、紙面右上方向が車両１を基準とする右方である。図４は、実施形態の周辺監視装置を搭載する車両１の車室内の一例を示す図であり、車両１の後方から車室内を見た図である。
　実施形態の周辺監視装置を搭載する車両１は、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、車両１の後ろ側には、開放式の荷台２が設けられている。このようなタイプの車両１は、ピックアップトラックと呼ばれる。荷台２のバックパネル（テールゲート）２ａは、荷台２の底部２ｂの後端に開閉自在に取り付けられている。図１および図２は、バックパネル２ａが閉状態であるときの車両１を示しており、図３は、バックパネル２ａが開状態であるときの車両１を示している。
　バックパネル２ａの中央には、カメラ４が設けられている。カメラ４は、ＣＣＤ（ｃｈａｒｇｅ　ｃｏｕｐｌｅｄ　ｄｅｖｉｃｅ）、またはＣＩＳ（ＣＭＯＳ　ｉｍａｇｅ　ｓｅｎｓｏｒ）、等の撮像素子を内蔵する撮像装置である。カメラ４は、撮像素子によって撮像された画像を所定のフレームレートで後述のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１２に出力する。
　車両１の周辺環境のうちの後方の領域を撮像可能なように、カメラ４の向き、カメラ４の画角、およびカメラ４の設置位置が決められている。これにより、カメラ４は、車両１の後方の領域が写っている画像である後方画像を撮像することができる。なお、カメラ４の設置位置はバックパネル２ａの中央に限定されない。また、カメラ４の数は、１に限定されない。ＥＣＵ１２が、複数のカメラ４からの画像を合成することによって後方画像を生成してもよい。
　車両１のリアバンパーには、ソナーセンサ５が設けられている。ソナーセンサ５は、車両１の後方の物体までの距離を測定する測距装置である。測距装置としては、ソナーセンサ５の代わりに、レーザレンジスキャナ、ステレオカメラ、など、他の種類の装置が採用可能である。ソナーセンサ５は検出した距離を検出情報として出力する。なお、ソナーセンサ５の設置位置は、上記に限定されない。また、ソナーセンサ５の設置数は、１に限定されない。
　また、図４に例示されるように、車両１の室内には、表示画面８を有するモニタ装置１０が設けられている。表示画面８は、例えば、ＬＣＤ（liquid　crystal　display）またはＯＥＬＤ（organic　electroluminescent　display）等によって構成される。また、表示画面８は透明な操作入力部９で覆われている。操作入力部９は、例えばタッチパネルである。運転者は、操作入力部９を介して表示画面８に表示される画像を視認することができる。また、運転者は、表示画面８に表示される画像に対応した位置で手指等で操作入力部９を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。モニタ装置１０は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に設けられている。モニタ装置１０は、タッチパネル以外の操作入力部を備え得る。例えば、モニタ装置１０は、他の操作入力部として、スイッチ、ダイヤル、ジョイスティック、または押しボタンが設けられていてもよい。モニタ装置１０は、例えば、ナビゲーションシステムやオーディオシステムと兼用され得る。
　また、車室内において、センターコンソールには、変速機構を操作するためのシフトレバー１１が設けられている。例えば車両１に搭載される変速機構がオートマチックトランスミッションである場合、運転者は、シフトレバー１１を操作することによって、パーキングレンジ、リバースレンジ、ニュートラルレンジ、およびドライブレンジを含む複数のレンジから、所望のレンジを選択することができる。例えば、運転者は、シフトレバー１１をリバースレンジに入れると、不図示のアクセルペダルの操作により、車両１を後退させることが可能になる。
　また、図３に例示されるように、荷台２の底部２ｂには、ヒッチボール６が取り付けられている。ヒッチボール６は、被牽引車を連結するための車両１側の連結装置である。以降、被牽引車をトレーラと表記する。
　図５～図７は、トレーラ１０００の連結方法の一例を説明するための図である。図５～図７の例では、連結対象のトレーラ１０００は、グースネックタイプのキャンピングカーである。トレーラ１０００のグースネック部には、トレーラ１０００側の連結装置であるカプラ１００１が取り付けられている。カプラ１００１は、グースネック部から地面方向に延伸する柱状の形状を有している。そして、カプラ１００１の先端は、ヒッチボール６と嵌合可能な形状を有している。カプラ１００１は、地面方向に伸縮自在にグースネック部に取り付けられている。
　連結作業にあたっては、運転者はまず、車両１の真後ろにトレーラ１０００の正面が位置するように、車両１を移動する。車両１とトレーラ１０００との位置関係は、図５に例示される状態になる。この状態から、運転者は、車両１をトレーラ１０００に向かって後退させる。
　図５の例では、カプラ１００１の先端は、ヒッチボール６よりも高い位置にあるが、閉状態のバックパネル２ａの最上部よりも低い位置にある。したがって、所定の位置まで車両１を後退させると、バックパネル２ａがカプラ１００１に衝突する。そこで、運転者は、車両１とトレーラ１０００がある距離まで近づいたときに、図６に例示されるように、バックパネル２ａを閉状態から開状態にする。
　バックパネル２ａを開状態にした後、運転者は、再び車両１をトレーラ１０００の方に後退させる。荷台２がカプラ１００１の真下に入った後は、バックパネル２ａを閉状態にすることが可能である。運転者は、引き続き車両１を後退させ、ヒッチボール６とカプラ１００１との位置合わせを行う。位置合わせは、この場合、運転者は、カプラ１００１の先端の真下にヒッチボール６が位置する場所に、車両１を停止させることである。図７は、位置合わせの完了後の状態を示している。位置合わせが完了後、運転者は、カプラ１００１を下方に延伸することによってカプラ１００１の先端をヒッチボール６に嵌合させ、その後、双方を連結する。
　なお、ヒッチボール６は、トレーラ１０００を連結するための連結装置の一例である。ヒッチボール６のほかには、例えば、第５輪と呼ばれるタイプの連結装置が採用され得る。車両１側の連結装置として第５輪が採用される場合、トレーラ１０００側の連結装置としてキングピンが採用される。
　車両１には、車両１を制御する制御システムが設けられている。図８は、実施形態の制御システムの構成の一例を示すブロック図である。制御システムは、カメラ４、ソナーセンサ５、およびモニタ装置１０のほかに、ＥＣＵ１２、シフトセンサ１３、車輪速センサ１４、および車内ネットワーク１５を備える。車内ネットワーク１５は、例えば、ＣＡＮ（controller　area　network）として構成されている。ＥＣＵ１２、ソナーセンサ５、シフトセンサ１３、および車輪速センサ１４は、車内ネットワーク１５に接続されている。カメラ４は、ＥＣＵ１２に接続されている。モニタ装置１０は、ＥＣＵ１２と車内ネットワーク１５とに接続されている。制御システムは、これらの他にも、アクセルセンサ、ブレーキシステム、または操舵システムなどを備え得る。
　シフトセンサ１３は、運転者が操作するシフトレバー１１の位置を検出することによって、運転者によって選択されたレンジを検出する。
　車輪速センサ１４は、車輪３の単位時間当たりの回転数を検出するセンサであり、単位時間当たりの回転数を示す車輪速パルス数を検出情報として出力する。車輪速センサ１４は、例えば４つの車輪３のそれぞれに設けられている。
　ソナーセンサ５、シフトセンサ１３、および車輪速センサ１４による検出情報は、車内ネットワーク１５を介してＥＣＵ１２に送られる。ＥＣＵ１２は、各検出情報に応じて、エンジンユニット、操舵システム、またはブレーキシステム、等の制御を実行する。
　また、ＥＣＵ１２は、カメラ４が出力する画像を受け取ることができる。また、ＥＣＵ１２は、操作入力部９に入力された入力情報を、車内ネットワーク１５を介して受け取ることができる。
　ＥＣＵ１２は、ＣＰＵ（Central　Processing　Unit）１２ａと、ＳＳＤ（Solid　　State　Drive）１２ｂと、ＲＯＭ（Read　Only　Memory）１２ｃと、ＲＡＭ（Random　Access　Memory）１２ｄと、を備える。ＣＰＵ１２ａ、ＲＯＭ１２ｃ、およびＲＡＭ１２ｄは、同一パッケージ内に集積されていてもよい。ＣＰＵ１２ａは、任意のプログラムを実行することができるプロセッサであり、ＳＳＤ１２ｂ、ＲＯＭ１２ｃ、およびＲＡＭ１２ｄは、任意のプログラムおよび任意のデータを保持することができるメモリである。即ち、ＥＣＵ１２は、コンピュータと同等のハードウェア構成を備えている。
　ＥＣＵ１２は、実施形態の周辺監視装置の一例である。ＲＯＭ１２ｃは、プログラム１００と、車両モデル１０１とを予め記憶する。ＣＰＵ１２ａは、ＲＯＭ１２ｃに予め記憶されたプログラム１００を読み出し、当該プログラム１００を実行することによって周辺監視装置としての機能を実現する。ＲＡＭ１２ｄは、ＣＰＵ１２ａでの演算で用いられる各種のデータを一時的に記憶する。ＳＳＤ１２ｂは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１２の電源がオフされた場合にあっても、ＣＰＵ１２ａによって格納されたデータを維持することができる。プログラム１００または車両モデル１０１は、ＳＳＤ１２ｂに予め記憶されてもよい。
　周辺監視装置としてのＥＣＵ１２は、カメラ４によって撮像された後方画像を利用して、周辺環境を示す画像を表示画面８に表示する。
　例えば、ＥＣＵ１２は、カメラ４から所定のフレームレートで出力されるそれぞれの後方画像を、取得した後に即時的に表示画面８に表示する。この表示方法を、ライブモードと表記する。図５に示される状態においては、バックパネル２ａに設けられたカメラ４の撮像領域にトレーラ１０００が入っている。このような場合、ＥＣＵ１２がライブモードで動作することにより、運転者は、車両１とトレーラ１０００とのリアルタイムの位置関係を、表示画面８を介して把握することができる。なお、即時的に、とは、運転者がタイムラグを感じない程度に速やかに、という意味である。したがって、ライブモードにおいては、十分に高速な処理であれば、後方画像が取得されてから表示画面８に表示されるまでの間に当該後方画像に対して任意の画像処理が実行され得る。
　ここで、カプラ１００１とヒッチボール６とが近くなってくると、運転者は、位置合わせのために、カプラ１００１とヒッチボール６との位置関係を確認する必要がある。しかしながら、カメラ４の撮像領域は少なくともバックパネル２ａよりも後ろ側であるため、ヒッチボール６は、カメラ４の死角領域に位置する。よって、ＥＣＵ１２は、ライブモードではヒッチボール６を表示することができない。また、図７に示される状態においては、カプラ１００１もカメラ４の死角領域に入るので、ＥＣＵ１２は、ライブモードではカプラ１００１を表示することができない。よって、ライブモードでは、運転者は、表示画面８に表示されている内容に基づいて位置合わせを行うことが困難である。
　また、図６に示されるようにバックパネル２ａが開状態である場合には、カメラ４が地面方向を向くため、トレーラ１０００がカメラ４の撮像領域から外れてしまう。このような場合、ＥＣＵ１２は、ライブモードでは、トレーラ１０００を表示することができない。
　そこで、ＥＣＵ１２は、ライブモードのほかに過去画モードで動作することができるように構成されている。過去画モードは、カメラ４によって過去に撮像された後方画像を表示するモードである。また、過去画モードでは、運転者が周辺環境における車両１のリアルタイムの位置を確認できるように、ＥＣＵ１２は、過去に撮像された後方画像に車両１の位置を示す識別情報を重畳し、当該識別情報が重畳された後方画像を表示する。
　図９は、実施形態の表示画面８の表示内容の推移を示す図である。画像８０ａは、図５に示される状態において表示される表示内容であり、画像８０ｂは、図６に示される状態において表示される表示内容であり、画像８０ｃは、図７に示される状態において表示される表示内容である。画像８０ａは、ライブモードでの表示例であり、画像８０ｂおよび画像８０ｃは過去画モードでの表示例である。
　画像８０ａには、トレーラ画像３０１が含まれている。トレーラ画像３０１は、カプラ１００１の画像であるカプラ画像３０２を含んでいる。トレーラ画像３０１は、後方画像に含まれているものであり、実写画像である。即ち、トレーラ画像３０１は、カメラ４の撮像領域に入っている部分のみを示している。運転者は、表示画面８に表示されている画像８０ａを視認することによって、トレーラ１０００と車両１との位置関係を判断することができる。なお、車両１の一部（例えばリアバンパーなど）がカメラ４の撮像領域に入っていてもよく、その場合はリアバンパーの画像が画像８０ａに含まれる。
　なお、画像８０ａに、車両１の後端部からの距離を示すガイド線が重畳されて表示されてもよい。例えば、車両１の後端部から０．５ｍ、１ｍ、および１．５ｍの位置をそれぞれ示す３本のガイド線が画像８０ａに重畳されて表示されてもよい。
　画像８０ｂには、カプラ画像３０２を含むトレーラ画像３０１が写っている。カプラ画像３０２を含むトレーラ画像３０１は、実写画像である。画像８０ｂの元となっている過去に撮像された後方画像（以降、ベース画像という）は、バックパネル２ａが閉状態であるときに撮像された後方画像であり、例えば、バックパネル２ａが開状態にされる直前に撮像された後方画像である。
　画像８０ｂには、車両モデル画像２０１の一部である荷台モデル画像２０２がさらに表示されている。車両モデル画像２０１は、車両１の位置を示す識別情報の一例である。
　車両モデル画像２０１は、荷台２（より詳しくは荷台２の底部２ｂ）の輪郭を模擬した形状を有する荷台モデル画像２０２と、後輪３Ｒの輪郭を模擬した形状を有する後輪モデル画像２０３と、ヒッチボールモデル画像２０４と、を含む。ヒッチボールモデル画像２０４は、ヒッチボール６のリアルタイムの位置を示すための識別情報であり、ここではその識別情報の一例として、ヒッチボール６の設置位置の輪郭を模擬した形状を有する。
　ＥＣＵ１２は、車両１が移動すると、ベース画像の撮像領域内における移動後の車両１の位置と、ベース画像における車両モデル画像２０１の表示位置と、が対応するように、車両モデル画像２０１の表示位置を、逐次変更する。
　例えば画像８０ｂにおいては、荷台モデル画像２０２のうちの一部のみが枠の下端に表示されている。これは、画像８０ｂの表示タイミングにおいて、車両１の荷台２の底部２ｂのうちの後端の一部のみがベース画像の撮像領域に進入する程度に車両１とトレーラ１０００とが離れていることを示している。
　なお、車両モデル画像２０１の表示様態は、特定の様態に限定されない。車両モデル画像２０１は、半透明化された様態で表示されてもよいし、輪郭を示す線のみが表示されてもよい。
　画像８０ｃには、カプラ画像３０２を含むトレーラ画像３０１が写っている。画像８０ｂのベース画像と画像８０ｃのベース画像とは共通しており、カプラ画像３０２を含むトレーラ画像３０１は、画像８０ｂと同じ様態で画像８０ｃに表示されている。また、画像８０ｃには、車両モデル画像２０１が重畳されている。
　画像８０ｃの場合、荷台モデル画像２０２の全体が表示されている。これは、画像８０ｃの表示タイミングにおいては、ベース画像の撮像領域に車両１の荷台２の底部２ｂの全部が進入する程度まで車両１がトレーラ１０００に近づいていることを示す。
　また、画像８０ｃには、車両モデル画像２０１に含まれるヒッチボールモデル画像２０４が表示されている。ヒッチボールモデル画像２０４は、ベース画像の撮像領域内におけるヒッチボール６のリアルタイムの位置を示している。ＥＣＵ１２は、過去に撮像された画像上にヒッチボール６のリアルタイムの位置を示すヒッチボールモデル画像２０４を重畳して表示画面８に表示するため、運転者は、カメラ４の死角領域に設けられているヒッチボール６のリアルタイムの位置を表示画面８を介して確認することができる。
　図１０は、実施形態の周辺監視装置としてのＥＣＵ１２の機能的構成を示すブロック図である。ＣＰＵ１２ａは、ＲＯＭ１２ｃ内に予め格納されたプログラム１００を実行することで、取得部１２０および画像処理部１２１として機能する。画像処理部１２１は、加工部１２３と、出力部１２４と、を備える。また、ＥＣＵ１２は、車両モデル１０１およびベース画像１１０を記憶する記憶部１２２を備える。記憶部１２２は、例えば、ＳＳＤ１２ｂ、ＲＯＭ１２ｃ、ＲＡＭ１２ｄ、またはそれらの組み合わせによって実現される。
　車両モデル１０１は、車両１の形状を示す３次元情報であり、車両モデル画像２０１を生成するための情報である。車両モデル１０１は、予め作成される。車両モデル１０１の詳細は後述する。
　ベース画像１１０は、過去画モードにおいて使用される後方画像である。
　取得部１２０は、カメラ４から出力される後方画像および車輪速センサ１４から出力される検出情報を取得する。
　画像処理部１２１は、取得部１２０によって取得された各情報に基づいて、表示画面８の表示を制御する。
　具体的には、ライブモードが設定されている場合には、出力部１２４は、カメラ４から取得した後方画像を、その後方画像を取得したタイミングの後に即時的に表示画面８に出力する。
　過去画モードが設定されている場合には、画像処理部１２１は、過去のタイミングに取得された後方画像をベース画像１１０に設定し、加工部１２３は、ベース画像１１０に現在のタイミングにおける車両１の位置を示す車両モデル画像２０１を重畳する。出力部１２４は、ベース画像１１０に車両モデル画像２０１が重畳されて生成された画像を表示画面８に出力する。画像処理部１２１は、ここでは一例として、ライブモードから過去画モードに遷移したタイミングで、そのときに取得した後方画像をベース画像１１０として記憶部１２２に保存する。
　車両モデル画像２０１の生成方法は、特定の方法に限定されない。車両モデル画像２０１の生成方法の一例を以下に説明する。
　加工部１２３は、３次元の仮想空間を設定し、ベース画像１１０が取得された際に、車両モデル１０１と仮想視点４０２とを仮想空間４００に配置する。
　図１１は、車両モデル１０１および仮想視点４０２の実施形態の配置の一例を示す図である。
　仮想空間４００において、地面に対応する平面４０１に車両モデル１０１が配置されている。車両モデル１０１は、荷台２の底部２ｂの輪郭を模した形状を有する荷台モデル１０２と、後輪３Ｒの輪郭を模した形状を有する後輪モデル１０３と、ヒッチボール６の設置位置の輪郭を模した形状を有するヒッチボールモデル１０４と、を備える。荷台モデル１０２、後輪モデル１０３、およびヒッチボールモデル１０４の位置関係は、実際の車両１における荷台２の底部２ｂ、後輪３Ｒ、およびヒッチボール６の設置位置の位置関係と対応する。
　また、車両モデル１０１を基準とした仮想視点４０２の位置は、車両１を基準としたカメラ４の位置と対応する。また、車両モデル１０１を基準とした仮想視点４０２の向きは、車両モデル１０１を基準としたカメラ４の向きと等しい。また、仮想視点４０２の画角は、カメラ４の画角と等しい。よって、仮想視点４０２からの視界は、カメラ４からの視界と対応する。
　加工部１２３は、車両１の移動後、ベース画像１１０が撮像されたタイミングを基準とした車両１の移動量を演算する。加工部１２３は、車輪３毎の車輪速パルス数を積分することによって車両１の移動量を演算する。移動量は、向き情報を含むベクトル量である。加工部１２３は、仮想視点４０２の位置を仮想空間４００内に固定したまま、車両モデル１０１を演算された移動量に対応する量だけ初期位置から移動させる。そして、加工部１２３は、仮想視点４０２を用いた視点変換によって、車両モデル画像２０１を生成する。
　視点変換とは、仮想視点４０２を視点とする透視投影によって、仮想視点４０２からの視界を示す画像を得ることである。仮想視点４０２からの視界を示す画像は、枠を有している。仮想視点４０２からの視界は、ベース画像１１０の撮像時のカメラ４の視界に対応するので、仮想視点４０２からの視界を示す画像の枠は、ベース画像１１０の枠に対応する。仮想視点４０２からの視界内に車両モデル１０１が存在する場合には、枠内に車両モデル画像２０１が含まれる。
　加工部１２３は、車両モデル画像２０１をベース画像１１０に重畳する際には、車両モデル１０１が投影された２次元平面の枠とベース画像１１０の枠とを位置合わせする。これにより、車両モデル画像２０１は、ベース画像１１０における、車両１のリアルタイムの位置を示す位置に重畳される。同様に、ヒッチボールモデル画像２０４は、ベース画像１１０における、ヒッチボール６のリアルタイムの位置を示す位置に重畳される。
　なお、移動量の演算方法は、車輪速パルス数を用いた方法だけに限定されない。移動量の演算方法の別の例として、カメラ４が出力する画像に基づいて移動量を演算する方法が採用可能である。具体的には、撮像されたタイミングが異なる２枚の画像を用いてオプティカルフローを演算し、演算されたオプティカルフローに基づいて画像を撮像したタイミング間の車両１の移動量を演算することが可能である。このような方法によって、加工部１２３は、逐次取得した後方画像から車両１の移動量を演算してもよい。
　次に、以上のように構成された実施形態の周辺監視装置の動作について説明する。図１２は、実施形態の周辺監視装置としてのＥＣＵ１２の動作を説明するためのフローチャートである。
　画像処理部１２１は、表示開始のタイミングに至ったか否かを判断する（Ｓ１０１）。
　表示開始のタイミングの判断方法は、特定の方法に限定されない。一例では、運転者によってシフトレバー１１がリバースレンジに入れられたとき、シフトセンサ１３がリバースレンジが選択された旨を検知し、ＥＣＵ１２に通知する。取得部１２０が当該通知を受けると、画像処理部１２１は、表示開始のタイミングに至ったと判断する。
　別の例では、画像処理部１２１は、表示画面８に表示開始の入力を促すボタンを表示する。そして、運転者が当該ボタンをタッチすると、操作入力部９が、その旨を検知してＥＣＵ１２に通知する。取得部１２０は、当該通知を、表示開始の操作入力として受信する。画像処理部１２１は、取得部１２０が表示開始の操作入力を受信すると、表示開始のタイミングに至ったと判断する。
　画像処理部１２１は、表示開始のタイミングに至っていないと判断した場合（Ｓ１０１、Ｎｏ）、Ｓ１０１の処理を再び実行する。
　画像処理部１２１によって表示開始のタイミングに至ったと判断された場合（Ｓ１０１、Ｙｅｓ）、取得部１２０は、カメラ４から出力された後方画像を取得する（Ｓ１０２）。すると、出力部１２４は、Ｓ１０２によって取得された後方画像を即時的に表示画面８に出力する（Ｓ１０３）。
　続いて、画像処理部１２１は、モード切り替えのタイミングに至ったか否かを判断する（Ｓ１０４）。画像処理部１２１は、モード切り替えのタイミングに至っていないと判断した場合（Ｓ１０４、Ｎｏ）、Ｓ１０２～Ｓ１０３の処理を再び実行し、その後、Ｓ１０４の処理を再び実行する。
　Ｓ１０２およびＳ１０３の処理は、ライブモードでの動作に該当する。Ｓ１０２からＳ１０４、Ｎｏまでのループ処理は、制御がこのループ処理を抜けるまで、短い周期で繰り返し実行される。制御がこのループ処理を抜けるまで、ライブモードでの動作が継続される。
　モード切り替えのタイミングの判断方法は、特定の方法に限定されない。一例では、取得部１２０は、運転者によるモード切り替えの操作入力を取得し、画像処理部１２１は、モード切り替えの操作入力に基づいてモード切り替えのタイミングを判断する。具体的には、例えば、画像処理部１２１は、表示画面８に、モードの切り替えの入力を促すボタンを表示する。運転者によって当該ボタンがタッチされると、操作入力部９は、当該ボタンがタッチされた旨を検知し、ＥＣＵ１２に通知する。取得部１２０は、当該通知を、モード切り替えの操作入力として受信する。画像処理部１２１は、取得部１２０がモード切り替えの操作入力を受信すると、モード切り替えのタイミングに至ったと判断する。
　別の例では、取得部１２０が運転者による変速機構のレンジを切り替える操作入力を取得し、画像処理部１２１は、変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力に基づいてモード切り替えのタイミングを判断する。運転者は、例えば、図５に示される状態から車両１の後退を開始し、その後、車両１を停止させて車両１を降りて、バックパネル２ａを手動で閉状態から開状態にする。運転者が、車両１を停止させるためにシフトレバー１１をリバースレンジからパーキングレンジに入れたとき、シフトセンサ１３がパーキングレンジが選択された旨を検知し、ＥＣＵ１２に通知する。取得部１２０は、その通知を、変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力として受信する。画像処理部１２１は、取得部１２０が変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力を受信すると、モード切り替えのタイミングに至ったと判断する。なお、切り替え後のレンジは必ずしもパーキングレンジでなくてもよい。
　さらに別の例では、取得部１２０は、バックパネル２ａを開状態にする操作入力を取得し、画像処理部１２１は、バックパネル２ａを開状態にする操作入力に基づいてモード切り替えのタイミングを判断する。具体的には、例えば、バックパネル２ａのヒンジにセンサが設けられる。当該センサは、バックパネル２ａが閉状態から開状態になったとき、その旨を検知し、ＥＣＵ１２に通知する。取得部１２０は、その通知を、バックパネル２ａを開状態にする操作入力として受信する。画像処理部１２１は、取得部１２０がバックパネル２ａを開状態にする操作入力を受信すると、モード切り替えのタイミングに至ったと判断する。
　バックパネル２ａを開状態にする操作入力の検知方法は、バックパネル２ａのヒンジに設けられたセンサによって検知する方法だけに限定されない。例えば、車両１の室内または室外に設けられた操作部の操作によって、バックパネル２ａが開閉可能に構成される場合がある。その場合、取得部１２０は、バックパネル２ａを開状態にする操作入力を、当該操作部を介して取得することができる。
　さらに別の例では、取得部１２０は、ソナーセンサ５から検出情報を取得し、画像処理部１２１は、ソナーセンサ５からの検出情報に基づいてモード切り替えのタイミングを判断する。具体的には、例えば、画像処理部１２１は、ソナーセンサ５からの検出情報を逐次取得する。それぞれの検出情報は、車両１からトレーラ１０００までのリアルタイムの距離を示す。画像処理部１２１は、車両１からトレーラ１０００までのリアルタイムの距離を、しきい値と比較し、当該距離がしきい値を下回った場合に、モード切り替えのタイミングに至ったと判断する。カプラ１００１がバックパネル２ａに衝突せずかつカプラ１００１がバックパネル２ａの開閉動作に干渉しない最短の距離よりも大きい値が、判断のためのしきい値として使用される。しきい値は、例えば予め設定される。
　画像処理部１２１は、モード切り替えのタイミングに至ったと判断した場合（Ｓ１０４、Ｙｅｓ）、ＥＣＵ１２は、過去画モードでの動作を開始する。
　具体的には、まず、取得部１２０は、カメラ４が撮像した後方画像を取得する（Ｓ１０５）。すると、画像処理部１２１は、Ｓ１０５によって取得された後方画像をベース画像１１０として記憶部１２２に保存する（Ｓ１０６）。
　続いて、加工部１２３は、車両モデル１０１および仮想視点４０２を仮想空間４００に配置する（Ｓ１０７）。例えば図１１を用いて説明したように、Ｓ１０７では、加工部１２３は、車両モデル１０１を仮想空間４００に配置し、加工部１２３は、カメラ４の設置位置に対応する位置に、仮想視点４０２を配置する。
　続いて、加工部１２３は、仮想視点４０２からの透視投影によって、車両モデル画像２０１を生成する（Ｓ１０８）。
　出力部１２４は、記憶部１２２からベース画像１１０を読み出して、読み出したベース画像１１０に車両モデル画像２０１を重畳し、車両モデル画像２０１が重畳されたベース画像１１０を表示画面８に表示する（Ｓ１０９）。
　続いて、画像処理部１２１は、表示終了のタイミングに至ったか否かを判断する（Ｓ１１０）。
　表示終了のタイミングの判断方法は、特定の方法に限定されない。画像処理部１２１は、表示開始のタイミングと同様に、操作入力部９に入力された操作入力に基づいて表示終了のタイミングを判断してもよいし、変速機構のレンジを切り替える操作入力に基づいて表示終了のタイミングを判断してもよい。
　表示終了のタイミングに至っていないと画像処理部１２１によって判断された場合（Ｓ１１０、Ｎｏ）、取得部１２０は、車輪速パルス数を取得する（Ｓ１１１）。そして、加工部１２３は、車輪速パルス数に基づいて、車両１の移動量を演算する（Ｓ１１２）。移動量は、車輪速パルス数の積分によって得られる。
　なお、Ｓ１０８からＳ１１０、Ｎｏを経てＳ１１３に至るまでの処理は、ループ処理を構成する。即ち、Ｓ１１２の処理は、制御がこのループ処理を抜けるまで、繰り返し実行される。２回目以降のループ処理の場合、加工部１２３は、Ｓ１１２において、前回にＳ１１２を実行したタイミングからの車両１の移動量を演算する。１回目のループ処理の場合、加工部１２３は、Ｓ１１２において、ベース画像が取得されてからの車両１の移動量を演算する。
　Ｓ１１２の処理の後、加工部１２３は、仮想空間４００上の車両モデル１０１の位置を移動量に応じて変更する（Ｓ１１３）。例えば、車両１がある移動量だけ後退した場合、加工部１２３は、仮想空間４００内において、対応する量だけ車両モデル１０１を後退させる。
　そして、制御がＳ１０８に移行し、加工部１２３は、Ｓ１０８において、車両モデル画像２０１を再び作成する。
　Ｓ１１０において、表示終了のタイミングに至ったと画像処理部１２１によって判断された場合（Ｓ１１０、Ｙｅｓ）、動作が終了する。
　Ｓ１０８からＳ１１０、Ｎｏを経てＳ１１３に至るまでのループ処理は、短い周期で繰り返し実行される。その結果として、画像処理部１２１は、同じベース画像１１０を表示し、ヒッチボールモデル画像２０４を、ヒッチボール６のリアルタイムの位置の移動に対応するように、そのベース画像１１０上で移動させることができる。即ち、ベース画像１１０上のヒッチボールモデル画像２０４の位置は、常にヒッチボール６のリアルタイムの位置を示す。
　以上述べたように、実施形態では、周辺監視装置は、過去（第１のタイミング）に取得した後方画像に、ヒッチボール６の第１のタイミングの後のリアルタイム（第２のタイミング）の位置を示す識別情報であるヒッチボールモデル画像２０４を重畳し、ヒッチボールモデル画像２０４が重畳された後方画像を表示画面８に表示する。
　これにより、ヒッチボール６がカメラ４の死角領域に位置する場合であっても、表示画面８にヒッチボール６のリアルタイムの位置を示す識別情報が表示され、その結果、運転者は、表示画面８を介してヒッチボール６の位置を確認することが可能となる。よって、実施形態の周辺監視装置は、連結装置間の位置合わせを行いやすくすることができる。
　なお、以上では、ヒッチボール６が荷台２の底部２ｂに設けられており、ヒッチボール６はカメラ４の死角領域に位置する、として説明した。ヒッチボール６が設けられる位置は荷台２の底部２ｂでなくてもよい。また、ヒッチボール６は、カメラ４の撮像領域内に設置されている場合であっても、実施形態の技術は適用可能である。
　例えば、ヒッチボール６がリアバンパー近傍に設けられ、Ｖノーズタイプのトレーラがそのヒッチボール６を介して連結される。そのような場合、バックパネル２ａに設けられたカメラ４の撮像領域にヒッチボール６が入り得る。しかしながら、位置合わせを行う際、車両１とトレーラとの距離が近づくにつれてカメラ４の撮像領域の光量が減少することで、ヒッチボール６を含む各種対象物の写りが不明瞭となる場合がある。周辺監視装置は、撮像領域の光量が十分に確保されていた過去のタイミングに撮像された後方画像をベース画像１１０として用い、ヒッチボールモデル画像２０４をベース画像１１０に重畳して表示することによって、ヒッチボール６のリアルタイムの位置をわかりやすく表示することが可能になる。
　なお、周辺監視装置は、カプラ１００１の先端から地面まで延伸する識別情報をベース画像１１０にさらに重畳してもよい。
　図１３は、実施形態の表示画面８の別の表示例を示す図である。画像８０ｄは、過去画モードでの表示例を示している。画像８０ｄには、画像８０ｂと同様に、カプラ画像３０２を含むトレーラ画像３０１が写っている。カプラ画像３０２を含むトレーラ画像３０１は、ベース画像に含まれているものであり、実写画像である。画像８０ｄには、カプラ画像３０２の先端を示す位置からカプラ１００１の先端の直下の地面を示す位置まで延伸する円柱を模したオブジェクト画像２０５が重畳されている。運転者は、表示画面８を介してオブジェクト画像２０５を視認することにより、カプラ１００１の先端の高さ情報を直感的に認識することが可能となる。
　オブジェクト画像２０５の表示方法は特定の方法に限定されない。一例では、後方の周辺環境の３次元データを測定可能な測定装置が車両１に設けられ、取得部１２０は、当該測定装置からの測定結果を取得する。測定装置は、例えばステレオカメラまたはレーザレンジスキャナである。加工部１２３は、取得された測定結果に基づいて、車両１からカプラ１００１までの距離および方向と、カプラ１００１の先端の高さとを演算する。そして、加工部１２３は、仮想空間４００内の対応する位置に、カプラ１００１の先端の高さに対応する長さの円柱状のオブジェクトを配置する。そして、加工部１２３は、車両モデル１０１から車両モデル画像２０１を演算する場合と同様に、オブジェクトを仮想視点４０２を視点とする二次元平面に投影することによって、オブジェクト画像２０５を生成する。
　３次元データからカプラ１００１を識別する方法は、特定の方法に限定されない。一例では、画像処理部１２１は、表示画面８にベース画像１１０を表示し、運転者は、操作入力部９をタッチすることにより、ベース画像１１０内のカプラ１００１が写っている部分を指示する。加工部１２３は、タッチされた位置と、ベース画像１１０が撮像されたタイミングと略同じタイミングで測定装置から得られた３次元データと、を対比することにより、３次元データ内においてカプラ１００１に相当する部分を特定する。別の例では、加工部１２３は、カプラ１００１の画像を記憶部１２２などに予め記憶しておき、カプラ１００１の画像を用いたパターンマッチングによって、ベース画像１１０内のカプラ１００１が写っている部分を特定する。そして、加工部１２３は、ベース画像１１０内の特定した部分と、ベース画像１１０が撮像されたタイミングと略同じタイミングで測定装置から得られたリアルタイムの３次元データと、を対比することにより、３次元データ内においてカプラ１００１に相当する部分を特定する。
　このように、周辺監視装置は、種々の方法でオブジェクト画像２０５を生成することが可能である。なお、カプラ１００１の先端から地面まで延伸する識別情報の表示様態は、円柱の形状を模したオブジェクト画像２０５だけに限定されない。例えば、カプラ１００１の先端から地面まで延伸する識別情報は、線形状を有していてもよい。
　また、周辺監視装置は、過去画モードのほかに、ライブモードで動作することができる。周辺監視装置は、ライブモードでは、取得した後方画像を、取得したタイミングの後に即時的に表示画面８に表示する。周辺監視装置がライブモードで動作することにより、運転者は、カメラ４の撮像領域内の状態をリアルタイムの実写画像によって確認することが可能である。
　また、周辺監視装置は、モード切り替えの操作入力、または変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力、またはバックパネル２ａを閉状態から開状態にする操作入力、または測距装置としてのソナーセンサ５からの検出情報、に基づいて、ライブモードから過去画モードに遷移する。このように、周辺監視装置は、種々の事象をトリガとしてモード間の遷移を行うことができる。
　なお、以上では、モード切り替えの際に取得された後方画像がベース画像１１０として設定される、として説明した。ベース画像１１０の選択方法はこれに限定されない。例えば、画像処理部１２１は、逐次取得される後方画像を例えば記憶部１２２に時系列順に蓄積する。そして、画像処理部１２１は、記憶部１２２に蓄積された複数の後方画像から、カプラ画像３０２が含まれている、最後に取得された後方画像を選択する。そして、画像処理部１２１は、選択した後方画像をベース画像１１０として設定する。後方画像にカプラ画像３０２が含まれているか否かは、例えばパターンマッチングなどによって判断可能である。画像処理部１２１は、逐次取得される後方画像にカプラ画像３０２が含まれているか否かを後方画像が取得される度に判断し、判断結果が、後方画像にカプラ画像３０２が含まれている状態から後方画像にカプラ画像３０２が含まれていない状態に変化したとき、自動でライブモードから過去画モードに遷移してもよい。
　または、画像処理部１２１は、モード切り替えのタイミングから所定時間だけ遡ったタイミングで取得された後方画像をベース画像１１０として設定してもよい。
　また、以上では、車両モデル１０１は、ヒッチボールモデル１０４のほかに、荷台モデル１０２、後輪モデル１０３を含む、として説明した。車両モデル１０１は、ヒッチボールモデル１０４を含んでいればよい。例えば、車両モデル１０１から荷台モデル１０２は省略することが可能である。また、車両モデル１０１から後輪モデル１０３は省略することが可能である。車両モデル１０１として、車両１の形状をリアルに示す３次元モデルが採用可能である。車両モデル１０１の３次元形状の表現方法は、特定の方法に限定されない。例えば、ポリゴンモデル、ワイヤーフレームモデル、またはソリッドモデルによって、車両モデル１０１の３次元形状が表現され得る。
　また、周辺監視装置は、過去画モードからライブモードに遷移可能に構成されてもよい。荷台２がカプラ１００１の真下に入った後、バックパネル２ａを閉状態にすることが可能である。例えば、運転者は、荷台２がカプラ１００１の真下に入った後、過去画モードからライブモードに切り替えてもよい。
　なお、荷台２がカプラ１００１の真下に入った後に過去画モードからライブモードに切り替えられた場合、表示画面８にはヒッチボール６もカプラ１００１も表示されないので、そのままでは運転者は位置合わせを行うことが困難である。周辺監視装置は、下記の位置合わせ完了時のトレーラ画像３０１を予め記憶しておき、過去画モードからライブモードに戻った後、ライブモードでの画像に、位置合わせ完了時のトレーラ画像３０１を重畳して表示してもよい。位置合わせ完了時のトレーラ画像３０１は、例えば、過去に連結作業が行われた際に撮像されて保存されたものである。
　周辺監視装置は、運転者による実写画像の視認を妨げないように、重畳の前に、位置合わせ完了時のトレーラ画像３０１に対し、種々の画像処理を行う。一例では、周辺監視装置は、位置合わせ完了時のトレーラ画像３０１に対し、輪郭抽出を行い、抽出された輪郭を表示する。図１４は、実施形態の表示画面８のさらに別の表示例を示す図である。この例では、画像８０ｅには、トレーラ画像３０１の輪郭２０６が点線で示されている。運転者は、実写のトレーラ画像３０１と輪郭２０６とが一致するように車両１を運転することによって、位置合わせを行うことができる。
　また、周辺監視装置は、ヒッチボール６とカプラ１００１との距離に応じて車両モデル画像２０１の表示様態を変更してもよい。例えば、周辺監視装置は、ヒッチボール６とカプラ１００１との距離が予め設定されたしきい値よりも大きい場合、ヒッチボールモデル画像２０４を青色に着色して表示し、ヒッチボール６とカプラ１００１との距離が当該しきい値よりも小さい場合、ヒッチボールモデル画像２０４を赤色に着色して表示する。表示様態の変更方法は、これに限定されない。例えば、周辺監視装置は、距離が当該しきい値よりも小さくなったときに、非点滅表示から点滅表示に変更したり、あるいはその逆の変更を行うことができる。別の例では、周辺監視装置は、距離が当該しきい値よりも大きい場合、荷台モデル画像２０２、後輪モデル画像２０３、およびヒッチボールモデル画像２０４を表示し、距離が当該しきい値よりも小さくなった場合、車両モデル画像２０１のうちのヒッチボールモデル画像２０４のみを表示する。
　また、周辺監視装置は、ヒッチボール６とカプラ１００１との位置合わせが完了する位置までの経路を任意のタイミングで演算し、演算された経路で車両１が移動するように、舵角を制御してもよい。これにより、運転者は、アクセルペダルとブレーキペダルとを操作するだけで、位置合わせを行うことが可能となる。さらに、周辺監視装置は、演算された経路で車両１が移動するように、加減速を自動で行うように構成されてもよい。
　なお、以上では、取得部１２０、加工部１２３、および出力部１２４は、ＣＰＵ１２ａがプログラム１００を実行することによって実現される、として説明した。取得部１２０、加工部１２３、および出力部１２４のうちの一部または全部は、ハードウェア回路によって実現されてもよい。
　また、プログラム１００は、コンピュータにインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、またはフラッシュメモリ等の、コンピュータで読み取り可能な記録媒体に記録されて提供され得る。
　また、プログラム１００は、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラム１００は、インターネット等のネットワーク経由で提供または配布され得る。
　また、プログラム１００は、ＲＯＭ１２ｃ等に予め組み込んで提供され得る。
　同様に、車両モデル１０１は、ＣＤ－ＲＯＭ、ＦＤ、ＣＤ－Ｒ、ＤＶＤ、またはフラッシュメモリ等の、コンピュータで読み取り可能な記録媒体に記録されて提供され得る。また、車両モデル１０１は、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、車両モデル１０１は、インターネット等のネットワーク経由で提供または配布され得る。
　以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
　１…車両、２…荷台、２ａ…バックパネル、２ｂ…底部、３…車輪、３Ｆ…前輪、３Ｒ…後輪、４…カメラ、５…ソナーセンサ、６…ヒッチボール、８…表示画面、９…操作入力部、１０…モニタ装置、１１…シフトレバー、１２…ＥＣＵ、１２ａ…ＣＰＵ、１２ｂ…ＳＳＤ、１２ｃ…ＲＯＭ、１２ｄ…ＲＡＭ、１３…シフトセンサ、１４…車輪速センサ、１５…車内ネットワーク、８０ａ，８０ｂ，８０ｃ，８０ｄ，８０ｅ…画像、１００…プログラム、１０１…車両モデル、１０２…荷台モデル、１０３…後輪モデル、１０４…ヒッチボールモデル、１１０…ベース画像、１２０…取得部、１２１…画像処理部、１２２…記憶部、１２３…加工部、１２４…出力部、２０１…車両モデル画像、２０２…荷台モデル画像、２０３…後輪モデル画像、２０４…ヒッチボールモデル画像、２０５…オブジェクト画像、２０６…輪郭、３０１…トレーラ画像、３０２…カプラ画像、４００…仮想空間、４０１…平面、４０２…仮想視点、１０００…トレーラ、１００１…カプラ

Claims (5)

  1. 　被牽引車を連結するための第１の連結装置を有する車両の第１の後方画像を第１のタイミングに取得する取得部と、
    　前記第１のタイミングよりも後の第２のタイミングにおいて、前記第１の連結装置の前記第２のタイミングの位置を示す第１の識別情報を前記第１の後方画像に重畳し、前記第１の識別情報が重畳された前記第１の後方画像を前記車両の室内に設けられるよう構成された表示画面に表示する画像処理部と、
    　を備えた周辺監視装置。
  2. 　前記車両に撮像装置が設けられるよう構成され、
    　前記第１の連結装置は、前記撮像装置の死角領域に設けられ、
    　前記取得部は、前記撮像装置から前記第１の後方画像を取得する、
    　請求項１に記載の周辺監視装置。
  3. 　前記画像処理部は、前記被牽引車に設けられた前記第１の連結装置と連結する第２の連結装置の先端から地面まで延伸する第２の識別情報を前記第１の後方画像にさらに重畳する、
    　請求項１または２に記載の周辺監視装置。
  4. 　前記取得部は、第３のタイミングに第２の後方画像を取得し、
    　前記画像処理部は、前記取得された第２の後方画像を前記表示画面に前記第３のタイミングの後に即時的に表示し、
    　前記第３のタイミングは、第１モードで動作中のタイミングであり、
    　前記第２のタイミングは、前記第１モードと異なる第２モードで動作中のタイミングである、
    　請求項１から３の何れか１項に記載の周辺監視装置。
  5. 　前記取得部は、モード切り替えの操作入力、または前記車両の変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力、またはテールゲートを閉状態から開状態にする操作入力、または前記車両に設けられた前記車両と前記被牽引車との距離を検出する測距装置からの検出情報、を取得し、
    　前記取得されたいずれかの操作入力または検出情報に基づいて前記第１モードから前記第２モードに遷移する、
    　請求項４に記載の周辺監視装置。
PCT/JP2017/039196 2017-01-16 2017-10-30 周辺監視装置 WO2018131263A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/477,919 US11260794B2 (en) 2017-01-16 2017-10-30 Periphery monitoring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017005097A JP6729409B2 (ja) 2017-01-16 2017-01-16 周辺監視装置
JP2017-005097 2017-01-16

Publications (1)

Publication Number Publication Date
WO2018131263A1 true WO2018131263A1 (ja) 2018-07-19

Family

ID=62839336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039196 WO2018131263A1 (ja) 2017-01-16 2017-10-30 周辺監視装置

Country Status (3)

Country Link
US (1) US11260794B2 (ja)
JP (1) JP6729409B2 (ja)
WO (1) WO2018131263A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190176699A1 (en) * 2017-12-08 2019-06-13 GM Global Technology Operations LLC Method of hitching a tow vehicle to a trailer, and vehicle therefor
US10962980B2 (en) * 2018-08-30 2021-03-30 Ford Global Technologies, Llc System and methods for reverse braking during automated hitch alignment
US11192552B2 (en) * 2019-06-13 2021-12-07 Ford Global Technologies, Llc Vehicle motion control for trailer alignment
US11124201B2 (en) * 2019-07-09 2021-09-21 Ford Global Technologies, Llc Assisted hitching system with handoff process for interrupted operation
US20220179429A1 (en) * 2020-12-09 2022-06-09 Continental Automotive Systems, Inc. Method for determining a tow hitch position

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312768A (ja) * 2001-04-09 2002-10-25 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
JP2006001533A (ja) * 2004-06-17 2006-01-05 Daimler Chrysler Ag トレーラを自動車に連結する方法
US20130076007A1 (en) * 2011-09-27 2013-03-28 Joseph Goode Vehicle backup camera for viewing a mid-chassis mounted trailer hitching structure
US20140071279A1 (en) * 2012-09-10 2014-03-13 Nissan North America, Inc. Vehicle video system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6060910B2 (ja) * 2013-03-28 2017-01-18 アイシン精機株式会社 周辺監視装置、及びプログラム
JP6340969B2 (ja) * 2014-07-14 2018-06-13 アイシン精機株式会社 周辺監視装置、及びプログラム
US20160375831A1 (en) * 2015-06-23 2016-12-29 GM Global Technology Operations LLC Hitching assist with pan/zoom and virtual top-view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
JP2002312768A (ja) * 2001-04-09 2002-10-25 Matsushita Electric Ind Co Ltd 運転支援装置
JP2006001533A (ja) * 2004-06-17 2006-01-05 Daimler Chrysler Ag トレーラを自動車に連結する方法
US20130076007A1 (en) * 2011-09-27 2013-03-28 Joseph Goode Vehicle backup camera for viewing a mid-chassis mounted trailer hitching structure
US20140071279A1 (en) * 2012-09-10 2014-03-13 Nissan North America, Inc. Vehicle video system

Also Published As

Publication number Publication date
JP2018117176A (ja) 2018-07-26
US20190366929A1 (en) 2019-12-05
JP6729409B2 (ja) 2020-07-22
US11260794B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
WO2018131263A1 (ja) 周辺監視装置
JP7069548B2 (ja) 周辺監視装置
US10150486B2 (en) Driving assistance device and driving assistance system
US10625782B2 (en) Surroundings monitoring apparatus
US11591018B2 (en) Parking assistance device
WO2018150642A1 (ja) 周辺監視装置
CN107925746B (zh) 周边监控装置
US11648932B2 (en) Periphery monitoring device
US10991086B2 (en) Adhered substance detection apparatus
US11420678B2 (en) Traction assist display for towing a vehicle
JP2020001576A (ja) 運転支援装置
US11292387B2 (en) Towing assistance apparatus
US11491916B2 (en) Tow assist apparatus
JP7283514B2 (ja) 表示制御装置
US11475676B2 (en) Periphery monitoring device
JP2020006770A (ja) 運転支援装置
JP7110577B2 (ja) 周辺監視装置
JP7130923B2 (ja) 表示制御装置
US20210309148A1 (en) Peripheral monitoring apparatus
JP2019068326A (ja) 周辺監視装置
JP2017211814A (ja) 駐車支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17891654

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17891654

Country of ref document: EP

Kind code of ref document: A1