WO2011111448A1 - 画像制御装置 - Google Patents

画像制御装置 Download PDF

Info

Publication number
WO2011111448A1
WO2011111448A1 PCT/JP2011/052259 JP2011052259W WO2011111448A1 WO 2011111448 A1 WO2011111448 A1 WO 2011111448A1 JP 2011052259 W JP2011052259 W JP 2011052259W WO 2011111448 A1 WO2011111448 A1 WO 2011111448A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
door
camera
vehicle body
display
Prior art date
Application number
PCT/JP2011/052259
Other languages
English (en)
French (fr)
Inventor
三好英彦
長嶺昇
三浦健次
山本欣司
後藤謙二郎
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to EP11753110.3A priority Critical patent/EP2547104B1/en
Priority to CN201180012249.9A priority patent/CN102783145B/zh
Priority to US13/634,112 priority patent/US20130002877A1/en
Publication of WO2011111448A1 publication Critical patent/WO2011111448A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Definitions

  • the present invention relates to an image control apparatus, and more particularly to a technique for displaying a captured image of a camera provided on a vehicle body such as a passenger car on a monitor near a driver seat.
  • Patent Document 1 discloses that a camera for photographing the rear is provided on the left and right doors of a vehicle, and a display for displaying photographing data of the camera when the door is opened is provided in the vehicle. The configuration provided is described.
  • an overhead view video around a vehicle is divided into a plurality of shooting areas based on videos of a plurality of cameras provided in the vehicle and displayed on a display, and a user touches one of the shooting areas.
  • a control mode is described in which the selected shooting area is enlarged and displayed at a position adjacent to the overhead view video on the display.
  • Patent Document 2 even if there are depressions or obstacles in the parking place and it is difficult to directly see these depressions or obstacles from inside the vehicle, the camera viewpoint enlarged image or the partial enlarged overhead view image is displayed. By displaying on the screen, it is possible to easily confirm the depression or obstacle on the display.
  • the driver in the driver's seat may want to check the passenger's getting on and off and surrounding obstacles.
  • a child gets on and off with the vehicle stopped on the shoulder of the road there are cases where another vehicle travels on the road side, and there is a side where it is desired to confirm boarding and alighting from a safety aspect.
  • the technique described in the cited document 1 can visually recognize the approach of an automobile, a motorcycle, or the like from the rear of the vehicle body when the door is opened, by a display near the driver's seat.
  • a display near the driver's seat since it is not assumed that passengers get on and off, it is difficult to grasp the passengers.
  • the vicinity of the door can be enlarged and displayed on the display.
  • the door on which the passenger gets on / off is specified, and the door Therefore, it is necessary for the driver to specify the area where the camera is photographed, which is troublesome.
  • An object of the present invention is to rationally configure an image control device that allows a driver to easily check the status of passengers getting on and off.
  • a feature of the present invention is that it includes a camera that captures the vicinity of the door of the vehicle body, a monitor that can display a captured image of the camera, and a door open detection sensor that detects an open state of the door of the vehicle body. When the open state of the door is detected by the opening detection sensor, the photographed image of the camera is displayed on the monitor.
  • a captured image of the camera is displayed on the monitor. That is, when the door reaches the open state, the driver can check an image of the vicinity of the door in the open state at the position of the driver seat without performing any special operation. As a result, an image control apparatus that allows the driver to easily check the status of passengers getting on and off has been constructed.
  • the present invention includes, as the camera, a left side camera that captures a left side region that includes a road surface on the left side of the vehicle body, and a right side camera that captures a right side region that includes a road surface on the right side of the vehicle body,
  • a left door opening detection sensor that detects an opening state of the left door of the vehicle body
  • a right door opening detection sensor that detects an opening state of the right door of the vehicle body
  • Display image generating means for generating an image near the left door from the captured image of the left side camera as a left display image, and generating an image near the right door as a right display image from the captured image of the right side camera,
  • the left display image and the right display image corresponding to detection are displayed on the monitor with a predetermined layout.
  • An information output means may be provided.
  • the information output means corresponds to the detection of the left display image and the right display image. Display on the monitor in a predetermined layout. Since an image is displayed in such a determined layout, it is easy to identify a door that is open from the image display position.
  • the display image generation unit generates the left display image by performing a mirror reversal of at least a part of the captured image of the left side camera, and at least a part of the captured image of the right side camera.
  • the right display image may be generated by a process of mirror reversing the left and right.
  • the left display image generated by mirror-inversion of at least part of the left-side camera captured image and at least part of right-and-left of the image captured by the right-side camera.
  • the present invention is provided with an overhead image generation means for generating an overhead image in which the periphery of the vehicle body is looked down from above based on the captured image captured by the left side camera and the captured image captured by the right side camera,
  • the information output means may display at least one of the left display image, the right display image, and the overhead image on the monitor in a predetermined layout.
  • the overhead image generation unit generates the overhead image based on the captured image of the left side camera and the captured image of the right side camera. Further, when it is detected that at least one of the left door opening sensor and the right door opening sensor is in the open state, the information output means monitors at least one of the left display image and the right display image with a predetermined layout. In addition, by displaying a bird's-eye view image on the monitor, it is possible to grasp the situation near the door and the overall situation around the vehicle body.
  • the information output means sets an overhead image window for displaying the overhead image on the monitor, and displays a left window for displaying the left display image and a right window for displaying the right display image. You may set to the positional relationship parallel to right and left.
  • the information output means displays the left photographed image in the left window and the right photographed image in the right window.
  • the driver can grasp the situation in the vicinity of the door without a sense of incongruity in the positional relationship from the left window and the right window arranged in parallel.
  • the present invention includes a left side camera that captures a left side region including a road surface on the left side of the vehicle body as the camera, and a left door that detects an open state of the left door of the vehicle body as the door opening detection sensor.
  • An open sensor is provided,
  • Display image generation means may be provided that generates an image near the left door as a left display image by performing a mirror reversal of at least a part of the left and right sides on the photographing side of the left side camera.
  • the information output means displays the left display image on the monitor. Since the image is displayed in this way, it is possible to check the video near the left door that is open from the image display position.
  • the present invention includes a right side camera that captures a right side region including a right road surface of the vehicle body as the camera, and a right door that detects an open state of the right door of the vehicle body as the door opening detection sensor.
  • An open sensor is provided,
  • Display image generating means may be provided for generating an image near the right door as a right display image by performing a mirror reversal process on at least a part of the right side camera on the photographing side.
  • the information output means displays the right display image on the monitor. Since the image is displayed in this way, it is possible to check the video near the right door that is open from the image display position.
  • the display of the control mode information already executed is prioritized.
  • the control mode is set when the vehicle body stops and the door is opened.
  • the section will preferentially execute the boarding / alighting confirmation mode, and the status of the opened door can be confirmed on the monitor.
  • an image control device that generates a bird's-eye view image in which the periphery of the vehicle body 1 is looked down from above from the captured images of a plurality of cameras provided in the vehicle body 1 and displays the image on the monitor 21.
  • this image control apparatus executes control that can grasp the occupant's getting on and off by displaying, on the monitor 21, a photographed image including the door in the photographing region among a plurality of cameras. This control mode and control configuration will be described below.
  • the vehicle body 1 of the passenger car includes left and right front wheels 2 and left and right rear wheels 3.
  • a left front door 4 and a right front door 5 that can be opened and closed by a hinge are provided at a front position of the vehicle body 1, and a left rear door 6 and a right rear door 7 that can be slidably opened and closed are provided at a rear position of the vehicle body 1.
  • a hatchback type back door 8 is provided at the rear end of the vehicle body 1.
  • the left front door 4, the right front door 5, the left rear door 6 and the right rear door 7 are used for passengers getting on and off, and are provided with an outside handle 11 on the outer surface side and an inside handle 12 on the room side. Yes. By operating the outside handle 11 or the inside handle 12, the latch that maintains the door in the closed state is released, and the door can be opened.
  • the back door 8 at the rear end of the vehicle body 1 is not used for passengers getting on and off.
  • a driver's seat 13, a passenger seat 14, and a plurality of rear seats 15 are provided in the room of the vehicle body 1.
  • a steering wheel 16 is provided at a position in front of the driver's seat 13, and a panel having meters is disposed at the front thereof.
  • An accelerator pedal 17 and a brake pedal 18 for operating the brake device BK for the front wheel 2 and the rear wheel 3 are arranged at the foot of the driver seat 13, and a shift lever 19 for realizing a shift is provided on the side of the driver seat 13. Has been placed.
  • the right front door 5 described above is opened when the driver gets on and off the driver seat 13
  • the left front door 4 is opened when the passenger gets on and off the passenger seat 14.
  • the left rear door 6 and the right rear door 7 described above are opened when an occupant gets on and off the rear seat 15.
  • a monitor 21 with a touch panel 21T formed on the display surface is provided in the vicinity of the driver's seat 13 and at the upper position of the console.
  • the monitor 21 is a liquid crystal type equipped with a backlight. Of course, a plasma display type or a CRT type may be used.
  • the touch panel 21T is configured as a pressure-sensitive or electrostatic instruction input device that outputs a contact position by a finger or the like as location data.
  • the monitor 21 is also provided with a speaker 22, but the speaker 22 may be provided at other places such as the inside of a door.
  • the left front door 4 is provided with a left side mirror 23, and the right front door 5 is provided with a right side mirror 24.
  • the left side mirror 23 is provided with the left side camera 25
  • the right side mirror 24 is provided with the right side camera 26
  • the front camera 27 is provided at the front end of the vehicle body 1.
  • a rear camera 28 at the rear end of the vehicle body 1.
  • the left side camera 25 is set so that the shooting direction is set downward and shoots the left area including the road surface on the left side of the vehicle body 1.
  • the shot image of the left side camera 25 includes the left rear door 6.
  • the right side camera 26 also sets the shooting direction downward and shoots the right side area including the road surface on the right side of the vehicle body 1, and the right rear door 7 shows the shot image of the right side camera 26. Is included.
  • These cameras as photographing devices are digital cameras with built-in image sensors such as CCD (charge-coupled device) and CIS (CMOS image-sensor), and output photographed information as moving image information in real time.
  • CCD charge-coupled device
  • CIS CMOS image-sensor
  • These cameras are provided with a wide-angle lens to ensure a wide viewing angle, and the shooting direction is set so that the captured image includes a part of the vehicle body 1 and a road surface in the vicinity of the vehicle body 1.
  • the monitor 21 displays navigation information in the navigation mode control, but displays parking support information in the parking support mode control. Further, in the control of the getting-on / off confirmation mode, an image for confirming the passenger getting-on / off at the left rear door 6 and the right rear door 7 is displayed. In the present invention, a dedicated monitor for displaying an image in the control in the getting-on / off confirmation mode may be provided.
  • the front part of the vehicle body is provided with a power steering unit PS that transmits the rotational operation force of the steering wheel 16 to the front wheels 2 to perform driving steering (steering).
  • the front portion of the vehicle body includes an engine E and a speed change mechanism T formed of a torque converter, CVT, or the like for shifting the power from the engine E and transmitting it to the front wheels 2.
  • the vehicle body 1 is provided with various sensors for detecting driving operation and the movement state of the vehicle body 1. More specifically, the operation system of the steering wheel 16 is provided with a steering sensor S16 that measures a steering operation direction (steering direction) and an operation amount (steering amount). The operation system of the shift lever 19 is provided with a shift position sensor S19 for determining the shift position. The operation system of the accelerator pedal 17 is provided with an accelerator sensor S17 that measures the operation amount, and the operation system of the brake pedal 18 is provided with a brake sensor S18 that detects the presence or absence of the operation.
  • a photo interrupter type or pickup type movement distance sensor S3 is provided so as to measure the movement amount of the vehicle body 1 from the rotation amount of the rear wheel 3.
  • a sensor that acquires the movement amount from the rotation amount of the transmission system inside the transmission mechanism T may be used.
  • the movement distance sensor S3 may measure the amount of rotation of the front wheel 2.
  • the moving amount and the steering amount of the vehicle body 1 may be detected from the image processing of the captured image of the front camera 27 or the rear camera 28.
  • a left door open detection sensor S6 for detecting the open state of the left rear door 6 and a right door open detection sensor S7 for detecting the open state of the right rear door 7 are provided.
  • the left door opening detection sensor S6 and the right door opening detection sensor S7 are configured by a limit switch or the like that detects that the door has been opened so that a detection signal is output at the timing when the door starts opening operation. .
  • a sensor that detects the switch operation may be used.
  • an ECU 30 is arranged as an image control device that forms the core of the parking assist device of the present invention.
  • the ECU 30 includes an interface including a sensor input interface 31 and a communication interface 32, and also includes an image output module 33 and an audio output module 34.
  • the ECU 30 includes a processing system such as a microprocessor for processing information obtained through the interface and a DSP (digital signal processor), and the processing result is output from the image output module 33 to the monitor 21 and is also an audio output module. 34 to the speaker 22.
  • a processing system such as a microprocessor for processing information obtained through the interface and a DSP (digital signal processor), and the processing result is output from the image output module 33 to the monitor 21 and is also an audio output module. 34 to the speaker 22.
  • the ECU 30 includes a navigation control unit 35 that implements navigation mode control, a map data storage unit 36 that provides map information to the navigation control unit 35, a parking assistance control unit 37 that implements control in the parking assistance mode, And an image processing unit 38 that realizes control of the confirmation mode.
  • the navigation control unit 35 acquires the vehicle position indicated by the longitude information and the latitude information from the GPS unit 41 during traveling, acquires map data corresponding to the vehicle position, and displays the map data on the monitor 21.
  • the navigation information for guiding to the destination is displayed on the monitor 21 and the guidance information is output from the speaker 22 by voice.
  • the map data storage unit 36 performs a process of giving map data corresponding to the vehicle position to the navigation control unit 35.
  • the parking assist control unit 37 displays at least one of the camera view mode and the around view mode on the monitor 21 when parking, and assists the vehicle body 1 to the parking position with respect to the captured image. Etc. are superimposed and displayed. Further, support information such as a steering direction is output from the speaker 22 as sound as support information. By performing a steering operation or the like based on such information, the vehicle body 1 can be easily introduced into the parking position.
  • the image processing unit 38 includes an overhead image generation unit 38A, a display image generation unit 38B, a display target setting unit 38C, and an information output unit 38D.
  • the overhead image generation means 38A generates an overhead image displayed in the overhead image window 45 of the boarding / alighting confirmation screen shown in FIG.
  • the display image generation means 38B generates a display image displayed on the left window 46 or the right window 47 of the boarding / alighting confirmation screen shown in FIG.
  • the display target setting unit 38C sets a display image to be displayed on the left window 46 or the right window 47.
  • the information output means 38D displays a boarding / alighting confirmation screen on the monitor 21, and arranges the above-mentioned bird's-eye view image window 45, left window 46, right window 47, etc. in a predetermined layout on this boarding / alighting confirmation screen. Display an image.
  • the navigation control unit 35, the parking support control unit 37, and the image processing unit 38 are configured by software. However, these may be configured by hardware, and these may be configured by software and hardware. It may be configured with.
  • the ECU 30 is configured by an electronic circuit, and part or all of the interface and output system may be included in such an electronic circuit.
  • the ECU 30 has an electronic circuit that constitutes a processing system, or a storage unit that includes a memory, a register, or the like as a separate component, and information is input / output via a data bus, an address bus, a control bus, or the like. .
  • the sensor input interface 31 receives information from the steering sensor S16, the shift position sensor S19, the accelerator sensor S17, the brake sensor S18, and the movement distance sensor S3.
  • the communication interface 32 communicates with the power steering unit PS, the speed change mechanism T, the brake device BK, and the GPS unit 41 via a communication line. Further, the communication interface 32 includes a touch panel 21T, a left side camera 25, a right side camera 26, a front camera 27, a rear camera 28, a left door opening detection sensor S6, and a right door opening detection sensor S7. Get information from.
  • the image output module 33 outputs an image to the monitor 21, and the sound output module 34 outputs sound to the speaker 22.
  • the ECU 30 implements navigation mode control, parking assistance mode control, and boarding / alighting confirmation mode control.
  • the control in the boarding / alighting confirmation mode when at least one of the left rear door 6 and the right rear door 7 is in an open state, an image of the vicinity of the door in the open state is enlarged and displayed on the monitor 21. This control mode will be described based on the flowchart of FIG.
  • the ECU 30 receives signals from the left door opening detection sensor S6 and the right door opening detection sensor S7 in a situation where it is determined that the vehicle body 1 is stopped based on signals from the movement distance sensor S3 and the shift position sensor S19. If both the left rear door 6 and the right rear door 7 are not in the open state, information on the control of the already set mode (navigation mode or parking support mode) is displayed on the monitor 21 (# 101- # 103 steps). It should be noted that the determination of “stop state” in step # 101 may be a case where a vehicle speed sensor is provided, and the vehicle speed may be 0 km / h, and an extremely low speed (1 to 2 km / h) The following cases may be adopted.
  • the image display areas of the overhead view image window 45, the left window 46, and the right window 47 are set in parallel, and the message display area 48 and the icon display area 49 are shown in FIG.
  • the information output means 38D sets the layout.
  • the bird's-eye view image generation means 38A converts the captured images of the left side camera 25, the right side camera 26, the front camera 27, and the rear camera 28 into an image looking down on the periphery of the vehicle body from above, and converts the converted image to the center.
  • a bird's-eye view image is generated by a composition process of mapping on a virtual road surface around the vehicle body plane image of the position, and the information output unit 38D outputs the image to the monitor 21.
  • the vehicle body image 45A is arranged at the center position, and the converted image 45B is mapped so as to surround the periphery. Further, in this bird's-eye view image, a reference line 45C serving as a reference for the front-rear position and the left-right position with respect to the center of the vehicle body 1 is formed in a cross shape.
  • the bird's-eye view image generation unit 38A and the information output unit 38D process captured images of a plurality of cameras in real time, it is possible to confirm the passenger's getting on and off the vehicle body 1 as a moving image in the bird's-eye view image.
  • a part of the photographed image of the left side camera 25 is enlarged and displayed in the left window 46
  • a part of the photographed image of the right side camera 26 is enlarged and displayed in the right window 47
  • the message display area 48 has a predetermined character data. Is displayed, and an icon corresponding to the rear view of the vehicle body 1 is displayed in the icon display area 49.
  • a control screen may be set so that a selection screen (not shown) is displayed, and the driver can make a transition to the boarding / alighting confirmation mode by bringing a finger or the like into contact with a button in the boarding / alighting confirmation mode on this selection screen.
  • the shift position sensor S19 detects that the shift lever 19 is set to the reverse (reverse) position
  • the captured image of the rear camera 28 is monitored in preference to all control modes.
  • a control form that performs control to display on 21 (back monitor display) is also conceivable.
  • the control mode is set so that even in a situation where the captured image of the rear camera 28 is displayed on the monitor 21 in this way, the control can be shifted to the getting-on / off confirmation mode by an arbitrary operation such as touching the touch panel 21T with a finger. You may do it.
  • an image of the vicinity of the door in the open state is taken as the left window 46 or the right window 47, or And displayed in both the left window 46 and the right window 47.
  • a message is displayed as character data in the message display area 48, and an icon corresponding to the rear view of the vehicle body 1 is displayed in the icon display area 49 (steps # 105 and # 106).
  • the display image generation means 38B processes the captured image of the left side camera 25 or the captured image of the right side camera 26 in real time.
  • the state of passengers getting on and off the vehicle body 1 can be confirmed as a moving image.
  • the display target setting means 38C sets the display target to the left rear door 6.
  • the display image generation unit 38B cuts out and enlarges an image near the left rear door 6 among the captured images of the left side camera 25, and generates a right display image in which the left and right are mirror-inverted.
  • the information display means 38D displays the left display image generated in this way on the left window 46.
  • the information output means 38D displays a message “sliding door is open” in the message display area 48, and displays the left half of the icon in the icon display area 49. In the icon displayed in this way, the shooting area is indicated by hatching.
  • the passenger X gets in and out, the passenger X is displayed in the overhead image window 45 and the left window 46.
  • the display target setting means 38C determines the display target as the right rear door. 7 and the display image generation means 38B cuts out and enlarges the image near the right rear door 7 in the captured image of the right side camera 26, and generates a left display image in which the left and right are mirror-inverted.
  • the right display image generated in this way is displayed on the right window 47 by the information output means 38D.
  • the information output means 38D displays a message “sliding door is open” in the message display area 48, and displays the right half of the icon in the icon display area 49.
  • step # 101 the control in the boarding / alighting confirmation mode is terminated, and the control shifts to the control of step # 101 except when all the controls are terminated. To do. And it returns to control of the mode (navigation mode or parking assistance mode) set previously, and the control information of the mode is displayed on the monitor 21 (step # 108).
  • the control shifts to the boarding / alighting confirmation mode prior to the control of the mode already executed, and the monitor 21 A boarding / unloading confirmation screen is displayed. Then, the vicinity of the opened door is enlarged and displayed on the monitor 21, so that the driver can grasp the passenger's getting on and off by the monitor 21 without performing a special operation for display or looking back. It is.
  • An enlarged image near the left rear door 6 is displayed on the left window 46
  • an image near the right rear door 7 is displayed on the right window 47
  • the left window 46 and the right window 47 are arranged side by side. Since they are arranged in a relationship, it is easy to distinguish left and right.
  • the images displayed in the left window 46 and the right window 47 are mirror-inverted images on the left and right sides, it is possible to check with the feeling of checking the rear with a side mirror, and a sense of discomfort Nor.
  • the vehicle body is provided with a dedicated camera for photographing the vicinity of the door.
  • a dedicated camera for photographing the vicinity of the door.
  • the control mode is set so that the driver can recognize by voice that the door is in the open state.
  • visual_axis is not looking at the monitor 21
  • a line-of-sight can be turned to the monitor 21 and a passenger
  • the sound may be an electronic sound or a human language.
  • the shooting direction of the side camera is directed downward.
  • the present invention is not limited to this.
  • the vicinity of the door may be shot by setting the shooting direction to the rear.
  • the present invention can be used in all automobiles having doors that can be freely opened and closed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

　車体のドアの開放操作により乗員が乗降する際の状況を運転者が容易に確認できる画像制御装置を提供するため、車体のドア近傍を撮影するカメラと、このカメラの撮影画像の表示が可能なモニタと、車体のドアの開放状態を検出するドア開放検出センサとを備えると共に、ドア開放検出センサでドアの開放状態を検出した際にカメラの撮影画像をモニタに表示する。

Description

画像制御装置
　本発明は画像制御装置に関し、詳しくは、乗用車等の車体に備えたカメラの撮影画像を運転座席近傍のモニタに表示する技術に関する。
　上記のように構成された画像制御装置として特許文献１には、車輌の左右のドアに後方を撮影するカメラをドアに備え、ドアが開放した場合にカメラの撮影データを表示するディスプレイを車内に備えた構成が記載されている。
　この特許文献１では、右側のドアが開放された場合には、そのドアに備えたカメラで撮影した車輌後方の撮像データをディスプレイの右側に表示し、左側のドアが開放された場合には、そのドアに備えたカメラで撮影した車輌後方の撮影データをディスプレイの左側に表示する。これにより、障害物がドアに接近していることをディスプレイを介して乗員に認識させ、ドアの開閉動作支援できるようにするものである。
　また、特許文献２では、車輌に備えた複数のカメラの映像に基づいて車輌の周辺の俯瞰映像を複数の撮影領域に分割してディスプレイに表示すると共に、撮影領域の１つにユーザが触れて選択した場合には、選択された撮影領域をディスプレイの俯瞰映像と隣接する位置に拡大表示する制御形態が記載されている。
　この特許文献２では、駐車する場所に窪みや障害物があり、且つ、これらの窪みや障害物が車内から直接視認することが難しい場合でも、カメラ視点拡大映像、又は、部分拡大俯瞰映像がディスプレイに表示されることにより窪みや障害物をディスプレイ上で容易に確認できるようにするものである。
特開２００６‐１０３５２６号公報 特開２００９‐２３９６７４号公報
　乗用車を停車させ、ドアを開いて乗員の乗降が行われる場合には運転座席の運転者が、乗員の乗降の様子や、周囲の障害物等を確認したいことがある。特に、道路の路肩に停車させた状態で子供の乗降を行う場合には、道路側を他の車両が走行することもあり、安全面から乗降を確実に確認したい面もある。
　このような現状に対して、引用文献１に記載される技術では、ドアを開いた際に車体後方から自動車やバイク等が接近する様子を、運転座席の近傍のディスプレイによって視認できるものである。しかしながら、乗員の乗降の確認を想定したものではないため、乗員の乗降の把握が困難な面がある。
　また、引用文献２に記載される技術では、ドア付近を拡大してディスプレイに表示できるものであるが、乗員の乗降を確認する場合には、乗員の乗降が行われるドアを特定し、そのドアが撮影される領域を運転者が指定する必要があり、手間が掛かるものである。
　本発明の目的は、乗員の乗降の状況を運転者が容易に確認できる画像制御装置を合理的に構成する点にある。
　本発明の特徴は、車体のドア近傍を撮影するカメラと、このカメラの撮影画像の表示が可能なモニタと、車体のドアの開放状態を検出するドア開放検出センサとが備えられると共に、前記ドア開放検出センサでドアの開放状態を検出した際に前記カメラの撮影画像を前記モニタに表示する点にある。
　この構成によると、ドア開放検出センサでドアの開放状態を検出した際にはカメラの撮影画像がモニタに表示される。つまり、ドアが開放状態に達した際に運転者は特別な操作を行わずとも運転座席の位置において開放状態にあるドア付近の映像を確認できることになる。
　その結果、乗員の乗降の状況を運転者が容易に確認できる画像制御装置が構成された。
　本発明は、前記カメラとして、前記車体の左側の路面を含む左側部領域を撮影する左サイドカメラと、前記車体の右側の路面を含む右側部領域を撮影する右サイドカメラとが備えられ、前記ドア開放検出センサとして、前記車体の左側のドアの開放状態を検出する左ドア開放検出センサと、前記車体の右側のドアの開放状態を検出する右ドア開放検出センサとが備えられ、
　前記左サイドカメラの撮影画像から左ドア近傍の画像を左表示画像として生成し、右サイドカメラの撮影画像から右ドア近傍の画像を右表示画像として生成する表示画像生成手段が備えられ、
　前記左ドア開放検出センサと右ドア開放検出センサとの少なくとも一方で開放状態を検出した際に、前記左表示画像と右表示画像とのうち検出に対応するものを所定のレイアウトで前記モニタに表示する情報出力手段が備えられても良い。
　これによると、左ドア開放センサと右ドア開放センサとの少なくとも一方が開放状態にあることを検出した際には、情報出力手段が左表示画像と右表示画像とのうち検出に対応するものを所定のレイアウトでモニタに表示する。このように決まったレイアウトで画像が表示されるので、画像の表示位置から開放状態にあるドアの特定も容易となる。
　本発明は、前記表示画像生成手段が、前記左サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転する処理により前記左表示画像を生成し、前記右サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転する処理により前記右表示画像を生成しても良い。
　これによると、左サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転することで生成された左表示画像と、右サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転することで生成された右表示画像とがモニタに表示されることにより、運転座席からミラーによってドア付近を目視する感覚でモニタからドア付近の状況を把握できる。
　本発明は、前記左サイドカメラで撮影した撮影画像と、前記右サイドカメラで撮影した撮影画像とに基づいて車体の周辺を上方から見下ろした俯瞰画像を生成する俯瞰画像生成手段が備えられると共に、
　前記情報出力手段は、前記左表示画像と、前記右表示画像との少なくとも１つと、前記俯瞰画像とを所定のレイアウトで前記モニタに表示しても良い。
　これによると、左サイドカメラの撮影画像と右サイドカメラの撮影画像とに基づいて俯瞰画像生成手段が俯瞰画像を生成する。また、左ドア開放センサと右ドア開放センサとの少なくとも一方が開放状態にあることを検出した際には、情報出力手段が所定のレイアウトで左表示画像と右表示画像との少なくとも１つをモニタに表示すると共に、俯瞰画像をモニタに表示することにより、ドア近傍の状況と、車体周辺の全体的な状況との把握が可能となる。
　本発明は、前記情報出力手段が、前記モニタに対して前記俯瞰画像を表示する俯瞰画像ウインドウを設定し、前記左表示画像を表示する左ウインドウと、前記右表示画像を表示する右ウインドウとを左右に並列する位置関係に設定しても良い。
　これによると、例えば、左右のドアが共に開いた場合には、情報出力手段が左撮影画像を左ウインドウに表示し、右撮影画像を右ウインドウに表示する。これにより、運転者は並列配置された左ウインドウと右ウインドウとから位置関係に違和感なくドアの近傍の状況を把握できる。
　本発明は、前記カメラとして、前記車体の左側の路面を含む左側部領域を撮影する左サイドカメラが備えられ、前記ドア開放検出センサとして、前記車体の左側のドアの開放状態を検出する左ドア開放センサが備えられ、
　前記左サイドカメラの撮影側の少なくとも一部の左右を鏡面反転する処理により左ドア近傍の画像を左表示画像として生成する表示画像生成手段が備えられても良い。
　これによると、左ドア開放センサが開放状態にあることを検出した際には、情報出力手段が左表示画像をモニタに表示する。このように画像が表示されるので、画像の表示位置から開放状態にある左側のドア付近の映像を確認できる。
　本発明は、前記カメラとして、前記車体の右側の路面を含む右側部領域を撮影する右サイドカメラが備えられ、前記ドア開放検出センサとして、前記車体の右側のドアの開放状態を検出する右ドア開放センサが備えられ、
　前記右サイドカメラの撮影側の少なくとも一部の左右を鏡面反転する処理により右ドア近傍の画像を右表示画像として生成する表示画像生成手段が備えられても良い。
　これによると、右ドア開放センサが開放状態にあることを検出した際には、情報出力手段が右表示画像をモニタに表示する。このように画像が表示されるので、画像の表示位置から開放状態にある右側のドア付近の映像を確認できる。
　本発明は、前記車体が停車状態にあることを検出し、かつ、前記ドア開放検出センサでドアの開放状態を検出した際に、既に実行されている制御モードの情報の表示に優先して前記カメラの撮影画像を前記モニタに表示する制御を乗降確認モードとして実行する制御モード設定部を備えても良い。
　これによると、何らかの制御モードの制御が実行され、その制御モードに従う情報がモニタに表示されている状況であっても、車体が停車し、ドアが開放状態になった場合には、制御モード設定部が乗降確認モードを優先して実行することになり、開放状態になったドアの状況をモニタで確認できることになる。
乗用車の構成の概要を示す平面図である。 乗用車の一部切り欠き斜視図である。 制御系のブロック回路図である。 乗降確認画面のレイアウトを示す図である。 右後部ドアの開放時の乗降確認画面を示す図である。 左後部ドアと右後部ドアとの開放時の乗降確認画面を示す図である。 モニタ表示制御のフローチャートである。
　以下、本発明の実施の形態を図面に基づいて説明する。
　本実施の形態では、車体１に備えられた複数のカメラの撮影画像から車体１の周辺を上方から見下ろした形態となる俯瞰画像を生成してモニタ２１に表示する画像制御装置を備えている。特に、この画像制御装置は、何れかのドアが開放した場合に、複数のカメラのうち、そのドアを撮影領域に含む撮影画像をモニタ２１に表示することで乗員の乗降を把握できる制御を実行するものであり、この制御形態と制御構成とを以下に説明する。
〔基本構成〕
　図１及び図２に示すように、乗用車の車体１に左右の前車輪２と、左右の後車輪３とを備えている。この車体１の前部位置にヒンジにより開閉自在な左前部ドア４と右前部ドア５とを備え、車体１の後部位置にスライド式に開閉自在な左後部ドア６と右後部ドア７とを備え、車体１の後端にはハッチバック式のバックドア８を備えている。
　左前部ドア４と右前部ドア５と左後部ドア６と右後部ドア７とは乗員の乗降に用いられるものであり、外面側にアウトサイドハンドル１１を備え、ルーム側にインサイドハンドル１２を備えている。このアウトサイドハンドル１１又はインサイドハンドル１２を操作することにより、ドアを閉じ状態に維持するラッチを解除してドアの開放が可能になる。尚、車体１の後端のバックドア８は乗員の乗降に利用されない。
　車体１のルーム内には運転座席１３と、助手座席１４と、複数の後部座席１５とが備えられている。運転座席１３の前方位置にはステアリングホイール１６が備えられ、その前部にメータ類を有したパネルが配置されている。運転座席１３の足元にはアクセルペダル１７と、前車輪２及び後車輪３のブレーキ装置ＢＫを操作するブレーキペダル１８とが配置され、運転座席１３の側部には変速を実現するシフトレバー１９が配置されている。
　当然のことながら、前述した右前部ドア５は運転座席１３への運転者の乗降時に開放され、左前部ドア４は助手座席１４への乗員の乗降時に開放される。前述した左後部ドア６と右後部ドア７とは後部座席１５への乗員の乗降時に開放される。
　運転座席１３の近傍、コンソールの上部位置には、表示面にタッチパネル２１Ｔが形成されたモニタ２１が備えられている。モニタ２１は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやＣＲＴ型のものであっても良い。また、タッチパネル２１Ｔは、指などによる接触位置をロケーションデータとして出力する感圧式や静電式の指示入力装置として構成される。モニタ２１にはスピーカ２２も備えられているが、スピーカ２２はドアの内側など、他の場所に備えられても良い。
　左前部ドア４には左サイドミラー２３を備え、右前部ドア５には右サイドミラー２４を備えている。本実施の形態では、車体周辺を撮影する撮影装置として、左サイドミラー２３に左サイドカメラ２５が備えられ、右サイドミラー２４に右サイドカメラ２６が備えられ、車体１の前端に前部カメラ２７が備えられ、車体１の後端に後部カメラ２８が備えられている。
　特に、左サイドカメラ２５は撮影方向が下方にセットされ、車体１の左側の路面を含む左側領域を撮影するものであるが、この左サイドカメラ２５の撮影画像には左後部ドア６が含まれる。これと同様に、右サイドカメラ２６も撮影方向が下方にセットされ、車体１の右側の路面を含む右側領域を撮影するものであるが、この右サイドカメラ２６の撮影画像には右後部ドア７が含まれる。
　これら撮影装置してのカメラはＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵するデジタルカメラであり、撮影した情報を動画情報としてリアルタイムに出力する。これらのカメラには、広角レンズを備えることで広い視野角が確保され、撮影画像に車体１の一部と車体１の近傍の路面が含まれるように撮影方向がセットされている。
　モニタ２１は、ナビゲーションモードの制御においてナビゲーション情報が表示されるものであるが、駐車支援モードの制御において駐車支援情報が表示される。また、乗降確認モードの制御において、左後部ドア６と右後部ドア７とにおける乗員の乗降を確認するための画像が表示される。尚、本発明では、乗降確認モードの制御における画像を表示するための専用のモニタを備えても良い。
　車体前部には、ステアリングホイール１６の回転操作力を前車輪２に伝えて駆動操向（操舵）を行うパワーステアリングユニットＰＳを備えている。また、車体前部には、エンジンＥと、このエンジンＥからの動力を変速して前車輪２に伝えるのにトルクコンバータやＣＶＴ等で成る変速機構Ｔとを備えている。
　車体１には運転操作や、車体１の移動状態を検出するための各種センサが備えられている。具体的に説明すると、ステアリングホイール１６の操作系にはステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサＳ１６が備えられている。また、シフトレバー１９の操作系にはシフト位置を判別するシフト位置センサＳ１９が備えられている。アクセルペダル１７の操作系には操作量を計測するアクセルセンサＳ１７が備えられ、前記ブレーキペダル１８の操作系には操作の有無を検出するブレーキセンサＳ１８が備えられている。
　後車輪３の近傍には後車輪３の回転量から車体１の移動量を計測するようにフォトインタラプタ型やピックアップ型の移動距離センサＳ３が備えられている。尚、移動距離センサＳ３として、変速機構Ｔの内部の伝動系の回転量から移動量を取得するものを用いても良い。また、移動距離センサＳ３は、前車輪２の回転量を計測するものでも良い。更に、前部カメラ２７あるいは後部カメラ２８の撮影画像の画像処理から車体１の移動量とステアリング量とを検出するように構成しても良い。
　左後部ドア６の開放状態を検出する左ドア開放検出センサＳ６と、右後部ドア７の開放状態を検出する右ドア開放検出センサＳ７とが備えられている。この左ドア開放検出センサＳ６と右ドア開放検出センサＳ７とは、ドアが開放作動を開始したタイミングで検出信号を出力するような、開放状態となったことを検出するリミットスイッチ等で構成される。尚、左ドア開放検出センサＳ６と右ドア開放検出センサＳ７として、これらのドアのアウトサイドハンドル１１やインサイドハンドル１２が操作されたことや運転者がスイッチを操作してこれらのドアを開けるオートスライドドアの場合には、そのスイッチ操作を検出するセンサを用いても良い。
〔制御構成〕
　車体の中央部には、本発明の駐車支援装置の中核をなす画像制御装置としてのＥＣＵ３０を配置している。このＥＣＵ３０は、図３に示すように、センサ入力インターフェース３１と、通信インターフェース３２とで成るインターフェースを備えると共に、画像出力モジュール３３と音声出力モジュール３４とを備えている。
　このＥＣＵ３０では、インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）等の処理系を備え、処理結果は画像出力モジュール３３からモニタ２１に出力され、また、音声出力モジュール３４からスピーカ２２に出力される。
　このＥＣＵ３０には、ナビゲーションモードの制御を実現するナビゲーション制御部３５と、ナビゲーション制御部３５に地図情報を与える地図データ保存部３６と、駐車支援モードの制御を実現する駐車支援制御部３７と、乗降確認モードの制御を実現する画像処理部３８とを備えている。
　ナビゲーション制御部３５は、走行時にＧＰＳユニット４１から経度情報と緯度情報とで示される自車位置を取得し、この自車位置に対応した地図データを取得してモニタ２１に表示する。そして、目的地へ誘導するナビゲーション情報をモニタ２１に表示すると共に、誘導情報をスピーカ２２から音声で出力する。地図データ保存部３６は、自車位置に対応した地図データをナビゲーション制御部３５に与える処理を行う。
　駐車支援制御部３７は、駐車を行う際に、カメラビューモードと、アラウンドビューモードとの少なくとも一方の画像をモニタ２１に表示すると共に、この撮影画像に対して車体１を駐車位置に導く支援情報等が重畳表示される。また、支援情報としてスピーカ２２からステアリング方向等の支援情報が音声で出力される。このような情報に基づいてステアリング操作等を行うことにより車体１を駐車位置に容易に導入できることになる。
　画像処理部３８は、俯瞰画像生成手段３８Ａと、表示画像生成手段３８Ｂと、表示対象設定手段３８Ｃと、情報出力手段３８Ｄとを備えている。俯瞰画像生成手段３８Ａは、図４に示す乗降確認画面の俯瞰画像ウインドウ４５に表示される俯瞰画像を生成する。表示画像生成手段３８Ｂは、図４に示す乗降確認画面の左ウインドウ４６又は右ウインドウ４７に表示される表示画像を生成する。表示対象設定手段３８Ｃは、左ウインドウ４６又は右ウインドウ４７に表示される表示画像を設定する。情報出力手段３８Ｄは、モニタ２１に乗降確認画面を表示し、この乗降確認画面に対して前述した俯瞰画像ウインドウ４５、左ウインドウ４６、右ウインドウ４７等を所定のレイアウトで配置し、夫々に対して画像を表示する。
　尚、ナビゲーション制御部３５と、駐車支援制御部３７と、画像処理部３８とはソフトウエアで構成されるものであるが、これらをハードウエアで構成しても良く、これらをソフトウエアとハードウエアとで構成しても良い。
　ＥＣＵ３０は、電子回路により構成され、インターフェースや出力系の一部又は全てがこのような電子回路に含まれていても良い。尚、ＥＣＵ３０には、処理系を構成する電子回路、あるいは、別部品としてメモリやレジスタなどによって構成される記憶部を有し、データバス、アドレスバス、コントロールバス等により情報の入出力が行われる。
　センサ入力インターフェース３１には、ステアリングセンサＳ１６と、シフト位置センサＳ１９と、アクセルセンサＳ１７と、ブレーキセンサＳ１８と、移動距離センサＳ３とからの情報が入力する。
　通信インターフェース３２は、通信回線を介してパワーステアリングユニットＰＳと、変速機構Ｔと、ブレーキ装置ＢＫと、ＧＰＳユニット４１と間で通信を行う。更に、この通信インターフェース３２は、タッチパネル２１Ｔと、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８と、左ドア開放検出センサＳ６と、右ドア開放検出センサＳ７とからの情報を取得する。
　画像出力モジュール３３は、モニタ２１に対して画像を出力し、音声出力モジュール３４は、スピーカ２２に対して音声を出力する。
〔制御形態〕
　このＥＣＵ３０は、ナビゲーションモードの制御と、駐車支援モードの制御と、乗降確認モードの制御とを実現する。特に、乗降確認モードでの制御では、左後部ドア６と右後部ドア７との少なくとも一方が開放状態にある際に、開放状態にあるドアの近傍の画像をモニタ２１に拡大表示するものであり、この制御形態を図７のフローチャートに基づいて説明する。
　ＥＣＵ３０は、移動距離センサＳ３やシフト位置センサＳ１９からの信号に基づいて車体１が停車状態にあることを判定した状況において、左ドア開放検出センサＳ６と右ドア開放検出センサＳ７とからの信号を取得し、左後部ドア６と右後部ドア７との何れも開放状態にない場合には、既に設定されているモード（ナビゲーションモード又は駐車支援モード）の制御による情報をモニタ２１に表示する（＃１０１～＃１０３ステップ）。
　尚、＃１０１ステップにおける「停車状態」との判定は車速センサを備えたものでは、車速を０ｋｍ／ｈである場合としても良く、車速センサの検出遅れを考慮して極低速（１～２ｋｍ／ｈ）以下の場合としても良い。
　これとは逆に、左ドア開放検出センサＳ６と右ドア開放検出センサＳ７との信号から左後部ドア６と右後部ドア７との少なくとも一方が開放状態にあることを判定した場合には、乗降確認モードに移行する。この乗降確認モードでは、図４に示すように、モニタ２１に乗降確認画面を表示し、この乗降確認画面の俯瞰画像ウインドウ４５に対し俯瞰画像生成手段３８Ａが生成した俯瞰画像を表示する（＃１０４ステップ）。
　この乗降確認画面では、俯瞰画像ウインドウ４５と、左ウインドウ４６と、右ウインドウ４７との画像表示領域が並列的に設定されると共に、メッセージ表示領域４８と、アイコン表示領域４９とが図４に示すレイアウトで配置されるものであり、このレイアウトは情報出力手段３８Ｄが設定する。
　俯瞰画像生成手段３８Ａは、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８との撮影画像から車体の周辺を上方から見下ろした画像に変換し、変換画像を中央位置の車体平面イメージの周囲の仮想路面上にマッピングする合成処理により俯瞰画像を生成し、情報出力手段３８Ｄがモニタ２１に出力する。
　この俯瞰画像が俯瞰画像ウインドウ４５に表示された場合には、中央位置に車体イメージ４５Ａが配置され、この周辺を取り囲むように変換画像４５Ｂがマッピングされる表示形態となる。また、この俯瞰画像中には車体１の中心を基準にした前後位置や左右位置の基準になる基準ライン４５Ｃが十字状に形成される。特に、俯瞰画像生成手段３８Ａと情報出力手段３８Ｄとは複数のカメラの撮影画像をリアルタイムで処理を行うことから、車体１に対する乗員の乗降を俯瞰画像において動画として確認できる。
　左ウインドウ４６には左サイドカメラ２５の撮影画像の一部が拡大表示され、右ウインドウ４７に右サイドカメラ２６の撮影画像の一部が拡大表示され、メッセージ表示領域４８には文字データで成る所定のメッセージが表示され、アイコン表示領域４９には車体１の後方視に対応するアイコンが表示される。これらの表示形態は以下に説明する。
　この制御では、車体１が停車し、左後部ドア６と右後部ドア７との少なくとも一方が開放状態に達することにより強制的に乗降確認モードに移行するものであるが、例えば、モニタ２１に対して選択画面（図示せず）を表示し、この選択画面において乗降確認モードのボタンに運転者が指等を接触させることで乗降確認モードに移行できるように制御形態を設定しても良い。
　特に、停車状態にあっても、シフト位置センサＳ１９によりシフトレバー１９がリバース（後進）位置にセットされたことを検出した場合に、全ての制御モードに優先して後部カメラ２８の撮影画像をモニタ２１に表示（バックモニタ表示）する制御を行う制御形態も考えられる。本発明では、このように後部カメラ２８の撮影画像がモニタ２１に表示される状況でも、タッチパネル２１Ｔに指を接触させる等の任意の操作によって乗降確認モードの制御に移行できるように制御形態を設定しても良い。
　次に、左後部ドア６と右後部ドア７との少なくとも一方が開放状態にあることを判定した場合には、開放状態にあるドア近傍が撮影された画像を左ウインドウ４６又は右ウインドウ４７、あるいは、左ウインドウ４６と右ウインドウ４７との双方に表示する。この表示に伴いメッセージ表示領域４８には文字データでメッセージが表示され、アイコン表示領域４９には車体１の後方視に対応するアイコンが表示される（＃１０５、＃１０６ステップ）。
　このように左ウインドウ４６、右ウインドウ４７に画像を表示する際には、表示画像生成手段３８Ｂが左サイドカメラ２５の撮影画像、又は、右サイドカメラ２６の撮影画像をリアルタイムで処理を行うことから、車体１に対する乗員の乗降の様子を動画として確認できる。
　具体例（１）として、左後部ドア６が開放状態にあることを左ドア開放検出センサＳ６で検出した場合には、表示対象設定手段３８Ｃが表示対象を左後部ドア６に設定する。次に、表示画像生成手段３８Ｂが左サイドカメラ２５の撮影画像のうち、左後部ドア６の付近の画像を切り出して拡大し、左右を鏡面反転した右表示画像を生成する。このように生成された左表示画像は、情報出力手段３８Ｄが左ウインドウ４６に表示する。
　また、情報出力手段３８Ｄは、メッセージ表示領域４８に対して「スライドドアが開いています」とのメッセージを表示し、アイコン表示領域４９に対して、アイコンの左半分を表示する。このように表示されるアイコンには撮影領域がハッチングで示される。乗員Ｘの乗降があった場合には俯瞰画像ウインドウ４５と、左ウインドウ４６とに乗員Ｘが表示される。
　具体例（２）として、図５に示すように、右後部ドア７が開放状態にあることを右ドア開放検出センサＳ７で検出した場合には、表示対象設定手段３８Ｃが表示対象を右後部ドア７に設定すると共に、表示画像生成手段３８Ｂが右サイドカメラ２６の撮影画像のうち、右後部ドア７の付近の画像を切り出して拡大し、左右を鏡面反転した左表示画像を生成する。このように生成された右表示画像は、情報出力手段３８Ｄが右ウインドウ４７に表示する。
　また、情報出力手段３８Ｄは、メッセージ表示領域４８に対して「スライドドアが開いています」とのメッセージを表示し、アイコン表示領域４９に対して、アイコンの右半分を表示する。
　具体例（３）として、図６に示すように、左後部ドア６と右後部ドア７とが同時に開放状態にある場合には、前述と同様の処理が行われることで、左表示画像が左ウインドウ４６に表示され、右表示画像が右ウインドウ４７に表示される。そして、メッセージ表示領域４８に対して「スライドドアが開いています」とのメッセージが表示され、また、アイコン表示領域４９に対して、アイコンの全体が表示される。
　この後、左後部ドア６と右後部ドア７との夫々が閉じられた場合には、乗降確認モードの制御を終了すると共に、全ての制御を終了する場合を除き、＃１０１ステップの制御に移行する。そして、先に設定されているモード（ナビゲーションモード又は駐車支援モード）の制御に復帰し、そのモードの制御の情報をモニタ２１に表示する（＃１０８ステップ）。
　このように本発明によると、左後部ドア６や右後部ドア７が開放状態にある際には、既に実行されているモードの制御に優先して、乗降確認モードの制御に移行し、モニタ２１に対して乗降確認画面を表示する。そして、開放されたドア近傍がモニタ２１に拡大表示されることにより、運転者が表示のための特別の操作を行わずとも、また、後方を振り返ることなく、乗員の乗降をモニタ２１によって把握できるのである。
　また、左後部ドア６の付近の拡大画像が左ウインドウ４６に表示され、右後部ドア７の付近の画像が右ウインドウ４７に表示され、この左ウインドウ４６と右ウインドウ４７とが左右に並列する位置関係で配置されているので、左右の判別を容易に行える。しかも、左ウインドウ４６と右ウインドウ４７とに表示される画像が、左右を鏡面反転した画像であるので、サイドミラーで後方を確認するような感覚で確認を行うことが可能となり、感覚的な違和感もない。
　特に、俯瞰画像を生成するためにサイドミラーに備えられているカメラの画像を利用するのでドア付近を撮影するカメラを特別に備えずに済み、カメラを備えることに伴うコストアップを招くこともない。
〔別実施の形態〕
　本発明は、上記した実施の形態以外に以下のように構成しても良い。
（ａ）アウトサイドハンドル１１あるいはインサイドハンドル１２が操作された場合には、ドアが開く状態に至る以前であっても、操作が行われたドア付近の画像をモニタに表示する。この場合、アウトサイドハンドル１１あるいはインサイドハンドル１２が操作されたタイミングで表示を開始することが可能となり、早期での確認を実現する。
（ｂ）ドアの付近を撮影するための専用のカメラを車体に備える。この場合、同じドアの付近を複数のカメラで異なる角度から撮影し、これらの画像をモニタに表示するように表示形態を設定することにより、より詳細な状況の把握が可能となる。
（ｃ）ドアが開放状態にある際に、開放状態にあることを音声によって運転者に認識させるように制御形態を設定する。このように構成することにより、運転者の視線がモニタ２１に向かっていない場合にも、視線をモニタ２１に向けさせ、乗降確認画面から乗員の乗降を確認できる。尚、音声は電子音であって良く、人の言葉であっても良い。
（ｄ）本実施形態では、サイドカメラの撮影方向が下方に向けられていたが、これに限定されることなく、例えば、撮影方向が後方に向けられることでドア近傍を撮影するものでも良い。この場合、本実施形態のように画像を切り出さなくても良いようにカメラを設置することも可能である。
　本発明は、開閉自在なドアを備えている自動車全般に利用することができる。
１　　　　　車体
６　　　　　ドア（左後部ドア）
７　　　　　ドア（右後部ドア）
２１　　　　モニタ
２５　　　　カメラ・左サイドカメラ
２６　　　　カメラ・右サイドカメラ
３８Ａ　　　俯瞰画像生成手段
３８Ｂ　　　表示画像生成手段
３８Ｄ　　　情報出力手段
３９　　　　制御モード設定部
４５　　　　俯瞰画像ウインドウ
４６　　　　左ウインドウ
４７　　　　右ウインドウ
Ｓ６　　　　ドア開放検出センサ・左ドア開放検出センサ
Ｓ７　　　　ドア開放検出センサ・右ドア開放検出センサ

Claims (8)

  1. 　車体のドア近傍を撮影するカメラと、このカメラの撮影画像の表示が可能なモニタと、車体のドアの開放状態を検出するドア開放検出センサとが備えられると共に、前記ドア開放検出センサでドアの開放状態を検出した際に前記カメラの撮影画像を前記モニタに表示する画像制御装置。
  2. 　前記カメラとして、前記車体の左側の路面を含む左側部領域を撮影する左サイドカメラと、前記車体の右側の路面を含む右側部領域を撮影する右サイドカメラとが備えられ、前記ドア開放検出センサとして、前記車体の左側のドアの開放状態を検出する左ドア開放検出センサと、前記車体の右側のドアの開放状態を検出する右ドア開放検出センサとが備えられ、
    　前記左サイドカメラの撮影画像から左ドア近傍の画像を左表示画像として生成し、右サイドカメラの撮影画像から右ドア近傍の画像を右表示画像として生成する表示画像生成手段が備えられ、
    　前記左ドア開放検出センサと右ドア開放検出センサとの少なくとも一方で開放状態を検出した際に、前記左表示画像と右表示画像とのうち検出に対応するものを所定のレイアウトで前記モニタに表示する情報出力手段が備えられている請求項１記載の画像制御装置。
  3. 　前記表示画像生成手段が、前記左サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転する処理により前記左表示画像を生成し、前記右サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転する処理により前記右表示画像を生成する請求項２記載の画像制御装置。
  4. 　前記左サイドカメラで撮影した撮影画像と、前記右サイドカメラで撮影した撮影画像とに基づいて車体の周辺を上方から見下ろした俯瞰画像を生成する俯瞰画像生成手段が備えられると共に、
    　前記情報出力手段が、前記左表示画像と、前記右表示画像との少なくとも１つと、前記俯瞰画像とを所定のレイアウトで前記モニタに表示する請求項２又は３記載の画像制御装置。
  5. 　前記情報出力手段が、前記モニタに対して前記俯瞰画像を表示する俯瞰画像ウインドウを設定し、前記左表示画像を表示する左ウインドウと、前記右表示画像を表示する右ウインドウとを左右に並列する位置関係に設定する請求項４記載の画像制御装置。
  6. 　前記カメラとして、前記車体の左側の路面を含む左側部領域を撮影する左サイドカメラが備えられ、前記ドア開放検出センサとして、前記車体の左側のドアの開放状態を検出する左ドア開放センサが備えられ、
    　前記左サイドカメラの撮影側の少なくとも一部の左右を鏡面反転する処理により左ドア近傍の画像を左表示画像として生成する表示画像生成手段が備えられている請求項１記載の画像制御装置。
  7. 　前記カメラとして、前記車体の右側の路面を含む右側部領域を撮影する右サイドカメラが備えられ、前記ドア開放検出センサとして、前記車体の右側のドアの開放状態を検出する右ドア開放センサが備えられ、
    　前記右サイドカメラの撮影側の少なくとも一部の左右を鏡面反転する処理により右ドア近傍の画像を右表示画像として生成する表示画像生成手段が備えられている請求項１記載の画像制御装置。
  8. 　前記車体が停車状態にあることを検出し、かつ、前記ドア開放検出センサでドアの開放状態を検出した際に、既に実行されている制御モードの情報の表示に優先して前記カメラの撮影画像を前記モニタに表示する制御を乗降確認モードとして実行する制御モード設定部を備えている請求項１から７のいずれか一項に記載の画像制御装置。
PCT/JP2011/052259 2010-03-12 2011-02-03 画像制御装置 WO2011111448A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11753110.3A EP2547104B1 (en) 2010-03-12 2011-02-03 Image control apparatus
CN201180012249.9A CN102783145B (zh) 2010-03-12 2011-02-03 图像控制装置
US13/634,112 US20130002877A1 (en) 2010-03-12 2011-02-03 Image control apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010056355A JP5397697B2 (ja) 2010-03-12 2010-03-12 画像制御装置
JP2010-056355 2010-03-12

Publications (1)

Publication Number Publication Date
WO2011111448A1 true WO2011111448A1 (ja) 2011-09-15

Family

ID=44563274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/052259 WO2011111448A1 (ja) 2010-03-12 2011-02-03 画像制御装置

Country Status (5)

Country Link
US (1) US20130002877A1 (ja)
EP (1) EP2547104B1 (ja)
JP (1) JP5397697B2 (ja)
CN (1) CN102783145B (ja)
WO (1) WO2011111448A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066010A (ja) * 2011-09-16 2013-04-11 Hitachi Constr Mach Co Ltd 作業機の周囲監視装置
WO2014108165A1 (de) * 2013-01-09 2014-07-17 Daimler Ag Vorrichtung und verfahren zum anzeigen einer information auf einer anzeigeeinrichtung in einem fahrzeug
CN107089190A (zh) * 2016-02-18 2017-08-25 奥迪股份公司 用于辅助用户下车的警告系统、警告方法以及相应的车辆
JP2020120278A (ja) * 2019-01-24 2020-08-06 アルパイン株式会社 電子サイドミラーシステム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100959347B1 (ko) * 2010-02-24 2010-05-20 조성호 자동차의 좌우후방 시야확보 장치
WO2011158609A1 (ja) * 2010-06-15 2011-12-22 アイシン精機株式会社 運転支援装置
CN103180522B (zh) * 2010-10-22 2016-01-13 日立建机株式会社 作业机械的周边监视装置
CN103975315B (zh) * 2011-12-06 2017-04-12 英特尔公司 用于提高车辆计算平台中的响应性的方法和系统
KR101362326B1 (ko) * 2012-08-06 2014-02-24 현대모비스 주식회사 주차 정렬 기능을 갖는 차량 후방 카메라 시스템 및 이를 이용한 차량의 주차 지원 시스템
CN104228714A (zh) * 2013-06-14 2014-12-24 华创车电技术中心股份有限公司 停车影像的提供方法
GB2515099B (en) * 2013-06-14 2015-11-11 Jaguar Land Rover Ltd Door protection system
KR101482171B1 (ko) * 2013-09-05 2015-01-13 현대모비스(주) 어라운드뷰 정차모드 제어방법
CN104063991B (zh) * 2014-06-28 2017-06-30 宁波吉利汽车研究开发有限公司 一种下车安全提醒装置及其检测方法
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP6545108B2 (ja) * 2016-01-14 2019-07-17 アルパイン株式会社 駐車支援装置および駐車支援方法
JP6675206B2 (ja) * 2016-01-19 2020-04-01 株式会社モリタホールディングス 車両用監視表示装置
US20170297487A1 (en) * 2016-04-14 2017-10-19 GM Global Technology Operations LLC Vehicle door opening assessments
KR101846666B1 (ko) * 2016-05-02 2018-04-06 현대자동차주식회사 측후방 주시 카메라 시스템 작동 제어장치 및 방법
JP2017210063A (ja) * 2016-05-24 2017-11-30 株式会社東海理化電機製作所 車両用表示装置
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
JP2018043643A (ja) * 2016-09-14 2018-03-22 株式会社東海理化電機製作所 車両用視認装置
JP6737173B2 (ja) * 2016-12-28 2020-08-05 株式会社Ｊｖｃケンウッド 映像生成装置、映像生成システム、映像生成方法およびプログラム
JP6730614B2 (ja) * 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6769383B2 (ja) * 2017-04-13 2020-10-14 トヨタ自動車株式会社 自動運転装置、及び通知方法
EP3663161A4 (en) * 2017-07-31 2021-06-23 Hitachi Kokusai Electric Inc. VIDEO DISPLAY SYSTEM AND VIDEO DISPLAY METHOD
CN109455140B (zh) * 2017-09-06 2022-03-01 丰田自动车株式会社 图像显示装置
CN111542450B (zh) * 2017-12-14 2023-03-24 本田技研工业株式会社 车辆的监视器配置结构
JP6967729B2 (ja) * 2018-03-30 2021-11-17 パナソニックＩｐマネジメント株式会社 運転支援システム、情報処理装置及び情報処理方法
JP7099914B2 (ja) * 2018-09-07 2022-07-12 株式会社デンソー 電子ミラーの表示制御装置およびそれを備えた電子ミラーシステム
DE102019115645B4 (de) * 2018-10-02 2023-07-20 GM Global Technology Operations LLC Algorithmus zur elektrischen türschliessung
CN110303986A (zh) * 2019-07-02 2019-10-08 宁波胜维德赫华翔汽车镜有限公司 一种增强视野的摄像头监控系统
US20220063559A1 (en) * 2020-08-25 2022-03-03 Deere & Company Work vehicle, door state determination system, and method of determining state of work vehicle door
FR3120030A1 (fr) * 2021-02-25 2022-08-26 Psa Automobiles Sa Procédé et dispositif de rétro-vision numérique utilisé par un véhicule pour remplacer des rétroviseurs extérieurs du véhicule
KR102580653B1 (ko) * 2023-05-22 2023-09-21 고려웍스(주) 차량어라운드뷰 자동전환장치 및 그의 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6348985A (ja) * 1986-08-18 1988-03-01 Matsushita Electric Ind Co Ltd 車内確認装置
JP2001114048A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2006103526A (ja) 2004-10-06 2006-04-20 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2007148618A (ja) * 2005-11-25 2007-06-14 Fujitsu Ten Ltd 車両周辺監視システム及び方法
JP2008018798A (ja) * 2006-07-12 2008-01-31 Pioneer Electronic Corp 表示制御装置、表示制御方法、表示制御プログラムおよびコンピュータに読み取り可能な記録媒体
JP2009239674A (ja) 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両周辺表示装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07274161A (ja) * 1994-03-29 1995-10-20 Toshiba Corp 車両後方確認装置
US5874989A (en) * 1996-12-09 1999-02-23 Custom Radio Corporation Bus door observation system
SE520075C2 (sv) * 2000-12-01 2003-05-20 Safenet I Harads Ab Förfarande vid klämskyddsanordningar samt anordning för genomförande av förfarandet
KR200277875Y1 (ko) * 2002-03-11 2002-06-14 이스턴 마스텍 주식회사 자동차의 후방용 감시카메라의 좌우반전 스위칭 장치
US7463281B2 (en) * 2003-08-06 2008-12-09 Microsoft Corporation Smart vehicle video management
JP2005110202A (ja) * 2003-09-08 2005-04-21 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺監視装置
US7091833B1 (en) * 2004-04-23 2006-08-15 Everton Davis Automobile theft deterrent system
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
JP2006224873A (ja) * 2005-02-18 2006-08-31 Denso Corp 車両周辺監視装置
DE602006014321D1 (de) * 2005-04-20 2010-07-01 Mazda Motor Steuervorrichtung, Steuerverfahren und Computerprogramm für ein Fahrzeug
JP2007118762A (ja) * 2005-10-27 2007-05-17 Aisin Seiki Co Ltd 周辺監視モニタリングシステム
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP2008168786A (ja) * 2007-01-11 2008-07-24 Denso Corp 車載機器操作案内装置
KR100862041B1 (ko) * 2007-05-09 2008-10-07 홍종운 차량용 승객 보호 장치
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
CN101234620B (zh) * 2008-02-28 2010-04-21 上海交通大学 车辆智能后视装置
JPWO2009141846A1 (ja) * 2008-05-19 2011-09-22 パナソニック株式会社 車両周囲監視装置および車両周囲監視方法
CN101633340A (zh) * 2008-07-25 2010-01-27 襄樊学院 汽车后视摄像头
CN201242773Y (zh) * 2008-08-19 2009-05-20 李祖华 公共交通工具人像记录系统
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6348985A (ja) * 1986-08-18 1988-03-01 Matsushita Electric Ind Co Ltd 車内確認装置
JP2001114048A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2006103526A (ja) 2004-10-06 2006-04-20 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2007148618A (ja) * 2005-11-25 2007-06-14 Fujitsu Ten Ltd 車両周辺監視システム及び方法
JP2008018798A (ja) * 2006-07-12 2008-01-31 Pioneer Electronic Corp 表示制御装置、表示制御方法、表示制御プログラムおよびコンピュータに読み取り可能な記録媒体
JP2009239674A (ja) 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両周辺表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2547104A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066010A (ja) * 2011-09-16 2013-04-11 Hitachi Constr Mach Co Ltd 作業機の周囲監視装置
WO2014108165A1 (de) * 2013-01-09 2014-07-17 Daimler Ag Vorrichtung und verfahren zum anzeigen einer information auf einer anzeigeeinrichtung in einem fahrzeug
CN107089190A (zh) * 2016-02-18 2017-08-25 奥迪股份公司 用于辅助用户下车的警告系统、警告方法以及相应的车辆
JP2020120278A (ja) * 2019-01-24 2020-08-06 アルパイン株式会社 電子サイドミラーシステム

Also Published As

Publication number Publication date
CN102783145A (zh) 2012-11-14
JP5397697B2 (ja) 2014-01-22
EP2547104B1 (en) 2015-06-10
JP2011193136A (ja) 2011-09-29
US20130002877A1 (en) 2013-01-03
CN102783145B (zh) 2015-11-25
EP2547104A1 (en) 2013-01-16
EP2547104A4 (en) 2013-08-07

Similar Documents

Publication Publication Date Title
JP5397697B2 (ja) 画像制御装置
US10479275B2 (en) Vehicle peripheral observation device
US9862319B2 (en) Vehicle peripheral observation device using cameras and an emphasized frame
KR101326364B1 (ko) 차량주변표시장치
EP2981077B1 (en) Periphery monitoring device and program
US10131277B2 (en) Surroundings monitoring apparatus
JP4623396B2 (ja) 車両周辺表示装置
JP2010202010A (ja) 駐車支援装置
JPWO2011158609A1 (ja) 運転支援装置
JP5459553B2 (ja) 駐車支援装置
JP7111510B2 (ja) 状態判定装置、運転支援装置、状態判定方法、及び、運転支援方法
JP2011255812A (ja) 駐車支援装置
JP4977482B2 (ja) 画像提供装置、車両、および画像提供方法
JP6840998B2 (ja) 障害物検知装置
JP5605605B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180012249.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11753110

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011753110

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13634112

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE