WO2011132388A1 - 車両の周辺監視装置 - Google Patents

車両の周辺監視装置 Download PDF

Info

Publication number
WO2011132388A1
WO2011132388A1 PCT/JP2011/002206 JP2011002206W WO2011132388A1 WO 2011132388 A1 WO2011132388 A1 WO 2011132388A1 JP 2011002206 W JP2011002206 W JP 2011002206W WO 2011132388 A1 WO2011132388 A1 WO 2011132388A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
driver
vehicle
information
Prior art date
Application number
PCT/JP2011/002206
Other languages
English (en)
French (fr)
Inventor
幸大 松田
誠 相村
雄介 中村
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to JP2012511534A priority Critical patent/JP5689872B2/ja
Priority to US13/639,924 priority patent/US20130044218A1/en
Priority to CN201180018482.8A priority patent/CN102859567B/zh
Priority to EP11771731.4A priority patent/EP2546819B1/en
Publication of WO2011132388A1 publication Critical patent/WO2011132388A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an apparatus for monitoring the periphery of a vehicle, and more specifically to an apparatus for controlling a display form according to monitoring of the periphery of the vehicle.
  • an image pickup device that picks up an image of the periphery of a vehicle is mounted on the vehicle, and an image of the periphery of the vehicle acquired by the image pickup device is displayed on a display device. At that time, when a predetermined object is present in the acquired image, a warning is given to the object to alert the driver.
  • Patent Document 1 Japanese Patent No. 2929927
  • Patent Document 1 obtains a frequency at which the direction in which the driver is gazing and the direction to be gazed in order to obtain information necessary for driving is determined. Is described to determine a notification level of information to be notified. Thereby, while reducing the troublesomeness of the driver, appropriate information is notified about the situation that the driver is not aware of.
  • one object of the present invention is to provide a display form that controls the amount of information in the display screen according to the position of the display device and optimizes the driver's gaze on the display screen and forward gaze. Is to provide.
  • a vehicle periphery monitoring device is configured to detect an object around a vehicle based on an image acquired by an imaging device that images the periphery of the vehicle, and based on the captured image.
  • Display means for displaying the display image generated on the display screen, and alarm means for warning the driver of the presence of the object through the display means when the object is detected.
  • the display means is arranged at a plurality of positions where the driver can see, and the warning means allows the driver to visually recognize the display screen based on the driver's line of sight facing the front.
  • the display means having a larger required line-of-sight movement amount reduces the amount of information displayed on the display screen.
  • the instantaneous readability decreases.
  • the display means display device
  • Instantaneous readability can be improved, and therefore optimization of the driver's gaze on the display screen and forward gaze can be achieved.
  • the present invention is provided with means for calculating an arrival time until the vehicle reaches the object, and the longer the arrival time, the more the display screens of the display means arranged at the plurality of positions.
  • the difference in information amount is set to be small.
  • the longer the arrival time the greater the margin for checking the object. Therefore, in such a case, the convenience of the passenger can be improved by displaying the same amount of information on any display means.
  • the present invention is provided with means for detecting an occupant other than the driver, and when the presence of the occupant is detected, the position of the occupant among the display means arranged at the plurality of positions. For near display means, the amount to reduce the amount of information is suppressed.
  • the present invention for example, if an occupant is present in the passenger seat, a reduction in the amount of information on the display device close to the occupant is suppressed, so that the convenience of the occupant can be improved.
  • 3 is a flowchart illustrating a process in an image processing unit according to an embodiment of the present invention.
  • 7 is a flowchart showing a process in an image processing unit according to another embodiment of the present invention.
  • the block diagram which shows the structure of the periphery monitoring apparatus of a vehicle according to the further another Example of this invention.
  • 6 is a flowchart illustrating a process in an image processing unit according to still another embodiment of the present invention.
  • the figure which shows an example of the display form on the some display apparatus according to the further another Example of this invention.
  • FIG. 1 is a block diagram illustrating a configuration of a vehicle periphery monitoring device including a plurality of display devices according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating attachment of the plurality of display devices and cameras to the vehicle.
  • the plurality of display devices are shown as first to third display devices 31 to 33, and all of the display devices are arranged at a plurality of positions that are visible to the driver.
  • the periphery monitoring device is mounted on a vehicle and can detect far infrared rays, and an image processing unit 2 for detecting an object around the vehicle based on image data obtained by the cameras 1R and 1L. , A speaker 3 for generating an alarm by voice based on the detection result, and a first display device 31 for displaying a display image based on an image from the camera 1R or 1L. Further, the periphery monitoring device includes a yaw rate sensor 6 that detects the yaw rate of the vehicle, and a vehicle speed sensor 7 that detects the traveling speed (vehicle speed) of the vehicle, and the detection results of these sensors are sent to the image processing unit 2. It is done.
  • the cameras 1R and 1L are symmetrical with respect to the central axis passing through the center of the vehicle width at the front portion of the vehicle 10 so as to image the front of the vehicle 10. It is arranged in the position.
  • the two cameras 1R and 1L are fixed to the vehicle so that their optical axes are parallel to each other and their height from the road surface is equal.
  • the infrared cameras 1R and 1L have a characteristic that the level of the output signal becomes higher (that is, the luminance in the captured image becomes higher) as the temperature of the object is higher.
  • the first display device 31 is a so-called head-up display (provided on the front window so that the screen is displayed at the front position of the driver).
  • HUD head-up display
  • Line L1 passes through the center of the steering wheel (steering wheel) 21 of the vehicle and extends in the front-rear direction of the vehicle (in the drawing, shown to extend in the vertical direction of the drawing for easy understanding)
  • the line-of-sight direction of the driver when the driver faces the front is shown.
  • the first display device 31 is arranged such that the center of the display screen in the vehicle width direction is positioned substantially on the line L1.
  • a navigation device is mounted on a vehicle, and the device includes a navigation unit 5 and a third display device 33.
  • the third display device 33 is disposed on the dashboard of the vehicle, and is provided at a position separated from the line L1 by a predetermined distance.
  • the navigation unit 5 is realized by a computer having a central processing unit (CPU) and a memory.
  • the navigation unit 5 receives, for example, a GPS signal for measuring the position of the vehicle 10 using an artificial satellite via a communication device (not shown) provided in the navigation unit 5, and receives the GPS signal. Based on this, the current position of the vehicle is detected.
  • the navigation unit 5 stores the current position in the map information around the vehicle (which can be stored in a storage device of the navigation device or can be received from a predetermined server via the communication device). Is displayed on the third display device 33 in a superimposed manner.
  • the display screen of the third display device 33 constitutes a touch panel, and the occupant enters the navigation unit 5 via the touch panel or another input device (not shown) such as a key or a button. You can enter your destination.
  • the navigation unit 5 can calculate the optimal route of the vehicle to the destination, superimpose an image showing the optimal route on the map information, and display it on the third display device 33.
  • a speaker 3 is connected to the navigation unit 5.
  • route guidance such as a temporary stop or an intersection
  • not only the display on the third display device 33 but also the speaker 3 is connected.
  • the passenger can be notified by sound or voice.
  • recent navigation devices are equipped with various other functions such as providing traffic information and facility guidance in the vicinity of the vehicle. In this embodiment, any appropriate navigation device can be used. .
  • a second display device 32 is provided, which is arranged in the vehicle width (horizontal) direction with the first display device 31 and the third display device as shown in FIG.
  • the display device 33 is provided on the instrument panel. Therefore, the distance of the second display device 32 from the line L1 is smaller than the distance of the third display device 33.
  • the second display device 32 is a liquid crystal display configured to be able to display a plurality of predetermined information, and is called a so-called multi-information display (MID).
  • MID multi-information display
  • the second display device 32 is configured to be able to display a plurality of information related to the running state of the vehicle (the state relating to the vehicle speed, the rotational speed, and the fuel efficiency).
  • the image processing unit 2 includes an A / D conversion circuit that converts an input analog signal into a digital signal, an image memory that stores a digitized image signal, a central processing unit (CPU) that performs various arithmetic processing, and a data RAM (Random Access Memory) used for storing, ROM (Read Only Memory) storing programs executed by the CPU and data (including tables and maps), driving signals for the speaker 3, and the first to the above-mentioned
  • An output circuit for outputting display signals and the like for the third display devices 31 to 33 is provided.
  • the output signals of the cameras 1R and 1L are converted into digital signals and input to the CPU.
  • each of the first to third display devices 31 to 33 is connected to the image processing unit 2 and can display an image obtained as a result of processing by the image processing unit 2. Yes.
  • a switching mechanism relating to the contents to be displayed can be provided for the second and third display devices 33.
  • the second display device 32 can switch between the display of the image from the image processing unit 2 and the display of the normal predetermined information, and the third display device 33 can switch the image processing.
  • the display of the image from the unit 2 and the display of the information output from the navigation unit 5 can be switched.
  • a recent vehicle may be provided with a plurality of display devices as described above.
  • a display device arranged farther away from the line L1 has a larger amount of line-of-sight movement in which the driver visually recognizes the display screen. Therefore, it is desirable to improve the instantaneous readability.
  • the information amount of the display image generated based on the processing result of the image processing unit 2 is controlled according to the position of the display device. Specifically, the information amount of the display image is reduced as the position of the display device becomes farther in the horizontal direction from the line of sight when the driver is facing the front (the above line L1). Thereby, it can be set as the display content with high instantaneous reading property, so that the position of a display apparatus is kept away from a driver
  • FIG. 3 is a flowchart showing a process executed by the image processing unit 2 according to an embodiment of the present invention. The process is performed at predetermined time intervals.
  • the output signals of the cameras 1R and 1L (that is, captured image data) are received as input, A / D converted, and stored in the image memory.
  • the stored image data is a gray scale image including luminance information.
  • step S14 the right image captured by the camera 1R is used as a reference image (alternatively, the left image may be used as a reference image), and the image signal is binarized. Specifically, a process of setting a region brighter than the luminance threshold value ITH to “1” (white) and a dark region to “0” (black) is performed.
  • the luminance threshold value ITH can be determined by any appropriate technique.
  • this binarization processing an object having a temperature higher than a predetermined temperature such as a living body is extracted as a white region.
  • step S15 the binarized image data is converted into run-length data.
  • the coordinates of the start point (the leftmost pixel of each line) of the white area (referred to as a line) in each pixel row, and the start point to the end point (each The run length data is represented by the length (expressed by the number of pixels) up to the pixel on the right end of the line.
  • the y-axis is taken in the vertical direction in the image
  • the x-axis is taken in the horizontal direction.
  • steps S16 and S17 the object is labeled and a process of extracting (detecting) the object is performed. That is, of the lines converted into run length data, a line having a portion overlapping in the y direction is regarded as one object, and a label is given thereto. Thus, one or a plurality of objects are extracted (detected).
  • the determination process can be realized by any appropriate method. For example, using known pattern matching, the similarity between the object extracted as described above and a predetermined pattern representing a pedestrian is calculated, and if the similarity is high, the object is determined to be a pedestrian. be able to. Examples of such determination processing are described in, for example, Japanese Patent Application Laid-Open Nos. 2007-241740 and 2007-334751.
  • step S18 the detected object is displayed to output an alarm for the object.
  • images to be displayed on the first to third display devices 31 to 33 based on the above-described gray scale image in which the object is imaged (referred to as first to third images).
  • the generated first to third images are displayed on the first to third display devices 31 to 33.
  • the generation is performed so that the information amount is reduced from the first to the third image.
  • the information amount indicates image contents that can be read by a person from an actually displayed image. The more images are captured in the image (not only living bodies such as pedestrians but also artificial structures such as buildings and other vehicles), the greater the amount of information, and the content of the image is read instantly. It becomes difficult (decreasing reading ability).
  • the display mode in which the amount of information is reduced toward the first to third images is referred to as a first display mode.
  • the first image is an image that can be visually recognized on the display screen other than the detected object, and the second image is substantially only the detected object.
  • the image is visible on the display screen, and the third image is an image that cannot be seen on the display screen even for the detected object.
  • the first image is the gray scale image.
  • a state in which an image area (referred to as an area other than the object) other than the image area (referred to as an object area) corresponding to the object detected in step S17 is substantially unreadable in the second image.
  • the luminance value of each pixel in a region other than the object may be decreased by a predetermined value or changed to a predetermined low luminance value. By doing so, it is possible to generate a second image that is substantially readable only by the object region.
  • the luminance value of all the pixels in the grayscale image is decreased by a predetermined value so that the third image is indecipherable even with respect to the object region in the image, Change to a lower brightness value.
  • the third image appears as if nothing is captured, and the captured image can be substantially hidden.
  • the image display itself on the third display device 33 may be suppressed (non-display) without performing the conversion process of the luminance value of the pixel.
  • FIG. (A1) shows the first image
  • (b1) shows the second image
  • (c1) shows the third image.
  • the first image is a grayscale image, and is displayed so that other vehicles 103 and street lamps 105 can be seen in addition to the pedestrian 101.
  • the second image is obtained by reducing the contrast of the region other than the object, and is substantially an image in which only the object called the pedestrian 101 is visible.
  • the third image the image is substantially hidden.
  • all the pixels of the grayscale image have a predetermined low luminance value (in this example, the black luminance value). It is the image of the converted result.
  • the amount of information that can be read by the driver from the display image decreases from the first image to the third image. Since the first image includes information such as the pedestrian 101, the other vehicle 103, and the street lamp 105, the driver tries to recognize these objects. Since only the pedestrian 101 contains substantial information in the second image, the second image can be read in a shorter time than the first image. Since nothing is displayed in the third image, nothing is received as information. The less information received from the display image, the more forward attention can be urged.
  • the first image may be generated as the gray scale image
  • the second image may be generated as an image in which the contrast of the entire gray scale image is reduced.
  • a second image with a reduced contrast can be generated by changing the luminance value of each pixel in the grayscale image so that the difference between the maximum luminance value and the minimum luminance value is small.
  • it is preferable to set the degree of decrease in the contrast of the second image to such an extent that the detected object can be visually recognized. In this way, it is possible to generate a second image in which only the object region is substantially visible.
  • the third image can be an image in which the contrast of the second image is further reduced so that the image is substantially not displayed.
  • a darkened image may be generated by lowering the luminance value of all the pixels in the grayscale image by a predetermined value. In this case as well, for the second image, it is preferable to lower the luminance value so that only the object region is substantially visible.
  • FIG. 4 also shows one form of an image that has undergone such contrast reduction.
  • A2 shows the first image, which is a grayscale image.
  • B2 shows a second image, which is an image in which the contrast of the entire gray scale image is lowered. Since the object area in which the pedestrian 101 is imaged has a high luminance value in the grayscale image, the pedestrian is maintained in a visible state as shown in the figure.
  • C2 shows a third image, and is an image in which the contrast of the entire image is further lowered than in (b2). By increasing the amount of decreasing the contrast, the image can be substantially hidden as shown in the figure.
  • the first image is generated by increasing the contrast of the grayscale image
  • the second image is the grayscale image
  • the third image is the contrast of the grayscale image. You may make it produce
  • the first image is an image obtained by adding an emphasis display to the object detected in step S17, and the second image is not added such an emphasis display.
  • the third image is an image that cannot be visually recognized on the display screen.
  • FIG. (A3) shows the first image, and is provided with a frame 111 for highlighting the image of (a1) in FIG. 4 and the detected object (pedestrian in this embodiment). Is different. Since this frame 111 is also recognized by the driver as one piece of information, the first image of (a3) is considered to have a larger amount of information than the image of (a1) in FIG. Can do.
  • (B3) shows the second image, which is the same grayscale image as (a1) in FIG. Alternatively, a second image may be obtained by superimposing an emphasis frame on the images of (b1) and (b2) in FIG.
  • C3 shows a third image, which is the same as (c1) in FIG. Alternatively, an image with reduced contrast as shown in (c2) of FIG. 4 may be used as the third image.
  • FIG. 6 is a flowchart of a process executed by the image processing unit 2 according to another embodiment of the present invention. The process is performed at predetermined time intervals. The difference from FIG. 3 is that the display form is changed according to the distance to the object or the arrival time of the vehicle to the object.
  • Steps S11 to S17 are the same as those in FIG.
  • step S28 the distance to the object extracted (detected) in step S17 is calculated. This can be performed by any known means, and is described in, for example, Japanese Patent Application Laid-Open No. 2001-6096.
  • the arrival time of the vehicle to the object may be calculated. The arrival time can be calculated by dividing the distance by the vehicle speed detected by the vehicle speed sensor 7 of the vehicle.
  • step S29 it is determined whether the distance (or arrival time) thus calculated is greater than a predetermined value. If this determination is No, in step S30, the first to third display images are generated according to the first display form described above, and these are displayed on the first to third display devices 31 to 33, respectively. Thus, an alarm is output for the object. If this determination is Yes, in step S31, first to third display images are generated according to the second display form, and these are displayed on the first to third display devices 31 to 33, respectively. An alarm is output for the object.
  • the first display form includes the first to third displays so that the information amount is reduced toward the first to third images.
  • an image is generated and displayed.
  • the first to third display images are generated and displayed so as to alleviate (reduce) the information amount difference between the first to third images in the first display form. It is a technique.
  • (A4), (b4), and (c4) in FIG. 7 show an example of the second display form, and the first display form is (a1), (b1), and (c1) in FIG.
  • (A4) shows the first image, which is the same as (a1) in FIG.
  • (B4) shows a second image, which is obtained by reducing the contrast of a region other than the object (here, pedestrian 101) of the grayscale image of (a1).
  • the amount of decrease in contrast is smaller than the amount of decrease in contrast when the image of (b1) in FIG. 4 is generated.
  • the information of the vehicle 103 other than the pedestrian 101 can be read from the image of (b4), and compared with the difference in information amount between (a1) and (b1) in FIG.
  • the difference in information amount between a4) and (b4) is small.
  • (C4) shows a third image, which is obtained by further reducing the contrast of the region other than the object of the image of (b4), and is the same as the image of (b1) of FIG. From the image of (c4), it is shown as information that can be read by only the pedestrian 101. Compared with the difference in information amount between (a1) and (c1) in FIG. 4, the difference in information amount between (a4) and (c4) is smaller.
  • (a5), (b5), and (c5) of FIG. 7 show other examples of the second display form.
  • the first display form is (a3), (b3), and ( The case of c3) is assumed.
  • (A5) shows the first image, which is the same as (a3) in FIG.
  • (B5) shows the second image, which is the same as (b3) in FIG.
  • (C5) shows a third image, which is the same as (b1) in FIG.
  • the difference in information amount between (a5) and (b5) is the same as the difference in information amount between (a3) and (b3) in FIG. 101 is substantially legible
  • the difference in information amount between (a5) or (b5) and (c5) is (a3) or (b3) in FIG. It is smaller than the difference in information amount from c3).
  • the difference in information amount between any two of the plurality of display devices can be reduced.
  • the difference in the amount of information can be reduced to allow the gaze time for the second and third display devices 32 and 33 to some extent.
  • the first to third images may all be the same (in this case, the amount of information between the first to third images). The difference will disappear.)
  • the first to third images are generated so that the object region can be visually recognized.
  • the present invention is not limited to this.
  • the third image is shown in FIG. You may produce
  • FIG. 8 shows a block diagram of a vehicle periphery monitoring device according to still another embodiment of the present invention.
  • an occupant detection means 9 is provided for detecting whether there is an occupant other than the driver. In this embodiment, it is detected whether an occupant is present in the passenger seat as an occupant other than the driver.
  • the occupant detection means 9 can be realized by any appropriate means. For example, a seating sensor that detects that a person is seated on the seat can be provided in the passenger seat, and determination can be made based on the detection result of the sensor. Alternatively, a camera for imaging the passenger seat is provided in the vehicle, and if a person is detected in the captured image, it can be detected that a passenger is present.
  • the first to third images are displayed in accordance with the third display mode instead of the first display mode described with reference to FIGS. Generated and displayed on the first to third display devices 31 to 33. This process will be described with reference to FIG.
  • FIG. 9 is a process processed by the image processing unit 2 according to the embodiment of FIG. 8, and is executed at predetermined time intervals. Steps S11 to S17 are the same as those in FIG.
  • step S38 the result detected by the occupant detection means 9 is acquired.
  • step S39 it is determined whether there is an occupant in the passenger seat based on the acquired detection result. If no occupant is present in the passenger seat, the process proceeds to step S40, and an alarm is output according to the first display form. This is the same as step S18 in FIG. 3 and step S30 in FIG.
  • step S41 If there is no occupant in the passenger seat, the process proceeds to step S41, and an alarm is output according to the third display form.
  • 3rd display form is a form which suppresses the amount of reduction of the information content of the image displayed on the display apparatus close
  • the display device closest to the occupant is identified, and the information amount of the image displayed on the identified display device is not reduced as in the first display form.
  • the information amount of the third image is changed.
  • the third image is generated so as to have the same amount of information as the second or first image, and is displayed on the third display device 33.
  • FIG. 10 shows an example of the third display form.
  • the images (a6) to (c6) respectively show a first image, a second image, and a third image.
  • the first display forms are (a1) to (c1) in FIG. A certain case is assumed.
  • the third image of (c6) is the same as the first image of (a6), and it can be seen that the amount of information from the first image is not reduced compared to the first display form. .
  • the third image of (c6) has a larger amount of information than the second image shown in (b6).
  • the images (a7) to (c7) respectively show a first image, a second image, and a third image, and the first display form in FIG. It is assumed that a3) to (c3).
  • the third image of (c7) is the same as the second image of (b7), and it can be seen that the amount of information from the second image is not reduced compared to the first display form. . It can also be seen that the amount of information reduction from the first image shown in (a7) is smaller than in the first display form.
  • the third image in the third display form is generated in the same manner as the first or second image, but alternatively, the third image in the third display form is replaced with the third image.
  • the amount of information may not be as high as that of the first or second image, but the amount of information may be larger than that of the third image in the first display form.
  • an image that is substantially visible only to the detected object (in this example, pedestrian 101), such as (b6) in FIG. May be used as the third image.
  • the amount of information on the display device that is close to the occupant is reduced, so that a display screen that is easily visible to the occupant can be provided. An occupant can visually recognize the display screen and inform the driver of the contents.
  • the embodiment using the second display form (FIG. 6) and the embodiment using the third display form (FIG. 10) may be combined.
  • the first to third images are reduced so that the information amount difference between the first to third images is smaller than that of the first display form.
  • the image of the display device closest to the detected occupant can be generated while suppressing a reduction in the amount of information compared to the first display form.
  • three display devices are used.
  • the present invention can be applied to any number of two or more display devices.
  • the information amount in the first display form is reduced, the difference in the information amount in the second display form is reduced, and the third It is only necessary to suppress the reduction in the amount of information in the display form, and it is not always necessary to do this for all display devices.
  • the far-infrared camera is used in the above embodiment, the present invention can be applied to other cameras (for example, a visible camera).
  • the pedestrian is configured to be detected as the predetermined object.
  • an animal may be detected.
  • an alarm for the detected object is issued via the display device, but in addition to this, the driver is notified of the presence of the object via the speaker 3. May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

　車両の周辺監視装置は、車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の対象物を検出する手段と、撮像画像に基づいて生成される表示画像を表示画面上に表示する表示手段と、対象物が検出された場合に、該表示手段を介して該対象物の存在を運転者に警報する警報手段とを備える。該表示手段は、運転者が目視可能な複数の位置に配置されており、警報手段は、正面を向いた該運転者の視線を基準として、該運転者が表示画面を視認するのに必要な視線移動量が大きい表示手段ほど、該表示画面上に表示される情報量を低減させる。こうして、表示装置が運転者から遠い位置にあるほど瞬読性を高め、運転者の表示画面への注視と前方への注視を最適化することができる。

Description

車両の周辺監視装置
　この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の監視に応じて表示の形態を制御する装置に関する。
　従来より、車両の周辺を撮像する撮像装置を該車両に搭載し、該撮像装置によって取得された車両の周辺の画像を表示装置上に表示することが行われている。その際、該取得された画像中に所定の対象物が存在する場合には、該対象物について警報を行うことにより、運転者の注意を喚起することが行われる。
　上記のような警報が多発すると、運転者に煩わしさを感じさせるおそれがある。これを抑制するため、特許第２９２９９２７号（特許文献１）には、運転者が注視している方向と、運転に必要な情報を得るため注視すべき方向とが一致する頻度を求め、該頻度に基づいて、報知すべき情報の報知レベルを決定することが記載されている。これにより、運転者の煩わしさを低減しつつ、運転者が気づいていない状況については適切な情報を報知するようにしている。
特許第２９２９９２７号
　表示装置の位置が運転者の視線方向から遠いほど、表示画面を視認するのに必要な視線移動の量が大きくなるため、運転者が、表示画面に映し出された情報をより短時間で理解するのが望まれる（瞬読性の向上）。瞬読性を高めることにより、運転者の前方への注視を促すことができる。
　したがって、この発明の一つの目的は、表示装置の位置に応じて、表示画面内の情報量を制御し、運転者の表示画面への注視と前方への注視を最適化するような表示形態を提供することである。
　この発明の一つの側面によると、車両の周辺監視装置は、車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の対象物を検出する手段と、前記撮像画像に基づいて生成される表示画像を表示画面上に表示する表示手段と、前記対象物が検出された場合に、該表示手段を介して該対象物の存在を運転者に警報する警報手段と、を備える。前記表示手段は、前記運転者が目視可能な複数の位置に配置されており、前記警報手段は、正面を向いた該運転者の視線を基準として、該運転者が表示画面を視認するのに必要な視線移動量が大きい表示手段ほど、該表示画面上に表示される情報量を低減させる。
　一般に、表示画面内に表示される情報量が多いほど、その瞬読性は低下する。この発明によれば、運転者の視線移動の量が大きい表示手段（表示装置）ほど、情報量が低減された形態で表示が行われるので、視線移動の量が大きい表示手段の表示画面ほど、瞬読性を向上させることができ、よって、運転者の表示画面への注視と前方への注視との最適化を図ることができる。
　この発明の一実施形態によると、車両が該対象物に到達するまでの到達時間を算出する手段を備え、該到達時間が長いほど、前記複数の位置に配置された表示手段の表示画面間の情報量の差が小さくなるように設定される。
　到達時間が長いほど、対象物を確認する余裕が大きくなる。したがって、このような場合には、いずれの表示手段にも、同様の情報量を表示させるようにして、乗員の利便性を図ることができる。
　この発明の一実施形態によると、運転者以外の乗員を検知する手段を備え、該乗員の存在を検知した場合には、前記複数の位置に配置された表示手段のうち、該乗員の位置に近い表示手段について、前記情報量を低減する量を抑制する。
　この発明によれば、たとえば助手席に乗員が存在していれば、該乗員に近い表示装置の情報量の低減が抑制されるので、該乗員の利便性の向上を図ることができる。
　本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、複数の表示装置およびカメラの取り付け位置を示す図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、複数の表示装置への表示形態の一例を示す図。 この発明の一実施例に従う、複数の表示装置への表示形態の他の例を示す図。 この発明の他の実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の他の実施例に従う、複数の表示装置への表示形態の一例を示す図。 この発明のさらなる他の実施例に従う、車両の周辺監視装置の構成を示すブロック図。 この発明のさらなる他の実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明のさらなる他の実施例に従う、複数の表示装置への表示形態の一例を示す図。
　次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、複数の表示装置を備えた、車両の周辺監視装置の構成を示すブロック図であり、図２は、該複数の表示装置とカメラの車両への取り付けを示す図である。ここで、複数の表示装置は、第１～第３の表示装置３１～３３として示されており、いずれも、運転者が目視可能な複数の位置に配置されている。
　周辺監視装置は、車両に搭載され、遠赤外線を検出可能な赤外線カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌからの画像に基づく表示画像を表示するための第１の表示装置３１を備えている。さらに、該周辺監視装置は、車両のヨーレートを検出するヨーレートセンサ６と、車両の走行速度（車速）を検出する車速センサ７とを備え、これらのセンサの検出結果は、画像処理ユニット２に送られる。
　この実施例では、図２の（ｂ）に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。
　また、図２の（ａ）および（ｂ）に示すように、第１の表示装置３１は、運転者の前方位置に画面が表示されるようにフロントウィンドウに設けられた、いわゆるヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）である。線Ｌ１は、車両のハンドル（ステアリング・ホイール）２１の中心を通り、かつ車両の前後方向に伸長する線（図には、わかりやすいよう図の垂直方向に伸長するよう示されている）であり、運転者が正面を向いたときの該運転者の視線方向を表している。第１の表示装置３１は、その表示画面の車幅方向の中心がほぼ線Ｌ１上に位置付けられるように、配置されている。
　この実施例では、ナビゲーション装置が車両に搭載されており、該装置は、ナビゲーションユニット５と、第３の表示装置３３とを備える。第３の表示装置３３は、図２の（ａ）に示すように、車両のダッシュボード上に配置されており、上記の線Ｌ１よりも所定距離離れた位置に設けられている。
　ナビゲーションユニット５は、中央処理装置（ＣＰＵ）およびメモリを備えたコンピュータで実現される。ナビゲーションユニット５は、たとえば人工衛星を利用して車両１０の位置を測定するためのＧＰＳ信号を、該ナビゲーションユニット５に備えられた通信装置（図示せず）を介して受信し、該ＧＰＳ信号に基づいて、車両の現在位置を検出する。ナビゲーションユニット５は、車両の周辺の地図情報（これは、ナビゲーション装置の記憶装置に記憶されることもできるし、該通信装置を介して所定のサーバから受信することもできる）に、該現在位置を示す画像を重畳させて、第３の表示装置３３に表示する。
　また、第３の表示装置３３の表示画面はタッチパネルを構成しており、該タッチパネルを介して、またはキーやボタン等の他の入力装置（図示せず）を介して、乗員はナビゲーションユニット５に目的地を入力することができる。ナビゲーションユニット５は、該目的地までの車両の最適経路を算出し、該最適経路を示す画像を地図情報に重畳させて、第３の表示装置３３に表示することができる。
　ナビゲーションユニット５には、スピーカ３が接続されており、必要に応じて、たとえば一時停止や交差点等の経路案内を行う際に、第３の表示装置３３上への表示だけでなく、スピーカ３を介して音または音声によって乗員に知らせることができる。なお、最近のナビゲーション装置には、交通情報の提供や車両近傍の施設案内等、他にも様々な機能が搭載されており、この実施形態では、任意の適切なナビゲーション装置を利用することができる。
　さらに、この実施形態では、第２の表示装置３２が設けられており、これは、図２の（ａ）に示すように、車幅（水平）方向に、第１の表示装置３１と第３の表示装置３３の間であって、インスツルメントパネル上に設けられている。したがって、上記の線Ｌ１からの第２の表示装置３２の距離は、第３の表示装置３３の距離よりも小さい。第２の表示装置３２は、複数の所定の情報を表示可能なように構成された液晶表示器であり、いわゆるマルチインフォメーションディスプレイ（ＭＩＤ）と呼ばれる。たとえば、第２の表示装置３２は、車両の走行状態（車速、回転数、燃費に関する状態）に関する複数の情報を表示することができるよう構成されている。
　画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号および上記の第１～第３の表示装置３１～３３に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。
　この実施形態では、第１～第３の表示装置３１～３３は、いずれも、画像処理ユニット２に接続され、画像処理ユニット２により処理された結果の画像を表示することができるようになっている。ここで、第２および第３の表示装置３３については、たとえば表示する内容に関する切り換え機構を設けることができる。これにより、第２の表示装置３２については、画像処理ユニット２からの画像の表示と、通常の所定の情報の表示とを切り換えることができ、また、第３の表示装置３３については、画像処理ユニット２からの画像の表示と、ナビゲーションユニット５から出力された情報の表示とを切り換えることができる。
　このように、最近の車両には、上記のように複数の表示装置が設けられることがある。線Ｌ１からの距離が遠い所に配置された表示装置ほど、運転者がその表示画面を視認する視線移動の量が大きくなるため、その瞬読性を向上させるのが望ましい。
　したがって、この発明では、表示装置の位置に応じて、画像処理ユニット２の処理の結果に基づいて生成される表示画像の情報量を制御する。具体的には、表示装置の位置が、運転者が正面を向いたときの視線（上記の線Ｌ１）から水平方向に遠くなるほど、表示画像の情報量を低減させる。これにより、表示装置の位置が運転者から遠ざかるほど、瞬読性の高い表示内容とすることができる。したがって、運転者による表示画像への注視と前方への注視とを最適化する（バランスをとる）ことができる。この具体的な制御手法を、以下に述べる。
　図３は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
　ステップＳ１１～Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。
　ステップＳ１４において、カメラ１Ｒで撮像された右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。この２値化処理により、たとえば生体のような所定の温度より高い対象物が、白領域として抽出される。
　ステップＳ１５において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。
　ステップＳ１６およびＳ１７において、対象物のラベリングを行い、対象物を抽出（検出）する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物が抽出（検出）される。
　以下では、該抽出された対象物が歩行者である場合について述べる。なお、ステップＳ１７の後に、より精度を高めるため、抽出された対象物が、歩行者であるか否かの判定処理を行ってもよい。この判定処理は、任意の適切な手法で実現されることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。このような判定処理の例示として、たとえば特開２００７－２４１７４０号公報、特開２００７－３３４７５１号公報等に記載されている。
　ステップＳ１８において、検出された対象物を表示することによって、該対象物についての警報出力を行う。具体的には、該対象物が撮像されている上記のグレースケール画像に基づいて、第１～第３の表示装置３１～３３のそれぞれに表示する画像（第１～第３の画像と呼ぶ）を生成し、該生成した第１～第３の画像を、第１～第３の表示装置３１～３３上に表示する。該生成は、第１から第３の画像に向かってその情報量が低減されるように行われる。ここで、情報量は、実際に表示された画像から人が読みとることのできる画像内容を示す。画像内に撮像されているもの（歩行者等の生体に限らず、建物や他の車両等の人工構造物を含む）が多いほど、その情報量は多くなり、瞬時に該画像の内容を読みとることが困難になる（瞬読性の低下）。以下、第１～第３の画像に向かって情報量が低減されるよう表示される形態を、第１の表示形態と呼ぶ。
　第１の表示形態に従う表示画像の生成手法には、いくつかの手法が考えられ、以下では、第１および第２の手法について述べる。
　第１の手法では、第１の画像を、上記の検出された対象物以外のものも表示画面上で視認可能な画像とし、第２の画像を、該検出された対象物のみを実質的に表示画面上で視認可能な画像とし、第３の画像を、該検出された対象物についても表示画面上で視認できないような画像とする。
　第１の手法の一具体例について説明すると、第１の画像を、上記のグレースケール画像とする。第２の画像を、上記ステップＳ１７で検出された対象物に対応する画像領域（対象物領域と呼ぶ）以外の画像領域（対象物以外の領域と呼ぶ）を、実質的に判読不可能な状態にする。たとえば、該対象物以外の領域の各画素の背景輝度値に対する輝度差を小さくすることにより、該対象物以外の領域のコントラストを低下させて、実質的に判読不可能な状態とすることができる。代替的に、該対象物以外の領域中の各画素の輝度値を、所定値だけ低下させる、もしくは所定の低い輝度値に変更するようにしてもよい。こうすることにより、実質的に、対象物領域のみが判読可能な第２の画像を生成することができる。
　また、第３の画像を、該画像中の対象物領域についても判読不可能な状態となるように、該グレースケール画像中のすべての画素の輝度値を、所定値だけ低下させる、もしくは所定の低い輝度値に変更する。これにより、第３の画像は、何も撮像されていないように見え、撮像した画像を実質的に非表示とすることができる。代替的に、このような画素の輝度値の変換処理を行うことなく、第３の表示装置３３への画像表示自体を抑制してもよい（非表示）。
　こうして生成された画像の一例を、図４に示す。（ａ１）は第１の画像を示し、（ｂ１）は第２の画像を示し、（ｃ１）は第３の画像を示す。第１の画像は、グレースケール画像であり、歩行者１０１以外にも、他の車両１０３や街灯１０５等が視認可能なように表示されている。第２の画像は、上記のように、対象物以外の領域のコントラストを低下させたものであり、実質的に、歩行者１０１という対象物のみが視認可能な画像となっている。第３の画像は、画像が実質的に非表示となっており、これは、前述したように、グレースケール画像のすべての画素が所定の低い輝度値（この例では、黒の輝度値）に変換された結果の画像である。
　これらの画像を比較すると、第１の画像から第３の画像に向けて、表示画像から運転者が読みとれる情報の量が低くなっているのがわかる。第１の画像には、歩行者１０１、他の車両１０３、街灯１０５といった情報が含まれて表示されているため、運転者は、これらの物を認識しようとする。第２の画像には、歩行者１０１しか実質的な情報は含まれていないため、第１の画像に比べて、より短時間で判読可能である。第３の画像には、実質的に何も表示されていないため、情報としては何も受け取らない。表示画像から受け取る情報が少ないほど、前方への注視を促すことができる。
　第１の手法の代替例として、第１の画像を、上記のグレースケール画像とし、第２の画像を、該グレースケール画像全体のコントラストを低下させた画像として生成してもよい。たとえば、最大輝度値と最小輝度値の差が小さくなるように、該グレースケール画像中の各画素の輝度値を変更することにより、コントラストの低下した第２の画像を生成することができる。コントラストを低下させるほど、撮像されているすべての対象物の輝度値が背景輝度値に近くなり、全体としてぼけた画像となる。したがって、表示画像から判読可能な情報量が少なくなると言える。しかしながら、好ましくは、第２の画像のコントラストの低下の程度を、検出された対象物が視認可能な程度に設定するのがよい。こうして、対象物領域のみが実質的に視認可能な第２の画像を生成することができる。第３の画像は、実質的に画像の非表示となるように、第２の画像のコントラストをさらに低下させた画像とすることができる。
　なお、コントラスト低下に代えて、該グレースケール画像中のすべての画素の輝度値を所定値だけ低くすることにより、暗くした画像を生成するようにしてもよい。この場合も、第２の画像については、対象物領域のみが実質的に視認可能なように該輝度値を低くするのがよい。
　図４には、このようなコントラスト低下を行った画像の一形態についても示されている。（ａ２）は、第１の画像を示し、これは、グレースケール画像である。（ｂ２）は、第２の画像を示し、これは、該グレースケール画像全体のコントラストを低下させた画像である。歩行者１０１が撮像されている対象物領域は、グレースケール画像において高い輝度値を持っているため、図に示すように、歩行者は視認可能な状態に維持されている。（ｃ２）は、第３の画像を示し、（ｂ２）よりもさらに画像全体のコントラストを低下させた画像である。コントラストを低下する量を増大することにより、図に示すように、実質的に画像を非表示とすることができる。
　なお、さらなる代替例として、第１の画像を、グレースケール画像のコントラストを増加させることによって生成し、第２の画像をグレースケール画像とし、第３の画像を、該グレースケール画像のコントラストを低下させることによって生成するようにしてもよい。しかしながら、コントラストを高めすぎると、中間色が排除されるため、逆に情報量が減るおそれがある。したがって、この場合には、第１の画像から判読可能な情報量が第２の画像よりも大きくなるように、コントラストを増大する量を調整するのが好ましい。
　次に、第２の手法では、第１の画像を、ステップＳ１７で検出された対象物に強調的な表示を付加した画像とし、第２の画像を、このような強調的な表示を付加しない画像とし、第３の画像を、該対象物についても表示画面上で視認できないような画像とする。
　この表示例を、図５に示す。（ａ３）は、第１の画像を示し、図４の（ａ１）の画像と、検出された対象物（この実施例では、歩行者）を強調的に表示するための枠１１１が設けられている点で異なる。この枠１１１についても、一つの情報として運転者には認識されるため、（ａ３）の第１の画像は、図４の（ａ１）の画像よりも、情報量がさらに増えていると考えることができる。（ｂ３）は、第２の画像を示し、これは、図４の（ａ１）と同じグレースケール画像である。代替的に、図４の（ｂ１）や（ｂ２）の画像に強調枠を重畳したものを、第２の画像としてもよい。（ｃ３）は、第３の画像を示し、これは、図４の（ｃ１）と同じである。代替的に、図４の（ｃ２）のようなコントラストを低下させた画像を第３の画像としてもよい。
　図６は、この発明の他の実施形態に従う、画像処理ユニット２により実行される処理のプロセスのフローチャートである。該プロセスは、所定の時間間隔で実行される。図３と異なるのは、対象物までの距離または該対象物までの車両の到達時間に応じて、表示形態を変更する点である。
　ステップＳ１１～Ｓ１７は、図３のものと同じであるので、説明を省略する。ステップＳ２８において、ステップＳ１７で抽出（検出）された対象物までの距離を算出する。これは、周知の任意の手段で行われることができ、たとえば、特開２００１－６０９６号公報に記載されている。代替的に、該対象物までの車両の到達時間を算出してもよい。到達時間は、該距離を、車両の車速センサ７によって検出された車速で除算することにより算出されることができる。
　ステップＳ２９において、こうして算出された距離（または到達時間）が所定値より大きいかどうかを判断する。この判断がＮｏであれば、ステップＳ３０において、前述した第１の表示形態に従って第１～第３の表示画像を生成し、これらを第１～第３の表示装置３１～３３にそれぞれ表示することにより、該対象物についての警報出力を行う。この判断がＹｅｓであれば、ステップＳ３１において、第２の表示形態に従って第１～第３の表示画像を生成し、これらを第１～第３の表示装置３１～３３にそれぞれ表示することにより、該対象物についての警報出力を行う。
　ここで、第１の表示形態は、図３～図５を参照して説明したように、第１～第３の画像に向けてその情報量が低減するように、第１～第３の表示画像を生成して表示する形態である。第２の表示形態は、第１の表示形態における第１～第３の画像間の情報量の差を緩和する（小さくする）ように、第１～第３の表示画像を生成して表示する手法である。
　図７の（ａ４）、（ｂ４）および（ｃ４）は第２の表示形態の一例を示し、これは、第１の表示形態が図４の（ａ１）、（ｂ１）および（ｃ１）である場合を想定している。（ａ４）は、第１の画像を示し、これは、図４の（ａ１）と同じである。（ｂ４）は、第２の画像を示し、これは、（ａ１）のグレースケール画像の対象物（ここでは、歩行者１０１）以外の領域のコントラストを低下させたものである。ここで、該コントラストの低下の量は、図４の（ｂ１）の画像を生成したときのコントラストの低下の量よりも小さくしている。結果として、（ｂ４）の画像からは、歩行者１０１以外の他の車両１０３等の情報を読み取ることができ、図４の（ａ１）および（ｂ１）の間の情報量の差に比べ、（ａ４）および（ｂ４）の間の情報量の差は小さくなっている。
　（ｃ４）は、第３の画像を示し、これは、（ｂ４）の画像の対象物以外の領域のコントラストをさらに低下させたものであり、図４の（ｂ１）の画像と同じである。（ｃ４）の画像からは、実質的に歩行者１０１のみが判読可能な情報として示されている。図４の（ａ１）および（ｃ１）の間の情報量の差に比べ、（ａ４）および（ｃ４）の間の情報量の差は小さくなっている。
　また、図７の（ａ５）、（ｂ５）および（ｃ５）は第２の表示形態の他の例を示し、これは、第１の表示形態が図５の（ａ３）、（ｂ３）および（ｃ３）である場合を想定している。（ａ５）は、第１の画像を示し、これは、図５の（ａ３）と同じである。（ｂ５）は、第２の画像を示し、これは、図５の（ｂ３）と同じである。（ｃ５）は、第３の画像を示し、これは、図４の（ｂ１）と同じである。ここで、（ａ５）および（ｂ５）の間の情報量の差は、図５の（ａ３）および（ｂ３）の間の情報量の差と同じであるが、（ｃ５）の画像では歩行者１０１が実質的に判読可能なようになっているため、（ａ５）または（ｂ５）と、（ｃ５）との間の情報量の差は、図５の（ａ３）または（ｂ３）と、（ｃ３）との間の情報量の差より小さくなっている。このように、第２の表示形態では、複数の表示装置のうちのいずれか任意の２つの表示装置間の情報量の差を小さくするようにすることもできる。
　歩行者１０１の距離が所定値より大きいとき、あるいは歩行者１０１までの車両の到達時間が所定値より大きいときには、該対象物に到達するまでに時間的な余裕がある。したがって、このような場合には、情報量の差を小さくして、第２および第３の表示装置３２および３３への注視時間をある程度許容することができる。
　なお、図７に示すものは一例にすぎず、第２の表示形態では、第１～第３の画像を、すべて同じものとしてもよい（この場合、第１～第３の画像間の情報量の差はなくなる）。また、この例では、対象物領域は視認可能なように第１～第３の画像を生成しているが、これに限定されるものではなく、たとえば第３の画像については、図４の（ｃ１）および（ｃ２）のように、歩行者１０１を視認できないように生成してもよい。
　図８は、この発明のさらなる他の実施形態に従う、車両の周辺監視装置のブロック図を示す。図１と異なるのは、運転者以外の乗員が存在するかどうかを検知するための乗員検知手段９を備えることである。この実施例では、運転者以外の乗員として、助手席に乗員が存在するかを検知する。乗員検知手段９は、任意の適切な手段によって実現されることができる。たとえば、人がシートに着座していることを検知する着座センサを助手席に設け、該センサの検知結果に基づいて判断することができる。代替的に、助手席を撮像するカメラを車両内に設け、撮像された画像内に人が検出されたならば、乗員が存在していると検知することができる。
　乗員検知手段９によって乗員が助手席に検知されたならば、図３～図５を参照して説明した第１の表示形態に代えて、第３の表示形態に従って第１～第３の画像を生成し、第１～第３の表示装置３１～３３に表示する。このプロセスを、図　９を参照して説明する。
　図９は、図８の実施形態に従う、画像処理ユニット２によって処理されるプロセスであり、所定の時間間隔で実行される。ステップＳ１１～Ｓ１７は、図３のものと同じであるので、説明を省略する。
　ステップＳ３８において、乗員検知手段９によって検知された結果を取得する。ステップＳ３９において、該取得した検知結果に基づいて、助手席に乗員が存在するかどうかを判断する。助手席に乗員が存在しなければ、ステップＳ４０に進み、第１の表示形態に従う警報出力を行う。これは、図３のステップＳ１８および図６のステップＳ３０と同じである。
　助手席に乗員が存在しなければ、ステップＳ４１に進み、第３の表示形態に従う警報出力を行う。
　第３の表示形態は、検知された該乗員に近い表示装置上に表示される画像の情報量の低減の量を、第１の表示形態に比べて抑制する形態である。好ましくは、該乗員に最も近い表示装置が識別され、該識別された表示装置上に表示される画像の情報量については、第１の表示形態のような低減を行わないようにする。
　この実施形態では、助手席に最も近い表示装置は第３の表示装置３３であるため、第３の画像の情報量を変更する。具体的な一例としては、第３の画像を、第２もしくは第１の画像と同等の情報量とするよう生成し、これを、第３の表示装置３３上に表示する。
　図１０は、第３の表示形態の一例を示す。（ａ６）から（ｃ６）の画像は、それぞれ、第１の画像、第２の画像および第３の画像を示し、これは、第１の表示形態が図４の（ａ１）から（ｃ１）である場合を想定している。（ｃ６）の第３の画像は、（ａ６）の第１の画像と同じであり、第１の表示形態に比べて、第１の画像からの情報量の低減が行われていないことがわかる。また、（ｃ６）の該第３の画像は、（ｂ６）に示す第２の画像からはむしろ情報量が増している。
　また、他の例として、（ａ７）から（ｃ７）の画像は、それぞれ、第１の画像、第２の画像および第３の画像を示し、これは、第１の表示形態が図５の（ａ３）から（ｃ３）である場合を想定している。（ｃ７）の第３の画像は、（ｂ７）の第２の画像と同じであり、第１の表示形態に比べて、第２の画像からの情報量の低減は行われていないことがわかる。また、第１の表示形態に比べて、（ａ７）に示す第１の画像からの情報の低減量が小さくなっていることがわかる。
　これらの例では、第３の表示形態における第３の画像は、第１または第２の画像と同じよう生成されているが、代替的に、第３の表示形態における第３の画像を、第１または第２の画像ほどの情報量には達しないが、第１の表示形態における第３の画像よりも情報量が多くなるように生成してもよい。たとえば、図１０の（ｃ７）の第３の画像に代えて、図１０の（ｂ６）のような、検出された対象物（この例では、歩行者１０１）のみが実質的に視認可能な画像を、第３の画像として用いてもよい。
　こうして、助手席に乗員が存在する場合には、該乗員に近い表示装置上の情報量を低減する量が抑制されるので、該乗員に視認しやすい表示画面を提供することができる。乗員が該表示画面を視認してその内容を運転者に知らせることができる。
　当然ながら、第２の表示形態を用いる実施形態（図６）と第３の表示形態を用いる実施形態（図１０）を組み合わせてもよい。この場合、対象物の距離または到達時間が所定値以上であるときには、第１の表示形態に比べて第１～第３の画像の情報量の差が小さくなるように、該第１～第３の画像を生成すると共に、検知された乗員に最も近い表示装置の画像については、第１の表示形態のものに比べて情報量の低減を抑制して生成することができる。
　なお、この実施形態では、３つの表示装置を用いているが、この発明は、２つ以上の、任意の数の表示装置に適用可能である。また、３つ以上の表示装置を備える場合には、そのうちの少なくとも２つの表示装置について、第１の表示形態における情報量の低減、第２の表示形態における情報量の差の緩和、および第３の表示形態における情報量の低減の抑制を行えばよく、必ずしもすべての表示装置についてこれを行うことは必要とされない。
　さらに、上記の実施形態では、遠赤外線カメラを用いているが、本願発明は、他のカメラ（たとえば、可視カメラ）にも適用可能である。さらに、上記の実施形態では、所定の対象物として歩行者を検出するよう構成されているが、歩行者に加え、または歩行者に代えて、動物を検出するよう構成してもよい。
　さらに、上記の実施形態では、表示装置を介して、検出された対象物の警報を発行しているが、これに加え、スピーカ３を介して、対象物の存在を運転者に知らせることを行ってもよい。
　以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
１Ｒ，１Ｌ　赤外線カメラ（撮像手段）
２　画像処理ユニット
３　スピーカ
３１　第１の表示装置
３２　第２の表示装置
３３　第３の表示装置

Claims (3)

  1. 　車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の対象物を検出する手段と、前記撮像画像に基づいて生成される表示画像を表示画面上に表示する表示手段と、前記対象物が検出された場合に、該表示手段を介して該対象物の存在を運転者に警報する警報手段と、を備える車両の周辺監視装置であって、
    　前記表示手段は、前記運転者が目視可能な複数の位置に配置されており、前記警報手段は、正面を向いた該運転者の視線を基準として、該運転者が表示画面を視認するのに必要な視線移動量が大きい表示手段ほど、該表示画面上に表示される情報量を低減させる、ことを特徴とする周辺監視装置。
  2. 　さらに、前記車両が前記対象物に到達するまでの到達時間を算出する手段を備え、
    　該到達時間が長いほど、前記複数の位置に配置された表示手段の表示画面間の情報量の差が小さくなるように設定される、
    　請求項１に記載の周辺監視装置。
  3. 　さらに、前記車両の運転者以外の乗員を検知する手段を備え、
    　該乗員の存在を検知した場合には、前記複数の位置に配置された表示手段のうち、該乗員の位置に近い表示手段について、前記情報量を低減する量を抑制する、
    　請求項１または２に記載の周辺監視装置。
PCT/JP2011/002206 2010-04-19 2011-04-14 車両の周辺監視装置 WO2011132388A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012511534A JP5689872B2 (ja) 2010-04-19 2011-04-14 車両の周辺監視装置
US13/639,924 US20130044218A1 (en) 2010-04-19 2011-04-14 System for monitoring surroundings of a vehicle
CN201180018482.8A CN102859567B (zh) 2010-04-19 2011-04-14 车辆周边监视装置
EP11771731.4A EP2546819B1 (en) 2010-04-19 2011-04-14 Device for monitoring vicinity of vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010096054 2010-04-19
JP2010-096054 2010-04-19

Publications (1)

Publication Number Publication Date
WO2011132388A1 true WO2011132388A1 (ja) 2011-10-27

Family

ID=44833932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002206 WO2011132388A1 (ja) 2010-04-19 2011-04-14 車両の周辺監視装置

Country Status (5)

Country Link
US (1) US20130044218A1 (ja)
EP (1) EP2546819B1 (ja)
JP (1) JP5689872B2 (ja)
CN (1) CN102859567B (ja)
WO (1) WO2011132388A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2881927A4 (en) * 2012-07-30 2016-03-23 Ichikoh Industries Ltd VEHICLE WARNING DEVICE AND EXTERIOR VEHICLE MIRROR DEVICE
KR20180050360A (ko) * 2015-09-30 2018-05-14 닛산 지도우샤 가부시키가이샤 정보 제시 장치 및 정보 제시 방법
WO2019198172A1 (ja) * 2018-04-11 2019-10-17 三菱電機株式会社 視線誘導装置および視線誘導方法
US10960761B2 (en) 2017-07-05 2021-03-30 Mitsubishi Electric Corporation Display system and display method
JP2022040146A (ja) * 2018-10-09 2022-03-10 住友建機株式会社 ショベル

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9073484B2 (en) * 2010-03-03 2015-07-07 Honda Motor Co., Ltd. Surrounding area monitoring apparatus for vehicle
JP5991647B2 (ja) * 2013-03-28 2016-09-14 株式会社デンソー 車両用周辺監視制御装置
JP6205923B2 (ja) * 2013-07-11 2017-10-04 株式会社デンソー 走行支援装置
JP6252365B2 (ja) * 2014-06-11 2017-12-27 株式会社デンソー 安全確認支援システム、安全確認支援方法
US9950619B1 (en) 2015-09-30 2018-04-24 Waymo Llc Occupant facing vehicle display
DE102016201939A1 (de) * 2016-02-09 2017-08-10 Volkswagen Aktiengesellschaft Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen
US10540689B2 (en) * 2016-06-27 2020-01-21 International Business Machines Corporation System, method, and recording medium for fuel deal advertisements
WO2019031291A1 (ja) * 2017-08-10 2019-02-14 日本精機株式会社 車両用表示装置
CN111251994B (zh) * 2018-11-30 2021-08-24 华创车电技术中心股份有限公司 车辆周边物件检测方法及车辆周边物件检测系统
JP2021002182A (ja) * 2019-06-21 2021-01-07 矢崎総業株式会社 車両警報システム
JP7349859B2 (ja) * 2019-09-18 2023-09-25 株式会社Subaru 車外モニタ装置
JP7304378B2 (ja) * 2021-03-30 2023-07-06 本田技研工業株式会社 運転支援装置、運転支援方法、およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2929927B2 (ja) 1993-12-14 1999-08-03 日産自動車株式会社 走行情報提供装置
JP2000168474A (ja) * 1998-12-11 2000-06-20 Mazda Motor Corp 車両の警報装置
JP2000168403A (ja) * 1998-12-11 2000-06-20 Mazda Motor Corp 車両の表示装置
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2006224700A (ja) * 2005-02-15 2006-08-31 Denso Corp 車両用死角監視装置及び車両用運転支援システム
JP2007241740A (ja) 2006-03-09 2007-09-20 Honda Motor Co Ltd 車両周辺監視装置
JP2007334751A (ja) 2006-06-16 2007-12-27 Honda Motor Co Ltd 車両周辺監視装置
JP2008123443A (ja) * 2006-11-15 2008-05-29 Aisin Aw Co Ltd 運転支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003300514A1 (en) * 2003-12-01 2005-06-24 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
US7561966B2 (en) * 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
JP4650349B2 (ja) * 2005-10-31 2011-03-16 株式会社デンソー 車両用表示システム
JP4855158B2 (ja) * 2006-07-05 2012-01-18 本田技研工業株式会社 運転支援装置
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP2009205268A (ja) * 2008-02-26 2009-09-10 Honda Motor Co Ltd 障害物表示装置
JP5341402B2 (ja) * 2008-06-04 2013-11-13 トヨタ自動車株式会社 車載表示システム
JP2010044561A (ja) * 2008-08-12 2010-02-25 Panasonic Corp 乗物搭載用監視装置
CN102063204A (zh) * 2009-11-13 2011-05-18 深圳富泰宏精密工业有限公司 触控笔
WO2011108217A1 (ja) * 2010-03-01 2011-09-09 本田技研工業株式会社 車両の周辺監視装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2929927B2 (ja) 1993-12-14 1999-08-03 日産自動車株式会社 走行情報提供装置
JP2000168474A (ja) * 1998-12-11 2000-06-20 Mazda Motor Corp 車両の警報装置
JP2000168403A (ja) * 1998-12-11 2000-06-20 Mazda Motor Corp 車両の表示装置
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2006224700A (ja) * 2005-02-15 2006-08-31 Denso Corp 車両用死角監視装置及び車両用運転支援システム
JP2007241740A (ja) 2006-03-09 2007-09-20 Honda Motor Co Ltd 車両周辺監視装置
JP2007334751A (ja) 2006-06-16 2007-12-27 Honda Motor Co Ltd 車両周辺監視装置
JP2008123443A (ja) * 2006-11-15 2008-05-29 Aisin Aw Co Ltd 運転支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2546819A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2881927A4 (en) * 2012-07-30 2016-03-23 Ichikoh Industries Ltd VEHICLE WARNING DEVICE AND EXTERIOR VEHICLE MIRROR DEVICE
US9919649B2 (en) 2012-07-30 2018-03-20 Ichikoh Industries, Ltd. Warning device for vehicle and outside mirror device for vehicle
KR20180050360A (ko) * 2015-09-30 2018-05-14 닛산 지도우샤 가부시키가이샤 정보 제시 장치 및 정보 제시 방법
KR101957117B1 (ko) * 2015-09-30 2019-03-11 닛산 지도우샤 가부시키가이샤 정보 제시 장치 및 정보 제시 방법
US10538252B2 (en) 2015-09-30 2020-01-21 Nissan Motor Co., Ltd. Information presenting device and information presenting method
US10960761B2 (en) 2017-07-05 2021-03-30 Mitsubishi Electric Corporation Display system and display method
WO2019198172A1 (ja) * 2018-04-11 2019-10-17 三菱電機株式会社 視線誘導装置および視線誘導方法
JP2022040146A (ja) * 2018-10-09 2022-03-10 住友建機株式会社 ショベル

Also Published As

Publication number Publication date
EP2546819A4 (en) 2014-01-15
JPWO2011132388A1 (ja) 2013-07-18
EP2546819B1 (en) 2015-06-03
EP2546819A1 (en) 2013-01-16
CN102859567B (zh) 2015-06-03
US20130044218A1 (en) 2013-02-21
CN102859567A (zh) 2013-01-02
JP5689872B2 (ja) 2015-03-25

Similar Documents

Publication Publication Date Title
JP5689872B2 (ja) 車両の周辺監視装置
JP5706874B2 (ja) 車両の周辺監視装置
JP5503728B2 (ja) 車両の周辺監視装置
JP5577398B2 (ja) 車両の周辺監視装置
JP6379779B2 (ja) 車両用表示装置
JP2010130646A (ja) 車両周辺確認装置
JP5855206B1 (ja) 車両用透過表示装置
JP6182629B2 (ja) 車両用表示システム
EP3694740A1 (en) Display device, program, image processing method, display system, and moving body
JP6857695B2 (ja) 後方表示装置、後方表示方法、およびプログラム
JP2010044561A (ja) 乗物搭載用監視装置
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP5131152B2 (ja) 視覚支援装置
JP5192007B2 (ja) 車両の周辺監視装置
JP5192009B2 (ja) 車両の周辺監視装置
JP7481333B2 (ja) 表示装置
JP2007280203A (ja) 情報提示装置、自動車、及び情報提示方法
JP5831331B2 (ja) 車両の後側方撮影装置
JP2005294954A (ja) 表示装置及び補助表示装置
JP2010191666A (ja) 車両の周辺監視装置
JP2006015803A (ja) 車両用表示装置、および車両用表示装置を搭載した車両
JP7236674B2 (ja) 表示装置
JP2005075081A (ja) 車両の表示方法及び表示装置
JP2006078635A (ja) 前方道路標示制御装置および前方道路標示制御プログラム
JP2020158019A (ja) 表示制御装置、表示制御方法、および、表示制御プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180018482.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11771731

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012511534

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13639924

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011771731

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE