WO2011104984A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
WO2011104984A1
WO2011104984A1 PCT/JP2010/072974 JP2010072974W WO2011104984A1 WO 2011104984 A1 WO2011104984 A1 WO 2011104984A1 JP 2010072974 W JP2010072974 W JP 2010072974W WO 2011104984 A1 WO2011104984 A1 WO 2011104984A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
object detection
unit
detection unit
Prior art date
Application number
PCT/JP2010/072974
Other languages
English (en)
French (fr)
Inventor
池田圭吾
門脇淳
加藤隆志
中村吉宏
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US13/519,188 priority Critical patent/US9073483B2/en
Priority to EP10846647.5A priority patent/EP2541525B1/en
Priority to CN201080055520.2A priority patent/CN102652327B/zh
Publication of WO2011104984A1 publication Critical patent/WO2011104984A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present invention relates to a vehicle periphery monitoring device that notifies an object existing around a vehicle.
  • the object detection device described in Patent Document 1 includes radar detection means for detecting an object by radar and image detection means for detecting an object by an image, and by using these in combination, the object detection apparatus can detect objects existing around the vehicle. Increases recognition accuracy. On the other hand, since the recognition accuracy of the image detection means deteriorates when the object is far away from the vehicle, in such a case, the determination condition is relaxed and the determination is performed as compared with the case where the distance from the vehicle to the object is short. ing.
  • the image display control device described in Patent Document 2 detects an object existing around the host vehicle and performs highlighting according to the degree of danger.
  • the degree of risk is determined according to the speed of the host vehicle, the distance to the object, and the type of the object.
  • the vehicle periphery monitoring device described in Patent Document 3 is a technique for monitoring a blind spot area from a driver.
  • This vehicle periphery monitoring apparatus includes a real image capturing unit that captures a real image of a blind spot area in front of the vehicle.
  • a grid-like grid image representing a sense of road depth is superimposed on the actual image so that the driver can intuitively grasp the depth of the actual image.
  • the superimposed display of the grid-like grid image is stopped.
  • Patent Document 1 does not show any notification method when an object is detected. Moreover, although the judgment conditions can be relaxed, the presence of an obstacle can be simply transmitted to the driver, but the accuracy and safety of the judgment of the obstacle are not compatible. That is, the driver needs to pay close attention to safety regardless of the accuracy of determination. Therefore, it is necessary to pay attention to an obstacle with a low determination accuracy (detection accuracy), and there is a risk that driving may be hindered due to mental fatigue.
  • the object detection device described in Patent Document 2 lacks intuition in terms of danger recognition.
  • the distance between the host vehicle and the obstacle is short, it is necessary to raise the danger level for notification, but it cannot be expressed directly on the screen. That is, it is possible to make a notification such as “very dangerous” or “a little dangerous”, but the expressions “dangerous because it is close” or “distant but a little dangerous” cannot be made.
  • the types of notification forms for example, icons
  • the increase in types leads to system complexity and intuition.
  • the captured image showing a situation around the vehicle is acquired using a wide-angle lens, when the driver views the captured image, the captured image may be distorted, which is particularly problematic. Recognition of the distance and direction to an object becomes difficult. For this reason, when the icon “very dangerous” is displayed, it is very difficult to identify whether the object is very dangerous because the target obstacle is nearby.
  • the vehicle periphery monitoring device described in Patent Document 3 displays a recognized obstacle with a predetermined marker on a grid grid and displays an arrow when the obstacle moves.
  • determination of the danger level, display switching associated therewith, and the like since a grid grid and obstacle icons are displayed in the space above the screen, after confirming the icons displayed in the space, the line of sight is lowered to confirm the actual obstacle directly below The trouble that it is necessary. For this reason, even if a grid-like grid is superimposed and displayed on the road surface below the screen, the visibility is lowered.
  • an object of the present invention is to clarify the accuracy of a detection result and transmit it to the driver, and notify the driver of the vehicle so that the driver can intuitively grasp the position where the object exists. It is to provide a monitoring device.
  • a feature configuration of a periphery monitoring device is provided in a vehicle, and includes an object detection unit that detects an object around the vehicle, and an image of the vehicle viewed from above the vehicle.
  • a vehicle image image generating unit that generates an image
  • a surrounding image image generating unit that generates an image image around the vehicle from the viewpoint, which is divided into a plurality of regions around the image image of the vehicle, and the object
  • a position calculation unit that calculates a corresponding position in the surrounding image based on the detection result of the detection unit, and whether or not the accuracy of the detection result detected by the object detection unit is equal to or greater than a predetermined determination threshold
  • the surrounding image is determined based on the calculation result of the position calculation unit.
  • An explicit unit for clearly indicating a corresponding region in the surrounding image based on a calculation result of the position calculation unit when the accuracy of the detection result is less than the determination threshold. , In that it has.
  • the driver can confirm the surrounding situation when the vehicle is viewed from above, so that the positional relationship between the vehicle and the object can be intuitively grasped.
  • the form for clearly indicating the presence of the object can be changed according to the detection result detected by the object detection unit. As a result, the driver can clearly understand the accuracy of detection by the object detection unit.
  • the object detection unit includes a plurality of object detection units having different detection methods, and the verification degree determination unit is correlated with detection results of at least two object detection units among the plurality of object detection units. In this case, it is preferable to determine that the degree of confirmation is equal to or greater than the determination threshold.
  • the clarification unit can appropriately specify the presence of the object according to the accuracy of the detection result.
  • the at least two object detection units include a first object detection unit and a second object detection unit, and the first object detection unit detects a direction in which the object from the vehicle exists, and the second object detection unit It is preferable that the object detection unit detects at least a distance from the vehicle to the object existing within a detection range defined by a predetermined angle set in advance.
  • the first object detection unit detects an object included in a captured image obtained by photographing a situation around the vehicle by image recognition to detect the direction
  • the second object detection unit includes: The distance is detected based on a difference between a transmission wave transmitted within the detection range and a reflected wave that is reflected when the transmission wave hits an object, and the accuracy determination unit is detected by the first object detection unit.
  • the direction is included in the detection range of the second object detection unit that detects an object existing at a predetermined distance from the vehicle, it is determined that the correlation is greater than or equal to a determination threshold value because there is the correlation. It is possible.
  • the verification degree determination unit can appropriately determine whether or not there is a correlation between the detection result of the first object detection unit and the detection result of the second object detection unit. Therefore, it is possible to appropriately determine the accuracy of these detection results.
  • the first object detection unit detects an object included in a captured image obtained by photographing the situation around the vehicle by image recognition to detect the direction
  • the second object detection unit includes: The distance is detected based on a difference between a transmitted wave transmitted within the detection range and a reflected wave that is reflected when the transmitted wave hits an object, and the accuracy determination unit is acquired by the first object detection unit.
  • the distance between the object included in the captured image and the vehicle is calculated by image recognition, and the confirmation is made that the correlation exists when the result of the calculation and the distance detected by the second object detection unit substantially match. It is also possible to determine that the degree is greater than or equal to the determination threshold.
  • the verification degree determination unit can appropriately determine whether or not there is a correlation between the detection result of the first object detection unit and the detection result of the second object detection unit. Therefore, it is possible to appropriately determine the accuracy of these detection results.
  • the explicit unit displays an index at a corresponding position in the surrounding image image when the degree of confirmation is equal to or higher than a predetermined determination threshold value.
  • the explicit section color a corresponding area in the surrounding image image when the degree of confirmation is less than a predetermined determination threshold value.
  • the vehicle periphery monitoring apparatus 100 has a function relating to the periphery of the vehicle 50 (see FIG. 2). More specifically, the vehicle periphery monitoring device 100 has a function of detecting an object existing around the vehicle 50 and informing the driver of the vehicle 50 so that the driver can intuitively recognize the presence of the object.
  • FIG. 1 is a block diagram schematically showing a schematic configuration of a vehicle periphery monitoring device 100 according to the present invention.
  • the vehicle periphery monitoring device 100 includes an object detection unit 11, a verification degree determination unit 12, a position calculation unit 13, a vehicle image image generation unit 14, a surrounding image image generation unit 15, an indication unit 16, a display image generation unit 17, and a monitor 18. It is configured with.
  • the above-described functional units for performing various processes for monitoring the periphery of the vehicle 50 using the CPU as a core member are constructed by hardware and / or software.
  • the object detection unit 11 is provided in the vehicle 50 and detects an object around the vehicle 50.
  • the periphery of the vehicle 50 corresponds to the front, rear, left side, and right side of the vehicle 50. It is also possible to adopt a configuration that detects an object that exists in at least one of the front, rear, left side, and right side of the vehicle 50.
  • the object is not limited to a moving object, and includes an object in a stopped state. When such an object is detected by the object detection unit 11, the vehicle periphery monitoring device 100 can recognize it as an obstacle.
  • the object detection unit 11 includes a plurality of object detection units having different detection methods.
  • the detection method is a method in which the object detection unit 11 detects. Therefore, different detection methods indicate different types of detection methods. In the present embodiment, the direction in which the object exists from the vehicle 50 and the distance from the vehicle 50 to the object are detected by such different detection methods.
  • the object detection unit 11 includes a plurality of object detection units having different detection methods. In this embodiment, in order to facilitate understanding, a plurality of object detection units will be described as being two of a first object detection unit 21 and a second object detection unit 22.
  • the first object detection unit 21 detects the direction and distance in which an object from the vehicle 50 exists.
  • a camera mounted on the vehicle 50 is used as the first object detection unit 21.
  • FIG. 2 shows a camera mounted on the vehicle 50.
  • the vehicle 50 includes a front camera 31, a side camera 32, and a rear camera 33.
  • the front camera 31 acquires a captured image obtained by capturing a scene in front of the vehicle 50.
  • the front camera 31 is constituted by, for example, a CCD camera. Such a front camera 31 is provided in the front part (for example, front grill etc.) of the vehicle 50, as FIG. 2 shows.
  • the front camera 31 is preferably configured using, for example, a fisheye lens. In such a case, a captured image including a scene of at least the area indicated by A in FIG. 2 is acquired.
  • the side camera 32 is provided in a side mirror 60 included in the vehicle 50.
  • the side camera 32 also includes a pair of side cameras 32a and 32b (left and right side cameras 32a and It is composed of a side camera 32b).
  • the left side camera 32a is provided on the left side mirror 60a with respect to the traveling direction of the vehicle 50
  • the right side mirror 60b is disposed on the right side with respect to the traveling direction. What is provided will be described as a right side camera 32b.
  • the side camera 32 is described.
  • the left side camera 32a captures a scene on the left side of the vehicle 50 including the vertically lower side of the left side mirror 60a, and acquires a captured image.
  • the side camera 32 is preferably configured using a fisheye lens.
  • a captured image obtained by photographing the scene of at least the area indicated by B in FIG. 2 is acquired by the left side camera 32a.
  • the right side camera 32b captures a scene on the right side of the vehicle 50 including the vertically lower side of the right side mirror 60b, and acquires a captured image.
  • a captured image obtained by capturing a scene of at least the area indicated by C in FIG. 2 is acquired by the right side camera 32b.
  • the rear camera 33 acquires a captured image obtained by capturing a scene behind the vehicle 50.
  • the rear camera 33 is provided in a rear portion of the vehicle 50 (for example, a rear bumper or a mall provided in the rear portion).
  • the rear camera 33 is also preferably configured using, for example, a fisheye lens.
  • a captured image obtained by capturing a scene of at least the area indicated by D in FIG. 2 is acquired.
  • the areas photographed by the respective cameras can be configured to overlap each other at the boundary portion.
  • the above-described areas AD can be configured not to have overlapping areas.
  • the captured images acquired by each of these cameras are used to specify the direction in which the object is present when viewed from the vehicle, based on the position and angle of each camera.
  • the captured image acquired by each camera is transmitted to an accuracy determination unit 12 and a position calculation unit 13 described later.
  • the second object detection unit 22 detects a distance from at least the vehicle 50 to an object existing within a detection range defined by a predetermined angle set in advance.
  • a sonar for example, an infrared sensor mounted on the vehicle 50 is used as the second object detection unit 22.
  • FIG. 3 shows a sonar mounted on the vehicle 50. Four sonars are provided in the front part of the vehicle 50 (sonars 41 to 44), and four sonars are provided in the rear part (sonars 45 to 48). Each sonar is set so as to detect a range defined by a predetermined angle in the straight direction and the horizontal direction around the position provided. Since the plan view is shown in FIG. 3, the range in the straight direction is not shown.
  • the areas indicated by I to L in FIG. 3 are set as detection areas.
  • the sonars 45 to 48 are set with detection regions indicated by U to X in FIG.
  • the sonars 41 to 48 transmit ultrasonic waves as transmission signals in the respective detection areas, and receive reflected waves that are reflected by being hit by an object. Based on the time difference between the transmission signal and the reflected wave, the distance from the vehicle 50 to the object is detected. However, in the detection results of the sonars 41 to 44, the distance from the vehicle 50 to the object can be detected, but it can only be determined that the direction is within the detection region (for example, the region I). Since such a detection process is known, a description thereof will be omitted.
  • the detection result detected by each sonar is transmitted to the accuracy determination unit 12 and the position calculation unit 13 described later.
  • the vehicle image image generation unit 14 generates an image image IC of the vehicle 50 viewed from above the vehicle 50.
  • the viewpoint above the vehicle 50 is a viewpoint looking down at the vehicle 50. Therefore, it is possible to set the viewpoint to look down at the rear of the vehicle 50 from the diagonally front of the vehicle 50, or to the viewpoint at which the front of the vehicle 50 is looked down from the diagonally rear of the vehicle 50. Further, it is possible to set the viewpoint to look down at the vehicle 50 from above the vehicle 50.
  • An image IC of such a vehicle 50 is shown in FIG. In the present embodiment, as shown in FIG. 4, an example in the case where the straight upper side of the vehicle 50 is taken as a viewpoint is shown.
  • the image image IC of the vehicle 50 corresponds to an image schematically showing the vehicle 50 when the vehicle 50 is viewed from directly above.
  • the image image IC may be an image obtained by actually photographing the vehicle with a camera or the like, or may be an illustration.
  • the image image IC generated by the image image generation unit 14 is transmitted to a position calculation unit 13 and a display image generation unit 17 which will be described later.
  • the surrounding image image generation unit 15 generates an image image IA around the vehicle 50 from the above-described viewpoint, which is divided into a plurality of regions around the image image IC of the vehicle 50.
  • the image IA around the vehicle 50 is an image schematically showing the situation around the vehicle 50.
  • the surrounding image image IA is generated at the same viewpoint as the viewpoint of the image image IC of the vehicle 50 generated by the vehicle image image generation unit 14 described above.
  • a dividing line 77 is superimposed on the surrounding image IA and drawn. Thereby, the surrounding image IA is divided into a plurality of regions.
  • FIG. 4 shows an example in which such a dividing line 77 is drawn in the vertical direction and the horizontal direction (lattice-like division).
  • a dividing line 77 is merely an example, and can naturally be drawn in other forms.
  • the surrounding image image generation unit 15 draws a partition line 77 on the surrounding image image IA.
  • the surrounding image image IA generated by the surrounding image image generation unit 15 and on which the dividing line 77 is drawn is transmitted to the position calculation unit 13 and the display image generation unit 17 described later.
  • the position calculation unit 13 calculates a corresponding position in the surrounding image IA based on the detection result of the object detection unit 11.
  • the object detection unit 11 is a first object detection unit 21 and a second object detection unit 22, which correspond to a camera and a sonar, respectively.
  • the camera detects the direction of the object from the vehicle 50
  • the sonar detects the distance from the vehicle 50 to the object.
  • the surrounding image IA shown in FIG. 4 is an image schematically showing the periphery of the vehicle 50 with the viewpoint above the vehicle 50 as a viewpoint. For this reason, the detection results of the camera and the sonar cannot be simply displayed on the surrounding image IA.
  • the position calculation unit 13 calculates the position on the surrounding image image IA, that is, the coordinates when the surrounding image image IA is a two-dimensional plane, based on the detection results of the camera and the sonar.
  • the calculation result calculated by the position calculation unit 13 is transmitted to the specifying unit 16 described later.
  • the confirmation degree determination unit 12 determines whether or not the confirmation degree of the detection result detected by the object detection unit 11 is equal to or greater than a predetermined determination threshold value.
  • the detection result detected by the object detection unit 11 includes a result indicating the direction of the object viewed from the vehicle 50 detected by the camera as the first object detection unit 21 and a sonar detection as the second object detection unit 22. It is a result which shows the distance from the made vehicle 50 to an object.
  • the degree of confirmation corresponds to accuracy (accuracy). Therefore, the certainty degree determination unit 12 determines whether or not the accuracy of the detection result is equal to or greater than a predetermined determination threshold value.
  • the verification level determination unit 12 determines that the verification level is equal to or higher than the determination threshold when the detection results of the two object detection units 11 have a correlation.
  • the two object detection units 11 are a first object detection unit 21 and a second object detection unit 22.
  • the correlation between these detection results is detected by the result indicating the direction of the object viewed from the vehicle 50 detected by the camera as the first object detection unit 21 and the sonar as the second object detection unit 22. That is, there is a correlation with the result indicating the distance from the vehicle to the object.
  • the camera as the first object detection unit 21 detects an object included in a captured image acquired by photographing the situation around the vehicle 50 by image recognition to detect the direction in which the object exists, and the second object From the vehicle 50 to the object, the sonar as the detection unit 22 is based on the difference between the transmitted wave transmitted within the detection range defined by a predetermined angle set in advance and the reflected wave reflected by the transmitted wave hitting the object.
  • the accuracy determination unit 12 detects the object whose direction detected by the first object detection unit 21 is located at a predetermined distance from the vehicle 50. When it is included in the detection range of the unit 22, it is possible to determine that the degree of confirmation is equal to or higher than the determination threshold value because there is a correlation.
  • the accuracy determination unit 12 calculates the distance between the object included in the captured image acquired by the first object detection unit 21 and the vehicle 50 by image recognition, and the result of the calculation and the second object detection unit 22 When the detected distances substantially coincide with each other, it is possible to determine that the degree of confirmation is equal to or greater than the determination threshold value because there is a correlation.
  • the verification degree determination unit 12 determines that the verification level is less than the determination threshold when it is difficult to specify an object included in the captured image acquired by the first object detection unit 21. Such a determination result is transmitted to the clarification unit 16 described later.
  • the clarification unit 16 clarifies the corresponding position in the surrounding image IA based on the calculation result of the position calculation unit 13 and determines the verification result verification level when the verification result detection level is equal to or greater than the determination threshold. When it is less than the threshold value, the corresponding region in the surrounding image IA is clearly shown based on the calculation result of the position calculation unit 13. Whether the accuracy of the detection result is equal to or higher than the determination threshold is determined by the above-described accuracy determination unit 12. The corresponding position in the surrounding image IA based on the detection results of the first object detection unit 21 and the second object detection unit 22 is calculated and transmitted by the position calculation unit 13.
  • the specifying unit 16 specifies the corresponding position.
  • the clarification unit 16 displays an index at a corresponding position in the surrounding image IA when the degree of confirmation is greater than or equal to a predetermined determination threshold.
  • a predetermined determination threshold Such an index is shown as reference signs P1 and P2 in FIG.
  • the certainty degree is equal to or higher than the predetermined determination threshold
  • the index indicating the presence of the object is displayed regardless of the division line 77 and the area divided by the division line 77.
  • the index indicating the presence of the object is displayed at the corresponding position regardless of the division line 77 and the area divided by the division line 77.
  • the indication unit 16 specifies the corresponding area. Specifically, the clarification unit 16 colors a corresponding region in the surrounding image IA when the degree of confirmation is less than a predetermined determination threshold. Such a colored region is indicated by reference numerals R1 and R2 in FIG. As described above, when the degree of confirmation is less than the predetermined determination threshold, the area indicating the presence of the object is displayed according to the area divided by the dividing line 77. Such clarification is given to the peripheral image IA transmitted from the peripheral image generator 15 in the display image generator 17.
  • the display image generation unit 17 generates a display image to be displayed on the monitor 18.
  • the display images are the image image IC of the vehicle 50 generated by the vehicle image image generation unit 14 and the surrounding image image IA generated by the surrounding image image generation unit 15. Coloring of the indicators and regions that are clearly shown superimposed on the surrounding image IA is also included.
  • Such a display image is transmitted to the monitor 18 and displayed. Such display is performed in real time, and is displayed on the monitor 18 as the vehicle 50 moves and as the object moves. In this way, by displaying the objects existing around the vehicle 50 on the monitor 18 and informing the driver, the driver can intuitively grasp the situation around the vehicle 50 and also know the accuracy thereof.
  • FIG. 6 is a flowchart relating to processing of the vehicle periphery monitoring apparatus 100. This flowchart shows an example of processing, and the processing order is not limited to this. That is, it is naturally possible to change the processing order as appropriate.
  • the vehicle image image generation unit 14 generates the image image IC of the vehicle 50 with the viewpoint above the vehicle 50, and the surrounding image image generation unit 15 of the vehicle 50 from the same viewpoint as the image image IC of the vehicle 50.
  • a surrounding image IA is generated (step # 01).
  • the degree of confirmation The determination unit 12 determines the accuracy of the detection result. If the degree of certainty is equal to or greater than a predetermined determination threshold value, that is, the degree of certainty determination unit 12 has a correlation between the detection result of the first object detection unit 21 and the detection result of the second object detection unit 22 ( Step # 04: Yes), the position calculator 13 calculates the position where the object is present in the surrounding image IA based on these detection results (step # 05).
  • the clarification unit 16 clearly indicates the position calculated in this manner with an index attached to the surrounding image IA (step # 06). Accordingly, it is possible to notify the driver of the vehicle 50 of the presence of the object and to notify that the detection accuracy of the object is high.
  • the second object detection unit 22 detects an object (step # 02: second object detection unit), and if the first object detection unit 21 also detects an object (step # 07). : Yes), the confirmation degree determination unit 12 determines the confirmation degree of the detection result. If the degree of certainty is equal to or greater than a predetermined determination threshold value, that is, the degree of certainty determination unit 12 has a correlation between the detection result of the first object detection unit 21 and the detection result of the second object detection unit 22 ( Step # 04: Yes), the position calculator 13 calculates the position where the object exists in the surrounding image IA based on these detection results (step # 05).
  • the clarification unit 16 clearly indicates the position calculated in this manner with an index attached to the surrounding image IA (step # 06). Accordingly, it is possible to notify the driver of the vehicle 50 of the presence of the object and to notify that the accuracy of notification indicating the presence of the object is high.
  • step # 02 When an object is detected by the first object detection unit 21 in step # 02 (step # 02: first object detection unit), but no object is detected by the second object detection unit 22 (step # 03) : No) or even though the object was detected by the second object detection unit 22 in step # 02 (step # 02: second object detection unit), no object was detected by the first object detection unit 21 If there is no correlation between the detection result of the first object detection unit 21 and the detection result of the second object detection unit 22 in step # 04 (step # 04: No) (step # 04: No), The position calculation unit 13 calculates a region where an object exists in the surrounding image IA based on each detection result (step # 08).
  • the specifying unit 16 specifies the region calculated in this way by coloring the surrounding image IA (step # 09). Accordingly, it is possible to notify the driver of the vehicle 50 of the presence of an object and to notify that the accuracy of detection of the object is low.
  • step # 02 if no object is detected by both the first object detection unit 21 and the second object detection unit 22, the process may be suspended until an object is detected from at least one of them. Alternatively, it may be processed so as to notify that there is no object around the vehicle 50.
  • the vehicle periphery monitoring device 100 notifies the driver of the vehicle 50 of the situation along such a flowchart.
  • the object detection unit 11 has been described as including the first object detection unit 21 and the second object detection unit 22.
  • the object detection unit 11 may be composed of three or more, or one object detection unit 11 may be able to detect different detection targets. Even such an object detector 11 can appropriately detect the direction of the object from the vehicle 50 and the distance from the vehicle 50 to the object.
  • the second object detection unit 22 can be configured with three or less in the front part and the rear part, respectively, or can be configured with five or more. Of course, it is naturally possible to configure the front part and the rear part in different numbers. Of course, the second object detection unit 22 may include only the front part or the rear part.
  • the description by the clarification unit 16 has been described as coloring the corresponding region.
  • the clarification by the clarification unit 16 may be a three-dimensional display of the corresponding area.
  • the coloring of the region by the clarification unit 16 may be performed by coloring the entire corresponding region or the partition line 77 in the outer peripheral portion of the region.
  • the coloring may be a translucent display. Even in such an explicit manner, it is naturally possible to notify the driver of the vehicle 50 of objects that are present around the vehicle 50 appropriately.
  • the indicator is displayed at the corresponding position by the explicit unit 16.
  • the indication of the index by the clarification unit 16 may be given an arrow by performing movement prediction when the object is a moving object. By making such an indication, the driver of the vehicle 50 can recognize that the object is a moving object, and can pay attention to the moving direction of the object.
  • the present invention can be used in a vehicle periphery monitoring device that notifies an object existing around a vehicle.
  • SYMBOLS 11 Object detection part 12: Confirmation degree determination part 13: Position calculation part 14: Vehicle image image generation part 15: Ambient image image generation part 16: Clarification part 17: Display image generation part 18: Monitor 21: 1st object detection part 22: Second object detection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　検出結果の正確性を明確にし、運転者が物体の存在する位置を直感的に把握することができるように報知する車両周辺監視装置は、車両の周囲の物体を検出する物体検出部と、車両の上方を視点とする車両のイメージ画像を生成する車両イメージ画像生成部と、車両のイメージ画像を含む、車両の周囲のイメージ画像を生成する周囲イメージ画像生成部と、物体検出部の検出結果に基づいて周囲のイメージ画像において対応する位置を演算する位置演算部と、物体検出部の検出結果の確証度が予め設定された判定閾値以上である場合に、周囲のイメージ画像での対応する位置を明示すると共に、検出結果の確証度が判定閾値未満である場合に、周囲のイメージ画像での対応する領域を明示する明示部と、を備える。

Description

車両周辺監視装置
　本発明は、車両の周囲に存在する物体を報知する車両周辺監視装置に関する。
　従来、車両の運転者に自車の周囲に存在する物体を報知する車両周辺監視装置が用いられてきた。この種の技術として、下記に出典を示す特許文献１－３に記載のものがある。
　特許文献１に記載の物体検出装置は、レーダによって物体を検出するレーダ検出手段と、画像によって物体を検出する画像検出手段とを備え、これらを複合利用することにより、車両周辺に存在する物体の認識精度を高めている。一方、物体が車両の遠くに存在する場合には画像検出手段の認識精度が悪くなるので、このような場合には、車両から物体までの距離が近い場合より判定条件を緩和して判定を行っている。
　特許文献２に記載の画像表示制御装置は、自車両の周囲に存在する対象物を検出し、危険度に応じて強調表示を行っている。危険度は、自車両の速度、対象物までの距離、対象物の種類に応じて決定される。
　特許文献３に記載の車両用周辺監視装置は、運転者からの死角領域を監視する技術である。この車両用周辺監視装置は、車両の前方に死角領域の実画像を撮像する実画像撮像手段が備えられる。運転者が、この実画像の奥行きを直感的に把握できるように、当該実画像に対して道路の奥行き感を表わす格子状グリッド画像が重畳表示される。運転者が死角領域を目視可能な位置に到達した場合には、格子状グリッド画像の重畳表示は中止される。
特開２００６－２９２４７５号公報 特開２００９－４０１０７号公報 特開２００９－２２６９７８号公報
　特許文献１には、物体を検出した場合の報知方法については何ら示されていない。また、判定条件を緩和することは、障害物の存在を簡易的に運転者に伝達することはできるものの、障害物の判定の精度と安全性とが両立しえていない。即ち、運転者は判定の精度に拘らず、安全面に細心の注意を図る必要がある。したがって、判定の精度（検出の精度）が低い障害物に対しても注意する必要があり、精神的な疲労により運転に支障をきたすおそれがある。
　特許文献２に記載の物体検出装置では、危険の認知という点で直感性に欠ける。自車両と障害物との距離が近い場合には、より危険レベルを上げて報知を行う必要があるが、画面上で直接表現する事ができていない。即ち、「非常に危険」、「少々危険」というような報知を行うことは可能であるが、「近いから危険」、「遠いが少々危険」という表現は行えていない。報知形態（例えばアイコン）の種類を増やす等して対応できなくも無いが、種類の増加はシステムの複雑化と直感性の低下につながる。また、広角レンズを使用して車両の周囲の状況を示す撮像画像を取得している場合には、運転者が撮像画像を見た際、当該撮像画像が歪んでいる可能性があり、特に障害物までの距離及び方向の認識は難しくなる。このため、「非常に危険」というアイコンが表示された場合には、対象となる障害物が近くにいるから非常に危険であるのか否かを特定することは非常に困難である。
　特許文献３に記載の車両用周辺監視装置は、認識した障害物を、格子状グリッド上に所定のマーカーで表示し、また障害物の移動時に矢印を表示する等している。しかしながら、危険レベルの判定や、それに伴う表示の切り替え等については開示されていない。また、画面上方の空間に格子状グリッドと障害物アイコンの表示を行っているため、前記空間に表示されているアイコンを確認後、視線を下げて、その真下にある実際の障害物を確認するという手間が必要になる。このため、たとえ画面下方の路面上に格子状グリッドを重畳表示したとしても視認性を低下させてしまう。
　本発明の目的は、上記問題に鑑み、検出結果の正確性を明確にして運転者に伝達すると共に、運転者が物体の存在する位置を直感的に把握することができるように報知する車両周辺監視装置を提供することにある。
　上記目的を達成するための本発明に係る周辺監視装置の特徴構成は、車両に備えられ、前記車両の周囲の物体を検出する物体検出部と、前記車両の上方を視点とする前記車両のイメージ画像を生成する車両イメージ画像生成部と、前記車両のイメージ画像の周囲に複数の領域に区分けされた、前記視点からの前記車両の周囲のイメージ画像を生成する周囲イメージ画像生成部と、前記物体検出部の検出結果に基づいて前記周囲のイメージ画像において対応する位置を演算する位置演算部と、前記物体検出部により検出された検出結果の確証度が予め設定された判定閾値以上であるか否かを判定する確証度判定部と、前記検出結果の確証度が前記判定閾値以上である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する位置を明示すると共に、前記検出結果の確証度が前記判定閾値未満である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する領域を明示する明示部と、を備えている点にある。
　このような特徴構成とすれば、運転者は車両を上方から見た場合における周囲の状況を確認することができるので、車両と物体との位置関係を直感的に把握することが可能となる。また、物体検出部により検出された検出結果に応じて、物体の存在を明示する形態を変更することができる。これにより、運転者は、物体検出部による検出の正確性も明確に理解することが可能となる。
　また、前記物体検出部は、検出方法が異なる複数の物体検出部から構成され、前記確証度判定部は、前記複数の物体検出部のうち少なくとも２つの物体検出部の検出結果に相関関係がある場合に前記確証度が前記判定閾値以上であると判定すると好適である。
　このような構成とすれば、物体検出部の検出結果の確証度を適切に判定することができる。したがって、明示部が検出結果の正確性に応じて適切に物体の存在を明示することができる。
　また、前記少なくとも２つの物体検出部が、第１物体検出部と第２物体検出部とを備え、前記第１物体検出部が前記車両からの前記物体が存在する方向を検出し、前記第２物体検出部が少なくとも前記車両から予め設定された所定の角度で規定される検出範囲内に存在する前記物体までの距離を検出すると好適である。
　このような構成とすれば、車両からの物体の方向と、車両から物体までの距離に応じて、物体の存在する位置を正確に特定することができる。したがって、運転者に対して正確性の良い報知を行うことが可能となる。
　また、前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、前記確証度判定部は、前記第１物体検出部により検出された前記方向が、前記車両から所定の距離に存在する物体を検出した前記第２物体検出部の検出範囲内に含まれる場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定することが可能である。
　このような構成とすれば、確証度判定部が、第１物体検出部の検出結果と第２物体検出部の検出結果との間に相関関係があるか否かを適切に判断することができるので、これらの検出結果の確証度について適切に判定することが可能となる。
　また、前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、前記確証度判定部は、前記第１物体検出部により取得された撮像画像に含まれる物体と前記車両との距離を画像認識により演算し、当該演算の結果と前記第２物体検出部により検出された前記距離が略一致する場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定することも可能である。
　このような構成とすれば、確証度判定部が、第１物体検出部の検出結果と第２物体検出部の検出結果との間に相関関係があるか否かを適切に判断することができるので、これらの検出結果の確証度について適切に判定することが可能となる。
　また、前記明示部は、前記確証度が予め設定された判定閾値以上である場合に、前記周囲のイメージ画像において対応する位置に指標を表示すると好適である。
　このような構成とすれば、運転者に対して、物体の存在と共に、物体検出部の検出結果の正確性が高いことを適切に伝達することができる。
　また、前記明示部は、前記確証度が予め設定された判定閾値未満である場合に、前記周囲のイメージ画像において対応する領域を着色すると好適である。
　このような構成とすれば、運転者に対して、物体の存在と共に、物体検出部の検出結果の正確性が低いことを適切に伝達することができる。
車両周辺監視装置の概略構成を模式的に示すブロック図である。 車両に備えられるカメラ及びカメラの撮影範囲を示す図である。 車両に備えられるソナー及びソナーの検出範囲を示す図である。 車両のイメージ画像及び周囲のイメージ画像を示す図である。 車両の周囲に存在する物体を周囲のイメージ画像に明示した場合の一例を示す図である。 車両周辺監視装置が行う処理に係るフローチャートである。
　以下、本発明の実施の形態について、詳細に説明する。本発明に係る車両周辺監視装置１００は、車両５０（図２参照）の周辺を関する機能を備えている。より詳細には、本車両周辺監視装置１００は、車両５０の周辺に存在する物体を検出し、当該物体の存在を車両５０の運転者が直感的に認識することができるように報知する機能を有する。図１は、本発明に係る車両周辺監視装置１００の概略構成を模式的に示すブロック図である。当該車両周辺監視装置１００は、物体検出部１１、確証度判定部１２、位置演算部１３、車両イメージ画像生成部１４、周囲イメージ画像生成部１５、明示部１６、表示画像生成部１７、モニタ１８を備えて構成される。このように構成される車両周辺監視装置１００は、ＣＰＵを中核部材として車両５０の周辺を監視する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
　物体検出部１１は、車両５０に備えられ、当該車両５０の周囲の物体を検出する。本実施形態では、車両５０の周囲とは車両５０の前方、後方、左側方、右側方が相当する。車両５０の前方、後方、左側方、右側方の少なくともいずれか一方に存在する物体を検出する構成とすることも可能である。また、物体とは、移動物に限定されるものではなく、停止状態にある物体も含まれる。このような物体は物体検出部１１に検出されることにより、車両周辺監視装置１００が障害物として認識することが可能となる。
　物体検出部１１は、検出方法が異なる複数の物体検出部から構成される。検出方法とは、物体検出部１１が検出する方法である。したがって、検出方法が異なるとは、検出する方法の種類が異なることを示している。本実施形態では、このような異なる検出方法により、車両５０からの物体が存在する方向、及び車両５０から物体までの距離を検出する。物体検出部１１は、このような検出方法が異なる複数の物体検出部から構成される。本実施形態では、理解を容易にするために、複数の物体検出部は、第１物体検出部２１と第２物体検出部２２との２つであるとして説明する。
　第１物体検出部２１は、車両５０からの物体が存在する方向と距離を検出する。本実施形態では、第１物体検出部２１として、車両５０に搭載されるカメラが用いられる。図２には、車両５０に搭載されるカメラが示されている。車両５０には、フロントカメラ３１、サイドカメラ３２、リアカメラ３３が備えられる。フロントカメラ３１は、車両５０の前方の情景を撮影した撮像画像を取得する。フロントカメラ３１は例えばＣＣＤカメラ等により構成される。このようなフロントカメラ３１は、図２に示されるように、車両５０のフロント部分（例えばフロントグリル等）に備えられる。フロントカメラ３１は、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図２のＡで示される領域の情景を含む撮像画像が取得される。
　サイドカメラ３２は、車両５０が有するサイドミラー６０に備えられる。また、当該サイドカメラ３２は、サイドミラー６０の鉛直下方を含む車両５０の左側方の情景及び右側方の情景を撮影した撮像画像を取得する一対のサイドカメラ３２ａ、３２ｂ（左サイドカメラ３２ａ及び右サイドカメラ３２ｂ）から構成される。本実施形態では、図２に示されるように、車両５０の進行方向に対して左側方のサイドミラー６０ａに備えられるものを左サイドカメラ３２ａとし、進行方向に対して右側方のサイドミラー６０ｂに備えられるものを右サイドカメラ３２ｂとして説明する。また、特に左サイドカメラ３２ａ及び右サイドカメラ３２ｂのいずれかを限定する必要がない場合には、サイドカメラ３２として記載する。
　左サイドカメラ３２ａは、左側方のサイドミラー６０ａの鉛直下方を含む車両５０の左側方の情景を撮影し、撮像画像を取得する。上述のフロントカメラ３１と同様に、サイドカメラ３２も魚眼レンズを用いて構成すると好適である。係る場合には、左サイドカメラ３２ａにより少なくとも図２のＢで示される領域の情景を撮影した撮像画像が取得される。右サイドカメラ３２ｂは、右側方のサイドミラー６０ｂの鉛直下方を含む車両５０の右側方の情景を撮影し、撮像画像を取得する。右サイドカメラ３２ｂにより少なくとも図２のＣで示される領域の情景を撮影した撮像画像が取得される。
　リアカメラ３３は、車両５０の後方の情景を撮影した撮像画像を取得する。リアカメラ３３は、図２に示されるように、車両５０のリア部分（例えばリアバンパーやリア部分に備えられるモール等）に備えられる。リアカメラ３３も、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図２のＤで示される領域の情景を撮影した撮像画像が取得される。このように、各カメラで撮影される領域は、互いの境界部分において重複するように構成することが可能である。また、図示はしないが、上述の領域Ａ－Ｄは、夫々重複する領域を有さないように構成することも可能である。
　これらの各カメラにより取得された撮像画像は、各カメラの配設位置、配設角度等により、車両から見た場合の物体の存在する方向を特定するのに用いられる。各カメラに取得された撮像画像は、後述する確証度判定部１２及び位置演算部１３に伝達される。
　第２物体検出部２２は、少なくとも車両５０から予め設定された所定の角度で規定される検出範囲内に存在する物体までの距離を検出する。本実施形態では、第２物体検出部２２として、車両５０に搭載されるソナー（例えば赤外線センサ）が用いられる。図３は、車両５０に搭載されるソナーが示されている。ソナーは、車両５０のフロント部に４つ（ソナー４１～４４）、リア部に４つ（ソナー４５～４８）備えられる。各ソナーは、夫々備えられた位置を中心として、延直方向及び水平方向に所定の角度で規定される範囲を検出するよう設定される。図３では平面図を示しているので、延直方向の範囲の図示は省略している。
　ソナー４１～４４は、夫々図３のＩ～Ｌで示される領域を検出領域として設定される。また、ソナー４５～４８は、夫々図３のＵ～Ｘで示される領域を検出領域として設定される。ソナー４１～４８は、夫々の検出領域内に送信信号として超音波を送信し、物体に当たって反射される反射波を受信する。これらの送信信号及び反射波の時間差に基づいて、車両５０から物体までの距離を検出する。ただし、ソナー４１～４４の検出結果においては、車両５０から物体までの距離は検出できるが、その方向は検出領域内（例えば領域Ｉ）であるとしてしか判断できない。このような検出過程については、公知であるため説明は省略する。各ソナーにより検出された検出結果は、後述する確証度判定部１２及び位置演算部１３に伝達される。
　車両イメージ画像生成部１４は、車両５０の上方を視点とする車両５０のイメージ画像ＩＣを生成する。車両５０の上方を視点とするとは、車両５０を見下ろす視点である。したがって、車両５０の斜め前方から車両５０の後方を見下ろす視点とすることも可能であるし、車両５０の斜め後方から車両５０の前方を見下ろす視点とすることも可能である。また、車両５０の鉛直上方から車両５０を見下ろす視点とすることも可能である。このような車両５０のイメージ画像ＩＣが図４に示される。本実施形態では、図４に示すように、車両５０の延直上方を視点とした場合の例を示す。したがって、車両５０のイメージ画像ＩＣとは、延直上方から車両５０を見た場合に車両５０を模式的に示す画像が相当する。このイメージ画像ＩＣは、カメラ等で車両を実際に撮影した画像でも良いし、イラストでも良い。イメージ画像生成部１４により生成されたイメージ画像ＩＣは、後述の位置算定部１３及び表示画像生成部１７に伝達される。
　周囲イメージ画像生成部１５は、車両５０のイメージ画像ＩＣの周囲に複数の領域に区分けされた、上述の視点からの車両５０の周囲のイメージ画像ＩＡを生成する。車両５０の周囲のイメージ画像ＩＡとは、車両５０の周囲の状況を模式的に示す画像である。この周囲のイメージ画像ＩＡは、上述の車両イメージ画像生成部１４により生成された車両５０のイメージ画像ＩＣの視点と同じ視点で生成される。このような周囲のイメージ画像ＩＡに区分線７７が重畳して描画される。これにより、周囲のイメージ画像ＩＡが、複数の領域に区分けされる。
　図４には、このような区分線７７が縦方向及び横方向に描画されている例（格子状の区分）が示されている。このような区分線７７は、単なる一例であり他の形態で描画することは当然に可能である。周囲イメージ画像生成部１５は、周囲のイメージ画像ＩＡに対して区画線７７を描画する。周囲イメージ画像生成部１５により生成された、区分線７７が描画された周囲のイメージ画像ＩＡは、後述の位置演算部１３及び表示画像生成部１７に伝達される。
　位置演算部１３は、物体検出部１１の検出結果に基づいて周囲のイメージ画像ＩＡにおいて対応する位置を演算する。物体検出部１１とは、第１物体検出部２１及び第２物体検出部２２であり、夫々カメラ及びソナーが相当する。ここで、上述のようにカメラは車両５０からの物体の方向を検出し、ソナーは車両５０から物体までの距離を検出する。一方、図４に示される周囲のイメージ画像ＩＡは、車両５０の上方を視点とする車両５０の周囲を模式的に示す画像である。このため、周囲のイメージ画像ＩＡ上にカメラ及びソナーの検出結果を単純に表示することはできない。したがって、位置算定部１３は、カメラ及びソナーの検出結果に基づいて、周囲のイメージ画像ＩＡ上での位置、即ち、周囲のイメージ画像ＩＡを２次元平面とした場合の座標を演算する。位置演算部１３により演算された演算結果は、後述する明示部１６に伝達される。
　確証度判定部１２は、物体検出部１１により検出された検出結果の確証度が予め設定された判定閾値以上であるか否かを判定する。物体検出部１１により検出された検出結果とは、第１物体検出部２１としてのカメラにより検出された車両５０から見た物体の方向を示す結果、及び第２物体検出部２２としてのソナーにより検出された車両５０から物体までの距離を示す結果である。確証度とは正確度（正確性）に相当する。したがって、確証度判定部１２は、検出結果の正確度が予め設定された判定閾値以上であるか否かを判定する。
　ここで、確証度判定部１２は、２つの物体検出部１１の検出結果に相関関係がある場合に確証度が判定閾値以上であると判定する。本実施形態では、２つの物体検出部１１とは、第１物体検出部２１及び第２物体検出部２２である。これらの検出結果に相関関係があるとは、第１物体検出部２１としてのカメラにより検出された車両５０から見た物体の方向を示す結果と、第２物体検出部２２としてのソナーにより検出された車両から物体までの距離を示す結果との間に相関関係があるということである。
　即ち、第１物体検出部２１としてのカメラが、車両５０の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して物体が存在する方向を検出し、第２物体検出部２２としてのソナーが、予め設定された所定の角度で規定される検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて車両５０から物体までの距離を検出する構成の場合には、確証度判定部１２は、第１物体検出部２１により検出された物体の方向が、車両５０から所定の距離に存在する物体を検出した第２物体検出部２２の検出範囲内に含まれる場合に相関関係があるとして確証度が判定閾値以上であると判定することが可能である。
　また、確証度判定部１２は、第１物体検出部２１により取得された撮像画像に含まれる物体と車両５０との距離を画像認識により演算し、当該演算の結果と第２物体検出部２２により検出された距離が略一致する場合に相関関係があるとして確証度が判定閾値以上であると判定することも可能である。
　ここで、第１物体検出部２１として用いられるカメラにより取得された撮像画像では、遠くに位置する物体は小さく表示される。したがって、車両５０から離れるにしたがって、第１物体検出部２１による検出結果の正確性は悪くなる。このため、確証度判定部１２は、第１物体検出部２１により取得された撮像画像に含まれる物体が特定し難い場合においては、確証度が判定閾値未満であると判定する。このような判定結果は、後述する明示部１６に伝達される。
　明示部１６は、検出結果の確証度が判定閾値以上である場合に、位置演算部１３の演算結果に基づいて周囲のイメージ画像ＩＡにおいて対応する位置を明示すると共に、検出結果の確証度が判定閾値未満である場合に、位置演算部１３の演算結果に基づいて周囲のイメージ画像ＩＡにおいて対応する領域を明示する。検出結果の確証度が判定閾値以上であるか否かは、上述の確証度判定部１２により判定される。第１物体検出部２１及び第２物体検出部２２の検出結果に基づく周囲のイメージ画像ＩＡでの対応する位置は、位置演算部１３により演算され伝達される。
　上述したように、検出結果の確証度が判定閾値以上である場合には、車両５０から見た物体の方向及び距離の正確度が高いことから、明示部１６はその対応する位置を明示する。具体的には、明示部１６は、確証度が予め設定された判定閾値以上である場合に、周囲のイメージ画像ＩＡにおいて対応する位置に指標を表示する。このような指標が、図５において、符号Ｐ１やＰ２として示される。このように、確証度が予め設定された判定閾値以上である場合には、物体の存在を示す指標は区分線７７及び当該区分線７７により区分けされた領域に拘らず表示される。換言すると、確証度が予め設定された判定閾値以上である場合には、物体の存在を示す指標は区分線７７及び当該区分線７７により区分けされた領域に拘らないで、対応する位置に表示される。
　一方、検出結果の確証度が判定閾値未満である場合には、車両５０から見た物体の方向及び距離の正確度が低いことから、明示部１６はその対応する領域を明示する。具体的には、明示部１６は、確証度が予め設定された判定閾値未満である場合に、周囲のイメージ画像ＩＡにおいて対応する領域を着色する。このような着色された領域が、図５において、符号Ｒ１やＲ２として示される。このように、確証度が予め設定された判定閾値未満である場合には、物体の存在を示す領域は区分線７７により区分けされた領域にしたがって表示される。なお、このような明示は、表示画像生成部１７にある周囲イメージ画像生成部１５から伝達された周囲のイメージ画像ＩＡに対して施される。
　表示画像生成部１７は、モニタ１８に表示する表示画像を生成する。表示画像は、車両イメージ画像生成部１４により生成された車両５０のイメージ画像ＩＣ及び周囲イメージ画像生成部１５により生成された周囲のイメージ画像ＩＡである。この周囲のイメージ画像ＩＡに重畳して明示された指標や領域の着色も含まれる。このような表示画像がモニタ１８に伝達され、表示される。このような表示はリアルタイムで行われ、車両５０の移動と共に、又物体の移動と共にモニタ１８に表示される。このように車両５０の周囲に存在する物体をモニタ１８に表示して報知することにより、運転者が直感的に車両５０の周囲の状況を把握できると共に、その正確性も知ることができる。
　次に、本車両周辺監視装置１００が物体を検出した場合の報知に関する処理について説明する。図６は、車両周辺監視装置１００の処理に係るフローチャートである。なお、このフローチャートは、処理の一例を示したものであり、処理順序はこれに限定されるものではない。即ち、適宜、処理順序を入れ替えることは当然に可能である。
　まず、車両イメージ画像生成部１４が車両５０の上方を視点とする車両５０のイメージ画像ＩＣを生成すると共に、周囲イメージ画像生成部１５が車両５０のイメージ画像ＩＣと同様の視点からの車両５０の周囲のイメージ画像ＩＡを生成する（ステップ＃０１）。
　第１物体検出部２１により物体が検出されると共に（ステップ＃０２：第１物体検出部）、第２物体検出部２２でも物体が検出された場合には（ステップ＃０３：Ｙｅｓ）、確証度判定部１２がその検出結果の確証度が判定される。確証度判定部１２は、確証度が予め設定された判定閾値以上であれば、即ち、第１物体検出部２１の検出結果と第２物体検出部２２の検出結果とに相関関係があれば（ステップ＃０４：Ｙｅｓ）、位置演算部１３はこれらの検出結果に基づいて周囲のイメージ画像ＩＡにおける物体の存在する位置を演算する（ステップ＃０５）。
　明示部１６は、このように演算された位置を周囲のイメージ画像ＩＡに指標を付して明示する（ステップ＃０６）。これにより、車両５０の運転者に物体の存在を報知すると共に、当該物体の検出の正確性が高いことを知らせることが可能となる。
　ステップ＃０２に戻り、第２物体検出部２２により物体が検出されると共に（ステップ＃０２：第２物体検出部）、第１物体検出部２１でも物体が検出された場合には（ステップ＃０７：Ｙｅｓ）、確証度判定部１２がその検出結果の確証度が判定される。確証度判定部１２は、確証度が予め設定された判定閾値以上であれば、即ち、第１物体検出部２１の検出結果と第２物体検出部２２の検出結果とに相関関係があれば（ステップ＃０４：Ｙｅｓ）、位置演算部１３はこれらの検出結果に基づいて周囲のイメージ画像ＩＡにおける物体の存在する位置を演算する（ステップ＃０５）。
　明示部１６は、このように演算された位置を周囲のイメージ画像ＩＡに指標を付して明示する（ステップ＃０６）。これにより、車両５０の運転者に物体の存在を報知すると共に、当該物体の存在を示す報知の確証度が高いことを知らせることが可能となる。
　ステップ＃０２において第１物体検出部２１により物体が検出されたにも拘らず（ステップ＃０２：第１物体検出部）、第２物体検出部２２で物体が検出されなかった場合（ステップ＃０３：Ｎｏ）や、ステップ＃０２において第２物体検出部２２により物体が検出されたにも拘らず（ステップ＃０２：第２物体検出部）、第１物体検出部２１で物体が検出されなかった場合（ステップ＃０７：Ｎｏ）や、ステップ＃０４において第１物体検出部２１の検出結果と第２物体検出部２２の検出結果とに相関関係がない場合（ステップ＃０４：Ｎｏ）には、位置演算部１３は夫々の検出結果に基づいて周囲のイメージ画像ＩＡにおける物体の存在する領域を演算する（ステップ＃０８）。
　明示部１６は、このように演算された領域を周囲のイメージ画像ＩＡに着色して明示する（ステップ＃０９）。これにより、車両５０の運転者に物体の存在を報知すると共に、当該物体の検出の正確性が低いことを知らせることが可能となる。なお、ステップ＃０２において、第１物体検出部２１及び第２物体検出部２２の双方により物体が検出されない場合には、少なくともいずれか一方から物体が検出されるまで処理を保留しても良いし、車両５０の周囲に物体が存在しない旨の報知を行うように処理しても良い。本車両周辺監視装置１００は、このようなフローチャートに沿って車両５０の運転者に周囲に状況を報知する。
〔その他の実施形態〕
　上記実施形態では、物体検出部１１は、第１物体検出部２１及び第２物体検出部２２の２つを備えるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。物体検出部１１は、３つ以上から構成しても良いし、また、１つの物体検出部１１で異なる検出対象が検出可能なものであっても良い。このような物体検出部１１であっても、適切に車両５０からの物体の方向及び車両５０から物体までの距離を検出することが可能である。
　上記実施形態では、第２物体検出部２２が、車両５０のフロント部及びリア部に夫々４つずつ備えられるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。第２物体検出部２２は、フロント部及びリア部に夫々３つ以下で構成することも可能であるし、５つ以上で構成することも可能である。もちろん、フロント部及びリア部の夫々を別々の個数で構成することも当然に可能である。また、第２物体検出部２２をフロント部のみ或いはリア部のみ備える構成とすることも当然に可能である。
　上記実施形態では、明示部１６による明示が、対応する領域を着色するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。明示部１６による明示は、対応する領域を立体表示するようにしても良い。また、明示部１６による領域の着色は、対応する領域全面を着色しても良いし、その領域の外周部分の区画線７７を着色しても良い。また、着色は半透明表示であっても良い。このような明示であっても、車両５０の運転者に対して適切に車両５０の周囲に存在する物体を報知することは当然に可能である。
　上記実施形態では、明示部１６により対応する位置に指標が表示されるとして説明した。しかしながら、本発明に適用範囲はこれに限定されるものではない。例えば、明示部１６による指標の表示は、物体が移動物である場合には、移動予測を行って矢印を付与して良い。このような明示を行うことにより、車両５０の運転者は物体が移動物であることを認識することができると共に、物体の移動方向に対しても注意することが可能となる。
　本発明は、車両の周囲に存在する物体を報知する車両周辺監視装置に用いることが可能である。
　１１：物体検出部
　１２：確証度判定部
　１３：位置演算部
　１４：車両イメージ画像生成部
　１５：周囲イメージ画像生成部
　１６：明示部
　１７：表示画像生成部
　１８：モニタ
　２１：第１物体検出部
　２２：第２物体検出部

Claims (7)

  1. 　車両に備えられ、前記車両の周囲の物体を検出する物体検出部と、
    　前記車両の上方を視点とする前記車両のイメージ画像を生成する車両イメージ画像生成部と、
    　前記車両のイメージ画像の周囲に複数の領域に区分けされた、前記視点からの前記車両の周囲のイメージ画像を生成する周囲イメージ画像生成部と、
    　前記物体検出部の検出結果に基づいて前記周囲のイメージ画像において対応する位置を演算する位置演算部と、
    　前記物体検出部により検出された検出結果の確証度が予め設定された判定閾値以上であるか否かを判定する確証度判定部と、
    　前記検出結果の確証度が前記判定閾値以上である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する位置を明示すると共に、前記検出結果の確証度が前記判定閾値未満である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する領域を明示する明示部と、
    を備える車両周辺監視装置。
  2. 　前記物体検出部は、検出方法が異なる複数の物体検出部から構成され、
    　前記確証度判定部は、前記複数の物体検出部のうち少なくとも２つの物体検出部の検出結果に相関関係がある場合に前記確証度が前記判定閾値以上であると判定する請求項１に記載の車両周辺監視装置。
  3. 　前記少なくとも２つの物体検出部が、第１物体検出部と第２物体検出部とを備え、前記第１物体検出部が前記車両からの前記物体が存在する方向を検出し、前記第２物体検出部が少なくとも前記車両から予め設定された所定の角度で規定される検出範囲内に存在する前記物体までの距離を検出する請求項２に記載の車両周辺監視装置。
  4. 　前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、
    　前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、
    　前記確証度判定部は、前記第１物体検出部により検出された前記方向が、前記車両から所定の距離に存在する物体を検出した前記第２物体検出部の検出範囲内に含まれる場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定する請求項３に記載の車両周辺監視装置。
  5. 　前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、
    　前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、
    　前記確証度判定部は、前記第１物体検出部により取得された撮像画像に含まれる物体と前記車両との距離を画像認識により演算し、当該演算の結果と前記第２物体検出部により検出された前記距離が略一致する場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定する請求項３に記載の車両周辺監視装置。
  6. 　前記明示部は、前記確証度が予め設定された判定閾値以上である場合に、前記周囲のイメージ画像において対応する位置に指標を表示する請求項１から５のいずれか一項に記載の車両周辺監視装置。
  7. 　前記明示部は、前記確証度が予め設定された判定閾値未満である場合に、前記周囲のイメージ画像において対応する領域を着色する請求項１から６のいずれか一項に記載の車両周辺監視装置。
PCT/JP2010/072974 2010-02-24 2010-12-21 車両周辺監視装置 WO2011104984A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/519,188 US9073483B2 (en) 2010-02-24 2010-12-21 Vehicle surroundings monitoring device
EP10846647.5A EP2541525B1 (en) 2010-02-24 2010-12-21 Vehicle surroundings monitoring device
CN201080055520.2A CN102652327B (zh) 2010-02-24 2010-12-21 车辆周边监视装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-039317 2010-02-24
JP2010039317A JP5505702B2 (ja) 2010-02-24 2010-02-24 車両周辺監視装置

Publications (1)

Publication Number Publication Date
WO2011104984A1 true WO2011104984A1 (ja) 2011-09-01

Family

ID=44506419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/072974 WO2011104984A1 (ja) 2010-02-24 2010-12-21 車両周辺監視装置

Country Status (5)

Country Link
US (1) US9073483B2 (ja)
EP (1) EP2541525B1 (ja)
JP (1) JP5505702B2 (ja)
CN (1) CN102652327B (ja)
WO (1) WO2011104984A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5723561B2 (ja) * 2010-09-29 2015-05-27 富士重工業株式会社 運転支援装置
ES2635739T3 (es) * 2012-10-17 2017-10-04 Iveco Magirus Ag Vehículo utilitario con sistema de supervisión para supervisar la posición de los estabilizadores
JP6115104B2 (ja) * 2012-12-04 2017-04-19 アイシン精機株式会社 車両の制御装置、及び制御方法
JP6044528B2 (ja) * 2013-12-02 2016-12-14 株式会社デンソー 周辺移動体位置表示装置
WO2015104860A1 (ja) * 2014-01-10 2015-07-16 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP5866545B1 (ja) * 2014-03-06 2016-02-17 パナソニックＩｐマネジメント株式会社 表示制御装置および表示制御プログラム
JP5861072B2 (ja) 2014-03-06 2016-02-16 パナソニックＩｐマネジメント株式会社 表示制御装置、表示装置および表示制御プログラム
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
JP6322812B2 (ja) * 2014-08-21 2018-05-16 パナソニックＩｐマネジメント株式会社 情報管理装置、車両、および、情報管理方法
JP6396932B2 (ja) * 2016-02-08 2018-09-26 日本電信電話株式会社 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム
WO2017170979A1 (ja) * 2016-03-31 2017-10-05 古河電気工業株式会社 監視装置および監視方法
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Ｓｏｋｅｎ 表示制御装置
WO2018105135A1 (ja) * 2016-12-06 2018-06-14 本田技研工業株式会社 車両周辺情報取得装置および車両
CN106772383B (zh) * 2016-12-31 2019-03-22 智车优行科技（北京）有限公司 车辆周围物体的检测呈现方法、装置和系统、车辆
FR3062836B1 (fr) * 2017-02-10 2019-04-26 Valeo Schalter Und Sensoren Gmbh Procede et systeme de determination d'un indice de confiance associe a un objet d'un environnement d'un vehicule
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
JP6791106B2 (ja) * 2017-12-06 2020-11-25 株式会社デンソー 周辺認識装置及び周辺認識方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP2004117071A (ja) * 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2006021641A (ja) * 2004-07-08 2006-01-26 Nissan Motor Co Ltd 車両周辺表示装置とその表示方法
JP2006292475A (ja) 2005-04-07 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007022471A (ja) * 2005-07-21 2007-02-01 Alpine Electronics Inc 周辺他車通知装置
JP2008058234A (ja) * 2006-09-01 2008-03-13 Toyota Motor Corp 車両用障害物検知装置
JP2009040107A (ja) 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2009104330A (ja) * 2007-10-22 2009-05-14 Fujitsu Ten Ltd 死角車両検出システム、路側装置、車載装置および死角車両検出方法
JP2009117978A (ja) * 2007-11-02 2009-05-28 Denso Corp 車両周辺表示装置
JP2009226978A (ja) 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369041B2 (en) 2004-04-27 2008-05-06 Matsushita Electric Industrial Co., Ltd. Vehicle surrounding display device
JP4656408B2 (ja) * 2005-08-05 2011-03-23 株式会社デンソー 車両用周囲監視装置
JP5347257B2 (ja) 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
US8054201B2 (en) 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
US8825100B2 (en) * 2008-08-11 2014-09-02 Blackberry Limited Method and system for providing a power boost for a wireless communication link using a subset of subcarrier frequencies of the wireless communication link channel as a reduced bandwidth channel
JP4434296B1 (ja) * 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
AU2009243439A1 (en) * 2009-11-30 2011-06-16 Canon Kabushiki Kaisha Robust image alignment for distributed multi-view imaging systems

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP2004117071A (ja) * 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2006021641A (ja) * 2004-07-08 2006-01-26 Nissan Motor Co Ltd 車両周辺表示装置とその表示方法
JP2006292475A (ja) 2005-04-07 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007022471A (ja) * 2005-07-21 2007-02-01 Alpine Electronics Inc 周辺他車通知装置
JP2008058234A (ja) * 2006-09-01 2008-03-13 Toyota Motor Corp 車両用障害物検知装置
JP2009040107A (ja) 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2009104330A (ja) * 2007-10-22 2009-05-14 Fujitsu Ten Ltd 死角車両検出システム、路側装置、車載装置および死角車両検出方法
JP2009117978A (ja) * 2007-11-02 2009-05-28 Denso Corp 車両周辺表示装置
JP2009226978A (ja) 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2541525A4

Also Published As

Publication number Publication date
CN102652327A (zh) 2012-08-29
JP5505702B2 (ja) 2014-05-28
JP2011175485A (ja) 2011-09-08
EP2541525A1 (en) 2013-01-02
EP2541525B1 (en) 2022-05-11
CN102652327B (zh) 2015-03-11
EP2541525A4 (en) 2017-03-15
US20120300077A1 (en) 2012-11-29
US9073483B2 (en) 2015-07-07

Similar Documents

Publication Publication Date Title
JP5505702B2 (ja) 車両周辺監視装置
JP3894322B2 (ja) 車両用視界モニタシステム
JP4846426B2 (ja) 車両周囲監視装置
JP3263699B2 (ja) 走行環境監視装置
EP1835439A1 (en) Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
JP5177515B2 (ja) 周辺認知支援システム
JP6307895B2 (ja) 車両用周辺監視装置
JP6379779B2 (ja) 車両用表示装置
US20140118551A1 (en) Vehicle surrounding-area monitoring apparatus
CN109643495B (zh) 周边监视装置及周边监视方法
KR20150051735A (ko) 주차 보조 시스템 및 그 방법
JP6375816B2 (ja) 車両用周辺情報表示システム及び表示装置
WO2016092967A1 (ja) 画像生成装置及び画像生成方法
EP2487666B1 (en) Method and driver assistance system for displaying images in a motor vehicle
KR101629577B1 (ko) 카메라를 이용한 모니터링 방법 및 장치
JP5374549B2 (ja) 車両周辺監視装置
JP2012022646A (ja) 視線方向検出装置、視線方向検出方法及び安全運転評価システム
JP5192007B2 (ja) 車両の周辺監視装置
JP5477394B2 (ja) 車両周辺監視装置
JP2013134597A (ja) 障害物警報装置
JP2013062657A (ja) 画像表示システム、画像表示装置、画像表示方法、及び画像表示プログラム
JP4973347B2 (ja) 運転支援画像表示システム及び車載装置
JP2011215887A (ja) 車外撮影画像表示システム
JP2008263325A (ja) 車外撮影カメラ画像表示装置
JP2016038866A (ja) 認知補助装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080055520.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10846647

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010846647

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13519188

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE