WO2013065120A1 - 障害物警報装置 - Google Patents

障害物警報装置 Download PDF

Info

Publication number
WO2013065120A1
WO2013065120A1 PCT/JP2011/075125 JP2011075125W WO2013065120A1 WO 2013065120 A1 WO2013065120 A1 WO 2013065120A1 JP 2011075125 W JP2011075125 W JP 2011075125W WO 2013065120 A1 WO2013065120 A1 WO 2013065120A1
Authority
WO
WIPO (PCT)
Prior art keywords
captured image
image
vehicle
index
displayed
Prior art date
Application number
PCT/JP2011/075125
Other languages
English (en)
French (fr)
Inventor
丸岡哲也
角屋明
池田圭吾
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to PCT/JP2011/075125 priority Critical patent/WO2013065120A1/ja
Priority to CN201280042223.3A priority patent/CN103765489B/zh
Priority to EP12845726.4A priority patent/EP2775468B1/en
Priority to JP2013541647A priority patent/JP5704417B2/ja
Priority to PCT/JP2012/060397 priority patent/WO2013065341A1/ja
Priority to US13/483,828 priority patent/US9393908B2/en
Publication of WO2013065120A1 publication Critical patent/WO2013065120A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to an obstacle alarm device that clearly indicates to an occupant the presence of an obstacle approaching a vehicle.
  • Patent Documents 1 and 2 There are blind spots around the vehicle that cannot be seen from the driver's position, and the driver needs to pay close attention to the surrounding of the vehicle when driving the vehicle. In particular, when the vehicle is moved backward and parked, there are many users who are not good at parking itself, and there is not a lot of mental fatigue. Thus, conventionally, techniques for monitoring obstacles around the vehicle have been used (for example, Patent Documents 1 and 2).
  • the vehicle obstacle alarm device described in Patent Document 1 includes a lateral movement obstacle detection means, a lateral movement direction detection means, and a lateral movement information provision means.
  • the laterally moving obstacle detection means detects an obstacle that moves in the direction crossing the traveling direction in front of the vehicle.
  • the lateral movement direction detection means detects the lateral movement direction of the obstacle detected by the lateral movement obstacle detection means.
  • the lateral movement information providing means provides the driver with information regarding the lateral movement direction of the obstacle detected by the lateral movement direction detecting means. At this time, the lateral movement information providing means displays an arrow indicating the lateral movement direction detected by the lateral movement direction detecting means on the display unit.
  • the vehicle periphery monitoring device described in Patent Document 2 includes an imaging unit, an obstacle detection unit, and a display unit.
  • the imaging means images the surroundings of the vehicle including a part of the host vehicle.
  • the obstacle detection means detects an obstacle located around the vehicle and calculates a distance between the detected obstacle and the host vehicle.
  • the display unit displays the captured image captured by the imaging unit and the obstacle display image indicating the distance calculated by the obstacle detection unit on one screen.
  • Obstacles around the vehicle are detected by detecting obstacles around the vehicle as in the techniques described in Patent Literature 1 and Patent Literature 2 and displaying information (arrows, etc.) clearly indicating the obstacles on the screen. Can be notified.
  • the screen size of the display (display means) mounted on the vehicle is not large. For this reason, if an arrow or the like is displayed on the image showing the situation around the vehicle displayed on the display, the situation around the vehicle may become difficult to see or an obstacle may not be grasped.
  • an object of the present invention is to provide an obstacle alarm device that can clearly indicate to the driver the presence of an obstacle approaching the vehicle without making it difficult to see the situation around the vehicle. is there.
  • the characteristic configuration of the obstacle alarm device is as follows: A captured image acquisition unit that acquires a captured image of a scene around the vehicle; An attention-captured image generation unit that generates an attention-captured image based on the captured image; An object presence determination unit that determines whether or not an object exists in an outer region outside the target captured image; A moving direction determination unit that determines the moving direction of the object in the outer region; A frame index that has an outer shape smaller than the contour of the target captured image and is turned on for a certain period of time when the movement direction determination unit determines that the object in the outer region moves to the center side of the target captured image. And an explicit image output unit that repeatedly displays the image at a different position sequentially from the outer edge of the target captured image toward the center side, It is in the point equipped with.
  • the frame indexes to be displayed later may be configured to be smaller in size than the frame indexes displayed immediately before.
  • the frame index can be displayed so as to approach the center of the screen. Accordingly, the driver can easily recognize the approach of the obstacle.
  • the frame index to be displayed later may be configured to have lower transparency than the frame index displayed immediately before.
  • the frame index can be displayed so as to approach the center of the screen. Accordingly, the driver can easily recognize the approach of the obstacle. In addition, since the scene displayed at the end of the screen is not hidden, it is possible to properly grasp the obstacle even when the obstacle suddenly pops out.
  • the explicit image output unit is configured to stop the output of the frame index when the object enters an area corresponding to the target captured image.
  • the obstacle alarm device 100 has a function of clearly indicating that an object is approaching the driver of the vehicle when there is an object approaching the vehicle. Hereinafter, it demonstrates using drawing.
  • FIG. 1 is a block diagram schematically showing the configuration of the obstacle alarm device 100.
  • the obstacle alarm device 100 includes a captured image acquisition unit 11, a focused captured image generation unit 12, an outer region generation unit 13, an object presence determination unit 14, a movement direction determination unit 15, and an explicit image output unit.
  • an explicit image storage unit 17 a composite image generation unit 18, a mask region setting unit 19, a mask region emphasis display unit 20, a motion image output unit 30, and a motion image storage unit 31.
  • Each functional unit includes the above-described functional units for performing various processes for clearly indicating the approach of the object 7 to the driver of the vehicle 1 by using a CPU as a core member.
  • the photographed image acquisition unit 11 acquires a photographed image G obtained by photographing a scene around the vehicle 1.
  • the vehicle 1 is provided with a camera 5.
  • the camera 5 in the present embodiment includes a digital camera that incorporates an image sensor such as a charge coupled device (CCD) or a CMOS image sensor (CIS) and outputs captured information as moving image information.
  • CCD charge coupled device
  • CIS CMOS image sensor
  • FIG. 2 (a) such a camera 5 is provided near the license plate provided at the outer rear portion of the vehicle 1, or near the emblem provided at the outer rear portion of the vehicle 1. It is arranged with a slight depression angle toward the rear.
  • the camera 5 includes a wide-angle lens (not shown). Thereby, the scene around the vehicle 1 can be photographed over the rear of the vehicle 1 over approximately 180 degrees. Such an imaging range is shown as “wide viewing angle” in FIG.
  • the camera 5 has a performance of outputting a moving image as a captured image G in real time. Such a captured image G is transmitted to the captured image
  • FIG. 2 (b) An example of such a photographed image G is shown in FIG.
  • the full width of FIG. 2 (b) corresponds to the wide viewing angle of FIG. 2 (a).
  • the object 7 on the left side as viewed from the rear of the vehicle 1 as shown in FIG. 2A is on the right side in the photographed image G as shown in FIG.
  • mirror image processing is performed. This is because when the scene behind the vehicle 1 is displayed on the monitor 50, it is easy for the driver of the vehicle 1 to intuitively understand whether the object 7 included in the captured image G is on the left side or the right side of the vehicle 1. It is to do.
  • the noticeable photographed image generation unit 12 generates a noticeable photographed image based on the photographed image G.
  • the shooting range of the shot image G is a wide viewing angle.
  • the noticeable photographed image generation unit 12 generates a narrow-field region N that is a central portion of the photographed image G as the noticeable photographed image.
  • the captured image G is transmitted from the captured image acquisition unit 11 described above.
  • the noticeable photographed image corresponds to the central portion in the horizontal direction of the photographed image G shown in FIG.
  • Such a narrow viewing area N is preferably an area of about 120 to 130 degrees behind the vehicle 1, such as the “narrow viewing angle” in FIG.
  • the narrow-field region N is close to the advanceable range when the vehicle 1 moves backward, it is referred to as a “focused captured image” because it is a region that should be particularly noted in the captured image G.
  • a noticeable photographed image corresponds to a display image displayed on the monitor 50 described later (see FIG. 2C).
  • the “focused captured image” is described as an image of a “narrow field of view”.
  • the outer area generation unit 13 generates an outer area O outside the target photographed image. That is, an outer region O outside the narrow field region N in the captured image G is generated. As described above, the narrow-field region N is generated by the noticeable captured image generation unit 12 at the central portion in the horizontal direction of the captured image G. The outer region generation unit 13 generates an outer region O as shown in FIG. 2B outside the narrow visual field region N in the lateral direction. The outer region O generated by the outer region generation unit 13 is transmitted to an object presence determination unit 14 described later.
  • the object presence determination unit 14 determines whether or not the object 7 exists in the outer region O.
  • the outer region O is transmitted from the outer region generator 13. Whether or not the object 7 exists can be determined using a known image recognition process such as pattern matching. Of course, it is possible to determine whether or not the object 7 exists in the outer region O by processing other than pattern matching.
  • the determination result of the object presence determination unit 14 is transmitted to a movement direction determination unit 15 described later.
  • the moving direction determination unit 15 determines the moving direction of the object 7 in the outer region O. Such determination of the moving direction is performed when the object presence determination unit 14 determines that the object 7 exists in the outer region O. In particular, in the present embodiment, the movement direction determination unit 15 determines whether or not the object 7 in the outer region O moves toward the narrow visual field region N. The movement toward the narrow visual field N indicates that the vehicle 1 moves from the outside in the width direction of the vehicle 1 to the direction just behind the vehicle 1 behind the vehicle 1. Such a determination can be performed by comparing the position of the object 7 in the current captured image G with the position of the object 7 in the captured image G a predetermined time ago, for example, or by using an optical flow. This can be done using techniques. Such a determination result of the moving direction is transmitted to the explicit image output unit 16 described later.
  • the explicit image output unit 16 is on the side of the outer region O where the object 7 exists in the target captured image.
  • the indicators S that are turned on for a certain time and then turned off are displayed sequentially at different positions from the center toward the center, and the display is repeated.
  • the attention-captured image corresponds to an image in the narrow visual field N. Therefore, when the object 7 in the outer region O moves to the narrow field region N side of the vehicle 1, the explicit image output unit 16 moves from the outer region O side where the object 7 exists in the narrow field region N to the center side.
  • the indicators S that are turned on after being turned on for a certain time are sequentially displayed at different positions, and the display is repeated. Whether or not the object 7 in the outer region O moves toward the narrow field region N of the vehicle 1 is determined by the moving direction determination unit 15 described above.
  • the side of the outside field O where the object 7 exists in the narrow field area N corresponds to the left side area in the narrow field area N when the object 7 is in the left side area O.
  • the right region in the narrow field region N corresponds.
  • the index S that is turned on after being turned on for a certain period of time indicates not the state in which the index S is continuously displayed but the state in which the index S is blinking.
  • the index S moves while blinking between two predetermined positions on the screen.
  • the explicit image output unit 16 repeatedly performs such movement of the index S while blinking.
  • the index S will be described.
  • the index S according to the present embodiment is configured in an arrow shape having a convex portion protruding toward the center side of the noticeable photographed image (narrow visual field region N).
  • Such an index S is stored in the explicit image storage unit 17 as shown in FIG.
  • FIG. 2C shows a captured image G as shown in FIG. 2B, that is, an image displayed on the monitor 50 of the vehicle 1 when the object 7 is in the right outer region O.
  • a plurality of indices S may be displayed on the monitor 50 in this embodiment. In such a case, the plurality of indices S are displayed at positions where they partially overlap.
  • “partially overlapping” means that one of the plurality of indicators S is on the side of one of the arrow-shaped convex portions and the other portion of the plurality of indicators S is not on the other arrow-shaped convex portion. Means overlapping. Further, when there are a plurality of indexes S, an overlapping portion between the index S to be displayed later and the index S displayed immediately before is overwritten with the index S to be displayed later. That is, the index S displayed later is arranged in the upper layer than the index S displayed immediately before. In the present embodiment, the index S displayed immediately before is displayed with higher transparency than the index S displayed later. That is, the index S displayed later is displayed with lower transparency than the index S displayed immediately before. Therefore, when a plurality of indices S are displayed, the uppermost index S has the lowest transparency, and the lowermost index S has the highest transparency.
  • the index S is configured so that the index S displayed later is larger than the index S displayed immediately before. Therefore, when a plurality of indices S are displayed, the index S in the uppermost layer has the largest size and the index S in the lowermost layer has the smallest size.
  • Each index S may have a size similar to each other and may be set in size, or may be set in size by changing either the vertical or horizontal length of the index S. .
  • the explicit image output unit 16 repeatedly performs such display.
  • the index S is combined with the captured image of interest which is the narrow visual field N and displayed on the monitor 50. Therefore, the composite image generation unit 18 generates a composite image in which the index S is combined with the target captured image. As a result, an image as shown in FIG. 2C is generated.
  • the index S By displaying the index S in this way, it is possible to display the index S so that it gradually increases. As a result, it is possible to visually indicate to the passenger of the vehicle 1 that the object 7 is approaching the vehicle 1.
  • the explicit image output unit 16 has an outer shape smaller than the contour of the target captured image and is constant.
  • the frame index W that is turned on after the time is turned on is displayed sequentially at different positions from the outer edge portion of the target photographed image toward the center side, and the display is repeated.
  • the noticeable captured image corresponds to the narrow visual field region N. Therefore, when the object 7 in the outer region O moves toward the narrow field region N, the explicit image output unit 16 has a frame shape that is smaller than the contour of the narrow field region N and lights up for a certain period of time, and then turns off.
  • the frame index W having an outer shape smaller than the outline of the narrow visual field region N means that the frame index W is smaller than the screen size of the monitor 50.
  • the frame index W that is turned on after being turned on for a certain period of time indicates not the state in which the frame index W is continuously displayed but the state in which the frame index W is displayed blinking.
  • a frame index W is displayed and then turned off, and when it is displayed next, it is displayed at a different central position. Therefore, the frame index W is displayed so as to become gradually smaller.
  • the explicit image output unit 16 repeatedly performs such movement of the frame index W while blinking.
  • the frame index W will be described.
  • the frame index W according to the present embodiment is configured with an outer shape smaller than the contour of the noticeable photographed image (narrow field of view region N).
  • a plurality of frame indexes W may be displayed on the monitor 50.
  • the frame index W is configured so that the frame index W displayed later is smaller in size than the frame index W displayed immediately before.
  • the frame index W is configured so that the frame index W displayed later has lower transparency than the frame index W displayed immediately before.
  • Such a frame index W is stored in the explicit image storage unit 17 as shown in FIG.
  • the explicit image output unit 16 repeatedly performs such display.
  • the frame index W is combined with the target captured image that is the narrow visual field N and displayed on the monitor 50. Therefore, the composite image generation unit 18 generates a composite image in which the frame index W is combined with the target captured image. As a result, an image as shown in FIG. 2C is generated.
  • the mask area setting unit 19 sets a mask area M in which at least a part of a scene around the vehicle 1 is not displayed in the target photographed image.
  • the mask area M is set at the upper part of the screen, that is, the upper part in the target captured image. This mask area M is formed across both sides of the target image.
  • the mask area M is colored, for example, in black so that the scene above the vehicle 1 cannot be seen. Of course, other colors may be used.
  • the motion image output unit 30 absorbs the explicit index from the side of the mask region M where the object 7 exists. Output images. Whether or not the object 7 in the outer region O has entered the narrow field region N is determined by the movement direction determination unit 15.
  • the explicit index corresponds to the index S displayed on the monitor 50 when the object 7 enters the narrow field area N.
  • the side where the object 7 exists in the mask area M is the right side of the mask area M when the object 7 exists in the right outer area O, and the object 7 exists in the left outer area O. If it is, it is the left side of the mask area M.
  • the absorbed image is an image in which the index S is absorbed in the mask area M and disappears. Such an image is stored in the motion image storage unit 31 in advance.
  • the object 7 when the object 7 enters the narrow visual field N, the object 7 is displayed at the end of the noticeable captured image. For this reason, when the object 7 enters the narrow field region N, the index S is absorbed by the mask region M so that the object 7 displayed at the end of the narrow field region N is displayed without being hidden by the explicit index. It becomes possible. Therefore, it is possible to appropriately indicate the presence of the object 7 to the driver of the vehicle 1.
  • the action image output unit 30 is configured to change the display color of the mask area M from the position where the explicit index is absorbed in accordance with the absorption of the explicit index to the mask area M. That is, when the explicit index is absorbed from the right side of the mask area M, an image that colors the mask area M from the right side to the left side is output, and when the explicit index enters from the left side of the mask area M. Outputs an image that colors the mask region M from the left to the right. By coloring the mask area M in this way, it is possible to clearly indicate to the driver of the vehicle 1 the side on which the object 7 has entered.
  • FIG. 3 and FIG. 4 show an example of a series of images in which such an explicit index enters the mask area M and the mask area M is colored.
  • FIG. 3 shows an example in which the index S and the frame index W are displayed superimposed on the narrow field region N when the object 7 in the outer region O moves to the narrow field region N side. .
  • FIG. 4A when the object 7 enters the narrow visual field N from the right outer region O, the superimposition of the frame index W is finished.
  • FIGS. 4B to 4E the mask S enters the mask region M so that the index S is sucked from the right side of the mask region M.
  • the mask area M is sequentially colored from the right side, and finally, the entire area of the mask area M is colored (FIG. 4F).
  • the mask region highlighting display unit 20 highlights the mask region M when the object 7 in the outer region O enters the region corresponding to the target captured image, that is, the narrow field region N.
  • the emphasis display is a blinking display. Whether or not the object 7 in the outer region O has entered the narrow field region N is determined by the movement direction determination unit 15.
  • the mask area highlighting display unit 20 blinks the mask area M in accordance with the determination result of the movement direction determination unit 15. Thereby, it is possible to visually indicate to the driver of the vehicle 1 that the object 7 exists in the narrow visual field region N.
  • the mask area highlighting display unit 20 stops highlighting of the mask area M when the object 7 leaves the area corresponding to the target photographed image, that is, the narrow field area N. Whether or not the object 7 has left the narrow field area N can be determined by the moving direction determination unit 15. That is, if there is an object 7 that enters the outer region O from the narrow field region N side of the outer region O, the moving direction determination unit 15 can determine that the object 7 has left the narrow field region N. Such a determination result is also transmitted to the mask region emphasis display unit 20.
  • the highlighted display is a blinking display. Therefore, the mask area highlighting display unit 20 stops blinking of the mask area M when such a determination result is transmitted. Thereby, it is possible to visually indicate to the driver of the vehicle 1 that the object 7 is not present in the narrow visual field region N.
  • the captured image acquisition unit 11 acquires a captured image G captured by the camera 5 of the vehicle 1 (step # 1).
  • the noticeable photographed image generation unit 12 generates the central portion of the acquired photographed image G as the noticeable photographed image (step # 2).
  • the outer area generation unit 13 generates both lateral portions of the acquired captured image G as the outer area O (step # 3). Whether or not the object 7 is present in the outer region O generated in this way is determined by the object presence determination unit 14 (step # 4).
  • the movement direction determination unit 15 determines the movement direction of the object 7 (step # 5).
  • an explicit image is output by the explicit image output unit 16 (step # 6). This explicit image is output with reference to the explicit image stored in the explicit image storage unit 17.
  • the composite image generation unit 18 generates a composite image by superimposing the explicit image output in step # 6 on the noticeable captured image generated in step # 2 (step # 7).
  • the generated composite image is displayed on the monitor 50 (step # 8).
  • the object 7 approaching the vehicle 1 has entered the imaging range even if the object 7 is not shown in the screen of the monitor 50 provided in the vehicle 1.
  • the presence and direction of the object 7 approaching the vehicle 1 can be clearly shown to the driver while displaying the situation around the vehicle 1. Therefore, even when the screen size of the monitor 50 is small, the object 7 approaching the vehicle 1 is not missed.
  • a frame index W is displayed at the side edge of the screen, it is not difficult for the driver to see the situation around the vehicle 1. Therefore, the presence of an obstacle (object 7) approaching the vehicle 1 can be clearly shown to the driver without making it difficult to see the situation around the vehicle 1.
  • the explicit image output unit 16 has been described as being displayed so as to gradually increase when the blinking indicator S moves.
  • the scope of application of the present invention is not limited to this. It is naturally possible to display the index S in the same size. Of course, it is naturally possible to display the index S so that it gradually decreases. Even with such a configuration, the object 7 that appropriately approaches the vehicle 1 can be clearly shown to the driver of the vehicle 1.
  • the index S displayed immediately before is described as being higher than the transparency of the index S displayed later.
  • the scope of application of the present invention is not limited to this.
  • the index S displayed immediately before can be displayed lower than the transparency of the index S displayed later, and the index S displayed immediately before is the same as the transparency of the index S displayed later.
  • the scope of application of the present invention is not limited to this. Even when a plurality of indices S are displayed, it is possible to configure the indices S so as not to overlap each other.
  • the index S is described as being configured in the shape of an arrow having a convex portion protruding toward the center of the narrow field region N.
  • the scope of application of the present invention is not limited to this.
  • the index S can be formed in other shapes.
  • the motion image output unit 30 when the object 7 in the outer region O enters the region (narrow field region N) corresponding to the target captured image, the motion image output unit 30 has the object 7 in the mask region M as the explicit index. It has been described that an image absorbed from the side to be output is output. However, the scope of application of the present invention is not limited to this.
  • the explicit image output unit 16 can be configured to stop the output of the index S when the object 7 enters the region (narrow field region N) corresponding to the target captured image. It is. Of course, in such a case, the output of the frame index W can also be stopped. Whether or not the object 7 has entered the narrow field area N is determined by the moving direction determination unit 15 described above.
  • the object 7 When the object 7 enters the narrow field area N, the object 7 is displayed at the end of the noticeable captured image. For this reason, even when the output of the explicit image is stopped in this way, the driver of the vehicle 1 can visually recognize the object 7 displayed at the end of the noticeable captured image without being hidden by the explicit image.
  • indices S and frame indices W may be displayed on the screen.
  • the index S and the frame index W may be displayed on the screen one by one, or only the index S may be displayed.
  • the determination as to whether or not the object 7 exists can be performed using a known image recognition process such as pattern matching.
  • the scope of application of the present invention is not limited to this. For example, it is naturally possible to detect with sonar.
  • the attention-captured image generation unit 12 has been described as generating the narrow-field region N that is the central portion of the captured image G as the attention-captured image.
  • the scope of application of the present invention is not limited to this.
  • the captured image G is acquired by the camera 5 having a narrow viewing angle corresponding to the narrow viewing area N, it is naturally possible to use the captured image G as it is as the focused captured image. In such a case, it is preferable to determine whether or not the object 7 is present in the outer region O as described above, for example, using sonar.
  • the present invention can be used for an obstacle alarm device that clearly shows the presence of an obstacle approaching a vehicle to an occupant.
  • SYMBOLS 1 Vehicle 7: Object 11: Captured image acquisition unit 12: Focused captured image generation unit 14: Object presence determination unit 15: Movement direction determination unit 16: Explicit image output unit 100: Obstacle alarm device G: Captured image O: Outside Area W: Frame index

Abstract

　車両の周囲の状況を見難くすることなく、車両に接近する障害物の存在を運転者に明示する障害物警報装置は、車両の周囲の情景を撮影した撮影画像を取得する撮影画像取得部と、撮影画像に基づいて注目撮影画像を生成する注目撮影画像生成部と、注目撮影画像の外側の外側領域に物体が存在するか否かを判定する物体存在判定部と、外側領域の物体の移動方向を判定する移動方向判定部と、当該移動方向判定部により外側領域の物体が注目撮影画像の中央側に移動すると判定された場合に、注目撮影画像の輪郭よりも小さい外形を有し一定時間点灯したのち消灯する枠指標を、注目撮影画像の外縁部から中央側に向けて順次異なる位置に表示させると共に、当該表示を繰り返し行なう明示画像出力部と、を備える。

Description

障害物警報装置
　本発明は、車両に接近する障害物の存在を乗員に明示する障害物警報装置に関する。
　車両の周囲には運転者の位置から視認できない死角があり、運転者は車両の運転にあたり当該車両の周囲に細心の注意を払う必要がある。特に、車両を後退して駐車させる場合には、駐車自体に苦手意識を持っているユーザも多く、精神的疲労も少なくない。そこで、従来、車両の周囲の障害物を監視する技術が利用されてきた（例えば特許文献１及び２）。
　特許文献１に記載の車両の障害物警報装置は、横移動障害物検出手段と、横移動方向検出手段と、横移動情報提供手段とを備えて構成される。横移動障害物検出手段は車両前方において進行方向を横切る方向に移動する障害物を検出する。横移動方向検出手段は横移動障害物検出手段により検出された障害物の横移動方向を検出する。横移動情報提供手段は横移動方向検出手段により検出された障害物の横移動方向に関する情報をドライバーに提供する。この際、横移動情報提供手段は表示部に横移動方向検出手段により検出された横移動方向を表わす矢印をディスプレイに表示する。
　特許文献２に記載の車両周囲監視装置は、撮像手段と、障害物検出手段と、表示手段とを備えて構成される。撮像手段は自車両の一部を含む車両周囲を撮像する。障害物検出手段は車両周囲に位置する障害物を検出し、検出した障害物と自車両との距離を算出する。表示手段は撮像手段によって撮像された撮像画像と障害物検出手段によって算出された距離を示す障害物表示画像とを１つの画面に表示する。
特開平１１－１１５６６０号公報 特開２００９－２１７７４０号公報
　特許文献１や特許文献２に記載の技術のように車両の周囲の障害物を検出し、当該障害物を明示する情報（矢印等）を画面表示することで運転者に車両の周囲の障害物の存在を報知することが可能である。しかしながら、車両に搭載されるディスプレイ（表示手段）の画面サイズは大きいものではない。このため、ディスプレイに表示される車両の周囲の状況を示す画像上に矢印等を表示すると、車両の周囲の状況が見難くなったり障害物を把握できなくなったりする可能性がある。
　本発明の目的は、上記問題に鑑み、車両の周囲の状況を見難くすることなく、車両に接近する障害物の存在を運転者に明示することが可能な障害物警報装置を提供することにある。
　上記目的を達成するための本発明に係る障害物警報装置の特徴構成は、
　車両の周囲の情景を撮影した撮影画像を取得する撮影画像取得部と、
　前記撮影画像に基づいて注目撮影画像を生成する注目撮影画像生成部と、
　前記注目撮影画像の外側の外側領域に物体が存在するか否かを判定する物体存在判定部と、
　前記外側領域の物体の移動方向を判定する移動方向判定部と、
　前記移動方向判定部により前記外側領域の物体が前記注目撮影画像の中央側に移動すると判定された場合に、前記注目撮影画像の輪郭よりも小さい外形を有し一定時間点灯したのち消灯する枠指標を、前記注目撮影画像の外縁部から中央側に向けて順次異なる位置に表示させると共に、当該表示を繰り返し行なう明示画像出力部と、
を備えている点にある。
　このような特徴構成とすれば、車両に備えられる表示装置（例えばモニタ）の画面内に物体が映っていなくても、車両に接近する物体が撮影範囲内に入った時点で、車両の周囲の状況を表示しつつ、運転者に車両に接近する物体の存在及び方向を明示することができる。したがって、表示装置の画面サイズが小さい場合でも、車両に接近する物体を見逃すことがなくなる。また、このような枠指標は画面の側端部に表示されるので、運転者が車両の周囲の状況が見難くなることがない。したがって、車両の周囲の状況を見難くすることなく、車両に接近する障害物（物体）の存在を運転者に明示することが可能となる。
　また、前記枠指標が複数ある場合に、後に表示する枠指標が、直前に表示した枠指標よりもサイズを小さく構成しても良い。
　このような構成とすれば、枠指標が、画面の中央に迫ってくるように表示することができる。したがって、運転者が障害物の接近を認識し易くなる。
　また、前記枠指標が複数ある場合に、後に表示する枠指標が、直前に表示した枠指標よりも透明度を低く構成しても良い。
　このような構成とすれば、枠指標が、画面の中央に迫ってくるように表示することができる。したがって、運転者が障害物の接近を認識し易くなる。また、画面の端部に表示される情景を隠すことがないので、急に障害物が飛び出してきた場合でも、適切に障害物を把握することが可能となる。
　また、前記明示画像出力部は、前記物体が前記注目撮影画像に対応する領域に進入した場合に前記枠指標の出力を中止するよう構成してあると好適である。
　このような構成とすれば、物体が表示装置の画面（表示画像）内に映った時点で枠指標の表示を中止できるので、物体が枠指標に隠れることがない。したがって、車両に接近した物体を適切に視認することができる。
障害物警報装置の構成を模式的に示したブロック図である。 障害物警報装置の処理の一例を示した図である。 合成画像の一例を示した図である。 合成画像の一例を示した図である。 障害物警報装置の処理を模式的に示した図である。 その他の実施形態に係る合成画像を示した図である。
　以下、本発明の実施の形態について、詳細に説明する。本発明に係る障害物警報装置１００は、車両に接近する物体がある場合に当該車両の運転者に物体が接近していることを明示する機能を備えている。以下、図面を用いて説明する。
　図１は、障害物警報装置１００の構成を模式的に示したブロック図である。図１に示されるように、障害物警報装置１００は、撮影画像取得部１１、注目撮影画像生成部１２、外側領域生成部１３、物体存在判定部１４、移動方向判定部１５、明示画像出力部１６、明示画像格納部１７、合成画像生成部１８、マスク領域設定部１９、マスク領域強調表示部２０、動作画像出力部３０、動作画像格納部３１の各機能部を備えて構成される。各機能部はＣＰＵを中核部材として車両１の運転者に物体７の接近を明示する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
　撮影画像取得部１１は、車両１の周囲の情景を撮影した撮影画像Ｇを取得する。ここで、車両１にはカメラ５が備えられる。本実施形態におけるカメラ５は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵するとともに、撮影した情報を動画情報として出力するデジタルカメラにより構成される。このようなカメラ５は、図２（ａ）に示されるように、車両１の外側後部に備えられるライセンスププレートの近傍、或いは車両１の外側後部に備えられるエンブレムの近傍等に、車両１の後方に向けてやや俯角を有して配設される。また、カメラ５は広角レンズ（図示せず）を備えて構成される。これにより、車両１の後方を略１８０度に亘って、車両１の周囲の情景を撮影することができる。このような撮影範囲は、図２（ａ）の「広視野角」として示される。このカメラ５は、リアルタイムで動画を撮影画像Ｇとして出力する性能を有する。このような撮影画像Ｇは、撮影画像取得部１１に伝達される。
　このような撮影画像Ｇの一例が図２（ｂ）に示される。図２（ｂ）の全幅は、図２（ａ）の広視野角に対応する。ここで、撮影画像Ｇは、図２（ａ）に示されるような車両１から後方を見て左側にいる物体７が、図２（ｂ）に示されるように撮影画像Ｇ内の右側にいるように鏡像処理が行われる。これは、モニタ５０に車両１の後方の情景を表示する際、車両１の運転者が撮影画像Ｇに含まれる物体７が車両１の左側にいるのか右側にいるのかを感覚的に理解し易くするためである。
　図１に戻り、注目撮影画像生成部１２は、撮影画像Ｇに基づいて注目撮影画像を生成する。本実施形態では、撮影画像Ｇの撮影範囲は広視野角である。このため、注目撮影画像生成部１２は、撮影画像Ｇの中央部分である狭視野領域Ｎを注目撮影画像として生成する。撮影画像Ｇは上述の撮影画像取得部１１から伝達される。本実施形態では、注目撮影画像は、図２（ｂ）に示される撮影画像Ｇの横方向の中央部分が相当する。このような狭視野領域Ｎは、図１（ａ）の「狭視野角」のような例えば車両１の後方１２０～１３０度程度の領域とすると好適である。また、狭視野領域Ｎは車両１が後退する際の進行可能範囲に近いので、撮影画像Ｇのうち特に注目すべき領域であることから「注目撮影画像」と称される。このような注目撮影画像は、後述するモニタ５０に表示される表示画像に対応する（図２（ｃ）参照）。なお、本実施形態では、「注目撮影画像」は「狭視野領域」の画像であるとして説明する。
　外側領域生成部１３は、注目撮影画像の外側の外側領域Ｏを生成する。すなわち、撮影画像Ｇのうち狭視野領域Ｎの外側の外側領域Ｏを生成する。上述のように、撮影画像Ｇの横方向の中央部分に注目撮影画像生成部１２により狭視野領域Ｎが生成される。外側領域生成部１３はこのような狭視野領域Ｎの横方向の外側に、図２（ｂ）のような外側領域Ｏを生成する。外側領域生成部１３により生成された外側領域Ｏは、後述する物体存在判定部１４に伝達される。
　物体存在判定部１４は、外側領域Ｏに物体７が存在するか否かを判定する。外側領域Ｏは、外側領域生成部１３から伝達される。物体７が存在するか否かの判定は、例えばパターンマッチング等の公知の画像認識処理を用いて行うことが可能である。もちろん、パターンマッチング以外の処理により、外側領域Ｏに物体７が存在するか否かを判定することは可能である。物体存在判定部１４の判定結果は、後述する移動方向判定部１５に伝達される。
　移動方向判定部１５は、外側領域Ｏの物体７の移動方向を判定する。このような移動方向の判定は、物体存在判定部１４により、外側領域Ｏに物体７が存在すると判定された場合に行われる。特に本実施形態では、移動方向判定部１５により、外側領域Ｏの物体７が狭視野領域Ｎの側に移動するか否かが判定される。狭視野領域Ｎの側に移動するとは、車両１の後方において、車両１の幅方向外側から、車両１の真後ろの方向に移動することを示す。このような判定は、例えば現在の撮影画像Ｇにおける物体７の位置と所定時間前の撮影画像Ｇにおける物体７の位置とを比較して行うことも可能であるし、オプティカルフローを用いるなど公知の手法を用いて行うことができる。このような移動方向の判定結果は、後述する明示画像出力部１６に伝達される。
　明示画像出力部１６は、移動方向判定部１５により外側領域Ｏの物体７が注目撮影画像の中央側に移動すると判定された場合に、注目撮影画像のうち物体７が存在する外側領域Ｏの側から中央側に向けて、一定時間点灯したのち消灯する指標Ｓを順次異なる位置に表示させると共に、当該表示を繰り返し行う。ここで、本実施形態では、注目撮影画像は、狭視野領域Ｎの画像に相当する。したがって、明示画像出力部１６は、外側領域Ｏの物体７が車両１の狭視野領域Ｎの側に移動する場合に、狭視野領域Ｎのうち物体７が存在する外側領域Ｏの側から中央側に向けて、一定時間点灯したのち消灯する指標Ｓを順次異なる位置に表示させると共に、当該表示を繰り返し行う。外側領域Ｏの物体７が車両１の狭視野領域Ｎの側に移動するか否かは、上述の移動方向判定部１５により判定される。狭視野領域Ｎのうち物体７が存在する外側領域Ｏの側とは、物体７が左側の外側領域Ｏにいる場合には狭視野領域Ｎ内の左側の領域が相当する。一方、物体７が右側の外側領域Ｏにいる場合には狭視野領域Ｎ内の右側の領域が相当する。
　一定時間点灯したのち消灯する指標Ｓとは、指標Ｓが連続して表示されている状態ではなく、指標Ｓが点滅して表示されている状態を示す。本実施形態では、このような指標Ｓが表示されてから消灯し、更に次に表示される場合には、異なる位置に表示される。したがって、指標Ｓは、画面上の所定の２つの位置の間を点滅しながら移動している状態になる。明示画像出力部１６は、このような指標Ｓの点滅しながらの移動を繰り返し行う。
　ここで、指標Ｓについて説明する。本実施形態に係る指標Ｓは、注目撮影画像（狭視野領域Ｎ）の中央側に突出する凸部を有する矢印形状に構成されている。このような指標Ｓは、図２（ｄ）に示されるように明示画像格納部１７に格納されている。図２（ｃ）には、図２（ｂ）に示されるような撮影画像Ｇ、すなわち右側の外側領域Ｏに物体７がいる場合に車両１のモニタ５０に表示される画像が示される。図２（ｃ）に示されるように、本実施形態ではモニタ５０に複数の指標Ｓが表示されることがある。係る場合、複数の指標Ｓどうしが一部重畳する位置に表示される。一部重複するとは、本実施形態では、複数の指標Ｓのうちの一方の矢印形状の凸部の側の部分と、複数の指標Ｓのうちの他方の矢印形状の凸部でない側の部分とが重複することをいう。また、複数の指標Ｓがある場合には、後に表示する指標Ｓと直前に表示した指標Ｓとの重複部分については後に表示する指標Ｓを上書き表示するよう構成される。すなわち、直前に表示された指標Ｓよりも、後の表示される指標Ｓの方が上の層に配置されるように構成される。本実施形態では、このような直前に表示される指標Ｓは、後に表示される指標Ｓよりも透明度が高く表示される。すなわち、後に表示される指標Ｓが、直前に表示された指標Ｓよりも透明度が低く表示される。したがって、指標Ｓが複数表示されている場合には、最上層の指標Ｓが最も透明度が低く、最下層の指標Ｓが最も透明度が高くなる。
　また、指標Ｓは直前に表示された指標Ｓよりも、後に表示される指標Ｓの方が大きなサイズで構成される。したがって、指標Ｓが複数表示されている場合には、最上層の指標Ｓが最もサイズが大きく、最下層の指標Ｓが最もサイズが小さくなる。なお、夫々の指標Ｓは、互いに相似する形状でサイズの大小を設定しても良いし、指標Ｓの縦又は横の何れか一方の長さを変更してサイズの大小を設定しても良い。
　明示画像出力部１６は、このような表示を繰り返し行う。ここで、本実施形態では、図２（ｃ）に示されるように、指標Ｓは狭視野領域Ｎである注目撮影画像に合成してモニタ５０に表示される。そこで、合成画像生成部１８は、注目撮影画像に指標Ｓを合成した合成画像を生成する。これにより、図２（ｃ）に示されるような画像が生成される。
　このように指標Ｓを表示することにより、指標Ｓが次第に大きくなるように表示させることが可能となる。これにより、車両１の乗員に対して当該車両１に物体７が接近していることを視覚的に明示することができる。
　更に、明示画像出力部１６は、移動方向判定部１５により外側領域Ｏの物体７が注目撮影画像の中央側に移動すると判定された場合に、注目撮影画像の輪郭よりも小さい外形を有し一定時間点灯したのち消灯する枠指標Ｗを、注目撮影画像の外縁部から中央側に向けて順次異なる位置に表示させると共に、当該表示を繰り返し行なう。ここで、本実施形態では、注目撮影画像は、狭視野領域Ｎに相当する。したがって、明示画像出力部１６は、外側領域Ｏの物体７が狭視野領域Ｎの側に移動する場合に、狭視野領域Ｎの輪郭よりも小さい外形を有し一定時間点灯したのち消灯する枠指標Ｗを、狭視野領域Ｎの外縁部から中央側に向けて順次異なる位置に表示させると共に、当該表示を繰り返し行なう。ここで、上述のようにモニタ５０には狭視野領域Ｎである注目撮影画像が表示される。したがって、狭視野領域Ｎの輪郭よりも小さい外形を有する枠指標Ｗとは、枠指標Ｗがモニタ５０の画面サイズよりも小さいことを意味する。外側領域Ｏの物体７が車両１の狭視野領域Ｎの側に移動するか否かは、上述の移動方向判定部１５により判定される。
　一定時間点灯したのち消灯する枠指標Ｗとは、枠指標Ｗが連続して表示されている状態ではなく、枠指標Ｗが点滅して表示されている状態を示す。本実施形態では、このような枠指標Ｗが表示されてから消灯し、更に次に表示される場合には、異なる中央側の位置に表示される。したがって、枠指標Ｗは、次第に小さくなるように表示される。明示画像出力部１６は、このような枠指標Ｗの点滅しながらの移動を繰り返し行う。
　ここで、枠指標Ｗについて説明する。本実施形態に係る枠指標Ｗは、注目撮影画像（狭視野領域Ｎ）の輪郭よりも小さい外形で構成されている。図２（ｃ）に示されるように、本実施形態ではモニタ５０に複数の枠指標Ｗが表示されることがある。係る場合、枠指標Ｗは直前に表示された枠指標Ｗよりも、後の表示される枠指標Ｗの方が小さなサイズで構成される。また、枠指標Ｗは直前に表示された枠指標Ｗよりも、後に表示される枠指標Ｗの方が透明度が低く構成される。これにより、枠指標Ｗが画面中央側から飛び出してくるように表示することが可能となる。なお、このような枠指標Ｗは、図２（ｄ）に示されるように明示画像格納部１７に格納されている。
　明示画像出力部１６は、このような表示を繰り返し行う。ここで、本実施形態では、図２（ｄ）に示されるように、枠指標Ｗは狭視野領域Ｎである注目撮影画像に合成してモニタ５０に表示される。そこで、合成画像生成部１８は、注目撮影画像に枠指標Ｗを合成した合成画像を生成する。これにより、図２（ｃ）に示されるような画像が生成される。
　マスク領域設定部１９は、注目撮影画像のうち、車両１の周囲の情景の少なくとも一部を非表示にするマスク領域Ｍを設定する。本実施形態では、マスク領域Ｍは図２（ｃ）に示されるように、画面上部、すなわち、注目撮影画像内の上側部分に設定される。このマスク領域Ｍは、注目撮影画像の横方向両側に亘って形成される。マスク領域Ｍ内は、車両１の上方の情景が見えないように、例えば黒色で彩色される。もちろん、他の色で彩色しても良い。
　動作画像出力部３０は、外側領域Ｏの物体７が注目撮影画像に対応する領域、すなわち狭視野領域Ｎに進入した場合に、明示指標がマスク領域Ｍのうち物体７が存在する側から吸収される画像を出力する。外側領域Ｏの物体７が狭視野領域Ｎに進入したか否かは、移動方向判定部１５により判定される。明示指標とは、物体７が狭視野領域Ｎに進入した場合にモニタ５０に表示されている指標Ｓが相当する。マスク領域Ｍのうち物体７が存在する側とは、右側の外側領域Ｏに物体７が存在していた場合には、マスク領域Ｍの右側部であり、左側の外側領域Ｏに物体７が存在していた場合には、マスク領域Ｍの左側部である。吸収される画像とは、マスク領域Ｍに指標Ｓが吸収されて消滅していく画像である。このような画像は、動作画像格納部３１に予め格納されている。
　ここで、物体７が狭視野領域Ｎに進入した場合には、注目撮影画像の端部に物体７が表示される。このため、物体７が狭視野領域Ｎに進入した場合に、指標Ｓをマスク領域Ｍに吸収させることにより、狭視野領域Ｎの端部に表示される物体７を明示指標により隠すことなく表示することが可能となる。したがって、車両１の運転者に物体７の存在を適切に明示することが可能となる。
　また、動作画像出力部３０は、マスク領域Ｍへの明示指標の吸収に伴い、当該明示指標が吸収された位置からマスク領域Ｍの表示色を変更するよう構成されている。すなわち、明示指標がマスク領域Ｍの右側から吸収された場合には、マスク領域Ｍを右側から左側に向って彩色していく画像を出力し、明示指標がマスク領域Ｍの左側から進入した場合には、マスク領域Ｍを左側から右側に向って彩色していく画像を出力する。このようにマスク領域Ｍを彩色することにより、車両１の運転者に物体７が進入した側を明示することも可能となる。
　このような明示指標がマスク領域Ｍに進入すると共に、マスク領域Ｍが彩色されていく一連の画像の一例が、図３及び図４に示される。図３は、外側領域Ｏにいる物体７が狭視野領域Ｎの側に移動している場合に、狭視野領域Ｎに指標Ｓ及び枠指標Ｗが重畳して表示されている例を示している。図４（ａ）に示されるように、物体７が右側の外側領域Ｏから狭視野領域Ｎに進入すると、枠指標Ｗの重畳が終了する。また、図４（ｂ）－（ｅ）に示されるように、指標Ｓがマスク領域Ｍの右側から吸い込まれるようにマスク領域Ｍに進入する。これに合わせて、マスク領域Ｍが右側から順次彩色され、最終的にはマスク領域Ｍの全域が彩色される（図４（ｆ））。
　図１に戻り、マスク領域強調表示部２０は、外側領域Ｏの物体７が注目撮影画像に対応する領域、すなわち狭視野領域Ｎに進入した場合にマスク領域Ｍを強調表示させる。本実施形態では、強調表示とは、点滅表示である。外側領域Ｏの物体７が狭視野領域Ｎに進入したか否かは、移動方向判定部１５により判定される。マスク領域強調表示部２０は、移動方向判定部１５の判定結果に応じて、マスク領域Ｍを点滅させる。これにより、車両１の運転者に、狭視野領域Ｎに物体７が存在することを視覚的に明示することが可能となる。
　また、マスク領域強調表示部２０は、物体７が注目撮影画像に対応する領域、すなわち狭視野領域Ｎから退出した場合にマスク領域Ｍの強調表示を中止する。物体７が狭視野領域Ｎから退出したか否かも、移動方向判定部１５により判定することが可能である。すなわち、移動方向判定部１５は、外側領域Ｏの狭視野領域Ｎ側から外側領域Ｏに進入する物体７があれば、物体７が狭視野領域Ｎから退出したと判定することが可能である。このような判定結果も、マスク領域強調表示部２０に伝達される。また、本実施形態では、強調表示とは点滅表示である。したがって、マスク領域強調表示部２０は、このような判定結果が伝達されると、マスク領域Ｍの点滅を中止する。これにより、車両１の運転者に、狭視野領域Ｎに物体７が存在していないことを視覚的に明示することが可能となる。
　次に、障害物警報装置１００が、注目撮影画像に明示画像を重畳した合成画像をモニタ５０に表示する一連の処理について、図５の模式図を用いて説明する。まず、撮影画像取得部１１が、車両１のカメラ５により撮影された撮影画像Ｇを取得する（ステップ＃１）。
　次に、注目撮影画像生成部１２が、取得された撮影画像Ｇの中央部分を注目撮影画像として生成する（ステップ＃２）。一方、外側領域生成部１３が、取得された撮影画像Ｇの横方向両側部分を外側領域Ｏとして生成する（ステップ＃３）。このように生成された外側領域Ｏに物体７が存在しているか否か、物体存在判定部１４により判定される（ステップ＃４）。
　外側領域Ｏに物体７が存在していると判定されると、移動方向判定部１５により当該物体７の移動方向が判定される（ステップ＃５）。物体７の移動方向が、外側領域Ｏから注目撮影画像に対応する狭視野領域Ｎの側へのものである場合、明示画像出力部１６により明示画像が出力される（ステップ＃６）。この明示画像は、明示画像格納部１７に格納されている明示画像を参照して出力される。
　合成画像生成部１８は、ステップ＃２において生成された注目撮影画像に、ステップ＃６で出力された明示画像を重畳して合成画像を生成する（ステップ＃７）。生成された合成画像は、モニタ５０に表示される（ステップ＃８）。このように注目撮影画像をモニタ５０に大きく表示することにより車両１の運転者に車両１の近傍を注視させることが可能であると共に、車両１に接近する物体７の方向を明示することが可能となる。したがって、車両１の周囲の状況を把握させることができると共に、障害物が接近していることを明示することが可能となる。
　このように本発明に係る障害物警報装置１００によれば、車両１に備えられるモニタ５０の画面内に物体７が映っていなくても、車両１に接近する物体７が撮影範囲内に入った時点で、車両１の周囲の状況を表示しつつ、運転者に車両１に接近する物体７の存在及び方向を明示することができる。したがって、モニタ５０の画面サイズが小さい場合でも、車両１に接近する物体７を見逃すことがなくなる。また、このような枠指標Ｗは画面の側端部に表示されるので、運転者が車両１の周囲の状況が見難くなることがない。したがって、車両１の周囲の状況を見難くすることなく、車両１に接近する障害物（物体７）の存在を運転者に明示することが可能となる。
〔その他の実施形態〕
　上記実施形態では、明示画像出力部１６は、点滅表示した指標Ｓが移動する際、次第に大きくなるように表示するとして説明した。しかしながら、本発明に適用範囲はこれに限定されるものではない。指標Ｓを同じサイズで表示することも当然に可能である。もちろん、指標Ｓが、次第に小さくなるように表示することも当然に可能である。このような構成であっても、適切に車両１に接近する物体７を車両１の運転者に明示することが可能である。
　上記実施形態では、直前に表示された指標Ｓは、後に表示された指標Ｓの透明度よりも高いとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば、直前に表示された指標Ｓは、後に表示された指標Ｓの透明度よりも低く表示することも可能であるし、直前に表示された指標Ｓは、後に表示された指標Ｓの透明度と同じように表示することも当然に可能である。
　上記実施形態では、指標Ｓが複数ある場合に当該複数の指標Ｓどうしが一部重畳する位置に表示されるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。複数の指標Ｓを表示する場合であっても、指標Ｓどうしが重畳しないように構成することも可能である。
　上記実施形態では、指標Ｓが、狭視野領域Ｎの中央側に突出する凸部を有する矢印形状に構成してあるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。指標Ｓを他の形状で構成することも当然に可能である。
　上記実施形態では、動作画像出力部３０は、外側領域Ｏの物体７が注目撮影画像に対応する領域（狭視野領域Ｎ）に進入した場合に、明示指標がマスク領域Ｍのうち物体７が存在する側から吸収される画像を出力するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。図６に示されるように、明示画像出力部１６は、物体７が注目撮影画像に対応する領域（狭視野領域Ｎ）に進入した場合に指標Ｓの出力を中止するように構成することも可能である。もちろん、係る場合、枠指標Ｗの出力も中止するように構成することも可能である。物体７が狭視野領域Ｎに進入したか否かは、上述の移動方向判定部１５により判定される。物体７が狭視野領域Ｎに進入した場合には、注目撮影画像の端部に物体７が表示される。このため、このように明示画像の出力を停止する場合でも、車両１の運転者は注目撮影画像の端部に表示される物体７を明示画像に隠されることなく視認することが可能となる。
　上記実施形態では、指標Ｓ及び枠指標Ｗが画面内に複数表示される場合があるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。指標Ｓ及び枠指標Ｗが画面内に夫々一つずつ表示する構成とすることも可能であるし、指標Ｓのみを表示する構成とすることも可能である。
　上記実施形態では、物体７が存在するか否かの判定は、例えばパターンマッチング等の公知の画像認識処理を用いて行うことが可能であるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば、ソナー等で検出することも当然に可能である。
　上記実施形態では、注目撮影画像生成部１２は、撮影画像Ｇの中央部分である狭視野領域Ｎを注目撮影画像として生成するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば、狭視野領域Ｎに対応した狭視野角を持つカメラ５で撮影画像Ｇを取得した場合には、当該撮影画像Ｇをそのまま注目撮影画像として用いることも当然に可能である。係る場合、外側領域Ｏに物体７が存在するか否かの判定は、上記のように、例えばソナー等で検出すると好適である。
　本発明は、車両に接近する障害物の存在を乗員に明示する障害物警報装置に用いることが可能である。
　１：車両
　７：物体
　１１：撮影画像取得部
　１２：注目撮影画像生成部
　１４：物体存在判定部
　１５：移動方向判定部
　１６：明示画像出力部
　１００：障害物警報装置
　Ｇ：撮影画像
　Ｏ：外側領域
　Ｗ：枠指標

Claims (4)

  1. 　車両の周囲の情景を撮影した撮影画像を取得する撮影画像取得部と、
    　前記撮影画像に基づいて注目撮影画像を生成する注目撮影画像生成部と、
    　前記注目撮影画像の外側の外側領域に物体が存在するか否かを判定する物体存在判定部と、
    　前記外側領域の物体の移動方向を判定する移動方向判定部と、
    　前記移動方向判定部により前記外側領域の物体が前記注目撮影画像の中央側に移動すると判定された場合に、前記注目撮影画像の輪郭よりも小さい外形を有し一定時間点灯したのち消灯する枠指標を、前記注目撮影画像の外縁部から中央側に向けて順次異なる位置に表示させると共に、当該表示を繰り返し行なう明示画像出力部と、
    を備える障害物警報装置。
  2. 　前記枠指標が複数ある場合に、後に表示する枠指標が、直前に表示した枠指標よりもサイズが小さいことを特徴とする請求項１に記載の障害物警報装置。
  3. 　前記枠指標が複数ある場合に、後に表示する枠指標が、直前に表示した枠指標よりも透明度が低いことを特徴とする請求項１又は２に記載の障害物警報装置。
  4. 　前記明示画像出力部は、前記物体が前記注目撮影画像に対応する領域に進入した場合に前記枠指標の出力を中止するよう構成してある請求項１から３の何れか一項に記載の障害物警報装置。
PCT/JP2011/075125 2011-11-01 2011-11-01 障害物警報装置 WO2013065120A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2011/075125 WO2013065120A1 (ja) 2011-11-01 2011-11-01 障害物警報装置
CN201280042223.3A CN103765489B (zh) 2011-11-01 2012-04-18 障碍物警报装置
EP12845726.4A EP2775468B1 (en) 2011-11-01 2012-04-18 Obstacle alert device
JP2013541647A JP5704417B2 (ja) 2011-11-01 2012-04-18 障害物警報装置
PCT/JP2012/060397 WO2013065341A1 (ja) 2011-11-01 2012-04-18 障害物警報装置
US13/483,828 US9393908B2 (en) 2011-11-01 2012-05-30 Obstacle alarm device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/075125 WO2013065120A1 (ja) 2011-11-01 2011-11-01 障害物警報装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/060397 Continuation-In-Part WO2013065341A1 (ja) 2011-11-01 2012-04-18 障害物警報装置

Publications (1)

Publication Number Publication Date
WO2013065120A1 true WO2013065120A1 (ja) 2013-05-10

Family

ID=48191516

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2011/075125 WO2013065120A1 (ja) 2011-11-01 2011-11-01 障害物警報装置
PCT/JP2012/060397 WO2013065341A1 (ja) 2011-11-01 2012-04-18 障害物警報装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/060397 WO2013065341A1 (ja) 2011-11-01 2012-04-18 障害物警報装置

Country Status (3)

Country Link
EP (1) EP2775468B1 (ja)
CN (1) CN103765489B (ja)
WO (2) WO2013065120A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016051940A (ja) * 2014-08-29 2016-04-11 株式会社富士通ゼネラル 移動体検出装置
CN112668371A (zh) * 2019-10-16 2021-04-16 北京京东乾石科技有限公司 用于输出信息的方法和装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015004784A1 (ja) * 2013-07-11 2015-01-15 トヨタ自動車株式会社 車両用情報表示装置及び車両用情報表示方法
DE112015002362T5 (de) * 2014-05-21 2017-01-26 Yazaki Corporation Sicherheitsprüfungs-hilfsvorrichtung
CN105469535A (zh) * 2014-08-25 2016-04-06 中兴通讯股份有限公司 一种周围环境的反馈方法及终端
JP6375816B2 (ja) * 2014-09-18 2018-08-22 日本精機株式会社 車両用周辺情報表示システム及び表示装置
JP6299651B2 (ja) * 2015-04-02 2018-03-28 株式会社デンソー 画像処理装置
JP6699230B2 (ja) * 2016-02-25 2020-05-27 住友電気工業株式会社 道路異常警告システム及び車載機
CN109979237A (zh) * 2017-12-26 2019-07-05 奥迪股份公司 车辆驾驶辅助系统和方法
CN116968638B (zh) * 2023-07-31 2024-04-09 广州博太电子有限公司 一种车辆行驶预警方法、系统、介质及计算机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005266899A (ja) * 2004-03-16 2005-09-29 Denso Corp 移動物体危険判定装置
JP2008009843A (ja) * 2006-06-30 2008-01-17 Honda Motor Co Ltd 障害物判別装置
JP2010202010A (ja) * 2009-03-02 2010-09-16 Aisin Seiki Co Ltd 駐車支援装置
JP2010210486A (ja) * 2009-03-11 2010-09-24 Omron Corp 画像処理装置および方法、並びに、プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389276B2 (ja) 1997-10-21 2009-12-24 マツダ株式会社 車両の障害物警報装置
JP2002316602A (ja) * 2001-04-24 2002-10-29 Matsushita Electric Ind Co Ltd 車載カメラの撮像画像表示方法及びその装置
JP2004312638A (ja) * 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
JP2006040008A (ja) * 2004-07-28 2006-02-09 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
JP4744995B2 (ja) * 2005-09-08 2011-08-10 クラリオン株式会社 車両用障害物検出装置
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009217740A (ja) 2008-03-12 2009-09-24 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
JP5410730B2 (ja) * 2008-10-09 2014-02-05 日立オートモティブシステムズ株式会社 自動車の外界認識装置
JP5099451B2 (ja) * 2008-12-01 2012-12-19 アイシン精機株式会社 車両周辺確認装置
CN201380816Y (zh) * 2008-12-29 2010-01-13 广东铁将军防盗设备有限公司 自动导航汽车和车辆避障告警系统及其相应的电路
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005266899A (ja) * 2004-03-16 2005-09-29 Denso Corp 移動物体危険判定装置
JP2008009843A (ja) * 2006-06-30 2008-01-17 Honda Motor Co Ltd 障害物判別装置
JP2010202010A (ja) * 2009-03-02 2010-09-16 Aisin Seiki Co Ltd 駐車支援装置
JP2010210486A (ja) * 2009-03-11 2010-09-24 Omron Corp 画像処理装置および方法、並びに、プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016051940A (ja) * 2014-08-29 2016-04-11 株式会社富士通ゼネラル 移動体検出装置
CN112668371A (zh) * 2019-10-16 2021-04-16 北京京东乾石科技有限公司 用于输出信息的方法和装置
CN112668371B (zh) * 2019-10-16 2024-04-09 北京京东乾石科技有限公司 用于输出信息的方法和装置

Also Published As

Publication number Publication date
EP2775468B1 (en) 2017-10-04
CN103765489A (zh) 2014-04-30
EP2775468A4 (en) 2015-03-25
WO2013065341A1 (ja) 2013-05-10
CN103765489B (zh) 2016-03-30
EP2775468A1 (en) 2014-09-10

Similar Documents

Publication Publication Date Title
JP5692403B2 (ja) 障害物警報装置
WO2013065120A1 (ja) 障害物警報装置
US9396401B2 (en) Obstacle alarm device
JP5861449B2 (ja) 障害物警報装置
JP5660395B2 (ja) 障害物警報装置
WO2013065122A1 (ja) 障害物警報装置
JP5974476B2 (ja) 障害物警報装置
JP5845909B2 (ja) 障害物警報装置
JP5704416B2 (ja) 障害物警報装置
JP5787168B2 (ja) 障害物警報装置
JP5754605B2 (ja) 障害物警報装置
JP5765576B2 (ja) 障害物警報装置
JP5704417B2 (ja) 障害物警報装置
JP5674071B2 (ja) 障害物警報装置
JP5821622B2 (ja) 障害物警報装置
WO2013094496A1 (ja) 障害物警報装置
JP2013131178A (ja) 障害物警報装置
JP5765575B2 (ja) 撮影領域明示装置
JP5825091B2 (ja) 撮影領域明示装置
WO2013094345A1 (ja) 撮影領域明示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11875030

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11875030

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP