WO2013065348A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
WO2013065348A1
WO2013065348A1 PCT/JP2012/064258 JP2012064258W WO2013065348A1 WO 2013065348 A1 WO2013065348 A1 WO 2013065348A1 JP 2012064258 W JP2012064258 W JP 2012064258W WO 2013065348 A1 WO2013065348 A1 WO 2013065348A1
Authority
WO
WIPO (PCT)
Prior art keywords
living body
sub
vehicle
animal
icon
Prior art date
Application number
PCT/JP2012/064258
Other languages
English (en)
French (fr)
Inventor
高津戸泉
相村誠
松田幸大
阿久津直人
長岡伸治
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to JP2013541651A priority Critical patent/JP5604011B2/ja
Publication of WO2013065348A1 publication Critical patent/WO2013065348A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Definitions

  • the present invention relates to a vehicle periphery monitoring apparatus that detects and displays an object to be monitored around a vehicle.
  • JP 2009-067214 A As a conventional vehicle periphery monitoring device, there is known a device for displaying an image in front of a vehicle by an infrared camera on a display in front of a driver's seat and highlighting the image area of a pedestrian detected from the image See FIG. 5 of the 2009-067214 publication (hereinafter referred to as "JP 2009-067214 A").
  • JP 2004-364112 A Japanese Patent Application Laid-Open 2004 -364112
  • JP 2004-364112 A when it is determined that a pedestrian is present in the captured image of the infrared camera 2R, the pedestrian icons 32 and 33 are displayed on the HUD 8a (see FIG. 6, [0036] to [0038]).
  • the HUD 8a displays icons 32 and 33 that indicate the presence of a pedestrian. However, there is still room for more appropriate attention to the user.
  • the present invention has been made in consideration of such problems, and an object of the present invention is to provide a vehicle periphery monitoring device capable of appropriately alerting a user.
  • a vehicle periphery monitoring device detects a living body as a monitored object in the periphery of the vehicle based on an imaging signal output from an imaging device mounted on the vehicle, and the imaging signal is And each of the sub-areas of the image according to the presence or absence of the display of each mark respectively associated with the plurality of sub-areas constituting the image displayed on the first display part and the first display part displaying the representing image.
  • a second display unit for visualizing presence / absence information of the object to be monitored, the display of the mark being changed according to at least one of the face direction of the living body and the direction of the body.
  • the display of the mark on the second display unit indicating the presence or absence of the monitored object is changed according to at least one of the face direction of the living body and the direction of the body. Since the face direction and the body direction are likely to indicate the direction of movement of the living body, according to the present invention, it is possible to perform a reminder in consideration of the direction of movement of the living body. Therefore, it is possible to issue an appropriate alert to the user.
  • the adjacent living bodies sandwich the boundary line.
  • a plurality of the marks may be displayed on the second display unit simultaneously or alternately corresponding to the sub-regions.
  • the mark may be displayed on both the sub-region to which the living body belongs and the sub-region which is present in the direction of the face or body of the living body relative to the sub-region. This makes it possible to call attention to the presence of the living body in a manner that reflects the traveling direction of the living body. For this reason, it becomes possible to issue an appropriate alert to the user.
  • the display color of the mark may be switched to a warning color that calls for a stronger alert. This makes it possible to more strongly warn of the presence of the living body when the living body is facing the vehicle. For this reason, it becomes possible to issue an appropriate alert to the user.
  • FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring device according to an embodiment of the present invention. It is a schematic perspective view of the vehicle in which the said vehicle periphery monitoring apparatus was integrated. It is a figure which shows the view seen from the driver
  • FIG. 19 is a flowchart (second modified example of details of S11 in FIG.
  • the positional relationship between the vehicle, the animal and the adult of the human when the living body corresponding portions corresponding to the adult of the animal and the human belong to the first sub-region in the center It is a figure which shows an example of the gray scale image of the said general purpose monitor, and an example of the icon image of said MID.
  • the vehicle in the case where the living body corresponding portion corresponding to the animal belongs to the first sub-region on the left side and the living body corresponding portion corresponding to a human child belongs to the first sub region on the right side It is a figure which shows the example of the positional relationship of the said animal and the human child, an example of the gray scale image of the said general purpose monitor, and the icon image of the said MID.
  • FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring device 10 (hereinafter also referred to as “monitoring device 10”) according to an embodiment of the present invention.
  • FIG. 2 is a schematic perspective view of a vehicle 12 in which the monitoring device 10 is incorporated.
  • FIG. 3 is a view showing a view of the vehicle 12 as viewed from the driver side.
  • FIG. 3 shows a situation where the vehicle 12 is traveling on a road in a country where it is determined that the whole vehicle travels to the right, and the vehicle 12 is illustrated as a left-hand drive vehicle. Alternatively, a similar configuration can be employed for a right-hand drive car.
  • the vehicle periphery monitoring device 10 includes electronic cameras and vehicle speed sensors 18, a yaw rate sensor 20, and infrared cameras 16 L and 16 R (hereinafter also referred to as “cameras 16 L and 16 R”) on the left and right. It has an apparatus 22 (hereinafter referred to as "ECU 22"), a speaker 24, a general-purpose monitor 26 (hereinafter also referred to as “monitor 26”), and an MID 28 (Multi-Information Display).
  • ECU 22 apparatus 22
  • monitoring 26 hereinafter also referred to as "monitor 26”
  • MID 28 Multi-Information Display
  • the infrared cameras 16 ⁇ / b> L and 16 ⁇ / b> R function as imaging devices for imaging the surroundings of the vehicle 12.
  • two cameras 16L and 16R are combined to configure a stereo camera.
  • the cameras 16L and 16R have a characteristic that the output signal level becomes higher (the luminance is increased) as the temperature of the subject is higher.
  • the cameras 16L and 16R are disposed in the front bumper portion of the vehicle 12 at substantially symmetrical positions with respect to the center of the vehicle 12 in the vehicle width direction. Further, the two cameras 16L and 16R are fixed so that their optical axes are parallel to each other, and their heights from the road surface are equal.
  • surroundings of the vehicle 12 can take various structures, without being restricted to the structural example shown in FIG.
  • the imaging device may be a compound eye (stereo camera) or a single eye (one camera).
  • another distance measuring means radar apparatus
  • a camera instead of the infrared camera, a camera (also referred to as a color camera) that mainly uses light having a wavelength of a visible light region may be used, or both may be provided.
  • the vehicle speed sensor 18 detects the vehicle speed V [km / h] of the vehicle 12 and outputs it to the ECU 22.
  • the yaw rate sensor 20 detects the yaw rate Yr [° / sec] of the vehicle 12 and outputs it to the ECU 22.
  • the ECU 22 controls the monitoring device 10, and includes an input / output unit 30, an arithmetic unit 32, and a storage unit 34, as shown in FIG.
  • Each signal from the cameras 16 L and 16 R, the vehicle speed sensor 18 and the yaw rate sensor 20 is supplied to the ECU 22 via the input / output unit 30. Further, an output signal from the ECU 22 is output to the speaker 24, the monitor 26 and the MID 28 via the input / output unit 30.
  • the input / output unit 30 includes an A / D conversion circuit (not shown) that converts an input analog signal into a digital signal.
  • the computing unit 32 performs computation based on the signals from the cameras 16L and 16R, the vehicle speed sensor 18, and the yaw rate sensor 20, and generates signals for the speaker 24, the monitor 26, and the MID 28 based on the computation result.
  • the calculation unit 32 has a binarization function 40, a living body extraction function 42, a living body type determination function 44, a speaker control function 46, a general purpose monitor control function 48, and an MID control function 50.
  • Each function 40, 42, 44, 46, 48, 50 is realized by executing a program stored in the storage unit 34.
  • the program may be supplied from the outside (a server or the like) via a wireless communication device (such as a mobile phone or a smartphone) (not shown).
  • the binarization function 40 binarizes the grayscale image 72 (FIG. 4) acquired by one of the cameras 16L and 16R (in the present embodiment, the left camera 16L) to obtain a binarized image (not shown).
  • Generate The living body extraction function 42 extracts living bodies (monitoring objects) such as humans and animals in these images using the gray scale image 72 and the binarized image.
  • the living body type determination function 44 determines whether the extracted monitoring object is a human (adult, child), an animal, or other (including an undeterminable one).
  • the speaker control function 46 controls the speaker 24 such as outputting an alarm sound to the speaker 24.
  • the general-purpose monitor control function 48 controls the general-purpose monitor 26 such as displaying the grayscale image 72 on the general-purpose monitor 26.
  • the MID control function 50 controls the MID 28 such as displaying icons of living bodies such as humans and animals (hereinafter referred to as “living body icons”) with respect to the MID 28.
  • the MID control function 50 includes a boundary line setting function 52, a face orientation detection function 54, a sub area selection function 56, and an icon display color setting function 58 (hereinafter also referred to as "display color setting function 58"). And an icon display function 60. Details of each function 52, 54, 56, 58, 60 will be described later.
  • the storage unit 34 is a RAM (Random Access Memory) for storing an imaging signal converted into a digital signal, temporary data to be provided for various arithmetic processing, and a ROM (Read Only Memory) for storing an execution program, a table or a map. And so on.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the speaker 24 outputs an alarm sound or the like in response to a command from the ECU 22.
  • the speaker 24 is provided on the dashboard 62 (FIG. 3) (however, the speaker 24 is not shown in FIG. 3).
  • a speaker provided in an audio device or a navigation device (not shown) may be used as the speaker 24.
  • the general-purpose monitor 26 (first display unit) can display a color image or a monochrome image, and includes, for example, a liquid crystal panel, an organic EL (Electro-Luminescence) panel, or an inorganic EL panel. As shown in FIGS. 2 and 3, the general-purpose monitor 26 is disposed at a predetermined portion of the dashboard 62 (specifically, a portion on the right side with respect to the disposition position of the handle 64).
  • FIG. 4 is a view showing an example of a display screen of the general-purpose monitor 26. As shown in FIG. In FIG. 4, in the display area of the monitor 26 (hereinafter referred to as “first display area 70” or “display area 70”), a gray scale image 72 captured by the camera 16L on the left side is displayed.
  • first display area 70 the display area of the monitor 26
  • display area 70 a gray scale image 72 captured by the camera 16L on the left side is displayed.
  • the gray scale image 72 can be added with the highlighting generated by the general purpose monitor control function 48. That is, as shown in FIG. 4, a highlighting frame 76 is displayed at a location where a living body such as a human or an animal is extracted (hereinafter referred to as “living body corresponding portion 74”). Alternatively, the living body corresponding portion 74 may be colored. Alternatively, both the display of the highlighting frame 76 and the coloring of the living body corresponding portion 74 can be performed. Alternatively, it may be emphasized by other methods.
  • the general-purpose monitor 26 may display the grayscale image 72 from the right camera 16R instead of the grayscale image 72 from the left camera 16L.
  • the general-purpose monitor 26 simultaneously or switches and displays other images such as various images for navigation (road map, service information, etc.), moving image contents, etc. You may The switching of each image can be performed, for example, by pressing a specific push button or by presetting of switching conditions.
  • the MID 28 (second display unit) is a simple display (icon display) for visualizing and displaying accompanying information when the vehicle 12 is driven, and is configured more than the general-purpose monitor 26 (particularly its display panel) It is a simple and inexpensive display module.
  • a display panel having a resolution lower than that of the general-purpose monitor 26 for example, one operating in a non-interlaced system
  • the MID 28 is provided on the dashboard 62 (or in the instrument panel 66) near the upper side of the instrument panel 66.
  • the MID 28 is disposed at a position where the driver can visually recognize the MID 28 through the gap above the steering wheel 64. As a result, the driver can view the MID 28 with the face of the vehicle 12 directed to the front.
  • FIG. 5 is a diagram showing an example of a display screen of the MID 28. As shown in FIG. In FIG. 5, an image including various icons corresponding to the gray scale image 72 (hereinafter referred to as “icon image 82” in the display area of MID 28 (hereinafter referred to as “second display area 80” or “display area 80”) Is displayed.
  • a road icon 84 indicating a road in the traveling direction of the vehicle 12 is displayed below the display area 80.
  • the road icon 84 is composed of three lines, that is, lines 84L, 84C and 84R in order from the left.
  • the width between the lines 84L and 84R becomes narrower toward the upper side of the display area 80, which recalls a distant position. That is, the display of the road icon 84 makes it possible for the driver to have an idea of the road shape when looking at the straight road ahead from the driver's seat.
  • a human icon 86 (mark) indicating a pedestrian present around the vehicle 12 can be displayed.
  • the human icon 86 of the present embodiment is used without distinction between adults and children for human pedestrians. Of course, such distinction may be made, and separate icons may be used for human adults and children.
  • the human icon 86 can be displayed at three places (that is, the left side, the center, and the right side) of the display area 80 (see FIGS. 5 and 6).
  • an icon representing another living body for example, an animal icon 88 (mark) representing an animal (see FIG. 9 or the like) can be displayed.
  • the MID 28 may display the fuel consumption of the vehicle 12, the current time, information about the instrument panel 66, and the like. Switching of each information (image) can be performed, for example, by pressing a specific push button or by presetting of switching conditions.
  • FIG. 6 is a diagram showing the relationship between the display of the general-purpose monitor 26 and the MID 28.
  • the gray scale image 72 is referred to as three regions in the vehicle width direction (hereinafter, "first sub regions 90L, 90C, 90R” or “sub regions 90L, 90C, 90R”, (Hereinafter collectively referred to as “first subregion 90” or “subregion 90”).
  • first boundary lines 92L and 92R or “boundary lines 92L and 92R” and collectively referred to as “first boundary line 92" or “boundary line 92"
  • first boundary line 92 or “boundary line 92”
  • the border 92 may be shaped along the lane (the shape that narrows as it goes up), as with the road icon 84 of the MID 28.
  • the icon image 82 is referred to as three areas in the vehicle width direction (hereinafter referred to as "second sub areas 100L, 100C, 100R” or “sub areas 100L, 100C, 100R", “second sub (Generally called “region 100” or “sub region 100”).
  • Boundary lines of the second sub-regions 100 in the icon image 82 (hereinafter referred to as “second boundary lines 102L and 102R” or “boundary lines 102L and 102R”, generically referred to as “second boundary line 102" or “boundary line 102” ) Is a virtual line not included in the actual icon image 82 and is fixed and does not change.
  • the second boundaries 102L and 102R are associated with the first boundaries 92L and 92R, respectively. Similar to the border 92, the border 102 may be shaped (following up, narrowing) along the lane, such as the road icon 84 of the MID 28.
  • the first sub-region 90 (hereinafter referred to as “first living-substance sub-region”) to which the living body corresponding part 74 in the gray scale image 72 belongs is determined, and the second sub-region 100 of the icon image 82 in the MID 28 is determined.
  • a living body icon (human icon 86, animal icon 88, etc.) is displayed on the one corresponding to the first living body existing sub-area (hereinafter referred to as "second living body existing sub-area").
  • processing such as increasing the number of living body icons to be displayed from 1 to 2 or changing the display color of living body icons can be performed (the details will be described later).
  • FIG. 7 is a flow chart showing an outline of the operation of the vehicle periphery monitoring device 10.
  • step S1 the infrared cameras 16L and 16R capture the periphery of the vehicle 12.
  • step S2 the ECU 22 A / D converts the signals from the cameras 16L and 16R to obtain a grayscale image 72.
  • step S3 the ECU 22 executes binarization processing. In the binarization process, the grayscale image 72 is binarized to obtain a binarized image (not shown).
  • step S4 the ECU 22 extracts the living body corresponding portion 74 from the acquired binarized image and gray scale image 72. Since the living body is hotter than its surroundings, the portion corresponding to the living body (the living body corresponding portion 74) in the binarized image and the grayscale image 72 has high brightness. Therefore, in the binarized image and the gray scale image 72, it is possible to extract the living body corresponding part 74 by searching the area of the pixel whose luminance is equal to or more than the predetermined threshold value.
  • the living body corresponding portion 74 may be extracted using only one of the binarized image and the gray scale image 72.
  • step S5 the ECU 22 determines the type of the living body indicated by the extracted living body corresponding portion 74. That is, it is determined whether the extracted living body corresponding part 74 corresponds to a human adult, a child or an animal. The type to be determined may be other.
  • step S ⁇ b> 6 the ECU 22 displays the gray scale image 72 in which the living body corresponding portion 74 is emphasized on the general-purpose monitor 26.
  • the highlighting is performed, for example, at least one of the display of the highlighting frame 76 (FIG. 4) and the coloring of the living body corresponding part 74.
  • step S7 the ECU 22 sets the first boundary lines 92L and 92R (FIG. 6) in the grayscale image 72 or the binarized image to specify the first sub-region 90 (details will be described later).
  • step S8 the ECU 22 detects the face orientation of the child or animal from among the extracted living body corresponding parts 74 that correspond to the human child and the animal.
  • the body direction of the child or animal may be detected.
  • a face direction or a body direction detection method for example, those described in US 2008/0130954 A1 and US 2007/0269079 A1 can be used. It is preferable to be able to specifically calculate the angle with respect to the optical axis of the camera 16L in plan view, for example, with the detection of the face direction or the body direction referred to here, but whether to face the vehicle 12 or the driver (In other words, either inward or outward) may be distinguished.
  • step S9 the ECU 22 determines a first sub region 90 (first living body present sub region) to which the living body corresponding portion 74 belongs.
  • first living body present sub region the two first sub regions 90 sandwiching the boundary 92 are determined as the first sub region 90 to which the living corresponding portion 74 belongs. There will be (details will be described later).
  • step S10 the ECU 22 determines a second sub-region 100 (second biological presence sub-region) corresponding to the first biological presence sub-region.
  • step S11 the ECU 22 sets the display color (alarm color) of the living body icon in the second living body present sub region. Since the display color is a single color (only yellow) in the present embodiment, the process of step S11 may be omitted. Further, as described later, the display color of the living body icon can be changed according to the situation.
  • step S12 the ECU 22 displays a living body icon (human icon 86 or the like) indicating a living body in the second living body presence sub-region determined in step S10.
  • a living body icon human icon 86 or the like
  • the speaker 24 may emit a warning sound.
  • FIG. 8 is a flowchart for setting the first boundary 92 (details of S7 in FIG. 7).
  • the yaw rate sensor 20 detects the yaw rate Yr of the vehicle 12.
  • the ECU 22 determines whether the vehicle 12 is turning left based on the yaw rate Yr detected by the yaw rate sensor 20. For example, a threshold (left turn determination threshold) of the yaw rate Yr for determining whether the vehicle is turning left is set, and it is determined whether the detected yaw rate Yr exceeds the left turn determination threshold.
  • step S24 If the vehicle 12 is not turning left (S22: NO), the process proceeds to step S24.
  • the ECU 22 shifts the first boundary lines 92 to the left in step S23.
  • a living body icon may be displayed in the sub-region 100R on the right side of the MID 28.
  • a living body icon may be displayed in the central sub area 100C of the MID 28.
  • the living body icon may not be displayed on the MID 28. As a result, it becomes possible to display the MID 28 in accordance with the traveling direction (left direction) of the vehicle 12.
  • step S24 the ECU 22 determines whether the vehicle 12 is turning right based on the yaw rate Yr detected by the yaw rate sensor 20. For example, a threshold (right turn determination threshold) of the yaw rate Yr for determining whether the vehicle is turning right is set, and it is determined whether the detected yaw rate Yr exceeds the right turn determination threshold. Do.
  • FIG. 9 and FIG. 10 are diagrams for explaining the method of specifying the first sub-region 90 (first living body present sub-region) to which the living body corresponding part 74 belongs. That is, FIG. 9 shows the vehicle 12 in the case where the face direction X of the animal 110 as a living body is outward (in the direction opposite to the center line Ax in the traveling direction of the vehicle 12 (for example, the optical axis of the camera 16L)).
  • FIG. 10 shows the positional relationship between the vehicle 12 and the animal 110 when the face direction X of the animal 110 is inward (direction toward the center line Ax), an example of the gray scale image 72 of the general-purpose monitor 26, and the icon image 82 of the MID 28.
  • ⁇ indicates the image angle of view of the infrared camera 16L (the same applies to the other drawings).
  • FIG. 11 is a flowchart (details of S9 of FIG. 7) for specifying the first sub-region 90 (first living body existing sub-region) to which the living body corresponding part 74 belongs.
  • step S31 the ECU 22 determines whether the type of living body determined in step S5 of FIG. 7 is a child of the animal 110 or a human. If it is not a child of the animal 110 and a human, that is, if it is a human adult or other living body (S31: NO), the process proceeds to step S34. If the animal 110 or a human child (S31: YES), in step S32, the ECU 22 detects the face direction X of a living body (the animal 110 or a human child).
  • step S33 the ECU 22 determines whether the face of the living body is inward. If the face is not inward (S33: NO), the ECU 22 determines whether or not the biomedical portion 74 is on the first boundary 92 in step S34. If the living body corresponding part 74 is not on the first boundary 92 (S34: NO), the ECU 22 selects the first sub-region 90 where the living body corresponding part 74 exists in step S35. If the living body corresponding portion 74 is on the first boundary 92 (S34: YES), the ECU 22 selects the central sub-region 90C as the first living-existence sub-region in step S36.
  • step S33 If the face is inward at step S33 (S33: YES), the ECU 22 determines whether the living body corresponding portion 74 is on the first boundary line 92 at step S37.
  • the ECU 22 selects the first sub-region 90 in which the biomedical portion 74 is present in step S35. If the living body corresponding portion 74 is on the first boundary 92 (S37: YES), the ECU 22 selects two first sub-regions 90 as the first living-body present sub-region in step S38. For example, when the living body corresponding part 74 is on the left first boundary 92L, the ECU 22 selects the central sub-region 90C and the left sub-region 90L. When the living body corresponding portion 74 is on the right first boundary line 92R, the ECU 22 selects the central first sub region 90C and the right first sub region 90R.
  • the ECU 22 displays a living body icon (animal icon 88 or the like) in the second sub area 100 corresponding to the selected first sub area 90 (S12 in FIG. 7 and FIG. 10).
  • the display of the living body icon on the MID 28 is changed according to the face direction X of the living body (see S33 and the like in FIG. 11). Since the face direction X is highly likely to indicate the moving direction of the living body, according to the present embodiment, it is possible to perform alerting in consideration of the moving direction of the living body. Therefore, it is possible to issue an appropriate alert to the user.
  • a plurality of living body icons are simultaneously displayed on the MID 28 corresponding to the first sub-regions 90 adjacent to each other across the boundary 92 (S38 and FIG. 10).
  • a plurality of living body icons are simultaneously made to correspond to the first sub-region 90 adjacent across the boundary line 92. indicate. For this reason, it becomes possible to highlight the presence of the living body according to the face direction X of the living body and to perform appropriate alerting to the user.
  • the vehicle 12 presupposed the four-wheeled vehicle (refer FIG. 2)
  • the vehicle 12 which mounts the vehicle periphery monitoring apparatus 10 is not restricted to this.
  • it can be mounted on a two-wheeled vehicle (including a bicycle), a three-wheeled vehicle or a six-wheeled vehicle.
  • the monitoring device 10 is mounted on the vehicle 12 in the above embodiment, it can also be mounted on another mobile body as long as it detects a monitored object in the vicinity and reports it to the user.
  • a ship and an aircraft can be mentioned, for example.
  • the imaging device may be a compound eye (stereo camera) or a single eye (one camera).
  • a camera color camera
  • a camera color camera
  • General-purpose monitor 26 (first display unit) and MID 28 (second display unit)
  • the general-purpose monitor 26 is used to display the grayscale image 72 from the infrared camera 16L in the above embodiment
  • the present invention is not limited to this as long as it displays an image captured by the imaging unit.
  • the emphasis frame 76 is displayed on the grayscale image 72 displayed on the general-purpose monitor 26.
  • the grayscale image 72 from the camera 16L is displayed on the general-purpose monitor 26 without any highlighting. You may
  • a relatively versatile display device operating in a non-interlaced mode is used as the MID 28 to display a living body icon (mark).
  • the present invention is not limited to this, and an indicator for displaying only a living body icon A plurality of (for example, three) may be used in place of the MID 28.
  • a head-up display (HUD) as shown in FIG. 2 of JP 2004-364112 A can be used instead of the MID 28.
  • the general-purpose monitor 26 and the MID 28 are used in the above embodiment, a configuration using only the MID 28 is also possible.
  • the grayscale image 72 acquired by the camera 16L is used to display on the MID 28.
  • the 1st sub field 90 and the 2nd sub field 100 were divided by the transverse direction (vehicle width direction), a division direction or a division field is not restricted to this.
  • the first subregion 90 and the second subregion 100 can be divided in the longitudinal direction (traveling direction).
  • the boundary lines 92 and 102 are shaped along the lane (the shape goes up and narrows down) as with the road icon 84 of the MID 28, the first sub-region 90 and the second sub-region 100 are bounded by these boundaries. You may divide
  • the living body is a child of the animal 110 or a human (S31 in FIG. 11: YES) and the face direction X of the living body is inward as a condition for displaying the living body icon (animal icon 88 etc.) in two places.
  • the biological body icon was simultaneously displayed on two places as highlighting of a biological body icon (FIG. 10), the method of highlighting is not restricted to this.
  • both the animal 110 and a human child are assumed as a living being whose movement is difficult to predict (in other words, a living being who can not expect a rational movement in the living being or a living being relatively at high risk of jumping out).
  • it may be only one of the animal 110 and a human child (S31 in FIG. 11).
  • another living body for example, a main body obtained by further dividing the animal 110 may be set.
  • FIG. 12 shows the positional relationship between the vehicle 12 and the animal 110 when the face direction X of the animal 110 as a living body is outward (in the direction opposite to the center line Ax) in the first modified example of highlighting.
  • FIG. 9 is a view showing an example of a grayscale image 72 of the general-purpose monitor 26 and an example of an icon image 82 of the MID 28.
  • FIG. 12 shows the positional relationship between the vehicle 12 and the animal 110 when the face direction X of the animal 110 as a living body is outward (in the direction opposite to the center line Ax) in the first modified example of highlighting.
  • FIG. 9 is a view showing an example of a grayscale image 72 of the general-purpose monitor 26 and an example of an icon image 82 of the MID 28.
  • FIG. 13 shows the positional relationship between the vehicle 12 and the animal 110 when the face direction X of the animal 110 is inward (direction toward the center line Ax) in the first modified example of highlighting, and a gray scale image of the general-purpose monitor 26. It is a figure which shows an example of 72, and an example of the icon image 82 of MID28.
  • the animal icon 88 displayed on the MID 28 is normally alert color ( For example, yellow).
  • the animal icon 88 displayed on the MID 28 is normally The special alert color (for example, red) is used to call for more attention than the alert color of.
  • FIG. 14 is a flowchart (first modification of FIG. 11) for specifying the sub-region 90 of the general-purpose monitor 26 to which the living body corresponding portion 74 belongs in the first modification of highlighting.
  • FIG. 15 is a flowchart (first modified example of details of S11 in FIG. 7) for setting a display color of a living body icon in the first modified example of highlighting.
  • Steps S41 to S43 in FIG. 14 are the same as steps S34 to S36 in FIG. Therefore, the processing of FIG. 14 is simplified as compared with FIG. 11, and there is no processing as highlighting. Instead, the display color of the biological body icon as the highlighting is switched by the process of FIG.
  • Steps S51 to S53 in FIG. 15 are the same as steps S31 to S33 in FIG. That is, in step S51 of FIG. 15, the ECU 22 determines whether the type of living body determined in step S5 of FIG. 7 is a child of the animal 110 or a human. If it is not a child of the animal 110 and a human, that is, if it is a human adult or any other living body (S51: NO), the process proceeds to step S54. If the animal 110 or a human child (S51: YES), in step S52, the ECU 22 detects the face direction X of a living body (the animal 110 or a human child).
  • step S53 the ECU 22 determines whether the face of the living body is inward. If the face is not inward (S53: NO), the ECU 22 sets the display color of the biological icon to the normal alert color (for example, yellow) in step S54. If the face is facing inward (S53: YES), in step S55, the ECU 22 sets the display color of the biological body icon to a special alert color (for example, red).
  • the normal alert color for example, yellow
  • step S55 the ECU 22 sets the display color of the biological body icon to a special alert color (for example, red).
  • FIG. 16 is a diagram for explaining a second modification of highlighting of a living body icon. That is, FIG. 16 is a view showing an example of the positional relationship between the vehicle 12 and the animal 110, an example of the grayscale image 72 of the general-purpose monitor 26, and an example of the icon image 82 of the MID 28 in the second modified example of highlighting.
  • a living body icon (animal icon 88 etc.) displayed on the MID 28 is special Warning color (for example, red).
  • the living body icon (human icon 86) displayed on the MID 28 is usually a warning color (for example, yellow) . This makes it possible to highlight and notify the driver of the animal 110 or a human child.
  • FIG. 17 is a flowchart (second modified example of details of S11 in FIG. 7) for setting the display color of the living body icon in the second modified example of highlighting. Steps S61 to S63 in FIG. 17 are the same as steps S51, S54, and S55 in FIG.
  • step S61 the ECU 22 determines whether the type of the living body determined in step S5 of FIG. 7 is a child of the animal 110 or a human. If the animal 110 is not a child of a human, that is, if it is a human adult or other living body (S61: NO), the ECU 22 sets the normal alert color (for example, yellow) as the display color of the living body icon in step S62. . In step S63, the ECU 22 sets a special alert color (for example, red) as the display color of the living body icon, which is a child of the animal 110 or a human (S61: YES). Note that the second sub area 100 displaying the living body icon is determined, for example, using the flowchart of FIG.
  • FIG. 18 is a diagram for explaining a third modification of highlighting of a living body icon. That is, FIG. 18 is a view showing an example of the positional relationship between the vehicle 12 and the animal 110, an example of the grayscale image 72 of the general-purpose monitor 26, and an example of the icon image 82 of the MID 28 in the third modified example of highlighting.
  • the animal icon 88 of the MID 28 corresponds to the current position of the animal 110.
  • the second sub-region 100L on the left side and the central second sub-region 100C adjacent to the second sub-region 100L are displayed.
  • the living body icon is displayed at a plurality of places even if the living body is not on the boundary 92. This makes it possible to highlight and notify the driver of the animal 110. The same is true for human children.
  • FIG. 19 is a flowchart (second modification of FIG. 11) for specifying the sub-region 90 of the general-purpose monitor 26 to which the living body corresponding portion 74 belongs in the second modification of highlighting.
  • Steps S71 to S75 in FIG. 19 are the same as steps S31, S34 to S36, and S38 in FIG. That is, in the process of FIG. 17, when steps S32, S33, and S37 of FIG. 11 are omitted and the living body is a child of the animal 110 or a human (S71: YES), the living body corresponding portion 74 corresponding to the living body belongs to
  • the first sub-region 90 and the first sub-region 90 adjacent to the first sub-region 90 are both referred to as a first living-body present sub-region, and a living-body icon is displayed in the corresponding second living-subject sub-region. Therefore, it is determined whether to highlight the living body icon only by whether the living body is a child of the animal 110 or a human.
  • the living body icon is displayed on the left and center second sub-regions 100L and 100C. Further, when the living body corresponding portion 74 corresponding to the living body is on the first boundary 92L, the living body icon is displayed on the left and center second sub regions 100L and 100C. Furthermore, when the living body corresponding portion 74 corresponding to the living body belongs to the first sub region 90C in the center, for example, the living body icon is displayed on all the second sub regions 100L, 100C, and 100R.
  • the living body icon is displayed in the first sub-region 90 to which the living body belongs and the first sub-region 90 adjacent to the sub-region 90. This makes it possible to more strongly warn of the presence of a living body. For this reason, it becomes possible to issue an appropriate alert to the user.
  • FIG. 20 is a diagram for explaining a fourth modification of highlighting of a living body icon. That is, FIG. 20 is a view showing the positional relationship between the vehicle 12 and the animal 110, an example of the gray scale image 72 of the general-purpose monitor 26, and an example of the icon image 82 of the MID 28 in the fourth modified example of highlighting.
  • the animal icon 88 displayed on the MID 28 is The second sub-region 100C at the center corresponding to the current position of the animal 110 and the second sub-region 100R on the right side corresponding to the face direction X are displayed. This makes it possible to emphasize and notify the driver of the traveling direction of the animal 110. The same is true for human children.
  • FIG. 21 is a flowchart (third modification of FIG. 11) for specifying the sub-region 90 of the general-purpose monitor 26 to which the living body corresponding part 74 belongs in the fourth modification of highlighting.
  • Steps S81 to S86 in FIG. 21 are the same as steps S31, S34 to S36, S32, and S38 in FIG. That is, in FIG. 21, steps S33 and S37 of FIG. 11 are omitted.
  • two first sub-regions 90 are selected according to the face direction X regardless of whether the face of the animal 110 is inward.
  • two first sub-regions 90 sandwiching the boundary 92 are selected. The same is true for human children.
  • FIG. 22 and FIG. 23 are diagrams for explaining a fifth modification of highlighting of a living body icon. That is, FIG. 22 shows the vehicle 12, the animal 110 and the human when the living body corresponding parts 74 corresponding to the animal 110 and the human adult 112 respectively belong to the central first sub-region 90C in the fifth modification of highlighting.
  • FIG. 6 is a view showing a positional relationship of an adult 112, an example of a grayscale image 72 of the general-purpose monitor 26, and an example of an icon image 82 of the MID 28.
  • the animal 110 as the monitoring target and the living body corresponding portion 74 corresponding to the human adult 112 respectively belong to the first sub-region 90C in the center, in the MID 28, the second sub-region 100C in the center is Only the human icon 86 is displayed. That is, the icon display of human adults 112 is given priority over the animals 110.
  • the living body corresponding portion 74 corresponding to the animal 110 belongs to the first sub-region 90L on the left side, and the living body corresponding portion 74 corresponding to the human child 114 is the first sub It is a figure which shows an example of the positional relationship of the vehicle 12, the animal 110, and the human child 114 in the case where it belongs to area
  • the living body corresponding portion 74 corresponding to the animal 110 belongs to the first sub-region 90 on the left side, and the living body corresponding portion 74 corresponding to the human child 114 as the monitoring object is the first sub-region on the right side If it belongs to 90, the MID 28 highlights only the human icon 86 and not the animal icon 88. In other words, highlighting only for human children 114 and not for animals 110.
  • FIG. 24 is a flowchart (fourth modification of FIG. 11) for specifying the sub-region 90 of the general-purpose monitor 26 to which the living body corresponding part 74 belongs in the fifth modification of highlighting.
  • the fifth modification of highlighting can be suitably used when there are a plurality of living bodies.
  • step S91 in FIG. 24 the ECU 22 determines whether there are a plurality of living bodies in the traveling direction of the vehicle 12. The determination is performed, for example, by determining whether a plurality of living body corresponding parts 74 extracted in step S4 of FIG. 7 exist.
  • step S92 the ECU 22 executes a process (hereinafter, referred to as “single-use process”) in the case where there is one living body.
  • steps S31 to S38 in FIG. 11 can be executed as the single process.
  • the first modification the processing of FIGS. 14 and 15
  • the second modification the processing of FIG. 17
  • the third modification the processing of FIG. 19
  • fourth modification the processing of FIG. 21) Processing
  • the ECU 22 determines whether or not a human (the adult 112 or the child 114) exists in the traveling direction of the vehicle 12 in step S93.
  • step S94 the ECU 22 performs a process for the animal 110 when there are multiple animals 110 (hereinafter referred to as “animal Execute the first process).
  • the first processing for animal is to highlight also for the animal 110 (animal icon 88), and for example, steps S32 to S38 of FIG.
  • the ECU 22 determines whether the animal 110 exists in the traveling direction of the vehicle 12 in step S95.
  • the ECU 22 performs the processing for the animal 110 in the presence of the animal 110 and at least one of the human adult 112 and the child 114 (hereinafter referred to as “second animal's second Process).
  • the second animal treatment does not highlight the animal 110 (animal icon 88) in order to prioritize human display, and for example, steps S34 to S36 in FIG. 11 are performed on each of the animals 110.
  • step S95 the traveling direction of the vehicle 12 in step S95 (S95: NO) or after step S96, the ECU 22 determines that the animal 110 and at least one of the human adult 112 or the child 114 exist in step S97.
  • Execute human treatment (hereinafter referred to as “human treatment”).
  • the human treatment is a process which gives priority to the display of the human (human icon 86) over the animal 110 (animal icon 88). For example, steps S31 to S38 of FIG. 11 are executed for each human (adult 112 and child 114). Do.
  • the human is prioritized (human icon Display 86 preferentially.).
  • the moving direction of the animal 110 or the human child 114 as a living being whose movement is difficult to predict is estimated.
  • the face direction X is used as a reference to be used, the present invention is not limited to this from the viewpoint of a reference that can be used to predict the movement of a living body whose movement is difficult to predict.
  • the body orientation of the animal 110 or human child 114 may be used together with or instead of the face orientation X of the animal 110 or human child 114.
  • the human adult 112 may perform motions that are difficult to predict, the human adult 112 may also be highlighted using the face direction X or the like.
  • the biological body icon is simultaneously displayed at two places as the highlighting of the biological body icon (FIG. 10), but the biological body icons may be alternately displayed at two places. Further, instead of displaying the living body icon in two places, the second sub-region 100 displaying the living body icon may be shifted in the direction of the face direction X of the living body to display only one place. This makes it possible to call attention to the presence of the living body in a manner that reflects the traveling direction of the living body. For this reason, it becomes possible to issue an appropriate alert to the user.
  • the same highlighting may be performed in any of the first sub-regions 90 where either the animal 110 or the human child 114 is present (FIG. 11).
  • S31 to S33, S37, S38), or the first sub-region 90 to which the animal 110 or human child 114 belongs is the first sub-region 90L, 90R on the left or right or the first sub-region 90C in the middle
  • the type of highlighting may be changed depending on whether or not it is. For example, when either the animal 110 or the human child 114 belongs to the left and right first sub-regions 90L and 90R, two icons are displayed, and when belonging to the central first sub-region 90C, the display color is changed You may go.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　車両周辺監視装置（１０）は、撮像装置（１６Ｌ）からの撮像信号が表す画像（７２）を表示する第１表示部（２６）と、第１表示部（２６）に表示される画像（７２）を構成する複数のサブ領域（９０Ｌ、９０Ｃ、９０Ｒ）にそれぞれ対応付けられた各マーク（８６、８８）の表示の有無によって、画像（７２）の各サブ領域（９０Ｌ、９０Ｃ、９０Ｒ）内における監視対象物（１１０、１１２、１１４）の存否情報を可視化する第２表示部（２８）とを備える。車両周辺監視装置（１０）は、監視対象物（１１０、１１２、１１４）としての生体の顔向き及び身体の向きの少なくとも一方に応じてマーク（８６、８８）の表示を変化させる。

Description

車両周辺監視装置
　この発明は、車両周辺の監視対象物を検知して簡易表示する車両周辺監視装置に関する。
　従来の車両周辺監視装置として、赤外線カメラによる車両前方の画像を運転席前方のディスプレイに表示すると共に、当該画像から検出された歩行者の画像部位を強調表示する装置が知られている｛特開２００９－０６７２１４号公報（以下「ＪＰ ２００９－０６７２１４ Ａ」という。）の図５参照｝。
　また、ディスプレイ内に表示する画像における歩行者の画像部位の強調表示に加えて、ヘッドアップディスプレイ（ＨＵＤ）に、歩行者の存在を知らせるアイコンの表示を行う装置も知られている｛特開２００４－３６４１１２号公報（以下「ＪＰ ２００４－３６４１１２ Ａ」という。）｝。ＪＰ ２００４－３６４１１２ Ａでは、赤外線カメラ２Ｒの撮像画像中に歩行者が存在すると判定した場合、ＨＵＤ８ａに歩行者のアイコン３２、３３を表示する（図６、［００３６］～［００３８］参照）。
　なお、歩行者を検出する技術としては、例えば、２値化情報から歩行者の候補を簡易に選定し、グレースケール情報を用いて歩行者と判定することで処理速度と判定精度の両立を実現可能なものも存在する｛米国特許出願公開第２００３／０１３８１３３号公報（以下「ＵＳ ２００３／０１３８１３３ Ａ１」という。）の要約及び図８参照｝。また、動物を検出する技術も提案されている｛米国特許出願公開第２００８／０１３０９５４号公報（以下「ＵＳ ２００８／０１３０９５４ Ａ１」という。）及び米国特許出願公開第２００７／０２６９０７９号公報（以下「ＵＳ ２００７／０２６９０７９ Ａ１」という。）参照｝。
　上記のように、ＪＰ ２００４－３６４１１２ Ａでは、ＨＵＤ８ａに歩行者の存在を知らせるアイコン３２、３３を表示する。しかしながら、ユーザに対してより適切な注意喚起を行う余地は依然として存在している。
　この発明はこのような課題を考慮してなされたものであり、ユーザに対して適切な注意喚起を行うことが可能な車両周辺監視装置を提供することを目的とする。
　この発明に係る車両周辺監視装置は、車両に搭載された撮像装置から出力された撮像信号に基づいて、前記車両の周辺における監視対象物としての生体を検知するものであって、前記撮像信号が表す画像を表示する第１表示部と、前記第１表示部に表示される前記画像を構成する複数のサブ領域にそれぞれ対応付けられた各マークの表示の有無によって、前記画像の前記各サブ領域内における前記監視対象物の存否情報を可視化する第２表示部とを備え、前記生体の顔向き及び身体の向きの少なくとも一方に応じて前記マークの表示を変化させることを特徴とする。
　この発明によれば、監視対象物の存否を示す第２表示部上のマークの表示を、生体の顔向き及び身体の向きの少なくとも一方に応じて変化させる。顔向き及び身体の向きは、生体の進行方向を示す可能性が高いため、この発明によれば、生体の進行方向を考慮した注意喚起を行うことが可能となる。従って、ユーザに対して適切な注意喚起を行うことが可能となる。
　前記複数のサブ領域の境界線上に存在する前記生体について、前記生体の顔向き又は身体の向きが前記車両の進行方向の中心線と交差する方向である場合、当該境界線を挟んで隣り合う前記サブ領域に対応させて複数の前記マークを同時に又は交互に前記第２表示部に表示してもよい。これにより、複数のサブ領域の境界線上に存在する生体については、生体の顔向き又は身体の向きが車両の進行方向の中心線と交差する方向である場合、当該境界線を挟んで隣り合うサブ領域に対応させて複数のマークを同時に又は交互に表示する。このため、生体の顔向き又は身体の向きに応じて生体の存在を強調表示し、ユーザに対して適切な注意喚起を行うことが可能となる。
　前記生体が属する前記サブ領域と当該サブ領域よりも前記生体の顔向き又は身体の向きの方向に存在する前記サブ領域との両方に前記マークを表示してもよい。これにより、生体の進行方向を反映する形で生体の存在を注意喚起することが可能となる。このため、ユーザに対して適切な注意喚起を行うことが可能となる。
　前記生体の顔向き又は身体の向きが前記車両の進行方向の中心線と交差する方向である場合、前記マークの表示色を、より強い注意喚起を求める警戒色に切り替えてもよい。これにより、生体が車両に向かって来ている場合、生体の存在をより強く注意喚起することが可能となる。このため、ユーザに対して適切な注意喚起を行うことが可能となる。
この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。 前記車両周辺監視装置が組み込まれた車両の概略斜視図である。 前記車両において運転者側から視た眺めを示す図である。 汎用モニタの表示画面の一例を示す図である。 ＭＩＤ（Multi-Information Display）の表示画面の一例を示す図である。 前記汎用モニタ及び前記ＭＩＤの表示の関係を示す図である。 前記車両周辺監視装置の動作の概要を示すフローチャートである。 第１境界線を設定するフローチャート（図７のＳ７の詳細）である。 前記実施形態において、動物の顔向きが外向きである場合の前記車両と前記動物の位置関係、前記汎用モニタのグレースケール画像の一例及び前記ＭＩＤのアイコン画像の一例を示す図である。 前記実施形態において、前記動物の顔向きが内向きである場合における前記車両と前記動物の位置関係、前記汎用モニタのグレースケール画像の一例及び前記ＭＩＤのアイコン画像の一例を示す図である。 前記実施形態において、生体対応部分が属する前記汎用モニタのサブ領域を特定するフローチャート（図７のＳ９の詳細）である。 生体アイコンの強調表示の第１変形例において、前記動物の顔向きが外向きである場合の前記車両と前記動物の位置関係、前記汎用モニタのグレースケール画像の一例及び前記ＭＩＤのアイコン画像の一例を示す図である。 前記強調表示の第１変形例において、前記動物の顔向きが内向きである場合における前記車両と前記動物の位置関係、前記汎用モニタのグレースケール画像の一例及び前記ＭＩＤのアイコン画像の一例を示す図である。 前記強調表示の第１変形例において、前記生体対応部分が属する前記汎用モニタのサブ領域を特定するフローチャートである。 前記強調表示の第１変形例において、前記生体アイコンの表示色を設定するフローチャート（図７のＳ１１の詳細の第１変形例）である。 前記生体アイコンの強調表示の第２変形例における前記車両と前記動物の位置関係、前記汎用モニタのグレースケール画像の一例及び前記ＭＩＤのアイコン画像の一例を示す図である。 前記強調表示の第２変形例において、前記生体アイコンの表示色を設定するフローチャート（図７のＳ１１の詳細の第２変形例）である。 前記生体アイコンの強調表示の第３変形例における前記車両と前記動物の位置関係、前記汎用モニタのグレースケール画像の一例及び前記ＭＩＤのアイコン画像の一例を示す図である。 前記強調表示の第３変形例において、前記生体対応部分が属する前記汎用モニタのサブ領域を特定するフローチャートである。 前記生体アイコンの強調表示の第４変形例における前記車両と前記動物の位置関係、前記汎用モニタのグレースケール画像の一例及び前記ＭＩＤのアイコン画像の一例を示す図である。 前記強調表示の第４変形例において、前記生体対応部分が属する前記汎用モニタのサブ領域を特定するフローチャートである。 前記生体アイコンの強調表示の第５変形例において、前記動物及びヒトの大人に対応する生体対応部分それぞれが中央の第１サブ領域に属する場合の前記車両、前記動物及び前記ヒトの大人の位置関係、前記汎用モニタのグレースケール画像の一例及び前記ＭＩＤのアイコン画像の一例を示す図である。 前記強調表示の第５変形例において、前記動物に対応する生体対応部分が左側の第１サブ領域に属し、ヒトの子供に対応する生体対応部分が右側の第１サブ領域に属する場合における前記車両、前記動物及び前記ヒトの子供の位置関係、前記汎用モニタのグレースケール画像の一例及び前記ＭＩＤのアイコン画像の一例を示す図である。 前記強調表示の第５変形例において、前記生体対応部分が属する汎用モニタのサブ領域を特定するフローチャートである。
Ａ．一実施形態
［１．構成］
（１－１．全体構成）
　図１は、この発明の一実施形態に係る車両周辺監視装置１０（以下「監視装置１０」ともいう。）の構成を示すブロック図である。図２は、監視装置１０が組み込まれた車両１２の概略斜視図である。図３は、車両１２において運転者側から視た眺めを示す図である。なお、図３は、車両全般が右側走行することを取り決められている国の道路を車両１２が走行している状況を示しており、車両１２は左ハンドル車として図示されている。代わりに、右ハンドル車であっても同様の構成を採用することができる。
　図１及び図２に示すように、車両周辺監視装置１０は、左右の赤外線カメラ１６Ｌ、１６Ｒ（以下「カメラ１６Ｌ、１６Ｒ」ともいう。）と、車速センサ１８と、ヨーレートセンサ２０と、電子制御装置２２（以下「ＥＣＵ２２」という。）と、スピーカ２４と、汎用モニタ２６（以下「モニタ２６」ともいう。）と、ＭＩＤ２８（Multi-Information Display）とを有する。
（１－２．赤外線カメラ１６Ｌ、１６Ｒ）
　赤外線カメラ１６Ｌ、１６Ｒは、車両１２の周囲を撮像する撮像装置として機能する。本実施形態では、２つのカメラ１６Ｌ、１６Ｒを組み合わせてステレオカメラを構成する。カメラ１６Ｌ、１６Ｒは、被写体の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有する。
　図２に示すように、カメラ１６Ｌ、１６Ｒは、車両１２の前部バンパー部に、車両１２の車幅方向中心部に対して略対称な位置に配置されている。また、２つのカメラ１６Ｌ、１６Ｒは、それらの光軸が互いに平行であり、且つ両者の路面からの高さが等しくなるように固定されている。
　なお、車両１２の周囲を撮像する撮像装置は、図２に示す構成例に限られることなく、種々の構成を採り得る。例えば、撮像装置は、複眼（ステレオカメラ）であっても単眼（１つのカメラ）であってもよい。この場合、別の測距手段（レーダ装置）を併せて備えることが好ましい。また、赤外線カメラに代替して、主に可視光領域の波長を有する光を利用するカメラ（カラーカメラともいう。）を用いてもよく、或いは両方を併せ備えてもよい。
（１－３．車速センサ１８及びヨーレートセンサ２０）
　車速センサ１８は、車両１２の車速Ｖ［ｋｍ／ｈ］を検出し、ＥＣＵ２２に出力する。ヨーレートセンサ２０は、車両１２のヨーレートＹｒ［°／ｓｅｃ］を検出し、ＥＣＵ２２に出力する。
（１－４．ＥＣＵ２２）
　ＥＣＵ２２は、監視装置１０を制御するものであり、図１に示すように、入出力部３０、演算部３２及び記憶部３４を有する。
　カメラ１６Ｌ、１６Ｒ、車速センサ１８及びヨーレートセンサ２０からの各信号は、入出力部３０を介してＥＣＵ２２に供給される。また、ＥＣＵ２２からの出力信号は、入出力部３０を介してスピーカ２４、モニタ２６及びＭＩＤ２８に出力される。入出力部３０は、入力されたアナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路を備える。
　演算部３２は、カメラ１６Ｌ、１６Ｒ、車速センサ１８及びヨーレートセンサ２０からの各信号に基づく演算を行い、演算結果に基づきスピーカ２４、モニタ２６及びＭＩＤ２８に対する信号を生成する。
　図１に示すように、演算部３２は、２値化機能４０、生体抽出機能４２、生体種別判定機能４４、スピーカ制御機能４６、汎用モニタ制御機能４８及びＭＩＤ制御機能５０を有する。各機能４０、４２、４４、４６、４８、５０は、記憶部３４に記憶されているプログラムを実行することにより実現される。或いは、前記プログラムは、図示しない無線通信装置（携帯電話機、スマートフォン等）を介して外部（サーバ等）から供給されてもよい。
　２値化機能４０は、カメラ１６Ｌ、１６Ｒの一方（本実施形態では、左側のカメラ１６Ｌ）が取得したグレースケール画像７２（図４）を２値化して２値化画像（図示せず）を生成する。生体抽出機能４２は、グレースケール画像７２及び前記２値化画像を用いて、これらの画像中におけるヒトや動物等の生体（監視対象物）を抽出する。生体種別判定機能４４は、抽出された監視対象物が、ヒト（大人、子供）、動物及びその他（判定不能なものを含む。）のいずれであるかを判定する。スピーカ制御機能４６は、スピーカ２４に警報音を出力させる等、スピーカ２４を制御する。汎用モニタ制御機能４８は、汎用モニタ２６に対してグレースケール画像７２を表示させる等、汎用モニタ２６を制御する。
　ＭＩＤ制御機能５０は、ＭＩＤ２８に対してヒト及び動物等の生体のアイコン（以下「生体アイコン」という。）を表示させる等、ＭＩＤ２８を制御する。図１に示すように、ＭＩＤ制御機能５０は、境界線設定機能５２、顔向き検出機能５４、サブ領域選択機能５６、アイコン表示色設定機能５８（以下「表示色設定機能５８」ともいう。）及びアイコン表示機能６０を有する。各機能５２、５４、５６、５８、６０の詳細については後述する。
　記憶部３４は、デジタル信号に変換された撮像信号、各種演算処理に供される一時データ等を記憶するＲＡＭ（Random Access Memory）、及び実行プログラム、テーブル又はマップ等を記憶するＲＯＭ（Read Only Memory）等で構成される。
（１－５．スピーカ）
　スピーカ２４は、ＥＣＵ２２からの指令に応じて、警報音等の出力を行う。スピーカ２４は、ダッシュボード６２（図３）に設けられる（但し、図３において、スピーカ２４は図示していない。）。図示しないオーディオ装置又はナビゲーション装置に設けられているスピーカをスピーカ２４として用いてもよい。
（１－６．汎用モニタ２６）
　汎用モニタ２６（第１表示部）は、カラー画像又はモノクロ画像を表示可能であり、例えば、液晶パネル、有機ＥＬ（Electro-Luminescence）パネル又は無機ＥＬパネルを備える。図２及び図３に示すように、汎用モニタ２６は、ダッシュボード６２の所定部位（具体的には、ハンドル６４の配設位置に対して右方の部位）に配設されている。
　図４は、汎用モニタ２６の表示画面の一例を示す図である。図４において、モニタ２６の表示領域（以下「第１表示領域７０」又は「表示領域７０」という。）には、左側のカメラ１６Ｌが撮像したグレースケール画像７２が表示されている。
　グレースケール画像７２には、汎用モニタ制御機能４８が生成した強調表示を付加することができる。すなわち、図４に示すように、ヒトや動物等の生体が抽出された箇所（以下「生体対応部分７４」という。）には、強調枠７６が表示される。或いは、生体対応部分７４に着色してもよい。或いは、強調枠７６の表示及び生体対応部分７４の着色の両方を行うこともできる。或いは、その他の方法による強調であってもよい。
　なお、汎用モニタ２６は、左側のカメラ１６Ｌからのグレースケール画像７２の代わりに、右側のカメラ１６Ｒからのグレースケール画像７２を表示してもよい。また、汎用モニタ２６は、カメラ１６Ｌ又はカメラ１６Ｒからのグレースケール画像７２に加え、その他の画像、例えば、ナビゲーション用の各種画像（道路地図、サービス情報等）、動画コンテンツ等を同時に又は切り替えて表示してもよい。各画像の切替えは、例えば、特定のプッシュボタンの押圧、又は切替え条件の事前設定により行うことが可能である。
（１－７．ＭＩＤ２８）
　ＭＩＤ２８（第２表示部）は、車両１２の運転の際の付随情報を可視化して表示する簡易表示装置（アイコン表示装置）であり、汎用モニタ２６（特に、その表示用パネル）よりも構成が簡便で、且つ安価な表示モジュールである。例えば、汎用モニタ２６よりも解像度の低い表示用パネル（例えば、ノンインタレース方式で動作するもの）をＭＩＤ２８として用いることができる。
　図２及び図３に示すように、ＭＩＤ２８は、計器盤６６の上側近傍のダッシュボード６２（又は計器盤６６内）に設けられる。ＭＩＤ２８は、運転者がハンドル６４の上側の隙間を介してＭＩＤ２８を視認可能となるような位置に配置されている。これにより、運転者は、車両１２の前方へ顔を向けた状態のまま、ＭＩＤ２８を見ることが可能となる。
　図５は、ＭＩＤ２８の表示画面の一例を示す図である。図５において、ＭＩＤ２８の表示領域（以下「第２表示領域８０」又は「表示領域８０」という。）には、グレースケール画像７２に対応する各種のアイコンを含む画像（以下「アイコン画像８２」という。）が表示される。
　例えば、図５に示すように、表示領域８０の下側には、車両１２の進行方向の道路を示す道路アイコン８４が表示されている。道路アイコン８４は、３本のライン、すなわち、左から順に、ライン８４Ｌ、８４Ｃ、８４Ｒで構成されている。ライン８４Ｌ、８４Ｒ間の幅は、表示領域８０のうち遠方位置を想起させる上側ほど狭くなっている。すなわち、道路アイコン８４の表示により、運転席から前方の直線道路を眺めたときの道路形状を、運転者に観念させることができる。
　また、図５に示すように、表示領域８０の上側には、車両１２の周囲に存在する歩行者を示すヒトアイコン８６（マーク）を表示することができる。本実施形態のヒトアイコン８６は、ヒトの歩行者について大人及び子供の区別なく用いられる。もちろんそのような区別をつけ、ヒトの大人と子供とで別々のアイコンを用いてよい。また、ヒトアイコン８６は、表示領域８０の３箇所（すなわち、左側、中央及び右側）に表示可能である（図５、図６等参照）。
　なお、ヒトアイコン８６の代わりに、その他の生体を示すアイコン｛例えば、動物を示す動物アイコン８８（マーク）（図９等参照））を表示することもできる。
　また、ＭＩＤ２８は、上記の各種アイコン（道路アイコン８４、ヒトアイコン８６及び動物アイコン８８）を表示する代わりに、車両１２の燃費、現在時刻、計器盤６６に関する情報等を表示してもよい。各情報（画像）の切替えは、例えば、特定のプッシュボタンの押圧、又は切替え条件の事前設定により行うことが可能である。
［２．汎用モニタ２６及びＭＩＤ２８の表示の関係］
　図６は、汎用モニタ２６及びＭＩＤ２８の表示の関係を示す図である。図６に示すように、本実施形態では、グレースケール画像７２を車幅方向に３つの領域（以下「第１サブ領域９０Ｌ、９０Ｃ、９０Ｒ」又は「サブ領域９０Ｌ、９０Ｃ、９０Ｒ」といい、「第１サブ領域９０」又は「サブ領域９０」と総称する。）に分ける。以下では、各第１サブ領域９０の境界線（以下「第１境界線９２Ｌ、９２Ｒ」又は「境界線９２Ｌ、９２Ｒ」といい、「第１境界線９２」又は「境界線９２」と総称する。）は、実際のグレースケール画像７２には含まれない仮想的な線であり、車幅方向に変位させることができる（詳細は、図８を用いて後述する。）。なお、実際の処理では、サブ領域９０を用いずに、境界線９２のみを用いることも可能である。境界線９２は、ＭＩＤ２８の道路アイコン８４のように、車線に沿う形（上に行く程、狭まる形状）であってもよい。
　また、図６に示すように、アイコン画像８２を車幅方向に３つの領域（以下「第２サブ領域１００Ｌ、１００Ｃ、１００Ｒ」又は「サブ領域１００Ｌ、１００Ｃ、１００Ｒ」といい、「第２サブ領域１００」又は「サブ領域１００」と総称する。）に分ける。アイコン画像８２における各第２サブ領域１００の境界線（以下「第２境界線１０２Ｌ、１０２Ｒ」又は「境界線１０２Ｌ、１０２Ｒ」といい、「第２境界線１０２」又は「境界線１０２」と総称する。）は、実際のアイコン画像８２には含まれない仮想的な線であると共に、固定されており、変化しない。第２境界線１０２Ｌ、１０２Ｒは、それぞれ第１境界線９２Ｌ、９２Ｒと対応付けられている。境界線９２と同様、境界線１０２は、ＭＩＤ２８の道路アイコン８４のように、車線に沿う形（上に行く程、狭まる形状）であってもよい。
　本実施形態では、グレースケール画像７２中の生体対応部分７４が属する第１サブ領域９０（以下「第１生体存在サブ領域」という。）を判定し、ＭＩＤ２８におけるアイコン画像８２の第２サブ領域１００のうち第１生体存在サブ領域に対応するもの（以下「第２生体存在サブ領域」という。）に生体アイコン（ヒトアイコン８６、動物アイコン８８等）を表示する。
　なお、所定の場合には、表示する生体アイコンの数を１から２に増加させる、生体アイコンの表示色を変化させる等の処理を行うことができる（詳細は後述する。）。
［３．車両周辺監視装置１０の動作］
（３－１．概要）
　図７は、車両周辺監視装置１０の動作の概要を示すフローチャートである。ステップＳ１において、赤外線カメラ１６Ｌ、１６Ｒは、車両１２の周辺を撮像する。ステップＳ２において、ＥＣＵ２２は、カメラ１６Ｌ、１６Ｒからの信号をＡ／Ｄ変換してグレースケール画像７２を取得する。ステップＳ３において、ＥＣＵ２２は、２値化処理を実行する。２値化処理では、グレースケール画像７２を２値化して２値化画像（図示せず）を取得する。
　ステップＳ４において、ＥＣＵ２２は、取得した２値化画像及びグレースケール画像７２から生体対応部分７４を抽出する。生体はその周囲より高温となっているので、２値化画像及びグレースケール画像７２において生体に対応する部分（生体対応部分７４）は高輝度となる。従って、２値化画像及びグレースケール画像７２において、輝度が所定の閾値以上の画素の領域を探索することにより、生体対応部分７４を抽出することが可能となる。
　なお、２値化画像及びグレースケール画像７２の両方を用いるのは、２値化画像を用いて簡易に生体の存在を特定し、その後、グレースケール画像７２を用いて生体に関する詳細な情報を取得するためである。そのような処理として、例えば、ＵＳ ２００３／０１３８１３３ Ａ１に記載のものを用いることができる。また、２値化画像及びグレースケール画像７２の一方のみを用いて生体対応部分７４を抽出してもよい。
　ステップＳ５において、ＥＣＵ２２は、抽出した生体対応部分７４が示す生体の種別を判定する。すなわち、抽出した生体対応部分７４が、ヒトの大人、子供及び動物のいずれに対応するものなのかを判定する。判定される種別は、その他のものであってもよい。
　ステップＳ６において、ＥＣＵ２２は、生体対応部分７４を強調したグレースケール画像７２を汎用モニタ２６に表示する。上述したように、強調表示は、例えば、強調枠７６の表示（図４）及び生体対応部分７４の着色の少なくとも一方等を行う。
　ステップＳ７において、ＥＣＵ２２は、グレースケール画像７２又は前記２値化画像において第１境界線９２Ｌ、９２Ｒ（図６）を設定して第１サブ領域９０を特定する（詳細は後述する。）。
　ステップＳ８において、ＥＣＵ２２は、抽出した生体対応部分７４のうちヒトの子供及び動物に対応するものから当該子供又は動物の顔向きを検出する。なお、顔向きの代わりに又は顔向きに加えて、当該子供又は動物の身体の向きを検出してもよい。顔向き又は身体の向きの検出方法としては、例えば、ＵＳ ２００８／０１３０９５４ Ａ１及びＵＳ ２００７／０２６９０７９ Ａ１に記載のものを利用することができる。ここにいう顔向き又は身体の向きの検出とは、例えば、平面視におけるカメラ１６Ｌの光軸に対する角度を具体的に算出できることが好ましいが、車両１２又は運転者から見て左右いずれを向いているか（換言すると、内向き又は外向きのいずれであるか）の区別であってもよい。
　ステップＳ９において、ＥＣＵ２２は、生体対応部分７４が属する第１サブ領域９０（第１生体存在サブ領域）を判定する。なお、本実施形態において、生体対応部分７４が境界線９２上にある場合、当該境界線９２を挟む２つの第１サブ領域９０を、生体対応部分７４が属する第１サブ領域９０と判定する場合がある（詳細は後述する。）。
　ステップＳ１０において、ＥＣＵ２２は、第１生体存在サブ領域に対応する第２サブ領域１００（第２生体存在サブ領域）を判定する。
　ステップＳ１１において、ＥＣＵ２２は、第２生体存在サブ領域における生体アイコンの表示色（警報色）を設定する。当該表示色は、本実施形態では、単色（黄色のみ）であるため、ステップＳ１１の処理は省略してもよい。また、後述するように、状況に応じて、生体アイコンの表示色を変化させることもできる。
　ステップＳ１２において、ＥＣＵ２２は、生体を示す生体アイコン（ヒトアイコン８６等）を、ステップＳ１０で判定した第２生体存在サブ領域に表示する。なお、車両１２と生体との間の接触可能性が高い場合、スピーカ２４から警告音を発してもよい。
（３－２．第１境界線９２の設定）
　図８は、第１境界線９２を設定するフローチャート（図７のＳ７の詳細）である。ステップＳ２１において、ヨーレートセンサ２０は、車両１２のヨーレートＹｒを検出する。ステップＳ２２において、ＥＣＵ２２は、車両１２が左旋回中であるか否かを、ヨーレートセンサ２０が検出したヨーレートＹｒに基づいて判定する。例えば、左旋回中であるか否かを判定するためのヨーレートＹｒの閾値（左旋回判定閾値）を設定しておき、検出したヨーレートＹｒが左旋回判定閾値を超えるか否かを判定する。
　車両１２が左旋回中でない場合（Ｓ２２：ＮＯ）、ステップＳ２４に進む。車両１２が左旋回中である場合（Ｓ２２：ＹＥＳ）、ステップＳ２３において、ＥＣＵ２２は、各第１境界線９２を左にシフトさせる。これにより、車両１２の正面付近に生体が存在する場合でも、ＭＩＤ２８の右側のサブ領域１００Ｒに生体アイコンが表示される場合が生じる。また、車両１２の左前方に生体が存在する場合でも、ＭＩＤ２８の中央のサブ領域１００Ｃに生体アイコンが表示される場合が生じる。さらに、車両１２の右前方に生体が存在する場合でも、ＭＩＤ２８には生体アイコンが表示されない場合が生じる。これらの結果、車両１２の進行方向（左方向）に合わせてＭＩＤ２８の表示を行うことが可能となる。
　ステップＳ２４において、ＥＣＵ２２は、車両１２が右旋回中であるか否かを、ヨーレートセンサ２０が検出したヨーレートＹｒに基づいて判定する。例えば、右旋回中であるか否かを判定するためのヨーレートＹｒの閾値（右旋回判定閾値）を設定しておき、検出したヨーレートＹｒが右旋回判定閾値を超えるか否かを判定する。
　車両１２が右旋回中でない場合（Ｓ２４：ＮＯ）、今回の処理を終える。車両１２が右旋回中である場合（Ｓ２４：ＹＥＳ）、ステップＳ２５において、ＥＣＵ２２は、各第１境界線９２を右にシフトさせる。これにより、車両１２の正面付近に生体が存在する場合でも、ＭＩＤ２８の左側のサブ領域１００Ｌに生体アイコンが表示される場合が生じる。また、車両１２の右前方に生体が存在する場合でも、ＭＩＤ２８の中央のサブ領域１００Ｃに生体アイコンが表示される場合が生じる。さらに、車両１２の左前方に生体が存在する場合でも、ＭＩＤ２８には生体アイコンが表示されない場合が生じる。これらの結果、車両１２の進行方向（右方向）に合わせてＭＩＤ２８の表示を行うことが可能となる。
（３－３．生体対応部分７４が属する第１サブ領域９０の特定）
（３－３－１．生体対応部分７４が属する第１サブ領域９０の特定の考え方）
　図９及び図１０は、生体対応部分７４が属する第１サブ領域９０（第１生体存在サブ領域）の特定方法を説明する図である。すなわち、図９は、生体としての動物１１０の顔向きＸが外向き｛車両１２の進行方向の中心線Ａｘ（例えば、カメラ１６Ｌの光軸）とは反対に向かう方向｝である場合の車両１２と動物１１０の位置関係、汎用モニタ２６のグレースケール画像７２の一例及びＭＩＤ２８のアイコン画像８２の一例を示す図である。図１０は、動物１１０の顔向きＸが内向き（中心線Ａｘに向かう方向）である場合における車両１２と動物１１０の位置関係、汎用モニタ２６のグレースケール画像７２の一例及びＭＩＤ２８のアイコン画像８２の一例を示す図である。図９及び図１０において、αは、赤外線カメラ１６Ｌの映像画角を示す（その他の図においても同じである。）。
　図９に示すように、監視対象物としての動物１１０の顔向きＸが外向きであり且つ動物１１０（生体対応部分７４）が第１境界線９２Ｌ上にある場合、ＭＩＤ２８に表示する動物アイコン８８は、１箇所のみとする。一方、図１０に示すように、動物１１０の顔向きＸが内向きであり且つ動物１１０（生体対応部分７４）が第１境界線９２Ｌ上にある場合、ＭＩＤ２８に表示する動物アイコン８８は、２箇所とする。これにより、動物１１０の顔向きＸが内向きであり且つ動物１１０（生体対応部分７４）が第１境界線９２Ｌ上にあるとき、運転者に動物１１０を強調して通知することが可能となる。後述するように、動物アイコン８８を複数箇所表示する代わりに又はこれに加えて、動物アイコン８８の表示色を変化させることもできる。ヒトの子供の場合も同様である。
（３－３－２．生体対応部分７４が属する第１サブ領域９０の特定処理）
　図１１は、生体対応部分７４が属する第１サブ領域９０（第１生体存在サブ領域）を特定するフローチャート（図７のＳ９の詳細）である。ステップＳ３１において、ＥＣＵ２２は、図７のステップＳ５で判定した生体の種類が、動物１１０又はヒトの子供であるか否かを判定する。動物１１０及びヒトの子供でない場合、すなわち、ヒトの大人又はその他の生体である場合（Ｓ３１：ＮＯ）、ステップＳ３４に進む。動物１１０又はヒトの子供である場合（Ｓ３１：ＹＥＳ）、ステップＳ３２において、ＥＣＵ２２は、生体（動物１１０又はヒトの子供）の顔向きＸを検出する。
　ステップＳ３３において、ＥＣＵ２２は、生体の顔が内向きであるか否かを判定する。顔が内向きでない場合（Ｓ３３：ＮＯ）、ステップＳ３４において、ＥＣＵ２２は、生体対応部分７４が第１境界線９２上にあるか否かを判定する。生体対応部分７４が第１境界線９２上にない場合（Ｓ３４：ＮＯ）、ステップＳ３５において、ＥＣＵ２２は、生体対応部分７４が存在する第１サブ領域９０を選択する。生体対応部分７４が第１境界線９２上にある場合（Ｓ３４：ＹＥＳ）、ステップＳ３６において、ＥＣＵ２２は、中央のサブ領域９０Ｃを第１生体存在サブ領域として選択する。
　ステップＳ３３において顔が内向きである場合（Ｓ３３：ＹＥＳ）、ステップＳ３７において、ＥＣＵ２２は、生体対応部分７４が第１境界線９２上にあるか否かを判定する。
　生体対応部分７４が第１境界線９２上にない場合（Ｓ３７：ＮＯ）、ステップＳ３５において、ＥＣＵ２２は、生体対応部分７４が存在する第１サブ領域９０を選択する。生体対応部分７４が第１境界線９２上にある場合（Ｓ３７：ＹＥＳ）、ステップＳ３８において、ＥＣＵ２２は、２つの第１サブ領域９０を第１生体存在サブ領域として選択する。例えば、生体対応部分７４が左側の第１境界線９２Ｌ上にある場合、ＥＣＵ２２は、中央のサブ領域９０Ｃ及び左側のサブ領域９０Ｌを選択する。生体対応部分７４が右側の第１境界線９２Ｒ上にある場合、ＥＣＵ２２は、中央の第１サブ領域９０Ｃ及び右側の第１サブ領域９０Ｒを選択する。
　そして、上記のように、ＥＣＵ２２は、選択された第１サブ領域９０に対応する第２サブ領域１００に生体アイコン（動物アイコン８８等）を表示する（図７のＳ１２及び図１０）。
［４．本実施形態の効果］
　以上のように、本実施形態によれば、ＭＩＤ２８上の生体アイコンの表示を、生体の顔向きＸに応じて変化させる（図１１のＳ３３等参照）。顔向きＸは、生体の進行方向を示す可能性が高いため、本実施形態によれば、生体の進行方向を考慮した注意喚起を行うことが可能となる。従って、ユーザに対して適切な注意喚起を行うことが可能となる。
　本実施形態では、動物１１０又はヒトの子供に対応する生体対応部分７４が第１境界線９２上に存在し、動物１１０又はヒトの子供の顔が内側を向いている場合（図１１のＳ３１：ＹＥＳ→Ｓ３３：ＹＥＳ→Ｓ３７：ＹＥＳ）、当該境界線９２を挟んで隣り合う第１サブ領域９０に対応させて複数の生体アイコンを同時にＭＩＤ２８に表示する（Ｓ３８及び図１０）。本実施形態によれば、第１境界線９２上に存在する生体については、顔が内向きの場合、境界線９２を挟んで隣り合う第１サブ領域９０に対応させて複数の生体アイコンを同時に表示する。このため、生体の顔向きＸに応じて生体の存在を強調表示し、ユーザに対して適切な注意喚起を行うことが可能となる。
Ｂ．変形例
　なお、この発明は、上記実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
［１．搭載対象］
　上記実施形態において、車両１２は、四輪車を前提としていたが（図２参照）、車両周辺監視装置１０を搭載する車両１２は、これに限らない。例えば、二輪車（自転車を含む。）、三輪車又は六輪車にも搭載することが可能である。
　上記実施形態において、監視装置１０を車両１２に搭載したが、周辺の監視対象物を検知し、これをユーザに報知するものであれば、別の移動体にも搭載することができる。当該移動体として、例えば、船舶及び航空機を挙げることができる。
［２．撮像装置］
　上記実施形態では、車両１２の周囲を撮像する撮像装置として、２つの赤外線カメラ１６Ｌ、１６Ｒを用いたが、車両１２の周囲を撮像することができるものであれば、これに限らない。例えば、撮像装置は、複眼（ステレオカメラ）であっても単眼（１つのカメラ）であってもよい。また、赤外線カメラに代替して、主に可視光領域の波長を有する光を利用するカメラ（カラーカメラ）を用いてもよく、あるいは両方を併せ備えてもよい。
［３．汎用モニタ２６（第１表示部）及びＭＩＤ２８（第２表示部）］
　上記実施形態では、赤外線カメラ１６Ｌからのグレースケール画像７２を表示するものとして汎用モニタ２６を用いたが、撮像手段が撮像した画像を表示するものであれば、これに限らない。また、上記実施形態では、汎用モニタ２６に表示するグレースケール画像７２に強調枠７６を表示させたが、強調表示を付することなく、カメラ１６Ｌからのグレースケール画像７２をそのまま汎用モニタ２６に表示してもよい。
　上記実施形態では、生体アイコン（マーク）を表示するものとして、ノンインタレース方式で動作する比較的汎用性のある表示装置をＭＩＤ２８として用いたが、これに限らず、生体アイコンのみを表示するインジケータを複数（例えば３つ）並べたものをＭＩＤ２８の代わりに用いることもできる。或いは、ＪＰ ２００４－３６４１１２ Ａの図２に示すようなヘッドアップディスプレイ（ＨＵＤ）をＭＩＤ２８の代わりに用いることも可能である。
　上記実施形態では、汎用モニタ２６とＭＩＤ２８の両方を用いたが、ＭＩＤ２８のみを用いる構成も可能である。この場合、カメラ１６Ｌで取得したグレースケール画像７２は、ＭＩＤ２８に表示するために用いられる。
［４．生体アイコンの表示］
（４－１．第１サブ領域９０及び第２サブ領域１００）
　上記実施形態では、第１サブ領域９０及び第２サブ領域１００をそれぞれ３箇所としたが、第１サブ領域９０及び第２サブ領域１００は複数であれば、これに限らない。例えば、第１サブ領域９０及び第２サブ領域１００をそれぞれ２箇所又は４箇所以上とすることが可能である。
　上記実施形態では、第１サブ領域９０及び第２サブ領域１００を横方向（車幅方向）で分割したが、分割方向又は分割領域は、これに限らない。例えば、第１サブ領域９０及び第２サブ領域１００を縦方向（進行方向）で分割することもできる。或いは、境界線９２、１０２は、ＭＩＤ２８の道路アイコン８４のように、車線に沿う形（上に行く程、狭まる形状）とした場合、第１サブ領域９０及び第２サブ領域１００をこれらの境界線９２、１０２に合わせた形状で分割してもよい。
（４－２．生体アイコンの強調表示）
（４－２－１．強調表示に関する基本的な考え方）
　上記実施形態では、生体アイコン（動物アイコン８８等）を２箇所に表示する条件として、生体が動物１１０又はヒトの子供であり（図１１のＳ３１：ＹＥＳ）、生体の顔向きＸが内向きであり（Ｓ３３：ＹＥＳ）且つ生体対応部分７４が第１境界線９２上にあること（Ｓ３７：ＹＥＳ）を条件としたが、例えば、監視対象物としての生体の動きが予測困難である場合（換言すると、生体に理性的な動きを期待できない場合又は飛出しの危険が比較的高い場合）に強調表示する観点からすれば、強調表示の条件は、これに限らない。
　また、上記実施形態では、生体アイコンの強調表示として、生体アイコンを２箇所で同時に表示したが（図１０）、強調表示の方法は、これに限らない。
　上記実施形態では、動きを予測困難な生体（換言すると、生体に理性的な動きを期待できない生体又は飛出しの危険が比較的高い生体）として、動物１１０及びヒトの子供の両方を想定していたが（図１１のＳ３１）、動物１１０及びヒトの子供の一方のみでもよい。或いは、その他の生体（例えば、動物１１０をさらに細分化した主体）を設定してもよい。
（４－２－２．生体アイコンの強調表示の第１変形例）
　図１２及び図１３は、生体アイコンの強調表示の第１変形例を説明する図である。すなわち、図１２は、強調表示の第１変形例において、生体としての動物１１０の顔向きＸが外向き（中心線Ａｘとは反対に向かう方向）である場合の車両１２と動物１１０の位置関係、汎用モニタ２６のグレースケール画像７２の一例及びＭＩＤ２８のアイコン画像８２の一例を示す図である。図１３は、強調表示の第１変形例において、動物１１０の顔向きＸが内向き（中心線Ａｘに向かう方向）である場合における車両１２と動物１１０の位置関係、汎用モニタ２６のグレースケール画像７２の一例及びＭＩＤ２８のアイコン画像８２の一例を示す図である。
　図１２に示すように、動物１１０の顔向きＸが外向きであり且つ動物１１０（生体対応部分７４）が第１境界線９２Ｌ上にある場合、ＭＩＤ２８に表示する動物アイコン８８は、通常警戒色（例えば、黄色）とする。一方、図１３に示すように、動物１１０の顔向きＸが内向きであり且つ動物１１０（生体対応部分７４）が第１境界線９２Ｌ上にある場合、ＭＩＤ２８に表示する動物アイコン８８は、通常の警戒色よりもさらなる注意喚起を促すための特別警戒色（例えば、赤色）とする。これにより、動物１１０の顔向きＸが内向きであり且つ動物１１０（生体対応部分７４）が第１境界線９２Ｌ上にある場合、運転者に動物１１０を強調して通知することが可能となる。ヒトの子供の場合も同様である。
　図１４は、強調表示の第１変形例において、生体対応部分７４が属する汎用モニタ２６のサブ領域９０を特定するフローチャート（図１１の第１変形例）である。図１５は、強調表示の第１変形例において、生体アイコンの表示色を設定するフローチャート（図７のＳ１１の詳細の第１変形例）である。
　図１４のステップＳ４１～Ｓ４３は、図１１のステップＳ３４～Ｓ３６と同様である。従って、図１４の処理は、図１１と比べて簡略化され、強調表示としての処理も存在しない。その代わりに、図１５の処理により、強調表示としての生体アイコンの表示色の切替えが行われる。
　図１５のステップＳ５１～Ｓ５３は、図１１のステップＳ３１～Ｓ３３と同様である。すなわち、図１５のステップＳ５１において、ＥＣＵ２２は、図７のステップＳ５で判定した生体の種類が、動物１１０又はヒトの子供であるか否かを判定する。動物１１０及びヒトの子供でない場合、すなわち、ヒトの大人又はその他の生体である場合（Ｓ５１：ＮＯ）、ステップＳ５４に進む。動物１１０又はヒトの子供である場合（Ｓ５１：ＹＥＳ）、ステップＳ５２において、ＥＣＵ２２は、生体（動物１１０又はヒトの子供）の顔向きＸを検出する。
　ステップＳ５３において、ＥＣＵ２２は、生体の顔が内向きであるか否かを判定する。顔が内向きでない場合（Ｓ５３：ＮＯ）、ステップＳ５４において、ＥＣＵ２２は、生体アイコンの表示色を通常警戒色（例えば、黄色）に設定する。顔が内向きである場合（Ｓ５３：ＹＥＳ）、ステップＳ５５において、ＥＣＵ２２は、生体アイコンの表示色を特別警戒色（例えば、赤色）に設定する。
（４－２－３．生体アイコンの強調表示の第２変形例）
　図１６は、生体アイコンの強調表示の第２変形例を説明する図である。すなわち、図１６は、強調表示の第２変形例における車両１２と動物１１０の位置関係、汎用モニタ２６のグレースケール画像７２の一例及びＭＩＤ２８のアイコン画像８２の一例を示す図である。
　図１６に示すように、強調表示の第２変形例では、抽出された生体対応部分７４が動物１１０又はヒトの子供に対応する場合、ＭＩＤ２８に表示する生体アイコン（動物アイコン８８等）は、特別警戒色（例えば、赤色）とする。一方、図示していないが、抽出された生体対応部分７４が動物１１０及びヒトの子供以外に対応する場合、ＭＩＤ２８に表示する生体アイコン（ヒトアイコン８６）は、通常警戒色（例えば、黄色）とする。これにより、運転者に動物１１０又はヒトの子供を強調して通知することが可能となる。
　図１７は、強調表示の第２変形例において、生体アイコンの表示色を設定するフローチャート（図７のＳ１１の詳細の第２変形例）である。図１７のステップＳ６１～Ｓ６３は、図１５のステップＳ５１、Ｓ５４、Ｓ５５と同様である。
　すなわち、ステップＳ６１において、ＥＣＵ２２は、図７のステップＳ５で判定した生体の種類が、動物１１０又はヒトの子供であるか否かを判定する。動物１１０及びヒトの子供でない場合、すなわち、ヒトの大人又はその他の生体である場合（Ｓ６１：ＮＯ）、ステップＳ６２において、ＥＣＵ２２は、生体アイコンの表示色として通常警戒色（例えば、黄色）を設定する。動物１１０又はヒトの子供である（Ｓ６１：ＹＥＳ）、ステップＳ６３において、ＥＣＵ２２は、生体アイコンの表示色として特別警戒色（例えば、赤色）を設定する。なお、生体アイコンを表示する第２サブ領域１００は、例えば、図１４のフローチャートを用いて判定する。
（４－２－４．生体アイコンの強調表示の第３変形例）
　図１８は、生体アイコンの強調表示の第３変形例を説明する図である。すなわち、図１８は、強調表示の第３変形例における車両１２と動物１１０の位置関係、汎用モニタ２６のグレースケール画像７２の一例及びＭＩＤ２８のアイコン画像８２の一例を示す図である。
　図１８に示すように、強調表示の第３変形例では、動物１１０（生体対応部分７４）が左側の第１サブ領域９０Ｌにいる場合、ＭＩＤ２８の動物アイコン８８は、動物１１０の現在位置に対応する左側の第２サブ領域１００Ｌとその隣りの中央の第２サブ領域１００Ｃに表示する。換言すると、生体が動物１１０であれば、生体が境界線９２上にいなくても、生体アイコンを複数箇所で表示する。これにより、運転者に動物１１０を強調して通知することが可能となる。ヒトの子供の場合も同様である。
　図１９は、強調表示の第２変形例において、生体対応部分７４が属する汎用モニタ２６のサブ領域９０を特定するフローチャート（図１１の第２変形例）である。
　図１９のステップＳ７１～Ｓ７５は、図１１のステップＳ３１、Ｓ３４～Ｓ３６、Ｓ３８と同様である。すなわち、図１７の処理は、図１１のステップＳ３２、Ｓ３３、Ｓ３７が省略され、生体が動物１１０又はヒトの子供である場合（Ｓ７１：ＹＥＳ）、当該生体に対応する生体対応部分７４が属する第１サブ領域９０及びこれと隣り合う第１サブ領域９０の両方を第１生体存在サブ領域とし、これらに対応する第２生体存在サブ領域に生体アイコンを表示する。従って、生体が動物１１０又はヒトの子供であるか否かのみによって、生体アイコンの強調表示をするか否かを決定している。
　例えば、当該生体に対応する生体対応部分７４が左側の第１サブ領域９０Ｌに属する場合、左側及び中央の第２サブ領域１００Ｌ、１００Ｃに生体アイコンを表示する。また、当該生体に対応する生体対応部分７４が第１境界線９２Ｌ上にある場合、左側及び中央の第２サブ領域１００Ｌ、１００Ｃに生体アイコンを表示する。さらに、当該生体に対応する生体対応部分７４が中央の第１サブ領域９０Ｃに属する場合、例えば、全ての第２サブ領域１００Ｌ、１００Ｃ、１００Ｒに生体アイコンを表示する。
　強調表示の第３変形例によれば、生体が属する第１サブ領域９０と当該サブ領域９０と隣り合う第１サブ領域９０とに生体アイコンを表示する。これにより、生体の存在をより強く注意喚起することが可能となる。このため、ユーザに対して適切な注意喚起を行うことが可能となる。
（４－２－５．生体アイコンの強調表示の第４変形例）
　図２０は、生体アイコンの強調表示の第４変形例を説明する図である。すなわち、図２０は、強調表示の第４変形例における車両１２と動物１１０の位置関係、汎用モニタ２６のグレースケール画像７２の一例及びＭＩＤ２８のアイコン画像８２の一例を示す図である。
　図２０に示すように、強調表示の第４変形例では、抽出された生体対応部分７４が動物１１０に対応し且つ動物１１０の顔向きＸが右向きである場合、ＭＩＤ２８に表示する動物アイコン８８は、動物１１０の現在位置に対応する中央の第２サブ領域１００Ｃと顔向きＸに対応する右側の第２サブ領域１００Ｒとに表示する。これにより、運転者に動物１１０の進行方向を強調して通知することが可能となる。ヒトの子供の場合も同様である。
　図２１は、強調表示の第４変形例において、生体対応部分７４が属する汎用モニタ２６のサブ領域９０を特定するフローチャート（図１１の第３変形例）である。図２１のステップＳ８１～Ｓ８６は、図１１のステップＳ３１、Ｓ３４～Ｓ３６、Ｓ３２、Ｓ３８と同様である。すなわち、図２１では、図１１のステップＳ３３、Ｓ３７が省略されている。換言すると、図２１では、動物１１０の顔が内向きであるか否かにかかわらず、顔向きＸに応じて２つの第１サブ領域９０を選択する。なお、動物１１０に対応する生体対応部分７４が境界線９２上にある場合、当該境界線９２を挟む２つの第１サブ領域９０を選択する。ヒトの子供の場合も同様である。
（４－２－６．生体アイコンの強調表示の第５変形例）
　図２２及び図２３は、生体アイコンの強調表示の第５変形例を説明する図である。すなわち、図２２は、強調表示の第５変形例において、動物１１０及びヒトの大人１１２に対応する生体対応部分７４それぞれが中央の第１サブ領域９０Ｃに属する場合の車両１２、動物１１０及びヒトの大人１１２の位置関係、汎用モニタ２６のグレースケール画像７２の一例及びＭＩＤ２８のアイコン画像８２の一例を示す図である。
　図２２に示すように、監視対象物としての動物１１０及びヒトの大人１１２に対応する生体対応部分７４それぞれが中央の第１サブ領域９０Ｃに属する場合、ＭＩＤ２８では、中央の第２サブ領域１００Ｃにヒトアイコン８６のみを表示する。すなわち、動物１１０よりもヒトの大人１１２を優先してアイコン表示する。
　図２３は、強調表示の第５変形例において、動物１１０に対応する生体対応部分７４が左側の第１サブ領域９０Ｌに属し、ヒトの子供１１４に対応する生体対応部分７４が右側の第１サブ領域９０Ｒに属する場合における車両１２、動物１１０及びヒトの子供１１４の位置関係、汎用モニタ２６のグレースケール画像７２の一例及びＭＩＤ２８のアイコン画像８２の一例を示す図である。
　図２３に示すように、動物１１０に対応する生体対応部分７４が左側の第１サブ領域９０に属し、監視対象物としてのヒトの子供１１４に対応する生体対応部分７４が右側の第１サブ領域９０に属する場合、ＭＩＤ２８では、ヒトアイコン８６のみを強調表示し、動物アイコン８８は強調表示しない。換言すると、ヒトの子供１１４についてのみ強調表示を行い、動物１１０については強調表示を行わない。
　図２４は、強調表示の第５変形例において、生体対応部分７４が属する汎用モニタ２６のサブ領域９０を特定するフローチャート（図１１の第４変形例）である。強調表示の第５変形例では、生体が複数存在する場合に好適に用いることができる。
　図２４のステップＳ９１において、ＥＣＵ２２は、車両１２の進行方向に生体が複数存在するか否かを判定する。当該判定は、例えば、図７のステップＳ４で抽出された生体対応部分７４が複数存在するか否かを判定することにより行う。車両１２の進行方向に生体が複数存在しない場合（Ｓ９１：ＮＯ）、ステップＳ９２において、ＥＣＵ２２は、生体が１つである場合の処理（以下「単体用処理」という。）を実行する。単体用処理としては、例えば、図１１のステップＳ３１～Ｓ３８を実行することができる。或いは、上記強調表示の第１変形例（図１４及び図１５の処理）、第２変形例（図１７の処理）、第３変形例（図１９の処理）又は第４変形例（図２１の処理）を行ってもよい。
　車両１２の進行方向に生体が複数存在する場合（Ｓ９１：ＹＥＳ）、ステップＳ９３において、ＥＣＵ２２は、車両１２の進行方向にヒト（大人１１２又は子供１１４）が存在するか否かを判定する。
　車両１２の進行方向にヒト（大人１１２又は子供１１４）が存在しない場合（Ｓ９３：ＮＯ）、ステップＳ９４において、ＥＣＵ２２は、動物１１０のみが複数存在する際の動物１１０用の処理（以下「動物用第１処理」という。）を実行する。動物用第１処理は、動物１１０（動物アイコン８８）についても強調表示を行うものであり、例えば、図１１のステップＳ３２～Ｓ３８を動物１１０それぞれについて実行する。
　車両１２の進行方向にヒト（大人１１２又は子供１１４）が存在する場合（Ｓ９３：ＹＥＳ）、ステップＳ９５において、ＥＣＵ２２は、車両１２の進行方向に動物１１０が存在するか否かを判定する。動物１１０が存在する場合（Ｓ９５：ＹＥＳ）、ステップＳ９６において、ＥＣＵ２２は、動物１１０とヒトの大人１１２又は子供１１４の少なくとも一方とが存在する際の動物１１０用の処理（以下「動物用第２処理」という。）を実行する。動物用第２処理は、ヒトの表示を優先するため、動物１１０（動物アイコン８８）については強調表示を行わないものであり、例えば、図１１のステップＳ３４～Ｓ３６を動物１１０それぞれについて実行する。
　ステップＳ９５において車両１２の進行方向に動物１１０が存在しない場合（Ｓ９５：ＮＯ）又はステップＳ９６の後、ステップＳ９７において、ＥＣＵ２２は、動物１１０とヒトの大人１１２又は子供１１４の少なくとも一方とが存在する際のヒト用の処理（以下「ヒト用処理」という。）を実行する。ヒト用処理は、動物１１０（動物アイコン８８）よりもヒト（ヒトアイコン８６）の表示を優先する処理であり、例えば、図１１のステップＳ３１～Ｓ３８をヒト（大人１１２及び子供１１４）それぞれについて実行する。
　なお、図２２を参照して説明したように、動物１１０とヒト（大人１１２又は子供１１４）の生体対応部分７４が同一の第１サブ領域９０に属している場合、ヒトを優先する（ヒトアイコン８６を優先的に表示する。）。
（４－２－７．顔向きＸの検出）
　上記実施形態では、動きが予測困難な生体（換言すると、生体に理性的な動きを期待できない生体又は飛出しの危険が比較的高い生体）としての動物１１０又はヒトの子供１１４の進行方向を推定する基準として顔向きＸを用いたが、動きが予測困難な生体の動きの予測に用いることが可能な基準の観点からすれば、これに限らない。例えば、動物１１０又はヒトの子供１１４の顔向きＸと共に又はこれに代えて動物１１０又はヒトの子供１１４の身体の向きを用いてもよい。或いは、ヒトの大人１１２であっても、予測困難な動きをすることもあるため、ヒトの大人１１２についても顔向きＸ等を用いて強調表示をしてもよい。
（４－２－８．その他）
　上記実施形態では、生体アイコンの強調表示として、生体アイコンを２箇所で同時に表示したが（図１０）、生体アイコンを２箇所で交互に表示してもよい。また、生体アイコンを２箇所で表示する代わりに、生体アイコンを表示する第２サブ領域１００を、生体の顔向きＸの方向にずらして１箇所のみ表示してもよい。これにより、生体の進行方向を反映する形で生体の存在を注意喚起することが可能となる。このため、ユーザに対して適切な注意喚起を行うことが可能となる。
　上記実施形態では、動物１１０又はヒトの子供１１４のいずれかが第１サブ領域９０のいずれに存在する場合でも同一の強調表示（２箇所のアイコン表示）を行う可能性があったが（図１１のＳ３１～Ｓ３３、Ｓ３７、Ｓ３８）、動物１１０又はヒトの子供１１４のいずれかが属する第１サブ領域９０が、左右の第１サブ領域９０Ｌ、９０Ｒか又は中央の第１サブ領域９０Ｃであるか否かに応じて強調表示の種類を変更してもよい。例えば、動物１１０又はヒトの子供１１４のいずれかが左右の第１サブ領域９０Ｌ、９０Ｒに属する場合、２箇所のアイコン表示を行い、中央の第１サブ領域９０Ｃに属する場合、表示色の変更を行ってもよい。

Claims (4)

  1. 　車両（１２）に搭載された撮像装置（１６Ｌ、１６Ｒ）から出力された撮像信号に基づいて、前記車両（１２）の周辺における監視対象物としての生体（１１０、１１２、１１４）を検知する車両周辺監視装置（１０）であって、
    　前記撮像信号が表す画像（７２）を表示する第１表示部（２６）と、
    　前記第１表示部（２６）に表示される前記画像（７２）を構成する複数のサブ領域（９０Ｃ、９０Ｌ、９０Ｒ）にそれぞれ対応付けられた各マーク（８６、８８）の表示の有無によって、前記画像（７２）の前記各サブ領域（９０Ｃ、９０Ｌ、９０Ｒ）内における前記監視対象物の存否情報を可視化する第２表示部（２８）と
    　を備え、
    　前記生体（１１０、１１２、１１４）の顔向き及び身体の向きの少なくとも一方に応じて前記マーク（８６、８８）の表示を変化させる
    　ことを特徴とする車両周辺監視装置（１０）。
  2. 　請求項１記載の車両周辺監視装置（１０）であって、
    　前記複数のサブ領域（９０Ｃ、９０Ｌ、９０Ｒ）の境界線（９２Ｌ、９２Ｒ）上に存在する前記生体（１１０、１１２、１１４）について、前記生体（１１０、１１２、１１４）の顔向き又は身体の向きが前記車両（１２）の進行方向の中心線と交差する方向である場合、当該境界線（９２Ｌ、９２Ｒ）を挟んで隣り合う前記サブ領域（９０Ｃ、９０Ｌ、９０Ｒ）に対応させて複数の前記マーク（８６、８８）を同時に又は交互に前記第２表示部（２８）に表示する
    　ことを特徴とする車両周辺監視装置（１０）。
  3. 　請求項１又は２記載の車両周辺監視装置（１０）であって、
    　前記生体（１１０、１１２、１１４）が属する前記サブ領域（９０Ｃ、９０Ｌ、９０Ｒ）と当該サブ領域（９０Ｃ、９０Ｌ、９０Ｒ）よりも前記生体（１１０、１１２、１１４）の顔向き又は身体の向きの方向に存在する前記サブ領域（９０Ｃ、９０Ｌ、９０Ｒ）との両方に前記マーク（８６、８８）を表示する
    　ことを特徴とする車両周辺監視装置（１０）。
  4. 　請求項１～３のいずれか１項に記載の車両周辺監視装置（１０）であって、
    　前記生体（１１０、１１２、１１４）の顔向き又は身体の向きが前記車両（１２）の進行方向の中心線と交差する方向である場合、前記マーク（８６、８８）の表示色を、より強い注意喚起を求める警戒色に切り替える
    　ことを特徴とする車両周辺監視装置（１０）。
PCT/JP2012/064258 2011-10-31 2012-06-01 車両周辺監視装置 WO2013065348A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013541651A JP5604011B2 (ja) 2011-10-31 2012-06-01 車両周辺監視装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011238601 2011-10-31
JP2011-238601 2011-10-31

Publications (1)

Publication Number Publication Date
WO2013065348A1 true WO2013065348A1 (ja) 2013-05-10

Family

ID=48191714

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/064258 WO2013065348A1 (ja) 2011-10-31 2012-06-01 車両周辺監視装置

Country Status (2)

Country Link
JP (1) JP5604011B2 (ja)
WO (1) WO2013065348A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199442A1 (ja) * 2015-06-10 2016-12-15 株式会社Ｊｖｃケンウッド レーザレーダ装置および検知方法
CN108364479B (zh) * 2017-04-13 2021-03-05 合肥如昼智能科技有限公司 电子警察智能补光的系统
WO2024202036A1 (ja) * 2023-03-31 2024-10-03 本田技研工業株式会社 リスク提示装置、リスク提示方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198578A (ja) * 2009-02-27 2010-09-09 Toyota Motor Corp 移動軌跡生成装置
JP2011086205A (ja) * 2009-10-16 2011-04-28 Honda Motor Co Ltd 車両の走行安全装置
JP2011091549A (ja) * 2009-10-21 2011-05-06 Toyota Motor Corp 車両用夜間視界支援装置
JP2011216003A (ja) * 2010-04-01 2011-10-27 Toyota Motor Corp 障害物認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198578A (ja) * 2009-02-27 2010-09-09 Toyota Motor Corp 移動軌跡生成装置
JP2011086205A (ja) * 2009-10-16 2011-04-28 Honda Motor Co Ltd 車両の走行安全装置
JP2011091549A (ja) * 2009-10-21 2011-05-06 Toyota Motor Corp 車両用夜間視界支援装置
JP2011216003A (ja) * 2010-04-01 2011-10-27 Toyota Motor Corp 障害物認識装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199442A1 (ja) * 2015-06-10 2016-12-15 株式会社Ｊｖｃケンウッド レーザレーダ装置および検知方法
CN108364479B (zh) * 2017-04-13 2021-03-05 合肥如昼智能科技有限公司 电子警察智能补光的系统
WO2024202036A1 (ja) * 2023-03-31 2024-10-03 本田技研工業株式会社 リスク提示装置、リスク提示方法及びプログラム

Also Published As

Publication number Publication date
JPWO2013065348A1 (ja) 2015-04-02
JP5604011B2 (ja) 2014-10-08

Similar Documents

Publication Publication Date Title
JP5639283B2 (ja) 車両周辺監視装置
JP5616531B2 (ja) 車両周辺監視装置
CA3002628C (en) Display control method and display control device
JP5907268B2 (ja) 運転支援装置
WO2016084149A1 (ja) 運転支援装置および運転支援方法
WO2011108218A1 (ja) 車両の周辺監視装置
WO2011108198A1 (ja) 車両の周辺監視装置
JP4943367B2 (ja) 車両用情報表示装置
JP5605606B2 (ja) 駐車支援装置
JP5547160B2 (ja) 車両周辺監視装置
JP7047586B2 (ja) 車両用表示制御装置
WO2013065348A1 (ja) 車両周辺監視装置
JP2010105502A (ja) 前方監視装置
JP5192007B2 (ja) 車両の周辺監視装置
JP2011192070A (ja) 車両の周辺監視装置
JP5703192B2 (ja) 車両周辺監視装置
JP5251673B2 (ja) 車両用表示装置
JP2007293487A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、並びに車両の周辺監視用プログラム
JP5529097B2 (ja) 車両の運転支援装置
JP2013095375A (ja) 車両周辺監視装置
JP2007249324A (ja) 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺システムの構成方法
JP5903003B2 (ja) 車両周辺監視装置
JP2004056486A (ja) 車両周辺監視装置
JP5547159B2 (ja) 車両周辺監視装置
JP2017005468A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12845563

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013541651

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12845563

Country of ref document: EP

Kind code of ref document: A1