WO2017130577A1 - 表示装置、表示方法、プログラム - Google Patents

表示装置、表示方法、プログラム Download PDF

Info

Publication number
WO2017130577A1
WO2017130577A1 PCT/JP2016/086470 JP2016086470W WO2017130577A1 WO 2017130577 A1 WO2017130577 A1 WO 2017130577A1 JP 2016086470 W JP2016086470 W JP 2016086470W WO 2017130577 A1 WO2017130577 A1 WO 2017130577A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
unit
display
icon
image
Prior art date
Application number
PCT/JP2016/086470
Other languages
English (en)
French (fr)
Inventor
清水　義之
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016205922A external-priority patent/JP6805716B2/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN201680047351.5A priority Critical patent/CN107924265B/zh
Publication of WO2017130577A1 publication Critical patent/WO2017130577A1/ja
Priority to US16/041,866 priority patent/US20180330619A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to display technology, and more particularly to a display device, a display method, and a program for displaying an image.
  • a function is realized in which an image is captured by a camera mounted on a vehicle, a pedestrian is detected by image recognition, and the driver is warned of the presence of the pedestrian.
  • the movement vector of the pedestrian is calculated by image recognition, and the pedestrian to be warned is specified according to the movement vector. Since such a function always detects a pedestrian at the current position of the pedestrian even if the pedestrian moves, it can be said that the function substantially follows the movement of the pedestrian (see, for example, Patent Document 1).
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique for informing the driver of the moving direction of a person.
  • a display device includes a video acquisition unit that acquires video information obtained by imaging the periphery of a vehicle, and a person detection that detects a person from the video information acquired by the video acquisition unit.
  • a display for displaying on the display unit, a movement detection unit for detecting a movement direction of the person detected by the person detection unit, a video information acquired by the video acquisition unit, and an icon indicating the movement direction of the person detected by the movement detection unit A control unit.
  • Another aspect of this embodiment is a display method.
  • a video acquisition step for acquiring video information obtained by imaging the periphery of a vehicle
  • a person detection step for detecting a person from the video information acquired in the acquisition step
  • a moving direction of the person detected in the person detection step are detected.
  • a movement detection step, and a display step for displaying on the display unit the video information acquired in the video acquisition step and an icon indicating the movement direction of the person detected in the movement detection step.
  • any combination of the above-described constituent elements and a representation of the present embodiment converted between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present embodiment.
  • FIG. 1 is a diagram illustrating a configuration of a display device according to Example 1.
  • FIG. 6 is a diagram illustrating another configuration of the display device according to the first embodiment. It is a figure which shows the bird's-eye view image produced
  • FIG. 10 is a diagram illustrating a display image generated in an image processing unit according to the second embodiment. It is a figure which shows the bird's-eye view image produced
  • FIG. 10 is a flowchart illustrating a display procedure by the display device according to the second embodiment.
  • FIG. 10 is a diagram illustrating a display image generated in an image processing unit according to a third embodiment. It is a figure which shows the bird's-eye view image produced
  • FIG. FIG. 10 is a diagram illustrating a configuration of a display device according to a fourth embodiment. It is a figure which shows the display image produced
  • FIG. 10 is a diagram illustrating another configuration of the display device according to the fourth embodiment. It is a flowchart which shows the display procedure by the display apparatus of FIG.
  • FIG. 10 is a diagram illustrating a display image generated in an image processing unit according to a fifth embodiment.
  • FIG. 10 is a flowchart illustrating a display procedure by a display device according to a fifth embodiment.
  • 12 is a flowchart illustrating another display procedure by the display device according to the fifth embodiment.
  • Example 1 Before describing the present invention specifically, the premise will be described first.
  • Example 1 relates to a display device that displays an image captured by an imaging unit mounted in front of a vehicle, and displays an icon indicating a moving direction of a person superimposed on the image.
  • the display apparatus according to the present embodiment detects a person from the video and detects the moving direction of the detected person.
  • the display device superimposes an icon corresponding to the detected moving direction on the video.
  • FIG. 1 shows a configuration of a display device 30 according to the first embodiment.
  • the display device 30 is connected to the imaging unit 10 and the display unit 50.
  • the display device 30 includes a video acquisition unit 32, a person detection unit 34, a movement detection unit 36, an image processing unit 38, and a display control unit 40.
  • the imaging unit 10, the display device 30, and the display unit 50 are mounted on a vehicle, for example.
  • the display device 30 may be a portable device, and may be integrated with the imaging unit 10 and the display unit 50.
  • the imaging unit 10 is installed at a position where the front direction of the vehicle can be photographed. For example, it is installed in the passenger compartment, bumper, bonnet, etc.
  • the imaging unit 10 captures an image directed forward from the vehicle in the traveling direction.
  • the imaging unit 10 outputs a video obtained by imaging the surroundings of the vehicle (hereinafter referred to as “video information”) to the video acquisition unit 32.
  • the video information is, for example, a digital signal.
  • the video acquisition unit 32 acquires video information from the imaging unit 10.
  • the video acquisition unit 32 outputs the acquired video information to the person detection unit 34 and the image processing unit 38.
  • the person detection unit 34 inputs the video information from the video acquisition unit 32.
  • the person detection unit 34 detects a person image (hereinafter also referred to as “person”) from the video information.
  • a known technique can be applied to the person detection.
  • the person detection unit 34 stores in advance information about a person image and characteristics of the person (hereinafter referred to as “person dictionary”).
  • the person detection unit 34 collates a person dictionary against each of a plurality of images constituting the video information and arranged in time series, whereby a person is included in each image. Check if it is included.
  • the person detection unit 34 specifies the coordinates on the image including the detected person. When a plurality of persons are included in the image, the person detection unit 34 detects them.
  • the person detection unit 34 outputs information such as the coordinates of the person detected in each image to the movement detection unit 36. At this time, the person detection unit 34 may also output video information to the movement detection unit 36.
  • the movement detection unit 36 inputs information such as the coordinates of the person from the person detection unit 34.
  • the movement detection unit 36 detects the movement direction of the detected person based on information such as the coordinates of the person. For example, the movement detection unit 36 detects the movement direction of the detected person by comparing coordinates for each image or for each unit time. More specifically, a difference in coordinates of a detected person for each image or unit time, and a difference in the size of a specific part such as the whole person or the head are derived. Since the former detects movement in the circumferential direction around the vehicle, and the latter detects movement in the radial direction around the vehicle, the movement detection unit 36 applies both, It detects the direction of movement of a person who moves in various directions.
  • the movement detection unit 36 When a plurality of persons are detected by the person detection unit 34, the movement detection unit 36 performs the same process for each of the plurality of persons. Further, when the vehicle is traveling at the time of movement detection, the movement detection unit 36 detects the movement direction from the relative positional relationship with the traveling speed of the vehicle. Further, when the video information is input from the person detection unit 34, the movement detection unit 36 may detect the movement direction of the detected person by executing pixel difference detection and image correlation determination. The movement detection unit 36 outputs information on the movement direction for each person to the image processing unit 38.
  • the information on the movement direction for each person includes information such as the coordinates of each person.
  • the image processing unit 38 inputs video information from the video acquisition unit 32 and inputs information on the moving direction of each person from the movement detection unit 36.
  • the image processing unit 38 specifies a person included in the image based on information such as coordinates included in the movement direction information for each person in each of the plurality of images included in the video information. Subsequently, the image processing unit 38 associates the identified person with the moving direction. Furthermore, the image processing unit 38 displays an icon indicating the moving direction, for example, an arrow-shaped icon with an arrow pointing in the moving direction (hereinafter referred to as “arrow-shaped icon”) on the image so that the identified person is the starting point.
  • a display image 60 is generated by superimposing the images. That is, the image processing unit 38 generates a display image 60 including the video information acquired by the video acquisition unit 32 and the arrow-shaped icon indicating the movement direction of the person detected by the movement detection unit 36.
  • FIG. 2 shows an example of the display image 60 generated by the image processing unit 38.
  • a person 200 is detected, and an arrow shape icon 202 is superimposed so that the person 200 is the starting point.
  • the arrow shape icon 202 indicates that the person 200 is moving in the right direction, that is, in the road direction.
  • the image processing unit 38 superimposes the arrow shape icon 202 for each person 200.
  • the image processing unit 38 generates a display image 60 corresponding to each image by executing similar processing on each image included in the video information. As a result, video information composed of a plurality of display images 60 is generated.
  • the image processing unit 38 does not superimpose the arrow-shaped icon 202 on the person 200 who has not moved.
  • the image processing unit 38 outputs video information (hereinafter also referred to as “video information”) constituted by a plurality of display images 60 to the display control unit 40.
  • the display control unit 40 inputs video information from the image processing unit 38.
  • the display control unit 40 causes the display unit 50 to display video information.
  • the display unit 50 is a display device installed at a position where the driver can visually recognize, such as a monitor installed in the driver's seat of the vehicle.
  • the display unit 50 displays video information including a display image 60 as shown in FIG.
  • the movement detection unit 36 may detect not only the moving direction of each person 200 but also the moving speed of each person 200. For example, the movement detection unit 36 detects the movement speed based on the magnitude of the coordinate difference for each image or unit time. When the difference in coordinates is large, the moving speed increases, and when the difference in coordinates is small, the moving speed decreases. The relationship between the coordinate difference and the movement speed is stored in advance in the movement detection unit 36. The movement detection unit 36 also outputs information on the movement speed of each person 200 to the image processing unit 38.
  • the image processing unit 38 also inputs information on the moving speed of each person 200 from the movement detecting unit 36. As described above, the image processing unit 38 superimposes the arrow shape icon 202 on the person 200, and at this time, adjusts the arrow shape icon 202 so as to have a form corresponding to the moving speed. For example, the image processing unit 38 adjusts the arrow-shaped icon 202 so that it becomes longer or thicker as the moving speed increases. For example, the image processing unit 38 determines the length of the arrow-shaped icon 202 so that the position where the person 200 reaches after one second is the tip of the arrow. Further, the image processing unit 38 may change the color of the arrow shape icon 202 or the peripheral color of the arrow shape icon 202 according to the moving speed. For example, the image processing unit 38 may blink the arrow-shaped icon 202 when the moving speed is faster than a predetermined threshold, and may shorten the blinking cycle as the moving speed increases.
  • FIG. 3 shows an example of another display image 60 generated by the image processing unit 38.
  • the first arrow shape icon 202a is superimposed on the first person 200a
  • the second arrow shape icon 202b is superimposed on the second person 200b.
  • the second arrow-shaped icon 202b is made longer than the first arrow-shaped icon 202a.
  • Subsequent processes of the display control unit 40 and the display unit 50 are as described above. As a result, the display unit 50 displays the arrow shape icon 202 having a form corresponding to the moving speed.
  • This configuration can be realized in terms of hardware by a CPU, memory, or other LSI of any computer, and in terms of software, it can be realized by a program loaded in the memory, but here it is realized by their cooperation.
  • Draw functional blocks Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the arrow-shaped icon 202 has been superimposed on the video information captured by the imaging unit 10 mounted in front of the vehicle, but the arrow-shaped icon 202 may be superimposed on the overhead image.
  • the bird's-eye view image is generated by viewpoint conversion on images captured by a plurality of imaging units installed in the vehicle. Therefore, until now, the display when the vehicle is moving forward is targeted, but here, the display when parking while reversing is targeted.
  • FIG. 4 shows another configuration of the display device 30 according to the first embodiment.
  • the display device 30 is connected to the imaging unit 10 including the front imaging unit 12, the left imaging unit 14, the rear imaging unit 16, and the right imaging unit 18, and the display unit 50.
  • the display device 30 includes a video acquisition unit 32, a person detection unit 34, a movement detection unit 36, an image processing unit 38, a display control unit 40, and a generation unit 44.
  • the front imaging unit 12 corresponds to the conventional imaging unit 10 and is installed in a front part of the vehicle, for example, a bumper, a hood, or the like.
  • the front imaging unit 12 forms a front imaging area so as to go forward from the vehicle, and images an image in the front imaging area.
  • a left side imaging unit 14 is installed in a left side portion of the vehicle, for example, a lower portion of the left door mirror.
  • the left side imaging unit 14 forms a left side imaging region so as to go to the left from the vehicle, and captures an image in the left side imaging region.
  • the rear imaging unit 16 is installed in a rear part of the vehicle, for example, a bumper, a trunk, or the like.
  • the rear imaging unit 16 forms a rear imaging region so as to go rearward from the vehicle, and captures an image in the rear imaging region.
  • a right side imaging unit 18 is installed on the right side of the vehicle so as to be symmetrical with the left side imaging unit 14.
  • the right side imaging unit 18 forms a right side imaging region so as to go right from the vehicle, and captures an image in the right side imaging region.
  • the front imaging unit 12, the left side imaging unit 14, the rear imaging unit 16 and the right side imaging unit 18 are used as the imaging unit 10, and the periphery of the vehicle is imaged by an image captured by the imaging unit 10.
  • the front imaging unit 12, the left side imaging unit 14, the rear imaging unit 16, and the right side imaging unit 18 output video information to the video acquisition unit 32.
  • the video acquisition unit 32 inputs video information from each of the front imaging unit 12, the left side imaging unit 14, the rear imaging unit 16, and the right side imaging unit 18, and outputs the video information to the person detection unit 34 and the generation unit 44. .
  • the generation unit 44 inputs video information from the video acquisition unit 32.
  • the generation unit 44 generates a bird's-eye view image by converting the viewpoint as viewed from above the vehicle for each of the plurality of images included in the video information.
  • a known technique may be used for the conversion. For example, each pixel of the image is projected onto a three-dimensional curved surface in a virtual three-dimensional space, and a three-dimensional curved surface according to a virtual viewpoint from above the vehicle. Cut out the necessary area. The cut out region corresponds to an image whose viewpoint has been converted.
  • the generation unit 44 outputs the overhead view image to the image processing unit 38.
  • the person detecting unit 34 and the movement detecting unit 36 detect the coordinates of each person and the moving direction of each person by executing the same processing as before. Note that these detections are performed not on the bird's-eye view image but on a plurality of images included in the video information. Therefore, the detected coordinates may not be included in the overhead image.
  • the image processing unit 38 inputs the bird's-eye view image from the generation unit 44 and also inputs information on the movement direction for each person from the movement detection unit 36.
  • the image processing unit 38 generates an overhead image 78 by superimposing an arrow-shaped icon on the overhead image so that a person is the starting point. That is, the image processing unit 38 generates a bird's-eye view image 78 that includes the bird's-eye view image generated by the generation unit 44 and the arrow-shaped icon indicating the moving direction of the person detected by the movement detection unit 36.
  • FIG. 5 shows an overhead image 78 generated by the image processing unit 38.
  • a host vehicle icon 80 is arranged at the center of the overhead image 78 in FIG.
  • the own vehicle icon 80 is an image of the vehicle 100 viewed from above.
  • a front image 70 is arranged in front of the vehicle icon 80, a left side image 72 is arranged on the left side of the vehicle icon 80, a rear image 74 is arranged behind the vehicle icon 80, and the vehicle icon A right side image 76 is arranged on the right side of 80.
  • the overhead image 78 shows a first person icon 220a and a first arrow-shaped icon 222a starting from the first person icon 220a. This corresponds to the person 200 and the arrow shape icon 202 so far.
  • the overhead image 78 also shows a second person icon 220b and a second arrow shape icon 222b starting from the second person icon 220b.
  • the person icon 220 is displayed at the position of the person detected by the person detection unit 34.
  • the display position of the person icon 220 is assumed to be the position closest to the lower end position of the detected person, that is, the center of the overhead image 78.
  • the arrow-shaped icon is superimposed on the person in the display image, it is possible to inform the driver of the moving direction of the person. Further, since the moving direction is detected based on the change in the coordinates of the person detected from the video information, the moving direction can be detected only from the video information. Moreover, since the arrow shape icon which shows the moving direction until now is used, a driver
  • the arrow-shaped icon is superimposed on the bird's-eye view image, it is possible to inform the direction of movement of the person when parking or the like. In addition, since the person's moving direction is notified in the case of parking or the like, the vehicle can be parked safely. Further, since the arrow-shaped icon for the person included outside the bird's-eye view image is displayed superimposed on the bird's-eye view image, even if the range of the bird's-eye view image is narrow, the driver can be informed of the moving direction of the person to be noted.
  • Example 2 a display device that displays an image captured by an imaging unit mounted in front of the vehicle and displays an icon indicating a moving direction of a person in a superimposed manner on the image.
  • the number of icons for example, arrow-shaped icons displayed in the video also increases.
  • the second embodiment relates to a display for maintaining the alerting power by the arrow shape icon even when the number of persons displayed in the video increases.
  • the display device 30 according to the second embodiment is the same type as that in FIG. Here, it demonstrates centering on the difference with Example 1.
  • FIG. 1 The second embodiment.
  • the video acquisition unit 32, the person detection unit 34, and the movement detection unit 36 perform the same processing as in the first embodiment.
  • the image processing unit 38 also generates the display image 60 by superimposing the arrow-shaped icon 202 on the image so that the identified person 200 is the starting point, as in the first embodiment.
  • the image processing unit 38 specifies the traveling direction of the vehicle. For example, the image processing unit 38 specifies the traveling direction from the bottom to the top of the central portion in the left-right direction of the image.
  • the image processing unit 38 superimposes the arrow shape icon 202 only on the person 200 whose moving direction is in the traveling direction. That is, the image processing unit 38 does not superimpose the arrow-shaped icon 202 on the person 200 in the moving direction that is in a direction different from the traveling direction.
  • FIG. 6 shows a display image 60 generated by the image processing unit 38 according to the second embodiment.
  • the traveling direction 206 of the vehicle is indicated by a dotted line. Note that the traveling direction 206 is shown on the display image 60 for easy explanation, and is not actually displayed. Further, here, the first person 200a and the second person 200b are detected, and their moving directions are directed toward the traveling direction 206. Therefore, a first arrow shape icon 202a toward the traveling direction 206 is superimposed on the first person 200a, and a second arrow shape icon 202b toward the traveling direction 206 is superimposed on the second person 200b.
  • a third person 200c and a fourth person 200d are also detected.
  • the third person 200c faces the first movement direction 208a and does not move toward the traveling direction 206.
  • the fourth person 200d faces the second movement direction 208b and does not move toward the traveling direction 206. Therefore, the arrow shape icon 202 is not superimposed on the third person 200c and the fourth person 200d.
  • the display unit 50 displays only the arrow-shaped icon 202 indicating the moving direction toward the traveling direction of the vehicle on which the display device 30 is mounted. Such processing may be performed only when the number of displayed arrow-shaped icons 202 exceeds a threshold value.
  • FIG. 7 illustrates an overhead image 78 generated by the image processing unit 38 according to the second embodiment.
  • the own vehicle icon 80 in FIG. 7 is directed downward.
  • the moving direction of the second person icon 220b is in the traveling direction of the vehicle.
  • a second arrow icon 222b directed in the traveling direction is superimposed on the second person icon 220b.
  • the first person icon 220a faces the first movement direction 228a and does not move in the traveling direction of the vehicle.
  • the third person icon 220c also faces the third movement direction 228c and does not move toward the traveling direction of the vehicle. Therefore, the arrow shape icon 222 is not superimposed on the first person icon 220a and the third person icon 220c.
  • FIG. 8 is a flowchart illustrating a display procedure performed by the display device 30 according to the second embodiment.
  • the video acquisition unit 32 acquires video information (S50). If the person detection unit 34 does not detect the person 200 (N in S52), the process ends. When the person detection unit 34 detects the person 200 (Y in S52) and the movement direction detected by the movement detection unit 36 is the traveling direction (Y in S54), the image processing unit 38 uses the arrow shape icon 202. (S56). On the other hand, when the movement direction detected by the movement detection unit 36 is not the traveling direction (N in S54), step 56 is skipped. If all the persons 200 have not been processed (N in S58), the process returns to step 54. If all the persons 200 have been processed (Y in S58), the process ends.
  • the present embodiment since only the arrow-shaped icon indicating the moving direction toward the traveling direction of the vehicle is displayed, an increase in the number of displayed arrow-shaped icons can be suppressed. Moreover, since the increase in the number of the arrow shape icons displayed is suppressed, the visibility by a driver
  • the third embodiment relates to a display device that displays an image captured by an imaging unit mounted in front of a vehicle and displays an icon indicating a moving direction of a person superimposed on the image as in the past. .
  • a person included in the video captured by the imaging unit may not be included in the video displayed on the display device. .
  • the third embodiment relates to a display for notifying the movement when a person who is not displayed in the image is moving in the direction of the vehicle.
  • the display device 30 according to the third embodiment is the same type as that in FIG. Here, it demonstrates centering on the difference from before.
  • the person detection unit 34 and the movement detection unit 36 perform the same processing as before.
  • the image processing unit 38 inputs video information from the video acquisition unit 32 and inputs information on the moving direction of each person from the movement detection unit 36.
  • the image processing unit 38 specifies a person included in the image and associates the specified person with the moving direction. Furthermore, the image processing unit 38 generates the display image 60 by superimposing the arrow shape icon on the image so that the identified person is the starting point.
  • the image processing unit 38 generates a display image 60 by cutting out a part of the video information acquired by the video acquisition unit 32. That is, the size of the display image 60 is smaller than the size of the video information acquired by the video acquisition unit 32. For this reason, the specified person may not be included in the display image 60. Even in such a case, when the arrow shape icon indicating the moving direction of the person included outside the range of the display image 60 is included in the display image 60, the image processing unit 38 displays the arrow shape icon. 60. This is equivalent to including in the display image 60 an arrow shape icon indicating the moving direction of a person who is included outside the range of the display image 60 and moves to the range of the display image 60.
  • FIG. 9 shows a display image 60 generated by the image processing unit 38 according to the third embodiment.
  • the first person 200a, the second person 200b, the first arrow shape icon 202a, and the second arrow shape icon 202b are shown as in FIG.
  • the third person 200c and the fourth person 200d are not shown in the display image 60 because they exist outside the display image 60.
  • the third arrow shape icon 202c starting from the third person 200c and the fourth arrow shape icon 202d starting from the fourth person 200d are included in the display image 60.
  • the third arrow shape icon 202c and the fourth arrow shape icon 202d face the display image 60. Therefore, the third person 200c and the fourth person 200d are not shown in the display image 60, but only the third arrow shape icon 202c and the fourth arrow shape icon 202d indicating the moving direction are shown.
  • FIG. 10 illustrates an overhead image 78 generated by the image processing unit 38 according to the third embodiment. Since the first person icon 220a exists inside the overhead image 78, the overhead image 78 shows the first arrow icon 222a starting from the first person icon 220a.
  • the second person icon 220b and the third person icon 220c are not shown in the overhead image 78 because they exist outside the overhead image 78.
  • the second arrow-shaped icon 222b starting from the second person icon 220b is included in the overhead image 78. Therefore, in the bird's-eye view image 78, the second person icon 220b is not shown, but only the second arrow-shaped icon 222b indicating the moving direction is shown.
  • the third arrow shape icon 222c is the same as the second arrow shape icon 222b.
  • the display unit 50 displays the overhead image 78 in which the arrow-shaped icon 222 indicating the moving direction of the person icon 220 included outside the overhead image 78 is superimposed.
  • the arrow shape icon starting from the person is included in the display image, so that the driver can be informed of the moving direction of the person. . Further, even when a person icon is not included in the bird's-eye view image, an arrow shape icon starting from the person icon is included in the bird's-eye view image, so that the driver is informed of the moving direction of the person corresponding to the person icon. Can do.
  • the fourth embodiment relates to a display device that displays an image captured by an imaging unit mounted in front of a vehicle and displays an icon indicating a moving direction of a person so as to be superimposed on the image, as in the past. .
  • the number of icons for example, arrow-shaped icons displayed in the video also increases.
  • the fourth embodiment relates to adjusting the number of arrow-shaped icons according to the traveling speed of the vehicle. Here, it demonstrates centering on the difference from before.
  • an upper limit value may be set for the number of arrow-shaped icons.
  • arrow-shaped icons may be combined into one or a smaller number of arrow icons than the number of people. In this case, it is good also as a display form of the arrow icon which can discriminate
  • FIG. 11 illustrates a configuration of the display device 30 according to the fourth embodiment.
  • the display device 30 is connected to the imaging unit 10 and the display unit 50.
  • the display device 30 includes a video acquisition unit 32, a person detection unit 34, a movement detection unit 36, an image processing unit 38, a display control unit 40, and a traveling state determination unit 42.
  • the traveling state determination unit 42 is connected to a network such as a CAN (Controller Area Network) and acquires traveling information from an ECU (Electronic Control Unit) via the CAN.
  • the travel information indicates the selected shift gear, vehicle speed, and the like.
  • the traveling state determination unit 42 determines the traveling state of the vehicle equipped with the display device 30 based on the traveling information. Specifically, it is determined whether the vehicle is traveling at a low speed or traveling at a high speed.
  • the low-speed traveling is a case where the drive gear is selected as the shift gear and the vehicle is traveling at a speed less than a threshold value.
  • the threshold value is selected to be 10 km / h, so low-speed traveling corresponds to when turning left or right at an intersection, waiting for a traffic light, during traffic jams, and the like.
  • the high speed traveling is a case where the drive gear is selected as the shift gear and the vehicle is traveling at a speed equal to or higher than a threshold value.
  • the traveling state determination unit 42 outputs the determination result to the image processing unit 38.
  • the image processing unit 38 also inputs the determination result from the traveling state determination unit 42.
  • the image processing unit 38 When the determination result is low speed running, the image processing unit 38 generates the display image 60 by executing the same processing as before.
  • FIG. 12 shows a display image 60 generated by the image processing unit 38.
  • a first person 200a to a fourth person 200d are detected, and a first arrow shape icon 202a to a fourth arrow shape icon 202d are superimposed on each of them.
  • the first person 200a and the second person 200b are located closer to the road on which the vehicle travels than the third person 200c and the fourth person 200d.
  • FIG. 13 shows another display image 60 generated by the image processing unit 38.
  • FIG. 13 is shown in the same manner as FIG. 12, but the display range 210 is set so as to include the road on which the vehicle travels.
  • the image processing unit 38 superimposes the arrow shape icon 202 only on the person 200 included in the display range 210 and does not superimpose the arrow shape icon 202 on the person 200 included outside the display range 210.
  • the image processing unit 38 changes the range in which the arrow-shaped icon 202 indicating the moving direction is displayed according to the traveling state determined by the traveling state determining unit 42.
  • the processing of the image processing unit 38, the display control unit 40, and the display unit 50 is as described above.
  • the display unit 50 limits the range in which the person 200 on which the arrow-shaped icon 202 is superimposed is included when the traveling state is a high-speed traveling than when the traveling state is a low-speed traveling.
  • FIG. 14 illustrates another configuration of the display device 30 according to the fourth embodiment.
  • the display device 30 has the same configuration as that of the display device 30 of FIG. 11, but the imaging unit 10 is configured as shown in FIG.
  • This process is a process in which the display device 30 of FIG. 4 and the display device 30 of FIG. 11 are combined, and thus the description thereof is omitted here.
  • the display device 30 displays only the arrow-shaped icon 222 starting from the person icon 220 included in the overhead image 78 as shown in FIG.
  • the display device 30 when the traveling speed of the vehicle is equal to or higher than the predetermined value, the display device 30 also displays an arrow-shaped icon 222 starting from a person icon 220 that is not included in the overhead image 78 as shown in FIG.
  • the case where the traveling speed of the vehicle is low is, for example, less than 10 km / h
  • the case where the traveling speed of the vehicle is greater than or equal to a predetermined value is, for example, 10 km / h or more.
  • FIG. 15 is a flowchart showing a display procedure by the display device 30.
  • the image processing unit 38 changes the display range 210 if the vehicle is traveling at high speed (Y in S70) (S72).
  • the image processing unit 38 skips step 72 if the vehicle is not traveling at high speed (N in S70).
  • the range including the person displayed with the arrow-shaped icon is widened, so that the driver can be notified of the persons present around the vehicle.
  • the driver since the driver is informed of the persons existing around the vehicle, it is possible to contribute to safe driving.
  • the range in which the person who displays the arrow-shaped icon is included is limited, so that the movement direction of the person in the range that the driver should be aware of can be notified.
  • the ability to alert the driver can be maintained even during high-speed driving.
  • the fifth embodiment relates to a display device that displays an image picked up by an image pickup unit mounted in front of a vehicle and displays an icon indicating a person's moving direction in a superimposed manner on the image, as before. .
  • an arrow-shaped icon is displayed as an icon indicating the moving direction of the person.
  • the fifth embodiment relates to an icon displayed in such a case.
  • the display device 30 according to the fifth embodiment is the same type as that in FIG. Here, it demonstrates centering on the difference from before.
  • the video acquisition unit 32, the person detection unit 34, and the movement detection unit 36 perform the same processing as in the first embodiment.
  • the movement detection unit 36 monitors the movement direction with respect to one person 200 and confirms whether the movement direction fluctuates in a predetermined period.
  • the predetermined period is defined as 2 to 3 seconds, for example.
  • the movement detecting unit 36 outputs information indicating that the moving direction is changing to the image processing unit 38 instead of the moving direction information and the moving speed information.
  • the movement detection unit 36 specifies the vertical size of the detected person 200, that is, the height, and checks whether the size of the specified person 200 is less than a predetermined size. Since the predetermined size is defined as 100 to 120 cm, for example, the process in the movement detection unit 36 corresponds to confirming whether the person 200 is a child. In general, a child often runs suddenly or suddenly changes the direction of movement, so there is a possibility that information on the direction of movement and information on the speed of movement will be meaningless. Therefore, when the person 200 is smaller than the predetermined size, the movement detection unit 36 outputs information indicating that the person 200 is a child to the image processing unit 38 instead of the information on the movement direction and the information on the movement speed. These processes are performed for each person 200.
  • the predetermined size is defined as 100 to 120 cm, for example, the process in the movement detection unit 36 corresponds to confirming whether the person 200 is a child. In general, a child often runs suddenly or suddenly changes the direction of movement, so there is a possibility that information on the direction of movement and
  • the height specifying process may be less than the predetermined size when the size of the specified person 200 does not change for a predetermined time. Specifically, it is a time for detecting the speed of the specified person 200, and is based on, for example, an image of the number of frames shot in 3 seconds.
  • a person 200 of a predetermined size or more is recognized as being less than the predetermined size due to an operation such as temporarily bending.
  • the person 200 is detected with reference to a dictionary for recognizing the person based on the captured image, and the vertical size of the person 200 is an upper part of the part recognized as the head based on the dictionary. Is specified as a reference. For this reason, it is prevented that a person smaller than the predetermined size is recognized as not being smaller than the predetermined size by an operation such as raising a hand.
  • the image processing unit 38 inputs information indicating that the moving direction of the predetermined person 200 is changing or information indicating that the predetermined person 200 is a child.
  • the image processing unit 38 performs the same processing as in the first embodiment, and identifies the predetermined person 200 described above in each of the plurality of images included in the video information. Further, the image processing unit 38 superimposes an icon indicating a movable range (hereinafter referred to as “range icon”) on the identified person 200 instead of the arrow shape icon 202, thereby displaying a display image. 60 is generated.
  • the range icon is an icon that draws a circle on the horizontal plane with the person 200 as the center, and indicates that the person 200 may move within the range indicated by the range icon. Therefore, the range icon can also be said to be an icon indicating the moving direction.
  • FIG. 16 illustrates a display image 60 generated by the image processing unit 38 according to the fifth embodiment.
  • a first person 200a, a second person 200b, and a third person 200c are detected.
  • the first person 200a is detected by the movement detection unit 36 as a child.
  • the second person 200b is detected by the movement detection unit 36 as the movement direction is fluctuating. Therefore, the first range icon 204a is superimposed on the first person 200a, and the second range icon 204b is superimposed on the second person 200b.
  • the arrow shape icon 202 is superimposed on the third person 200c by the same processing as in the first embodiment.
  • Subsequent processes of the image processing unit 38, the display control unit 40, and the display unit 50 are as described above. As a result, when the moving direction changes or when the size of the person 200 is less than the predetermined size, the display unit 50 displays a range icon 204 indicating a range that may move around the person 200.
  • FIG. 17 illustrates an overhead image 78 generated by the image processing unit 38 according to the fifth embodiment.
  • the person corresponding to the first person icon 220a is detected by the movement detection unit 36 as a child. Further, the person corresponding to the second person icon 220b is detected by the movement detection unit 36 as the movement direction is fluctuating. Therefore, the first range icon 224a is superimposed on the first person icon 220a, and the second range icon 224b is superimposed on the second person icon 220b.
  • the third arrow icon 222c is superimposed on the third person icon 220c by the same processing as in the first embodiment.
  • FIG. 18 is a flowchart illustrating a display procedure performed by the display device 30 according to the fifth embodiment.
  • the video acquisition unit 32 acquires video information (S10).
  • the person detection unit 34 does not detect the person 200 (N in S12)
  • the process ends.
  • the person detection unit 34 detects the person 200 (Y in S12) and the movement direction detected by the movement detection unit 36 is constant (Y in S14)
  • the image processing unit 38 uses the arrow shape icon 202 ( S16).
  • the image processing unit 38 uses the range icon 204 (S18). If all the persons 200 have not been processed (N in S20), the process returns to step 14. If all the persons 200 have been processed (Y in S20), the process ends.
  • FIG. 19 is a flowchart illustrating another display procedure performed by the display device 30 according to the fifth embodiment.
  • the video acquisition unit 32 acquires video information (S30). If the person detection unit 34 does not detect the person 200 (N in S32), the process ends. When the person detection unit 34 detects the person 200 (Y in S32) and the movement detection unit 36 does not identify the person 200 having a size smaller than the predetermined size (N in S34), the image processing unit 38 uses the arrow shape icon 202. (S36). On the other hand, when the movement detection unit 36 identifies a person 200 having a size smaller than the predetermined size (Y in S34), the image processing unit 38 uses the range icon 204 (S38). If all the persons 200 have not been processed (N in S40), the process returns to step 34. If all the persons 200 have been processed (Y in S40), the process is terminated.
  • a range icon is displayed around the person, so that a range that may move can be notified. Further, when the moving direction is fluctuating, a range icon is shown around the person, so that it is not necessary to specify the moving direction. In addition, when the size of the detected person is less than a predetermined size, a range icon is displayed around the person, so that a range that can be moved can be notified. Further, when the size of the detected person is less than the predetermined size, a range icon is shown around the person, so that it is not necessary to specify the moving direction.
  • the display unit 50 is a monitor installed in the driver's seat of the vehicle.
  • the display unit 50 may be a head-up display (HUD: Head-Up Display).
  • the image processing unit 38 generates a virtual image that is displayed on the HUD and that includes the arrow-shaped icon 202, the range icon 204, and the like. According to this modification, the degree of freedom of display can be improved.
  • the imaging unit 10 is mounted in front of the vehicle.
  • the present invention is not limited to this.
  • the imaging unit 10 may be mounted on the side or rear of the vehicle. According to this modification, it is possible to inform the direction of movement of the person in parking and traveling on a narrow road.
  • imaging unit 12 front imaging unit, 14 left side imaging unit, 16 rear imaging unit, 18 right side imaging unit, 30 display device, 32 video acquisition unit, 34 person detection unit, 36 movement detection unit, 38 image processing unit, 40 display control unit, 42 traveling state determination unit, 44 generation unit, 50 display unit, 60 display image, 78 overhead image, 200 people, 202 arrow shape icon, 220 person icon, 222 arrow shape icon.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

映像取得部３２は、撮像部１０において車両の周囲を撮像した映像情報を取得する。人物検出部３４は、映像取得部３２において取得した映像情報から人物を検出する。移動検出部３６は、映像取得部３２において取得した映像情報において、人物検出部３４において検出した人物の移動方向を検出する。表示制御部４０は、映像取得部３２が取得した映像情報および移動検出部３６において検出した人物の移動方向を示すアイコンを表示部５０に表示する。

Description

表示装置、表示方法、プログラム
　本発明は、表示技術に関し、特に画像を表示する表示装置、表示方法、プログラムに関する。
　車両に搭載されたカメラにより画像を撮像してから、画像認識により歩行者を検出して、歩行者の存在を運転者に警告する機能が実現されている。例えば、画像認識により歩行者の移動ベクトルを算出し、移動ベクトルに応じて警告対象とする歩行者が特定される。このような機能は、歩行者が移動しても歩行者の現在位置において常時歩行者を検出するため、実質的に歩行者の移動に追従しているといえる（例えば、特許文献１参照）。
特開２０１４－００６７７６号公報
　しかしながら、このような機能は、歩行者の現在位置を示すのみである。そのため、歩行者が将来的にどのように移動するかは、運転者が推測するとともに、車両の走行方向に関わる方向へ移動する歩行者に対しては、常時動向を把握する必要がある。例えば、警告対象となる歩行者が特定されても、対象となる歩行者がどの方向に移動しているのか、運転者には分からない。一方、運転者が目視で把握可能な範囲は限られており、運転者が気付かなかった歩行者が本車両の走行方向に関わる方向へ移動することで運転者が初めて気付く場合もある。
　本発明はこうした状況に鑑みてなされたものであり、その目的は、人物の移動方向を運転者に知らせる技術を提供することである。
　上記課題を解決するために、本実施形態のある態様の表示装置は、車両の周囲を撮像した映像情報を取得する映像取得部と、映像取得部において取得した映像情報から人物を検出する人物検出部と、人物検出部において検出した人物の移動方向を検出する移動検出部と、映像取得部が取得した映像情報および移動検出部において検出した人物の移動方向を示すアイコンを表示部に表示させる表示制御部と、を備える。
　本実施形態の別の態様は、表示方法である。この方法は、車両の周囲を撮像した映像情報を取得する映像取得ステップと、取得ステップで取得した映像情報から人物を検出する人物検出ステップと、人物検出ステップで検出した人物の移動方向を検出する移動検出ステップと、映像取得ステップで取得した映像情報および移動検出ステップで検出した人物の移動方向を示すアイコンを表示部に表示する表示ステップと、を備える。
　なお、以上の構成要素の任意の組合せ、本実施形態の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本実施形態の態様として有効である。
　本実施形態によれば、人物の移動方向を運転者に知らせることができる。
実施例１に係る表示装置の構成を示す図である。 図１の画像処理部において生成される表示画像を示す図である。 図１の画像処理部において生成される別の表示画像を示す図である。 実施例１に係る表示装置の別の構成を示す図である。 図４の画像処理部において生成される俯瞰画像を示す図である。 実施例２に係る画像処理部において生成される表示画像を示す図である。 実施例２に係る画像処理部において生成される俯瞰画像を示す図である。 実施例２に係る表示装置による表示手順を示すフローチャートである。 実施例３に係る画像処理部において生成される表示画像を示す図である。 実施例３に係る画像処理部において生成される俯瞰画像を示す図である。 実施例４に係る表示装置の構成を示す図である。 図１１の画像処理部において生成される表示画像を示す図である。 図１１の画像処理部において生成される別の表示画像を示す図である。 実施例４に係る表示装置の別の構成を示す図である。 図１１の表示装置による表示手順を示すフローチャートである。 実施例５に係る画像処理部において生成される表示画像を示す図である。 実施例５に係る画像処理部において生成される俯瞰画像を示す図である。 実施例５に係る表示装置による表示手順を示すフローチャートである。 実施例５に係る表示装置による別の表示手順を示すフローチャートである。
（実施例１）
　本発明を具体的に説明する前に、まず前提を説明する。実施例１は、車両の前方に搭載された撮像部において撮像した映像を表示するとともに、人物の移動方向が示されたアイコンを当該映像に重畳して表示する表示装置に関する。本実施例に係る表示装置は、映像から、人物を検出するとともに、検出した人物の移動方向を検出する。また、表示装置は、検出した移動方向に応じたアイコンを映像に重畳する。
　以下、本発明の実施例について、図面を参照しつつ説明する。かかる実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
　図１は、実施例１に係る表示装置３０の構成を示す。表示装置３０は、撮像部１０、表示部５０に接続される。また、表示装置３０は、映像取得部３２、人物検出部３４、移動検出部３６、画像処理部３８、表示制御部４０を含む。ここで、撮像部１０、表示装置３０、表示部５０は、例えば、車両に搭載される。また、表示装置３０は可搬型の装置であってもよく、撮像部１０および表示部５０と一体型としてもよい。
　撮像部１０は、車両の前方方向を撮影可能な位置に設置される。例えば車室内やバンパー、ボンネット等に設置される。撮像部１０は、車両から進行方向である前方に向かう映像を撮像する。撮像部１０は、車両の周囲を撮像した映像（以下、「映像情報」という）を映像取得部３２に出力する。映像情報は、例えば、デジタル信号である。映像取得部３２は、撮像部１０から映像情報を取得する。映像取得部３２は、取得した映像情報を人物検出部３４、画像処理部３８に出力する。
　人物検出部３４は、映像取得部３２からの映像情報を入力する。人物検出部３４は、映像情報から、人物の画像（以下、これも「人物」という）を検出する。人物の検出には、公知の技術を適用可能である。例えば、人物検出部３４は、人物の画像、人物の特徴に関する情報（以下、「人物辞書」という）を予め記憶している。また、人物検出部３４は、映像情報を構成している複数の画像であって、かつ時系列に並んだ複数の画像のそれぞれに対して、人物辞書を照合することによって、各画像に人物が含まれているかを確認する。人物検出部３４は、検出した人物が含まれている画像上の座標を特定する。なお、画像に複数の人物が含まれている場合、人物検出部３４は、それらを検出する。人物検出部３４は、各画像において検出した人物の座標等の情報を移動検出部３６に出力する。その際、人物検出部３４は、映像情報も移動検出部３６に出力してもよい。
　移動検出部３６は、人物検出部３４から人物の座標等の情報を入力する。移動検出部３６は、人物の座標等の情報をもとに、検出した人物の移動方向を検出する。例えば、移動検出部３６は、画像ごとあるいは単位時間ごとの座標を比較して、検出した人物の移動方向を検出する。具体的に説明すると、画像ごとあるいは単位時間ごとの検出人物の座標の差分、人物全体または頭部など特定部位の大きさの差分が導出される。前者によって、本車両を中心とした円周方向の移動が検出され、後者によって、本車両を中心とした放射方向の移動が検出されるので、移動検出部３６は、双方を適用することで、様々な方向へ移動する人物の移動方向を検出する。
　なお、人物検出部３４において複数の人物が検出された場合、移動検出部３６は、複数の人物のそれぞれに対して同様の処理を行う。さらに、移動検出時に、本車両が走行している場合、移動検出部３６は、本車両の走行速度との相対的な位置関係より移動方向を検出する。また、移動検出部３６は、人物検出部３４から映像情報を入力している場合、画素差分検出、画像相関判定を実行することによって、検出した人物の移動方向を検出してもよい。移動検出部３６は、人物ごとの移動方向の情報を画像処理部３８に出力する。ここで、人物ごとの移動方向の情報には、各人物の座標等の情報も含まれる。
　画像処理部３８は、映像取得部３２から、映像情報を入力するとともに、移動検出部３６から、人物ごとの移動方向の情報を入力する。画像処理部３８は、映像情報に含まれた複数の画像のそれぞれにおいて、人物ごとの移動方向の情報に含まれた座標等の情報をもとに、画像に含まれた人物を特定する。これにつづいて、画像処理部３８は、特定した人物と移動方向とを対応づける。さらに、画像処理部３８は、移動方向を示すアイコン、例えば、移動方向に矢印を向けた矢印形状のアイコン（以下、「矢印形状アイコン」という）を、特定した人物が起点となるように画像に重畳することによって、表示画像６０を生成する。つまり、画像処理部３８は、映像取得部３２が取得した映像情報および移動検出部３６において検出した人物の移動方向を示す矢印形状アイコンが含まれた表示画像６０を生成する。
　図２は、画像処理部３８において生成される表示画像６０の例を示す。ここでは、人物２００が検出されており、当該人物２００を起点とするように、矢印形状アイコン２０２が重畳されている。矢印形状アイコン２０２によって、人物２００が右方向、つまり道路方向に移動していることが示される。図１に戻る。画像処理部３８は、複数の人物２００が含まれる場合、人物２００ごとに矢印形状アイコン２０２を重畳する。さらに、画像処理部３８は、映像情報に含まれた各画像に対して同様の処理を実行することによって、各画像に対応した表示画像６０を生成する。その結果、複数の表示画像６０によって構成される映像情報が生成される。なお、画像処理部３８は、移動していない人物２００に対して矢印形状アイコン２０２を重畳しない。画像処理部３８は、複数の表示画像６０によって構成された映像情報（以下、これもまた「映像情報」という）を表示制御部４０に出力する。
　表示制御部４０は、画像処理部３８から映像情報を入力する。表示制御部４０は、表示部５０に映像情報を表示させる。表示部５０は、例えば、車両の運転席に設置されたモニタなど、運転者が視認できる位置に設置されている表示装置である。表示部５０は、図２に示すような表示画像６０によって構成される映像情報を表示する。
　ここで、移動検出部３６は、各人物２００の移動方向だけではなく、各人物２００の移動速度を検出してもよい。例えば、移動検出部３６は、画像ごとあるいは単位時間ごとの座標の差異の大きさをもとに、移動速度を検出する。座標の差異が大きい場合、移動速度も大きくなり、座標の差異が小さい場合、移動速度も小さくなる。なお、座標の差異と移動速度との関係は、予め移動検出部３６に記憶されている。移動検出部３６は、各人物２００の移動速度の情報も画像処理部３８に出力する。
　画像処理部３８は、移動検出部３６から、各人物２００の移動速度の情報も入力する。画像処理部３８は、前述のごとく、矢印形状アイコン２０２を人物２００に重畳するが、その際に、矢印形状アイコン２０２を、移動速度に応じた形態となるように調節する。例えば、画像処理部３８は、移動速度が速くなるほど、長くなったり、太くなったりするように矢印形状アイコン２０２を調節する。例えば、画像処理部３８は、人物２００が１秒後に到達する位置を矢印の先端とするように、矢印形状アイコン２０２の長さを決定する。また、画像処理部３８は、移動速度に応じて、矢印形状アイコン２０２の色または矢印形状アイコン２０２の周辺色を変えてもよい。例えば、画像処理部３８は、移動速度が所定の閾値より速い場合に矢印形状アイコン２０２を点滅させてもよく、移動速度が速くなるにつれ点滅周期を短くしてもよい。
　図３は、画像処理部３８において生成される別の表示画像６０の例を示す。図示のごとく、第１人物２００ａに対して第１矢印形状アイコン２０２ａが重畳され、第２人物２００ｂに対して第２矢印形状アイコン２０２ｂが重畳される。ここで、第１人物２００ａの移動速度よりも、第２人物２００ｂの移動速度の方が速いので、第１矢印形状アイコン２０２ａよりも、第２矢印形状アイコン２０２ｂの方が長くされる。これにつづく、表示制御部４０、表示部５０の処理は、前述の通りである。その結果、表示部５０は、移動速度に応じた形態の矢印形状アイコン２０２を表示する。
　この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　これまでは、車両の前方に搭載された撮像部１０において撮像した映像情報に矢印形状アイコン２０２を重畳していたが、俯瞰画像に矢印形状アイコン２０２を重畳してもよい。俯瞰画像は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により生成される。そのため、これまでは、車両が前進していた場合の表示を対象とするが、ここでは、後退しながら駐車する場合の表示を対象とする。
　図４は、実施例１に係る表示装置３０の別の構成を示す。表示装置３０は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８を含む撮像部１０、表示部５０に接続される。また、表示装置３０は、映像取得部３２、人物検出部３４、移動検出部３６、画像処理部３８、表示制御部４０、生成部４４を含む。
　前方撮像部１２は、これまでの撮像部１０に相当し、車両の前方部分、例えばバンパー、ボンネット等に設置される。前方撮像部１２は、車両から前方に向かうように前方撮像領域を形成し、前方撮像領域において映像を撮像する。車両の左側方部分、例えば、左側ドアミラーの下部等には、左側方撮像部１４が設置される。左側方撮像部１４は、車両から左方に向かうように左側方撮像領域を形成し、左側方撮像領域において映像を撮像する。
　車両の後方部分、例えば、バンパー、トランク等には、後方撮像部１６が設置される。後方撮像部１６は、車両から後方に向かうように後方撮像領域を形成し、後方撮像領域において映像を撮像する。左側方撮像部１４と左右対称になるように、車両の右側部分には、右側方撮像部１８が設置される。右側方撮像部１８は、車両から右方に向かうように、右側方撮像領域を形成し、右側方撮像領域において映像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６および右側方撮像部１８を撮像部１０とし、撮像部１０において撮像した映像によって、車両の周辺が撮像される。前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、映像情報を映像取得部３２に出力する。
　映像取得部３２は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８のそれぞれから映像情報を入力し、人物検出部３４、生成部４４に映像情報を出力する。生成部４４は、映像取得部３２から映像情報を入力する。生成部４４は、映像情報に含まれた複数の画像のそれぞれに対して、車両の上方から見たように視点を変換することによって俯瞰画像を生成する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に画像の各画素を投影するとともに、車両の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した画像に相当する。生成部４４は、俯瞰画像を画像処理部３８に出力する。
　人物検出部３４、移動検出部３６は、これまでと同様の処理を実行することによって、各人物の座標、各人物の移動方向を検出する。なお、これらの検出は、俯瞰画像ではなく、映像情報に含まれた複数の画像に対してなされる。そのため、検出された座標が俯瞰画像に含まれない場合もある。画像処理部３８は、生成部４４から俯瞰画像を入力するとともに、移動検出部３６から、人物ごとの移動方向の情報を入力する。画像処理部３８は、人物が起点となるように矢印形状アイコンを俯瞰画像に重畳することによって、俯瞰画像７８を生成する。つまり、画像処理部３８は、生成部４４において生成した俯瞰画像および移動検出部３６において検出した人物の移動方向を示す矢印形状アイコンが含まれた俯瞰画像７８を生成する。
　図５は、画像処理部３８において生成される俯瞰画像７８を示す。図５における俯瞰画像７８の中央部分には、自車アイコン８０が配置される。自車アイコン８０は、車両１００を上方から見た画像である。自車アイコン８０の前方には前方画像７０が配置され、自車アイコン８０の左側方には左側方画像７２が配置され、自車アイコン８０の後方には後方画像７４が配置され、自車アイコン８０の右側方には右側方画像７６が配置される。また、俯瞰画像７８には、第１人物アイコン２２０ａと、それを起点にした第１矢印形状アイコン２２２ａが示される。これは、これまでの人物２００、矢印形状アイコン２０２に相当する。さらに、俯瞰画像７８には、第２人物アイコン２２０ｂと、それを起点にした第２矢印形状アイコン２２２ｂも示される。図４に戻る。これにつづく、画像処理部３８、表示制御部４０、表示部５０の処理は前述の通りである。俯瞰画像７８は、視点変換処理を行っているために、人物が映っていても運転者は明瞭に人物を認識できない場合がある。このため、人物検出部３４が検出した人物の位置に人物アイコン２２０を表示させる。人物アイコン２２０の表示位置は、検出した人物の下端位置、すなわち俯瞰画像７８の中央部に最も近い位置とする。
　本実施例によれば、表示画像における人物に矢印形状アイコンを重畳するので、人物の移動方向を運転者に知らせることができる。また、映像情報から検出した人物の座標の変化をもとに、移動方向を検出するので、映像情報だけから移動方向を検出できる。また、これまでの移動方向を示す矢印形状アイコンを使用するので、これからの移動方向を運転者に推測させることができる。また、移動速度に応じた形態の矢印形状アイコンを表示するので、運転者に移動速度を知らせることができる。また、移動速度に応じて矢印形状アイコンの長さを調節するので、移動速度を容易に知らせることができる。また、移動速度に応じて矢印形状アイコンの太さを調節するので、移動速度を容易に知らせることができる。また、移動速度に応じて矢印形状アイコンの色を調節するので、移動速度を容易に知らせることができる。
　また、俯瞰画像に矢印形状アイコンを重畳させるので、駐車等の場合に人物の移動方向を知らせることができる。また、駐車等の場合に人物の移動方向を知らせるので、安全に駐車させることができる。また、俯瞰画像の外に含まれる人物に対する矢印形状アイコンを俯瞰画像に重畳して表示するので、俯瞰画像の範囲が狭くても、注意すべき人物の移動方向を運転者に知らせることができる。
（実施例２）
　次に、実施例２を説明する。実施例２は、実施例１と同様に、車両の前方に搭載された撮像部において撮像した映像を表示するとともに、人物の移動方向が示されたアイコンを当該映像に重畳して表示する表示装置に関する。映像に表示される人物の数が増加すると、映像に表示されるアイコン、例えば、矢印形状アイコンの数も増加する。しかしながら、表示される矢印形状アイコンの数が多くなると、運転者にとっては、矢印形状アイコンを見づらくなるので、矢印形状アイコンによる注意喚起力が低下する。実施例２では、映像に表示される人物の数が増加しても、矢印形状アイコンによる注意喚起力を維持するための表示に関する。実施例２に係る表示装置３０は、図１と同様のタイプである。ここでは、実施例１との差異を中心に説明する。
　映像取得部３２、人物検出部３４、移動検出部３６は、実施例１と同様の処理を実行する。また、画像処理部３８も、実施例１と同様に、特定した人物２００が起点となるように矢印形状アイコン２０２を画像に重畳することによって、表示画像６０を生成する。その際、画像処理部３８は、本車両の進行方向を特定する。例えば、画像処理部３８は、画像の左右方向の中央部分の下から上に向かうような進行方向を特定する。また、画像処理部３８は、移動方向が進行方向に向かっている人物２００だけに、矢印形状アイコン２０２を重畳する。つまり、画像処理部３８は、進行方向とは異なった方向に向かう移動方向の人物２００に、矢印形状アイコン２０２を重畳しない。
　図６は、実施例２に係る画像処理部３８において生成される表示画像６０を示す。図示のごとく、車両の進行方向２０６が点線で示される。なお、進行方向２０６は、説明を容易にするために表示画像６０上に示されており、実際には表示されない。また、ここでは、第１人物２００ａ、第２人物２００ｂが検出されており、これらの移動方向は、進行方向２０６に向かっている。そのため、第１人物２００ａには、進行方向２０６に向かう第１矢印形状アイコン２０２ａが重畳されており、第２人物２００ｂには、進行方向２０６に向かう第２矢印形状アイコン２０２ｂが重畳されている。
　さらに、第３人物２００ｃ、第４人物２００ｄも検出されている。しかしながら、第３人物２００ｃは、第１移動方向２０８ａを向いており、進行方向２０６に向かって移動していない。また、第４人物２００ｄは、第２移動方向２０８ｂを向いており、進行方向２０６に向かって移動していない。そのため、第３人物２００ｃ、第４人物２００ｄには、矢印形状アイコン２０２が重畳されていない。図１に戻る。これにつづく、画像処理部３８、表示制御部４０、表示部５０の処理は前述の通りである。その結果、表示部５０は、本表示装置３０を搭載した車両の進行方向に向かう移動方向を示す矢印形状アイコン２０２だけを表示する。なお、このような処理は、表示される矢印形状アイコン２０２の数が、しきい値以上になった場合だけなされてもよい。
　このような処理は、俯瞰画像に対してなされてもよい。その場合の表示装置３０は、図４と同様のタイプである。表示装置３０における処理はこれまでと同様であるので、ここでは説明を省略する。図７は、実施例２に係る画像処理部３８において生成される俯瞰画像７８を示す。ここでは、車両が後退する場合を想定するので、図７における自車アイコン８０は下側に向かう。第２人物アイコン２２０ｂの移動方向は、車両の進行方向に向かっている。そのため、第２人物アイコン２２０ｂには、進行方向に向かう第２矢印形状アイコン２２２ｂが重畳されている。一方、第１人物アイコン２２０ａは、第１移動方向２２８ａを向いており、車両の進行方向に向かって移動していない。また、第３人物アイコン２２０ｃも、第３移動方向２２８ｃを向いており、車両の進行方向に向かって移動していない。そのため、第１人物アイコン２２０ａ、第３人物アイコン２２０ｃには、矢印形状アイコン２２２が重畳されていない。
　以上の構成による表示装置３０の動作を説明する。図８は、実施例２に係る表示装置３０による表示手順を示すフローチャートである。映像取得部３２は、映像情報を取得する（Ｓ５０）。人物検出部３４が人物２００を検出しない場合（Ｓ５２のＮ）、処理は終了される。人物検出部３４が人物２００を検出し（Ｓ５２のＹ）、移動検出部３６において検出した移動方向が進行方向である場合（Ｓ５４のＹ）、画像処理部３８は、矢印形状アイコン２０２を使用する（Ｓ５６）。一方、移動検出部３６において検出した移動方向が進行方向でない場合（Ｓ５４のＮ）、ステップ５６はスキップされる。すべての人物２００を処理していなければ（Ｓ５８のＮ）、ステップ５４に戻る。すべての人物２００を処理すれば（Ｓ５８のＹ）、処理は終了される。
　本実施例によれば、車両の進行方向に向かう移動方向を示す矢印形状アイコンだけを表示するので、表示される矢印形状アイコンの数の増加を抑制できる。また、表示される矢印形状アイコンの数の増加が抑制されるので、運転者による視認性を確保できる。また、表示される矢印形状アイコンの数の増加が抑制されるので、運転者に対する注意喚起力の低下を抑制できる。また、車両の進行方向に向かう移動方向を示す矢印形状アイコンを表示するので、表示される矢印形状アイコンの数の増加が抑制されても、注意を要する人物を知らせることができる。
（実施例３）
　次に、実施例３を説明する。実施例３は、これまでと同様に、車両の前方に搭載された撮像部において撮像した映像を表示するとともに、人物の移動方向が示されたアイコンを当該映像に重畳して表示する表示装置に関する。撮像部において撮像した映像のサイズよりも、表示装置に表示される映像のサイズが小さい場合、撮像部において撮像した映像に含まれる人物が、表示装置において表示される映像に含まれないことがある。しかしながら、そのような人物が車両の方向に移動する場合もある。実施例３では、映像に表示されない人物が車両の方向に移動している場合に、当該移動を通知するための表示に関する。実施例３に係る表示装置３０は、図１と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
　人物検出部３４および移動検出部３６は、これまでと同様の処理を実行する。画像処理部３８は、映像取得部３２から、映像情報を入力するとともに、移動検出部３６から、人物ごとの移動方向の情報を入力する。画像処理部３８は、画像に含まれた人物を特定するとともに、特定した人物と移動方向とを対応づける。さらに、画像処理部３８は、矢印形状アイコンを、特定した人物が起点となるように画像に重畳することによって、表示画像６０を生成する。
　その際、画像処理部３８は、映像取得部３２が取得した映像情報の一部分を切出して表示画像６０を生成する。つまり、表示画像６０のサイズは、映像取得部３２において取得した映像情報のサイズよりも小さい。そのため、特定した人物が表示画像６０に含まれないこともある。そのような場合であっても、画像処理部３８は、表示画像６０の範囲の外に含まれる人物の移動方向を示す矢印形状アイコンが表示画像６０に含まれる場合、当該矢印形状アイコンを表示画像６０に含める。これは、表示画像６０の範囲の外に含まれ、かつ表示画像６０の範囲に移動する人物の移動方向を示す矢印形状アイコンを表示画像６０に含めることに相当する。
　図９は、実施例３に係る画像処理部３８において生成される表示画像６０を示す。第１人物２００ａ、第２人物２００ｂ、第１矢印形状アイコン２０２ａ、第２矢印形状アイコン２０２ｂは、図３と同様に示される。一方、第３人物２００ｃおよび第４人物２００ｄは、表示画像６０の外部に存在するので、表示画像６０に示されない。しかしながら、第３人物２００ｃを起点した第３矢印形状アイコン２０２ｃと、第４人物２００ｄを起点にした第４矢印形状アイコン２０２ｄは、表示画像６０内に含まれる。いいかえると、第３矢印形状アイコン２０２ｃと第４矢印形状アイコン２０２ｄは、表示画像６０内に向いている。そのため、表示画像６０には、第３人物２００ｃ、第４人物２００ｄが示されずに、その移動方向を示す第３矢印形状アイコン２０２ｃ、第４矢印形状アイコン２０２ｄだけが示される。
　このような処理は、俯瞰画像に対してなされてもよい。その場合の表示装置３０は、図４と同様のタイプである。表示装置３０における処理はこれまでと同様であるので、ここでは説明を省略する。図１０は、実施例３に係る画像処理部３８において生成される俯瞰画像７８を示す。第１人物アイコン２２０ａは、俯瞰画像７８の内部に存在するので、俯瞰画像７８に示されるとともに、第１人物アイコン２２０ａを起点にした第１矢印形状アイコン２２２ａも俯瞰画像７８に示される。
　一方、第２人物アイコン２２０ｂおよび第３人物アイコン２２０ｃは、俯瞰画像７８の外部に存在するので、俯瞰画像７８に示されない。しかしながら、第２人物アイコン２２０ｂを起点した第２矢印形状アイコン２２２ｂは、俯瞰画像７８内に含まれる。そのため、俯瞰画像７８には、第２人物アイコン２２０ｂが示されずに、その移動方向を示す第２矢印形状アイコン２２２ｂだけが示される。第３矢印形状アイコン２２２ｃも第２矢印形状アイコン２２２ｂと同様である。その結果、表示部５０は、俯瞰画像７８の外に含まれる人物アイコン２２０の移動方向を示す矢印形状アイコン２２２を重畳した俯瞰画像７８を表示する。
　本実施例によれば、表示画像内に人物が含まれない場合であっても、当該人物を起点とする矢印形状アイコンを表示画像に含めるので、人物の移動方向を運転者に知らせることができる。また、俯瞰画像内に人物アイコンが含まれない場合であっても、当該人物アイコンを起点とする矢印形状アイコンを俯瞰画像に含めるので、人物アイコンに対応した人物の移動方向を運転者に知らせることができる。
（実施例４）
　次に、実施例４を説明する。実施例４は、これまでと同様に、車両の前方に搭載された撮像部において撮像した映像を表示するとともに、人物の移動方向が示されたアイコンを当該映像に重畳して表示する表示装置に関する。映像に表示される人物の数が増加すると、映像に表示されるアイコン、例えば、矢印形状アイコンの数も増加する。しかしながら、車両の走行速度が高速になるほど、運転者が認識可能な矢印形状アイコンの数は減少する。実施例４では、車両の走行速度に応じて、矢印形状アイコンの数を調節することに関する。ここでは、これまでとの差異を中心に説明する。また、映像に表示される人物の数が多い場合、矢印形状アイコンの数に上限値を設定してもよい。例えばほぼ同一方向へほぼ同一の速度で移動している人物群に対しては矢印形状アイコンをまとめて１または人物の数より少ない数の矢印アイコンとしてもよい。この場合、複数の人物をまとめた矢印アイコンであることが判別可能な矢印アイコンの表示形態としてもよい。
　図１１は、実施例４に係る表示装置３０の構成を示す。表示装置３０は、撮像部１０、表示部５０に接続される。また、表示装置３０は、映像取得部３２、人物検出部３４、移動検出部３６、画像処理部３８、表示制御部４０、走行状況判定部４２を含む。
　走行状況判定部４２は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等のネットワークに接続し、ＣＡＮを介してＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）から走行情報を取得する。走行情報では、選択されているシフトギア、車両の速度等が示される。走行状況判定部４２は、走行情報をもとに、本表示装置３０を搭載した車両の走行状況を判定する。具体的には、車両が低速走行をしているか、あるい高速走行をしているかを判定する。低速走行は、シフトギアとしてドライブギアが選択され、かつしきい値未満の速度で走行している場合である。しきい値は、例えば、１０ｋｍ／ｈに選択されるので、低速走行は、交差点右左折時、信号待ち時、渋滞時等に相当する。また、高速走行は、シフトギアとしてドライブギアが選択され、かつしきい値以上の速度で走行している場合である。走行状況判定部４２は、判定結果を画像処理部３８に出力する。
　画像処理部３８は、走行状況判定部４２からの判定結果も入力する。判定結果が低速走行である場合、画像処理部３８は、これまでと同様の処理を実行することによって、表示画像６０を生成する。図１２は、画像処理部３８において生成される表示画像６０を示す。ここでは、第１人物２００ａから第４人物２００ｄが検出されており、それぞれに対して第１矢印形状アイコン２０２ａから第４矢印形状アイコン２０２ｄが重畳されている。なお、第１人物２００ａ、第２人物２００ｂは、第３人物２００ｃ、第４人物２００ｄよりも、本車両が走行する道路の近くに位置する。図１１に戻る。
　一方、判定結果が高速走行である場合、画像処理部３８は、低速走行の場合よりも、矢印形状アイコン２０２を重畳可能な人物２００が含まれる範囲（以下、「表示範囲」という）を限定する。図１３は、画像処理部３８において生成される別の表示画像６０を示す。図１３は、図１２と同様に示されるが、本車両が走行する道路を含むように、表示範囲２１０が設定されている。画像処理部３８は、表示範囲２１０に含まれた人物２００に対してのみ、矢印形状アイコン２０２を重畳し、表示範囲２１０外に含まれ人物２００に対して、矢印形状アイコン２０２を重畳しない。そのため、第１人物２００ａ、第２人物２００ｂには、第１矢印形状アイコン２０２ａ、第２矢印形状アイコン２０２ｂがそれぞれ重畳されているが、第３人物２００ｃ、第４人物２００ｄには矢印形状アイコン２０２が重畳されていない。これは、車両の速度が増加すると、周辺の人物２００を検出する必要性が低くなり、走行の前方の人物２００を検出する必要性が高くなるからである。つまり、画像処理部３８は、走行状況判定部４２において判定した走行状況に応じて、移動方向を示す矢印形状アイコン２０２を表示させる範囲を変化させる。図１１に戻る。
　これにつづく、画像処理部３８、表示制御部４０、表示部５０の処理は前述の通りである。その結果、表示部５０は、走行状況が、低速走行である場合よりも高速走行である場合において、矢印形状アイコン２０２を重畳させる人物２００が含まれる範囲を限定する。
　このような処理は、俯瞰画像に対してなされてもよい。図１４は、実施例４に係る表示装置３０の別の構成を示す。表示装置３０は、図１１の表示装置３０と同様の構成を有するが、撮像部１０が図４のように構成される。この処理は、図４の表示装置３０と図１１の表示装置３０とを組み合わせた処理であるので、ここでは説明を省略する。例えば、表示装置３０は、車両の走行速度が低い場合、図５のように俯瞰画像７８に含まれる人物アイコン２２０を起点とする矢印形状アイコン２２２だけを表示する。一方、表示装置３０は、車両の走行速度が所定以上である場合、図１０のように俯瞰画像７８に含まれない人物アイコン２２０を起点とする矢印形状アイコン２２２も表示する。ここで、車両の走行速度が低い場合とは、例えば１０ｋｍ／ｈ未満であり、車両の走行速度が所定以上である場合とは、例えば１０ｋｍ／ｈ以上である。
　以上の構成による表示装置３０の動作を説明する。図１５は、表示装置３０による表示手順を示すフローチャートである。画像処理部３８は、高速走行であれば（Ｓ７０のＹ）、表示範囲２１０を変更する（Ｓ７２）。画像処理部３８は、高速走行でなければ（Ｓ７０のＮ）、ステップ７２をスキップする。
　本実施例によれば、低速走行であれば、矢印形状アイコンを表示される人物が含まれる範囲を広くするので、車両の周囲に存在する人物を運転者に知らせることができる。また、車両の周囲に存在する人物を運転者に知らせるので、安全運転に寄与することができる。また、高速走行であれば、矢印形状アイコンを表示させる人物が含まれる範囲を限定するので、運転者が注意すべき範囲における人物の移動方向を知らせることができる。また、運転者が注意すべき範囲における人物の移動方向を知らせるので、高速走行であっても、運転者への注意喚起力を維持できる。
（実施例５）
　次に、実施例５を説明する。実施例５は、これまでと同様に、車両の前方に搭載された撮像部において撮像した映像を表示するとともに、人物の移動方向が示されたアイコンを当該映像に重畳して表示する表示装置に関する。実施例１では、人物の移動方向が示されたアイコンとして、矢印形状アイコンが表示される。しかしながら、移動方向が変動し、一定の方向に移動しない人物も存在する。この場合、矢印形状アイコンの表示が困難になる。実施例５では、このような場合に表示するアイコンに関する。実施例５に係る表示装置３０は、図１と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
　映像取得部３２、人物検出部３４、移動検出部３６は、実施例１と同様の処理を実行する。移動検出部３６は、１つの人物２００に対する移動方向を監視し、予め定めた期間において移動方向が変動しているかを確認する。予め定めた期間は、例えば、２～３秒のように規定される。移動方向が変動している場合、移動検出部３６は、移動方向の情報、移動速度の情報の代わりに、移動方向が変動していることを示す情報を画像処理部３８に出力する。
　また、移動検出部３６は、検出した人物２００の縦方向のサイズ、つまり身長を特定し、特定した人物２００のサイズが、所定サイズ未満であるかを確認する。所定サイズは、例えば、１００～１２０ｃｍのように規定されるので、移動検出部３６での処理は、人物２００が子供であるかを確認することに相当する。子供は、一般的に、急に走り出したり、急に移動方向を変えたりする場合が多いので、移動方向の情報、移動速度の情報が無意味になる可能性がある。そのため、人物２００が所定サイズ未満である場合、移動検出部３６は、移動方向の情報、移動速度の情報の代わりに、人物２００が子供であることを示す情報を画像処理部３８に出力する。これらの処理は、人物２００ごとになされる。
　身長の特定処理は、特定した人物２００のサイズが所定時間変動しない場合に所定サイズ未満であるとしてもよい。具体的には、特定した人物２００の速度を検出するための時間などであり、例えば３秒などの間に撮影されるフレーム数の映像に基づく。このような処理を含めることで、例えば、所定サイズ以上の人物２００が一時的に屈むなどの動作により所定サイズ未満として認識されてしまうことを防止する。また、人物２００の検出は、撮像した映像に基づき人物であることを認識するための辞書を参照して検出し、人物２００の縦方向のサイズは辞書に基づき頭部として認識される部位の上部を基準として特定する。このため、所定サイズ未満の人物が手を上げるなどの動作により所定サイズ未満ではないと認識されることを防止する。
　画像処理部３８は、所定の人物２００の移動方向が変動していることを示す情報、あるいは所定の人物２００が子供であることを示す情報を入力する。画像処理部３８は、実施例１と同様の処理を実行し、映像情報に含まれた複数の画像のそれぞれにおいて、前述の所定の人物２００を特定する。また、画像処理部３８は、特定した人物２００に対して、矢印形状アイコン２０２の代わりに、移動可能性のある範囲を示すアイコン（以下、「範囲アイコン」という）を重畳することによって、表示画像６０を生成する。範囲アイコンは、人物２００を中心として水平面に円を描くようなアイコンであり、当該人物２００が、範囲アイコンで示された範囲内を移動する可能性があることを示す。そのため、範囲アイコンも、移動方向を示すアイコンといえる。
　図１６は、実施例５に係る画像処理部３８において生成される表示画像６０を示す。ここでは、第１人物２００ａ、第２人物２００ｂ、第３人物２００ｃが検出されている。第１人物２００ａは、移動検出部３６において子供であると検出されている。また、第２人物２００ｂは、移動検出部３６において移動方向が変動していると検出されている。そのため、第１人物２００ａには第１範囲アイコン２０４ａが重畳されており、第２人物２００ｂには第２範囲アイコン２０４ｂが重畳されている。一方、第３人物２００ｃに対しては、実施例１と同様の処理によって、矢印形状アイコン２０２が重畳されている。図１に戻る。これにつづく、画像処理部３８、表示制御部４０、表示部５０の処理は前述の通りである。その結果、表示部５０は、移動方向が変動している場合、あるいは人物２００のサイズが所定サイズ未満である場合、人物２００の周囲に移動可能性のある範囲を示す範囲アイコン２０４を表示する。
　このような処理は、俯瞰画像に対してなされてもよい。その場合の表示装置３０は、図４と同様のタイプである。表示装置３０における処理はこれまでと同様であるので、ここでは説明を省略する。図１７は、実施例５に係る画像処理部３８において生成される俯瞰画像７８を示す。第１人物アイコン２２０ａに対応した人物は、移動検出部３６において子供であると検出されている。また、第２人物アイコン２２０ｂに対応した人物は、移動検出部３６において移動方向が変動していると検出されている。そのため、第１人物アイコン２２０ａには第１範囲アイコン２２４ａが重畳されており、第２人物アイコン２２０ｂには第２範囲アイコン２２４ｂが重畳されている。一方、第３人物アイコン２２０ｃに対しては、実施例１と同様の処理によって、第３矢印形状アイコン２２２ｃが重畳されている。
　以上の構成による表示装置３０の動作を説明する。図１８は、実施例５に係る表示装置３０による表示手順を示すフローチャートである。映像取得部３２は、映像情報を取得する（Ｓ１０）。人物検出部３４が人物２００を検出しない場合（Ｓ１２のＮ）、処理は終了される。人物検出部３４が人物２００を検出し（Ｓ１２のＹ）、移動検出部３６において検出した移動方向が一定である場合（Ｓ１４のＹ）、画像処理部３８は、矢印形状アイコン２０２を使用する（Ｓ１６）。一方、移動検出部３６において検出した移動方向が一定でない場合（Ｓ１４のＮ）、画像処理部３８は、範囲アイコン２０４を使用する（Ｓ１８）。すべての人物２００を処理していなければ（Ｓ２０のＮ）、ステップ１４に戻る。すべての人物２００を処理すれば（Ｓ２０のＹ）、処理は終了される。
　図１９は、実施例５に係る表示装置３０による別の表示手順を示すフローチャートである。映像取得部３２は、映像情報を取得する（Ｓ３０）。人物検出部３４が人物２００を検出しない場合（Ｓ３２のＮ）、処理は終了される。人物検出部３４が人物２００を検出し（Ｓ３２のＹ）、移動検出部３６において所定サイズ未満の人物２００を特定しない場合（Ｓ３４のＮ）、画像処理部３８は、矢印形状アイコン２０２を使用する（Ｓ３６）。一方、移動検出部３６において所定サイズ未満の人物２００を特定した場合（Ｓ３４のＹ）、画像処理部３８は、範囲アイコン２０４を使用する（Ｓ３８）。すべての人物２００を処理していなければ（Ｓ４０のＮ）、ステップ３４に戻る。すべての人物２００を処理すれば（Ｓ４０のＹ）、処理は終了される。
　本実施例によれば、移動方向が変動している場合、人物の周囲に範囲アイコンを示すので、移動可能性のある範囲を知らせることができる。また、移動方向が変動している場合、人物の周囲に範囲アイコンを示すので、移動方向の特定を不要にできる。また、検出した人物のサイズが所定サイズ未満である場合、人物の周囲に範囲アイコンを示すので、移動可能性のある範囲を知らせることができる。また、検出した人物のサイズが所定サイズ未満である場合、人物の周囲に範囲アイコンを示すので、移動方向の特定を不要にできる。
　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　本実施例１乃至５において、表示部５０は、車両の運転席に設置されたモニタである。しかしながらこれに限らず例えば、表示部５０は、ヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ－Ｕｐ　Ｄｉｓｐｌａｙ）であってもよい。その場合、画像処理部３８は、ＨＵＤに表示させるための虚像であって、かつ矢印形状アイコン２０２、範囲アイコン２０４等が配置される虚像を生成する。本変形例によれば、表示の自由度を向上できる。
　本実施例１乃至５において、撮像部１０は、車両の前方に搭載されている。しかしながらこれに限らず例えば、撮像部１０は、車両の側方、後方に搭載されてもよい。本変形例によれば、駐車、細い道での走行において、人物の移動方向を知らせることができる。
　本実施例１乃至５の任意の組合せも有効である。本変形例によれば、組合せによる効果を得ることができる。
　１０　撮像部、　１２　前方撮像部、　１４　左側方撮像部、　１６　後方撮像部、　１８　右側方撮像部、　３０　表示装置、　３２　映像取得部、　３４　人物検出部、　３６　移動検出部、　３８　画像処理部、　４０　表示制御部、　４２　走行状況判定部、　４４　生成部、　５０　表示部、　６０　表示画像、　７８　俯瞰画像、　２００　人物、　２０２　矢印形状アイコン、　２２０　人物アイコン、　２２２　矢印形状アイコン。
　本発明によれば、人物の移動方向を運転者に知らせることができる。

Claims (12)

  1. 　車両の周囲を撮像した映像情報を取得する映像取得部と、
    　前記映像取得部において取得した映像情報から人物を検出する人物検出部と、
    　前記人物検出部において検出した人物の移動方向を検出する移動検出部と、
    　前記映像取得部が取得した映像情報および前記移動検出部において検出した人物の移動方向を示すアイコンを表示部に表示させる表示制御部と、
    　を備えることを特徴とする表示装置。
  2. 　前記映像取得部において取得した映像情報の視点を変換した俯瞰画像を生成する生成部と、をさらに備え、
    　前記表示制御部は、前記生成部において生成した俯瞰画像および前記移動検出部において検出した人物の移動方向を示すアイコンを前記表示部に表示させることを特徴とする、
    　請求項１に記載の表示装置。
  3. 　前記表示制御部は、前記映像取得部が取得した映像情報の一部分を切出して前記表示部に表示させ、前記表示部に表示される範囲の外に含まれる人物の移動方向を示すアイコンを表示部に表示させることを特徴とする、
    　請求項１または２に記載の表示装置。
  4. 　前記表示制御部は、前記表示部に表示される範囲の外に含まれ前記表示部に表示される範囲に移動する人物の移動方向を示すアイコンを表示部に表示させることを特徴とする、
    　請求項３に記載の表示装置。
  5. 　前記表示制御部は、前記車両の進行方向に向かう人物の移動方向を示すアイコンを表示することを特徴とする請求項１または２に記載の表示装置。
  6. 　前記移動検出部は、前記人物検出部において検出した人物の移動速度も検出し、
    　前記表示制御部は、前記移動方向を示すアイコンとして、前記移動検出部において検出した移動速度に応じた形態の矢印形状アイコンを表示することを特徴とする請求項１から５のいずれかに記載の表示装置。
  7. 　本表示装置を搭載した車両の走行状況を判定する走行状況判定部と、をさらに備え、
    　前記表示制御部は、前記走行状況判定部において判定した走行状況に応じて、前記移動方向を示すアイコンを表示させる範囲を変化させることを特徴とする請求項１から６のいずれかに記載の表示装置。
  8. 　前記表示制御部は、前記映像情報における前記検出した人物を起点として前記人物の移動方向に延びる前記移動方向を示すアイコンを表示させることを特徴とする請求項１から７のいずれかに記載の表示装置。
  9. 　前記表示制御部は、前記移動検出部において検出した移動方向が変動している場合、前記移動方向を示すアイコンとして、前記人物検出部において検出した人物の周囲に移動可能性のある範囲を示すアイコンを表示することを特徴とする請求項１から３のいずれかに記載の表示装置。
  10. 　前記表示制御部は、前記人物検出部において検出した人物のサイズが所定サイズ未満である場合、前記移動方向を示すアイコンとして、前記人物検出部において検出した人物の周囲に移動可能性のある範囲を示すアイコンを表示することを特徴とする請求項１から３のいずれかに記載の表示装置。
  11. 　車両の周囲を撮像した映像情報を取得する映像取得ステップと、
    　前記取得ステップで取得した映像情報から人物を検出する人物検出ステップと、
    　前記人物検出ステップで検出した人物の移動方向を検出する移動検出ステップと、
    　前記映像取得ステップで取得した映像情報および前記移動検出ステップで検出した人物の移動方向を示すアイコンを表示部に表示する表示ステップと、
    　を備えることを特徴とする表示方法。
  12. 　車両の周囲を撮像した映像情報を取得する映像取得ステップと、
    　前記取得ステップで取得した映像情報から人物を検出する人物検出ステップと、
    　前記人物検出ステップで検出した人物の移動方向を検出する移動検出ステップと、
    　前記映像取得ステップで取得した映像情報および前記移動検出ステップで検出した人物の移動方向を示すアイコンを表示部に表示する表示ステップと、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2016/086470 2016-01-25 2016-12-08 表示装置、表示方法、プログラム WO2017130577A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680047351.5A CN107924265B (zh) 2016-01-25 2016-12-08 显示装置、显示方法以及存储介质
US16/041,866 US20180330619A1 (en) 2016-01-25 2018-07-23 Display device and display method for displaying pictures, and storage medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-011244 2016-01-25
JP2016011244 2016-01-25
JP2016-205922 2016-10-20
JP2016205922A JP6805716B2 (ja) 2016-01-25 2016-10-20 表示装置、表示方法、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/041,866 Continuation US20180330619A1 (en) 2016-01-25 2018-07-23 Display device and display method for displaying pictures, and storage medium

Publications (1)

Publication Number Publication Date
WO2017130577A1 true WO2017130577A1 (ja) 2017-08-03

Family

ID=59398905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086470 WO2017130577A1 (ja) 2016-01-25 2016-12-08 表示装置、表示方法、プログラム

Country Status (1)

Country Link
WO (1) WO2017130577A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935196A (ja) * 1995-07-17 1997-02-07 Mitsubishi Electric Corp 車両用周辺監視装置及び車両用周辺監視方法
JP2005044224A (ja) * 2003-07-24 2005-02-17 Denso Corp 三次元デジタル地図作成装置、三次元デジタル地図表示システムおよび安全運転支援システム
JP2007295043A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 車両周囲監視装置
JP2010088045A (ja) * 2008-10-02 2010-04-15 Toyota Motor Corp ナイトビューシステム、夜間歩行者表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935196A (ja) * 1995-07-17 1997-02-07 Mitsubishi Electric Corp 車両用周辺監視装置及び車両用周辺監視方法
JP2005044224A (ja) * 2003-07-24 2005-02-17 Denso Corp 三次元デジタル地図作成装置、三次元デジタル地図表示システムおよび安全運転支援システム
JP2007295043A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 車両周囲監視装置
JP2010088045A (ja) * 2008-10-02 2010-04-15 Toyota Motor Corp ナイトビューシステム、夜間歩行者表示方法

Similar Documents

Publication Publication Date Title
JP6805716B2 (ja) 表示装置、表示方法、プログラム
JP5744352B2 (ja) 車両周辺表示装置
WO2017158983A1 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP4513318B2 (ja) 後側方画像制御装置および方法
JP6394281B2 (ja) 車載注意喚起システム、報知制御装置
JP4687411B2 (ja) 車両周辺画像処理装置及びプログラム
US20190082123A1 (en) Display control apparatus, method, program, and system
JP2009116723A (ja) 車線変更支援装置
JP6623906B2 (ja) 車両用表示装置及び車両用表示方法
JP7127597B2 (ja) 監視装置
JP2005222425A (ja) 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体
JP2005309797A (ja) 歩行者警報装置
US20190204598A1 (en) Display control device and display control method
JP2008213744A (ja) 車輌周辺視認装置
WO2018061413A1 (ja) ジェスチャ検出装置
JP2005276056A (ja) ノーズビューモニタ装置
JP2007334511A (ja) 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP2007311898A (ja) 車両運転支援装置および車両運転支援方法
JP5271511B2 (ja) 運転支援装置および画像表示装置
JP5192007B2 (ja) 車両の周辺監視装置
WO2017130577A1 (ja) 表示装置、表示方法、プログラム
JP2004252550A (ja) 運転支援装置
JP2005309660A (ja) 車両用右左折支援装置
JP6868996B2 (ja) 障害物検知システム及び建設機械
JP4799236B2 (ja) 車載表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16888161

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16888161

Country of ref document: EP

Kind code of ref document: A1