WO2012169119A1 - 物体検出枠表示装置及び物体検出枠表示方法 - Google Patents

物体検出枠表示装置及び物体検出枠表示方法 Download PDF

Info

Publication number
WO2012169119A1
WO2012169119A1 PCT/JP2012/003148 JP2012003148W WO2012169119A1 WO 2012169119 A1 WO2012169119 A1 WO 2012169119A1 JP 2012003148 W JP2012003148 W JP 2012003148W WO 2012169119 A1 WO2012169119 A1 WO 2012169119A1
Authority
WO
WIPO (PCT)
Prior art keywords
object detection
detection frame
frame
display
size
Prior art date
Application number
PCT/JP2012/003148
Other languages
English (en)
French (fr)
Inventor
裕一 松本
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/123,610 priority Critical patent/US9165390B2/en
Priority to CN201280028590.8A priority patent/CN103597514B/zh
Priority to JP2013519359A priority patent/JP5923746B2/ja
Priority to EP12797288.3A priority patent/EP2696326A4/en
Publication of WO2012169119A1 publication Critical patent/WO2012169119A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to an object detection frame display device and an object detection frame display method, and more particularly to a technique for displaying an object detection frame such as a face detection frame on a display in an imaging apparatus such as a digital camera.
  • an imaging apparatus such as a digital camera
  • an area such as a person or a face is detected from a captured image, and this area is surrounded by a frame (hereinafter referred to as an object detection frame) and displayed on a display.
  • an object detection frame a frame
  • FIG. 1 See, for example, Patent Document 1.
  • the user can instantly determine where a target such as a person or face (hereinafter also referred to as a detection target object) is in the subject image. Operations such as placing the image at the center of the captured image can be performed smoothly. Further, in an imaging apparatus that performs automatic focus control (AF) or automatic exposure control (AE) in accordance with a target surrounded by an object detection frame, the user is in focus and exposure based on the object detection frame. It becomes possible to recognize the area.
  • AF automatic focus control
  • AE automatic exposure control
  • Patent Document 2 describes a technique for detecting a face in a captured image.
  • an index value (score) indicating the similarity between a face sample image obtained in advance by learning and a captured image is calculated, and an image area whose index value is equal to or greater than a threshold is detected as a face image candidate area.
  • a plurality of candidate areas that is, candidate area groups, are detected around the same face image.
  • the same face image is determined by further determining the threshold value of these candidate area groups.
  • the candidate area group is integrated.
  • an object detection candidate frame is formed around the target object by raster scanning the input image using the object detector.
  • a final integrated frame is formed by integrating neighboring object detection candidate frames, and this final integrated frame is displayed. Specifically, grouping is performed using the score of the detection candidate frame and the like, and the grouped nearby detection candidate frames are integrated and displayed. As a result, an object detection frame (final integrated frame) surrounding the target object is displayed.
  • the final integrated frame is not separated, and the final integrated frame is formed and displayed between the plurality of detection target objects.
  • the final integrated frame cannot include the detection target object in the frame, and the appearance is deteriorated.
  • Figure 1 shows a specific example.
  • 1A, FIG. 1B, FIG. 1C, and FIG. 1D show time-series images obtained by imaging substantially the same position in the order of FIG. 1A ⁇ FIG. 1B ⁇ FIG. 1C ⁇ FIG.
  • the object detection frame display device detects two persons in the captured image.
  • a rectangular frame indicated by a thin line is an object detection candidate frame
  • a rectangular frame indicated by a thick line is a final integrated frame. What is actually displayed is the captured image and the final integrated frame superimposed thereon, and the object detection candidate frame may or may not be displayed.
  • FIG. 1A and 1D show cases where the final integrated frame has been successfully separated. In this successful case, each final integrated frame is displayed so as to include each person to be detected.
  • FIG. 1B and FIG. 1C are cases where separation of the final integrated frame has failed, and the final integrated frame is displayed between two persons. In this failure case, the final integrated frame cannot include the person to be detected. Therefore, as can be seen from FIG. 1B and FIG. 1C, the final integrated frame looks bad in relation to the detection target object.
  • One way to solve this problem is to devise an integration algorithm when forming the final integration frame. However, if this is done, the algorithm becomes complicated, so that the amount of processing increases and the configuration becomes complicated.
  • the present invention has been made in consideration of the above points, and an object of the present invention is to provide an object frame display device and an object frame display method capable of displaying an object detection frame that is easy to see for a user with a relatively small processing amount. To do.
  • One aspect of the object detection frame display device obtains a first object detection frame indicating a region of a detection target object from an input image, and is further assumed to be an object detection frame related to the same detection target.
  • One aspect of the object detection frame display method obtains a first object detection frame indicating a region of a detection target object from an input image, and further analogizes that the object detection frame is related to the same detection target.
  • an object detection frame that is easy for the user to view can be displayed with a relatively small amount of processing.
  • FIG. 2 is a block diagram illustrating a configuration of an object detection frame display device according to the first embodiment.
  • the figure used for description of the third object detection frame (inner frame) The figure which shows the mode of the process by a several object presence estimation part and a display frame formation part
  • the figure which showed object detection frame formation processing by Embodiment 1 in an easy-to-understand manner The figure which shows the example of a display of the object detection frame by Embodiment 1.
  • FIG. 3 is a block diagram illustrating a configuration of an object detection frame display device according to a second embodiment.
  • FIG. 9 is a block diagram illustrating a configuration of an object detection frame display device according to a third embodiment.
  • FIG. 10 is a diagram for explaining object detection frame formation processing by a display frame formation unit according to the third embodiment, particularly when the determined number of object detection frames and the number of object detection frame candidate positions do not match. Diagram for explaining processing The figure which showed object detection frame formation processing by Embodiment 3 in an easy-to-understand manner
  • FIG. 2 shows a configuration of the object detection frame display device according to Embodiment 1 of the present invention.
  • the object detection frame display device 100 is provided in, for example, a digital camera, an in-vehicle navigation device, a surveillance camera system, or the like.
  • the object detection frame display device 100 inputs an image to the image input unit 101.
  • the input image is, for example, an image captured by a digital camera, an in-vehicle navigation device, a surveillance camera system, or the like.
  • the image input unit 101 sends the input image to the display unit 110 and the object detection frame calculation unit 102.
  • the object detection frame calculation unit 102 obtains a first object detection frame (object detection candidate frame) indicating a region of the detection target object by performing pattern recognition processing on the input image, and further, an object related to the same detection target
  • the second object detection frame is obtained by integrating the first object detection frames that are estimated to be detection frames.
  • the object detection frame calculation unit 102 obtains the second object detection frame by grouping the first object detection frames into clusters.
  • the first object detection frame is a frame indicated by a thin line in FIG.
  • the second object detection frame is a frame indicated by a thick line in FIG.
  • the object detection frame calculation unit 102 obtains the first object detection frame and the second object detection frame by adopting a process as described in Patent Document 2, for example.
  • the first object detection frame is a rectangular frame that surrounds the partial image region whose index value indicating similarity to the detection target object is equal to or greater than the first threshold value.
  • the first object detection frame is a so-called object detection candidate frame, and a plurality of first object detection frames are actually obtained around the detection target object.
  • the object detection frame calculation unit 102 sets the region as the attention candidate region for each region (for each candidate region) surrounded by the first object detection frame, and another candidate different from the attention candidate region Among the regions, when there is a neighborhood candidate region whose coordinate distance from the attention candidate region is equal to or less than a predetermined distance, the attention candidate region and the neighborhood candidate region are set as one candidate group.
  • the object detection frame calculation unit 102 reflects the magnitudes of the plurality of index values for each candidate group based on the plurality of index values calculated for each candidate area constituting the candidate group. Calculate a comprehensive index value.
  • the object detection frame calculation unit 102 when the total index value is equal to or greater than a second threshold value, the predetermined area on the input image including the candidate group for which the total index value is calculated A second object detection frame surrounding this image is formed assuming that the image inside is a detection target object image.
  • the processing performed by the object detection frame calculation unit 102 is not limited to the above-described processing.
  • an image region having high similarity to a detection target object image for example, a human image, a face image, a vehicle, or the like
  • the present invention is not limited to the method of obtaining the first object detection frame and the second object detection frame.
  • the object detection frame calculation unit 102 sends the position information of the first object detection frame and the position information of the second object detection frame to the inclusion frame calculation unit 103. In addition, the object detection frame calculation unit 102 sends the position information of the second object detection frame to the multiple object presence estimation unit 104.
  • the position information of the object detection frame includes information on the rectangle size of the object detection frame (information on the size of the rectangle). That is, the position information of the object detection frame is information that can indicate the position of the entire object detection frame. The same applies to the position information of the object detection frame described below.
  • the inner frame calculation unit 103 sets, as the third object detection frame 13, an inner frame that includes the first object detection frame 11 that is the basis of each second object detection frame 12.
  • the third object detection frame (inclusive frame) 13 may be a frame that includes the first object detection frame 11 as the name suggests.
  • the third object detection frame 13 is, for example, a minimum rectangle that includes the plurality of first object detection frames 11.
  • the third object detection frame 13 is, for example, a union of a plurality of first object detection frames 11.
  • the inner frame calculation unit 103 sends the obtained position information of the third object detection frame 13 to the multiple object existence estimation unit 104.
  • the multiple object presence estimation unit 104 inputs the position information of the second object detection frame 12 and the position information of the third object detection frame 13, and uses these information to determine the position of the third object detection frame 13. The relationship of the size of the second object detection frame 12 to the size is examined. In this way, the multiple object presence estimation unit 104 estimates whether there are multiple detection target objects in the vicinity of the second object detection frame 12. The multiple object presence estimation unit 104 displays estimation result information indicating whether or not multiple objects exist, positional information of the second object detection frame 12, and positional information of the third object detection frame 13. It is sent to the forming unit 105.
  • the display frame forming unit 105 forms an object detection frame to be displayed (hereinafter referred to as a display object detection frame).
  • a display object detection frame When the display frame forming unit 105 inputs estimation result information indicating that a plurality of detection target objects do not exist in the vicinity of the second object detection frame 12 from the multiple object presence estimation unit 104, the display frame detection unit 105 As a result, the second object detection frame 12 is output.
  • the display frame forming unit 105 inputs estimation result information indicating that there are a plurality of detection target objects in the vicinity of the second object detection frame 12 from the multiple object presence estimation unit 104, As a display object detection frame, a display object detection frame obtained by enlarging the second object detection frame 12 is formed and output.
  • FIG. 4 shows a state of processing by the multiple object existence estimation unit 104 and the display frame formation unit 105.
  • a fine dotted line in the figure indicates the second object detection frame 12
  • a rough dotted line indicates the third object detection frame 13
  • a solid line indicates the display object detection frame 14.
  • FIG. 4A shows an example of the second object detection frame 12 and the third object detection frame 13 input to the multiple object presence estimation unit 104. In the figure, four examples are shown.
  • FIG. 4B shows a state of the display object detection frame 14 formed by the display frame forming unit 105.
  • the vertical and horizontal lengths of the third object detection frame 13 are A_H and A_W, respectively, and the vertical and horizontal lengths of the second object detection frame 12 are B_H and B_W, respectively. To do.
  • the multiple object presence estimation unit 104 sets the second object detection frame 12 when the condition of
  • the display frame forming unit 105 is centered on the center position of the second object detection frame 12 and is The display object detection frame 14 having a length of (A_H + B_H) / 2 and a horizontal length of (A_W + B_W) / 2 is formed.
  • the size of the display object detection frame 14 is not limited to this, and may be greater than or equal to the size of the second object detection frame 12 and less than or equal to the size of the third object detection frame 13.
  • the example at the left end shows a case where the multiple object existence estimation unit 104 estimates that there are no multiple objects in the vicinity of the second object detection frame 12.
  • the difference in size between the second object detection frame 12 and the third object detection frame 13 is equal to or smaller than the threshold value, and the display frame forming unit 105
  • the second object detection frame 12 is output as the display object detection frame 14 as shown in the leftmost example of FIG.
  • FIG. 4 three examples other than the left end show a case where the multiple object existence estimation unit 104 estimates that multiple objects exist in the vicinity of the second object detection frame 12. It is.
  • the difference in size between the second object detection frame 12 and the third object detection frame 13 is larger than the threshold (the second example from the left is the horizontal
  • the length difference is greater than the threshold
  • the third example from the left has a vertical length difference greater than the threshold
  • the fourth example from the left is both a horizontal length difference and a vertical length difference.
  • the display frame forming unit 105 forms a display object detection frame 14 between the second object detection frame 12 and the third object detection frame 13 as shown in an example other than the left end of FIG. 4B. To do. More specifically, the display object detection frame 14 is larger than the second object detection frame 12 and smaller than the size of the third object detection frame 13.
  • the display unit 110 superimposes and displays the display object detection frame 14 input from the display frame forming unit 105 on the captured image input from the image input unit 101.
  • FIG. 5 is a flowchart showing a processing procedure of the object detection frame display device 100.
  • the object detection frame display device 100 inputs an image to the image input unit 101 in step ST1.
  • the object detection frame calculation unit 102 calculates the first object detection frame (object detection candidate frame) 11.
  • the object detection frame calculation unit 102 calculates the second object detection frame 12 by integrating the first object detection frame 11.
  • the inner frame calculation unit 103 calculates a third object detection frame (inner frame) 13.
  • the multiple object presence estimation unit 104 determines the second object detection from the relationship between the size of the second object detection frame (integrated frame) 12 and the size of the third object detection frame (internal frame) 13. It is estimated whether there are a plurality of detection target objects in the vicinity of the frame 12.
  • the object detection frame display device 100 When the object detection frame display device 100 obtains an estimation result in which a plurality of detection target objects exist in the vicinity of the second object detection frame 12 (step ST5; YES), the object detection frame display device 100 moves to step ST6 and displays the display frame forming unit 105. Thus, a display object detection frame 14 having a shape obtained by enlarging the second object detection frame 12 is formed, and in step ST7, the display object detection frame 14 is displayed on the display unit 110 together with the captured image.
  • the object detection frame display device 100 obtains an estimation result that a plurality of detection target objects do not exist in the vicinity of the second object detection frame 12 (step ST5; NO)
  • the object detection frame display device 100 moves to step ST7.
  • the second object detection frame 12 is displayed on the display unit 110 together with the captured image.
  • FIG. 6 shows the relationship between a detection target object (a person in the example in the figure) and each object detection frame in an easy-to-understand manner.
  • the upper diagram shows the relationship among the detection target object, the second object detection frame (integrated frame) 12, and the third object detection frame (internal frame) 13.
  • the lower diagram shows the relationship between the detection target object and the finally displayed display object detection frame 14.
  • FIG. 6A shows an ideal state in which each of the second object detection frames 12 accurately surrounds each person.
  • the second object detection frame 12 has The display object detection frame 14 is displayed as it is.
  • FIG. 6B shows a state where there is a person protruding from the second object detection frame 12 because the second object detection frame 12 is inaccurate.
  • a display object detection frame 14 formed by enlarging the two object detection frames 12 is displayed.
  • a person who protrudes from the frame when the second object detection frame 12 is displayed as it is can be surrounded by the display object detection frame 14.
  • the inaccuracy of the second object detection frame 12 can be determined from the fact that the size of the second object detection frame 12 is equal to or smaller than the threshold with respect to the size of the third object detection frame 13. .
  • the second object detection frame 12-1 on the left is accurate, but the second object detection frame 12-2 on the right is inaccurate.
  • the second object detection frame 12-1 on the left is displayed as it is as the display object detection frame 14-1, and the second object detection frame 12-2 on the right is enlarged and displayed. It is displayed as a detection frame 14-2.
  • a person who protrudes from the frame when the second object detection frame 12-2 on the right side is displayed as it is can be surrounded by the display object detection frame 14-2.
  • the fact that the right second object detection frame 12-2 is inaccurate means that the right second object detection frame 12-2 is smaller than the right third object detection frame 13-2. Can be determined from the fact that the size of is less than or equal to the threshold.
  • FIG. 7 shows an example of an image displayed by the object detection frame display device of the present embodiment.
  • 7A, FIG. 7B, FIG. 7C, and FIG. 7D show time-series images obtained by imaging substantially the same position in the order of FIG. 7A ⁇ FIG. 7B ⁇ FIG. 7C ⁇ FIG.
  • the object detection frame display device 100 detects two persons in the captured image.
  • a frame indicated by a thin line in the figure is the first object detection frame 11
  • a rectangular frame indicated by a thick line is the object detection frame 14 that is finally displayed in the present embodiment.
  • FIG. 7 which is a display example of the present embodiment, has succeeded in separating the second object detection frame 12 in the time-series images of FIGS. 7A and 7D compared to FIG. 1 which is a conventional display example. Therefore, as in FIGS. 1A and 1D, the second object detection frame (explained as the final integrated frame in the description of FIG. 1) is displayed as the object detection frame 14 as it is.
  • the second object detection frame (explained as the final integrated frame in the description of FIG. 1) is displayed as the object detection frame 14 as it is.
  • the separation of the second object detection frame 12 has failed (see FIGS. 1B and 1C), so the second object detection frame 12 is enlarged.
  • An object detection frame 14 is displayed. Since the display object detection frame 14 includes two persons as detection target objects without protruding, the second object detection frame (final integrated frame) 12 displayed in FIGS. 1B and 1C In comparison, the object detection frame has a good appearance and is easy to see.
  • the first object detection frame 11 indicating the area of the detection target object is obtained, and the same detection target object is obtained.
  • the object detection frame calculation unit 102 that obtains the second object detection frame 12 by integrating the first object detection frames 11 that are presumed to be object detection frames related to each other, and the second object detection frame 12
  • the display frame forming unit 105 for forming the object detection frame 14 to be displayed is provided based on the 12 size relationship.
  • the display frame forming unit 105 can form the object detection frame 14 in which the second object detection frame 12 is enlarged. Therefore, it is possible to display the object detection frame 14 which has a good appearance and is easy to see.
  • FIG. 8 in which the same reference numerals are assigned to the parts corresponding to FIG. 2 shows the configuration of the object detection frame display device 200 of the present embodiment.
  • An object detection frame display device 200 in FIG. 8 includes a display frame integration unit 201 in addition to the configuration of the object detection frame display device 100 in FIG.
  • the display frame integration unit 201 inputs the position information of the object detection frame formed by the display frame forming unit 105.
  • the display frame integration unit 201 inputs position information of the second object detection frame (including the enlarged second object detection frame) from the display frame forming unit 105.
  • the display frame integration unit 201 detects a second object detection frame that satisfies a condition that the mutual distance is equal to or smaller than the first threshold value and the ratio of the mutual sizes is equal to or smaller than the second threshold value, The detected second object detection frames are integrated to form a display object detection frame including a plurality of second object detection frames that satisfy this condition, and this is output to the display unit 110.
  • the display frame integration unit 201 outputs the second object detection frame that does not satisfy the above condition to the display unit 110 without integration.
  • “the ratio of the size of each other is equal to or less than the threshold” is added to the integration condition. For example, the detection frame of the person in front of the screen and the detection frame of the person in the back of the screen are integrated.
  • the display frame integration unit 201 may integrate, for example, the second object detection frames in which some areas overlap each other. This corresponds to the case where the distance threshold is zero.
  • the threshold value is not limited to this, and may be set as appropriate.
  • FIG. 9 shows the state of the integration process performed by the display frame integration unit 201.
  • the display frame integrating unit 201 has a distance equal to or smaller than the threshold as illustrated in FIG. 9B.
  • the second object detection frames 12 are integrated to form an object detection frame 15 that contains them.
  • the formed object detection frame 15 is displayed on the display unit 110.
  • 9B also shows frames other than the object detection frame 15 displayed by the display frame integration unit 201 for convenience, but the object detection frame displayed on the display unit 110 in FIG. 9B is the object detection frame 15. Only.
  • FIG. 10 is a flowchart showing a processing procedure of the object detection frame display device 200. 10, the same processing steps as those in FIG. 5 are denoted by the same reference numerals as those in FIG. Hereinafter, a procedure different from that in FIG. 5 will be described.
  • the object detection frame display device 200 proceeds to step ST10 when the display frame forming unit 201 forms the display object detection frame 14 having a shape obtained by enlarging the second object detection frame 12 in step ST6.
  • the display frame integration unit 201 performs the above-described distance determination for each of the second object detection frames 12 (including the enlarged second object detection frame 14), thereby integrating the object detection frames to be integrated. It is determined whether or not.
  • the display frame integration unit 201 obtains a negative result (step ST10; NO) in step ST10 for the second object detection frames 12 and 14 whose distance is greater than the threshold, and the second object detection frames 12 and 14 are detected. Are directly output to the display unit 110 without being integrated. Accordingly, the second object detection frames 12 and 14 are displayed as they are in step ST7.
  • step ST10 the display frame integration unit 201 obtains an affirmative result (step ST10; YES) in step ST10 for the second object detection frames 12 and 14 whose distance is equal to or less than the threshold value, and proceeds to step ST11.
  • step ST11 the display frame integration unit 201 integrates the second object detection frames 12 and 14 whose distances are equal to or smaller than the threshold, thereby forming an object detection frame 15 that includes them, and the integrated object detection frame 15 Is output to the display. Thereby, the second object detection frame 15 integrated in step ST7 is displayed.
  • FIG. 11 shows the state of the object detection frame displayed in this embodiment in an easy-to-understand manner. Compared with FIG. 6 described in the first embodiment, the features of the object detection frame displayed in the present embodiment can be understood well. Therefore, differences from FIG. 6 will be described below.
  • the distance between these object detection frames 12 is equal to or less than the threshold value.
  • the integration unit 201 integrates these object detection frames 12 to form an object detection frame 15 as shown in the lower part and displays it.
  • the display frame formation is performed.
  • the second object detection frame 12 is enlarged by the unit 105 to form an object detection frame 14.
  • the object detection frame 14 is displayed as shown in the lower stage without being integrated.
  • the display frame formation is performed.
  • the second object detection frame 12 is enlarged by the unit 105 to form an object detection frame 14.
  • the plurality of object detection frames 14 are displayed as an integrated object detection frame 15 as shown in the lower part.
  • FIG. 12 shows an example of an image displayed by the object detection frame display device 200 of the present embodiment.
  • FIG. 12A, FIG. 12B, FIG. 12C, and FIG. 12D show time-series images obtained by imaging substantially the same position in the order of FIG. 12A ⁇ FIG. 12B ⁇ FIG. 12C ⁇ FIG.
  • a frame indicated by a thin line in the drawing is the first object detection frame 11, and a rectangular frame indicated by a thick line is the object detection frame 15 that is finally displayed in the present embodiment.
  • FIG. 12 which is a display example of the present embodiment, is compared with FIG. 7 which is a display example of the first embodiment.
  • FIGS. 12B and 12C In the time-series images of FIGS. 12B and 12C, there is no object detection frame whose distance from the object detection frame 14 is equal to or less than the threshold value, so the object detection frame 14 is displayed as the object detection frame 15 without being integrated. .
  • the display frame integration unit 201 that integrates the adjacent second object detection frames 12 and 14 is provided.
  • the object detection frames 15 since the number of displayed object detection frames 15 in the time-series image can be suppressed, the object detection frames 15 that are easier to see can be displayed.
  • the configuration of the first embodiment is adopted, an object detection frame in which the detection object does not protrude excessively can be formed, but the number of object detection frames in the same object region is 2 in the time series image. There is a possibility of becoming one, becoming one, and changing frequently. According to the configuration of the present embodiment, this can be prevented, and fluctuations in the number of object detection frames for the same detected object can be suppressed in the time-series image.
  • the object detection frames cause flickering because the sizes are similar (that is, the ratio of the sizes is less than or equal to the threshold) and there is an overlap (that is, the distance between each other is less than or equal to the threshold).
  • an object detection frame is eliminated by integration, so that flicker can be eliminated.
  • FIG. 13 in which the same reference numerals are assigned to corresponding parts as in FIG. 2, shows the configuration of the object detection frame display device 300 of the present embodiment.
  • the object detection frame display device 300 in FIG. 13 is different from the object detection frame display device 100 in FIG. 2 in the configuration of the display frame formation unit 301 from the configuration of the display frame formation unit 105.
  • the display frame forming unit 301 When the display frame forming unit 301 inputs estimation result information indicating that there are no plurality of detection target objects in the vicinity of the second object detection frame 12 from the multiple object presence estimation unit 104, the display frame detection unit 301 As a result, the second object detection frame 12 is output. On the other hand, when the display frame forming unit 301 inputs estimation result information indicating that there are a plurality of detection target objects in the vicinity of the second object detection frame 12 from the multiple object presence estimation unit 104. A plurality of second object detection frames are formed inside the third object detection frame 13 as display object detection frames.
  • the display frame forming unit 301 A plurality of object detection frames are formed inside and displayed.
  • the display frame forming unit 301 determines the third object detection frame 13 based on the ratio of the size of the second object detection frame 12 to the size of the third object detection frame 13. The number of display object detection frames formed inside is determined.
  • a fine dotted line indicates the second object detection frame 12
  • a rough dotted line indicates the third object detection frame 13
  • a solid line indicates the display object detection frame 16.
  • the number of display object detection frames 16 to be formed is determined.
  • the vertical and horizontal lengths of the third object detection frame 13 are A_H and A_W, respectively, and the vertical and horizontal lengths of the second object detection frame 12 are respectively Let B_H and B_W.
  • the area ratio R (A_W ⁇ A_H) / (B_W ⁇ B_H).
  • the number of display object detection frames 16 is determined by comparing this area ratio with a predetermined threshold value.
  • threshold values TH1, TH2, TH3, TH4 in a relationship of TH1>TH2>TH3> TH4 are set.
  • the number of object detection frames 16 is one when TH1 ⁇ R, two when TH1 ⁇ R> TH2, three when TH2 ⁇ R> TH3, and TH3 ⁇ R> TH4. In such a case, it may be determined such as four.
  • FIG. 14B shows an example in which the number of display object detection frames 16 is two.
  • Size of the object detection frame 16 Regarding the size of the object detection frame 16, the vertical and horizontal lengths are B_H and B_W, respectively. That is, the size of each object detection frame 16 is the same as that of the second object detection frame 12. In other words, each object detection frame 16 is a copy of the second object detection frame 12.
  • the determined number of object detection frames 16 may not match the number of positions of the object detection frames 16. Specifically, there is no problem when the detected object (person) is close in the horizontal and vertical directions, but the above numbers may not match when the detected object is close in the vertical and horizontal directions.
  • the reason and countermeasures will be described with reference to FIG.
  • FIG. 15A shows a case where the determined number of object detection frames 16 and the number of positions of the object detection frames 16 match, and there is no problem in such a case.
  • FIG. 15B there arises a problem of whether the number of object detection frames 16 is three or four (in practice, it is preferable to determine three).
  • a position obtained by equally dividing A_W and A_H into X + 1 and Y + 1 respectively is set as a candidate point for the center position of the object detection frame 16 to be finally displayed. If the number of candidate points matches the number of object detection frames determined from the area ratio, the object detection frame 16 having the candidate point as the center position is formed and displayed as it is.
  • the region of the object detection frame 16 centered on each candidate point position and the third object detection frame 13
  • the overlapping area with the area of the first object detection frame 11 that is the basis for obtaining the above is obtained, and the candidate points having the largest overlapping area are adopted in order.
  • the region of the first object detection frame 11 from which the third object detection frame 13 is obtained is based on the basis of obtaining the third object detection frame 13 as shown by the shaded region in FIG. 15C.
  • the center is formed around the candidate point K1.
  • the object detection frame 16-1 to be displayed has a small overlap with the shaded area in FIG. 15C, so that the object detection frame 16-1 formed around the candidate point K1 is excluded from the object detection frame to be finally displayed. do it.
  • the frame to be finally displayed can be made to coincide with the number of object detection frames determined from the area ratio, and the object detection frames 16-2 and 16 are left with the accurate candidate points remaining among the plurality of candidate points.
  • -3 and 16-4 can be formed (see FIG. 15B).
  • FIG. 16 shows the state of the object detection frame 16 displayed in the present embodiment in an easily understandable manner. Compared with FIG. 6 described in the first embodiment, the features of the object detection frame 16 displayed in the present embodiment can be understood well, so the difference from FIG. 6 will be described below.
  • the size of the second object detection frame 12 is the third size. Since the relationship with the size of the object detection frame 13 is equal to or greater than the threshold value, the second object detection frame 12 is displayed as it is as the display object detection frame 16 as shown in the lower part.
  • the size of the second object detection frame 12 is In relation to the size of the third object detection frame 13, it is less than the threshold value, so that a plurality of object detection frames 16 are formed inside the third object detection frame 13 as shown in the lower part.
  • the second object detection frame 12-1 on the left side is the first object detection frame 12-1.
  • the size of the second object detection frame 12-2 on the right side is less than the threshold in relation to the third object detection frame 13-2. It is. Therefore, as shown in the lower part, the left second object detection frame 12-1 is displayed as it is as the display object detection frame 16, and the right second object detection frame 12-2 is displayed as the third object detection frame 13-. 2, a plurality of object detection frames 16 are formed and displayed.
  • the size of the second object detection frame 12 is increased by the display frame forming unit 301 to the third object detection frame 13.
  • the plurality of object detection frames 16 are formed inside the third object detection frame 13 when the value is less than the threshold value. Further, based on the ratio of the size of the second object detection frame 12 to the size of the third object detection frame 13, the number of display object detection frames 16 formed inside the third object detection frame 13 is determined. I decided to decide.
  • the object detection frames 16 to be displayed can be suppressed from changing in the time-series image, the object detection frames 16 that are easier to see can be displayed.
  • components other than the image input unit 101 and the display unit 110 in the object detection frame display devices 100, 200, and 300 according to the above-described embodiments can be configured by a computer such as a personal computer including a memory / CPU.
  • the function of each component can be realized by the CPU reading and executing the computer program stored in the memory.
  • the present invention is suitable when image recognition processing is performed on a captured image obtained by, for example, a digital camera or an in-vehicle camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　比較的少ない処理量で、ユーザにとって見易い物体検出枠を表示できる、物体枠表示装置１００。物体検出枠算出部１０２は、入力画像に対してパターン認識処理を行うことで、検出対象物体の領域を示す第１の物体検出枠を求め、さらに同一の検出対象物に関する物体検出枠であると類推される第１の物体検出枠同士を統合することで、第２の物体検出枠を求める。内包枠算出部１０３は、第２の物体検出枠ごとに、その基になった第１の物体検出枠を内包する第３の物体検出枠を求める。表示枠形成部１０５は、第３の物体検出枠の大きさに対する第２の物体検出枠の大きさの関係に基づいて、表示する物体検出枠を形成する。

Description

物体検出枠表示装置及び物体検出枠表示方法
　本発明は、物体検出枠表示装置及び物体検出枠表示方法に関し、特に、ディジタルカメラ等の撮像装置において、ディスプレイに顔検出枠等の物体検出枠を表示させる技術に関する。
　近年、ディジタルカメラ等の撮像装置においては、撮像画像から人物や顔等の領域を検出し、この領域を枠（以下これを物体検出枠と呼ぶ）によって囲んでディスプレイに表示するようになされたものがある（例えば特許文献１参照）。
　物体検出枠を表示することにより、ユーザは、人物や顔等のターゲット（以下、検出対象物体と呼ぶこともある）が被写体像の中のどこにあるかを瞬時に判断できるようになり、ターゲットを撮像画像の中心に配置する等の操作をスムーズに行うことができるようになる。また、物体検出枠で囲まれたターゲットに合わせて、自動焦点制御（ＡＦ）や自動露出制御（ＡＥ）を行う撮像装置においては、ユーザは、物体検出枠に基づいて、焦点や露出が合っている領域を認識できるようになる。
　ここで、物体検出枠を表示するためには、当然、物体を検出する技術が必要となる。特許文献２には、撮像画像中の顔を検出する技術が記載されている。特許文献２では、予め学習により求められた顔サンプル画像と、撮像画像との類似性を示す指標値（スコア）を算出し、この指標値が閾値以上の画像領域を顔画像の候補領域として検出する。ここで、実際上、同一の顔画像の周辺には複数の候補領域、すなわち候補領域群が検出されるので、特許文献２では、これら候補領域群をさらに閾値判定することで、同一の顔画像についての候補領域群を統合するようになっている。
　特許文献１に記載の物体検出枠と、特許文献２に記載の物体検出とを組み合わせると、次のような物体検出枠表示処理が行われることになる。
　すなわち、先ず、物体検出器を用いて入力画像をラスタスキャンすることで、ターゲット物体の周辺に物体検出候補枠が形成される。次に、近傍の物体検出候補枠を統合することで、最終統合枠を形成し、この最終統合枠を表示する。具体的には、検出候補枠のスコア等を利用しながらグルーピングを行い、グルーピングされた近傍の検出候補枠を統合し、これを表示する。この結果、ターゲット物体を囲むような物体検出枠（最終統合枠）が表示される。
特開２００５－２８６９４０号公報 特開２００７－１８８４１９号公報
　ところが、撮像画像中で複数の検出対象物体が近接している場合、物体検出候補枠同士の重なりが大きくなり、正しい位置に最終統合枠を形成して表示することが困難となる。
　具体的には、撮像画像中で複数の検出対象物体が近接している場合には、最終統合枠が分離されず、最終統合枠が複数の検出対象物体の間に形成され表示されてしまうので、最終統合枠が枠内に検出対象物体を内包できず、見栄えが悪くなる。
　図１に、その具体例を示す。図１Ａ、図１Ｂ、図１Ｃ、図１Ｄは、ほぼ同じ位置を図１Ａ→図１Ｂ→図１Ｃ→図１Ｄの順で撮像した時系列画像を示すものである。物体検出枠表示装置は、撮像画像中の二人の人物を検出している。図中の細線で示す矩形枠が物体検出候補枠であり、太線で示す矩形枠が最終統合枠である。実際に表示されるのは、撮像画像と、それに重畳された最終統合枠であり、物体検出候補枠は表示されてもされなくてもよい。
　図１Ａ、図１Ｄは、最終統合枠の分離が成功したケースである。この成功ケースでは、各最終統合枠が検出対象である各人物を包含するように表示される。図１Ｂ、図１Ｃは、最終統合枠の分離が失敗したケースであり、二人の人物の間に最終統合枠が表示されている。この失敗ケースでは、最終統合枠が検出対象である人物を包含できていない。よって、図１Ｂ、図１Ｃからも分かるように、検出対象物体との関係で、最終統合枠の見栄えが悪くなる。
　かかる課題を解決するための一つの方法として、最終統合枠を形成するときの統合アルゴリズムを工夫することが考えられる。しかしながら、このようにすると、アルゴリズムが複雑化するので、処理量が増加し、構成が複雑化する欠点がある。
　本発明は、以上の点を考慮してなされたものであり、比較的少ない処理量で、ユーザにとって見易い物体検出枠を表示できる、物体枠表示装置及び物体枠表示方法を提供することを目的とする。
　本発明の物体検出枠表示装置の一つの態様は、入力画像から、検出対象物体の領域を示す第１の物体検出枠を求め、さらに同一の検出対象物に関する物体検出枠であると類推される前記第１の物体検出枠同士を統合することで、第２の物体検出枠を求める、物体検出枠算出部と、前記第２の物体検出枠ごとに、その基になった前記第１の物体検出枠を内包する、第３の物体検出枠を求める、内包枠算出部と、前記第３の物体検出枠の大きさに対する、前記第２の物体検出枠の大きさの関係に基づいて、表示する物体検出枠を形成する、表示枠形成部と、前記表示枠形成部によって形成された前記物体検出枠を表示する表示部と、を具備する。
　本実施の形態の物体検出枠表示方法の一つの態様は、入力画像から、検出対象物体の領域を示す第１の物体検出枠を求め、さらに同一の検出対象物に関する物体検出枠であると類推される前記第１の物体検出枠同士を統合することで、第２の物体検出枠を求める、物体検出枠算出ステップと、前記第２の物体検出枠ごとに、その基になった前記第１の物体検出枠を内包する、第３の物体検出枠を求める、内包枠算出ステップと、前記第３の物体検出枠の大きさに対する、前記第２の物体検出枠の大きさの関係に基づいて、表示する物体検出枠を形成する、表示枠形成ステップと、を含む。
　本発明によれば、比較的少ない処理量で、ユーザにとって見易い物体検出枠を表示できるようになる。
物体検出枠が分離されずに、見栄えの悪い物体検出枠が表示された例を示す図 実施の形態１の物体検出枠表示装置の構成を示すブロック図 第３の物体検出枠（内包枠）の説明に供する図 複数物体存在推定部及び表示枠形成部による処理の様子を示す図 実施の形態１の物体検出枠表示装置の処理手順を示すフローチャート 実施の形態１による物体検出枠形成処理を分かり易く示した図 実施の形態１による物体検出枠の表示例を示す図 実施の形態２の物体検出枠表示装置の構成を示すブロック図 表示枠統合部によって行われる統合処理の様子を示す図 実施の形態２の物体検出枠表示装置の処理手順を示すフローチャート 実施の形態２による物体検出枠形成処理を分かり易く示した図 実施の形態２による物体検出枠の表示例を示す図 実施の形態３の物体検出枠表示装置の構成を示すブロック図 実施の形態３の表示枠形成部による、物体検出枠形成処理の説明に供する図 実施の形態３の表示枠形成部による、物体検出枠形成処理の説明に供する図であり、特に、決定した物体検出枠の個数と、物体検出枠の候補位置の数とが、一致しない場合における処理の説明に供する図 実施の形態３による物体検出枠形成処理を分かり易く示した図
　以下、本発明の実施の形態について図面を参照して詳細に説明する。
　［実施の形態１］
　図２に、本発明の実施の形態１における物体検出枠表示装置の構成を示す。物体検出枠表示装置１００は、例えばディジタルカメラや、車載用のナビゲーション装置、監視カメラシステム等に設けられる。
　物体検出枠表示装置１００は、画像入力部１０１に画像を入力する。入力される画像は、例えば、ディジタルカメラや、車載用のナビゲーション装置、監視カメラシステム等により撮像された画像である。画像入力部１０１は、入力画像を表示部１１０及び物体検出枠算出部１０２に送出する。
　物体検出枠算出部１０２は、入力画像に対してパターン認識処理を行うことで検出対象物体の領域を示す第１の物体検出枠（物体検出候補枠）を求め、さらに同一の検出対象物に関する物体検出枠であると類推される第１の物体検出枠同士を統合することで第２の物体検出枠を求める。換言すれば、物体検出枠算出部１０２は、第１の物体検出枠をクラスタにグルーピングすることで、第２の物体検出枠を求める。
　第１の物体検出枠は、図１の細線で示される枠である。第２の物体検出枠は、図１の太線で示される枠である。
　具体的には、物体検出枠算出部１０２は、例えば、特許文献２に記載されているような処理を採用することで、第１の物体検出枠及び第２の物体検出枠を求める。
　第１の物体検出枠は、検出対象物体との類似性を示す指標値が第１の閾値以上である部分画像領域を囲む矩形の枠である。第１の物体検出枠は、いわゆる物体検出候補枠であり、実際上、検出対象物体の周辺に複数個求められる。
　次に、物体検出枠算出部１０２は、第１の物体検出枠で囲まれた領域毎（候補領域毎）に、当該領域を注目候補領域として設定し、当該注目候補領域とは異なる他の候補領域のうち、当該注目候補領域からの座標上の距離が所定の距離以下である近傍候補領域があるときに、当該注目候補領域と当該近傍候補領域とを１つの候補群として設定する。次に、物体検出枠算出部１０２は、前記候補群毎に、当該候補群を構成する各候補領域についてそれぞれ算出された複数の指標値に基づいて、当該複数の指標値の大きさが反映された総合的な指標値を算出する。次に、物体検出枠算出部１０２は、前記総合的な指標値が第２の閾値以上であるときに、前記総合的な指標値が算出された前記候補群を含む前記入力画像上の所定領域内の画像を、検出対象物体画像であるとして、この画像を囲む第２の物体検出枠を形成する。
　なお、物体検出枠算出部１０２で行う処理は、上述の処理に限らず、要は、検出対象物体画像（例えば人物画像や、顔画像、車両等）と類似性の高い画像領域を候補領域として検出してこの候補画像領域を囲む第１の物体検出枠を形成し、第１の物体検出枠のうち同一物体に関する物体検出枠であると類推される第１の物体検出枠同士を統合することで第２の物体検出枠を求めればよい。本発明は、第１の物体検出枠及び第２の物体検出枠の求め方に限定されるものでない。
　物体検出枠算出部１０２は、第１の物体検出枠の位置情報、及び、第２の物体検出枠の位置情報を内包枠算出部１０３に送出する。また、物体検出枠算出部１０２は、第２の物体検出枠の位置情報を複数物体存在推定部１０４に送出する。なお、物体検出枠の位置情報とは、物体検出枠の矩形サイズの情報（矩形の大きさに関する情報）も含まれるものである。つまり、物体検出枠の位置情報とは、物体検出枠全体の位置を示すことができる情報である。以下に記載する物体検出枠の位置情報も同様である。
　内包枠算出部１０３は、図３に示すように、第２の物体検出枠１２ごとに、その基になった第１の物体検出枠１１を内包する内包枠を第３の物体検出枠１３として求める。ここで、第３の物体検出枠（内包枠）１３は、その名の通り、第１の物体検出枠１１を内包する枠であればよい。第３の物体検出枠１３は、例えば、複数の第１の物体検出枠１１を内包する最小の矩形である。また、第３の物体検出枠１３は、例えば、複数の第１の物体検出枠１１の和集合である。内包枠算出部１０３は、求めた第３の物体検出枠１３の位置情報を複数物体存在推定部１０４に送出する。
　複数物体存在推定部１０４は、第２の物体検出枠１２の位置情報と、第３の物体検出枠１３の位置情報とを入力し、これらの情報を用いて、第３の物体検出枠１３の大きさに対する、第２の物体検出枠１２の大きさの関係を調べる。このようにすることで、複数物体存在推定部１０４は、第２の物体検出枠１２の近傍に複数の検出対象物体が存在するか否かを推定する。複数物体存在推定部１０４は、複数物体が存在するか否かを示す推定結果情報と、第２の物体検出枠１２の位置情報と、第３の物体検出枠１３の位置情報と、を表示枠形成部１０５に送出する。
　表示枠形成部１０５は、表示する物体検出枠（以下これを表示物体検出枠と呼ぶ）を形成する。表示枠形成部１０５は、複数物体存在推定部１０４から、第２の物体検出枠１２の近傍に複数の検出対象物体が存在しないことを示す推定結果情報を入力した場合には、表示物体検出枠として、第２の物体検出枠１２を出力する。これに対して、表示枠形成部１０５は、複数物体存在推定部１０４から、第２の物体検出枠１２の近傍に複数の検出対象物体が存在することを示す推定結果情報を入力した場合には、表示物体検出枠として、第２の物体検出枠１２を拡大した表示物体検出枠を形成して出力する。
　図４に、複数物体存在推定部１０４及び表示枠形成部１０５による処理の様子を示す。図中の細かい点線は第２の物体検出枠１２を示し、粗い点線は第３の物体検出枠１３を示し、実線は表示物体検出枠１４を示す。
　図４Ａ（上段の図）は、複数物体存在推定部１０４に入力される、第２の物体検出枠１２及び第３の物体検出枠１３の例を示す。図では、４つの例が示されている。図４Ｂ（下段の図）は、表示枠形成部１０５によって形成される表示物体検出枠１４の様子を示す。
　図で示したように、第３の物体検出枠１３の縦、横の長さをそれぞれ、Ａ_Ｈ、Ａ_Ｗとし、第２の物体検出枠１２の縦、横の長さをそれぞれ、Ｂ_Ｈ、Ｂ_Ｗとする。
　複数物体存在推定部１０４は、距離閾値をＴＨ_Ｈ、ＴＨ_Ｗとしたとき、｜Ａ_Ｈ － Ｂ_Ｈ｜＞ＴＨ_Ｈ、又は、｜Ａ_Ｗ － Ｂ_Ｗ｜＞ＴＨ_Ｗ、の条件を満たす場合に、第２の物体検出枠１２の近傍に複数物体が存在しているとみなす。
　表示枠形成部１０５は、第２の物体検出枠１２と、第３の物体検出枠１３との関係が上記条件を満たす場合には、第２の物体検出枠１２の中心位置を中心とし、縦の長さが（Ａ_Ｈ ＋ Ｂ_Ｈ）／２、横の長さが（Ａ_Ｗ ＋ Ｂ_Ｗ）／２、の表示物体検出枠１４を形成する。なお、表示物体検出枠１４の大きさはこれに限らず、第２の物体検出枠１２の大きさ以上であり、かつ、第３の物体検出枠１３の大きさ以下であればよい。
　図４において、左端の例は、複数物体存在推定部１０４によって、第２の物体検出枠１２の近傍に複数物体が存在していないと推定された場合を示すものである。この場合、図４Ａの左端の例に示すように、第２の物体検出枠１２と第３の物体検出枠１３との大きさの差は閾値以下であり、表示枠形成部１０５は、図４Ｂの左端の例に示すように、第２の物体検出枠１２を表示物体検出枠１４として出力する。
　これに対して、図４において、左端以外の３つの例は、複数物体存在推定部１０４によって、第２の物体検出枠１２の近傍に複数物体が存在していると推定された場合を示すものである。この場合、図４Ａの左端以外の例に示すように、第２の物体検出枠１２と第３の物体検出枠１３との大きさの差は閾値より大きく（左から２番目の例は横の長さの差が閾値より大きく、左から３番目の例は縦の長さの差が閾値より大きく、左から４番目の例は横の長さの差及び縦の長さの差が共に閾値より大きい）、表示枠形成部１０５は、図４Ｂの左端以外の例に示すように、第２の物体検出枠１２と第３の物体検出枠１３との間に、表示物体検出枠１４を形成する。さらに詳細に述べると、この表示物体検出枠１４は、第２の物体検出枠１２よりも大きく、第３の物体検出枠１３の大きさ以下である。
　表示部１１０は、画像入力部１０１から入力した撮像画像に、表示枠形成部１０５から入力した表示物体検出枠１４を重畳させて表示する。
　図５は、物体検出枠表示装置１００の処理手順を示すフローチャートである。物体検出枠表示装置１００は、ステップＳＴ１で画像入力部１０１に画像を入力する。続くステップＳＴ２では、物体検出枠算出部１０２が第１の物体検出枠（物体検出候補枠）１１を算出する。続くステップＳＴ３では、物体検出枠算出部１０２が第１の物体検出枠１１を統合することで第２の物体検出枠１２を算出する。続くステップＳＴ４では、内包枠算出部１０３が第３の物体検出枠（内包枠）１３を算出する。続くステップＳＴ５では、複数物体存在推定部１０４が、第２の物体検出枠（統合枠）１２の大きさと第３の物体検出枠（内包枠）１３の大きさとの関係から、第２の物体検出枠１２の近傍に複数の検出対象物体が存在するか否かを推定する。
　物体検出枠表示装置１００は、第２の物体検出枠１２の近傍に複数の検出対象物体が存在する推定結果を得た場合（ステップＳＴ５；ＹＥＳ）、ステップＳＴ６に移って、表示枠形成部１０５によって、第２の物体検出枠１２を拡大した形状の表示物体検出枠１４を形成し、続くステップＳＴ７で、この表示物体検出枠１４を撮像画像と共に表示部１１０に表示させる。
　これに対して、物体検出枠表示装置１００は、第２の物体検出枠１２の近傍に複数の検出対象物体が存在しない推定結果を得た場合（ステップＳＴ５；ＮＯ）、ステップＳＴ７に移って、第２の物体検出枠１２を撮像画像と共に表示部１１０に表示させる。
　図６は、検出対象物体（図の例では人物）と、各物体検出枠との関係を分かり易く表したものである。図６において、上段の図は、検出対象物体と、第２の物体検出枠（統合枠）１２と、第３の物体検出枠（内包枠）１３と、の関係を示したものである。下段の図は、検出対象物体と、最終的に表示される表示物体検出枠１４と、の関係を示したものである。
　図６Ａに示す例は、第２の物体検出枠１２の各々が、各人物を的確に囲んでいる理想的な状態を示し、この場合、下段に示すように、第２の物体検出枠１２がそのまま表示物体検出枠１４として表示される。
　図６Ｂに示す例は、第２の物体検出枠１２が不的確なために、第２の物体検出枠１２からはみ出ている人物が存在する状態を示し、この場合、下段に示すように、第２の物体検出枠１２を拡大することで形成された表示物体検出枠１４が表示される。これにより、第２の物体検出枠１２をそのまま表示すると枠からはみ出してしまう人物を、表示物体検出枠１４により囲むことができる。なお、第２の物体検出枠１２が不的確であることは、第３の物体検出枠１３の大きさに対して、第２の物体検出枠１２の大きさが閾値以下であることから判断できる。
　図６Ｃに示す例は、左側の第２の物体検出枠１２－１は的確だが、右側の第２の物体検出枠１２－２は不的確な例である。この場合、下段に示すように、左側の第２の物体検出枠１２－１はそのまま表示物体検出枠１４－１として表示され、右側の第２の物体検出枠１２－２は拡大されて表示物体検出枠１４－２として表示される。これにより、右側の第２の物体検出枠１２－２をそのまま表示すると枠からはみ出してしまう人物を、表示物体検出枠１４－２により囲むことができる。なお、右側の第２の物体検出枠１２－２が不的確であることは、右側の第３の物体検出枠１３－２の大きさに対して、右側の第２の物体検出枠１２－２の大きさが閾値以下であることから判断できる。
　図７に、本実施の形態の物体検出枠表示装置により表示される画像の例を示す。図７Ａ、図７Ｂ、図７Ｃ、図７Ｄは、ほぼ同じ位置を図７Ａ→図７Ｂ→図７Ｃ→図７Ｄの順で撮像した時系列画像を示すものである。物体検出枠表示装置１００は、撮像画像中の二人の人物を検出している。図中の細線で示す枠は第１の物体検出枠１１であり、太線で示す矩形枠は、本実施の形態で最終的に表示される物体検出枠１４である。
　本実施の形態の表示例である図７は、従来の表示例である図１と比較すると、図７Ａ、図７Ｄの時系列画像では、第２の物体検出枠１２の分離が成功しているので、図１Ａ、図１Ｄと同様に、第２の物体検出枠（図１の説明では最終統合枠として説明）がそのまま物体検出枠１４として表示される。
　これに対して、図７Ｂ、図７Ｃの時系列画像では、第２の物体検出枠１２の分離が失敗したので（図１Ｂ、図１Ｃ参照）、第２の物体検出枠１２を拡大してなる物体検出枠１４が表示される。この表示物体検出枠１４は、検出対象物体である二人の人物をはみ出すことなく内包しているので、図１Ｂ、図１Ｃで表示されている第２の物体検出枠（最終統合枠）１２と比較して、見栄えが良く、見易い物体検出枠となっている。
　以上説明したように、本実施の形態によれば、入力画像に対してパターン認識処理を行うことで、検出対象物体の領域を示す第１の物体検出枠１１を求め、さらに同一の検出対象物に関する物体検出枠であると類推される第１の物体検出枠１１同士を統合することで、第２の物体検出枠１２を求める、物体検出枠算出部１０２と、第２の物体検出枠１２ごとに、その基になった第１の物体検出枠１１を内包する第３の物体検出枠１３を求める内包枠算出部１０３と、第３の物体検出枠１３の大きさに対する第２の物体検出枠１２の大きさの関係に基づいて、表示する物体検出枠１４を形成する表示枠形成部１０５と、を設けた。
　これにより、物体検出枠算出部１０２において第２の物体検出枠１２の分離に失敗した場合でも、表示枠形成部１０５によって第２の物体検出枠１２を拡大した物体検出枠１４を形成できるようになるので、見栄えが良く、見易い物体検出枠１４を表示できるようになる。
　加えて、本実施の形態の構成を採用すれば、物体検出枠算出部１０２における統合アルゴリズムを複雑化しなくて済み、かつ、新たに追加した、内包枠算出部１０３及び表示枠形成部１０５の処理量も比較的少なくて済むので、処理量の増加は少ない。
　［実施の形態２］
　図２との対応部分に同一符号を付して示す図８に、本実施の形態の物体検出枠表示装置２００の構成を示す。図８の物体検出枠表示装置２００は、図２の物体検出枠表示装置１００の構成に加えて、表示枠統合部２０１を有する。
　表示枠統合部２０１は、表示枠形成部１０５によって形成された物体検出枠の位置情報を入力する。具体例を挙げると、表示枠統合部２０１は、表示枠形成部１０５から第２の物体検出枠（拡大された第２の物体検出枠を含む）の位置情報を入力する。
　表示枠統合部２０１は、互いの距離が第１の閾値以下であり、かつ、互いの大きさの比率が第２の閾値以下である、といった条件を満たす第２の物体検出枠を検出し、検出した第２の物体検出枠を統合して、この条件を満たす複数の第２の物体検出枠を内包する表示物体検出枠を形成し、これを表示部１１０に出力する。一方、表示枠統合部２０１は、上記条件を満たさない第２の物体検出枠については、統合せずにそのまま表示部１１０に出力する。ここで、統合の条件に、「互いの大きさの比率が閾値以下」を加えたのは、例えば、画面手前にいる人物の検出枠と、画面奥にいる人物の検出枠とは、統合すべきでない場合があるにも拘わらず、検出枠の距離閾値だけを統合の条件にすると、これらを統合してしまう可能性があるためである。大きさの閾値を加えることにより、画面手前にいる人物の検出枠は大きく、画面奥にいる人物の検出枠と小さいので、その大きさの比率は閾値より大きくなるはずであり、好ましくない統合を防止できる。なお、以下では、説明を簡単にするために、統合の条件として、主に、距離閾値のみを用いた場合について説明する。
　なお、表示枠統合部２０１は、例えば、互いに一部の領域が重なっている第２の物体検出枠同士を統合してもよい。これは、上記距離の閾値が０の場合に相当する。但し、閾値は、これに限らず、適宜設定すればよい。
　図９に、表示枠統合部２０１によって行われる統合処理の様子を示す。表示枠統合部２０１は、図９Ａに示すように、表示枠形成部１０５から出力される第２の物体検出枠１２の距離が閾値以下の場合、図９Ｂに示すように、距離が閾値以下の第２の物体検出枠１２を統合し、それらを内包する物体検出枠１５を形成する。そして、形成した物体検出枠１５が表示部１１０で表示される。なお、図９Ｂでは、便宜上、表示枠統合部２０１で表示された物体検出枠１５以外の枠も記載しているが、図９Ｂにおいて表示部１１０に表示される物体検出枠は、物体検出枠１５のみである。
　図１０は、物体検出枠表示装置２００の処理手順を示すフローチャートである。図１０では、図５と同一の処理手順については図５と同一の符号を付した。以下では、図５とは異なる手順について説明する。
　物体検出枠表示装置２００は、ステップＳＴ６で、表示枠形成部２０１によって、第２の物体検出枠１２を拡大した形状の表示物体検出枠１４を形成すると、ステップＳＴ１０に進む。ステップＳＴ１０では、表示枠統合部２０１が第２の物体検出枠１２（拡大された第２の物体検出枠１４を含む）の各々について、上述した距離判定を行うことにより、統合すべき物体検出枠か否かを判定する。
　ここで、表示枠統合部２０１は、距離が閾値より大きい第２の物体検出枠１２、１４については、ステップＳＴ１０で否定結果（ステップＳＴ１０；ＮＯ）を得、第２の物体検出枠１２、１４を統合せずにそのまま表示部１１０に出力する。これにより、ステップＳＴ７で第２の物体検出枠１２、１４がそのまま表示される。
　これに対して、表示枠統合部２０１は、距離が閾値以下の第２の物体検出枠１２、１４については、ステップＳＴ１０で肯定結果（ステップＳＴ１０；ＹＥＳ）を得、ステップＳＴ１１に移る。ステップＳＴ１１では、表示枠統合部２０１が、距離が閾値以下の第２の物体検出枠１２、１４を統合することで、それらを内包する物体検出枠１５を形成し、その統合した物体検出枠１５を表示部に出力する。これにより、ステップＳＴ７で統合された第２の物体検出枠１５が表示される。
　図１１は、本実施の形態で表示される物体検出枠の様子を分かり易く表したものである。なお、実施の形態１で説明した図６と比べると、本実施の形態で表示される物体検出枠の特徴がよく分かるので、以下では、図６との違いについて説明する。
　図１１Ａに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合、これらの物体検出枠１２の距離は閾値以下なので、表示枠統合部２０１はこれらの物体検出枠１２を統合し、下段に示すような物体検出枠１５を形成し、これを表示させる。
　図１１Ｂに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合には、実施の形態１で説明したように、表示枠形成部１０５によって第２の物体検出枠１２が拡大され、物体検出枠１４とされる。このとき、物体検出枠１４との距離が閾値以下の物体検出枠は無いので、物体検出枠１４は、統合されずに、下段に示すように表示される。
　図１１Ｃに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合には、実施の形態１で説明したように、表示枠形成部１０５によって第２の物体検出枠１２が拡大され、物体検出枠１４とされる。このとき、複数の物体検出枠１４の距離が閾値以下なので、これら複数の物体検出枠１４は、下段に示すように、統合された物体検出枠１５とされて表示される。
　図１２に、本実施の形態の物体検出枠表示装置２００により表示される画像の例を示す。図１２Ａ、図１２Ｂ、図１２Ｃ、図１２Ｄは、ほぼ同じ位置を図１２Ａ→図１２Ｂ→図１２Ｃ→図１２Ｄの順で撮像した時系列画像を示すものである。図中の細線で示す枠は第１の物体検出枠１１であり、太線で示す矩形枠は、本実施の形態で最終的に表示される物体検出枠１５である。
　本実施の形態の表示例である図１２は、実施の形態１の表示例である図７と比較すると、図１２Ａ、図１２Ｄの時系列画像では、距離が閾値以下の物体検出枠が統合されて物体検出枠１５として表示される。なお、図１２Ｂ、図１２Ｃの時系列画像では、物体検出枠１４との距離が閾値以下の物体検出枠は無いので、物体検出枠１４は、統合されずにそのまま物体検出枠１５として表示される。
　以上説明したように、本実施の形態によれば、実施の形態１の構成に加えて、近接した第２の物体検出枠１２、１４を統合する表示枠統合部２０１を設けたことにより、実施の形態１の効果に加えて、時系列画像において、表示される物体検出枠１５の数が変動することを抑制できるので、より見易い物体検出枠１５を表示できるようになる。
　つまり、実施の形態１の構成を採用すると、確かに、検出物体が極端にはみ出ることのない物体検出枠を形成できるが、時系列画像において、同一の物体領域での物体検出枠の数が２つになったり、１つになったり頻繁に変動する可能性がある。本実施の形態の構成によれば、これを防止して、時系列画像において、同一の検出物体についての物体検出枠の数の変動を抑制できる。
　また、大きさが似ていて（つまり互いの大きさの比率が閾値以下であり）、かつ、重なりがある（つまり互いの距離が閾値以下である）、物体検出枠は、ちらつきの原因となる可能性があるが、統合によってこのような物体検出枠は無くなるので、ちらつきを解消できる。
　［実施の形態３］
　図２との対応部分に同一符号を付して示す図１３に、本実施の形態の物体検出枠表示装置３００の構成を示す。図１３の物体検出枠表示装置３００は、図２の物体検出枠表示装置１００と比較して、表示枠形成部３０１の構成が表示枠形成部１０５の構成と異なる。
　表示枠形成部３０１は、複数物体存在推定部１０４から、第２の物体検出枠１２の近傍に複数の検出対象物体が存在しないことを示す推定結果情報を入力した場合には、表示物体検出枠として、第２の物体検出枠１２を出力する。これに対して、表示枠形成部３０１は、複数物体存在推定部１０４から、第２の物体検出枠１２の近傍に複数の検出対象物体が存在することを示す推定結果情報を入力した場合には、表示物体検出枠として、第３の物体検出枠１３の内部に、複数の第２の物体検出枠を形成する。
　換言すれば、表示枠形成部３０１は、第２の物体検出枠１２の大きさが、第３の物体検出枠１３の大きさとの関係において、閾値未満の場合、第３の物体検出枠１３の内部に、複数の物体検出枠を形成して、表示させる。
　本実施の形態の場合、表示枠形成部３０１は、第３の物体検出枠１３の大きさに対する、第２の物体検出枠１２の大きさの比率に基づいて、第３の物体検出枠１３の内部に形成する表示物体検出枠の個数を決定する。
　図１４を用いて、本実施の形態の表示枠形成部３０１による、物体検出枠の形成処理について説明する。図中の細かい点線は第２の物体検出枠１２を示し、粗い点線は第３の物体検出枠１３を示し、実線は表示物体検出枠１６を示す。
　１）物体検出枠１６の個数の決定：
　第３の物体検出枠１３と第２の物体検出枠１２との面積比を、閾値判定することで、形成する表示物体検出枠１６の個数を決定する。ここで、図１４Ａに示したように、第３の物体検出枠１３の縦、横の長さをそれぞれ、Ａ_Ｈ、Ａ_Ｗとし、第２の物体検出枠１２の縦、横の長さをそれぞれ、Ｂ_Ｈ、Ｂ_Ｗとする。すると、面積比Ｒ　＝　（Ａ_Ｗ × Ａ_Ｈ）／（Ｂ_Ｗ × Ｂ_Ｈ）となる。この面積比を所定の閾値と比較することで、表示物体検出枠１６の個数を決定する。例えば、ＴＨ１＞ＴＨ２＞ＴＨ３＞ＴＨ４の関係の閾値ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４を設定する。そして、物体検出枠１６の個数は、ＴＨ１＜Ｒの場合には１個、ＴＨ１≧Ｒ＞ＴＨ２の場合には２個、ＴＨ２≧Ｒ＞ＴＨ３の場合には３個、ＴＨ３≧Ｒ＞ＴＨ４の場合には４個、といったように決定すればよい。図１４Ｂは、表示物体検出枠１６の個数が２個の例を示したものである。
　２）物体検出枠１６の大きさ：
　物体検出枠１６の大きさは、縦横の長さがそれぞれＢ_Ｈ、Ｂ_Ｗである。つまり、各物体検出枠１６の大きさは、第２の物体検出枠１２と同じ大きさである。換言すれば、各物体検出枠１６は、第２の物体検出枠１２をコピーしたものである。
　３）物体検出枠１６の位置：
　各物体検出枠１６の位置は、Ｘ＝（Ａ_Ｗ）／（Ｂ_Ｗ）とし、Ｙ＝（Ａ_Ｈ）／（Ｂ_Ｈ）としたときに、第３の物体検出枠１３の横Ａ_Ｗ、縦Ａ_Ｈを、それぞれＸ＋１、Ｙ＋１等分した位置を中心位置とする。図１４Ｂの例は、Ｘ＝２、Ｙ＝１の場合の例であり、Ａ_Ｗ、Ａ_Ｈをそれぞれ２＋１＝３、１＋１＝２等分した位置を中心とする物体検出枠１６が形成され表示される。
　ところで、決定した物体検出枠１６の個数と、物体検出枠１６の位置の数とが、一致しない場合がある。具体的には、検出物体（人物）が横方向、縦方向に近接している場合は問題ないが、検出物体が縦横に近接している場合には上記数が一致しない場合がある。以下に、その理由及び対策を、図１５を用いて説明する。
　図１５Ａは、決定した物体検出枠１６の個数と、物体検出枠１６の位置の数とが、一致している場合であり、このような場合には問題がない。一方で、図１５Ｂに示す例では、物体検出枠１６の個数を３つにするか４つにするかの問題が発生してしまう（実際には３つと決定することが好ましい）。
　そこで、その対策として、本実施の形態では、先ず、Ａ_Ｗ、Ａ_ＨをそれぞれＸ＋１、Ｙ＋１等分した位置を、最終的に表示する物体検出枠１６の中心位置の候補点とする。この候補点数と、上記面積比から決定した物体検出枠数とが一致する場合には、その候補点を中心位置とする物体検出枠１６を形成して、そのまま表示する。
　これに対して、候補点数よりも、上記面積比から決定した物体検出枠数が少ない場合には、それぞれの候補点位置を中心とした物体検出枠１６の領域と、第３の物体検出枠１３を求める基になった第１の物体検出枠１１の領域と、の重なり領域を求め、重なり領域の大きい候補点から順に採用する。ここで、第３の物体検出枠１３を求める基になった第１の物体検出枠１１の領域とは、図１５Ｃの網掛け領域で示すように、第３の物体検出枠１３を求める基になった、複数の第１の物体検出枠１１の和集合領域のことである。
　図１５Ｂ、図１５Ｃの例を考えると、候補点Ｋ２、Ｋ３、Ｋ４を中心として形成される物体検出枠１６－２、１６－３、１６－４と比較して、候補点Ｋ１を中心として形成される物体検出枠１６－１は、図１５Ｃの網掛け領域との重なりが小さいので、候補点Ｋ１を中心として形成される物体検出枠１６－１を、最終的に表示する物体検出枠から除外すればよい。これにより、最終的に表示する枠を面積比から決定した物体検出枠数と一致させることができ、かつ、複数の候補点の中から的確な候補点を残して物体検出枠１６－２、１６－３、１６－４を形成できるようになる（図１５Ｂ参照）。
　図１６は、本実施の形態で表示される物体検出枠１６の様子を分かり易く表したものである。なお、実施の形態１で説明した図６と比べると、本実施の形態で表示される物体検出枠１６の特徴がよく分かるので、以下では、図６との違いについて説明する。
　図１６Ａに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合、第２の物体検出枠１２の大きさが、第３の物体検出枠１３の大きさとの関係において、閾値以上なので、下段に示すように、第２の物体検出枠１２がそのまま表示物体検出枠１６として表示される。
　図１６Ｂに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合には、第２の物体検出枠１２の大きさが、第３の物体検出枠１３の大きさとの関係において、閾値未満なので、下段に示すように、第３の物体検出枠１３の内部に、複数の物体検出枠１６を形成する。
　図１６Ｃに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合には、左側の第２の物体検出枠１２－１は第３の物体検出枠１３－１との関係において大きさが閾値以上であり、右側の第２の物体検出枠１２－２は第３の物体検出枠１３－２との関係において大きさが閾値未満である。よって、下段に示すように、左側の第２の物体検出枠１２－１はそのまま表示物体検出枠１６として表示され、右側の第２の物体検出枠１２－２は第３の物体検出枠１３－２の内部に複数の物体検出枠１６が形成されて表示される。
　以上説明したように、本実施の形態によれば、実施の形態１の構成に加えて、表示枠形成部３０１によって、第２の物体検出枠１２の大きさが、第３の物体検出枠１３の大きさとの関係において、閾値未満の場合、第３の物体検出枠１３の内部に、複数の物体検出枠１６を形成するようにした。また、第３の物体検出枠１３の大きさに対する、第２の物体検出枠１２の大きさの比率に基づいて、第３の物体検出枠１３の内部に形成する表示物体検出枠１６の個数を決定するようにした。
　これにより、実施の形態１の効果に加えて、時系列画像において、表示される物体検出枠１６の数が変動することを抑制できるので、より見易い物体検出枠１６を表示できるようになる。
　なお、上述の実施の形態の物体検出枠表示装置１００、２００、３００における画像入力部１０１及び表示部１１０以外の構成要素は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
　２０１１年６月１０日出願の特願２０１１－１３０２００の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明は、例えばディジタルカメラや車載カメラ等により得られた撮像画像に対して、画像認識処理を施す場合に好適である。
　１１　第１の物体検出枠
　１２　第２の物体検出枠
　１３　第３の物体検出枠
　１４、１５、１６　表示物体検出枠
　１００、２００、３００　物体検出枠表示装置
　１０２　物体検出枠算出部
　１０３　内包枠算出部
　１０４　複数物体存在推定部
　１０５、３０１　表示枠形成部
　１１０　表示部
　２０１　表示枠統合部

Claims (8)

  1. 　入力画像から、検出対象物体の領域を示す第１の物体検出枠を求め、さらに同一の検出対象物に関する物体検出枠であると類推される前記第１の物体検出枠同士を統合することで、第２の物体検出枠を求める、物体検出枠算出部と、
    　前記第２の物体検出枠ごとに、その基になった前記第１の物体検出枠を内包する、第３の物体検出枠を求める、内包枠算出部と、
    　前記第３の物体検出枠の大きさに対する、前記第２の物体検出枠の大きさの関係に基づいて、表示する物体検出枠を形成する、表示枠形成部と、
    　前記表示枠形成部によって形成された前記物体検出枠を表示する表示部と、
    　を具備する物体検出枠表示装置。
  2. 　前記表示枠形成部は、前記第２の物体検出枠の大きさが、前記第３の物体検出枠の大きさとの関係において、閾値未満の場合、前記第２の物体検出枠を拡大した物体検出枠を形成する、
    　請求項１に記載の物体検出枠表示装置。
  3. 　前記表示部に表示される前記物体検出枠の大きさは、前記第２の物体検出枠の大きさ以上であり、かつ、前記第３の物体検出枠の大きさ以下である、
    　請求項１に記載の物体検出枠表示装置。
  4. 　互いの距離が第１の閾値以下であり、かつ、互いの大きさの比率が第２の閾値以下である、条件を満たす、前記第２の物体検出枠を検出し、検出した前記第２の物体検出枠を統合して、前記条件を満たす複数の前記第２の物体検出枠を内包する表示物体検出枠を形成する、物体検出枠統合部を、さらに具備し、
    　前記表示部は、前記表示枠形成部及び前記物体検出枠統合部によって形成された前記表示物体検出枠を表示する、
    　請求項１に記載の物体検出枠表示装置。
  5. 　前記物体検出枠統合部が統合する前記第２の物体検出枠は、互いに一部の領域が重なっている複数の前記第２の物体検出枠である、
    　請求項４に記載の物体検出枠表示装置。
  6. 　前記表示枠形成部は、前記第２の物体検出枠の大きさが、前記第３の物体検出枠の大きさとの関係において、閾値未満の場合、前記第３の物体検出枠の内部に、複数の物体検出枠を形成する、
    　請求項１に記載の物体検出枠表示装置。
  7. 　前記表示枠形成部は、前記第３の物体検出枠の大きさに対する、前記第２の物体検出枠の大きさの比率に基づいて、前記第３の物体検出枠の内部に形成する前記表示物体検出枠の個数を決定する、
    　請求項１に記載の物体検出枠表示装置。
  8. 　入力画像から、検出対象物体の領域を示す第１の物体検出枠を求め、さらに同一の検出対象物に関する物体検出枠であると類推される前記第１の物体検出枠同士を統合することで、第２の物体検出枠を求める、物体検出枠算出ステップと、
    　前記第２の物体検出枠ごとに、その基になった前記第１の物体検出枠を内包する、第３の物体検出枠を求める、内包枠算出ステップと、
    　前記第３の物体検出枠の大きさに対する、前記第２の物体検出枠の大きさの関係に基づいて、表示する物体検出枠を形成する、表示枠形成ステップと、
    　を含む、物体検出枠表示方法。
     
     
PCT/JP2012/003148 2011-06-10 2012-05-15 物体検出枠表示装置及び物体検出枠表示方法 WO2012169119A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/123,610 US9165390B2 (en) 2011-06-10 2012-05-15 Object detection frame display device and object detection frame display method
CN201280028590.8A CN103597514B (zh) 2011-06-10 2012-05-15 物体检测框显示装置和物体检测框显示方法
JP2013519359A JP5923746B2 (ja) 2011-06-10 2012-05-15 物体検出枠表示装置及び物体検出枠表示方法
EP12797288.3A EP2696326A4 (en) 2011-06-10 2012-05-15 DEVICE AND METHOD FOR DISPLAYING OBJECT DETECTION FRAME

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-130200 2011-06-10
JP2011130200 2011-06-10

Publications (1)

Publication Number Publication Date
WO2012169119A1 true WO2012169119A1 (ja) 2012-12-13

Family

ID=47295712

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003148 WO2012169119A1 (ja) 2011-06-10 2012-05-15 物体検出枠表示装置及び物体検出枠表示方法

Country Status (5)

Country Link
US (1) US9165390B2 (ja)
EP (1) EP2696326A4 (ja)
JP (1) JP5923746B2 (ja)
CN (1) CN103597514B (ja)
WO (1) WO2012169119A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014187451A (ja) * 2013-03-22 2014-10-02 Dainippon Printing Co Ltd 画像回転装置、画像回転方法、およびプログラム
CN104885122A (zh) * 2012-12-25 2015-09-02 本田技研工业株式会社 车辆周围监测装置
WO2020067100A1 (ja) * 2018-09-26 2020-04-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム
JP7491260B2 (ja) 2021-04-26 2024-05-28 トヨタ自動車株式会社 人検出装置、人検出方法及び人検出用コンピュータプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400929B2 (en) 2012-03-05 2016-07-26 Panasonic Intellectual Property Management Co., Ltd. Object detection device and method for detecting an object by performing a raster scan on a scan window
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
US20170055844A1 (en) * 2015-08-27 2017-03-02 Canon Kabushiki Kaisha Apparatus and method for acquiring object information
US10878225B2 (en) * 2016-12-21 2020-12-29 Panasonic Intellectual Property Management Co., Ltd. Comparison device and comparison method
JP6907774B2 (ja) * 2017-07-14 2021-07-21 オムロン株式会社 物体検出装置、物体検出方法、およびプログラム
WO2019114954A1 (en) 2017-12-13 2019-06-20 Telefonaktiebolaget Lm Ericsson (Publ) Indicating objects within frames of a video segment
JP6977624B2 (ja) * 2018-03-07 2021-12-08 オムロン株式会社 物体検出装置、物体検出方法、およびプログラム
JP7171212B2 (ja) * 2018-04-02 2022-11-15 キヤノン株式会社 情報処理装置、画像表示方法、コンピュータプログラム、及び記憶媒体
CN109948497B (zh) * 2019-03-12 2022-01-28 北京旷视科技有限公司 一种物体检测方法、装置及电子设备
JP7200965B2 (ja) * 2020-03-25 2023-01-10 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN113592874B (zh) * 2020-04-30 2024-06-14 杭州海康威视数字技术股份有限公司 图像显示方法、装置和计算机设备
CN115601793B (zh) * 2022-12-14 2023-04-07 北京健康有益科技有限公司 一种人体骨骼点检测方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0335399A (ja) * 1989-06-30 1991-02-15 Toshiba Corp 変化領域統合装置
JP2007306463A (ja) * 2006-05-15 2007-11-22 Fujifilm Corp トリミング支援方法および装置ならびにプログラム
JP2008252713A (ja) * 2007-03-30 2008-10-16 Nikon Corp 撮像装置
JP2009060291A (ja) * 2007-08-30 2009-03-19 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2010039968A (ja) * 2008-08-08 2010-02-18 Hitachi Ltd オブジェクト検出装置及び検出方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4130641B2 (ja) 2004-03-31 2008-08-06 富士フイルム株式会社 ディジタル・スチル・カメラおよびその制御方法
JP4712563B2 (ja) * 2006-01-16 2011-06-29 富士フイルム株式会社 顔検出方法および装置並びにプログラム
JP2007274017A (ja) * 2006-03-30 2007-10-18 Fujifilm Corp 自動トリミング方法および装置ならびにプログラム
JP4264663B2 (ja) 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP4725802B2 (ja) * 2006-12-27 2011-07-13 富士フイルム株式会社 撮影装置、合焦方法および合焦プログラム
JP4639208B2 (ja) 2007-03-16 2011-02-23 富士フイルム株式会社 画像選択装置、画像選択方法、撮像装置及びプログラム
FR2915816A1 (fr) * 2007-09-26 2008-11-07 Thomson Licensing Sas Procede d'acquisition d'une image a l'aide d'un appareil dont la focale est reglable et appareil d'acquisition d'image associe au procede
JP4904243B2 (ja) * 2007-10-17 2012-03-28 富士フイルム株式会社 撮像装置及び撮像制御方法
US8406515B2 (en) * 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images
JP5473551B2 (ja) * 2009-11-17 2014-04-16 富士フイルム株式会社 オートフォーカスシステム
JP5427577B2 (ja) 2009-12-04 2014-02-26 パナソニック株式会社 表示制御装置及び表示画像形成方法
US9025836B2 (en) * 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0335399A (ja) * 1989-06-30 1991-02-15 Toshiba Corp 変化領域統合装置
JP2007306463A (ja) * 2006-05-15 2007-11-22 Fujifilm Corp トリミング支援方法および装置ならびにプログラム
JP2008252713A (ja) * 2007-03-30 2008-10-16 Nikon Corp 撮像装置
JP2009060291A (ja) * 2007-08-30 2009-03-19 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2010039968A (ja) * 2008-08-08 2010-02-18 Hitachi Ltd オブジェクト検出装置及び検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2696326A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104885122A (zh) * 2012-12-25 2015-09-02 本田技研工业株式会社 车辆周围监测装置
EP2940656A4 (en) * 2012-12-25 2016-10-12 Honda Motor Co Ltd DEVICE FOR MONITORING VEHICLE PERIPHERY
CN104885122B (zh) * 2012-12-25 2017-06-23 本田技研工业株式会社 车辆周围监测装置
US9776564B2 (en) 2012-12-25 2017-10-03 Honda Motor Co., Ltd. Vehicle periphery monitoring device
JP2014187451A (ja) * 2013-03-22 2014-10-02 Dainippon Printing Co Ltd 画像回転装置、画像回転方法、およびプログラム
WO2020067100A1 (ja) * 2018-09-26 2020-04-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム
JPWO2020067100A1 (ja) * 2018-09-26 2021-09-30 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム
JP7137629B2 (ja) 2018-09-26 2022-09-14 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
JP7491260B2 (ja) 2021-04-26 2024-05-28 トヨタ自動車株式会社 人検出装置、人検出方法及び人検出用コンピュータプログラム

Also Published As

Publication number Publication date
US9165390B2 (en) 2015-10-20
EP2696326A1 (en) 2014-02-12
JPWO2012169119A1 (ja) 2015-02-23
EP2696326A4 (en) 2015-12-02
CN103597514A (zh) 2014-02-19
CN103597514B (zh) 2016-04-06
US20140104313A1 (en) 2014-04-17
JP5923746B2 (ja) 2016-05-25

Similar Documents

Publication Publication Date Title
JP5923746B2 (ja) 物体検出枠表示装置及び物体検出枠表示方法
US9600732B2 (en) Image display apparatus and image display method
WO2016147644A1 (en) Image processing apparatus, image processing system, method for image processing, and computer program
JP5964108B2 (ja) 物体検出装置
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
US10127702B2 (en) Image processing device and image processing method
JP2011170684A (ja) 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム
US20170104915A1 (en) Display control apparatus, display control method, and storage medium
JP5457606B2 (ja) 画像処理方法及び装置
US20140362215A1 (en) Optimum camera setting device and optimum camera setting method
JP5756709B2 (ja) 身長推定装置、身長推定方法、及び身長推定プログラム
JP6377970B2 (ja) 視差画像生成装置及び視差画像生成方法
JP2013215549A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP5147760B2 (ja) 画像監視装置
JP5369873B2 (ja) 判定プログラムおよびキャリブレーション装置
JP2017215666A (ja) 制御装置、制御方法およびプログラム
JP2007219603A (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
JP2007257132A (ja) 動き検出方法および動き検出装置
JP2011097217A (ja) 動き補正装置およびその方法
JP5448952B2 (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
JP2011071925A (ja) 移動体追尾装置および方法
US10019635B2 (en) Vehicle-mounted recognition device
JP5587068B2 (ja) 運転支援装置及び方法
JP2016021712A (ja) 画像処理装置、及び、運転支援システム
JPWO2018155269A1 (ja) 画像処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280028590.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12797288

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013519359

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012797288

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012797288

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14123610

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE