WO2018025845A1 - 検出装置、検出方法及びプログラムを記憶する記憶媒体 - Google Patents

検出装置、検出方法及びプログラムを記憶する記憶媒体 Download PDF

Info

Publication number
WO2018025845A1
WO2018025845A1 PCT/JP2017/027850 JP2017027850W WO2018025845A1 WO 2018025845 A1 WO2018025845 A1 WO 2018025845A1 JP 2017027850 W JP2017027850 W JP 2017027850W WO 2018025845 A1 WO2018025845 A1 WO 2018025845A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
image
region
partial
area
Prior art date
Application number
PCT/JP2017/027850
Other languages
English (en)
French (fr)
Inventor
哲夫 井下
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2018025845A1 publication Critical patent/WO2018025845A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Definitions

  • the present disclosure relates to a technique for detecting an object, and more particularly to a technique for detecting a region of an object from an image or the like.
  • the technology for detecting objects from video is called object detection technology.
  • the object detection technology is used for monitoring, for example, by finding a desired object from video captured by a camera.
  • a technique called a sliding window method is used.
  • the sliding window method a rectangular area (window) is set for an image to be detected, and the presence or absence of the detection target object in the window is evaluated by an evaluation function while changing the position and size of the window.
  • the same object such as a car or a bag
  • there are objects whose size and direction in the image change depending on the direction and distance to the camera.
  • Patent Document 1 describes an object region extraction device that extracts a region similar to an object by integrating a plurality of regions obtained by dividing an image based on the similarity of visual feature values. Yes.
  • the visual feature amount in the technique of Patent Document 1 is, for example, a color feature amount, a pattern feature amount, a shape feature amount, and a region size feature amount.
  • Non-Patent Document 1 discloses a method in which regions obtained by dividing an image are integrated based on color similarity, texture similarity, and region size similarity, and the integrated region is defined as an object detection region. Is disclosed.
  • regions are integrated based on colors, patterns (for example, textures), sizes, and the like obtained from regions generated by image division. Therefore, the area of one object is not necessarily integrated into one area. That is, the integrated area does not necessarily include the area of the object to be detected. Therefore, it is not always possible to detect an object region with high accuracy. In addition, the number of trials for integrating regions for extracting a region including an object region increases, so that the speed of object detection decreases.
  • One of the objects of the present invention is to provide an object detection technique capable of improving the accuracy of extracting a target region in view of the above-described problems.
  • the detection device is a generation unit that generates a partial region in the image based on similarity of the image feature that is a feature related to a pixel of the image, and a feature of an object that appears in the image.
  • a detection method generates a partial region in the image based on similarity of image features that are features related to pixels of the image, and based on target features that are features of the target appearing in the image. Then, a target area that is the target area is determined from the partial area.
  • a storage medium causes a computer to generate a partial region in the image based on the similarity of the image feature that is a feature related to the pixel of the image, and a feature of an object that appears in the image. And a determination process for determining a target region that is the target region from the partial region based on the target feature.
  • One embodiment of the present invention can also be realized by a program stored in the storage medium.
  • the present invention has an effect that the accuracy of extracting the target region can be improved.
  • FIG. 1 is a block diagram showing an example of a configuration of a detection system according to the first and third embodiments of the present invention.
  • FIG. 2 is a flowchart showing an example of the operation of the detection apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing a configuration of a detection system according to the second embodiment of the present invention.
  • FIG. 4 is a flowchart showing an example of the operation of the detection apparatus according to the second embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of an image.
  • FIG. 6 is a diagram schematically showing a partial region generated by the division.
  • FIG. 7 is an enlarged view of a part of the outline of the partial region.
  • FIG. 8 is a diagram illustrating an example of an integrated area.
  • FIG. 1 is a block diagram showing an example of a configuration of a detection system according to the first and third embodiments of the present invention.
  • FIG. 2 is a flowchart showing an example of the operation
  • FIG. 9 is a diagram illustrating another example of the integrated area.
  • FIG. 10 is a diagram illustrating an example of an input image.
  • FIG. 11A is a diagram schematically illustrating an area determined as a background area and an area that is a foreground area.
  • FIG. 11B is a diagram schematically illustrating an example of the foreground area.
  • FIG. 12A is a diagram schematically illustrating an area determined as a background area and an area that is a foreground area.
  • FIG. 12B is a diagram schematically illustrating an example of the foreground area.
  • FIG. 13 is a flowchart showing an example of the operation of the detection apparatus 100 according to the third embodiment of the present invention.
  • FIG. 13 is a flowchart showing an example of the operation of the detection apparatus 100 according to the third embodiment of the present invention.
  • FIG. 14 is a block diagram illustrating an example of the configuration of the detection device 102 according to the fourth embodiment of this invention.
  • FIG. 15 is a flowchart showing an example of the operation of the detection apparatus 102 according to the fourth embodiment of the present invention.
  • FIG. 16 is a diagram illustrating an example of a hardware configuration of a computer 1000 capable of realizing each detection device according to the embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a detection system 10 according to the present embodiment.
  • the detection system 10 of the present embodiment includes a detection device 100, an input device 200, and an output device 300.
  • the input device 200 transmits the input image to the receiving unit 110 described later of the detection device 100.
  • the input device 200 may transmit the input image to the detection device 100 in the form of a video, for example.
  • the video is, for example, a time series of images (that is, a plurality of images taken continuously).
  • the input device 200 may be, for example, a photographing device that outputs a photographed image or video.
  • the input device 200 may be a storage device that stores captured images and videos and outputs the stored images and videos.
  • the detection device 100 analyzes an input image obtained as an image or the like from the input device 200, and thereby, from the input image, for example, a target region that is a detection target region (hereinafter also referred to as “target”). Is detected.
  • the target may be a person, an animal, or the like.
  • the detection device 100 transmits information indicating the detected target area to the output device 300.
  • the detection device 100 may transmit the input image received from the input device 200 to the output device 300 in addition to the information indicating the detected target region.
  • the output device 300 may be, for example, a display device that displays information indicating the target area transmitted by the detection device 100.
  • the output device 300 may superimpose a graphic or the like indicating the position of the target region on the input image transmitted by the detection device 100 and display the input image on which the graphic or the like indicating the target region is superimposed.
  • the output device 300 may perform object recognition using, for example, any of various object recognition techniques in the target region detected by the detection device 100. Then, the output device 300 may display information on the object recognized in the target area.
  • the detection apparatus 100 will be described in detail.
  • the detection apparatus 100 includes a reception unit 110, a generation unit 120, a determination unit 130, a transmission unit 140, and a feature storage unit 150.
  • the receiving unit 110 receives an input image from the input device 200.
  • the receiving unit 110 may receive the input image as a still image.
  • the receiving unit 110 may receive the input image as a video.
  • the receiving unit 110 may convert the data representing the video into data representing a plurality of continuous images. That is, the receiving unit 110 may convert the video into a plurality of images.
  • the receiving unit 110 transmits input images (for example, received still images or images converted from received video) to the generating unit 120, for example, one by one.
  • the generation unit 120 extracts image features, which are features related to pixels, such as texture, color, other feature amounts, and combinations thereof from the received input image.
  • the generation unit 120 may extract the above-described image features for every pixel selected according to all or a predetermined method, for example.
  • the generation unit 120 may extract the image feature of the pixel in a region centering on the pixel from which the image feature is extracted.
  • the generation unit 120 generates a region based on the extracted image feature in the input image, more specifically, a region based on the similarity of the extracted image feature.
  • the region generated by the generation unit 120 is referred to as “partial region” in the following description.
  • the generation unit 120 performs grouping of pixels so that the pixel is adjacent to at least any other pixel included in the group including the pixel based on the similarity of the extracted image features.
  • the input image may be divided into a plurality of regions. When the image features of two adjacent pixels are similar, the generation unit 120 may generate a plurality of regions in the input image by repeating the process of grouping the pixels into the same group.
  • the generation unit 120 may divide into regions having a size included in a preset range.
  • the generation unit 120 may divide the input image into a plurality of areas by an area dividing technique such as Mean Shift Segmentation, Superpixels, or Graph based segmentation.
  • the determination unit 130 determines the target that is the target region from the partial region. Determine the area. That is, the determination unit 130 determines whether to integrate a plurality of partial areas as target areas based on the target features. The determination unit 130 may determine whether one partial region that is not integrated is a target region.
  • the determining unit 130 may use each combination of one or more partial areas as a candidate area that is a candidate for the target area.
  • the partial areas included in the candidate area may not be continuous in the input image. That is, the partial area included in the candidate area may be separated in the input image.
  • the determination unit 130 may determine a target region from those candidate regions based on the target feature. For example, the determination unit 130 may determine the candidate region as the target region when the target feature in the candidate region satisfies a predetermined criterion regarding the target feature, for example, for all types of predetermined target features. .
  • the determination unit 130 may select, for example, one type of target feature.
  • the determination unit 130 may further select one candidate area from the existing candidate areas.
  • the determination unit 130 may derive a target feature of the selected type in the selected candidate region.
  • the determination unit 130 determines whether or not the derived target feature satisfies a criterion for the target feature.
  • the determination unit 130 may exclude the selected candidate region from the candidate region when the derived target feature does not satisfy the criterion for the target feature.
  • the determination unit 130 may leave the selected candidate region as the candidate region when the derived target feature satisfies the criterion for the target feature.
  • the determination unit 130 may repeat the operations after the selection of the candidate area until all candidate areas are selected for the selected target feature. Furthermore, the determination unit 130 may repeat the operations after the selection of the target feature until there are no target features that are not selected.
  • the determination unit 130 may determine the candidate area by another method.
  • the target feature may be stored in the feature storage unit 150.
  • the reference for the target feature may be stored in the feature storage unit 150. In that case, the determination unit 130 may read the target features and the criteria for those target features from the feature storage unit 150.
  • the target feature may include image features such as the color and texture of the target.
  • the determination unit 130 may select a candidate region based on the similarity between the target image feature and the partial region image feature. For example, when the image feature of the candidate area is closer to the target image feature than a predetermined reference, the determination unit 130 may leave the candidate area as the candidate area. The determining unit 130 may exclude the candidate area from the candidate area when the image characteristic of the candidate area is not closer to the target image feature than the predetermined reference.
  • the image feature included in the target feature may be a color frequency distribution within the image area.
  • the image feature included in the target feature may be an average value of colors in the region of the image.
  • the image feature included in the target feature may be a frequency distribution of feature amounts representing the texture in the region of the image.
  • the image feature included in the target feature may be an average value of feature amounts representing the texture in the region of the image.
  • the similarity between the target image feature and the image feature of the candidate region (or partial region) may be, for example, a distance defined according to the type of image feature included in the target feature. Similarity may be represented by other values.
  • the image feature included in the target feature may be different from the image feature used to generate the region.
  • a partial area whose target feature is closer to the target target feature than a predetermined standard is referred to as a “partial region similar to the target”.
  • the size of the partial area may be represented by the length of two orthogonal sides of the circumscribed rectangle of the partial area.
  • the size of the candidate area may be represented by the height and width of a circumscribed rectangle surrounding all partial areas included in the candidate area.
  • the target feature may include, for example, the size of the target area that can appear in the input image.
  • the size of the target area may be represented by, for example, a vertical size and a horizontal size.
  • a rectangle whose two sides are the size in the vertical direction and the size in the horizontal direction of the target region is referred to as a target rectangle.
  • the determination unit 130 may leave the candidate area as the candidate area.
  • the determination unit 130 may exclude the candidate area from the candidate area.
  • the determining unit 130 determines that the length of the short side of the circumscribed rectangle of the candidate area does not exceed the length of the short side of the target rectangle, and the length of the long side of the circumscribed rectangle of the candidate area is the long side of the target rectangle. If it does not exceed the length of, the circumscribed rectangle size of the candidate region may be determined not to exceed the size of the target region.
  • the size of the target area may be determined according to the position in the input image. In that case, the size of the target area may be determined with respect to the coordinates of a point indicating the position of the candidate area in the input image, for example.
  • the point indicating the position of the candidate area may be, for example, a defined vertex (for example, the upper left vertex) or the center of gravity of the circumscribed rectangle of the candidate area.
  • the determination unit 130 may specify the coordinates of a point indicating the position of the candidate area, and may specify the size of the target area according to the specified coordinates. If the size of the candidate region does not exceed the size of the specified target region, the determination unit 130 may leave the candidate region as a candidate region. When the size of the candidate region exceeds the size of the specified target region, the determination unit 130 may exclude the candidate region from the candidate region.
  • the target feature may include, for example, a distribution of appearance positions.
  • the target feature may include, for example, an appearance frequency index (hereinafter also referred to as “frequency index”) corresponding to a position in the input image as a distribution of appearance positions.
  • frequency index an appearance frequency index
  • the frequency of appearance of a detection target for example, a bag
  • the frequency with which a bag as a detection target is detected is considered to be high in a region close to a region of a passage through which a person passes.
  • the determination unit 130 may exclude, for example, a partial region existing in a region with a low appearance frequency from the candidate region based on the appearance frequency. As a result, erroneous detection of the target region can be reduced.
  • the frequency index may be determined based on the appearance frequency of objects in a plurality of past images.
  • the user of the detection apparatus 100 may set the frequency index according to the environment in which the image is captured.
  • the frequency index may be represented by a continuous value corresponding to the possibility that the target area appears.
  • the frequency index may be represented by any of a plurality of values indicating the magnitude of the appearance frequency.
  • the frequency index may be represented by a value indicating that the target does not appear or a value indicating that the target may appear.
  • the frequency index may be set for each pixel.
  • the frequency index may be set for each region where the image is divided according to a predetermined rule.
  • the frequency index may be set for each area that is divided so that the appearance frequency of the target is the same or is included in a certain range.
  • the determination unit 130 may set the frequency index as the frequency index of the partial area.
  • Each partial area may include a part for which a different frequency index is set.
  • the determination unit 130 may use, as a frequency index in the partial area, a value indicating that the appearance frequency is lowest among the frequency indexes in the area included in the partial area (hereinafter, the minimum frequency index).
  • the determination unit 130 may use, as the frequency index in the candidate area, a value indicating that the appearance frequency is the lowest among the frequency indices in the partial areas included in the candidate area.
  • the determination unit 130 may exclude candidate regions whose frequency index is smaller than a predetermined frequency threshold from the candidate regions.
  • the determination unit 130 may determine the remaining candidate area as the target area. In the above description, the determination unit 130 narrows down candidate areas by selecting candidate areas based on other target features from candidate areas generated based on the target features. The determination unit 130 may generate candidate regions that satisfy all the conditions based on a plurality of target features. The determination unit 130 may determine the target region for each target type.
  • the determination unit 130 transmits the determined target area to the transmission unit 140.
  • the determination unit 130 may further transmit the input image for which the target area has been determined to the transmission unit 140.
  • the target is photographed, such as the size of the target in the input image, the distribution of the appearance position of the target according to the position in the input image, and the distribution of the appearance frequency of the target according to the position in the input image.
  • object features Features derived from the shape and position of the target in the environment are referred to as “object features”.
  • the feature storage unit 150 includes image features such as detection target colors, color distributions, and textures, and object features such as target size and appearance position distributions (for example, the above-described frequency index distributions). Including target features.
  • the feature storage unit 150 may store target features for each type of target.
  • targets that differ in at least one of the target features are different types of targets. For example, a black bag and a white bag are different types of objects.
  • the transmission unit 140 transmits (that is, outputs) information indicating the target area determined by the determination unit 130 to the output device 300.
  • the transmission unit 140 may further transmit the image for which the target area has been determined to the output device 300.
  • the output device 300 may superimpose a graphic indicating the target area determined by the determination unit 130 on the input image in which the target area is determined, for example, and present it to the user.
  • the output device 300 may recognize an object from the determined target region using an appropriately selected recognition technique and display information indicating the recognized object.
  • the output device 300 may display, for example, a graphic indicating the target area and information indicating the object recognized in the target area, superimposed on the input image in which the target area is determined.
  • FIG. 2 is a flowchart showing an example of the operation of the detection apparatus 100 of the present embodiment.
  • the receiving unit 110 receives an input image from the input device 200 (step S101).
  • FIG. 5 is a diagram illustrating an example of an image received in step S101.
  • the image received in step S101 may be a color image.
  • the image shown in FIG. 5 is a monochrome image converted from a color image.
  • the generation unit 120 generates a small region (that is, the above-described partial region) in the image by grouping pixels according to the similarity of the image features (step S102).
  • the generation unit 120 may perform pixel grouping so that each pixel is included in the same region as the region to which any of the adjacent pixels belong.
  • the generation unit 120 may divide the input image into a plurality of partial regions by an appropriately selected region dividing method.
  • FIG. 6 is a diagram schematically showing a partial area generated by the division.
  • FIG. 6 shows a partial area generated by dividing the color image converted into the image shown in FIG.
  • the determination unit 130 determines whether to integrate the generated small regions (that is, partial regions) based on the detection target features (that is, the above-described target features) stored in the feature storage unit 150. To decide. Then, the determination unit 130 integrates the partial areas determined to be integrated (Step S103). In other words, the determination unit 130 extracts the above candidate area.
  • FIG. 7 is an enlarged view of a part of the outline of the partial area shown in FIG. Specifically, FIG. 7 shows the outline of the partial area into which the bag area is divided.
  • object features for example, the size of a bag region
  • image features for example, color
  • the subject is a bag.
  • the object feature is size.
  • the image feature is color.
  • the adjacent partial areas are integrated based on the similarity of colors starting from the partial area of (a) shown in FIG. 7, the partial areas of (a), (b), and (c) shown in FIG. Are integrated.
  • the color of the partial area adjacent to at least one of the partial areas (a), (b), and (c) shown in FIG. 7 is the color converted into the image shown in FIG. In the image, it is not similar to any color of the partial areas (a), (b), and (c).
  • the color of the partial area (d) shown in FIG. 7 is not similar to any of the colors of the partial areas (a), (b), and (c). In this case, the partial areas are not integrated into the area where the partial areas (a), (b), and (c) are integrated.
  • FIG. 8 is a diagram illustrating an example of an integrated area.
  • the partial areas (a), (b), and (c) shown in FIG. 7 are integrated.
  • the broken lines in FIG. 8 indicate the ranges of the partial regions (a), (b), and (c) shown in FIG.
  • the determination unit 130 of the present embodiment further integrates regions based on target features (for example, target size).
  • the size of the object is represented by a rectangle, for example.
  • the determination unit 130 may integrate the plurality of partial areas. For example, when the height and width of the circumscribed rectangle are smaller than the height and width of the rectangle representing the size of the object, the determination unit 130 may determine that the circumscribed rectangle is smaller than the rectangle.
  • the partial areas shown in FIGS. 7A, 7B, 7C, and 7E are the same bag area.
  • the partial region shown in FIG. 7E is separated from the partial regions shown in FIGS. 7A, 7B, and 7C by the partial region shown in FIG. . That is, the partial area in FIG. 7E does not continue with the partial areas in FIGS. 7A, 7B, and 7C.
  • the color of the partial area shown in FIG. 7E is similar to the color of the partial areas shown in FIGS. 7A, 7B, and 7C.
  • the size of the circumscribed rectangle in the partial areas of FIGS. 7A, 7B, 7C, and 7E is smaller than the size of the target bag stored as the target feature.
  • the determination unit 130 may integrate the partial areas (a), (b), (c), and (e).
  • FIG. 9 is a diagram illustrating another example of the integrated area.
  • the partial areas (a), (b), (c), and (e) shown in FIG. 7 are integrated.
  • the broken lines in FIG. 9 represent the partial areas (a), (b), (c), and (e).
  • the determining unit 130 determines the target area from the integrated partial areas based on the target characteristics of the target (step S104). In other words, the determination unit 130 determines the above candidate region as the target region, and the transmission unit 140 outputs information on the determined target region (step S105).
  • the determination unit 130 determines a target region that is a target region from the generated region based on a target feature that is a feature of a detection target that appears in the input image. Therefore, for example, even if the target area is divided into a plurality of partial areas for occlusion, the target area can be determined without being affected by occlusion. That is, the speed and accuracy of extracting the target area can be improved.
  • FIG. 3 is a block diagram showing the configuration of the detection system 11 according to this embodiment.
  • the detection system 11 includes a detection device 101, an input device 200, and an output device 300.
  • the input device 200 and the output device 300 of the present embodiment are the same as the input device 200 and the output device 300 of the first embodiment, respectively.
  • the detection apparatus 101 includes a reception unit 110, a generation unit 120, a determination unit 130, a transmission unit 140, and a feature storage unit 150.
  • the detection apparatus 101 may further include a background generation unit 160.
  • the detection system 11 may further include a terminal device 400.
  • the detection apparatus 101 may further include an extraction unit 170. Below, the difference between this embodiment and 1st Embodiment is mainly demonstrated.
  • the background generation unit 160 may generate a background image based on a plurality of input images (for example, the above-described video) received by the reception unit 110.
  • the method for generating the background image may be any of various known methods.
  • the background area is the entire background image.
  • the background generation unit 160 may transmit one input image to the terminal device 400, for example.
  • the one input image may be one of a plurality of input images received as video, or may be an input image received as a still image.
  • the input image transmitted to the terminal device 400 by the background generation unit 160 may be an image different from the input image from which the target is extracted.
  • the input image transmitted to the terminal device 400 by the background generation unit 160 may be an image in which the same background as the background of the input image from which the target is extracted is captured, for example.
  • the terminal device 400 may display the received input image on a display device such as a display or a touch panel.
  • the user of the terminal device 400 may input the range of the background area in the displayed input image by using a device having an input function such as a mouse or a touch panel of the terminal device 400.
  • the terminal device 400 may transmit the input background area range to the background generation unit 160.
  • the background generation unit 160 may set the received background area range as the background area range in the input image transmitted to the terminal device 400.
  • the background generation unit 160 may transmit the received input image and the range of the background area in the input image to the extraction unit 170.
  • the extraction unit 170 extracts image features such as color and texture from the background area of the input image.
  • the extraction unit 170 may generate a partial region in the background region of the input image by a method similar to the method of generating the partial region by the generation unit 120, for example.
  • the extraction unit 170 may integrate a plurality of partial areas that are separated in the input image based on the similarity of the image features. In other words, when the image features of a plurality of partial areas separated in the input image are closer than the predetermined reference, the extraction unit 170 may integrate the plurality of partial areas as partial areas of the same type of background.
  • the extraction unit 170 may further specify the size of the generated partial region.
  • the extraction unit 170 may specify the size of the integrated partial area.
  • the extraction unit 170 may store, for each type of background, the image feature extracted from the partial region generated in the background region in the feature storage unit 150 as a background feature that is a background feature.
  • the extraction unit 170 stores, for each type of background, the size of the partial region generated in the background region and the image feature extracted in the partial region in the feature storage unit 150 as a background feature that is a background feature. May be.
  • the extraction unit 170 may store background features including image features in the feature storage unit 150 for each type of background.
  • the extraction unit 170 may store background features that further include the size of the partial area for each type of background in the feature storage unit 150.
  • the feature storage unit 150 stores the background feature described above.
  • the background feature may be stored in the feature storage unit 150 by the background generation unit 160 as described above.
  • the background feature may be stored in advance in the feature storage unit 150 by, for example, a user or administrator of the detection system 11. For example, when an object such as a road or forest that is different from the object to be detected is photographed in the input image as a background, for example, a road area and a forest area may be specified as a partial area of the background area. That's fine.
  • storage part 150 should just memorize
  • the feature storage unit 150 may store a background feature that further includes information indicating the size of the road area.
  • the feature storage unit 150 may store background features including image features such as colors and textures in the forest area.
  • the feature storage unit 150 may store a background feature that further includes information indicating the size of the forest.
  • the determination unit 130 determines whether the partial region generated from the input image is a background region based on the background feature stored in the feature storage unit 150. For example, the determination unit 130 may read the background feature for each type of background from the feature storage unit 150 and compare the image feature included in the read background feature with the image feature of each partial area of the input image. . The determination unit 130 may determine, for example, a partial region that is similar to the image feature included in the background feature as the background region. In the following description, an area that is not determined as a background area is referred to as a “foreground area”. When the partial areas are generated, all the generated partial areas are foreground areas.
  • the determination unit 130 integrates the partial areas based on the target feature in the partial areas other than the partial areas determined to be the background (that is, the partial areas that are the foreground areas).
  • the determination unit 130 determines the integrated partial area as the target area. Specifically, the determination unit 130 excludes the partial area determined as the background area from the foreground area.
  • the determination unit 130 determines a target area in the partial area that is not excluded from the foreground area. For example, the determination unit 130 may determine all combinations including one or more partial areas that are not excluded from the foreground area as candidate areas.
  • the determination unit 130 may determine the target region by selecting the target region from the determined candidate regions based on the target feature.
  • the method by which the determination unit 130 of the present embodiment determines candidate areas is the same as the method by which the determination unit 130 of the first embodiment determines candidate areas.
  • the method by which the determining unit 130 of the present embodiment determines the target area is the same as the method by which the determining unit 130 of the first embodiment determines the target area.
  • the determination unit 130 excludes the partial region that is the background region from the target region candidates based on the background feature. Then, the determination unit 130 determines a target region from the partial regions that are not excluded based on the target feature.
  • FIG. 4 is a flowchart showing an example of the operation of the detection apparatus 101 according to this embodiment.
  • the feature storage unit 150 stores the features of the background area in advance.
  • step S101 receives an input image
  • step S102 generates a partial region in the received input image
  • FIG. 10 is a diagram illustrating an example of an input image.
  • the receiving unit 110 receives, for example, the input image shown in FIG. FIG. 10 further shows an example of a partial region into which the input image is divided.
  • the generation unit 120 divides the input image into 12 partial regions from region (a) to region (l).
  • the three regions from region (a) to region (c) are background regions.
  • the areas of the three airplanes are each divided into three areas. For example, the three areas from the area (d) to the area (f) are areas of the first airplane.
  • Three regions from region (g) to region (i) are regions of the second airplane.
  • Three regions from region (j) to region (l) are regions of the third aircraft.
  • the boundary lines of the three regions from the region (d) to the region (f) are not drawn.
  • the boundary lines of the three regions from region (g) to region (i) are not drawn.
  • the boundary lines of the three regions from region (j) to region (l) are also not drawn.
  • the determination unit 130 determines whether or not the generated partial area is similar to the background based on the background feature stored in the feature storage unit 150 (step S201). For example, the determination unit 130 may compare the image feature included in the background feature with the image feature of each partial region. When the difference between the image feature included in the background feature and the image feature of the partial region is smaller than a predetermined reference, the determination unit 130 is similar to the image feature included in the background feature and the image feature of the partial region, The partial area may be determined to be similar to the background.
  • the difference between the image feature included in the background feature and the image feature of the partial area may be represented by, for example, an appropriately defined distance.
  • the determination unit 130 determines that the partial region having the image feature similar to the image feature included in the background feature is the background region, and the portion The area is excluded from the target area candidates. In other words, the determination unit 130 recognizes a partial area similar to the background as a background area, and excludes the partial area from candidates for the target area (step S202).
  • the determination unit 130 When background features of a plurality of types of backgrounds are stored in the feature storage unit 150, the determination unit 130 first selects a background feature of the first type of background and includes image features included in the selected background feature. Are excluded from the target region candidates. The determination unit 130 leaves the remaining partial areas as candidates for the target area. Further, the determination unit 130 selects a background feature of the second type of background, and excludes a partial region having an image feature similar to the image feature included in the selected background feature from the target region candidates. Similarly, the determination unit 130 leaves the remaining partial areas as candidates for the target area. The determination unit 130 repeats the selection of the background type and the exclusion of the partial region similar to the background from the target region candidates until there is no unselected background type.
  • the areas (a), (b), and (c) are determined as background areas.
  • FIG. 11A is a diagram schematically illustrating an area determined as a background area and an area that is a foreground area.
  • the plane area is determined as the foreground area.
  • FIG. 11A further shows that the area (a) is selected as a partial area similar to the background feature.
  • FIG. 11B is a diagram schematically illustrating an example of the foreground area.
  • the selected area (a) is excluded from the foreground area (that is, the target area candidate)
  • the black area surrounded by the rectangle drawn by the broken line shown in FIG. 11B is the foreground area.
  • FIG. 12A is a diagram schematically illustrating an area determined as a background area and an area that is a foreground area. Also in the example shown in FIG. 12A, the plane area is determined to be the foreground area. FIG. 12A further shows that the area (b) is selected as a partial area similar to the background feature.
  • FIG. 12B is a diagram schematically illustrating an example of the foreground area.
  • the selected area (b) is excluded from the foreground area (that is, the target area candidate)
  • the black area surrounded by the rectangle drawn by the broken line shown in FIG. 12B is the foreground area.
  • the airplane area appears as a separate foreground area.
  • the determination unit 130 may detect these separated foreground areas as target areas.
  • the determination unit 130 may determine the target region based on the target feature in these separated foreground regions.
  • the determination unit 130 determines the partial region that remains as a candidate for the target region, that is, the partial region that remains as the foreground region, as in the operation of step S103 illustrated in FIG. 2 in the operation of the detection apparatus 100 according to the first embodiment. (Step S103 in FIG. 4).
  • the determination unit 130 determines the integrated partial region as the target region, similarly to the operation of step S104 illustrated in FIG. 2 in the operation of the detection apparatus 100 of the first embodiment (step S104).
  • the transmission unit 140 outputs information on the determined target area in the same manner as the operation of Step S105 illustrated in FIG. 2 in the operation of the detection apparatus 100 of the first embodiment (Step S105).
  • the determination unit 130 may integrate the partial areas that are the foreground areas that are in contact with each other instead of integrating the partial areas that are the foreground areas based on the target feature.
  • This embodiment has an effect of improving the accuracy and speed of detecting the target area.
  • the determination unit 130 excludes a partial region having a feature similar to that of the background region from the target region candidates. That is, the background area that is not the target area can be excluded. Since the process of detecting the target in the excluded background region is not performed, the detection accuracy is improved and the detection speed is also improved. When a complicated target region exists on a simple background, the detection speed can be improved. The reason is that if a simple background area is excluded before the partial areas are integrated, the target area remains as a separated foreground area. By detecting the separated foreground region as the target region as it is, the speed of detecting the target region can be improved.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a detection system 10 according to a third embodiment of this invention.
  • the detection system 10 of this embodiment has the same configuration as the detection system 10 of the first embodiment. That is, the detection system 10 of the present embodiment includes a detection device 100, an input device 200, and an output device 300.
  • the input device 200 and the output device 300 are the same as the input device 200 and the output device 300 according to the first and second embodiments, respectively.
  • the detection device 100 of the present embodiment only needs to have the same configuration as the detection device 100 of the first embodiment.
  • the detection apparatus 100 includes a reception unit 110, a generation unit 120, a determination unit 130, a transmission unit 140, and a feature storage unit 150.
  • the detection device 100 of the present embodiment may operate in the same manner as the detection device 100 of the first embodiment, except for differences described below.
  • the reception unit 110, the generation unit 120, the determination unit 130, the transmission unit 140, and the feature storage unit 150 of the present embodiment are respectively the elements to which the same name and code are assigned in the first embodiment. It may operate similarly.
  • the feature storage unit 150 of the present embodiment may include object features based on other targets (for example, other types of targets) as any one of a plurality of targets.
  • the object feature based on another target may be an object feature based on a target region of another type of target. More specifically, the object feature based on another target area may be, for example, the appearance frequency according to the relative position of another type of target with respect to the target area.
  • “another target” based on the target feature of the target is referred to as a “related target”.
  • another target region based on the target feature of the target that is, the above-mentioned “target region of another type of target”
  • the object feature based on the related object is denoted as “related feature”.
  • the feature storage unit 150 includes, as target features of at least one type of target, the type of related target, the relative position of the related target with respect to the target region, and the appearance frequency of the target at the relative position.
  • Object features may be stored.
  • the relative position with respect to the target area of the related target is, for example, a relative position with respect to a point determined in the target area of the related target.
  • the relative position may be represented by a vector, for example.
  • the appearance frequency included in the object feature represents the appearance frequency of the target at the point at the position where the movement represented by the vector is performed from the point determined in the target region of the related target.
  • the relative position may be represented by a vector and a range, for example.
  • the range may be a parameter representing the size of a predetermined graphic.
  • the range may be represented by, for example, a rectangular vertical size and horizontal size.
  • the vector may be a vector from a point determined in the target region to be related to a point (for example, a center of gravity or a vertex) fixed to a graphic representing the range.
  • the appearance frequency included in the object feature is determined based on the target in the region represented by the range based on the point of the movement position represented by the vector from the point determined in the target region of the related target. Represents the appearance frequency.
  • the appearance frequency of items such as bags tends to be high around the person's area.
  • the appearance frequency of the carry-on item may vary depending on the type of the carry-on item and the relative position of the person with respect to the area.
  • the appearance frequency of a bag tends to be high near the region from the ankle to the shoulder, but low near the head.
  • the appearance frequency of a hat tends to be high in the vicinity of the head of the person's region but low in the vicinity of the foot.
  • Such appearance frequency of the target region can be represented by a target feature including the type of the related target, the relative position of the related target with respect to the target region, and the appearance frequency of the target at the relative position as object features.
  • the determination unit 130 of the present embodiment specifies the type of the target based on the target feature, for example.
  • the target feature may include image features such as color and texture.
  • the target features may include object features such as size and shape.
  • the determination unit 130 may extract target features from the determined target region.
  • the determination unit 130 may compare the target feature extracted from the determined target region with each target feature of the target type stored in the feature storage unit 150.
  • the determination unit 130 may specify the type of target having a target feature similar to the target feature extracted from the target region. In other words, the determination unit 130 calculates the difference between the target feature extracted from the target region and the target feature stored in the feature storage unit 150.
  • the determination unit 130 may determine the target type having the smallest calculated difference as the target type having the target feature similar to the target feature extracted from the target region. For any type of target, the determination unit 130 does not specify the type of target having a target feature similar to the target feature extracted from the target region if the calculated difference does not satisfy a predetermined criterion. Also good.
  • the determination unit 130 selects the target region of the target as the target feature of the target. Decide based on related features to include. Specifically, for example, when the target feature of the first target includes a distribution of appearance frequencies according to the relative position with respect to the target region of the second target, the determination unit 130 determines the second target target feature. Based on the position of the target region, the distribution of the appearance frequency of the first target is determined. When the first target is a bag and the second target is a person, the determination unit 130 determines the distribution of the bag appearance frequency based on the position of the person's region. The determination unit 130 may determine the target region of the first target based on the determined distribution of appearance frequencies in addition to other target features.
  • the determination unit 130 selects the target region of the target as the target feature of the target. It may be determined without being based on related features that it contains.
  • the determination unit 130 may determine a target region whose target feature does not include a related feature. Next, the determination unit 130 may determine a target region of a target in which the target feature includes a related feature based on the related target, and the related target is specified in the input image. The determination unit 130 may further determine a target area of a target that is a related target of another target. Finally, the determination unit 130 may determine the target region that remains.
  • the detection device 100 may operate in the same manner as the detection device 101 according to the second embodiment, except for the differences described above.
  • the detection system 10 of this embodiment should just be provided with the same structure as the detection system 11 of 2nd Embodiment.
  • the detection apparatus 100 of this embodiment should just be provided with the same structure as the detection apparatus 101 of 2nd Embodiment. That is, the detection system 10 may further include a terminal device 400.
  • the terminal device 400 is the same as the terminal device 400 according to the second embodiment.
  • the detection apparatus 100 may further include a background generation unit 160 and an extraction unit 170.
  • the reception unit 110, the generation unit 120, the determination unit 130, the transmission unit 140, the feature storage unit 150, the background generation unit 160, and the extraction unit 170 of the present embodiment have the same names and codes as those of the second embodiment, respectively. It may operate in the same manner as an element to which is given.
  • FIG. 13 is a flowchart showing an example of the operation of the detection apparatus 100 of the present embodiment.
  • step S101 and step S102 the detection apparatus 100 performs the same operation as that in step S101 and step S102 of the detection apparatus 100 of the first embodiment.
  • the determination unit 130 selects one type of target whose target feature is stored in the feature storage unit 150 (step S301). For example, the determination unit 130 may select a target type whose target feature does not include a related feature. When there is no type of target whose target feature does not include the related feature, the determination unit 130 determines, for example, a target for which the related target of the related feature included in the target feature has already been selected (that is, the target region of the related target is determined). May be selected. For example, the determination unit 130 may select a type of a target that is a related target of another type of target. The determination unit 130 may select a target type according to another method.
  • the determining unit 130 integrates the partial areas based on the target features other than the related features (step S103). And the determination part 130 determines an object area
  • the determination unit 130 When at least one related target region of the selected type of target has been determined (YES in step S302), the determination unit 130 integrates the partial regions based on the target features including the related target (step S303). . And the determination part 130 determines an object area
  • step S304 If any target type has not been selected (NO in step S304), the detection apparatus 100 repeats the operations from step S301. When all the target types are selected (YES in step S304), the transmission unit 140 outputs information on the determined target area (step S105).
  • the detection apparatus 100 may perform the operations of Step S201 and Step S202 illustrated in FIG. 4 after the operations of Step S101 and Step S102. In that case, the detection apparatus 100 performs the same operation as the operation of the step to which the same reference numeral is assigned in the detection apparatus 101 of the second embodiment in each of Step S101, Step S102, Step S201, and Step S202. . In this case, the detection apparatus 100 performs the same operation as the operation of the step to which the same reference numeral is assigned in the detection apparatus 101 of the second embodiment also in step S103 and step S104.
  • the present embodiment has an effect that the accuracy of detecting the target region can be further improved.
  • the reason is that the determination unit 130 specifies a target region of interest based on target features including related features based on the related features. For example, the determination unit 130 determines a target region whose appearance frequency is based on the position of another target region based on the distribution of the appearance frequency.
  • FIG. 14 is a block diagram showing an example of the configuration of the detection apparatus 102 of the present embodiment.
  • the detection apparatus 102 includes a generation unit 120 and a determination unit 130.
  • the generation unit 120 generates a partial region in the image (that is, the above-described input image) based on the similarity of the image feature that is a feature related to the pixel of the image.
  • the image features are, for example, color and texture.
  • the determination unit 130 determines a target area that is the target area from the partial area based on a target feature that is a target characteristic that appears in the image.
  • the determination unit 130 may integrate the partial regions based on the target features and determine the target regions based on the target features from the integrated partial regions.
  • the target features include the above-described object features such as the size of the target region in the image and the appearance frequency of the target region according to the location in the image, in addition to the image features such as color and texture. including.
  • FIG. 15 is a flowchart showing an example of the operation of the detection apparatus 102 of the present embodiment.
  • the generation unit 120 generates a partial image in the input image based on the similarity of image features (step S ⁇ b> 401).
  • the determination unit 130 determines a target area based on the target feature (step S402).
  • the present embodiment has an effect that the accuracy of detecting the target region can be improved.
  • the reason is that the determination unit 130 determines a target region based on target features such as size and appearance frequency. Therefore, the accuracy of detecting the target region can be improved as compared with the case where the target region is determined based on image features such as color and texture.
  • the detection device 100, the detection device 101, and the detection device 102 can be realized by a computer including a memory loaded with a program read from a storage medium and a processor that executes the program.
  • the detection device 100, the detection device 101, and the detection device 102 can also be realized by dedicated hardware.
  • the detection apparatus 100, the detection apparatus 101, and the detection apparatus 102 can also be realized by a combination of the above-described computer and dedicated hardware.
  • the detection device can be realized by hardware such as a circuit configuration.
  • the circuit configuration may be, for example, a processor and a memory included in the computer. In that case, the program only needs to be loaded into the memory.
  • the program can be executed by a processor, and the computer may be operated as the detection device of each of the above-described embodiments.
  • the circuit configuration may be, for example, a plurality of computers that are communicably connected.
  • the circuit configuration may be, for example, a circuit.
  • the circuit configuration may be, for example, a plurality of circuits that are communicably connected.
  • the circuit configuration may be a combination of one or more computers and one or more circuits that are communicably connected.
  • FIG. 16 is a diagram illustrating an example of a hardware configuration of a computer 1000 capable of realizing each detection device according to the embodiment of the present invention.
  • a computer 1000 includes a processor 1001, a memory 1002, a storage device 1003, and an I / O (Input / Output) interface 1004.
  • the computer 1000 can access the storage medium 1005.
  • the memory 1002 and the storage device 1003 are storage devices such as a RAM (Random Access Memory) and a hard disk, for example.
  • the storage medium 1005 is, for example, a storage device such as a RAM or a hard disk, a ROM (Read Only Memory), or a portable storage medium.
  • the storage device 1003 may be the storage medium 1005.
  • the processor 1001 can read and write data and programs from and to the memory 1002 and the storage device 1003.
  • the processor 1001 can communicate with, for example, the input device 200, the output device 300, and the terminal device 400 via the I / O interface 1004.
  • the processor 1001 can access the storage medium 1005.
  • a storage medium 1005 stores a program that causes the computer 1000 to operate as the detection device 100, the detection device 101, or the detection device 102.
  • the processor 1001 loads a program stored in the storage medium 1005 that causes the computer 1000 to operate as the detection device 100, the detection device 101, or the detection device 102 into the memory 1002. Then, when the processor 1001 executes the program loaded in the memory 1002, the computer 1000 operates as the detection device 100, the detection device 101, or the detection device 102.
  • the functions of the reception unit 110, the generation unit 120, the determination unit 130, the transmission unit 140, the background generation unit 160, and the extraction unit 170 may be implemented as a program that causes the computer 1000 to function as these units.
  • the program may be stored in the storage medium 1005.
  • the reception unit 110, the generation unit 120, the determination unit 130, the transmission unit 140, the background generation unit 160, and the extraction unit 170 are realized by a computer 1000 including a memory 1002 loaded with the program and a processor 1001 that executes the program. can do.
  • the feature storage unit 150 can be realized by a memory 1002 included in the computer 1000 or a storage device 1003 such as a hard disk device.
  • reception unit 110 may be dedicated to realizing the functions of these units. It can also be realized by a circuit.
  • a detection device comprising:
  • the target feature includes a size of the target region according to a position in the image
  • the determining means determines one or more partial regions having similar image characteristics as the target region based on the size of the target region according to the position of the partial region in the image. The detection device described.
  • the determining means determines whether or not the partial region is similar to the background based on a background feature of the image according to a position in the image, and is determined to be similar to the background
  • the detection device according to attachment 1 or 2 wherein the target region is determined from the partial region other than the partial region.
  • the target feature includes a first appearance frequency of the target according to a position of a region of another target in the image,
  • the determination means determines one or more partial regions having similar image characteristics as the target region based on the position information of the other target region and the first appearance frequency. 4.
  • the detection device according to any one of 3 above.
  • the target feature includes a second appearance frequency of the target according to a position in the image
  • the determining means determines one or more partial regions having similar image characteristics as the target region based on the second appearance frequency of the target according to the position of the partial region in the image.
  • the detection device according to any one of appendices 1 to 4.
  • the detection device according to any one of appendices 1 to 5, and An input device for outputting the image; An output device for displaying information indicating the received target area,
  • the detection device includes: Receiving means for receiving the image; Transmitting means for transmitting information on the determined target area to the output device; With a detection system.
  • the target feature includes a size of the target region according to a position in the image
  • the target feature includes a first appearance frequency of the target according to a position of a region of another target in the image, One or more of the partial regions having similar image characteristics are determined as the target region based on the position information of the other target region and the first appearance frequency.
  • the detection method according to item.
  • a second frequency of appearance of the object according to a position in the image The one or more partial regions having similar image characteristics are determined as the target region based on the second appearance frequency of the target according to the position of the partial region in the image.
  • the detection method according to any one of the above.
  • the target feature includes a size of the target region according to a position in the image
  • the determination process determines one or more partial regions having similar image characteristics as the target region based on the size of the target region according to the position of the partial region in the image.
  • the determination process determines whether the partial region is similar to the background based on a background feature of the image according to a position in the image, and is determined to be similar to the background
  • the target feature includes a first appearance frequency of the target according to a position of a region of another target in the image, The determination process determines one or more partial regions having similar image characteristics as the target region based on the position information of the other target region and the first appearance frequency. 14.
  • the storage medium according to any one of 14.
  • the target feature includes a second appearance frequency of the target according to a position in the image, In the determination process, one or more partial regions having similar image characteristics are determined as the target region based on the second appearance frequency of the target according to the position of the partial region in the image.
  • the storage medium according to any one of appendices 12 to 15.
  • the present invention can be applied to, for example, a computer device, a mobile phone, a smartphone, a digital still camera, and the like having a function of processing an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

対象の領域を抽出する精度を向上させることができる対象検出技術を提供する。　本発明の一態様に係る検出装置１０３は、画像の画素に関連する特徴である画像特徴の類似性に基づいて、前記画像において部分領域を生成する生成部１２０と、前記画像に現れる対象の特徴である対象特徴に基づいて、前記部分領域から前記対象の領域である対象領域を決定する決定部１３０と、を備える。

Description

検出装置、検出方法及びプログラムを記憶する記憶媒体
　本開示は物体を検出する技術に関し、特に、画像等から物体の領域を検出する技術に関する。
　映像から物体を検出する技術は、物体検出技術と呼ばれる。物体検出技術は、例えば、カメラによって撮影された映像から所望の物体を見つけ出すことによって、監視を行う用途に使用されている。物体検出の方法の一つとして、Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法と呼ばれる技術が使用されている。Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法は、検出対象の画像に対して矩形領域（Ｗｉｎｄｏｗ）を設定し、Ｗｉｎｄｏｗの位置と大きさを変化させながら、Ｗｉｎｄｏｗ内における検出対象物体の有無を、評価関数により評価する。しかし、車やカバンなどのように、同一の物体であっても、カメラに対する向きや距離などによって、画像内の大きさや向きが変化する物体が存在する。検出対象である物体の画像内における大きさや向きが変わる場合、Ｗｉｎｄｏｗのアスペクト比やサイズを様々に変更する必要があるので、Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法によって実時間で検出することは困難である。
　特許文献１には、画像を分割して得られた複数の領域を、視覚的特徴量の類似度に基づいて統合することによって、オブジェクトに類似する領域を抽出するオブジェクト領域抽出装置が記載されている。特許文献１の技術における視覚的特徴量は、例えば、色の特徴量、模様の特徴量、形状の特徴量、及び、領域のサイズの特徴量等である。
　非特許文献１には、画像が分割された領域を、色の類似度、テクスチャの類似度、及び、領域サイズの類似度に基づいて統合し、統合された領域を物体検出領域として定義する手法が開示されている。
国際公開第２００８／０１８３９８号
J. R. R. Uijilings et al., "Selective Search for Object Recognition", International Journal of Computer Vision, Vol. 104, Issue 2, pp. 154-171, 2013.
　特許文献１及び非特許文献１の技術では、画像の分割によって生成された領域から得られる、色、模様（例えばテクスチャ）、及び、サイズなどに基づいて領域を統合する。そのため、１つの物体の領域が、１つの領域に統合されるとは限らない。すなわち、統合された領域は、必ずしも検出対象の物体の領域を含んでいるとは限らない。そのため、物体の領域を精度よく検出できるとは限らない。また、物体領域を含む領域を抽出するための、領域を統合する試行回数が増大することによって、物体検出の速度が低下する。
　本発明の目的の一つは、上述の課題に鑑みて、対象の領域を抽出する精度を向上させることができる物体検出技術を提供することにある。
　本発明の一態様に係る検出装置は、画像の画素に関連する特徴である画像特徴の類似性に基づいて、前記画像において部分領域を生成する生成手段と、前記画像に現れる対象の特徴である対象特徴に基づいて、前記部分領域から前記対象の領域である対象領域を決定する決定手段と、を備える。
　本発明の一態様に検出方法は、画像の画素に関連する特徴である画像特徴の類似性に基づいて、前記画像において部分領域を生成し、前記画像に現れる対象の特徴である対象特徴に基づいて、前記部分領域から前記対象の領域である対象領域を決定する。
　本発明の一態様に記憶媒体は、コンピュータに、画像の画素に関連する特徴である画像特徴の類似性に基づいて、前記画像において部分領域を生成する生成処理と、前記画像に現れる対象の特徴である対象特徴に基づいて、前記部分領域から前記対象の領域である対象領域を決定する決定処理と、を実行させるプログラムを記憶する。本発明の一態様は、上記記憶媒体が記憶するプログラムによっても実現できる。
　本発明には、対象の領域を抽出する精度を向上させることができるという効果がある。
図１は、本発明の第１及び第３の実施形態に係る検出システムの構成の例を表すブロック図である。 図２は、本発明の第１の実施形態に係る検出装置の動作の例を表すフローチャートである。 図３は、本発明の第２の実施形態に係る検出システムの構成を表すブロック図である。 図４は、本発明の第２の実施形態に係る検出装置の動作の例を表すフローチャートである。 図５は、画像の例を表す図である。 図６は、分割によって生成された部分領域を模式的に表す図である。 図７は、部分領域の輪郭線の一部を拡大した図である。 図８は、統合された領域の例を表す図である。 図９は、統合された領域の他の例を表す図である。 図１０は、入力画像の例を表す図である。 図１１Ａは、背景領域と判定された領域と前景領域である領域とを模式的に表す図である。 図１１Ｂは、前景領域の例を模式的に表す図である。 図１２Ａは、背景領域と判定された領域と前景領域である領域とを模式的に表す図である。 図１２Ｂは、前景領域の例を模式的に表す図である。 図１３は、本発明の第３の実施形態の検出装置１００の動作の例を表すフローチャートである。 図１４は、本発明の第４の実施形態の検出装置１０２の構成の例を示すブロック図である。 図１５は、本発明の第４の実施形態の検出装置１０２の動作の例を表すフローチャートである。 図１６は、本発明の実施形態に係る各検出装置を実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。
　［第１の実施の形態］
　［構成の説明］
　次に、本発明の第１の実施形態について、図面を参照して詳細に説明する。
　図１は、本実施形態に係る検出システム１０の構成の例を表すブロック図である。
　図１を参照すると、本実施形態の検出システム１０は、検出装置１００と、入力装置２００と、出力装置３００とを含む。
　入力装置２００は、入力画像を、検出装置１００の後述する受信部１１０に送信する。入力装置２００は、入力画像を、例えば映像の形で、検出装置１００に送信してもよい。映像は、例えば、画像の時系列（すなわち、連続して撮影された複数の画像）である。入力装置２００は、例えば、撮影した画像や映像を出力する撮影装置であってもよい。入力装置２００は、撮影された画像や映像を記憶し、記憶している画像や映像を出力する記憶装置であってもよい。
　検出装置１００は、入力装置２００から映像等として得られた入力画像を解析することによって、その入力画像から、例えば物体などの検出の対象（以下、「対象」とも表記）の領域である対象領域を検出する。対象は、人物、動物、等であってもよい。検出装置１００は、検出した対象領域を示す情報を、出力装置３００に送信する。検出装置１００は、検出した対象領域を示す情報に加えて、入力装置２００から受信した入力画像を、出力装置３００に送信してもよい。
　出力装置３００は、例えば、検出装置１００によって送信された、対象領域を示す情報を表示する表示装置であってもよい。出力装置３００は、検出装置１００によって送信された入力画像に、対象領域の位置を示す図形等を重畳し、対象領域を示す図形等が重畳された入力画像を表示してもよい。出力装置３００は、検出装置１００によって検出された対象領域において、例えば、さまざまな物体認識技術のいずれかによる物体認識を行ってもよい。そして、出力装置３００は、対象領域において認識された物体の情報を表示してもよい。以下、検出装置１００について、詳細に説明する。
　検出装置１００は、受信部１１０と、生成部１２０と、決定部１３０と、送信部１４０と、特徴記憶部１５０とを含む。
　受信部１１０は、入力装置２００から、入力画像を受信する。受信部１１０は、入力画像を、静止画像として受信してもよい。受信部１１０は、入力画像を、映像として受信してもよい。入力画像を映像として受信する場合、受信部１１０は、映像を表すデータを、連続する複数の画像を表すデータに変換してもよい。すなわち、受信部１１０は、映像を複数の画像に変換してもよい。受信部１１０は、入力画像（例えば、受信した静止画像、又は、受信した映像から変換された画像）を、例えば１枚ずつ、生成部１２０に送信する。
　生成部１２０は、受け取った入力画像から、テクスチャ、色、他の特徴量、及び、それらの組み合わせ等の、画素に関連する特徴である画像特徴を抽出する。生成部１２０は、例えば、全ての、又は、所定の方法に従って選択された画素毎に、上述の画像特徴を抽出してもよい。生成部１２０は、画像特徴が抽出される画素を中心とする領域において、その画素の画像特徴を抽出してもよい。
　生成部１２０は、入力画像において、抽出した画像特徴に基づく領域、より具体的には、抽出した画像特徴の類似性に基づく領域を生成する。生成部１２０によって生成された領域を、以下の説明では、「部分領域」と表記する。生成部１２０は、例えば、抽出した画像特徴の類似性に基づいて、画素が、その画素を含むグループに含まれる少なくともいずれかの他の画素と隣接するように、画素のグルーピングを行うことによって、入力画像を複数の領域に分割してもよい。生成部１２０は、隣接する２つの画素の画像特徴が類似する場合、それらの画素を同一のグループにグルーピングする処理を繰り返すことによって、入力画像において複数の領域を生成してもよい。生成部１２０は、予め設定された範囲に含まれる大きさを持つ領域に分割してもよい。生成部１２０は、Ｍｅａｎ　Ｓｈｉｆｔ　Ｓｅｇｍｅｎｔａｔｉｏｎ、Ｓｕｐｅｒｐｉｘｅｌｓ、又は、Ｇｒａｐｈ　ｂａｓｅｄ　ｓｅｇｍｅｎｔａｔｉｏｎなどの領域分割技術によって、入力画像を複数の領域に分割してもよい。
　決定部１３０は、画像に現れる、検出の対象である物体等（上述のように、「対象」とも表記）の特徴である対象特徴に基づいて、上述の部分領域から、対象の領域である対象領域を決定する。すなわち、決定部１３０は、対象特徴に基づいて、複数の部分領域を対象領域として統合するかどうかを決定する。決定部１３０は、統合されない１つの部分領域が対象領域であるか否かを決定してもよい。
　決定部１３０は、１つ以上の部分領域の組み合わせのそれぞれを、対象領域の候補である候補領域としてもよい。候補領域に含まれる部分領域は、入力画像において連続していなくてもよい。すなわち、候補領域に含まれる部分領域は、入力画像において離れていてもよい。決定部１３０は、対象特徴に基づいて、それらの候補領域から対象領域を決定してもよい。例えば、決定部１３０は、例えばあらかじめ定められた全ての種類の対象特徴について、候補領域における対象特徴が、その対象特徴に関する所定の基準を満たす場合、その候補領域を対象領域に決定してもよい。
　その場合、決定部１３０は、例えば、１つの種類の対象特徴を選択してもよい。決定部１３０は、さらに、存在する候補領域から１つの候補領域を選択してもよい。決定部１３０は、選択された候補領域における、選択された種類の対象特徴を導出してもよい。決定部１３０は、導出された対象特徴が、その対象特徴に対する基準を満たすか否かを判定する。決定部１３０は、導出された対象特徴が、その対象特徴に対する基準を満たさない場合、選択された候補領域を候補領域から除外してもよい。決定部１３０は、導出された対象特徴が、その対象特徴に対する基準を満たす場合、選択された候補領域を候補領域のままとしてもよい。決定部１３０は、候補領域の選択以降の動作を、選択された対象特徴について全ての候補領域が選択されるまで繰り返してもよい。さらに、決定部１３０は、対象特徴の選択以降の動作を、選択されていない対象特徴が存在しなくなるまで繰り返してもよい。
　決定部１３０は、他の方法によって、候補領域を決定してもよい。対象特徴は、特徴記憶部１５０に格納されていてもよい。対象特徴に対する基準は、特徴記憶部１５０に格納されていてもよい。その場合、決定部１３０は、対象特徴及びそれらの対象特徴に対する基準を、特徴記憶部１５０から読み出せばよい。
　対象特徴は、対象の、色及びテクスチャなどの画像特徴を含んでいてもよい。決定部１３０は、対象の画像特徴と部分領域の画像特徴との類似性に基づいて、候補領域を選択してもよい。例えば、決定部１３０は、候補領域の画像特徴が、対象の画像特徴と、所定基準よりも近い場合、その候補領域を、候補領域のままとしてもよい。決定部１３０は、候補領域の画像特徴が、対象の画像特徴と、所定基準よりも近くない場合、その候補領域を、候補領域から除外してもよい。
　対象特徴が含む画像特徴は、画像の領域内の色の頻度の分布であってもよい。対象特徴が含む画像特徴は、画像の領域内の色の平均値であってもよい。対象特徴が含む画像特徴は、画像の領域内のテクスチャを表す特徴量の頻度の分布であってもよい。対象特徴が含む画像特徴は、画像の領域内のテクスチャを表す特徴量の平均値であってもよい。対象の画像特徴と候補領域（又は部分領域）の画像特徴との類似性は、例えば、対象特徴が含む画像特徴の種類に応じて定義された距離であってもよい。類似性は、他の値によって表されていてもよい。対象特徴が含む画像特徴は、領域の生成に使用される画像特徴と異なっていてもよい。
　以下の説明では、対象特徴が、対象の対象特徴と、所定基準よりも近い部分領域を、「対象に類似する部分領域」と表記する。部分領域の大きさは、部分領域の外接矩形の直交する二辺の長さによって表されていてもよい。候補領域の大きさは、その候補領域が含む全ての部分領域を囲む外接矩形の高さと幅とによって表されていてもよい。
　対象特徴は、例えば、入力画像に現れうる対象領域の大きさを含んでいてもよい。対象領域の大きさは、例えば、縦方向の大きさ及び横方向の大きさによって表されていてもよい。以下の説明では、二辺の長さが対象領域の縦方向の大きさ及び横方向方の大きさである矩形を、対象矩形と表記する。その場合、決定部１３０は、例えば、候補領域の外接矩形の大きさが対象領域の大きさを超えない場合、その候補領域を候補領域のままとすればよい。決定部１３０は、候補領域の外接矩形の大きさが対象領域の大きさを超える場合、その候補領域を候補領域から除外すればよい。決定部１３０は、例えば、候補領域の外接矩形の短辺の長さが、対象矩形の短辺の長さを超えず、候補領域の外接矩形の長辺の長さが、対象矩形の長辺の長さを超えない場合、候補領域の外接矩形の大きさが対象領域の大きさを超えないと判定すればよい。
　対象領域の大きさは、入力画像における位置に応じて定まっていてもよい。その場合、対象領域の大きさは、例えば、入力画像における、候補領域の位置を示す点の座標に対して定まっていてもよい。候補領域の位置を示す点は、例えば、候補領域の外接矩形の定められた頂点（例えば左上の頂点）又は重心であってもよい。決定部１３０は、候補領域の位置を示す点の座標を特定し、そして、特定された座標に応じた対象領域の大きさを特定してもよい。決定部１３０は、その候補領域の大きさが特定された対象領域の大きさを超えない場合、その候補領域を候補領域のままにすればよい。決定部１３０は、その候補領域の大きさが特定された対象領域の大きさを超える場合、その候補領域を候補領域から除外すればよい。
　対象特徴は、例えば、出現位置の分布を含んでいてもよい。対象特徴は、例えば、入力画像内の位置に応じた、対象の出現頻度の指標（以下、「頻度指標」とも表記）を、出現位置の分布として含んでいてもよい。例えば固定されたカメラの映像では、検出の対象（例えばカバン）が出現する頻度が画像内の場所によって異なる場合がある。例えば、固定された監視カメラによって得られた画像では、検出の対象であるカバンが検出される頻度は、人が通行する通路の領域に近い領域において高いと考えられる。しかし、例えば地面から離れた壁面などの人の侵入が困難な領域では、カバンが検出される頻度は低いと考えられる。このような場合、決定部１３０が、後述されるように、出現頻度に基づいて、例えば出現頻度が低い領域に存在する部分領域を、候補領域から除外してもよい。そのことによって、対象領域の誤検出を減少させることができる。
　頻度指標は、過去の複数の画像における対象の出現頻度に基づいて決定されていてもよい。例えば検出装置１００のユーザが、画像に撮影されている環境に応じて、頻度指標を設定してもよい。頻度指標は、対象の領域が出現する可能性に応じた連続値によって表されていてもよい。頻度指標は、出現頻度の大きさを示す複数の値のいずれかによって表されていてもよい。例えば、頻度指標は、対象が出現しないことを表す値又は対象が出現する可能性があることを表す値によって表されていてもよい。
　頻度指標は、画素毎に設定されていてもよい。頻度指標は、画像が所定の規則に従って分割された領域毎に設定されていてもよい。頻度指標は、対象の出現頻度が同じである又は一定範囲に含まれるように区分された領域毎に設定されていてもよい。
　部分領域が含む全ての画素における頻度指標が同じである場合、決定部１３０は、その頻度指標をその部分領域の頻度指標として設定すればよい。それぞれの部分領域は、異なる頻度指標が設定されている部分を含みうる。決定部１３０は、例えば、部分領域に含まれる領域における、頻度指標のうち、出現頻度が最も低いことを表す値（以下、最小頻度指標）を、その部分領域における頻度指標にしてもよい。決定部１３０は、例えば、候補領域が含む部分領域における頻度指標のうち、出現頻度が最も低いことを示す値を、その候補領域における頻度指標にしてもよい。決定部１３０は、頻度指標が所定の頻度閾値より小さい候補領域を、候補領域から除外してもよい。
　決定部１３０は、残った候補領域を対象領域に決定してもよい。以上の説明では、決定部１３０は、対象特徴に基づいて生成した候補領域から、他の対象特徴に基づいて候補領域を選択することによって、候補領域を絞り込んでいる。決定部１３０は、複数の対象特徴に基づく条件を全て満たす候補領域を生成してもよい。決定部１３０は、対象領域の決定を、対象の種類毎に行ってもよい。
　決定部１３０は、決定された対象領域を送信部１４０に送信する。決定部１３０は、更に、対象領域が決定された入力画像を、送信部１４０に送信してもよい。
　以下の説明では、入力画像における対象の大きさ、入力画像内の位置に応じた対象の出現位置の分布、入力画像内の位置に応じた対象の出現頻度の分布などの、対象が撮影された環境における対象の形状や位置などに由来する特徴を、「物体特徴」と表記する。
　特徴記憶部１５０は、検出の対象の色、色の分布、及び、テクスチャなどの画像特徴と、対象の大きさ、及び、出現位置の分布（例えば上述の頻度指標の分布）等の物体特徴とを含む、対象特徴を記憶する。特徴記憶部１５０は、対象特徴を、対象の種類毎に記憶していてもよい。本実施形態では、対象特徴のうちの少なくともいずれかが異なる対象は、異なる種類の対象である。例えば、黒いカバンと白いカバンは、異なる種類の対象である。
　送信部１４０は、決定部１３０によって決定された対象領域を示す情報を、出力装置３００に送信する（すなわち、出力する）。送信部１４０は、さらに、対象領域が決定された画像を、出力装置３００に送信してもよい。
　出力装置３００は、決定部１３０によって決定された対象領域を示す図形を、例えばその対象領域が決定された入力画像に重畳して、ユーザに提示してもよい。出力装置３００は、決定された対象領域から、適宜選択された認識技術によって物体を認識し、認識した物体を示す情報を表示してもよい。出力装置３００は、例えば対象領域が決定された入力画像に重畳して、対象領域を示す図形と、対象領域において認識された物体を示す情報とを表示してもよい。
　［動作の説明］
　次に、本実施形態の検出装置１００の動作について、図面を参照して詳細に説明する。
　図２は、本実施形態の検出装置１００の動作の例を表すフローチャートである。
　まず、受信部１１０が、入力装置２００から、入力画像を受信する（ステップＳ１０１）。
　図５は、ステップＳ１０１において受信する画像の例を表す図である。ステップＳ１０１において受信する画像は、カラー画像であってよい。図５に示す画像は、カラー画像から変換されたモノクロ画像である。
　次に、生成部１２０は、画像特徴の類似度によって画素をグルーピングすることによって、画像において小領域（すなわち、上述の部分領域）を生成する（ステップＳ１０２）。生成部１２０は、それぞれの画素を、隣接する画素のいずれかが属する領域と同じ領域に含まれるように、画素のグルーピングを行ってもよい。上述のように、生成部１２０は、適宜選択された領域分割方法によって、入力画像を複数の部分領域に分割してもよい。
　図６は、分割によって生成された部分領域を模式的に表す図である。図６は、図５に示す画像に変換されたカラー画像を分割することによって生成された部分領域を表す。
　次に、決定部１３０は、特徴記憶部１５０に格納されている、検出の対象の特徴（すなわち、上述の対象特徴）に基づいて、生成された小領域（すなわち部分領域）を統合するかどうかを決定する。そして、決定部１３０は、統合すると判定された部分領域を統合する（ステップＳ１０３）。言い換えると、決定部１３０は、上述の候補領域を抽出する。
　図７は、図６に示す部分領域の輪郭線の一部を拡大した図である。具体的には、図７は、カバンの領域が分割された部分領域の輪郭線を示す。以下では、図７に示すカバンの領域に着目して説明する。特徴記憶部１５０には、検出したい対象の物体特徴（例えば、カバンの領域の大きさ）の情報、及び、画像特徴（例えば、色）の情報などが、あらかじめ対象特徴として格納されている。以下の説明では、対象はカバンである。物体特徴は大きさである。画像特徴は色である。
　図７に示す（ａ）の部分領域を起点として、隣接する部分領域を色の類似性に基づいて統合する場合、図７に示す（ａ）、（ｂ）、及び、（ｃ）の部分領域が統合される。図６に示す例では、図７に示す（ａ）、（ｂ）、及び、（ｃ）の部分領域の少なくともいずれかに隣接する部分領域の色は、図５に示す画像に変換されたカラー画像では、（ａ）、（ｂ）、及び、（ｃ）の部分領域のいずれの色とも類似しない。例えば、図７に示す（ｄ）の部分領域の色は、（ａ）、（ｂ）、及び、（ｃ）の部分領域のいずれの色とも類似しない。この場合、（ａ）、（ｂ）、及び、（ｃ）の部分領域が統合された領域に、部分領域は統合されない。
　図８は、統合された領域の例を表す図である。図８に示す例では、図７に示す（ａ）、（ｂ）、及び、（ｃ）の部分領域が統合されている。図８の破線は、図７に示す（ａ）、（ｂ）、及び、（ｃ）の部分領域の範囲を示す。
　本実施形態の決定部１３０は、さらに、対象特徴（例えば、対象の大きさ）に基づいて、領域を統合する。対象の大きさは、例えば、矩形によって表される。決定部１３０は、色が類似する複数の部分領域の外接矩形が、対象の大きさを示す矩形より小さい場合、それらの複数の部分領域を統合してもよい。決定部１３０は、例えば、外接矩形の高さ及び幅が、それぞれ、対象の大きさを表す矩形の高さ及び幅より小さい場合、外接矩形が矩形より小さいと判定すればよい。
　例えば、図６に示す例では、図７の（ａ）、（ｂ）、（ｃ）、及び、（ｅ）の部分領域は、同じカバンの領域である。しかし、図７の（ｅ）の部分領域は、腕の領域である（ｄ）の部分領域によって、図７の（ａ）、（ｂ）、及び、（ｃ）の部分領域と隔てられている。すなわち、図７の（ｅ）の部分領域は、図７の（ａ）、（ｂ）、及び、（ｃ）の部分領域と続いていない。しかし、図７の（ｅ）の部分領域の色は、図７の（ａ）、（ｂ）、及び、（ｃ）の部分領域の色と類似している。さらに、図７の（ａ）、（ｂ）、（ｃ）、及び、（ｅ）の部分領域の外接矩形の大きさは、対象特徴として記憶されている、対象であるカバンの大きさより小さい。この場合、決定部１３０は、（ａ）、（ｂ）、（ｃ）、及び、（ｅ）の部分領域を統合すればよい。
　図９は、統合された領域の他の例を表す図である。図９に示す例では、図７に示す（ａ）、（ｂ）、（ｃ）、及び、（ｅ）の部分領域が統合されている。図９の破線は、（ａ）、（ｂ）、（ｃ）、及び、（ｅ）の部分領域を表す。
　決定部１３０は、統合された部分領域から、対象の対象特徴に基づいて、対象領域を決定する（ステップＳ１０４）。言い換えると、決定部１３０は、上述の候補領域を、対象領域として決定する送信部１４０は、決定した対象領域の情報を出力する（ステップＳ１０５）。
　［効果の説明］
　次に、本実施の形態の効果について説明する。
　本実施形態の決定部１３０は、入力画像に現れる検出の対象の特徴である対象特徴に基づいて、生成された領域から対象の領域である対象領域を決定する。そのため、例えばオクルージョンのために対象領域が複数の部分領域に分かれていても、オクルージョンに影響されずに対象領域を決定することができる。すなわち、対象の領域を抽出する速度及び精度を向上させることができる。
　［第２の実施の形態］
　［構成の説明］
　次に、本発明の第２の実施形態について、図面を参照して詳細に説明する。
　図３は、本実施形態に係る検出システム１１の構成を表すブロック図である。図３を参照すると、検出システム１１は、検出装置１０１と、入力装置２００と、出力装置３００とを含む。本実施形態の入力装置２００及び出力装置３００は、それぞれ、第１の実施形態の入力装置２００及び出力装置３００と同じである。検出装置１０１は、受信部１１０、生成部１２０、決定部１３０、送信部１４０、及び、特徴記憶部１５０を含む。検出装置１０１は、さらに、背景生成部１６０を含んでいてもよい。検出システム１１は、さらに、端末装置４００を含んでいてもよい。検出装置１０１は、さらに、抽出部１７０を含んでいてもよい。以下では、本実施形態と第１の実施形態との間の相違を主に説明する。
　背景生成部１６０は、受信部１１０が受信した複数の入力画像（例えば、上述の映像）に基づいて、背景画像を生成してもよい。背景画像を生成する方法は、知られている様々な方法のいずれかであってもよい。この場合、背景領域は、背景画像全体である。
　背景生成部１６０は、例えば、１枚の入力画像を、端末装置４００に送信してもよい。その１枚の入力画像は、映像として受信した複数の入力画像の１枚であってもよく、静止画像として受信した入力画像であってもよい。この場合の、背景生成部１６０によって端末装置４００に送信される入力画像は、対象が抽出される入力画像とは異なる画像であってもよい。背景生成部１６０によって端末装置４００に送信される入力画像は、例えば、対象が抽出される入力画像の背景と同じ背景が撮影されている画像であればよい。端末装置４００は、ディスプレイやタッチパネルなどの表示装置に、受信した入力画像を表示してもよい。端末装置４００のユーザは、端末装置４００のマウスやタッチパネルなどの入力機能を備えた装置を使用して、表示された入力画像における背景領域の範囲を入力してもよい。端末装置４００は、入力された背景領域の範囲を、背景生成部１６０に送信してもよい。背景生成部１６０は、受信した背景領域の範囲を、端末装置４００に送信した入力画像における背景領域の範囲にしてもよい。
　背景生成部１６０は、受信した入力画像と、その入力画像における背景領域の範囲とを、抽出部１７０に送信してもよい。
　抽出部１７０は、入力画像の背景領域から、色やテクスチャなどの画像特徴を抽出する。抽出部１７０は、例えば、生成部１２０による部分領域を生成する方法と同様の方法で、入力画像の背景領域において部分領域を生成してもよい。抽出部１７０は、入力画像において離れている複数の部分領域を、画像特徴の類似性に基づいて統合してもよい。言い換えると、抽出部１７０は、入力画像において離れている複数の部分領域の画像特徴が所定基準より近い場合、それらの複数の部分領域を、同じ種類の背景の部分領域として統合してもよい。抽出部１７０は、さらに、生成した部分領域の大きさを特定してもよい。抽出部１７０は、統合された部分領域の大きさを特定してもよい。抽出部１７０は、背景の種類毎に、背景領域において生成された部分領域から抽出された画像特徴を、背景の特徴である背景特徴として特徴記憶部１５０に格納してもよい。抽出部１７０は、背景の種類毎に、背景領域において生成された部分領域の大きさと、その部分領域において抽出された画像特徴とを、背景の特徴である背景特徴として特徴記憶部１５０に格納してもよい。言い換えると、抽出部１７０は、背景の種類毎に、画像特徴を含む背景特徴を、特徴記憶部１５０に格納してもよい。抽出部１７０は、背景の種類毎に、部分領域の大きさをさらに含む背景特徴を、特徴記憶部１５０に格納してもよい。
　本実施形態に係る特徴記憶部１５０は、上述の背景特徴を記憶する。背景特徴は、上述のように背景生成部１６０によって特徴記憶部１５０に格納されてもよい。背景特徴は、例えば検出システム１１のユーザ又は管理者によって、あらかじめ特徴記憶部１５０に格納されていてもよい。例えば、検出の対象である物体とは異なる、道路や森などの事物が背景として入力画像に撮影された場合、例えば、道路の領域及び森の領域が、背景領域の部分領域として特定されていればよい。そして、特徴記憶部１５０は、道路の領域における色やテクスチャなどの画像特徴を含む背景特徴を記憶していればよい。特徴記憶部１５０は、その道路の領域の大きさを示す情報をさらに含む背景特徴を記憶していてもよい。特徴記憶部１５０は、さらに、森の領域における色やテクスチャなどの画像特徴を含む背景特徴を記憶していればよい。特徴記憶部１５０は、その森の大きさを示す情報をさらに含む背景特徴を記憶していてもよい。
　本実施形態に係る決定部１３０は、特徴記憶部１５０に格納されている背景特徴に基づいて、入力画像から生成された部分領域が背景領域であるか否かを判定する。決定部１３０は、例えば、特徴記憶部１５０から、背景の種類毎に、背景特徴を読み出し、読み出した背景特徴が含む画像特徴と、入力画像の各部分領域の画像特徴とを比較してもよい。決定部１３０は、例えば、背景特徴が含む画像特徴と画像特徴が類似する部分領域を、背景領域と判定してもよい。以下の説明では、背景領域と判定されていない領域を、「前景領域」と表記する。部分領域が生成された時点において、生成された部分領域は全て前景領域である。
　決定部１３０は、背景と判定された部分領域以外の部分領域（すなわち、前景領域である部分領域）において、対象特徴に基づいてそれらの部分領域を統合する。決定部１３０は、統合された部分領域を、対象領域に決定する。詳細には、決定部１３０は、背景領域と判定された部分領域を、前景領域から除外する。決定部１３０は、前景領域から除外されなかった部分領域において、対象領域を決定する。例えば、決定部１３０は、前景領域から除外されなかった部分領域を１つ以上含む全ての組み合わせの各々を、候補領域に決定してもよい。決定部１３０は、対象特徴に基づいて、決定した候補領域から対象領域を選択することによって、対象領域を決定してもよい。本実施形態の決定部１３０が候補領域を決定する方法は、第１の実施形態の決定部１３０が候補領域を決定する方法と同様である。本実施形態の決定部１３０が対象領域を決定する方法は、第１の実施形態の決定部１３０が対象領域を決定する方法と同様である。
　［動作の説明］
　以上のように、本実施形態の決定部１３０は、背景特徴に基づいて、背景領域である部分領域を、対象領域の候補から除外する。そして、決定部１３０は、対象特徴に基づいて、除外されなかった部分領域から、対象領域を決定する。
　次に、本実施形態に係る検出装置１０１の動作について、図面を参照して詳細に説明する。
　図４は、本実施形態に係る検出装置１０１の動作の例を表すフローチャートである。
　図４に示す動作の開始時において、特徴記憶部１５０は、予め背景領域の特徴を記憶している。
　まず、受信部１１０が入力画像を受信する（ステップＳ１０１）。次に、生成部１２０が、受信した入力画像において部分領域を生成する（ステップＳ１０２）。図４に示すステップＳ１０１及びステップＳ１０２の動作は、図２に示す第１の実施形態におけるステップＳ１０１及びステップＳ１０２の動作と同じである。
　図１０は、入力画像の例を表す図である。ステップＳ１０１において、受信部１１０は、例えば、図１０に示す入力画像を受信する。図１０は、さらに、入力画像が分割された部分領域の例を示す。図１０に示す例では、生成部１２０によって、入力画像は、領域（ａ）から領域（ｌ）までの１２個の部分領域に分割されている。このうち、領域（ａ）から領域（ｃ）までの３つの領域は、背景領域である。３機の飛行機の領域は、それぞれ、３つの領域に分割されている。例えば、領域（ｄ）から領域（ｆ）までの３つの領域は、１機目の飛行機の領域である。領域（ｇ）から領域（ｉ）までの３つの領域は、２機目の飛行機の領域である。領域（ｊ）から領域（ｌ）までの３つの領域は、３機目の飛行機の領域である。図１０に示す例では、簡単のため、領域（ｄ）から領域（ｆ）までの３つの領域の境界線は、描かれていない。同様に、領域（ｇ）から領域（ｉ）までの３つの領域の境界線も、描かれていない。領域（ｊ）から領域（ｌ）までの３つの領域の境界線も、描かれていない。
　次に、決定部１３０は、生成された部分領域が背景と類似しているか否かを、特徴記憶部１５０に格納されている背景特徴に基づいて判定する（ステップＳ２０１）。決定部１３０は、例えば、背景特徴に含まれる画像特徴と、部分領域の各々の画像特徴とを比較すればよい。背景特徴に含まれる画像特徴と部分領域の画像特徴との間の差が所定の基準より小さい場合、決定部１３０は、背景特徴に含まれる画像特徴と部分領域の画像特徴とが類似する、すなわち、その部分領域が背景と類似すると判定すればよい。背景特徴に含まれる画像特徴と部分領域の画像特徴との間の差は、例えば適宜定義された距離によって表されればよい。
　背景特徴に含まれる画像特徴と部分領域の画像特徴とが類似する場合、決定部１３０は、背景特徴に含まれる画像特徴と類似する画像特徴を持つ部分領域を、背景領域と判定し、その部分領域を対象領域の候補から除外する。言い換えると、決定部１３０は、背景と類似する部分領域を、背景領域と認定し、その部分領域を対象領域の候補から除外する（ステップＳ２０２）。
　複数の種類の背景の背景特徴が特徴記憶部１５０に格納されている場合、決定部１３０は、まず、１番目の種類の背景の背景特徴を選択し、選択された背景特徴に含まれる画像特徴と類似する画像特徴を持つ部分領域を、対象領域の候補から除外する。決定部１３０は、残りの部分領域を、対象領域の候補のままとする。更に、決定部１３０は、２番目の種類の背景の背景特徴を選択し、選択した背景特徴に含まれる画像特徴と類似する画像特徴を持つ部分領域を、対象領域の候補から除外する。決定部１３０は、残りの部分領域を、同様に、対象領域の候補のままとする。決定部１３０は、背景の種類の選択と、背景に類似する部分領域の、対象領域の候補からの除外とを、選択されていない背景の種類がなくなるまで繰り返す。
　図１０に示す例では、領域（ａ）、（ｂ）、及び、（ｃ）が、背景領域と判定される。
　図１１Ａは、背景領域と判定された領域と前景領域である領域とを模式的に表す図である。図１１Ａに示す例では、飛行機の領域は、前景領域と判定されている。図１１Ａは、さらに、背景特徴と類似する部分領域として、領域（ａ）が選択されていることを示す。
　図１１Ｂは、前景領域の例を模式的に表す図である。選択された領域（ａ）が前景領域（すなわち、対象領域の候補）から除外された場合、図１１Ｂに示す、破線で描かれた矩形によって囲まれた黒い領域が、前景領域である。
　図１２Ａは、背景領域と判定された領域と前景領域である領域とを模式的に表す図である。図１２Ａに示す例でも、飛行機の領域は、前景領域と判定されている。図１２Ａは、さらに、背景特徴と類似する部分領域として、領域（ｂ）が選択されていることを示す。
　図１２Ｂは、前景領域の例を模式的に表す図である。選択された領域（ｂ）が前景領域（すなわち、対象領域の候補）から除外された場合、図１２Ｂに示す、破線で描かれた矩形によって囲まれた黒い領域が、前景領域である。図１２Ｂに示す例では、飛行機の領域が分離した前景領域として現れている。決定部１３０は、これらの分離した前景領域を、対象領域として検出してもよい。決定部１３０は、これらの分離した前景領域において、対象特徴に基づいて対象領域を決定してもよい。
　決定部１３０は、対象領域の候補として残った、すなわち、前景領域として残った部分領域を、第１の実施形態の検出装置１００の動作における図２に示すステップＳ１０３の動作と同様に、対象特徴に基づいて統合する（図４のステップＳ１０３）。決定部１３０は、第１の実施形態の検出装置１００の動作における図２に示すステップＳ１０４の動作と同様に、統合された部分領域を、対象領域に決定する（ステップＳ１０４）。送信部１４０は、第１の実施形態の検出装置１００の動作における図２に示すステップＳ１０５の動作と同様に、決定された対象領域の情報を出力する（ステップＳ１０５）。決定部１３０は、ステップＳ１０３において、対象特徴に基づいて、前景領域である部分領域を統合するのではなく、互いに接する、前景領域である部分領域を統合してもよい。
　［効果の説明］
　次に、本発明を実施するための形態の効果について説明する。
　本実施形態には、対象領域を検出する精度と速度とを向上させることができるという効果がある。その理由は、決定部１３０が、背景領域の特徴と類似する特徴を持つ部分領域を、対象領域の候補から除外するからである。すなわち、対象領域ではない背景領域を除外することができる。除外された背景領域において対象を検出する処理を行わないため、検出の精度が向上し、さらに、検出の速度も向上する。単純な背景上に複雑な対象領域が存在する場合、検出の速度を向上させることができるという効果がある。その理由は、部分領域を統合する前に単純な背景領域を除外した場合、対象領域が、分離した前景領域として残るからである。分離した前景領域をそのまま対象領域として検出することによって、対象領域を検出する速度を向上させることができる。
　［第３の実施の形態］
　［構成の説明］
　図１は、本発明の第３の実施形態の検出システム１０の構成の例を表すブロック図である。本実施形態の検出システム１０は、第１の実施形態の検出システム１０と同じ構成を備える。すなわち、本実施形態の検出システム１０は、検出装置１００と、入力装置２００と、出力装置３００とを含む。入力装置２００及び出力装置３００は、それぞれ、第１及び第２の実施形態に係る、入力装置２００及び出力装置３００と同じである。
　本実施形態の検出装置１００は、第１の実施形態の検出装置１００と同じ構成を備えていればよい。検出装置１００は、受信部１１０、生成部１２０、決定部１３０、送信部１４０、及び、特徴記憶部１５０を含む。
　本実施形態の検出装置１００は、以下で説明する相違を除いて、第１の実施形態の検出装置１００と同様に動作してもよい。その場合、本実施形態の受信部１１０、生成部１２０、決定部１３０、送信部１４０、及び、特徴記憶部１５０は、それぞれ、第１の実施形態の、同じ名称及び符号が付与された要素と同様に動作してもよい。
　本実施形態の特徴記憶部１５０は、複数の対象のいずれかの対象特徴として、他の対象（例えば、他の種類の対象）に基づく物体特徴を含んでいてもよい。具体的には、他の対象に基づく物体特徴は、他の種類の対象の対象領域に基づく物体特徴であってもよい。さらに具体的には、他の対象領域に基づく物体特徴は、例えば、他の種類の対象の対象領域に対する相対位置に応じた出現頻度であってもよい。以下の説明では、対象の対象特徴が基づく「他の対象」を、「関連対象」と表記する。また、対象の対象特徴が基づく他の対象領域（すなわち、前述の「他の種類の対象の対象領域」）を、その対象の「関連対象領域」と表記する。関連対象に基づく物体特徴を、「関連特徴」と表記する。
　さらに具体的には、特徴記憶部１５０は、少なくともいずれかの種類の対象の対象特徴として、関連対象の種類と、関連対象の対象領域に対する相対位置及びその相対位置における対象の出現頻度とを含む物体特徴を記憶していてもよい。関連対象の対象領域に対する相対位置は、例えば、関連対象の対象領域に定められた点に対する相対位置である。相対位置は、例えば、ベクトルによって表されていてもよい。その場合、物体特徴が含むその出現頻度は、関連対象の対象領域に定められた点から、そのベクトルによって表される移動を行った位置の点における対象の出現頻度を表す。相対位置は、例えば、ベクトルと範囲とによって表されていてもよい。範囲は、所定の図形の大きさを表すパラメータであってもよい。範囲は、例えば、矩形の縦方向の大きさと横方向の大きさによって表されていてもよい。ベクトルは、関連対象の対象領域に定められた点から、範囲を表す図形に固定された点（例えば、重心又は頂点等）へのベクトルであってもよい。この場合、物体特徴が含むその出現頻度は、関連対象の対象領域に定められた点から、そのベクトルによって表される移動を行った位置の点を基準とする範囲が表す領域内における、対象の出現頻度を表す。
　例えば、カバンなどの携行品等の出現頻度は、人物の領域の周辺において高い傾向がある。さらに、携行品等の出現頻度は、携行品等の種類と、人物の領域に対する相対位置とによって、出現頻度が異なりうる。例えばカバンの出現頻度は、人物の領域のうち、足首から肩までの領域の近くにおいて高いが、頭部付近においては低い傾向がある。例えば帽子の出現頻度は、人物の領域のうち、頭部付近においては高いが、足元付近においては低い傾向がある。このような対象領域の出現頻度は、関連対象の種類と、関連対象の対象領域に対する相対位置及びその相対位置における対象の出現頻度とを物体特徴として含む対象特徴によって表すことができる。
　本実施形態の決定部１３０は、対象領域を決定する場合、例えば対象特徴に基づいて、対象の種類を特定する。この場合、対象特徴は、色及びテクスチャなどの画像特徴を含んでいてもよい。対象特徴は、大きさ及び形状などの物体特徴を含んでいてもよい。
決定部１３０は、決定した対象領域から対象特徴を抽出してもよい。決定部１３０は、決定した対象領域から抽出される対象特徴と、特徴記憶部１５０に格納されている、対象の種類の各々の対象特徴とを比較してもよい。決定部１３０は、対象領域から抽出した対象特徴と類似する対象特徴を持つ対象の種類を特定してもよい。言い換えると、決定部１３０は、対象領域から抽出した対象特徴と、特徴記憶部１５０に格納されている対象特徴との差を算出する。決定部１３０は、算出した差の大きさが最も小さい対象の種類を、対象領域から抽出した対象特徴と類似する対象特徴を持つ対象の種類に決定してもよい。決定部１３０は、いずれの種類の対象についても、算出した差の大きさが所定の基準を満たさない場合、対象領域から抽出した対象特徴と類似する対象特徴を持つ対象の種類を特定しなくてもよい。
　対象の対象特徴に関連対象に基づく関連特徴が含まれており、さらに、その関連対象が入力画像において特定されている場合、決定部１３０は、その対象の対象領域を、その対象の対象特徴が含む関連特徴に基づいて決定する。具体的には、例えば、第１の対象の対象特徴として、第２の対象の対象領域に対する相対位置に応じた出現頻度の分布が含まれている場合、決定部１３０は、第２の対象の対象領域の位置に基づいて、第１の対象の出現頻度の分布を決定する。第１の対象がカバンであり、第２の対象が人物である場合、決定部１３０は、人物の領域の位置に基づいて、カバンの出現頻度の分布を決定する。決定部１３０は、第１の対象の対象領域を、他の対象特徴に加えて、決定した出現頻度の分布に基づいて決定すればよい。
　対象の対象特徴に、関連対象に基づく関連特徴が含まれていても、その関連対象が入力画像において特定されていない場合、決定部１３０は、その対象の対象領域を、その対象の対象特徴が含む関連特徴に基づかずに決定してよい。
　決定部１３０は、まず、対象特徴が関連特徴を含まない対象の対象領域を決定してもよい。決定部１３０は、次に、対象特徴が関連対象に基づく関連特徴が含み、その関連対象が入力画像において特定されている対象の対象領域を決定してもよい。決定部１３０は、さらに、他の対象の関連対象である対象の対象領域を決定してもよい。決定部１３０は、最後に、残った対象の対象領域を決定してもよい。
　本実施形態の検出装置１００は、以上で説明した相違を除いて、第２の実施形態の検出装置１０１と同様に動作してもよい。その場合、本実施形態の検出システム１０は、第２の実施形態の検出システム１１と同じ構成を備えていればよい。また、本実施形態の検出装置１００は、第２の実施形態の検出装置１０１と同じ構成を備えていればよい。すなわち、検出システム１０は、さらに、端末装置４００を含んでいてもよい。端末装置４００は、第２の実施形態に係る端末装置４００と同じである。検出装置１００は、さらに、背景生成部１６０及び抽出部１７０を含んでいてもよい。本実施形態の受信部１１０、生成部１２０、決定部１３０、送信部１４０、特徴記憶部１５０、背景生成部１６０、及び、抽出部１７０は、それぞれ、第２の実施形態の、同じ名称及び符号が付与された要素と同様に動作してもよい。
　［動作の説明］
　次に、本実施形態の検出装置１００の動作について、図面を参照して詳細に説明する。
　図１３は、本実施形態の検出装置１００の動作の例を表すフローチャートである。
　検出装置１００は、ステップＳ１０１及びステップＳ１０２において、第１の実施形態の検出装置１００のステップＳ１０１及びステップＳ１０２の動作と同じ動作を行う。
　次に、決定部１３０は、特徴記憶部１５０に対象特徴が格納されている対象の種類を１つ選択する（ステップＳ３０１）。決定部１３０は、例えば、対象特徴が関連特徴を含まない対象の種類を選択してもよい。対象特徴が関連特徴を含まない対象の種類が存在しない場合、決定部１３０は、例えば、対象特徴に含まれる関連特徴の関連対象が既に選択されている対象（すなわち、関連対象の対象領域が決定されている対象）の種類を選択してもよい。決定部１３０は、例えば、他の種類の対象の関連対象である対象の種類を選択してもよい。決定部１３０は、他の方法に従って、対象の種類を選択してもよい。
　選択した種類の対象の、関連対象領域が決定されていない場合（ステップＳ３０２においてＮＯ）、決定部１３０は、関連特徴以外の対象特徴に基づいて、部分領域を統合する（ステップＳ１０３）。そして、決定部１３０は、対象領域を決定する（ステップＳ１０４）。例えば、選択した種類の対象の関連対象の対象領域が入力画像に存在しない場合、選択した種類の対象の関連対象領域は決定されない。選択した種類の対象の対象特徴が関連特徴を含まない場合も、選択した種類の対象の関連対象領域は決定されない。
　選択した種類の対象の、少なくとも１つの関連対象領域が決定されている場合（ステップＳ３０２においてＹＥＳ）、決定部１３０は、関連対象を含む対象特徴に基づいて、部分領域を統合する（ステップＳ３０３）。そして、決定部１３０は、対象領域を決定する（ステップＳ１０４）。対象特徴が、関連対象領域が決定されていない関連対象の関連特徴を含む場合、決定部１３０は、その関連特徴以外の対象特徴に基づいて、部分領域を統合すればよい。
　いずれかの対象の種類が選択されていない場合（ステップＳ３０４においてＮＯ）、検出装置１００は、ステップＳ３０１以降の動作を繰り返す。対象の種類が全て選択された場合（ステップＳ３０４においてＹＥＳ）、送信部１４０は、決定した対象領域の情報を出力する（ステップＳ１０５）。
　検出装置１００は、ステップＳ１０１及びステップＳ１０２の動作の後に、図４に示す、ステップＳ２０１及びステップＳ２０２の動作を行ってもよい。その場合、検出装置１００は、ステップＳ１０１、ステップＳ１０２、ステップＳ２０１、及び、ステップＳ２０２のそれぞれにおいて、第２の実施形態の検出装置１０１の、同じ符号が付与されたステップの動作と同じ動作を行う。この場合、検出装置１００は、さらに、ステップＳ１０３及びステップＳ１０４においても、第２の実施形態の検出装置１０１の、同じ符号が付与されたステップの動作と同じ動作を行う。
　［効果の説明］
　本実施形態には、対象領域を検出する精度をさらに向上させることができるという効果がある。その理由は、決定部１３０が、関連特徴に基づく関連特徴を含む対象特徴に基づいて、対象の対象領域を特定するからである。例えば、決定部１３０は、出現頻度の分布が他の対象領域の位置に基づく対象の対象領域を、その出現頻度の分布に基づいて決定する。
　［第４の実施の形態］
　［構成の説明］
　次に、本発明の第４の実施形態について、図面を参照して詳細に説明する。本実施形態は、上述の第１～第３の実施形態の主要部分に相当する。
　図１４は、本実施形態の検出装置１０２の構成の例を示すブロック図である。
　本実施形態に係る検出装置１０２は、生成部１２０と、決定部１３０と、を備える。生成部１２０は、画像の画素に関連する特徴である画像特徴の類似性に基づいて、画像（すなわち、上述の入力画像）において部分領域を生成する。上述のように、画像特徴は、例えば、色及びテクスチャなどである。決定部１３０は、画像に現れる対象の特徴である対象特徴に基づいて、部分領域から前記対象の領域である対象領域を決定する。決定部１３０は、例えば、対象特徴に基づいて部分領域を統合し、統合した部分領域から、対象特徴に基づいて対象領域を決定すればよい。前述のように、対象特徴は、色及びテクスチャなどの画像特徴に加えて、画像における対象領域の大きさ、及び、画像内の場所に応じた、対象領域の出現頻度などの、前述の物体特徴を含む。
　［動作の説明］
　次に、本実施形態の検出装置１０２の動作について、図面を参照して詳細に説明する。
　図１５は、本実施形態の検出装置１０２の動作の例を表すフローチャートである。
　図１５を参照すると、まず、生成部１２０が、画像特徴の類似性に基づいて、入力画像において部分画像を生成する（ステップＳ４０１）。次に、決定部１３０が、対象特徴に基づいて、対象領域を決定する（ステップＳ４０２）。
　［効果の説明］
　本実施形態には、対象の領域を検出する精度を向上させることができるという効果がある。その理由は、決定部１３０が、例えば大きさや出現頻度などの対象特徴に基づいて、対象の領域を決定するからである。そのため、色やテクスチャなどの画像特徴に基づいて対象の領域を決定する場合と比べて、対象の領域を検出する精度を向上させることができる。
　［その他の実施の形態］
　検出装置１００、検出装置１０１、及び、検出装置１０２は、記憶媒体から読み出されたプログラムがロードされたメモリと、そのプログラムを実行するプロセッサとを含むコンピュータによって実現することができる。検出装置１００、検出装置１０１、及び、検出装置１０２は、専用のハードウェアによって実現することもできる。検出装置１００、検出装置１０１、及び、検出装置１０２は、前述のコンピュータと専用のハードウェアとの組み合わせによって実現することもできる。
　言い換えると、上述の各実施形態に係る検出装置は、回路構成（ｃｉｒｃｕｉｔｒｙ）などのハードウェアによって実現することができる。回路構成は、例えば、コンピュータに含まれるプロセッサとメモリであってもよい。その場合、プログラムが、メモリにロードされていればよい。そのプログラムは、プロセッサが実行することが可能であり、コンピュータを上述の各実施形態の検出装置として動作させればよい。回路構成は、例えば、通信可能に接続された複数のコンピュータであってもよい。回路構成は、例えば、回路（ｃｉｒｃｕｉｔ）であってもよい。回路構成は、例えば、通信可能に接続された複数の回路であってもよい。回路構成は、通信可能に接続された、１台以上のコンピュータと、１個以上の回路との組み合わせであってもよい。
　図１６は、本発明の実施形態に係る各検出装置を実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。図１６を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記憶媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記憶媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、可搬記憶媒体である。記憶装置１００３が記憶媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、例えば、入力装置２００、出力装置３００、及び、端末装置４００と通信することができる。プロセッサ１００１は、記憶媒体１００５にアクセスすることができる。記憶媒体１００５には、コンピュータ１０００を、検出装置１００、検出装置１０１、又は、検出装置１０２として動作させるプログラムが格納されている。
　プロセッサ１００１は、記憶媒体１００５に格納されている、コンピュータ１０００を、検出装置１００、検出装置１０１、又は、検出装置１０２として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、検出装置１００、検出装置１０１、又は、検出装置１０２として動作する。
　受信部１１０、生成部１２０、決定部１３０、送信部１４０、背景生成部１６０及び抽出部１７０の機能は、コンピュータ１０００をこれらの部として機能させるプログラムとして実装されてもよい。そのプログラムは、記憶媒体１００５に格納されてもよい。受信部１１０、生成部１２０、決定部１３０、送信部１４０、背景生成部１６０及び抽出部１７０は、そのプログラムがロードされたメモリ１００２と、そのプログラムを実行するプロセッサ１００１とを含むコンピュータ１０００により実現することができる。また、特徴記憶部１５０は、コンピュータ１０００が含むメモリ１００２やハードディスク装置等の記憶装置１００３により実現することができる。あるいは、受信部１１０、生成部１２０、決定部１３０、送信部１４０、特徴記憶部１５０、背景生成部１６０、及び、抽出部１７０の一部又は全部を、それらの部の機能を実現する専用の回路によって実現することもできる。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　画像の画素に関連する特徴である画像特徴の類似性に基づいて、前記画像において部分領域を生成する生成手段と、
　前記画像に現れる対象の特徴である対象特徴に基づいて、前記部分領域から前記対象の領域である対象領域を決定する決定手段と、
　を備える検出装置。
　（付記２）
　前記対象特徴は、前記画像内の位置に応じた前記対象領域のサイズを含み、
　前記決定手段は、前記部分領域の前記画像内の位置に応じた前記対象領域の前記サイズに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
　付記１に記載の検出装置。
　（付記３）
　前記決定手段は、前記画像における位置に応じた当該画像の背景の特徴に基づいて、前記部分領域が前記背景と類似しているか否かを判定し、前記背景に類似していると判定された前記部分領域以外の前記部分領域から、前記対象領域を決定する
　付記１又は２に記載の検出装置。
　（付記４）
　前記対象特徴は、前記画像における他の対象の領域の位置に応じた前記対象の第１の出現頻度を含み、
　前記決定手段は、前記他の対象の領域の位置の情報と前記第１の出現頻度とに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
　付記１乃至３のいずれか１項に記載の検出装置。
　（付記５）
　前記対象特徴は、前記画像内の位置に応じた前記対象の第２の出現頻度を含み、
　前記決定手段は、前記部分領域の前記画像内の位置に応じた前記対象の前記第２の出現頻度に基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
　付記１乃至４のいずれか１項に記載の検出装置。
　（付記６）
　付記１乃至５のいずれか１項に記載の検出装置と、
　前記画像を出力する入力装置と、
　受信した対象領域を示す情報を表示する出力装置と、を含み、
　前記検出装置は、
　前記画像を受信する受信手段と、
　決定した前記対象領域の情報を前記出力装置に送信する送信手段と、
　を備える
　検出システム。
　（付記７）
　画像の画素に関連する特徴である画像特徴の類似性に基づいて、前記画像において部分領域を生成し、
　前記画像に現れる対象の特徴である対象特徴に基づいて、前記部分領域から前記対象の領域である対象領域を決定する、
　検出方法。
　（付記８）
　前記対象特徴は、前記画像内の位置に応じた前記対象領域のサイズを含み、
　前記部分領域の前記画像内の位置に応じた前記対象領域の前記サイズに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
　付記７に記載の検出方法。
　（付記９）
　前記画像における位置に応じた当該画像の背景の特徴に基づいて、前記部分領域が前記背景と類似しているか否かを判定し、前記背景に類似していると判定された前記部分領域以外の前記部分領域から、前記対象領域を決定する
　付記７又は８に記載の検出方法。
　（付記１０）
　前記対象特徴は、前記画像における他の対象の領域の位置に応じた前記対象の第１の出現頻度を含み、
　前記他の対象の領域の位置の情報と前記第１の出現頻度とに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
　付記７乃至９のいずれか１項に記載の検出方法。
　（付記１１）
　前記画像内の位置に応じた前記対象の第２の出現頻度を含み、
　前記部分領域の前記画像内の位置に応じた前記対象の前記第２の出現頻度に基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
　付記７乃至１０のいずれか１項に記載の検出方法。
　（付記１２）
　コンピュータに、
　画像の画素に関連する特徴である画像特徴の類似性に基づいて、前記画像において部分領域を生成する生成処理と、
　前記画像に現れる対象の特徴である対象特徴に基づいて、前記部分領域から前記対象の領域である対象領域を決定する決定処理と、
　を実行させるプログラムを記憶する記憶媒体。
　（付記１３）
　前記対象特徴は、前記画像内の位置に応じた前記対象領域のサイズを含み、
　前記決定処理は、前記部分領域の前記画像内の位置に応じた前記対象領域の前記サイズに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
　付記１２に記載の記憶媒体。
　（付記１４）
　前記決定処理は、前記画像における位置に応じた当該画像の背景の特徴に基づいて、前記部分領域が前記背景と類似しているか否かを判定し、前記背景に類似していると判定された前記部分領域以外の前記部分領域から、前記対象領域を決定する
　付記１２又は１３に記載の記憶媒体。
　（付記１５）
　前記対象特徴は、前記画像における他の対象の領域の位置に応じた前記対象の第１の出現頻度を含み、
　前記決定処理は、前記他の対象の領域の位置の情報と前記第１の出現頻度とに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
　付記１２乃至１４のいずれか１項に記載の記憶媒体。
　（付記１６）
　前記対象特徴は、前記画像内の位置に応じた前記対象の第２の出現頻度を含み、
　前記決定処理は、前記部分領域の前記画像内の位置に応じた前記対象の前記第２の出現頻度に基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
　付記１２乃至１５のいずれか１項に記載の記憶媒体。
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１６年８月３日に出願された日本出願特願２０１６－１５２６２４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、例えば、画像を処理する機能を備えたコンピュータ装置、携帯電話、スマートフォン、及び、デジタルスチールカメラ等に適用することができる。
　１０　　検出システム
　１１　　検出システム
　１００　　検出装置
　１０１　　検出装置
　１０２　　検出装置
　１１０　　受信部
　１２０　　生成部
　１３０　　決定部
　１４０　　送信部
　１５０　　特徴記憶部
　１６０　　背景生成部
　１７０　　抽出部
　２００　　入力装置
　３００　　出力装置
　４００　　端末装置
　１０００　　コンピュータ
　１００１　　プロセッサ
　１００２　　メモリ
　１００３　　記憶装置
　１００４　　Ｉ／Ｏインタフェース
　１００５　　記憶媒体

Claims (16)

  1. 　画像の画素に関連する特徴である画像特徴の類似性に基づいて、前記画像において部分領域を生成する生成手段と、
    　前記画像に現れる対象の特徴である対象特徴に基づいて、前記部分領域から前記対象の領域である対象領域を決定する決定手段と、
    　を備える検出装置。
  2. 　前記対象特徴は、前記画像内の位置に応じた前記対象領域のサイズを含み、
    　前記決定手段は、前記部分領域の前記画像内の位置に応じた前記対象領域の前記サイズに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
    　請求項１に記載の検出装置。
  3. 　前記決定手段は、前記画像における位置に応じた当該画像の背景の特徴に基づいて、前記部分領域が前記背景と類似しているか否かを判定し、前記背景に類似していると判定された前記部分領域以外の前記部分領域から、前記対象領域を決定する
    　請求項１又は２に記載の検出装置。
  4. 　前記対象特徴は、前記画像における他の対象の領域の位置に応じた前記対象の第１の出現頻度を含み、
    　前記決定手段は、前記他の対象の領域の位置の情報と前記第１の出現頻度とに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
    　請求項１乃至３のいずれか１項に記載の検出装置。
  5. 　前記対象特徴は、前記画像内の位置に応じた前記対象の第２の出現頻度を含み、
    　前記決定手段は、前記部分領域の前記画像内の位置に応じた前記対象の前記第２の出現頻度に基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
    　請求項１乃至４のいずれか１項に記載の検出装置。
  6. 　請求項１乃至５のいずれか１項に記載の検出装置と、
    　前記画像を出力する入力装置と、
    　受信した対象領域を示す情報を表示する出力装置と、を含み、
    　前記検出装置は、
    　前記画像を受信する受信手段と、
    　決定した前記対象領域の情報を前記出力装置に送信する送信手段と、
    　を備える
    　検出システム。
  7. 　画像の画素に関連する特徴である画像特徴の類似性に基づいて、前記画像において部分領域を生成し、
    　前記画像に現れる対象の特徴である対象特徴に基づいて、前記部分領域から前記対象の領域である対象領域を決定する、
    　検出方法。
  8. 　前記対象特徴は、前記画像内の位置に応じた前記対象領域のサイズを含み、
    　前記部分領域の前記画像内の位置に応じた前記対象領域の前記サイズに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
    　請求項７に記載の検出方法。
  9. 　前記画像における位置に応じた当該画像の背景の特徴に基づいて、前記部分領域が前記背景と類似しているか否かを判定し、前記背景に類似していると判定された前記部分領域以外の前記部分領域から、前記対象領域を決定する
    　請求項７又は８に記載の検出方法。
  10. 　前記対象特徴は、前記画像における他の対象の領域の位置に応じた前記対象の第１の出現頻度を含み、
    　前記他の対象の領域の位置の情報と前記第１の出現頻度とに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
    　請求項７乃至９のいずれか１項に記載の検出方法。
  11. 　前記画像内の位置に応じた前記対象の第２の出現頻度を含み、
    　前記部分領域の前記画像内の位置に応じた前記対象の前記第２の出現頻度に基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
    　請求項７乃至１０のいずれか１項に記載の検出方法。
  12. 　コンピュータに、
    　画像の画素に関連する特徴である画像特徴の類似性に基づいて、前記画像において部分領域を生成する生成処理と、
    　前記画像に現れる対象の特徴である対象特徴に基づいて、前記部分領域から前記対象の領域である対象領域を決定する決定処理と、
    　を実行させるプログラムを記憶する記憶媒体。
  13. 　前記対象特徴は、前記画像内の位置に応じた前記対象領域のサイズを含み、
    　前記決定処理は、前記部分領域の前記画像内の位置に応じた前記対象領域の前記サイズに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
    　請求項１２に記載の記憶媒体。
  14. 　前記決定処理は、前記画像における位置に応じた当該画像の背景の特徴に基づいて、前記部分領域が前記背景と類似しているか否かを判定し、前記背景に類似していると判定された前記部分領域以外の前記部分領域から、前記対象領域を決定する
    　請求項１２又は１３に記載の記憶媒体。
  15. 　前記対象特徴は、前記画像における他の対象の領域の位置に応じた前記対象の第１の出現頻度を含み、
    　前記決定処理は、前記他の対象の領域の位置の情報と前記第１の出現頻度とに基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
    　請求項１２乃至１４のいずれか１項に記載の記憶媒体。
  16. 　前記対象特徴は、前記画像内の位置に応じた前記対象の第２の出現頻度を含み、
    　前記決定処理は、前記部分領域の前記画像内の位置に応じた前記対象の前記第２の出現頻度に基づいて、前記画像特徴が類似する１つ以上の前記部分領域を前記対象領域に決定する
    　請求項１２乃至１５のいずれか１項に記載の記憶媒体。
PCT/JP2017/027850 2016-08-03 2017-08-01 検出装置、検出方法及びプログラムを記憶する記憶媒体 WO2018025845A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-152624 2016-08-03
JP2016152624 2016-08-03

Publications (1)

Publication Number Publication Date
WO2018025845A1 true WO2018025845A1 (ja) 2018-02-08

Family

ID=61072879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027850 WO2018025845A1 (ja) 2016-08-03 2017-08-01 検出装置、検出方法及びプログラムを記憶する記憶媒体

Country Status (1)

Country Link
WO (1) WO2018025845A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078939A (ja) * 2002-07-30 2004-03-11 Fuji Photo Film Co Ltd オブジェクト識別方法および装置ならびにプログラム
WO2013031096A1 (ja) * 2011-08-29 2013-03-07 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、集積回路
JP2013077296A (ja) * 2011-09-14 2013-04-25 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
JP2014123341A (ja) * 2012-11-26 2014-07-03 Ricoh Co Ltd 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP2015133634A (ja) * 2014-01-14 2015-07-23 日本放送協会 画像選択装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078939A (ja) * 2002-07-30 2004-03-11 Fuji Photo Film Co Ltd オブジェクト識別方法および装置ならびにプログラム
WO2013031096A1 (ja) * 2011-08-29 2013-03-07 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、集積回路
JP2013077296A (ja) * 2011-09-14 2013-04-25 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
JP2014123341A (ja) * 2012-11-26 2014-07-03 Ricoh Co Ltd 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP2015133634A (ja) * 2014-01-14 2015-07-23 日本放送協会 画像選択装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MASAYUKI MUKUNOKI ET AL.: "A Retrieval Method of Outdoor Scenes Using Object Sketch and an Automatic Index Generation Method", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. J79-D-II, no. 6, 25 June 1996 (1996-06-25), pages 1025 - 1033 *

Similar Documents

Publication Publication Date Title
US10082879B2 (en) Head mounted display device and control method
US9412034B1 (en) Occlusion handling for computer vision
US8989448B2 (en) Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
US9626766B2 (en) Depth sensing using an RGB camera
US9672628B2 (en) Method for partitioning area, and inspection device
US8699749B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
JP5381569B2 (ja) ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
AU2016225841B2 (en) Predicting accuracy of object recognition in a stitched image
JP7159384B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20120219228A1 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
EP3376470B1 (en) Moving body tracking method, moving body tracking device, and program
EP3073443A1 (en) 3D Saliency map
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
JP6611255B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
US11106949B2 (en) Action classification based on manipulated object movement
KR101517538B1 (ko) 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체
US9709874B2 (en) Device and method for image processing used for tracking pursued subject
WO2018025845A1 (ja) 検出装置、検出方法及びプログラムを記憶する記憶媒体
US20160098843A1 (en) Image processing apparatus and method of controlling the same
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
CN113095257A (zh) 异常行为检测方法、装置、设备及存储介质
US8249152B2 (en) Video image segmentation
KR101465940B1 (ko) 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법
KR101465933B1 (ko) 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17836949

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17836949

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP