WO2021124417A1 - 前景抽出装置、前景抽出方法、及び、記録媒体 - Google Patents

前景抽出装置、前景抽出方法、及び、記録媒体 Download PDF

Info

Publication number
WO2021124417A1
WO2021124417A1 PCT/JP2019/049236 JP2019049236W WO2021124417A1 WO 2021124417 A1 WO2021124417 A1 WO 2021124417A1 JP 2019049236 W JP2019049236 W JP 2019049236W WO 2021124417 A1 WO2021124417 A1 WO 2021124417A1
Authority
WO
WIPO (PCT)
Prior art keywords
foreground
foreground extraction
model
input image
extraction
Prior art date
Application number
PCT/JP2019/049236
Other languages
English (en)
French (fr)
Inventor
佐藤　秀昭
恭太 比嘉
康敬 馬場崎
博義 宮野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021565178A priority Critical patent/JP7347539B2/ja
Priority to US17/783,715 priority patent/US20230010199A1/en
Priority to PCT/JP2019/049236 priority patent/WO2021124417A1/ja
Publication of WO2021124417A1 publication Critical patent/WO2021124417A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a technique for extracting an object contained in an image.
  • drones have been used for various purposes.
  • air traffic control of drones will be required.
  • drone air traffic control operations detect small moving objects based on captured images, identify uncontrollable objects such as birds and unmanaged drones, and instantly control managed drones. It is necessary to automatically avoid collisions.
  • Patent Document 1 describes a method of determining whether or not a flying object is a bird by extracting a flying object based on a photographed image and comparing it with a flight pattern prepared in advance.
  • Patent Document 1 identifies a flying object based on the flight pattern of the flying object. Therefore, if the detection of the flying object fails and the movement locus cannot be obtained, the flying object cannot be identified.
  • One object of the present invention is to accurately extract moving objects included in an image.
  • the foreground extraction device For the input image, the extraction result generation unit that generates the foreground extraction result by extracting the foreground using multiple foreground extraction models, A selection unit that selects one or more foreground extraction models from the plurality of foreground extraction models using the foreground extraction results of each foreground extraction model. It includes a foreground area generation unit that extracts a foreground area from the input image using the selected foreground extraction model.
  • the foreground extraction method Foreground extraction is performed on the input image using multiple foreground extraction models to generate the foreground extraction result.
  • one or more foreground extraction models are selected from the plurality of foreground extraction models.
  • the foreground region is extracted from the input image using the selected foreground extraction model.
  • the recording medium is Foreground extraction is performed on the input image using multiple foreground extraction models to generate the foreground extraction result. Using the foreground extraction results of each foreground extraction model, one or more foreground extraction models are selected from the plurality of foreground extraction models. Using the selected foreground extraction model, a program that causes a computer to execute a process of extracting a foreground region from the input image is recorded.
  • moving objects included in an image can be accurately extracted.
  • the hardware configuration of the foreground extraction device according to the embodiment is shown.
  • the functional configuration of the foreground extraction device according to the first embodiment of the first embodiment is shown. It is a figure explaining the method of generating a tracker. It is a figure explaining the generation method of time series information. An example of time series information is shown. It is a flowchart of the foreground extraction processing by the foreground extraction apparatus.
  • a method of generating a tracker using a multi-frame image is shown.
  • a method of generating a tracker using a multi-frame image is shown.
  • the functional configuration of the foreground extraction device according to the second embodiment of the first embodiment is shown. It is a figure explaining the method of object identification by an object identification part.
  • the functional configuration of the foreground extraction device according to the first embodiment of the second embodiment is shown.
  • the extraction method of the feature vector in the 1st Example of the 2nd Embodiment is shown.
  • the learning method in the selection model learning unit is schematically shown.
  • An example of selecting a foreground extraction model is shown.
  • the learning method of the selection model according to the 2nd Example of the 2nd Embodiment is schematically shown.
  • a method of learning a selection model according to a modified example of the second embodiment of the second embodiment is schematically shown.
  • the functional configuration of the foreground extraction device according to the third embodiment is shown.
  • the background subtraction method is used to extract a small moving object in flight (hereinafter referred to as a "small moving object") or its region from an image of the sky.
  • the moving object included in the image is also called "foreground”.
  • the background subtraction method is a method of detecting a moving object based on the difference of continuous frame images, and various background subtraction methods are known.
  • these background subtraction methods have different strengths, and it is difficult to continuously extract the foreground with high accuracy using only one background subtraction method.
  • a plurality of foreground extraction methods are prepared, and one or a plurality of foreground extraction methods suitable for each situation are selected to perform foreground extraction. Specifically, the result of applying a plurality of foreground extraction methods to consecutive frame images is evaluated, an appropriate foreground extraction method is selected, and the foreground is extracted using the selected foreground extraction method.
  • FIG. 1 is a block diagram showing a hardware configuration of the foreground extraction device according to the first embodiment.
  • the foreground extraction device 100 includes an input IF (InterFace) 12, a processor 13, a memory 14, a recording medium 15, and a database (DB) 16.
  • IF InterFace
  • DB database
  • the input IF 12 acquires an input image to be processed by the foreground extraction device 100.
  • an image of a moving object flying in the sky is input through an input IF 12 by a camera installed on the ground.
  • the processor 13 is a computer such as a CPU (Central Processing Unit), and controls the entire foreground extraction device 100 by executing a program prepared in advance. Specifically, the processor 13 executes the foreground extraction process described later.
  • CPU Central Processing Unit
  • the memory 14 is composed of a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the memory 14 stores various programs executed by the processor 13.
  • the memory 14 is also used as a working memory during execution of various processes by the processor 13.
  • the recording medium 15 is a non-volatile, non-temporary recording medium such as a disk-shaped recording medium or a semiconductor memory, and is configured to be removable from the foreground extraction device 100.
  • the recording medium 15 records various programs executed by the processor 13. When the foreground extraction device 100 executes various processes, the program recorded on the recording medium 15 is loaded into the memory 14 and executed by the processor 13.
  • the database 16 stores data input from an external device including the input IF 12. Specifically, the input image to be processed by the foreground extraction device 100 is stored.
  • the foreground extraction device 100 may include input devices such as a keyboard and a mouse for the user to give instructions and inputs, and a display unit.
  • FIG. 2 is a block diagram showing a functional configuration of the foreground extraction device 100 according to the first embodiment of the first embodiment.
  • the foreground extraction device 100 selects the time-series feature generation unit 21, the foreground extraction model selection unit 22, the foreground area generation unit 23, the time-series information storage unit 24, and the classification model storage unit 25.
  • a model storage unit 26 and a foreground extraction model storage unit 27 are provided.
  • time series feature generation unit 21 An input image composed of a plurality of frame images is input to the time series feature generation unit 21.
  • the time-series feature generation unit 21 generates time-series features from the input image and supplies them to the foreground extraction model selection unit 22.
  • a "time-series feature” is a feature in a continuous frame image and is generated by using a tracker included in the continuous frame.
  • FIG. 3 is a diagram illustrating a method of generating a tracker.
  • the time-series feature generation unit 21 acquires and uses three foreground extraction models M1 to M3 from the foreground extraction model storage unit 27.
  • the time-series feature generation unit 21 applies the foreground extraction models M1 to M3 to the illustrated input image 61 to obtain foreground extraction results 62 to 64.
  • the time-series feature generation unit 21 votes for the foreground extraction results 62 to 64, and determines that the object included in the majority of the foreground extraction results is the tracker.
  • the object (triangle) 65 and the object (circle) 66 included in the majority of the foreground extraction results 62 to 64 are extracted as trackers, respectively.
  • Time series feature generation unit 21 When the tracker is generated, the time series feature generation unit 21 generates time series information using the tracker. Time series information is information used to extract time series features.
  • FIG. 4 is a diagram illustrating a method of generating time series information. Now, it is assumed that there are continuous N-1 frames and N frames, and trackers 65 and 66 are extracted from the N-1 frames as described above.
  • the time-series feature generation unit 21 applies the foreground extraction models M1 to M3 to the input image of the N frame to generate the foreground extraction results 67 to 69.
  • the foreground extraction result 67 includes one triangular foreground 67a and one circular foreground 67b.
  • the foreground extraction result 68 includes one triangular foreground, one circular foreground, and three quadrangular foregrounds.
  • the foreground extraction result 69 includes one triangular foreground and one quadrangular foreground.
  • the time-series feature generation unit 21 creates a pair of each tracker of the N-1 frame and the foreground extracted from the N-frame by each foreground extraction model, and generates the correspondence relationship as time-series information. To do.
  • FIG. 5 shows an example of time series information.
  • the time-series information includes a "frame number”, a “tracker number”, and a "coordinate value” for the frame immediately before the frame from which the foreground extraction has been performed.
  • the time series information includes the numbers of the two trackers 65 and 66 and their coordinates for the N-1 frame.
  • the number of the tracker 65 is set to "1”
  • the number of the tracker 66 is set to "2”.
  • the time-series information includes a "frame number”, a "foreground extraction model", a "foreground label”, and a "coordinate value" for the frame for which the foreground extraction has been performed.
  • FIG. 5 shows an example of time series information.
  • the time-series information is the frame number, one of the foreground extraction models M1 to M3, and the foreground label that identifies each foreground included in the foreground extraction results 67 to 69 for the N frame from which the foreground extraction was performed.
  • the coordinate values of the foreground As shown in FIG. 5, the coordinate values are indicated by the coordinates of the upper left and lower right points of the tracker or the rectangle surrounding the foreground.
  • the time-series feature generation unit 21 generates time-series features using the time-series information.
  • the time-series feature generation unit 21 calculates the distance between the tracker 65 generated in the N-1 frame and each of the foregrounds included in the foreground extraction results 67 to 69. Specifically, the time-series feature generation unit 21 determines the distance between the tracker 65 and the foreground 67a based on the coordinates of the tracker 65 in the N-1 frame and the coordinates of the triangular foreground 67a in the foreground extraction result 67 of the N frame. Is calculated.
  • the time-series feature generation unit 21 calculates the distance between the tracker 65 and each of the foregrounds included in the foreground extraction results 67 to 69. Further, the time-series feature generation unit 21 also calculates the distance to each of the foregrounds included in the foreground extraction results 67 to 69 for the other trackers generated in the N-1 frame. In the example of FIG. 4, the time-series feature generation unit 21 calculates the distance between the tracker 66 and each of the foregrounds included in the foreground extraction results 67 to 69.
  • the time-series feature generation unit 21 acquires a classification model from the classification model storage unit 25 shown in FIG. 2, and uses the classification model to determine the foreground degree for each of the foregrounds included in the N-frame foreground extraction results 67 to 69. calculate.
  • the classification model is a model that outputs the foreground degree (score of foreground-likeness) of the foreground based on the input shape of the foreground.
  • the time series feature generation unit 21 uses the following equation (1).
  • the score F (i) for each foreground extraction model is calculated as a time series feature.
  • t is a tracker number.
  • I indicates a foreground extraction model
  • c is a foreground label extracted by the foreground extraction model.
  • d (t, c) is the distance between the tracker t and the foreground c
  • p (i, c) indicates the foreground degree of the foreground c extracted by the foreground extraction model i.
  • N (T) indicates the number of trackers. Therefore, the score F (i) is obtained by dividing the distance d (t, c) between the tracker t and the foreground c by the foreground degree p (i, c) of the foreground c for a certain foreground extraction model i.
  • the tracker t and the foreground c are totaled, and the value is divided by the number n (T) of the trackers.
  • the time-series feature generation unit 21 calculates scores F (1) to F (3) for each of the three foreground extraction models M1 to M3, and sets the time-series feature in the foreground extraction model selection unit 22. Supply.
  • the score F (i) indicates that the smaller the value, the higher the accuracy of extracting the foreground.
  • the reason is as follows. First, in the equation (1), the larger the distance d (t, c) between the tracker and the foreground, the larger the score F (i) . Since the amount of movement between adjacent frames is small in an actual small moving object, the larger the distance d (t, c), the higher the possibility that the foreground is noise, and the smaller the distance d (t, c). The more likely the foreground is a small moving object.
  • the foreground extraction model selection unit 22 selects one or a plurality of foreground extraction models from the plurality of foreground extraction models based on the supplied time series features, that is, the score F (i) of each foreground extraction model. In a typical example, the foreground extraction model selection unit 22 selects one foreground extraction model having the smallest score F (i) among the plurality of foreground extraction models. In another example, the foreground extraction model selection unit 22 may select a predetermined number of foreground extraction models from the one with the smallest score F (i) and use them in combination.
  • the foreground region generation unit 23 extracts a foreground region (referred to as a “foreground region”) from the input image using the foreground extraction model selected by the foreground extraction model selection unit 22, and outputs the foreground region. For example, when the foreground extraction model selection unit 22 selects one foreground extraction model having the smallest score F (i) , the foreground region generation unit 23 acquires the foreground extraction model from the foreground extraction model storage unit 27. It is applied to the input image to extract the foreground area and output it.
  • the foreground region generation unit 23 carries out the above-mentioned voting for the foreground extraction results generated using those foreground extraction models, and the majority The foreground area exceeding the above may be output as the foreground area.
  • FIG. 6 is a flowchart of the foreground extraction process by the foreground extraction device 100. This process is realized by the processor 13 shown in FIG. 1 executing a program prepared in advance and operating as each element shown in FIG.
  • the time-series feature generation unit 21 uses a plurality of foreground extraction models to extract the foreground from a plurality of frames of the input image, and generates a foreground extraction result (step S11).
  • the time-series feature generation unit 21 determines whether or not the tracker exists (step S12). When the tracker does not exist (step S12: No), the time series feature generation unit 21 generates the tracker by the method described above (step S13).
  • the time-series feature generation unit 21 When the tracker is present (step S12: Yes), the time-series feature generation unit 21 generates time-series features for each foreground extraction model from the plurality of foreground extraction results (step S14). This time-series feature is the score F (i) of each foreground extraction model.
  • the foreground extraction model selection unit 22 selects the foreground extraction model based on the score F (i) of each foreground extraction model (step S15).
  • the foreground region generation unit 23 generates a foreground region using the selected foreground extraction model (step S16).
  • step S17 it is determined whether or not there are remaining frames in the input image (step S17). If there are remaining frames (step S17: Yes), the process returns to step S11. On the other hand, when there are no remaining frames (step S17: No), the process ends.
  • a tracker is generated from a one-frame image.
  • a tracker may be generated using a multi-frame image.
  • 7 and 8 show a method of generating a tracker using a multi-frame image.
  • the time-series feature generation unit 21 first generates a tracker in each of the first to third frames by the method described above.
  • the tracker of each frame is connected to all the trackers of the next frame.
  • the time-series feature generation unit 21 selects the optimum connection from the pair of trackers indicated by each connection based on the moving distance and the foreground degree on the image.
  • the connections 91 and 92 generate a triangular tracker and the connections 93 and 94 generate a circular tracker based on the distance traveled and the foreground on the image.
  • the foreground extraction device 100 of the first embodiment selects an appropriate foreground extraction model, generates a foreground region using the model, and outputs the foreground region.
  • the foreground extraction device 100x of the second embodiment further identifies an object corresponding to the foreground by using the generated foreground region.
  • FIG. 9 is a block diagram showing a functional configuration of the foreground extraction device 100x according to the second embodiment of the first embodiment.
  • the foreground extraction device 100x according to the second embodiment includes the time series feature calculation unit 31 and the object identification unit in addition to the configuration of the foreground extraction device 100 according to the first embodiment. 32 and an object identification model storage unit 34 are provided. Further, instead of the classification model storage unit 25 of the first embodiment, the foreground identification model storage unit 33 is provided.
  • the time-series feature generation unit 21 extracts the time-series features based on the input image as in the first embodiment. However, the time-series feature generation unit 21 acquires a foreground identification model from the foreground identification model storage unit 33 instead of the classification model in the first embodiment, and calculates the foreground degree using the foreground identification model.
  • the foreground identification model is a model that outputs a foreground degree (score) indicating the probability that the foreground is an object to be identified based on the input shape of the foreground.
  • the foreground extraction model selection unit 22 and the foreground area generation unit 23 operate in the same manner as in the first embodiment.
  • the time-series feature calculation unit 31 newly calculates the time-series features for the foreground region output by the foreground region generation unit 23. Specifically, the time-series feature calculation unit 31 calculates the score F as a time-series feature for the foreground region generated by the foreground region generation unit 23 using the above equation (1). At this time, the time-series feature calculation unit 31 may calculate the score F for the foreground extraction model selected by the foreground extraction model 22.
  • the object identification unit 32 acquires an object identification model from the object identification model storage unit 34 and uses it to identify an object. Specifically, the object identification unit 32 identifies an object based on the foreground region extracted in a plurality of frames and the time-series features calculated for each frame by using the object identification model.
  • FIG. 10 is a diagram illustrating a method of object identification by the object identification unit 32.
  • the object identification unit 32 identifies an object using three consecutive frames of images.
  • the object identification unit 32 includes a foreground region included in the images of the first to third frames, a time series feature (score F2) calculated based on the foreground region included in the first and second frames, and a time series feature (score F2).
  • the object is identified based on the time series feature (score F3) calculated based on the foreground region included in the second and third frames. Then, the object identification unit 32 outputs the object identification result.
  • FIG. 11 is a flowchart of the object identification process by the foreground extraction device 100x. This process is realized by the processor 13 shown in FIG. 1 executing a program prepared in advance and operating as each element shown in FIG.
  • steps S21 to S26 of the object identification process shown in FIG. 11 are the same as steps S11 to S16 of the foreground extraction process shown in FIG. 6, the description thereof will be omitted.
  • step S26 when the foreground region is generated using the foreground extraction model selected by the selection model, the time series feature calculation unit 31 generates time series features for the generated foreground region (step S27). Then, the object identification unit 32 identifies the object corresponding to the foreground region based on the foreground region in the image of the plurality of frames and the generated time-series features, and outputs the object identification result (step S28). At this time, the foreground that is not identified as a predetermined object is removed as noise.
  • step S29 it is determined whether or not there are remaining frames in the input image (step S29). If there are remaining frames (step S29: Yes), the process returns to step S21. On the other hand, when there are no remaining frames (step S29: No), the process ends.
  • the second embodiment of the first embodiment after extracting the foreground region using an appropriate foreground extraction model, it is possible to identify the object corresponding to the foreground region. Further, by identifying the object, the foreground region other than the predetermined object can be removed as noise.
  • a time series feature is generated from the input image, and an appropriate foreground extraction model is selected using the time series feature.
  • the selection model for selecting the foreground extraction model is learned by using the input image and its correct answer data. Then, using the trained selection model, an appropriate foreground selection model is selected from a plurality of foreground selection models. Since the hardware configuration of the foreground extraction device according to the second embodiment is the same as that of the first embodiment, the description thereof will be omitted.
  • FIG. 12A is a block diagram showing a functional configuration of the foreground extraction device 200 at the time of learning according to the first embodiment of the second embodiment.
  • the foreground extraction device 200 at the time of learning includes a selection model learning unit 41, a selection model storage unit 42, and a correct answer data storage unit 43.
  • the selection model storage unit 42 stores a selection model that selects an appropriate one or a plurality of foreground selection models from a plurality of foreground extraction models.
  • the selection model learning unit 41 acquires a selection model from the selection model storage unit 42 and performs learning thereof. Specifically, the selection model learning unit 41 acquires the correct answer data corresponding to the input image from the correct answer data storage unit 43, and learns the selection model using the input image and the corresponding correct answer data. When the learning is completed, the selection model learning unit 41 stores the learned selection model in the selection model storage unit 42.
  • FIG. 12B is a block diagram showing a functional configuration of the foreground extraction device 210 at the time of prediction.
  • the time of prediction means the time when an object is actually detected from the captured image.
  • the foreground extraction device 210 at the time of prediction includes a foreground extraction model selection unit 44, a selection model storage unit 42, a foreground area generation unit 45, and a foreground extraction model storage unit 46.
  • the selection model storage unit 42 stores the selection model that has been learned by the foreground extraction device 200 at the time of learning.
  • the foreground extraction model selection unit 44 acquires the trained selection model stored in the selection model storage unit 42, selects the optimum foreground extraction model based on the input image, and shows the foreground extraction model.
  • the information is output to the foreground region generation unit 45.
  • the foreground extraction model storage unit 46 stores a plurality of foreground extraction models in advance.
  • the foreground region generation unit 45 acquires the foreground extraction model selected by the foreground extraction model selection unit 44 from the foreground extraction model storage unit 46, and uses it to generate and output the foreground region from the input image. In this way, it is possible to select an appropriate foreground extraction model from a plurality of foreground extraction models using the trained selection model and extract the foreground region using the foreground extraction model.
  • the selection model is trained using the method of reinforcement learning.
  • the selection model learning unit 41 inputs N adjacent frames of the input image (4 frames in the example of FIG. 13) into the feature extractor using the neural network, and inputs the input image to the feature extractor. Generate a feature vector.
  • the feature extractor may be any feature extractor used in general object recognition, and for example, VGG16, ResNet, or the like can be used. The feature extractor has already been learned.
  • FIG. 14 schematically shows a learning method in the selection model learning unit 41.
  • the selection model learning unit 41 uses the feature vector of the input image obtained by the feature extractor as the “state s” in reinforcement learning. Further, the selection model learning unit 41 sets an action of selecting an appropriate one from a plurality of foreground extraction models as “ ai ”.
  • the action ai is expressed as follows.
  • the reward r is given as the difference between the output of the foreground extraction model and the correct answer data as follows.
  • the selection model learning unit 41 uses the state s, which is the feature vector of the image, the action ai for selecting the foreground extraction model, and the reward r, to use the selection model Q (s, ai ) (hereinafter, “Q value” or “Q value”. Also called “value Q").
  • the selection model Q (s, ai ) is given by the following equation.
  • ⁇ and ⁇ are parameters determined by the designer. The number of learnings, end conditions, etc. are also determined by the designer. Then, when the learning is completed, the learned selected model is stored in the selected model storage unit 42.
  • the foreground extraction model selection unit 44 selects an appropriate foreground extraction model from the input image using the trained selection model.
  • FIG. 15 shows an example of selecting a foreground extraction model.
  • the selection model calculates the Q value for the three foreground extraction models 1 to 3, and the Q value by the foreground extraction model 1 is the maximum. Therefore, the foreground extraction model selection unit 44 selects the foreground extraction model 1. Further, for example, when the selection model selects the top two foreground extraction models, the foreground extraction models 1 and 3 may be selected from the one with the larger Q value. Then, the foreground region generation unit 45 extracts the foreground region from the input image by using the selected foreground extraction model.
  • FIG. 16 schematically shows a learning method of the selection model according to the second embodiment of the second embodiment.
  • the input image is first input to the likelihood estimator.
  • the likelihood estimator is composed of a neural network, and for example, a CNN (Convolutional Neural Network), an RNN (Recurrent Neural Network), or the like can be used.
  • the likelihood estimator learns the selective likelihood of each foreground extraction model based on the input image.
  • the likelihood estimator outputs a weight W indicating the mixing ratio of each of the foreground extraction models 1 to N. Then, using the weight W 1 ⁇ W N of each foreground extraction model, to generate a foreground extraction model 1 ⁇ N recognition result I 1 ⁇ I N prediction result by adding the weighted ( ⁇ W i ⁇ I i).
  • the selection model learning unit 41 learns the parameters of the likelihood estimator so that the difference (loss) between the prediction result and the correct answer data becomes small. When the learning is completed, the selection model learning unit 41 stores the selection model including the parameters of the learned likelihood estimator in the selection model storage unit 42.
  • the foreground extraction model selection unit 44 acquires the trained selection model from the selection model storage unit 42, and uses it to select an appropriate foreground extraction model from the input image. Specifically, the selected model, in response to the weight W i that likelihood estimator is output, selects one or more of the foreground extraction model. Foreground area generation unit 45 obtains the selected foreground extraction model from the foreground extraction model storage unit 46, and extracts the foreground region from an input image using them in proportion of weight W i.
  • FIG. 17 schematically shows a learning method of a selection model according to a modified example of the second embodiment of the second embodiment.
  • the likelihood estimator outputs the weight W for each foreground extraction model.
  • the likelihood estimator outputs a spatial map W indicating the selection likelihood of each foreground extraction model.
  • the spatial map W is an n ⁇ n-dimensional map, and the coefficient corresponding to each pixel indicates the likelihood of the foreground extraction model at the corresponding position of the input image.
  • the size of the spatial map corresponds to a part of the input image. In the example of FIG. 17, among the pixels of the spatial map W, the darker the pixel, the higher the coefficient is set.
  • Each space map W is multiplied by the recognition result I 1 ⁇ I N of the foreground extraction model, their sum is output as a result of the prediction.
  • selection model depending on the space map W i to the likelihood estimator is output, selects one or more of the foreground extraction model.
  • the foreground area generation unit 45 acquires the selected foreground extraction model from the foreground extraction model storage unit 46, and extracts the foreground area from the input image using them according to the spatial map.
  • the foreground region is extracted by selecting a highly appropriate foreground extraction model for each part of the input image.
  • the foreground extraction model 1 has a property of extracting a circular foreground with high accuracy
  • the foreground extraction model N has a property of extracting a triangular foreground with high accuracy.
  • the spatial map W 1 corresponding to the foreground extraction model 1 becomes what to focus on the circular portion of the input image
  • the spatial map W N corresponding to the foreground extraction model N of interest in the portion of the triangle of the input image Become.
  • the optimum foreground extraction model is selected for each part constituting one input image.
  • the operation when making a prediction using the selection model learned in this way is the same as in the case of the second embodiment of the second embodiment.
  • FIG. 18 is a block diagram showing a functional configuration of the foreground extraction device 70 according to the third embodiment.
  • the hardware configuration of the foreground extraction device 70 is the same as that in FIG.
  • the foreground extraction device 70 includes an extraction result generation unit 71, a selection unit 72, and a foreground area generation unit 73.
  • the extraction result generation unit 71 performs foreground extraction using a plurality of foreground extraction models for the input image and generates a foreground extraction result.
  • the selection unit 72 selects one or a plurality of foreground extraction models from the plurality of foreground extraction models by using the foreground extraction results of each foreground extraction model.
  • the foreground area generation unit 73 extracts the foreground area from the input image by using the selected foreground extraction model.
  • the extraction result generation unit that generates the foreground extraction result by extracting the foreground using multiple foreground extraction models
  • a selection unit that selects one or more foreground extraction models from the plurality of foreground extraction models using the foreground extraction results of each foreground extraction model.
  • Foreground area generation unit that extracts the foreground area from the input image using the selected foreground extraction model, and Foreground extraction device equipped with.
  • Appendix 2 The foreground extraction device according to Appendix 1, wherein the selection unit generates time-series features for each of the plurality of foreground extraction models based on the input image, and selects the foreground extraction model based on the generated time-series features. ..
  • the selection unit generates a tracker based on the input image, calculates the distance between the tracker and the foreground included in the foreground extraction result, and uses the distance to generate the time-series feature. Foreground extractor.
  • Appendix 4 The foreground extraction device according to Appendix 3, wherein the selection unit calculates the foreground degree of each foreground included in the foreground extraction result and generates the time series feature using the foreground degree.
  • the time-series feature is represented by a value obtained by dividing the distance by the foreground, the sum of all trackers and all foregrounds, divided by the number of trackers.
  • the foreground extraction device according to Appendix 4, wherein the selection unit selects a foreground extraction model having the smallest value of the time series feature.
  • a time-series feature calculation unit that calculates time-series features for the foreground region generated by the foreground region generation unit, and a time-series feature calculation unit.
  • An object identification unit that identifies an object corresponding to the foreground region based on the input image and the time-series feature calculated by the time-series feature calculation unit.
  • Appendix 7 The foreground extraction device according to Appendix 1, wherein the selection unit selects the foreground extraction model by using a selection model that has been trained using the input image and the correct answer data of the foreground extraction result.
  • the selection model uses the weighted sum of the weight of each foreground extraction model calculated by the likelihood estimator based on the input image and the foreground extraction result of each foreground extraction model as the prediction result, and the prediction result and the said It is learned so that the difference from the correct answer data is small,
  • the foreground extraction device according to Appendix 7, wherein the selection unit selects the foreground extraction model based on the weight of each foreground extraction model.
  • the selection model uses the sum of the products of the spatial map for each foreground extraction model calculated by the likelihood estimator based on the input image and the foreground extraction result for each foreground extraction model as the prediction result, and the prediction result and the prediction result. It is learned so that the difference from the correct answer data becomes small.
  • the foreground extraction device according to Appendix 7, wherein the selection unit selects the foreground extraction model based on a spatial map for each foreground extraction model.
  • Foreground extraction is performed on the input image using multiple foreground extraction models to generate the foreground extraction result. Using the foreground extraction results of each foreground extraction model, one or more foreground extraction models are selected from the plurality of foreground extraction models. A foreground extraction method for extracting a foreground region from the input image using the selected foreground extraction model.
  • Foreground extraction is performed on the input image using multiple foreground extraction models to generate the foreground extraction result. Using the foreground extraction results of each foreground extraction model, one or more foreground extraction models are selected from the plurality of foreground extraction models.
  • a recording medium that records a program that causes a computer to execute a process of extracting a foreground region from the input image using the selected foreground extraction model.
  • Time series feature generation unit 22 44 Foreground extraction model selection unit 23, 45 Foreground area generation unit 24 Time series information storage unit 25 Classification model storage unit 26, 42 Selection model storage unit 27, 46 Foreground extraction model storage unit 31 Time series Feature calculation unit 32 Object identification unit 33 Foreground identification model storage unit 41 Selection model learning unit 100, 100x, 200, 210 Foreground extraction device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

前景抽出装置において、抽出結果生成部は、入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成する。選択部は、各前景抽出モデルによる前景抽出結果を用いて、複数の前景抽出モデルから１又は複数の前景抽出モデルを選択する。前景領域生成部は、選択された前景抽出モデルを用いて、入力画像から前景領域を抽出する。

Description

前景抽出装置、前景抽出方法、及び、記録媒体
　本発明は、画像に含まれる物体を抽出する技術に関する。
　近年、様々な用途にドローンが利用されている。ドローンの利用が普及すると、ドローンの航空管制が必要になると考えられる。例えば、地上に設置したカメラにより撮影した映像を用いて、管理対象となるドローンの周辺を監視することが必要となる。具体的に、ドローンの航空管制業務では、撮影画像に基づいて小さな移動物体を検出し、鳥や管理対象以外のドローンなどの制御不可能な物体を識別し、管理対象のドローンを即座に制御して自動的に衝突回避を行う必要がある。
　特許文献１は、撮影画像に基づいて飛来物を抽出し、予め用意された飛行パターンと比較することにより、飛行物が鳥類であるか否かを判別する手法を記載している。
国際公開ＷＯ２００９／１０２００１号公報
　上記の特許文献１は、飛来物の飛行パターンに基づいて飛来物を識別している。このため、飛来物の検出に失敗し、移動軌跡が取得できない場合には飛来物を識別することはできない。
　本発明の１つの目的は、画像に含まれる移動物体を正確に抽出することにある。
　本発明の一つの観点では、前景抽出装置は、
　入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成する抽出結果生成部と、
　各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択する選択部と、
　選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する前景領域生成部と、を備える。
　本発明の他の観点では、前景抽出方法は、
　入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
　各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択し、
　選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する。
　本発明の他の観点では、記録媒体は、
　入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
　各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択し、
　選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する処理をコンピュータに実行させるプログラムを記録する。
　本発明によれば、画像に含まれる移動物体を正確に抽出することができる。
実施形態に係る前景抽出装置のハードウェア構成を示す。 第１実施形態の第１実施例に係る前景抽出装置の機能構成を示す。 トラッカーの生成方法を説明する図である。 時系列情報の生成方法を説明する図である。 時系列情報の例を示す。 前景抽出装置による前景抽出処理のフローチャートである。 複数フレームの画像を用いてトラッカーを生成する方法を示す。 複数フレームの画像を用いてトラッカーを生成する方法を示す。 第１実施形態の第２実施例に係る前景抽出装置の機能構成を示す。 物体識別部による物体識別の方法を説明する図である。 前景抽出装置による物体識別処理のフローチャートである。 第２実施形態の第１実施例による前景抽出装置の機能構成を示す。 第２実施形態の第１実施例における特徴ベクトルの抽出方法を示す。 選択モデル学習部における学習方法を模式的に示す。 前景抽出モデルを選択する例を示す。 第２実施形態の第２実施例による選択モデルの学習方法を模式的に示す。 第２実施形態の第２実施例の変形例による選択モデルの学習方法を模式的に示す。 第３実施形態に係る前景抽出装置の機能構成を示す。
　以下、図面を参照して、本発明の好適な実施形態について説明する。
　＜基本概念＞
　まず、実施形態に係る前景抽出手法の基本概念について説明する。空を撮影した画像から、飛行中の小さな移動物体（以下、「小移動物体」と呼ぶ。）やその領域を抽出する場合、背景差分手法が利用される。なお、画像に含まれる移動物体を「前景」とも呼ぶ。背景差分手法は連続するフレーム画像の差分に基づいて移動物体を検出する手法であり、様々な背景差分手法が知られている。しかし、それらの背景差分手法は、得意とする状況がそれぞれ異なり、１つの背景差分手法のみを用いて継続的に高精度で前景を抽出することは難しい。
　そこで、以下の実施形態では、複数の前景抽出方法を用意し、個々の状況において適切な１つ又は複数の前景抽出方法を選択して前景抽出を行う。具体的には、連続するフレーム画像に対して複数の前景抽出方法を適用した結果を評価して適切な前景抽出方法を選択し、選択された前景抽出方法を用いて前景を抽出する。
　＜第１実施形態＞
　［ハードウェア構成］
　図１は、第１実施形態に係る前景抽出装置のハードウェア構成を示すブロック図である。図示のように、前景抽出装置１００は、入力ＩＦ（ＩｎｔｅｒＦａｃｅ）１２と、プロセッサ１３と、メモリ１４と、記録媒体１５と、データベース（ＤＢ）１６と、を備える。
　入力ＩＦ１２は、前景抽出装置１００が処理の対象とする入力画像を取得する。例えば、地上に設置されたカメラにより、空を飛行する移動物体を撮影した画像が入力ＩＦ１２を通じて入力される。プロセッサ１３は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、前景抽出装置１００の全体を制御する。具体的に、プロセッサ１３は、後述する前景抽出処理を実行する。
　メモリ１４は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などにより構成される。メモリ１４は、プロセッサ１３により実行される各種のプログラムを記憶する。また、メモリ１４は、プロセッサ１３による各種の処理の実行中に作業メモリとしても使用される。
　記録媒体１５は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、前景抽出装置１００に対して着脱可能に構成される。記録媒体１５は、プロセッサ１３が実行する各種のプログラムを記録している。前景抽出装置１００が各種の処理を実行する際には、記録媒体１５に記録されているプログラムがメモリ１４にロードされ、プロセッサ１３により実行される。
　データベース１６は、入力ＩＦ１２を含む外部装置から入力されるデータを記憶する。具体的には、前景抽出装置１００が処理の対象とする入力画像が記憶される。なお、上記に加えて、前景抽出装置１００は、ユーザが指示や入力を行うためのキーボード、マウスなどの入力機器や、表示部を備えていても良い。
　［第１実施例］
　次に、第１実施形態の第１実施例について説明する。
　（機能構成）
　図２は、第１実施形態の第１実施例に係る前景抽出装置１００の機能構成を示すブロック図である。図示のように、前景抽出装置１００は、時系列特徴生成部２１と、前景抽出モデル選択部２２と、前景領域生成部２３と、時系列情報記憶部２４と、分類モデル記憶部２５と、選択モデル記憶部２６と、前景抽出モデル記憶部２７と、を備える。
　時系列特徴生成部２１には、複数のフレーム画像からなる入力画像が入力される。時系列特徴生成部２１は、入力画像から時系列特徴を生成し、前景抽出モデル選択部２２に供給する。「時系列特徴」とは、連続するフレーム画像における特徴であり、連続するフレームに含まれるトラッカーを用いて生成される。
　ここで、まずトラッカーについて説明する。「トラッカー」とは、隣接するフレームにおいて検出され、相互に対応付けされた物体を指す。図３は、トラッカーの生成方法を説明する図である。いま、時系列特徴生成部２１は、前景抽出モデル記憶部２７から３つの前景抽出モデルＭ１～Ｍ３を取得し、使用するものとする。時系列特徴生成部２１は、図示の入力画像６１に対して前景抽出モデルＭ１～Ｍ３を適用して、前景抽出結果６２～６４を得る。時系列特徴生成部２１は、前景抽出結果６２～６４の投票を行い、過半数の前景抽出結果に含まれる物体をトラッカーと決定する。図３の例では、前景抽出結果６２～６４の過半数に含まれる物体（三角形）６５と物体（円形）６６がそれぞれトラッカーとして抽出される。
　トラッカーが生成されると、時系列特徴生成部２１は、トラッカーを用いて時系列情報を生成する。時系列情報は、時系列特徴を抽出するために使用される情報である。図４は、時系列情報の生成方法を説明する図である。いま、連続するＮ－１フレームとＮフレームがあり、Ｎ－１フレームから前述のようにトラッカー６５、６６が抽出されているとする。時系列特徴生成部２１は、Ｎフレームの入力画像に対して前景抽出モデルＭ１～Ｍ３を適用して前景抽出結果６７～６９を生成する。図４の例では、前景抽出結果６７には、１つの三角形の前景６７ａと、１つの円形の前景６７ｂとが含まれている。前景抽出結果６８には、１つの三角形の前景と、１つの円形の前景と、３つの四角形の前景が含まれている。前景抽出結果６９には、１つの三角形の前景と、１つの四角形の前景が含まれている。時系列特徴生成部２１は、矢印で示すように、Ｎ－１フレームの各トラッカーと、Ｎフレームから各前景抽出モデルによって抽出された前景とのペアを作り、その対応関係を時系列情報として生成する。
　図５は、時系列情報の例を示す。時系列情報は、前景抽出を行ったフレームの１つ前のフレームについて、「フレーム番号」、「トラッカー番号」、「座標値」を含む。図４の例では、時系列情報は、Ｎ－１フレームについて、２つのトラッカー６５、６６の番号と、それらの座標とを含んでいる。なお、ここではトラッカー６５の番号を「１」とし、トラッカー６６の番号を「２」とする。また、時系列情報は、前景抽出を行ったフレームについて、「フレーム番号」、「前景抽出モデル」、「前景ラベル」、「座標値」を含む。図４の例では、時系列情報は、前景抽出を行ったＮフレームについて、フレーム番号と、前景抽出モデルＭ１～Ｍ３のいずれかと、前景抽出結果６７～６９に含まれる各前景を識別する前景ラベルと、その前景の座標値とを含んでいる。なお、図５に示すように、座標値は、トラッカー又は前景を囲む矩形の左上と右下の点の座標により示される。
　次に、時系列特徴生成部２１は、時系列情報を用いて時系列特徴を生成する。時系列特徴生成部２１は、まず、図４の矢印で示すように、Ｎ－１フレームで生成されたトラッカー６５と、前景抽出結果６７～６９に含まれる前景の各々との距離を算出する。具体的に、時系列特徴生成部２１は、Ｎ－１フレームにおけるトラッカー６５の座標と、Ｎフレームの前景抽出結果６７における三角形の前景６７ａの座標とに基づいて、トラッカー６５と前景６７ａとの距離を算出する。同様に、時系列特徴生成部２１は、トラッカー６５と、前景抽出結果６７～６９に含まれる前景それぞれとの距離を算出する。さらに、時系列特徴生成部２１は、Ｎ－１フレームで生成された他のトラッカーについても、前景抽出結果６７～６９に含まれる前景のそれぞれとの距離を算出する。図４の例では、時系列特徴生成部２１は、トラッカー６６と、前景抽出結果６７～６９に含まれる前景それぞれとの距離を算出する。
　さらに、時系列特徴生成部２１は、図２に示す分類モデル記憶部２５から分類モデルを取得し、分類モデルを用いてＮフレームの前景抽出結果６７～６９に含まれる前景のそれぞれについて前景度を算出する。なお、分類モデルは、入力された前景の形状に基づいて、その前景の前景度（前景らしさのスコア）を出力するモデルである。
　こうして、Ｎフレームの前景抽出結果６７～６９に含まれる前景のそれぞれについて、トラッカーとの距離、及び、前景度が得られると、時系列特徴生成部２１は、以下の式（１）を用いて、各前景抽出モデルについてのスコアＦ（ｉ）を時系列特徴として算出する。
Figure JPOXMLDOC01-appb-M000002
　ここで、「ｔ」はトラッカー番号である。「ｉ」は前景抽出モデルを示し、「ｃ」は前景抽出モデルにより抽出された前景のラベルである。また、「ｄ（ｔ，ｃ）」はトラッカーｔと前景ｃとの距離であり、「ｐ（ｉ，ｃ）」は前景抽出モデルｉにより抽出された前景ｃの前景度を示す。「ｎ（Ｔ）」は、トラッカーの数を示す。よって、スコアＦ（ｉ）は、ある前景抽出モデルｉについて、トラッカーｔと前景ｃとの距離ｄ（ｔ、ｃ）を、前景ｃの前景度ｐ（ｉ，ｃ）で除算した値を全てのトラッカーｔ及び前景ｃについて合計し、その値をトラッカーの数ｎ（Ｔ）で除算したものとなる。図４の例では、時系列特徴生成部２１は、３つの前景抽出モデルＭ１～Ｍ３について、それぞれスコアＦ（１）～Ｆ（３）を算出し、時系列特徴として前景抽出モデル選択部２２に供給する。
　ここで、スコアＦ（ｉ）は、その値が小さいほど、前景を抽出する精度が高いことを示している。その理由は以下の通りである。まず、式（１）では、トラッカーと前景との距離ｄ（ｔ，ｃ）が大きいほどスコアＦ（ｉ）は大きくなる。実際の小移動物体は、隣接するフレーム間での移動量は小さいので、距離ｄ（ｔ，ｃ）が大きいほどその前景はノイズである可能性が高くなり、距離ｄ（ｔ，ｃ）が小さいほどその前景が小移動物体である可能性が高くなる。また、式（１）では、距離ｄ（ｔ、ｃ）を前景度ｐ（ｉ，ｃ）で除算しているので、抽出された前景の前景度（前景らしさ）が高いほど、スコアＦ（ｉ）は小さくなる。よって、スコアＦ（ｉ）が小さいほど、その前景抽出モデルの精度が高いことを示す。
　前景抽出モデル選択部２２は、供給された時系列特徴、即ち、各前景抽出モデルのスコアＦ（ｉ）に基づいて、複数の前景抽出モデルから、１又は複数の前景抽出モデルを選択する。典型的な例では、前景抽出モデル選択部２２は、複数の前景抽出モデルのうち、スコアＦ（ｉ）が最小である１つの前景抽出モデルを選択する。別の例では、前景抽出モデル選択部２２は、スコアＦ（ｉ）が小さい方から所定数の前景抽出モデルを選択し、それらを組み合わせて使用してもよい。
　前景領域生成部２３は、前景抽出モデル選択部２２が選択した前景抽出モデルを用いて、入力画像から前景の領域（「前景領域」と呼ぶ。）を抽出し、出力する。例えば、前景抽出モデル選択部２２が、スコアＦ（ｉ）の最も小さい１つの前景抽出モデルを選択した場合、前景領域生成部２３は、その前景抽出モデルを前景抽出モデル記憶部２７から取得し、入力画像に適用して前景領域を抽出し、出力する。一方、前景抽出モデル選択部２２が複数の前景抽出モデルを選択した場合、前景領域生成部２３は、それらの前景抽出モデルを用いて生成した前景抽出結果に対して前述の投票を実施し、過半数を超える前景領域を前景領域として出力してもよい。
　（前景抽出処理）
　図６は、前景抽出装置１００による前景抽出処理のフローチャートである。この処理は、図１に示すプロセッサ１３が、予め用意されたプログラムを実行し、図２に示す各要素として動作することにより実現される。
　まず、時系列特徴生成部２１は、複数の前景抽出モデルを用いて、入力画像の複数のフレームから前景抽出を行い、前景抽出結果を生成する（ステップＳ１１）。次に、時系列特徴生成部２１は、トラッカーが存在するか否かを判定する（ステップＳ１２）。トラッカーが存在しない場合（ステップＳ１２：Ｎｏ）、時系列特徴生成部２１は、前述の方法でトラッカーを生成する（ステップＳ１３）。
　トラッカーが存在する場合（ステップＳ１２：Ｙｅｓ）、時系列特徴生成部２１は、複数の前景抽出結果から、前景抽出モデル毎に時系列特徴を生成する（ステップＳ１４）。この時系列特徴は、各前景抽出モデルのスコアＦ（ｉ）である。次に、前景抽出モデル選択部２２は、各前景抽出モデルのスコアＦ（ｉ）に基づいて前景抽出モデルを選択する（ステップＳ１５）。そして、前景領域生成部２３は、選択された前景抽出モデルを用いて、前景領域を生成する（ステップＳ１６）。
　次に、入力画像に残りのフレームがあるか否かが判定される（ステップＳ１７）。残りのフレームがある場合（ステップＳ１７：Ｙｅｓ）、処理はステップＳ１１へ戻る。一方、残りのフレームがない場合（ステップＳ１７：Ｎｏ）、処理は終了する。
　（トラッカー生成方法の変形例）
　図３を参照して説明したトラッカー生成方法では、１フレームの画像からトラッカーを生成している。その代わりに、複数フレームの画像を用いてトラッカーを生成してもよい。図７及び図８は、複数フレームの画像を用いてトラッカーを生成する方法を示す。図７に示すように、時系列特徴生成部２１は、まず、第１フレームから第３フレームのそれぞれにおいて前述の方法でトラッカーを生成する。次に、図８（Ａ）に示すように、各フレームのトラッカーを次のフレームの全てのトラッカーと接続する。そして、時系列特徴生成部２１は、各接続により示されるトラッカーのペアから、画像上の移動距離及び前景度に基づいて最適な接続を選択する。図８（Ｂ）の例では、画像上の移動距離及び前景度に基づいて、接続９１、９２により三角形のトラッカーが生成され、接続９３、９４により円形のトラッカーが生成されている。
　［第２実施例］
　次に、第１実施形態の第２実施例について説明する。第１実施例の前景抽出装置１００は適切な前景抽出モデルを選択し、それを用いて前景領域を生成し、出力している。第２実施例の前景抽出装置１００ｘは、生成した前景領域を用いて、さらに前景に対応する物体の識別を行う。
　（機能構成）
　図９は、第１実施形態の第２実施例に係る前景抽出装置１００ｘの機能構成を示すブロック図である。図２と比較すると理解されるように、第２実施例に係る前景抽出装置１００ｘは、第１実施例に係る前景抽出装置１００の構成に加えて、時系列特徴計算部３１と、物体識別部３２と、物体識別モデル記憶部３４とを備える。また、第１実施例の分類モデル記憶部２５の代わりに、前景識別モデル記憶部３３が設けられる。
　時系列特徴生成部２１は、第１実施例と同様に、入力画像に基づいて時系列特徴を抽出する。但し、時系列特徴生成部２１は、第１実施例における分類モデルの代わりに、前景識別モデル記憶部３３から前景識別モデルを取得し、その前景識別モデルを用いて前景度を算出する。なお、前景識別モデルは、入力された前景の形状に基づいて、その前景が識別対象の物体である確率を示す前景度（スコア）を出力するモデルである。
　前景抽出モデル選択部２２と前景領域生成部２３は、第１実施例と同様に動作する。時系列特徴計算部３１は、前景領域生成部２３が出力した前景領域について、新たに時系列特徴を計算する。具体的には、時系列特徴計算部３１は、前景領域生成部２３が生成した前景領域について、前述の式（１）を用いて時系列特徴としてのスコアＦを算出する。この際、時系列特徴計算部３１は、前景抽出モデル２２が選択した前景抽出モデルについてのスコアＦを算出すればよい。
　物体識別部３２は、物体識別モデル記憶部３４から物体識別モデルを取得し、それを用いて物体を識別する。具体的には、物体識別部３２は、物体識別モデルを用いて、複数のフレームにおいて抽出された前景領域と、各フレームについて算出された時系列特徴とに基づいて物体を識別する。図１０は、物体識別部３２による物体識別の方法を説明する図である。図１０の例では、物体識別部３２は、連続する３フレームの画像を用いて物体識別を行うものとする。この場合、物体識別部３２は、第１～第３フレームの画像に含まれる前景領域と、第１及び第２フレームに含まれる前景領域に基づいて計算された時系列特徴（スコアＦ２）と、第２及び第３フレームに含まれる前景領域に基づいて計算された時系列特徴（スコアＦ３）とに基づいて、物体の識別を行う。そして、物体識別部３２は、物体識別結果を出力する。
　（物体識別処理）
　図１１は、前景抽出装置１００ｘによる物体識別処理のフローチャートである。この処理は、図１に示すプロセッサ１３が、予め用意されたプログラムを実行し、図２に示す各要素として動作することにより実現される。ここで、図１１に示す物体識別処理のステップＳ２１～Ｓ２６は、図６に示す前景抽出処理のステップＳ１１～Ｓ１６と同様であるので、説明を省略する。
　ステップＳ２６において、選択モデルにより選択された前景抽出モデルを用いて前景領域が生成されると、時系列特徴計算部３１は、生成された前景領域について時系列特徴を生成する（ステップＳ２７）。そして、物体識別部３２は、複数フレームの画像における前景領域と、生成された時系列特徴とに基づいて、前景領域に対応する物体を識別し、物体識別結果を出力する（ステップＳ２８）。この際、所定の物体として識別されなかった前景は、ノイズとして除去される。
　次に、入力画像に残りのフレームがあるか否かが判定される（ステップＳ２９）。残りのフレームがある場合（ステップＳ２９：Ｙｅｓ）、処理はステップＳ２１へ戻る。一方、残りのフレームがない場合（ステップＳ２９：Ｎｏ）、処理は終了する。
　以上のように、第１実施形態の第２実施例によれば、適切な前景抽出モデルを使用して前景領域を抽出した後、その前景領域に対応する物体の識別まで行うことができる。また、物体を識別することにより、所定の物体以外の前景領域をノイズとして除去することができる。
　＜第２実施形態＞
　次に、本発明の第２実施形態について説明する。第１実施形態では、入力画像から時系列特徴を生成し、これを用いて適切な前景抽出モデルを選択している。これに対し、第２実施形態では、入力画像とその正解データを用いて、前景抽出モデルを選択する選択モデルを学習する。そして、学習済の選択モデルを用いて、複数の前景選択モデルから適切な前景選択モデルを選択する。なお、第２実施形態による前景抽出装置のハードウェア構成は第１実施形態と同様であるので、説明を省略する。
　［第１実施例］
　（機能構成）
　図１２（Ａ）は、第２実施形態の第１実施例による、学習時の前景抽出装置２００の機能構成を示すブロック図である。学習時の前景抽出装置２００は、選択モデル学習部４１と、選択モデル記憶部４２と、正解データ記憶部４３とを備える。
　選択モデル記憶部４２は、複数の前景抽出モデルから適切な１つ又は複数の前景選択モデルを選択する選択モデルを記憶している。選択モデル学習部４１は、選択モデル記憶部４２から選択モデルを取得し、その学習を行う。具体的に、選択モデル学習部４１は、入力画像に対応する正解データを正解データ記憶部４３から取得し、入力画像と、それに対応する正解データとを用いて選択モデルの学習を行う。学習が終了すると、選択モデル学習部４１は、学習済みの選択モデルを選択モデル記憶部４２に記憶する。
　図１２（Ｂ）は、予測時の前景抽出装置２１０の機能構成を示すブロック図である。予測時とは、撮影画像から実際に物体を検出するときを言う。予測時の前景抽出装置２１０は、前景抽出モデル選択部４４と、選択モデル記憶部４２と、前景領域生成部４５と、前景抽出モデル記憶部４６とを備える。なお、選択モデル記憶部４２には、学習時の前景抽出装置２００により学習済みの選択モデルが記憶されている。
　予測時には、前景抽出モデル選択部４４は、選択モデル記憶部４２に記憶されている学習済みの選択モデルを取得し、入力画像に基づいて最適な前景抽出モデルを選択し、その前景抽出モデルを示す情報を前景領域生成部４５に出力する。前景抽出モデル記憶部４６は、複数の前景抽出モデルを予め記憶している。前景領域生成部４５は、前景抽出モデル選択部４４が選択した前景抽出モデルを前景抽出モデル記憶部４６から取得し、それを用いて入力画像から前景領域を生成し、出力する。こうして、学習済みの選択モデルを用いて、複数の前景抽出モデルから適切な前景抽出モデルを選択し、それを用いて前景領域を抽出することができる。
　（選択モデル）
　次に、第２実施形態の第１実施例による選択モデル及びその学習方法について説明する。第１実施例は、強化学習の手法を用いて選択モデルを学習する。まず、選択モデル学習部４１は、図１３に示すように、入力画像の隣接するＮ個のフレーム（図１３の例では４フレーム）をニューラルネットワークを用いた特徴抽出器に入力し、入力画像の特徴ベクトルを生成する。特徴抽出器は、一般物体認識で利用される特徴抽出器であれば何でもよく、例えばＶＧＧ１６、ＲｅｓＮｅｔなどを用いることができる。なお、特徴抽出器は、既に学習済みのものである。
　図１４は、選択モデル学習部４１における学習方法を模式的に示す。選択モデル学習部４１は、特徴抽出器により得られた入力画像の特徴ベクトルを強化学習における「状態ｓ」として用いる。また、選択モデル学習部４１は、複数の前景抽出モデルから適切なものを選択する行動を「ａｉ」とする。行動ａｉは、以下のように表される。
Figure JPOXMLDOC01-appb-M000003
　また、状態ｓのときに行動ａｉを選択したときの報酬を「ｒ」とすると、報酬ｒは以下のように、前景抽出モデルの出力と正解データとの差として与えられる。
Figure JPOXMLDOC01-appb-M000004
 なお、「Ｉｉｋ」は、ｉフレームのときにｋモデルで前景抽出した結果を示し、「Ｉ」は正解データを示す。よって、選択モデルにより選択された前景抽出モデルの出力と正解データとの差が小さくなるほど、高い報酬ｒが与えられる。
　選択モデル学習部４１は、画像の特徴ベクトルである状態ｓ、前景抽出モデルを選択する行動ａｉ、報酬ｒを用いて、選択モデルＱ（ｓ，ａｉ）（以下、「Ｑ値」又は「価値Ｑ」とも呼ぶ。）を学習する。選択モデルＱ（ｓ，ａｉ）は以下の式で与えられる。
Figure JPOXMLDOC01-appb-M000005
 ここで、「α」、「γ」は設計者が決めるパラメータである。また、学習の回数、終了条件なども設計者により決定される。そして、学習が終了すると、学習済みの選択モデルが選択モデル記憶部４２に記憶される。
　予測時には、前景抽出モデル選択部４４は、学習済みの選択モデルを用いて、入力画像から適切な前景抽出モデルを選択する。図１５は、前景抽出モデルを選択する例を示す。この例では、選択モデルは３つの前景抽出モデル１～３についてＱ値を算出し、前景抽出モデル１によるＱ値が最大となっている。よって、前景抽出モデル選択部４４は、前景抽出モデル１を選択する。また、例えば選択モデルが上位２個の前景抽出モデルを選択する場合には、Ｑ値の大きいほうから、前景抽出モデル１及び３を選択すればよい。そして、前景領域生成部４５は、選択された前景抽出モデルを用いて、入力画像から前景領域を抽出する。
　［第２実施例］
　次に、第２実施形態の第２実施例について説明する。第２実施例の前景抽出装置のハードウェア構成は図１に示す第１実施形態と同様であり、機能構成は図１２に示す第２実施形態の第１実施例と同様である。
　（選択モデル）
　次に、第２実施形態の第２実施例による選択モデル及びその学習方法について説明する。第２実施例は、教師あり学習の手法を用いて選択モデルを学習する。図１６は、第２実施形態の第２実施例による選択モデルの学習方法を模式的に示す。
　学習時には、まず、入力画像が尤度推定器に入力される。尤度推定器はニューラルネットワークにより構成され、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｕｅｒａｌ　Ｎｅｔｗｏｒｋ）などを用いることができる。尤度推定器は、入力画像に基づいて、各前景抽出モデルの選択尤度を学習する。図１６の例では、尤度推定器は、前景抽出モデル１～Ｎのそれぞれについて、そのモデルの混合割合を示す重みＷを出力する。そして、各前景抽出モデルの重みＷ１～ＷＮを用いて、前景抽出モデル１～Ｎの認識結果Ｉ１～ＩＮを重み付け加算することにより予測結果（ΣＷｉ×Ｉｉ）を生成する。
　選択モデル学習部４１は、予測結果と正解データとの差（損失）が小さくなるように、尤度推定器のパラメータを学習する。学習が終了すると、選択モデル学習部４１は、学習済みの尤度推定器のパラメータを含む選択モデルを選択モデル記憶部４２に記憶する。
　予測時には、前景抽出モデル選択部４４は、学習済みの選択モデルを選択モデル記憶部４２から取得し、それを用いて入力画像から適切な前景抽出モデルを選択する。具体的に、選択モデルは、尤度推定器が出力した重みＷｉに応じて、１又は複数の前景抽出モデルを選択する。前景領域生成部４５は、選択された前景抽出モデルを前景抽出モデル記憶部４６から取得し、重みＷｉの割合でそれらを用いて入力画像から前景領域を抽出する。
　（変形例）
　図１７は、第２実施形態の第２実施例の変形例による選択モデルの学習方法を模式的に示す。図１６に示す第２実施形態の第２実施例では、尤度推定器は各前景抽出モデルに対する重みＷを出力している。これに対し、この変形例では、尤度推定器は、各前景抽出モデルについて、そのモデルの選択尤度を示す空間マップＷを出力する。具体的に、空間マップＷは、ｎ×ｎ次元のマップであり、各画素に対応する係数は入力画像の対応位置におけるその前景抽出モデルの尤度を示す。なお、空間マップのサイズは、入力画像の一部に対応する。図１７の例では、空間マップＷの画素のうち、暗い色の画素ほど高い係数が設定される。
　各空間マップＷは、各前景抽出モデルの認識結果Ｉ１～ＩＮと乗算され、それらの総和が予測結果として出力される。具体的に、選択モデルは、尤度推定器が出力した空間マップＷｉに応じて、１又は複数の前景抽出モデルを選択する。前景領域生成部４５は、選択された前景抽出モデルを前景抽出モデル記憶部４６から取得し、空間マップに応じてそれらを用いて入力画像から前景領域を抽出する。
　このように、各前景抽出モデルの選択尤度を示す空間マップを出力することにより、入力画像の部分毎に適正の高い前景抽出モデルを選択して前景領域が抽出されることになる。例えば、図１７の例において、前景抽出モデル１は円形の前景を高精度で抽出する性質を有し、前景抽出モデルＮは三角形の前景を高精度で抽出する性質を有するものとする。この場合、前景抽出モデル１に対応する空間マップＷ１は入力画像の円形の部分に注目するものとなり、前景抽出モデルＮに対応する空間マップＷＮは入力画像の三角形の部分に注目するものとなる。よって、１枚の入力画像を構成する部分毎に最適な前景抽出モデルが選択される。これにより、各前景抽出モデルの検出容易性の異なる対象が同一のフレームに映り込んだ場合でも、各対象の検出に最適な前景抽出モデルを選択することが可能となる。なお、こうして学習された選択モデルを用いて予測を行う際の動作は、第２実施例の第２実施例の場合と同様である。
　＜第３実施形態＞
　図１８は、第３実施形態に係る前景抽出装置７０の機能構成を示すブロック図である。なお、前景抽出装置７０のハードウェア構成は、図１と同様である。図示のように、前景抽出装置７０は、抽出結果生成部７１と、選択部７２と、前景領域生成部７３と、を備える。
　抽出結果生成部７１は、入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成する。選択部７２は、各前景抽出モデルによる前景抽出結果を用いて、複数の前景抽出モデルから１又は複数の前景抽出モデルを選択する。前景領域生成部７３は、選択された前景抽出モデルを用いて、入力画像から前景領域を抽出する。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成する抽出結果生成部と、
　各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択する選択部と、
　選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する前景領域生成部と、
　を備える前景抽出装置。
　（付記２）
　前記選択部は、前記入力画像に基づいて、前記複数の前景抽出モデル毎に時系列特徴を生成し、生成した時系列特徴に基づいて前記前景抽出モデルを選択する付記１に記載の前景抽出装置。
　（付記３）
　前記選択部は、前記入力画像に基づいてトラッカーを生成し、前記トラッカーと前記前景抽出結果に含まれる前景との距離を算出し、前記距離を用いて前記時系列特徴を生成する付記２に記載の前景抽出装置。
　（付記４）
　前記選択部は、前記前景抽出結果に含まれる各前景の前景度を算出し、前記前景度を用いて前記時系列特徴を生成する付記３に記載の前景抽出装置。
　（付記５）
　前記時系列特徴は、前記距離を前記前景度で除した値を全てのトラッカー及び全ての前景について合計した合計値を、前記トラッカーの数で除した値で示され、
　前記選択部は、前記時系列特徴の値が最小である前景抽出モデルを選択する付記４に記載の前景抽出装置。
　（付記６）
　前記前景領域生成部が生成した前景領域に対する時系列特徴を計算する時系列特徴計算部と、
　前記入力画像と、前記時系列特徴計算部が計算した時系列特徴とに基づいて、前記前景領域に対応する物体を識別する物体識別部と、
　を備える付記２乃至５のいずれか一項に記載の前景抽出装置。
　（付記７）
　前記選択部は、前記入力画像と、前記前景抽出結果の正解データとを用いて学習済の選択モデルを用いて、前記前景抽出モデルを選択する付記１に記載の前景抽出装置。
　（付記８）
　前記選択モデルは、前記入力画像から抽出された特徴ベクトルを状態ｓとし、前記前景抽出結果と前記正解データとの差を報酬ｒとし、前記状態ｓにおいて前記複数の前景抽出モデルのいずれかを選択する行動ａをとったときの価値Ｑ（ｓ，ａ）が大きくなるように学習されており、
　前記選択部は、前記価値Ｑ（ｓ，ａ）に基づいて前記前景抽出モデルを選択する付記７に記載の前景抽出装置。
　（付記９）
　前記価値Ｑ（ｓ，ａ）は、
Figure JPOXMLDOC01-appb-M000006
 　で与えられる付記８に記載の前景抽出装置。
　（付記１０）
　前記選択モデルは、入力画像に基づいて尤度推定器が算出した前記前景抽出モデル毎の重みと、前記前景抽出モデル毎の前景抽出結果との重み付き和を予測結果とし、前記予測結果と前記正解データとの差が小さくなるように学習されており、
　前記選択部は、前記前景抽出モデル毎の重みに基づいて前記前景抽出モデルを選択する付記７に記載の前景抽出装置。
　（付記１１）
　前記選択モデルは、入力画像に基づいて尤度推定器が算出した前記前景抽出モデル毎の空間マップと、前記前景抽出モデル毎の前景抽出結果との積の総和を予測結果とし、前記予測結果と前記正解データとの差が小さくなるように学習されており、
　前記選択部は、前記前景抽出モデル毎の空間マップに基づいて前記前景抽出モデルを選択する付記７に記載の前景抽出装置。
　（付記１２）
　入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
　各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択し、
　選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する前景抽出方法。
　（付記１３）
　入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
　各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択し、
　選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　２１　時系列特徴生成部
　２２、４４　前景抽出モデル選択部
　２３、４５　前景領域生成部
　２４　時系列情報記憶部
　２５　分類モデル記憶部
　２６、４２　選択モデル記憶部
　２７、４６　前景抽出モデル記憶部
　３１　時系列特徴計算部
　３２　物体識別部
　３３　前景識別モデル記憶部
　４１　選択モデル学習部
　１００、１００ｘ、２００、２１０　前景抽出装置

Claims (13)

  1. 　入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成する抽出結果生成部と、
    　各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択する選択部と、
    　選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する前景領域生成部と、
    　を備える前景抽出装置。
  2. 　前記選択部は、前記入力画像に基づいて、前記複数の前景抽出モデル毎に時系列特徴を生成し、生成した時系列特徴に基づいて前記前景抽出モデルを選択する請求項１に記載の前景抽出装置。
  3. 　前記選択部は、前記入力画像に基づいてトラッカーを生成し、前記トラッカーと前記前景抽出結果に含まれる前景との距離を算出し、前記距離を用いて前記時系列特徴を生成する請求項２に記載の前景抽出装置。
  4. 　前記選択部は、前記前景抽出結果に含まれる各前景の前景度を算出し、前記前景度を用いて前記時系列特徴を生成する請求項３に記載の前景抽出装置。
  5. 　前記時系列特徴は、前記距離を前記前景度で除した値を全てのトラッカー及び全ての前景について合計した合計値を、前記トラッカーの数で除した値で示され、
    　前記選択部は、前記時系列特徴の値が最小である前景抽出モデルを選択する請求項４に記載の前景抽出装置。
  6. 　前記前景領域生成部が生成した前景領域に対する時系列特徴を計算する時系列特徴計算部と、
    　前記入力画像と、前記時系列特徴計算部が計算した時系列特徴とに基づいて、前記前景領域に対応する物体を識別する物体識別部と、
    　を備える請求項２乃至５のいずれか一項に記載の前景抽出装置。
  7. 　前記選択部は、前記入力画像と、前記前景抽出結果の正解データとを用いて学習済の選択モデルを用いて、前記前景抽出モデルを選択する請求項１に記載の前景抽出装置。
  8. 　前記選択モデルは、前記入力画像から抽出された特徴ベクトルを状態ｓとし、前記前景抽出結果と前記正解データとの差を報酬ｒとし、前記状態ｓにおいて前記複数の前景抽出モデルのいずれかを選択する行動ａをとったときの価値Ｑ（ｓ，ａ）が大きくなるように学習されており、
    　前記選択部は、前記価値Ｑ（ｓ，ａ）に基づいて前記前景抽出モデルを選択する請求項７に記載の前景抽出装置。
  9. 　前記価値Ｑ（ｓ，ａ）は、
    Figure JPOXMLDOC01-appb-M000001
     　で与えられる請求項８に記載の前景抽出装置。
  10. 　前記選択モデルは、入力画像に基づいて尤度推定器が算出した前記前景抽出モデル毎の重みと、前記前景抽出モデル毎の前景抽出結果との重み付き和を予測結果とし、前記予測結果と前記正解データとの差が小さくなるように学習されており、
    　前記選択部は、前記前景抽出モデル毎の重みに基づいて前記前景抽出モデルを選択する請求項７に記載の前景抽出装置。
  11. 　前記選択モデルは、入力画像に基づいて尤度推定器が算出した前記前景抽出モデル毎の空間マップと、前記前景抽出モデル毎の前景抽出結果との積の総和を予測結果とし、前記予測結果と前記正解データとの差が小さくなるように学習されており、
    　前記選択部は、前記前景抽出モデル毎の空間マップに基づいて前記前景抽出モデルを選択する請求項７に記載の前景抽出装置。
  12. 　入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
    　各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択し、
    　選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する前景抽出方法。
  13. 　入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
    　各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択し、
    　選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する処理をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2019/049236 2019-12-16 2019-12-16 前景抽出装置、前景抽出方法、及び、記録媒体 WO2021124417A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021565178A JP7347539B2 (ja) 2019-12-16 2019-12-16 前景抽出装置、前景抽出方法、及び、プログラム
US17/783,715 US20230010199A1 (en) 2019-12-16 2019-12-16 Foreground extraction apparatus, foreground extraction method, and recording medium
PCT/JP2019/049236 WO2021124417A1 (ja) 2019-12-16 2019-12-16 前景抽出装置、前景抽出方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/049236 WO2021124417A1 (ja) 2019-12-16 2019-12-16 前景抽出装置、前景抽出方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2021124417A1 true WO2021124417A1 (ja) 2021-06-24

Family

ID=76477319

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/049236 WO2021124417A1 (ja) 2019-12-16 2019-12-16 前景抽出装置、前景抽出方法、及び、記録媒体

Country Status (3)

Country Link
US (1) US20230010199A1 (ja)
JP (1) JP7347539B2 (ja)
WO (1) WO2021124417A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319236A (ja) * 2000-05-10 2001-11-16 Nippon Hoso Kyokai <Nhk> 動き物体の形状抽出方法と装置
JP2010205007A (ja) * 2009-03-04 2010-09-16 Omron Corp モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム
JP2019169145A (ja) * 2018-03-22 2019-10-03 キヤノン株式会社 画像処理装置および方法、並びに、命令を格納する記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2278549A1 (en) * 1999-09-24 2011-01-26 Nippon Telegraph And Telephone Corporation Method and apparatus for extracting segmentation mask
US7158680B2 (en) * 2004-07-30 2007-01-02 Euclid Discoveries, Llc Apparatus and method for processing video data
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video
WO2007050707A2 (en) * 2005-10-27 2007-05-03 Nec Laboratories America, Inc. Video foreground segmentation method
US9648211B2 (en) * 2015-05-14 2017-05-09 Xerox Corporation Automatic video synchronization via analysis in the spatiotemporal domain
US9930271B2 (en) * 2015-09-28 2018-03-27 Gopro, Inc. Automatic composition of video with dynamic background and composite frames selected based on frame criteria
US20170154269A1 (en) * 2015-11-30 2017-06-01 Seematics Systems Ltd System and method for generating and using inference models
US10867394B2 (en) * 2016-05-18 2020-12-15 Nec Corporation Object tracking device, object tracking method, and recording medium
US10311690B2 (en) * 2016-07-27 2019-06-04 Ademco Inc. Systems and methods for detecting motion based on a video pattern
WO2018033156A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
KR102579994B1 (ko) * 2016-10-24 2023-09-18 삼성에스디에스 주식회사 다중 배경 모델을 이용한 전경 생성 방법 및 그 장치
US20230120093A1 (en) * 2020-03-16 2023-04-20 Nec Corporation Object tracking device, object tracking method, and recording medium
EP3923182A1 (en) * 2020-06-13 2021-12-15 Gust Vision, Inc Method for identifying a video frame of interest in a video sequence, method for generating highlights, associated systems
WO2022091335A1 (ja) * 2020-10-30 2022-05-05 日本電気株式会社 物体追跡装置、物体追跡理方法、及び、記録媒体
JP2023034537A (ja) * 2021-08-31 2023-03-13 株式会社日立製作所 概念ドリフト検出のための装置、方法、及びシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319236A (ja) * 2000-05-10 2001-11-16 Nippon Hoso Kyokai <Nhk> 動き物体の形状抽出方法と装置
JP2010205007A (ja) * 2009-03-04 2010-09-16 Omron Corp モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム
JP2019169145A (ja) * 2018-03-22 2019-10-03 キヤノン株式会社 画像処理装置および方法、並びに、命令を格納する記憶媒体

Also Published As

Publication number Publication date
US20230010199A1 (en) 2023-01-12
JP7347539B2 (ja) 2023-09-20
JPWO2021124417A1 (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
US11222239B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
CN109478239B (zh) 检测图像中的对象的方法和对象检测系统
CN107403426B (zh) 一种目标物体检测方法及设备
JP4208898B2 (ja) 対象物追跡装置および対象物追跡方法
JP2018538631A (ja) シーン内のオブジェクトのアクションを検出する方法及びシステム
CN110998594A (zh) 检测动作的方法和系统
JP7263216B2 (ja) ワッサースタイン距離を使用する物体形状回帰
JPWO2018051944A1 (ja) 人流推定装置、人流推定方法およびプログラム
KR20160096460A (ko) 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
WO2016179808A1 (en) An apparatus and a method for face parts and face detection
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
US11836944B2 (en) Information processing apparatus, information processing method, and storage medium
CN114730407A (zh) 使用神经网络对工作环境中的人类行为进行建模
JP2007025902A (ja) 画像処理装置、画像処理方法
CN113947208A (zh) 用于创建机器学习系统的方法和设备
CN113920168A (zh) 一种音视频控制设备中图像跟踪方法
EP4283529B1 (en) Method for training an object recognition model in a computing device
Nikpour et al. Deep reinforcement learning in human activity recognition: A survey
JP6622150B2 (ja) 情報処理装置および情報処理方法
JP7331947B2 (ja) 物体識別装置、物体識別方法、学習装置、学習方法、及び、プログラム
WO2021124417A1 (ja) 前景抽出装置、前景抽出方法、及び、記録媒体
JP2015187769A (ja) 物体検出装置、物体検出方法及びプログラム
KR20210089044A (ko) 물체 인식을 위한 학습 데이터를 선택하는 방법 및 상기 방법을 이용하여 학습된 물체 인식 모델을 이용하여 물체를 인식하는 물체 인식 장치
JP7519933B2 (ja) オブジェクト検出装置及び方法、並びに学習データ収集装置、並びにプログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19956253

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021565178

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19956253

Country of ref document: EP

Kind code of ref document: A1